以事件為基礎之多重視角影片同步系統

Abstract

內嵌攝錄功能的電子產品的價格越來越低和越來越多影片分享的媒介，除了一般熟知的YouTube，還有其他像是Facebook、Picasa等等的社群網站都提供了影片分享的服務，由於以上的因素，分享變成一件方便簡單的事情，越來越多人願意且習慣性地拍攝身邊的事物以及活動與朋友大眾分享，因此一個大型的活動通常會有許多使用者拍攝且上傳到網路上與他人分享。 若可以計算出多部拍攝相同活動的影片之間的時間差，並且調整這些影片的時間到相同時間點播放，這麼一來與單一使用者拍攝的影片相比，一次性地收看多部影片顯得較有效率並且由於多個視角的資訊集合使得畫面更加豐富。然而隨著拍攝位置的不一致、相機設定差異，畫面也呈現著完全不同的風貌。以往聲音特徵被應用來解此同步問題，然而可能因為環境、距離與使用者後置的關係使得並非所有影片都含有正確的聲音資訊。 這篇論文利用了視覺的相似性來解影片同步問題，強調於視覺興趣區域上的視覺特徵，並利用湊雜函數的觀念使得執行上更有效率。此外我們提出了一個時間序列比對演算法，名為具時間因子動態時間偏移演算法，此演算法不僅考慮不同影片的幀之間的相似度也利用了本身時間連續關係的變化。最後經由多樣實驗，證明所提方法可達到80%以上正確性且具時間效率。

The high availability of digital video capture devices and the increasing diversity of social video sharing sites make sharing and searching become easy. Multi-view event videos provide diverse visual content and different audio information of the same event. Compared with single-view video, users prefer a more diverse and comprehensive views (video segments) of the same event. Therefore, the rise of multi-view event videos alignment becomes more and more important. It is a challenging work because the scene’s visual appearances from different views look apparently dissimilar. This work has been solved using audio before, but videos’ audio is not always available. In this work, we investigate the effect of different visual features and focus on regions of interest. Moreover, we propose a time sensitive dynamic time warping algorithm which takes temporal factor into consideration. Besides, we can reduce the computational cost by LSH indexing to improve time efficiency. Experimental results show that our proposed method provides an efficiency way to align videos and derive robust matching results.