藉由音樂情緒與視訊節奏偵測電影中具強烈情感之事件

Abstract

在人類的歷史中，電影是最重要的娛樂之一。由於內容（content）的數位化（digitalization）越來越風行，有越來越多的電影觀眾想要只依照自己的興趣來選擇選擇電影的部分片段。但由於觀眾的喜好往往差異頗大，很難只用一兩個規則就滿足所有人的需求。 在這篇論文中，我們研發了可偵測影像節奏（video tempo）和音樂情緒（music mood）的模組（module），並且展現了三個和電影分析有關的應用。根據音色（timbre），旋律（rhythm）和音量（intensity），我們將音樂的情緒分成高度張力（high-tension）和低度張力（low-tension）。然後在偵測影片節奏方面，藉由鏡頭長度（shot length）和動作活動率（motion activity），我們為每個鏡頭（shot）都計算出一個節奏（tempo）值。藉由這兩個模組，我們可以了解音樂帶有的情緒並更進一步發展出三個應用：音樂事件偵測（music event detection），情緒事件偵測（emotional event detection）和原聲帶視覺化（Original Sound Tracks (OST) visualization）。利用主觀測試（subjective test），這些應用的實驗結果都被給予了不錯的分數。

Movie is one of the most important entertainments in the history of mankind. With the development of content digitalization, more and more movie viewers would like to choose parts of movies according to their favorites. But as interests of viewers are various, it's difficult to deal with their requirements by only one principle. In this thesis, we develop modules for detecting video tempo and music mood, and present three applications about movie analysis. Music mood is categorized to high-tension and low-tension using timbre, intensity and rhythm, and each shot of video is given a tempo value by shot length and motion activity. After applying these two modules we recognize mood of music and develop three applications: music event detection, emotional event detection, and Original Sound Tracks (OST) visualization. Subjective tests show that the mean opinion scores of the experimental results are good.