基於影片畫面變化的自動配樂

Abstract

本篇論文提出一個AVMG系統，由兩個子系統所組成。第一個部分是影片裡面物體移動的分析，另一個部分就是配樂的分析。在影片分析部分，我們首先依據移動向量(motion vector)偵測物體的移動，之後再設定一個臨界值去區分出物體的位移或是場景的轉變，分離出物體移動與場景轉變後我們針對連續轉變的場景，取出物體移動部分做分析與分類。在這邊我們根據所偵測到的峰值數與臨界值的大小，區分出四類的物體轉變。配樂分析部分，我們根據音樂相關係數的大小與相關延遲時間的長短，把音樂分類成四類。然後再結合這兩類的系統做出影片自動配樂的結果。在實驗部分我們分別做出兩部影片與音樂的結合，第一部影片是針對車子的不同速度快慢位移與音樂的配合，第二部分採用電玩遊戲的影片做音樂的搭配，所呈現的效果相當協調。

In this study, a system called an automatic video music generation (AVMG) is presented. The AVMG is composed of two subsystems, namely, video motion discovery and music accompaniment. In video motion discovery part, we detect the moving objects based on motion vector and then separate motion change and scene change by setting threshold value. After the separation, we classify the motion types into four clusters. In music accompaniment part, we use music power spectrum density and similarity matrix to classify music types into four different types. Finally, we make composition of the two parts. Two experiments are employed to examine the proposed mechanism. The simulation results show that each segment of video can coordinate with music properly by AVMG.