以雙流注意力機制模型擷取直播影片精華

Abstract

近年來隨著談話型的串流影片越來越普及，直播平台漸漸的成為人們吸收新資訊的另一個管道。然而，談話型的直播影片通常較為冗長，使得大部分的觀眾無法全程參與直播，為了吸引觀眾加入直播串留影片甚至進一步成為訂閱者，提供精華片段對直播主和直播平台而言就變得格外重要。近年來有許多影片精華擷取相關的研究，其中多數研究使用影像上的資訊作為特徵再進一步擷取影片精華片段，然而這樣的方式並不適用於談話型的直播影片，原因在於談話型直播影片的精華與影像畫面並沒有直接相關，而是與直播主的言談以及觀眾的反應有關。在此篇論文中，我們使用了直播主的言談以及觀眾的留言作為模型輸入，提出了針對談話型直播影片精華擷取的模型，並進一步利用了位置的特徵增強和專注力機制強化特徵向量。此外，我們也透過自調節權重網路給予兩個文字分流預測分數不同的權重增強模型的表現。實驗證明我們的方法在現實生活的資料籍上，表現比起近年提出的幾個知名的精華擷取模型來得更好。