全景影片視覺顯著性預測與視覺偏差

Abstract

全景影片已經被廣泛應用於沈浸式內容、虛擬導覽和監控系統等許多領域，相較於平面影片，全景影片涵蓋了更多的資訊，要在資訊爆炸的全景影像中預測出顯著性區域更為困難。本文中，我們提出了一個視覺顯著性預測模型，它可以直接預測等距長方投影影片中的顯著性區域。過去的方法採用循環神經網路的架構作為視覺顯著性預測模型，不同於過去的方法，我們使用三維卷積於編碼器並泛化SphereNet卷積核以構建解碼器。我們進一步分析存在於不同全景影片資料集以及不同類型全景影片中視覺偏差的資料統計性，這為我們提供了對融合機制設計的見解，該融合機制以自適應方式將預測的顯著圖與視覺偏差相融合。我們提出的模型在各個資料集（例如：Salient360!，PVS，Sport360）都有最佳的結果。