利用卷積類神經網路以色彩資訊及光流進行影片物體分割

Abstract

本篇論文探討部分監督式影片物體分割演算法，此問題是給定第一幀的物體分割資訊，要求解剩下每一幀此物體之分割結果。我們不同於以往方法，結合影片中的色彩資訊及光流資訊當作輸入來訓練卷積類神經網路，提出了合併架構及分別訓練兩種方法，以及採用分次訓練的策略，首先使用訓練資料訓練好模型，在測試時使用每段影片的第一幀來進行加強學習，最後使用條件隨機域來後處理我們得到的分割結果。我們也做了一些實驗來比較不同訓練條件或是後處理方法得到之結果不同。最後我們最佳的方法在 DAVIS 此影片物體分割資料集中得到了 81.2%的精準度，優於當前最佳技術的 79.8%。

This thesis is about the task of semi-supervised video object segmentation. That is, the segmentation of an object from the video given the mask of the first frame. We combine the appearance and the optical flow as our convolution neural network’s input and propose two methods to solve this problem. And we use the offline / online training strategy to fine-tune the model with first frame annotation at the test time. Finally, we use the CRF as our refinement. We also do some ablation study to compare the results with the different conditions. And our best algorithm improves the state of the art from 79.8% to 81.2%.