利用多任務學習以關節移動圖像引導動作識別

Abstract

動作識別在影片內容標注、監控系統與人機互動方面都有著廣泛的應用。隨著深度學習的演進，基於三維卷積網路(3D ConvNet)的演算法已經能夠在大型資料集上取得相當高的準確度。然而，這類演算法十分仰賴大量的訓練資料來歸納出複雜的分類規則，隨著資料集的縮小，其準確度與穩定度皆會受到嚴重的影響。我們認為在典型的訓練方式中，僅以動作類別標籤監督模型的學習無法有效引導三維卷積網路抽取利於動作識別的特徵。為解決這個問題，本研究提出一個多任務學習的框架與一個輔助任務，輔助任務的內容是學習人體移動的區域並藉此強化對模型特徵抽取的監督。在 NTU-RGB+D60 資料集上進行的實驗表明，所提出的多任務學習方法可以成功應用在3種不同的三維卷積網路中，並且可以在不增加額外推理時間(inference time)的情況下大幅增進三維卷積網路在小型資料集上的準確度。