以機器學習方法實作偽造影片分類系統

Abstract

本研究使用機器學習方法為基礎，實作偽造影片（DeepFake）辨識模型。我們的目標是訓練出可以在具有辨識難易度的Celeb-DF V2資料集上，辨識能力良好的模型，並期許此模型的辨識力能夠勝過既有的模型。本研究採取幀AUC分數（Frame-level AUC Score）作為評量模型辨識力的基準。 我們使用了在圖像分類領域享有盛名的Xception模型以及DSP-FWA模型作為骨架，使用這兩個模型的預訓練權重在部分的Celeb-DF V2資料集上進行轉移學習（ Transfer Learning ）。與之前的研究不同的是，我們在模型訓練的驗證階段採取了交叉驗證，並且挑選了不同的訓練資料。我們挑選在驗證資料集上擁有最高準確率的模型，作為最終模型。 我們使用Celeb-DF V2資料集官方釋出的測試資料作為測試資料集，並且比較我們的模型與既有的分類模型的幀AUC分數 （ Frame-level AUC Score ）。最後，根據我們得到的實驗結果，比起既有的模型，我們的模型擁有更高的幀AUC分數 （ Frame-level AUC Score ）。我們也探討了這些模型在不同的影片時間點的累積辨識準確率，並記錄了我們對於即時辨識偽造影片（DeepFake）情境中使用模型辨識的見解。