請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/91571
標題: | 預見完美深度偽造: 基於身份對瑕疵無關的偵測 In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection |
作者: | 王韋翰 Wei-Han Wang |
指導教授: | 陳銘憲 Ming-Syan Chen |
關鍵字: | 深度偽造,深度偽造偵測, Deepfake,Deepfake detection, |
出版年 : | 2023 |
學位: | 碩士 |
摘要: | 現今的深偽影片檢測器在不平衡的測試環境中表現優異,因為其目標是區分生成的影片與真實影片。這些先前的方法都重度依賴深偽演算法中生成的噪音,或者是所謂的生成瑕疵。然而,隨著生成模型的快速進步,我們預期深度偽造技術將進化到接近完美的境界,也就是說不存在可辨識的生成瑕疵。為了減少對生成瑕疵的依賴,我們設計了一種名為”Rebalanced Deepfake Detection Protocol (RDDP)”的方法來平衡偽造和真實樣本之間的生成噪音,並進一步提出兩種變體。第一種RDDP-WHITEHAT 使用白帽算法,利用同一人的圖像來生成深偽影片。這些自我偽造的視頻,儘管包含深度偽造的瑕疵,但由於他們的自我相似性,被視為是真實的樣本。第二種RDDP-SURROGATE 利用不同的函數來後處理偽造和真實的樣本,賦予相同類型的噪音。這種方法在不依賴深度偽造算法的情況下,使測試環境更加公平。
為了檢測沒有生成瑕疵的深度偽造,我們引入了一種名為ID-Miner 的檢測器,它的設計目的是識別深偽影片人物背後的操控者。我們的模型強調臉部動作並忽略生成瑕疵或人物外觀,是一種利用身份驗證的深偽影片檢測器:它通過比較給定影片與參考影片的特徵表示來驗證其真實性。基於影格層級的”artifact-agnostic loss”(不考慮生成瑕疵的損失)和基於視頻層級的”identity-anchored loss”(身份固定損失),ID-Miner 有效地在生成瑕疵和不同的外觀變化中隔離出特徵性的身份訊息。在三種測試協議和兩個深度偽造數據集下,與十二個基線檢測器的比較實驗,以及額外的質化研究,均證明了我們的方法的優勢和對設計以防止完美深偽影片檢測器的必要性。 State-of-the-art deepfake detectors excel primarily in unbalanced environments because the goal is to distinguish between generated videos and real ones. Consequently, all prior methods, intentionally or inadvertently, heavily rely on generative noise, or, artifacts. However, as deep generative models rapidly improve, we anticipate the evolution of deepfakes towards a state of “perfection” where no discernible artifacts exist. To reduce reliance on artifacts, we design the Rebalanced Deepfake Detection Protocol (RDDP) that “balances” the existence of generative noise between forged and real examples, with two variants based on the availability of a “white-hat” deepfake algorithm. Particularly, RDDP-WHITEHAT employs a white-hat algorithm to reconstruct genuine portrait videos using images of the same subject. These self-deepfakes, while containing deepfake artifacts, are considered “genuine” due to their self-likeness. On the other hand, RDDP-SURROGATE exploits surrogate functions to process both forged and genuine examples, imbuing the same type of noise. This variant levels the playing field without resorting to deepfake algorithms. Toward detecting deepfakes without artifacts, we introduce ID-Miner, a detector designed to discern the puppeteer behind the disguise. By emphasizing motion and disregarding artifacts or appearances, our model functions as an identity-based detector: it verifies the authenticity of a given video by comparing its representation with that of a reference video. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/91571 |
DOI: | 10.6342/NTU202301341 |
全文授權: | 未授權 |
顯示於系所單位: | 電機工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-111-2.pdf 目前未授權公開取用 | 5.22 MB | Adobe PDF |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。