以三維形變模型為基礎之視訊中人臉置換

Abstract

本論文提出了一個以三維形變模型(3D morphable model)為基礎 之視訊中人臉置換(face replacement)系統。此系統將來源人物(source subject)在與目標人物(target subject)相似之角度、表情以及光照條件下 置換入目標影片中。視訊中人臉置換系統在特效產業以及娛樂產業中 極為有用，過去雖然有許多影像中人臉置換演算法被提出， 也有許多 現有軟體存在，然而應用到影片中仍然需要耗費大量的人力和時間。 本論文提出之人臉置換系統可大幅減少所需人力介入的需求，並且將 來源人物所需擷取資料量減少至只需一至兩張照片。此系統共有八個 主要模組，包括：人臉校準、方位估計、人臉擷取、三維人臉模型生 成、表情估計及生成、打光估計及人臉重打光、人臉影像生成、視訊 中影像合成。在這篇論文中，我們主要探討的主題是三維人臉模型生 成、表情估計及生成以及視訊中影像合成技術。為證實我們演算法的 有效性，我們將對電影中擷取之影像以及我們實際拍攝的影像進行測 試， 並且將結果完整呈現在論文之中。

This thesis presents a system that replaces the target subject face in the target video with the source subject face, under similar pose, expression, and illumination. Face replacement in video is a useful application in the entertainment and special effect industries. However, the frame-by-frame manipulation process using the software is often time-consuming and labor-intensive. Our approach is based on 3D morphable model and a expression database, and the input information of the source subject face is reduced to one to two images, while the face replacement procedure requires little user interference. Our system consists of several modules: face alignment, pose estimation, expression estimation, face extraction, morphable model fitting, face synthesis, face relighting, and composition. We mainly focus on morphable model fitting, expression estimation, and composition in this thesis. To demonstrate the effectiveness of our system, we test our implementation on both movie clips and video we captured.