基於卷積神經網絡的髮型消除與轉換

Abstract

本篇論文提出了一個自動化修改頭髮的方法，其中第一個神經網絡能夠自動將影像中人的頭髮給消去，第二個神經網絡則可以將另一張影像中人的髮型加到一張光頭的人的頭上。在過去的許多研究中，都涉及到了人的肖像的風格轉換，包括年齡、性別以及頭髮顏色的轉換，甚至還有面部表情的轉換，並且大部分的研究都取得了很大的成果。但是，針對髮型轉換的研究則很少有人涉及，已經存在的方法也並不能直接應用于髮型的轉換產生正確的頭髮。我們的方法使用了修改后的循環一致性對抗卷積神經網絡。首先，我們將一個人的頭像和它臉部的模板輸入到一個深度卷積神經網絡當中，將他的頭髮抹去變成光頭。之後，我們再將結果影像和另一張參考的影像，以及原來的人臉部的模板，一同輸入到另一個深度卷積神經網絡中，生成一張帶有原來影像的人臉和參考影像中的人的髮型的結果。實驗結果顯示出我們不僅可以將一個人的頭髮給消除變成光頭，也可以自然將另一個人的頭髮轉換到這個人的頭上。

This thesis proposed an automatic method for editing a portrait photo so that the people looks have the same hairstyle as other people in the reference photo. Recent works have shown great improvements in a lot kind of human portrait image-to-image style transfer, including the transfer of age, gender, hair color, and even facial expressions. However, style transfer for hairstyle is still untouched, existing methods can not change a person’s hairstyle correctly. Our approach relies on a modified framework of cycle-consistent generative adversarial networks. We first feed a portrait photo with its face mask into a UNET to remove a person’s hair in that photo. Then this photo is combined with another reference photo and a face mask. Then we feed this combined photo into another UNET to generate a new portrait photo, which has the original person face and the hairstyle from the referenced photo. The results show that we can not only remove a person’s hair in a portrait photo but also add hairstyle from another reference photo into the portrait.