在自然場景下之虛擬試穿

Abstract

虛擬試穿將衣服商品及使用者之影像生成出該使用者穿試該衣服之結果影像。是近年進步不少的的研究方向，但還是很難實作在真實用途的場合。一個好的虛擬試穿不僅需要能合理的把一件以上的衣服影像試穿在使用者身上，更需要考慮在拍攝商品影像跟使用者影像之間存在的光線差異也要考慮進去。但是，之前的不論以生成為基礎的或者是以扭曲為基礎的研究都沒有考慮以上實際現實場合會碰到的問題。他們皆不能處理使用者要分層穿著風格所帶來的商品影像與試穿者身上的巨大差異，也沒考慮到以上所說之影像之間的光線差。因此我們基於以上問題提出一個新方法去處理，針對分層穿著所帶來之差異的部分，利用人類理解知識去改變屬於該衣服的區域從而扭曲至合理影像。而針對直接忽略衣服與使用者影像之光線差來利用平均絕對誤差之損失函數所帶來生成影像中含有假影之問題，利用使用者影像能取得的光線資訊以及在增加一個內在影像分解模塊去避免上述直接對結果影像與基準真相作平均絕對誤差之損失函數的訓練所會帶來的問題。