StylePart: 基於影像之物體形狀組件編輯

Abstract

近期有許多利用對抗生成網路與形狀控制來達成圖像編輯的技術被發表，在形狀控制的例子中，3D Morphable Model (3DMM) 被拿來進行臉部圖像編輯的控制器。然而，目前並沒有一套允許使用者有系統的編輯人造物(例如：椅子、桌子、杯子等)的編輯方法。這其中主要理由是「在圖像上的編輯操作」與「三維操作」沒有一套很好的對應關係。 藉由利用圖像生成模型與三微形狀生成模型的優點，本文提出了一套流程讓使用者能直接於圖像上以物體部位為單位進行編輯，而「如何建立三維形狀特徵空間與圖像生成特徵空間之間的對應關係」即為此方法的重點。在本文提出的方法中，一張輸入圖像會先藉由一個前向對應函數連結到一個相應的三維形狀，使用者可以透過編輯該形狀來引導圖像做出相應的變化。本文展示了許多應用此方法的編輯作業：部位更換、部位大小調整以及視角操作，並進行大量且全面的實驗來評估此方法的有效性。