請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/89711
標題: | CTGAN: 基於 StyleGAN2 編碼器之條件式紋理貼圖生成器 CTGAN: Learning Conditional Texture Generator via StyleGAN2 Encoder |
作者: | 潘奕廷 Yi-Ting Pan |
指導教授: | 莊永裕 Yung-Yu Chuang |
關鍵字: | 紋理貼圖生成,條件對抗式網路,編碼器,電腦視覺,深度學習, Texture Generation,Conditional GANs,Encoder,Computer Vision,Deep Learning, |
出版年 : | 2022 |
學位: | 碩士 |
摘要: | 3D 模型最普遍的表示法由幾何 (geometry) 與紋理 (texture) 兩個資訊所組成,其中紋理資訊包含了多種不同的材質 (materials) 貼圖,透過改變材質的屬性資訊,相同的 3D 模型能呈現出不同的視覺感受。過去為 3D 模型製作一張貼圖需要專業人員耗費大量時間才能完成,近年來,隨著深度學習的興起,生成對抗網路(GAN)在電腦視覺與電腦圖學等領域中取得了巨大的進展,其中 StyleGAN2 因具備生成高解析度逼真合成影像的能力以及其架構對於影像潛在空間有著良好的操控潛力而備受關注。許多研究中已透過調整不同尺度下的風格碼輸入,達到控制合成影像不同屬性的生成結果。然而,儘管在 2D 合成影像上取得了驚人的結果,為 3D 模型生成逼真的紋理貼圖仍然是個困難的任務。在這篇論文中,我們使用 StyleGAN2 作為紋理貼圖生成器,對於使用者輸入的 3D 模型,我們透過六面圖投影的方式,將模型以 2D 圖片表示 3D 的紋理與形狀,利用 StyleGAN2 生成出高解析度逼真的紋理貼圖。此外,我們提出了一個基於語意資訊的 StyleGAN2編碼器,透過使用者對六面圖進行少量的語意標註,編碼器能根據輸入的語意資訊生成更加符合模型幾何結構的風格碼,使得 StyleGAN2 生成出更加貼合模型的紋理貼圖。我們也結合了 StyleGAN2 的風格編碼器,使用者能輸入指定的風格圖片來決定紋理貼圖的生成風格。我們的訓練流程中全程使用 2D 影像作為訓練資料,過程中並未使用到任何真實世界的 3D 資料,減少了訓練資料收集的難易度。經過我們的實驗證實,我們的方法相較於前人的方法有更好的生成結果。 The representation of a 3D model consists of geometry and texture information, and texture information includes different types of materials. The same 3D model can be demonstrated with different visual effects by changing the value of attributes in materials. However, creating a texture is time-consuming and needs professional skills. In recent years, generative adversarial networks (GANs) have demonstrated compelling image synthesis results. Among them, StyleGAN2 has attracted much attention for its ability to generate photo-realistic images and disentangled latent space. Many research has proposed diverse approaches to control the generated results by manipulating latent codes. However, despite the impressive results on 2D images, generating photo-realistic textures for 3D models is still challenging. In this paper, we use StyleGAN2 as a texture generator. Given a 3D model, we first parameterize the 3D models to a 2D domain using the view-based texture projection parameterization, then generate the texture with a pretrained StyleGAN2 generator. We proposed a segmentation-based StyleGAN2 encoder, which encodes input segmentation maps to style codes that control the geometry part of generated results. We also employ another StyleGAN2 encoder for encoding the style images to style codes that control the style part of generated results. Our training process only uses 2D images as training data, reducing data preparation’s difficulty. In our experiments, we demonstrate that our method can generate better results compared with previous approaches. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/89711 |
DOI: | 10.6342/NTU202204204 |
全文授權: | 同意授權(限校園內公開) |
顯示於系所單位: | 資訊工程學系 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
ntu-111-1.pdf 授權僅限NTU校內IP使用(校園外請利用VPN校外連線服務) | 22.86 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。