Skip navigation

DSpace

機構典藏 DSpace 系統致力於保存各式數位資料(如:文字、圖片、PDF)並使其易於取用。

點此認識 DSpace
DSpace logo
English
中文
  • 瀏覽論文
    • 校院系所
    • 出版年
    • 作者
    • 標題
    • 關鍵字
  • 搜尋 TDR
  • 授權 Q&A
  • 幫助
    • 我的頁面
    • 接受 E-mail 通知
    • 編輯個人資料
  1. NTU Theses and Dissertations Repository
  2. 電機資訊學院
  3. 電機工程學系
請用此 Handle URI 來引用此文件: http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/66990
標題: 以多視圖序列學習作基於圖像之三維模型跨域搜索
Cross-Domain Image-Based 3D Shape Retrieval by View Sequence Learning
作者: Tang Lee
李唐
指導教授: 徐宏民
共同指導教授: 黃寶儀
關鍵字: 三維模型,卷積神經網路,三元神經網路,跨域度量學習,
3D Shape,Convolutional Neural Network,Triplet Neural Network,Cross-Domain Metric Learning,
出版年 : 2017
學位: 碩士
摘要: 我們提出一個用於跨領域基於自然圖片之三維模型搜尋的方法,可端對端學習圖片及三維模型共同的特徵空間。我們可根據圖片和三維模型之相似度搜尋,相似度則可由二者在特徵空間中的距離求得。首先,我們提出一個三維模型的特徵抽取方法,稱為跨視圖卷積 (cross-view convolution, CVC)。跨視圖卷積將三維模型之不同角度的二維視圖特徵根據其順序結合,以得出三維模型的整體特徵。為拉近二維自然圖片特徵和三維模型特徵之間領域的差異,我們提出了跨領域 三元神經網路 (cross-domain triplet neural network, CDTNN)。該模型在類神經網路中加入一個轉換層,使得圖片特徵經過轉換後能直接與三維模型特徵比較。該模型可以端對端地訓練。最後,我們提出加速版本的跨領域三元神經網路訓練的方法,大幅減少訓練時間。為實驗模型有效性,我們建立了一個龐大的資料集,其中包含自然圖片和三維模型。實驗結果顯示,我們的方法勝過其他當前最好的方法。同時我們也實驗了各種不同的網路結構設計,以減少記憶體及計算資源的使用。
We propose a cross-domain image-based 3D shape retrieval method, which learns a joint embedding space for natural images and 3D shapes in an end-to-end manner. The similarities between images and 3D shapes can be computed as the distances in this embedding space. To better encode a 3D shape, we propose a new feature aggregation method, Cross-View Convolution (CVC), which models a 3D shape as a sequence of rendered views. For bridging the gaps between images and 3D shapes, we propose a Cross-Domain Triplet Neural Network (CDTNN) that incorporates an adaptation layer to match the features from different domains better and can be trained end-to-end. In addition, we speed up the triplet training process by presenting a new fast cross-domain triplet neural network architecture. We evaluate our method on a new image to 3D shape dataset. Experimental results demonstrate that our method outperforms the state-of-the-art approaches in terms of retrieval performance. We also provide in-depth analysis of various design choices to further reduce the memory storage and computational cost.
URI: http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/66990
DOI: 10.6342/NTU201703061
全文授權: 有償授權
顯示於系所單位:電機工程學系

文件中的檔案:
檔案 大小格式 
ntu-106-1.pdf
  目前未授權公開取用
5.68 MBAdobe PDF
顯示文件完整紀錄


系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。

社群連結
聯絡資訊
10617臺北市大安區羅斯福路四段1號
No.1 Sec.4, Roosevelt Rd., Taipei, Taiwan, R.O.C. 106
Tel: (02)33662353
Email: ntuetds@ntu.edu.tw
意見箱
相關連結
館藏目錄
國內圖書館整合查詢 MetaCat
臺大學術典藏 NTU Scholars
臺大圖書館數位典藏館
本站聲明
© NTU Library All Rights Reserved