請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/8215
標題: | 基於深度學習方法之相機定位 Camera Re-Localization with Deep Learning Methods |
作者: | Yu-Lin Tsai 蔡侑霖 |
指導教授: | 洪一平(Yi-Ping Hung) |
關鍵字: | 基於影像的定位,相機定位,深度學習,擴增實境, Image-based localization,Camera pose estimation,Deep learning,Augmented Reality, |
出版年 : | 2020 |
學位: | 碩士 |
摘要: | 基於影像的定位是希望透過影像資訊推測相機自我位置的問題,同時,對於自駕車、擴增實境、智慧機器人來說是一個關鍵且基礎的技術。近年來,隨著算力的提升和深度學習的發展,許多研究嘗試利用卷積網路強大的特徵描述能力來幫助相機自我定位。然而,當使用場域改變時,這些方法都必須花很多力氣和時間重新訓練其模型,同時顯示其泛化能力相當受到限制。基於圖像搜索概念的定位架構提升了在不同場景的泛化能力,但在預測相機相對位置時而會受限於場景。我們基於圖像檢索的概念提出了一個相機定位的架構,在計算相機相對位置時討論了更多傳統的空間幾何。同時,我們也嘗試用深度學習的方法預測影像深度資訊並加強了我們方法的定位精準度。實驗結果顯示我們的方法和現在最先進的方法有並駕齊驅的定位能力,此外,利用模型壓縮讓我們的定位流程能達到幾乎即時運行。因此,我們認為融合傳統相機方法和深度學習是一個相當有潛力的發展方向。 Image-based localization is used to estimate the camera poses within a specific scene coordinate, which is a fundamental technology towards augmented reality, autonomous driving, or mobile robotics. As the advancement of deep learning, end-to-end approaches based on convolutional neural networks have been well developed. However, these methods suffer from the overhead of reconstructing models while been applied to unseen scene. Therefore, image retrieval-based localization approaches have been proposed with generalization capability. In this paper, we follow the concept of image retrieval-based methods and adopt traditional geometry calculation while performing relative pose estimation. We also use the depth information predicted from deep learning methods to enhance the localization performance. The experimental result in indoor dataset shows the state-of-the-art accuracy. Furthermore, by distilling and sharing the encoder of global and local feature, we make our system possible for real-time application. Our method shows great potential to leverage traditional geometric knowledge and deep learning methods. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/8215 |
DOI: | 10.6342/NTU202003304 |
全文授權: | 同意授權(全球公開) |
顯示於系所單位: | 資訊網路與多媒體研究所 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
U0001-1308202017410300.pdf | 11.05 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。