請用此 Handle URI 來引用此文件：
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/50427完整後設資料紀錄
| DC 欄位 | 值 | 語言 |
|---|---|---|
| dc.contributor.advisor | 王傑智(Chieh-Chih Wang) | |
| dc.contributor.author | Yun-Jun Shen | en |
| dc.contributor.author | 沈贇珺 | zh_TW |
| dc.date.accessioned | 2021-06-15T12:40:19Z | - |
| dc.date.available | 2016-08-02 | |
| dc.date.copyright | 2016-08-02 | |
| dc.date.issued | 2015 | |
| dc.date.submitted | 2016-07-27 | |
| dc.identifier.citation | Alhwarin, F., Ferrein, A., & Scholl, I. (2014). Ir stereo kinect: improving depth images by combining structured light with ir stereo. In PRICAI 2014: Trends in Artificial Intelligence (pp. 409–421). Springer.
Barrera, F., Lumbreras, F., & Sappa, A. D. (2012). Evaluation of similarity functions in multimodal stereo. In Image Analysis and Recognition (pp. 320–329). Springer. Ben-Ari, R. & Sochen, N. (2010). Stereo matching with mumford-shah regularization and occlusion handling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(11), 2071–2084. Bensrhair, A., Mich´e, P., & Debrie, R. (1996). Fast and automatic stereo vision matching algorithm based on dynamic programming method. Pattern Recognition Letters, 17(5), 457–466. Bleyer, M. & Gelautz, M. (2007). Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions. Signal Processing: Image Communication, 22(2), 127–143. Bouguet, J.-Y. (2013). Camera calibration toolbox for matlab. Bradski, G. Opencv library. Dr. Dobb’s Journal of Software Tools. Chiu,W.-C., Blanke, U., &Fritz, M. (2011a). I spy with my little eye: Learning optimal filters for cross-modal stereo under projected patterns. In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), (pp. 1209–1214). Chiu, W.-C., Blanke, U., & Fritz, M. (2011b). Improving the kinect by cross-modal stereo.In BMVC, volume 1, (pp.˜3). Citeseer. Choe, G., Park, J., & Kweon, Y.-W. T. I. S. Exploiting shading cues in kinect ir images for geometry refinement. Cimpoi, M., Maji, S., Kokkinos, I., Mohamed, S., & Vedaldi, A. (2013). Describing textures in the wild. arXiv preprint arXiv:1311.3618. de La Garanderie, G. P. & Breckon, T. (2014). Improved depth recovery in consumer depth cameras via disparity space fusion within cross-spectral stereo. In Proc. British Machine Vision Conference, (pp. 417–1). Gupta, M., Yin, Q., & Nayar, S. K. (2013). Structured light in sunlight. In IEEE International Conference on Computer Vision (ICCV), (pp. 545–552). Hirschmuller, H. (2008). Stereo processing by semiglobal matching and mutual information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(2), 328–341. Mauer, C. (2009). Measurement of the spectral response of digital cameras with a set of interference filters. Mertz, C. (2014). Observing optically challenging objects with structured light. In Imaging Systems and Applications, (pp. JW3A–6). Optical Society of America. Mertz, C., Koppal, S. J., Sia, S., & Narasimhan, S. (2012). A low-power structured light sensor for outdoor scene reconstruction and dominant material identification. In 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), (pp. 15–22). Scharstein, D. & Szeliski, R. (2002). A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International journal of computer vision, 47(1-3), 7–42. Shen, X., Xu, L., Zhang, Q., & Jia, J. (2014). Multi-modal and multi-spectral registration for natural images. In Computer Vision–ECCV 2014 (pp. 309–324). Springer. Somanath, G., Cohen, S., Price, B., & Kambhamettu, C. (2013). Stereo+ kinect for high resolution stereo correspondences. In IEEE International Conference on 3DTV-Conference, (pp. 9–16). Taylor, J. R. (1997). An introduction to error analysis: The study of uncertainties in physical measurements. 2nd ed. Torabi, A. & Bilodeau, G.-A. (2011). Local self-similarity as a dense stereo correspondence measure for thermal-visible video registration. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on, (pp. 61–67). Varma, M. & Zisserman, A. (2009). A statistical approach to material classification using image patch exemplars. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2032–2047. | |
| dc.identifier.uri | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/50427 | - |
| dc.description.abstract | 近年來，低成本的RGB-D攝像機例如微軟的Kinect，華碩的Xtion正逐漸變為主流的研究設備。然而，絕大部分這樣的設備是為室內環境使用而設計的。當這些設備移到室外環境下工作時，它們往往會出現各種不穩定的狀況，如深度測量距離變短，深度圖像破碎等。這是由於這些設備的工作機制是依賴於檢測其所投影的紅外圖像的扭曲程度。相比於室內環境，室外環境下環境光中的紅外光強度較高。較強的環境光使得RGB-D攝影機難以捕捉到投影的紅外圖像，從而導致無法計算深度信息。
在此論文中，我們討論了如何利用RGB-D攝影機自身的紅外攝影機以及彩色攝影機進行立體視覺匹配來恢復室外環境下丟失的深度信息。對紅外圖像以及彩色圖像進行立體視覺匹配來恢復室外環境下丟失的深度信息。對紅外圖像以及彩色圖像進行立體視覺匹配是一項富有挑戰的任務。由於紅外光譜和可見光譜之間的重疊較小，使得同樣的物體在不同光譜攝影機下有著不同的色彩表現。在這篇論文中，我們提出了一種基於物體材質信息的多光譜色彩轉換方法。並通過對轉換後的彩色圖像，原始紅外圖像以及原始深度圖像進行聯合視差信息恢復的方式來提升RGB-D攝影機在室外環境下的表現。為了評估所提出的方法，我們利用RGB-D攝影機採集了一組全新的影像數據庫。對我們採集的數據庫進行試驗後，結果證明此論文所提出的方法的確有效地恢復了絕大部分RGB-D攝影機所缺失的深度信息。 | zh_TW |
| dc.description.abstract | Structured-light based 3D cameras such as Microsoft's Kinect or Asus's Xtion are popular low-cost RGB-D sensors recent years. However, most of these sensors are assumed to be used in indoor environments with moderate ambient light. Once these devices are taken to outdoor scenes, the bright sunlight makes the projected pattern obscure to be seen and causes the dramatic reduction of working range. While IR pattern disappears in sunlight, the background becomes bright and clear in IR image. This brings the opportunity to use stereo algorithms on RGB and IR image to recover the unmeasured depth.
In this work, we investigate the possibility of recovering the unmeasured depth information of the structured light device via stereo matching in outdoor scenes. Densely matching RGB and IR images is a challenging task since they represent the information in two almost non-overlapped spectrums. Different from other edge-based cross spectral stereo approaches, we analyze the camera imaging model and found the hidden relation between the RGB and IR spectrum in material level. Based on this relation, we propose a material-based color conversion method to make the cross-spectral problem become a general stereo problem. In addition, we also introduce a way to utilize depth information in the stereo disparity optimization stage. To evaluate our method, an outdoor dataset is collected via Xtion. The experiment results show that the proposed method works well the estimating of depth for the regions Xtion failed to compute. | en |
| dc.description.provenance | Made available in DSpace on 2021-06-15T12:40:19Z (GMT). No. of bitstreams: 1 ntu-104-R02944046-1.pdf: 40484749 bytes, checksum: 88e6aab545dad76c82630bbbf245de2e (MD5) Previous issue date: 2015 | en |
| dc.description.tableofcontents | Table of Contents
ABSTRACT : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : ii LIST OF FIGURES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : iv LIST OF TABLES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : v CHAPTER 1. Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 CHAPTER 2. RelatedWorks : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 CHAPTER 3. Stereo Feasibility Verification : : : : : : : : : : : : : : : : : : : : : : : 6 3.1. Xtion Calibration and Rectification : : : : : : : : : : : : : : : : : : : : : : : : 6 3.2. Stereo Error Model : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 CHAPTER 4. Investigation of Cross-spectral Color Relation : : : : : : : : : : : : : : 10 4.1. Camera Model Building : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10 4.2. Relation of Different Channels : : : : : : : : : : : : : : : : : : : : : : : : : : 11 4.3. Color Conversion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 4.3.1. Material Color Space : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 4.3.2. Material Based Color Conversion : : : : : : : : : : : : : : : : : : : : : : 14 CHAPTER 5. Stereo Matching Method : : : : : : : : : : : : : : : : : : : : : : : : : : 17 5.1. Block Matching : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 5.2. Disparity Optimization : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 5.2.1. Joint Semi-Global Optimization : : : : : : : : : : : : : : : : : : : : : : : 18 5.2.2. Sub-pixel interpolation : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 5.3. Disparity Refinement : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21 5.3.1. Modified Joint Bilateral Filter : : : : : : : : : : : : : : : : : : : : : : : : : 21 5.3.2. Consistency Check : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 22 CHAPTER 6. Experiments : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 6.1. Data Set : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24 6.2. Material Based Color Conversion Evaluation : : : : : : : : : : : : : : : : : : 24 6.3. Depth Recover Evaluation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 28 CHAPTER 7. Conclusion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 32 BIBLIOGRAPHY : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 33 | |
| dc.language.iso | en | |
| dc.subject | 立體視覺 | zh_TW |
| dc.subject | 材質 | zh_TW |
| dc.subject | 立體視覺 | zh_TW |
| dc.subject | RGB-D攝影機 | zh_TW |
| dc.subject | 多光? | zh_TW |
| dc.subject | 材質 | zh_TW |
| dc.subject | RGB-D攝影機 | zh_TW |
| dc.subject | 多光? | zh_TW |
| dc.subject | Stereo | en |
| dc.subject | Cross-spectral | en |
| dc.subject | Stereo | en |
| dc.subject | RGB-D Camera | en |
| dc.subject | Material | en |
| dc.subject | Cross-spectral | en |
| dc.subject | RGB-D Camera | en |
| dc.subject | Material | en |
| dc.title | 以多光譜立體視覺技術提升RGB-D攝影機在室外環境下深度估測準確度 | zh_TW |
| dc.title | Extending Structured-light RGB-D Cameras in Outdoor Scenes via Cross-spectral Stereo | en |
| dc.type | Thesis | |
| dc.date.schoolyear | 104-2 | |
| dc.description.degree | 碩士 | |
| dc.contributor.oralexamcommittee | 胡竹生(Jwu-Sheng Hu),林文杰(Wen-Chieh (Steve),林惠勇(Huei-Yung Lin) | |
| dc.subject.keyword | 多光?,立體視覺,材質,RGB-D攝影機, | zh_TW |
| dc.subject.keyword | Cross-spectral,Stereo,RGB-D Camera,Material, | en |
| dc.relation.page | 35 | |
| dc.identifier.doi | 10.6342/NTU201601331 | |
| dc.rights.note | 有償授權 | |
| dc.date.accepted | 2016-07-28 | |
| dc.contributor.author-college | 電機資訊學院 | zh_TW |
| dc.contributor.author-dept | 資訊網路與多媒體研究所 | zh_TW |
| 顯示於系所單位： | 資訊網路與多媒體研究所 | |
文件中的檔案：
| 檔案 | 大小 | 格式 | |
|---|---|---|---|
| ntu-104-1.pdf 未授權公開取用 | 39.54 MB | Adobe PDF |
系統中的文件，除了特別指名其著作權條款之外，均受到著作權保護，並且保留所有的權利。