使用單一魚眼相機與自我監督學習特定領域深度於可遷移之可通行性估計

Abstract

自主移動機器人與基於視覺之智能輔助科技在未來將會無處不在於所有人的生活中。其中，為了確保使用上的安全，可通行性分析是這些應用中不可或缺的一環。除了準確度以外，是否能夠適應於各種不同的環境與平台是另一個在設計可通行性分析方法時需要被考慮的重要部分。 因此，針對可通行性估計，本論文提出一個兩階段式之卷積神經網路。在第一階段，不同環境之彩色影像將透過特定領域之深度估計網路轉換成各自的相對深度圖，進而降低原先不同環境之彩色影像彼此之間的領域差異。為了避免需要在不同環境蒐集深度影像以供監督式學習，本論文延伸自我監督學習的方法於魚眼影像，並藉此訓練這些特定領域之深度估計網路。在第二階段，不同環境之相對深度圖，其可通行的機率將透過一個通用可通行性估計網路判斷。基於深度影像擁有較小領域差異之假設，此通用可通行性估計網路僅使用來源領域之資料做監督式學習。 透過真實蒐集之資料顯示，本論文所提出之方法擁有在不同環境間較高的轉移性，並同時擁有具競爭力之準確度。此外，在此特定領域之前提下，本論文所使用之神經網路擁有合理的模型複雜度並僅需要單一一個魚眼相機，有很大的潛力被應用於資源限制較大之平台。

Autonomous mobile robots and vision-base intelligent assistive technolo- gies are going to be indispensable in everybody’s lives. Among these appli- cations, traversability estimation (TE) is one of the most significant com- ponent to guarantee people’s safety. Besides accuracy, transferability across different environments and platforms is another important design consider- ation for TE. In this thesis, a two-stage convolutional neural network is proposed for TE. Input color images are first translated to relative depth maps by domain-specific depth estimation networks. These networks are used to align different domains and are trained with an extended version of self- supervised learning method dedicated to fisheye images. After that, an universal classification network trained in the source domain is used to es- timate traversability with relative depth maps from all domains. Experiments on the real-world data show that the proposed method has competitive accuracy with higher transferability among different environ- ments. In addition, it has a reasonable model complexity under domain- specific premise and requires only a single fisheye camera, which is also suitable for resource-constrained platforms.