基於深度稀疏訊號之可學習式擴展架構用以深度預測

Abstract

深度預測在日常生活應用上扮演重要角色，例如機器人領域、3D重建、擴增實境及自駕車。過去許多方法使用額外的深度訊號如光達或雷達讓深度預測更加準確（引導式深度預測），但這樣的訊號覆蓋率不高，以及分佈不均勻。為了能夠完整利用這樣的深度訊號，我們根據稀疏訊號的特性，提出了Sparse Signal Superdensity (S3)方法，能夠將稀疏不均勻的訊號擴展並得到密度較高的深度圖，外加一張衡量擴展程度的信心圖。S3可以應用在各種引導式深度預測上，做到端對端訓練，並包括不同應用階段：輸入、匹配代價卷、輸出和3D空間。大量的實驗展現了我們方法在光達和雷達的有效性、魯棒性及應用上的彈性。