應用於三維道路物件偵測之體素與像素融合網路

Abstract

傳統上，汽車工業為硬體導向產業，近年來，深度學習爆炸性的成長，將電腦視覺推向嶄新的境界。因此，自動駕駛的可能性不再是不可觸及的夢想。其中自動駕駛的第一環節即是感知環境，常見的感測器如光達、攝影機等，利用各種感測器的提供的資訊偵測出道路上的物件。然而各種感測器皆有其優勢及劣勢，因此多感測器融合是一個有效提升偵測結果的方式。本論文旨在提出一種深度學習方法，整合光達點雲與攝影機影像特徵並且偵測出三維道路物件。 本論文提出一種創新且基於融合的三維物件偵測網路，稱作「體素與像素融合網路」。位於其中的「體素與像素融合層」包含了「參數特徵生成」、「基於參數的權重調整」和「體素與像素融合」，共三個模組，能根據幾何關係雙向地融合一對體素與像素的特徵。此外，我們提出的「體素與像素參數」能考慮每一對體素與像素的特性，並加強融合效果。 本研究使用知名的KITTI資料集訓練模型，並於官方未公開標註的測試集評估。實驗結果顯示本方法在多類別與多難度的三維物件偵測平均精確度達到65.99%。值得注意的是，我們的方法在KITTI排行榜中具有挑戰性的行人類別位居第一名。