以生成式對抗網路與選擇性分類技術之實時語意分割錯誤偵測

Abstract

現今的語意分割方法因缺乏偵測錯誤以及輸出信心指數的能力，較難以實際運用到許多安全至上的應用中，例如:自動駕駛。因此本研究針對這些問題，提出了一套語意分割錯誤偵測框架，讓使用者可以透過對輸出設定一個特定的閾值，了解到此語意分割模型對於現在的環境辨識狀況，信心指數，以及哪些東西是辨識錯誤的。本研究的框架透過生成式對抗網路還原語意分割的結果，並藉由一個比較模組比較原始圖像與重新生成的圖像以預測每個像素的信心指數，最後利用選擇性分類選定一個合適的閾值以判定圖中哪些像素為辨識錯誤。其中本研究提出了一個嶄新的比較模組SiameseFPN，能夠針對原始圖像與生成圖像進行更好的分辨，達到更好的效能，最終在Cityscape資料集中達到AUC=93.61、AUPR-ERROR=58.92以及FPR95=22.39，均為現今方法中的最佳，並且能在單張NVIDIA RTX 2080Ti 顯示卡上達到30FPS以上的推論速度，可以應用在大部分的實時語意分割模型。