基於場效可程式化邏輯閘陣列優化之深度學習型視覺里程計

Abstract

視覺里程計（Visual Odometry, VO）技術能讓我們透過一連串影像流，精確地估測相機的定位與移動軌跡。傳統的視覺里程計多採用特徵點法，利用對極幾何理論結合影像特徵點的提取與匹配，來預測相機的姿態。近年來，隨著深度學習技術的快速發展，許多深度學習模型被廣泛應用於傳統視覺里程計的流程中，不僅增強了演算法的穩健性（Robustness），也取得了相較於傳統方法更為精準的結果。 隨著近年來擴增實境（AR）、虛擬實境（VR）技術的進步，視覺里程計的應用逐漸擴展至邊緣運算裝置，例如 AR/VR 眼鏡、無人機，以及自駕車等。雖然基於深度學習的視覺里程計相較於傳統方法具有更高的準確度，但其龐大的運算需求、記憶體占用，以及高功耗，卻讓這些方法難以直接部署到邊緣裝置。此外，視覺里程計演算法通常需要執行許多傳統電腦視覺的運算流程，例如特徵點提取與匹配、三角化（Triangulation），以及非線性優化等，這些運算在邊緣裝置的處理器上將很難快速執行。因此，設計基於演算法的硬體加速器成為解決此問題的重要方向。 在本論文中，我們提出了一個基於深度學習的視覺里程計硬體與軟體共同設計（Hardware-Software Co-Design）的加速系統。我們的系統整合了 ARM Cortex-A53 處理器、特徵點匹配加速器、位姿優化加速器，以及神經網路加速器，並將完整的系統與演算法部署於Xilinx UltraScale+ MPSoc ZCU104評估套件平台上。透過一系列硬體友好的演算法調整，實驗結果證明，我們能在保持準確度的同時，大幅提升硬體加速的效率。整合的深度學習加速器實現了相較於嵌入式處理器執行神經網路運算時高達255.6倍的加速。此外，我們設計的特定應用加速器（Application-Specific Accelerator）相較於嵌入式處理器，運算效率提升了13.7倍。最後，透過演算法特性實現的任務層級平行化（Task-Level Parallelism），我們能充分發揮硬體的運算效能，進一步將系統的吞吐量提升至原來的2.1倍。與其他基於深度學習的視覺里程計加速器相比，我們的系統在準確度上具有顯著優勢，並且實現了30.6 FPS的處理速度。

Visual Odometry (VO) estimates camera position and motion trajectories from image sequences. Traditional feature-based VO uses epipolar geometry and feature matching to predict camera poses. Recently, deep learning has improved VO by introducing more robust and accurate algorithms. As applications in Augmented Reality (AR), Virtual Reality (VR), drones, and autonomous vehicles grow, VO is increasingly deployed on edge devices. However, the computational complexity, memory usage, and power requirements of deep learning-based VO present challenges for edge deployment. Moreover, VO algorithms involve computationally intensive tasks like feature matching, triangulation, and nonlinear optimization, which are difficult to efficiently execute on edge processors. These limitations highlight the need for application-specific hardware-accelerated solutions. This work proposes a hardware-software co-designed learning-based VO system, integrating an ARM Cortex-A53 processor, feature matching and pose refinement accelerators, and a neural network accelerator. The system is deployed on the Xilinx UltraScale+ MPSoC ZCU104 platform. With hardware-aware optimizations, our system achieves significantly improved efficiency while maintaining accuracy. The neural network accelerator provides a 255.6×speedup over the embedded processor, and application-specific accelerators achieve a 13.7×improvement. Task-level parallelism improve the throughput by 2.1×by fully utilizing hardware resources. Compared to other deep learning-based VO accelerators, our system delivers superior accuracy and real-time performance at 30.6 FPS.