以特徵點圖形為基礎的影像切割及視差值傳遞之多視角對應方法

Abstract

在本篇論文中，我們提出了一個創新的多視角圖片對應技術。 首 先 ， 我 們 使 用 尺 度 不 變 特 徵 轉 換(Scale-invariant feature transform 或 SIFT)在圖片之間取得初始的稀疏對應點。然後利用我們所提出的以特徵點為基礎之圖片區塊分割方法(feature graph-based image segmentation)，找到更多的特徵點，並且改善特徵點之間的對應結果。 為了去除位於物體邊緣附近錯誤對應的特徵點，我們將特徵點作分群，並且在最小生成樹(minimum spanning tree 或 MST)建立過程中，對每個特徵點群集做切割，藉以找到錯誤對應的特徵點。最後，我們傳遞那些稀疏特徵點對應而得的視差值(disparity)給其他未找到適當對應的像素，產生視差值圖(disparity maps)。在視差值傳遞的過程中，我們會藉由以特徵點為基礎，在最小生成樹上面的區塊擴張(feature-based region growing on MST)，決定每個像素的鄰近特徵點。我們提出的對應技術可以廣泛用於不同種類的場景，而且幾乎沒有需要使用者調整或設定的參數。我們拿 Middlebury 網站上的測試資料去評估演算法的準確率， 測試結果顯示平均的錯誤像素比例大約在百分之十。

In this paper, we propose a robust method for stereo matching. First,we use SIFT matching to generate initial sparse correspondence between images, and then use our feature graph-based image segmentation to discover more features and refine feature matching iteratively. To find outliers near objects’ boundary, we cluster the features into groups, and divide each feature group with minimum spanning tree construction. Finally, we generate disparity maps by propagating the disparity values of those sparse features to other near-by unmatched pixels. In the propagation process, we will determine each pixel’s neighbouring features via the feature-based region growing on the minimum spanning tree. It contains two stages: (1) local feature disparity selection and (2) global propagation using energy minimization. Our method can be applied to a wide variety of cases, only few parameters need to be adjusted or specified. We evaluate our algorithm using the cases in the website Middlebury[SSZ01], and the results show that the average of bad pixels is about 10%.