使用光束平差法轉換具有相機與物體運動之2D影片

Abstract

本論文針對有相機與物體運動的2D影片藉由找出背景深度而產生 背景影片之3D效果。首先，手動框出運動物體所在處， 再個別針對運 動物體與背景利用位置與顏色等限制條件來求得背景的深度值。 利用 求得之每張圖像幀的深度圖與相鄰圖像幀之影像來還原背景影像， 最 後即可利用求得之背景深度圖與還原之背景影像， 使用DIBR生成左眼 與右眼影像，在3D顯示設備下即可得到立體效果。 在預估深度值部分， 利用相機參數算得同一3D位置投影至不同時 間點的位置影像， 使用顏色與位置的限制條件找出最適合背景之深 度值， 此時針對是否為運動物體來調整限制條件， 目的是預估背景 之深度，故不考慮運動物體的資訊， 諸如運動物體之顏色與分割資 訊， 而運動物體遮掩之背景深度受其鄰近像素之深度影響。 最後， 使用背景的深度圖去回復背景影像， 有了背景的影像與深度圖後， 利 用DIBR生成左眼與右眼影片。

This thesis presents a system - convert 2-D video to 3-D video via the method for reconstructing good high-quality video dis- parity maps. First, find out the background disparity maps of videos which contain both camera motion and object motion in videos. we formulate it to a energy minimization problem by using color constraint and geometric constraint to recover disparity maps. The goal is to estimate background disparity, so we discard any information of moving objects (foreground), such as color and segmentation, and the disparity value of pixels occluded by foreground is affected by the disparity of its neighbors. Given background disparity maps, we recover background images. With background images and disparity maps, we synthesize left-eye view and right- eye view video pair by using depth image-based rendering (DIBR) method.