針對影片合成應用之三維模型於彩色及深度顯示系統

Abstract

近年來三維影像及影片已達到很高的成熟度，現今市場上存在著很多三維相機及三維顯示器的產品。在現今的三維系統中，最廣泛使用的格式是彩色及深度並存的影片。本論文的重點即在利用彩色及深度的資料，進行三維影片的合成。 首先，本論文會先簡介三維系統中的各項流程，並且指出系統中重要的研究議題及挑戰。本論文提出的演算法及處理三維影片的技巧共分成三個部份：第一部份是處理深度圖片的演算法，第二部份是偵測三維模型的技術，第三部份是利用前述的技巧進行影片合成的應用。最後會總結本論文的重點及貢獻，並討論未來能再繼續研究的議題。 第一部份針對深度圖片中不完善的區域進行改良，本論文提出了兩個演算法。第一個演算法利用了影像邊緣的特性，執行了對深度圖片的完善運算，改善了存在物體邊界附近錯誤及未偵測到的深度值。另外由於深度圖片精確度的關係，在三維模型中產生了深度量化後的錯誤，第二個演算法利用了一個優化框架，減低了因深度量化錯誤產生的問題。處理過後的資料在顯示三維點雲場景時，提供了更好的視覺效果。 第二部份提出了兩個偵測三維點雲中三維模型的演算法。第一個演算法根據超級體積像素使用了聚合式表面成長的技術，用於偵測三維點雲中的平面及曲面。第二個演算法從多視角彩色及深度影片中提取了三維點雲背景模型。本論文在此部份提出的演算法對無組織三維資料進行了幾何推理，如此便可提供理解場景的可能性，進而實行三維影片的合成。 第三部份實作了兩個影片合成的應用。第一個應用使用了背景表面模型合成多視角擴增影片，將額外資訊在不影響原觀賞效果下合成進多視角影片。第二個應用利用了有效率的三維濾波器合成虛擬視角影片，為原本視角數量有限的多視角影片提供了更多可觀看的視角。這些利用本論文提出的方法合成的影片，提供了在彩色及深度顯示系統中不同以往的觀看經驗。

Recently, three-dimensional (3D) image and video systems have attained a high level of maturity. There are many off-the-shelf 3D acquisition and display devices. In current 3D systems, RGB plus depth (RGB-D) videos are the most widely-used format. This dissertation focuses on the techniques using RGB-D data for video synthesis applications. First of all, we introduce the systems and point out the challenges in the systems. Then, we divide the proposed algorithms and techniques into three parts: depth processing, 3D modeling, and video synthesis applications. Finally, we give a conclusion and discussion for future research. The first part states two proposed techniques for defective depth images. The missing and uncertain depth values near object boundaries are corrected using edge-aware depth completion. The depth quantization errors introduced by depth image precision are reduced using an optimization framework. The processed data give better visual quality when visualizing the point-cloud 3D scene. The second part states two proposed 3D modeling techniques for point-cloud data. The planar and curved surfaces are detected using supervoxel-based agglomerative surface growing. The point-cloud background modeling is extracted from a multi-view RGB-D video. The geometric reasoning of unorganized data provides the possibility of understanding the data and synthesizing additional information. The third part states two implemented video synthesis applications. Multi-view augmented videos are synthesized using surface-based background modeling. Virtual view videos are synthesized using an efficient 3D filter. The synthesized videos shows different viewing experience of RGB-D display systems.