以區塊為基礎的立體影像合成與操作

Abstract

這篇論文呈現了一個以區塊為基礎的立體影像編輯與操作的架構。 為了有效且成功地解決立體影像編輯與操作時會遇到的困難與挑戰， 我們提出了一個無方向性加權的區塊合成技術。當計算相同大小區塊 間的相似度時，這個技術會考慮到深度的結構，並且根據不同的權重 貢獻不同的顏色。整個架構主要建立在最佳化的程序上，這個最佳化 合成立體影像的過程會不停地重複兩個步驟，一個是找到最適合在左 右眼的一組區塊，另一個則是修正像素的顏色。我們的方法很成功地 保存來源圖片原本的細節和深度的結構，與目前最常被使用在立體影 像編輯技術相比(Warping Approach)，我們的優點在於能夠處理空間錯 位以及當遇到物體被前景遮住或是從遮住變成沒有被遮住的狀況時， 能夠重新合成新的區塊來處理，而這些情況都是非常重要，並且要成 功地處理立體影像編輯時會遇到的難題。這項新的技術非常的多樣而 且適用於各式各樣不同的編輯狀況，包含改變影像的大小，改變影像 裡面物件的位置，或是重新調整立體影像的深度感覺。我們的技術所 產生出來的立體影像結果的品質以及自然程度都可以在使用者的測試 中顯現得出來。

This paper presents a framework for stereoscopic image manipulation based on patch synthesis. To address the challenges of stereoscopic image manipulation, we introduce an anisotropic weighted stereoscopic patch synthesis technique. It takes depth structures into account when measuring patch similarity and contributing to synthesis. An optimization procedure is employed to jointly synthesize both views by alternating between finding best matched patch pairs given images and refining pixel colors given patch matches. Our method preserves the texture details and depth structures of the source images. In contrast to popular stereoscopic warping approaches, the proposed method has the advantage of being capable of handling the spatial relation change and recreating occlusion/disocclusion, which are critical for successful stereoscopic image manipulations. The proposed technique is versatile and applicable to a variety of editing scenarios, including changing resolution, modifying content layout and remapping the depth range. User studies show that our method produces stereoscopic images with good stereoscopic quality and naturalness.