360 環景影片去手震

Abstract

這篇論文提出了一種解決360度環景影片手震問題的方法。 這類型的影片又可細分成兩種：圓柱型與球型。 針對傳統影片而設計的影片去手震演算法，會因為極度寬闊的視角而無法適切的運作在這類型的影片上。 我們觀察到對360影片來說，相機的旋轉必須極度平滑，來保持全域的動態一致性和避免景物的搖晃效果。 另外在虛擬實境的應用中，為了能讓播放畫面跟隨著使用者的視角，原始相機的旋轉也是必須被移除的。 我們的方法將旋轉自其他的相機運動中抽取出來，並使用不同的策略來平滑化各個部分。 首先我們會估計每個影格之間的旋轉量。 在移除了旋轉後，會套用一個利用網格操作的變形方法來處理剩餘那些因平移或視差造成的抖動。 不僅如此，我們還提出了一個新型的網格變形演算法，利用正二十面體與其延伸之多面體來處理球型影片。 適當的旋轉會在之後被決定並加回影片中，用以保持讓畫面非常平順，或另外根據使用者需求來調整。 另外，我們提供了一個傾斜校正的演算法，可用以移除令人不適的相機傾斜問題。 實驗顯現我們的方法可以有效的運用在製作穩定的360環景影片上。

This thesis presents a method for stabilizing panorama videos with 360◦ field of view. There are two types of panorama videos: cylindrical one and spherical one. Video stabilization methods for conventional videos do not work properly on these because of the extremely wide angle of view. We observe that rotation needs to be extremely smooth for 360◦ videos to maintain global motion coherency and avoid wobbling. It is also necessary to remove the camera rotation for the virtual reality application since the displaying view should follow the user’s viewpoint when playing the video. Our method decouples the rotation from other motions and applies different strategies for smoothing them. The method first estimates the rotations between frames. After removing rotations, a mesh-based image warping method is used to handle remaining jitters caused by camera translation and parallax. Furthermore, we propose a new type of mesh warping method using 3D icosphere mesh in the spherical case. The desired rotation can then be determined and restored by either heavily smoothing the original rotations or being assigned by the user interaction. Optionally, a tilt correction method can be applied to remove unwanted camera tilt. Experiments show that our method is effective in making steady 360◦ videos.