請用此 Handle URI 來引用此文件:
http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/84867
標題: | 運用混合神經網路融合於基於深度之全幅視訊穩定 Depth-Based Full-Frame Video Stabilization Using Hybrid Neural Fusion |
作者: | Chien-Cheng Chen 陳建丞 |
指導教授: | 洪一平(Yi-Ping Hung) |
關鍵字: | 影片穩定,深度估測,相機姿態估測,影像合成,深度學習, video stabilization,depth estimation,camera pose estimation,view synthesis,deep learning, |
出版年 : | 2022 |
學位: | 碩士 |
摘要: | 影片穩定是一種減少影片中不想要的晃動並保留影片主要運動軌跡的技術, 特別是對於手持拍攝裝置,因為在拍攝影片時更容易產生晃動,所以更需要仰賴 影片穩定這項技術。以往許多影片穩定方法做出的結果,需要透過裁切或者放大 來解決因為轉換之後造成的影像資訊流失,進而造成穩定影片的視野相對於原始 影片變得比較小,對於一些晃動較為劇烈的影片,為了達到穩定的結果,常常導 致過度裁切而影響觀看的品質。我們提出了一個基於三維深度資訊及影像融合的 深度學習影像穩定方法,來產生全幅且高品質的影片穩定結果。首先我們利用兩 個卷積神經網路對於輸入影片進行最佳化學習以用來估測場景的深度與相機的三 維運動軌跡。接著我們對於重建出的相機運動軌跡進行平滑處理,並計算原始相 機軌跡與平滑相機軌跡之間的轉換,為了填補邊緣區域在經過轉換後遺失的影像 資訊,我們將多張相鄰幀轉換到關鍵幀進行影像融合,我們分別在特徵尺度和影 像尺度進行了兩次的融合。實驗結果顯示,我們提出方法與先前的方法相比,能 夠產生低失真的全幅影片穩定結果。 Video stabilization is a technique used to reduce the undesired shakes and jitters of videos. Existing methods often require cropping due to the loss of pixels around the image boundaries after warping, leading to a smaller field of views. For shaky videos, the over-cropping issue is even more severe in order to stabilize the videos. We propose 3D Full-frame Stabilizer (3DFS), a 3D depth-based deep learning method using hybrid fusion for full-frame video stabilization. We first optimize two CNNs directly on the input video to predict scene depths and camera poses. We then smooth the reconstructed camera trajectory and estimate the warping field between original and smoothed trajectories. To render the loss pixels around the image boundaries after warping, we align multiple neighboring frames towards the target frame in both feature space and image space. Experiments show that the proposed method generates low distortion full-frame stabilization results compared to previous methods. |
URI: | http://tdr.lib.ntu.edu.tw/jspui/handle/123456789/84867 |
DOI: | 10.6342/NTU202202875 |
全文授權: | 同意授權(限校園內公開) |
電子全文公開日期: | 2022-09-12 |
顯示於系所單位: | 資訊網路與多媒體研究所 |
文件中的檔案:
檔案 | 大小 | 格式 | |
---|---|---|---|
U0001-2608202220451500.pdf 授權僅限NTU校內IP使用(校園外請利用VPN校外連線服務) | 2.16 MB | Adobe PDF | 檢視/開啟 |
系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。