基於四維高斯潑灑之人物動作重建與處理

Abstract

隨著虛擬實境（VR）與沉浸式媒體的發展，如何有效重建具真實感的人物動作場景，成為影像處理與互動內容設計中的重要課題。現有動態人像捕捉系統雖可產出高品質結果，卻多仰賴昂貴設備與複雜後製流程，應用門檻高。近年新興之高斯潑灑（Gaussian Splatting）技術，提供實現動態人像重建的低成本替代方案。 本研究提出一套基於四維高斯潑灑（4D Gaussian Splatting）之人物動作重建與處理流程。針對說書演講、太極拳教學等以人物為主之表演，先進行多視角同步拍攝，並以 Background Matting V2 擷取每影格前景，保留人物、椅子與道具等作為重建目標。為解決 V^3 原始方法於 3D 重建階段可能殘留背景色點雲之問題，本研究設計一套基於背景顏色的高斯點過濾機制，以去除非目標高斯點並保留動作連貫性。最終，重建成果整合至 Unity 並部署於 Meta Quest 3 平台，支援使用者於 VR 環境中自由視角觀看表演內容。

With the growth of virtual reality (VR) and immersive media, reconstructing realistic human-centric motion has become an important challenge. Gaussian Splatting offers a lightweight alternative for dynamic reconstruction. This study proposes a pipeline based on 4D Gaussian Splatting for scenes such as storytelling or Tai Chi. Multi-view videos are processed with Background Matting V2 to extract foreground elements. To address the issue of background-colored splats in the original V^3 method, we introduce a color-based filtering strategy to enhance foreground clarity and motion consistency. Finally, the reconstructed results are integrated into Unity and deployed on Meta Quest 3, enabling free-viewpoint playback in VR.