3-D立體影像的動畫製作流程與優化

Abstract

隨著立體電影與立體遊戲的普及與流行,愈來愈多的研究被發表 了出來。甚至有一段時間,立體(S-3D)研究相當的熱門,在電腦視 覺、電腦圖學、視覺心理學或其它領域,都看得到不少的研究被提出 來。很多的研究解決了不同面向的問題,包括像是立體顯示(硬體居 多)的技術、立體影像的後製處理與方法、人因工程與人體視知覺的 實驗設計、或甚至是更加基本而重要的立體度量衡...等。這些研究, 有的提供了不同但有啟發性的獨到觀點、有的就一些舊有的問題提出 了改善的解法、有的甚至開啟了一些可供未來持續發展下去的研究方 向。然而,卻很少研究的觀點始於創作者的一方。更精確一點來說, 很少研究是從那些製作出立體電影、立體特效或是立體遊戲的工作室 的觀點出發的。 對於一個執行創意發想的電影製作團隊來說,去了解戲院觀眾的 感受,是非常重要但同時很困難的一件事。如果把立體感受這部分加 進來,那就更加的困難了。雖然困難,但卻是無比的重要。也就是說, 這是一個怎麼把觀眾的感受給帶進製作團隊工作流程中的一個困難挑 戰。而且,在整個製作立體電影的過程中,有很多專業人事的投入與 合作,他們各自有不同的專業與背景,包括像是導演、製作人、技術 總監、立體攝影師、動畫師、技術人員、協調行政人員...等。這樣的 團隊組成,造成的結果就是:大量的溝通與討論。因此,在整個電影 製作的過程中,製定出一套能有效溝通,或甚至可以拿來當作度量衡 的立體單位(或術語),十足的重要。 這一篇研究論文提出了一個度量衡單位,geometric perceived depth percentage (GPDP),它可以用來量化觀眾的感受到的立體程度,而且 並不需要到最後一刻的渲染(rendering)時才有辦法得知。根據立體 場景裏頭的物體遠近以及立體攝影機的參數設定,GPDP 除了可以量 化出立體感受,它同時還能把立體投影環境(螢幕的大小,以及觀眾 與螢幕之間的距離)也一並考慮了進來。也因此,GPDP 提供了一個 有效而簡易的立體度量單位,它可以用來量化或甚至是預先得知觀眾 感受到的立體效果。同時,它也可以做為一個一致的溝通述語。 藉由 GPDP 的應用,我們開發了一個被實際拿來使用的立體預覽工 具。透過這個工具,立體攝影師可以直接預測觀眾的立體感受,而不 ii需要任何特殊的立體設備或是立體投影環境。這個工具的組成,涵蓋 了立體舒適空間(comfort volume)、立體著色系統(shading schemes)、 立體指標(depth perception markers)、以及立體直方圖(histogram)... 等。這些資訊以不同的型式呈現出來,供立體攝影師使用,協助他們 在調整立體參數時更有效而到位。這工具可以非常容易地實作,並且 整合進現代的動畫製作流程或是渲染流程裏頭。我們分別實作整合進 了 Autodesk Maya [1] 以及 Pixar’s RenderMan [2]。這整套系統與工具, 被實際使用在很多的商業立體專案裏頭,貢獻良多。 有時候,我們可能得必須在後製的階段,直接調整立體效果,尤其 是當時間或資訊不足,或甚至是我們根本沒有原始 3D 場景,無法重製 的狀況下。另外,有時候即使我們使用了基於 GPDP 的工具來製作立 體電影,最終的結果還是有可能因為別的因素而結果不佳。這個情況 下,基於影像變形與裁切(image warping and cropping)的演算法,亦 在本研究中提出。五個基本原則被提出,它們將各自扮演著 1) 要嘛就 是消除立體不適感;2) 要嘛就是加強立體感受的功能。 最後,由於 GPDP 是一個用來把觀眾所感受到的立體效果給量化並 帶進製作團隊的一個機制與工具,是以,我們也設計並且執行了一些 使用者研究。研究的結果顯示 GPDP 是一個對於製作者來說,非常適 合的立體效果指標。另一方面,本篇研究所開發出來的工具,也的確 能有效的改善並且加進立體攝影機參數的調整等工具。

With the popularity of stereoscopic movies and games, several researches are published. stereoscopy, or S-3D, becomes one of hot topics, for a while, in computer vision, computer graphics, psychology, and other related fields. Lots of research works are proposed to solve issues in display technologies, signal post-processing, human visual perception, and fundamental quality as- sessment. These works all provide inspiring insights, significant solutions to some issues, and even open questions for future research. However, seldom works are started from the viewpoint of producers, or more specifically, pro- duction studios that make stereoscopic films, visual effect, or games. It is a necessary but challenging task for creative producers to have an idea how the target audience might perceive when watching a stereoscopic film in a cinema during production. That is, it is a problem of bringing tar- get consumers’ perception into producers’ work-flow. Moreover, during the pipeline of a S-3D production, much communication happens between experts with different profession, including directors, producers, supervisors, layout artists, technical directors, coordinators and others. Having an effective com- municate and even a measurement of the stereoscopic effect is fundamental through the whole pipeline. This paper proposes a novel metric, geometric perceived depth percent- age (GPDP), to numerate and depict the depth perception of a scene before rendering. In addition to the geometric relationship between the object depth and focal distance, GPDP also takes the screen width and viewing distance ivinto account. As a result, it provides a more intuitive mean for predicting stereoscopy and is universal across different viewing conditions. Furthermore, based on GPDP, a practical tool is designed to visualize the stereoscopic perception without the need of any 3D device or special environ- ment. The tool utilizes the stereoscopic comfort volume, GPDP-based shad- ing schemes, depth perception markers, and GPDP histograms as visual cues so that S-3D layout artists can set stereoscopic parameters more easily. The tool can be easily implemented into any modern rendering pipeline, including interactive Autodesk Maya [1] and off-line Pixar’s RenderMan renderer [2]. It has been used in several production projects including commercial ones. Sometimes, we might need to fine-tune depth effect in post-processing when time and budget is not allowed for time-consuming in-production pipeline, or there is no 3D scenes to work on (ex, the video is a mix of real shooting and CG animation). An 3D experience optimization by fixing visual fatigue and depth perception is proposed, too. Five principles are proposed to reduce visual fatigue and enhance depth perception. Finally, several user studies show that GPDP is a proper depth perception indicator and the proposed tool can make the stereoscopic parameter setting process more easy and efficient.