Light Fields 和 Light Stages技術怎樣影響未來的 Virtual Production

本月初舉行的CVMP 2020 (ACM SIGGRAPH European Conference on Visual Media Production) 網上會議期間 Paul Debevec 就分享了他在Google Research & USC Institute for Creative Technologies裏的研究項目內所涉及到Virtual Production 的兩個主要技術，分別是「Light Fields 」和「Light Stages」。思之希望在此跟大家分享一下Debevec的團隊是怎樣利用他們所研發的digital照明系統，這個被稱為「DeepView solution for Light Field」的嶄新科技，再配合同樣是他們的「Light Stage」獨特設計，其實是用上 LED 顯示屏幕來複製“現場” HDRI (High-Dynamic Range Imaging) 燈光效果，從而製造出如同現場實拍一樣的 digital燈光照明。這種創新技術大可以取替現今的Chroma key拍攝，把後期製作 (以下稱為後製) 和 VFX處理帶到全新的一種虛擬生產模式，亦能夠應用在VR，Games和其他CG實拍相關的製作上。

大致上說，Virtual Production 是一種real-time後製拍攝方法。簡單而言，它主要是運用了「Virtual Set」原理，即係在虛擬CG背景前加上實時composite真人綠幕拍攝，就像大家在電視新聞中所見到的虛擬廠景效果差不多，唯Virtual Production則採用了「Simulcam」同步拍攝方案，把真人實拍，與CG角色還有CG場景等等都一拼進行實時拍攝。換句話說，真 (live)和假 (CG)的都可以在這 Virtual Production 裏一take過拍成。它甚至可以把Motion capture data都能夠 real time render顯示出來。據說，一套完整的 Virtual Production系統應包含了六個重要部分：Camera (無論是In-Cam 或V-Cam和 Simulcam都屬於 cam範疇) ，LED屏幕 (他們利用LED代替了「綠幕」背景)，XR (即運用Content Server內容實時製作出來的場景，像以前的 Virtual Set背景的處理) ，Volume (即Motion capture、Volume capture或 Camera Tracking 等 digital data的數據處理) ，VAD (預先設定好的live 和CG assets，例如人物、道具、場景、鏡頭及燈光效果等)，和 VIS (即運用real time Rendering，simulation和 real time Compositing所做出的效果) 。下圖為Unreal Engine宣傳片段內的兩張截圖，希望有助大家了解現在的Virtual Production情況：

若有需要，思之可以在另一文章給各位詳盡介紹Virtual Production。我想在此著墨於 Light Fields 和 Light Stages跟Virtual Production的關係，希望讀者們了解一下科研人員所研發的digital 燈光照明技術是怎樣影響這個全新的 virtual後製過程。

相信大部分CG人都知道若果唔用 Image-Based Lighting或 HDR貼圖做 VFX shots是很難做到像真度高和做得靚的render output。因此，Debevec團隊特意提出利用一種Environmental HDR 混合Light Field Imaging來處理 “relighting” 他們的 virtual production視覺燈效。他們稱之為「DeepView Immersive Light Field」，而他們拍攝時所用的廠景原來是一個重新建做的「Light Stage」，那些LED屏幕能夠把場景需要的 light fields還原出來，將來甚至可以運用到 AI (人工智能) 幫助演算像真度極高的 light fields，他們稱之為「Multispectral Lighting Reproduction」。每支燈可以帶有red, green, blue, cyan, amber 和 white共六種顏色，還可以載有9-channels data。他們還向著「Multiplexed Color Gradient Illumination」這個 light volumetric system研究方向邁進，盡量把預先capture到的 volumetric lighting data在他們的Light Stages還原出來，繼續為將來的 virtual production創造一個更完美的 CG lighting 視覺效果。如果成功，將來的後製人員可能不再需要做 Chroma Keying了！

祝各位CG人冬至及聖誕快樂！新年新希望！！

參考資料：
https://augmentedperception.github.io/deepviewvideo/
https://www.youtube.com/watch?v=bErPsq5kPzE&feature=emb_logo