從巨大無朋的太空船到手舞足蹈的外星人,，酷玩樂隊(duì)和防彈少年團(tuán)（BTS）最近的單曲《My Universe》的音樂視頻以引人入勝的方式匯集了兩支世界知名樂隊(duì),。這是個(gè)歷史性的時(shí)刻，其意義不僅在于它是首支由兩大當(dāng)紅團(tuán)體合作并登上美國音樂排行榜榜首的單曲,。在幕后,，有五家視覺特效工作室合作運(yùn)用了體積視頻，該技術(shù)有可能改變娛樂節(jié)目的制作方式,。

首先是Ingenuity Studios,，這家視覺特效工作室使用一套包含108個(gè)攝像機(jī)的360度體積捕捉設(shè)備，從每個(gè)角度記錄每名歌手的表演,。使用體積捕捉意味著兩個(gè)超級樂隊(duì)的每名成員都是以體積的形式被錄制成全息影像,，而不是平面影像。這也意味著雖然防彈少年團(tuán)是在韓國的綠幕前拍攝,，而酷玩樂隊(duì)是在西班牙拍攝,，他們能夠在視頻中一起演唱。每名歌手的體積錄制內(nèi)容可以從任何角度合成——全都具備逼真的深度,、色彩和光照,。

最終成果令人驚嘆不已。但是當(dāng)洛杉磯的創(chuàng)意工作室All of it Now參與制作時(shí),，他們又和酷玩樂隊(duì)的創(chuàng)意團(tuán)隊(duì)合作,，進(jìn)一步完善相關(guān)概念。

“我們想把全息影像放進(jìn)真實(shí)世界,，但這需要一個(gè)契機(jī),，”All of it Now的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Danny Firpo說，“我們經(jīng)過一番搜索,，發(fā)現(xiàn)了[美國全國廣播公司的]《美國好聲音》,，這檔節(jié)目擁有的基礎(chǔ)設(shè)施完全能滿足我們讓兩個(gè)團(tuán)體完美地同步表演的需求?！?/p>

傳統(tǒng)全息影像與體積視頻的對比

要實(shí)現(xiàn)如此雄心勃勃的創(chuàng)意,，第一步就是構(gòu)建實(shí)時(shí)制作的管線,。“我們可以用傳統(tǒng)的投影方式將防彈少年團(tuán)放到舞臺(tái)上,，比如Digital Domain就是用這種方式,，通過一塊斜放的玻璃投影出著名的Tupac全息影像，”All of it Now的執(zhí)行制作人Nicole Plaza說,，“但我們知道,，傳統(tǒng)的方法不能用在這個(gè)項(xiàng)目上。安裝時(shí)間,、成本和有限的觀看角度都降低了它的吸引力,，而且在靈活性上明顯不如我們用虛幻引擎做出的成果?！?/p>

通過將Dimension Studios的體積捕捉數(shù)據(jù)導(dǎo)入虛幻引擎,，該團(tuán)隊(duì)可以方便快捷地根據(jù)實(shí)體舞臺(tái)的限制對AR表演者的位置和出現(xiàn)時(shí)機(jī)進(jìn)行調(diào)整。這樣的速度和靈活性對于制作過程至關(guān)重要,，而如果沒有Hologauze屏幕和Pepper的ghost方法,，這種近乎即時(shí)的更改基本上是不可能實(shí)現(xiàn)的。

使用實(shí)時(shí)工作流程也意味著該團(tuán)隊(duì)可以在虛幻引擎中對整個(gè)表演進(jìn)行攝像機(jī)布局,。這不僅使兩大樂隊(duì)可以預(yù)覽每個(gè)鏡頭的拍攝節(jié)奏,，也幫助了制作團(tuán)隊(duì)確定每個(gè)機(jī)位的拍攝范圍是否足夠，從而使他們能夠確定拍攝時(shí)需要哪些攝像機(jī)和鏡頭,。

“我們本來計(jì)劃使用四個(gè)攝像機(jī),，但是在看到我們能夠?qū)崟r(shí)提供的質(zhì)量級別后，《美國好聲音》和酷玩樂隊(duì)很快就商定需要七個(gè)攝像機(jī),，這可以進(jìn)一步提高整個(gè)制作的價(jià)值,，”All of it Now的虛擬制片主管Berto Mora說。

將創(chuàng)意呈現(xiàn)在舞臺(tái)上

制作開始后,，他們使用虛幻引擎將七個(gè)攝像機(jī)的信號與原先在《My Universe》視頻拍攝時(shí)捕捉的防彈少年團(tuán)體積影像放在一起合成并回放,。“我們知道可以出色地覆蓋七位表演者的全方位影像,，這就給成片中的鏡頭帶來了無限可能,，”Mora說，“我們給每個(gè)攝像機(jī)專門了安排一臺(tái)服務(wù)器,，這樣導(dǎo)演就能同時(shí)看到所有信號源并隨時(shí)切換鏡頭,，就好像防彈少年團(tuán)的AR成員真的和舞臺(tái)上的真人酷玩樂隊(duì)一起表演一樣?！?/p>

為了實(shí)時(shí)地讓防彈少年團(tuán)的表演者進(jìn)入和離開舞臺(tái),，該團(tuán)隊(duì)還利用菲涅爾效應(yīng)和虛幻引擎中的Sequencer創(chuàng)造了一種“電波干擾”效果，讓表演者的全息影像瞬時(shí)呈現(xiàn)在觀眾面前,?？催^那部音樂視頻的樂迷可能會(huì)記起這種效果,，因?yàn)樵谠兴脖挥糜诒憩F(xiàn)我們想象中星際“傳輸”時(shí)全息數(shù)據(jù)帶有瑕疵的特點(diǎn),。

接著團(tuán)隊(duì)又使用Stype的Stypeland插件攝取所有攝像機(jī)跟蹤和鏡頭畸變數(shù)據(jù),。這是通過Live Link記錄的，因此團(tuán)隊(duì)可以重新渲染每名表演者的獨(dú)唱時(shí)刻的選定片斷,，并在后期對特定表演者的唇形同步進(jìn)行幀級別的調(diào)節(jié),。另一方面，在舞臺(tái)上,，All of it Now的團(tuán)隊(duì)與一流的設(shè)計(jì)師Sooner Routhier合作,，使用特定的落地?zé)魜韼椭嵬鏄逢?duì)的藝人辨別哪些AR表演者出現(xiàn)在舞臺(tái)上，是何時(shí)出現(xiàn)的,。

實(shí)時(shí)技術(shù)的優(yōu)點(diǎn)

和所有顛覆性的工作流程一樣,，使用體積視頻也涉及一些挑戰(zhàn)。All of it Now的團(tuán)隊(duì)甚至一度與微軟合作改寫了插件代碼,，使得防彈少年團(tuán)的表演者資產(chǎn)（它們是通過微軟的SVF插件,，作為特殊MP4導(dǎo)出內(nèi)容而提供的）與酷玩樂隊(duì)保持完美同步。

但是,，直面這些挑戰(zhàn)所帶來的回報(bào)是絕對值得的,。通過使用體積捕捉數(shù)據(jù)，團(tuán)隊(duì)甚至能在后期重新合成某些鏡頭（由于整條管線始終是為實(shí)時(shí)表演和回放而設(shè)計(jì)的,，也方便了這類操作）,。“每個(gè)視頻文件都是從一臺(tái)Atomos Shogun回放的,，音頻和視頻饋送到用于現(xiàn)場制作的服務(wù)器,，基本上就是重建了我們在現(xiàn)場看到的場景，”Mora透露,。

“我們使用這種方法,，可以修正同步方面的小問題，或者修改電波干擾關(guān)鍵幀,，增減每個(gè)鏡頭的電波干擾效果,。我們還使用我們自定義的管線工具讀取時(shí)間碼范圍，找到含有記錄的跟蹤數(shù)據(jù)的鏡頭,，然后創(chuàng)建新的序列,，在后期只需要修正每個(gè)鏡頭所需的跟蹤數(shù)據(jù)就行。與人工識別具有正確幀范圍的鏡頭相比,，這種做法節(jié)省了時(shí)間,，對于后期制作所要求的快速周轉(zhuǎn)非常關(guān)鍵，”All of it Now的首席虛幻引擎美術(shù)師Jeffrey Hepburn說,。

當(dāng)《美國好聲音》節(jié)目播出時(shí),，All of it Now團(tuán)隊(duì)對結(jié)果非常滿意,，因此他們?nèi)缃裾谔剿髟谄渌w積視頻應(yīng)用中使用Arcturus Holosuite的平行管線，該工具可以改變表演者的頭部位置,，使其“跟隨”被跟蹤的特定攝像機(jī),。但是無論他們做什么探索，虛幻引擎似乎都會(huì)是他們的好伙伴,。

“在這個(gè)項(xiàng)目的每個(gè)階段,，虛幻引擎都幫我們渡過了難關(guān)，使這個(gè)項(xiàng)目最終成為體積錄制的里程碑,，激動(dòng)人心地預(yù)示了混合現(xiàn)實(shí)以及元宇宙應(yīng)用,，”Firpo解釋說。

他提到了使用體積視頻實(shí)時(shí)回放的多種優(yōu)勢,，例如不需要鉆研3D角色設(shè)計(jì),、骨架綁定和動(dòng)畫管線就能捕捉高度精細(xì)的面部表情、服裝元素和手指姿勢,。

Firpo還表示,，這種技術(shù)提供了探索替代工作流程的絕好機(jī)會(huì)，同時(shí)又能讓各個(gè)團(tuán)隊(duì)避免“恐怖谷”問題的困擾,。

“實(shí)時(shí)回放體積視頻提供了一些重大的機(jī)會(huì),，”他說，“如果能夠進(jìn)行一次錄制并將資產(chǎn)復(fù)用于多種應(yīng)用,，那么這肯定會(huì)讓那些總在思考下一個(gè)大作的美術(shù)師感到興奮,。體積視頻將會(huì)引導(dǎo)他們朝一些有趣的方向探索?！?/p>

合影（從左至右）：Danny Firpo,、Nicole Plaza、Preston Altree,、Berto Mora,、Jeffrey Hepburn、Neil Carman