The Jim Henson Company提供表演驅(qū)動的家庭娛樂節(jié)目已有60多年,，期間贏得了數(shù)十個獎項——包括50多項艾美獎和9項格萊美獎,。這家公司以原創(chuàng)布偶電影聞名于世，是公認的創(chuàng)新高手,，善于使用從傳統(tǒng)提線木偶到電動木偶和實時數(shù)字動畫的各種領(lǐng)先業(yè)界的工具和技術(shù),。在其不計其數(shù)的作品中包括了一些特別令人難忘的大制作，例如《布偶奇遇記（Fraggle Rock）》,、《黑暗水晶（The Dark Crystal）》,、《迷宮（Labyrinth）》和《遙遠星際（Farscape）》。

公司董事長Brian Henson是創(chuàng)始人Jim Henson之子,，他渴望延續(xù)這種創(chuàng)新文化,。可證明這一點的是,，數(shù)十年來他一直在積極采用各種形式的虛擬制片,。如今他正用系列節(jié)目《奈德撞地球（Earth to Ned）》來開辟新天地，他將這個節(jié)目的形式描述為“外星科幻片遇上美式脫口秀”,。

《奈德撞地球》正在迪士尼+播出,，它結(jié)合了實景拍攝、電動木偶和實時現(xiàn)場表演驅(qū)動CG動畫,。這個節(jié)目的設(shè)定是,，被派來侵略地球的外星人迷上了流行文化，于是決定制作一個采訪地球名人的脫口秀節(jié)目,。

現(xiàn)實中的名人嘉賓受邀參加節(jié)目,，而主持人是電動木偶外星人奈德和科尼利厄斯，還有一個名叫貝蒂的CG人工智能,，是現(xiàn)場在虛幻引擎中實時渲染的基于粒子的實體。

用表演來驅(qū)動CG數(shù)字動畫角色的創(chuàng)意最初是Jim Henson本人提出的,，不過是在1994年才付諸實施的,，當時這家公司的家庭諷刺情景喜劇系列《恐龍（Dinosaurs）》正進入制作尾聲。這個節(jié)目是使用帶有數(shù)十個電動機的巨大電動木偶服創(chuàng)作的——穿在演員身上又熱又不舒服,，而且很容易發(fā)生故障,。

“我們就開始想，要是能做CG動畫就好了,，我們還是可以讓演員來表演恐龍的肢體動作,，但是他們不必穿上這些大號戲服,。”Henson說,，“假如我們不必使用可能發(fā)生故障的45個電動機來表演頭部的戲份,，卻還能表現(xiàn)出同樣的活力，那該有多好,?！?/p>

為了促成這個在當時堪稱石破天驚的概念，他們需要開發(fā)一套能夠為演員提供實時反饋的系統(tǒng),。

“我們可不喜歡跑到動作捕捉的片場,，讓演員假裝自己是恐龍表演一番，然后等上一個星期來看他作為恐龍的表演效果——那種辦法行不通,?！盚enson解釋說，“所以我們必須能夠在周圍的屏幕上即時看到我們作為恐龍的表演效果,?！?/p>

雖然他們當時創(chuàng)造的專有系統(tǒng)經(jīng)受了時間考驗——他們至今仍在使用它——但是它提供的視覺效果質(zhì)量不足，不能讓他們直接使用輸出,；所有的效果還是需要離線渲染,。

“它是為視效預(yù)覽構(gòu)建的?！盌an Ortega說,，他在公司擔任數(shù)字創(chuàng)意主管，“它并沒有真正具備做出任何實時效果乃至高分辨率圖像的能力,。它的設(shè)計就是如此,。我們用來構(gòu)建它的工具只是允許我們捕獲數(shù)據(jù)，然后放入后期制作管線,?！?/p>

對于《奈德撞地球》，公司的計劃是在片場以最終廣播的質(zhì)量實時渲染貝蒂,，這就意味著現(xiàn)有系統(tǒng)無法勝任,。不僅如此，對于貝蒂的角色,，他們還需要滿足一些很特別的要求,。Henson希望她看起來是由電流組成的，而且能夠在人類外表和外星面孔之間變換,。

接受了這些苛刻要求的人就是Ortega,。“他【Henson】把它形容為一個能量球,，和磁暴線圈差不多,，但又不是線圈,，因為它必須是由粒子組成的?！彼f,，“必須有把它和房間相連的閃電。他還要求它變化成一張正在說話的面孔,?！?/p>

Ortega立刻明白，自己需要使用虛幻引擎來實現(xiàn)這些實時效果,。

“借助虛幻,，我們可以使用我們獲獎的木偶控件在一個虛擬場景中進行交互，它具有令人驚嘆的畫質(zhì),，很高的幀率,，沒有任何延遲?！彼f,，“虛幻給我們提供了所有需要的復(fù)雜材質(zhì)、粒子和效果,，我們通過這個引擎可以實時進行表演和生成動畫,。”

為了讓貝蒂看起來就像親臨現(xiàn)場,，他們計劃通過在片場放置的屏幕創(chuàng)造出可以供她飄浮的“空間”,。通過實時跟蹤所有攝像機，可以生成正確的視差,，從而制造出屏幕后面有體積存在的假象,。

“另一個挑戰(zhàn)是，Brian要求這張面孔在片場的三個不同房間之間傳送,，而且這一切必須在攝像機中實時發(fā)生,，不需要后期制作；”O(jiān)rtega說,，“我們開完那次會議后,，我的腦子里就在想，‘好吧,，這是我們從來沒做過的事,。我從沒見過像這樣的東西?！?/p>

既然選擇了虛幻引擎作為渲染引擎，Ortega就需要將它集成到公司的現(xiàn)有管線中,，該管線包括Autodesk Maya（用來進行角色的骨架綁定）和Henson Digital Puppetry Studio,，后者是他們專有的一套硬件和軟件工具,，其中包括表演捕捉系統(tǒng)以及機械式木偶控制裝置。

為了實現(xiàn)這個目標,，Ortega的團隊創(chuàng)建了Henson Nodeflow引擎,，這是一種在不同系統(tǒng)之間充當網(wǎng)關(guān)的專有實時獨立動畫引擎。

他們把Maya場景導(dǎo)出到Nodeflow圖表,，這種圖表模仿了Maya依賴性圖表,，通過仿效Maya節(jié)點功能（包括關(guān)節(jié)、約束,、曲線,、Blendshape和Set Driven Key等更復(fù)雜的功能）來運行導(dǎo)入的角色。然后Nodeflow將這些數(shù)據(jù)傳遞到虛幻引擎,。以貝蒂為例,，每幀要將4000個節(jié)點發(fā)送到虛幻引擎，用時1.5毫秒,。

為了實現(xiàn)角色的實時骨架動畫,，團隊創(chuàng)建了一個自定義流送應(yīng)用程序，通過Live Link（虛幻引擎用于流送和使用來自外部源的動畫數(shù)據(jù)的接口）將輸出從Henson Digital Puppetry Studio發(fā)送到虛幻引擎,。

Ortega的團隊還將這種連接結(jié)合虛幻引擎的可視化腳本語言藍圖使用,，使操偶師能夠觸發(fā)各種實時效果，例如閃電,、面部變化和在房間之間的傳送,。

大約有十幾個藍圖參數(shù)與在Henson Performance Control System中程控的角色屬性關(guān)聯(lián)。這使得表演者能夠使用曾榮獲奧斯卡獎項的操偶師界面,，通過手部控制,、踏板和滑塊等輸入來調(diào)節(jié)亮度、頻率和效果縮放等項目,。

由于以上的種種努力,，貝蒂能夠與嘉賓進行互動，讓那些名人也喜出望外,。

“當嘉賓們來到現(xiàn)場,，然后意識到，‘哦,，她真的會在那里,，’他們都興奮極了，我想這是因為大家都以為那將是后期特效,?！盚enson說，“對于來到片場的嘉賓,，那種假象是完美的,。他們看不到任何操偶師,。他們只會看到奈德，看到科尼利厄斯,，并看到貝蒂,。當這一切發(fā)生的時候，那真是神奇,?！?/p>

在《奈德撞地球》使用實時最終像素渲染所取得的成功使團隊渴望了解自己能夠在多大程度上推進這一概念，他們已經(jīng)在進行更多試驗,。

“如果我們能夠開始交付全CG動畫的電視節(jié)目,，而且其中不需要后期制作的鏡頭所占比例越來越高，那么很明顯,，制片效率將會突飛猛進,。”Henson說,，“而有了虛幻,，我們就可以得到質(zhì)量比以前高得多的圖像，成品圖像,。我們可以實時獲得成品圖像,。如果沒有虛幻，我們是做不到這一點的,。我們嘗試過,。我們早就試過了?！?/p>

“通過與虛幻聯(lián)手,，我們可以在實景拍攝的片場中制作出成品CG動畫，然后進入剪輯環(huán)節(jié),，就像實景拍攝一樣完成制作,。”Henson說,，“這可是非常激動人心的,。”

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~