去年11月開播的《舞動(dòng)奇跡》是全新一檔基于元宇宙的大型電視節(jié)目,,節(jié)目中的混合現(xiàn)實(shí)表演贏得了全球觀眾的青睞,。Unlimited Motion專注于將表演數(shù)字化、對(duì)演員動(dòng)作進(jìn)行捕捉,、3D掃描和虛擬制作,。利用Xsens的動(dòng)作捕捉技術(shù),他們創(chuàng)造了metallic robots舞團(tuán),,結(jié)合了運(yùn)動(dòng)圖形和運(yùn)動(dòng)捕捉,,伴隨著Kraftwerk and Yazoo的舞曲,這些虛擬角色在舞臺(tái)上以極其自然的動(dòng)作舞動(dòng)起來,。Unlimited Motion的導(dǎo)演瑞恩·加里向我們講述了創(chuàng)建這一項(xiàng)目的過程和團(tuán)隊(duì)必須克服的障礙,。
“這是我做過的周轉(zhuǎn)最快的項(xiàng)目,因?yàn)楣?jié)目需要在排練之前就有預(yù)覽Demo,。項(xiàng)目原型必須在一周內(nèi)完成并提交審核,。”
《舞動(dòng)奇跡》是一個(gè)有著獨(dú)特形式的成熟節(jié)目,,節(jié)目一直在尋找新的方式來進(jìn)行創(chuàng)新,。2020年,隨著節(jié)目組渴望推動(dòng)節(jié)目的創(chuàng)新性和突如其來的疫情的限制,,節(jié)目引入了增強(qiáng)現(xiàn)實(shí)元素,。這一創(chuàng)新帶來了巨大的成功,因此制片人希望在2021年進(jìn)一步發(fā)展這項(xiàng)技術(shù),。
加里說道:“我在《舞動(dòng)奇跡》之前的一個(gè)項(xiàng)目中與Potion Picture合作,,該項(xiàng)目是為一艘游輪設(shè)計(jì)的,,在那個(gè)項(xiàng)目種我們讓動(dòng)畫版的蒙娜麗莎在一艘游輪上與真實(shí)舞者一同起舞。在那之后,,Potion Picture也準(zhǔn)備將AR技術(shù)引入《舞動(dòng)奇跡》之中,,當(dāng)時(shí)他們通過使用兩個(gè)Mo-Sys動(dòng)作跟蹤攝像機(jī)將虛擬人物顯示在舞者身后的大屏幕上。今年,,他們想引入另一項(xiàng)新技術(shù)——動(dòng)作捕捉技術(shù),。每年他們都想做一些不同的事情,并在之前所做的基礎(chǔ)上再接再厲,。所以今年,,他們想加入全新的動(dòng)作捕捉技術(shù)?!?。
吸引觀眾每周觀看節(jié)目一個(gè)主要原因是現(xiàn)場(chǎng)表演的不可預(yù)測(cè)性,以及每集截然不同的主題,。對(duì)于制作團(tuán)隊(duì)來說,,這就意味著幾乎沒有實(shí)驗(yàn)的空間,這就是上面提到的加里和Unlimited Motion團(tuán)隊(duì)最初在向制片人傳達(dá)動(dòng)作捕捉技術(shù)的能力時(shí)遇到了問題的原因,。
“我們發(fā)現(xiàn)舞者們使用Xsens Link套裝并不會(huì)影響其舞蹈動(dòng)作,,因?yàn)?a class="insidelink" href="http://shcjtec.com/Shop/mc/Suits/XsensMoven/" target="_blank" title="Xsens動(dòng)作捕捉系統(tǒng)">Xsens Link套裝類似于穿著戲服進(jìn)行表演,加上它相對(duì)貼合身體,,所以舞者們可以很舒適的穿著動(dòng)捕套裝進(jìn)行各種舞蹈動(dòng)作”加里說道,。由于布景導(dǎo)演和舞蹈編導(dǎo)以前沒有使用過這種技術(shù),所以加里和Potion Picture的工作人員需要向?qū)а萁忉?a class="insidelink" href="http://shcjtec.com/Shop/mc/Suits/" target="_blank" title="動(dòng)作捕捉">動(dòng)作捕捉的每一個(gè)步驟,,“你可以將Xsens Link套裝用于任何類型的動(dòng)作捕捉之中,,不一定是特定的舞蹈。以前我們會(huì)被限制只能在AR中表演舞蹈,,但動(dòng)作捕捉技術(shù)讓他們不再局限于這種形式,,這給了我們足夠的靈活性?!奔永镎f道,。
由于動(dòng)作捕捉對(duì)于廣電行業(yè)來說還是一個(gè)相對(duì)較新的事物,所以在制作過程中提出一些問題是可以理解的,。雖然表演者很快接受了這項(xiàng)技術(shù),,但在他們真正參與進(jìn)來之前,導(dǎo)演們的思維模式仍然需要一些轉(zhuǎn)變的過程,。
“目前我們遇到的問題是如何實(shí)時(shí)觀看舞蹈排演的問題,。我認(rèn)為導(dǎo)演們必須克服這個(gè)事實(shí),即他們?cè)陬A(yù)覽窗口上看到的并不一定是在最終交付中看到的,,因?yàn)閷?dǎo)演們習(xí)慣于在們面前的舞池中看到現(xiàn)場(chǎng)直播的舞蹈,,”加里解釋道,。“他們擔(dān)心預(yù)演中出現(xiàn)的任何問題都會(huì)反映在最終的表演中,,但我們不得不向他們解釋到,,我們可以在之后清理這些問題。其實(shí)一旦他們明白了這一點(diǎn),,他們就會(huì)熱衷于試驗(yàn)這項(xiàng)技術(shù),。”加里說道,。
在metallic robots表演獲得前所未有的成功后Unlimited Motion決定繼續(xù)與Potion Picture合作,,并使用同樣的方法創(chuàng)建《跳舞的企鵝圣誕特輯》。
混合現(xiàn)實(shí)與慣性動(dòng)捕技術(shù)
使用混合現(xiàn)實(shí)技術(shù)進(jìn)行表演的場(chǎng)次繼續(xù)逐年增長(zhǎng),,隨著技術(shù)的持續(xù)發(fā)展,,以及對(duì)元宇宙這一全新理念的全球爆發(fā),,混合現(xiàn)實(shí)表演將成為一種全新的火熱趨勢(shì),。像《Alter Ego》這樣的大預(yù)算節(jié)目也開始以突出技術(shù)作為主要賣點(diǎn),同時(shí)如在2021年全球電子游戲競(jìng)技運(yùn)動(dòng)會(huì)上的ShiGGa Shay也展示了該領(lǐng)域令人興奮的創(chuàng)新性,。對(duì)于加里來說,,像《舞動(dòng)奇跡》這樣通過動(dòng)作捕捉建立的項(xiàng)目將有助于在整個(gè)行業(yè)中推廣這項(xiàng)技術(shù)的進(jìn)一步應(yīng)用。
“混合現(xiàn)實(shí)已經(jīng)越來越深入到各大頂級(jí)節(jié)目中,,比如英國(guó)的《舞動(dòng)奇跡》和美國(guó)的《Alter Ego》,。我認(rèn)為將全新技術(shù)帶入到這些頂級(jí)節(jié)目中是一件好事,因?yàn)檫@將使(動(dòng)作捕捉)技術(shù)越來越多地滲透到那些中低預(yù)算的節(jié)目,、電影或任何類型的娛樂產(chǎn)業(yè)中,。隨著渲染變得更容易、更快且更便宜,,人們對(duì)這項(xiàng)技術(shù)的使用率勢(shì)必將進(jìn)一步增加,。”
雖然元宇宙聽起來像是地平線上的未來愿景,,但混合現(xiàn)實(shí)表演如今已經(jīng)嵌入主流娛樂之中,,混合“現(xiàn)實(shí)世界”和數(shù)字表演已經(jīng)開始進(jìn)入大眾視野。從Roblox的21 Pilots’的虛擬音樂會(huì)元宇宙到人們家中觀看的AR和VR小型音樂劇,,人們對(duì)數(shù)字增強(qiáng)表演的需求是顯而易見的,。然而,加里認(rèn)為,,在運(yùn)動(dòng)捕捉技術(shù)更廣泛地用于現(xiàn)場(chǎng)活動(dòng)之前,,彌合知識(shí)與技能上的差距是非常必要的。
“目前,,我認(rèn)為業(yè)內(nèi)存在意識(shí)和技能差距,。有很多CGI藝術(shù)家專門使用像Maya這樣的程序,,但在游戲引擎使用方面卻沒有這么多涉獵,比如虛幻引擎和Unity,,相比于Maya而言這些游戲引擎其實(shí)能夠更容易地實(shí)現(xiàn)這項(xiàng)技術(shù),。我認(rèn)為稱它們?yōu)橛螒蛞鏁?huì)阻礙它們的發(fā)展?!皩?shí)時(shí)”引擎是一個(gè)開始被更多使用的術(shù)語,,這更合適,因?yàn)樗鼈儾粌H僅用于游戲,,還用于其他實(shí)時(shí)體驗(yàn),,如混合現(xiàn)實(shí)和擴(kuò)展現(xiàn)實(shí)。再加上工具本身都是免費(fèi)或者相對(duì)便宜的,。大多數(shù)從事動(dòng)畫制作或VFX的人可能仍在使用after effects之類的程序,,但我相信五年后,將會(huì)有更多的人使用實(shí)時(shí)引擎進(jìn)行工作,?!?/p>
與Xsens協(xié)作
驅(qū)動(dòng)Unlimited Motion的《舞動(dòng)奇跡》表演數(shù)字化的成功的關(guān)鍵因素之一是Xsens動(dòng)捕套裝的使用。舞者們使用的Xsens?Link套裝能夠適應(yīng)舞廳舞臺(tái)等特殊環(huán)境,?!?a class="insidelink" href="http://shcjtec.com/Shop/mc/Suits/XsensMoven/" target="_blank" title="Xsens動(dòng)作捕捉系統(tǒng)">Xsens套裝具有抗磁干擾能力。舞臺(tái)地板上有wi-fi信號(hào)干擾,,舞臺(tái)裝飾品中有金屬干擾,,因此舞臺(tái)環(huán)境并不是一個(gè)完全無干擾的環(huán)境。我在使用以前的動(dòng)捕套裝時(shí)發(fā)現(xiàn),,清理數(shù)據(jù)比做創(chuàng)造性工作花費(fèi)的時(shí)間還要多,,這就有些本末倒置了。我最初選擇使用Xsens的主要原因之一就是其能夠采集到足夠清晰干凈的數(shù)據(jù),,這幫助我們節(jié)省了大量清理無用數(shù)據(jù)的時(shí)間,。”加里說道,。
在混合現(xiàn)實(shí)表演中對(duì)動(dòng)作捕捉的探索和實(shí)驗(yàn)將為更多的創(chuàng)意和聯(lián)系鋪平道路,。以Unlimited Motion的《舞動(dòng)奇跡》為例,當(dāng)你能夠使用更加有效工具時(shí),,那么花在處理數(shù)據(jù)上的時(shí)間就會(huì)減少,,這會(huì)讓你有更多的時(shí)間和精力專注在創(chuàng)作作品本身上。動(dòng)作捕捉為藝術(shù)家門開辟了一種新的創(chuàng)作形式,,數(shù)字化表演更是一種全新的藝術(shù)表達(dá)方式,,而通過將動(dòng)作捕捉技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合的全新表演形式將更加能夠激發(fā)觀眾們觀看演出的熱情。