如果只使用文字,，就能創(chuàng)作出一部以《阿基拉》為靈感的賽博朋克影片，那會(huì)怎么樣,？對(duì)于藝術(shù)家團(tuán)體Sagans來(lái)說(shuō),，這是一個(gè)值得開(kāi)拓的未來(lái)。最近,，他們使用虛幻引擎的MetaHuman技術(shù),，同時(shí)配合AI算法,，僅憑文本描述就為其首部音樂(lè)錄影帶《Coherence》生成了大部分鏡頭。

在最終成品所描繪的后現(xiàn)代圖景中,，一位女性正在新城市中尋找著屬于自己的位置,，畫(huà)面采用素描風(fēng)格，鏡頭伴隨著音樂(lè)不斷移動(dòng),，從明亮的櫻花樹(shù)轉(zhuǎn)場(chǎng)至紐約地鐵,。Sagans的藝術(shù)家們共同展示了，AI不一定預(yù)示著我們的工作（甚至整個(gè)世界）將被它接管的可怕前景,。相反,，它可能會(huì)成為釋放我們?nèi)聞?chuàng)作潛力的關(guān)鍵。

顛覆音樂(lè)行業(yè)

根據(jù)Sagans的3D專(zhuān)家Aurelien的說(shuō)法,，《Coherence》準(zhǔn)確地代表了這個(gè)團(tuán)體所要實(shí)現(xiàn)的目標(biāo)?！拔覀兏杏X(jué),，音樂(lè)行業(yè)不愿意冒險(xiǎn)，除非存在利益驅(qū)動(dòng)因素,?！彼忉屨f(shuō)，“因此靠譜的內(nèi)容開(kāi)始減少,，這正是促使我們創(chuàng)辦Sagans的最初原因,。”

Sagans團(tuán)體由音樂(lè)家,、美術(shù)設(shè)計(jì)師和研究人員組成,，他們?cè)谥谱鞯谝徊恳魳?lè)錄影帶之前，并不需要等待歌曲創(chuàng)作完成,。這為團(tuán)隊(duì)提供了更多的時(shí)間和自由,，探索如何通過(guò)人工智能和實(shí)時(shí)圖形等技術(shù)實(shí)現(xiàn)愿景。

“虛幻引擎5是我們最先決定采用的技術(shù),，”Aurelien繼續(xù)說(shuō),，“我們首先通過(guò)Quixel資產(chǎn)庫(kù)創(chuàng)建了整個(gè)世界，緊接著,，我們采用MetaHuman Creator創(chuàng)造了逼真的角色,。這為我們改變了一切。突然間,，我們就可以在短時(shí)間內(nèi)制作出漂亮的東西了,。我們知道，我們已經(jīng)準(zhǔn)備就緒,，可以開(kāi)始制作《Coherence》了,?！?/p>

添加AI

起初，團(tuán)隊(duì)決定使用大友克洋的經(jīng)典動(dòng)畫(huà)《阿基拉》的風(fēng)格,，為視頻的審美奠定基礎(chǔ),。下一步就創(chuàng)造視頻中的女主角?！霸谑褂锰摶靡婀ぷ髦?，我們對(duì)3D世界不是很熟悉，”Aurelien說(shuō),，“乍看之下,，創(chuàng)造角色似乎是一項(xiàng)非常復(fù)雜的任務(wù)。幸運(yùn)的是,，MetaHuman Creator讓事情變簡(jiǎn)單了,。”

為了創(chuàng)造讓觀眾感覺(jué)親切的角色,，團(tuán)隊(duì)混合了MetaHuman數(shù)據(jù)庫(kù)中三張面孔的元素,，找到了自己喜歡的結(jié)果。接下來(lái),，他們使用iOS的Live Link Face應(yīng)用,，為角色制作了面部表情動(dòng)畫(huà)。與此同時(shí),，Sagans的藝術(shù)家們還開(kāi)始使用Quixel構(gòu)建視頻的虛幻引擎環(huán)境,，從日本風(fēng)格的英國(guó)街道，到紐約的地鐵,，應(yīng)有盡有,。

“創(chuàng)建環(huán)境時(shí)，Lumen發(fā)揮了至關(guān)重要的作用,，”Aurelien解釋說(shuō),，“有了它，我們能夠在不使用大量硬件資源的前提下實(shí)時(shí)處理光照,。再配合使用Niagara創(chuàng)造雨水等粒子,，在短短幾秒鐘內(nèi)，我們就可以生成與用戶界面中完全一致的渲染,?！?/p>

最后一步是根據(jù)場(chǎng)景的需要，通過(guò)三套獨(dú)立的AI算法生成虛幻引擎輸出,，營(yíng)造最終的大友克洋風(fēng)格,。第一套算法允許Sagans的藝術(shù)家使用文本描述場(chǎng)景風(fēng)格，然后以視頻形式將其表現(xiàn)出來(lái),。第二套算法會(huì)使用參考圖像制作動(dòng)畫(huà)視頻,，而最后一套算法可將實(shí)景真人電影轉(zhuǎn)變成風(fēng)格化的動(dòng)畫(huà)影片,。

“在大多數(shù)鏡頭中，我們都用到了文本轉(zhuǎn)視頻算法,?！盇urelien補(bǔ)充說(shuō)，“為此,，我們使用Disco Diffusion 5幫助生成單獨(dú)的幀,，然后通過(guò)算法將這些幀轉(zhuǎn)變成視頻。我們必須確保文本內(nèi)容非常詳細(xì),，不僅能描述出風(fēng)格,，還要填補(bǔ)所有紕漏：如果沒(méi)有提到天空，機(jī)器可能會(huì)忘記城市頂部必須有一片天空,。在得到不錯(cuò)的第一幀畫(huà)面之后,，我們還要根據(jù)運(yùn)鏡的需要，提供足夠的描述,，生成接下來(lái)的幀,，然后在第20幀處最后一次檢查渲染?！?/p>

使用虛幻引擎的成果

由于使用了獨(dú)特的實(shí)時(shí)3D和AI工作流程，從第一個(gè)鏡頭到《Coherence》的最終渲染,，整個(gè)過(guò)程只花了三位Sagans創(chuàng)作者八周時(shí)間,。“我們想要一種既簡(jiǎn)單易用又足夠快速的解決方案,，幫助我們迅速實(shí)現(xiàn)愿景,，虛幻引擎沒(méi)有讓我們失望?！盇urelien補(bǔ)充說(shuō),，“只需幾次點(diǎn)擊，我們就可以輕松創(chuàng)建極其精細(xì)的角色和城市環(huán)境,，在沒(méi)有動(dòng)作捕捉服的情況下為女主角制作動(dòng)畫(huà),。”

現(xiàn)在,，《Coherence》已創(chuàng)作完成,，團(tuán)隊(duì)計(jì)劃在未來(lái)的音樂(lè)錄影帶項(xiàng)目中繼續(xù)使用虛幻引擎和AI?！暗谝淮伟l(fā)布內(nèi)容通常會(huì)讓人傷腦筋,，但《Coherence》取得了出色的反響，”Aurelien總結(jié)說(shuō),，“我們希望人們明白,，人工智能的出現(xiàn)是為了協(xié)助和激勵(lì)我們,，而不是搶走我們的工作，這個(gè)錄影帶正是我們實(shí)現(xiàn)這個(gè)目標(biāo)的第一步,?！?/p>

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~