使用虛幻5與AI技術(shù)將文本轉(zhuǎn)化成MV
如果只使用文字,，就能創(chuàng)作出一部以《阿基拉》為靈感的賽博朋克影片,，那會(huì)怎么樣,？對(duì)于藝術(shù)家團(tuán)體Sagans來說，這是一個(gè)值得開拓的未來,。最近，他們使用虛幻引擎的MetaHuman技術(shù),，同時(shí)配合AI算法,，僅憑文本描述就為其首部音樂錄影帶《Coherence》生成了大部分鏡頭,。
在最終成品所描繪的后現(xiàn)代圖景中，一位女性正在新城市中尋找著屬于自己的位置,，畫面采用素描風(fēng)格,，鏡頭伴隨著音樂不斷移動(dòng)，從明亮的櫻花樹轉(zhuǎn)場至紐約地鐵,。Sagans的藝術(shù)家們共同展示了,，AI不一定預(yù)示著我們的工作（甚至整個(gè)世界）將被它接管的可怕前景。相反,，它可能會(huì)成為釋放我們?nèi)聞?chuàng)作潛力的關(guān)鍵,。
顛覆音樂行業(yè)
根據(jù)Sagans的3D專家Aurelien的說法，《Coherence》準(zhǔn)確地代表了這個(gè)團(tuán)體所要實(shí)現(xiàn)的目標(biāo),?！拔覀兏杏X，音樂行業(yè)不愿意冒險(xiǎn),，除非存在利益驅(qū)動(dòng)因素,。”他解釋說,，“因此靠譜的內(nèi)容開始減少,，這正是促使我們創(chuàng)辦Sagans的最初原因?！?/p>
Sagans團(tuán)體由音樂家,、美術(shù)設(shè)計(jì)師和研究人員組成，他們?cè)谥谱鞯谝徊恳魳蜂浻皫е?，并不需要等待歌曲?chuàng)作完成,。這為團(tuán)隊(duì)提供了更多的時(shí)間和自由，探索如何通過人工智能和實(shí)時(shí)圖形等技術(shù)實(shí)現(xiàn)愿景,。
“虛幻引擎5是我們最先決定采用的技術(shù),，”Aurelien繼續(xù)說，“我們首先通過Quixel資產(chǎn)庫創(chuàng)建了整個(gè)世界,，緊接著,，我們采用MetaHuman Creator創(chuàng)造了逼真的角色。這為我們改變了一切,。突然間,，我們就可以在短時(shí)間內(nèi)制作出漂亮的東西了。我們知道,，我們已經(jīng)準(zhǔn)備就緒,，可以開始制作《Coherence》了。”
添加AI
起初,，團(tuán)隊(duì)決定使用大友克洋的經(jīng)典動(dòng)畫《阿基拉》的風(fēng)格,，為視頻的審美奠定基礎(chǔ)。下一步就創(chuàng)造視頻中的女主角,?！霸谑褂锰摶靡婀ぷ髦埃覀儗?duì)3D世界不是很熟悉,，”Aurelien說,，“乍看之下，創(chuàng)造角色似乎是一項(xiàng)非常復(fù)雜的任務(wù),。幸運(yùn)的是,，MetaHuman Creator讓事情變簡單了?！?/p>
為了創(chuàng)造讓觀眾感覺親切的角色,，團(tuán)隊(duì)混合了MetaHuman數(shù)據(jù)庫中三張面孔的元素，找到了自己喜歡的結(jié)果,。接下來,，他們使用iOS的Live Link Face應(yīng)用，為角色制作了面部表情動(dòng)畫,。與此同時(shí),，Sagans的藝術(shù)家們還開始使用Quixel構(gòu)建視頻的虛幻引擎環(huán)境，從日本風(fēng)格的英國街道,，到紐約的地鐵,，應(yīng)有盡有。
“創(chuàng)建環(huán)境時(shí),，Lumen發(fā)揮了至關(guān)重要的作用,，”Aurelien解釋說，“有了它,，我們能夠在不使用大量硬件資源的前提下實(shí)時(shí)處理光照,。再配合使用Niagara創(chuàng)造雨水等粒子，在短短幾秒鐘內(nèi),，我們就可以生成與用戶界面中完全一致的渲染,。”
最后一步是根據(jù)場景的需要,，通過三套獨(dú)立的AI算法生成虛幻引擎輸出,，營造最終的大友克洋風(fēng)格。第一套算法允許Sagans的藝術(shù)家使用文本描述場景風(fēng)格,，然后以視頻形式將其表現(xiàn)出來,。第二套算法會(huì)使用參考圖像制作動(dòng)畫視頻,，而最后一套算法可將實(shí)景真人電影轉(zhuǎn)變成風(fēng)格化的動(dòng)畫影片。
“在大多數(shù)鏡頭中,，我們都用到了文本轉(zhuǎn)視頻算法,。”Aurelien補(bǔ)充說,，“為此，我們使用Disco Diffusion 5幫助生成單獨(dú)的幀,，然后通過算法將這些幀轉(zhuǎn)變成視頻,。我們必須確保文本內(nèi)容非常詳細(xì)，不僅能描述出風(fēng)格,，還要填補(bǔ)所有紕漏：如果沒有提到天空,，機(jī)器可能會(huì)忘記城市頂部必須有一片天空。在得到不錯(cuò)的第一幀畫面之后,，我們還要根據(jù)運(yùn)鏡的需要,，提供足夠的描述，生成接下來的幀,，然后在第20幀處最后一次檢查渲染,。”
使用虛幻引擎的成果
由于使用了獨(dú)特的實(shí)時(shí)3D和AI工作流程,，從第一個(gè)鏡頭到《Coherence》的最終渲染,，整個(gè)過程只花了三位Sagans創(chuàng)作者八周時(shí)間?！拔覀兿胍环N既簡單易用又足夠快速的解決方案,，幫助我們迅速實(shí)現(xiàn)愿景，虛幻引擎沒有讓我們失望,?！盇urelien補(bǔ)充說，“只需幾次點(diǎn)擊,，我們就可以輕松創(chuàng)建極其精細(xì)的角色和城市環(huán)境,，在沒有動(dòng)作捕捉服的情況下為女主角制作動(dòng)畫?！?/p>
現(xiàn)在,，《Coherence》已創(chuàng)作完成，團(tuán)隊(duì)計(jì)劃在未來的音樂錄影帶項(xiàng)目中繼續(xù)使用虛幻引擎和AI,?！暗谝淮伟l(fā)布內(nèi)容通常會(huì)讓人傷腦筋，但《Coherence》取得了出色的反響,，”Aurelien總結(jié)說,，“我們希望人們明白，人工智能的出現(xiàn)是為了協(xié)助和激勵(lì)我們，而不是搶走我們的工作,，這個(gè)錄影帶正是我們實(shí)現(xiàn)這個(gè)目標(biāo)的第一步,。”
本文轉(zhuǎn)自虛幻引擎官網(wǎng)~
打印本文
關(guān)閉窗口