如果僅僅使用iPhone和電腦,，就可以捕捉演員的表演，并在幾分鐘內(nèi)將它轉(zhuǎn)變成高保真MetaHuman面部動畫,，你會有何想法,？

有了MetaHuman Animator，你就可以做到！

在GDC 2023上UE首次向公眾展示了這套快速,、簡便的數(shù)字人類管線,，其最新版本為MetaHuman帶來了高保真表演捕捉。

MetaHuman Animator是UE新推出的功能集,，允許你使用iPhone或立體頭戴式攝像機(jī)系統(tǒng)（HMC）捕捉演員的表演,，并以高保真面部動畫的形式將其應(yīng)用至任何MetaHuman角色，全程無需你手動干預(yù),。

每個微妙的表情,、神態(tài)和情緒都會被精確地捕捉下來，忠實地還原到你的數(shù)字人類上,。更棒的地方在于,，它實現(xiàn)這些出色結(jié)果的方式簡單明了——任何人都可以完成這項任務(wù)。

如果你不熟悉表演捕捉,，MetaHuman Animator將為你提供一種便利的方式,，讓你為MetaHuman帶去基于真實表演的面部動畫。

如果你已經(jīng)比較了解表演捕捉,，這套新的功能集仍可大幅改善你現(xiàn)有的捕捉工作流程,，幫助你節(jié)省時間和精力，為你提供更強(qiáng)大的創(chuàng)意可控性,。你只需將MetaHuman Animator與你現(xiàn)有的垂直立體頭戴式攝像機(jī)搭配在一起,，即可實現(xiàn)更高的視覺保真度。

制作高保真面部動畫的簡單方法

以前,，需要一組專家花上幾個月的時間,，才能在數(shù)字角色上忠實重現(xiàn)演員表演中的每一個細(xì)微之處。現(xiàn)在,，MetaHuman Animator將在極短的時間里為你完成這項艱難的工作——整個過程毫不費(fèi)力,。

新的功能集通過使用4D解算器，將視頻及深度數(shù)據(jù)與表演者的MetaHuman代表模型結(jié)合在了一起,。動畫是使用GPU硬件在本地生成的,，幾分鐘內(nèi)即可得到最終動畫。

但這一切都發(fā)生在幕后,，對你來說,，整個過程幾乎就是將攝像機(jī)對準(zhǔn)演員，然后按下錄制鍵,。捕捉完畢后,，MetaHuman Animator可以準(zhǔn)確地將演員表演中的個性和細(xì)微之處復(fù)制到任何MetaHuman角色上。

更重要的是,，動畫數(shù)據(jù)在語義上是正確的,，它會使用合適的綁定控制點(diǎn),，在時間上保持連貫，并且具有流暢的控制過渡,，因此,，如果你想修改動畫，可以很容易地做出美術(shù)方面的調(diào)整,。

想看看在使用高端設(shè)備時,，MetaHuman Animator有哪些潛力嗎？

歡迎了解一下Blue Dot項目,。這部短片由Epic Games的3Lateral團(tuán)隊與塞爾維亞當(dāng)?shù)氐乃囆g(shù)家合作拍攝,，其中就包括知名演員Radivoje Bukvi?。他在短片中朗誦了一段由Mika Antic的詩歌改編的獨(dú)白,。他的表演是在Take One工作室的動捕舞臺上拍攝的,，由電影攝影師Ivan ?ijak擔(dān)任攝影導(dǎo)演。

這一細(xì)膩動人的成果展示了藝術(shù)家和電影人在使用MetaHuman Animator,、立體頭戴式攝影系統(tǒng)及傳統(tǒng)電影制作技術(shù)時,，能夠達(dá)到怎樣的保真度。

而且,，該團(tuán)隊只在MetaHuman Animator的結(jié)果基礎(chǔ)上做了少量處理就達(dá)到了如此令人印象深刻的動畫品質(zhì),。

可用于任何MetaHuman的面部動畫

只需幾次點(diǎn)擊，即可將你使用MetaHuman Animator捕捉的面部動畫應(yīng)用于任何MetaHuman角色或任何采用了新MetaHuman面部描述標(biāo)準(zhǔn)的角色,。

這意味著，你可以按照自己想要的方式設(shè)計角色,，并胸有成竹地知道,，應(yīng)用于角色的面部動畫將正常工作。

從技術(shù)角度看,，這是切實可行的,，因為“網(wǎng)格體轉(zhuǎn)MetaHuman”功能如今能夠僅僅通過視頻中的三個幀以及深度數(shù)據(jù)（可以使用iPhone捕捉，也可以通過重建垂直立體頭戴式攝像機(jī)的數(shù)據(jù)得到）創(chuàng)建MetaHuman身份,。

這使解算器能夠針對演員實現(xiàn)個性化,，讓MetaHuman Animator生成可用于任何MetaHuman角色的動畫。它甚至可以使用音頻生成惟妙惟肖的口型動畫,。

使用iPhone進(jìn)行捕捉

UE希望將只有專家通過高端捕捉系統(tǒng)才能實現(xiàn)的面部表演捕捉開放給所有創(chuàng)作者,。

在最簡單的情況下，你只需要準(zhǔn)備一部iPhone（12或更新型號）和一臺桌面電腦,，就可以使用MetaHuman Animator,。這不是天方夜譚，因為UE已經(jīng)更新了Live Link Face iOS應(yīng)用,，它可以捕捉原始視頻和深度數(shù)據(jù),，然后在設(shè)備中直接將它們傳給虛幻引擎進(jìn)行處理,。

MetaHuman Animator還可以搭配使用現(xiàn)有的垂直立體頭戴式攝像機(jī)系統(tǒng)，實現(xiàn)更高的保真度,。

無論你使用的是iPhone還是立體HMC,，MetaHuman Animator都將為你改善捕捉工作流程的速度和便利性。這讓你可以根據(jù)拍攝要求和希望達(dá)到的視覺保真度水平,，靈活選擇最適合的硬件,。

捕捉的動畫數(shù)據(jù)支持時間碼，因此面部表演動畫可以很容易地與身體動作捕捉及音頻對齊,，創(chuàng)造完整的角色表演,。

在片場做出創(chuàng)意選擇的理想工具

MetaHuman Animator可完美滿足在片場迭代創(chuàng)意的需求，因為它允許你快速處理面部動畫,，然后將其轉(zhuǎn)移給任何MetaHuman角色,。

需要演員更進(jìn)一步，挖掘不同的情感,，或者簡單地探索新方向,？那就讓他們再拍攝一次。等上制作一杯咖啡的時間,，你就能檢查結(jié)果,。

在拍攝期間，通過直接在虛幻引擎中檢查動畫數(shù)據(jù),，你可以在為角色制作最終動畫之前評估捕捉的質(zhì)量,。

而且，由于在演員離開舞臺之前就可以重新進(jìn)行拍攝,，你將當(dāng)場得到最好的拍攝結(jié)果,，無需在接下來的某個時間里承擔(dān)讓所有人返工的金錢和時間成本。

使用新的網(wǎng)格體轉(zhuǎn)MetaHuman工作流程定制角色

然而,，該版本的改進(jìn)不僅僅是推出了MetaHuman Animator,。UE還擴(kuò)展了網(wǎng)格體轉(zhuǎn)MetaHuman功能，你現(xiàn)在可以直接設(shè)置模板網(wǎng)格體上的控制點(diǎn)位置,。

網(wǎng)格體轉(zhuǎn)MetaHuman功能通過執(zhí)行匹配流程,，可以使用任何拓?fù)浣Y(jié)構(gòu)，但這樣做的結(jié)果必然只能達(dá)到與你輸入的網(wǎng)格體體積相接近的程度,。而在這個版本中,，你可以設(shè)置模板網(wǎng)格體，只要它嚴(yán)格符合MetaHuman的拓?fù)浣Y(jié)構(gòu),，你就能精確綁定這個網(wǎng)格體,，而不是得到一個近似結(jié)果。

再結(jié)合DNA校準(zhǔn)功能為網(wǎng)格體和關(guān)節(jié)設(shè)置中性姿勢,，專家們將能夠快速集中精力創(chuàng)造自定義角色,。

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~