如果僅僅使用iPhone和電腦,，就可以捕捉演員的表演,，并在幾分鐘內(nèi)將它轉(zhuǎn)變成高保真MetaHuman面部動(dòng)畫(huà)，你會(huì)有何想法,？

有了MetaHuman Animator,，你就可以做到！

在GDC 2023上UE首次向公眾展示了這套快速,、簡(jiǎn)便的數(shù)字人類管線,，其最新版本為MetaHuman帶來(lái)了高保真表演捕捉。

MetaHuman Animator是UE新推出的功能集,，允許你使用iPhone或立體頭戴式攝像機(jī)系統(tǒng)（HMC）捕捉演員的表演,，并以高保真面部動(dòng)畫(huà)的形式將其應(yīng)用至任何MetaHuman角色，全程無(wú)需你手動(dòng)干預(yù),。

每個(gè)微妙的表情,、神態(tài)和情緒都會(huì)被精確地捕捉下來(lái)，忠實(shí)地還原到你的數(shù)字人類上,。更棒的地方在于,，它實(shí)現(xiàn)這些出色結(jié)果的方式簡(jiǎn)單明了——任何人都可以完成這項(xiàng)任務(wù)。

如果你不熟悉表演捕捉,，MetaHuman Animator將為你提供一種便利的方式,，讓你為MetaHuman帶去基于真實(shí)表演的面部動(dòng)畫(huà),。

如果你已經(jīng)比較了解表演捕捉，這套新的功能集仍可大幅改善你現(xiàn)有的捕捉工作流程,，幫助你節(jié)省時(shí)間和精力,，為你提供更強(qiáng)大的創(chuàng)意可控性。你只需將MetaHuman Animator與你現(xiàn)有的垂直立體頭戴式攝像機(jī)搭配在一起,，即可實(shí)現(xiàn)更高的視覺(jué)保真度,。

制作高保真面部動(dòng)畫(huà)的簡(jiǎn)單方法

以前，需要一組專家花上幾個(gè)月的時(shí)間,，才能在數(shù)字角色上忠實(shí)重現(xiàn)演員表演中的每一個(gè)細(xì)微之處?，F(xiàn)在，MetaHuman Animator將在極短的時(shí)間里為你完成這項(xiàng)艱難的工作——整個(gè)過(guò)程毫不費(fèi)力,。

新的功能集通過(guò)使用4D解算器,，將視頻及深度數(shù)據(jù)與表演者的MetaHuman代表模型結(jié)合在了一起。動(dòng)畫(huà)是使用GPU硬件在本地生成的,，幾分鐘內(nèi)即可得到最終動(dòng)畫(huà),。

但這一切都發(fā)生在幕后，對(duì)你來(lái)說(shuō),，整個(gè)過(guò)程幾乎就是將攝像機(jī)對(duì)準(zhǔn)演員,，然后按下錄制鍵。捕捉完畢后,，MetaHuman Animator可以準(zhǔn)確地將演員表演中的個(gè)性和細(xì)微之處復(fù)制到任何MetaHuman角色上,。

更重要的是，動(dòng)畫(huà)數(shù)據(jù)在語(yǔ)義上是正確的,，它會(huì)使用合適的綁定控制點(diǎn),，在時(shí)間上保持連貫，并且具有流暢的控制過(guò)渡,，因此,，如果你想修改動(dòng)畫(huà)，可以很容易地做出美術(shù)方面的調(diào)整,。

想看看在使用高端設(shè)備時(shí),，MetaHuman Animator有哪些潛力嗎？

歡迎了解一下Blue Dot項(xiàng)目,。這部短片由Epic Games的3Lateral團(tuán)隊(duì)與塞爾維亞當(dāng)?shù)氐乃囆g(shù)家合作拍攝,，其中就包括知名演員Radivoje Bukvi?。他在短片中朗誦了一段由Mika Antic的詩(shī)歌改編的獨(dú)白,。他的表演是在Take One工作室的動(dòng)捕舞臺(tái)上拍攝的,，由電影攝影師Ivan ?ijak擔(dān)任攝影導(dǎo)演。

這一細(xì)膩動(dòng)人的成果展示了藝術(shù)家和電影人在使用MetaHuman Animator、立體頭戴式攝影系統(tǒng)及傳統(tǒng)電影制作技術(shù)時(shí),，能夠達(dá)到怎樣的保真度,。

而且，該團(tuán)隊(duì)只在MetaHuman Animator的結(jié)果基礎(chǔ)上做了少量處理就達(dá)到了如此令人印象深刻的動(dòng)畫(huà)品質(zhì),。

可用于任何MetaHuman的面部動(dòng)畫(huà)

只需幾次點(diǎn)擊,，即可將你使用MetaHuman Animator捕捉的面部動(dòng)畫(huà)應(yīng)用于任何MetaHuman角色或任何采用了新MetaHuman面部描述標(biāo)準(zhǔn)的角色。

這意味著,，你可以按照自己想要的方式設(shè)計(jì)角色,，并胸有成竹地知道，應(yīng)用于角色的面部動(dòng)畫(huà)將正常工作,。

從技術(shù)角度看,，這是切實(shí)可行的，因?yàn)椤熬W(wǎng)格體轉(zhuǎn)MetaHuman”功能如今能夠僅僅通過(guò)視頻中的三個(gè)幀以及深度數(shù)據(jù)（可以使用iPhone捕捉,，也可以通過(guò)重建垂直立體頭戴式攝像機(jī)的數(shù)據(jù)得到）創(chuàng)建MetaHuman身份,。

這使解算器能夠針對(duì)演員實(shí)現(xiàn)個(gè)性化，讓MetaHuman Animator生成可用于任何MetaHuman角色的動(dòng)畫(huà),。它甚至可以使用音頻生成惟妙惟肖的口型動(dòng)畫(huà)。

使用iPhone進(jìn)行捕捉

UE希望將只有專家通過(guò)高端捕捉系統(tǒng)才能實(shí)現(xiàn)的面部表演捕捉開(kāi)放給所有創(chuàng)作者,。

在最簡(jiǎn)單的情況下,，你只需要準(zhǔn)備一部iPhone（12或更新型號(hào)）和一臺(tái)桌面電腦，就可以使用MetaHuman Animator,。這不是天方夜譚,，因?yàn)閁E已經(jīng)更新了Live Link Face iOS應(yīng)用，它可以捕捉原始視頻和深度數(shù)據(jù),，然后在設(shè)備中直接將它們傳給虛幻引擎進(jìn)行處理,。

MetaHuman Animator還可以搭配使用現(xiàn)有的垂直立體頭戴式攝像機(jī)系統(tǒng)，實(shí)現(xiàn)更高的保真度,。

無(wú)論你使用的是iPhone還是立體HMC,，MetaHuman Animator都將為你改善捕捉工作流程的速度和便利性。這讓你可以根據(jù)拍攝要求和希望達(dá)到的視覺(jué)保真度水平,，靈活選擇最適合的硬件,。

捕捉的動(dòng)畫(huà)數(shù)據(jù)支持時(shí)間碼，因此面部表演動(dòng)畫(huà)可以很容易地與身體動(dòng)作捕捉及音頻對(duì)齊,，創(chuàng)造完整的角色表演,。

在片場(chǎng)做出創(chuàng)意選擇的理想工具

MetaHuman Animator可完美滿足在片場(chǎng)迭代創(chuàng)意的需求，因?yàn)樗试S你快速處理面部動(dòng)畫(huà),，然后將其轉(zhuǎn)移給任何MetaHuman角色,。

需要演員更進(jìn)一步，挖掘不同的情感，或者簡(jiǎn)單地探索新方向,？那就讓他們?cè)倥臄z一次,。等上制作一杯咖啡的時(shí)間，你就能檢查結(jié)果,。

在拍攝期間,，通過(guò)直接在虛幻引擎中檢查動(dòng)畫(huà)數(shù)據(jù)，你可以在為角色制作最終動(dòng)畫(huà)之前評(píng)估捕捉的質(zhì)量,。

而且,，由于在演員離開(kāi)舞臺(tái)之前就可以重新進(jìn)行拍攝，你將當(dāng)場(chǎng)得到最好的拍攝結(jié)果,，無(wú)需在接下來(lái)的某個(gè)時(shí)間里承擔(dān)讓所有人返工的金錢和時(shí)間成本,。

使用新的網(wǎng)格體轉(zhuǎn)MetaHuman工作流程定制角色

然而，該版本的改進(jìn)不僅僅是推出了MetaHuman Animator,。UE還擴(kuò)展了網(wǎng)格體轉(zhuǎn)MetaHuman功能,，你現(xiàn)在可以直接設(shè)置模板網(wǎng)格體上的控制點(diǎn)位置。

網(wǎng)格體轉(zhuǎn)MetaHuman功能通過(guò)執(zhí)行匹配流程,，可以使用任何拓?fù)浣Y(jié)構(gòu),，但這樣做的結(jié)果必然只能達(dá)到與你輸入的網(wǎng)格體體積相接近的程度。而在這個(gè)版本中,，你可以設(shè)置模板網(wǎng)格體,，只要它嚴(yán)格符合MetaHuman的拓?fù)浣Y(jié)構(gòu)，你就能精確綁定這個(gè)網(wǎng)格體,，而不是得到一個(gè)近似結(jié)果,。

再結(jié)合DNA校準(zhǔn)功能為網(wǎng)格體和關(guān)節(jié)設(shè)置中性姿勢(shì)，專家們將能夠快速集中精力創(chuàng)造自定義角色,。

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~