你是否曾經(jīng)好奇過(guò)面部動(dòng)畫(huà)和動(dòng)作捕捉是如何在現(xiàn)場(chǎng)虛擬制片環(huán)境中使用的？Iralta虛擬制片團(tuán)隊(duì)為我們介紹了他們?nèi)绾螢槲靼嘌拦矎V播網(wǎng)TVE1制作虛擬角色Mapi,。本文中Iralta虛擬制片團(tuán)隊(duì)介紹了虛擬角色Mapi是如何被創(chuàng)造出來(lái)的,，以及創(chuàng)造一部與眾不同的電視節(jié)目所涉及的各種工作流程。

Mapi是誰(shuí),？

Mapi不僅僅是一個(gè)智力競(jìng)賽節(jié)目,，還是節(jié)目中一個(gè)增強(qiáng)現(xiàn)實(shí)的3D角色。該節(jié)目和角色由Iralta虛擬制片公司與Mediacrest和RTVE合作制作,，在TVE1的“黃金時(shí)段”播出,。《Mapi》改編自日本公共頻道NHK的著名電視節(jié)目《Chiko的挑戰(zhàn)》,，這是一檔具有革命性的電視節(jié)目,。《Chiko的挑戰(zhàn)》每周播出一期,，因此對(duì)于《Mapi》而言使節(jié)目的制作流程適應(yīng)日常的播出需求成為了一項(xiàng)技術(shù)挑戰(zhàn),。

Faceware的應(yīng)用

節(jié)目組要求Iralta為其制作一個(gè)能夠像有血有肉的演員一樣表演的3D角色：一個(gè)半人半3D的混合角色，可以與其他演員,、參賽者和現(xiàn)實(shí)生活中的物體互動(dòng),。

通過(guò)使用安裝在攝像機(jī)和女演員身上的Mo-Sys能夠在空間中定位3D模型。這使得制作組能夠在真實(shí)和虛擬空間中定位角色,。

面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio將女演員的動(dòng)作實(shí)時(shí)轉(zhuǎn)換為3D模型的動(dòng)作,。隨著時(shí)間的推移，“機(jī)器學(xué)習(xí)”的使用也有助于面部捕捉軟件提高M(jìn)api的表現(xiàn)力,。

另外角色的動(dòng)畫(huà)是在虛幻引擎中開(kāi)發(fā)的,，以便于為Mapi添加一些，如煙霧,，雨水或特定表情等特殊效果,。

虛擬制片流程

使用實(shí)時(shí)渲染引擎——虛幻引擎,，我們可以通過(guò)四個(gè)攝像頭完成整場(chǎng)直播秀。為了合成和增強(qiáng)真實(shí)感,，我們還使用了與布景相同的照明和來(lái)自視頻面板的燈光功能,。

開(kāi)發(fā)AR 3D角色的集成是為了向Vision mixer提供四個(gè)現(xiàn)場(chǎng)反饋,，從而允許導(dǎo)演實(shí)現(xiàn)現(xiàn)場(chǎng)混合直播,。

這個(gè)為虛擬制片設(shè)計(jì)的實(shí)時(shí)制作工作流程超過(guò)了5400分鐘（90小時(shí)），無(wú)需進(jìn)行任何3D后期制作,。

這種制作3D,、VFX和動(dòng)畫(huà)的新方式徹底改變了拍攝和后期制作的既定模式。虛擬制片讓動(dòng)畫(huà)和“后期制作”與現(xiàn)在拍攝同時(shí)進(jìn)行,。演員現(xiàn)在能夠與場(chǎng)景中的3D元素以及虛擬演員進(jìn)行實(shí)時(shí)互動(dòng),。

《Mapi》的制作是一項(xiàng)艱難且極具創(chuàng)造性的壯舉。那么我們?nèi)绾问褂妙愃啤栋⒎策_(dá)》,、《曼達(dá)洛人》或《堡壘之夜》的技術(shù)來(lái)制作完整的電視直播節(jié)目呢,？許多廣播公司使用增強(qiáng)現(xiàn)實(shí)來(lái)添加圖形內(nèi)容或數(shù)據(jù)，但這是第一次混合3D角色在多臺(tái)攝像機(jī)上參與實(shí)時(shí)表演,。

關(guān)于角色Mapi的設(shè)計(jì)

Mapi的設(shè)計(jì)在一定程度上參考了“Chiko的挑戰(zhàn)”以及它最初是如何融入日本文化和電視的,。對(duì)于創(chuàng)造一個(gè)更受西方人接受的角色而言，Mapi的設(shè)計(jì)靈感更多來(lái)自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色,。

Mapi的角色設(shè)計(jì)由馬科斯·拉亞（Marcos Raya）和安吉爾·烏爾維納（Angel Urbina）和戴夫·伯頓（Dave Burton）領(lǐng)導(dǎo)的Iralta 虛擬制片團(tuán)隊(duì)負(fù)責(zé),。Mapi是一個(gè)充滿疑問(wèn)的幽默小女孩。而在更深層次上,，Mapi是知識(shí)的女王,，她擁有極其豐富的面部表情。Mapi的3D模型是一個(gè)女孩的臉,，能夠表達(dá)從笑到憤怒的一系列情緒,，這能提升演員的即興表演能力。

女演員Carla Pulpón

使用虛擬制片的增強(qiáng)現(xiàn)實(shí)使我們能夠獲得演員的最佳表演,，并實(shí)時(shí)將其轉(zhuǎn)換為3D角色,。當(dāng)然如果沒(méi)有Mapi背后的女演員Carla Pulpón，這些表情就很難活靈活現(xiàn)的展現(xiàn)出來(lái)了,。在片場(chǎng)的每一天,，Carla都賦予她所扮演的虛擬角色生命力。她在錄制節(jié)目的時(shí)候會(huì)戴著一個(gè)參考用的假人頭部,，以及Faceware Mark IV頭戴式攝像系統(tǒng),，該系統(tǒng)可以使她的面部動(dòng)作與Mapi保持同步。

服裝

Mapi是一個(gè)虛擬與現(xiàn)實(shí)結(jié)合的角色,。Mapi人體部分的服裝由來(lái)自Producciones Mutis的Esther R. Luaces和Reyes Pe負(fù)責(zé),。TVE所需的設(shè)計(jì)是在創(chuàng)紀(jì)錄的時(shí)間內(nèi)完成的,，以配合此次展覽的試點(diǎn)和技術(shù)測(cè)試?？椢锏念伾图y理必須與虛擬數(shù)字角色相結(jié)合,。Mapi的服裝需要在視覺(jué)上吸引人的同時(shí)也非常實(shí)用，因?yàn)樗谋嘲仨氹[藏面部和動(dòng)作跟蹤硬件,。巨大的假人頭部幫助Carla實(shí)現(xiàn)了準(zhǔn)確的動(dòng)作,，并給我們帶來(lái)了真實(shí)的反射和陰影。

Iralta

該項(xiàng)目使用了7臺(tái)功能強(qiáng)大的計(jì)算機(jī)來(lái)為Mapi的虛擬部分注入活力,，并整合了不同的數(shù)據(jù)（如視頻,、位置信息和面部識(shí)別等）：分析、動(dòng)畫(huà)和渲染,。此外制作組還開(kāi)發(fā)了一系列數(shù)字道具來(lái)增強(qiáng)Mapi的情感和動(dòng)作,。

在錄制前的幾個(gè)月，Iralta的虛擬制片團(tuán)隊(duì)參與了研發(fā)和其他測(cè)試,，以使Mapi栩栩如生,。他們?cè)趦?yōu)化面部和相機(jī)跟蹤系統(tǒng)上花費(fèi)了許多時(shí)間，這些系統(tǒng)在每個(gè)節(jié)目中都在不斷發(fā)展,、進(jìn)步,。在幾個(gè)星期的時(shí)間中，工作人員將計(jì)算機(jī)系統(tǒng)和軟件推向極限,，最終獲得了獲得絕佳的實(shí)時(shí)動(dòng)畫(huà)效果,。