實時直播電視節(jié)目《Mapi》中虛擬制作的應用
你是否曾經(jīng)好奇過面部動畫和動作捕捉是如何在現(xiàn)場虛擬制片環(huán)境中使用的？Iralta虛擬制片團隊為我們介紹了他們?nèi)绾螢槲靼嘌拦矎V播網(wǎng)TVE1制作虛擬角色Mapi,。本文中Iralta虛擬制片團隊介紹了虛擬角色Mapi是如何被創(chuàng)造出來的,，以及創(chuàng)造一部與眾不同的電視節(jié)目所涉及的各種工作流程。
Mapi是誰,？
Mapi不僅僅是一個智力競賽節(jié)目,，還是節(jié)目中一個增強現(xiàn)實的3D角色。該節(jié)目和角色由Iralta虛擬制片公司與Mediacrest和RTVE合作制作,，在TVE1的“黃金時段”播出,。《Mapi》改編自日本公共頻道NHK的著名電視節(jié)目《Chiko的挑戰(zhàn)》,，這是一檔具有革命性的電視節(jié)目,。《Chiko的挑戰(zhàn)》每周播出一期,，因此對于《Mapi》而言使節(jié)目的制作流程適應日常的播出需求成為了一項技術挑戰(zhàn),。
Faceware的應用
節(jié)目組要求Iralta為其制作一個能夠像有血有肉的演員一樣表演的3D角色：一個半人半3D的混合角色，可以與其他演員,、參賽者和現(xiàn)實生活中的物體互動,。
通過使用安裝在攝像機和女演員身上的Mo-Sys能夠在空間中定位3D模型。這使得制作組能夠在真實和虛擬空間中定位角色,。
面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio將女演員的動作實時轉(zhuǎn)換為3D模型的動作,。隨著時間的推移，“機器學習”的使用也有助于面部捕捉軟件提高Mapi的表現(xiàn)力,。
另外角色的動畫是在虛幻引擎中開發(fā)的,，以便于為Mapi添加一些，如煙霧,，雨水或特定表情等特殊效果,。
虛擬制片流程
使用實時渲染引擎——虛幻引擎，我們可以通過四個攝像頭完成整場直播秀。為了合成和增強真實感,，我們還使用了與布景相同的照明和來自視頻面板的燈光功能,。
開發(fā)AR 3D角色的集成是為了向Vision mixer提供四個現(xiàn)場反饋，從而允許導演實現(xiàn)現(xiàn)場混合直播,。
這個為虛擬制片設計的實時制作工作流程超過了5400分鐘（90小時）,，無需進行任何3D后期制作。
這種制作3D,、VFX和動畫的新方式徹底改變了拍攝和后期制作的既定模式,。虛擬制片讓動畫和“后期制作”與現(xiàn)在拍攝同時進行。演員現(xiàn)在能夠與場景中的3D元素以及虛擬演員進行實時互動,。
《Mapi》的制作是一項艱難且極具創(chuàng)造性的壯舉,。那么我們?nèi)绾问褂妙愃啤栋⒎策_》、《曼達洛人》或《堡壘之夜》的技術來制作完整的電視直播節(jié)目呢,？許多廣播公司使用增強現(xiàn)實來添加圖形內(nèi)容或數(shù)據(jù),，但這是第一次混合3D角色在多臺攝像機上參與實時表演。
關于角色Mapi的設計
Mapi的設計在一定程度上參考了“Chiko的挑戰(zhàn)”以及它最初是如何融入日本文化和電視的,。對于創(chuàng)造一個更受西方人接受的角色而言,，Mapi的設計靈感更多來自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色。
Mapi的角色設計由馬科斯·拉亞（Marcos Raya）和安吉爾·烏爾維納（Angel Urbina）和戴夫·伯頓（Dave Burton）領導的Iralta 虛擬制片團隊負責,。Mapi是一個充滿疑問的幽默小女孩,。而在更深層次上，Mapi是知識的女王,，她擁有極其豐富的面部表情,。Mapi的3D模型是一個女孩的臉，能夠表達從笑到憤怒的一系列情緒,，這能提升演員的即興表演能力,。
女演員Carla Pulpón
使用虛擬制片的增強現(xiàn)實使我們能夠獲得演員的最佳表演，并實時將其轉(zhuǎn)換為3D角色,。當然如果沒有Mapi背后的女演員Carla Pulpón,，這些表情就很難活靈活現(xiàn)的展現(xiàn)出來了。在片場的每一天,，Carla都賦予她所扮演的虛擬角色生命力,。她在錄制節(jié)目的時候會戴著一個參考用的假人頭部，以及Faceware Mark IV頭戴式攝像系統(tǒng),，該系統(tǒng)可以使她的面部動作與Mapi保持同步,。
服裝
Mapi是一個虛擬與現(xiàn)實結(jié)合的角色。Mapi人體部分的服裝由來自Producciones Mutis的Esther R. Luaces和Reyes Pe負責,。TVE所需的設計是在創(chuàng)紀錄的時間內(nèi)完成的,，以配合此次展覽的試點和技術測試,。織物的顏色和紋理必須與虛擬數(shù)字角色相結(jié)合,。Mapi的服裝需要在視覺上吸引人的同時也非常實用,，因為她的背包必須隱藏面部和動作跟蹤硬件。巨大的假人頭部幫助Carla實現(xiàn)了準確的動作,，并給我們帶來了真實的反射和陰影,。
Iralta
該項目使用了7臺功能強大的計算機來為Mapi的虛擬部分注入活力，并整合了不同的數(shù)據(jù)（如視頻,、位置信息和面部識別等）：分析,、動畫和渲染。此外制作組還開發(fā)了一系列數(shù)字道具來增強Mapi的情感和動作,。
在錄制前的幾個月,，Iralta的虛擬制片團隊參與了研發(fā)和其他測試，以使Mapi栩栩如生,。他們在優(yōu)化面部和相機跟蹤系統(tǒng)上花費了許多時間,，這些系統(tǒng)在每個節(jié)目中都在不斷發(fā)展,、進步,。在幾個星期的時間中，工作人員將計算機系統(tǒng)和軟件推向極限,，最終獲得了獲得絕佳的實時動畫效果,。
打印本文
關閉窗口