海洋環(huán)境保護(hù)VR體驗(yàn)Drop in the Ocean開發(fā)的幕后故事
由Vision3聯(lián)合國(guó)際保護(hù)組織使用Unity開發(fā)的Drop in the Ocean是一個(gè)10分鐘的虛擬現(xiàn)實(shí)社交冒險(xiǎn)體驗(yàn),，由Philippe和Ashlan Cousteau講述。在該體驗(yàn)中觀眾可以乘坐水母,，感受深海的神秘,。最重要的是，參與者能夠從海洋生物的角度體驗(yàn)塑料污染危機(jī),。
盡管將該項(xiàng)目開發(fā)為社交虛擬現(xiàn)實(shí)體驗(yàn)面臨巨大的技術(shù)挑戰(zhàn),，但將觀眾描繪成全身化身對(duì)我們的團(tuán)隊(duì)來(lái)說(shuō)非常重要。當(dāng)他們進(jìn)入到Drop in the Ocean中時(shí),，四名參與者需要合作掃除他們周圍的塑料碎片,，這讓他們對(duì)海洋正在面臨的威脅及其在解決方案中的作用有了新的認(rèn)識(shí)。正是出于這一目的Drop in the Ocean贏得了人們的喜愛,，并受到了Unity環(huán)境和可持續(xù)發(fā)展資助計(jì)劃的關(guān)注,，Unity在2021年為項(xiàng)目提供了一筆資助。
在本文中,，將深入研究Vision3團(tuán)隊(duì)如何使用Unity開發(fā)Drop in the Ocean,，并分享一些得到Unity環(huán)境和可持續(xù)發(fā)展資助計(jì)劃資助后Vision3團(tuán)隊(duì)的未來(lái)規(guī)劃。
體驗(yàn)背后
當(dāng)觀眾知道他們?cè)谏砼R其境的體驗(yàn)中與真人互動(dòng)時(shí),，社交虛擬現(xiàn)實(shí)將人們帶到不可能的地方的神奇能力就被展現(xiàn)了出來(lái),，它允許創(chuàng)作者創(chuàng)作獨(dú)特的故事。
能夠與朋友分享這樣的時(shí)刻,，并實(shí)時(shí)對(duì)他們的行為做出身體反應(yīng),，是沉浸式娛樂的一個(gè)非常特殊的元素。在項(xiàng)目開始的時(shí)候,，比如Drop in the Ocean,，Vision3團(tuán)隊(duì)一直在想方設(shè)法讓觀眾獲得更有價(jià)值的體驗(yàn)。
Drop in the Ocean于2019年首次推出,，作為PC-VR體驗(yàn),，需要通過(guò)有線電纜連接為每個(gè)參與者提供專用的高端工作站。隨著項(xiàng)目的發(fā)展,，一個(gè)定制的基于RGB攝像頭的動(dòng)作捕捉系統(tǒng)被開發(fā)出來(lái),，讓觀眾在體驗(yàn)中能夠看到彼此的全身化身。這個(gè)攝像機(jī)系統(tǒng)和高規(guī)格的本地網(wǎng)絡(luò)由一臺(tái)獨(dú)立的基于Linux控制系統(tǒng)的PC控制,。
動(dòng)作捕捉系統(tǒng)給了無(wú)標(biāo)記跟蹤前所未有的運(yùn)動(dòng)自由,，但受到當(dāng)時(shí)藝術(shù)水平的限制。它還依賴于固定的照明條件,，這些條件通常與我們的目標(biāo)場(chǎng)地不兼容,。
簡(jiǎn)而言之，我們的團(tuán)隊(duì)建立了一種極具創(chuàng)新性的體驗(yàn)，允許觀眾作為完全的化身彼此互動(dòng),，代價(jià)則是巨大的設(shè)備要求和對(duì)體驗(yàn)場(chǎng)地的限制,。
三年后，我們給自己設(shè)定了一個(gè)非常雄心勃勃的挑戰(zhàn)：如何保留視覺保真度,、科學(xué)上準(zhǔn)確的海洋物種模型和全身虛擬形象,，以便創(chuàng)建一個(gè)聯(lián)網(wǎng)的、基實(shí)際位置的體驗(yàn),，可以在移動(dòng)VR設(shè)備上實(shí)現(xiàn),。
動(dòng)態(tài)分辨率和優(yōu)化著色器
雖然有興趣將項(xiàng)目移植到獨(dú)立設(shè)備，降低成本,，增加受眾規(guī)模,，但也同樣有必要盡可能保持PC-VR版本的視覺質(zhì)量。
原始版本的Drop in the Ocean列出了移動(dòng)端開發(fā)面臨的幾乎所有挑戰(zhàn)——水母模型上的多個(gè)半透明層,、大型動(dòng)物物種上極高的多邊形數(shù)量,、幾個(gè)場(chǎng)景中的大量對(duì)象數(shù)量、固定的時(shí)間線構(gòu)建以及大量的對(duì)象交互物理算法,。VFX開發(fā)人員Conrad Hughes是移植團(tuán)隊(duì)的一員,，他的想法是在保持項(xiàng)目正常運(yùn)行的同時(shí)盡可能保持視覺保真度,。在這種情況下,，首先要做的是將Drop in the Ocean從高清晰度渲染管道（HDRP）運(yùn)行切換到通用渲染管道（URP）。雖然URP犧牲了一些質(zhì)量,，但我們發(fā)現(xiàn)與PC版本相比,，它運(yùn)行速度要快得多，并支持獨(dú)立設(shè)備,。
為了是保持盡可能多的特寫保真度,，同時(shí)讓觀眾感覺他們始終保持在海平面以下。我們利用FFR（固定凹進(jìn)渲染）等全局性能增強(qiáng)器來(lái)降低設(shè)備屏幕中心的分辨率,。一些設(shè)備擁有分辨率極高的屏幕,，這意味著盡管顯示器具有顯示出色圖像的驚人能力，但硬件可能難以推動(dòng)所有這些像素,。FFR會(huì)保證你正在看的東西的保真度和質(zhì)量并以較低分辨率填充其余部分,。
我們還在整個(gè)項(xiàng)目中使用了動(dòng)態(tài)分辨率。當(dāng)屏幕上有很多東西時(shí),，渲染比例會(huì)下降,，當(dāng)屏幕上只有幾個(gè)主要對(duì)象時(shí)，渲染比例會(huì)上升,。這樣,，當(dāng)觀眾專注于注視一個(gè)目標(biāo)時(shí)，他們會(huì)得到100%的質(zhì)量,。但是,，當(dāng)他們專注于一大群物體（即數(shù)百只水母）時(shí),，他們會(huì)獲得一種真實(shí)的存在感和置身于一大群物體中的感覺。
為了描繪出玩家的手,、化身和一些其他的VFX物體,，我們需要訪問VFX圖形。這在一定程度上是因?yàn)檫@些資產(chǎn)最初是使用VFX圖表創(chuàng)作的,，并且使用了一些定制的腳本,。從本質(zhì)上說(shuō)，重建整個(gè)VFX將是一個(gè)巨大的時(shí)間限制,。為了讓VFX圖形在Open GL 3.1上工作,，我們必須禁用軟件包中的立方體貼圖數(shù)組（GLES 3.1不支持該功能）。本質(zhì)上,，我們將VFX圖表包從Unity 2022移植到2021 LTS,，并做了一些調(diào)整以使其工作。最終我們成功了,。一些最近實(shí)現(xiàn)的特性減少了對(duì)一些腳本和定制的小程序的需求,，這對(duì)我們很有幫助。
除此之外,，我們的開發(fā)人員禁用了陰影并修改了照明設(shè)置,，以保持動(dòng)態(tài)照明（但不要讓太多的燈光同時(shí)影響一個(gè)表面），以降低成本,。我們還將生成時(shí)間進(jìn)行了交錯(cuò),，以防止GPU故障，并瀏覽了一系列標(biāo)準(zhǔn)做法,，減少紋理大小,，減少著色器復(fù)雜性和昂貴的ALU數(shù)學(xué)運(yùn)算，減少紋理抽頭,，盡可能壓縮紋理,，使用頂點(diǎn)動(dòng)畫代替蒙皮網(wǎng)格，以使游戲在硬件上成功運(yùn)行,。為了讓Drop in the Ocean在獨(dú)立設(shè)備上運(yùn)行,，我們還使用了大量早期游戲機(jī)時(shí)代的技術(shù)。
總的來(lái)說(shuō),，我們盡量節(jié)約使用昂貴的東西,。但當(dāng)我們使用它們時(shí)，我們能確保將其用在最重要的地方,，這樣就不會(huì)浪費(fèi)性能與開銷,。
構(gòu)建網(wǎng)絡(luò)的新方法
通過(guò)轉(zhuǎn)向獨(dú)立設(shè)備，我們改變了網(wǎng)絡(luò)的配置方式，并極大地改變了調(diào)節(jié)控制,。以前,，專用電腦一直通過(guò)以太網(wǎng)連接，現(xiàn)在我們面臨的挑戰(zhàn)是通過(guò)Wi-Fi 6網(wǎng)絡(luò)監(jiān)控連接設(shè)備（以及遠(yuǎn)程觀察設(shè)備電池壽命并確保體驗(yàn)同時(shí)在所有設(shè)備上啟動(dòng)）,。
在部署中,，Drop in the Ocean需要無(wú)縫地持續(xù)引入團(tuán)體觀眾流，而不能中斷或重新校準(zhǔn),。首席開發(fā)人員Gokhan Sivrikaya首先構(gòu)建了一個(gè)單獨(dú)的定制解決方案,，支持多種類型的設(shè)備和應(yīng)用程序。
這讓我們有機(jī)會(huì)添加一個(gè)在平板電腦上運(yùn)行的監(jiān)管應(yīng)用程序,，以便管理員可以在該區(qū)域檢查設(shè)備的狀態(tài),。它還允許我們輕松地添加其他Wi-Fi設(shè)備，這些設(shè)備可以在玩家與游戲互動(dòng)時(shí)提供觸覺反饋,。
Unity幫助我們以相同的代碼在不同設(shè)備的不同操作系統(tǒng)上實(shí)現(xiàn)輕松切換,。
使用空間錨點(diǎn)來(lái)確定玩家的位置以與反運(yùn)動(dòng)學(xué)方式交互
在移除動(dòng)作捕捉系統(tǒng)后，我們?cè)陂_發(fā)能夠與其他玩家的動(dòng)作和位置同步的全身化身方面仍然存在重大挑戰(zhàn),。我們的團(tuán)隊(duì)使用反向運(yùn)動(dòng)學(xué)來(lái)模擬游戲中玩家的身體,，游戲中玩家的位置需要與現(xiàn)實(shí)世界中的位置進(jìn)行校準(zhǔn)。
我們使用的設(shè)備有自己的方向（前進(jìn)矢量）,，玩家的初始位置可以在坐標(biāo)系中的任何地方,。在普通的多人游戲中，當(dāng)其他玩家在很遠(yuǎn)的某個(gè)地方——可能在他們的家里——出生點(diǎn)可以用來(lái)將虛擬世界中的玩家生成到他們指定的位置,。對(duì)于這種體驗(yàn)來(lái)說(shuō),，虛擬世界和現(xiàn)實(shí)世界（以及兩個(gè)世界中人的位置）應(yīng)該是匹配的,，這樣玩家就可以在現(xiàn)實(shí)世界中自由互動(dòng),，而不會(huì)互相碰撞。
為了實(shí)現(xiàn)這一點(diǎn),，我們使用了空間錨,。每臺(tái)設(shè)備都在同一個(gè)真實(shí)世界的坐標(biāo)上放置錨點(diǎn)，設(shè)備將玩家的相對(duì)位置從錨點(diǎn)發(fā)送到服務(wù)器,。從那里,，服務(wù)器將這些相對(duì)位置共享回設(shè)備，并且所有設(shè)備根據(jù)它們?cè)谒鼈兊奶摂M坐標(biāo)系中與錨的相對(duì)位置來(lái)解決這個(gè)問題,。這樣解釋,，聽起來(lái)很復(fù)雜，那我們換個(gè)簡(jiǎn)單的說(shuō)法,，Unity用它的核心庫(kù)幫助我們解決了這個(gè)問題,！
Unity環(huán)境和可持續(xù)發(fā)展資助
隨著體驗(yàn)的完成，我們的下一個(gè)挑戰(zhàn)是擴(kuò)大Drop in the Ocean項(xiàng)目的訪問量，以便讓更多人有機(jī)會(huì)成為社交虛擬現(xiàn)實(shí)體驗(yàn)的一部分,。這需要我們不斷推動(dòng)技術(shù),，尋找解決方案，使其更靈活,、更實(shí)用,，同時(shí)展望我們開發(fā)的未來(lái)內(nèi)容，并在現(xiàn)有的堅(jiān)實(shí)基礎(chǔ)上尋找全新的方式將人們聚集在一起,。
我們的團(tuán)隊(duì)得到了Unity的獎(jiǎng)金,，這讓我們能夠?qū)rop in the Ocean體驗(yàn)投入到不僅僅是我們當(dāng)?shù)氐纳鐓^(qū)。從最初的構(gòu)想開始,，我們就一直將該項(xiàng)目的兩個(gè)理想受眾作為目標(biāo)：一是更廣泛的普通受眾,，他們將通過(guò)此體驗(yàn)更加了解海洋環(huán)境被破壞的現(xiàn)狀，二是政府和企業(yè)內(nèi)部的關(guān)鍵決策者,。
為了更廣泛地接觸到公眾,，我們正在與北美和國(guó)際上領(lǐng)先的水族館、科學(xué)博物館和美術(shù)館合作,，使用Unity環(huán)境和可持續(xù)發(fā)展資助基金在人流量較大的文化機(jī)構(gòu)和場(chǎng)所舉辦Drop in the Ocean項(xiàng)目體驗(yàn),，Drop in the Ocean將允許每次4-6名游客參觀。我們相信當(dāng)他們摘下設(shè)備時(shí),，他們將更加可能加入保護(hù)海洋的斗爭(zhēng)中去,。
與此同時(shí)，到2023年,，我們會(huì)帶著Drop in the Ocean參加一些重要的環(huán)境和氣候行動(dòng)會(huì)議,，并支持國(guó)際保護(hù)組織的外展活動(dòng)。
我們希望Drop in the Ocean可以在支持全球2030年保護(hù)至少30%海洋方面發(fā)揮重要作用,。
我們很自豪能夠推出Drop in the Ocean體驗(yàn),，他是一種靈活的、基于位置的活動(dòng)體驗(yàn),。我們正在尋找一系列的目的地來(lái)舉辦這一項(xiàng)目,。我們已經(jīng)在探索如何將這種體驗(yàn)帶給那些難以參與活動(dòng)的群體，如教室中的學(xué)生們,。
隨著Drop in the Ocean成功移植到獨(dú)立設(shè)備,，我們下一步將期待在線迭代，保留我們喜歡的連接性的一切,，那時(shí)Drop in the Ocean將支持北美和歐洲以外地區(qū)的人們進(jìn)行訪問,。
Drop in the Ocean將來(lái)可能成為我們?yōu)閬?lái)自世界各地的學(xué)校團(tuán)體創(chuàng)造的一種在網(wǎng)上共同體驗(yàn)的方式，成為來(lái)自不同文化的學(xué)生分享他們保護(hù)健康海洋夢(mèng)想的平臺(tái),。
我們注意到,，我們的許多觀眾可能是第一次接觸VR,，因此，在適當(dāng)?shù)臅r(shí)候,，我們也希望刪除可能限制交互的組件,。當(dāng)人們摘下頭顯時(shí)，他們會(huì)感覺到自己是海洋保護(hù)運(yùn)動(dòng)的一部分,。
沉浸式體驗(yàn)的未來(lái)發(fā)展可以進(jìn)一步推動(dòng)這一概念,，我們將繼續(xù)尋找方法，讓觀眾感覺他們?cè)谖覀兊墓适轮袑?shí)現(xiàn)了價(jià)值,。
打印本文
關(guān)閉窗口