自 2021 年 8 月全球發(fā)布以來,，大逃殺類新作《永劫無間》在全球掀起了一波又一波的游戲狂潮。游戲源自中國玄幻的美術(shù)風(fēng)格給世界各地的玩家們留下了極為深刻的印象,。

作為網(wǎng)易的獨立子公司,，24 Entertainment 工作室在其首款桌面端游戲《永劫無間》就搏得了開門紅，迅速吸引了全球玩家的目光,。游戲在發(fā)布第一周內(nèi)便登上 Steam 排行榜前 10 名,，活躍玩家數(shù)超過《彩虹六號：圍攻》、《Splitgate》等熱門游戲,。

這場大逃殺式的動作冒險將場景設(shè)立在五光十色的山巔,、郁郁蔥蔥的森林和斷壁殘垣的古城中，每一個都蘊(yùn)含了驚人的細(xì)節(jié),。為了抓住環(huán)境的美感,，以足夠的性能和幀率支撐多達(dá) 60 人的多人游戲，24 Entertainment 與知名技術(shù)企業(yè) NVIDIA 和 Unity 展開了親密合作,。

在與 NVIDIA 的合作中,，24 Entertainment 提前用上了深度學(xué)習(xí)超采樣 (DLSS) 技術(shù)：一項以渲染高幀率、高分辨率實時圖形為目的的新渲染技術(shù),。DLSS 可借助人工智能舉重若輕地增強(qiáng)圖形性能和整體質(zhì)量,。

為了維持高性能，《永劫無間》以低分辨率渲染,，避免了像素著色計算等流程,。在運行期間，DLSS 將利用神經(jīng)網(wǎng)絡(luò)生成高分辨率圖像,，為玩家們保留美術(shù)細(xì)節(jié),。這樣一來，游戲不僅能生成高質(zhì)量的圖像,，還能借助人工智能填補(bǔ)圖像缺失,，使得渲染速度提高幾乎一倍，這對于如此大體量的多人競技游戲非常關(guān)鍵,。

在 DLSS 的幫助下,，24 Entertainment 成功實現(xiàn)了高幀率、高分辨率和高清細(xì)節(jié)?？梢哉f,，DLSS 的 4K 幾乎可以比肩原生 4K。Unity 2021.2 版本將支持并維護(hù) DLSS 技術(shù),。

經(jīng)過訓(xùn)練的 AI 能參考前幾幀畫面進(jìn)行渲染,，輔助抗鋸齒等功能。并且,，同一游戲的神經(jīng)網(wǎng)絡(luò)模型無須再度訓(xùn)練即可處理各種畫面,。

《永劫無間》中的DLSS

在幾年前《永劫無間》的開發(fā)初期，團(tuán)隊在 Unity 可編程渲染管線（SRP,，一種支持添加自定義C#渲染架構(gòu)的管線）的基礎(chǔ)上建立了自己的渲染管線,。

在 NVIDIA 的 Developer Relations 專家及 Unity Core Support 的支持下，24 Entertainment 還率先在 Unity 中應(yīng)用了 DLSS 技術(shù),。

為了幫助其他開發(fā)者更深入地了解 DLSS 在實時環(huán)境下的運作機(jī)制,，《永劫無間》的圖形開發(fā)團(tuán)隊披露了部分技術(shù)應(yīng)用細(xì)節(jié)、提示及開發(fā)時遇到的挑戰(zhàn),。

高采樣（Upsampling）

DLSS 應(yīng)用的第一步是在低分辨率圖像中進(jìn)行高采樣,。

部分24 Entertainment需要解決的難題

為了降低采樣對最終畫面的影響，24 Entertainment 將這一步放在了泛光,、色調(diào)映射,、特效光等后處理效果之前，所有后處理效果都應(yīng)用在了采樣后的高清圖像上,。

整個管線的運行流程如下：

第 1 步：將畫面設(shè)為高質(zhì)量模式，再使用 NVIDIA 的 getOptimalsettings 接口來計算輸入數(shù)據(jù)大小和最佳清晰度,。不同的質(zhì)量模式有著不同的圖像縮放比例,。

第 2 步：使用 NVIDIA 的 CreateFeature 接口在各個攝像機(jī)中抓取特征，據(jù)此設(shè)置質(zhì)量模式,、輸出圖像大小及銳化程度,。銳化后的輸出圖像可包含更多細(xì)節(jié)。

第 3 步：在后處理之前使用以下代碼執(zhí)行 DLSS 推算：

commandBuffer.ApplyDLSS(m_DLSSArguments);

準(zhǔn)備輸入數(shù)據(jù)

團(tuán)隊稍微調(diào)整了渲染管線來保證輸入圖像可以兼容 DLSS,。

由于低分辨率圖像需要按一定比例進(jìn)行放大,，游戲窗口需要緩存到 G-Buffer（Geometry Buffer，包含色彩,、法線,、坐標(biāo)信息的緩存紋理）中，才能正確在管線中行進(jìn),，而窗口必須以正確的比例重新創(chuàng)建,。

pixelRect = new Rect(0.0f, 0.0f,

Mathf.CeilToInt(renderingData.cameraData.pixelWidth * viewportScale),

Mathf.CeilToInt(renderingData.cameraData.pixelHeight * viewportScale));

commandBuffer.SetViewport(pixelRect); // RenderScale Supported

渲染完成后，DLSS的源圖像大小,、目標(biāo)大小,、目標(biāo)色彩渲染和目標(biāo)深度等參數(shù)將根據(jù)低分辨率原圖進(jìn)行設(shè)定,。

int scaledWidth =

UpSamplingTools.Instance.GetRTScaleInt(cameraData.pixelWidth); int scaledHeight =

UpSamplingTools.Instance.GetRTScaleInt(cameraData.pixelHeight);

// Set the argument m_DLSSArguments.SrcRect.width = scaledWidth; m_DLSSArguments.SrcRect.height = scaledHeight;

m_DLSSArguments.DestRect.width = cameraData.pixelWidth;

m_DLSSArguments.DestRect.height = cameraData.pixelHeight;

m_DLSSArguments.InputColor = sourceHandle.rt;

m_DLSSArguments.InputDepth = depthHandle.rt

信號抖動偏移（Jitter Offset）

接下來的問題是輸入圖像的 Jitter Offset，這一步與時域上的樣本積累有關(guān),。

在渲染時,，著色器如果只渲染三角形所覆蓋的像素，會導(dǎo)致光柵化圖元變得分散,，生成有鋸齒,、不自然、邊緣不光滑的圖像,。

如果渲染的分辨率更高,，則圖像亦會變得精細(xì)、自然起來,。然而,，如果缺少分散的圖像樣本，要想生成連續(xù)的圖像信號會變得非常困難,，更有可能產(chǎn)生鋸齒,。

在 4K 分辨率下，鋸齒現(xiàn)象的確可以通過提高分辨率來緩解,。但在 8K 分辨率下,，此方法會導(dǎo)致渲染速度慢近四倍，并且很可能會產(chǎn)生紋理帶寬（內(nèi)存使用）的問題,。

另一種常見的抗鋸齒方法是由 GPU 硬件驅(qū)動的多重采樣抗鋸齒（Multisample Anti-aliasing,，常稱為MSAA）。MSAA 除了檢測像素的中心點外,，還會檢測亞像素位置的樣本,。三角形片元的色彩將根據(jù)圖元覆蓋的樣本數(shù)量進(jìn)行調(diào)整，來讓圖像邊緣更顯平滑,。

時域抗鋸齒 (TAA) 是另一種跨幀累積樣本的方法,。該方法將在每一幀上抖動采樣位置，接著利用運動矢量混合幀之間的渲染色彩,。

如果每個幀像素過去的色彩都可被識別,，我們就可以利用這些過去的像素進(jìn)行抗鋸齒。

抖動（Jitter）通常是指像素采樣位置的輕微調(diào)整,，以達(dá)到累積多幀樣本的目的,，免去了一次性解決欠采樣的必要。

24 Entertainment 之所以轉(zhuǎn)而采用 DLSS,，就是因為它不僅降低了渲染分辨率的要求,，而且還生成邊緣平滑的高質(zhì)量圖像。

我們推薦在 DLSS 中使用的采樣模式包括 Halton 序列，一種看似隨機(jī),、覆蓋更均勻的低離散度序列,。

Halton序列：

https://en.wikipedia.org/wiki/Halton_sequence

在實踐中，Jitter Offset 的應(yīng)用可以非常簡單,。要想實現(xiàn)高效的應(yīng)用,，可以參考以下步驟：

第 1 步：在特定攝像機(jī)中根據(jù) Halton 序列生成不同圖像設(shè)定下的樣本。輸出信號的抖動量應(yīng)該在 -0.5 到 0.5 之間,。

Vector2 temporalJitter = m_HalotonSampler.Get(m_TemporalJitterIndex, samplesCount);

第 2 步：將抖動量存儲到一個 Vector4 中,，將其乘以 2、再除以縮放后的分辨率,，來將其應(yīng)用到屏幕空間的單位像素上,。將結(jié)果存儲到 zw 組件中。

然后,，使用這兩個值修改投影矩陣,、改變總體的渲染結(jié)果：

m_TemporalJitter = new Vector4(temporalJitter.x, temporalJitter.y,

temporalJitter.x * 2.0f /

UpSamplingTools.GetRTScalePixels(cameraData.pixelWidth),

temporalJitter.y * 2.0f /

UpSamplingTools.GetRTScalePixels(cameraData.pixelHeight) );

第 3 步：將視圖投影矩陣設(shè)置為全局屬性 Unity_MATRIX_VP。頂點著色器會調(diào)用相同的函數(shù)來轉(zhuǎn)換屏幕上的世界位置,，而將矩陣歸入該屬性可免去修改著色器的必要,。

var projectionMatrix = cameraData.camera.nonJitteredProjectionMatrix;

projectionMatrix.m02 += m_TemporalJitter.z; projectionMatrix.m12 += m_TemporalJitter.w;

projectionMatrix = GL.GetGPUProjectionMatrix(projectionMatrix, true); var jitteredVP = projectionMatrix * cameraData.viewMatrix;

運動矢量

在解決 Jitter Offset 問題后，接下便是借助工具生成運動矢量,。

運動著的攝像機(jī)和對象會改變屏幕圖像,，而要根據(jù)多幀樣本來生成圖像，則我們還需要抓取對象的前一位置,。

例如,，當(dāng)攝像機(jī)的位置從 q 變?yōu)?p 時（如圖所示），屏幕上的某個點很可能會被投射到另一個點上,。將這兩個點相減便能得到此次運動的矢量,，即前一幀相對于當(dāng)前幀的位置。

運動矢量可采用如下步驟計算：

第 1 步：在管線的深度信息通道中計算對象的運動矢量,。通道中的深度信息主要用于描繪對象距攝像機(jī)的距離，輔助系統(tǒng)檢測“景深”,。

第 2 步：根據(jù)前一幀的攝像機(jī) View Projection 矩陣移動窗口,、抓取前一窗口位置，再填補(bǔ)新像素,。

第 3 步：在 DLSS 中寫入矢量相關(guān)的屬性,。

我們可以根據(jù)不同的清晰度（分辨率）來計算對應(yīng)的運動矢量，通過按比例縮放矢量來實現(xiàn)想要的結(jié)果,。這里,，24 Entertainment 將矢量設(shè)為了負(fù)的寬高比。DLSS 要求運動矢量以像素為單位，而團(tuán)隊在屏幕空間中生成運動矢量,，

之所以使用負(fù)號,，是為了在管線中互換減數(shù)（當(dāng)前幀）和被減數(shù)（前一幀）的位置。

m_DLSSArguments.MotionVectorScale = new Vector2(-scaledWidth, -scaledHeight); m_DLSSArguments.InputMotionVectors = motionHandle.rt;

《永劫無間》渲染循環(huán)集成概述

24 Entertainment 的渲染管線結(jié)合了延遲渲染和前向渲染,。為了節(jié)省內(nèi)存,，所有渲染對象都在放大之前作了分配。

DLSS 管理器會使用 RTHandle 系統(tǒng)在攝像機(jī)創(chuàng)建之際分為渲染對象分配一次內(nèi)存,，省去為每次攝像機(jī)循環(huán)都分配一次內(nèi)存的必要,。

RTHandle 系統(tǒng)：

https://docs.Unity3d.com/Packages/com.Unity[email protected]/manual/rthandle-system-using.html

再到深度通道中生成運動矢量（僅包括運動對象），來實現(xiàn)時域上的 Jitter Offset 等效果,。接著,，在屏幕通道中生成攝像機(jī)的運動矢量。

DLSS 管理器支持在后處理開始時使用 RTHandle 系統(tǒng)為放大后的渲染對象分配內(nèi)存,。

到這里,，DLSS 推算已經(jīng)能獲取除信號抖動以外所有參數(shù)信息了，再加上信號抖動就可以實現(xiàn)時域化采樣了,。

《永劫無間》的渲染管線帶有一個可以緩存攝像機(jī) Halton 采樣階段索引和矩陣抖動與否等信息的系統(tǒng),，并且所有光柵化步驟都采用了 View Projection 和 Jitter 矩陣，除了矢量通道,。矢量通道采用的是無抖動的矩陣,。

24 Entertainment

關(guān)于充分利用DLSS的提示和技巧

Mip Map Bias

Mip Map 是一種預(yù)先計算好的、分辨率逐級遞減（后者為前者的二分之一）的圖像序列,。它們可以有效地逐級過濾紋理,，然后在原紋理中對所有組成屏幕像素的紋素進(jìn)行采樣。

在下例中,，遠(yuǎn)離攝像機(jī)的對象會在低分辨率的 Mip Map 中被采樣,，從而生成更符合實際的結(jié)果。

在為 DLSS 采集紋理樣本時,，一定要添加 Mip Map Bias,。DLSS 與棋盤渲染等其他類似的上采樣方法一樣，需要在較高的分辨率下進(jìn)行采樣才能渲染出低分辨率的窗口圖像,。這時,，在高分辨率下還原出的紋理不會顯得模糊。

Mip Map Bias可使用以下方法計算：

MipLevelBias = log2(RenderResolution.x / DisplayResolution.x)

如果輸出為負(fù),，你可以利用偏差值回滾為更高分辨率的圖像,。只有設(shè)置了 Mip Map Bias，DLSS 才能在采集低分辨率紋理樣本時維持圖像質(zhì)量不變,。

緩存特征供攝像機(jī)使用

我們應(yīng)該在攝像機(jī)上緩存抓取的 DLSS 特征,。

為了反映攝像機(jī)尺寸和質(zhì)量模式的變更,，DLSS 必須抓取新的特征。有時,，多個大小和質(zhì)量模式相同的攝像機(jī)需要同時使用 DLSS 渲染,。但每個特征都是根據(jù)前一幀的信息總結(jié)而來，某個特征只能適用于特定攝像機(jī),。

在《永劫無間》中,，24 Entertainment 以每臺攝像機(jī)的哈希值作為鍵值將各個特征緩存到了一個字典中，藉此保證每個特征只能被對應(yīng)的攝像機(jī)使用,。

commandBuffer.ApplyDLSS(m_DLSSArguments, cameraDescriptor);

切忌將 DLSS 與其他抗鋸齒方法混合使用,。最后，不要將 DLSS 與其他抗鋸齒方法組合使用,。作為一種新技術(shù),，DLSS 與其它抗鋸齒方法一同使用可能會產(chǎn)生不可預(yù)測的瑕疵。

Unity 2021.2中的DLSS

Unity 與 NVIDIA 有著緊密的技術(shù)合作關(guān)系,，Unity 引擎和 HDRP 都已經(jīng)集成了 DLSS 及上述所有功能,，進(jìn)一步的集成開發(fā)也將展開！

Unity 將自 2021.2 版本起支持并維護(hù)所有 NVIDIA 技術(shù),。以下為 NVIDIA 技術(shù)集成至 Unity 的詳情：

?

引擎核心的 DLSS 集成

在引擎內(nèi)核中,，我們專門為 DLSS 模塊編寫了一層恰當(dāng)?shù)?C# API。這一層代碼還負(fù)責(zé)處理平臺兼容性,、引擎內(nèi)的 #define（用于在運行平臺上屏蔽特定的DLSS代碼）以及提供正確的說明文檔,，它屬于在 SRP 中調(diào)取完整 DLSS 的官方 API，也是其它可編程渲染管線的整合基礎(chǔ),。

說明文檔：

https://docs.Unity3d.com/2021.2/Documentation/ScriptReference/NVIDIA.GraphicsDevice.html

HDRP 中的圖形集成

DLSS 以動態(tài)分辨率系統(tǒng)（DRS） 功能的形式應(yīng)用在了 HDRP 中,，功能也使用了上述的腳本 API。

動態(tài)分辨率系統(tǒng)（DRS） 功能：

https://docs.Unity3d.com/Packages/com.Unity[email protected]/manual/Dynamic-Resolution.html

我們以《永劫無間》的 TAA 抖動算法為基礎(chǔ),，在后處理之前類似地應(yīng)用了分辨率上采樣,，再并以全分辨率渲染后處理效果。

并且 Unity 的 DLSS 還有了一點改進(jìn)：應(yīng)用以動態(tài)分辨率系統(tǒng)為基礎(chǔ),，允許實時切換分辨率,。動態(tài)分辨率系統(tǒng)可完全兼容 RTHandle 系統(tǒng)，并支持硬件驅(qū)動的 DLSS（基于紋理鋸齒）及軟件驅(qū)動的分辨率修改（基于游戲窗口）,。而前邊提到的 Mip Map Bias 功能可用于所有 DRS 過濾器和技術(shù),。

為了減少粒子重影現(xiàn)象，我們建立了一個特殊的渲染通道,，來保證動態(tài)分辨率系統(tǒng)與其它 HDRP 功能的兼容。

此外,，我們還建立了一個包含 DLSS 版本信息和幀狀態(tài)等信息的調(diào)試面板,。最后,，DLSS 現(xiàn)在支持 VR、實時光追,、DX11,、DX12 和 Vulkan。

在Unity 2021.2中使用DLSS

首先確認(rèn)項目使用的是 Unity 2021.2 版本（Unity 2021.2 版本現(xiàn)已正式發(fā)布,，可通過 Unity Hub 下載）,，以及確保項目中使用的渲染管線為 HDRP。

啟用 DLSS 的方法如下：

第 1 步：按照下圖中的步驟找到安裝 NVIDIA 軟件包的 Fix 按鈕,。

打開 Project Settings 窗口

在 Quality 設(shè)置下找到 HDRP 配置界面

選擇當(dāng)前項目使用的 HDRP 配置

找到 Rendering 渲染功能配置組

找到 Dynamic resolution（動態(tài)分辨率）組（DLSS 是通過 HDRP 的 Dynamic resolution 功能來提供的）

可以看到提示說 DLSS 功能還未被激活：NVIDIA Deep Learning Super Sampling (DLSS) is not active in this project. To activate it, install the NVIDIA package. 點擊 Fix（修復(fù)）按鈕激活 NVIDIA DLSS 功能

第 2 步：安裝完畢以后可以在 Dynamic resolution 參數(shù)組中啟用 DLSS,，并選擇調(diào)整相關(guān)參數(shù)。

第 3 步：最后在場景主攝像機(jī)中啟用 DLSS,。