構(gòu)建計算機視覺系統(tǒng)的綜合數(shù)據(jù)是從真實數(shù)據(jù)的轉(zhuǎn)變而來。雖然真實世界的數(shù)據(jù)需要漫長的收集和注釋過程,，但機器學習（ML）工程師可以在幾分鐘內(nèi)構(gòu)建一個合成數(shù)據(jù)集,，從而實現(xiàn)快速的、以數(shù)據(jù)為中心的開發(fā)周期,。此過程速度很快,，因此用戶可以一次嘗試許多數(shù)據(jù)集變體，以找到經(jīng)過最佳改進的模型,。

目前關(guān)于數(shù)據(jù)的來源仍然是一項挑戰(zhàn),。用戶需要的往往不是成千上萬張的圖像與注釋，而是數(shù)十或數(shù)百個三維模型,，如網(wǎng)格,、紋理和動畫等。雖然合成數(shù)據(jù)降低了對內(nèi)容的要求,，但根據(jù)這些資產(chǎn)的3D特性也需要在創(chuàng)建它們時擁有十足的創(chuàng)造性,。

幸運的是，四十多年來,，電影和電子游戲行業(yè)都面臨著同樣的內(nèi)容挑戰(zhàn),。在那段時間里，他們開發(fā)了新的內(nèi)容創(chuàng)建技術(shù)以及龐大的內(nèi)容存儲庫,，其中大部分已經(jīng)非常適合進行合成數(shù)據(jù)生成,。

本文將介紹獲取3D內(nèi)容的最佳方式以及各種方式的優(yōu)缺點，他們適合不同類型的計算機視覺應(yīng)用,。

在線3D資產(chǎn)

獲取3D內(nèi)容最快,、最便宜的方法是利用在線的方式下載現(xiàn)有的作品資產(chǎn)。Unity資產(chǎn)商店提供由3D藝術(shù)家創(chuàng)作的免費和付費內(nèi)容,，這些內(nèi)容能夠應(yīng)用于游戲,、電影和其他3D應(yīng)用程序。

Unity資產(chǎn)商店“椅子”的搜索結(jié)果

這些在線資產(chǎn)通常以“包”的形式出現(xiàn),，包括各種3D模型,、紋理變化,、材質(zhì)和動畫等。這些資產(chǎn)可以在數(shù)據(jù)集生成期間隨機化,，并能夠在每個對象上創(chuàng)建幾乎無限的變化,。通過下載不同風格的資產(chǎn)進一步增加了數(shù)據(jù)的廣度，能夠有效減少模型中的偏差和過度擬合,。

當任務(wù)需要檢測諸如“椅子”或“貓”之類的廣泛類別的對象時,，在線資產(chǎn)源就變成了一個很好的數(shù)據(jù)來源，這些對象需要各種各樣的內(nèi)容來支持,。為了實現(xiàn)模型概括所需的多樣性,，用戶需要在每個相關(guān)軸上尋找變化，包括形狀,、材質(zhì),、顏色和姿勢等。

即使像卡通或紋理和顏色,，這樣非真實感的資源也可以在模型中得到更好的概括,。在最近的一個項目中，將Unity Asset Store中的一小部分高度逼真的資產(chǎn)轉(zhuǎn)換成為廣泛的3D模型和紋理,，這大大提高了模型的性能,。

掃描

用于檢測特定物體或制成品的合成數(shù)據(jù)集需要真實世界物體的精確3D模型，這些模型在網(wǎng)上很難找到,。通過3D掃描,，用戶可以自己獨立創(chuàng)建這些資產(chǎn)。

SynthDet的資產(chǎn)是使用平板掃描儀和3D建模創(chuàng)建的,。

這一系列資產(chǎn)是用3D掃描技術(shù)生成的,，每種技術(shù)都適用于不同類型的對象、質(zhì)量水平和預算,。下面讓我們來看看這些案例吧：

攝影測量：攝影測量工具,，如Agisoft變形和Unity的增強現(xiàn)實伴侶應(yīng)用通過從一組從不同角度拍攝的照片合成一個3D對象。

優(yōu)點：適合對任何尺寸或形狀的物體捕捉紋理和細節(jié)

缺點：對光照條件和物體顏色敏感

平板掃描儀和三維建模：平板掃描儀可用于掃描盒狀對象的不同側(cè)面,，然后組合成紋理,，并使用標準3D創(chuàng)作工具映射到手動創(chuàng)作的3D網(wǎng)格上,。

優(yōu)點：便宜,、高精度的紋理

缺點：僅適用于可展平的對象；需要一些手工創(chuàng)作

工業(yè)3D掃描儀：使用激光或結(jié)構(gòu)光進行三維掃描,。這種方法非常適合檢測機械零件和復雜的電子設(shè)備,。

優(yōu)點：能夠?qū)Υ蠖鄶?shù)高幾何度物體進行精確的掃描；快速

缺點：昂貴,；對象大小有限

程序性內(nèi)容

掃描對象和在線3D資產(chǎn)通常是真實對象的快照,，另一種不斷增長的內(nèi)容形式被稱為程序資產(chǎn),，它使用基于規(guī)則的算法來產(chǎn)生無限的變化。每個程序資產(chǎn)都提供了參數(shù),，這些參數(shù)能夠定制它們的外觀和形狀,。這對于合成數(shù)據(jù)來說是完美的功能，其中每個參數(shù)都可以被隨機化以實現(xiàn)極大的多樣性,。用戶可以反復調(diào)整隨機化,，以提高模型性能。

真實資產(chǎn)多種多樣,，過程資產(chǎn)通常會隨著真實資產(chǎn)變化而改變,。道路、人臉,、布料和混凝土等材料都是很好的例子,。磨損、年齡,、形狀和顏色等相關(guān)因素可以內(nèi)置為隨機化算法的參數(shù),。Unity著色器圖形、Adobe Substance 3D和Houdini是構(gòu)建程序資產(chǎn)的靈活工具,，Unity資產(chǎn)商店為特定類型的內(nèi)容提供了幾種程序工具,。

EasyRoads3D可以在Unity中構(gòu)建程序性道路。

程序技術(shù)也為合成數(shù)據(jù)的環(huán)境生成提供了動力,。環(huán)境生成器的范圍從非結(jié)構(gòu)化和高度隨機到復雜的分層系統(tǒng),，用于生成逼真的場景。Unity的API能夠幫助用戶編寫程序場景生成器,；Houdini 則常用于需要更多結(jié)構(gòu)的場景,。

開始使用合成數(shù)據(jù)

游戲和電影行業(yè)提供了豐富的動態(tài)3D內(nèi)容，讓用戶可以快速使用擁有合成數(shù)據(jù)的項目,，并開始快速迭代數(shù)據(jù),。通過使用 Unity Perception package，用戶可以導入這些資產(chǎn),，將它們進行隨機化,，并非常快速地生成高度多樣化的數(shù)據(jù)集,。