Unity：使用合成數據快速創(chuàng)建3D內容
構建計算機視覺系統的綜合數據是從真實數據的轉變而來,。雖然真實世界的數據需要漫長的收集和注釋過程,，但機器學習（ML）工程師可以在幾分鐘內構建一個合成數據集,，從而實現快速的、以數據為中心的開發(fā)周期,。此過程速度很快，因此用戶可以一次嘗試許多數據集變體,，以找到經過最佳改進的模型,。
目前關于數據的來源仍然是一項挑戰(zhàn)。用戶需要的往往不是成千上萬張的圖像與注釋，而是數十或數百個三維模型,，如網格,、紋理和動畫等。雖然合成數據降低了對內容的要求,，但根據這些資產的3D特性也需要在創(chuàng)建它們時擁有十足的創(chuàng)造性,。
幸運的是，四十多年來,，電影和電子游戲行業(yè)都面臨著同樣的內容挑戰(zhàn),。在那段時間里，他們開發(fā)了新的內容創(chuàng)建技術以及龐大的內容存儲庫,，其中大部分已經非常適合進行合成數據生成,。
本文將介紹獲取3D內容的最佳方式以及各種方式的優(yōu)缺點，他們適合不同類型的計算機視覺應用,。
在線3D資產
獲取3D內容最快,、最便宜的方法是利用在線的方式下載現有的作品資產。Unity資產商店提供由3D藝術家創(chuàng)作的免費和付費內容,，這些內容能夠應用于游戲,、電影和其他3D應用程序。
Unity資產商店“椅子”的搜索結果
這些在線資產通常以“包”的形式出現,，包括各種3D模型,、紋理變化、材質和動畫等,。這些資產可以在數據集生成期間隨機化,，并能夠在每個對象上創(chuàng)建幾乎無限的變化。通過下載不同風格的資產進一步增加了數據的廣度,，能夠有效減少模型中的偏差和過度擬合,。
當任務需要檢測諸如“椅子”或“貓”之類的廣泛類別的對象時，在線資產源就變成了一個很好的數據來源,，這些對象需要各種各樣的內容來支持,。為了實現模型概括所需的多樣性，用戶需要在每個相關軸上尋找變化,，包括形狀,、材質、顏色和姿勢等,。
即使像卡通或紋理和顏色,，這樣非真實感的資源也可以在模型中得到更好的概括。在最近的一個項目中,，將Unity Asset Store中的一小部分高度逼真的資產轉換成為廣泛的3D模型和紋理,，這大大提高了模型的性能。
掃描
用于檢測特定物體或制成品的合成數據集需要真實世界物體的精確3D模型，這些模型在網上很難找到,。通過3D掃描,，用戶可以自己獨立創(chuàng)建這些資產。
SynthDet的資產是使用平板掃描儀和3D建模創(chuàng)建的,。
這一系列資產是用3D掃描技術生成的,，每種技術都適用于不同類型的對象、質量水平和預算,。下面讓我們來看看這些案例吧：
攝影測量：攝影測量工具,，如Agisoft變形和Unity的增強現實伴侶應用通過從一組從不同角度拍攝的照片合成一個3D對象。
優(yōu)點：適合對任何尺寸或形狀的物體捕捉紋理和細節(jié)
缺點：對光照條件和物體顏色敏感
平板掃描儀和三維建模：平板掃描儀可用于掃描盒狀對象的不同側面,，然后組合成紋理,，并使用標準3D創(chuàng)作工具映射到手動創(chuàng)作的3D網格上。
優(yōu)點：便宜,、高精度的紋理
缺點：僅適用于可展平的對象,；需要一些手工創(chuàng)作
工業(yè)3D掃描儀：使用激光或結構光進行三維掃描。這種方法非常適合檢測機械零件和復雜的電子設備,。
優(yōu)點：能夠對大多數高幾何度物體進行精確的掃描,；快速
缺點：昂貴；對象大小有限
程序性內容
掃描對象和在線3D資產通常是真實對象的快照,，另一種不斷增長的內容形式被稱為程序資產,，它使用基于規(guī)則的算法來產生無限的變化。每個程序資產都提供了參數,，這些參數能夠定制它們的外觀和形狀。這對于合成數據來說是完美的功能,，其中每個參數都可以被隨機化以實現極大的多樣性,。用戶可以反復調整隨機化，以提高模型性能,。
真實資產多種多樣,，過程資產通常會隨著真實資產變化而改變。道路,、人臉,、布料和混凝土等材料都是很好的例子。磨損,、年齡,、形狀和顏色等相關因素可以內置為隨機化算法的參數。Unity著色器圖形,、Adobe Substance 3D和Houdini是構建程序資產的靈活工具,，Unity資產商店為特定類型的內容提供了幾種程序工具。
EasyRoads3D可以在Unity中構建程序性道路。
程序技術也為合成數據的環(huán)境生成提供了動力,。環(huán)境生成器的范圍從非結構化和高度隨機到復雜的分層系統,，用于生成逼真的場景。Unity的API能夠幫助用戶編寫程序場景生成器,；Houdini 則常用于需要更多結構的場景,。
開始使用合成數據
游戲和電影行業(yè)提供了豐富的動態(tài)3D內容，讓用戶可以快速使用擁有合成數據的項目,，并開始快速迭代數據,。通過使用 Unity Perception package，用戶可以導入這些資產,，將它們進行隨機化,，并非常快速地生成高度多樣化的數據集,。
打印本文
關閉窗口