近期發(fā)布的開源工具Perception 1.0為Unity合成數(shù)據(jù)加入了合成人類與合成家庭環(huán)境。

機器學習（ML）驅(qū)動的計算機視覺（CV）系統(tǒng)正在描繪更大的藍圖,，而它們的成功依賴于大量標注豐富的數(shù)據(jù),。由于此類系統(tǒng)的表現(xiàn)與數(shù)據(jù)緊密相關，搜集更好的數(shù)據(jù)往往是改善模型表現(xiàn)的最好方法,。然而,，搜集與標注現(xiàn)實數(shù)據(jù)要耗費大量時間與金錢，以至于許多項目都無法以數(shù)據(jù)為中心,。為了解決這個問題,，上千支團隊開始轉(zhuǎn)用Unity來構筑合成數(shù)據(jù)集。

為創(chuàng)建合成數(shù)據(jù)的開源工具：Perception 1.0,，發(fā)布了一次重大更新,，它標志著合成數(shù)據(jù)一大進步。新的Synthetic Humans包能生成多樣化,、隨機化、可定制姿勢和用作參考的3D人類,。新Synthetic Homes數(shù)據(jù)集生成器則能生成寫實的室內(nèi)環(huán)境,，用于理解場景、檢測物體,。此外,，Perception包還更新了深度和法線輸出，支持路徑追蹤及Python可視化與分析工具,。

此次工具套擴展,，能夠使用戶更快地構筑高質(zhì)量合成數(shù)據(jù),。

Synthetic Humans，為CV打造的多樣化人類生成器

Unity Synthetic Humans現(xiàn)已發(fā)布,，這款完全從零建起的3D人物生成器專為以人為中心的CV合成數(shù)據(jù)打造,。Unity花費了數(shù)千個小時糅合掃描、模擬并通過3D美術數(shù)據(jù)制作了這些內(nèi)容?，F(xiàn)在,，所有這些內(nèi)容將以學術用開源許可證的形式免費開放。

不同于其他數(shù)字人只允許在基礎模型上完成一小部分修改,，Synthetic Humans可帶來極大的多樣性,，組合多個發(fā)型庫，生成匿名化的面部,、人種,、身體模型及衣物。每個生成的數(shù)字人類都是無特征且獨特的,，你不會生成非常具體的人,，但需要控制采樣點在隨機軸上的分布，隨機因素包括了種族,、身高,、體重和年齡。比如,，一個數(shù)據(jù)集可以有20%的少年,、45%的青年和35%的中老年人群，這些都能在生成參數(shù)中設定,。

主要特色：

多樣化的年齡,、體型和膚色

豐富的標簽，包括身體節(jié)點和衣物劃分

帶有完整骨骼綁定和身體衣物蒙皮,、兼容Unity Animation System

在3D環(huán)境中可隨機擺放,、避免碰撞

合成家庭環(huán)境，標注豐富的室內(nèi)數(shù)據(jù)集

同時Unity也將發(fā)布Synthetic Homes,，一個大規(guī)模的合成家庭室內(nèi)數(shù)據(jù)集,，以及相關的數(shù)據(jù)集生成器。家用CV有著數(shù)不盡的用處,，但從現(xiàn)實世界里搜集各類室內(nèi)數(shù)據(jù)是出了名的困難,，因為涉及了隱私問題和數(shù)據(jù)采集限制。Synthetic Homes會提供大量帶有精確,、豐富標簽的各類室內(nèi)數(shù)據(jù)集,，以及一個可配置的數(shù)據(jù)集生成器，以加快室內(nèi)應用的模型訓練,。

Synthetic Homes還加入了各類隨機化來最大化多樣性,。這些隨機涉及材質(zhì),、家具類型和配置、太陽角度和溫度,、日夜轉(zhuǎn)換,、室內(nèi)光照溫度、攝像機角度,、雜物堆,、天空盒、門和特定動畫等等,。用戶可以在數(shù)據(jù)集生成器內(nèi)控制所有這些元素,，調(diào)試出自己喜歡的數(shù)據(jù)。

家中的室內(nèi)光照通常是復雜且精心設計的,，忠實地還原它們因此就非常重要,。可以通過使用Unity的多次彈射路徑追蹤來實現(xiàn)符合現(xiàn)實的全局光照和反光,。這種精確的光照能彌合所謂的“Sim2Real gap”（模擬到現(xiàn)實的差距）,，讓模型用合成數(shù)據(jù)訓練后能更好地在現(xiàn)實中發(fā)揮作用。

Synthetic Homes項目有著一個包含100000圖片的數(shù)據(jù)集,，一個可配置的數(shù)據(jù)集生成器,，以及一個數(shù)據(jù)分析的筆記本。數(shù)據(jù)集包含了豐富的標簽,，用于標注區(qū)分開的語義和實例,、邊界框、深度和法線,。它同樣包括了遮擋百分比和攝像機位置等環(huán)境信息,。為了方便你改進數(shù)據(jù)，我們同樣提供數(shù)據(jù)集生成器,，讓你能調(diào)整攝像機擺放,、隨機化模糊和圖片大小等參數(shù)。

Perception軟件包的重大更新

Perception包能在Unity編輯器內(nèi)生成合成數(shù)據(jù),。Unity極大地擴展了該軟件包,，以支持新的CV任務、提高質(zhì)量并加快數(shù)據(jù)集開發(fā),。新的Perception包括如下特色：

傳送帶樣例展示了用隨機生成的物體和物理錄制視頻數(shù)據(jù)集,。

光線追蹤功能用最少的步驟和多次彈射的物理性光照生成了高度逼真的圖片。

遮擋標注器可計算一個物體有多少被場景其他物體所遮擋,、有多少處于屏幕之外。這個信息可用于篩去幾乎全部被遮住的物體及其標注,。

深度與法線標注器可抓取執(zhí)行新任務所需的渲染層,，或用更多的模型信息輔助更好的預測,。

透明與雙面幾何體支持能在農(nóng)業(yè)及室外環(huán)境中為植物加上像素級的標注。

Unity還希望讓社區(qū)的大家進一步參與到Perception項目中,，所以軟件包在以后將接受社區(qū)貢獻,。

Python中的pysolotools、數(shù)據(jù)分析和可視化

數(shù)據(jù)探查和分析對合成數(shù)據(jù)的快速迭代起著關鍵作用,，而用戶也希望讓這些操作盡可能的簡單,。本次更新推出了一種稱為“SOLO”的新數(shù)據(jù)集格式，這種為大規(guī)模圖像數(shù)據(jù)集設計的格式能用新的標注和度量進行拓展,。SOLO數(shù)據(jù)集將逐幀分別存儲到磁盤上,，讓數(shù)據(jù)集的生成和處理更為分散。

與SOLO格式一同發(fā)布的還有pysolotools,，這款新的開源python軟件包內(nèi)涵處理SOLO格式的實用程序,。pysolotools軟件包所帶有的迭代界面能讓用戶輕松地逐幀編輯SOLO數(shù)據(jù)。它還自帶一種取回常見統(tǒng)計數(shù)據(jù)的框架,，這些統(tǒng)計數(shù)據(jù)包括物體計數(shù),、規(guī)模分布和熱力圖等常用于解決CV問題的數(shù)據(jù)。最后,，用戶能用pysolotools輕松編寫腳本,，將SOLO轉(zhuǎn)換成需要的數(shù)據(jù)格式?；蛘咴俸唵我稽c,，用pysolotools自帶的轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換成COCO等流行格式。

最后,，創(chuàng)造出的數(shù)據(jù)需要經(jīng)過真人驗證,。pysolotools-fiftyone是Voxel Fiftyone查看器的整合功能，因此能讓你直接檢查SOLO數(shù)據(jù)集,。

本文轉(zhuǎn)自Unity博客~