Unity：Perception 1.0發(fā)布重大更新,，擴(kuò)展合成數(shù)據(jù)工具箱
近期發(fā)布的開源工具Perception 1.0為Unity合成數(shù)據(jù)加入了合成人類與合成家庭環(huán)境,。
機(jī)器學(xué)習(xí)（ML）驅(qū)動(dòng)的計(jì)算機(jī)視覺（CV）系統(tǒng)正在描繪更大的藍(lán)圖,，而它們的成功依賴于大量標(biāo)注豐富的數(shù)據(jù),。由于此類系統(tǒng)的表現(xiàn)與數(shù)據(jù)緊密相關(guān),，搜集更好的數(shù)據(jù)往往是改善模型表現(xiàn)的最好方法,。然而,，搜集與標(biāo)注現(xiàn)實(shí)數(shù)據(jù)要耗費(fèi)大量時(shí)間與金錢,，以至于許多項(xiàng)目都無(wú)法以數(shù)據(jù)為中心,。為了解決這個(gè)問題,，上千支團(tuán)隊(duì)開始轉(zhuǎn)用Unity來(lái)構(gòu)筑合成數(shù)據(jù)集。
為創(chuàng)建合成數(shù)據(jù)的開源工具：Perception 1.0,，發(fā)布了一次重大更新,，它標(biāo)志著合成數(shù)據(jù)一大進(jìn)步。新的Synthetic Humans包能生成多樣化,、隨機(jī)化,、可定制姿勢(shì)和用作參考的3D人類。新Synthetic Homes數(shù)據(jù)集生成器則能生成寫實(shí)的室內(nèi)環(huán)境,，用于理解場(chǎng)景,、檢測(cè)物體。此外,，Perception包還更新了深度和法線輸出,，支持路徑追蹤及Python可視化與分析工具。
此次工具套擴(kuò)展,，能夠使用戶更快地構(gòu)筑高質(zhì)量合成數(shù)據(jù),。
Synthetic Humans，為CV打造的多樣化人類生成器
Unity Synthetic Humans現(xiàn)已發(fā)布,，這款完全從零建起的3D人物生成器專為以人為中心的CV合成數(shù)據(jù)打造,。Unity花費(fèi)了數(shù)千個(gè)小時(shí)糅合掃描、模擬并通過(guò)3D美術(shù)數(shù)據(jù)制作了這些內(nèi)容?，F(xiàn)在,，所有這些內(nèi)容將以學(xué)術(shù)用開源許可證的形式免費(fèi)開放。
不同于其他數(shù)字人只允許在基礎(chǔ)模型上完成一小部分修改,，Synthetic Humans可帶來(lái)極大的多樣性,，組合多個(gè)發(fā)型庫(kù),，生成匿名化的面部、人種,、身體模型及衣物,。每個(gè)生成的數(shù)字人類都是無(wú)特征且獨(dú)特的，你不會(huì)生成非常具體的人,，但需要控制采樣點(diǎn)在隨機(jī)軸上的分布,，隨機(jī)因素包括了種族、身高,、體重和年齡,。比如，一個(gè)數(shù)據(jù)集可以有20%的少年,、45%的青年和35%的中老年人群,，這些都能在生成參數(shù)中設(shè)定。
主要特色：
多樣化的年齡,、體型和膚色
豐富的標(biāo)簽,，包括身體節(jié)點(diǎn)和衣物劃分
帶有完整骨骼綁定和身體衣物蒙皮、兼容Unity Animation System
在3D環(huán)境中可隨機(jī)擺放,、避免碰撞
合成家庭環(huán)境,，標(biāo)注豐富的室內(nèi)數(shù)據(jù)集
同時(shí)Unity也將發(fā)布Synthetic Homes，一個(gè)大規(guī)模的合成家庭室內(nèi)數(shù)據(jù)集,，以及相關(guān)的數(shù)據(jù)集生成器,。家用CV有著數(shù)不盡的用處，但從現(xiàn)實(shí)世界里搜集各類室內(nèi)數(shù)據(jù)是出了名的困難,，因?yàn)樯婕傲穗[私問題和數(shù)據(jù)采集限制,。Synthetic Homes會(huì)提供大量帶有精確、豐富標(biāo)簽的各類室內(nèi)數(shù)據(jù)集,，以及一個(gè)可配置的數(shù)據(jù)集生成器,，以加快室內(nèi)應(yīng)用的模型訓(xùn)練。
Synthetic Homes還加入了各類隨機(jī)化來(lái)最大化多樣性,。這些隨機(jī)涉及材質(zhì),、家具類型和配置、太陽(yáng)角度和溫度,、日夜轉(zhuǎn)換,、室內(nèi)光照溫度、攝像機(jī)角度,、雜物堆,、天空盒、門和特定動(dòng)畫等等。用戶可以在數(shù)據(jù)集生成器內(nèi)控制所有這些元素,，調(diào)試出自己喜歡的數(shù)據(jù),。
家中的室內(nèi)光照通常是復(fù)雜且精心設(shè)計(jì)的，忠實(shí)地還原它們因此就非常重要,?？梢酝ㄟ^(guò)使用Unity的多次彈射路徑追蹤來(lái)實(shí)現(xiàn)符合現(xiàn)實(shí)的全局光照和反光。這種精確的光照能彌合所謂的“Sim2Real gap”（模擬到現(xiàn)實(shí)的差距）,，讓模型用合成數(shù)據(jù)訓(xùn)練后能更好地在現(xiàn)實(shí)中發(fā)揮作用,。
Synthetic Homes項(xiàng)目有著一個(gè)包含100000圖片的數(shù)據(jù)集，一個(gè)可配置的數(shù)據(jù)集生成器,，以及一個(gè)數(shù)據(jù)分析的筆記本。數(shù)據(jù)集包含了豐富的標(biāo)簽,，用于標(biāo)注區(qū)分開的語(yǔ)義和實(shí)例,、邊界框、深度和法線,。它同樣包括了遮擋百分比和攝像機(jī)位置等環(huán)境信息,。為了方便你改進(jìn)數(shù)據(jù)，我們同樣提供數(shù)據(jù)集生成器,，讓你能調(diào)整攝像機(jī)擺放,、隨機(jī)化模糊和圖片大小等參數(shù)。
Perception軟件包的重大更新
Perception包能在Unity編輯器內(nèi)生成合成數(shù)據(jù),。Unity極大地?cái)U(kuò)展了該軟件包,，以支持新的CV任務(wù)、提高質(zhì)量并加快數(shù)據(jù)集開發(fā),。新的Perception包括如下特色：
傳送帶樣例展示了用隨機(jī)生成的物體和物理錄制視頻數(shù)據(jù)集,。
光線追蹤功能用最少的步驟和多次彈射的物理性光照生成了高度逼真的圖片。
遮擋標(biāo)注器可計(jì)算一個(gè)物體有多少被場(chǎng)景其他物體所遮擋,、有多少處于屏幕之外,。這個(gè)信息可用于篩去幾乎全部被遮住的物體及其標(biāo)注。
深度與法線標(biāo)注器可抓取執(zhí)行新任務(wù)所需的渲染層,，或用更多的模型信息輔助更好的預(yù)測(cè),。
透明與雙面幾何體支持能在農(nóng)業(yè)及室外環(huán)境中為植物加上像素級(jí)的標(biāo)注。
Unity還希望讓社區(qū)的大家進(jìn)一步參與到Perception項(xiàng)目中,，所以軟件包在以后將接受社區(qū)貢獻(xiàn),。
Python中的pysolotools、數(shù)據(jù)分析和可視化
數(shù)據(jù)探查和分析對(duì)合成數(shù)據(jù)的快速迭代起著關(guān)鍵作用,，而用戶也希望讓這些操作盡可能的簡(jiǎn)單,。本次更新推出了一種稱為“SOLO”的新數(shù)據(jù)集格式，這種為大規(guī)模圖像數(shù)據(jù)集設(shè)計(jì)的格式能用新的標(biāo)注和度量進(jìn)行拓展。SOLO數(shù)據(jù)集將逐幀分別存儲(chǔ)到磁盤上,，讓數(shù)據(jù)集的生成和處理更為分散,。
與SOLO格式一同發(fā)布的還有pysolotools，這款新的開源python軟件包內(nèi)涵處理SOLO格式的實(shí)用程序,。pysolotools軟件包所帶有的迭代界面能讓用戶輕松地逐幀編輯SOLO數(shù)據(jù),。它還自帶一種取回常見統(tǒng)計(jì)數(shù)據(jù)的框架，這些統(tǒng)計(jì)數(shù)據(jù)包括物體計(jì)數(shù),、規(guī)模分布和熱力圖等常用于解決CV問題的數(shù)據(jù),。最后，用戶能用pysolotools輕松編寫腳本,，將SOLO轉(zhuǎn)換成需要的數(shù)據(jù)格式,。或者再簡(jiǎn)單一點(diǎn),，用pysolotools自帶的轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換成COCO等流行格式,。
最后，創(chuàng)造出的數(shù)據(jù)需要經(jīng)過(guò)真人驗(yàn)證,。pysolotools-fiftyone是Voxel Fiftyone查看器的整合功能,，因此能讓你直接檢查SOLO數(shù)據(jù)集。
本文轉(zhuǎn)自Unity博客~
打印本文
關(guān)閉窗口