Unity：通過計(jì)算機(jī)視覺開啟智能家居時(shí)代

要訓(xùn)練計(jì)算機(jī)視覺識別住宅內(nèi)部裝修是一項(xiàng)非常復(fù)雜的任務(wù),。若想要訓(xùn)練數(shù)據(jù)具備一定的多樣性和準(zhǔn)確性,，那么則必然需要耗費(fèi)大量的成本、時(shí)間,，有時(shí)甚至還會涉及隱私問題,。在本篇文章中我們將就如何通過Unity的合成數(shù)據(jù)生成工具和服務(wù)，訓(xùn)練出更為強(qiáng)大的計(jì)算機(jī)視覺應(yīng)用,，從而解決開發(fā)障礙與難題進(jìn)行深入探討,。

在開發(fā)高性能計(jì)算機(jī)視覺（Computer Vision，簡稱CV）模型時(shí),，最難點(diǎn)往往是需要獲取足夠多樣,、標(biāo)注準(zhǔn)確的數(shù)據(jù)集。而最近興起的合成數(shù)據(jù)可以最小化數(shù)據(jù)獲取,、注釋所需的時(shí)間與成本,，這也使合成數(shù)據(jù)成為了數(shù)據(jù)收集問題的一種較為可行的解決方案。

Unity一直是合成數(shù)據(jù)推廣的引領(lǐng)者,。對于各個(gè)專業(yè)的合成數(shù)據(jù)技術(shù)Unity也都十分有經(jīng)驗(yàn),，其中一個(gè)重要行業(yè)便是家裝。

合成的家裝數(shù)據(jù)可用于智能家居,、防火防盜,、生活輔助、醫(yī)療保健,、寵物與嬰兒監(jiān)控,、室內(nèi)設(shè)計(jì)等各種應(yīng)用。

在開發(fā)家居應(yīng)用時(shí),，獲取真實(shí)的標(biāo)注數(shù)據(jù)常常會因?yàn)殡[私問題而受到阻礙,。除此之外，數(shù)據(jù)集在材料,、顏色,、光照和家具等組成要素上要求有一定的多樣性，讓數(shù)據(jù)進(jìn)一步復(fù)雜化,。

為了解決這些難題,，滿足客戶需求,，Unity已在開發(fā)用于生成逼真家居環(huán)境的工具和3D內(nèi)容庫,。借助程序化方法，能夠?qū)崿F(xiàn)在數(shù)據(jù)集中擺放家具，在諸如鏡頭位置,、家具材料,、光照、時(shí)間變化,、天空和室外環(huán)境等組成上添加隨機(jī)元素,，除此之外Unity還添加了自定義對象的支持。下圖展示了其中四種元素的隨機(jī)化,。

其他參數(shù)不變,，四種場景組成的隨機(jī)化

Home Interiors數(shù)據(jù)集是用工具生成的一個(gè)數(shù)據(jù)樣本。這個(gè)數(shù)據(jù)集包含以用途與實(shí)例劃分的圖像（分別標(biāo)注為家具,、裝飾,、墻壁、天花板和地板）,，家具皆以2D或3D邊框框選,。相較于參考數(shù)據(jù)稀少的訓(xùn)練數(shù)據(jù)，帶有更多標(biāo)簽類型的數(shù)據(jù)可以大幅拓寬CV的應(yīng)用范圍,。

接下來我們來了解幾個(gè)家居應(yīng)用案例,。Unity在這些案例中幫助客戶克服了獲取真實(shí)數(shù)據(jù)集的難題。

Home Interiors數(shù)據(jù)集所包括的四種參考數(shù)據(jù),。左上：2D選框,，左下：3D選框，右上：用途劃分,，右下：實(shí)例劃分

智能化家居

在自動化家居和生活輔助等應(yīng)用上,，計(jì)算機(jī)視覺技術(shù)有著極大的吸引力。在應(yīng)用領(lǐng)域,，傳統(tǒng)的傳感器陣列也正在轉(zhuǎn)向以CV驅(qū)動的攝像機(jī),，從而更加高效的執(zhí)行任務(wù)。

掃地機(jī)器人就是一個(gè)很好的例子,。掃地機(jī)器人自發(fā)明以來已近30年,，而傳統(tǒng)型號的主要缺點(diǎn)之一是無法分辨垃圾和其他物體，并且很難穿梭于障礙物過多的空間里,。如今我們可以借助Unity的力量針對這些缺點(diǎn)為其制定相應(yīng)的解決方案,。例如，Unity的物理引擎可以逼真地模擬出帶有隨機(jī)褶皺和折痕的織物,，以此用于訓(xùn)練掃地機(jī)器人識別并避開衣物,。

智能掃地機(jī)器人的視角模擬。左圖：2D選框,，右圖：用途劃分

利用合成數(shù)據(jù)改善CV模型的另一個(gè)用例是智能攝像機(jī),。智能攝像機(jī)的作用是檢測房間里是否有人,，以便控制和調(diào)整照明、氣溫等房間環(huán)境情況,。Unity的工具同樣發(fā)揮了重要作用,。其中的一個(gè)例子便是訓(xùn)練相機(jī)模型識別寵物。要想識別寵物,，就需要在居家環(huán)境下獲取大量不同姿勢,、動作、毛色等的寵物圖像,。作為一個(gè)游戲引擎,，Unity完全可以借助包括骨骼動畫、動態(tài)模糊等效果生成高度逼真的圖像,。

并且,，Unity還可以合成不同位置與視角、透視投影,、長寬比,、鏡頭扭曲和其他圖像屬性（對比度、飽和度等）等符合真實(shí)攝像機(jī)特征的數(shù)據(jù),。例如在一個(gè)合成環(huán)境里,，引擎可以輕松模擬夜視攝像機(jī)及普通RGB攝像機(jī)。此外,，Unity所具有的使合成數(shù)據(jù)快速迭代的這一特點(diǎn)也能讓兩種攝像機(jī)間的切換非常輕松,。??

模擬一臺帶有魚眼鏡頭的夜視攝像機(jī)。左圖：2D選框,，右圖：用途劃分

安全與防盜

CV另一個(gè)占據(jù)主導(dǎo)地位的領(lǐng)域在于以醫(yī)療保健和生活輔助技術(shù)改善家庭安全與生活質(zhì)量,。

比如，為了需要幫助視力障礙者安全地在屋內(nèi)行走,，CV模型需要全面地了解房屋的布局及物品擺放,。模型需要通過檢測家具、墻壁,、樓梯和門等元素來識別出安全路線,，并且需要測量出墻壁及其他障礙物的距離，在用戶靠得太近時(shí)發(fā)出警告,。為了解決這個(gè)問題,，在數(shù)據(jù)集中我們采用了多種單層和多層住宅布局，隨機(jī)化了家具的類型和擺放,、門窗的開放程度,。除了數(shù)據(jù)集的多樣性之外，這種復(fù)雜程度需要多種類型的基礎(chǔ)行為來訓(xùn)練,，包括分割,、邊界框和深度圖等,，這使得編制高度多樣化和準(zhǔn)確標(biāo)記的真實(shí)數(shù)據(jù)集更加困難。

同樣的家居場景也可用于訓(xùn)練CV模型以用來檢測人類,，我們可在模擬中加入3D人體模型，并隨機(jī)化其姿勢,、身高,、身材、頭發(fā),、皮膚等,。這些CV模型可用于監(jiān)測人的體態(tài)，并檢測異常的步態(tài)和靈巧度等,。如果住戶在特殊位置或臥榻以外的地方跌倒或長時(shí)間不動,，則系統(tǒng)也可以向應(yīng)急服務(wù)機(jī)構(gòu)發(fā)出警報(bào)。同樣地,，CV模型還能學(xué)習(xí)人在服藥時(shí)的肢體和手臂動作,，在用戶忘記服藥時(shí)發(fā)出提醒。

居家環(huán)境內(nèi)的3D人體模型,。左圖：2D選框,，右圖：監(jiān)測對象

室內(nèi)設(shè)計(jì)

機(jī)器學(xué)習(xí)賦予了計(jì)算機(jī)一定的藝術(shù)創(chuàng)作能力，計(jì)算機(jī)室內(nèi)設(shè)計(jì)便是其中的一個(gè)例子,。一些在線家具經(jīng)銷商已經(jīng)在利用智能手機(jī)攝像頭于消費(fèi)者家中展示其產(chǎn)品,。經(jīng)過訓(xùn)練的CV模型可以識別和測量室內(nèi)表面（包括地板、桌子,、墻壁）的范圍和面積,，以在空間內(nèi)準(zhǔn)確地展示產(chǎn)品模型。

此外借助CV強(qiáng)化AR的例子還有很多,。比如,，Unity曾使用用戶上傳的圖片來訓(xùn)練CV模型檢測室內(nèi)的裝修材料和設(shè)計(jì)風(fēng)格。此類模型可用于在線推薦系統(tǒng),，幫助用戶快速找到契合自家裝修的產(chǎn)品,。Unity模擬真實(shí)物理的渲染引擎可以渲染出多種逼真的裝修材料（如各種木材和膠合板）。并且,，前邊提到的隨機(jī)化工具還能在每張生成的圖像中輕松修改材料的各種參數(shù),。

CV模型還可以檢測室內(nèi)家具的總體形狀和尺寸，據(jù)此來推薦家具,，或更準(zhǔn)確地展示類似尺寸的家具,。類似地，我們也能制作一個(gè)配色工具,，為家具配置各種顏色,，如果消費(fèi)者決定要為裝修風(fēng)格重新定調(diào),，可借助工具來挑選想要的顏色。

更多應(yīng)用

我們在本文中討論的CV應(yīng)用只是滄海一粟,，合成數(shù)據(jù)完全可以在更廣的領(lǐng)域內(nèi)進(jìn)一步釋放CV模型的潛力,。除了文中的例子外，其它一些例子還包括老建筑翻新（繪制精確的內(nèi)部結(jié)構(gòu)圖）,、位置識別及合成環(huán)境的程序化生成,。合成數(shù)據(jù)集具有極大的定制自由，其應(yīng)用范圍只有你想不到,。本文的主題是家居裝修,，但程序化的合成數(shù)據(jù)工具完全可以生成大量帶有隨機(jī)化要素的環(huán)境。