我們都同意,，人類擅長(zhǎng)手工任務(wù)，理想情況下,，機(jī)器人應(yīng)該在這些功能上超越我們,。有時(shí)，我們因?yàn)楦`巧而占優(yōu)勢(shì),，而在其他情況下,，我們可以執(zhí)行機(jī)器人理論上應(yīng)該能夠完成的任務(wù)。

隨著機(jī)器人技術(shù)的進(jìn)步,，我們的目標(biāo)是有效地將人類的技能轉(zhuǎn)移到機(jī)器人上,。

讓我們探索一些如何實(shí)現(xiàn)這一目標(biāo)的方法

首先，存在“直接編程”方法,。這意味著：讓熟練的人細(xì)致地描述一項(xiàng)任務(wù),，以至于可以編寫(xiě)簡(jiǎn)單的腳本或復(fù)雜的算法來(lái)指導(dǎo)機(jī)器人完成任務(wù)。當(dāng)任務(wù)定義明確且具體時(shí),，這種方法非常好而且非常有效,，這在工業(yè)自動(dòng)化中經(jīng)常發(fā)生。然而,，復(fù)雜性可能會(huì)迅速升級(jí),，使其具有挑戰(zhàn)性。因此，如果這種方法成功了,，那就太好了——但如果不成功,，我們必須思考——我們可以采用什么替代策略？

其次,，可以考慮的另一種方法是“演示編程”,。這種方法涉及指導(dǎo)機(jī)器人執(zhí)行任務(wù)。通過(guò)為機(jī)器人配備先進(jìn)的力傳感功能和視覺(jué)算法,，這種技術(shù)可以證明是非常有效的,。然而，必須注意的是,，它的有效性依賴于機(jī)器人的能力,。通常，機(jī)器人配備的是基本的抓手,，而不是熟練,、靈巧的手，這會(huì)限制它們可以執(zhí)行的任務(wù)的復(fù)雜性,。

好的,，那么我們?nèi)绾尾拍苡行У赜涗浫祟惖膭?dòng)作以供機(jī)器人模仿呢？

理想情況下,，我們會(huì)指導(dǎo)人類完成任務(wù),，詳細(xì)記錄下來(lái)，然后將其重播給機(jī)器人,。我們甚至可以考慮將這些信息輸入機(jī)器學(xué)習(xí)系統(tǒng),，使其能夠從我們的人類指導(dǎo)演示中學(xué)習(xí)?；蛘?，至少，我們可以分析這些人類活動(dòng),，將它們分解成更簡(jiǎn)單的部分,，并利用這些信息開(kāi)發(fā)更高效的算法，就像在錄音室中解構(gòu)一首歌曲一樣,。

好的,，那么，拍攝執(zhí)行任務(wù)的人并使用“機(jī)器視覺(jué)”來(lái)追蹤他們正在做的事情怎么樣,？

這當(dāng)然是一個(gè)很好的起點(diǎn),。這種方法提供了對(duì)人類行為細(xì)微差別的寶貴見(jiàn)解——例如換手時(shí)刻、物體握持技巧和工具使用——但我們的經(jīng)驗(yàn)是,，使用相機(jī)跟蹤人體運(yùn)動(dòng)非常困難,。你需要清晰的視線,，而且跟蹤手指和手的細(xì)微動(dòng)作會(huì)遇到很多麻煩。即使是超先進(jìn)的基于圖像的跟蹤系統(tǒng),，雖然能夠以最小的遮擋監(jiān)控手部,，但無(wú)法一致地跟蹤所有關(guān)節(jié)運(yùn)動(dòng)。因此,，生成的數(shù)據(jù)往往有些不一致和嘈雜,。

好吧,，那么使用動(dòng)作捕捉怎么樣,？

動(dòng)作捕捉系統(tǒng)通常用于電影制作和體育科學(xué)，其工作原理是將可見(jiàn)的標(biāo)記物貼在個(gè)體身上,，例如白點(diǎn)等被動(dòng)元件或脈沖LED等主動(dòng)元件,。這種方法無(wú)疑有助于提高跟蹤的準(zhǔn)確性。但是,，它并不能完全克服前面提到的與遮擋相關(guān)的問(wèn)題,。此外，將光學(xué)系統(tǒng)校準(zhǔn)到誤差小于幾毫米的范圍內(nèi)是相當(dāng)具有挑戰(zhàn)性的——這意味著,，如果任務(wù)涉及復(fù)雜的動(dòng)作,，例如在手指間轉(zhuǎn)動(dòng)筆，它很可能會(huì)錯(cuò)過(guò)很多,。?

好的,。我需要它準(zhǔn)確，那么我的最佳選擇是什么,？

為了精確跟蹤人體運(yùn)動(dòng),，最好的辦法是使用緊身運(yùn)動(dòng)跟蹤手套。這種手套可以結(jié)合多種技術(shù)來(lái)實(shí)現(xiàn)這一壯舉,，有些甚至提供額外的功能來(lái)協(xié)助操作員（有些則使操作員的操作更加困難）,。例如，有些手套可以傳遞重量,、觸覺(jué)或硬度的感覺(jué),，所有這些功能都?xì)w類為“觸覺(jué)”。觸覺(jué)的范圍很廣,，包括從向手指?jìng)鬏斝盘?hào)的超聲波設(shè)備,、電皮膚刺激、振動(dòng)壓電元件到充氣氣球,、微型電機(jī)或線性致動(dòng)器等各種技術(shù),。

測(cè)量人體手部運(yùn)動(dòng)的手套可以利用以下方法：

• 安裝在關(guān)節(jié)周圍并追蹤關(guān)節(jié)特定運(yùn)動(dòng)的傳感器
• 從手指的一端到另一端的機(jī)械連桿，跟蹤手指的整個(gè)運(yùn)動(dòng)
• 慣性傳感器（加速度計(jì),、陀螺儀和可能的磁力計(jì)的巧妙組合）佩戴在手上的各個(gè)位置,，用于跟蹤運(yùn)動(dòng)
• 無(wú)線測(cè)量傳感器檢測(cè)手指相對(duì)于手上某處佩戴的源的位置,。
• 相機(jī)將視線從手上移開(kāi)，并追蹤世界的運(yùn)動(dòng),。（我不確定我是否見(jiàn)過(guò)有人使用這個(gè),，但我確信這是可能的）

即使如此，這些技術(shù)也存在多種變體,。例如,，一些傳感器測(cè)量手套的彎曲度，將其與關(guān)節(jié)運(yùn)動(dòng)相關(guān)聯(lián),。其他類型的傳感器會(huì)拉伸并跟蹤其自身的變形以測(cè)量距離,。有時(shí)，機(jī)械連桿會(huì)放置在各個(gè)關(guān)節(jié)上,，以進(jìn)行精確的運(yùn)動(dòng)跟蹤,。?

每一種方法都提供了捕捉和解釋人體運(yùn)動(dòng)的獨(dú)特方法

我們的經(jīng)驗(yàn)：

根據(jù)我們豐富的經(jīng)驗(yàn)，我們發(fā)現(xiàn)準(zhǔn)確測(cè)量人手的機(jī)械特性可能具有挑戰(zhàn)性,，因?yàn)樗?jīng)常會(huì)導(dǎo)致嚴(yán)重的誤差,。測(cè)量傳感器的放置至關(guān)重要，不幸的是,，滑動(dòng)的可能性很高——手套和類似設(shè)備往往會(huì)過(guò)度移動(dòng),，使數(shù)據(jù)收集變得復(fù)雜。將測(cè)量結(jié)果與手指關(guān)節(jié)軸（尤其是拇指）的實(shí)際旋轉(zhuǎn)聯(lián)系起來(lái)是另一項(xiàng)艱巨的任務(wù),！

機(jī)械連桿雖然很有價(jià)值,，但很快就會(huì)變得笨重。它們還可能使操作員感到不適,，以至于無(wú)法完成任務(wù)（太重,、太硬等）。慣性傳感器是一種可行的選擇,；然而,，（再次）防止它們漂移通常很困難，而且它們提供的精度水平通常達(dá)不到我們的需求

我們發(fā)現(xiàn)無(wú)線測(cè)量傳感器,，尤其是來(lái)自Polhemus的傳感器,，為我們提供了出色的結(jié)果。這些傳感器包括一個(gè)戴在手掌上的發(fā)射源和位于指尖的接收器,，為我們提供高質(zhì)量的手部運(yùn)動(dòng)跟蹤數(shù)據(jù),。然而，在更廣闊的三維空間中定位手部仍然是一個(gè)挑戰(zhàn),。對(duì)于這一點(diǎn),，我們發(fā)現(xiàn)HTC Vive是一個(gè)出色的解決方案，因此您經(jīng)常會(huì)在演示中看到Vive跟蹤器,。

現(xiàn)在,，我們想要準(zhǔn)確地知道將機(jī)械手放在哪里,，這與準(zhǔn)確知道人手的位置并不完全相同。我們必須從人手獲取數(shù)據(jù)并將其映射到機(jī)械手上,。這是一個(gè)運(yùn)動(dòng)學(xué)挑戰(zhàn)——人類的運(yùn)動(dòng)和機(jī)器人的運(yùn)動(dòng)并不完全一致,，我們需要將兩者相互轉(zhuǎn)換。將人類數(shù)據(jù)映射到機(jī)械手的最佳方法取決于具體應(yīng)用,。例如,，如果您需要實(shí)時(shí)控制機(jī)器人的手，那么直接映射可能是最佳選擇,。如果您只對(duì)控制機(jī)器人的手進(jìn)行離線分析感興趣,，那么逆運(yùn)動(dòng)學(xué)或混合映射可能是更可行的選擇。不用說(shuō),，機(jī)器人越復(fù)雜,，這項(xiàng)任務(wù)就越有挑戰(zhàn)性。幸運(yùn)的是,，復(fù)雜的機(jī)器人是Shadow的專長(zhǎng)！

因此,，人類戴上一副手套,，控制機(jī)器人完成任務(wù)。完成一些基本的訓(xùn)練任務(wù)后,，操作員就掌握了這個(gè)過(guò)程,，而且做得相當(dāng)好。我們可以從中學(xué)到什么呢,？

我們可以精確監(jiān)控發(fā)送給機(jī)器人的指令并重現(xiàn)它們,。這在所有變量保持一致的受控環(huán)境中操作時(shí)非常理想——這種情況在質(zhì)量保證實(shí)驗(yàn)室的自動(dòng)化環(huán)境中很常見(jiàn)。過(guò)去,，我們采用這種技術(shù)來(lái)構(gòu)建一個(gè)功能齊全的機(jī)器人廚房,。雖然它允許您執(zhí)行重復(fù)性任務(wù)，但它缺乏應(yīng)對(duì)變化的能力,。

我們可以捕獲和分析來(lái)自大量測(cè)試的數(shù)據(jù),，評(píng)估它們的一致性。如果結(jié)果大致相似,，則可以直接應(yīng)用,。但是，如果結(jié)果差異很大,，我們可以深入研究我們的算法工具箱,，嘗試?yán)斫膺@些差異。這時(shí),，從機(jī)器人,、力,、觸覺(jué)和關(guān)節(jié)傳感器獲取廣泛的數(shù)據(jù)會(huì)有所幫助。問(wèn)題出現(xiàn)了：我們能否利用視覺(jué)數(shù)據(jù)（例如對(duì)準(zhǔn)工作區(qū)域的攝像頭）來(lái)辨別不同之處,？為了有效,，這些視覺(jué)數(shù)據(jù)需要與機(jī)器人傳感器數(shù)據(jù)同步，因此需要為所有數(shù)據(jù)流共享一個(gè)框架,。

我們可以從多個(gè)測(cè)試中收集數(shù)據(jù)并通過(guò)“將其提供給人工智能”來(lái)使用 - 即用它來(lái)指導(dǎo)機(jī)器學(xué)習(xí)系統(tǒng)如何從類似的數(shù)據(jù)中復(fù)制類似的動(dòng)作,。

這可以通過(guò)多種方式實(shí)現(xiàn)。

我們可以在數(shù)據(jù)集上訓(xùn)練傳統(tǒng)的學(xué)習(xí)模型,，以便相似的輸入產(chǎn)生相似的輸出,。或者,，如果我們有足夠的數(shù)據(jù),，我們可以使用變換器模型來(lái)生成動(dòng)作。我們甚至可以將數(shù)據(jù)分解成更小的片段,，并訓(xùn)練網(wǎng)絡(luò)將這些片段組裝成正確的序列,。

鑒于現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)在生成文本、圖像,、視頻甚至代碼方面令人印象深刻的能力,，這種方法看起來(lái)非常有前景——而且這僅僅是一個(gè)開(kāi)始！