我們都同意，人類擅長手工任務(wù)，理想情況下，機器人應(yīng)該在這些功能上超越我們。有時，我們因為更靈巧而占優(yōu)勢，而在其他情況下，我們可以執(zhí)行機器人理論上應(yīng)該能夠完成的任務(wù)。

隨著機器人技術(shù)的進步，我們的目標是有效地將人類的技能轉(zhuǎn)移到機器人上。

讓我們探索一些如何實現(xiàn)這一目標的方法

首先，存在“直接編程”方法。這意味著：讓熟練的人細致地描述一項任務(wù)，以至于可以編寫簡單的腳本或復(fù)雜的算法來指導(dǎo)機器人完成任務(wù)。當(dāng)任務(wù)定義明確且具體時，這種方法非常好而且非常有效，這在工業(yè)自動化中經(jīng)常發(fā)生。然而，復(fù)雜性可能會迅速升級，使其具有挑戰(zhàn)性。因此，如果這種方法成功了，那就太好了——但如果不成功，我們必須思考——我們可以采用什么替代策略？

其次，可以考慮的另一種方法是“演示編程”。這種方法涉及指導(dǎo)機器人執(zhí)行任務(wù)。通過為機器人配備先進的力傳感功能和視覺算法，這種技術(shù)可以證明是非常有效的。然而，必須注意的是，它的有效性依賴于機器人的能力。通常，機器人配備的是基本的抓手，而不是熟練、靈巧的手，這會限制它們可以執(zhí)行的任務(wù)的復(fù)雜性。

好的，那么我們?nèi)绾尾拍苡行У赜涗浫祟惖膭幼饕怨C器人模仿呢？

理想情況下，我們會指導(dǎo)人類完成任務(wù)，詳細記錄下來，然后將其重播給機器人。我們甚至可以考慮將這些信息輸入機器學(xué)習(xí)系統(tǒng)，使其能夠從我們的人類指導(dǎo)演示中學(xué)習(xí)。或者，至少，我們可以分析這些人類活動，將它們分解成更簡單的部分，并利用這些信息開發(fā)更高效的算法，就像在錄音室中解構(gòu)一首歌曲一樣。

好的，那么，拍攝執(zhí)行任務(wù)的人并使用“機器視覺”來追蹤他們正在做的事情怎么樣？

這當(dāng)然是一個很好的起點。這種方法提供了對人類行為細微差別的寶貴見解——例如換手時刻、物體握持技巧和工具使用——但我們的經(jīng)驗是，使用相機跟蹤人體運動非常困難。你需要清晰的視線，而且跟蹤手指和手的細微動作會遇到很多麻煩。即使是超先進的基于圖像的跟蹤系統(tǒng)，雖然能夠以最小的遮擋監(jiān)控手部，但無法一致地跟蹤所有關(guān)節(jié)運動。因此，生成的數(shù)據(jù)往往有些不一致和嘈雜。

好吧，那么使用動作捕捉怎么樣？

動作捕捉系統(tǒng)通常用于電影制作和體育科學(xué)，其工作原理是將可見的標記物貼在個體身上，例如白點等被動元件或脈沖LED等主動元件。這種方法無疑有助于提高跟蹤的準確性。但是，它并不能完全克服前面提到的與遮擋相關(guān)的問題。此外，將光學(xué)系統(tǒng)校準到誤差小于幾毫米的范圍內(nèi)是相當(dāng)具有挑戰(zhàn)性的——這意味著，如果任務(wù)涉及復(fù)雜的動作，例如在手指間轉(zhuǎn)動筆，它很可能會錯過很多。?

好的。我需要它準確，那么我的最佳選擇是什么？

為了精確跟蹤人體運動，最好的辦法是使用緊身運動跟蹤手套。這種手套可以結(jié)合多種技術(shù)來實現(xiàn)這一壯舉，有些甚至提供額外的功能來協(xié)助操作員（有些則使操作員的操作更加困難）。例如，有些手套可以傳遞重量、觸覺或硬度的感覺，所有這些功能都歸類為“觸覺”。觸覺的范圍很廣，包括從向手指傳輸信號的超聲波設(shè)備、電皮膚刺激、振動壓電元件到充氣氣球、微型電機或線性致動器等各種技術(shù)。

測量人體手部運動的手套可以利用以下方法：

• 安裝在關(guān)節(jié)周圍并追蹤關(guān)節(jié)特定運動的傳感器
• 從手指的一端到另一端的機械連桿，跟蹤手指的整個運動
• 慣性傳感器（加速度計、陀螺儀和可能的磁力計的巧妙組合）佩戴在手上的各個位置，用于跟蹤運動
• 無線測量傳感器檢測手指相對于手上某處佩戴的源的位置。
• 相機將視線從手上移開，并追蹤世界的運動。（我不確定我是否見過有人使用這個，但我確信這是可能的）

即使如此，這些技術(shù)也存在多種變體。例如，一些傳感器測量手套的彎曲度，將其與關(guān)節(jié)運動相關(guān)聯(lián)。其他類型的傳感器會拉伸并跟蹤其自身的變形以測量距離。有時，機械連桿會放置在各個關(guān)節(jié)上，以進行精確的運動跟蹤。?

每一種方法都提供了捕捉和解釋人體運動的獨特方法

我們的經(jīng)驗：

根據(jù)我們豐富的經(jīng)驗，我們發(fā)現(xiàn)準確測量人手的機械特性可能具有挑戰(zhàn)性，因為它經(jīng)常會導(dǎo)致嚴重的誤差。測量傳感器的放置至關(guān)重要，不幸的是，滑動的可能性很高——手套和類似設(shè)備往往會過度移動，使數(shù)據(jù)收集變得復(fù)雜。將測量結(jié)果與手指關(guān)節(jié)軸（尤其是拇指）的實際旋轉(zhuǎn)聯(lián)系起來是另一項艱巨的任務(wù)！

機械連桿雖然很有價值，但很快就會變得笨重。它們還可能使操作員感到不適，以至于無法完成任務(wù)（太重、太硬等）。慣性傳感器是一種可行的選擇；然而，（再次）防止它們漂移通常很困難，而且它們提供的精度水平通常達不到我們的需求

我們發(fā)現(xiàn)無線測量傳感器，尤其是來自Polhemus的傳感器，為我們提供了出色的結(jié)果。這些傳感器包括一個戴在手掌上的發(fā)射源和位于指尖的接收器，為我們提供高質(zhì)量的手部運動跟蹤數(shù)據(jù)。然而，在更廣闊的三維空間中定位手部仍然是一個挑戰(zhàn)。對于這一點，我們發(fā)現(xiàn)HTC Vive是一個出色的解決方案，因此您經(jīng)常會在演示中看到Vive跟蹤器。

現(xiàn)在，我們想要準確地知道將機械手放在哪里，這與準確知道人手的位置并不完全相同。我們必須從人手獲取數(shù)據(jù)并將其映射到機械手上。這是一個運動學(xué)挑戰(zhàn)——人類的運動和機器人的運動并不完全一致，我們需要將兩者相互轉(zhuǎn)換。將人類數(shù)據(jù)映射到機械手的最佳方法取決于具體應(yīng)用。例如，如果您需要實時控制機器人的手，那么直接映射可能是最佳選擇。如果您只對控制機器人的手進行離線分析感興趣，那么逆運動學(xué)或混合映射可能是更可行的選擇。不用說，機器人越復(fù)雜，這項任務(wù)就越有挑戰(zhàn)性。幸運的是，復(fù)雜的機器人是Shadow的專長！

因此，人類戴上一副手套，控制機器人完成任務(wù)。完成一些基本的訓(xùn)練任務(wù)后，操作員就掌握了這個過程，而且做得相當(dāng)好。我們可以從中學(xué)到什么呢？

我們可以精確監(jiān)控發(fā)送給機器人的指令并重現(xiàn)它們。這在所有變量保持一致的受控環(huán)境中操作時非常理想——這種情況在質(zhì)量保證實驗室的自動化環(huán)境中很常見。過去，我們采用這種技術(shù)來構(gòu)建一個功能齊全的機器人廚房。雖然它允許您執(zhí)行重復(fù)性任務(wù)，但它缺乏應(yīng)對變化的能力。

我們可以捕獲和分析來自大量測試的數(shù)據(jù)，評估它們的一致性。如果結(jié)果大致相似，則可以直接應(yīng)用。但是，如果結(jié)果差異很大，我們可以深入研究我們的算法工具箱，嘗試理解這些差異。這時，從機器人、力、觸覺和關(guān)節(jié)傳感器獲取廣泛的數(shù)據(jù)會有所幫助。問題出現(xiàn)了：我們能否利用視覺數(shù)據(jù)（例如對準工作區(qū)域的攝像頭）來辨別不同之處？為了有效，這些視覺數(shù)據(jù)需要與機器人傳感器數(shù)據(jù)同步，因此需要為所有數(shù)據(jù)流共享一個框架。

我們可以從多個測試中收集數(shù)據(jù)并通過“將其提供給人工智能”來使用 - 即用它來指導(dǎo)機器學(xué)習(xí)系統(tǒng)如何從類似的數(shù)據(jù)中復(fù)制類似的動作。

這可以通過多種方式實現(xiàn)。

我們可以在數(shù)據(jù)集上訓(xùn)練傳統(tǒng)的學(xué)習(xí)模型，以便相似的輸入產(chǎn)生相似的輸出。或者，如果我們有足夠的數(shù)據(jù)，我們可以使用變換器模型來生成動作。我們甚至可以將數(shù)據(jù)分解成更小的片段，并訓(xùn)練網(wǎng)絡(luò)將這些片段組裝成正確的序列。

鑒于現(xiàn)代機器學(xué)習(xí)系統(tǒng)在生成文本、圖像、視頻甚至代碼方面令人印象深刻的能力，這種方法看起來非常有前景——而且這僅僅是一個開始！