工業(yè)自動(dòng)化無處不在,。如工廠中執(zhí)行精確自動(dòng)化任務(wù)的機(jī)械臂,。大型倉庫中沿著預(yù)定的軌道行駛?cè)∷桶臋C(jī)器人。地下礦井中可以在沒有人工操作的情況下沿著預(yù)編程軌道行駛的，大型輪式裝載機(jī)等等,。

然而,，許多行業(yè)仍然依賴人工操作員和勞動(dòng)力。這些行業(yè)通常處于高度非結(jié)構(gòu)化和變化的環(huán)境中,，同時(shí)這些環(huán)境也是人工工作最危險(xiǎn)的環(huán)境,，如建筑、樹木收割和采礦等,。

自動(dòng)化和非自動(dòng)化任務(wù)：與地下礦井中復(fù)雜的環(huán)境相比,，工廠中的環(huán)境更加簡單有組織

精確的重要性

Algoryx在重型機(jī)械的全系統(tǒng)物理模擬方面有十多年的經(jīng)驗(yàn)。其核心產(chǎn)品AGX Dynamics是一個(gè)用于多體和多區(qū)域動(dòng)力學(xué)數(shù)值模擬的SDK,。

為了幫助行業(yè)解決現(xiàn)實(shí)世界的問題,，Algoryx已經(jīng)跨越了理想化的模型，他們開發(fā)了既遵循物理基本原理又允許對復(fù)雜的現(xiàn)實(shí)世界進(jìn)行建模,。例如,，模型考慮了接縫、彈塑性梁,、接縫極限、可斷裂接縫,、分段線性模型等方面的間隙,。

這些都是我們在現(xiàn)實(shí)中遇到的常見現(xiàn)象，如果沒有建模到正確的水平,，模擬將無法解決任何現(xiàn)實(shí)世界中的問題,。AGX Dynamics中的可變時(shí)間步進(jìn)器使實(shí)時(shí)或更快地模擬這些非理想化模型的不連續(xù)（或非光滑）物理事件（如撞擊）成為可能。這是通過處理每個(gè)時(shí)間步長中的幾何和全局問題而實(shí)現(xiàn)的,，所以最終可以在無限長的模擬時(shí)間內(nèi)產(chǎn)生穩(wěn)定的物理模擬效果,。結(jié)合Algoryx的快速直接求解器，可以以機(jī)器精度求解大型稀疏系統(tǒng),，這使得模擬而無需任何特殊處理大質(zhì)量比的“剛性”系統(tǒng)成為可能,，。

機(jī)器的動(dòng)力取決于許多機(jī)器部件,，包括發(fā)動(dòng)機(jī)類型,、變速箱、差速器,、液壓系統(tǒng),、輪胎、履帶以及電纜或電線等可發(fā)生形變的物體,，并且機(jī)器必須能夠與環(huán)境互動(dòng),。就如同船必須漂浮在水中，輪式裝載機(jī)必須裝慢土進(jìn)行行駛,。所有這些組件都使用相同的框架進(jìn)行建模,，從而實(shí)現(xiàn)統(tǒng)一,、緊密耦合的模擬。這種模型和數(shù)值結(jié)合的方法是基于全新的科學(xué)文獻(xiàn)得出的,。

AGX Dynamics的專業(yè)培訓(xùn)模擬器和工程工具憑借其性能和準(zhǔn)確性獲得眾多行業(yè)合作伙伴的信任,。在訓(xùn)練模擬器中，操作員學(xué)習(xí)能夠如何以安全有效的方式控制機(jī)器,。由于模型的超高逼真度,，操作員的技能（通常以眼肌協(xié)調(diào)性來衡量)可以得到快速提升。

另一方面,，工程工具需要對機(jī)器與環(huán)境相互作用時(shí)的動(dòng)力學(xué)進(jìn)行深入分析——例如,，測量關(guān)節(jié)中的真實(shí)力或電動(dòng)傳動(dòng)系統(tǒng)的能耗。模擬可以引導(dǎo)早期設(shè)計(jì)決策,，并能夠?qū)崿F(xiàn)在現(xiàn)實(shí)世界中也會(huì)觀察到相同的行為,，這對客戶來說具有巨大的價(jià)值。現(xiàn)在,，得益于AGX Dynamics與Unity的集成,，可以使用功能強(qiáng)大的Unity Editor來設(shè)置機(jī)器和環(huán)境模型，并使用AGX Dynamics對其進(jìn)行模擬,。

成功地將模擬轉(zhuǎn)移到現(xiàn)實(shí)世界

自動(dòng)化這些車輛的工作比自動(dòng)化一個(gè)機(jī)器人在工廠里重復(fù)相同的取放動(dòng)作要困難得多,。不斷變化的環(huán)境使問題變得更加復(fù)雜，任務(wù)的動(dòng)態(tài)性也是如此,。與經(jīng)驗(yàn)不足的操作員相比,，高技能的操作員可以利用車輛的動(dòng)力和與他們交互的物體大大提升工作效率。

事實(shí)證明,，如何將其與車輛控制聯(lián)系起來或做出自動(dòng)決策真的很難解決,。操作員通常根據(jù)直覺做出決定，這些直覺基于許多不同的感官輸入,，如視覺,、聲音和車輛的反作用力等。這種直覺是在數(shù)千小時(shí)的訓(xùn)練中建立起來的,，在這些訓(xùn)練中,，操作員經(jīng)歷了不同但相似的情況，首先是在訓(xùn)練模擬器中,，然后是在真實(shí)的機(jī)器上,。訓(xùn)練模擬器需要實(shí)現(xiàn)精確的物理模擬，以便駕駛員在駕駛真實(shí)機(jī)器時(shí)展現(xiàn)出訓(xùn)練中鍛煉出的技術(shù),。

近年來,，強(qiáng)化學(xué)習(xí)在制作高級環(huán)境方面表現(xiàn)出了潛力。通過使用強(qiáng)化學(xué)習(xí)，自動(dòng)化工程師不需要單獨(dú)解決自動(dòng)化問題的每個(gè)部分,，然后再連接各個(gè)部分,。

強(qiáng)化學(xué)習(xí)可以定義要解決的任務(wù)，以及哪些操作和觀察可用于解決問題,，然后讓代理探索環(huán)境并“弄清楚”如何解決這些問題,。這在理論上聽起來很容易，但在現(xiàn)實(shí)中,，解決一項(xiàng)任務(wù)所需的探索和訓(xùn)練量令人望而生畏,，在真正的機(jī)器上完成這項(xiàng)任務(wù)既危險(xiǎn)又昂貴。

在模擬中進(jìn)行這項(xiàng)任務(wù)不會(huì)損壞機(jī)器,，模擬比實(shí)時(shí)運(yùn)行更快,，并且可以并行運(yùn)行幾個(gè)模擬，而不會(huì)產(chǎn)生大量額外的成本,。然而,，就像操作員一樣，準(zhǔn)確的物理知識對于將所學(xué)經(jīng)驗(yàn)從模擬有效地轉(zhuǎn)移到真實(shí)機(jī)器是必要的,。但如果模型是錯(cuò)誤的,，代理學(xué)習(xí)的解決方案可能在現(xiàn)實(shí)世界中就不起作用。

使用Unity引擎和Unity ML-Agents,，很容易用一個(gè)或多個(gè)代理對環(huán)境建模,。用戶可以用UnitySystemGraph模擬代理觀察其周圍環(huán)境的不同視覺傳感器。

在開始階段,，代理不會(huì)知道要執(zhí)行的一系列動(dòng)作來解決任務(wù),，但是通過給代理一個(gè)依賴于先前狀態(tài)動(dòng)作轉(zhuǎn)換的獎(jiǎng)勵(lì),，ML-agent中的強(qiáng)化學(xué)習(xí)算法能夠找到一個(gè)收益最大化的策略,，最終允許代理解決任務(wù)。結(jié)合這一點(diǎn)和來自AGX Dynamics for Unity的快速而準(zhǔn)確的物理學(xué),，僅使用模擬就有可能對重型機(jī)械進(jìn)行建模和訓(xùn)練,，從而實(shí)現(xiàn)智能且自主地解決非常復(fù)雜的問題。

自動(dòng)伐木：原木抓取控制

烏姆埃大學(xué)的詹妮弗·安德森與Algoryx合作,，研究如何使用強(qiáng)化學(xué)習(xí)自動(dòng)化林業(yè)起重機(jī)機(jī)械手的原木抓取運(yùn)動(dòng),。經(jīng)驗(yàn)豐富的操作員可以控制林業(yè)機(jī)械上的欠驅(qū)動(dòng)起重機(jī)，在不平坦的地面上行駛時(shí)成功抓住多根原木,，并避免與樹木碰撞,。這需要幾個(gè)促動(dòng)器的反直覺協(xié)調(diào)，并最終會(huì)導(dǎo)致操作者在精神和身體上的雙重疲憊,。

通過在使用Unity和ML-Agents創(chuàng)建并使用AGX Dynamics for Unity模擬的環(huán)境中使用強(qiáng)化學(xué)習(xí),，訓(xùn)練一個(gè)代理來單獨(dú)控制森林轉(zhuǎn)發(fā)器上的起重機(jī)的六個(gè)關(guān)節(jié)，以執(zhí)行單個(gè)原木抓取。最佳控制策略97%的時(shí)間成功抓取日志,，策略和周期時(shí)間與經(jīng)驗(yàn)豐富的人工操作員相當(dāng),。例如，代理能夠在抓取時(shí)使欠驅(qū)動(dòng)抓取爪進(jìn)行擺動(dòng),，這種技術(shù)可以提高周期時(shí)間,，但很難學(xué)習(xí)。

該研究還表明,，與沒有能量優(yōu)化目標(biāo)訓(xùn)練的代理相比,，在獎(jiǎng)勵(lì)函數(shù)中用能量優(yōu)化目標(biāo)訓(xùn)練的代理顯著降低了能量消耗。

地下礦山自主連續(xù)裝載軌跡

在另一個(gè)案例中,，Algoryx與世界領(lǐng)先的隧道和采礦設(shè)備制造商Epiroc合作,，完成其大型地下礦用輪式裝載機(jī)ST-18的自動(dòng)裝載項(xiàng)目。這種車輛能夠在鏟斗中裝載18噸爆破巖石,，并在世界各地的許多地下礦井中不間斷運(yùn)行,。當(dāng)其在地下巷道向前行進(jìn)時(shí)，巷道的末端會(huì)被爆破,，這導(dǎo)致一大堆碎片巖石（渣土）,，必須在下一次爆破前清除。

在模擬中,，代理已經(jīng)被訓(xùn)練使用深度圖像來計(jì)劃裝載位置,，并且控制車輛在許多后續(xù)裝載循環(huán)中有效地填充鏟斗。計(jì)劃,、填充鏟斗,、避免碰撞和車輪打滑都是通過讓代理控制油門、轉(zhuǎn)向和鏟斗的提升/傾斜來實(shí)現(xiàn)的,。通過在獎(jiǎng)勵(lì)函數(shù)中包含能耗懲罰,，最終該方案獲得了平均75%的最大填充容量的最佳結(jié)果。

AGX Dynamics for Unity使工程師能夠安全地設(shè)計(jì),、開發(fā)和測試復(fù)雜的自主機(jī)器,。上面的例子是Algoryx使用Unity平臺(tái)進(jìn)行機(jī)器學(xué)習(xí)的許多應(yīng)用中的兩個(gè)案例。Unity的技術(shù)還可以解決其他類型的難以自動(dòng)化的任務(wù),，通過預(yù)先模擬讓世界變得更好,。