在數(shù)字時代基于文本的模擬手冊已經(jīng)被智能眼鏡和利用人工智能(AI)的增強現(xiàn)實(AR)所取代。 AK GO是一個由Unity構建的工業(yè)解決方案,，可以實現(xiàn)沉浸式飛機維護培訓,，由Augmented Knowledge Corporation創(chuàng)造。

AK GO背后的故事始于2008年,。Augmented Knowledge Corp .的創(chuàng)始人兼首席執(zhí)行官Kevin GS Jo為我們講述了公司的發(fā)展和Unity在其公司發(fā)展中所扮演的重要角色,。作為虛擬現(xiàn)實（VR）和人工智能的長期擁護者，Kevin GS Jo一直在研究該技術在航空維修領域的應用,。

這個項目是如何開始的

在2008年擔任大學教授期間,，Jo就獲得了空中客車公司的資助，與南加州大學和大韓航空公司就使用AR和AI技術進行現(xiàn)場航空維護進行了實證研究,。

他的研究證實，使用AR和AI技術進行飛機維護訓練將維護效率提高了30%以上,。Jo還發(fā)現(xiàn),，就質(zhì)量而言，即使經(jīng)驗不足的工人也可以執(zhí)行幾乎零錯誤的維護,。他在人工智能促進協(xié)會（AAAI）關于人工智能的會議上展示了他關于相關基礎技術及其應用的論文和這些成果,。

當時，AR和混合現(xiàn)實（MR）眼鏡很少見,，但隨著技術的進步,，各種智能眼鏡，如HoloLens 2和Magic Leap,，今天已經(jīng)在市場上隨處可見,，這為jo項目的實際應用奠定了基礎,。Jo在美國、中國和韓國為他的研究成果申請了專利,，并開始了在行業(yè)內(nèi)將這些成果商業(yè)化,。

AK GO：航空維修培訓的XR內(nèi)容

飛機維護是一個必不可少的過程，糟糕的維護會導致致命的事故,。根據(jù)國際民用航空組織（ICAO）2016年的一項研究,，約14%的飛機事故是由故障維修引起的。盡管飛機或復雜機械的維護受到嚴格控制,，以確保維護是根據(jù)文件化的程序進行的,，但是在維護工作之前找到并理解PDF文件或紙質(zhì)手冊中的大量內(nèi)容，然后確認二維圖紙如何對應于現(xiàn)實生活中的飛機是復雜且耗時的過程,。

飛機維修手冊配備的AI解決方案AK GO,，通過工作人員佩戴的智能眼鏡，同步顯示三維的飛機零件和手冊,。通過使用擴展現(xiàn)實（XR）內(nèi)容,、人工智能和語音交互的模擬，對工人進行高效的維護流程培訓,。

通過使用AK GO,，維修人員可以像在真實的飛機上訓練一樣學習和重復訓練現(xiàn)實的維護流程，而培訓機構可以提供高質(zhì)量的培訓,，而不必購買昂貴的設備,。

與現(xiàn)場工作流程完全相同的沉浸式內(nèi)容

飛機很貴，一架飛機通常至少要花費1000億韓元,。航空維修培訓機構獲取資源有限,。培訓機構經(jīng)常需要使用舊飛機，例如退役的或不再飛行的輕型飛機,，作為培訓設備,。然而，由于擔心設備的進一步損壞,，即使是舊飛機現(xiàn)在也只能作為展示模型,。

為了應對這些挑戰(zhàn)，Jo致力于開發(fā)能夠準確模擬真實現(xiàn)場維護流程的沉浸式培訓內(nèi)容,，這是XR技術的一個典型用例,。

對于有效的航空維護培訓內(nèi)容，如同在工業(yè)場所的所有工作一樣,，用戶必須容易獲得信息,，并且必須騰出雙手來執(zhí)行工作。現(xiàn)已上市的可穿戴智能眼鏡HoloLens 2實現(xiàn)了這一功能,，因此Jo的團隊專注于為該設備開發(fā)航空維修內(nèi)容,。該團隊還應用了語音識別技術,，以便員工可以輕松獲取信息。

當我們的開發(fā)團隊第一次開始開發(fā)時,，我們很難選擇一個引擎,，因為我們之前沒有任何引擎經(jīng)驗。Unity引擎有很大的吸引力,，因為與其他引擎相比,，它新手用戶非常友好。此外,，由于它支持高級開發(fā),，我們確定Unity引擎在長期開發(fā)過程中會幫助我們減輕修改的負擔。此外,，它促進了HoloLens 2的MR內(nèi)容的開發(fā),，并提供了一個環(huán)境，使得獲取和使用我們開發(fā)所需的插件或資產(chǎn)等東西成為可能,。這就是我們選擇Unity的原因,。

–Kevin GS Jo，Augmented Knowledge Corp首席執(zhí)行官兼創(chuàng)始人

從智能眼鏡到平板電腦共享視頻

為智能眼鏡開發(fā)VR內(nèi)容可能會有問題,，因為只有佩戴該設備的人才能看到通過眼鏡顯示的內(nèi)容,。因此，AK GO團隊提高了用戶友好性,。每個學員不必同時配備昂貴的智能眼鏡或虛擬現(xiàn)實設備和一臺PC,，一名學員可以使用該設備，同時眼鏡的視頻輸入可以共享到其他屏幕,，如平板電腦上,。

使用AK GO，學員可以通過智能眼鏡看到實際飛機的圖像,，并獲得在上下文中顯示的工作程序的指導,。此外，通過深度學習語音識別技術,，受訓者可以輕松訪問程序每個步驟的菜單和內(nèi)容,。來自HoloLens 2設備的視頻也可以傳輸?shù)狡桨咫娔X上，這樣就可以與他人分享視頻,，這樣他們也可以實時查看學員使用的內(nèi)容和訓練狀況。

在飛機起落架拆卸和組裝的過程中,，人工智能通過與受訓者交流,，在受訓者的視野內(nèi)顯示手冊中的程序步驟。通過結合AI和XR技術,，受訓者可以與維護知識庫進行通信,，以查看維護期間的必要信息,，這些信息將疊加在AR中的三維模型上。

Unity功能

據(jù)首席架構師和AR開發(fā)人員Chidon Ahn稱,，Unity的編輯器腳本對于這個項目來說是無可替代的,。但不僅僅是一個項目。如果你正在進行多個類似的項目,，一旦使用編輯器腳本定義了任務,，那么該任務就可以很容易地重復。

當開發(fā)處理隨著每次重復而變化的大量數(shù)據(jù)的內(nèi)容時,，開發(fā)人員必須手動處理一切,。然而，有了Unity,，這個過程就可以通過使用適當產(chǎn)生的元文件和預定義的pre-fabs來實現(xiàn)自動化,。

“Unity擁有各種資產(chǎn)，可以被像我們這樣的小型開發(fā)團隊有效地使用,。Unity還通過使用云技術優(yōu)化了共同開發(fā)功能,，所以我們從這個項目開始就一直使用Unity?！?/p>

–Chidon Ahn,，Augmented Knowledge公司首席架構師和AR開發(fā)人員

未來展望

AK GO在AI和XR融合內(nèi)容的設計、測試和實現(xiàn)方面的重點目前一直圍繞著航空維修領域,。AK GO計劃在未來將這些功能擴展到數(shù)字孿生領域,，在這一領域中將涉及對車輛電子設備、家用電器和工廠等工業(yè)資產(chǎn)等更多方面進行實時維護培訓,。

Augmented Knowledge Corporation計劃以軟件即服務（SaaS）模式向全世界提供各種飛機類型的基于云的實時維修培訓內(nèi)容,。Unity也將被計劃應用于這些項目之中。