本文摘要：摘要：為了提高虛擬維修訓(xùn)練時(shí)零件的定位精度，豐富人機(jī)交互功能，反映貼近實(shí)際的操作過(guò)程，提高操作者的訓(xùn)練質(zhì)量，基于虛擬現(xiàn)實(shí)輔助技術(shù)，研究了裝配約束感知與建立算法，可實(shí)現(xiàn)根據(jù)當(dāng)前的裝配狀態(tài)實(shí)時(shí)建立正確的裝配約束。基于直觀性交互建立了導(dǎo)師助教多
摘要：為了提高虛擬維修訓(xùn)練時(shí)零件的定位精度，豐富人機(jī)交互功能，反映貼近實(shí)際的操作過(guò)程，提高操作者的訓(xùn)練質(zhì)量，基于虛擬現(xiàn)實(shí)輔助技術(shù)，研究了裝配約束感知與建立算法，可實(shí)現(xiàn)根據(jù)當(dāng)前的裝配狀態(tài)實(shí)時(shí)建立正確的裝配約束�；谥庇^性交互建立了“導(dǎo)師&助教”多模式指導(dǎo)方法。在Unity3D環(huán)境中開(kāi)發(fā)了虛擬手、虛擬工具的無(wú)標(biāo)記交互操作方式，并通過(guò)HMD(head-mounteddisplay，頭盔顯示器)實(shí)現(xiàn)虛擬環(huán)境的立體可視化。開(kāi)發(fā)了虛擬維修訓(xùn)練系統(tǒng)，并以某型號(hào)洗衣機(jī)為對(duì)象進(jìn)行了測(cè)試。結(jié)果表明，該系統(tǒng)不僅可使零件的裝配關(guān)系定位更加精確，模擬出更真實(shí)的拆裝過(guò)程，還可以通過(guò)直觀性交互幫助操作者更好地完成任務(wù)，消除了實(shí)裝訓(xùn)練的不足，大大提升了維修訓(xùn)練的效費(fèi)比。
關(guān)鍵詞：虛擬現(xiàn)實(shí)輔助;虛擬訓(xùn)練;狀態(tài)感知;人機(jī)交互
裝備維修訓(xùn)練是裝備全壽命管理的重要環(huán)節(jié)[1]。機(jī)械裝備一般結(jié)構(gòu)復(fù)雜，裝配流程長(zhǎng)，維修方式多，而實(shí)體樣機(jī)通常體積和質(zhì)量較大，故實(shí)裝維修訓(xùn)練操作困難、成本高，對(duì)裝備的損傷大，存在較大的安全隱患[2]。虛擬現(xiàn)實(shí)具有沉浸感強(qiáng)、直觀性好、交互便利的特點(diǎn)[3]。利用虛擬現(xiàn)實(shí)技術(shù)輔助維修訓(xùn)練，可在虛擬環(huán)境中復(fù)現(xiàn)維修訓(xùn)練情況，具有高沉浸感，不受時(shí)間和空間的限制，可大大提高維修訓(xùn)練的效費(fèi)比和承訓(xùn)量。維修是使裝備保持或恢復(fù)到規(guī)定狀態(tài)的一系列活動(dòng)。典型的維修活動(dòng)包括7個(gè)步驟：準(zhǔn)備、診斷(故障檢測(cè)及隔離)、更換(拆卸及安裝)、調(diào)整及校準(zhǔn)、保養(yǎng)、檢驗(yàn)和原件復(fù)原[4]。
虛擬現(xiàn)實(shí)技術(shù)論文投稿刊物：基于虛擬現(xiàn)實(shí)技術(shù)的模具教學(xué)系統(tǒng)研究與開(kāi)發(fā)
由于拆卸及重新安裝的時(shí)間在整個(gè)維修事件所需時(shí)間中所占的比重最大，而其他維修活動(dòng)難以在虛擬環(huán)境中實(shí)現(xiàn)，所以目前的虛擬維修主要研究零件的拆卸及安裝過(guò)程[5]�，F(xiàn)有的虛擬維修訓(xùn)練系統(tǒng)主要通過(guò)動(dòng)畫(huà)的形式進(jìn)行拆裝過(guò)程演示，未考慮到零件之間的連接和定位關(guān)系，無(wú)法確定零件裝配的正確位置。如：楊俊超等[6]設(shè)計(jì)的航空裝備虛擬維修訓(xùn)練系統(tǒng)雖然具備航空裝備維修流程和零件拆卸與裝配、故障分析與排除等功能，但零件的拆裝是通過(guò)動(dòng)畫(huà)的自動(dòng)播放來(lái)演示的;楊兆坤等[7]基于“美騰通用平臺(tái)”，提出了一種沉浸式虛擬維修訓(xùn)練 系統(tǒng)的開(kāi)發(fā)方法，雖然在Unity3D軟件中建立了基本維修科目，形成了訓(xùn)練流程，但零件裝配過(guò)程是通過(guò)操作者點(diǎn)擊按鈕播放動(dòng)畫(huà)來(lái)展現(xiàn)的。
這些系統(tǒng)都未建立限制零件運(yùn)動(dòng)的零件之間的約束關(guān)系，無(wú)法展現(xiàn)實(shí)際的拆裝過(guò)程。在裝備維修訓(xùn)練中，零件數(shù)量繁多、型號(hào)規(guī)格類似、空間布局緊湊且其特征復(fù)雜[8]。在實(shí)際的維修訓(xùn)練中，教員會(huì)對(duì)學(xué)員的維修操作進(jìn)行指導(dǎo)，學(xué)員也可以通過(guò)維修手冊(cè)學(xué)習(xí)維修知識(shí)。所以，在虛擬維修訓(xùn)練中，須開(kāi)發(fā)指導(dǎo)機(jī)制，引導(dǎo)操作者進(jìn)行裝備的維修訓(xùn)練[9]。目前，虛擬維修訓(xùn)練系統(tǒng)的指導(dǎo)方式較少，主要通過(guò)圖文說(shuō)明的方式對(duì)操作者進(jìn)行指導(dǎo)性說(shuō)明。
張玉軍等[10]在Unity3D環(huán)境中設(shè)計(jì)開(kāi)發(fā)了沉浸式虛擬維修訓(xùn)練系統(tǒng)，該系統(tǒng)具有基礎(chǔ)理論、特情處理等模塊，可指導(dǎo)操作者進(jìn)行維修訓(xùn)練，但圖文指導(dǎo)只能通過(guò)按鈕點(diǎn)擊獲取，并不能以手勢(shì)、視線等直觀性的交互方式來(lái)引導(dǎo)操作者自主獲取知識(shí)，不能使其在思考中完成任務(wù)�；诖┐魇綌�(shù)據(jù)服設(shè)計(jì)的虛擬維修訓(xùn)練系統(tǒng)[11]，是通過(guò)有標(biāo)記式的交互方式獲取拆裝指導(dǎo)信息，增加了人機(jī)交互的額外媒介，可減弱虛擬維修訓(xùn)練的沉浸感。對(duì)操作逼真自然的模擬可以有效提高虛擬維修訓(xùn)練質(zhì)量[12]。
在實(shí)際的維修訓(xùn)練中，操作者多用手拾取零件，或用手抓握工具進(jìn)行零件的拆裝。故在虛擬維修訓(xùn)練系統(tǒng)中，模擬操作者使用單雙手與零件或工具的自然交互操作十分重要[13]。但目前的操作仿真還不能體現(xiàn)人機(jī)的自然交互，如僅使用手柄的人機(jī)交互，不能通過(guò)虛擬手直接拾取零件，降低了操作真實(shí)感。
孔祥杰等[14]通過(guò)試驗(yàn)得出，動(dòng)作捕捉手套在螺釘安裝等定位敏感型操作中效率較低，必須雙手協(xié)同操作才能提高處理復(fù)雜任務(wù)的效率。郭慶等[15]通過(guò)動(dòng)作捕捉設(shè)備采集真實(shí)人體的運(yùn)動(dòng)數(shù)據(jù)，將虛擬人作為操作者嵌入虛擬環(huán)境中，但是沒(méi)有對(duì)虛擬手操作進(jìn)行針對(duì)性的開(kāi)發(fā)，故不能完成單雙手拆裝的復(fù)雜動(dòng)作。張玉軍等[10]雖然將虛擬手引入虛擬維修訓(xùn)練系統(tǒng)，但僅實(shí)現(xiàn)了以簡(jiǎn)單手勢(shì)與機(jī)器系統(tǒng)交互，并未進(jìn)行手勢(shì)識(shí)別、虛擬手拾取功能等的研究，故系統(tǒng)的沉浸感和交互性不強(qiáng)。2014年以來(lái)，虛擬現(xiàn)實(shí)(virtualreality，VR)輔助技術(shù)已成為繼計(jì)算機(jī)輔助技術(shù)(computeraidedtech‐nology，CAD)后新一代仿真輔助技術(shù)[16]。
傳統(tǒng)的CAD[17]只是通過(guò)設(shè)置指令使零件達(dá)到最終的安裝完成狀態(tài)，或移除須刪除約束的元件的約束，不能體現(xiàn)零件拆裝過(guò)程;其可視化和交互方法是基于缺乏直觀性的二維顯示和鼠標(biāo)/鍵盤(pán)系統(tǒng)，無(wú)法獲得導(dǎo)致裝配錯(cuò)誤的裝配狀態(tài)，例如穿透和不合理的裝配關(guān)系，這些都限制了操作者在維修訓(xùn)練過(guò)程中的主動(dòng)思考。而虛擬現(xiàn)實(shí)輔助技術(shù)是使用者通過(guò)手勢(shì)、語(yǔ)音等方式與虛擬環(huán)境進(jìn)行交互[18]，人機(jī)交互更加自然和諧�？臻g定位技術(shù)則實(shí)現(xiàn)了RoomScale(空間范圍)級(jí)別的VR定位，具有定位精度高、反應(yīng)速度快和分布式處理等優(yōu)勢(shì)[19]。
VR定位系統(tǒng)集成了激光傳感器、光敏傳感器，具有高精度系統(tǒng)時(shí)間分辨率[20]，基于PnP解算原理進(jìn)行運(yùn)動(dòng)物體的姿態(tài)估計(jì)，可實(shí)現(xiàn)運(yùn)動(dòng)物體位置的精確求解;具有高刷新率的虛擬顯示可實(shí)現(xiàn)虛擬物體的立體可視化輸出，且圖像自然清晰、穩(wěn)定性好，可表現(xiàn)出零件幾何外形特征等關(guān)鍵信息。通過(guò)虛擬現(xiàn)實(shí)軟硬件開(kāi)發(fā)的交互方式可提升交互功能，幫助操作者將所學(xué)知識(shí)應(yīng)用于拆裝嘗試中，啟發(fā)其更好地完成訓(xùn)練任務(wù)。
1裝配約束實(shí)時(shí)感知與建立技術(shù)
為了降低定位不精準(zhǔn)給零件虛擬維修帶來(lái)的影響，研究以裝配約束關(guān)系限制零件自由度的方法。在建立零件多數(shù)據(jù)信息模型的基礎(chǔ)上，借助虛擬現(xiàn)實(shí)設(shè)備及時(shí)更新零件位姿數(shù)據(jù)，建立零件狀態(tài)實(shí)時(shí)感知的裝配約束算法，實(shí)時(shí)感知虛擬環(huán)境中的零件狀態(tài)，分析求解零件之間的位置關(guān)系，建立其正確的裝配約束，以提升虛擬維修訓(xùn)練的效果。在虛擬維修訓(xùn)練的拆裝過(guò)程中，為使零件安裝在正確的位置，逼真地體現(xiàn)出裝配過(guò)程，須研究零件的整個(gè)裝配過(guò)程。其中裝配關(guān)系是裝配過(guò)程中連接各零件之間的紐帶，裝配時(shí)要進(jìn)行與裝配關(guān)系對(duì)應(yīng)的裝配操作[21]。
2多模式交互指導(dǎo)方法
操作者佩戴虛擬現(xiàn)實(shí)頭盔顯示器(head-mount‐eddisplay，HMD)進(jìn)行虛擬維修訓(xùn)練，其視覺(jué)觀察范圍僅為HMD所顯示的三維虛擬場(chǎng)景，無(wú)法使用現(xiàn)實(shí)環(huán)境中的維修手冊(cè)等進(jìn)行參考，也無(wú)法觀察到實(shí)際指導(dǎo)人員的指導(dǎo)動(dòng)作。操作者剛進(jìn)入虛擬環(huán)境時(shí)，可能因不熟悉場(chǎng)景中的設(shè)備、零件而出現(xiàn)操作失誤。故須借助虛擬現(xiàn)實(shí)軟件設(shè)計(jì)虛擬環(huán)境中的指導(dǎo)架構(gòu)，開(kāi)發(fā)基于“導(dǎo)師&助教”機(jī)制的多模式指導(dǎo)方法，使操作者在接受指導(dǎo)時(shí)無(wú)需借助額外的媒介，而可以通過(guò)手勢(shì)、視線自主與“導(dǎo)師”“助教”交互。這種方式增強(qiáng)了虛擬環(huán)境中指導(dǎo)的直觀性，幫助操作者在多種引導(dǎo)下快速熟悉虛擬維修訓(xùn)練場(chǎng)景，掌握裝備維修技能。
2.1基于手勢(shì)識(shí)別的多模塊電子手冊(cè)的“導(dǎo)師”指導(dǎo)
為了使操作者在HMD顯示的三維虛擬環(huán)境中直接進(jìn)行由導(dǎo)師指導(dǎo)的訓(xùn)練，基于層級(jí)劃分與管理技術(shù)，在虛擬環(huán)境中對(duì)電子手冊(cè)進(jìn)行多模塊開(kāi)發(fā)，將其作為虛擬維修訓(xùn)練的指導(dǎo)。這種導(dǎo)師指導(dǎo)式訓(xùn)練，基于認(rèn)知心理學(xué)，以影像資料、演示動(dòng)畫(huà)和圖文說(shuō)明等在虛擬電子屏上向使用者展示相關(guān)信息，可幫助操作者逐步掌握設(shè)備的組織結(jié)構(gòu)、拆裝步驟、工具儀表使用方法、日常維護(hù)保養(yǎng)、典型故障排除和特殊情況處置等，以提高操作者的記憶與認(rèn)知能力，使操作者在虛擬環(huán)境中的維修訓(xùn)練更高效。
為了使操作者可以通過(guò)直觀性交互控制電子手冊(cè)，基于虛擬手手勢(shì)識(shí)別開(kāi)發(fā)了交互式操作面板。當(dāng)手掌面朝向操作者時(shí)，可以在虛擬環(huán)境中調(diào)出該面板，用虛擬手對(duì)面板上的按鈕進(jìn)行操作來(lái)控制電子手冊(cè)屏幕。當(dāng)操作者需要受電子手冊(cè)指導(dǎo)時(shí)，翻轉(zhuǎn)左手至手掌面向自己，便可調(diào)出電子手冊(cè)控制按鈕。按鈕主要分為四大部分：左右兩個(gè)按鈕分別為前進(jìn)和后退按鈕;上方按鈕為場(chǎng)景重置按鈕，當(dāng)裝配過(guò)程中出現(xiàn)問(wèn)題時(shí)，可按下此按鈕返回最初的裝配狀態(tài);下方按鈕的功能，可自行開(kāi)發(fā)。
3虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)與測(cè)試
3.1虛擬維修訓(xùn)練的操作仿真
操作者在真實(shí)環(huán)境中進(jìn)行裝備維修訓(xùn)練，是通過(guò)單雙手或使用工具操作零件。為了將真實(shí)的維修訓(xùn)練過(guò)程在虛擬環(huán)境中得到高沉浸感仿真，以虛擬現(xiàn)實(shí)多傳感器采集的人手位姿數(shù)據(jù)為基礎(chǔ)，將真實(shí)的人體運(yùn)動(dòng)與虛擬環(huán)境中的運(yùn)動(dòng)一一映射，開(kāi)發(fā)虛擬手和虛擬工具，實(shí)現(xiàn)多種直觀性、無(wú)標(biāo)記的交互操作，使操作者能以與真實(shí)環(huán)境中相同的操作方式處理裝備維修訓(xùn)練中的問(wèn)題。
1)虛擬手無(wú)標(biāo)記交互操作。分析裝備維修中人手拾取零件的功能需求，建立適應(yīng)虛擬維修訓(xùn)練的手勢(shì)分類，以多LeapMotion(體感控制器)采集并提取的手掌和手指數(shù)據(jù)為基礎(chǔ)，經(jīng)多LeapMotion數(shù)據(jù)融合算法處理后，建立手型模型，采用計(jì)算2個(gè)凸體之間最短距離的相交測(cè)試方法，以及虛擬手與工具或零件的多點(diǎn)碰撞檢測(cè)方法[26]，在Unity3D環(huán)境中建立虛擬手模型。在整個(gè)裝配過(guò)程中，人的手部運(yùn)動(dòng)可以被系統(tǒng)識(shí)別，使其可以逼真地拾取零件，完成復(fù)雜的拆裝動(dòng)作�；诮佑|碰撞的虛擬手交互操作原理如圖10所示。2)虛擬工具無(wú)標(biāo)記交互操作。在實(shí)際裝備維修中，操作者常使用工具輔助維修，如螺栓、螺釘?shù)鹊牟鹧b須使用扳手。所以，在虛擬環(huán)境中，基于手持控制器開(kāi)發(fā)了多種虛擬工具的無(wú)標(biāo)記輔助維修方式。
Vive操控手柄具有多種輸入方式，如多功能觸摸面板、抓握鍵、雙階段扳機(jī)、系統(tǒng)鍵和菜單鍵等，在Unity3D平臺(tái)中對(duì)其控制按鈕進(jìn)行開(kāi)發(fā)，基于按鈕等定義的動(dòng)作來(lái)完成多種手勢(shì)難以完成的交互操作，如按住抓握鍵可以拾取虛擬手難以拾取的精細(xì)零件。在Unity3D環(huán)境中建立多種工具模型，如不同規(guī)格的扳手，將虛擬環(huán)境中的手持控制器替代成不同的工具，操作者可以根據(jù)零件的特征，選取相應(yīng)的工具拾取零件。
4結(jié)語(yǔ)
虛擬維修訓(xùn)練系統(tǒng)須滿足零件拆裝的定位精度需求、維修訓(xùn)練過(guò)程中的指導(dǎo)功能需求以及人機(jī)交互的直觀性需求，反映貼近實(shí)際的操作過(guò)程，增強(qiáng)虛擬維修訓(xùn)練的沉浸感。本文借助虛擬現(xiàn)實(shí)輔助技術(shù)的自然直觀人機(jī)交互、RoomScale(空間范圍)級(jí)別高精度定位、高穩(wěn)定性虛擬環(huán)境圖像立體顯示等優(yōu)勢(shì)，以零件多數(shù)據(jù)信息為基礎(chǔ)，結(jié)合零件之間的裝配關(guān)系及其對(duì)應(yīng)的裝配操作，研究了裝配約束識(shí)別與建立算法。
通過(guò)該算法可以使系統(tǒng)實(shí)時(shí)感知當(dāng)前的裝配狀態(tài)，自動(dòng)在裝配位置提供正確的裝配約束，提高零件的定位精度，模擬出更真實(shí)的拆裝過(guò)程。建立了基于直觀性交互的“導(dǎo)師&助教”指導(dǎo)架構(gòu)，開(kāi)發(fā)了多模塊電子手冊(cè)和基于視線碰撞信息顯示的多模式指導(dǎo)方法，以Unity3D為開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了多手勢(shì)虛擬手、虛擬工具的無(wú)標(biāo)記交互操作方式，并通過(guò)HMD將虛擬環(huán)境立體可視化，實(shí)現(xiàn)了虛擬維修訓(xùn)練系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。
以某型號(hào)洗衣機(jī)模型為對(duì)象，進(jìn)行了虛擬維修訓(xùn)練系統(tǒng)的測(cè)試。測(cè)試結(jié)果表明，虛擬維修訓(xùn)練系統(tǒng)可以滿足虛擬拆裝中對(duì)零件安裝定位精度和人機(jī)交互操作的需求，模擬出更逼真的拆裝過(guò)程，更加貼近于實(shí)際維修訓(xùn)練。多種直觀性指導(dǎo)方式可以指導(dǎo)操作者更好地完成維修訓(xùn)練任務(wù)，使其能在操作嘗試中不斷豐富維修知識(shí)，鍛煉維修技能。
參考文獻(xiàn)：
[1]徐文勝，武博，蔣堅(jiān)鴻.武器裝備虛擬維修訓(xùn)練系統(tǒng)行為樹(shù)設(shè)計(jì)與實(shí)[J].系統(tǒng)仿真學(xué)報(bào)，2018，30(7)：2722-2728.doi：10.16182/j.issn1004731x.joss.201807036XUWen-sheng，WUBo，JIANGJian-hong.Designandrealizationofbehaviortreeinweaponequipmentvirtualmaintenancetrainingsystem[J].JournalofSystemSimu‐lation，2018，30(7)：2722-2728.
[2]劉相，劉玉慶，朱秀慶，等.基于虛擬現(xiàn)實(shí)的航天員艙內(nèi)導(dǎo)航訓(xùn)練方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，9(1)：101-107.doi：10.3969/j.issn.1003-9775.2017.01.012
作者：姚壽文1，胡子然1，柳博文2，丁佳1，常富祥1，栗麗輝1
轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/26099.html
