MR

hololens開發:混合現實輔助檢修發動機

我司與汽車職業學校合作hololens混合現實開發汽車發動機輔助檢修項目。

概述

环亚集团官网該軟件旨在通過學校自身的師資力量和教學場地及現有教學裝備,構建現代職業教育體系,加快學校發展現代職業教育,培養適合本市經濟發展需要的技術技能人才。通過MR(混合現實)技術為發動機檢修專業提供一個虛擬仿真教學課程研究與開發、教學研究與實驗實踐的平臺。

目標

  • 特色性:根據專業學習對口企業崗位的實際生產需要設計軟件,來進行MR教學。
  • 實用性:通過虛實結合、強化訓練提高教學效率。
  • 創新性:利用最新的MR技術手段,使學生耳目一新,積極主動的掌握知識點和技能。
  • 數據性:利用軟件教學,方便采集教學數據,使教學結果有直觀的體現,為教學分析和研究打下基礎。

方案簡析

  • 使用微軟的MR頭顯HoloLens,將軟件安裝其中后使用。
  • MR教學場景,合并現實和虛擬世界而產生的新的可視化環境,產生的虛擬對象為全息圖像,例如三維模型,窗口、菜單等。
  • 通過頭部凝視虛擬對象和手勢操作,來實現虛擬交互。例如點擊按鈕、拖動物體等。
  • 識別現實世界物體,進行相應功能開發,例如對學生實際操作的智能評分系統。
  • HoloLens直播,將在設備中看到和聽到的虛實結合的場景投放到大屏幕,供所有學生觀看,方便教學。
  • 將HoloLens教學的操作數據和部分視頻通過服務器保存。
  • 后臺管理系統,管理和查看師生和教學數據信息等。
  • 遠程教學和指導,老師可在電腦上指導戴HoloLens的學生操作。

界面截圖:

  • 遠程指導

教師利用虛擬仿真畫面、實時操作視頻進行實時、隨機、示范性動作

HoloLens開發,MR混合現實開發

  • 直播教學

以直播視頻形式實施教學展示

HoloLens開發,MR混合現實開發

  • 混合現實教學

學生可以進行自助式操作,形成虛擬仿真與現實操作高度融合

HoloLens開發,MR混合現實開發

  • 完美疊加的視頻教學畫面

HoloLens開發,MR混合現實開發

實施方案

本方案為制作發動機氣門的檢修教學,以后制作發動機其它部分的檢修可相應地添加到本軟件中。

全息顯示示例

  • UI:用于顯示菜單、按鈕、文本或圖片信息;用于用戶輸入信息。
  • 三維模型和動畫:模型用于展示零件或工具外觀,動畫用于展示零部件拆裝和工作原理。

功能說明

  • 學生需登錄后才可使用本軟件進行教學,登錄方式為在軟件初始界面輸入學號和密碼。
  • 登錄成功后,選擇課次,課次由老師在后臺編輯,由老師告訴學生應選擇哪個課次,系統默認為最新課次。
  • 進入教學后,學生的學號、姓名、課次和教學名稱始終顯示在視野固定位置,比如左上角。本方案中教學名稱只有“發動機氣門的檢修”。
  • 選擇教學模式進行教學,教學模式分為學習模式、練習模式和評分模式。

學習模式:讓學生了解零部件、工具使用和拆裝過程。

練習模式:學生進行實物操作,有全息界面提示,學生可以隨時查看當前該如何操作。

环亚集团官网評分模式:學生進行實物操作,軟件對學生操作進行一定程度的識別進行智能評分。

  • 直播HoloLens教學

老師可以通過電腦登錄HoloLens管理平臺(一個局域網的ip),直播HoloLens中的內容,其他學生可以在與電腦連接的顯示設備上觀看頭戴HoloLens使用者的體驗全過程。老師對一個學生指導,其他學生全部可以受益,提高教學效率。除了評分模式和遠程指導的教學,都可以進行直播。

  • 遠程指導教學

环亚集团官网通過使用HoloLens上的skype軟件,可以讓老師在電腦上一對多遠程指導,在skype軟件上可以視頻、語音、甚至作圖指導。老師在電腦上作的圖,會在戴HoloLens的學生眼前轉化為全息圖像。

  • 教學數據采集和保存

數據分為文本數據和視頻數據,兩者互為補充。

环亚集团官网文本數據:記錄軟件操作日志。比如登錄情況、選擇的教學模式、教學模式使用情況等。

視頻數據:直播HoloLens和遠程指導的教學在電腦上可以看到視頻,用錄像軟件錄屏。評分模式如果需要錄制視頻,可以在HoloLens管理平臺錄制,但是每段錄像只能錄5分鐘,所以用文本數據記錄此教學過程。

环亚集团官网文本數據,系統會自動記錄并提交給服務器保存。

环亚集团官网視頻數據需要老師手動錄制,將錄制的視頻文件通過后臺管理界面上傳到服務器保存。

  • 后臺管理系統

环亚集团官网師生數據和教學數據的管理平臺。

教學模式內容

  • 學習模式

环亚集团官网零部件和專用工具通過靜態模型和UI展示,模型可以移動、旋轉和縮放。

拆裝過程通過三維動畫和UI展示。

环亚集团官网以下是展示內容

1.零部件:

  • 進排氣凸輪軸

進排氣凸輪軸

  • 氣門挺柱

氣門挺柱

  • 進排氣門

進排氣門

2.專用工具:

1)

2)

3)

3.拆裝過程:

  • 凸輪軸的拆卸

凸輪軸的拆卸

  • 氣門挺柱的拆卸

氣門挺柱的拆卸

  • 氣門的拆卸
  • 凸輪軸安裝

凸輪軸安裝

  • 氣門挺柱的安裝

氣門挺柱的安裝

  • 氣門的安裝

氣門的安裝

  • 練習模式

全息界面提示操作流程,輔助學生實際操作。

練習前進行拆裝分步選擇,與學習模式的拆裝過程類似,分成6步。選擇后,全息界面提示當前拆裝的步驟提示。

例如進行“凸輪軸的拆卸”,界面上提示<拆下4個凸輪軸軸承蓋螺栓。注意: 用一把塑料錘輕輕敲打以松開軸承架。>,可以點擊上一步下一步按鈕查看提示,點擊下一步之后,提示<拆下第一凸輪軸軸承蓋>,點擊上一步,又回到之前的提示,以此類推。

另外還可隨時點擊動畫按鈕,查看動畫演示。

  • 評分模式

老師在教學前,先在后臺管理系統設置這次教學的內容(具體設置見后臺管理系統介紹)。

學生進入評分模式后,系統會提示需要評分檢測的內容,是否檢測到內容會有標記提示。檢測內容分為步驟檢測和零件檢測。另外,有“維修記錄單”和“提交”按鈕。“維修記錄單”點擊后出現記錄單通過手勢點擊完成填寫;“提交”點擊后顯示此次教學的評分。

1.步驟檢測,系統會用實物識別檢測是否完成此步驟,識別順序按照步驟順序(以下圖片為檢測實物)。

1)進、排氣凸輪軸拆卸

环亚集团官网2)全部氣門挺柱的拆卸

环亚集团官网3)對指定的一個汽缸的兩組進、排氣門進行拆卸

4)對指定的一個汽缸的兩組進、排氣門進行組裝

环亚集团官网5)全部氣門挺柱的組裝

6)進、排氣凸輪軸組裝

环亚集团官网2.零件檢測,系統會用實物識別一些拆卸過程中的關鍵零件,以輔助評分。

  • 進排氣凸輪軸
  • 氣門挺柱
  • 進排氣門

3.維修記錄單

  • 主要內容按照下圖表格

維修記錄單

  • 填寫表格方式

合格/不合格:點擊選擇

环亚集团官网處理部分:點擊選擇,選擇項有“正常”和其他后臺設置好的選項

數字部分:點擊填寫處,虛擬鍵盤填寫。

  • 檢測答案方式

根據后臺設置好的正確答案核對。

4.提交

环亚集团官网系統將此次評分數據(包括步驟檢測、零件檢測、維修記錄單)上傳到后臺保存,并顯示最終評分。

評分初步設定:

項目 小項 評分
步驟檢測 進、排氣凸輪軸拆卸 8
全部氣門挺柱的拆卸 3
對指定的一個汽缸的兩組進、排氣門進行拆卸 14
對指定的一個汽缸的兩組進、排氣門進行組裝 14
全部氣門挺柱的組裝 3
進、排氣凸輪軸組裝 8
零件檢測 進排氣凸輪軸 4
氣門挺柱 3
進排氣門 4
維修記錄單 進排氣門外觀檢查 4
進排氣門長度測量 6
進排氣門頭部直徑測量 6
進排氣門錐面接觸面寬度測量 6
汽缸蓋上進排氣門座接觸面寬度測量 6
進排氣門對氣門座同心度檢查 5
氣門與氣門座接觸面的位置檢查 6
總計 100

后臺管理系統

  • 登錄身份

登錄身份分為管理員、老師、學生。

管理員:最高權限,可以查看和操作所有數據

老師:可以編輯和查看自己的數據以及查看所教學生的數據

學生:可以查看自己的數據

  • 后臺內容

1.管理員

  • 編輯和查看老師信息數據

賬號/工號

环亚集团官网初始密碼固定123456

姓名

所教班級

  • 編輯和查看學生信息數據

賬號/學號

初始密碼固定111111

姓名

班級

  • 編輯和查看班級信息數據

班級編號

班級名稱

  • 編輯和查看教學內容信息數據

教學編號

教學名稱

  • 編輯和查看教學數據

可根據班級、教學名稱和教學老師篩選

課次:系統根據老師編輯課次內容自動生成

時間:上課的時間

班級

教學老師

學生操作記錄:登錄、選擇的教學模式、評分模式數據(包含各項評分和總分)、老師評語

教學視頻:老師上傳的此課次的視頻

2.老師

  • 修改自己的密碼
  • 新建或修改課次內容

环亚集团官网時間:上課的時間

教學名稱

环亚集团官网班級:使用此課次的班級

評分模式內容:選擇一個已經設置好的內容,供評分模式教學使用。

  • 新建或修改評分模式內容

教學名稱

評分模式數據:以“發動機氣門的檢修”為例,需設置“維修記錄單”中各個數據的標準答案。

  • 上傳教學視頻文件

選擇課次后上傳

  • 查看教學數據

环亚集团官网只可以查看自己的教學數據,數據內容同第1點管理員的第5小點。

可以給學生操作記錄添加或修改評語。

3.學生

1)修改自己的密碼

2)按照課次查看評分模式數據及老師評語

技術/項目方法

    • 建模、三維動畫:3D Max
    • UI設計:Photoshop、Flash等
    • 前端程序:Unity3D
    • 后臺程序:PHP+MySQL
    • 錄屏工具:Apowersoft錄屏王或其它同類軟件
    • 實物識別:Vuforia AR SDK