威米開發了結合視覺伺服模組的多模態EEG基礎混合BCI系統
北京, 2023年10月16日 — WiMi Hologram Cloud Inc.(納斯達克:WIMI)(「WiMi」或「公司」),一家領先的全球式三維立體投影增強實境(「AR」)技術提供商,今天宣佈其開發了一個結合視覺誘發電位信號(SSVEP)和運動影像信號的多模式腦電圖(EEG)混合式腦機接口系統,並加入視覺伺服模組以提高機器人執行抓取任務的表現。通過結合不同類型的EEG信號,用戶可以更自由和直覺地控制機器人執行更多樣化的動作,從而提供更滿意的服務體驗。
該多模式EEG混合式腦機接口系統與視覺伺服模組的主要方法包括信號採集、信號處理、控制命令生成和視覺伺服模組的設計。
1. 信號採集:系統首先需要採集用戶的EEG信號和視覺回饋信號。為實現多模式控制,系統採集SSVEP和運動影像信號。
SSVEP信號採集:通過在用戶頭皮上放置EEG電極,系統可以採集用戶的SSVEP信號。SSVEP是一種閃爍視覺誘發電位,當用戶的視覺注意力集中在特定頻率的閃爍刺激上時,大腦就會產生特定頻率的電信號。為實現多模式控制,系統在視覺界面上提供三種不同頻率的閃爍刺激,每個刺激對應一個機器人的控制命令,如前進、左轉和右轉。
運動影像信號採集:除SSVEP信號外,系統還需要採集用戶的運動影像信號。這通過在特定區域上採集用戶的運動影像信號來實現。當用戶想像抓取動作時,會捕獲相關的運動影像信號,用於控制機器人執行抓取動作。
信號處理:在信號採集後,獲得的原始EEG信號需要進行處理和分析,以提取有用信息,進行特徵提取和分類以識別用戶的意圖。
SSVEP信號處理:對於SSVEP信號,系統首先需要過濾和預處理原始信號以消除噪音和干擾。然後通過提取頻譜特徵,識別用戶當前視覺注意力集中的頻率,以確定用戶是否意圖前進、左轉或右轉。
運動影像信號處理:對於運動影像信號,系統需要預處理原始信號以消除噪音和干擾。然後通過特徵提取和分類技術識別用戶想像的動作,如抓取動作。
在WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組中,整個系統核心部分是控制命令生成。控制命令生成涉及解析識別的EEG信號並將其映射到對應的機器人動作。
3. 控制命令生成:在識別用戶意圖後,系統根據獲得的結果生成對應的控制命令,以控制機器人的動作。
SSVEP控制命令生成:對於SSVEP信號,系統使用頻譜分析處理信號。頻譜分析提取用戶當前視覺注意力集中的頻率。視覺界面提供的不同閃爍刺激對應機器人不同動作,如前進、左轉和右轉。通過識別用戶視覺注意力所在的頻率,系統能確定用戶意圖並相應生成控制命令。
運動影像控制命令生成:對於運動影像信號,系統利用特徵提取和分類技術識別用戶想像的動作。當用戶想像抓取動作時,會捕獲特定的運動影像信號。系統通過訓練機器學習算法識別這些特徵,並根據識別結果生成對應的控制命令指示機器人執行抓取動作。
4. 視覺伺服模組設計:視覺伺服模組的設計目的是提高機器人執行抓取任務的性能和準確性。該模組可以實時調整機器人的抓取姿態和力度,使抓取動作更準確可靠。視覺伺服模組通過機器人執行抓取任務的相機捕獲實時視覺回饋,並將其與用戶的運動影像信號結合進行動態調整。
視覺回饋採集:相機捕獲機器人執行抓取任務的實時視覺回饋。這可能包括機器人端執行器(如機械手)的位置、姿態、目標物體的位置和形狀等。
特徵提取:從視覺回饋中提取有用特徵。這些特徵可能包括目標物體的邊緣、顏色和形狀信息,以及機器人端執行器的位置和姿態信息。
控制命令調整:將從視覺回饋提取的特徵與用戶的運動影像信號結合,進行動態調整。例如,如果用戶想像抓取更遠的物體,系統可以相應調整機器人的抓取姿態和力度,使機器人更好完成抓取任務。
回饋控制:視覺伺服模組實時監控機器人執行抓取任務的進程,根據實際執行提供回饋控制。如果抓取過程中出現任何錯誤或不穩定情況,系統可以及時進行調整,使機器人能更準確完成抓取動作。
通過視覺伺服模組,WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組可以更靈活地適應不同的抓取場景和用戶意圖,提供更高品質的服務體驗。該模組提升了機器人執行抓取任務的自主性和適應能力,使系統能實現更複雜和自然的多模式控制。
傳統腦機接口系統通常只提供有限的控制命令,限制了用戶與機器人的互動方式。WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組通過結合不同類型的EEG信號,使控制命令更加豐富多樣,允許用戶視覺化不同動作或集中在不同頻率的刺激上實現更複雜的機器人控制,從而提供更靈活和自然的互動體驗。用戶可以視覺化不同動作或集中在不同頻率的刺激上實現更複雜的機器人控制,從而提供更靈活和自然的互動體驗。
WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組通過結合多種EEG信號,系統能更準確地識別用戶意圖。例如,SSVEP信號和運動影像信號的結合可以提高控制精度,而視覺伺服模組的引入可以實時調整機器人執行動作,提高控制命令的可靠性和精度,使機器人更好地響應用戶的命令。該系統不僅限於機器人控制,還可以應用於其他領域,如虛擬實境、康復治療和輔助設備控制。該技術的擴展提供了腦機接口技術應用範圍的新可能性,促進了人機互動領域的發展。
WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組涉及多種技術的結合和應用,如EEG信號處理、特徵提取、機器學習算法和視覺伺服技術。解決這些技術的協調整合問題,促進了腦機接口技術的進一步發展,為更高層次的腦機接口應用奠定了基礎。WiMi的多模式EEG混合式腦機接口系統與視覺伺服模組提供了更豐富多樣的控制命令,提高了系統的自主性和適應能力。