MindLeap：第一款靠意念控制的虛擬現實遊戲系統原型

近日在舊金山舉行的遊戲開發者大會（GDC）上，瑞士的神經技術初創企業MindMaze發佈了全球第一款靠意念控制的虛擬現實遊戲系統原型MindLeap，同時宣佈獲得了850萬美元的天使投資。
從醫療到遊戲

MindMaze成立於2012年，總部位於瑞士洛桑、其研究領域主要是神經科學、虛擬現實和增強現實，此前主要應用於醫療，用來幫助中風、截肢及脊髓損傷患者康復。創始人兼CEO是Tej Tadi博士。創辦公司前他曾在瑞士聯邦理工學院從事過10年的虛擬現實研究。

我們知道，人的動作是由大腦控制的，比方説移動手臂這個動作的執行過程首先是大腦想要手臂移動，這個決定由神經網絡經過數毫秒之後傳遞給相關肌肉才執行動作。MindMaze則是通過跟蹤大腦和肌肉的活動來偵聽相關的神經信號。


MindMaze的應用一開始並不是遊戲，而是醫療。比方説，截肢病人有時候會出現幻覺痛，即感到被切斷的肢體仍在，且在該處發生疼痛。Tadi介紹了一個例子，某位左臂被截肢的女患者就出現了幻肢痛。MindMaze利用技術跟蹤患者正常的右臂的活動和神經信號，然後在屏幕上呈現出其左臂在作相應動作的圖像，如此來“欺騙”她的大腦認為自己左臂也能動，從而緩解幻肢痛。這裏的關鍵是屏幕的動作展示必須是實時的—時延不能超過20毫秒（觸覺傳遞到大腦需要20毫秒，視覺則需要70毫秒，這些似乎是能夠區分出相關信號的關鍵）。正是無時延方面的努力讓MindMaze想到可以把它用在遊戲上，開發出了MindLeap這套遊戲裝置的原型。

這套裝置由動作捕捉系統、腦電波讀取系統以及集成平台組成。其HMD（頭戴式顯示器）外觀上跟Oculus Rift DK2、Razer OSVR有些類似。比較奇特的是它的頭箍，像一張網，其實那是用來採集腦電波信號的裝置，不過未來MindMaze計劃改進成跟目前的HMD的頭帶類似的東西。無線3D攝像頭運動捕捉系統類似於Kinect，可進行3D的全身運動跟蹤，但是需要進行一些調整以適應醫療用途。目前這套原型可提供720p的顯示以及 60°的視野範圍，未來計劃升級為1080p及120°的視角。


VR與AR結合

HMD和動作捕捉系統的結合跟我們不久前介紹的伊利諾伊大學香檳分校團隊的工作類似，可以帶來虛擬現實（VR）與增強現實（AR）的雙重體驗。但是MindLeap還融入了腦電波讀取的技術，Tadj稱，這是全球首次將神經科學、虛擬現實、增強現實及3D全身動作捕捉融於一體，將帶給玩家無時延的遊戲體驗。

佩戴上MindLeap之後，頭向右轉即開始AR模式，此時頭部的攝像頭開始跟蹤在面前晃動的手指動作。屏幕上則呈現出用户手部的動作以及周圍的環境，不僅如此還會在手指上渲染火焰（增強現實）。而且頭箍會跟蹤用户的精神狀態，如果是放鬆的，火焰是藍色的，而如果用户緊張，火焰聚會變成紅色。

如果用户將頭向左轉則激活VR模式，此時用户的手還在平面上現實，但是周圍的環境則變成了未來主義的空間。用户可以在虛擬世界中觸摸、感知、表現、移動，彷彿置身於現實世界。

腦力競賽


不過最有趣的是MindMaze展示的僅靠意念控制的對抗遊戲。遊戲裏面屏幕兩頭各有一個會伸縮的魔法球，中間則是一個小球。魔法球靠對戰雙方的意念控制，雙方均佩戴植入前額傳感器的頭帶，遊戲目標是利用能量爆發將屏幕中央的球膨脹推開對方的球。球膨脹得越大代表腦力越強。不過，不習慣的玩家一開始必須靠緩慢的深呼吸來放鬆精神。原型演示中仍有一些時延，而且還需要校準。不過看起來整個遊戲呈現的效果的確不錯。

根據MindMaze科學顧問Olaf Blanke的説法，MindLeap利用醫療級技術創建了一個直觀的人機接口，通過識別關鍵的神經特徵實現無與倫比的響應性，將會開啟一個神經康復與遊戲的全新時代。

在VR最近風生水起的大環境下，MindLeap的未來看起來不錯。但是要想實現消費化還有大量的工作要做。僅靠精神的放鬆和緊張來控制遊戲檔案還是不夠，不過如果MindMaze掌握了精確的神經信號識別技術，辨別面部表情、情感等高級用法也不是天方夜譚。公司的目標是實現技術的開源化、無線化以及跨平台。系統將支持Xbox、PlayStation、iOS及Android等多個平台，在獲得850萬美元天使融資後，公司計劃將在未來數月開放MindLeap引擎SDK給遊戲開發者，MindLeap裝置則會在今年晚些時候面世。到時候我們再來看看，他們又能取得哪些突破吧，不過下面The Verge的這段體驗視頻我們可以先睹為快：

[36氪原創文章，作者: boxi]


資料來源：36Kr