Meta 推出《頭號玩家》中觸覺手套原型，伸向元宇宙的“觸手”出現了

從收購Oculus VR至今，Facebook已經走過7年。這一路走來，公司將VR“遊戲世界”擴容為“虛擬世界”，用“元宇宙”的名號叫出響來，並將Meta扶持為公司大icon，力證7年之路，若非暗癢，則為裂動。觸覺手套落眼於2030年，旨在解決元宇宙的核心挑戰之一：我們將如何接觸虛擬世界？作者 | 吳彤編輯 | 青暮
在Meta之前，許多玩家都想做出真正通往虛擬世界的“觸手”，它不僅是VR眼鏡，還有更加真實感的、超越視覺與聽覺的新方式：觸覺反饋手套！
從今年3月開始，Meta(原名Facebook)的現實實驗室 (RL) 就開始了觸覺感知手套的新項目，直到昨天，Meta正式推出觸覺感知手套，並分享了關於軟體機器人、微流控處理器、手部跟蹤、觸覺渲染和感知科學方面的工作進展。
這款吊足了8個月胃口的觸覺手套到底什麼樣？是否如他們所説，“這將是2030年的人與世界無接觸式交互的未來技術”？

Meta表示，目前這款手套可以在虛擬世界中再現現實生活中的一系列觸覺感覺，包括模擬人手撫摸材質紋理的感覺、壓力反饋以及振動反饋。

在展示圖中，可以看到這個手套設置了4道氣囊墊，每道約有15個，沿手指呈脊狀分佈。背部有白色的傳感器，可追蹤手指在空間中的移動情況。並且手套內外兩側也設置了多根傳感器，可動態捕捉佩戴者的手指彎曲狀態。


當戴上手套進入VR或AR體驗時，一個複雜的控制系統會調整氣囊的充氣水平，在手上的不同部位產生不同的壓力。比如，如果你用指尖觸摸一個虛擬物體，會感到物體壓迫手部皮膚，而如果你握着一個虛擬物體，手指的驅動器就會變硬，產生一種阻力感。這些感覺與視覺和聽覺感知共同作用，從而產生身體與虛擬物體接觸的“錯覺”。
究其根本，這項技術到底新奇在何處？作為元宇宙的“頭號玩家”，Meta的技術與其他玩家有何不同？



[b]1

用觸覺手套“觸摸”數字世界

如何增強人與虛擬世界的聯繫？

Reality Labs 的負責人Sean Keller 説，他們一直在推進關於AR/VR 交互和感知輸入輸出的研究，為下一個計算時代構建傳播界面：即推動跨觸覺、肌電圖輸入、軟機器人、設計、感知科學、應用機器學習等領域的研究。

自2014年收購Oculus VR公司以來，7年時間裏，Meta的現實實驗室(Reality Labs)一直在開發虛擬遊戲環境，同時也在開發更加適配遊戲環境的可穿戴設備。

最初是在Quest 上建立手部追蹤，從而操縱虛擬物體，但在實際體驗中並沒有建立手部感覺。

在 2015 年，實驗室又開發了第一個觸覺原型：一根帶有執行器的手指，但劣勢明顯，缺少整體的手部感知。
在今年3月，實驗室又推出手腕腕帶，通過手部肌電(electromyography, EMG)傳感器平移電機神經信號，將手腕到手的動作指令轉化為數字指令，從而動態化地適應虛擬環境。這項技術大大推進了感知輸入的研究進程，但在感知交互上，腕部感知也對更加系統的“抓”、“握”等力度感知繞道而走。


而且，從眾多進場的玩家來看，模擬觸摸並非新研究，比如將 VR 與控制器振動結合起來，也能讓人們感覺像在觸摸物體。許多公司都在研究可穿戴設備，既可以跟蹤用户手部動作，也可以提供觸覺，比如温度感知。但這並不是Meta現實實驗室的首要目標。

隨着眾玩家的介入，非核心技術一定會在第一時間讓短視玩家的技術壁壘蕩然無存。能復刻現實世界的觸覺感知才能掘出一條技術護城河。
目前觸覺手套解決的就是全方位觸覺感知的問題。

最開始，為了提供逼真的觸感，觸覺手套需要在整個手上安裝數百個執行器（微型電機），以使佩戴者的手部運動與觸摸虛擬物體時協同。但是過多的的機械執行器會產生過多的熱量，既不舒適又太大、太硬、太貴太耗電。

是否可以用柔軟、柔韌的驅動器代替機械驅動器？如果驅動器可以根據佩戴者的動作改變形狀，就可以假設執行器根本不存在，與手部融為一體。

新技術就採用了更加新穎的軟體機器人，用微型氣囊取代了笨重的機電組件。這種柔軟、輕便的觸覺手套，最明顯的優勢是解決了外部器件過於異化的問題，同時還明顯提高了 AR/VR 中雙向交互問題：幫助計算機準確理解和反映佩戴者的手部動作，併為佩戴者再現一系列複雜、細微的感覺，例如壓力、紋理和振動來創造用手感受虛擬物體的效果。

為了控制這些新的軟執行器，他們正在構建世界上第一個高速微流體處理器：手套上的微型微流體芯片，通過告訴閥門何時開關，從而控制執行器的氣流。


現實實驗室的Andrew Stanley説到：“我們和其他微流體研究的不同之處在於，我們強調一切都非常輕巧、可穿戴和響應快速，在手上創造可信的觸覺，讓虛擬世界變得「有形」。”



[b]2

觸覺渲染：做出對虛擬環境的準確反應

即使有一種控制氣流的方法，系統也需要知道何時何地提供正確的感覺。這需要先進的手部跟蹤技術，使計算機能夠準確地知道手部在虛擬場景中的位置，人是否與虛擬對象接觸，以及手如何與對象交互。

因此，還需要一款為 AR/VR 界面構建觸覺渲染的軟件，可以根據手的位置和對虛擬環境的理解，幾乎實時地向手套上的執行器發送指令，包括紋理、重量和剛度等。


RL 軟件工程師 Forrest Smith 説，“人們通常將‘渲染’視為視覺效果，我們還使用‘渲染’來表示觸覺：首先獲取人與虛擬世界的交互狀態，並將其渲染到執行器，從而獲得相應的感覺。然後為了渲染與對象的實時交互，還需要模擬相應的物理狀態。”

強化學習研究工程師Justin Clark 指出：一個物理引擎（用於視頻遊戲中模擬對象的交互軟件）決定了手與虛擬環境交互的方向，幅度，力度。然後，觸覺渲染算法將此信息與觸覺設備的特性（例如其各個執行器的位置和屬性）相結合，以便向設備發送正確的指令。

軟件工程師 Andrew Doxon 補充道：“其中一個挑戰是構建適用於不同類型執行器並支持各種觸覺體驗的軟件。最終，我們還需要構建工具，讓人們能夠像創建視覺或音頻內容一樣創建觸覺內容。”


[b]3

將聽覺、視覺和觸覺感知結合起來

隨着工作的進行，第三個挑戰出現了：為了使紋理和感覺發揮作用，他們必須以模仿現實的方式模擬觸摸物理，但不能完全重新創建現實世界的物理學。

因此，他們想到多感官整合：研究人類感官如何協同工作，從而建立我們對世界的整體理解。

UX 研究科學經理 Sophie Kim 曾説到，“我們的大腦非常擅長接收一點觸覺信號、一點視覺信號、一點聽覺信號，然後將它們融合在一起，形成全方位的感覺，並使你的大腦確信有一個物體在你手上。”

RL 感知研究科學家 Jess Hartcher-O'Brien説到：如果我拿起一個物體，我已經對它的材料類型以及重量有了一些假設，然後我抓拿起它，觸覺系統會驗證這是什麼材料，大腦會識別摩擦力和慣性；視覺系統會根據我手臂移動的方式，計算出這個物體的密度或重量。最終這些線索會綜合起來，形成關於這個物體的本體感覺。
這種思路套用在觸覺手套上，就是讓佩戴者的感知系統相信它正在感受物體的重量，通過用致動器輕輕拉動佩戴者手指的皮膚來模擬握持物體上的重力、拉力。但這一切都必須計算準確。



[b]4

更舒適的材質

隨着程序的成熟，手套舒適度就要提上日程。如何將傳感器和機器人執行器集成到手套本身材料中，其實是個非常大的挑戰。

比如，一副僵硬、沉重或其他不舒服的手套，或者一個很容易脱落的手套，會立即把佩戴者打出沉浸式體驗。因此，手套需要重量輕、柔軟且高度耐用。

RL 研究過程工程師 Katherine Healy 説，“矛盾是我們必須將所有的技術製成縮小版，這樣才能在有限的手套上安裝更多的東西，還要兼具美觀和舒適。”

這項工作涉及到材料科學的工作。材料小組一開始想到發明一種新型便宜的聚合物，既可以像塑料和硅膠那樣舒適又可拉伸，又可以在分子水平上定製以產生新功能。這需要全新的製造技術來將這些新材料變成非常細的纖維，然後縫製成手套。
“但僅導電的紗線並不能滿足人們在 VR 中進行交互所需的所有功能，這就是為什麼我們探索如何在同一纖維或織物中構建多種功能——包括導電、電容和傳感功能，並製出更纖薄、更耐磨的手套外形，”RL 研究科學經理 Kristy Jost 補充道。

製造纖薄、輕便的觸覺手套是一項挑戰，定製這些手套以適應數十億人又是另一個挑戰。這就是為什麼材料小組在探索製造技術，同時又保證每隻手套可定製，以獲得最大的觸覺精度和舒適度。這樣做意味着開發設計和製造微型執行器的新方法，並創建新的編織和刺繡工藝以將它們精確地嵌入手套中。

“目前，手套可以由熟練的工程師和技術人員單獨製造，由他們製造子系統作為手套組裝配件，”Healy 説，“這個過程要儘可能使用半自動化工藝，因此還要發明新的製造工藝。”



[b]5

 創造未來：Meta才剛剛開始

“我相信，在即將到來的 AR/VR 和元宇宙人機交互革命中，觸覺將是至關重要的，”RL 研究科學經理 Nicholas Colonnese 説。
“當我們開始觸覺手套項目時，我們問自己是否可以構建一種可大規模生產、價格合理的消費設備，讓人們可以在任何地方體驗任何有形的界面，”Healy 説，“我們無法發明新材料、新傳感器和執行器、新的集成方法和系統、新的渲染算法、新的物理引擎，但我們已經開闢了一條可行的道路，可以讓我們到達那裏。”

目前，這項觸覺手套還未走出實驗室，團隊還想要弄清楚VR 觸控的真實程度如何。創造下一個人機交互時代的中心 ，觸覺研究，才剛剛開始。

參考鏈接：

https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype?scrolla=5eb6d68b7fedc32c19ef33b4

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/


雷鋒網雷鋒網(公眾號：雷鋒網)

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。



資料來源：雷鋒網
作者/編輯：我在思考中