指尖上的 VR！新型手環精準識別手指動作，隔空也能打字彈琴
當地時間 2021 年 3 月 27 日-4 月 2 日，一年一度的 IEEE VR 會議將於線上舉行。
作為展示虛擬、增強和混合現實（VR/AR/XR）領域最新研究成果的重要國際性會議， IEEE VR 2021 自然也將湧現出不少創意。
比如瑞士蘇黎世聯邦理工學院計算機科學系就研製出了一種手環。
戴上這種手環，我們就可以懸空彈鋼琴。
左右手比劃一下，圖片的位置和尺寸即可得到調整。
“虛擬鍵盤”也出現了。
相關研究成果已於預印本的形式公開，將在 IEEE VR 2021 上發表，題為 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬現實中使用可穿戴傳感的快速觸摸交互）。
快速觸摸交互內置 2 個慣性傳感器
眾所周知，隨着硬件和算力的提升，VR 產生了更為逼真、有吸引力的場景。
VR 正變得越來越流行，傳統產品是通過控制器或攝像頭跟蹤四肢進行互動。然而在研究團隊看來，空中交互是阻礙 VR 場景生產力的關鍵因素，因為 VR 場景需要長時間的持續交互，而傳統方式則無法滿足這一要求。
實際上，VR 系統中觸控交互的一個核心挑戰就在於對觸控事件的精確檢測。
頭戴式系統可以對手進行跟蹤，這種單一的優勢會導致深度感知的不準確性，從而使得觸摸/非觸摸識別和接觸定位具有挑戰性。
此前研究人員們已經提出了多種方法，通過集成可靠的觸摸檢測和抑制濾波器，嘗試用深度攝像機進行精確檢測。當然，不論是濾波器還是相機幀率，都會限制系統實現精確檢測的交互速度。
於是，為了更好地滿足交互需求、保證用户可以得到片刻的休息，研究團隊設計了一種快速觸摸交互，即一種名叫 TapID 的手環——其實，最新的 MR 系統已經結合了用於輸入檢測的手勢識別，AR 設備（如微軟 Hololens 2）和 VR 設備（Oculus Quest 2）亦然。
據瞭解，每隻 TapID 都外表小巧，兩側嵌有 2 個慣性傳感器。
論文將 TapID 手環稱為是“基於手腕的慣性傳感系統”。通過慣性傳感器，TapID 提供了粒度和對細微運動的檢測。它不僅可以檢測到某個表面（比如桌面）上的觸摸事件，還可以額外識別手指，二者結合即在 VR 中觸發輸入事件。因此，平板和手機上的應用程序、交互模式可以無縫、可靠地轉移到 VR 場景。也就是説，用户使用 VR 設備就像是在常見的生產力工具手機和平板電腦上操作一樣。
用户使用 TapID 時需每個手腕各戴一個，這樣 TapID 就能檢測到用户的手指輕叩動作。其背後原理在於一種機器學習算法，該算法可以分析人體骨骼系統的獨特振動——這在 VR 環境中頗為有效。
具體來講，通過檢測手勢可以確定出是哪隻手指在敲擊“鍵盤”，並不需要精確的位置信息。用户可以像在現實世界中一樣在鍵盤上打字，或在表面上與虛擬對象交互。
TapID 實現精確檢測
為檢測 TapID 性能，研究團隊設計了一系列測試。
團隊招募了 18 名參與者（其中 14 名男性、4 名女性；年齡跨度在 19-57 歲，平均 28.4 歲），平均手腕周長為 168 mm（最小 146mm，最大 185mm）。
在每輪測試中，參與者戴上 TaplD，按照指示重複用每根手指展示敲擊的動作（敲 30 下），在短暫休息後，繼續這樣重複兩回。每個參與者都在 20 分鐘內完成了測試。
團隊測得：
論文顯示，TapID 的檢測準確度明顯超過了不少頭顯傳感器和攝像頭系統等。
最後，研究團隊總結了 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。
講到懸空打字，也許有人會覺得不靠譜，正如開源社區 Hackaday 所説：
不過 Hackaday 也表示，設計一個能夠準確判斷用户手指姿態、實現實時互動的設備，為 VR 領域的應用提供了新思路。也就是説，不論研究團隊演示的懸空打字例子是否具有現實可行性，這項技術確實有效。
或許，未來我們可以順着這種研究思路，提升與智能手錶的互動方式。
引用來源：
https://siplab.org/papers/vr2021-TapID.pdf
https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/
https://techxplore.com/news/2021-03-virtual-reality-fingertips.html
雷鋒網雷鋒網雷鋒網(公眾號：雷鋒網)
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
作者/編輯：付靜
作為展示虛擬、增強和混合現實（VR/AR/XR）領域最新研究成果的重要國際性會議， IEEE VR 2021 自然也將湧現出不少創意。
比如瑞士蘇黎世聯邦理工學院計算機科學系就研製出了一種手環。
戴上這種手環，我們就可以懸空彈鋼琴。
左右手比劃一下，圖片的位置和尺寸即可得到調整。
“虛擬鍵盤”也出現了。
相關研究成果已於預印本的形式公開，將在 IEEE VR 2021 上發表，題為 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬現實中使用可穿戴傳感的快速觸摸交互）。
快速觸摸交互內置 2 個慣性傳感器
眾所周知，隨着硬件和算力的提升，VR 產生了更為逼真、有吸引力的場景。
VR 正變得越來越流行，傳統產品是通過控制器或攝像頭跟蹤四肢進行互動。然而在研究團隊看來，空中交互是阻礙 VR 場景生產力的關鍵因素，因為 VR 場景需要長時間的持續交互，而傳統方式則無法滿足這一要求。
實際上，VR 系統中觸控交互的一個核心挑戰就在於對觸控事件的精確檢測。
頭戴式系統可以對手進行跟蹤，這種單一的優勢會導致深度感知的不準確性，從而使得觸摸/非觸摸識別和接觸定位具有挑戰性。
此前研究人員們已經提出了多種方法，通過集成可靠的觸摸檢測和抑制濾波器，嘗試用深度攝像機進行精確檢測。當然，不論是濾波器還是相機幀率，都會限制系統實現精確檢測的交互速度。
於是，為了更好地滿足交互需求、保證用户可以得到片刻的休息，研究團隊設計了一種快速觸摸交互，即一種名叫 TapID 的手環——其實，最新的 MR 系統已經結合了用於輸入檢測的手勢識別，AR 設備（如微軟 Hololens 2）和 VR 設備（Oculus Quest 2）亦然。
據瞭解，每隻 TapID 都外表小巧，兩側嵌有 2 個慣性傳感器。
論文將 TapID 手環稱為是“基於手腕的慣性傳感系統”。通過慣性傳感器，TapID 提供了粒度和對細微運動的檢測。它不僅可以檢測到某個表面（比如桌面）上的觸摸事件，還可以額外識別手指，二者結合即在 VR 中觸發輸入事件。因此，平板和手機上的應用程序、交互模式可以無縫、可靠地轉移到 VR 場景。也就是説，用户使用 VR 設備就像是在常見的生產力工具手機和平板電腦上操作一樣。
用户使用 TapID 時需每個手腕各戴一個，這樣 TapID 就能檢測到用户的手指輕叩動作。其背後原理在於一種機器學習算法，該算法可以分析人體骨骼系統的獨特振動——這在 VR 環境中頗為有效。
具體來講，通過檢測手勢可以確定出是哪隻手指在敲擊“鍵盤”，並不需要精確的位置信息。用户可以像在現實世界中一樣在鍵盤上打字，或在表面上與虛擬對象交互。
TapID 實現精確檢測
為檢測 TapID 性能，研究團隊設計了一系列測試。
團隊招募了 18 名參與者（其中 14 名男性、4 名女性；年齡跨度在 19-57 歲，平均 28.4 歲），平均手腕周長為 168 mm（最小 146mm，最大 185mm）。
在每輪測試中，參與者戴上 TaplD，按照指示重複用每根手指展示敲擊的動作（敲 30 下），在短暫休息後，繼續這樣重複兩回。每個參與者都在 20 分鐘內完成了測試。
團隊測得：
- TapID 的事件檢測精度 F1 = 0.997；
- 手指識別精度（單個用户 F1 = 0.93；多用户改進後 F1 = 0.91；多用户改進前 F1 = 0.87）。
論文顯示，TapID 的檢測準確度明顯超過了不少頭顯傳感器和攝像頭系統等。
最後，研究團隊總結了 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。
講到懸空打字，也許有人會覺得不靠譜，正如開源社區 Hackaday 所説：
引用在一個虛擬環境中用虛擬鍵盤打字，我們並不敢保證效果如何，畢竟真正的鍵盤更容易觸摸到，當然可能也更便宜。
不過 Hackaday 也表示，設計一個能夠準確判斷用户手指姿態、實現實時互動的設備，為 VR 領域的應用提供了新思路。也就是説，不論研究團隊演示的懸空打字例子是否具有現實可行性，這項技術確實有效。
或許，未來我們可以順着這種研究思路，提升與智能手錶的互動方式。
引用來源：
https://siplab.org/papers/vr2021-TapID.pdf
https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/
https://techxplore.com/news/2021-03-virtual-reality-fingertips.html
雷鋒網雷鋒網雷鋒網(公眾號：雷鋒網)
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
作者/編輯：付靜