為什麼在 Meta、微軟的元宇宙,我們連一雙腿都不能擁有?

當你戴着 Oculus Quest 2 頭顯,進入 Meta 的 VR 社交平台 Horizon Worlds 時,你需要創建一個虛擬形象代表自己。

可是它看起來怎麼也不像你,它沒有下半身,像霍格沃茨的幽靈一般漫遊空中,最近飄蕩進了超級碗的廣告裏。

▲ Horizon Worlds.

隔壁的微軟也是這樣,在其元宇宙入口 Mesh for Teams 之中,你的虛擬形象同樣失去雙腿。

▲ Mesh for Teams.

然後你將一個問題脱口而出:為什麼沒有腿?

把腿加上,有那麼難?

Andrew Bosworth 是 Meta 的 Reality Labs 副總裁,在領導公司的 XR 部門時,他養成了通過 Instagram 進行即興問答的習慣。在 2 月 10 日的問答中,他承認加腿是件難事。

▲ Andrew Bosworth.

如果想在 VR 中以逼真的方式呈現雙腿,它首先需要知道腿在現實裏的一舉一動,然後推斷腿在 VR 中應該做什麼。

癥結就在這裏,雖然 Quest 2 能夠進行頭部和手部跟蹤,並估計手臂和胸部的位置,但它不知道你的腿在哪裏。


Quest 2 配備 4 顆廣角灰度攝像頭,頂部的兩顆朝向上面和側面,底部的兩顆略微向下。如果我們向前看,這些攝像頭通常可以看到手臂,如果我們坐着或向下看,攝像頭能夠看到身體的更多部分。

但它們的追蹤範圍始終有限。有時,腹部等「障礙物」可能會擋住攝像頭的視線;有時,當我們傾斜或轉動頭部,那些向下的攝像頭也無法看到腿。

Meta 還想將頭顯的外形尺寸做得更小,攝像頭可能更難看到腿了。

在腿部放上額外的傳感器呢?理論上可行,但目前幾乎沒有針對腿部的商用傳感器和控制器。

HTC 銷售幾種主要面向企業用户的 Vive VR 頭顯,還推出了綁在四肢或物體(如網球拍)上的追蹤器。不過,追蹤器只能與連接到電腦的頭顯兼容,並需要一個基站。

▲ HTC VIVE.

説到基站,「無腿」的核心原因也就呼之欲出,即 Quest 2 的定位方式。VR 頭顯的定位技術可分為兩類,一種是 outside-in,一種是 inside-out。

Outside-in 需要事先放置定位點設備,定位點設備會發射出激光、紅外線、可見光等,覆蓋定位點設備之間的空間,並建立三維位置信息,通過三角定位的方法確定佩戴者的位置和移動方向。

▲ 圖片來自:VRPinea

Quest 2 則屬於 inside-out,它無需架設額外的定位裝置,在 VR 頭顯上安裝攝像頭,讓設備自己檢測外部環境的變化,再用 SLAM 算法計算出攝像頭的空間位置和移動方向。

▲ 圖片來自:VRPinea

簡單來説,inside-out 定位無需基站,拓展了使用空間,更適合日常娛樂和移動場景;outside-in 可提供更精準、範圍更大的追蹤效果,全身動捕一般依靠 outside-in 的追蹤設置實現。

既然目前做不到全身追蹤,Meta 就將腰部以下「砍掉」了。

▲ 圖片來自:Meta

定位方式也關聯了使用習慣,以及公司的戰略方向——科技發展越方便越好,消費者不一定關心公司用了什麼技術。起價 299 美元的 Quest 2 雖然精準度和延遲相對落後,但對普通用户來説足夠友好。

在 VR 中經營社交,一直是許多 VR 製造商的目標。

▲ 圖片來自:CNN

Meta 當然希望進一步將 VR 推向大眾消費市場。更逼真的身體表現,固然可能引起更多人對 VR 的興趣,也可能使用户體驗更加繁瑣、成本更高,至少短期內是如此。

所謂「兩害取其輕」,更低的使用門檻對普及 VR 意義重大。

值得一提的是,Unity 增強和虛擬現實副總裁 Timoni West 提出了一種解決方法——先採集大量關於走路方式的數據,再在 AI 的幫助下,根據頭顯檢測到的頭部運動預測腿部運動。

AI 可能無法精準預測到具體用户的每一個動作,這會導致 AI 再現的動作不自然;「採集大量走路方式數據」這個前提也並不容易,當在未來某個時候,每個人家裏都有一台全向跑步機捕捉腿部運動時,製作人體運動的數字模型可能就不再困難了。

▲ 圖片來自:0-tech

簡言之,如果不在身體或周圍設置一系列傳感器,就要求消費級一體式 VR 設備實現完美的腿部追蹤,基本是不可能的,就像 HTC 美國公司總經理 O'Brien 所説:

引用大家追求的是一直全身心的沉浸式體驗,能夠用一個一體式頭顯再現身體的每一個動作。但是,我們目前還做不到。

你要跳舞嗎?

2019 年 9 月,Meta 宣佈在 Oculus Quest 上使用深度神經網絡進行準確的手部跟蹤

戴着 Quest 2,我們可以揮動手部在菜單界面進行一些簡單操作,也可以握着手柄在遊戲裏大殺四方。

在 Horizon Worlds,漂浮的「無腿怪」們可以閒逛、結識朋友、向殭屍開槍或創建自己的世界。

▲ 圖片來自:Meta

精確的手部追蹤為什麼重要?因為它將解鎖一系列新體驗——用手勢在 VR 中暫停電影,在社交遊戲中更自然地表達自己,與現實中一樣揮手打招呼、猜拳、握手、抓取、擊掌……

相比之下,如果你不需要跳舞等遊戲用途的話,腿部跟蹤似乎沒有那麼必要。就算不用腿部跟蹤,軟件也可以模擬行走、下蹲等動作,讓你看起來「全須全尾」。

為了讓步行在 VR 中更逼真,有研究人員推出腳部 VR 力回饋方案。舉例來説,行走時的體感包括視覺場景變化、腳底踩在地面上的反饋,以及四肢移動的體感。因此,在理論上,通過刺激和模擬這些體感和視覺效果,也能模擬逼真的行走體驗。


如果僅僅是看不慣,裝個「假腿」足夠了。Andrew Bosworth 就是這麼想的:

引用我們可以為虛擬形象偽造腿,讓人們看到彼此的完整形象,沒有人會知道其中的區別。

當然,Andrew Bosworth 也承認,假腿沒法代替真腿的體驗。假腿只是能在閒逛、聊天等簡單的 VR 社交體驗裏,讓你漂浮的虛擬形象看起來更加自然。

但沒有一雙靈活的腿,總覺得少了什麼。在更沉浸和真實的 VR 體驗裏,我們總是需要腿的,這方面的代表便是 VR 社交平台 VRChat。

▲ VRChat.

VRChat 的一大特點是虛擬角色不受限制,二次元們熟知的 MMD 模型可以直接轉換成 VRChat 的角色,卡比獸、海綿寶寶、初音未來扎堆出現。不僅如此,越來越多的 VR 舞者通過綁在身上的運動追蹤器,在這裏進行實時鬥舞比賽。

為了在 VR 中完成全身舞蹈動作,韓國 VRChat 舞者 Makoto 用的追蹤器特別齊全:帶有無線附加組件的 HTC Vive 頭顯、手腕上的 Index 控制器以及腰部和腳部的 Vive Tracker。

▲ Makoto.

VR 愛好者們願意為全身追蹤付出許多金錢和精力,意味着擁有「真腿」的門檻依然很高。
但更長遠地看,社區就是圍繞這些活動形成的,世界上第一個 VR 舞蹈社區 @IDA_officialVR 在 VRChat 舉辦了一系列舞蹈比賽,VR 真正遠程連接了可能永遠都不會見面的人們。

我們仍然期待,隨着技術變得更好、更便宜,VR 能夠提供更多意料之外的體驗。

▲ 在 VR 裏擊劍. 圖片來自:roadtovr

或許從「為什麼沒有腿」這個問題就可以看出,相比扎克伯格的元宇宙構想,現在的 VR 技術還有些距離,Horizon Worlds 也並不是一個完全充實的元宇宙。

話又説回來,或許不是所有人都喜歡有腿,不是每個人都想要做一個映射他們日常生活的虛擬形象。

至少,在未來人人皆可觸及的 VR 世界,要讓「漂浮的無腿怪」成為一個選擇,而不是一種遺憾。

▲ 參考資料:

1.https://edition.cnn.com/2022/02/15/tech/vr-no-legs-explainer/index.html

2.https://thenextweb.com/news/metaverse-no-legs-meta-microsoft-analysis

3.https://www.roadtovr.com/meta-quest-2-full-body-tracking-fbt-not-viable-quest-2/

4.https://www.roadtovr.com/vr-dance-battle-vrchat-breakdance/


資料來源:愛範兒(ifanr)

如果喜歡我們的文章,請即分享到︰

標籤: Meta  元宇宙