NVIDIA最新公佈的眼球追蹤技術，或將改變VR行業

人眼能看到的範圍是有限的，如果你看着黑板上方的掛鐘，那麼你的目光聚集的地方就是焦點，而鍾以外的物體將會自動變模糊。我們處於360度環繞的世界，但任何時人類只能看到120度視度範圍內的事物，而且人的雙眼只會聚焦在視野中不超過6度的小區域，周圍則是模糊的，這就是我們看世界的方式。
NVIDIA正在開發上述模擬人眼視覺效果的眼球追蹤技術應用在虛擬現實中，並在昨日公佈了這項技術的最新進展，這將使得虛擬世界更具真實感。

VR硬件廠商的痛點

目前VR硬件廠商面對的問題便是玩家自己的計算機硬件滿足不了顯示設備高清渲染的需求，Oculus Rift僅僅渲染1k的分辨率就需配備1000美金以上的計算機才能正常運行，要讓渲染的分辨率匹配現實世界的分辨率，單眼渲染必須達到8K，僅硬件配置這一項，就夠廠商頭疼的了。

為了解決這一問題，目前最被認可的方式便是結合眼球追蹤的局部渲染技術。眼球追蹤技術將渲染重心放在用户眼睛真正關注的畫面上，因此對GPU的要求大大降低。


過去9個月，NVIDIA的大衞·盧克（David Luebke）和研究員試圖在虛擬現實環境中模擬這種現象：對用户視線焦點的區域，設備將會進行全面渲染，但要降低焦外區域的分辨率。當玩家專注於畫面的某個小區域時，眼球追蹤系統就會不斷調整渲染焦點。為了以90FPS（最低可接受的幀率）充分渲染某一畫面，400萬像素的畫面必須每秒渲染近100次。只專注於渲染用户的視線聚焦處將大大減輕計算任務。

現有眼球追蹤技術的應用

眼球追蹤技術在虛擬現實研究中並不新鮮，眼球跟蹤常見的實現原理：

　　1、根據眼球和眼球周邊的特徵變化進行跟蹤

　　2、根據虹膜角度變化進行跟蹤

　　3、主動投射紅外線等光束到虹膜來提取特徵

目前在虛擬現實領域中，日本FOVE公司開發出第一台使用眼球追蹤技術的虛擬現實頭顯，FOVE在頭盔的眼睛位置嵌入了兩個紅外線攝像頭，攝像頭放置在眼鏡鏡片下，既不會對視線範圍產生影響，又能跟蹤玩家的瞳孔活動。

對眼球追蹤混合技術進行再深一步研究的公司還有Tobii，該公司與Starbreeze公司合作將眼球追蹤技術融入了擁有5K畫質和210度視場角的StarVR頭顯。

德國眼球跟蹤技術公司SensoMotoric Instruments（以下簡稱SMI）在去年的開發者大會上展示了與SonyMagic Lab合作的遠程眼球跟蹤系統。並與三星合作期間推出在虛擬環境中可定性實時觀察和錄製視覺行為的應用安裝包SMI Mobile Eye Tracking HMD Observation，和可提供注視行為的簡單分析和分析軟件包的SMI Mobile Eye Tracking HMD Analysis Pro。

HTC Vive，PlayStation VR目前尚未使用眼球追蹤技術，Oculus創始人帕爾默·拉奇在接受採訪時稱眼球追蹤技是未來VR技術的“最關鍵構成部分”，但接着説到目前上述眼球跟蹤技術解決方案都還處於較低端的水平。
如何解決畫面延時

正如Oculus創始人帕爾默·拉奇所説，雖然很多公司已經擁有這項技術，但眼球追蹤技術的速度往往跟不上人眼運動的速度，渲染速度也並不完美，這導致畫面顯示總是存在時延，令用户感到不適。

去年5月NVIDIA專門針對虛擬現實設備中普遍存在的圖像延遲狀況， 推出了MRS（multi-resolution shading）以便加快渲染速度，該技術使得VR的渲染不再是將整個畫面以相同的分辨率進行渲染，而是分成了幾個不同的區域。焦點區域會以完整的高分辨率進行渲染；而畫面的邊緣則以更低質量進行渲染，再加上邊緣的像素經過變形後的損失，可節省25%-50%的像素，理論上可提升一倍的渲染速度。


近日，NVIDIA與SMI合作後推出最新眼球追蹤虛擬現實顯示屏已可以250Hz的幀率實現準確、低時延的眼球追蹤。盧克稱這是他們的眼球追蹤設備第一次能跟上眼睛的運動速度。

焦外分辨率協調

雖然延時問題得到一定的解決，但畫面效果還存在欠缺。NVIDIA團隊仍需要花很多時間去準確計算，將焦外畫面的分辨率降低至什麼樣的水平才算最佳，才避免被觀眾注意到。在降低分辨率的過程中，任何閃爍都將帶來干擾，焦外視覺很容易察覺到閃爍。如果焦外畫面過於模糊，將會產生隧道視覺效應，感覺像是通過望遠鏡看畫面。

為了解決這一問題，NVIDIA的研究員在近期發現通過增加焦外畫面的對比度，同時降低分辨率，人眼就可以被“騙過”。

未來，NVIDIA希望這個發現能推動主流虛擬現實設備廠商將眼球追蹤技術加入到產品當中。



資料來源：雷鋒網
作者/編輯：亞峰