蘋果 iOS 18 這個功能，可能將改變 iPad 的使用方式
毫無疑問，新款 iPad Pro 仍然是閲讀、遊戲、觀看視頻及繪畫等領域的最佳平板。但隨着 M4 芯片、妙控鍵盤及 Apple Pencil Pro 的加入，iPad 比任何時候都更接近一台筆記本電腦。
那麼，是否 iPad 會在未來漸漸成為一款帶有觸控功能的 MacBook？
答案可能是否定的。
在最新的 iOS 18 中，蘋果用這項「輔助功能」，為我們預言了一種關於 iPad 交互的新未來。
眼動追蹤：從 Vision Pro 到 iPad
近期，蘋果公司公佈了其 iPadOS 18 操作系統中新加入的「眼球追蹤」功能，這項看似不起眼的功能卻被放在了介紹頁面之首。
説起眼動追蹤，可能很多人第一個想到的還是此前蘋果發佈的 Vision Pro，這款設備最突出的特徵之一就是採用了眼動追蹤的方式代替傳統手柄。
用户可以通過眼球的移動，來控制應用程序，進行菜單導航，甚至是玩遊戲，無需依賴觸控或外部設備，大大提升了使用的便捷性，展示出了這種交互方式的魅力。
這主要得益於 Vision Pro 分佈在內的數個紅外攝像頭及 M2、R1 雙芯片的設計，使其能夠利用圖像處理技術提取與眼動相關的特徵，並通過建立模型的方式實現眼動追蹤。
▲ Vision Pro 攝像頭分佈，圖片來自蘋果
而不久前發佈的新款 iPad Pro 在形態上的一個重要改變，就是把攝像頭從窄邊挪到了長邊上。
攝像頭模組中的點陣投影儀、泛光感應元件、前置攝像頭、紅外攝像頭搭配全新 M4 芯片，如今看來或許就是在為後續計劃鋪路。
此次的更新描述中也顯示，蘋果的眼球追蹤功能完全由設備上的機器學習實現，這意味着它不需要任何額外的硬件，並且可以立即在所有運行 iPadOS 18 的設備上使用，印證了這一判斷。
▲ 圖片來自嗶哩嗶哩博主：微機分 WekiHome
目前業界公認的眼動追蹤方法，有基於外觀的眼動追蹤方法與基於二維映射的眼動追蹤方法兩種。
前者主要以人臉圖像或眼部圖像為輸入進行特徵提取，然後通過機器學習將這些特徵和視線方向關聯起來。這種方法設備簡單，只需要攝像頭就能完成，但它需要大量的訓練數據來建立準確的模型，從而正確地解讀你的視線方向。
而另一種基於二位映射的眼動追蹤方法，則主要通過分析眼球和角膜反射的相對位置變化來確定眼球運動。
由於眼球運動時角膜反射光斑位置不會變化，因此就可以作為瞳孔運動的參照點，根據兩者相對位置的變化，計算實現方向。
校準時你需要注視屏幕上的特定點，系統會記錄這些點和你的眼睛數據，建立一個映射模型。之後，當你看向其他地方時，系統就能通過這個模型準確地知道你在看哪裏。
▲ 瞳孔-角膜反射向量法示意圖，圖片來自網絡
其實如今看來，眼動追蹤的原理並不十分複雜，以現有的硬件條件足以滿足需求。但實際上，想要實現這一功能，蘋果其實經歷了很長的歷程。
佈局多年的最後一步
早在多年以前，蘋果就開始佈局眼動追蹤領域，網絡相關人才及技術。
2013 年，蘋果收購了來自以色列的 PrimeSense，該公司曾為微軟提供 Xbox 的 Kinect 的動作控制技術提供支持。
▲ PrimeSense 創始人合影
這家公司曾推出過一款非常小巧，可嵌入手機、平板等設備的 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 大會上展示的內容：
▲ Capri 被安裝在谷歌 Nexus 平板電腦上
▲ Capri 對真實場景進行 3D 建模，並獲得場景內物體的長、寬、高等具體數據
▲ 通過 AR 技術模擬出椅子在真實空間中的碰撞信息
▲ 將 3D 圖像傳輸到 3D 打印機完成 3D 打印
一同推出的還有在當時號稱 “全球最小的 3D 感知芯片”，由於不錯的性能和小巧的體積，使其能夠部署到手機、電視等諸多電子設備上。
2017 年，蘋果又收購了一家來自德國的老牌眼球追蹤技術公司 SensoMotoric Instruments，它曾一度是全球最大的眼動設備的生產商。
憑藉「鈔能力」帶來的一系列關於眼動追蹤的硬件及軟件，蘋果在同年首次將眼動追蹤功能用於其 Face ID 中，來提升解鎖的安全性。
此後數年間蘋果不斷有眼動追蹤相關的專利申請流出，蘋果也在不斷探索，這不僅促成了 Vision Pro 基於眼動追蹤的交互方式，也催生出了其他蘋果設備上關於的眼動追蹤的無限可能。
▲ 早期關於眼動追蹤及「注意力檢測」專利內容
眼動追蹤的未來暢想
相比傳統交互方式（鼠標、鍵盤、觸控等），眼動追蹤存在這樣幾個優勢：
也正是得益於這些優勢，使其在很多具體場景中展現出了巨大潛力。
例如在很多遊戲中，除了帶來更加便捷的操作以外，眼動追蹤也會給玩家帶來更好的沉浸感，讓玩家只需通過實現就能控制遊戲內角色進行互動。
▲ 使用眼動追蹤控制遊戲，圖片來自網絡
此外，實現眼動追蹤功能後，開發者還能根據眼動數據調整場景光照、視角變化等諸多參數，適配用户個人視覺習慣，使遊戲畫面更加逼真。
遊戲中的社交，也可以通過虛擬人物實現隨玩家面部實時變化的各種動作狀態，例如實現方向、眨眼、眯眼等，豐富人物的情緒表達，從各個方面提升遊戲的沉浸性。
除了遊戲以外，這項技術給日常生活帶來的變化或許才是更值得期待的。
Vision Pro 在發佈後，一個重要應用場景就是教育、醫療等場景，毫無疑問這在實現眼動追蹤的 iPad 上同樣適用。
諸如飛行員模擬訓練、手術模擬等職業訓練領域，通過跟蹤學員的眼球運動來評估決策速度和準確性。
眼動追蹤可為教師提供關於學生學習過程中的注意力集中點和理解程度的實時反饋，有助於個性化教學策略的指定和改進課程內容。
▲ 安裝在飛行駕駛模擬教學設備上的眼動追蹤設備
還有一些場景非常適合眼動追蹤這種交互方式，例如家居環境就是其中之一。通過眼動追蹤，使 iPad 成為智能家居中控台，實現對家居的控制；或者在手上有其他事情，或手很髒的時候提供更好的交互體驗等。
雖然眼動追蹤應用潛力非常巨大，但也有部分業內人士對該技術的安全性提出了質疑。
數據表明，一個人的眼部數據會暗含用户的年齡、性別、種族、情緒狀態、性格特徵等等多種信息。
加州大學洛杉磯分校技術、法律和政策研究所的創始人和教職聯席主任 John Villasenor 表示：
▲ 加州大學洛杉磯分校電氣工程教授 John Villasenor
顯然，如果能夠了解用户目光注意力的持續時間、焦點偏好，再結合瞳孔大小、眼跳等多種維度的數據，想要更準確地「猜你喜歡」無疑會更加準確，隱私保護的難度也將直線升級。
對此，蘋果的解答是將所有的捕捉和解讀都放在設備上進行，不需要藉助其他外部硬件，例如專門用於捕捉眼動數據的眼鏡等設備，蘋果也看不到攝像頭捕捉到的任何內容。
不過這在當下用户隱私安全愈發看重、泄露信息總會不時發生的大背景下，或許仍然很難解決用户的憂慮，也很可能會成為眼動追蹤功能難以推行的一個重要因素。
▲ 專門用於捕捉眼動數據的 Tobii Pro Glasses 2，圖片來自 Tobii
此外，還有一個更大的問題在於如何確保眼動追蹤在不同環境下穩定、準確地運行，並能適應諸如佩戴眼鏡、具有特殊眼部特徵的人羣等。
而且由於人的視線往往移動速度很快，運動也常常是不規則的、或具有跳躍性的，這也是眼動追蹤必須解決的重要問題。
而針對這一問題，蘋果或許將會用上 AI 來解決。
一位曾負責開發 Vision Pro 蘋果前員工 Sterling Crispin 曾在推特上對外表示，蘋果使用了大量神經科學來開發其一些關鍵功能，例如通過 AI 來預測用户的操作行為：
他還表示，這主要由於：
他還興奮地表示，這種加入 AI 算法及實時反饋的眼動追蹤反饋，正在使其成為了一種「粗糙的腦機接口」，非常酷。
對 iPad 功能的擴展和地位的重塑
當然，關於讓眼動追蹤成為「腦機接口」的描述或許略有誇張，但無法掩蓋的是其對交互方式的擴展潛力。
iPad 在誕生之初曾被寄予厚望，但至今仍然被不少人視為「買後愛奇藝」的存在，其根本原因就在於交互的貧乏。
在這方面，蘋果其實已經進行了很多努力，例如 Apple Pencil、妙控鍵盤的加入，某種程度上都可以看做是蘋果在豐富平板交互方式方面進行的嘗試。
不過這些努力似乎並沒有從根本上改變 iPad 的尷尬處境，畢竟如果想要使用鍵盤，何不直接選擇 MacBook？而 Apple Pencil 雖然挖掘出 iPad 形態在專業領域的潛力，但又受限於專業領域狹窄而無法成為拯救 iPad 的關鍵。
此外，從「輔助功能」中找到新的交互，也一直是蘋果挖掘產品潛力、提供新的突破的一個重要方法。
例如 Apple Watch Series 9 雙擊功能可以感應手指動作，做到無需觸摸即可控制手錶，在推出後受到不少用户好評，但它也曾長期隱匿在「輔助觸控」的角落。
與眼動追蹤很相似的交互，其實也藏在蘋果的「輔助功能」的列表，例如目前很多 Mac 電腦的「輔助功能」中，就已經出現了「頭控指針」，用户能夠通過頭部的移動來控制指針的移動。
隨着 iOS 18 的更新，眼動追蹤也同樣很有可能也將從「輔助觸控」的角落走向舞台的中央，在一段時間後成為你每天都在使用的一項重要功能，打開 iPad 新的交互時代。
或許，不僅僅使用手指控制，才是 iPad 的未來。
資料來源：愛範兒（ifanr）
那麼，是否 iPad 會在未來漸漸成為一款帶有觸控功能的 MacBook？
答案可能是否定的。
在最新的 iOS 18 中，蘋果用這項「輔助功能」，為我們預言了一種關於 iPad 交互的新未來。
眼動追蹤：從 Vision Pro 到 iPad
近期，蘋果公司公佈了其 iPadOS 18 操作系統中新加入的「眼球追蹤」功能，這項看似不起眼的功能卻被放在了介紹頁面之首。
説起眼動追蹤，可能很多人第一個想到的還是此前蘋果發佈的 Vision Pro，這款設備最突出的特徵之一就是採用了眼動追蹤的方式代替傳統手柄。
用户可以通過眼球的移動，來控制應用程序，進行菜單導航，甚至是玩遊戲，無需依賴觸控或外部設備，大大提升了使用的便捷性，展示出了這種交互方式的魅力。
這主要得益於 Vision Pro 分佈在內的數個紅外攝像頭及 M2、R1 雙芯片的設計，使其能夠利用圖像處理技術提取與眼動相關的特徵，並通過建立模型的方式實現眼動追蹤。
▲ Vision Pro 攝像頭分佈，圖片來自蘋果
而不久前發佈的新款 iPad Pro 在形態上的一個重要改變，就是把攝像頭從窄邊挪到了長邊上。
攝像頭模組中的點陣投影儀、泛光感應元件、前置攝像頭、紅外攝像頭搭配全新 M4 芯片，如今看來或許就是在為後續計劃鋪路。
此次的更新描述中也顯示，蘋果的眼球追蹤功能完全由設備上的機器學習實現，這意味着它不需要任何額外的硬件，並且可以立即在所有運行 iPadOS 18 的設備上使用，印證了這一判斷。
▲ 圖片來自嗶哩嗶哩博主：微機分 WekiHome
目前業界公認的眼動追蹤方法，有基於外觀的眼動追蹤方法與基於二維映射的眼動追蹤方法兩種。
前者主要以人臉圖像或眼部圖像為輸入進行特徵提取，然後通過機器學習將這些特徵和視線方向關聯起來。這種方法設備簡單，只需要攝像頭就能完成，但它需要大量的訓練數據來建立準確的模型，從而正確地解讀你的視線方向。
而另一種基於二位映射的眼動追蹤方法，則主要通過分析眼球和角膜反射的相對位置變化來確定眼球運動。
由於眼球運動時角膜反射光斑位置不會變化，因此就可以作為瞳孔運動的參照點，根據兩者相對位置的變化，計算實現方向。
校準時你需要注視屏幕上的特定點，系統會記錄這些點和你的眼睛數據，建立一個映射模型。之後，當你看向其他地方時，系統就能通過這個模型準確地知道你在看哪裏。
▲ 瞳孔-角膜反射向量法示意圖，圖片來自網絡
其實如今看來，眼動追蹤的原理並不十分複雜，以現有的硬件條件足以滿足需求。但實際上，想要實現這一功能，蘋果其實經歷了很長的歷程。
佈局多年的最後一步
早在多年以前，蘋果就開始佈局眼動追蹤領域，網絡相關人才及技術。
2013 年，蘋果收購了來自以色列的 PrimeSense，該公司曾為微軟提供 Xbox 的 Kinect 的動作控制技術提供支持。
▲ PrimeSense 創始人合影
這家公司曾推出過一款非常小巧，可嵌入手機、平板等設備的 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 大會上展示的內容：
▲ Capri 被安裝在谷歌 Nexus 平板電腦上
▲ Capri 對真實場景進行 3D 建模，並獲得場景內物體的長、寬、高等具體數據
▲ 通過 AR 技術模擬出椅子在真實空間中的碰撞信息
▲ 將 3D 圖像傳輸到 3D 打印機完成 3D 打印
一同推出的還有在當時號稱 “全球最小的 3D 感知芯片”，由於不錯的性能和小巧的體積，使其能夠部署到手機、電視等諸多電子設備上。
2017 年，蘋果又收購了一家來自德國的老牌眼球追蹤技術公司 SensoMotoric Instruments，它曾一度是全球最大的眼動設備的生產商。
憑藉「鈔能力」帶來的一系列關於眼動追蹤的硬件及軟件，蘋果在同年首次將眼動追蹤功能用於其 Face ID 中，來提升解鎖的安全性。
此後數年間蘋果不斷有眼動追蹤相關的專利申請流出，蘋果也在不斷探索，這不僅促成了 Vision Pro 基於眼動追蹤的交互方式，也催生出了其他蘋果設備上關於的眼動追蹤的無限可能。
▲ 早期關於眼動追蹤及「注意力檢測」專利內容
眼動追蹤的未來暢想
相比傳統交互方式（鼠標、鍵盤、觸控等），眼動追蹤存在這樣幾個優勢：
- 自然直觀：眼動追蹤利用人眼的自然運動進行交互，不需要額外的操作設備。用户只需注視目標即可完成相應的操作，降低了學習成本，交互更符合直覺。
- 提升效率：眼部肌肉是人體反應速度最快的肌肉之一，通過眼動追蹤，用户可以更快地選擇和控制界面元素，還可以減少手部動作，提高操作速度和效率。
- 與其他輸入方式組合：眼動追蹤可以與其他輸入方式結合使用，如語音控制和手勢操作，提供更豐富和靈活的交互方式。
- 多任務處理：用户可以在執行其他任務（例如駕駛或行走時）或同時處理多項任務時，僅僅使用眼動追蹤控制而不需要多餘的動作，提高操作效率。
- 數據分析與個性化：眼動追蹤可以提供關於用户注意力和興趣的寶貴數據。這些數據可以用於優化界面設計、廣告投放和用户體驗個性化，使系統更加智能和用户友好。
- 增強現實（AR）：在 AR 環境中，眼動追蹤可以提供更加沉浸式和自然的交互體驗。用户可以通過注視來選擇和操作虛擬對象，提升使用體驗。
也正是得益於這些優勢，使其在很多具體場景中展現出了巨大潛力。
例如在很多遊戲中，除了帶來更加便捷的操作以外，眼動追蹤也會給玩家帶來更好的沉浸感，讓玩家只需通過實現就能控制遊戲內角色進行互動。
▲ 使用眼動追蹤控制遊戲，圖片來自網絡
此外，實現眼動追蹤功能後，開發者還能根據眼動數據調整場景光照、視角變化等諸多參數，適配用户個人視覺習慣，使遊戲畫面更加逼真。
遊戲中的社交，也可以通過虛擬人物實現隨玩家面部實時變化的各種動作狀態，例如實現方向、眨眼、眯眼等，豐富人物的情緒表達，從各個方面提升遊戲的沉浸性。
除了遊戲以外，這項技術給日常生活帶來的變化或許才是更值得期待的。
Vision Pro 在發佈後，一個重要應用場景就是教育、醫療等場景，毫無疑問這在實現眼動追蹤的 iPad 上同樣適用。
諸如飛行員模擬訓練、手術模擬等職業訓練領域，通過跟蹤學員的眼球運動來評估決策速度和準確性。
眼動追蹤可為教師提供關於學生學習過程中的注意力集中點和理解程度的實時反饋，有助於個性化教學策略的指定和改進課程內容。
▲ 安裝在飛行駕駛模擬教學設備上的眼動追蹤設備
還有一些場景非常適合眼動追蹤這種交互方式，例如家居環境就是其中之一。通過眼動追蹤，使 iPad 成為智能家居中控台，實現對家居的控制；或者在手上有其他事情，或手很髒的時候提供更好的交互體驗等。
雖然眼動追蹤應用潛力非常巨大，但也有部分業內人士對該技術的安全性提出了質疑。
數據表明，一個人的眼部數據會暗含用户的年齡、性別、種族、情緒狀態、性格特徵等等多種信息。
加州大學洛杉磯分校技術、法律和政策研究所的創始人和教職聯席主任 John Villasenor 表示：
引用一旦眼動追蹤技術成熟，它將收集更多的信息：我們在網上閲讀的內容，甚至我們的閲讀過程。比如，我們是否看到了網頁廣告，想了一會，最後沒去點擊？我們在閲讀整個網頁的時候，眼球是怎麼移動的？我們更喜歡或者避開哪些字，詞語，或者主題？在未來，展示到我們眼前的廣告，是否將不僅僅只是取決於我們買過什麼東西，還將取決於我們眼球的運動狀態？
▲ 加州大學洛杉磯分校電氣工程教授 John Villasenor
顯然，如果能夠了解用户目光注意力的持續時間、焦點偏好，再結合瞳孔大小、眼跳等多種維度的數據，想要更準確地「猜你喜歡」無疑會更加準確，隱私保護的難度也將直線升級。
對此，蘋果的解答是將所有的捕捉和解讀都放在設備上進行，不需要藉助其他外部硬件，例如專門用於捕捉眼動數據的眼鏡等設備，蘋果也看不到攝像頭捕捉到的任何內容。
不過這在當下用户隱私安全愈發看重、泄露信息總會不時發生的大背景下，或許仍然很難解決用户的憂慮，也很可能會成為眼動追蹤功能難以推行的一個重要因素。
▲ 專門用於捕捉眼動數據的 Tobii Pro Glasses 2，圖片來自 Tobii
此外，還有一個更大的問題在於如何確保眼動追蹤在不同環境下穩定、準確地運行，並能適應諸如佩戴眼鏡、具有特殊眼部特徵的人羣等。
而且由於人的視線往往移動速度很快，運動也常常是不規則的、或具有跳躍性的，這也是眼動追蹤必須解決的重要問題。
而針對這一問題，蘋果或許將會用上 AI 來解決。
一位曾負責開發 Vision Pro 蘋果前員工 Sterling Crispin 曾在推特上對外表示，蘋果使用了大量神經科學來開發其一些關鍵功能，例如通過 AI 來預測用户的操作行為：
引用AI 模型會試圖預測您是否感到好奇、走神、害怕、集中注意力、回憶過去的經歷或其他認知狀態。這些可以通過眼動追蹤……測量來推斷。
他還表示，這主要由於：
引用你的瞳孔在你點擊之前會做出反應，部分原因是你預計點擊後會發生某事。因此，可以通過檢測用户的眼部行為，並試試重新設計 UI 來創建與用户大腦的生物反饋，以創建更多這種預期的瞳孔反應。
他還興奮地表示，這種加入 AI 算法及實時反饋的眼動追蹤反饋，正在使其成為了一種「粗糙的腦機接口」，非常酷。
對 iPad 功能的擴展和地位的重塑
當然，關於讓眼動追蹤成為「腦機接口」的描述或許略有誇張，但無法掩蓋的是其對交互方式的擴展潛力。
iPad 在誕生之初曾被寄予厚望，但至今仍然被不少人視為「買後愛奇藝」的存在，其根本原因就在於交互的貧乏。
在這方面，蘋果其實已經進行了很多努力，例如 Apple Pencil、妙控鍵盤的加入，某種程度上都可以看做是蘋果在豐富平板交互方式方面進行的嘗試。
不過這些努力似乎並沒有從根本上改變 iPad 的尷尬處境，畢竟如果想要使用鍵盤，何不直接選擇 MacBook？而 Apple Pencil 雖然挖掘出 iPad 形態在專業領域的潛力，但又受限於專業領域狹窄而無法成為拯救 iPad 的關鍵。
此外，從「輔助功能」中找到新的交互，也一直是蘋果挖掘產品潛力、提供新的突破的一個重要方法。
例如 Apple Watch Series 9 雙擊功能可以感應手指動作，做到無需觸摸即可控制手錶，在推出後受到不少用户好評，但它也曾長期隱匿在「輔助觸控」的角落。
與眼動追蹤很相似的交互，其實也藏在蘋果的「輔助功能」的列表，例如目前很多 Mac 電腦的「輔助功能」中，就已經出現了「頭控指針」，用户能夠通過頭部的移動來控制指針的移動。
隨着 iOS 18 的更新，眼動追蹤也同樣很有可能也將從「輔助觸控」的角落走向舞台的中央，在一段時間後成為你每天都在使用的一項重要功能，打開 iPad 新的交互時代。
或許，不僅僅使用手指控制，才是 iPad 的未來。
資料來源：愛範兒（ifanr）