帶攝像頭的 AirPods,蘋果會怎麼做出來?
蘋果對智能產品的設計,正在放飛自我。
根據彭博社記者 Mark Gurman 的爆料,蘋果在「未來設備」的規劃裏,有兩個大膽的想法:
一是帶有屏幕的 HomePod 正在研發中,當中將集成 Apple TV、FaceTime 等重多功能;二是配備攝像頭的 AirPods,低分辨率的鏡頭將用來收集周身信息,並通過 AI 處理數據,以此「協助人們的日常生活」。
兩個概念產品目前還處於探索階段,但我仍驚訝於這種「前衞」的組合,以及一反蘋果「簡約」的理念,特別是帶鏡頭的耳機,實在有些費解。
▲ 圖片由 AIGC 生成
在翻閲相關文獻資料時,一份代號為 US11432095B1 的蘋果專利文件,似乎能證明「鏡頭+耳機」這對奇葩組合的可行性。
虛擬聲場,離不開耳機上的鏡頭
先説總結,在這份專利文件中,加上攝像頭的並非 AirPods (Pro),而是 AirPods Max;另外,當中涉及的技術也不是新聞中爆料的「AI 功能」,而是已經在 Vision Pro 上初見雛形的空間音頻。
首先,我們要理清一個原理:人是如何辨別聲音發出的位置的?
兩隻耳朵在頭兩側的佈局,除了美觀,更重要的作用是讓我們擁有了聽聲辨位的能力。
在保持同一水平線且軸對稱的前提下,儘可能遠離彼此,為的就是在聽到同一個聲源時,每隻耳朵接收到的聲音信息與另一隻都有所差異,主要包括雙耳時間差、強度差以及頻率差三種,一般的來説這些差異都非常微小。
▲ 圖片來自:Medium
以時間差舉例,生活中的大部分聲音到達兩隻耳朵的時間都是不一樣的,往往只有百微秒左右(眨 1/10 次眼的時間)的差別,我們感知不到,大腦則可以從這些幾乎可以忽略不計的聲源信息差異中,判斷出孰先孰後聽見,以此產生了「聲音從那裏發出」的感覺。
好比我們啓用手錶上「找手機」的功能時,耳朵就是通過各種聲源差異,才能順利發現手機掉進了沙發縫裏。
許多電影院和家庭影音設備正是利用了人耳極為敏感的特性,在有限的空間內用多聲道的組合,實現環繞立體聲,讓觀影在聲音層面身臨其境。
以上的信息包含了兩個核心要素:
這份 US11432095B1 專利文件,就是在解釋,蘋果如何只通過耳機讓用户聽到來自四面八方的聲音,就像是擁有了一整套環繞立體聲設備。
這項技術,被稱為「虛擬聲場」。
擁有虛擬聲場的設備能在當中構建若干個虛擬揚聲器,通過聽聲辨位的生理特性,讓每個揚聲器都放在用户所處空間的固定位置,從而實現「一副耳機就是一套音響」的效果。
那,攝像頭在當中發揮了什麼作用?
科技博主何同學在 Vision Pro 評測的視頻中做過一個實驗:把 Vision Pro 的一個應用窗口放在固定的位置後,往遠處走了 300 餘米再回到原地,窗口的位置幾乎沒有發生變化。
如此精準的定位來源於 Vision Pro 前方的視覺定位系統,通過紅外線、攝像頭等掃描所在空間的物理信息,並記錄窗口在重構空間中的物理位置,以此實現了令人驚歎的準確定位。
AirPods Max 上的攝像頭,也是利用相同的原理錄入圖像信息,再由跟蹤處理器實時分析用户的頭部位置信息,並且能夠使用顯示器和周圍環境的映射作為參考,來跟蹤用户的頭部,實現雙重保障。
搭配上 Apple TV 盒子中的攝像頭,虛擬揚聲器在房間內的位置就能確定下來,若干個聲源從放在哪裏、從哪發射,都有據可依。
簡言之,鏡頭讓 AirPods Max 擁有了視覺,虛擬聲也能接近真實地還原實體音響的效果。
比起聽到,我更願意説成可以「看到」聲音。
虛擬音響擺在哪、擺幾個,都可以由用户自己設置,5.1 或 7.1 環繞聲不用再大費周折地添置,甚至還能根據電視尺寸、位置和收聽區域(包括房間的幾何形狀)實時調整;同時用户的坐姿也會影響虛擬音響在聲場中的位置。
專利文件中還説明,在虛擬聲場中,可以生成單獨的一組一個或多個虛擬揚聲器,並將其分配給多個帶着相同設備的用户。
即使兩人交換了座位,或是在房間裏來回走動,虛擬聲場都會根據用户的所在位置,調整每個虛擬音響的音效,使每個音源都能相對使用者保持靜止。
另外,專利當中還對「顯示器」做了特別説明,虛擬聲場中的觀影屏幕,不僅僅侷限於傳統的電視,而是擁有屏幕或投影的設備都可以實現此類功能,例如筆記本電腦、平板電腦、投影儀、台式電腦屏幕等(需要搭配帶有攝像頭的 Apple TV 盒子使用)。
也就是説,你的下一套環繞音響,為何不能是耳機?
先造夢,再鋪路
如此看來,帶鏡頭的 AirPods Max 所構建的虛擬聲場,更像是 Vision Pro 的技術下放。
在先前的文章中,我們全面解析過 Vision Pro 通過空間視頻、空間音頻和空間交互構建起的「空間計算」,但高昂的價格和為數不多的生態適配,還是讓其成了一款想要走進市場的概念產品。
Vision Pro 開啓的空間計算時代,是一個遙遠的構想,是尖端顯示技術、新型交互、運算能力的彙總,它更像一個目標和未來。
而專利文件裏的 AirPods Max,用真正的「消費級」產品,實現客廳裏的空間音頻,比起 Vision Pro,它佩戴更舒適、使用更方便,當然價格也更合理。
在走向未來的過程中,遙遠的目標被拆分成一個個階梯,Apple Watch 上的手勢交互,iPhone 開始支持的空間視頻錄製,都是已經登上的台階。耳機帶鏡頭是其中的又一個分支,也讓空間音頻找到了更適合日常、更容易落地的方案。
當然,鏡頭+耳機的方案是否會真的來到我們的身邊?即使蘋果真的將二者融為一體,到底會走向文章開頭的用 AI 協助人們的日常生活?還是回到專利文件中虛擬聲場的技術路線?我們都難以得到確切的答案,不過在數種新型技術不斷湧向市場的時候,終究會出現一個最適合時代的選項。
在這之前,比起得到結果,不斷地大膽嘗試,才是當下最有價值的事。
1972 年,時任美國馬薩諸塞州一家箱包公司前副總裁的 Bernard D. Sadow,把一個大衣櫃上的四個腳輪卸下,隨後安裝到一隻自家品牌的行李箱底部,接着又在箱子上方綁了一根皮帶。
▲ 圖片來自:Facebook
世界上第一隻滾輪行李箱就這樣被髮明瞭出來。
從今天回看拉桿箱發明的時間點,多少都會有點難以相信。
一是此時距離箱子的發明經過去了 7000 多年,離輪子的發明也已經過去了 5000 多年,伴隨了大半個人類文明史的兩個發明竟然才被組合使用;
二來,阿波羅 11 號已於兩年前成功登月,人類首次在其他星球上留下腳印,在同一個國家裏,滾輪箱的發明甚至比登月還晚,在此之前,人們還保持着手提箱的習慣。
Sadow 馬上在當年為其新發明申請了專利,並將這種可滑動的行李箱命名為 Rolling Luggage。
▲ 圖片來自:Facebook
創新這件事,有時真的需要靈感和運氣,但故事到這還沒完。
雖然 Rolling Luggage 在剛發明的那段時間廣受歡迎,但由於設計的缺陷使得行李箱重心不穩,拉動時經常會翻倒,也會偶爾撞到拉箱人的腳踝。
事實證明這的確是一個好創意,但 Rolling Luggage 並不是一個好產品。
在之後的十多年裏,雖然新秀麗等公司對初代 Rolling Luggage 進行過優化,但還是不便使用。
直到 1987 年,美國西北航空公司的退休機長 Robert Plath,在家搗鼓箱子時,把箱體豎立,並在同側裝上輪子和拉桿,現代拉桿箱的雛形才得以確定。
拉桿行李箱在今天是那麼理所當然的一件事,但這並不意味着技術本身是顯而易見的,因為創新和創新者的侷限,與時代背景息息相關。
當時長途旅行不像今天這樣普遍,且旅行時攜帶的物品不多,拉桿箱並不是剛需;箱子和輪子的確存在了很久,但既輕便又耐用的箱體材料和軸承技術,那時還沒出現。
需求不高、技術不足,即使構成新發明的技術組件很早就存在,它也不會成為一項成功的發明,因為行為需求、技術條件和市場因素並沒有匯聚在一起。
▲ 圖片來自:Yahoo
對於帶輪子的箱子來説,這種結合直到 20 世紀後半葉才真正實現。
對於「鏡頭+耳機」亦或是別的奇怪組合,當下的質疑和嘲笑的眼光也僅僅證明,對未來技術的探索才剛剛起步。
但不管選擇了哪一種路線或者方案,都是在向未來邁步。如果沒有這些奇思妙想和大膽實踐,可能到今天我們還在拎着那隻笨重的箱子。
資料來源:愛範兒(ifanr)
根據彭博社記者 Mark Gurman 的爆料,蘋果在「未來設備」的規劃裏,有兩個大膽的想法:
一是帶有屏幕的 HomePod 正在研發中,當中將集成 Apple TV、FaceTime 等重多功能;二是配備攝像頭的 AirPods,低分辨率的鏡頭將用來收集周身信息,並通過 AI 處理數據,以此「協助人們的日常生活」。
兩個概念產品目前還處於探索階段,但我仍驚訝於這種「前衞」的組合,以及一反蘋果「簡約」的理念,特別是帶鏡頭的耳機,實在有些費解。
▲ 圖片由 AIGC 生成
在翻閲相關文獻資料時,一份代號為 US11432095B1 的蘋果專利文件,似乎能證明「鏡頭+耳機」這對奇葩組合的可行性。
虛擬聲場,離不開耳機上的鏡頭
先説總結,在這份專利文件中,加上攝像頭的並非 AirPods (Pro),而是 AirPods Max;另外,當中涉及的技術也不是新聞中爆料的「AI 功能」,而是已經在 Vision Pro 上初見雛形的空間音頻。
首先,我們要理清一個原理:人是如何辨別聲音發出的位置的?
兩隻耳朵在頭兩側的佈局,除了美觀,更重要的作用是讓我們擁有了聽聲辨位的能力。
在保持同一水平線且軸對稱的前提下,儘可能遠離彼此,為的就是在聽到同一個聲源時,每隻耳朵接收到的聲音信息與另一隻都有所差異,主要包括雙耳時間差、強度差以及頻率差三種,一般的來説這些差異都非常微小。
▲ 圖片來自:Medium
以時間差舉例,生活中的大部分聲音到達兩隻耳朵的時間都是不一樣的,往往只有百微秒左右(眨 1/10 次眼的時間)的差別,我們感知不到,大腦則可以從這些幾乎可以忽略不計的聲源信息差異中,判斷出孰先孰後聽見,以此產生了「聲音從那裏發出」的感覺。
好比我們啓用手錶上「找手機」的功能時,耳朵就是通過各種聲源差異,才能順利發現手機掉進了沙發縫裏。
許多電影院和家庭影音設備正是利用了人耳極為敏感的特性,在有限的空間內用多聲道的組合,實現環繞立體聲,讓觀影在聲音層面身臨其境。
以上的信息包含了兩個核心要素:
- 人能通過聲源信息的差異實現聽聲辨位
- 聲音從空間中不同位置發出造成了聽覺上的差異
這份 US11432095B1 專利文件,就是在解釋,蘋果如何只通過耳機讓用户聽到來自四面八方的聲音,就像是擁有了一整套環繞立體聲設備。
這項技術,被稱為「虛擬聲場」。
擁有虛擬聲場的設備能在當中構建若干個虛擬揚聲器,通過聽聲辨位的生理特性,讓每個揚聲器都放在用户所處空間的固定位置,從而實現「一副耳機就是一套音響」的效果。
那,攝像頭在當中發揮了什麼作用?
科技博主何同學在 Vision Pro 評測的視頻中做過一個實驗:把 Vision Pro 的一個應用窗口放在固定的位置後,往遠處走了 300 餘米再回到原地,窗口的位置幾乎沒有發生變化。
如此精準的定位來源於 Vision Pro 前方的視覺定位系統,通過紅外線、攝像頭等掃描所在空間的物理信息,並記錄窗口在重構空間中的物理位置,以此實現了令人驚歎的準確定位。
AirPods Max 上的攝像頭,也是利用相同的原理錄入圖像信息,再由跟蹤處理器實時分析用户的頭部位置信息,並且能夠使用顯示器和周圍環境的映射作為參考,來跟蹤用户的頭部,實現雙重保障。
搭配上 Apple TV 盒子中的攝像頭,虛擬揚聲器在房間內的位置就能確定下來,若干個聲源從放在哪裏、從哪發射,都有據可依。
簡言之,鏡頭讓 AirPods Max 擁有了視覺,虛擬聲也能接近真實地還原實體音響的效果。
比起聽到,我更願意説成可以「看到」聲音。
虛擬音響擺在哪、擺幾個,都可以由用户自己設置,5.1 或 7.1 環繞聲不用再大費周折地添置,甚至還能根據電視尺寸、位置和收聽區域(包括房間的幾何形狀)實時調整;同時用户的坐姿也會影響虛擬音響在聲場中的位置。
專利文件中還説明,在虛擬聲場中,可以生成單獨的一組一個或多個虛擬揚聲器,並將其分配給多個帶着相同設備的用户。
即使兩人交換了座位,或是在房間裏來回走動,虛擬聲場都會根據用户的所在位置,調整每個虛擬音響的音效,使每個音源都能相對使用者保持靜止。
另外,專利當中還對「顯示器」做了特別説明,虛擬聲場中的觀影屏幕,不僅僅侷限於傳統的電視,而是擁有屏幕或投影的設備都可以實現此類功能,例如筆記本電腦、平板電腦、投影儀、台式電腦屏幕等(需要搭配帶有攝像頭的 Apple TV 盒子使用)。
也就是説,你的下一套環繞音響,為何不能是耳機?
先造夢,再鋪路
如此看來,帶鏡頭的 AirPods Max 所構建的虛擬聲場,更像是 Vision Pro 的技術下放。
在先前的文章中,我們全面解析過 Vision Pro 通過空間視頻、空間音頻和空間交互構建起的「空間計算」,但高昂的價格和為數不多的生態適配,還是讓其成了一款想要走進市場的概念產品。
Vision Pro 開啓的空間計算時代,是一個遙遠的構想,是尖端顯示技術、新型交互、運算能力的彙總,它更像一個目標和未來。
而專利文件裏的 AirPods Max,用真正的「消費級」產品,實現客廳裏的空間音頻,比起 Vision Pro,它佩戴更舒適、使用更方便,當然價格也更合理。
在走向未來的過程中,遙遠的目標被拆分成一個個階梯,Apple Watch 上的手勢交互,iPhone 開始支持的空間視頻錄製,都是已經登上的台階。耳機帶鏡頭是其中的又一個分支,也讓空間音頻找到了更適合日常、更容易落地的方案。
當然,鏡頭+耳機的方案是否會真的來到我們的身邊?即使蘋果真的將二者融為一體,到底會走向文章開頭的用 AI 協助人們的日常生活?還是回到專利文件中虛擬聲場的技術路線?我們都難以得到確切的答案,不過在數種新型技術不斷湧向市場的時候,終究會出現一個最適合時代的選項。
在這之前,比起得到結果,不斷地大膽嘗試,才是當下最有價值的事。
1972 年,時任美國馬薩諸塞州一家箱包公司前副總裁的 Bernard D. Sadow,把一個大衣櫃上的四個腳輪卸下,隨後安裝到一隻自家品牌的行李箱底部,接着又在箱子上方綁了一根皮帶。
▲ 圖片來自:Facebook
世界上第一隻滾輪行李箱就這樣被髮明瞭出來。
從今天回看拉桿箱發明的時間點,多少都會有點難以相信。
一是此時距離箱子的發明經過去了 7000 多年,離輪子的發明也已經過去了 5000 多年,伴隨了大半個人類文明史的兩個發明竟然才被組合使用;
二來,阿波羅 11 號已於兩年前成功登月,人類首次在其他星球上留下腳印,在同一個國家裏,滾輪箱的發明甚至比登月還晚,在此之前,人們還保持着手提箱的習慣。
Sadow 馬上在當年為其新發明申請了專利,並將這種可滑動的行李箱命名為 Rolling Luggage。
▲ 圖片來自:Facebook
創新這件事,有時真的需要靈感和運氣,但故事到這還沒完。
雖然 Rolling Luggage 在剛發明的那段時間廣受歡迎,但由於設計的缺陷使得行李箱重心不穩,拉動時經常會翻倒,也會偶爾撞到拉箱人的腳踝。
事實證明這的確是一個好創意,但 Rolling Luggage 並不是一個好產品。
在之後的十多年裏,雖然新秀麗等公司對初代 Rolling Luggage 進行過優化,但還是不便使用。
直到 1987 年,美國西北航空公司的退休機長 Robert Plath,在家搗鼓箱子時,把箱體豎立,並在同側裝上輪子和拉桿,現代拉桿箱的雛形才得以確定。
拉桿行李箱在今天是那麼理所當然的一件事,但這並不意味着技術本身是顯而易見的,因為創新和創新者的侷限,與時代背景息息相關。
當時長途旅行不像今天這樣普遍,且旅行時攜帶的物品不多,拉桿箱並不是剛需;箱子和輪子的確存在了很久,但既輕便又耐用的箱體材料和軸承技術,那時還沒出現。
需求不高、技術不足,即使構成新發明的技術組件很早就存在,它也不會成為一項成功的發明,因為行為需求、技術條件和市場因素並沒有匯聚在一起。
▲ 圖片來自:Yahoo
對於帶輪子的箱子來説,這種結合直到 20 世紀後半葉才真正實現。
對於「鏡頭+耳機」亦或是別的奇怪組合,當下的質疑和嘲笑的眼光也僅僅證明,對未來技術的探索才剛剛起步。
但不管選擇了哪一種路線或者方案,都是在向未來邁步。如果沒有這些奇思妙想和大膽實踐,可能到今天我們還在拎着那隻笨重的箱子。
資料來源:愛範兒(ifanr)