Google 這台最強 AI 手機，憑什麼靠單攝就幹掉了 iPhone XS？| 硬哲學
剝離技術和參數的外衣，探求設計與人文的本源。
沒有太多硬件基因的 Google，對於智能手機產品一直有另一番理解，尤其是在拍照方面。
2016 年 10 月 5 日，Google CEO 桑達爾·皮蔡（Sundar Pichai）提出了由「移動為先」轉為「AI 為先」的口號，同日亮相的初代 Pixel 手機就是這個理念的體現。
表面上看，Pixel 使用的攝像頭和更早推出的 Nexus 6P 並沒有太大變化，大家都是一樣的 1230 萬像素和 1.55 μm 的單像素尺寸，區別僅僅是加入了相位對焦功能。
但兩者卻在 DxOMark 上獲得了完全不同的評價 —— Nexus 6P 只有不起眼的 73 分，但 Pixel 卻憑藉 89 分拿下了當時的榜首。
之後的第二代 Pixel 推出時，Google 也開始把關鍵賣點放在了拍照上，這款手機的評分漲到了 98 分，一舉超過同期的三星 Galaxy Note 8 和蘋果 iPhone 8 Plus 再度登頂，DxOMark 當時給出的評語是「創下智能手機相機質量的新記錄」。
連續兩次拿下榜單首位，加上媒體和用户的好評如潮，開始讓 Google 親兒子手機散發出一種神祕的吸引力。
雖然 DxOMark 的得分僅僅只是一個參考，但其中最讓人不解的是，兩代 Pixel 手機都僅憑單攝像頭就獲得了這一成績，而其它手機基本都是後置雙攝，難道 Google 的 AI 算法真的已經強大到能無視物理硬件了嗎？
▲圖片來自：Gizmodo
哪怕是在今天，新發布的 Pixel 3 手機也依舊沒有采用時下主流的雙攝乃至是三攝組合，這種「靠單攝獨步天下」的功力，除了 Google 你也很難再找到第二家了。
但現在來看，它確實有這份「任性」的資格和底氣。
Pixel 3 的攝像頭有多聰明？
在大眾用户的認知中，攝影的過程無非就是三個步驟：1）看到自己想拍的東西；2）打開相機按下快門，記錄這個瞬間；3）獲得一張靜止不動的照片。
專業攝影師就不一樣了。他們得根據現場的光照情況對應調整快門和光圈大小，選擇合適焦段的鏡頭，拍攝時會考究構圖和按快門的時機，拍完還要拿去 PS 或 LR 裏後期一下，最終才得出了我們眼中的各種「大片」。
▲圖片來自：Businessinsider
但智能手機的普及改變了這一切，不管是 Pixel 還是 iPhone 或其它手機，手機廠商都在淡化原本只有攝影師才懂的 ISO、曝光時間等數值，這些交給處理器和算法完成就好了，用户只要懂得按下快門，也能拍出一張媲美卡片機的照片。
Google 顯然也懂得這個「拍照傻瓜化」的道理，只是比起尋求專用硬件來點亮更多的技能樹，它更喜歡利用 AI 和各種堆棧算法來解決問題。
這種思路很有趣，説白了，它希望讓機器自己去學習如何才能拍得更好。
在去年的 Pixel 2 系列中，Google 專門加入了一顆名為「Pixel Visual Core」的定製圖像處理單元，這是 Google 與英特爾合作開發的 8 核心協處理器，目的是用來加速各種與 AI 拍照相關的任務，比如 Pixel 系列一貫主打的 HDR+。
而在 Pixel 3 上，這顆 Visual Core 核心也獲得了更新，它的處理速度比去年快了 40%，意味着它能對更快地處理各種繁雜的照片源數據，在機器學習的幫助下還讓 Pixel 3 解決了一些日常拍照的痛點。
首先是名為「Top Shot」的照片精選特性，它能夠在你按下快門時自動記錄前後數秒的影像，有點類似 iPhone 中的 Live Photos，但此時 AI 還會自動將「最佳時刻」打上標籤供你挑選，所以就算是你不小心拍到別人閉眼的窘態，也可以選擇其它畫面作為最終照片。
▲「Night Sight」不僅適用於後置，也適用於前置。圖片為 Google 官方樣張
至於在伸手看不清五指的場景下，Google 給出的方案是「Night Sight」夜景模式，這個功能的核心還是藉助 HDR+ 的連續採樣和多幀合成，目的是儘可能地提高照片的亮度，徹底解決「暗光拍不到」的問題。
為了強調這個模式的出眾效果，Google 在發佈會上還對隔壁 iPhone XS 進行了一番「吊打」，也不知道蘋果此時的心情是怎麼樣的。
還有一個是「Super Res Zoom」，主要是取景是變焦後圖片放大的情況，其實是將一些傳統單反中的「像素偏移模式」用在了變焦功能上。
▲ engadget 日本使用 Pixel 3 拍攝的樣張，如果放大圖中框選的部分…圖片來自：engadget
▲ 這是 Pixel 3 放大後的樣張。圖片來自：engadget
具體來説，Google 抓住了我們取景時都會輕微抖動的小細節，它會在這個過程自動根據手部運動移動感光元件，然後並連續抓拍數張照片，再借助算法進行合成。
在這個方式下，每個像素都可以獲得足夠的 RGB 信息，最終便能實現一張擁有超高解析力的照片。
按照 Android Central 的説法，哪怕是放大 8 倍，Pixel 3 的變焦照片仍然能保持和 Pixel 2 上 2 倍變焦的清晰度。這意味着就算沒有獨立的長焦鏡頭，Pixel 3 仍然可以拍出不亞於光學變焦效果的照片。
Google 延展的不止是拍照的廣度，還有拍照的深度
在 Pixel 3發佈會後，Google 的產品副總裁 Brian Rakowski 這樣説道。在他看來，Pixel 手機已經能通過傳感器獲得足夠多的信息，之後再通過機器學習等方式，同樣能產生用户所需要的照片。
本質上看，Google 是在嘗試用「計算攝影（Computational Photography）」的概念，為傳統攝影引入 AI 機器學習等高級算法，等同於是對分辨率、光照、對焦點和景深等這類圖像信息進行一次重新梳理，以此突破單攝像頭的物理邊界。
打個比方，以 Pixel 2 中的 HDR+ 為例，表面上看你用手機拍照只是打開取景器再咔嚓一聲，可暗地裏攝像頭在你打開取景器後就開始採集工作了，這些數據會實時保留在手機緩存中，並最終被合成算法所調用。
除此之外，Google 還將圖片分割成一個個獨立的方塊，保留高動態範圍和細節的同時，也會盡可能地去除模糊、鬼影和噪點。
還有像前文提到的「Top Shot」這種「先拍後選」的模式，其實也受到了計算攝影思維的影響，它們都是在用户無法感知到的底層去實現。
DPReview 近期採訪了 Pixel 的相機產品經理 Isaac Reynolds 以及計算攝影主管 Marc Levoy，他們表示，為了保證零延遲快門的體驗，當初 Pixel 2 的安全快門值設為了 1/15 秒，這樣哪怕是在最糟糕的暗光環境，HDR+ 也可以保證在 0.6 秒內對最高 9 張圖像進行合成；若是光線充足狀態下則可以縮短到 150 毫秒。
很顯然，用户是不會感知到這些後處理流程的，呈現在我們眼前的只是最終的成品照。
而在 Pixel 3 上，用於「Super Res Zoom」變焦模式的合成圖像會高達 15 張之多，而「Night Sight」夜景模式更是犧牲了零延遲快門。
它和一些國產手機的超級夜景一樣，需要你在按下快門的同時保持機身穩定，此時相機會捕捉最高 15 張照片並進行合成，每張照片的快門速度最低為 1/3 秒，由此來獲得接近 5 秒曝光效果的照片，其中因手抖而糊掉的照片也會被自動剔除。
不僅如此，考慮到黑暗環境下的糟糕光源，「Night Sight」拍攝出來的照片也會藉助機器學習來實現自動白平衡。
另一個不得不説的是自 Google Pixel 2 時代就備受好評的人像模式，雖然這款手機並沒有配備雙攝像頭，但依舊可以拍出不輸於同期雙攝旗艦的虛化照片。
實際上，它藉助的是攝像頭傳感器的 PDAF 雙像素特性，來捕獲左右兩種視覺圖像，從而得到簡單的深度信息，然後再依靠圖像分割技術，對圖像輪廓進行精準定位。
在這個過程中，Google 花了不少心思訓練了一個神經網絡模型，它會根據深度信息分辨出照片中哪些部分屬於人物，哪些部分是屬於背景的，畢竟只有分清前景和後景，算法才能對正確的區域進行虛化處理，最終才能合成一張淺景深的照片。
▲上圖為機器學習參與後的深度信息圖，下圖則是單純基於雙像素和立體算法的深度信息圖，背景椅子的部分可以看到明顯的差異。圖片來自：DPReview
在今年的 Pixel 3 上，Google 對深度映射算法又做了新的調整，通過機器學習來獲取更精準的深度圖。
從上面的對比圖中也能看到，如果只是單純基於雙像素和立體算法，碰到像掏空的玩具球、玻璃杯或是有網格欄杆這類前後景模糊的場景時，深度信息很可能會識別出錯。
但在機器學習參與後，整個虛化效果和範圍就跟以前不一樣了。
有了 AI 拍照，能讓 Pixel 手機變得和 iPhone 一樣流行嗎？
Google 是靠搜索和工具業務起家的，本質上不是一家硬件公司，即使是 Pixel 手機，它的整個重心都是圍繞服務和 AI 展開的。
所以在歷屆 Pixel 發佈會上，最出風頭的仍然是 Google 的軟件服務。演講人不會對配置做太多的介紹，更多會去強調那些「只有 Pixel 手機才能用上的功能和服務」，這其中就有各種 AI 拍照的身影。
▲圖片來自：Post and Courier
但面對蘋果、亞馬遜等巨頭公司的步步緊逼，Google 又不得不做硬件，就像 Google 的硬件負責人 Rick Osterloh 所説的那樣，他要找到更多的方法讓 Google 智能助手出現在人們面前。所以你不僅能看到 Pixel 手機，還有各種音箱、耳機與平板電腦。
這並不是一個主流的玩法，在很多人看來，智能手機是一門硬件生意，推動消費者每年換手機的動力來自更好看的外觀、更強的處理器和更多的攝像頭，各種手機產品的橫評也只是硬件參數的對比，而無法量化的軟件只能一筆帶過。
畢竟，除了 iPhone，其它主流手機都是用 Android 作為底層，跑同樣的 apk 應用，也唯獨只有硬件能做出比較大的差異。
可 Pixel 手機依舊和其它 Android 不一樣，這是 Google 親自參與的，只有它能夠將 Android 系統改造成自己想要的東西，不然你也不會看到那麼多基於底層的拍照算法。
在 AI 加持下，沒人能猜到 Pixel 手機還能帶來多少我們所不知道的玩法。
▲ 圖片來自：Nagisa Ichikawa
但 AI 並非無所不能，Pixel 3 上依舊有隻能靠硬件來實現的特性。比如説新加入的 800 萬前置廣角鏡頭，就是專門用來拍多人集體照和大場景自拍的，這兩種場景都沒辦法靠傳統的自拍鏡頭實現。
還有那顆 Visual Core 核心，如果沒有它的協助，Pixel 3 的 AI 拍照也無從談起。
歸根結底，手機中的 AI 仍然要依靠足夠的計算力來驅動，沒有優秀的硬件做基礎，軟件體驗顯然得打個對摺。
但 Google 顯然在為手機攝影帶來另一種發展方向，這也給那些原本就有強大物理硬件加持的同僚們更多啟示。當然，也無疑讓消費者們對手機拍照有了更大的期待。
題圖來源：Nagisa Ichikawa
資料來源：愛範兒（ifanr）
沒有太多硬件基因的 Google，對於智能手機產品一直有另一番理解，尤其是在拍照方面。
2016 年 10 月 5 日，Google CEO 桑達爾·皮蔡（Sundar Pichai）提出了由「移動為先」轉為「AI 為先」的口號，同日亮相的初代 Pixel 手機就是這個理念的體現。
表面上看，Pixel 使用的攝像頭和更早推出的 Nexus 6P 並沒有太大變化，大家都是一樣的 1230 萬像素和 1.55 μm 的單像素尺寸，區別僅僅是加入了相位對焦功能。
但兩者卻在 DxOMark 上獲得了完全不同的評價 —— Nexus 6P 只有不起眼的 73 分，但 Pixel 卻憑藉 89 分拿下了當時的榜首。
之後的第二代 Pixel 推出時，Google 也開始把關鍵賣點放在了拍照上，這款手機的評分漲到了 98 分，一舉超過同期的三星 Galaxy Note 8 和蘋果 iPhone 8 Plus 再度登頂，DxOMark 當時給出的評語是「創下智能手機相機質量的新記錄」。
連續兩次拿下榜單首位，加上媒體和用户的好評如潮，開始讓 Google 親兒子手機散發出一種神祕的吸引力。
雖然 DxOMark 的得分僅僅只是一個參考，但其中最讓人不解的是，兩代 Pixel 手機都僅憑單攝像頭就獲得了這一成績，而其它手機基本都是後置雙攝，難道 Google 的 AI 算法真的已經強大到能無視物理硬件了嗎？
▲圖片來自：Gizmodo
哪怕是在今天，新發布的 Pixel 3 手機也依舊沒有采用時下主流的雙攝乃至是三攝組合，這種「靠單攝獨步天下」的功力，除了 Google 你也很難再找到第二家了。
但現在來看，它確實有這份「任性」的資格和底氣。
Pixel 3 的攝像頭有多聰明？
在大眾用户的認知中，攝影的過程無非就是三個步驟：1）看到自己想拍的東西；2）打開相機按下快門，記錄這個瞬間；3）獲得一張靜止不動的照片。
專業攝影師就不一樣了。他們得根據現場的光照情況對應調整快門和光圈大小，選擇合適焦段的鏡頭，拍攝時會考究構圖和按快門的時機，拍完還要拿去 PS 或 LR 裏後期一下，最終才得出了我們眼中的各種「大片」。
▲圖片來自：Businessinsider
但智能手機的普及改變了這一切，不管是 Pixel 還是 iPhone 或其它手機，手機廠商都在淡化原本只有攝影師才懂的 ISO、曝光時間等數值，這些交給處理器和算法完成就好了，用户只要懂得按下快門，也能拍出一張媲美卡片機的照片。
Google 顯然也懂得這個「拍照傻瓜化」的道理，只是比起尋求專用硬件來點亮更多的技能樹，它更喜歡利用 AI 和各種堆棧算法來解決問題。
這種思路很有趣，説白了，它希望讓機器自己去學習如何才能拍得更好。
在去年的 Pixel 2 系列中，Google 專門加入了一顆名為「Pixel Visual Core」的定製圖像處理單元，這是 Google 與英特爾合作開發的 8 核心協處理器，目的是用來加速各種與 AI 拍照相關的任務，比如 Pixel 系列一貫主打的 HDR+。
而在 Pixel 3 上，這顆 Visual Core 核心也獲得了更新，它的處理速度比去年快了 40%，意味着它能對更快地處理各種繁雜的照片源數據，在機器學習的幫助下還讓 Pixel 3 解決了一些日常拍照的痛點。
首先是名為「Top Shot」的照片精選特性，它能夠在你按下快門時自動記錄前後數秒的影像，有點類似 iPhone 中的 Live Photos，但此時 AI 還會自動將「最佳時刻」打上標籤供你挑選，所以就算是你不小心拍到別人閉眼的窘態，也可以選擇其它畫面作為最終照片。
▲「Night Sight」不僅適用於後置，也適用於前置。圖片為 Google 官方樣張
至於在伸手看不清五指的場景下，Google 給出的方案是「Night Sight」夜景模式，這個功能的核心還是藉助 HDR+ 的連續採樣和多幀合成，目的是儘可能地提高照片的亮度，徹底解決「暗光拍不到」的問題。
為了強調這個模式的出眾效果，Google 在發佈會上還對隔壁 iPhone XS 進行了一番「吊打」，也不知道蘋果此時的心情是怎麼樣的。
還有一個是「Super Res Zoom」，主要是取景是變焦後圖片放大的情況，其實是將一些傳統單反中的「像素偏移模式」用在了變焦功能上。
▲ engadget 日本使用 Pixel 3 拍攝的樣張，如果放大圖中框選的部分…圖片來自：engadget
▲ 這是 Pixel 3 放大後的樣張。圖片來自：engadget
具體來説，Google 抓住了我們取景時都會輕微抖動的小細節，它會在這個過程自動根據手部運動移動感光元件，然後並連續抓拍數張照片，再借助算法進行合成。
在這個方式下，每個像素都可以獲得足夠的 RGB 信息，最終便能實現一張擁有超高解析力的照片。
按照 Android Central 的説法，哪怕是放大 8 倍，Pixel 3 的變焦照片仍然能保持和 Pixel 2 上 2 倍變焦的清晰度。這意味着就算沒有獨立的長焦鏡頭，Pixel 3 仍然可以拍出不亞於光學變焦效果的照片。
Google 延展的不止是拍照的廣度，還有拍照的深度
引用我們已經看過所有能選擇的鏡頭組合，單純加一顆攝像頭對我們而言並沒有好處。
在 Pixel 3發佈會後，Google 的產品副總裁 Brian Rakowski 這樣説道。在他看來，Pixel 手機已經能通過傳感器獲得足夠多的信息，之後再通過機器學習等方式，同樣能產生用户所需要的照片。
本質上看，Google 是在嘗試用「計算攝影（Computational Photography）」的概念，為傳統攝影引入 AI 機器學習等高級算法，等同於是對分辨率、光照、對焦點和景深等這類圖像信息進行一次重新梳理，以此突破單攝像頭的物理邊界。
打個比方，以 Pixel 2 中的 HDR+ 為例，表面上看你用手機拍照只是打開取景器再咔嚓一聲，可暗地裏攝像頭在你打開取景器後就開始採集工作了，這些數據會實時保留在手機緩存中，並最終被合成算法所調用。
除此之外，Google 還將圖片分割成一個個獨立的方塊，保留高動態範圍和細節的同時，也會盡可能地去除模糊、鬼影和噪點。
還有像前文提到的「Top Shot」這種「先拍後選」的模式，其實也受到了計算攝影思維的影響，它們都是在用户無法感知到的底層去實現。
DPReview 近期採訪了 Pixel 的相機產品經理 Isaac Reynolds 以及計算攝影主管 Marc Levoy，他們表示，為了保證零延遲快門的體驗，當初 Pixel 2 的安全快門值設為了 1/15 秒，這樣哪怕是在最糟糕的暗光環境，HDR+ 也可以保證在 0.6 秒內對最高 9 張圖像進行合成；若是光線充足狀態下則可以縮短到 150 毫秒。
很顯然，用户是不會感知到這些後處理流程的，呈現在我們眼前的只是最終的成品照。
而在 Pixel 3 上，用於「Super Res Zoom」變焦模式的合成圖像會高達 15 張之多，而「Night Sight」夜景模式更是犧牲了零延遲快門。
它和一些國產手機的超級夜景一樣，需要你在按下快門的同時保持機身穩定，此時相機會捕捉最高 15 張照片並進行合成，每張照片的快門速度最低為 1/3 秒，由此來獲得接近 5 秒曝光效果的照片，其中因手抖而糊掉的照片也會被自動剔除。
不僅如此，考慮到黑暗環境下的糟糕光源，「Night Sight」拍攝出來的照片也會藉助機器學習來實現自動白平衡。
另一個不得不説的是自 Google Pixel 2 時代就備受好評的人像模式，雖然這款手機並沒有配備雙攝像頭，但依舊可以拍出不輸於同期雙攝旗艦的虛化照片。
實際上，它藉助的是攝像頭傳感器的 PDAF 雙像素特性，來捕獲左右兩種視覺圖像，從而得到簡單的深度信息，然後再依靠圖像分割技術，對圖像輪廓進行精準定位。
在這個過程中，Google 花了不少心思訓練了一個神經網絡模型，它會根據深度信息分辨出照片中哪些部分屬於人物，哪些部分是屬於背景的，畢竟只有分清前景和後景，算法才能對正確的區域進行虛化處理，最終才能合成一張淺景深的照片。
▲上圖為機器學習參與後的深度信息圖，下圖則是單純基於雙像素和立體算法的深度信息圖，背景椅子的部分可以看到明顯的差異。圖片來自：DPReview
在今年的 Pixel 3 上，Google 對深度映射算法又做了新的調整，通過機器學習來獲取更精準的深度圖。
從上面的對比圖中也能看到，如果只是單純基於雙像素和立體算法，碰到像掏空的玩具球、玻璃杯或是有網格欄杆這類前後景模糊的場景時，深度信息很可能會識別出錯。
但在機器學習參與後，整個虛化效果和範圍就跟以前不一樣了。
有了 AI 拍照，能讓 Pixel 手機變得和 iPhone 一樣流行嗎？
Google 是靠搜索和工具業務起家的，本質上不是一家硬件公司，即使是 Pixel 手機，它的整個重心都是圍繞服務和 AI 展開的。
所以在歷屆 Pixel 發佈會上，最出風頭的仍然是 Google 的軟件服務。演講人不會對配置做太多的介紹，更多會去強調那些「只有 Pixel 手機才能用上的功能和服務」，這其中就有各種 AI 拍照的身影。
▲圖片來自：Post and Courier
但面對蘋果、亞馬遜等巨頭公司的步步緊逼，Google 又不得不做硬件，就像 Google 的硬件負責人 Rick Osterloh 所説的那樣，他要找到更多的方法讓 Google 智能助手出現在人們面前。所以你不僅能看到 Pixel 手機，還有各種音箱、耳機與平板電腦。
這並不是一個主流的玩法，在很多人看來，智能手機是一門硬件生意，推動消費者每年換手機的動力來自更好看的外觀、更強的處理器和更多的攝像頭，各種手機產品的橫評也只是硬件參數的對比，而無法量化的軟件只能一筆帶過。
畢竟，除了 iPhone，其它主流手機都是用 Android 作為底層，跑同樣的 apk 應用，也唯獨只有硬件能做出比較大的差異。
可 Pixel 手機依舊和其它 Android 不一樣，這是 Google 親自參與的，只有它能夠將 Android 系統改造成自己想要的東西，不然你也不會看到那麼多基於底層的拍照算法。
在 AI 加持下，沒人能猜到 Pixel 手機還能帶來多少我們所不知道的玩法。
▲ 圖片來自：Nagisa Ichikawa
但 AI 並非無所不能，Pixel 3 上依舊有隻能靠硬件來實現的特性。比如説新加入的 800 萬前置廣角鏡頭，就是專門用來拍多人集體照和大場景自拍的，這兩種場景都沒辦法靠傳統的自拍鏡頭實現。
還有那顆 Visual Core 核心，如果沒有它的協助，Pixel 3 的 AI 拍照也無從談起。
歸根結底，手機中的 AI 仍然要依靠足夠的計算力來驅動，沒有優秀的硬件做基礎，軟件體驗顯然得打個對摺。
但 Google 顯然在為手機攝影帶來另一種發展方向，這也給那些原本就有強大物理硬件加持的同僚們更多啟示。當然，也無疑讓消費者們對手機拍照有了更大的期待。
題圖來源：Nagisa Ichikawa
資料來源：愛範兒（ifanr）