讓 iPhone 拍照能力大升級的計算攝影，相機為什麼不用？
在 iPhone 11 系列的發佈會上，蘋果高級副總裁菲利普・席勒（Philip W. Schiller）在介紹 iPhone 11 Pro 系列的影像系統時，第一次將計算攝影的概念引入，這個概念也第一次被大眾所熟知。
其實，計算攝影這個概念並不新鮮，最早出現在 94 年就的一篇公開論文中，且認定機內合成 HDR、全景照片以及模擬散景都屬於計算攝影範疇。但當時照片的主流載體還是膠片，數碼相機才剛剛起步，手機上還沒有攝像頭。
▲ iPhone 11 Pro 發佈會上介紹計算攝影的菲利普・席勒（Philip W. Schiller）. 圖片來自：Apple
幾十年後，影像記錄的載體從膠片換成數字，手機擁有了攝像頭，計算攝影也從理論中走出，漸漸成為一大潮流。
不過這這潮流跟相機關係不大，相機廠商依然按部就班的提高像素、連拍速度和視頻能力，似乎對計算攝影兩耳不聞，拍出來的照片（直出）依舊很平庸，漸漸被智能手機「超越」。
與之相反的是， 智能手機芯片的算力越來越強，AI、算法、機器學習介入的範圍也更廣，圖像的演繹方法越來越多，最終經過一系列「算法」處理過的照片也愈發好看。
現在，很多人出門更願意用手機記錄、分享，而相機越來越少見，這也反應在二者的市場表現上，智能手機市場增速強勁，相機市場則連年萎縮，甚至 DC（卡片相機）都漸漸消失。
這時，就有人會問了，既然智能手機隨手一拍所得照片的觀感這麼好，為何傳統的相機廠商不去跟隨計算攝影的潮流，考慮提高照片直出的觀感呢？
是相機算力不夠，算不過來？
這個問題我們先從「核心」談起。
手機的核心是 SoC，它集成了 CPU、GPU、ISP、NPU 以及基帶等，可以讓你打電話、拍照、看視頻、玩遊戲、上網等操作，也直接決定了手機的性能。
而相機的核心部件是圖像傳感器（CMOS），除了元件面積外，跟手機差不多，作成像與感光。另外，控制整套相機系統的中央處理芯片叫做圖像處理器（Image Processor）。
以索尼的 BIONZ X 圖像處理器為例（α7 系列御用），它包括 SoC 和 ISP 芯片，並沒有將 ISP 集成在 SoC 內，優點是索尼可以自行根據 CMOS 的性能需求，而自行增加 ISP 芯片的數量（α7RIII 的 BIONZ X 就配備了雙 ISP），缺點就是集成化程度沒有手機那麼高。
BIONZ X 中 SoC 的作用跟手機的類似，控制操控界面與相機功能，性能要求並不高。對圖像傳感器採集的「數據」進行拜爾轉型、解馬賽克、降噪、鋭化等操作，多是依靠 ISP，最終把 CMOS 採集的數據轉換成相機的實時取景。在這個過程中，相機的 ISP 不涉及計算過程，只是把照片當做流水線上的產品，進行統一的處理。
▲ 索尼 BIONZ X 圖像處理器. 圖片來自：SONY
隨着現在相機的像素數、連拍速度以及視頻性能不斷提升，相機的圖像處理器對圖片處理的速度和吞吐量需求很高，單一的數據量很龐大，在不涉及「計算」的前提下，相機圖像處理器的處理能力遠超過現在智能手機 ISP 的處理能力。
但説到計算攝影，或者説 AI 能力，就有些不太一樣了。智能手機的成像過程有些類似相機，不過在呈現最終畫面之前，還需要 ISP、DSP 的計算，實時調整、優化，尤其是在多攝系統成為主流後，手機的計算數據量成倍增長。
在 iPhone 11 Pro 系列推出多攝系統後，多攝系統能夠平滑、無縫切換的背後是 A13 Bionic 中新增的兩個機器學習加速器龐大的數據處理能力，達到了每秒一萬億次，如此高頻高效的數據處理能力才算是吃下了三個攝像頭所產生的龐大數據量。
相機的圖像處理器多是對原始數據進行預處理，幾乎沒有計算的過程，而手機 SoC 則包括數據採集預處理以及後續的計算過程，二者着重的方向不同。
面向羣體不同，市場細分的結果
手機計算攝影發展很快，根源還是因手機的圖像傳感器（CMOS）尺寸太小，以現在的技術，想要在物理上超過或者接近相機只能通過算法優化，拼直出觀感，比如説，自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。
▲ 拍攝一張照片，iPhone 所做的「計算」過程. 圖片來自：Apple
但這些算法的演繹，做到可以「個性化」干預還是很難，比如説濾鏡加到什麼程度，HDR 高光暗部保留到什麼程度等。不過，對於面向大眾人羣的手機而言，儘可能讓大多數人拍出不錯的照片，更加符合手機的市場定位和人羣定位。
自相機發明以來，相機就有着絕對的「工具」屬性，為了高效，外觀、操控、功能等等均會向效率妥協。面向更小眾的職業人羣，自然也會更符合他們的需求，相機們會盡可能的記錄色深、色彩、光線等信息，以便使用者進行更大範圍的後期調整，直出好不好看，並不在他們的需求裏。
▲ RAW 文件內記錄了更多的信息，可以進行更大範圍的調整. 圖片來自：Ben Sandofsky
對於大多數沒有攝影基礎的人來説，隨手獲得一張觀感不錯的照片，遠比得到一張信息豐富的照片更加重要。而對於面向專業領域的相機廠商們，提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。
不過，事情並非那麼絕對，相機們也在嘗試改變。富士就一直致力於相機的直出效果，引入了「膠片模擬」，透過不同的算法，讓拍出的照片更有味道，觀感也更為好看。但這過程並沒有經過場景計算，而是需使用者自行選擇，這與手機的一些膠片模擬 App 有些類似，涉及不到所謂的「計算攝影」。
AI 後期，才是相機的大方向？
攝影領域中，後期處理是必不可少的步驟，一方面，後期軟件可以充分利用 RAW 格式中所記錄的豐富信息，另一方面也可藉助 PC 的高性能和算力來對照片快速處理。
與相機廠商不同，幾乎主流的專業後期軟件都已開始在 AI 上發力，強調 AI 的處理能力。
▲ 後期軟件 Luminar 4 支持 AI 自動換天. 圖片來自：Luminar
Adobe 公司的 Photoshop 在近幾個版本的更新中，在摳圖、修復、磨皮等操作中加入了自動識別功能，使得操作越來越無腦，效果越來越精確。而 Mac 平台上的 Pixelmator Pro 修圖軟件，早在 2018 年就開始藉助蘋果的 Core ML 機器學習進行識別圖像，從而進行色彩調整、摳圖、選取，甚至在壓縮輸出時，都運用了 ML 機器學習引擎。
▲ Pixelmator Pro 2.0 的圖像編輯支持機器學習引擎助力. 圖片來自：Pixelmator
前文所提，現在相機廠商由於芯片 AI 算力限制，和麪對小眾市場問題，幾乎沒有在計算攝影上發力。但後期軟件在 AI 上的爆發，也算是在側面彌補了相機們在計算攝影上的短板。
即使算上後期軟件的 AI，相機們依然沒有擺脱傳統的流程，相機們記錄，軟件們處理，這個過程對於大眾們來説，依然繁瑣。對於專業的攝影玩家，後期軟件 AI 的介入，的確能夠減少工作量，讓原本繁複的摳圖等操作變得輕鬆不少，但依然無法扭轉傳統攝影行業的照片處理（創作）流程，與手機截然不同。
▲ 2020 年 9 月全球數碼相機出貨量，遠不及 2018 年. 圖片來自：CIPA
根據 CIPA 的數據，相機市場正逐步萎縮，與之相反的是，手機市場不斷的增長。智能手機上成為潮流的「計算攝影」，並不會改變相機日趨專業的方向，也不會扭轉相機市場逐步萎縮的局面。
換句話説，即使現在相機們有着與智能手機接近的「計算攝影」能力，就能挽救「江河日下」的相機市場嗎？答案當然是否定的，舉個極端的例子，拼直出可行的話，那富士相機會有着第一的市場份額。事實上，現在無反相機第一的寶座，反而被直出並不好看的索尼佔據着。
▲ 索尼微單已成為不少工作室的工作用機. 圖片來自：SmallRig
面對來勢洶洶的手機們，相機們只能向着更專業的方向發展，不斷的向上細分市場，近些年全畫幅的 4000 萬、6000 萬高像素，中畫幅的過億像素，以及微單視頻能力不斷接近專業攝錄一體機，都是相機細分市場的產物。
相機專業化越來越強，也就意味着需要性能更佳的圖像傳感器（CMOS），但「計算攝影」倚重單獨的機器學習模塊，眾所周知，芯片的研發成本高、風險大，相機廠商們難以兼顧二者。計算攝影和發展專業化是兩條不同的道路，同時，對於專業用户用處不大的「計算攝影」、「AI 干預」等特性，相機廠商大概率因平衡研發費用，暫時被戰略性放棄。
在現階段或者可見的未來內，想要相機廠商去擁抱「計算攝影」風險高、投資大，成效慢，是難上加難，更別説現在還有一眾專業後期軟件用 AI 修圖來託底了。
資料來源：愛範兒（ifanr）
其實，計算攝影這個概念並不新鮮，最早出現在 94 年就的一篇公開論文中，且認定機內合成 HDR、全景照片以及模擬散景都屬於計算攝影範疇。但當時照片的主流載體還是膠片，數碼相機才剛剛起步，手機上還沒有攝像頭。
▲ iPhone 11 Pro 發佈會上介紹計算攝影的菲利普・席勒（Philip W. Schiller）. 圖片來自：Apple
幾十年後，影像記錄的載體從膠片換成數字，手機擁有了攝像頭，計算攝影也從理論中走出，漸漸成為一大潮流。
不過這這潮流跟相機關係不大，相機廠商依然按部就班的提高像素、連拍速度和視頻能力，似乎對計算攝影兩耳不聞，拍出來的照片（直出）依舊很平庸，漸漸被智能手機「超越」。
與之相反的是， 智能手機芯片的算力越來越強，AI、算法、機器學習介入的範圍也更廣，圖像的演繹方法越來越多，最終經過一系列「算法」處理過的照片也愈發好看。
現在，很多人出門更願意用手機記錄、分享，而相機越來越少見，這也反應在二者的市場表現上，智能手機市場增速強勁，相機市場則連年萎縮，甚至 DC（卡片相機）都漸漸消失。
這時，就有人會問了，既然智能手機隨手一拍所得照片的觀感這麼好，為何傳統的相機廠商不去跟隨計算攝影的潮流，考慮提高照片直出的觀感呢？
是相機算力不夠，算不過來？
這個問題我們先從「核心」談起。
手機的核心是 SoC，它集成了 CPU、GPU、ISP、NPU 以及基帶等，可以讓你打電話、拍照、看視頻、玩遊戲、上網等操作，也直接決定了手機的性能。
而相機的核心部件是圖像傳感器（CMOS），除了元件面積外，跟手機差不多，作成像與感光。另外，控制整套相機系統的中央處理芯片叫做圖像處理器（Image Processor）。
以索尼的 BIONZ X 圖像處理器為例（α7 系列御用），它包括 SoC 和 ISP 芯片，並沒有將 ISP 集成在 SoC 內，優點是索尼可以自行根據 CMOS 的性能需求，而自行增加 ISP 芯片的數量（α7RIII 的 BIONZ X 就配備了雙 ISP），缺點就是集成化程度沒有手機那麼高。
BIONZ X 中 SoC 的作用跟手機的類似，控制操控界面與相機功能，性能要求並不高。對圖像傳感器採集的「數據」進行拜爾轉型、解馬賽克、降噪、鋭化等操作，多是依靠 ISP，最終把 CMOS 採集的數據轉換成相機的實時取景。在這個過程中，相機的 ISP 不涉及計算過程，只是把照片當做流水線上的產品，進行統一的處理。
▲ 索尼 BIONZ X 圖像處理器. 圖片來自：SONY
隨着現在相機的像素數、連拍速度以及視頻性能不斷提升，相機的圖像處理器對圖片處理的速度和吞吐量需求很高，單一的數據量很龐大，在不涉及「計算」的前提下，相機圖像處理器的處理能力遠超過現在智能手機 ISP 的處理能力。
但説到計算攝影，或者説 AI 能力，就有些不太一樣了。智能手機的成像過程有些類似相機，不過在呈現最終畫面之前，還需要 ISP、DSP 的計算，實時調整、優化，尤其是在多攝系統成為主流後，手機的計算數據量成倍增長。
在 iPhone 11 Pro 系列推出多攝系統後，多攝系統能夠平滑、無縫切換的背後是 A13 Bionic 中新增的兩個機器學習加速器龐大的數據處理能力，達到了每秒一萬億次，如此高頻高效的數據處理能力才算是吃下了三個攝像頭所產生的龐大數據量。
相機的圖像處理器多是對原始數據進行預處理，幾乎沒有計算的過程，而手機 SoC 則包括數據採集預處理以及後續的計算過程，二者着重的方向不同。
面向羣體不同，市場細分的結果
手機計算攝影發展很快，根源還是因手機的圖像傳感器（CMOS）尺寸太小，以現在的技術，想要在物理上超過或者接近相機只能通過算法優化，拼直出觀感，比如説，自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。
▲ 拍攝一張照片，iPhone 所做的「計算」過程. 圖片來自：Apple
但這些算法的演繹，做到可以「個性化」干預還是很難，比如説濾鏡加到什麼程度，HDR 高光暗部保留到什麼程度等。不過，對於面向大眾人羣的手機而言，儘可能讓大多數人拍出不錯的照片，更加符合手機的市場定位和人羣定位。
自相機發明以來，相機就有着絕對的「工具」屬性，為了高效，外觀、操控、功能等等均會向效率妥協。面向更小眾的職業人羣，自然也會更符合他們的需求，相機們會盡可能的記錄色深、色彩、光線等信息，以便使用者進行更大範圍的後期調整，直出好不好看，並不在他們的需求裏。
▲ RAW 文件內記錄了更多的信息，可以進行更大範圍的調整. 圖片來自：Ben Sandofsky
對於大多數沒有攝影基礎的人來説，隨手獲得一張觀感不錯的照片，遠比得到一張信息豐富的照片更加重要。而對於面向專業領域的相機廠商們，提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。
不過，事情並非那麼絕對，相機們也在嘗試改變。富士就一直致力於相機的直出效果，引入了「膠片模擬」，透過不同的算法，讓拍出的照片更有味道，觀感也更為好看。但這過程並沒有經過場景計算，而是需使用者自行選擇，這與手機的一些膠片模擬 App 有些類似，涉及不到所謂的「計算攝影」。
AI 後期，才是相機的大方向？
攝影領域中，後期處理是必不可少的步驟，一方面，後期軟件可以充分利用 RAW 格式中所記錄的豐富信息，另一方面也可藉助 PC 的高性能和算力來對照片快速處理。
與相機廠商不同，幾乎主流的專業後期軟件都已開始在 AI 上發力，強調 AI 的處理能力。
▲ 後期軟件 Luminar 4 支持 AI 自動換天. 圖片來自：Luminar
Adobe 公司的 Photoshop 在近幾個版本的更新中，在摳圖、修復、磨皮等操作中加入了自動識別功能，使得操作越來越無腦，效果越來越精確。而 Mac 平台上的 Pixelmator Pro 修圖軟件，早在 2018 年就開始藉助蘋果的 Core ML 機器學習進行識別圖像，從而進行色彩調整、摳圖、選取，甚至在壓縮輸出時，都運用了 ML 機器學習引擎。
▲ Pixelmator Pro 2.0 的圖像編輯支持機器學習引擎助力. 圖片來自：Pixelmator
前文所提，現在相機廠商由於芯片 AI 算力限制，和麪對小眾市場問題，幾乎沒有在計算攝影上發力。但後期軟件在 AI 上的爆發，也算是在側面彌補了相機們在計算攝影上的短板。
即使算上後期軟件的 AI，相機們依然沒有擺脱傳統的流程，相機們記錄，軟件們處理，這個過程對於大眾們來説，依然繁瑣。對於專業的攝影玩家，後期軟件 AI 的介入，的確能夠減少工作量，讓原本繁複的摳圖等操作變得輕鬆不少，但依然無法扭轉傳統攝影行業的照片處理（創作）流程，與手機截然不同。
▲ 2020 年 9 月全球數碼相機出貨量，遠不及 2018 年. 圖片來自：CIPA
根據 CIPA 的數據，相機市場正逐步萎縮，與之相反的是，手機市場不斷的增長。智能手機上成為潮流的「計算攝影」，並不會改變相機日趨專業的方向，也不會扭轉相機市場逐步萎縮的局面。
換句話説，即使現在相機們有着與智能手機接近的「計算攝影」能力，就能挽救「江河日下」的相機市場嗎？答案當然是否定的，舉個極端的例子，拼直出可行的話，那富士相機會有着第一的市場份額。事實上，現在無反相機第一的寶座，反而被直出並不好看的索尼佔據着。
▲ 索尼微單已成為不少工作室的工作用機. 圖片來自：SmallRig
面對來勢洶洶的手機們，相機們只能向着更專業的方向發展，不斷的向上細分市場，近些年全畫幅的 4000 萬、6000 萬高像素，中畫幅的過億像素，以及微單視頻能力不斷接近專業攝錄一體機，都是相機細分市場的產物。
相機專業化越來越強，也就意味着需要性能更佳的圖像傳感器（CMOS），但「計算攝影」倚重單獨的機器學習模塊，眾所周知，芯片的研發成本高、風險大，相機廠商們難以兼顧二者。計算攝影和發展專業化是兩條不同的道路，同時，對於專業用户用處不大的「計算攝影」、「AI 干預」等特性，相機廠商大概率因平衡研發費用，暫時被戰略性放棄。
在現階段或者可見的未來內，想要相機廠商去擁抱「計算攝影」風險高、投資大，成效慢，是難上加難，更別説現在還有一眾專業後期軟件用 AI 修圖來託底了。
資料來源：愛範兒（ifanr）