單攝也能拍虛化照片，新 iPhone SE 是怎麼做到的？
用單攝像頭去實現虛化拍照並不是什麼新鮮事，之前的 iPhone XR 以及更早的 Google Pixel 2 都有過類似的嘗試。
蘋果新推出的 iPhone SE 也是如此，但它的攝像頭元件過於老舊，主要功勞還是在新算法上。
▲ 從左到右，分別是新 iPhone SE、iPhone 8 和 iPhone XR 的攝像頭傳感器
從 iFixit 的拆解報告可以得知，新款 iPhone SE 中的某些零部件和 iPhone 8 完全相同，甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角攝像頭。
「舊瓶裝新酒」的做法對 iPhone SE 而言並不稀奇，倒退回四年前，第一代 iPhone SE 也套用了 5s 的外觀和大部分硬件，只是在芯片上保持和 6s 一致，從而讓用户能夠以更低的價格獲得旗艦機的性能體驗。
理論上，照搬相同的攝像頭硬件，兩者的拍照特性應該也不會有太大差異。比如説 iPhone 8 就不支持拍主體清晰、背景模糊的小景深照片，也就是我們常説的「人像模式」。
但查閲蘋果的支持頁面時你會發現，iPhone 8 所不支持的人像模式，卻被新款 iPhone SE 支持了——哪怕兩者都只有一顆後置鏡頭，且規格完全一樣。
正常情況下，手機拍「人像模式」這樣的虛化照片都得靠雙攝來完成——好比是人類的雙眼，兩個位置不同的鏡頭會獲取兩張不同角度的畫面，然後結合視角差估算出景深，從而實現背景虛化，保持主體清晰。
如今列表上的 Plus 系列，或是近幾年的 X、 XS 和 11 等，基本都是靠多攝系統來完成人像虛化拍攝。
那麼 iPhone 的前置單攝又是怎麼解決的？核心在於 Face ID 系統中的紅外點陣投影器，它也可以獲取足夠精準的深度數據，相當於是一顆「輔助鏡頭」。
這麼來看，iPhone SE 能拍人像模式照片就很特殊了：一來，它沒有多攝，二來它也沒有 Face ID，基本不存在硬件支持的可能性。
很顯然，蘋果在軟件層面做了些我們看不到的改動。
最近，第三方相機應用 Halide 的開發者 Ben Sandofsky 就透露了其中的技術原理，解釋為什麼新 iPhone SE 採用了和 iPhone 8 一樣的單鏡頭規格，但卻可以做到後者所無法實現的人像拍照模式。
他們表示，新 iPhone SE 很可能是「第一款只使用單一的 2D 圖像，就可以生成人像虛化效果的 iPhone」。
你可能會反駁，iPhone XR 不也是單攝拍虛化的嗎，難道 SE 不是照搬它的方案？
然而拆解的情況證明， iPhone SE 和 iPhone XR 的攝像頭並不一致，這也導致兩者在技術上存在差異。
▲ 三星 Galaxy S7 系列是首個將 DPAF 技術運用在智能手機攝像頭上的設備
最重要的一點，iPhone XR 的攝像頭可以使用雙像素自動對焦（DPAF）技術來獲得一定的深度數據，而不是完全只靠軟件來模擬。
簡單來説，DPAF 技術相當於將攝像頭傳感器上的像素點，分割成兩個更小的並排像素，去捕捉兩張角度不同的照片，就像是我們的左右雙眼一樣。
雖然這產生的視角差不如原生雙攝那麼明顯，但仍有利於算法去構建深度信息。
▲ Google Pixel 2、3 使用 DPAF 技術獲得的兩張視差圖，肉眼難以感知，但仍可以幫助圖像分割算法做出判斷
此前，Google 在 Pixel 2、3 上也運用了這樣的技術來實現單攝虛化。而在 Pixel 4 上，由於該機換成了多攝規格，視差探測明顯比單攝更精準。
▲ 再來看看 Pixel 4 靠兩顆攝像頭獲得的數據，視差更明顯，也能收集到更精準的數據
至於新 iPhone SE，由於它的傳感器過於老舊，Halide 稱它無法依靠傳感器來獲取視差圖，基本只能靠 A13 Bionic 芯片所提供的機器學習算法，去模擬和生成深度數據圖。
一句話解釋就是，iPhone SE 的人像虛化拍攝，真的就是完全在靠軟件和算法實現的。
▲用 iPhone XR 和新 iPhone SE 直接對着這張照片拍攝
Halide 用 iPhone XR 和新 iPhone SE 分別拍攝了一張小狗的照片（並非實拍，只是給「一張照片」拍照），然後對比兩張圖的深度數據。
他們發現，iPhone XR 僅僅是做了簡單的圖像分割，將主體摳了出來，但並沒有正確識別出小狗的耳朵。
▲ 深度數據圖，左邊是 iPhone XR，右邊是新 iPhone SE
但在新 iPhone SE 上，配合 A13 芯片所提供的全新算法，我們則得到了一張完全不同於 XR 的深度圖。它不僅正確識別出了小狗的耳朵和整體輪廓，還針對不同遠近的背景做了分層處理。
這種深度圖並不是 100% 準確的，Halide 表示，新 iPhone SE 在拍攝非人臉題材的虛化照片時，摳圖和虛化的精準度明顯沒有拍人像時來得精準。
尤其是在一些主體和背景圖十分模糊的情況下，此時多攝像頭的優勢會更明顯些。
▲ 在這類非人臉題材，且主體和背景沒有明顯分割的場景下，新 iPhone SE 的虛化就很容易出錯
從這張圖可以看到，配備了多攝系統的 iPhone 11 Pro，不僅能將圓木上小植物輪廓完整地勾出來，而且還能對識別出背景的遠近距離，並做出分層處理。
▲ 深度數據圖，左邊是 iPhone 11 Pro，右邊是新 iPhone SE
而在新 iPhone SE 上，儘管同樣有分層處理的結果，但被攝主體和背景已經完全融在了一起，後期虛化時自然會比 iPhone 11 Pro 差不少。
▲ 實際的虛化樣張，左邊是 iPhone 11 Pro，右邊是新 iPhone SE
這也是為什麼，現在新 iPhone SE 使用 iOS 自帶相機應用時，只有在檢測到人臉的情況下，才能啟用「人像模式」拍虛化照片，其餘情況則會出現錯誤提示，這點和之前的 iPhone XR 一樣。
原因仍然和蘋果自己的算法有關。Halide 提及了一個名為「Portrait Effects Matte」（人像效果遮罩）的技術，主要用於在人像模式拍照中尋找出精確的人物輪廓，包括邊緣的髮絲、眼鏡框等細節，以便對主體和背景進行分割。
但目前來看，這套基於機器學習的分割技術更多是為「拍人」準備的，它的確可以彌補 iPhone XR 、iPhone SE 這類單攝手機在視差數據上的不足，但如果拍攝對象從人物換成其它物體，算法也會出現一定概率的判定錯誤。
至於像 iPhone 11 Pro 這類多攝手機，就算摳圖算法有侷限性，但還是可以通過攝像頭硬件直接獲得視差數據，所以它們在使用自帶相機時，也能將人像模式用在非人臉場景中，效果也不會太差。
▲ 新 iPhone SE 的前置鏡頭也支持人像模式，對人臉的摳圖精度非常高，成像差異只是在散景效果上
當然，官方不支持的東西，第三方開發者還是可以拿來加以改造。如今 Halide 應用就支持 iPhone XR、SE 去拍攝小動物或其它物體的虛化照片，背後也是利用了蘋果的人像效果遮罩技術來構建深度圖，同時配合自己的後端優化。
▲ 使用 Halide 這樣的第三方應用，就可以用新 iPhone SE 拍非人臉題材的虛化照片
總得來看，本次新 iPhone SE 所實現的人像虛化拍照，算是單攝手機靠軟件優化所能做到的極限了。嚴格意義上，這其實也得歸功於那顆 A13 芯片，如果不是它帶來了最新的機器學習算法，單靠一顆過時的攝像頭，SE 的拍攝體驗顯然得打個對摺。
這也多少證明，智能手機發展多攝系統仍然是有意義的。我們可以用超廣角來拓寬取景視野，可以靠潛望式長焦穫得無損變焦照片，更別説 ToF、激光雷達這類「特殊鏡頭」對 AR 增強現實的探測幫助，這些都不是單純靠一個 OTA 升級，或是算法就能實現的特性。
當然，一味地吹噓、比拼攝像頭數量同樣令人厭煩，如果説硬件只是決定了成像的下限，那麼一套優秀的算法，則可以顯著拉昇成像的上限，甚至是重新壓榨出老硬件的價值和潛力。
不知道再等個四年，下一代 iPhone SE 面世時，單攝還能否在手機行業留有一席之地？
題圖來源：Apple
資料來源：愛範兒（ifanr）