雙攝像頭這麼火，手機廠商究竟看上什麼了？（上）
雷鋒網按：本文原載於知乎專欄 半導體那些事。
這兩年手機的亮點越來越少，高端智能機現在基本都不再去比拼雷兔兔，而開始PK拍照性能。於是乎，這兩年各家紛紛開始做起了雙Camera。
| 雙Camera都能做什麼？
那問題來了，雙Camera到底能做什麼？
1.雙Camera可以測距，所以可以做距離相關的應用
如上圖，由於雙Camera通過算法，可以判斷被攝物體的距離，所以通過此特性，很容易做出一些特效，如：
A： 背景虛化
單反相機最出眾的特色之一就是大光圈。由於雙Camera可以測出不同被拍攝物體的距離，對需要進行大光圈的物體對準，其他不同距離的物體虛化，可以輕鬆實現大光圈的效果。
原圖
（以美女為中心對焦，虛化背景和受傷的蘑菇）
（以蘑菇為中心對焦，虛化背景和美女）
B: 背景替換
由於可以測量距離，可以將被拍攝物體裏的主體提取出來，更換背景，就可以比PS還簡單，進行摳圖。
C: 背景特效
既然可以摳圖，只是對背景做一下處理，還是很容易的。比如，此圖就用了素描特效。
D: 測量距離
這個圖就非常明顯的標識出不同物體的距離，這個距離信息用不同顏色標識出來。當AP獲得了不同物體的距離信息，就可以做到上述的各種功能。
2. 雙Camera 可以做光學變焦
若兩個Camera的FOV不一樣，一個大FOV，一個小FOV，再通過算法實現兩個光學鏡頭之間的效果，就可以輕鬆做到光學變焦。
若不用雙Camera，放大圖片後，文字不清楚.
若使用雙Camera，放大圖片後，文字依然清楚.
此圖就是融合了廣角的圖和長焦的圖，通過算法算出了中間態度照片，讓細節不失真。
3. 暗光效果增強
這個一般使用彩色+黑白的攝像頭。通過黑白攝像頭 獲取圖片的光亮強度，來對圖片暗光補償。
4. 3D拍攝以及3D建模
不同於一般的3D電影的拍攝。手機上的兩個攝像頭無法在圖像的拍攝過程中就產生足夠的視覺差，這是由於兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯的得到3D視覺效果。所以往往需要算法進行增強。
由於可以測出距離，後續的雙Camera不僅僅可以實現3D攝影，還可以進行3D建模，到這個時候，我想雙Camera的重要性則會更加重要。
其他的效果增強，比如HDR，提高分辨率，這些功能其實單Camera也可以實現，只是雙Camera可以讓效果更好，就不一一列舉了。
小結：
目前來看，這幾個功能是雙Camera手機最常見的功能。背景虛化/更換，暗光效果給用户帶來了更多的拍照效果。光學變焦則讓我們感受了變焦功能的相機功能。但個人覺得未來最讓人激動的則是3D功能。今年VR這麼火，VR的素材哪裏來？還是得靠雙Camera算法的優化。若3D拍照和建模的算法成熟後，將會讓雙Camera 變得更加流行。
| 雙攝像頭的原理
如前面介紹，雙攝像頭的應用主要分為：距離相關的應用，光學變焦，暗光補償以及3D拍攝和建模。每種應用的原理都有些不同，我們就分別介紹一下相關的原理：
1.距離相關應用
人眼是很容易對一個物體的距離進行定位，但當人閉上其中一個眼睛後，定位能力就會下降很多。雙攝像頭就是模擬人眼的應用。簡單的説，測距離的話，就是通過算法算出，被拍攝物體與左/右攝像頭的角度θ1和θ2，再加上固定的y值（即兩個攝像頭的中心距），就非常容易算出z值（即物體到Camera的距離）
不過這也很容易推算，若兩個攝像頭中心距過小的話，可計算的物體距離就會很近。若想算出很遠距離，就必須讓左右攝像頭的距離拉遠。
2.光學變焦
光學變焦主要是左右攝像頭使用不同的FOV（可視角），這樣兩個攝像頭取景不同。當用户需要廣角照片，則用視角為85度的左攝像頭取景，獲得廣角效果。當用户需要長焦照片，則用視角為45度的右攝像頭取景，獲得長焦效果。
為了使左右攝像頭拍攝的物體重疊度高，光學變焦的雙攝像頭模組不能像做距離應用的攝像頭的模組那樣距離過大，而是需要將左右攝像頭擺得越近越好。
3.暗光增強
一般來講，做暗光增強就是將兩個攝像頭一個用RGBG的標準攝像頭，一個用去掉RGBG 濾波片的黑白攝像頭。RGBG用來獲得物體的色彩，而黑白攝像頭用來獲得更好的進光量，來判斷被拍物體的光強強度。然後將兩個圖片融合即可獲得更好的暗光增強。
只是一般來説，有兩種融合方法：
至於哪種方式更合適做融合，可能仁者見仁智者見智，就不在這展開討論了。
同樣，做暗光增強，為了讓左右攝像頭拍攝的物體重疊圖高，此類雙攝像頭模組也是要求越近越好。
需要説明的事，華為P9 其實選用的就是這個方式的模組。
當然有些業內人士也表示這種算法目前做的效果並不明顯。暗光補償對用户來的確很幫助，尤其拍夜景的時候。不過有些客户認為Sony和三星的Dual PD技術就非常好，更願意用Dual PD 攝像頭來做暗光補償。
到底是雙攝像頭還是Dual PD的暗光補償效果好，大家可以比較一下華為P9和三星的Galaxy S7 edge，就會有答案了。
4.3D拍攝和3D建模
3D拍攝和3D建模的算法其實跟距離應用有點類似，只是它的精度要求更高，甚至有時會需要用紅外測距進行更準確的距離判斷。在這裏就不詳細展開介紹了。
5.對ISP的要求
提到雙攝像頭的算法，不得不提到ISP（Image Signal Processing 圖像信號處理器），ISP主要作用是對前端圖像傳感器輸出的信號做後期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等，依賴於ISP才能在不同的光學條件下都能較好的還原現場細節，ISP技術在很大程度上決定了手機的成像質量。
功能機時代，ISP都是做在攝像頭上的，不同像素的攝像頭搭配不同性能的ISP。隨着手機攝像頭像素越來越高，對ISP性能的要求越來越高，若將ISP集成到攝像頭Sensor上，勢必造成攝像頭的模組過大，甚至影響拍照效果。所以智能機時代，ISP一般都是在主芯片SoC上。部分品牌客户為了實現更好的效果，甚至不惜成本的外加一顆ISP用來達到更好更專業的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝像頭對ISP性能要求更多。首先，為了使的左右攝像頭的信號能夠同時被處理，單一的ISP已經無法滿足雙攝像頭的需求。這就需要雙路ISP實現此功能。
以暗光增強為例，彩色/黑白圖像分別進入各自的ISP通道和校準通道，然後將兩副圖片做匹配（如將兩幅圖片相同的部分提取出來，去除只有一個攝像頭拍到的部分），然後通過遮擋，檢測，補償等算法 處理相關的圖片。最後將兩幅圖片融合起來，實現顏色的增強。當然實際上ISP配合算法做的事情，遠遠比這圖片上寫的要多。筆者實在不知道，就不在這誤導大家了。
當然，在這裏面也有一個小小的插曲。畢竟是兩個ISP，兩個ISP多少有一些處理速度，處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣，就需要雙攝像頭拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝像頭的同步信號對接，在每次讀取圖片時，將圖片都打上一個時間戳，ISP通過時間戳，保證左右攝像頭拍出來的照片在同一時間拍攝，最終再進行融合。
6.攝像頭的接口
一般來講，目前的智能手機的攝像頭接口都是MIPI接口。之前手機平台都只有2路MIPI接口，分別給前攝像頭和後攝像頭。做雙攝像頭，就要求平台至少支持三路MIPI接口。其實在之前的高端平台上，為了實現更高像素，已經用雙路ISP了（比如為了支持16M的攝像頭，會用2路8M能力的ISP），這類平台很有可能只有兩路MIPI。但這個無法阻止工程師去做前單攝像頭+後雙攝像頭。
沒錯，加一個小小的Swtich，就可以輕鬆實現雙攝像頭。
相關閲讀
雙攝像頭深度剖析（下）
雷鋒網(搜索“雷鋒網”公眾號關注)注：本文由作者張競揚授權發佈雷鋒網。張競揚，摩爾精英創始人&CEO。轉載請聯繫授權並保留出處和作者，不得刪減內容。
資料來源：雷鋒網
作者/編輯：賈智龍
這兩年手機的亮點越來越少，高端智能機現在基本都不再去比拼雷兔兔，而開始PK拍照性能。於是乎，這兩年各家紛紛開始做起了雙Camera。
| 雙Camera都能做什麼？
那問題來了，雙Camera到底能做什麼？
1.雙Camera可以測距，所以可以做距離相關的應用
如上圖，由於雙Camera通過算法，可以判斷被攝物體的距離，所以通過此特性，很容易做出一些特效，如：
A： 背景虛化
單反相機最出眾的特色之一就是大光圈。由於雙Camera可以測出不同被拍攝物體的距離，對需要進行大光圈的物體對準，其他不同距離的物體虛化，可以輕鬆實現大光圈的效果。
原圖
（以美女為中心對焦，虛化背景和受傷的蘑菇）
（以蘑菇為中心對焦，虛化背景和美女）
B: 背景替換
由於可以測量距離，可以將被拍攝物體裏的主體提取出來，更換背景，就可以比PS還簡單，進行摳圖。
C: 背景特效
既然可以摳圖，只是對背景做一下處理，還是很容易的。比如，此圖就用了素描特效。
D: 測量距離
這個圖就非常明顯的標識出不同物體的距離，這個距離信息用不同顏色標識出來。當AP獲得了不同物體的距離信息，就可以做到上述的各種功能。
2. 雙Camera 可以做光學變焦
若兩個Camera的FOV不一樣，一個大FOV，一個小FOV，再通過算法實現兩個光學鏡頭之間的效果，就可以輕鬆做到光學變焦。
若不用雙Camera，放大圖片後，文字不清楚.
若使用雙Camera，放大圖片後，文字依然清楚.
此圖就是融合了廣角的圖和長焦的圖，通過算法算出了中間態度照片，讓細節不失真。
3. 暗光效果增強
這個一般使用彩色+黑白的攝像頭。通過黑白攝像頭 獲取圖片的光亮強度，來對圖片暗光補償。
4. 3D拍攝以及3D建模
不同於一般的3D電影的拍攝。手機上的兩個攝像頭無法在圖像的拍攝過程中就產生足夠的視覺差，這是由於兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯的得到3D視覺效果。所以往往需要算法進行增強。
由於可以測出距離，後續的雙Camera不僅僅可以實現3D攝影，還可以進行3D建模，到這個時候，我想雙Camera的重要性則會更加重要。
其他的效果增強，比如HDR，提高分辨率，這些功能其實單Camera也可以實現，只是雙Camera可以讓效果更好，就不一一列舉了。
小結：
目前來看，這幾個功能是雙Camera手機最常見的功能。背景虛化/更換，暗光效果給用户帶來了更多的拍照效果。光學變焦則讓我們感受了變焦功能的相機功能。但個人覺得未來最讓人激動的則是3D功能。今年VR這麼火，VR的素材哪裏來？還是得靠雙Camera算法的優化。若3D拍照和建模的算法成熟後，將會讓雙Camera 變得更加流行。
| 雙攝像頭的原理
如前面介紹，雙攝像頭的應用主要分為：距離相關的應用，光學變焦，暗光補償以及3D拍攝和建模。每種應用的原理都有些不同，我們就分別介紹一下相關的原理：
1.距離相關應用
人眼是很容易對一個物體的距離進行定位，但當人閉上其中一個眼睛後，定位能力就會下降很多。雙攝像頭就是模擬人眼的應用。簡單的説，測距離的話，就是通過算法算出，被拍攝物體與左/右攝像頭的角度θ1和θ2，再加上固定的y值（即兩個攝像頭的中心距），就非常容易算出z值（即物體到Camera的距離）
不過這也很容易推算，若兩個攝像頭中心距過小的話，可計算的物體距離就會很近。若想算出很遠距離，就必須讓左右攝像頭的距離拉遠。
2.光學變焦
光學變焦主要是左右攝像頭使用不同的FOV（可視角），這樣兩個攝像頭取景不同。當用户需要廣角照片，則用視角為85度的左攝像頭取景，獲得廣角效果。當用户需要長焦照片，則用視角為45度的右攝像頭取景，獲得長焦效果。
為了使左右攝像頭拍攝的物體重疊度高，光學變焦的雙攝像頭模組不能像做距離應用的攝像頭的模組那樣距離過大，而是需要將左右攝像頭擺得越近越好。
3.暗光增強
一般來講，做暗光增強就是將兩個攝像頭一個用RGBG的標準攝像頭，一個用去掉RGBG 濾波片的黑白攝像頭。RGBG用來獲得物體的色彩，而黑白攝像頭用來獲得更好的進光量，來判斷被拍物體的光強強度。然後將兩個圖片融合即可獲得更好的暗光增強。
只是一般來説，有兩種融合方法：
引用1.以黑白圖片為主體，將彩色圖片上獲取的每個像素的顏色貼至黑白圖片上，將兩種圖片融合。
2.以彩色圖片為主體，將黑白圖片上獲取的每個圖像的光亮強度補償到彩色照片上，將兩種圖片融合。
至於哪種方式更合適做融合，可能仁者見仁智者見智，就不在這展開討論了。
同樣，做暗光增強，為了讓左右攝像頭拍攝的物體重疊圖高，此類雙攝像頭模組也是要求越近越好。
需要説明的事，華為P9 其實選用的就是這個方式的模組。
當然有些業內人士也表示這種算法目前做的效果並不明顯。暗光補償對用户來的確很幫助，尤其拍夜景的時候。不過有些客户認為Sony和三星的Dual PD技術就非常好，更願意用Dual PD 攝像頭來做暗光補償。
到底是雙攝像頭還是Dual PD的暗光補償效果好，大家可以比較一下華為P9和三星的Galaxy S7 edge，就會有答案了。
4.3D拍攝和3D建模
3D拍攝和3D建模的算法其實跟距離應用有點類似，只是它的精度要求更高，甚至有時會需要用紅外測距進行更準確的距離判斷。在這裏就不詳細展開介紹了。
5.對ISP的要求
提到雙攝像頭的算法，不得不提到ISP（Image Signal Processing 圖像信號處理器），ISP主要作用是對前端圖像傳感器輸出的信號做後期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等，依賴於ISP才能在不同的光學條件下都能較好的還原現場細節，ISP技術在很大程度上決定了手機的成像質量。
功能機時代，ISP都是做在攝像頭上的，不同像素的攝像頭搭配不同性能的ISP。隨着手機攝像頭像素越來越高，對ISP性能的要求越來越高，若將ISP集成到攝像頭Sensor上，勢必造成攝像頭的模組過大，甚至影響拍照效果。所以智能機時代，ISP一般都是在主芯片SoC上。部分品牌客户為了實現更好的效果，甚至不惜成本的外加一顆ISP用來達到更好更專業的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝像頭對ISP性能要求更多。首先，為了使的左右攝像頭的信號能夠同時被處理，單一的ISP已經無法滿足雙攝像頭的需求。這就需要雙路ISP實現此功能。
以暗光增強為例，彩色/黑白圖像分別進入各自的ISP通道和校準通道，然後將兩副圖片做匹配（如將兩幅圖片相同的部分提取出來，去除只有一個攝像頭拍到的部分），然後通過遮擋，檢測，補償等算法 處理相關的圖片。最後將兩幅圖片融合起來，實現顏色的增強。當然實際上ISP配合算法做的事情，遠遠比這圖片上寫的要多。筆者實在不知道，就不在這誤導大家了。
當然，在這裏面也有一個小小的插曲。畢竟是兩個ISP，兩個ISP多少有一些處理速度，處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣，就需要雙攝像頭拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝像頭的同步信號對接，在每次讀取圖片時，將圖片都打上一個時間戳，ISP通過時間戳，保證左右攝像頭拍出來的照片在同一時間拍攝，最終再進行融合。
6.攝像頭的接口
一般來講，目前的智能手機的攝像頭接口都是MIPI接口。之前手機平台都只有2路MIPI接口，分別給前攝像頭和後攝像頭。做雙攝像頭，就要求平台至少支持三路MIPI接口。其實在之前的高端平台上，為了實現更高像素，已經用雙路ISP了（比如為了支持16M的攝像頭，會用2路8M能力的ISP），這類平台很有可能只有兩路MIPI。但這個無法阻止工程師去做前單攝像頭+後雙攝像頭。
沒錯，加一個小小的Swtich，就可以輕鬆實現雙攝像頭。
相關閲讀
雙攝像頭深度剖析（下）
雷鋒網(搜索“雷鋒網”公眾號關注)注：本文由作者張競揚授權發佈雷鋒網。張競揚，摩爾精英創始人&CEO。轉載請聯繫授權並保留出處和作者，不得刪減內容。
資料來源：雷鋒網
作者/編輯：賈智龍