砍掉 20% 劉海，蘋果「擠牙膏」的背後：屏下 3D 視覺技術的苦與痛
剛過不久的蘋果發佈會上，新 iPhone 的亮點之一是：劉海砍掉了20%。
對於“苦劉海久矣”的人而言，20%幾乎沒什麼變化，因而也被調侃成擠牙膏式的設計。
不過，侃歸侃，從技術層面來講，這20%其實來之不易。
因為在這片劉海里，一共有前置攝像頭、麥克風、激光發射器等8個重要元器件。其中對於 Face ID 功能和前置攝像起着決定作用的元器件主要有兩個部分：激光發射器模組和接收裝置。
“從結構光的基礎原理來看，激光發射器和接收裝置之間必須要隔有一定距離，才能保持成像精度，而且等效距離越長，精度越高，反之亦然。這是蘋果保留劉海的根本原因。”光鑑科技首席科學家呂方璐告訴 AI 掘金志。
此前，在iPhone 12上，這一距離大約是27毫米。此次劉海縮減了20%，蘋果官方表示，這“得益於傳感器重排、微縫聽筒等技術引入”。
“如果要縮短等效距離且保持精度，技術方面的難度很大。”呂方璐表示，蘋果應該是採取了另一種方法，即通過積累的人臉數據來優化其3D 人臉算法模型，放寬對3D 成像的精度要求。
換句話説，就是用算法來彌補傳感器重排帶來的數據感知導致的精度問題，這其實是一種取巧的辦法，要求也比較高，要有大量的人臉數據做支撐，對算法持續優化。
但這種方法不具備可複製性，一是算法本身存在缺陷，需要不斷利用數據進行反饋和調整；二是現在人臉數據集採的監管日趨嚴格。
實際上，最佳的解決方法是將原有的相機模組，放入屏下，即行業經常提及的“屏下結構光解決方案”。這既符合全面屏的發展趨勢，又能解決因縮短激光發射器和接收裝置距離造成的成像精度低這一問題。
早在今年2月份，光鑑科技就和中興手機推出了全球首款屏下結構光技術，引起輿論重視。呂方璐表示，屏下3D 技術已達量產要求，但該技術在具體機型上還涉及到產品化的開發和優化，因而未能實際量產。並且，屏下3D 技術也還有一些問題需要解決。
透光率：屏下結構光的阿克琉斯之踵
在説屏下結構光之前，先簡單談談 iPhone 3D 結構光的技術原理。
3D結構光模組包括髮射端（點陣投影器和泛光感應元件）和接收端（紅外攝像頭），原理如下：
1）激光發射器發出特定波長的近紅外光，形成橫截面積很窄的平行光束，經過擴束器後，其橫截面積均勻放大；
2）放大後的光束，通過準直鏡頭實現平行，從而均勻入射在光學衍生元件（DOE）上，光束在經過該器件時會形成特定的光學圖案，經過投影透鏡後發射出去；
3）這些光束在投射到物體表面時，光信號會產生變化；
4）接收端（攝像頭）在接收到這些變化後，會計算物體的位置及深度等信息，再經過特定的算法來複原三維空間。
泛光照射器由低功率VCSEL激光器和擴散片等組成，其作用是發射不可見的紅外光線，使得紅外攝像頭在黑暗中也能接收反射自面部的點陣圖案。
屏下結構光，其實就是將包含這些元器件的相機模組置於一塊“透明”的屏幕之下，既能保持攝像功能，又最大化利用屏幕面積。
但隨之而衍生的問題是：這塊透明的屏幕，對相機模組的成像精度影響多大？如何來彌補光在通過屏幕時所造成的能量損耗？
光從激光發射器發出、抵達物體表面，再到被傳感器吸收，要兩次透過屏幕，會帶來能量損耗，這就是屏下結構光面臨的“透光率”問題。
“對於紅外線來講，目前的屏幕經過特殊處理後，光的透過率大概在30%，甚至更低一些。”
呂方璐表示，屏下結構光只能採用 OLED 屏幕，因為 OLED 屬於有機材料發光，不需要類似 LCD 的背光源。
不過，有機發光材料發光需要電流，並且電極層一般不透光，所以激光發射器發出的光在透過屏幕時，大部分光會被電極層擋住或散射掉，這就造成可利用的光只有很小的一部分。
此外，光在透過屏幕時，由於屏幕本身是一種週期性結構，像素在不停重複，因此會導致一種衍射效應，比如一束光會衍射為幾束光，光的傳播方向也會受到影響。
而在實際場景中，透光率還會受到各種噪聲的影響。
比如，在室外，太陽光裏面的紅外線，照射在人臉上，會成為激光發射器發出的紅外線能量的噪聲。如果激光發射器的能量不夠，那麼就會被噪聲干擾，嚴重影響成像效果。
“屏下結構光首先要保證屏幕效果顯示正常，不能影響用户體驗，在此條件之下，再解決光的透過率這個問題，是最大的難點。”呂方璐表示，這也是阻礙屏下結構光“量產”的根本原因。
三種解法：屏幕、元器件和算法
問題已提出，剩下的就是對症下藥找解決方法。
屏下結構光最大的難題是“透光率”，這道題可以從三個維度來解。
一是從 OLED 屏幕出發，提高面板透光率，或者做屏幕的定製化。
比如，三星推出的可摺疊屏手機，用的是UPC（Under Panel Camera，屏下攝像頭）技術，核心是提高面板透光率的“Eco OLED”和優化像素孔徑。
提高透光率和定製屏幕雖然是最直接有效的解法，但這依賴於面板技術的進步，並且涉及到面板供應商、屏下結構光解決方案商和手機廠商之間的合作。
“屏幕從設計到開發再到實際運用，週期相對較長。”呂方璐表示，在面板技術尚未取得開創性突破和大規模運用之前，要提高透光率，就要另闢蹊徑。
二是從器件模組入手。
既然光在透過屏幕時發生損耗，那麼可以在發射端增強光的能量，來抵消這部分能耗。
就好比一個10瓦的燈泡，光的能量怎麼也比不過100瓦的燈泡。
但這個方法的癥結在於，增強光的能量，就要加大功率，進而增加功耗。
如何在增強光能量的同時，又不增加能耗，是這套方案的核心，也是技術難點。
三是利用算法來做補償。
接收端在接收到光信息之後，會進行計算，就會用到算法。
那麼就可以優化算法來補償因“透光率”帶來的部分能量損耗。
如果數據量夠大，算法足夠成熟，便可以降低對成像精度的要求。
比如蘋果的 Face ID，就利用了人臉數據做3D 算法模型優化。 這個方法的缺陷也很明顯：需要大量數據，並且算法在面對特定場景時也會出現偏差。
這三種解法，雖然從不同方面來提高“透光率”，但其實是相互交叉的，比如做面板定製，要適應於器件模組，要與算法相結合；而相關算法雖然可以優化成像精度，卻只能作為輔助。
“要實現屏下結構光的量產，實際上需要整個產業鏈的合作與進步。”呂方璐表示。
國產屏下結構光之殤
從劉海屏到打孔屏，縮小劉海以擴大屏幕的使用面積，最終達到全面屏，一直以來是手機廠商的終極目標。
屏下3D 結構光被視為最佳解決方案，雖然有一個“透光率”的問題亟待解決，但方法總比問題多，上述三種解法實際上可以解決很大一部分難點。
然而國內廠商要發展屏下結構光，還要面臨技術之外的一道大坎：專利。
3D 結構光需要激光發射器發射數萬個激光散斑，這對激光器本身的性能和功耗的要求很高，目前基本上採用的 VCSEL 激光發射器；另外，光線還要通過衍生光學器件（DOE）進行“衍射”，將光線進行“切分”，以實現投射激光散斑的功能。
遺憾的是，這兩大元器件，VCSEL 激光器和衍射光學元件（DOE）的製造，基本上為美國、英國及台灣地區的廠商壟斷，國內目前僅有三安光電可進行 VCSEL 芯片的代工。
蘋果無疑是“VCSEL+DOE”3D 結構光方案的核心受益者，同時也掌握着該項技術的專利。在專利保護愈加重視的背景下，這就給蘋果以外的廠商留下了難題：如何做一套具備完全知識產權的方案？
光鑑科技對此的解法是：以邊緣發射激光器（EEL）為光源，然後利用自研的波前調製器（WFP），通過在亞波長尺度實現對光場的調製，來實現投射激光散斑的功能。
這種方法避免了“VCSEL+DOE”的技術專利，邊發射激光器（EEL）的製程工藝比較成熟，成本上也可控，國內廠商有相應的生產能力。
“光鑑科技的WFP芯片，其製程工藝大概在250nm左右，國內廠商已能實現量產。”呂方璐表示。
對於屏下結構光的難點，光鑑科技主要從器件模組和算法上來做突破，通過與 OLED 屏幕廠商長期的研發合作，來實現對3D 成效效果和屏幕顯示效果的優化。
在元器件方面，光鑑科技提高了激光發射模組從電到光的整體轉換效率，也就是在發射端來增強光的能量；同時基於EEL邊緣發射激光器，來減短脈衝，提升光線強度，從而補償因“透光率”帶來的能量損耗。
據悉，其激光發射模組從電到光的整體轉換效率相較於VSCEL方案提高了80%；而EEL邊光發射器每個脈衝的亮度是VSCEL方案的4倍左右。
在算法上，光鑑科技通過自研算法來實現對激光信息的構建，在保持同樣效果的情況下縮減算力，不必依靠ASIC芯片，以減少計算成本。
“光鑑科技和蘋果是不同的技術路徑，避免了與蘋果專利衝突的風險，並且在核心元器件上都已實現國產化。”呂方璐表示，目前國內廠商也正在進行技術創新，比如奧比中光，屏下3D 技術越來越受到重視。
總結
從蘋果Face ID 採用3D 結構光，到現在行業共推的全面屏，“劉海”不斷縮小的背後是技術的不斷更迭與演進。
“未來視覺必然會從2D 向3D 轉變，因為3D 信息更豐富全面。”呂方璐表示，3D 信息能簡化計算量，不需要做過多的數據採集和模型訓練。屏下3D 結構光作為全面屏的核心技術，雖然技術本身還有要攻克的難點，國產化能力也需要加強，但應用前景比較樂觀。
“未來一兩年的時間裏，屏下3D 結構光技術應該就能大規模運用。”雷鋒網雷鋒網雷鋒網(公眾號：雷鋒網)
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
作者/編輯：高秀松
對於“苦劉海久矣”的人而言，20%幾乎沒什麼變化，因而也被調侃成擠牙膏式的設計。
不過，侃歸侃，從技術層面來講，這20%其實來之不易。
因為在這片劉海里，一共有前置攝像頭、麥克風、激光發射器等8個重要元器件。其中對於 Face ID 功能和前置攝像起着決定作用的元器件主要有兩個部分：激光發射器模組和接收裝置。
“從結構光的基礎原理來看，激光發射器和接收裝置之間必須要隔有一定距離，才能保持成像精度，而且等效距離越長，精度越高，反之亦然。這是蘋果保留劉海的根本原因。”光鑑科技首席科學家呂方璐告訴 AI 掘金志。
此前，在iPhone 12上，這一距離大約是27毫米。此次劉海縮減了20%，蘋果官方表示，這“得益於傳感器重排、微縫聽筒等技術引入”。
“如果要縮短等效距離且保持精度，技術方面的難度很大。”呂方璐表示，蘋果應該是採取了另一種方法，即通過積累的人臉數據來優化其3D 人臉算法模型，放寬對3D 成像的精度要求。
換句話説，就是用算法來彌補傳感器重排帶來的數據感知導致的精度問題，這其實是一種取巧的辦法，要求也比較高，要有大量的人臉數據做支撐，對算法持續優化。
但這種方法不具備可複製性，一是算法本身存在缺陷，需要不斷利用數據進行反饋和調整；二是現在人臉數據集採的監管日趨嚴格。
實際上，最佳的解決方法是將原有的相機模組，放入屏下，即行業經常提及的“屏下結構光解決方案”。這既符合全面屏的發展趨勢，又能解決因縮短激光發射器和接收裝置距離造成的成像精度低這一問題。
早在今年2月份，光鑑科技就和中興手機推出了全球首款屏下結構光技術，引起輿論重視。呂方璐表示，屏下3D 技術已達量產要求，但該技術在具體機型上還涉及到產品化的開發和優化，因而未能實際量產。並且，屏下3D 技術也還有一些問題需要解決。
透光率：屏下結構光的阿克琉斯之踵
在説屏下結構光之前，先簡單談談 iPhone 3D 結構光的技術原理。
3D結構光模組包括髮射端（點陣投影器和泛光感應元件）和接收端（紅外攝像頭），原理如下：
1）激光發射器發出特定波長的近紅外光，形成橫截面積很窄的平行光束，經過擴束器後，其橫截面積均勻放大；
2）放大後的光束，通過準直鏡頭實現平行，從而均勻入射在光學衍生元件（DOE）上，光束在經過該器件時會形成特定的光學圖案，經過投影透鏡後發射出去；
3）這些光束在投射到物體表面時，光信號會產生變化；
4）接收端（攝像頭）在接收到這些變化後，會計算物體的位置及深度等信息，再經過特定的算法來複原三維空間。
泛光照射器由低功率VCSEL激光器和擴散片等組成，其作用是發射不可見的紅外光線，使得紅外攝像頭在黑暗中也能接收反射自面部的點陣圖案。
屏下結構光，其實就是將包含這些元器件的相機模組置於一塊“透明”的屏幕之下，既能保持攝像功能，又最大化利用屏幕面積。
但隨之而衍生的問題是：這塊透明的屏幕，對相機模組的成像精度影響多大？如何來彌補光在通過屏幕時所造成的能量損耗？
光從激光發射器發出、抵達物體表面，再到被傳感器吸收，要兩次透過屏幕，會帶來能量損耗，這就是屏下結構光面臨的“透光率”問題。
“對於紅外線來講，目前的屏幕經過特殊處理後，光的透過率大概在30%，甚至更低一些。”
呂方璐表示，屏下結構光只能採用 OLED 屏幕，因為 OLED 屬於有機材料發光，不需要類似 LCD 的背光源。
不過，有機發光材料發光需要電流，並且電極層一般不透光，所以激光發射器發出的光在透過屏幕時，大部分光會被電極層擋住或散射掉，這就造成可利用的光只有很小的一部分。
此外，光在透過屏幕時，由於屏幕本身是一種週期性結構，像素在不停重複，因此會導致一種衍射效應，比如一束光會衍射為幾束光，光的傳播方向也會受到影響。
而在實際場景中，透光率還會受到各種噪聲的影響。
比如，在室外，太陽光裏面的紅外線，照射在人臉上，會成為激光發射器發出的紅外線能量的噪聲。如果激光發射器的能量不夠，那麼就會被噪聲干擾，嚴重影響成像效果。
“屏下結構光首先要保證屏幕效果顯示正常，不能影響用户體驗，在此條件之下，再解決光的透過率這個問題，是最大的難點。”呂方璐表示，這也是阻礙屏下結構光“量產”的根本原因。
三種解法：屏幕、元器件和算法
問題已提出，剩下的就是對症下藥找解決方法。
屏下結構光最大的難題是“透光率”，這道題可以從三個維度來解。
一是從 OLED 屏幕出發，提高面板透光率，或者做屏幕的定製化。
比如，三星推出的可摺疊屏手機，用的是UPC（Under Panel Camera，屏下攝像頭）技術，核心是提高面板透光率的“Eco OLED”和優化像素孔徑。
提高透光率和定製屏幕雖然是最直接有效的解法，但這依賴於面板技術的進步，並且涉及到面板供應商、屏下結構光解決方案商和手機廠商之間的合作。
“屏幕從設計到開發再到實際運用，週期相對較長。”呂方璐表示，在面板技術尚未取得開創性突破和大規模運用之前，要提高透光率，就要另闢蹊徑。
二是從器件模組入手。
既然光在透過屏幕時發生損耗，那麼可以在發射端增強光的能量，來抵消這部分能耗。
就好比一個10瓦的燈泡，光的能量怎麼也比不過100瓦的燈泡。
但這個方法的癥結在於，增強光的能量，就要加大功率，進而增加功耗。
如何在增強光能量的同時，又不增加能耗，是這套方案的核心，也是技術難點。
三是利用算法來做補償。
接收端在接收到光信息之後，會進行計算，就會用到算法。
那麼就可以優化算法來補償因“透光率”帶來的部分能量損耗。
如果數據量夠大，算法足夠成熟，便可以降低對成像精度的要求。
比如蘋果的 Face ID，就利用了人臉數據做3D 算法模型優化。 這個方法的缺陷也很明顯：需要大量數據，並且算法在面對特定場景時也會出現偏差。
這三種解法，雖然從不同方面來提高“透光率”，但其實是相互交叉的，比如做面板定製，要適應於器件模組，要與算法相結合；而相關算法雖然可以優化成像精度，卻只能作為輔助。
“要實現屏下結構光的量產，實際上需要整個產業鏈的合作與進步。”呂方璐表示。
國產屏下結構光之殤
從劉海屏到打孔屏，縮小劉海以擴大屏幕的使用面積，最終達到全面屏，一直以來是手機廠商的終極目標。
屏下3D 結構光被視為最佳解決方案，雖然有一個“透光率”的問題亟待解決，但方法總比問題多，上述三種解法實際上可以解決很大一部分難點。
然而國內廠商要發展屏下結構光，還要面臨技術之外的一道大坎：專利。
3D 結構光需要激光發射器發射數萬個激光散斑，這對激光器本身的性能和功耗的要求很高，目前基本上採用的 VCSEL 激光發射器；另外，光線還要通過衍生光學器件（DOE）進行“衍射”，將光線進行“切分”，以實現投射激光散斑的功能。
遺憾的是，這兩大元器件，VCSEL 激光器和衍射光學元件（DOE）的製造，基本上為美國、英國及台灣地區的廠商壟斷，國內目前僅有三安光電可進行 VCSEL 芯片的代工。
蘋果無疑是“VCSEL+DOE”3D 結構光方案的核心受益者，同時也掌握着該項技術的專利。在專利保護愈加重視的背景下，這就給蘋果以外的廠商留下了難題：如何做一套具備完全知識產權的方案？
光鑑科技對此的解法是：以邊緣發射激光器（EEL）為光源，然後利用自研的波前調製器（WFP），通過在亞波長尺度實現對光場的調製，來實現投射激光散斑的功能。
這種方法避免了“VCSEL+DOE”的技術專利，邊發射激光器（EEL）的製程工藝比較成熟，成本上也可控，國內廠商有相應的生產能力。
“光鑑科技的WFP芯片，其製程工藝大概在250nm左右，國內廠商已能實現量產。”呂方璐表示。
對於屏下結構光的難點，光鑑科技主要從器件模組和算法上來做突破，通過與 OLED 屏幕廠商長期的研發合作，來實現對3D 成效效果和屏幕顯示效果的優化。
在元器件方面，光鑑科技提高了激光發射模組從電到光的整體轉換效率，也就是在發射端來增強光的能量；同時基於EEL邊緣發射激光器，來減短脈衝，提升光線強度，從而補償因“透光率”帶來的能量損耗。
據悉，其激光發射模組從電到光的整體轉換效率相較於VSCEL方案提高了80%；而EEL邊光發射器每個脈衝的亮度是VSCEL方案的4倍左右。
在算法上，光鑑科技通過自研算法來實現對激光信息的構建，在保持同樣效果的情況下縮減算力，不必依靠ASIC芯片，以減少計算成本。
“光鑑科技和蘋果是不同的技術路徑，避免了與蘋果專利衝突的風險，並且在核心元器件上都已實現國產化。”呂方璐表示，目前國內廠商也正在進行技術創新，比如奧比中光，屏下3D 技術越來越受到重視。
總結
從蘋果Face ID 採用3D 結構光，到現在行業共推的全面屏，“劉海”不斷縮小的背後是技術的不斷更迭與演進。
“未來視覺必然會從2D 向3D 轉變，因為3D 信息更豐富全面。”呂方璐表示，3D 信息能簡化計算量，不需要做過多的數據採集和模型訓練。屏下3D 結構光作為全面屏的核心技術，雖然技術本身還有要攻克的難點，國產化能力也需要加強，但應用前景比較樂觀。
“未來一兩年的時間裏，屏下3D 結構光技術應該就能大規模運用。”雷鋒網雷鋒網雷鋒網(公眾號：雷鋒網)
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
作者/編輯：高秀松