為什麼手機能認出戴口罩的你？主要是它的功勞
疫情的到來，讓人臉解鎖功能低下了高貴的頭顱。
當口罩成為我們出街必備的單品，在解鎖手機時，我們總要經歷「人臉識別失敗」—「輸入密碼」的繁瑣過程。這不由得讓人懷念起指紋識別的好。
為了優化人臉解鎖的體驗，今年早些時候國外創業者 Danielle Baskin 推出了一款帶有面部信息的口罩。該產品通過提取用户的面部信息，然後印在口罩外側，用户戴上口罩後就可以拼湊成完整的臉部。
▲ 實際上有點驚悚. 圖片來自：djbaskin
不過這個產品的解鎖成功率尚不明確，並且沒有大量的樣本驗證。那麼如何讓人臉識別系統，不再被口罩困擾呢？
一些網友漸漸發現，隨着戴口罩的時間越來越久，手機似乎在一次次人臉解鎖失敗中找到了「經驗」，逐漸能夠識別成功戴着口罩的自己。
靠着這個思路，一些科技博主也分享了更高效的教程，比如戴着口罩反覆解鎖，人臉識別不成功就立即輸入密碼，循環這個動作 30 分鐘左右，手機便能識別出戴着口罩的自己了。
▲ 戴口罩成功人臉解鎖. 圖片來自：Farhad Usmanoff
不過在實踐的過程中，網友們表示不同機型的「學習」速度不一。有人將上述動作重複了 20 分鐘便已成功，但有的人重複了上千次，手機仍然無法識別戴着口罩的自己。
為什麼會出現這種情況呢？其實答案關乎手機的 AI 學習能力。
▲ 圖片來自：thenextweb
深度學習利器——NPU
如果你有關注近兩年的手機發佈會，你一定發現了手機廠商們在介紹 SoC 芯片時，都會重點提到 NPU 的升級。
所謂 NPU，就是指神經網絡處理器。在一個手機芯片中，一般會分為幾個功能區，發佈會常提的有三個：一是擅長處理繁複任務和發號指令的 CPU，二是擅長圖形處理的 GPU，再者就是擅長處理人工智能任務的 NPU。
雖然 NPU「佔地」沒有 CPU 和 GPU 大，但其能力卻不容忽視，一台手機的智慧程度，主要依賴它。
▲ 擁有 NPU 的芯片往往被稱作「AI 芯片」、「仿生芯片」圖片來自：淚雪網
上文提到的訓練手機識別戴口罩的自己，便主要歸功於 NPU 的能力。攝像頭捕捉到人臉畫面後，CPU 和 GPU 會在極短的時間內對圖片進行預處理，然後 NPU、GPU 來檢測、提取特徵，最後 CPU、GPU 和 NPU 共同完成人臉的識別和分類。
得益於日益強大的算力，整個過程已經能夠做到「無感」的程度。在我們拿起手機的一瞬間，上述流程便已處理完畢。
而 NPU 的加入，讓手機可以認識不同狀態的你。早上剛醒時，即便面部浮腫，手機也知道這就是你。甚至被馬蜂蟄了，嘴巴腫成「香腸」，手機依然能夠識別出來。
▲ 圖片來自：韓船長漂流記
所以經過一定量的訓練後，手機便可以「無懼口罩」並認出你了。
實際上，如果只依靠算法，CPU 和 GPU 也可以配合完成學習。但缺點是效率低，且功耗大。據《汽車電子與軟件》介紹，CPU 和 GPU 需要用到數千條指令完成的神經元處理，NPU 只需要一條或幾條就能完成。
▲ NPU 的學習效率頗高. 圖片來自：androidauthority
另外在同等功耗下，NPU 的性能是 GPU 的 18 倍。可以看出 NPU 在深度學習的處理效率方面優勢明顯。
説到這不得不提一下 NPU 的工作原理。之所以 NPU 的學習效率高，不是因為它喝了「六個核桃」，而是它在電路層模擬人類神經元和突觸。並且用深度學習指令集，直接處理大規模的神經元和突觸。通過突出權重實現儲存和計算一體化，NPU 的一條指令，便能勝任以往 CPU 和 GPU 的上千條指令。
▲ 圖片來自：forbes
打個不那麼恰當的比喻，這就像京東物流實現的倉儲、物流一體化一樣，極大地提高了送貨效率，當天買甚至當天就能送到。
NPU 並不雞肋
國內最早研究 NPU 的企業當屬寒武紀。2017 年發佈的麒麟 970 芯片，就曾採用寒武紀的 NPU 架構。麒麟 970 也成為世界首款移動端 AI 芯片。
據華為介紹，集成 NPU 單元的麒麟 970，相較於四個 Cortex-A73 核心，在處理同樣的 AI 應用任務時，擁有大約 50 倍能效和 25 倍性能優勢。例如在圖像識別速度上，可達到約 2000 張/分鐘，遠高於業界同期水平。
▲麒麟 970. 圖片來自：電子工程專輯
11 天后，iPhone 8/8 Plus、iPhone X 攜帶着 A11 仿生芯片面世，蘋果在發佈會上表示這是其有史以來最強大、最智能的芯片。
A11 Bionic 是蘋果首款以「仿生」命名的處理器，也是蘋果第一款支持 AI 加速的處理器。比如在人臉識別的功能上，其神經網絡引擎，讓 A11 支持速度高達每秒 6000 億次運算識別。
▲ 圖片來自：stealthsettings
也是從這一年開始，越來越多的廠商開始重視手機 AI 能力的宣傳。比如華為主打的 AI 攝影、超級夜景、隔空手勢等功能；iPhone 引以為傲的 Face ID、人像虛化、Deep Fusion（深度融合）等功能，都緊緊依賴着 NPU 的能力。
▲ 華為 AI 手勢操控
自 2019 年 6 月開始，隨着麒麟 810 的發佈，華為開始使用自研達芬奇架構的手機 AI 芯片。達芬奇架構的巧妙之處在於各單元分工清晰，可以實現更高效的 AI 計算。
據《電子產品世界》介紹，達芬奇架構核心的 3D Cube、Vector 向量計算單元、Scalar 標量計算單元等，都各自負責不同的運算任務實現並行化計算模型，共同保障 AI 計算的高效處理。實現高算力、高能效、靈活可裁剪的特性。
在剛結束不久的 Mate 40 系列發佈會上，華為強調麒麟 9000 芯片的 NPU 升級到達芬奇架構 2.0 版本，算力翻番。AI 計算能力更強的同時，能效提升了 15%，網絡運行性能也提升了 20%。
蘇黎世聯邦理工學院推出的 AI Benchmark 榜單中，麒麟 9000 摘得安卓陣營的桂冠，分數是高通驍龍 865+的兩倍多。
▲AI Benchmark 榜單
還記得上文提到的麒麟 970 每分鐘可識別 2000 張圖像的能力嗎？麒麟 9000 已經進化到 2000 張/秒的速度。另外，發佈會重點展示的 AI 隔空手勢、AI 靈動熄屏、AI 字幕等，也都是其 NPU 能力的顯現。
讓我印象尤為深刻的是「智感支付」功能，當手機感知到靠近掃碼盒時，便會自動彈出付款碼頁面，一氣呵成完成支付。這代表着理想的智能終端的方向：向「知你」、「懂你」、「幫你」的方向邁進。
▲華為智感支付. 圖片來自：VDGER
而第四代 iPad Air 在發佈之時，蘋果也着重強調了其 NPU 能力的精進。相比 A12 仿生處理器，A14 仿生新一代神經網絡引擎讓機器學習性能快達兩倍。
超高的機器學習速度，讓 A14 仿生芯片可以實現超級像素功能，搭配 pixelmator 使用，放大裁切後的照片，像素會自動增補，讓照片更清晰。
反映到 iPhone 12 系列上，計算攝影能力也得到了空前改進。舉個小例子，在延時攝影時，手機會自動計算被攝物體，如果是在拍車流，那麼手機便會自動降低快門速度，讓車燈呈現拖影的感覺，畫面流動感更強。
新一代的 iPhone 在 Deep Fusion、HDR 視頻等方面，與 iPhone 11 相比都有着肉眼可見的變化。這都得益於 A14 強大的 AI 計算能力。
我們可以對 NPU 期待什麼？
雖然移動端 NPU 在近兩、三年才開始被廠商宣傳，實際上和它相關的概念在 2013 年就已出現。
當時，高通希望通過一種模仿人腦的計算結構，縮小普通機器運算與人腦之間的差距，這種通過模擬神經元的運算處理器，被高通稱之為「Zeroth」。
▲ 高通對 Zeroth 的介紹
高通的 Zeroth 芯片，運算結構模仿了人類生物神經細胞的運作模式，是從大腦結構層面模仿的。而 NPU 則是在大腦功能層面模仿的，兩者的方向並不一致。而高通也一直堅持了自己的方向，沒有加入獨立 NPU 的大軍，而是堅持着人工智能引擎 AI Engine 的方向。
據「芯智訊」報道，在高通驍龍 845 發佈之時，一些外界聲音批評高通沒有順應 NPU 的趨勢，以至於在 AI 能力上落後。而高通高級副總裁兼移動業務總經理 Alex Katouzian 迴應稱，高通雖然沒有獨立的神經網絡引擎單元，但是採用了更為彈性的機器學習架構（AI Engine），在通用平台內做內核優化，分佈在 CPU、GPU、DSP 等每個單元上，從而可以針對不同移動終端提供彈性調用各個處理單元。
你可以這樣理解：NPU 的方向是分工明確，每個單元的集約化程度較高；而高通 AI Engine 的方向是「有活大家一起幹」。
直到採用第五代多核人工智能引擎 AI Engine 的驍龍 865 系芯片發佈時，高通依舊沒有踏入 NPU 的道路。
▲ 高通在圖片的左下方強調了 AI 能力
不過實際使用中，高通驍龍 865 的學習能力依然值得肯定。比如我在近半個月使用搭載高通驍龍 865+的 vivo X50 Pro+時，每天解鎖十次左右，它現在已經能成功識別出戴口罩的我了。
但從數據上看，其 AI 學習能力，已落後麒麟 9000 和 A14 仿生不少。NPU 一次次用數據證明了自己的 AI 實力，高通下一代 AI Engine 能否力挽狂瀾，我們還需等待 875 系列芯片的面世才能知道。
人工智能時代，我希望看到的場景是，手機不再是被動響應用户需求的終端，而是能夠主動分析、感知用户當下的需求，並可以預先提供相關服務的智慧終端。
▲ Mate40 系列 AI 能力展示
在這方面，各家廠商還都處在起步階段。比如在應用建議上，目前做的最好的個人認為是小米。通過時間和場景等因素的分析，每次它都能「猜到」我想打開的軟件，並智能排序在最顯眼的位置。而 Mate40 系列支持的「智感支付」更無疑在 AI 道路上走在了前列，也給了我們更多的想象空間。
值得注意的是，除了手機，NPU 也逐漸應用到平板電腦、筆記本電腦等移動端上。蘋果近日發佈的 M1 芯片，就擁有 16 核的 NPU，每秒可以執行 11 萬億次運算，將機器學習的速度提升至 11 倍，這是傳統 PC 難以企及和比擬的。
而搭載 M1 芯片的 MacBook 系列、Mac mini 將帶來哪些使用體驗上的變化，相信令人期待。
在當前的軟件生態下，移動端 CPU 和 GPU 的提升，對於用户日常使用來説已經感知不強了。比如一台 iPhone XS 和一台 iPhone 12 相比，在應用的流暢性上幾近一致。更加影響用户體驗的，是機器學習能力的變化。這也是為什麼我們要關注 NPU 的發展。
或許再過十年，當 AI 技術發展地更為成熟，「智能」手機是時候改名為「智慧」手機了。
資料來源：愛範兒（ifanr）