為什麼手機能認出戴口罩的你?主要是它的功勞


疫情的到來,讓人臉解鎖功能低下了高貴的頭顱。

當口罩成為我們出街必備的單品,在解鎖手機時,我們總要經歷「人臉識別失敗」—「輸入密碼」的繁瑣過程。這不由得讓人懷念起指紋識別的好。


為了優化人臉解鎖的體驗,今年早些時候國外創業者 Danielle Baskin 推出了一款帶有面部信息的口罩。該產品通過提取用户的面部信息,然後印在口罩外側,用户戴上口罩後就可以拼湊成完整的臉部。

▲ 實際上有點驚悚. 圖片來自:djbaskin

不過這個產品的解鎖成功率尚不明確,並且沒有大量的樣本驗證。那麼如何讓人臉識別系統,不再被口罩困擾呢?

一些網友漸漸發現,隨着戴口罩的時間越來越久,手機似乎在一次次人臉解鎖失敗中找到了「經驗」,逐漸能夠識別成功戴着口罩的自己。

靠着這個思路,一些科技博主也分享了更高效的教程,比如戴着口罩反覆解鎖,人臉識別不成功就立即輸入密碼,循環這個動作 30 分鐘左右,手機便能識別出戴着口罩的自己了。

▲ 戴口罩成功人臉解鎖. 圖片來自:Farhad Usmanoff

不過在實踐的過程中,網友們表示不同機型的「學習」速度不一。有人將上述動作重複了 20 分鐘便已成功,但有的人重複了上千次,手機仍然無法識別戴着口罩的自己。

為什麼會出現這種情況呢?其實答案關乎手機的 AI 學習能力。

▲  圖片來自:thenextweb

深度學習利器——NPU

如果你有關注近兩年的手機發佈會,你一定發現了手機廠商們在介紹 SoC 芯片時,都會重點提到 NPU 的升級
所謂 NPU,就是指神經網絡處理器。在一個手機芯片中,一般會分為幾個功能區,發佈會常提的有三個:一是擅長處理繁複任務和發號指令的 CPU,二是擅長圖形處理的 GPU,再者就是擅長處理人工智能任務的 NPU。

雖然 NPU「佔地」沒有 CPU 和 GPU 大,但其能力卻不容忽視,一台手機的智慧程度,主要依賴它。

▲ 擁有 NPU 的芯片往往被稱作「AI 芯片」、「仿生芯片」圖片來自:淚雪網

上文提到的訓練手機識別戴口罩的自己,便主要歸功於 NPU 的能力。攝像頭捕捉到人臉畫面後,CPU 和 GPU 會在極短的時間內對圖片進行預處理,然後 NPU、GPU 來檢測、提取特徵,最後 CPU、GPU 和 NPU 共同完成人臉的識別和分類。

得益於日益強大的算力,整個過程已經能夠做到「無感」的程度。在我們拿起手機的一瞬間,上述流程便已處理完畢。

而 NPU 的加入,讓手機可以認識不同狀態的你。早上剛醒時,即便面部浮腫,手機也知道這就是你。甚至被馬蜂蟄了,嘴巴腫成「香腸」,手機依然能夠識別出來。

▲ 圖片來自:韓船長漂流記

所以經過一定量的訓練後,手機便可以「無懼口罩」並認出你了。

實際上,如果只依靠算法,CPU 和 GPU 也可以配合完成學習。但缺點是效率低,且功耗大。據《汽車電子與軟件》介紹,CPU 和 GPU 需要用到數千條指令完成的神經元處理,NPU 只需要一條或幾條就能完成。

▲ NPU 的學習效率頗高. 圖片來自:androidauthority

另外在同等功耗下,NPU 的性能是 GPU 的 18 倍。可以看出 NPU 在深度學習的處理效率方面優勢明顯。

説到這不得不提一下 NPU 的工作原理。之所以 NPU 的學習效率高,不是因為它喝了「六個核桃」,而是它在電路層模擬人類神經元和突觸。並且用深度學習指令集,直接處理大規模的神經元和突觸。通過突出權重實現儲存和計算一體化,NPU 的一條指令,便能勝任以往 CPU 和 GPU 的上千條指令。

▲  圖片來自:forbes

打個不那麼恰當的比喻,這就像京東物流實現的倉儲、物流一體化一樣,極大地提高了送貨效率,當天買甚至當天就能送到。

NPU 並不雞肋

國內最早研究 NPU 的企業當屬寒武紀。2017 年發佈的麒麟 970 芯片,就曾採用寒武紀的 NPU 架構。麒麟 970 也成為世界首款移動端 AI 芯片。

據華為介紹,集成 NPU 單元的麒麟 970,相較於四個 Cortex-A73 核心,在處理同樣的 AI 應用任務時,擁有大約 50 倍能效和 25 倍性能優勢。例如在圖像識別速度上,可達到約 2000 張/分鐘,遠高於業界同期水平。

▲麒麟 970. 圖片來自:電子工程專輯

11 天后,iPhone 8/8 Plus、iPhone X 攜帶着 A11 仿生芯片面世,蘋果在發佈會上表示這是其有史以來最強大、最智能的芯片。

A11 Bionic 是蘋果首款以「仿生」命名的處理器,也是蘋果第一款支持 AI 加速的處理器。比如在人臉識別的功能上,其神經網絡引擎,讓 A11 支持速度高達每秒 6000 億次運算識別。

▲ 圖片來自:stealthsettings

也是從這一年開始,越來越多的廠商開始重視手機 AI 能力的宣傳。比如華為主打的 AI 攝影、超級夜景、隔空手勢等功能;iPhone 引以為傲的 Face ID、人像虛化、Deep Fusion(深度融合)等功能,都緊緊依賴着 NPU 的能力。

▲ 華為 AI 手勢操控

自 2019 年 6 月開始,隨着麒麟 810 的發佈,華為開始使用自研達芬奇架構的手機 AI 芯片。達芬奇架構的巧妙之處在於各單元分工清晰,可以實現更高效的 AI 計算。

據《電子產品世界》介紹,達芬奇架構核心的 3D Cube、Vector 向量計算單元、Scalar 標量計算單元等,都各自負責不同的運算任務實現並行化計算模型,共同保障 AI 計算的高效處理。實現高算力、高能效、靈活可裁剪的特性。

在剛結束不久的 Mate 40 系列發佈會上,華為強調麒麟 9000 芯片的 NPU 升級到達芬奇架構 2.0 版本,算力翻番。AI 計算能力更強的同時,能效提升了 15%,網絡運行性能也提升了 20%。


蘇黎世聯邦理工學院推出的 AI Benchmark 榜單中,麒麟 9000 摘得安卓陣營的桂冠,分數是高通驍龍 865+的兩倍多。

▲AI Benchmark 榜單
還記得上文提到的麒麟 970 每分鐘可識別 2000 張圖像的能力嗎?麒麟 9000 已經進化到 2000 張/秒的速度。另外,發佈會重點展示的 AI 隔空手勢、AI 靈動熄屏、AI 字幕等,也都是其 NPU 能力的顯現。

讓我印象尤為深刻的是「智感支付」功能,當手機感知到靠近掃碼盒時,便會自動彈出付款碼頁面,一氣呵成完成支付。這代表着理想的智能終端的方向:向「知你」、「懂你」、「幫你」的方向邁進。

▲華為智感支付. 圖片來自:VDGER

而第四代 iPad Air 在發佈之時,蘋果也着重強調了其 NPU 能力的精進。相比 A12 仿生處理器,A14 仿生新一代神經網絡引擎讓機器學習性能快達兩倍。

超高的機器學習速度,讓 A14 仿生芯片可以實現超級像素功能,搭配 pixelmator 使用,放大裁切後的照片,像素會自動增補,讓照片更清晰。

反映到 iPhone 12 系列上,計算攝影能力也得到了空前改進。舉個小例子,在延時攝影時,手機會自動計算被攝物體,如果是在拍車流,那麼手機便會自動降低快門速度,讓車燈呈現拖影的感覺,畫面流動感更強。


新一代的 iPhone 在 Deep Fusion、HDR 視頻等方面,與 iPhone 11 相比都有着肉眼可見的變化。這都得益於 A14 強大的 AI 計算能力。

我們可以對 NPU 期待什麼?
雖然移動端 NPU 在近兩、三年才開始被廠商宣傳,實際上和它相關的概念在 2013 年就已出現。

當時,高通希望通過一種模仿人腦的計算結構,縮小普通機器運算與人腦之間的差距,這種通過模擬神經元的運算處理器,被高通稱之為「Zeroth」。

▲ 高通對 Zeroth 的介紹

高通的 Zeroth 芯片,運算結構模仿了人類生物神經細胞的運作模式,是從大腦結構層面模仿的。而 NPU 則是在大腦功能層面模仿的,兩者的方向並不一致。而高通也一直堅持了自己的方向,沒有加入獨立 NPU 的大軍,而是堅持着人工智能引擎 AI Engine 的方向。

據「芯智訊」報道,在高通驍龍 845 發佈之時,一些外界聲音批評高通沒有順應 NPU 的趨勢,以至於在 AI 能力上落後。而高通高級副總裁兼移動業務總經理 Alex Katouzian 迴應稱,高通雖然沒有獨立的神經網絡引擎單元,但是採用了更為彈性的機器學習架構(AI Engine),在通用平台內做內核優化,分佈在 CPU、GPU、DSP 等每個單元上,從而可以針對不同移動終端提供彈性調用各個處理單元。

你可以這樣理解:NPU 的方向是分工明確,每個單元的集約化程度較高;而高通 AI Engine 的方向是「有活大家一起幹」。

直到採用第五代多核人工智能引擎 AI Engine 的驍龍 865 系芯片發佈時,高通依舊沒有踏入 NPU 的道路。

▲ 高通在圖片的左下方強調了 AI 能力

不過實際使用中,高通驍龍 865 的學習能力依然值得肯定。比如我在近半個月使用搭載高通驍龍 865+的 vivo X50 Pro+時,每天解鎖十次左右,它現在已經能成功識別出戴口罩的我了。

但從數據上看,其 AI 學習能力,已落後麒麟 9000 和 A14 仿生不少。NPU 一次次用數據證明了自己的 AI 實力,高通下一代 AI Engine 能否力挽狂瀾,我們還需等待 875 系列芯片的面世才能知道。

人工智能時代,我希望看到的場景是,手機不再是被動響應用户需求的終端,而是能夠主動分析、感知用户當下的需求,並可以預先提供相關服務的智慧終端。

▲ Mate40 系列 AI 能力展示

在這方面,各家廠商還都處在起步階段。比如在應用建議上,目前做的最好的個人認為是小米。通過時間和場景等因素的分析,每次它都能「猜到」我想打開的軟件,並智能排序在最顯眼的位置。而 Mate40 系列支持的「智感支付」更無疑在 AI 道路上走在了前列,也給了我們更多的想象空間。

值得注意的是,除了手機,NPU 也逐漸應用到平板電腦、筆記本電腦等移動端上。蘋果近日發佈的 M1 芯片,就擁有 16 核的 NPU,每秒可以執行 11 萬億次運算,將機器學習的速度提升至 11 倍,這是傳統 PC 難以企及和比擬的。


而搭載 M1 芯片的 MacBook 系列、Mac mini 將帶來哪些使用體驗上的變化,相信令人期待。

在當前的軟件生態下,移動端 CPU 和 GPU 的提升,對於用户日常使用來説已經感知不強了。比如一台 iPhone XS 和一台 iPhone 12 相比,在應用的流暢性上幾近一致。更加影響用户體驗的,是機器學習能力的變化。這也是為什麼我們要關注 NPU 的發展。

或許再過十年,當 AI 技術發展地更為成熟,「智能」手機是時候改名為「智慧」手機了。


資料來源:愛範兒(ifanr)

如果喜歡我們的文章,請即分享到︰