Mark Zuckerberg的尷尬與AI的真實進展
雷鋒網(公眾號：雷鋒網)按：本文作者李智勇，十年棧道程序員，有一個好玩的公號：zuomoshi（琢磨事）。
近來Mark Zuckerberg向記者公開演示了他2016年的作品，一個類似Jarvis的人工智能助手，從記者的描述來看，這人工智能助手大部分時候還比較不錯，但在語音交互環節則不太理想，對此媒體做了如下報道：
這非常有意思，因為從新聞來看“天黑前不要開燈”和“把音量調高”的失誤顯然都不是命令理解（語義）上有問題，否則你説八百遍Jarvis該不好使還是不好使。如果不是語義的問題，那顯然就會和各大公司所宣稱的已經被解決的問題：語音識別有關。
標準環境解決≠真實效果好
關於語音識別的精度今年官方的報道一般是這樣的：
類似的報道也會發生在微軟等的身上，我們假設Facebook做的不是太差，水平也與此類似達到97%的準確率。97%的具體含義是100個單詞上只有3個錯誤（刪除、被替換、被插入），那麼問題就來了，如果真實環境裏真的達到了這個精度，那麼小扎的演示絕對不應該是上面這個樣子。
那問題出在那裏？
關鍵問題並不複雜，Mark Zuckerberg用手機當做家庭裏的終端，這樣距離稍微一遠，環境稍微嘈雜一點，那再好的手機也沒辦法幫Jarvis聽清楚你在説什麼。手機本身是設計給近場用的，手機上的語音識別基本也是給近場優化過的，怎麼也不能彌補遠場上帶來的不適應。
Mark Zuckerberg對此非常坦誠，他在博客這麼寫道：
原文：https://www.facebook.com/notes/mark-zuckerberg
上面這段英文簡單來講就是説語音識別更多時候是專門場景下好用，想做一個萬能的版本仍然還很遙遠。語音識別只能做限定場景的最佳。
但事實上Mark Zuckerberg仍然只認識到了部分問題，因為單純靠改善語音識別比如做一個匹配遠場的版本也還根本解決不了他遇到的問題（上面説的重複指示幾次系統才起作用問題）。我們可以注意到開始播放音樂之後，報道中提到的兩條命令都需要重複兩次，這很可能是音樂自身對語音識別形成了干擾，這種情形下單純的優化語音識別（不管遠場還是近場）是解決不了問題的。
Mark Zuckerberg下面的路
如果Mark Zuckerberg不放棄這事，而是持續對此進行改善，那下面會發生什麼？他可能會掉到坑裏面。他用了150小時做到上面那程度，但很可能再花1500小時，效果並沒有實質性改善。
整個語音交互事實上依賴於三層：聲學的信號處理（麥克風陣列+聲學算法），語音識別（SR），自然語言理解（NLU）。Mark Zuckerberg演示時的問題核心原因不在於自然語言理解（語義），而在於聲學與語音識別。聲學和語音識別的關係可以大致類比成耳朵和大腦，如果聲學部分的信號很差，那相當於耳朵不好使，基本語音識別的算法再怎麼好也不可能把命令是什麼弄清楚。
Mark Zuckerberg如果要優化效果，那麼基本方法有下面幾類：
不知道Mark Zuckerberg具體會走那條路，如果是最後一種，聲智科技這樣的公司應該會很快收到消息。
打破原子與比特的邊界
Mark Zuckerberg這件事情事實上也提供了一個跳出來看AI的機會。
下圖是Jarvish的系統架構圖：
一般來講，從產品體驗上可以看出技術水平，從架構圖則可以看出來認知上的差異。
根據上圖，顯然的在Mark Zuckerberg這裏Jarvish被理解成了一個命令控制型的系統，但感知這環節被忽略了，儘管Mark Zuckerberg自己在文章裏也提到感知上下文是非常關鍵的一個環節（Understanding context is important for any AI）。
這種理解在互聯網企業那裏很可能非常有代表性，但問題就在於感知恰恰是打造一個初級的Jarvis這樣的系統時最難的環節，因為感知總是要打穿原子和比特的邊界。Language Processing、Speech Recognition、Face Recognition總是立刻可用的，只受限於算法的發展程度和數據，但感知部分不是這樣，不單要算法行，器件、生產都要行才能有好的結果。比如説麥克風陣列，你算法再好但MEMS麥克風不給力，那你一樣抓瞎。如果要説的短板的話，在深度學習突破後，感知這一環節才是真的短板。
這就涉及到這次AI突破的一個深層次問題：這次的AI起於深度學習的突破，但真要想創造價值並不能停步在深度學習本身。關鍵原因就在於其AI創造價值的鏈條比較長，必須打破軟硬的邊界，補全整個鏈條，價值才會體現出來。幾乎我們所有能想到的大機會都是這樣，語音交互（需要打穿聲學和識別邊界）、自動駕駛（打穿計算機視覺、雷達、機械控制的邊界）等。這部分難度通常是被忽略了，似乎是有幾個深度學習專家問題就可以搞定一切問題。後者不是不行，但要限定在特定類別的事情上，比如圖普科技做的鑑黃等。正是同時做好軟硬這兩部分在拉長投資-回報的週期，投資和創業如果對此沒有自己的判斷，那準備的耐心可能就不夠。
小結
近來和AI各方面的人（創業者、投資人、科學家、媒體）接觸下來，發現大家基本都在思考這樣兩個問題：
對於第一個問題到現在為止還沒碰到任何一個人認為這次AI浪潮會冷到前兩次那樣。對於第二個問題，大的落地點上大家基本也已經達成了共識（語音交互、AR、自動駕駛等），爭議最大的就是啟動期究竟還要持續多久這一點。從兩個維度來判斷，這個時間更可能是在3年左右：
資料來源：雷鋒網
作者/編輯：李智勇
近來Mark Zuckerberg向記者公開演示了他2016年的作品，一個類似Jarvis的人工智能助手，從記者的描述來看，這人工智能助手大部分時候還比較不錯，但在語音交互環節則不太理想，對此媒體做了如下報道：
引用Mark Zuckerberg還建立了響應語音指令的系統，並通過定製iOS應用控制。但這部分展示不太理想，他重複了四次指令才讓系統弄明白：天黑前不要開燈。Mark Zuckerberg略顯尷尬地説：“喔，這應該是它最失敗的表現了！”。
不過，Jarvis播放音樂的展示還算成功。Mark Zuckerberg下令：“給我們放段音樂吧！”幾秒鐘後，大衞·庫塔（David Guetta）的《Would I Lie to You》 開始通過客廳揚聲器響起來。他説了兩次“把音量調高”後，系統照做無誤。最後，他同樣説了兩次才讓系統停止播放。
這非常有意思，因為從新聞來看“天黑前不要開燈”和“把音量調高”的失誤顯然都不是命令理解（語義）上有問題，否則你説八百遍Jarvis該不好使還是不好使。如果不是語義的問題，那顯然就會和各大公司所宣稱的已經被解決的問題：語音識別有關。
標準環境解決≠真實效果好
關於語音識別的精度今年官方的報道一般是這樣的：
引用11月21日到23日，搜狗、百度和科大訊飛三家公司接連召開了三場發佈會向外界展示了自己在語音識別和機器翻譯等方面的最新進展。值得注意的是，這三家公司幾乎在同一時段宣佈了各自中文語音識別準確率達到了97%。
類似的報道也會發生在微軟等的身上，我們假設Facebook做的不是太差，水平也與此類似達到97%的準確率。97%的具體含義是100個單詞上只有3個錯誤（刪除、被替換、被插入），那麼問題就來了，如果真實環境裏真的達到了這個精度，那麼小扎的演示絕對不應該是上面這個樣子。
那問題出在那裏？
關鍵問題並不複雜，Mark Zuckerberg用手機當做家庭裏的終端，這樣距離稍微一遠，環境稍微嘈雜一點，那再好的手機也沒辦法幫Jarvis聽清楚你在説什麼。手機本身是設計給近場用的，手機上的語音識別基本也是給近場優化過的，怎麼也不能彌補遠場上帶來的不適應。
Mark Zuckerberg對此非常坦誠，他在博客這麼寫道：
引用In the case of Jarvis, training an AI that you'll talk to at close range is also different from training a system you'll talk to from all the way across the room, like Echo. These systems are more specialized than it appears, and that implies we are further off from having general systems than it might seem.
原文：https://www.facebook.com/notes/mark-zuckerberg
上面這段英文簡單來講就是説語音識別更多時候是專門場景下好用，想做一個萬能的版本仍然還很遙遠。語音識別只能做限定場景的最佳。
但事實上Mark Zuckerberg仍然只認識到了部分問題，因為單純靠改善語音識別比如做一個匹配遠場的版本也還根本解決不了他遇到的問題（上面説的重複指示幾次系統才起作用問題）。我們可以注意到開始播放音樂之後，報道中提到的兩條命令都需要重複兩次，這很可能是音樂自身對語音識別形成了干擾，這種情形下單純的優化語音識別（不管遠場還是近場）是解決不了問題的。
Mark Zuckerberg下面的路
如果Mark Zuckerberg不放棄這事，而是持續對此進行改善，那下面會發生什麼？他可能會掉到坑裏面。他用了150小時做到上面那程度，但很可能再花1500小時，效果並沒有實質性改善。
整個語音交互事實上依賴於三層：聲學的信號處理（麥克風陣列+聲學算法），語音識別（SR），自然語言理解（NLU）。Mark Zuckerberg演示時的問題核心原因不在於自然語言理解（語義），而在於聲學與語音識別。聲學和語音識別的關係可以大致類比成耳朵和大腦，如果聲學部分的信號很差，那相當於耳朵不好使，基本語音識別的算法再怎麼好也不可能把命令是什麼弄清楚。
Mark Zuckerberg如果要優化效果，那麼基本方法有下面幾類：
- 一種可能是Mark Zuckerberg覺得真實場景下的信號優化（聲學、硬件等）也沒什麼，找幾個人做做就完了，如果這麼想Facebook可能會自己組建個硬件、聲學團隊來做Echo Dot那樣的終端。但這麼做很可能短期就不會有下次演示了。因為讓語音識別匹配前端聲學信號是容易的，但反過來讓牽涉硬件和物理的聲學來適應語音識別則基本會做掛。而在互聯網公司裏通常後端偏算法的勢力會大，所以很容易走到前面那條路上去（這事情國內至少做掛了兩撥人了）。國內的大公司很容易走上這條路，但從分工習慣來看，國外公司更願意在技術棧上卡住特定位置，非自己核心的部分會更願意開放給其它人，所以Mark Zuckerberg這麼幹的可能性不高，除非他覺得自己也得搞Amazon Echo那種產品了。
- 一種可能是Mark Zuckerberg和深度學習科學家思路一致，認為所有東西都可以通過深度學習在雲端算法層面來解決。這種思路下，就會通過深度學習來做降噪等信號層面的工作，用算法挑戰各種物理層面的問題。如果走上這條路，那估計短期也不會有下次演示了，因為他碰到的問題並非單純的降噪問題，回聲抵消、Beamforming、降噪、聲源定向這些東西是關聯在一起的，指望深度學習短期突破這些問題更像科研上的一種設想而非工程上的一種實踐。“設想”是説可以成為一種探索的思路，但結果完全沒譜，高度不確定，相當於把不確定性引入產品開發之中。
- 一種可能是Mark Zuckerberg走下一步的時候想的很清楚，知道自己這類公司的能力邊界，因此把這部分開放出去，讓專業的人做專業的事。物理的事情歸物理，算法的事情歸算法，這樣的話就會滿世界找聲學和遠場語音識別供貨商，但這反倒是最快的一種方式。
不知道Mark Zuckerberg具體會走那條路，如果是最後一種，聲智科技這樣的公司應該會很快收到消息。
打破原子與比特的邊界
Mark Zuckerberg這件事情事實上也提供了一個跳出來看AI的機會。
下圖是Jarvish的系統架構圖：
一般來講，從產品體驗上可以看出技術水平，從架構圖則可以看出來認知上的差異。
根據上圖，顯然的在Mark Zuckerberg這裏Jarvish被理解成了一個命令控制型的系統，但感知這環節被忽略了，儘管Mark Zuckerberg自己在文章裏也提到感知上下文是非常關鍵的一個環節（Understanding context is important for any AI）。
這種理解在互聯網企業那裏很可能非常有代表性，但問題就在於感知恰恰是打造一個初級的Jarvis這樣的系統時最難的環節，因為感知總是要打穿原子和比特的邊界。Language Processing、Speech Recognition、Face Recognition總是立刻可用的，只受限於算法的發展程度和數據，但感知部分不是這樣，不單要算法行，器件、生產都要行才能有好的結果。比如説麥克風陣列，你算法再好但MEMS麥克風不給力，那你一樣抓瞎。如果要説的短板的話，在深度學習突破後，感知這一環節才是真的短板。
這就涉及到這次AI突破的一個深層次問題：這次的AI起於深度學習的突破，但真要想創造價值並不能停步在深度學習本身。關鍵原因就在於其AI創造價值的鏈條比較長，必須打破軟硬的邊界，補全整個鏈條，價值才會體現出來。幾乎我們所有能想到的大機會都是這樣，語音交互（需要打穿聲學和識別邊界）、自動駕駛（打穿計算機視覺、雷達、機械控制的邊界）等。這部分難度通常是被忽略了，似乎是有幾個深度學習專家問題就可以搞定一切問題。後者不是不行，但要限定在特定類別的事情上，比如圖普科技做的鑑黃等。正是同時做好軟硬這兩部分在拉長投資-回報的週期，投資和創業如果對此沒有自己的判斷，那準備的耐心可能就不夠。
小結
近來和AI各方面的人（創業者、投資人、科學家、媒體）接觸下來，發現大家基本都在思考這樣兩個問題：
- 第一，本次AI浪潮會不會和前兩次一樣很快冷下來？
- 第二，落地點到底在那裏，究竟還要多久？
對於第一個問題到現在為止還沒碰到任何一個人認為這次AI浪潮會冷到前兩次那樣。對於第二個問題，大的落地點上大家基本也已經達成了共識（語音交互、AR、自動駕駛等），爭議最大的就是啟動期究竟還要持續多久這一點。從兩個維度來判斷，這個時間更可能是在3年左右：
- 一是產品經過兩個週期的優化會更加成熟；
- 一個是計算能力、基礎設施到那個時候也會變的足夠強大和便利（過去3年Training速度提高了60倍，比摩爾定律還快，而Intel則正在推出集成度更高的服務器）。
資料來源：雷鋒網
作者/編輯：李智勇