深度學習三十年創新路


編者注:深度學習火了,從任何意義上,大家談論它的熱衷程度,都超乎想象。但是,似乎很少有人提出不同的聲音,説深度學習的火熱,有可能是過度的繁榮,乃至不理性的盲從。而這次,有不同的想法出現了。

本篇文章來自依圖科技 CEO Leo的投稿,依圖科技是一家專注研究CV(Computer Vison,計算機視覺)的以技術驅動的創業公司,Leo自己也在這一領域有深入研究,因此這次寫下這篇文章,希望回顧一下深度學習三十年的創新之路。

近期Nature雜誌刊登了Lecun、Bengio、Hinton的深度學習(deep learning)文章,是對最近深度學習火爆進展的總結,也是對他們三十年專注突破精神的最佳肯定。

深度學習火到什麼程度呢?據我所知,在工業界,Google、Facebook、微軟、百度、騰訊以及其它創業公司,沒有一家公司不用深度學習可以做到頂級的智能識別實用精度(語音識別、人像識別等)。深度學習的廣泛應用,讓它載入史冊,可以比肩最近人工智能領域的圖靈獎工作--哈佛教授 Leslie Valiant的可學習性理論(2010年圖靈獎,90年代初在此思想下誕生了著名的 Boosting 算法)、 UCLA教授 Judea Pearl 的基於概率推斷的人工智能(2011年圖靈獎,90年代末開始基於此思想的圖模型風靡學術界)。

上圖為Harvard教授 Leslie Valiant

UCLA教授 Judea Pearl

我時常和業內人士交流 ,包括矽谷的工程師、研究員(圖像分類、廣告推薦等),風險投資者,美國學術界的教授,還有在創業公司的和在學校實驗室做研究的清華、交大學生。大家對深度學習的歷史背景缺乏全面細膩的瞭解,甚至有些盲從。

在我創業前,深度學習還沒“火”,我在Yann Lecun的實驗室呆了一年,研究圖模型和深度學習的關係——當時對兩個體系都深刻理解的人幾乎沒有。而在本該功利的創業環境裏,到目前為止,我們團隊還未使用深度學習,顯得有些“另類”甚至“落伍”,所以帶着這樣熟悉又陌生的心情,今天想分享一下自己的體會,算是對深度學習以及Hinton和Lecun的三十年創新之路的致敬。

首先,來介紹下Deep Learning的主要人物背景:

Geoff Hinton是深度學習學派的祖師爺,老爺子腰椎不好,經常得站着寫代碼到夜裏一點,不能坐飛機,得坐火車從東邊到西邊去開會。

Geoff Hinton,deep learning 學派創始人之一

Yann Lecun 是 Geoff Hinton 三十年前的弟子。最近深度學習應用於智能理解特別廣泛的模型是卷積神經網(ConvNet),就是 Yann Lecun 發明的 / 命名的。在學術上,這和傳統的深度學習其他的模型有顯著性差異 —— 我甚至認為這是思想性的巨大差異(世界可學性的假設)。

上圖右為Yann Lecun,卷積神經網的發明者,Geoff Hinton的弟子

Andrew Ng 是 Michale Jordan( Berkeley 教授,圖模型的泰斗)的明星弟子,Andrew 獨立後,在Stanford,、Google 和 Baidu 做的反而是deep learning (有點武當弟子學了少林,或者少林弟子學了武當的意味)。後來做了網絡公開課程Coursera後名聲大噪,意義大大超越了其學術界的地位和範疇。
上圖為吳恩達(Andrew Ng),百度首席科學家,在線教育平台coursera的創始人

如果喜歡我們的文章,請即分享到︰

< 1 2 >
標籤: 深度學習