深度：機器如何模仿人類的學習方式？
編者注：本文由雷鋒網(搜索“雷鋒網”公眾號關注)首發，未經許可拒絕轉載！
導讀：
古有算盤，今有計算機，人工智能（Artificial Intelligence，AI）始終是人類永恆又美好的夢想。然而，漫漫的歷史長河中人類前仆後繼，雖然計算機技術已經取得了長足的進步，然而仍然沒有一台機器產生真正的“自我”意識。Google大腦認出貓和狗，阿法狗打敗了李世石，智能車拉着我們去兜風……儘管深度學習（Deep Learning）讓 AI 在近期取得了諸多突破，但人工智能始終還是離不開“人工+智能”，離不開大量的人工標定數據去指導智能系統的學習。
ImageNet，COCO，Places，我們為了智能而不斷人工，為了一勞永逸而不斷地標定數據。然而，這並不是人類的最終夢想——不勞而獲。直到 Science 封面文章 Bayesian Program Learning（BPL，《Human-level concept learning through probabilistic program induction》），像人類一樣學習的人工智能又引爆了人類曾經的夢想，Google DeepMind 的新成果 Memory-Augmented Neuaral Networks（MANN,《One-shot Learning with MemoryAugmented Neuaral Networks》）讓夢想又朝現實邁進了一步。
懶惰是人類社會進步的原動力，單點學習（One-Shot learning）的目標是不勞而獲。不同於傳統機器學習方法需要大量數據去學習和反覆的訓練，One-Shot 通過單一的訓練樣本去學習並做出準確的預測。然而，One-Shot learning 是一個永恆的挑戰。由於現有的機器學習模型參數量龐大，小樣本下很難在巨大的搜索空間中找到刻畫本質屬性的最優解。
因此當遇到新的任務（Task）時，傳統學習算法只能通過新任務的大量樣本低效率地去調整（finetuning）原有模型，以保證在杜絕錯誤干擾（Catastrophic Interference）的情況下將新信息充分涵括。BPL 從認知科學的角度，基於貝葉斯過程模擬人類學習思路；MANN 從神經科學的角度，基於記憶神經網絡構造仿生學習模型。相比於貝葉斯過程學習（BPL），記憶增強神經網絡(MANN)將 One-shot Learning 從應用驅動型推向數據驅動型，從已有數據出發去主動挖掘One-shot Learning的方法。通過關注存儲內容的外部記憶機制快速吸收新知識，並且僅利用少數幾個例子就可以從數據中做出準確預測。
一、人的學習—記憶與學習（Memory & Learning）
從神經科學的角度來説，學習（Learning）定義為將經驗（Experience）編碼進記憶（Memory）的過程。魚的記憶只有 7 秒，沒有記憶的學習不是智能，魚永遠是隻能在水裏遊的魚。學習形成了不同類型的記憶：形象記憶（以感知過的事物形象為內容），情緒記憶（以過去體驗過的情感為內容），邏輯記憶（是以概念命題為內容），動作記憶（以操作性行為為內容）……記憶指導學習，學習增強記憶。人類從刀耕火種，嬰兒從呱呱落地，“學習→ 記憶→學習”貫穿着社會與個體。對於社會，古書典籍讓經驗得到記憶；對於個體，大腦皮層讓知識得到記憶。
人的學習過程中（如下圖），大腦對外部環境進行感知，注意機制對感興趣的信息保持關注；在工作記憶中，新知識在舊知識的基礎上通過檢索被快速建立起來；而後經過神經元的加工整理，形成難被遺忘的長時記憶。由此，人不斷地從生活經驗中建立並整合知識，從而學會處理日益複雜的任務。在持續不斷的學習過程中，對以往知識檢索利用，使得人們只需要少量的訓練就能快速地學會新的任務。綜上，一個真正的智能系統應具備以下兩方面的作用:
二、MANN——學會學習（Learning to Learn）
埃德加•福爾在《學會生存》中指出：“未來的文盲不再是不認識字的人，而是沒有學會怎樣學習的人 。 ”學會學習（Learning to Learn）不僅僅是教育界面臨的問題，也是機器學習中面臨的問題：未來的智能不再是能幹活的機器，而是學會怎樣學習的機器。“學會學習” 中的“學習”即為元學習（Meta-learning）。行為學意義上認為元學習是學習行為本身的改變；信息學意義上認為元學習是關於獲取知識和經驗的學習。人工智能意義上的元學習一般指的是一種遷移學習（Transfer Learning）方案，通過已有的知識輔助新知識的學習，照着葫蘆畫瓢，照着貓畫老虎。可規模化的元學習方案應滿足以下兩個要求：
長短時模型（Long Short Term Model，LSTM）通過隱性的共享記憶結構，不完全地實現知識的存儲。直到了神經圖靈機（Neuaral Turing Machine，NTM）的出現，NTM 引入帶記憶的神經網絡去模擬大腦皮質的長時記憶功能，實現用極少量新任務的觀測數據進行快速學習。不同於傳統神經網絡，NTM（如下圖）通過控制器（Controller）對輸入輸出（Input/Output）向量進行選擇性地讀寫（Read＆Write Heads）操作，實現與外部記憶矩陣（Memory）進行交互。基於強泛化能力的深度神經網絡架構，並綜合長時觀測的記憶模型與新觀測的匹配信息對存儲內容進行有效地更新。
相比於神經網絡圖靈機，記憶增強神經網絡（MANN）提出了一種新讀寫更新策略——LRUA（Least Recently Used Access）。有別於 NTM 由信息內容和存儲位置共同決定存儲器讀寫， MANN 的每次讀寫操作只選擇空閒或最近利用的存儲位置，因此讀寫策略完全由信息內容所決定。這種更為靈活的讀寫策略更適用於時序無關的分類迴歸問題。MANN 結合了更靈活的存儲能力和強泛化的深度架構，實現知識的更為高效的歸納轉移（Inductive transfer）——新知識被靈活的存儲訪問，基於新知識和長期經驗對數據做出精確的推斷。
三、終極理想——終身學習（Life-long Learning）
活到老學到老，人的一生是學習的一生。終身學習（Life-long Learning）是一種能夠存儲學習過的任務知識，並能利用舊知識快速學習新任務的完整系統方案。相較於傳統機器學習方法，終身學習憑藉任務間的知識共享和知識庫的知識積累，突破了學習過程在樣本集和時間上的限制，為實現高效及高度智能化的系統提供可能。
一個終身學習系統包含以下基本組成部分，各模塊間的相互作用共同實現“活到老學到老”。
（1）知識倉庫（Memory）
記憶是智能的基礎，終身學習系統期望充分利用已學過的知識輔助學習。知識倉庫用於存儲學習過程中需要長期存儲的知識。其中可分為基礎知識和抽象知識兩類，分別支持知識從簡單到複雜的縱向遷移，以及相關任務之間知識的橫向遷移。
（2）任務隊列（Controller）
任務隊列考慮知識的學習順序對系統的泛化能力與學習代價的影響。學習順序設置對學習有着重要的影響，因此終身學習系統期望合理設置學習順序以越快越好地進行學習，循序漸進，拋磚引玉。此外，高效的任務隊列也為終身學習系統提供主動學習的可能，系統可以主動優先學習對關鍵任務。
（3）知識遷移（Read）
知識遷移是終身學習系統的基礎。知識遷移從知識倉庫中選擇對新知識（目標領域，Target Domain）有幫助的舊知識（源領域，Source Domain）進行遷移。因此要求終身學習系統應具備有效度量並創造正遷移條件的能力，充分利用已經學到的任務知識，儘可能高效地學習新任務——遷移什麼？如何遷移？何時遷移？
（4）知識整合（Write）
知識整合是終身學習系統中至關重要的環節，以保證知識倉庫能得到及時的更新。取其精華，去其糟粕，知識在整合過程中，系統應對知識進行相應的篩選，在兼顧不損害原有知識的前提下，儘可能整合有利於遷移的新知識。
學海無涯，活到老學到老。人工智能之路漫漫，吾將上下而求索。
參考文獻
[/b]
資料來源：雷鋒網
作者/編輯：蔡博侖
導讀：
古有算盤，今有計算機，人工智能（Artificial Intelligence，AI）始終是人類永恆又美好的夢想。然而，漫漫的歷史長河中人類前仆後繼，雖然計算機技術已經取得了長足的進步，然而仍然沒有一台機器產生真正的“自我”意識。Google大腦認出貓和狗，阿法狗打敗了李世石，智能車拉着我們去兜風……儘管深度學習（Deep Learning）讓 AI 在近期取得了諸多突破，但人工智能始終還是離不開“人工+智能”，離不開大量的人工標定數據去指導智能系統的學習。
ImageNet，COCO，Places，我們為了智能而不斷人工，為了一勞永逸而不斷地標定數據。然而，這並不是人類的最終夢想——不勞而獲。直到 Science 封面文章 Bayesian Program Learning（BPL，《Human-level concept learning through probabilistic program induction》），像人類一樣學習的人工智能又引爆了人類曾經的夢想，Google DeepMind 的新成果 Memory-Augmented Neuaral Networks（MANN,《One-shot Learning with MemoryAugmented Neuaral Networks》）讓夢想又朝現實邁進了一步。
懶惰是人類社會進步的原動力，單點學習（One-Shot learning）的目標是不勞而獲。不同於傳統機器學習方法需要大量數據去學習和反覆的訓練，One-Shot 通過單一的訓練樣本去學習並做出準確的預測。然而，One-Shot learning 是一個永恆的挑戰。由於現有的機器學習模型參數量龐大，小樣本下很難在巨大的搜索空間中找到刻畫本質屬性的最優解。
因此當遇到新的任務（Task）時，傳統學習算法只能通過新任務的大量樣本低效率地去調整（finetuning）原有模型，以保證在杜絕錯誤干擾（Catastrophic Interference）的情況下將新信息充分涵括。BPL 從認知科學的角度，基於貝葉斯過程模擬人類學習思路；MANN 從神經科學的角度，基於記憶神經網絡構造仿生學習模型。相比於貝葉斯過程學習（BPL），記憶增強神經網絡(MANN)將 One-shot Learning 從應用驅動型推向數據驅動型，從已有數據出發去主動挖掘One-shot Learning的方法。通過關注存儲內容的外部記憶機制快速吸收新知識，並且僅利用少數幾個例子就可以從數據中做出準確預測。
一、人的學習—記憶與學習（Memory & Learning）
從神經科學的角度來説，學習（Learning）定義為將經驗（Experience）編碼進記憶（Memory）的過程。魚的記憶只有 7 秒，沒有記憶的學習不是智能，魚永遠是隻能在水裏遊的魚。學習形成了不同類型的記憶：形象記憶（以感知過的事物形象為內容），情緒記憶（以過去體驗過的情感為內容），邏輯記憶（是以概念命題為內容），動作記憶（以操作性行為為內容）……記憶指導學習，學習增強記憶。人類從刀耕火種，嬰兒從呱呱落地，“學習→ 記憶→學習”貫穿着社會與個體。對於社會，古書典籍讓經驗得到記憶；對於個體，大腦皮層讓知識得到記憶。
人的學習過程中（如下圖），大腦對外部環境進行感知，注意機制對感興趣的信息保持關注；在工作記憶中，新知識在舊知識的基礎上通過檢索被快速建立起來；而後經過神經元的加工整理，形成難被遺忘的長時記憶。由此，人不斷地從生活經驗中建立並整合知識，從而學會處理日益複雜的任務。在持續不斷的學習過程中，對以往知識檢索利用，使得人們只需要少量的訓練就能快速地學會新的任務。綜上，一個真正的智能系統應具備以下兩方面的作用:
引用（1）在長時記憶系統中建立一個可檢索的知識庫；
（2）在交互過程中持續不斷的整合更新知識庫。
二、MANN——學會學習（Learning to Learn）
埃德加•福爾在《學會生存》中指出：“未來的文盲不再是不認識字的人，而是沒有學會怎樣學習的人 。 ”學會學習（Learning to Learn）不僅僅是教育界面臨的問題，也是機器學習中面臨的問題：未來的智能不再是能幹活的機器，而是學會怎樣學習的機器。“學會學習” 中的“學習”即為元學習（Meta-learning）。行為學意義上認為元學習是學習行為本身的改變；信息學意義上認為元學習是關於獲取知識和經驗的學習。人工智能意義上的元學習一般指的是一種遷移學習（Transfer Learning）方案，通過已有的知識輔助新知識的學習，照着葫蘆畫瓢，照着貓畫老虎。可規模化的元學習方案應滿足以下兩個要求：
引用（1）知識必須以穩定且可尋址的方式存儲；
（2）存儲容量不與參數規模相關。
長短時模型（Long Short Term Model，LSTM）通過隱性的共享記憶結構，不完全地實現知識的存儲。直到了神經圖靈機（Neuaral Turing Machine，NTM）的出現，NTM 引入帶記憶的神經網絡去模擬大腦皮質的長時記憶功能，實現用極少量新任務的觀測數據進行快速學習。不同於傳統神經網絡，NTM（如下圖）通過控制器（Controller）對輸入輸出（Input/Output）向量進行選擇性地讀寫（Read＆Write Heads）操作，實現與外部記憶矩陣（Memory）進行交互。基於強泛化能力的深度神經網絡架構，並綜合長時觀測的記憶模型與新觀測的匹配信息對存儲內容進行有效地更新。
相比於神經網絡圖靈機，記憶增強神經網絡（MANN）提出了一種新讀寫更新策略——LRUA（Least Recently Used Access）。有別於 NTM 由信息內容和存儲位置共同決定存儲器讀寫， MANN 的每次讀寫操作只選擇空閒或最近利用的存儲位置，因此讀寫策略完全由信息內容所決定。這種更為靈活的讀寫策略更適用於時序無關的分類迴歸問題。MANN 結合了更靈活的存儲能力和強泛化的深度架構，實現知識的更為高效的歸納轉移（Inductive transfer）——新知識被靈活的存儲訪問，基於新知識和長期經驗對數據做出精確的推斷。
三、終極理想——終身學習（Life-long Learning）
活到老學到老，人的一生是學習的一生。終身學習（Life-long Learning）是一種能夠存儲學習過的任務知識，並能利用舊知識快速學習新任務的完整系統方案。相較於傳統機器學習方法，終身學習憑藉任務間的知識共享和知識庫的知識積累，突破了學習過程在樣本集和時間上的限制，為實現高效及高度智能化的系統提供可能。
一個終身學習系統包含以下基本組成部分，各模塊間的相互作用共同實現“活到老學到老”。
（1）知識倉庫（Memory）
記憶是智能的基礎，終身學習系統期望充分利用已學過的知識輔助學習。知識倉庫用於存儲學習過程中需要長期存儲的知識。其中可分為基礎知識和抽象知識兩類，分別支持知識從簡單到複雜的縱向遷移，以及相關任務之間知識的橫向遷移。
（2）任務隊列（Controller）
任務隊列考慮知識的學習順序對系統的泛化能力與學習代價的影響。學習順序設置對學習有着重要的影響，因此終身學習系統期望合理設置學習順序以越快越好地進行學習，循序漸進，拋磚引玉。此外，高效的任務隊列也為終身學習系統提供主動學習的可能，系統可以主動優先學習對關鍵任務。
（3）知識遷移（Read）
知識遷移是終身學習系統的基礎。知識遷移從知識倉庫中選擇對新知識（目標領域，Target Domain）有幫助的舊知識（源領域，Source Domain）進行遷移。因此要求終身學習系統應具備有效度量並創造正遷移條件的能力，充分利用已經學到的任務知識，儘可能高效地學習新任務——遷移什麼？如何遷移？何時遷移？
（4）知識整合（Write）
知識整合是終身學習系統中至關重要的環節，以保證知識倉庫能得到及時的更新。取其精華，去其糟粕，知識在整合過程中，系統應對知識進行相應的篩選，在兼顧不損害原有知識的前提下，儘可能整合有利於遷移的新知識。
學海無涯，活到老學到老。人工智能之路漫漫，吾將上下而求索。
參考文獻
[/b]
引用[1] Santoro A, Bartunov S, Botvinick M, et al. One-shot Learning with Memory-Augmented Neural Networks[J]. arXiv preprint arXiv:1605.06065, 2016.
[2] Lake B M, Salakhutdinov R, Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.
[3] Graves A, Wayne G, Danihelka I. Neural turing machines[J]. arXiv preprint arXiv:1410.5401, 2014.
[4] Ruvolo P, Eaton E. ELLA: An Efficient Lifelong Learning Algorithm[J]. ICML (1), 2013, 28:507-515.
資料來源：雷鋒網
作者/編輯：蔡博侖