Google DeepMind 突破大腦屏障：計算機終於有了記憶

DeepMind已經建立了一個可以像常規的圖靈機一樣訪問外部存儲器的“神經網絡圖靈機”。其結果是這個“神經網絡圖靈機”可以模擬人類大腦的短期記憶。
在神經系統科學領域中，其中一個最大的挑戰就是要了解人類大腦的短期工作記憶。與此同時，計算機科學家們也熱愛在矽片中重現同樣的記憶。

Google在今年年初曾花費4億美金收購的創業公司DeepMind在今天公佈了一台原型電腦，這台原型電腦可以試圖模仿一些人類大腦的短期工作記憶的特性。這台新的計算機具備一種神經網絡類型，它可以適應與外部存儲器共同工作。其結果是這台計算機可以存儲記憶並能在之後檢索它們從而執行一些有邏輯性的任務，除此以外，它也可以被訓練去做一些事情。

DeepMind在人們已經有著悠久探索歷史的短期記憶方面取得了突破性進展。在20世紀50年代，美國認知心理學家George Miller進行了一項在腦科學的歷史中非常著名的實驗。 George Miller對人類大腦工作記憶的能力十分感興趣，他開始著手測量人類大腦的實驗並邀請了大批的學生參與這項實驗。
George Miller的實驗結果顯示，短期記憶的能力不能由它包含的信息量來確定。反而George Miller的實驗結果顯示出工作記憶是以“塊”的形式來存儲信息，並且大約可以存儲7個。

這提出了一個奇怪的問題：這個“塊”是什麼？在Miller的實驗中，一個塊可以是一個單一的數字，如“4”，一個字母如“Q”，一個詞或一個詞組。所以每個塊都可以表示任何從一個非常小的信息量變成一個非常複雜的想法的東西，它等效於大量的信息。

但是，無論一個單獨的塊能表示多少信息，人類的大腦也只能存儲七個塊在工作記憶中。

這裡有一個例子。請仔細看下面的句子：“This book is a thrilling read with a complex plot and lifelike characters ”。

這句話是由大約7塊信息組成的，顯然這句話在任何普通讀者看來都是可以理解的。

與此相反的是，嘗試讀讀這句話：“This book about the Roman Empire during the first years of Augustus Caesar's rein at the end of the Roman Republic, describes the events following the bloody Battle of Actium in 31 BC when the young emperor defeated Mark Antony and Cleopatra by comprehensively outmaneuvering them in a major naval engagement “。
這句話至少包含20塊信息。所以，如果你發現它更難以閱讀，不用驚訝。人類的大腦在工作記憶中確實很難以處理這類信息。

在認知科學領域，理解句子的組成部分，並將其存儲在工作記憶中的能力被稱為變量綁定。這是將一塊數據取出，將其分配給記憶，並反复執行此操作的能力。

在90年代和00年代期間，計算機科學家多次試圖設計算法、電路和神經網絡，希望其可以執行上述操作。這樣的計算機應該能夠分析一些簡單的句子例如“瑪麗告訴約翰”，所以在這樣的情況下，計算機可以區分出瑪麗是說話的角色，說話這個動作和約翰這個傾聽的角色。

DeepMind的人員透露，早期的機器的性能非常有限，而他們的架構借鑒了之前的技術並加強了它。

他們開始重新定義神經網絡的本質。至今，神經網絡已成為相互關聯的“神經元”模式，它有能力改變相互連接的強度來響應外部輸入。這是一種學習的形式，讓他們發現不同的輸入之間的相似之處。

但是，計算的基本過程包含一個重要的附加因素。在計算的過程中，外部存儲器需要可以被讀取和寫入。在圖靈著名的計算機說明中，存儲器就像是一個電報紙條，通過計算機來回傳遞並存儲各種各樣的符號供稍後處理。
這種類型的可讀和可寫的存儲器中不存在常規的神經網絡。因此，他們僅僅添加了一個。這使得神經網絡可以在其存儲器中存儲變量並返回給它們在之後的計算中使用。

這類似於一台普通的計算機可能把數字3和數字4輸入進內部寄存器，之後將它們合在一起生成7。區別在於神經網絡可以存儲更複雜的表示變量的模式。

由於這種形式的計算與傳統的神經網絡具有不同的特點，DeepMind給它起了一個新的名字——他們稱之為神經體統圖靈機，而且第一款產品已建成。神經系統圖靈機與常規神經網絡類似，它通過接受外部世界輸入的信息來學習，但它也會學習如何存儲這種信息以及何時進行檢索。

DeepMind的工作包括：首先構建設備，然後進行實驗。他們的實驗中包含了一些測試，看看神經系統圖靈機能否執行特定的任務，它可以再擴展這個能力從而實現更大或更複雜的任務。

事實證明，神經系統圖靈機已經學會了完美復制的序列長度為20左右的信息。然後在復制序列長度為30和50的信息時，也很少出現錯誤。對於長度為120的序列，錯誤開始增多。
他們比較了它們的神經體統圖靈機的與常規的神經網絡的性能。區別是很顯著的。傳統的神經網絡學會復制序列長度是20的信息時幾乎是完美的。但是，當涉及到那些更長的序列時，錯誤會立刻增多。處理長度為120的序列時幾乎是不可識別的。

DeepMind團隊也測試了神經體統圖靈機執行其他任務的能力。例如，其中之一相當於是複印：該任務是複制序列，然後重複該序列一定的次數，並結束於一個預定的標記。這一次，該神經系統圖靈機的表現顯著優於常規的神經網絡。

這是一個令人印象深刻的產品。 DeepMind的實驗表明，神經系統圖靈機能夠從數據中學習簡單的算法，並使用這些算法來擴展它的能力。

大腦的這種重新編碼能力是人工智能的關鍵要素之一。除非電腦能複制人類大腦的這種能力後，否則它永遠都比不上人腦的表現。

Google旗下的DeepMind曾表示，他們的目標是“解決智慧”。如果此解決方案可以達到人類的智力水平，那麼最好的測試就是看神經系統圖靈機能否具有人類大腦重新編碼的能力。

via technologyreview

資料來源：雷鋒網
作者/編輯：Travis