登頂世界第一！ 相比其他 AI，AlphaGo 究竟有何不同？
世界職業圍棋排名網站GoRatings最新排名顯示，連續24個月排名世界第一的中國棋手柯潔被Google人工智能機器人AlphaGo反超。截止目前，AlphaGo以3612分登頂世界第一，超越了所有人類棋手。
如上圖所示，目前Google Deepmind AlphaGo以3611分排名世界第一，柯潔以3608分排名世界第二，而之前與AlphaGo進行“人機大戰”以1:4告負的韓國棋手李世石以3557排名第四。
按照Goratings世界圍棋排名的規則，如果一名新加入的棋手只贏不輸的話，是不能被算入正式排名的。而此前AlphaGo正好輸了李世石一盤，因此給了AlphaGo入圍排名榜單的機會，此前一直排名世界第二。另外，Goratings的規則要求之前有過交手的雙方，如果對手的積分發生改變，則自身積分也會相應調整。AlphaGo此前以4勝1負戰勝李世石，因此只要李世石的積分提升，AlphaGo也會跟着提升。而柯潔的排名之所以下降是因為近日在金立杯兩岸世界冠軍爭霸賽表現不佳，勝周俊勛，負時越和唐韋星，這才給了AlphaGo稱為世界第一的機會。
至此，AlphaGo以3612分登頂世界第一，超越了所有人類棋手。這讓我們不由得想，到底是什麼使得AlphaGo如此不同，能在所有的圍棋AI中拔得頭籌，甚至打敗人類登頂世界第一？
在剛剛過去的IJCAI2016（第25屆國際人工智能聯合會議）學術大會中，Google DeepMind 研究員、AlphaGo幕後英雄之一David Sliver 發表了題為“使用深度神經網絡和樹搜索來精通圍棋遊戲（Mastering the Game of Go with Deep Neural Networks and Tree Search）”的特邀演講。在演講中，他主要闡述了AlphaGo的實現原理並對AlphaGo與人類棋手對弈結果進行了分析。
在演講中他提到AlphaGo主要是改進了以下兩種方法
Value Networks（價值網絡）和 Policy Networks（策略網絡）方面：
Value Networks 評估棋盤位置，Policy Networks 選擇下棋步法，這些神經網絡模型通過一種新的方法進行訓練，結合人類專家比賽中學到的監督學習，以及在自己和自己下棋（Self-Play）中學到強化學習，其實質是深度學習網絡（CNN）跟蒙特卡羅搜索樹（MCTS）進行結合。
基於全局特徵和深度卷積網絡（CNN）訓練出來的策略網絡（Policy Network），其主要作用是給定當前盤面狀態作為輸入，輸出下一步棋在棋盤其它空地上的落子概率。
另一個是利用局部特徵和線性模型訓練出來的快速走棋策略（Rollout Policy)，策略網絡速度較慢但精度較高，快速走棋策略則反之。
策略網絡上的監督學習
策略網絡上的強化學習
策略網絡與先前訓練好的策略網絡互相對弈，利用增強式學習來修正策略網絡的參數，最終得到增強的策略網絡。
實現過程如下：
利用普通的策略網絡來生成棋局的前U-1步（U是一個屬於[1, 450]的隨機變量），然後利用隨機採樣來決定第U步的位置（這是為了增加棋的多樣性，防止過擬合）。
隨後，利用增強的策略網絡來完成後面的自我對弈過程，直至棋局結束分出勝負。此後，第U步的盤面作為特徵輸入，勝負作為label，學習一個價值網絡（Value Network），用於判斷結果的輸贏概率。價值網絡其實是AlphaGo的一大創新，圍棋最為困難的地方在於很難根據當前的局勢來判斷最後的結果，這點職業棋手也很難掌握。通過大量的自我對弈，AlphaGo產生了3000萬盤棋局，用來訓練價值網絡。但由於圍棋的搜索空間太大，3000萬盤棋局也不能幫AlphaGo完全攻克這個問題。
AlphaG的一個關鍵之處在蒙特卡羅搜索樹（MCTS）中嵌入了深度神經網絡來減少搜索空間，這大大減少了不必要的搜索步驟，通過價值網絡和策略網絡顯著提升了其勝率。
使用策略網絡減少其寬度
使用價值網絡減少深度
利用這兩個改進的網絡來分別判斷局勢，兩個局勢得分相加為此處最後走棋獲勝的得分。這裏使用快速走棋策略是一個用速度來換取量的方法，從被判斷的位置出發，快速行棋至最後，每一次行棋結束後都會有個輸贏結果，然後綜合統計這個節點對應的勝率。而價值網絡只要根據當前的狀態便可直接評估出最後的結果，兩者各有優缺點並進行互補。
在2015年10月5:0戰勝歐洲圍棋冠軍樊麾（三屆歐洲圍棋冠軍）之後，AlphaGo於2016年3月4:1戰勝韓國傳奇棋手李世石（近十年內圍棋頂尖棋手之一）。在第四局中由於李世石棋手的“神之一手”，AlphaGo落敗，也給了AlphaGo入圍Goratings排名榜單的機會。
在David Silver看來，AlphaGo已超越了所有其他圍棋AI程序。在首爾與李世石對弈過程中，他認為AlphaGo已經展現出超越專業9段棋手的水準，按Goratings分數來排名的話應該接近4500分左右。這個分數不僅超過中國棋手柯潔九段的最高分數，也比其自身目前分數要高。究竟這個驚人的成績是否屬實，讓我們期待AlphaGo與柯潔九段的終極“人機大戰“。
參考資料
PS : 本文由雷鋒網(搜索“雷鋒網”公眾號關注)獨家編譯，未經許可拒絕轉載！
via David Silver IJCAI2016
資料來源：雷鋒網
作者/編輯：Blake
如上圖所示，目前Google Deepmind AlphaGo以3611分排名世界第一，柯潔以3608分排名世界第二，而之前與AlphaGo進行“人機大戰”以1:4告負的韓國棋手李世石以3557排名第四。
按照Goratings世界圍棋排名的規則，如果一名新加入的棋手只贏不輸的話，是不能被算入正式排名的。而此前AlphaGo正好輸了李世石一盤，因此給了AlphaGo入圍排名榜單的機會，此前一直排名世界第二。另外，Goratings的規則要求之前有過交手的雙方，如果對手的積分發生改變，則自身積分也會相應調整。AlphaGo此前以4勝1負戰勝李世石，因此只要李世石的積分提升，AlphaGo也會跟着提升。而柯潔的排名之所以下降是因為近日在金立杯兩岸世界冠軍爭霸賽表現不佳，勝周俊勛，負時越和唐韋星，這才給了AlphaGo稱為世界第一的機會。
至此，AlphaGo以3612分登頂世界第一，超越了所有人類棋手。這讓我們不由得想，到底是什麼使得AlphaGo如此不同，能在所有的圍棋AI中拔得頭籌，甚至打敗人類登頂世界第一？
在剛剛過去的IJCAI2016（第25屆國際人工智能聯合會議）學術大會中，Google DeepMind 研究員、AlphaGo幕後英雄之一David Sliver 發表了題為“使用深度神經網絡和樹搜索來精通圍棋遊戲（Mastering the Game of Go with Deep Neural Networks and Tree Search）”的特邀演講。在演講中，他主要闡述了AlphaGo的實現原理並對AlphaGo與人類棋手對弈結果進行了分析。
在演講中他提到AlphaGo主要是改進了以下兩種方法
引用l MCTS搜索（蒙特卡洛樹搜索）
l CNN（捲曲神經網絡）
Value Networks（價值網絡）和 Policy Networks（策略網絡）方面：
Value Networks 評估棋盤位置，Policy Networks 選擇下棋步法，這些神經網絡模型通過一種新的方法進行訓練，結合人類專家比賽中學到的監督學習，以及在自己和自己下棋（Self-Play）中學到強化學習，其實質是深度學習網絡（CNN）跟蒙特卡羅搜索樹（MCTS）進行結合。
基於全局特徵和深度卷積網絡（CNN）訓練出來的策略網絡（Policy Network），其主要作用是給定當前盤面狀態作為輸入，輸出下一步棋在棋盤其它空地上的落子概率。
另一個是利用局部特徵和線性模型訓練出來的快速走棋策略（Rollout Policy)，策略網絡速度較慢但精度較高，快速走棋策略則反之。
策略網絡上的監督學習
引用l 12層的捲曲神經網絡
l 使用Google Cloud在超過50個GPU中訓練四周的時間
l 在測試數據集上57%的準確率（目前最佳44%）
策略網絡上的強化學習
引用l 12層的捲曲神經網絡
l 使用Google Cloud在超過50個GPU中訓練一週的事件
l 相比監督學習實現了80%的結果，業餘3段水準
策略網絡與先前訓練好的策略網絡互相對弈，利用增強式學習來修正策略網絡的參數，最終得到增強的策略網絡。
實現過程如下：
利用普通的策略網絡來生成棋局的前U-1步（U是一個屬於[1, 450]的隨機變量），然後利用隨機採樣來決定第U步的位置（這是為了增加棋的多樣性，防止過擬合）。
隨後，利用增強的策略網絡來完成後面的自我對弈過程，直至棋局結束分出勝負。此後，第U步的盤面作為特徵輸入，勝負作為label，學習一個價值網絡（Value Network），用於判斷結果的輸贏概率。價值網絡其實是AlphaGo的一大創新，圍棋最為困難的地方在於很難根據當前的局勢來判斷最後的結果，這點職業棋手也很難掌握。通過大量的自我對弈，AlphaGo產生了3000萬盤棋局，用來訓練價值網絡。但由於圍棋的搜索空間太大，3000萬盤棋局也不能幫AlphaGo完全攻克這個問題。
AlphaG的一個關鍵之處在蒙特卡羅搜索樹（MCTS）中嵌入了深度神經網絡來減少搜索空間，這大大減少了不必要的搜索步驟，通過價值網絡和策略網絡顯著提升了其勝率。
使用策略網絡減少其寬度
使用價值網絡減少深度
利用這兩個改進的網絡來分別判斷局勢，兩個局勢得分相加為此處最後走棋獲勝的得分。這裏使用快速走棋策略是一個用速度來換取量的方法，從被判斷的位置出發，快速行棋至最後，每一次行棋結束後都會有個輸贏結果，然後綜合統計這個節點對應的勝率。而價值網絡只要根據當前的狀態便可直接評估出最後的結果，兩者各有優缺點並進行互補。
在2015年10月5:0戰勝歐洲圍棋冠軍樊麾（三屆歐洲圍棋冠軍）之後，AlphaGo於2016年3月4:1戰勝韓國傳奇棋手李世石（近十年內圍棋頂尖棋手之一）。在第四局中由於李世石棋手的“神之一手”，AlphaGo落敗，也給了AlphaGo入圍Goratings排名榜單的機會。
在David Silver看來，AlphaGo已超越了所有其他圍棋AI程序。在首爾與李世石對弈過程中，他認為AlphaGo已經展現出超越專業9段棋手的水準，按Goratings分數來排名的話應該接近4500分左右。這個分數不僅超過中國棋手柯潔九段的最高分數，也比其自身目前分數要高。究竟這個驚人的成績是否屬實，讓我們期待AlphaGo與柯潔九段的終極“人機大戰“。
參考資料
PS : 本文由雷鋒網(搜索“雷鋒網”公眾號關注)獨家編譯，未經許可拒絕轉載！
via David Silver IJCAI2016
資料來源：雷鋒網
作者/編輯：Blake