繼《Dota 2》和《星際爭霸》後，人類又在一款競技遊戲裏敗給了 AI

在很多競技射擊遊戲中，你都能看到一種名為「奪旗模式」的玩法。它源於西方一項傳統運動，玩家被組成兩支小隊，目標是把對方基地裏的旗幟帶回到自己基地中，同時也要保護自家旗子不被人搶走。
規則看似很簡單，可比起強調擊殺得分的玩法，奪旗模式對於團隊配合和戰術執行也會更高，這往往需要幾名玩家在進攻和防守之間取得一個平衡點。


▲ 圖片來自：DeepMind

但這依舊沒有難倒開發出 AlphaGo 的 DeepMind 實驗室。據 Arstechnica 報道，在本週四的《Science》雜誌上，該公司發表了一篇新的論文，稱新設計出來的 AI 程序已經能在《雷神之錘 3》遊戲裏展現出和人類一樣的行動方式，還能在奪旗模式中戰勝人類隊伍。
這也是繼《星際爭霸 2》和《Dota 2》後，DeepMind 攻破的又一款複雜競技遊戲。

想要讓 AI 玩好競技射擊類遊戲，難點是什麼？

在 《AlphaGo》電影中，DeepMind 創始人 Demis Hassabis 曾簡單描述了讓 AI 理解圍棋玩法的難點。

他説，相比於西洋棋，圍棋裏的每顆棋子都擁有更多可以走的路徑選擇，最終整個棋局可變化的數目，要比全宇宙的原子總數還要多。

而 DeepMind 實驗室的挑戰，就在於去發明一種可以效仿人類直覺的高級算法，最終讓它們能夠像人類一樣進行決策，展開行動。

換成是第一人稱射擊遊戲中的奪旗模式，AI 還需要有更快的實時決策能力，比如思考在什麼時間點做什麼事是正確的？如果兩隊的分差較大，又該如何協調身邊的隊友，採取什麼策略才能扳回比分？

為了解決這個問題，DeepMind 實驗室建立了一套新的雙層學習系統。


在內層，DeepMind 會讓 AI 專注於競技比賽的核心目標，也就是贏得勝利，基於這個點，AI 會再為整個遊戲建立數個次級目標，由此來尋求取勝的最短路徑，比如跟隨隊友，或是在敵人的基地附近遊走。

這裏有一些具象化的東西，比如在訓練過程中，DeepMind 團隊採取了「優勝劣汰」的流程，讓 AI 將每一輪模擬賽裏表現最差的方案淘汰掉，然後再把最優秀方案中的突出部分共享出來，反覆改進整個決策樹。

而外層部分，則會根據內層的決策情況來調整其它模塊。比如説當內層認為防守戰術是現在最好的選擇，外層就會提升 AI 對於四周環境的視覺感知能力，這樣當敵人靠近基地時，AI 便能更快地實現射殺。


這麼看下來，DeepMind 開發的這套 AI 還是和人類很相似的，它的內層就像是人類的「大腦」，主要負責戰術策略；而外層則可以當作人類的「眼睛和雙手」，負責執行環節。

確定模型後，接下來就是一遍又一遍的訓練了。這次 DeepMind 團隊投入了約三週時間，讓 AI 進行了 45 萬局遊戲，相當於人類玩家耗費 4 年時間積累的遊戲經驗，效率依舊驚人。


在進行到約 10 萬場訓練時，AI 隊伍已經達到普通人類玩家的水平；而在 20 萬局訓練後，AI 隊伍已經能擊敗職業玩家，而且優勢還在逐漸擴大。

另外，研究人員還在訓練期間發現了一些額外的驚喜。比如 AI 會從神經網絡分出一部分神經元，專門用於確認身邊隊友是否拿到的旗子。
團隊還使用了隨機生成的地圖場景，為的就是不讓 AI 靠背板地圖來取勝。

AI 之所以強，不僅因為戰術，還有騷操作

AI 在遊戲中戰勝人類，靠的是什麼？DeepMind 曾表示，這是基於強化學習算法下的戰術執行。

但也有不少人認為，AI 在競技遊戲中的真正優勢是超高的手速和操作效率，而且很多都是人類玩家無法做到的。

原因很簡單，我們玩電腦遊戲時需要用到鼠標、鍵盤和手柄，我們要做出一項操作，都得先讓大腦意識反饋到手指上，然後再傳到遊戲中。

但人類選手們面對的 AI 並不是機器人，它們沒有實體，所以下達指令時並不需要藉助手柄等交互工具，這等於是砍掉了中間流程，自然是能獲得雙倍效率。


▲ 圖片來自：The Verge

這在實際遊戲中也有所體現。在今年年初的《星際爭霸》AI 對抗賽中，職業選手每分鐘的平均操作數為 250-500 左右，而 AI 則可以飆到 1000+，且大部分都是有效操作，意味着它可以在極短時間內下達更多的複雜指令。

而本次《雷神之錘 3》比賽中，據統計，人類的反應時間只有 AI 的一半，且後者的射擊精確度可以達到 80%，而人類只有 50%。

之後，哪怕是 DeepMind 稱已經將 AI 的響應時間調整至和人類相似的水平，人類戰隊依舊只能保證約 30% 左右的勝率，證明在戰術執行和決策部分，AI 依舊擁有一定的優勢。

這其實也是沒辦法的事情，單從訓練量來説，DeepMind 的 AI 在兩週時間內玩的局數，相積累了大約 200 年的遊戲時間。

難怪也有人評價，這種比賽毫無意義，因為 AI 本身就是外掛般的存在。

但人類也並非毫無優勢，比如在射擊遊戲中的遠距離狙擊場景，職業玩家會展現出更好的視覺能力。

所幸，我們暫時不用擔心在遊戲中碰到這麼強的 AI 對手。畢竟，如果 AI 太聰明，看破了你的一切招數，玩家會心生明顯的受挫感，玩遊戲就直接變成了一件找虐的事，遊戲也不用指望賣出去了。

此外，比起遊戲，我們在現實世界中還有很多值得 AI 投入的領域，《紐約時報》就發表評論認為，這些 AI 技能可以運用在倉儲管理機器人上，還有自動駕駛系統等。

在 DeepMind 眼中，電子遊戲僅僅是一塊敲門磚，AI 真正需要掌握的是獨立理解一個世界的能力，以及達成目標的手段，那麼就算換成是現實世界，它也可以很好地幫助人類。

題圖來源：DeepMind

資料來源：愛範兒（ifanr）