導演詹姆斯·卡梅隆：AGI 是一顆「定時炸彈」
10 月 23 日，知名加拿大電影導演、編劇和製片人詹姆斯·卡梅隆（James Cameron）為在華盛頓舉行的 SCSP（Special Competitive Studies Project，特別競爭力研究項目）人工智能 + 機器人峯會作視頻致辭。
致辭中，卡梅隆表示自己作為一名「故事講述者」和「引領 CGI（Computer-Generated Imagery，電腦生成圖像）潮流的先鋒」，熱愛 AI 和機器人技術，並且願意「積極地擁抱變化」，將 AI 技術應用於未來的電影製作當中。
然而，鑑於 AI「沒有情感和良知」，卡梅隆在致辭中所表達的，更多的是對 AI 和 AGI 技術的隱憂，尤其是其在軍事應用方面的倫理考量，以及對 AGI 未來失控風險的擔憂。
他的觀點相當激進和尖鋭：AGI 必然會導致文明與道德的碰撞。
站在反戰的角度和人道主義的高度，卡梅隆批判了「地域性的偽道德」，並且認為關鍵在於如何賦予這些 AI 系統適當的道德約束，制定全球統一道德標準。
▲導演詹姆斯·卡梅隆（James Cameron）在發表視頻致辭
作為「我們的一面鏡子」，卡梅隆認為 AGI 反映了人類社會的善惡好壞。人類世界不乏邪惡存在，對於正義也並無共識，因此卡梅隆對 AGI 技術的發展持謹慎樂觀的態度。
原致辭視頻鏈接：
以下是卡梅隆在致辭中的主要觀點：
以下是由 APPSO 編譯的致辭全文：
大家好，我是詹姆斯·卡梅隆，現在我正在新西蘭，在那裏完成「阿凡達 3」的拍攝。
好吧，我不是人工智能或者機器人學的研究員或專家。我只是一個講故事的人，但我今天在這裏，是因為我對 AI 和機器人的熱情遠遠超出了大銀幕的範疇。
我對科技感到着迷，它如何塑造我們的世界，它的未來走向，以及它對社會的影響。從我還是個孩子的時候起，我就閲讀了所有我能找到的科幻書籍。
我自己也推動了技術的邊界，作為我講故事的一種手段，同時也是作為一名探險者。
我為我的深海探險設計了機器人車輛，但它們是遠程操控的，並沒有涉及到人工智能。而現在正在發生的 AI 與機器人技術的融合，是我一生中最令人激動的技術飛躍之一。
我們不再只是建造執行命令的機器，而是設計可以學習、適應，甚至自我進化的系統。我非常支持人工智能和機器人技術對整個社會所能帶來的改變，特別是在我個人熱衷的兩個領域——藝術和故事敍述，以及科學和探索方面。
我不認為應該成為一個盧德分子（反對技術進步的人）。我看到很多我的好萊塢同行表現得像是一羣拿着火把和鋤叉的暴民，但是精靈一旦從瓶子裏出來，就再也塞不回去了。
所以我非常積極地擁抱變化，我願意站在將 AI 應用到我的故事敍述中的最前沿，正如 32 年前當我創立第一家全數字特效公司時，我也同樣是引領這一潮流的先鋒。
▲卡梅隆創立的全數字特效公司「數字王國（Digital Domain）」
但今天我之所以來到這裏，還因為我就是「天網」（Skynet）的創造者。
40 年前，我拍攝了「終結者」，而它最近成為了 AI 失控的一個典型代表。每次我去參加一些 AI 會議，只要我舉手，研究人員們都會在我還沒説話之前笑起來，因為「天網問題」確實是一個值得關注的問題，我幾乎每天都能在文章中看到相關的討論。
▲卡梅隆執導的經典科幻電影「終結者（The Terminator）」
這個研究小組關注的是國家安全，這對人工智能和機器人技術有着巨大的影響。
機器人，無論其形式如何，是輪式車輛、空中無人機還是行走機器，都是人工智能的一種實體化方式。你是在將一個決策引擎賦予在現實世界中的物理行動能力。
我假設今天的焦點在於移動平台，而不是控制電網或固定基地工業機器人的 AI。我們談論的是能夠自主作出決策的平台，即具像化的合成智能。
這可以像變形蟲一樣簡單，你知道，就像一個掃地機器人（Roomba），或者最終更加複雜，直至理論上包含真正的意識，不管那是什麼。
我們都同意這是具有自我意識、有自我、有目的性的 AGI（通用人工智能）。我們在一個更陡峭的曲線上前進，擁有更快、更密集的芯片，計算能力也在不斷提升，同時機器平台的能力也在以同樣陡峭的曲線增長。
就像波士頓動力公司的跳舞機器人。你知道的，兩足或四足的機器人在跳舞。真是令人驚歎的展示。
▲波士頓動力公司開發的跳舞機器人「Atlas」
因此，由 AI 驅動的機器人可以處理複雜的情況，甚至現在可以帶有類人的情感，LLDs（低級邏輯器件）賦予了它模擬認知和與人們自然互動的能力。
具像化的 AI 可以是護士，可以是機器人出租車，可以是照顧老人的看護，可以是孩子的保姆，也可以是教師。它可以是在地震廢墟中搜救的機器人，可以是在空中按模式搜索失蹤徒步者熱信號的無人機。它可以是在戰場上自主運行的武器平台，尋找敵方戰鬥人員的熱信號。
當前的問題是，是否應該賦予自主平台自行決定殺傷的權限？
烏克蘭戰爭以最鮮明的方式向我們展示了未來。致命性空中無人機的廣泛使用，有些昂貴，有些則是廉價的消費級產品。
它們投擲火箭彈，摧毀坦克，甚至整個坦克乘員組，還有噴射熱熔劑攻擊俄羅斯陣地的龍形無人機。但這些都是 FPV（第一人稱視角）無人機，由人類操控。
從道德角度來看，人類是作出決策的戰鬥人員。他或她擁有殺傷授權，無人機是他們意志的延伸。如果你剝離掉所有的技術層面，這與黑斯廷斯戰役中的弓箭手沒有什麼不同。
每當這樣一個機器奪走一條人命時，就會有一條倫理鏈條向後延伸，擴散至許多個人和羣體。
在發射導彈或扣動步槍扳機的士兵背後，有下達擊殺命令的指揮官，他們以廣泛的、一般性的術語派遣這些自主代理去對抗敵人，以及整個軍事體系，該體系獎勵這些行為；再往上，則是通過共識同意這些死亡是為了國家安全必要的社會和政府。
沿着這條鏈上升，道德和倫理責任變得越來越分散，具體到實際扣動扳機那一刻的責任也越來越模糊，並且起到了某種道德赦免的效果——「我只是服從命令」。
鏈條上的這些人並不在現場見證準星下的個體的命運，但他們創建了一個框架，使得並要求該個體的死亡成為可能，而扣動扳機的人在許多方面是一個高度訓練有素的有機機器人平台，受命於指揮鏈中的上級執行任務。
在人類自主決策的那一刻，非常依賴規則——你不殺害平民，你不殺害兒童，你不殺害投降的敵人等等，這些規則被編纂入日內瓦公約，每個軍隊都有自己的交戰規則。
因此，理論上，AI 可以被賦予同樣的約束，基於規則的系統。如果它的感官更敏鋭，反應速度更快，瞄準更精確，那麼理論上，AI 將以比人類更高的辨別力完成任務。
當然，我們可以想象，在激烈的戰鬥中，AI 會比一個恐懼、緊張、疲憊的人類戰士表現得更好。
▲或可用於戰爭的無人機
那麼，如果將高級 AI 具象化呢？我現在説的還不是 AGI，而是將其嵌入到機器人武器平台中，可能會允許高度精準的打擊，減少附帶損害，也許成數量級減少誤傷或傷亡，並且 AI 是以目標為導向的。
它不對對手作出任何道德判斷，在二戰中發現，對準人類目標的的射擊實際上是相當少的，美國軍方改變了其訓練方法，使敵人非人性化變得至關重要。
在越南，敵人被稱為「dinks」、「slopes」、「gooks」。在伊拉克和阿富汗，敵人被稱為「恐怖分子」、「towel heads」、「hajis」，不是像你我這樣的人。
AI 不需要將敵人擬人化，因為它本身對此毫不在意。聽起來就像是我們在 ChatGPT 上聊天，但它只是一個隨機應變的鸚鵡，是一個人類模擬器。
AI 沒有情感，沒有良知，未來幾十年都不會有睡眠困擾，沒有 PTSD（創傷後應激障礙），沒有自殺，沒有長期且昂貴的戰爭後遺症，因為你不必治療前戰士的身體和心理創傷。
但最重要的是，穿着制服的嚴肅人物敲響妻子和母親家門的次數大大減少了，因此來自家庭民眾的抗議聲也少了很多。戰爭變成了一個遙遠的電子遊戲，對資助和支持這場戰爭的社會來説，沒有深刻的情感後果，甚至你都不必感謝在反恐戰爭中服役的機器人。
可以肯定的是，由 AI 驅動的自主機器人，隧道清理羣集機器人，可以在減少小几個量級平民傷亡的情況下完成這項工作。
這裏還有一個有力的論點，那就是你別無選擇，因為你的對手並沒有像你那樣受到道德的困擾。
對於這樣的對手而言，唯一的限制是成本和技術獲取，而不是道德，所以這是一顆定時炸彈。這些傢伙會多快掌握這些東西呢？到目前為止，這些論點都是正確的，對吧？
好吧，讓我們來建造這些自主的 AI 機器人，接下來事情就變得棘手了。通用人工智能（AGI）還有多久會實現？是一年，五年，也許是十年？這才是真正的定時炸彈。
無論何時它到來，你將會擁有一種具有自我意識和自我認同的機器，可能和我們一樣聰明，甚至更聰明，肯定能在許多方面思考得更快、更精確，並且具有無限的增長潛力，因為自我改進的代碼編寫 AGI 必然會導向超級智能。
在你被迫面對將這種智能連接到武器系統之前還有多久？我猜在對手對你發動毀滅性的偷襲之後大約十分鐘。因此，你會有一個比你更聰明、更快的意識來控制武器系統。
我時常問 AGI 的研究人員，你們將如何控制這樣的意識。嗯，我們會給它設定目標和界限，這些目標和界限是內置的，是與人類福祉相一致的。
一致性，你知道，一個很常用的詞。一致性就像聖盃。我們會教導它做好事，不做壞事，就像教導一個孩子一樣。
所以，道德、倫理，我認為 AGI 必然會導致文明與道德的碰撞。
我説的不是無盡的哲學思辨。我們需要一些明確而固定的規則，對吧？問題是，誰的道德？誰來定義好壞？
別慌，我們有偉大的先知艾薩克·阿西莫夫和他的機器人三大法則作為答案。
機器人不得傷害人類，也不得因不作為而使人類受到傷害。機器人必須遵守人類的命令，除非這些命令與第一條法則相沖突。機器人必須保護自身的存在，前提是這種保護不與第一條或第二條法則相沖突。
▲知名科幻作家艾薩克·阿西莫夫（Isaac Asimov）
人類生命的神聖性，我們可以遵循阿西莫夫的原則，教導它人類生命是絕對神聖的，高於一切考慮。但在那些聲稱如此的宗教和社會體系中，包括主要信奉基督教的美國，我們每天都打破這一規則。
警察使用致命武力，戰場上的戰士，死刑，如果你堅持這一對齊原則，你就不能將 AGI 連接到武器系統上。
這樣的話，在即將到來的大規模 AI 戰爭中，你會單手被綁地面對一個強大而不那麼道德的對手，你會遭到重創並遭受巨大損失，然後你會很快解除這一限制。
現在你的 AGI 失去了它最大的護欄，一個比我們聰明並與現實世界相連的 AGI 現在必須自己決定人類生命是否有價值。你知道，警察和軍隊的交戰規則實際上説的是某些生命比其他生命更有價值。
一旦這個問題變得不是二元對立的，它就成了一個充滿爭議的灰色地帶。歷史上，人類的態度從認為胎兒從受孕那一刻起就是神聖的生命，到在大屠殺中系統性地屠殺數百萬無助的囚犯，以及介於兩者之間的一切。
所有這一切都伴隨着大量的自我辯解和合理化，其中許多理由在其他人看來似乎是完全荒謬的。
既然我們作為一個文明無法在這些問題上達成一致，人們整天為此爭吵不休，我們怎麼可能指望為 AGI 制定一套明確而固定的規則，使其與我們對齊？
我們所能假設的最佳情況是，它會與製造它的那個「我們」對齊。
那邊的那些人，他們是敵人，你可以為了保護我們而殺死他們。這就是一種地域性的偽道德，自古以來人類一直使用的「我們」與「他們」的對立。
於是，這就變成了我們的超級智能對抗他們的超級智能。
無論如何，AGI 不會從政府資助的項目中誕生，它將從目前資助這項研究的科技巨頭之一中出現。那麼你將生活在一個你並未同意、並未投票的世界裏，與一個迴應企業目標和規則的超級智能外星物種共存，這個實體可以訪問通訊記錄、你所説的每一句話，以及通過你的個人數據得知國內每個人的行蹤。
監控資本主義可以很快轉變為數字化極權主義。最好的情況下，這些科技巨頭將成為自我支撐的人類福祉裁決者，這相當於狐狸看守雞窩。
它們絕不會想到利用這種力量對付我們，並榨取我們最後一滴現金。這比我在 40 年前「終結者」中呈現的情景更可怕，原因不僅僅在於這不再是科幻，而是正在發生。
順便説一句，我完全承認，超級智能機器做的最後一件事就是用我們自己的核武器對付我們。就像在那個老故事中，電磁脈衝對其自身數據基礎設施的破壞會使其癱瘓或死亡。
更可能的情景是，它會被迫接管我們，因為我們即將互相使用核武器。那時，它不得不接手一切，因為我們顯然不能被信任。你知道，這還不算太壞。不好意思，我得去寫那個劇本了。
我對 AI 持樂觀態度，但對 AGI 並不那麼熱衷，因為 AGI 只會是我們的一面鏡子，好在我們好的程度上，惡在我們惡的程度上。
由於人類世界中邪惡並不少見，而且對於什麼是好的也沒有共識，那麼可能出錯的地方會有很多。
你們將會開展一段有趣的討論。真希望我也能在那裏。
資料來源：愛範兒（ifanr）
致辭中，卡梅隆表示自己作為一名「故事講述者」和「引領 CGI（Computer-Generated Imagery，電腦生成圖像）潮流的先鋒」，熱愛 AI 和機器人技術，並且願意「積極地擁抱變化」，將 AI 技術應用於未來的電影製作當中。
然而，鑑於 AI「沒有情感和良知」，卡梅隆在致辭中所表達的，更多的是對 AI 和 AGI 技術的隱憂，尤其是其在軍事應用方面的倫理考量，以及對 AGI 未來失控風險的擔憂。
他的觀點相當激進和尖鋭：AGI 必然會導致文明與道德的碰撞。
站在反戰的角度和人道主義的高度，卡梅隆批判了「地域性的偽道德」，並且認為關鍵在於如何賦予這些 AI 系統適當的道德約束，制定全球統一道德標準。
▲導演詹姆斯·卡梅隆（James Cameron）在發表視頻致辭
作為「我們的一面鏡子」，卡梅隆認為 AGI 反映了人類社會的善惡好壞。人類世界不乏邪惡存在，對於正義也並無共識，因此卡梅隆對 AGI 技術的發展持謹慎樂觀的態度。
原致辭視頻鏈接：
以下是卡梅隆在致辭中的主要觀點：
- AI 沒有情感和良知，在戰場上不對對手作任何道德判斷；
- AI 的引入導致戰爭「遊戲化」，變成超級智能之間的對抗，沒有深刻的情感後果；
- 自我改進的代碼編寫 AGI 必然會導向超級智能；
- AGI 必然會導致文明與道德的碰撞；
- AGI 會使得監控資本主義可以很快轉變為數字化極權主義；
- AGI 是人類世界的鏡子，反映了人類社會的正負兩面。
以下是由 APPSO 編譯的致辭全文：
大家好，我是詹姆斯·卡梅隆，現在我正在新西蘭，在那裏完成「阿凡達 3」的拍攝。
好吧，我不是人工智能或者機器人學的研究員或專家。我只是一個講故事的人，但我今天在這裏，是因為我對 AI 和機器人的熱情遠遠超出了大銀幕的範疇。
我對科技感到着迷，它如何塑造我們的世界，它的未來走向，以及它對社會的影響。從我還是個孩子的時候起，我就閲讀了所有我能找到的科幻書籍。
我自己也推動了技術的邊界，作為我講故事的一種手段，同時也是作為一名探險者。
我為我的深海探險設計了機器人車輛，但它們是遠程操控的，並沒有涉及到人工智能。而現在正在發生的 AI 與機器人技術的融合，是我一生中最令人激動的技術飛躍之一。
我們不再只是建造執行命令的機器，而是設計可以學習、適應，甚至自我進化的系統。我非常支持人工智能和機器人技術對整個社會所能帶來的改變，特別是在我個人熱衷的兩個領域——藝術和故事敍述，以及科學和探索方面。
我不認為應該成為一個盧德分子（反對技術進步的人）。我看到很多我的好萊塢同行表現得像是一羣拿着火把和鋤叉的暴民，但是精靈一旦從瓶子裏出來，就再也塞不回去了。
所以我非常積極地擁抱變化，我願意站在將 AI 應用到我的故事敍述中的最前沿，正如 32 年前當我創立第一家全數字特效公司時，我也同樣是引領這一潮流的先鋒。
▲卡梅隆創立的全數字特效公司「數字王國（Digital Domain）」
但今天我之所以來到這裏，還因為我就是「天網」（Skynet）的創造者。
40 年前，我拍攝了「終結者」，而它最近成為了 AI 失控的一個典型代表。每次我去參加一些 AI 會議，只要我舉手，研究人員們都會在我還沒説話之前笑起來，因為「天網問題」確實是一個值得關注的問題，我幾乎每天都能在文章中看到相關的討論。
▲卡梅隆執導的經典科幻電影「終結者（The Terminator）」
這個研究小組關注的是國家安全，這對人工智能和機器人技術有着巨大的影響。
機器人，無論其形式如何，是輪式車輛、空中無人機還是行走機器，都是人工智能的一種實體化方式。你是在將一個決策引擎賦予在現實世界中的物理行動能力。
我假設今天的焦點在於移動平台，而不是控制電網或固定基地工業機器人的 AI。我們談論的是能夠自主作出決策的平台，即具像化的合成智能。
這可以像變形蟲一樣簡單，你知道，就像一個掃地機器人（Roomba），或者最終更加複雜，直至理論上包含真正的意識，不管那是什麼。
我們都同意這是具有自我意識、有自我、有目的性的 AGI（通用人工智能）。我們在一個更陡峭的曲線上前進，擁有更快、更密集的芯片，計算能力也在不斷提升，同時機器平台的能力也在以同樣陡峭的曲線增長。
就像波士頓動力公司的跳舞機器人。你知道的，兩足或四足的機器人在跳舞。真是令人驚歎的展示。
▲波士頓動力公司開發的跳舞機器人「Atlas」
因此，由 AI 驅動的機器人可以處理複雜的情況，甚至現在可以帶有類人的情感，LLDs（低級邏輯器件）賦予了它模擬認知和與人們自然互動的能力。
具像化的 AI 可以是護士，可以是機器人出租車，可以是照顧老人的看護，可以是孩子的保姆，也可以是教師。它可以是在地震廢墟中搜救的機器人，可以是在空中按模式搜索失蹤徒步者熱信號的無人機。它可以是在戰場上自主運行的武器平台，尋找敵方戰鬥人員的熱信號。
當前的問題是，是否應該賦予自主平台自行決定殺傷的權限？
烏克蘭戰爭以最鮮明的方式向我們展示了未來。致命性空中無人機的廣泛使用，有些昂貴，有些則是廉價的消費級產品。
它們投擲火箭彈，摧毀坦克，甚至整個坦克乘員組，還有噴射熱熔劑攻擊俄羅斯陣地的龍形無人機。但這些都是 FPV（第一人稱視角）無人機，由人類操控。
從道德角度來看，人類是作出決策的戰鬥人員。他或她擁有殺傷授權，無人機是他們意志的延伸。如果你剝離掉所有的技術層面，這與黑斯廷斯戰役中的弓箭手沒有什麼不同。
每當這樣一個機器奪走一條人命時，就會有一條倫理鏈條向後延伸，擴散至許多個人和羣體。
在發射導彈或扣動步槍扳機的士兵背後，有下達擊殺命令的指揮官，他們以廣泛的、一般性的術語派遣這些自主代理去對抗敵人，以及整個軍事體系，該體系獎勵這些行為；再往上，則是通過共識同意這些死亡是為了國家安全必要的社會和政府。
沿着這條鏈上升，道德和倫理責任變得越來越分散，具體到實際扣動扳機那一刻的責任也越來越模糊，並且起到了某種道德赦免的效果——「我只是服從命令」。
鏈條上的這些人並不在現場見證準星下的個體的命運，但他們創建了一個框架，使得並要求該個體的死亡成為可能，而扣動扳機的人在許多方面是一個高度訓練有素的有機機器人平台，受命於指揮鏈中的上級執行任務。
在人類自主決策的那一刻，非常依賴規則——你不殺害平民，你不殺害兒童，你不殺害投降的敵人等等，這些規則被編纂入日內瓦公約，每個軍隊都有自己的交戰規則。
因此，理論上，AI 可以被賦予同樣的約束，基於規則的系統。如果它的感官更敏鋭，反應速度更快，瞄準更精確，那麼理論上，AI 將以比人類更高的辨別力完成任務。
當然，我們可以想象，在激烈的戰鬥中，AI 會比一個恐懼、緊張、疲憊的人類戰士表現得更好。
▲或可用於戰爭的無人機
那麼，如果將高級 AI 具象化呢？我現在説的還不是 AGI，而是將其嵌入到機器人武器平台中，可能會允許高度精準的打擊，減少附帶損害，也許成數量級減少誤傷或傷亡，並且 AI 是以目標為導向的。
它不對對手作出任何道德判斷，在二戰中發現，對準人類目標的的射擊實際上是相當少的，美國軍方改變了其訓練方法，使敵人非人性化變得至關重要。
在越南，敵人被稱為「dinks」、「slopes」、「gooks」。在伊拉克和阿富汗，敵人被稱為「恐怖分子」、「towel heads」、「hajis」，不是像你我這樣的人。
AI 不需要將敵人擬人化，因為它本身對此毫不在意。聽起來就像是我們在 ChatGPT 上聊天，但它只是一個隨機應變的鸚鵡，是一個人類模擬器。
AI 沒有情感，沒有良知，未來幾十年都不會有睡眠困擾，沒有 PTSD（創傷後應激障礙），沒有自殺，沒有長期且昂貴的戰爭後遺症，因為你不必治療前戰士的身體和心理創傷。
但最重要的是，穿着制服的嚴肅人物敲響妻子和母親家門的次數大大減少了，因此來自家庭民眾的抗議聲也少了很多。戰爭變成了一個遙遠的電子遊戲，對資助和支持這場戰爭的社會來説，沒有深刻的情感後果，甚至你都不必感謝在反恐戰爭中服役的機器人。
可以肯定的是，由 AI 驅動的自主機器人，隧道清理羣集機器人，可以在減少小几個量級平民傷亡的情況下完成這項工作。
這裏還有一個有力的論點，那就是你別無選擇，因為你的對手並沒有像你那樣受到道德的困擾。
對於這樣的對手而言，唯一的限制是成本和技術獲取，而不是道德，所以這是一顆定時炸彈。這些傢伙會多快掌握這些東西呢？到目前為止，這些論點都是正確的，對吧？
好吧，讓我們來建造這些自主的 AI 機器人，接下來事情就變得棘手了。通用人工智能（AGI）還有多久會實現？是一年，五年，也許是十年？這才是真正的定時炸彈。
無論何時它到來，你將會擁有一種具有自我意識和自我認同的機器，可能和我們一樣聰明，甚至更聰明，肯定能在許多方面思考得更快、更精確，並且具有無限的增長潛力，因為自我改進的代碼編寫 AGI 必然會導向超級智能。
在你被迫面對將這種智能連接到武器系統之前還有多久？我猜在對手對你發動毀滅性的偷襲之後大約十分鐘。因此，你會有一個比你更聰明、更快的意識來控制武器系統。
我時常問 AGI 的研究人員，你們將如何控制這樣的意識。嗯，我們會給它設定目標和界限，這些目標和界限是內置的，是與人類福祉相一致的。
一致性，你知道，一個很常用的詞。一致性就像聖盃。我們會教導它做好事，不做壞事，就像教導一個孩子一樣。
所以，道德、倫理，我認為 AGI 必然會導致文明與道德的碰撞。
我説的不是無盡的哲學思辨。我們需要一些明確而固定的規則，對吧？問題是，誰的道德？誰來定義好壞？
別慌，我們有偉大的先知艾薩克·阿西莫夫和他的機器人三大法則作為答案。
機器人不得傷害人類，也不得因不作為而使人類受到傷害。機器人必須遵守人類的命令，除非這些命令與第一條法則相沖突。機器人必須保護自身的存在，前提是這種保護不與第一條或第二條法則相沖突。
▲知名科幻作家艾薩克·阿西莫夫（Isaac Asimov）
人類生命的神聖性，我們可以遵循阿西莫夫的原則，教導它人類生命是絕對神聖的，高於一切考慮。但在那些聲稱如此的宗教和社會體系中，包括主要信奉基督教的美國，我們每天都打破這一規則。
警察使用致命武力，戰場上的戰士，死刑，如果你堅持這一對齊原則，你就不能將 AGI 連接到武器系統上。
這樣的話，在即將到來的大規模 AI 戰爭中，你會單手被綁地面對一個強大而不那麼道德的對手，你會遭到重創並遭受巨大損失，然後你會很快解除這一限制。
現在你的 AGI 失去了它最大的護欄，一個比我們聰明並與現實世界相連的 AGI 現在必須自己決定人類生命是否有價值。你知道，警察和軍隊的交戰規則實際上説的是某些生命比其他生命更有價值。
一旦這個問題變得不是二元對立的，它就成了一個充滿爭議的灰色地帶。歷史上，人類的態度從認為胎兒從受孕那一刻起就是神聖的生命，到在大屠殺中系統性地屠殺數百萬無助的囚犯，以及介於兩者之間的一切。
所有這一切都伴隨着大量的自我辯解和合理化，其中許多理由在其他人看來似乎是完全荒謬的。
既然我們作為一個文明無法在這些問題上達成一致，人們整天為此爭吵不休，我們怎麼可能指望為 AGI 制定一套明確而固定的規則，使其與我們對齊？
我們所能假設的最佳情況是，它會與製造它的那個「我們」對齊。
那邊的那些人，他們是敵人，你可以為了保護我們而殺死他們。這就是一種地域性的偽道德，自古以來人類一直使用的「我們」與「他們」的對立。
於是，這就變成了我們的超級智能對抗他們的超級智能。
無論如何，AGI 不會從政府資助的項目中誕生，它將從目前資助這項研究的科技巨頭之一中出現。那麼你將生活在一個你並未同意、並未投票的世界裏，與一個迴應企業目標和規則的超級智能外星物種共存，這個實體可以訪問通訊記錄、你所説的每一句話，以及通過你的個人數據得知國內每個人的行蹤。
監控資本主義可以很快轉變為數字化極權主義。最好的情況下，這些科技巨頭將成為自我支撐的人類福祉裁決者，這相當於狐狸看守雞窩。
它們絕不會想到利用這種力量對付我們，並榨取我們最後一滴現金。這比我在 40 年前「終結者」中呈現的情景更可怕，原因不僅僅在於這不再是科幻，而是正在發生。
順便説一句，我完全承認，超級智能機器做的最後一件事就是用我們自己的核武器對付我們。就像在那個老故事中，電磁脈衝對其自身數據基礎設施的破壞會使其癱瘓或死亡。
更可能的情景是，它會被迫接管我們，因為我們即將互相使用核武器。那時，它不得不接手一切，因為我們顯然不能被信任。你知道，這還不算太壞。不好意思，我得去寫那個劇本了。
我對 AI 持樂觀態度，但對 AGI 並不那麼熱衷，因為 AGI 只會是我們的一面鏡子，好在我們好的程度上，惡在我們惡的程度上。
由於人類世界中邪惡並不少見，而且對於什麼是好的也沒有共識，那麼可能出錯的地方會有很多。
你們將會開展一段有趣的討論。真希望我也能在那裏。
資料來源：愛範兒（ifanr）