別讓 GPT-4 再進化！馬斯克帶頭簽署千人聯名信，緊急呼籲 AI 實驗室立即暫停研究
至今，我們已經經歷了多次數字革命，包括圖形界面的出現、互聯網的誕生以及移動互聯網的普及，但沒有一次科技變革像 GPT 模型引發的 AI 浪潮那樣引起如此廣泛的恐慌情緒。
一方面 AI 改變了人們工作和生活的方式，大大提高了效率；另一方面 AI 的運行和發展又充滿不確定性，觸發了人類對於未知事物的天然保護機制——恐懼。
今天，網絡上一封公開的聯名信爆火，該信呼籲所有的 AI 實驗立即暫停研究比 GPT-4 更先進的 AI 模型，暫停時間至少 6 個月，為的就是把這些可怕的幻想扼殺在搖籃之中。
AI 的進步速度實在過於驚人，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
該聯名信已經獲得了包括 2018 年圖靈獎得主 Yoshua Bengio、馬斯克、史蒂夫 · 沃茲尼亞克、Skype 聯合創始人、Pinterest 聯合創始人、Stability AI CEO 等多位知名人士的簽名支持，截稿前聯名人數已經達到 1125 人。
公開信的原文如下：
人工智能具有與人類競爭的智能，這可能給社會和人類帶來深刻的風險，這已經通過大量研究 [1] 得到證實，並得到了頂級 AI 實驗室的認可 [2]。正如廣泛認可的阿西洛馬爾人工智能原則（Asilomar AI Principles）所指出的，先進的 AI 可能代表地球生命歷史上的重大變革，因此應該以相應的關注和資源進行規劃和管理。
不幸的是，即使在最近幾個月， AI 實驗室在開發和部署越來越強大的數字化思維方面陷入了失控的競爭，而沒有人能夠理解、預測或可靠地控制這些數字化思維，即使是它們的創造者也無法做到這一點。
現代 AI 系統現在已經在通用任務方面具有與人類競爭的能力 [3]，我們必須問自己：
這些決策不應該由非選舉產生的科技領導人來負責。只有當我們確信 AI 系統的影響是積極的，風險是可控的，我們才應該開發強大的 AI 系統。這種信心必須得到充分的理由，並隨着系統潛在影響的增大而增強。OpenAI 最近關於人工智能的聲明指出：「在某個時候，可能需要在開始訓練未來系統之前獲得獨立審查，對於最先進的努力，需要同意限制用於創建新模型的計算增長速度。」我們同意。現在就是那個時刻。
因此，我們呼籲所有 AI 實驗室立即暫停至少 6 個月的時間，不要訓練比 GPT-4 更強大的 AI 系統。這個暫停應該是公開和可驗證的，幷包括所有關鍵參與者。如果無法迅速實施這樣的暫停，政府應該介入並實行一個暫禁令。
AI 實驗室和獨立專家應該利用這個暫停時間共同制定和實施一套共享的先進 AI 設計和開發安全協議，這些協議應該由獨立的外部專家嚴格審核和監督。
這些協議應確保遵守它們的系統在合理懷疑範圍之外是安全的 [4]。這並不意味着暫停 AI 發展，而只是從不斷邁向更大、不可預測的黑箱模型及其突現能力的危險競賽中退一步。
AI 研究和開發應該重點放在提高現有強大、先進系統的準確性、安全性、可解釋性、透明度、魯棒性、對齊、可信度和忠誠度。
與此同時，AI 開發者必須與政策制定者合作，大力加速 AI 治理體系的發展。這些至少應包括：
人類可以在 AI 的幫助下享受繁榮的未來。在成功創造出強大的 AI 系統之後，我們現在可以享受一個「AI 盛夏」，在其中我們收穫回報，將這些系統明確地用於造福所有人，並讓社會有機會適應。
在面臨可能對社會造成災難性影響的其他技術上，社會已經按下了暫停鍵 [5]。在這裏，我們也可以這樣做。讓我們享受一個漫長的 AI 盛夏，而不是毫無準備地衝向秋天。
在這份公開信裏，附上的簽名表或許要比信的內容本身要精彩，你可以在這裏找到很多熟悉的名字，每一個簽名都表達了簽名者對於 AI 的強烈懷疑態度。
不過，有網友發現這些簽名也不一定完全可信，因為在列表中出現了 OpenAI CEO Sam Altman（我封我自己？）和電影《疾速追殺》男主角 John Wick 的名字，具體的真實性還有待考究。
下方附上本封聯名信的地址，感興趣的朋友也可以去簽上自己的名字。
Pause Giant AI Experiments: An Open Letter
資料來源：愛範兒（ifanr）
一方面 AI 改變了人們工作和生活的方式，大大提高了效率；另一方面 AI 的運行和發展又充滿不確定性，觸發了人類對於未知事物的天然保護機制——恐懼。
今天，網絡上一封公開的聯名信爆火，該信呼籲所有的 AI 實驗立即暫停研究比 GPT-4 更先進的 AI 模型，暫停時間至少 6 個月，為的就是把這些可怕的幻想扼殺在搖籃之中。
AI 的進步速度實在過於驚人，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
該聯名信已經獲得了包括 2018 年圖靈獎得主 Yoshua Bengio、馬斯克、史蒂夫 · 沃茲尼亞克、Skype 聯合創始人、Pinterest 聯合創始人、Stability AI CEO 等多位知名人士的簽名支持，截稿前聯名人數已經達到 1125 人。
公開信的原文如下：
人工智能具有與人類競爭的智能，這可能給社會和人類帶來深刻的風險，這已經通過大量研究 [1] 得到證實，並得到了頂級 AI 實驗室的認可 [2]。正如廣泛認可的阿西洛馬爾人工智能原則（Asilomar AI Principles）所指出的，先進的 AI 可能代表地球生命歷史上的重大變革，因此應該以相應的關注和資源進行規劃和管理。
不幸的是，即使在最近幾個月， AI 實驗室在開發和部署越來越強大的數字化思維方面陷入了失控的競爭，而沒有人能夠理解、預測或可靠地控制這些數字化思維，即使是它們的創造者也無法做到這一點。
現代 AI 系統現在已經在通用任務方面具有與人類競爭的能力 [3]，我們必須問自己：
- 我們應該讓機器充斥我們的信息渠道，傳播宣傳和謊言嗎？
- 我們應該將所有工作都自動化，包括那些令人滿足的工作嗎？
- 我們應該發展可能最終超過、取代我們的非人類思維嗎？
- 我們應該冒失控文明的風險嗎？
這些決策不應該由非選舉產生的科技領導人來負責。只有當我們確信 AI 系統的影響是積極的，風險是可控的，我們才應該開發強大的 AI 系統。這種信心必須得到充分的理由，並隨着系統潛在影響的增大而增強。OpenAI 最近關於人工智能的聲明指出：「在某個時候，可能需要在開始訓練未來系統之前獲得獨立審查，對於最先進的努力，需要同意限制用於創建新模型的計算增長速度。」我們同意。現在就是那個時刻。
因此，我們呼籲所有 AI 實驗室立即暫停至少 6 個月的時間，不要訓練比 GPT-4 更強大的 AI 系統。這個暫停應該是公開和可驗證的，幷包括所有關鍵參與者。如果無法迅速實施這樣的暫停，政府應該介入並實行一個暫禁令。
AI 實驗室和獨立專家應該利用這個暫停時間共同制定和實施一套共享的先進 AI 設計和開發安全協議，這些協議應該由獨立的外部專家嚴格審核和監督。
這些協議應確保遵守它們的系統在合理懷疑範圍之外是安全的 [4]。這並不意味着暫停 AI 發展，而只是從不斷邁向更大、不可預測的黑箱模型及其突現能力的危險競賽中退一步。
AI 研究和開發應該重點放在提高現有強大、先進系統的準確性、安全性、可解釋性、透明度、魯棒性、對齊、可信度和忠誠度。
與此同時，AI 開發者必須與政策制定者合作，大力加速 AI 治理體系的發展。這些至少應包括：
- 專門負責 AI 的新的、有能力的監管機構；
- 對高能力 AI 系統和大型計算能力池的監督和跟蹤；
- 用於區分真實與合成內容、跟蹤模型泄漏的溯源和水印系統；
- 健全的審計和認證生態系統；對 AI 造成的損害承擔責任；
- 技術 AI 安全研究的充足公共資金；
- 應對 AI 引起的巨大經濟和政治變革（特別是對民主制度的影響）的資深機構。
人類可以在 AI 的幫助下享受繁榮的未來。在成功創造出強大的 AI 系統之後，我們現在可以享受一個「AI 盛夏」，在其中我們收穫回報，將這些系統明確地用於造福所有人，並讓社會有機會適應。
在面臨可能對社會造成災難性影響的其他技術上，社會已經按下了暫停鍵 [5]。在這裏，我們也可以這樣做。讓我們享受一個漫長的 AI 盛夏，而不是毫無準備地衝向秋天。
引用參考信息：
[1]
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2]
Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: ‘A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3]
Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4]
Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems “function appropriately and do not pose unreasonable safety risk”.
[5]
Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
在這份公開信裏，附上的簽名表或許要比信的內容本身要精彩，你可以在這裏找到很多熟悉的名字，每一個簽名都表達了簽名者對於 AI 的強烈懷疑態度。
不過，有網友發現這些簽名也不一定完全可信，因為在列表中出現了 OpenAI CEO Sam Altman（我封我自己？）和電影《疾速追殺》男主角 John Wick 的名字，具體的真實性還有待考究。
下方附上本封聯名信的地址，感興趣的朋友也可以去簽上自己的名字。
Pause Giant AI Experiments: An Open Letter
資料來源：愛範兒（ifanr）