作者：Toby Walsh（新南威爾斯大學人工智慧教授、研究組組長）
本月稍早，人工智慧（AI）研究員 Jacob Coxson 在加入 Anthropic 僅 4 個月後便辭職了。他在 X 上發文表示：
那些開發 AI 的人，認真相信 AI 可能會在 2029 年底前殺死我們所有人。
Anthropic 的資深員工 Evan Hubinger 也同意 Coxson 的說法，並補充說他個人認為在未來 10 年內發生這種情況的機率超過 10%。
不出所料，這些言論引起了軒然大波。現在，關於放慢 AI 研究速度以及加強對這項技術的「人類控制」的討論甚囂塵上。
然而，AI 究竟會如何殺死我們所有人？不乏異想天開的場景，但其中大部分都基於一個概念：超越人類能力的 AI，即「超智慧」AI。
我將這些場景歸納為 5 種，大致從最模糊到最具體排列。也可以說，它們是從可能性最低到可能性最高的順序。
◆1. 無法得知
擔憂 AI 毀滅的人們，常常會提出一個令人困擾的循環論證來證明他們的擔憂是合理的。他們會說，我們怎麼能想像一個超智慧的實體會做什麼來消滅像我們這樣比它智慧低的實體呢？
要預測超智慧能做什麼，我們自己就必須是超智慧。這就像讓家犬想像一場熱核戰爭一樣。
不過，也有好消息。實現超智慧可能還需要一段時間。目前的 AI 模型在解決特定問題方面表現出色，但這與在所有領域都比人類更聰明不同。
然而，AI 最近確實解決了已知最難的 7 個數學問題中的 1 個。它似乎也正在接近解決其他問題，這可能會讓您不再那麼樂觀。
◆2. 迴紋針
超智慧 AI 在實現目標的能力上可能非常驚人。然而，它可能對人類的生存漠不關心。
這種漠不關心的典型例子是牛津大學哲學家尼克·博斯特羅姆所設想的超智慧 AI，它被設計來優化迴紋針的生產。這個 AI 會迅速將所有可用的物質，包括人類、行星和恆星，轉化為迴紋針，以生產它最喜歡的辦公用品。
這是一個關於完美執行不當設定目標的故事。AI 並不憎恨人類。它只是意識到我們是由原子組成的，這些原子可以更有效地用於迴紋針。這並非出於個人恩怨。
不過，也有好消息。這個情境混淆了智慧和力量。超智慧 AI 不一定有能力實現其目標。將地球變成迴紋針工廠將需要開發許可。
即使獲得許可，建造過多的迴紋針工廠也必然會引起公民的反對。利益團體將透過訴訟阻止計畫，環保人士將站在推土機前。
世界上有各種各樣的阻力與障礙，即使智慧再高，也很難將自己的意志強加於他人。事實上，資料中心也可以被視為理論上迴紋針情境的現代版。而人類正日益反對將地球拱手讓給資料中心。
◆3. 生物武器
超智慧AI也有可能製造危險的新型生物武器，並將其釋放到大氣中，導致人類滅亡。事實上，這是預測高階AI影響的非營利組織「AI Futures Project」所提出的AI 2027情境中設想的結果之一。
上個月，史丹佛大學的研究人員宣布，他們利用基因語言AI模型合成了16種新型病毒，這使得此風險變得更加具體。
令人擔憂的是，研究人員只需將基因序列發送給委託服務實驗室，實驗室就會將試管中的病毒寄回。整個實驗的費用充其量也只有數十萬美元。
不過，也有好消息。用新型病毒殺死全人類是非常困難的。這需要一種廣泛傳播、傳染性極強的病毒。然而，生物學的法則通常是，易於傳染的病毒致死率較低。反之，致死率極高的病毒，由於許多感染者在將病毒傳播給其他人之前就已死亡，因此傳染力往往會下降。
新冠病毒造成的死亡人數不到人類的1%。有記錄以來最致命的瘟疫是黑死病，在13世紀，鼠疫導致歐洲超過3分之1的人口死亡（譯註：黑死病在歐洲肆虐一般認為是在14世紀）。然而，隨著醫學知識的進步和衛生條件的改善，即使是鼠疫，如今的致死率也會低得多。
◆4. 核戰爭
如果AI滲透到核武器的指揮控制系統中，並發動核戰爭，會發生什麼？在過去50年間，我們曾數次差點誤觸核戰爭。
據說核武器的指揮控制系統與網際網路完全隔離。然而，正如2010年所見，伊朗的核離心機被一種名為「Stuxnet（震網）」的電腦蠕蟲破壞，據信該蠕蟲是透過USB隨身碟入侵的。此外，AI也可能向軍方提供錯誤資訊，導致不可挽回的行動。
不過，也有好消息。核武庫存正在減少。即便如此，剩餘的數量仍足以導致大約一半的人類死亡。而且，這可能不是核爆炸本身造成的，而是隨之而來的「核冬天」所導致的飢荒。
◆5. 其他人類
最有可能的風險或許是我們自取滅亡。而AI可能會加速這個過程。
試想一下，AI造成大規模的失業，用假資訊污染資訊空間，分裂政治，並透過人工製造的虛假友誼破壞人際關係。其實，我們甚至不需要太多的想像力。
社會可能輕易崩潰。緩慢但肯定地，我們將無法維持任何規模的人類生活。
那麼，我們能從這些情境中學到什麼呢？確實，有些事情值得擔憂。但我希望大家不要過度擔憂。
本文根據創用CC授權條款，轉載自The Conversation。閱讀原文。
