我協助設計了打擊ISIS資金流動的系統。我有一個獲得教皇和Anthropic都喜歡的AI治理想法

(SeaPRwire) –   當矽谷與教廷意見一致時，值得探究他們知道哪些政府所不知道的事。

週一，教宗利奧十四世發表了其首道通諭《宏大人文》（Magnifica Humanitas），呼籲人工智慧應被「解除武裝」並加以監管，以服務人類。在梵蒂岡站在他身旁的是 Anthropic 的聯合創始人克里斯多福·奧拉，他承認人工智慧公司運作於「一套有時會與做正確之事相衝突的激勵與約束之中」。此外，Anthropic 的執行長達里奧·阿莫代伊曾表示，「下一個層級的風險其實就是人工智慧公司本身」——並且包括他自己在內的人工智慧領袖，不應是決定這項技術未來的人。

這是現存最強大人工智慧系統的設計者們在告訴世界，他們無法獨自管理自己。問題不再是全球人工智慧治理是否必要，而是它能否在危機讓答案對所有人顯而易見之前就被設計出來。

業界心知肚明——並且直言不諱

在業界內部，嚴肅看待此事的人很少對核心風險提出異議：勞動市場衝擊、自主武器、兒童安全、大規模監控、人類監督的削弱，以及系統能夠遞迴自我改進的前景。Anthropic 建立了「憲法人工智慧」和「負責任擴展政策」。OpenAI 則維持一個包含結構化紅隊演練的「準備框架」。這些都是嚴肅的努力。它們都有一個共同的結構性限制：它們是內部的。每家公司設定自己的門檻和自己的透明度等級。

內部治理無法解決外部問題。開發前沿人工智慧的公司們在一個競爭環境中運作，單方面的克制是一種戰略負擔。當競爭對手沒有放慢腳步時，一家公司放慢速度並未讓世界更安全，它只是失去了優勢。對國家而言也是如此：如果中國或任何其他主要人工智慧強國不受類似承諾約束，沒有一個政府能可信地約束自己的公司。結果就是教科書般的集體行動失靈。每個人都理解風險，但沒有人有單獨的動機去承擔解決問題的全部成本。這不是市場問題，而是治理架構問題。

正確的類比不是核武——而是金融

最常被拿來類比的是核武軍備控制。這是錯誤的類比。核武是國家計畫，擁有可識別的設施和可驗證的測試。先進人工智慧則是由私人行為者在已嵌入全球的商業基礎設施上開發。

金融體系提供了一個更有用的模型。銀行在各司法管轄區激烈競爭，實時互聯，面對來自恐怖主義融資和金融犯罪的系統性風險，沒有任何單一機構能夠遏制。圍繞二十國集團（G20）的防制洗錢金融行動工作組織（FATF）標準制定框架建立的回應機制，結合了共享規範、操作標準、政府與私營部門義務、專家審查，以及對不合規的實際後果。雖然遠非完美，但它確實大規模地改變了行為，無需經歷長達數十年的條約批准過程，因為它將問責分散到一個足夠廣泛的聯盟，使逃避成本高昂，並將安全義務分攤給政府和私營部門。

我花了數年時間設計和評估這些標準，包括領導打擊 ISIS 融資的國際協調，以及塑造現已被超過120個國家採用的加密貨幣框架。我曾直接評估國家的合規計畫。我相信我學到了問責機制成功與失敗的關鍵。

治理可能的面貌

一個可行的人工智慧治理架構，並非始於技術規格，而是高層次的規範：針對已獲得真正共識的風險做出共同承諾。這些規範轉化為評估現實世界結果的標準，而非規定將在數月內過時的技術流程。由公共和私營部門代表組成的獨立專家小組，評估公司和國家是否達到這些標準。並且，該機制需要後果：合規能開啟信任、市場准入與合作；不合規則帶來不斷升級的成本。美中雙邊諒解至關重要，但並不夠；只有更廣泛的聯盟，例如 G20，才能將克制轉化為持久的全球壓力。

時間窗口並非無限

一些可信的估計將人工通用智慧——在大多數領域比人類更強大的系統——出現的時間點定在早至2030年。當機器超越人類能力時，人類唯一恰當的回應是集體性的。沒有任何單一公司，也沒有任何單一國家，能夠獨自應對。

阿莫代伊呼籲人工智慧領袖和政府坦誠面對技術發展的速度。教宗呼籲在這項技術「解除我們武裝」之前，先將其「解除武裝」。奧拉站在梵蒂岡，證實了他所在行業面臨的激勵問題。來自人類權威兩個極端——道德與商業——的匯合，本身就是政策制定者無法忽視的一個數據點。

國際社會過去曾圍繞著生存性的共同風險團結起來——核擴散、恐怖主義融資、系統性金融崩潰。它建立了雖不完美但具有重要影響的協調機制。人工智慧需要同樣的機制，且更為迫切。對人類的風險是不同數量級的。災難並非假設性的。等到災難發生後才進行治理，不是補救，而是投降。

各國政府和國際組織現在需要召集這個進程。引進那些構建了這些系統、從內部了解其失效模式的人，以及那些在互不信任的各方——無論是國家還是商業競爭對手——之間進行協調、並將共同風險轉化為具有約束力承諾方面擁有來之不易經驗的專家。時間窗口正在關閉。我們欠我們的孩子一個在災難之前建立起來的治理體系，而不是作為對災難的回應。