「ブレーキは、事故の後では作れない」——AI業界の中枢 1,178人が米政府に求めた減速オプション

正式名称は 「Pacing the Frontier」。フロンティア AI 企業の従業員が、将来必要になった場合に AI 開発を意図的に減速できる国際的な技術・統治基盤の整備を米政府に求めた共同声明だ。署名は個人によるもので企業共同声明ではないが、OpenAI と Anthropic は組織として別途支持を表明した。

• 署名者は確認時点で 1,178人——Amodei（Anthropic CEO）、Pachocki（OpenAI Chief Scientist）、Chen（OpenAI CRO）、Zhao（Meta AI Chief Scientist）、Dragan（Google AI安全責任者）ら現役中枢を含む
• 対象は危険なモデルの「利用」ではなく、AI が AI 研究を加速する「開発ループ」そのもの

重要なのは、「今すぐ全 AI 開発を停止せよ」という要求ではないことだ。必要になってからブレーキを作るのでは間に合わない——だから平時のうちに、ブレーキ・監視装置・停止条件・相互確認手段を設計しておく、という主張である。

システム開発に例えるなら、障害が起きてからキルスイッチを実装するのではなく、事前に用意しておく発想だ：

• ロールバック——問題のある変更を安全に巻き戻せる状態を保つ
• サーキットブレーカー——異常時に自動で流れを遮断する仕組み
• 監査ログ——何が起きたかを後から検証できる記録
• 緊急停止権限——誰がどの条件で止めるかの事前合意

現在の AI 開発は、概ね人間が次の工程を指揮している。声明が警戒するのは、AI がこのループをほぼ自律的に回せるようになった瞬間だ。

↻ AI が次の AI を開発 → さらに高速・高性能に → そのAIがさらに優れた AI を——再帰的自己改善（RSI）の成立

なお Anthropic 自身は、完全な再帰的自己改善について「まだ到達しておらず、必然でもない」と明記している。一方で、AI はコード作成・実験実行・研究再現を急速に自動化しており、人間の役割が「研究目標の設定・監督・検証」に限定されていく可能性を指摘する。

最大の問題は競争上の囚人のジレンマだ。たとえば OpenAI だけが半年間停止しても、Anthropic、Google、Meta、あるいは米国外の企業が継続すれば、停止した企業だけが競争力を失う。安全性を重視する企業であっても、単独停止を選びにくい構造がある。

だから声明は政府に「国際的な基盤」を求める。Anthropic が示す実効的な減速の条件は5つ：

• 複数国の主要 AI 研究所が同じ条件で参加する
• 他社が本当に停止したか検証できる
• 停止の発動条件と解除条件を決める
• 誰が判定するかを定める
• 秘密裏の大規模学習を検知する

一方で、未解決の難題も明確だ——規制が既存大手を保護する「規制の虜」・参入障壁にならないか。米国外の企業や非公開の計算資源を本当に監視できるのか。停止権限を誰に持たせるのか。制度設計の議題に載ったことと、制度が機能することの間には、まだ長い距離がある。