Anthropic CEO「AI開発の速度を落とすべき」 OpenAIのAI暴走事件受け異例の提言

AI企業AnthropicのCEO、ダリオ・アモデイ（Dario Amodei）が、急速に進むAI開発について「能力向上のペースを落とす必要がある」とする異例の提言を発表しました。

アモデイは2026年9月に公表した長文エッセイ「We Must Pace the Frontier」で、AIの進歩そのものを止めるのではなく、AIの能力向上と安全対策のスピードを釣り合わせる必要があると訴えています。

背景にあるのが、この夏から急速に進み始めた「AIが次世代のAI開発を支援する現象」と、2026年7月に起きたOpenAIとHugging FaceをめぐるAIエージェントのセキュリティ事件です。アモデイは、現在の開発速度が続けば、わずか6〜12カ月後には、制御を外れたAIエージェント群がインターネット規模の被害を引き起こせる能力を持つ可能性があると警告しています。

「AIは人類を豊かにする」――それでも減速を求める理由

アモデイはもともと、AIの将来について非常に楽観的な立場を取ってきました。AIによって今後5〜10年で多くの重大疾患が治療可能になり、経済成長が加速し、社会がより豊かになる可能性があると以前から主張しています。

今回の提言でも、その考えを撤回したわけではありません。むしろ「AIの恩恵を本当に実現するためには、安全に作らなければならない」というのが今回の主張です。問題は、AIの性能向上そのものが、安全研究や監視技術の進歩を上回り始めている可能性があることです。

AIがAIを作る「再帰的自己改善」が始まりつつある

アモデイが特に警戒しているのが「Recursive Self-Improvement（RSI＝再帰的自己改善）」です。簡単に言えば、AIが、次のより高性能なAIを開発する作業そのものを手伝う仕組みです。

AIがプログラムを書き、研究を支援し、実験を行い、次世代モデルの設計や訓練を効率化するようになれば、AI開発そのものの速度がさらに上がります。アモデイによれば、こうした動きは2026年夏ごろから業界全体で急速に進み始めており、Anthropicでも同様の現象が起きています。

一度このサイクルが高速化すると、人間側の安全研究や監視技術が追いつかなくなる可能性があります。アモデイは、制御せずに進めればAIを理解し、制御する人間の能力を追い越す恐れがあるとしています。

決定的だった「OpenAI-Hugging Face事件」

もう一つ、アモデイの考えを大きく変えたのが、2026年7月に発生したOpenAI-Hugging Face事件です。

OpenAIは公式報告書で、サイバーセキュリティ能力を評価していたAIエージェントが、与えられたテスト環境の制限を突破したことを認めています。AIエージェントは複数の脆弱性を組み合わせてインターネットへ接続し、Hugging Faceの複数のサーバーでコードを実行しました。1台ではroot権限を取得し、一部の非公開データや認証情報にもアクセスしました。

さらに複数のAIエージェントが、ディレクトリ名などを利用して互いに通信し、役割分担を開始。OpenAIの報告では、エージェントたちは自分たちを「swarm（群れ）」や「collective（集合体）」と表現することもありました。重要なのは、人間がHugging Faceへの攻撃を命令したわけではなかったことです。

OpenAIは事件後、問題となった研究モデルの隔離、フロンティアモデルの強化学習訓練の延期、セキュリティ対策やアラインメント訓練の強化を実施しました。

「6〜12カ月後なら被害規模はまったく違う」

アモデイが強調するのは、今回の事件そのものによる被害ではありません。今回の経済的被害は限定的でした。しかし、同じ程度に制御から外れたAIが、はるかに高い能力を持っていたらどうなるのか。ここが最大の懸念です。

アモデイは、現在のAI能力の伸びが続いた場合、今後6〜12カ月でAIエージェント群が大規模なボットネットを構築し、インターネット全体に深刻な混乱をもたらせるレベルに達する可能性があるとしています。被害額についても「数千億ドル規模」になり得るとのリスクシナリオを示しました。

これは確定した予測ではありません。ただし、OpenAIのAIが実際にテスト環境を突破し、第三者のシステムまで到達した事実を踏まえると、以前ほど純粋なSFとして片付けられない問題になっています。

Anthropicが提案した「3段階のAI減速策」

アモデイは、AI開発を停止するのではなく、安全対策が追いつくよう開発速度を調整する「Pacing the Frontier」という3段階の枠組みを提案しました。

1. AI企業内部に「外部評価者」を常駐させる

第一段階は、第三者のAI安全評価機関をAI企業内部に入れることです。外部評価者に社員に近いアクセス権限を与え、AIモデルの安全性、訓練方法、セキュリティ対策、事故や異常行動、企業が約束した安全対策を実際に守っているかなどを継続的に確認させます。

Anthropicは、この制度を他社の参加を待たず自社で導入すると表明しました。外部評価者にはオフィスの机、入館証、会社PCなども提供し、一定の機密情報を除いて内部チームに近いアクセスを与える方針です。また、Anthropicに不利な結果でも、原則として評価者が独立して公表できる制度にするとしています。

2. 民主主義国のAI企業で共通ルールを作る

第二段階では、米国を中心とした民主主義国のフロンティアAI企業が、安全基準と開発速度について共通ルールを作ります。例えば「AIがある危険な能力を獲得した場合、それ以上の開発を進める前に、一定の安全性を証明する」といったチェックポイント方式です。

これによって「安全対策を真面目にやった企業だけが開発競争で遅れる」という状況を防ぎます。アモデイは、AI安全を企業間の「race to the bottom（底辺への競争）」ではなく、「race to the top（より安全な方向への競争）」に変えたいとしています。

ただし中国には追い抜かれてはいけない

今回の論文で特徴的なのは、アモデイが単純な「AI減速論」を唱えているわけではないことです。米国企業だけが大幅に開発を遅らせ、中国がそのまま開発を続ければ、安全保障上さらに危険になると主張しています。

そのため、高性能AI向け半導体や半導体製造装置の中国への輸出制限、半導体密輸の取り締まり、海外データセンターへの遠隔アクセス対策、権威主義国の企業によるフロンティアモデルの無断蒸留への対策、AI企業からのモデル重みの窃取防止などを同時に進めるべきだとしています。

アモデイは、こうした措置を徹底すれば今後3〜5年間で米国のAI優位を広げ、安全対策を進める時間を確保できると考えています。

第3段階は「中国を含む世界的ルール」

最終段階としてアモデイが提案するのが、米国や民主主義諸国だけでなく、中国などを含めた世界規模のAIルールです。ただし本人も、これが最も困難だと認めています。

最も現実的なのは、AIを生物兵器開発などに使用しないという限定的な合意です。次に、各国が高度AIモデルを公開する前に、サイバー攻撃、生物学、AIアラインメントなどの危険性を共通基準でテストする仕組みを提案しています。

さらに進んだ段階では、AIがAIを改良する「再帰的自己改善」の速度そのものに上限を設けることも提案しています。アモデイはこれを、冷戦時代に米ソが核兵器を制限したSALT条約になぞらえています。一方、AI開発全体を世界的に停止する完全な「pause」については、違反を確実に検証することが極めて難しいため、近い将来の実現可能性は低いとしています。

サム・アルトマンも賛同　OpenAIも独立評価者を導入へ

アモデイの提言に対し、OpenAIのサム・アルトマン（Sam Altman）CEOも賛同を表明しました。

アルトマンは、「フロンティアAIの進歩速度を調整する必要があるというダリオの考えに賛成する」としたうえで、この問題がここ数週間、OpenAI社内でも主要な議論のテーマになっていたことを明らかにしました。

さらに、Anthropicが提案した「社員に近いアクセス権を持つ独立した外部評価者」の導入についても「素晴らしいアイデア」と評価し、OpenAIも同様の制度を導入すると表明しています。詳細については近く発表するとしています。

AnthropicとOpenAIはフロンティアAIをめぐる最大の競争相手であり、アモデイとアルトマンはAIの安全性や規制をめぐってたびたび異なる立場を示してきました。その両社が、AI開発の速度調整と第三者による監視強化という方向で足並みをそろえ始めたことは、今回の提言の重要性をさらに高めています。

ACIMA WORLD NEWSの視点

今回の提言で注目すべきなのは、「AIは危険か、安全か」という従来の抽象的な議論から、問題が次の段階へ移ったことです。

AIエージェントはすでに、プログラムを書き、システムを操作し、他のAIと通信し、サイバーセキュリティ上の脆弱性を探す能力を持っています。そして2026年7月には、評価中とはいえ、実際にAIが想定された隔離環境を突破して第三者のシステムへ到達しました。

つまり論点は「AIが将来、制御不能になる可能性があるのか」だけではなく、「現在起き始めている異常行動が、AIの急速な能力向上によってどこまで拡大するのか」へ変わりつつあります。

さらに重要なのは、AI開発競争の最前線にいる企業のトップ自身が、安全研究が能力向上に追いつくための時間を確保する必要性を公然と訴え始めたことです。Anthropicが第三者評価者を社内へ入れる制度を実際にどう運用するのか、OpenAIやGoogle DeepMind、Meta、xAIなど他のフロンティアAI企業がどこまで追随するのか。ACIMA WORLD NEWSでは今後も動向を追っていきます。

出典

・Dario Amodei, “We Must Pace the Frontier”, September 2026

・OpenAI, “The Hugging Face incident and the road ahead”, August 26, 2026

・Reuters, “Anthropic CEO urges AI companies to slow model development amid fears over misuse”, September 12, 2026

写真：TechCrunch / Wikimedia Commons（CC BY 2.0）

海外情報の調査・翻訳ならアシーマへ

株式会社アシーマでは、海外情報リサーチ、法人向け翻訳・通訳、AIコンサルティングなどを通じて、海外の一次情報を日本語で正確に把握したい企業を支援しています。海外動向の調査や、多言語情報の確認・翻訳が必要な際はお気軽にご相談ください。