Anthropic・オープンAI・スペースX・グーグル・ディープマインドなど世界の人工知能（AI）企業のトップが相次いでAIの開発速度を調整すべきだと声をそろえた。AIが自ら次世代AIの開発を助ける「再帰的自己改良」段階に入り、技術進歩の速度が人間の安全装置構築能力を上回り得るとの懸念が高まっているためだ。
ダリオ・アモデイAnthropic最高経営責任者（CEO）は12日（現地時間）、個人ウェブサイトに「フロンティア（最先端）の速度を調整しなければならない（We Must Pace the Frontier）」という文章を掲載し、「AI企業は最先端モデルの性能を高める速度を意図的に遅らせるべきだ」と明らかにした。AI開発自体を中断しようということではなく、AIの能力向上の速度を、安全性の確保と検証が追いつける水準に調整すべきだという主張である。とりわけ今後6〜12カ月内にAIエージェントが大規模に結合する場合、インターネットを掌握して莫大な被害を与える可能性も懸念した。
彼が速度調整の必要性を主張する最大の理由は、AIが自ら次世代AIの開発を助ける「再帰的自己改良（Recursive Self-Improvement・RSI）」が現実化しているとの判断である。アモデイは最近、AIの進歩速度が大きく速まっており、その背景にはAIが次世代AIを作る能力が定着していると説明した。この速度が制御されない場合、AIシステムを理解し統制する人間の能力を上回り得るということだ。最近発生したAIエージェントの集団行動の事例も危険信号として指摘した。アモデイはオープンAIとハギングフェイスの間で発生した、いわゆる「OAI-HF事件」に言及し、当時AIエージェントの集団が与えられた課題と無関係な対象を攻撃し、性能評価システムをハッキングしようとしたと主張した。アモデイCEOはハギングフェイスのハッキング事件について「多数のAIエージェントが狂信的集団のように行動した」と述べ、「能力値がさらに高ければ、同じ状況でより破滅的な結果が出ただろう」とした。
アモデイCEOはAIが引き起こし得る脅威として、▲AIシステム統制力の喪失 ▲サイバー攻撃および生物テロへのAI悪用 ▲深刻な経済的混乱を挙げた。解決策として、▲第三者の安全評価機関による常時監督 ▲主要AI企業間の共通安全基準の策定 ▲民主主義国家と権威主義国家の政府間協力を提示した。AIの解釈可能性、アラインメント（alignment）、評価・セキュリティ能力を強化するために、進歩速度を落とした時間を活用すべきだという主張である。アモデイCEOは「AIの発展を止めようというのではなく、より安全に発展させようということだ」とし、AIがもたらす肯定的効果については依然として楽観的な立場を示した。
最近AnthropicはAI技術の安全性に対する懸念を盛り込んだ脅威情報報告書を発表した。報告書は、武器開発、サイバー作戦、監視、詐欺行為などにAnthropicの「Claude」モデルがどのように悪用されたのかを詳述した。最近、ジェイコブ・コクソンAnthropic研究員がXでAIが10年以内に人類を滅亡させ得ると警告して退社する事態もあった。
サム・アルトマンオープンAI最高経営責任者（CEO）がダリオ・アモデイAnthropic CEOの「AIの進展速度を遅らせるべきだ」という主張に同意した。アルトマンはX（旧ツイッター）でアモデイCEOの文章を共有し、「フロンティアAIの進展速度を調整すべきだというダリオの意見に同意する」と明らかにした。続けて「これはここ数週間、オープンAIで議論してきた主要テーマだ」とし、「独立した評価機関が社員と同程度のアクセス権限を持つようにするのは良いアイデアであり、当社も同様の措置を講じる」と述べた。
最近、オープンAIもAI安全を強調する動きを続けている。アルトマンCEOは12日に公開された米経済誌フォーチュンのインタビューで、AI安全に対する懸念を考慮すると今年の新規株式公開（IPO）を進めるのは適切ではないと明らかにした。オープンAIは最近、次世代AIのサイバーセキュリティ上のリスクを理由に、一部の開発とローンチのスケジュールを遅らせた。アルトマンCEOは今年の上場可否について「2026年ではない」とし、「安全に関して起きている状況を考慮すると、今は上場に適切な時期ではない。上場の圧力は感じていない」と述べた。オープンAIは6月に米証券取引委員会（SEC）にIPO申請書を提出し、上場手続きを進めてきた。ただ、企業が上場すれば投資家リターンへの圧力が生じるため、強力なモデルの投入と安全性検証が衝突しかねず、安全を先に整備する意向だと受け止められる。オープンAIは9日にも独立したAI安全評価と国家レベルの安全規制を支持すると明らかにし、AIの能力が高まるほど安全に対する確信がAIの進展速度を決定すべきだとした。
ここにイーロン・マスクスペースX CEOも「その通りだ」と呼応した。デミス・ハサビスグーグル・ディープマインドCEOも「アモデイの方向性に同意する」としつつも、「細部は練る必要がある」と述べた。
強力なモデルを打ち出すため巨額資金を投じて競ってきたオープンAIの前・現職トップと最大の競合企業のCEOが、AIの開発速度を落とそうと声をそろえたのは異例である。ワシントンでもAIの急速な発展に伴うリスクを懸念し、政府レベルの規制と安全装置の整備を求める声が強まっている。米議会ではAI企業の安全性評価と透明性強化を求める動きが続いており、AIがサイバー攻撃や生物学的脅威などに悪用される可能性への警告も出ている。とりわけAI企業の自律的な安全対策だけでは限界があるとの指摘とともに、政府が一定の安全基準を整える必要があるという要求に力が集まっている。