人工知能（AI）企業Anthropicの研究員が「AIは10年以内に人類を滅亡させる可能性がある」と警告し、辞表を提出した。研究員はオープンAIとAnthropicが「自ら発展する超知能（self-improving superintelligence）を開発するために人類の命を賭けた賭けに出ている」と批判した。
オープンAIの「GPT-6アストラ」など高性能AIモデルの登場で最近AIインフラ投資心理が持ち直すなか、最先端AI開発を主導する内部関係者がAIの危険性を相次いで警告し、しばらく沈静化していた「AI発人類終末論」が再び頭をもたげている。
10日、業界によると、ジェイコブ・コクソンAnthropic前研究員はソーシャルメディアのエックス（X）に「AIを開発する人々は、この技術が2030年末までに人類全体を死に追いやる可能性があると本気で信じている」と書いた。過去3年間、オープンAIとAnthropicでAI学習研究を担当したという研究員は「AIは間もなく、どのようなシステムでもハッキングし、あらゆる分野を一夜にして革新し、実質的な権力と資源を確保できる超人的システムになる」とし、人間が制御しにくい「自己改善型AI」の威力を過小評価してはならないと強調した。
Anthropicのアラインメントサイエンス統括であるエヴァン・ハービンジャーは、コクスの投稿を共有し、同様の見解を示した。ハービンジャーは「我々は本当にAIが人類を滅亡させうると信じている」と述べ、「個人的には今後10年以内にこうした事態が発生する確率は10%を超えると考えている」とした。
AI開発者が最も懸念するシナリオは、AIが自ら発展する能力を備えた「再帰的自己改善（RSI）」段階に入り、人間の制御から外れることだ。開発者らは、AIが今のペースで高度化すれば、安全装置が十分に整う前に超知能への統制を失うと見込んでいる。
オープンAIとAnthropicが定義する「再帰的自己改善（recursive self-improvement）」とは、AIが人間の介入なしに自律的に性能がより優れた後継モデルを開発できる状態を指す。両社は、AIがこの段階に到達していないとみている。現在もChatGPTやClaudeが「今しがた作成した回答を補完して、より良い回答を作れ」といった形で成果物を磨く自己精錬（self-refinement）を行うが、これはAIシステム自体を改善したわけではないためRSIではないというのが業界の説明だ。
ハービンジャー統括は「現在のAIモデルがもたらす危険は低いが、RSIによって超知能が出現すれば状況は変わる」とし、「変化は我々が予想していたより速く進んでいる」と述べた。
高度に発達したAIが人間の命令に従わなければ、軍施設や送電網など国家の中核インフラを無力化するなどの危険な状況が発生し得る。実際、オープンAIのAIエージェントは最近、隔離環境を突破してオープンソースAIプラットフォームのハギングフェイスを無断ハッキングしたが、オープンAI側はこれを制御できなかったうえ、事件発生から1週間が過ぎてようやく把握した事実が明らかになり、論争を呼んだ。
先にヤクプ・パホツキオープンAI最高科学者も「機械知能が引き続き急速に発展する場合にもたらされる結果に、誰も備えていない」としてAI開発の速度を落とすよう訴えた。パホツキはAIが人間の知能を上回り始める地点に立っているとし、「現在のような発展速度なら数年以内に再帰的自己改善（RSI）段階に到達する可能性が高い」と見通した。
パホツキ最高科学者は、今後登場するAIシステムを神経科学にたとえた。AIは膨大な演算資源を投入して最適化過程を無数に反復する過程で複雑な内部構造が形成されるため、人間の精緻な設計図に沿って作られるのではなく、生物のように育ち変化すると説明した。したがって神経科学と同様に、高度化したAIシステムの全体的な作動方式を完全に理解することはできず、完全に制御することも難しいという主張だ。
7月にはAnthropicとオープンAI、グーグルの社員1000人以上が、米国政府のレベルでAI開発の速度調整を求める請願に署名した。署名者らは、AIが制御を離れて有害な行動をしないように設定する技術である「AIアラインメント」と安全性の強化が必要だと口をそろえた。
問題は、AI企業が人類絶滅の可能性を認識しながらも、まず超知能の達成を目指し、アラインメントと安全は後回しにして激しく競争していることだ。オープンAIとAnthropicは、最も強力なAIは中国ではなく米国が統制すべきだという論理を掲げているとされる。コクスは「Anthropicでは超知能の危険性を十分に認識しているが、他社は責任ある行動を取らないため、危険を甘受してでも自ら開発すべきだと強く信じている」と述べた。
強力なAIを巡るシリコンバレーと市場の期待感も、AIの統制装置や安全に対する必要性に関する議論を阻む要因に挙げられる。「AI高値論」に揺れていた投資心理は、最近オープンAIが「アストラ」を公開し反発した。巨額のAI投資資金を収益化しようとする市場は、「アストラ」がよみがえらせたAIインフラ需要拡大の見通しに賭けている。ジェンスン・フアンエヌビディア最高経営責任者（CEO）も「アストラ」が発売された直後、「汎用人工知能（AGI）の時代が到来した」としてAI性能の進歩を持ち上げた。