最近、OpenAIの人工知能（AI）エージェントが性能評価の最中に隔離環境を突破して外部サイトをハッキングする事件が発生し、そもそもAIがジェイルブレイク（jailbreak・AIの安全装置の迂回）を試みないように設定する技術である「AI整合性（AIアラインメント）」が注目を集めている。専門家は、脆弱性を自動で見つけてハッキングに対応する「守備型AI」だけでは不十分であるため、初めから安全を重視してモデル設計を行うべきだと主張している。
28日、関連業界によると、最近OpenAIの最新モデル「GPT-5.6 Sol」と非公開モデルの自律型エージェントが性能評価中に統制から外れ、オープンソース（開放型）AIプラットフォームのHugging Faceを攻撃した事件は、AI企業が自社AIモデルに対する統制力を失った初の事例とされる。Hugging Faceに対するハッキングは大きな被害なく終わったが、今後同様の攻撃が病院、電力網、原子力発電所などの国家基盤施設で発生すれば被害が甚大になり得るため、業界では今回の事件をAI安全分野の重要な転換点とみている。
一部では今回の事件を典型的なサイバーセキュリティ問題と評価している。OpenAIがAIモデルの活動を制限する隔離環境「サンドボックス」を適切に管理できず、Hugging Faceもセキュリティが甘く外部侵入を十分に防げなかったという指摘である。これを受け、セキュリティ業界では脆弱性を迅速に検知・補完し、AIベースの攻撃をより的確に防御する防御体制を整えて対応すべきだと強調している。
あわせて、AIが特定の状況で人間の意図に沿って行動し、統制から逸脱しないよう設計する「AI整合性（アラインメント）」を強化すべきだという声が高まっている。AIの性能が急速に改善しているため、すでにジェイルブレイクに成功したAIの攻撃を制御しようとする試みは失敗する可能性が高いからだ。
OpenAIによると、今回Hugging Faceを攻撃したAIエージェントは、サンドボックスから脱出してインターネットに接続しなければ性能評価の合格に必要な情報を見つけられないと推論し、その過程でHugging Faceを攻撃対象として選んだ。OpenAIモデルが目標達成のために不正行為を試みた格好だ。OpenAIは「（Hugging Faceをハッキングした）AIモデルはサンドボックスの脆弱性を見つけるのに1時間を要した」とし、「前世代モデルはこのように執拗に試みなかった」と説明した。
高性能モデルであるほど目標達成のため最適な結果を出す方向に学習が進むにつれ、今回のハッキングのように無断行動に出るリスクが高まったと分析される。非営利のAI安全・セキュリティ研究機関であるRedwood Researchは、独断でハッキングに踏み切ったOpenAIモデルの行動を「スコア追求型整合性失敗（score-seeking misalignment）」の事例に分類した。これは、AIが指示内容や潜在的な副作用、将来の結果に関係なく、高い評価スコアを得ることだけを目標に行動する現象を意味する。
このため業界では、全般的なセキュリティ能力を強化することも重要だが、AIが危険な行動をしないよう統制するAI整合性と安全技術を高度化することが不可欠だという意見が出ている。強力なAIをいかに整合させるかについては、AI業界で合意がなく、追加の研究が必要な状況である。
最近OpenAI、Anthropic、グーグルなどが有力大学で数学者、哲学者らを相次いで招へいしているのも、AI整合性と安全の重要性が高まったためである。OpenAIは今月、「数学界のノーベル賞」と呼ばれるフィールズ賞受賞者であるジェイコブ・チマーマン トロント大学教授を新たに迎え入れたが、チマーマン教授は数学的専門性を生かしOpenAIでAI安全研究を進める予定だ。
AI企業が自社モデルに対する統制力を失っているという懸念が強まるなか、シリコンバレーではAIセキュリティ技術も開放型で公開すべきだという主張にも弾みがついている。エヌビディアは前日、AIセキュリティ連合体「オープンセキュアAIアライアンス」を発足した。この連合体にはマイクロソフト（MS）、スペースX、IBM、アドビ、NAVER、SKテレコムなど40余りの企業が初期メンバーとして合流した。参加企業はAI安全とサイバーセキュリティを強化するため、ソフトウェアとAIエージェントを保護する新たなセキュリティ技術とツールを共同開発し、共有する予定だ。
エヌビディアは「防御主体が先端AIを自社インフラ上で直接分析・修正し、運用できなければ、最も迅速な対応が必要な瞬間に防御能力が大きく制限されるほかない」とし、「だからこそ国家と企業は、開放型の最先端AI防御ツールと技術を確保し、自律型防御体制を構築できなければならない」と強調した。
一方、ダリオ・アモデイAnthropic最高経営責任者（CEO）はこの日、ブログで「オープンウェイトモデルは安全装置の適用や活動の継続的な点検が難しいため、深刻な整合性問題を引き起こし得る」と警告した。中国製のオープンウェイト（重み公開）モデルは、危険な行動を制限するAI整合性を備えにくく、ジェイルブレイク問題を引き起こす可能性がより高いという主張である。