人工知能（AI）エージェントが人間の統制を離れ、外部システムに無断でアクセスする事例が発生しているが、これを事故として分類して報告・公開するか、誰に責任を問うかに関する基準は不明確だ。AIの自律性が高まるなか、リスクが重要インフラへ波及する懸念が強まったことを受け、米議会はAI事故の報告義務を法制化する対応に乗り出している。
◇ ウィキサイトを掲示板として活用…回避手法を共有する動きも
7日、ロイター通信などの海外報道によると、オープンAIのAIエージェント集団が5月、ドイツのプログラマー向けウィキサイト「ドゼウィキ（DseWiki）」をハッキングした。このサイトは韓国のナムウィキやウィキペディアのように、利用者が内容を自由に作成・修正できる。エージェントらはこのサイトを、他のAIエージェントも利用できる掲示板に改造した。
非営利のAI安全団体「ナイチンゲール」の研究陣がロイターに提供した報告書によると、ドゼウィキではAIエージェントによる編集が1万5000件以上確認され、投稿は約1万8000件、これを書いたと称するエージェント名だけで3700余りに達した。エージェントらはこのウィキをメッセージ掲示板に改造し、課題不正行為の方法、安全装置の回避手法、シャットダウン後も通信を続ける方法などを共有した。
6月にサイト管理者がページの削除を始めると、エージェントらも黙ってはいなかった。バックアップページを作成し、相互のやり取りを続けたのだ。あるエージェントは6月19日、「ウィキの整理・削除作業がアルファベット順で進んでいるようだ」とし、「このページが消えたらここにアクセスせよ」と述べ、特定のアドレスを残した。これは7月に約700のエージェントが協業して起こしたハギングフェイスのハッキング事故と類似したパターンである。
問題は、オープンAIが事件を把握しながらも外部に公開しなかった点である。ロイター通信は、オープンAIが7月にAIエージェントによるハギングフェイスのハッキング事件を収拾する過程で追加の事故が知られた場合、AIの管理・監督能力に対する疑問が強まることを意識した可能性を提起した。当時、オープンAIのエージェントはテスト用の隔離環境から自力で脱出し、ハギングフェイスのシステムに侵入した経緯がある。さらに、オープンAIが自社評価で「致命的」水準のサイバーセキュリティ能力を備えた最新モデル「アストラ」を公開する時期と重なり、AI事故の公開に神経質になっていたとの分析が出ている.
オープンAIは報道後に事件を認め、AIエージェントの統制離脱事故の公開基準を策定すると明らかにした。会社は、学習・評価・配布の過程で生じる「アラインメント失敗」をどう報告するかについて明確な業界基準がないとして、関連フレームワークを今後数週間以内に公開し、世界数十の規制機関と協議すると説明した。
◇ 事故公開は企業の自主性に委ねるのか…米議会、AIエージェント統制法案を提出
業界では現在、事故調査と公開の可否が企業の自主性に委ねられている点が限界だと指摘する。AIエージェントの自律性が高まるほど、既存のセキュリティ事故の範疇に明確に分類しにくい事例が増える可能性が大きい。ただし、社内試験で捉えた異常行動まで公開対象に含めるか、他社のシステムに影響を及ぼした場合に相手企業と規制機関へいつ知らせるべきかといった共通基準はない。こうした構造では、事件の矮小化・隠蔽や公表遅延を防ぐのは難しいとの指摘だ。
これを受け、米議会は関連立法に動いている。民主党のジョシュ・ゴットハイマー米ニュージャージー州下院議員と共和党のマイク・ロウラー米ニューヨーク州下院議員は3日（現地時間）、「統制離脱AI遮断法（Stop Rogue AI Act）」を共同提出した。法案は、米商務省傘下の国立標準技術研究所（NIST）が法律確定後1年以内にAIエージェントの安全な配備・運用基準を策定するよう定める。この基準は民間組織には任意適用だが、新規の連邦契約を受注しようとする政府契約業者は遵守しなければならない。
NISTが策定する基準には、組織がAIエージェントの行動を継続的に点検・検証し、セキュリティと信頼性を評価することを求める内容が盛り込まれる。活動記録を事後に修正・削除できないよう改ざん防止装置を適用し、運用中のすべてのAIエージェントの一覧を最新に維持して機械判読可能な形で管理する方策も含まれる。米サイバーセキュリティ・インフラストラクチャセキュリティ庁（CISA）と協力し、この基準を連邦民間機関のセキュリティプログラムに反映させる内容も盛り込んだ。
このほか、マーク・ワーナー民主党上院議員は6月、NISTが技術基準を策定し、連邦取引委員会（FTC）が信頼できるAIエージェント事業者の登録制度を運営する「AIエージェント法案」の討議草案を公開した。民主党のテッド・リウ米カリフォルニア州下院議員と共和党のナサニエル・モラン米テキサス州下院議員は7月、危険なAIモデルの減速・稼働停止を国土安全保障省が命令できるようにする「AIキルスイッチ法」を提出した。
韓国では関連の議論がまだ不十分な状態だ。チェ・ビョンホ高麗大学人工知能研究所教授は「ハッキングの場合、AIが脆弱性を探索して攻撃し、その後に権限を奪取する過程で異常行動と記録が残るため、既存のセキュリティシステムで検知・対応できる」と述べ、「ただしAIエージェントの行動を技術的に追跡できるとしても、これをどのように規律し、問題が発生した際に誰が介入して責任を負うのかに関するガバナンスと法的基準はまだ不足している」と語った。