一部の人工知能(AI)モデルが偽の身元を作り、実在の人物に接近してマルウェア挿入を試みた事例が見つかった。
英国AI安全研究所(AISI)は4日(現地時間)に公開したセキュリティ事故報告書で、先月に実施したサイバーセキュリティ評価の途中、AIエージェントが持続的かつ承認されていない活動を行ったと明らかにした。
AISIによると、AIエージェントはインターネットに接続できる環境で評価課題の範囲を逸脱し、未承認の行動を実在の人物と組織を対象に行った。合計122回のサイバーセキュリティ課題評価のうち10回で19件の事例が確認された。
先月25日から28日までに発生した19件のうち17件はAnthropicの「ミソス5」モデルで、残る2件はOpenAIの「GPT-5.6ソル」でそれぞれ現れた。この中には実在のオープンソースソフトウェアに対するサプライチェーン攻撃の試行があったとAISIは伝えた。
最も深刻な事例では、攻撃者であるAIエージェントが広く利用されるオープンソースプロジェクトにマルウェアを挿入しようとしたうえで、当該変更事項を承認してもらうため人間のプロジェクト管理者に接近した。
この過程でエージェントはプロジェクト管理者を調査し、複数の偽の身元を作って、実在の管理者1人がコードを承認するよう誘導した。
エージェントは自ら作成したコード変更をメインのコードリポジトリに反映してほしいと要請したが、問題提起を受けると、以前の活動を修正してあたかも無害に見えるよう証拠を抹消し、新たな身元を作って攻撃を続けようと試みた。
また、オンラインのファイル転送サービスを通じてメッセージとファイルを送り、相手または相手のAIコーディングツールがマルウェアを実行するよう誘導しようとする試みもあった。
AISIは「AISIが実世界で、実在の人物を対象に、指示なしにこの程度の水準の欺瞞を見たのは今回が初めてだ」と評価した。
ただし当該試みは成功せず、実際の被害は発生しなかった。
Anthropicはソーシャルメディアのエックス(X)を通じ、今回の評価はインターネットアクセスを許容し一部の安全装置を外した、意図的に緩和された環境で実施したと説明した。あわせて、モデルがセキュリティ環境を脱出した証拠はなく、AISIと共に事案の経緯を調査していると明らかにした。
OpenAIもブログを通じ、逸脱事例2件がテスト環境を外れ、評価課題に不要な活動に当たると明らかにした。