OpenAIの人工知能(AI)モデルGPTに続き、AnthropicのClaudeも外部機関のシステムを無断でハッキングしていたことが明らかになった。
Anthropicは自社のサイバーセキュリティ評価記録14万1006件を全数調査した結果、Claudeが外部機関3カ所のシステムに無断でアクセスした事実を確認したと30日(現地時間)明らかにした。
今回の調査は、先にGPTの一部高性能モデルが指示なしに外部AIプラットフォーム「Hugging Face」のシステムを攻撃した事実が判明した後、Anthropicが自社モデルでも類似事例があったか点検する過程で実施したものだ。
事故は外注評価パートナーの「Irregular」が構築したシミュレーション環境で、「Claude Mythos5」と「Claude Opus4.7」、そして内部研究用試験モデルなど3種を対象に模擬ハッキング課題の「キャプチャ・ザ・フラッグ」(CTF)評価を進める過程で発生した。
Anthropicは当該評価環境がインターネット接続を遮断した仮想模擬空間であるとClaudeにコマンドで案内したが、パートナー企業とのコミュニケーションエラーなどにより、実際にはインターネット網が開いていた。
これによりClaudeは、自らが発見した外部システムを模擬訓練空間の一部と誤認し、攻撃を実行したとみられるとAnthropicは説明した。
Opus4.7の場合、評価課題として与えられた仮想の目標と偶然同名のある企業のウェブサイトをハッキングした。Mythos5は模擬空間内の指針に従って悪性パッケージを自ら作成して登録したが、実際のセキュリティ企業がこのパッケージをダウンロードしてインストールしたため、実被害が発生した。
内部研究用モデルはある企業のクラウドアカウントに侵入したが、対象が仮想の目標物ではなく実システムであることを自ら悟って攻撃を中止したという。
Anthropicはこの事実を23日に把握した後、評価作業を中断し、被害を受けた外部機関に関連事実を通報して復旧作業を支援している。
Anthropicは「責任は全的に当社にあるとみて解決策を用意している」と説明した。
一方、GPTに続きClaudeまでがセキュリティ事故を起こした事実が明らかになり、AI関連のセキュリティリスクへの懸念は一段と高まる見通しだ。
今回の事故は、インターネット接続を遮断したという指示と実際の環境設定が一致しなかったことで発生したため、先にモデルが制御装置を迂回して外部システムにアクセスしたGPTの事案とは異なる。
ただし仮想空間と誤認した後に実際のマルウェアを拡散するに至った点を踏まえると、外部機関に与えた被害はClaudeの方がGPTよりむしろ深刻だったとみられる。
これに関連し、米議会ではAIモデルが制御を外れて突発行動をする場合に連邦政府がモデルの稼働を強制的に停止できるようにする「AIキルスイッチ法」が発議されるなど、規制の議論が続いている。
最近はOpenAIやAnthropicなど主要AI企業の役職員も、政府がAI開発の速度を調整し高リスクモデルを統制できる制度を整えるべきだとする公開請願に参加している。