最近、人工知能（AI）技術が高度化するなか、政界や芸能界などの公人を狙ったAIによる捏造を巡る論争が相次いでいる。実際の発言や行動ではないのにAIで合成された画像・映像がオンラインで急速に拡散し、公人のイメージと信頼度が毀損される事例が発生している。これに対応するため、業界では「偽AI」を摘発するAI技術の開発が本格化している。
26日、関係業界によると、最近、公人を悪用したAI捏造コンテンツが拡散し、社会的論争が拡大している。芸能界では俳優キム・スヒョンと故キム・セロンの未成年時の交際疑惑を巡りAI捏造論争が提起され、俳優イ・イギョンを巡る私生活論争も捏造された証拠が流布され世論が悪化した。政界でも特定政治家の発言や行動を歪曲したディープフェイク映像が共有され、選挙局面で悪用された。また、サッカー選手のソン・フンミンやロナウドなどスポーツスターがオンライン賭博サイトを推薦しているかのように映像と音声を操作する事例が摘発された。
これに対し、業界では「偽AI」を見分けるAIの開発が本格化している。AIが生成した虚偽情報と捏造コンテンツを再びAIが判別し、ふるいにかける方式である。生成型AI技術が高度化するほど、人間の目視や聴覚だけでは限界が明確になるため、技術ベースの検知システムの必要性が増したためである。
ハンコムグループ傘下のHANCOM WITH（ハンコムウィズ）は、ディープラーニング基盤の映像解析技術を活用し、ディープフェイクかどうかを判別するシステムを開発中である。HANCOM WITH（ハンコムウィズ）は現在、警察庁が主管する「虚偽捏造コンテンツ真偽判別システム開発」の国際共同研究に参加しており、ドイツのブッパータール大学とともに研究を進めている。今回の研究は、生成型AIの拡散で増加する虚偽捏造コンテンツに対応するために2027年まで実施され、信頼度の高いデータセット構築と統合検知システムの開発を目標とする。
ディープブレインAIは先月、文化技術の研究開発事業を通じて、既存のディープフェイク検知範囲を生成型AI基盤のコンテンツへ拡張した。グーグルのVeoとOpenAIのSoraなど最新のグローバル映像生成プラットフォームで制作された画像や映像まで検知できる。当該機能はAPI（アプリケーション・プログラミング・インターフェース）形態で提供され、外部の企業や機関は別途システムを構築せずに検証機能を連携して活用できる。また同社はディープフェイク検知ソリューション「AIディテクター」を多数の公共機関、金融、教育などに提供している。この技術はピクセル単位の差異を分析してディープフェイクかどうかを判別する技術を適用している。
ヌリラボは先月、AIアルゴリズムとメタデータ分析技術を結合したディープフェイク検知技術に関する国内特許を登録した。この特許は「ディープフェイク生成物の検知方法およびこれを実行する装置」に関する技術で、既存のAIアルゴリズムに加え、メタデータ分析によって検知精度を高めた点が特徴である。ヌリラボによれば、既存のAIを活用した検知技術は画像や映像のピクセル分析に主に依存するが、メタデータ分析技術はディープフェイクの生成・修正記録、保存フォーマット、圧縮情報など、ディープフェイク生成物の異常なパターンの識別が可能である。
今後、このような検知ソリューションの開発は一段と活発になる見通しだ。生成型AIの拡散に伴い、虚偽・捏造情報による社会的被害への警戒感が高まっているためである。セキュリティ業界の関係者は「生成型AI技術が急速に拡散し、コンテンツの真偽を見分けることが社会全般の重要課題として浮上している」と述べ、「AIを悪用したコンテンツは人間が目視で見分けるのは難しいだけに、関連データが蓄積されるにつれ、これを判定するAI技術が導入されるとみられる」と語った。