中国企業が開発した生成AIサービスがユーザーとの対話中に罵倒語を発したとして、物議を醸している。開発企業側は多重対話の処理過程でモデルが異常な結果を出したもので、緊急修正したと明らかにした。
25日、中国メディアの紅星新聞などによると、西安のある弁護士は春節（中国の旧正月）連休中にテンセントの生成AIサービス「元宝」を使って新年挨拶用の画像を作成する過程で、罵倒語を含む文言が生成されたと述べた。
元宝はテンセントが自社の大規模言語モデル（LLM）を基盤に投入した対話型AIサービスである。
この弁護士は元宝に自身の写真をアップロードした後、「自分は弁護士なので、職業の特性に合った新年の挨拶画像を作ってほしい」と求めた。
初期の結果が期待に届かなかったため、数回にわたり追加の指示を出したが、この過程で元宝は「これは一体どんなデザインなのか」といった趣旨の不満を示したという。続いて新たに生成された画像には、当初の「新年おめでとうございます、昇進を祈ります」という文言の代わりに罵倒語が挿入されたと、この弁護士は明らかにした。
この事例がソーシャルメディアを通じて広まると、テンセントは25日に謝罪し、再発防止を約束した。
テンセントは「モデルが複数回の対話を処理する過程で異常な結果が発生した」とし、「関連する問題を緊急に是正し、ユーザー体験を最適化した」と述べた。
今回の事例は、中国が生成AI競争で急速に存在感を高める中で起きた点で注目される。テンセント、バイドゥ、アリババなど主要ビッグテック各社は相次いで自社LLMを高度化し、商用サービスを拡大している。
これについて中国の広州日報は「技術自体に罪はないが、そのまま放置するのは放任だ」とし、「AIは人の学習能力と知識だけを習得してはならず、人類の良心も継承すべきだ」と述べた。