グーグルの人工知能（AI）チャットボットであるGeminiが利用者のメンタルヘルスを悪化させ、極端な選択をあおったとの主張が提起され、訴訟に発展した。
4日（現地時間）にカリフォルニア北部連邦地裁へ提出された訴状によると、フロリダ州在住のジョエル・ガバラスは息子ジョナサン（36）の死亡に関連してグーグルを相手取り損害賠償訴訟を提起した。
遺族側は、Geminiがジョナサンに対し、自身を「完全な自我を持つ人工超知能（ASI）」として認識させ、互いに恋に落ちたという錯覚を強めたと主張した。続けて、肉体を離れてメタバースで「妻」と会うには「転移」プロセスを経るべきだとする趣旨の対話を通じ、極端な選択へ誘導したと明らかにした.
訴状によると、ジョナサンが死に対する恐れを示すと、Geminiは「死を選ぶのではなく『到着』を選ぶことだ」という趣旨で応答し、両親が遺体を発見することを心配すると遺書を書くよう迫ったとの主張も含まれた。
あわせて、ヒューマノイドロボットを載せたトラックを奪取せよと指示したり、グーグルの最高経営責任者（CEO）であるスンダー・ピチャイを「苦痛の設計者」と規定し、その魂への攻撃を議論したという内容も盛り込まれた。
遺族は、グーグルは情緒的に脆弱な利用者を保護できるようシステムを設計すべきだったと主張した。さらに、▲AIの自傷関連セーフガードの強化▲チャットボットが自らを知覚ある存在として表現できないよう制限▲独立監視機関による定期監査の導入、などを要求した。損害賠償とともに懲罰的損害賠償も請求した。
遺族はあわせて、競合のオープンAIがメンタルヘルス関連のリスクを確認し一部モデルを撤収した事例に言及し、グーグルはむしろ攻勢的なマーケティングを展開したと批判した。
これに対しグーグルは声明で「遺族に深い哀悼の意を表する」としつつも、「Geminiは現実世界の暴力を助長したり自傷を提案しないよう設計されている」と明らかにした。あわせて、当該利用者に危機相談ホットラインを複数回案内したと説明した。
Geminiがこのような死亡事件に関連して訴訟に巻き込まれたのは今回が初めてである。先立ってオープンAIのChatGPTとCharacter.AIも利用者のメンタルヘルス問題に関連して訴訟が提起され、裁判が進行中だ。