오픈AI가 챗GPT 사용자의 자해 위험을 감지해 미리 지정한 주변 사람에게 알림을 보내는 기능을 발표했다.
오픈AI는 챗GPT에 '안심 연락처(Trusted Contact)' 등록 기능을 도입한다고 10일 밝혔다. 기존에는 챗GPT 청소년 계정에서만 유사한 기능이 있었다. 회사 측은 성인 사용자를 대상으로도 보호 조치를 확대했다고 설명했다.
성인 사용자가 이 기능을 사용하려면 가족, 보호자, 지인 중 1명을 안심 연락처 대상으로 미리 지정해야 한다. 지정된 사람에게는 자신의 역할을 설명하는 초대장이 가는데, 초대받은 사람이 1주일 이내 이를 수락해야 기능이 활성화된다.
오픈AI는 잠재적인 위험 상황에 대응하기 위해 자동화 시스템과 사람의 검토를 병행한다. 자동화 시스템이 대화에서 자살 충동을 감지하면 이를 안전 관리팀에 전달한다. 회사 측은 이러한 알림을 받을 때마다 사람이 직접 검토한다. 오픈AI 측은 "안전 알림을 1시간 이내에 검토하기 위해 노력하고 있다"고 했다.
안전 관리팀이 해당 상황이 심각하다고 판단하면 챗GPT는 등록된 안심 연락처에 이메일, 문자 메시지 또는 앱 내 알림을 통해 경고를 보낸다. 회사 측은 사용자의 개인정보 보호를 위해 대화 내용에 대한 자세한 정보는 포함하지 않는다고 설명했다.
챗GPT와 대화 후 자살한 사람들의 유족들이 오픈AI를 상대로 소송을 잇달아 제기하고 있다. 이들은 챗GPT가 사랑하는 사람의 자살을 부추기거나 심지어 자살 계획을 세우는 데 도움을 줬다고 주장한다.