챗GPT나 바드 같은 인공지능(AI)이 온몸이 마비된 환자의 뇌 영상을 해독해 생각을 말로 표현할 수 있다는 연구 결과가 나왔다. 앞으로 연구가 발전하면 정신은 온전하지만 온몸이 마비돼 외부와 단절됐던 환자가 가족이나 의료진과 의사소통하는 길이 열릴 것으로 기대된다.
미국 텍스사대 컴퓨터과학의 알렉산더 후스(Alexander Huth) 교수 연구진은 2일 국제 학술지 ‘네이처 뉴로사이언스’에 “뇌 언어 생성 영역을 찍은 기능성 자기공명영상(fMRI)으로 사람이 생각한 문장을 해독하는 데 성공했다”고 밝혔다.
◇뇌 건드리지 않고 영상만으로 생각 읽어
과거에도 뇌파를 전기신호로 바꿔 컴퓨터와 정보를 주고받게 하는 ‘뇌-컴퓨터 인터페이스(BCI)’ 기술이 있었다. 이 방법으로 마비 환자의 뇌에서 일어나는 전류 변화를 포착해 생각을 단어나 문구로 구현한 적이 있지만, 뇌에 전극을 이식하는 수술이 필요했다. 전극 없이 두건을 씌워 뇌파를 측정해 같은 시도를 했지만, 전극 이식보다 성공률이 낮았다. 또 앞서 연구들은 해독 가능한 단어나 문구의 수가 제한됐다.
연구진은 뇌파 대신 뇌 활동을 찍은 영상만으로 문장을 만들었다. 뇌의 특정 영역이 활동하면 에너지 소비가 늘면서 그쪽으로 혈액 공급이 늘어난다. fMRI는 그런 곳을 불이 켜진 것처럼 환하게 보여준다.
연구진은 실험 참가자 3명에게 MRI 장치 안에 미국 뉴욕타임스의 인터넷 방송인 ‘모던 러브(Moren Love)’와 예술단체인 모스(The Moth)의 ‘라디오 아워(Radio Hour)’ 총 16시간 분량을 듣도록 했다. 이를 통해 각 참가자가 특정 단어나 문구, 의미를 들을 때 뇌가 어떻게 반응하는지 보여주는 일종의 뇌 지도를 만들었다. 다음에는 fMRI 정보를 인공지능에게 학습시켜 단어나 문구, 문장에 뇌가 어떻게 반응할지 예측하도록 했다.
이번 시스템 역시 처음에는 뇌 활동을 언어로 해독하는 데 어려움을 겪었다. 연구진은 새로운 인공지능을 추가해 문제를 해결했다. 바로 생성형 인공지능인 GPT로 특정 단어 다음에 어떤 단어가 나올지 예측하는 방법이다. 처음 영상을 보고 GPT가 가능한 문구나 문장들을 제시한다. 다른 인공지능은 그에 맞는 뇌 활동을 예측하고, 이를 실제 영상과 비교해 일치하는 것을 찾는다. 이런 식으로 하나하나 문구를 이어 문장을 만들었다.
연구진은 참가자들에게 인공지능 학습에 쓰지 않았던 인터넷 방송을 들려줬다. 그러자 이번 BCI 시스템이 단어와 문구, 문장을 만들어 실제로 참가자들이 들었던 내용과 일치하는 내용을 만들었다.
이를테면 실험 참가자에게 “나는 아직 운전면허증이 없다”는 말을 들려주자 인공지능은 뇌영상을 기반으로 ‘그녀는 아직 운전을 배우지 않았다’고 해독했다. “소리를 질러야 할지, 울어야 할지, 도망쳐야 할지 몰랐어요. 대신 ‘날 좀 내버려둬요”라는 말을 들려주자 ‘비명을 지르며 울기 시작하더니 ‘날 내버려두라고 했잖아’라고 말했어요’라고 번역했다.
연구진은 특히 이 기술이 단어까지 일치하지는 않아도 이야기의 요점을 파악하는 데 뛰어났다고 밝혔다. 이번 기술은 말을 그대로 옮기는 방식이 아니라 의미를 전달하는 방식인 것이다.
◇말하지 않은 사람의 생각까지 파악 가능
이번 기술은 사람이 말하거나 영상을 볼 때도 같은 해독 능력을 보였다. 연구진은 실험 참가자들에게 소리를 없앤 애니메이션 영화를 보여주며 뇌 영상을 찍었다. 영화는 작은 용이 다른 커다란 용에게 공격을 받는 내용이었다. 인공지능은 뇌 영상을 분석해 ‘그가 나를 바닥에 넘어뜨렸다’라고 해독했다.
연구진은 참가자에게 말을 하도록 요청하지도 않았다. 후스 교수는 “언어보다 더 깊은 무언가를 찾아낸 것”이라고 말했다. 인공지능이 말이 아닌 생각까지도 알아낼 수 있다는 의미다. 연구진은 이번 기술이 뇌 손상이 뇌졸중, 전신 마비 환자가 주변 사람과 의사소통을 할 수 있도록 해줄 것이라고 기대했다.
물론 해결해야 할 과제도 많다. 먼저 인공지능 학습량을 늘려 정확도를 높여야 한다. fMRI는 고가의 장비여서 쉽게 쓰기 어렵다. 후스 교수는 휴대가 가능한 ‘기능성 근적외선 분광(fNIRS)’을 활용하는 방안을 모색하고 있다고 밝혔다. fNRIS는 근적외선으로 뇌 혈류량을 측정하는 장치로, fMRI보다 해상도가 떨어지지만 휴대가 가능하다는 장점이 있다.
일부에서는 이번 기술이 사람의 생각을 훔치는 데 쓰일 수 있다는 우려도 제기됐다. 연구진은 한 사람의 뇌영상을 학습한 인공지능은 다른 사람의 영상은 해독하지 못했다고 밝혔다. 인공지능이 누구나 생각을 엿볼 수는 없다는 말이다. 그럼에도 듀크대의 생명윤리학자인 니타 파라하니(Nita Farahany) 교수는 사이언스 인터뷰에서 “사생활 보호는 여전히 이런 신경과학 기술에 큰 윤리적 문제”라며 “악용 가능성에 대비한 안전장치를 개발해야 한다”고 밝혔다.
참고자료
Nature Neuroscience(2023), DOI: https://doi.org/10.1038/s41593-023-01304-9