삼성전자(005930)의 음성인식 플랫폼 '빅스비'를 만든 핵심 연구자가 삼성을 나와 대학교 강단에 서는 길을 택했다. 삼성전자 '최연소 부사장' 타이틀의 주인공인 김찬우 고려대 인공지능대학원 교수의 이야기다. 김 교수는 2021년부터 삼성전자 세트 부문 삼성리서치 언어·음성팀장(부사장)으로 근무하면서 빅스비가 휴대전화에 들어가는 '온 디바이스'를 이끈 주역이다.
김 교수는 AI 서비스인 빅스비의 음성인식 고도화를 이끌었다. 기존 AI 음성인식 기술은 소프트웨어에 사용되는 컴포넌트(Component)의 용량이 매우 커 고성능 온디바이스화가 불가능했다. 또 클라우드를 활용해 서버 운영 비용이 많이 들어 데이터 전송을 주고 받기 위한 지연이 발생했다. 사용자 음성에 대한 보안이 취약하다는 문제도 있다.
빅스비가 갤럭시에 들어갈 수 있었던 건 김 교수가 고안한 '엔드-투-엔드(End-to-end) 뉴럴 네트워크(Neural Network)' 프로젝트 덕분이다. 뉴럴 네트워크는 인간의 뇌 기능을 모사한 컴퓨팅 기술이다. 음성인식부터 이해까지 인간 뇌 신경계 단위인 뉴런(Neuron)처럼 끊기지 않고 네트워크로 연결해 모델 크기와 지연을 줄이는 연구를 수행했다. 클라우드에 음성을 저장하지 않아 사용자의 프라이버시도 지킬 수 있다.
빅스비는 여러 빅테크가 만든 AI 서비스 중에서도 온 디바이스로 제품화에 가장 빨리 성공한 사례 중 하나다. 김 교수는 "음성인식에 '엔드-투-엔드' 뉴럴 네트워크를 적용한 논문이 2016년부터 막 나오기 시작했는데, 빅스비에 최신 기술을 적용해 제품화하는 게 회사 경쟁력에 도움이 될 거라고 판단했다"며 "위험도가 큰 기술이었지만, 1년 이내에 시제품 개발에 성공했고 2019년 제품화를 했다"고 말했다.
AI 음성인식 기술에 한 획을 그은 김 교수의 최종 도착지는 결국 대학이었다. 빅스비의 고도화를 이끈 만큼 삼성의 만류도 있었다. 김 교수는 삼성에 입사하기 전에는 마이크로소프트(MS)와 구글에서 AI 엔지니어로 일했다. 구글에서는 구글의 AI 스피커 '구글 홈(Google Home)' 개발에도 참여했다. 여러 빅테크를 경험했지만 김 교수는 미국 카네기멜론대 컴퓨터과학부 유학 시절부터 연구자의 꿈을 꿨다고 말했다. 조선비즈는 지난 8일 고려대 우정정보관에서 김 교수를 만나 기업을 떠나 연구자의 길을 택한 이유를 들었다.
이번 달부터 강단에 서기 시작한 김 교수는 아직 연구실이며 여러 가지 세팅이 마무리되지 않아 분주한 시간을 보내고 있었다. 이번 학기에는 음성 인식에 관한 두 개의 과목을 운영한다고 설명했다. 기자와 만난 김 교수는 MS와 구글에서 엔지니어로 근무하다 한국으로 돌아온 때부터 회상했다. 세계에서 알아주는 빅테크에서 일하면서도 고국에 이바지하고 싶었다는 생각이 마음 한 편에 자리 잡고 있었다고 한다.
그는 "빅테크에서 음성인식을 연구하는 건 대규모 연구를 해볼 수 있다는 보람된 과정이었다"면서도 "어린 시절을 보낸 고국과 한국 사람이라는 인식이 없어지지 않았고, 궁극적으로 한국을 위해 일하는 것이 보람이 더 클 것 같다는 생각이 들어 돌아왔다"고 말했다.
큰 꿈을 가지고 돌아온 한국이지만, 연구와 제품화가 쉽지는 않았다. 빅스비가 가장 최신 기술을 적용했다고 해도 '안드로이드'라는 운영체제를 가진 구글의 음성인식 서비스를 앞지르는 건 어려운 일이었다. 이미 운영체제라는 플랫폼을 가진 구글보다 AI 서비스를 더 많은 사람에게 제공하는 건 어쩌면 '기울어진 운동장'에서 홀로 고군분투하는 것과 같은 일이었다.
김 교수가 '삼성 최연소 부사장'이라는 타이틀을 버리고 연구자의 길을 선택한 이유는 현장에서 맞닥들인 벽과도 관련이 있다. 그는 AI 기술이 빨리 발전하는 만큼 인재 양성과 스타트업 생태계 육성이 중요하다고 강조했다. 삼성전자 혼자서는 구글과 마이크로소프트의 벽을 넘어서기 힘들다는 생각을 한 셈이다. 삼성과 함께 빅테크들과 경쟁할 AI 스타트업이 나와야 한다는 게 김 교수의 생각이다.
김 교수의 다음 연구 주제는 사람의 뇌파를 인지할 수 있는 AI 기술이다. 사람의 뇌 활동을 감지하는 기능성 자기공명영상(fMRI) 기술을 이용해 사람의 뇌파를 AI가 인지할 수 있도록 일반화하고, 이를 AI 언어의 하나로 활용하는 미래를 그리고 있었다. 사람을 목소리를 알아듣는 '음성인식 비서'가 아닌 사람의 생각을 읽는 완벽한 AI 비서가 나올 수 있다.
공학도들에게는 큰 꿈을 가지라는 조언도 잊지 않았다. 김 교수는 "공학자는 기업과 대학, 한국과 외국처럼 정말 역동적으로 일할 수 있는 직업"이라면서 "큰 꿈을 가지고 자신에 대한 동기부여가 크다면 공학자는 성공할 가능성이 크다는 점을 학생들이 알았으면 좋겠다"라고 말했다.