현존하는 글로벌 IT 공룡 가운데 AI 기술 발전을 선도하고 있는 기업이 구글이라는 데 이견을 제시할 사람이 있을까. 구글은 딥마인드의 AI 바둑 프로그램 알파고(Alphago)가 지난 3월 세계 최정상의 이세돌 9단을 꺾어 파란을 일으킨 데, 이어 최근에는 AI 기술을 접목한 번역으로 전세계 지성인들을 충격에 빠뜨렸다.
지난달 15일(현지 시간) 구글은 중국어·프랑스어·독일어·스페인어·포르투갈어·한국어·일본어·터키어 간 번역에 인공신경망 번역(NMT·Neural Machine Translation) 방식을 적용해 전문 번역사 뺨치는 독해력을 선보였다. 인공신경망 번역이란 인간의 두뇌를 본 뜬 인공신경망을 활용해 기계를 학습시킨 후 기계가 문장을 통째로 번역하는 것을 뜻한다.
조선비즈는 앞서 박근혜 대통령 연설문·도널드 트럼프 미국 대통령 당선인 연설문 등의 한영·영한 번역을 테스트해본 결과, 구글 번역이 기존 기계 번역을 크게 뛰어 넘는 성능을 지녔다는 것을 확인할 수 있었다.
혹한이 기승을 부리던 지난 4일, 구글의 버락 투로프스키(Barak Turovsky) 번역 프로덕트 매니지먼트 총괄과 인터뷰를 했다. 러시아에서 태어난 그는 이스라엘 텔아비브대학과 UC버클리를 졸업한 뒤 SAP와 마이크로소프트, 페이팔을 거쳐 구글에 입사했다. 인터뷰는 화상 통화로 진행됐다.
― 구글 번역에 대해 간단히 소개해달라.
“구글 번역은 규모가 큰 구글 제품 중 하나다. 매달 5억명이 넘는 사람이 사용하고 매일 10억건 이상의 번역이 이뤄지고 있다. 하루에 번역되는 단어 수는 평균 140억개에 달한다. 전체 번역 가운데 95%가 미국 이외의 지역에서 이뤄지고 있으며, 아시아는 우리가 가장 주목하고 있는 시장 중 하나다.
최근 우리는 구글 번역의 새 경험을 사용자에게 제공하는 데 초점을 맞추고 있다. 예를 들어 카메라로 촬영한 이미지를 자동 인식, 글자를 추출해 번역하거나 메신저 대화를 탭(tap)해서 즉시 번역하는 기능도 도입했다.”
― 기존 통계적 기계 번역과 비교해서 인공신경망 번역의 장점은 무엇인가.
“인공신경망 번역은 지난 9월 영어-중국어 간 번역에 우선 적용됐다. 지난달 15일에는 한국어를 포함한 8개 언어에 대해 적용됐다. 훨씬 더 정확하고 유창한 번역이 가능해졌으며 어감이 훨씬 더 자연스러워졌다.
또 한국어가 일본어, 터키어와 함께 다중 언어 신경망 모델로 학습됐다는 점을 주목할 만하다. 이를 통해 특정 단어나 표현에 대한 번역 데이터가 없더라도 어순이나 문법 구조가 비슷한 다른 언어의 번역 데이터를 참고해 더 나은 번역 결과를 내놓고 있다.”
― 한국어와 일본어, 터키어 간 다중 언어 신경망 모델로 기계가 학습했다고 했는 데, 좀 더 자세히 설명해달라.
“사람은 모국어와 비슷한 외국어를 상대적으로 쉽게 배울 수 있다. 나는 러시아인이기 때문에 러시아어와 유사한 우크라이나어, 불가리아어, 세르비아어를 다른 외국어보다 쉽게 이해할 수 있다.
이와 마찬가지로 기계도 유사 언어를 상대적으로 수월하게 습득할 수 있다. 한국어는 어순과 문법 구조가 유사한 일본어·터키어와 함께 학습됐다. 이 때 번역기는 영어-한국어, 영어-일본어, 영어-터키어 등 3개 언어 쌍을 동시에 학습했다. 영어-한국어, 영어-일본어 및 영어-터키어 번역을 다중 언어 모델로 습득하면, 영어-일본어와 영어-터키어 번역의 통계적 패턴을 영어-한국어 번역에도 적용할 수 있다. 사실 한국어는 일본어·터키어에 인터넷상 데이터가 훨씬 적어 번역하기 어려운 경우가 많은데, 이런 교차 언어 학습을 통해 문제를 해결했다.”
―인공신경망 번역도 ‘병렬 코퍼스(2개 국어의 번역된 문서를 모은 말뭉치, 가령 한국어 -영어 번역 용례들)’를 기반으로 학습하는가.
“그렇다. 이전 규칙 기반 번역, 통계적 기계 번역 방식과 마찬가지로 인공신경망 번역도 병렬 코퍼스를 이용해 학습한다. 인공신경망 번역기는 병렬 코퍼스를 활용한 3세대 번역기인 셈이다.
규칙 기반 번역은 모든 문장을 단어 단위로 분해한 뒤 다른 언어로 번역하는 방식이었다. 의미 있는 시도였지만, 제대로 된 번역 결과를 얻는 데 한계가 있었다. 그 다음으로 등장한 것이 통계적 기계번역이었다. 구글은 이미 10년 전 이 기술을 개발해 수백개 언어 간 번역을 제공해왔다.
그러나 통계적 기계번역의 한계는 여전히 번역이 동일한 병렬 코퍼스를 기반으로 이뤄진다는 것이었다. 여전히 주요 문장을 5~6개 덩어리로 나눈 뒤 각 덩어리를 개별적으로 번역했다. 이 때문에 한국어, 영어처럼 어순이 크게 다른 언어를 번역할 때 어색하고 이상한 결과를 내놓는 일이 많았다.
인공신경망 번역기 역시 병렬 코퍼스를 활용하나, 문장 통째로 번역한다는 점이 이전 방식과 다르다. 그렇기 때문에 문장의 맥락을 이해하고 올바른 순서로 번역할 수 있다. 인공신경망으로 번역한 결과를 보면, ‘한국어로 된 영어 구문’이 아닌 ‘진짜 한국어’ 같다.”
―구글의 AI는 최대 몇 개 언어 쌍을 동시에 학습하고 있나.
“현재 인공신경망 번역을 제공 중인 16개 언어 쌍 가운데 10개 언어 쌍을 동시에 학습하고 있다. 인터넷상에 영어 데이터가 워낙 많은 만큼, 영어와 다른 언어 간 번역 결과(영어-중국어, 영어-프랑스어 등)를 갖고 트레이닝한다.
동시에 학습할 수 있는 언어 수는 비슷한 언어가 몇 개나 있는 지에 달렸다. 예를 들어 한국어는 일본어, 터키어와 유사하기 때문에 3개 언어가 하나의 그룹을 이뤄 동시에 학습되는 것이다.”
―구글은 현재 103개 언어의 번역 서비스를 제공하고 있다. 이들 언어를 모두 동시에 학습하는 것도 가능해질까.
“이론적으로는 가능하지만 여러가지 문제가 있다. 가장 큰 문제는 전산 문제다. 인간의 뇌로도 한 개 언어를 다중 언어로 번역하기 쉽지 않다.
또 그렇게 하는 것이 효과적일지 의문이다. 한국어와 포르투갈어의 경우, 어순과 문법 등이 너무 다르기 때문에 한꺼번에 학습하는 것이 별 효과가 없을 수 있다.”
―한국어를 번역하는 데 있어 가장 어려운 점은 무엇이었는지.
“크게 두가지가 어려웠다. 한가지 어려움은 영어와 어순이 너무 다르다는 것이다. 인터넷상에 영어 콘텐츠가 워낙 많기 때문에 구글 번역기도 영어 어순과 문법, 구조에 어느 정도 편향돼있다. 스페인어나 포르투갈어 등은 영어와 매우 유사하기 때문에 학습이 상대적으로 쉽지만 한국어는 다르다. 두번째 어려운 점은 번역기가 학습할 수 있는 한국어 데이터가 너무 적다는 것이었다.
프랑스어, 스페인어 등은 영어와 어순, 문법이 비슷하며 이미 인터넷상에 많은 번역 데이터가 있어 통계적 기계 번역을 할 때부터 번역 품질이 좋았다. 그러나 한국어와 일본어의 경우 통계적 기계 번역 품질이 낮아 개선이 필요했다. 제3의 번역기 모델인 인공신경망을 적용하자, 한국어 번역 품질이 크게 좋아졌지만, 데이터를 더 많이 확보할 수 있다면, 품질이 더욱 좋아질 것이다.”
―그동안 번역 데이터의 부족함을 어떻게 해결해왔나.
“크라우드소싱(crowd sourcing·대중의 참여로 해결책을 얻는 방식)을 통해 번역 품질을 향상시킬 수 있다. 구글은 ‘번역 커뮤니티’를 운영하고 있다. 번역 커뮤니티에서는 특정 언어에 관심이 많은 사람들이 직접 번역에 참여해 구글 번역기의 품질을 높이는 데 기여하고 있다.”
―번역 커뮤니티를 통해 번역기의 성능이 얼마나 좋아졌는지.
“한 가지 사례를 소개하겠다. 번역 커뮤니티는 사용자들의 요청에 의해 만들어지는데, 2년 전 구글은 카자흐스탄어를 번역해달라는 요청을 특히 많이 받았다. 카자흐스탄어는 3500여명이 사용하는 언어지만 유감스럽게도 영어와의 번역 데이터가 많지 않았다. 카자흐스탄어를 구사하는 사람 300여명이 ‘번역기가 만들어질 수만 있다면 무슨 일이든 하겠다’고 구글에 이메일을 보내왔다. 구글은 카자흐스탄어 번역 커뮤니티를 만들었다. 번역 커뮤니티는 위키피디아와 비슷한 방식으로 운영된다. 이용자들이 번역 콘텐츠를 올려놓으면, 또 다른 이용자들이 해당 번역의 정확성을 검증하는 식이다.
번역 커뮤니티를 만든 뒤 300여명의 카자흐스탄어 구사자에게 이메일을 보냈다. ‘커뮤니티에 200만 문장의 번역 데이터가 쌓인다면, 카자흐스탄어 번역기 서비스를 시작하겠다’는 내용이었다. 그들은 겨우 300명에 불과했기 때문에, 우리는 문장 200만개의 번역 데이터가 쌓일 수 없을 것이라고 생각했다.
그러나 몇 주 지나지 않아 카자흐스탄 번역 서비스가 가능할 정도로 많은 데이터가 쌓였다. 잠 자는 시간을 제외하고 번역만 했느냐고, 대체 무슨 일이 있었던 거냐고 이용자들에게 묻자 그들은 동영상 하나를 보내줬다. 카자흐스탄 대통령이 주최한 기자회견 영상이었다. 모든 언론사의 기자와 영어·카자흐스탄어 구사자들이 한 데 모여 번역 데이터 생성에 기여한 것이었다. 구글 번역이 카자흐스탄어를 지원한다는 것은, 그들에게 있어서 국가적 자존심이 달린 문제였다.
그 후 구글은 번역 커뮤니티를 통해 스리랑카어 등 13~14개 언어 데이터를 확보, 번역 서비스를 제공하고 있다. 한국어도 마찬가지다. 영어에 능통한 한국인들이 번역 커뮤니티에 데이터를 제공한다면 지금보다 더 나은 번역이 가능해질 것이다.”
―현재 인공신경망 번역기는 문장 단위로 번역하는 데 그친다. 이 경우 대명사가 가리키는 바를 정확하게 짚어내기 어려운 경우가 많은데.
“대명사의 오역은 기계 번역이 지닌 한계다. 우리는 번역기가 텍스트의 더 깊은 의미를 이해할 수 있도록 꾸준히 노력해왔고, 번역기는 분명히 개선되고 있다. 그리고 통계적 기계 번역을 할 때는 단어나 덩어리 단위로 끊어 번역해 대명사가 가리키는 바를 알 수 없었지만, 지금은 문장을 통으로 번역하기 때문에 이 문제가 많이 개선됐다.”
― 중화권 언어 번역에서는 중국의 포털 바이두가 강자(强者)라고 들었다. 바이두의 번역 수준을 구글과 비교한다면 어떤지.
“좋은 질문이다. 인공 신경망 번역 기술이 발전할 수만 있다면, 모든 경쟁사를 환영한다. 우리는 경쟁에 연연하지 않고 사용자에게 더 나은 서비스를 제공하기 위해 노력하고 있다.
다만 5~6개가 넘는 단어로 이뤄진 문장을 바이두로 번역한다면, 번역기가 매우 느리게 작동할 것이다. 구글 역시 인공신경망 번역 초창기에는 지금보다 100배 느리게 작동했지만 ‘텐서플로(TensorFlow·구글 제품에 사용되는 머신러닝을 위한 오픈소스 소프트웨어 라이브러리)’ 덕에 문제를 해결했다. 그 덕에 경쟁사들이 내놓은 번역기보다 3~8배 빠른 인공신경망 번역기를 만들 수 있었다.
인공신경망 번역기에 있어 가장 중요한 두 가지 요소는 품질과 컴퓨팅 스케일(계산 규모)이다. 특히 계산 규모는 번역 속도를 결정짓는 요소이기 때문에 특히 중요하다. 우리는 번역기의 품질과 규모를 끊임 없이 개선하기 위해 노력하고 있으며, 이를 통해 바이두 등 경쟁사들과 차별화하고 있다.”
― 구글 번역기의 발전 방향은?
“먼저 더 많은 언어에 인공신경망 번역을 적용하는 데 주력할 것이다. 또, 번역 커뮤니티를 활용해 대중의 힘을 빌려 번역 품질을 지속적으로 개선해나갈 것이다.
우리는 이 외에도 채팅이나 헬스케어 등 다른 분야에 번역 기술을 적용하는 방안도 고민 중이다. 인공신경망 번역 기술은 특정한 용도에 적합한 제품에 다양하게 쓰일 수 있다. 정말 많은 가능성을 갖고 있다고 본다.”