인공지능(AI) 오디오 기업 일레븐랩스(ElevenLabs) 신규 AI 더빙 모델 '더빙 v2(Dubbing v2)'를 16일 선보였다.
해당 모델은 기존 AI 더빙의 한계로 꼽혔던 감정과 전달력 손실 문제를 개선한 것이 특징이다. 원본 음성의 감정, 톤, 억양, 말의 간격 등 화자의 실제 표현 방식을 분석해 90개 이상의 언어로 자연스럽게 재현한다.
또 자동 보이스 클로닝, 음성 타이밍 자동 조정, 문맥 기반 번역 기능을 통해 단순 번역을 넘어 원본 콘텐츠의 몰입감과 개성을 유지한 다국어 더빙을 지원한다.
'더빙 v2'는 한국 드라마·영화·웹툰·게임·유튜브 콘텐츠 등의 글로벌 진출을 지원할 것으로 회사 측은 기대하고 있다. 일레븐랩스 관계자는 "한국은 전 세계 시청자를 사로잡는 강력한 콘텐츠 자산을 보유하고 있으나 기존에는 글로벌 진출을 위해 번역, 대본 작성, 성우 녹음, 오디오 편집, 타이밍 조정 등 막대한 제작 공정과 비용이 소요됐다"라며 '더빙 v2'는 이런 작업 시간을 단축하는 데 기여할 것이라고 설명했다.
홍상원 일레븐랩스 한국 총괄은 "번역된 음성이 마치 원본 화자가 실제로 그 언어를 구사한 것처럼 느끼게 만드는 것은 그동안 AI 더빙 분야의 가장 큰 난제 중 하나였다"며, "이번에 선보인 '더빙 v2'는 정교한 감정 재현력과 뛰어난 싱크를 기반으로 국내 크리에이터와 마케터, 콘텐츠 기업들이 언어의 장벽을 넘어 전 세계 사람들과 더 깊고 자연스럽게 소통하는 강력한 교두보가 될 것"이라고 말했다.