스마트폰을 이을 차세대 인공지능(AI) 기반 기기는 손끝으로 화면을 누르는 '터치' 방식이 아니라 사람 목소리로 조작할 것이란 전망에 주요 AI 기업들이 음성 AI 기술 고도화에 힘쓰고 있다. AI와 상호작용하는 경험을 실제 사람과 대화하듯 자연스럽게 만드는 게 목표다.
챗GPT 개발사 오픈AI는 내년 출시를 목표로 AI 전용 기기를 개발 중이다. 10일 AI 업계에 따르면, 오픈AI가 애플의 제품 디자인을 총괄했던 조니 아이브와 손잡고 준비 중인 AI 기기는 도넛 모양의 이동형 스마트 스피커로, 챗GPT를 물리적인 형태로 구현한 첫 하드웨어 제품이 될 것으로 알려졌다. 카메라와 센서가 탑재된 이 기기는 주변 환경을 인식할 수 있고, 음성으로 구동이 가능하다. 이용자와의 대화 내용을 학습해 갈수록 더 개인화된 서비스를 제공하도록 설계됐다.
페이스북 모회사 메타는 AI 기반 스마트 안경 제품을 스마트폰을 대체할 차세대 기기로 지목하고 2021년부터 관련 제품을 출시했는데, 모두 음성으로 구동된다. 이용자가 "헤이 메타"라고 호출한 뒤 말로 질문을 하면 안경에 내장된 AI가 이를 인식해 답변한다. 구글과 애플도 AI 스마트 안경 출시를 앞두고 있다.
기업들은 '차세대 스마트폰'으로 내세운 AI 기기가 이용자의 일상에 빠르게 스며들 수 있도록 자연스러운 대화형 AI 구현에 주력하고 있다. 그동안 음성 AI는 한 박자 느린 응답, 로봇처럼 어색한 말투, 맥락을 제대로 파악하지 못하는 문제 등이 단점으로 꼽혔다.
오픈AI가 올해 5월 공개한 최신 음성 AI 모델 'GPT-리얼타임-2'는 GPT-5급 추론 능력을 기반으로 복잡한 요청을 처리할 수 있는 음성 AI 모델이다. 음성으로 들어온 정보를 실시간으로 처리하고 생성하는 능력이 기존 음성 AI와의 차별점이다.
기존 음성 AI는 '이용자의 음성 인식→텍스트 변환(STT)→거대언어모델(LLM) 기반 추론→텍스트로 답변 생성→음성 변환(TTS)'까지 여러 단계를 거쳤다. 그 결과 응답 속도가 느렸고, 이용자와 AI가 서로의 질문과 답변이 끝날 때까지 기다렸다가 말하는 '턴(turn)제' 방식이라 대화 흐름이 끊기는 경우가 많았다.
'GPT-리얼타임-2'는 실시간으로 말하기와 듣기를 처리하는 '전이중(full-duplex)' 방식을 적용해 이런 문제를 해소했다. 이용자가 AI가 대답하는 중간에 끼어들어 새로운 질문을 하거나 앞서 말했던 내용을 중간에 고쳐 말해도 즉각 반응할 수 있도록 설계해 실제 사람과 대화하는 것처럼 자연스러운 의사소통이 가능하다. 오픈AI의 첨단 모델은 초당 여러 차례에 걸쳐 대화 내용을 파악한 뒤 계속 말을 할지, 들을지, 잠시 멈출지, 도구를 호출할지 등을 실시간으로 결정한다.
오픈AI 관계자는 "매주 1억5000만명 이상이 챗GPT의 음성 대화와 받아쓰기 기능을 이용하고 있다"며 "실시간 음성 AI 기술이 단순한 문답 수준을 넘어 대화 흐름에 따라 이용자의 말을 듣고 추론하며 번역하고 받아 적으며 작업을 수행할 수 있도록 발전시키고 있다"고 말했다.
구글의 주력 음성 AI 모델인 '제미나이 3.1 플래시 라이브'는 이용자의 억양, 속도, 음조, 웃음 등 세세한 부분까지 인식하고 이를 기반으로 추론과 대화를 이어 나가도록 설계됐다. 같은 말이라도 이용자가 화난 목소리로 말하면 AI가 이를 감지해 응답 방식을 바꾸는 감정 기반 대화(Affective Dialog)가 가능하다고 회사 측은 설명했다.
'제미나이 3.1 플래시 라이브'에도 음성을 텍스트로 변환하는 과정을 거치지 않고 음성을 실시간으로 처리하는 '오디오-투-오디오' 기술을 기반으로 작동하고, 음성과 함께 이미지·텍스트·영상까지 함께 인식하고 처리하는 멀티모달 기능이 특징이다.
페이스북 모회사 메타는 AI 글래스 제품에 적용할 대화형 AI 기술을 강화하기 위해 음성 AI 전문 스타트업을 인수하는 등 관련 투자를 확대해 왔다. 메타는 지난해 7월 AI 기반 음성 합성 기술로 사람과 비슷한 목소리를 만들어 내는 스타트업 플레이AI를 인수했고, 8월에는 사람의 감정을 이해하고 음성에 반영하는 기술을 개발하는 웨이브폼스AI를 사들였다.
음성 AI가 기업 콜센터의 'AI 상담원' 등 일부 분야에만 사용되는 기술을 넘어 스마트 스피커, 스마트 안경 등 다양한 웨어러블(착용형) 기기에 탑재될 것이란 전망에 음성 AI에만 주력하는 스타트업에도 자금이 몰리고 있다. 일레븐랩스, 딥그램, 흄AI, 카르테시아, 세사미 등 유망 음성 AI 스타트업 5개사는 최근 몇 년간 누적 15억달러(약 2조원)가 넘는 투자금을 유치했다.