틱톡 모회사 바이트댄스가 앤트로픽의 최상위 인공지능(AI) 모델 '미토스'에 맞먹는 규모의 모델을 준비 중이라고 파이낸셜타임스(FT)가 사안에 정통한 복수의 소식통을 인용해 7일(현지시각) 보도했다.
보도에 따르면 바이트댄스는 매개변수(파라미터) 10조개에 달하는 신규 AI 모델의 사전 학습에 돌입했다. 이는 2조8000억개의 파타미터를 갖춘 문샷AI '키미 K3'의 약 3배 수준으로, 현재까지 공개된 중국 AI 모델 중 규모가 가장 크다. 매개변수는 두뇌의 뇌세포 수에 비유되는데, 숫자가 클수록 더 똑똑하고 복잡한 생각과 작업을 처리할 수 있다.
AI 모델의 사전 학습은 통상 3~6개월이 걸리며, 이후 모든 과정이 순조롭게 진행될 경우 미세조정(fine-tuning)을 거쳐 모델을 출시하게 된다. 정확한 모델 크기는 추후 훈련 과정에서 결정될 예정이다.
앤트로픽은 AI 모델의 매개변수 규모를 공개하지 않지만, 업계에서는 최첨단 모델 '미토스 5'가 약 8조개, '페이블 5'가 약 5조개의 매개변수를 갖춘 것으로 추정하고 있다. 모델 개발은 구글 딥마인드 출신 우융후이가 이끄는 2000명 규모의 AI 연구 조직 '시드(Seed)'가 맡았다.
바이트댄스가 '미토스 5'에 필적하는 규모의 AI 모델 개발에 나선 것을 두고 FT는 "미국 경쟁사를 따라잡는 데 그치지 않고 최첨단 AI 분야에서 이들을 뛰어넘겠다는 야심을 보여준다"고 평가했다. 최근 문샷AI, 알리바바 등이 선보인 중국 최신 AI 모델은 각종 성능 평가에서 오픈AI와 앤트로픽의 최상위 모델에 버금가는 수준의 성능을 보였다.
바이트댄스는 오픈웨이트(가중치 공개) 모델을 주력으로 내세운 대다수 중국 AI 기업과 달리 폐쇄형 모델을 개발해왔고, 이에 맞춰 AI 인프라 투자도 공격적으로 확대하고 있다. 바이트댄스의 '시댄스' 모델은 영상 생성 분야에서 세계 최고 수준의 모델 중 하나라는 평가를 받고 있고, 일반 소비자용 '더우바오(豆包)'는 월 사용자가 3억2400만명으로 중국에서 가장 인기 있는 AI 모델로 자리잡았다.
소식통에 따르면 바이트댄스는 최근 다른 AI 기업이 개발한 모델을 '증류(distillation)'하는 학습 방식을 쓰지 말라고 지시한 것으로 알려졌다. 미국 최첨단 AI 모델을 참고하지 않고 독자적으로 모델을 개발하겠다는 것이다. 다만 바이트댄스가 1년 넘게 이런 기조를 고수하면서 경쟁사 대비 모델 개발 속도가 느려졌다는 분석도 나온다.
장이밍 바이트댄스 창업자는 "최근 사내에 단기적으로 뒤처지는 것을 걱정하지 말고 장기적으로 '세계 최고 수준의 모델 역량'을 확보할 것을 목표로 삼으라"고 주문했다고 미 테크 전문 매체 디인포메이션이 전했다.