최근 메타 공식 블로그에는 한국의 인공지능(AI) 스타트업 업스테이지와 매스프레소의 ‘매스(MATH) GPT’ 사례가 올라왔다. 메타 공식 블로그에는 주로 자사 제품이나 연구 성과가 소개되는데, 한국 스타트업의 기술 소개가 올라온 것은 이례적이다.

매스 GPT의 매개변수(파라미터)는 130억개 수준으로 GPT-4(1조개)와 비교하면 작지만, 수학 능력에서는 세계 최고 수준이다. 1만2500개의 고난도 수학경시 문제로 구성된 ‘매스 벤치마크’에서 1점 만점에 0.488점을 받아 오픈AI의 GPT-4(0.425점)를 제쳤다. 업스테이지는 “챗GPT가 단순 데이터 양으로 학습을 해왔다면, 매스 GPT는 매스프레소가 보유한 고급 수학 데이터를 기반으로 수학 능력에 특화한 AI 모델”이라고 설명했다.

그래픽=손민균

구글, 마이크로소프트(MS), 메타 등 빅테크 기업들이 올 들어 소형언어모델(sLLM)을 선보이면서 국내 기업들도 잇따라 이 시장에 뛰어들고 있다. 훈련과 구동에 엄청난 비용이 드는 거대언어모델(LLM) 대신 가성비가 좋은 sLLM이 주목받고 있는 것이다. 업스테이지 같은 스타트업 뿐만 아니라 대기업, 보안업체까지 sLLM을 내놓고 있다.

3일 업계에 따르면 구글은 최근 sLLM인 ‘제미나이 나노’를, MS는 ‘파이(Phi)-3 미니’를, 메타는 ‘라마3′를 공개했다. 매개변수는 AI 모델이 얼마나 많은 복잡한 명령어를 이해할 수 있는 지를 나타내는데, sLLM의 경우 매개변수가 수억~수십억개 수준이다. 제미나이 나노와 파이-3 미니, 라마3의 매개변수는 각각 18억개, 38억개, 80억개 수준이다. 거대언어모델의 경우 매개변수가 1000억개 이상이다. 샘 올트먼 오픈AI 최고경영자(CEO)는 과거 LLM 기반 챗GPT 구동에 들어가는 비용이 “눈물 날 정도로 비싸다”고 언급한 바 있다.

sLLM은 경량화를 통해 응답 속도를 향상시켰고 입력 데이터 최적화 등으로 LLM 못지않은 효율을 낼 수 있다는 점이 장점이다. sLLM은 또 ‘온디바이스 AI’로 활용되기에 적합하다. 온디바이스 AI는 클라우드가 아니라 스마트폰, 노트북 등 기기 자체에 AI 서비스가 탑재된 것을 말하는데, 제한된 성능과 공간에서 AI를 구동하려면 작은 모델이 더 적합하다. 아울러 B2B(기업대기업) 시장에서는 ‘최소 비용, 최고 성능’을 내는 게 중요하기 때문에 sLLM이 보다 경쟁력이 있다.

이에 국내 기업들도 sLLM을 속속 내놓고 있다. 네이버는 최근 하이퍼클로바X의 신규 경량화 모델인 ‘HCX-대시’를 선보였다. 기존 모델 대비 5분의 1 수준 가격으로 이용할 수 있다는 점이 특징이다. 문장 생성이나 요약과 같은 단순 업무부터 보고서를 작성하거나 맞춤형 챗봇을 구현하는 데 적합하다.

업스테이지는 지난 3월 ‘솔라 미니’를 아마존 세이지메이커 점프스타트·AWS 마켓플레이스 등에 오픈소스로 공개했다. 고객사가 솔라 미니를 미세 조정해 자사의 맞춤형 생성 AI 서비스를 만들 수 있게 한 것이다. 에듀테크 산업용 sLLM도 출시했다. 업스테이지는 리걸테크 스타트업 로앤컴퍼니와 함께 ‘솔라-리걸’을 개발하겠다는 목표다. 업계 관계자는 “법률·의료·금융 등 특정 분야에서 활용되는 AI 서비스를 구사할 때 범용 LLM을 활용하기보다는 해당 분야 데이터를 중점적으로 학습한 소형언어모델을 활용하는 게 효율적”이라고 말했다.

데이터·애플리케이션 보안 사업에 치중했던 파수도 sLLM인 ‘엘름(Ellm)’을 출시했다. 엘름은 온프레미스 구축형 sLLM으로 코딩, 법률, 세무, 금융 등 다양한 직군, 산업 환경에서 활용할 수 있다는 게 파수의 설명이다. 특정 작업이나 도메인에 맞는 작은 데이터 세트를 활용해 모델을 추가적으로 훈련시킬 수도 있어, 기업에서는 특정 부서나 조직에서만 활용할 수도 있다.

미국 시장조사업체 밸류에이츠 리포트가 발간한 보고서에 따르면 sLLM 시장 규모는 2022년 51억8000만달러에서 오는 2029년 171억8000만달러로 성장할 전망이다.