업스테이지는 자체 개발한 사전학습 LLM(거대언어모델) '솔라'를 공개했다고 14일 밝혔다.
업스테이지의 '솔라'는 기업들이 활용하기 용이하게 작은 크기로 구성된 사전학습 모델이다. 세계 최초의 107억 매개변수(10.7B)가 적용됐다. 업스테이지 솔라는 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다. 업스테이지는 오픈소스의 7B 모델들을 기반으로 자체적인 스케일링 방식을 적용하고 레이어를 추가하며 소형 모델의 성능을 극대화했다. 그 결과 업스테이지는 3조개가 넘는 토큰의 우수한 데이터를 통해 확장된 10.7B를 완성, 크기와 성능의 최적의 조합으로 모델을 구축했다.
업스테이지는 AWS, 포(Poe), 투게더(Together).ai 등 글로벌 플랫폼과의 협력을 통해 최고 기술력을 바탕으로 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다. 업스테이지는 최근 'AWS 리인벤트 2023′ 행사에서 AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한LLM을 구축하고 운영하는 과정과 성과에 대해 설명하고 AWS와의 협력 계획을 밝힌 바 있다.
뿐만 아니라 업스테이지는 글로벌 생성 AI 활용 플랫폼 포에 메인 모델로 등록되어 있는 솔라 모델을 업데이트해 대중들이 최고 성능의 업스테이지 LLM을 직접 경험해 볼 수 있도록 할 예정이다. 포는 쿼라가 운영하는 플랫폼으로, 다양한 AI 모델과 대화하고 원하는 프롬프트를 입력해 나만의 챗봇을 만들 수 있다.
업스테이지는 이번 모델 개발에 앞서 국내 최초 수학 GPT와 이커머스 프라이빗 LLM을 구축하는 등 다양한 분야에서 모델 구축의 노하우를 축적한 바 있다. 업스테이지는 콴다, KT와 함께 세계 최고의 수학 GPT를 구축, 생성형 AI가 약한 추론 영역까지 LLM의 역량을 확장하고 있다. 또 커넥트웨이브와 이커머스 업계 최초로 프라이빗 LLM을 구축하며 다양한 산업군의 수요를 충족하고 있다.
김성훈 업스테이지 대표는 "세계 AI 회사들을 압도하는 모델을 공개하게 되어 기쁘고 업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다"며 "KT의 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B(기업간거래) 시장에서의 협력도 추진할 것"이라고 밝혔다.