인공지능(AI) 모델 경량화·최적화 기술 기업 노타는 업스테이지와 함께 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차수 성과물인 '솔라 오픈2(Solar Open 2)' 전용 경량화 모델을 27일 공개했다.

솔라 오픈2는 문서 업무와 코딩, 도구 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 대규모언어모델(LLM)이다. 매개변수(파라미터)는 총 2500억개의 매개변수를 갖추고 있으며, 실제 작업 시에는 필요한 150억개만 활성화하는 'MoE(전문가 혼합)' 구조를 택했다. 하나의 모델 안에 있는 여러 연산 모듈 중 일부만 선택해 작동시켜 연산 효율을 높이는 방식이다.

노타는 모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델의 가중치 메모리를 500.6기가바이트(GB)에서 117.8GB로 약 76.5% 감축했다고 밝혔다. 메모리 용량 기준으로 엔비디아 H100 그래픽처리장치(GPU) 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했다.

김태호 노타 최고기술책임자(CTO)는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다"고 말했다.

솔라 오픈2 전용 경량화 모델은 오픈소스 AI 플랫폼인 허깅페이스에서 확인할 수 있다.