노타, 국산 NPU서 '2360억개 파라미터' 대형 AI 모델 최적화 성공

인공지능(AI) 모델 경량화·최적화 기술 기업 노타는 퓨리오사AI의 데이터센터용 신경망처리장치(NPU) 에서 LG AI연구원의 국가대표 AI 모델 'K-엑사원 236B'의 최적화에 성공했다고 30일 밝혔다.

K-엑사원 236B는 약 2360억개 파라미터(매개변수) 규모의 대형 AI 모델로, 여러 전문가 모델을 선택적으로 활용하는 전문가 혼합(MoE) 구조를 택하고 있다. MoE 구조는 대형 모델의 효율을 높일 수 있다는 게 장점이지만, 최적화 과정에서는 각 전문가 모델이 안정적으로 작동할 수 있도록 하는 정교한 기술이 필요하다.

노타는 이번 프로젝트에서 K-엑사원을 퓨리오사AI의 데이터센터용 NPU 환경에 맞게 최적화했다. 모델 크기를 약 71% 줄여 대형 AI 모델 구동에 필요한 메모리 부담을 낮추면서도 과학 추론, 지시 이해, 수학 문제 해결 등 주요 평가 항목에서 원본 모델과 유사한 수준의 정확도를 유지했다고 회사 측은 설명했다.

노타 관계자는 "성능 저하가 발생할 수 있는 일부 구간을 정밀하게 분석하고 필요한 부분에만 최적화를 적용해 성능 손실을 최소화했다"며 "2360억개 파라미터 규모의 모델을 더 효율적으로 실행할 수 있도록 최적화했다는 의미로, 데이터센터 AI 인프라의 운영 효율을 높일 수 있는 가능성을 보여준다"고 말했다.

최근 글로벌 AI 산업에서는 최첨단 AI 모델과 이를 구동하는 인프라에 대한 접근성이 중요한 과제로 부상했다. 특히 앤트로픽의 '미토스'를 포함한 일부 AI 모델과 인프라를 둘러싼 수출 통제 논의 이후, 각국이 자국 내 AI 모델과 컴퓨팅 인프라를 확보하려는 소버린 AI에 대한 수요가 증가하고 있다.

채명수 노타 대표는 "소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것"이라며 "이번 성과는 퓨리오사AI의 데이터센터용 NPU, LG의 국가대표 AI 모델 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례"라고 말했다.