중국의 인공지능(AI) 스타트업 '문샷 AI'가 내놓은 오픈웨이트(가중치 공개형) 모델 '키미(Kimi) K3'가 구동 과정에서 막대한 메모리 용량을 요구하는 것으로 나타났다.
블룸버그통신은 키미 K3 공개 이후 반도체 관련 기업들의 주가가 하락하고 있지만, 시장이 이 모델의 높은 메모리 의존도를 간과하고 있을 수 있다고 20일(현지 시각) 보도했다.
시장에서는 키미 K3의 등장을 지난해 초 공개된 딥시크의 AI 모델 'R1'과 비교하고 있다. 딥시크는 AI 모델의 훈련 및 운영 비용을 절감하는 데 획기적 성과를 거뒀다는 평가를 받았다. 이에 AI에 필요한 반도체가 당초 예상보다 적을 것이라는 우려가 번지면서 당시 엔비디아 시가총액은 하루 만에 6000억달러 가까이 사라지기도 했다.
지난 17일 공개된 키미 K3는 매개변수(파라미터) 2조8000억개를 갖춘 세계 최대급 오픈웨이트 AI 모델이다. 또한 컴퓨팅(연산 처리) 효율성을 나타내는 지표인 '희소 비율'(Sparsity Ratio)도 사상 최고 수준으로 높다. 이 비율이 높을수록 모델의 전체 규모에 비해 각 작업에 활성화되는 매개변수의 수가 적다.
그러나 모델을 구동하려면 전체 매개변수가 메모리에 저장돼야 한다. 저정밀도 데이터 형식으로 모델을 압축하더라도 1.4테라바이트의 메모리가 필요하다는 뜻이다.
이용자가 모델을 직접 구동하려면 엔비디아의 '블랙웰 GB300' 기반 시스템에 준하는 대규모 AI 서버 장비가 필요하다는 설명이다.
키미 K3가 지원하는 100만 토큰 규모의 컨텍스트 창도 메모리 사용량을 늘리는 요인이다. 컨텍스트 창은 AI 모델이 한 번에 기억하거나 처리할 수 있는 정보의 양을 의미한다.
블룸버그는 "2조8000억개의 매개변수와 100만 토큰의 '컨텍스트 창'을 갖춘 K3는 이전 세대보다 훨씬 더 많은 메모리 용량을 요구한다"며 "이는 SK하이닉스와 삼성전자 등 소수가 시장을 지배하는 분야에서 지속적인 수요를 시사한다"고 했다.
스탠리 탕 스미토모 미쓰이 DS 자산운용 수석 포트폴리오 매니저는 메모리 공급 업체의 수가 제한적임을 고려할 때 이들이 향후 반도체 업계에서 여전히 가장 유리한 위치에 있을 것이라고 평가했다. 또한 키미와 같은 모델이 인기를 얻게 되면 AI 에이전트의 보급을 가속할 수 있는 만큼 전반적인 수요는 줄어들지 않을 것으로 예상했다.
한편, 문샷은 오는 27일 키미 K3의 모델 가중치를 공개할 계획이다.