KT가 국산 AI 반도체와 자체 대규모언어모델(LLM)을 결합한 기업용 AI 장비 'KT NPU LLM 스테이션'을 19일 선보였다.
신제품은 국내 팹리스 리벨리온의 추론용 신경망처리장치(NPU) '아톰맥스'와 KT의 언어모델 '믿음 K 2.5 프로', 운영 API 플랫폼을 한 서버에 담은 일체형 장비다. AI 반도체부터 모델과 운영 체계까지 핵심 요소를 국내 기술로 구성한 것이 특징이다.
장비는 고객사 내부에 설치돼 데이터 저장과 AI 연산이 모두 사내에서 이뤄진다. 이에 따라 망 분리나 보안 규제로 외부 생성형 AI 활용이 어려웠던 공공·국방·금융·제약·제조 분야의 수요를 겨냥했다.
서버와 소프트웨어가 사전에 통합돼 설치 직후 사내 문서를 활용한 검색증강생성(RAG) 기반 질의응답 등을 이용할 수 있다. 추론에 특화된 NPU를 적용해 동급 GPU 서버보다 전력 효율을 높였으며, 표준 API를 지원해 기존 AI 서비스도 큰 폭의 코드 변경 없이 연동할 수 있다는 설명이다.
KT는 향후 회의록 작성, 코딩 보조, 업무 자동화 에이전트 'K-클로(가칭)' 등을 추가하고 전문 개발사와 고객 맞춤형 구축 사업을 추진한다. 장기적으로는 피지컬 AI용 엣지 데이터센터 분야까지 활용 범위를 넓힐 계획이다.
이진형 KT AX사업본부장 상무는 "데이터 주권을 확보하면서 현장에서 곧바로 AI 전환을 추진할 수 있는 제품"이라고 말했다.