인공지능(AI) 반도체 스타트업 리벨리온이 글로벌 오픈소스 솔루션 기업 레드햇과 함께 '풀 스택 엔터프라이즈 AI 플랫폼'을 공개한다고 11일 밝혔다.
새롭게 공개된 '레드햇 오픈시프트 AI'는 리벨리온 신경망처리장치(NPU)를 기반으로 작동한다. 레드햇 오픈시프트는 기업이 AI 모델의 라이프 사이클을 규모에 맞게 관리할 수 있도록 지원하는 쿠버네티스 기반 엔터프라이즈 플랫폼이다. 리벨리온의 NPU와 고효율 추론 엔진인 vLLM을 결합해 검증된 풀 스택 엔터프라이즈 AI 플랫폼을 제공한다. vLLM은 대형언어모델(LLM)을 빠르고 효율적으로 실행하도록 돕는 소프트웨어다.
'리벨리온 NPU 기반 레드햇 오픈시프트 AI'는 AI 추론 최적화를 위해 핵심 요소를 통합, 하드웨어(NPU)는 물론 모델 서빙(vLLM)까지 추론에 필요한 모든 영역을 아우른다.
회사 측은 "AI 도입이 확대되면서 기업은 인프라 비용, 배포 복잡성, 보안 등 다양한 과제를 동시에 해결해야 한다"며 "이번 솔루션은 이러한 현실적 요구를 반영해 다양한 환경에서 안정적이고 효율적인 추론 인프라를 구축할 수 있는 대안이 될 전망"이라고 전했다.
특히 학습을 마친 모델이 실제 환경에서 응답을 생성하는 단계인 'AI 추론'은 사용 빈도가 높아질수록 비용이 증가한다. 성능에도 영향을 미치는 요인이다. 이에 기존 그래픽처리장치(GPU) 중심으로는 모든 수요를 감당하기 어려워지고 있다. 리벨리온은 레드햇과 협력해 만든 이번 플랫폼이 효율성이 높아 기업의 AI 도입 고민을 덜어줄 수 있다고 기대하고 있다.
리벨리온의 NPU는 AI 추론에 최적화된 아키텍처로 설계돼 기존 GPU 대비 최대 3.2배 더 높은 에너지 효율성을 제공한다. 풀 스택 소프트웨어와 주요 오픈소스 AI 프레임워크 지원을 통해 GPU와 동일한 수준의 편리한 개발 환경을 제공한다는 게 회사 측 설명이다.
양사는 코오롱베니트와 공동으로 세미나를 열어 솔루션을 소개하고, 기업의 생성형 AI 도입 과정에서 마주하는 주요 과제를 논의할 예정이다. 이후 참여 기업 대상 컨설팅과 실증을 통해 효율적인 AI 인프라 구축을 지원하고 시장 확장을 본격화할 계획이다.
박성현 리벨리온 대표는 "AI 서빙과 추론이 본격화하면서 기업들은 성능과 비용, 데이터 주권을 모두 만족시키는 실용적인 인프라가 필요하다"며 "이번 협력으로 레드햇과 리벨리온은 AI 추론의 요소가 제각각이던 기존 방식 대신 하드웨어부터 모델서빙까지 오픈소스를 이용하여 통합되고 검증된 추론 플랫폼을 제공한다"고 전했다. 이어 "GPU 중심의 환경을 넘어 NPU 기반 추론 인프라의 새로운 대안을 제시하는 첫 사례가 될 것"이라고 말했다.
브라이언 스티븐스 레드햇 AI 부문 수석부사장(CTO)은 "엔터프라이즈 AI의 미래는 단일 구조의 독점 스택을 넘어서는 아키텍처를 선택할 수 있어야 한다"며 "리벨리온과의 협업은 레드햇의 '모든 모델, 모든 가속기, 모든 클라우드' 전략을 구현하는 데 큰 의미가 있다"고 말했다.