"인공지능(AI) 추론 시장은 이미 본궤도에 올랐고, 앞으로 AI 산업의 격전지가 될 것이라고 봅니다. 단순히 답만 주는 챗봇을 넘어, 복잡한 업무를 수행하는 'AI 에이전트'가 보편화되면 추론 연산 수요는 기하급수적으로 늘어날 수밖에 없습니다."
정윤석 리벨리온 최고전략책임자(CSO)는 지난 8일 경기 성남시 본사에서 조선비즈와 만나 "AI 산업의 무게중심이 '학습'에서 '추론'으로 빠르게 이동하고 있다"며 이같이 말했다. AI 모델을 만드는 학습 단계를 지나, 이용자의 질문이나 명령에 AI가 답을 내는 추론이 시장의 중심이 됐다는 것이다. 챗GPT처럼 AI 서비스가 일상화될수록 데이터센터 안에서는 추론 연산이 365일 24시간 이뤄진다.
정 CSO는 "학습과 추론에 필요한 AI 인프라는 서로 다른 접근을 요구한다"며 "추론에서는 비용효율성(TCO·총소유비용)과 저지연(응답 지연을 줄이는 성능)이 핵심"이라고 했다. 그는 "글로벌 AI 기업들도 막대한 인프라 비용을 감당하고 있는 것이 현실"이라며 "연산 비용을 낮춰 추론에 최적화된 전용 인프라 수요는 폭발적으로 증가할 것"이라고 말했다.
리벨리온은 이런 시장 변화를 겨냥해 지난 4월부터 Arm·SK텔레콤(SKT)과 차세대 AI 인프라 개발을 위해 협력하고 있다. Arm의 데이터센터용 중앙처리장치(CPU)인 'Arm AGI CPU'와 리벨리온의 AI 가속기 '리벨카드(RebelCard)'를 하나의 서버에 함께 탑재하는 게 핵심이다. 이렇게 만든 추론 서버는 SKT의 AI 데이터센터에 적용돼 실제 운영 환경에서 성능·안정성을 검증받는다.
3사는 하드웨어 결합뿐 아니라 펌웨어(하드웨어를 제어하는 기본 소프트웨어) 등 소프트웨어 전반을 최적화해 성능을 끌어올릴 계획이다. 정 CSO는 "AI 서비스를 실제 운영할 때는 연산 외에도 데이터 입출력·네트워크 통신·메모리 관리·작업 스케줄링 등 다양한 처리가 동시에 이뤄져야 한다"며 "CPU는 시스템 운영을 총괄하는 관제탑 역할을 하고, 신경망처리장치(NPU·AI 연산에 특화한 반도체)는 AI 추론 연산을 전담한다"고 했다.
◇ 소버린 AI 전면에 세운 리벨리온
리벨리온은 AI 반도체 칩 설계·개발·공급을 주요 사업으로 하는 토종 팹리스(반도체 설계) 기업이다. 2020년 9월 출범해 현재 상용 제품인 '아톰맥스'(ATOM-Max)와 차세대 데이터센터용 AI 반도체 '리벨100′을 중심으로 추론 인프라 시장 공략에 주력하고 있다. 기업가치는 3조4000억원, 누적 투자 유치액은 1조3000억원 수준이다. Arm·SKT·SK하이닉스·삼성·국민성장펀드·아람코 등이 주요 투자자로 참여하고 있다.
리벨리온은 출범 이후 '소버린 AI'를 강조해 왔다. 소버린 AI는 국가나 기업이 특정 해외 클라우드나 단일 빅테크에 지나치게 의존하지 않고, 필요한 AI 인프라와 데이터를 스스로 통제할 수 있는 구조를 뜻한다. AI가 산업·행정·안보·통신 인프라로 확산하면서 자국 데이터와 AI 서비스를 어디서, 어떤 반도체와 서버로 운영할 것인지가 중요한 문제가 됐다.
범용 그래픽처리장치(GPU) 서버만으로는 각국 정부와 기관의 데이터 주권·비용·전력 효율·현지화 요구를 모두 충족하기 어렵다. 리벨리온은 Arm·SKT와 협력해 이런 구조를 해결할 수 있다고 봤다. 정 CSO는 "진정한 의미의 소버린 AI를 구축하고, 글로벌 통신사 맞춤형 솔루션을 마련할 것"이라며 "각국의 데이터 주권을 지켜줄 통합된 차세대 AI 인프라 표준을 글로벌 시장에 공급할 수 있다는 점에서 의미가 있다"고 말했다.
정 CSO는 소버린 AI를 특정 국가의 기술만 쓰는 폐쇄적 구조로 이해해서는 안 된다고 했다. 그는 "소버린 AI를 단순히 자국 기술만 쓰는 것으로 이해하는 경우가 많다"며 "특정 국가나 단일 빅테크 기업에 대한 의존도가 높아지면서 협상력을 잃고, AI 산업의 패러다임을 스스로 만들어 가지 못하는 상태에 빠지는 문제가 본질"이라고 했다. 그러면서 "소버린 AI는 결국 규칙을 만들어 가는 주도성이자 협상력의 문제"라고 덧붙였다.
해외 기업인 Arm과 손잡는 것이 소버린 AI와 배치되는 것 아니냐는 질문에는 "오히려 부합한다"고 답했다. 정 CSO는 "단일 빅테크에 종속되는 것이 문제라면 해법은 다양한 글로벌 파트너와 함께 새로운 생태계를 만드는 것"이라며 "리벨리온이 Arm·SKT와 연합을 구성한 것도 같은 맥락"이라고 했다.
◇ 학습서 추론으로 이동… "GPU만으로는 비용 부담 커"
생성형 AI 서비스가 등장한 초기 시장에서는 더 큰 모델을 만들기 위해 빅테크 사이에서 학습용 GPU 확보 경쟁이 치열하게 전개됐다. 그러나 AI 서비스가 산업 현장과 일상으로 확산하면서 이제는 '모델을 얼마나 싸고 빠르게, 안정적으로 운영하느냐'가 더 중요한 문제가 됐다.
정 CSO는 이런 변화를 보여주는 사례로 'AI 에이전트'(스스로 여러 작업을 수행하는 AI)를 들었다. AI 에이전트는 질문 하나에 답하는 수준을 넘어 검색·코딩·문서 작성·일정 처리 등 여러 작업을 이어서 수행한다. 그는 "개발자에게 코딩 에이전트는 이미 필수재가 되고 있다"며 "앞으로 복잡한 업무와 과제를 수행하는 에이전트가 보편화되면 추론 연산은 지금보다 훨씬 더 많이 필요해진다"고 했다.
정 CSO는 이 때문에 NPU 수요도 급증하고 있다고 설명했다. GPU가 범용 AI 연산에 강점을 가진다면, NPU는 반복적인 AI 추론 작업을 낮은 전력으로 처리하는 데 초점을 맞춘 제품이기 때문이다. 그는 "GPU와 같은 수준의 사용성을 제공하면서도 AI 추론에서는 더 높은 에너지 효율을 구현하는 것이 리벨리온 NPU의 차별점"이라며 "Arm·SKT와의 협력을 통해 AI 인프라 시장의 변화에 더 적극적인 대응이 가능해질 것"이라고 기대했다.
◇ "경쟁자보다 생태계가 중요… AI 인프라는 종합 예술"
리벨카드는 이번 협력의 핵심 부품이다. 리벨카드는 리벨리온의 차세대 AI 반도체 리벨100을 카드 형태로 만든 제품을 말한다. 리벨100은 4개의 NPU 칩렛(작은 칩을 묶어 하나처럼 쓰는 구조)과 5세대 고대역폭메모리(HBM3E·AI 연산용 고성능 메모리)를 결합한 형태로 설계돼 대규모 AI 추론 기능을 수행할 수 있다.
정 CSO는 "AI 추론에 특화된 리벨리온 NPU와 Arm CPU를 결합하면 기존 GPU 서버와 비교해 같은 성능이면 더 낮은 에너지 비용을, 같은 에너지라면 더 높은 성능을 제공하는 강점이 있다"고 말했다.
SKT는 이 서버를 자사 AI 데이터센터에서 검증할 예정이다. 리벨리온은 이미 SKT가 독자 개발한 파운데이션 모델(여러 AI 서비스의 기반이 되는 대형 모델) '에이닷엑스 케이원(A.X K1)'을 리벨카드가 탑재된 리벨 서버에서 구동한 경험이 있다.
정 CSO는 "하드웨어 자체의 성능뿐 아니라 실제 서비스 환경에서 안정적으로 구동하도록 하는 서빙 소프트웨어의 완성도가 중요하다"며 "고성능 GPU 서버에 준하는 인프라 역량을 바탕으로 단일 서버에서 초거대 모델 연산을 효율적으로 수행한 경험이 향후 차세대 AI 인프라 구축에도 활용될 것"이라고 했다. 리벨리온은 서빙 소프트웨어 역량을 강화하기 위해 지난 6월 AI 모델 경량화 기업 스퀴즈비츠를 인수했다.
정 CSO는 서울대 전기컴퓨터공학부를 졸업하고 하버드대에서 통계학 석사와 응용물리학 박사 학위를 받았다. 베인앤컴퍼니 이사를 거쳐 현재 리벨리온의 글로벌 사업 전략과 성장 방향을 총괄하고 있다.