"그래픽처리장치(GPU)뿐만 아니라 중앙처리장치(CPU)가 부족해지는 상황이 벌어지고 있으며, 내년에는 우리가 일반적으로 생각하는 PC를 구하는 것이 굉장히 어려울 것입니다."
신정규 래블업 대표는 26일 서울 소공동 웨스틴조선호텔에서 열린 국내 최대 테크 콘퍼런스 '스마트클라우드쇼 2026' 강연에서 이같이 말했다. 에이전틱 인공지능(AI)의 확산으로 GPU뿐만 아니라 CPU와 메모리, 저장장치, 전력 등 컴퓨팅 자원 전반에서 공급 부족과 병목 현상이 심화할 것이라는 의미다.
래블업은 2015년 설립된 AI 인프라 관리·운영 소프트웨어 전문 기업이다. AI가 수행할 업무의 난도에 따라 어떤 AI 모델과 GPU 등 컴퓨팅 자원이 필요한지 판단하고, 필요한 만큼 자원을 효율적으로 배분하는 기술을 개발하고 있다.
신 대표에 따르면 에이전틱 AI는 이용자의 질문에 답하는 데 그치지 않고 사람을 대신해 실제 업무를 수행한다. 이 과정에서 AI 모델을 구동하는 GPU뿐 아니라 작업을 처리할 CPU와 메모리, 저장 장치, 소프트웨어 환경 등이 함께 필요하다. 신 대표는 에이전틱 AI의 확산을 회사에서 일하는 직원이 갑자기 수십 배 늘어나는 상황과 비슷하다고 설명했다.
문제는 에이전트 수가 늘어날수록 필요한 컴퓨팅 자원도 빠르게 증가한다는 점이다. 신 대표는 올해를 기준으로 사람 한 명당 약 20개의 에이전트가 백그라운드에서 동작하나, 내년 말에는 일부 기업에서 사람 한 명당 100개 수준의 에이전트를 상시 가동하는 상황이 나타날 수 있다고 전망했다.
GPU와 비교해 다른 하드웨어의 발전 속도가 상대적으로 더디다는 점도 병목을 키우는 요인이다. 신 대표는 GPU 성능은 빠르게 높아졌지만 CPU와 메모리, 저장 장치, 이들을 연결하는 PCI 익스프레스(PCIe) 등의 성능은 같은 속도로 향상되지 않았다고 설명했다. 신 대표는 "CPU에 탑재되는 코어 수가 늘어나더라도 각 코어가 나눠 쓰는 메모리 대역폭이나 저장 장치의 처리 속도가 충분히 늘지 않으면 다른 부분에서 병목이 생긴다"고 했다.
AI 데이터센터의 전력 문제도 갈수록 커지고 있다. 신 대표에 따르면 과거 데이터센터의 서버 랙 하나에 공급되는 전력은 약 4킬로와트(kW) 수준이었지만, 엔비디아의 차세대 AI 가속기 '베라 루빈'을 수용하려면 랙당 250kW 수준까지 필요하다.
에이전트를 안전하게 격리해 실행하는 것도 새로운 과제다. 기존 가상 머신(VM)은 여러 개를 동시에 구동할수록 시스템 부담이 커진다. 컨테이너 역시 각각의 작업을 분리할 수 있지만 메모리나 저장 장치 등을 공유하는 만큼 완전히 격리하기에는 한계가 있다.
신 대표는 에이전틱 AI 확산에 따른 컴퓨팅 자원 부족이 단기간에 끝나지 않을 것으로 내다봤다. 그는 "모든 자원을 빠르게 투입하고 있지만 수요가 생산을 아득히 압도하고 있기 때문에 상황이 오래갈 것이라고 전망한다"며 "우리가 일생에 몇 번 겪지 않는 세대가 한 번 바뀌는 수준의 변화가 될 것"이라고 했다.