엔비디아가 에이전틱 인공지능(AI) 추론에 특화된 가속기 '그록 3 LPX(NVIDIA Groq 3 LPX)'의 본격적인 양산에 들어갔다. 대규모 컨텍스트를 처리하면서 빠르게 토큰을 생성해야 하는 에이전틱 AI의 특성을 겨냥한 제품으로, 차세대 AI 플랫폼 '베라 루빈(Vera Rubin)'의 추론 성능을 확장하는 역할을 맡는다.

그록 3/엔비디아

엔비디아는 25일(현지시각) 미국에서 열린 반도체 행사 '핫칩스(Hot Chips)'에서 그록 3 LPX의 양산을 시작했다고 밝혔다.

에이전틱 AI는 사용자의 질문에 한 차례 답하는 기존 생성형 AI와 달리 스스로 추론하고 도구를 호출하며 작업을 반복한다. 복잡한 업무에서는 수백~수천 단계에 걸쳐 추론이 이뤄지는 만큼 대규모 컨텍스트를 처리하는 능력과 빠른 토큰 생성 속도가 중요하다.

그록 3 LPX는 이 가운데 토큰 생성 속도를 높이는 데 초점을 맞췄다. 엔비디아에 따르면 그록 3 LPX는 오픈소스 에이전틱 모델 '젬마 4 31B(Gemma 4 31B)'에 10만 토큰 컨텍스트를 적용한 아티피셜 애널리시스(Artificial Analysis) 벤치마크에서 초당 3400개의 출력 토큰을 기록했다. 엔비디아는 해당 모델 기준 지금까지 가장 빠른 성능이라고 설명했다.

또 코딩 등 에이전틱 AI 작업에서 유사한 대체 플랫폼보다 최대 4배 빠른 응답 속도를 제공한다고 밝혔다. 파일 검토부터 코드 작성·테스트, 도구 호출, 결과 검증 등 여러 작업을 반복하는 AI 에이전트의 처리 시간을 단축하는 것이 목표다.

젠슨 황 엔비디아 최고경영자(CEO)는 "추론은 AI 성장의 원동력"이라며 "베라 루빈은 에이전틱 AI 시대를 위해 워크로드에 최적화된 AI 팩토리 구성으로 이러한 비전을 확장하며, 초고속 토큰 생성을 위한 LPX로 성능의 한계를 한층 더 끌어올린다"고 말했다.

그록 3 LPX는 엔비디아의 차세대 AI 플랫폼인 베라 루빈 NVL72와 결합해 추론 성능을 확장한다. 베라 루빈 NVL72가 대규모 컨텍스트 처리 등 AI 연산을 담당하는 가운데 그록 3 LPX를 활용해 토큰 생성 속도를 끌어올리는 구조다.

엔비디아는 에이전틱 AI가 ▲방대한 컨텍스트를 효율적으로 처리하는 것과 ▲낮은 지연시간으로 빠르게 토큰을 생성하는 것이라는 두 가지 컴퓨팅 과제를 동시에 요구한다고 설명했다. 그록 3 LPX는 이 가운데 사용자에게 결과를 전달하는 생성 단계의 속도를 높이는 데 특화됐다.

AI 클라우드 업체들도 도입에 나선다. 네비우스(Nebius)는 자사의 추론 플랫폼 '네비우스 토큰 팩토리'에 그록 3 LPX를 도입할 계획이다. 엔비디아에 따르면 실제 운영 환경에 그록 3 LPX를 도입하는 첫 AI 클라우드 업체다.

다닐라 슈탄 네비우스 최고기술책임자(CTO)는 "생성은 AI 시스템의 실제 응답 속도를 결정하는 추론 단계이며, 엔비디아 그록 3 LPX는 바로 이 과정을 가속화하기 위해 설계됐다"며 "개발자들이 새로운 스택으로 마이그레이션할 필요 없이 기존 API를 그대로 사용하면서 에이전트 루프의 모든 단계가 즉각적으로 이뤄지는 경험을 제공한다"고 말했다.

AI 추론에 특화된 클라우드 업체 그록(Groq)도 초기 도입 기업 중 하나가 될 예정이다.

엔비디아는 베라 루빈을 7개 칩과 5개의 특수 설계 랙을 공동 설계한 AI 팩토리 플랫폼으로 구축하고 있다. 베라 루빈 NVL72와 그록 3 LPX를 비롯해 블루필드-4 DPU, 베라 CPU, 스펙트럼-6 이더넷 등을 결합해 멀티 에이전트 시스템의 처리량과 응답 속도를 높인다는 전략이다.