구글을 넘어 오픈AI와 앤트로픽 등 주요 인공지능(AI) 업체들이 자체 AI 반도체 개발을 본격화하고 있습니다. 엔비디아 그래픽처리장치(GPU)에 대한 의존도와 AI 인프라 구축·운영 비용을 낮추고, 자사 AI 서비스에 맞는 반도체를 직접 확보하려는 움직임입니다. 다만 자체 칩이 엔비디아 GPU를 완전히 대체하기보다는 용도에 따라 함께 사용하는 방향으로 AI 인프라가 다변화될 것이란 전망이 나옵니다.
27일 업계에 따르면 주요 AI 업체들은 최근 자체 제작 반도체의 성능을 공개하거나 개발 조직을 확대하고 있습니다.
오픈AI는 지난 25일 브로드컴과 공동 개발한 자체 AI 칩 '할라페뇨(Jalapeño)'의 성능을 처음 공개했습니다. 오픈AI가 공개한 벤치마크에 따르면 할라페뇨는 엔비디아의 'GB200′·'GB300′과 비교해 피크 기준 전력당 처리량이 1.5~1.9배 높았습니다. 이는 같은 전력으로 더 많은 연산을 처리할 수 있다는 의미입니다.
엔비디아의 차세대 AI 가속기 '베라 루빈'과 비교해도 경쟁력을 보였다는 분석이 나왔습니다. 반도체 분석 업체 세미애널리시스는 할라페뇨의 메가와트(MW) 당 출력 토큰 처리량이 베라 루빈보다 높은 수치를 기록했다고 밝혔습니다. 총소유비용(TCO) 대비 성능은 두 제품이 대체로 비슷한 수준이라고 평가했습니다. 오픈AI는 올해 말부터 자체 데이터센터 인프라에 할라페뇨를 투입할 예정입니다.
◇ 구글 이어 오픈AI·앤트로픽도 자체 칩 경쟁
자체 AI 칩의 대표적인 선발 주자는 구글입니다. 구글은 2013년부터 자체 AI 칩인 텐서처리장치(TPU)를 개발해 왔으며 올해 4월에는 8세대 TPU를 공개했습니다. 구글은 제미나이 등 자사 AI 모델뿐 아니라 구글 클라우드를 통해 외부 기업에도 TPU 기반 컴퓨팅을 제공하고 있습니다.
오픈AI의 최대 경쟁사인 앤트로픽도 최근 자체 칩 개발에 뛰어들었습니다. 로이터 통신에 따르면 앤트로픽은 지난 5일 자체 반도체를 설계할 사내 전담 조직을 꾸리고 하드웨어·소프트웨어 엔지니어 채용에 나섰습니다. 지난 21일에는 구글 TPU 사업을 이끌었던 아미르 살렉을 영입하며 조직을 강화했습니다.
◇ 막대한 AI 인프라 비용… 자체 칩으로 낮춘다
주요 AI 업체들이 잇달아 자체 칩 개발에 뛰어드는 가장 직접적인 이유는 막대한 AI 인프라 비용 때문입니다. 로이터 통신은 오픈AI가 할라페뇨를 개발한 배경으로 비용을 줄이고 엔비디아 GPU의 대안을 확보하려는 목적이라고 분석했습니다.
AI 서비스 규모가 커질수록 이를 구동하는 데 필요한 AI 가속기와 서버도 함께 늘어납니다. 따라서 자체 칩을 확보하면 엔비디아 등 외부 칩 공급업체에 대한 의존도를 낮추고, 장기적으로 AI 인프라 비용을 절감할 수 있습니다.
시장조사 업체 포레스터의 마이크 괄티에 부사장은 최근 로이터 통신과와의 인터뷰에서 "반도체를 다른 회사에 의존해서는 AI 업계의 거물이 될 수 없다"며 "하이퍼스케일러 기업들과 심지어 스페이스X까지 모두 반도체 생산을 계획하고 있는데, 이는 모델 사용료 경쟁에서 가격 경쟁력을 확보할 수 있는 유일한 방법이기 때문이다"라고 말했습니다.
◇ AI 연산 중심 '학습→추론'… 맞춤형 칩 수요 커져
AI 연산 수요의 무게중심이 '학습'에서 '추론'으로 빠르게 이동하고 있다는 점도 자체 칩 개발을 부추기고 있습니다. 학습은 대규모 데이터를 활용해 AI 모델을 만드는 과정이고, 추론은 학습을 마친 모델이 이용자의 질문에 답하거나 주어진 작업을 수행하는 과정입니다.
최근 챗봇과 AI 에이전트 등 생성형 AI 서비스 이용이 늘면서 이용자의 요청이 발생할 때마다 필요한 추론 연산도 빠르게 증가하고 있습니다. 뱅크오브아메리카에 따르면 AI 데이터센터 시장 규모는 2030년 1조2000억달러(약 1660조원)에 달할 것으로 예상되며, 이 중 추론 관련 지출이 75%를 차지할 전망입니다.
특히 엔비디아 GPU는 다양한 AI 연산을 처리할 수 있는 범용성이 강점이지만, 특정 추론 작업만 반복해서 처리한다면 해당 작업에 맞춰 설계한 전용 칩이 비용과 전력 효율을 높일 수 있습니다.
실제로 주요 AI 업체들은 추론에 특화한 자체 칩을 내놓고 있습니다. 오픈AI의 할라페뇨는 대규모 언어 모델(LLM) 추론에 특화해 설계됐으며, 구글이 올해 8세대 TPU를 학습용 'TPU 8t'와 추론용 'TPU 8i'로 나눠 공개한 것 역시 이러한 수요에 대응하기 위해서로 풀이됩니다.
◇ 자체 칩 늘어도 엔비디아 GPU 완전 대체는 아직
다만 자체 칩 개발이 엔비디아로부터의 완전한 독립을 의미하는 것은 아닙니다. 특정 AI 연산에 맞춰 설계한 자체 칩은 해당 작업에서 비용과 전력 효율을 높일 수 있지만, GPU는 다양한 모델과 AI 연산에 폭넓게 활용할 수 있다는 장점이 있습니다.
오픈AI 역시 할라페뇨를 자체 인프라에 도입하면서 엔비디아 등 외부 업체의 AI 가속기를 계속 사용할 계획이라고 밝혔습니다. 앤트로픽도 자체 칩 개발과 별개로 구글, 엔비디아의 반도체를 함께 사용할 계획입니다.
자체 칩의 실제 성능도 변수입니다. 할라페뇨가 초기 벤치마크에서 높은 성능을 기록했지만 대규모 배치 이후에도 엔비디아 제품과 같은 경쟁력을 보일지는 지켜봐야 합니다. 세미애널리시스는 현재 테스트된 할라페뇨가 엔지니어링 샘플 단계이며, 할라페뇨와 베라 루빈 모두 아직 초기 단계인 만큼 향후 성능이 계속 개선될 수 있다고 평가했습니다.