오픈AI가 지난해부터 엔비디아의 그래픽처리장치(GPU)를 대신해 챗GPT 추론용으로 활용할 새로운 인공지능(AI) 반도체 수급을 모색하고 있다는 보도 이후 두 회사의 신경전이 불러올 '스노우볼'에 업계의 이목이 쏠리고 있다.
기존에 엔비디아 GPU를 대량으로 사용해 온 구글, 메타, 아마존웹서비스(AWS) 등 빅테크들도 지난 수년간 자체 AI 칩 개발에 공을 들여왔고, 일부 서비스에 도입하기 시작했다. 이 가운데 생성형 AI 시장의 리더인 오픈AI 역시 엔비디아와 옥신각신하면서 엔비디아의 대체재를 표방하는 주문형 반도체(ASIC) 시장이 더 힘을 받을 것이라는 관측도 나온다.
4일 로이터통신 등 주요 외신 보도를 종합하면 오픈AI는 챗GPT와 같은 AI 모델이 사용자 질문에 답변을 생성하는 '추론' 과정에서 엔비디아 칩의 성능에 한계를 느끼고 있는 것으로 알려졌다. 특히 코딩 등 소프트웨어 개발이나 AI와 소프트웨어 간 통신 등 특정 분야에서 엔비디아의 AI 칩을 기반으로 한 챗GPT의 답변 속도가 기대치에 미치지 못한다는 설명이다.
실제 오픈AI는 그동안 GPU에 대한 소프트웨어, 하드웨어적 의존도를 줄이려는 기조를 드러내왔다. 특히 지난해 구글과 브로드컴이 합작해 내놓은 텐서처리장치(TPU)가 구글의 AI 서비스 구동에서 GPU보다 더 나은 효용성을 입증하면서 오픈AI 역시 GPU 일변도의 AI 인프라를 다변화하려는 움직임을 보여왔다.
지난달 오픈AI는 웨이퍼 전체를 하나의 거대한 칩으로 만들어 연산과 데이터 저장을 한 칩에서 가능하게 하는 기술을 보유한 '세라브라스'와 공급 계약을 맺기도 했다. 로이터는 오픈AI가 반도체 기업 '그록(Groq)'과도 협상했지만 엔비디아와 그록이 지난해 12월 라이선스 계약을 맺어 논의가 중단됐다고 전했다. 오픈AI는 향후 추론 연산 수요의 10%가량을 엔비디아의 AI칩이 아닌 대체품으로 충당할 계획인 것으로 알려졌다.
오픈AI나 빅테크가 GPU 사용 비중을 줄이는 것은 투자 효율화 관점에서도 중요한 의제다. 대규모언어모델(LLM)에서 연산 성능은 원가를 의미한다. GPU 제품 단가를 포함해 전력, 네트워킹까지 포함한 TCO(총소유비용)를 낮추기 위해서는 GPU 기반의 인프라가 비효율적이라는 지적은 끊임없이 지적돼 왔다. 빅테크가 GPU 대신 자사 인프라와 서비스, 소프트웨어에 최적화된 자체 AI 칩을 개발하는 것도 비용 절감과 직접적으로 연결돼 있다.
오픈AI의 중장기적 기술 로드맵 구현에 기존 GPU만으로는 조만간 한계가 올 것이라는 관측도 나온다. 로이터는 소식통을 인용해 "오픈AI는 훈련, 추론 수요를 감당할 데이터센터를 기가와트(GW) 단위로 늘리는 계획을 구상 중이며 오라클, 소프트뱅크 등과 추진 중인 대규모 AI 데이터센터 프로젝트는 수년 내 최대 10GW급 용량을 목표로 한다. 하지만, 엔비디아 GPU만으로는 전력 조달, 에너지 비용 등이 발목을 잡을 것"이라고 전했다.
물론 오픈AI와 다른 빅테크의 자체 AI 칩 개발이 곧바로 GPU의 영향력 감소로 이어지는 건 아니다. 엔비디아는 오랜 기간에 걸쳐 자사 GPU에 최적화한 쿠다(CUDA)와 같은 소프트웨어 생태계를 구축해 왔으며 범용성 측면에서는 여전히 'GPU를 대체할 AI 반도체는 없다'는 것이 전문가들의 중론이다.
국내 IT업계 관계자는 "오픈AI는 현재 GPU를 중심으로 형성된 AI 칩을 다변화하고 공급업체를 멀티 벤더로 구축하려는 의지가 강하다. 그렇게 해야 더 효율화된 AI 인프라를 구축할 수 있으며 비용 절감이 가능하기 때문"이라며 "반면 엔비디아는 오픈AI를 엔비디아 생태계에 묶어두기 위해 압력을 행사하는 한편 차세대 GPU 성능을 높이기 위해 삼성전자, SK하이닉스 등에 더 높은 고대역폭메모리(HBM) 성능 기준을 제시하고 있다"고 설명했다.
일각에서는 두 회사가 투자 자금을 두고 '힘 겨루기'를 시작했다는 견해도 나온다. 엔비디아가 오픈AI의 투자 라운드에 투입한 금액이 1000억달러에 육박하지는 않을 것이라며 투자 축소를 암시하자 오픈AI가 "우리도 (GPU의) 대체재를 알아보고 있다"는 불만을 노출했다는 얘기다.