세계 최대 그래픽처리장치(GPU) 회사인 미국 엔비디아가 지난달 30일(현지시각) 반도체 기업 최초로 장중 시가총액 1조달러를 돌파하며 새로운 역사를 쓰고 있습니다. 인공지능(AI)의 새 지평을 열고 있는 챗GPT 모델 구축에 엔비디아가 핵심적인 역할을 할 것이라는 전망이 지배적이기 때문입니다.
반도체업계에서는 1만개 이상의 GPU, NPU(신경망처리장치) 등의 프로세서가 필요한 거대 AI 모델 구축이 가능한 기업은 현재로선 엔비디아뿐이라는 해석도 나옵니다. 전문가들 사이에서는 챗GPT 시대에 가장 유리한 지위는 엔비디아가 차지했다는 이야기가 나옵니다. 왜일까요.
◇딥러닝 시대 최대 공신 GPU, 챗GPT에도 핵심
GPU는 이름 그대로 컴퓨터 내 그래픽 요소를 처리하기 위해 만든 개념입니다. 하지만 GPU가 일반적인 연산에도 유용하게 쓰인다는 것이 알려지면서 범용 컴퓨팅 처리를 위한 GPGPU(General-Purpose computing on GPU) 기술이 개발됐습니다. 특히 2012년부터 꽃을 피우기 시작한 딥러닝 기술에 GPU가 핵심 하드웨어로 사용되기 시작하면서 AI와 GPU의 조합이 유행처럼 번지기 시작했습니다.
현재 GPGPU용 GPU 시장은 엔비디아가 거의 독점하고 있습니다. 엔비디아는 GPU뿐만 아니라 AI 가속기 전체에서도 90% 이상의 점유율을 확보하고 있습니다. 시장조사업체 리프터는 지난해 5월 아마존웹서비스(AWS), 마이크로소프트(MS) 애저, 구글 클라우드, 알리바바 클라우드 등 글로벌 4대 클라우드 데이터센터에서 사용하는 AI 가속기 97.4%가 엔비디아 제품이라는 조사결과를 발표한 바 있습니다.
특히 A100과 같은 GPU 제품은 AI 학습 모델에 특화한 칩으로, AI 가속기 시장을 완전히 점령한 상태입니다. 업계에서는 이 제품이 AI 모델의 ‘아이콘’처럼 여겨지고 있죠. 물론 엔비디아가 단순히 GPU 칩 하나로만 AI 시장을 점령한 것은 아닙니다. 가속기 성능 외에도 설계 플랫폼인 쿠다(CUDA)를 업계 표준으로 만들어 자사의 소프트웨어 없이는 AI 하드웨어 제어를 어렵게 만들었기 때문이기도 합니다.
◇GPU보다 빠른 NPU 등장… 그럼에도 엔비디아가 건재한 이유
AI 기술이 급격하게 확산되기 시작하면서 GPU 말고도 AI에 특화한 프로세서 기술들이 등장하고 있습니다. 구글, MS 등과 같은 거대 IT 기업들이 직접 데이터센터에 필요한 프로세서를 개발하기 시작했고 국내에서도 AI 알고리즘에 특화한 NPU 제품을 내놓는 스타트업들이 늘고 있습니다. 특히 최근 생산되는 NPU 중에서는 GPU보다 연산 속도가 2배 이상 빠른 제품도 있습니다.
하지만 대규모 데이터센터를 구축하기 위해서는 여전히 엔비디아의 GPU가 유일한 선택이 될 수밖에 없다는 것이 IT업계의 중론입니다. 국내 한 AI 스타트업 대표는 “통상 챗GPT모델의 경우 다수의 CPU, GPU, NPU 등 프로세서 유닛이 필요한데 가장 큰 관건은 이 모든 프로세서가 서로 데이터를 주고 받으며 학습해야 한다는 것”이라고 설명했습니다.
문제는 대부분의 반도체 회사가 사용하는 칩간 통신 플랫폼인 PCI 5.0이 초당 128기가바이트(GB) 수준의 속도에 머물러 있다는 것입니다. 반면 엔비디아의 경우 NV링크 스위치라는 자체 인터페이스를 통해 초당 데이터 전송 속도를 900GB 수준으로 높였습니다. 결과적으로 챗GPT 학습 모델을 위해서는 엔비디아의 플랫폼을 통한 학습 속도가 수배 이상 빠를 수밖에 없다는 것입니다.
반도체업계 관계자는 “프로세서의 연산 속도로만 보면 엔비디아의 GPU보다 2배 이상 빠른 프로세서도 있지만 다수의 프로세서를 연결해 서로 데이터를 통신하는 것이 느리다”면서 “서울, 부산 등 도시 내에서 이동속도는 빠르지만 정작 도시를 잇는 고속도로에서는 거북이 걸음마라는 의미”라고 설명했습니다. 엔비디아가 가진 인터커넥트 기술에 대항할 새로운 기술이 나오지 않는 이상 엔비디아의 독주는 계속 될 수밖에 없다는 얘깁니다.