챗GPT 개발사 오픈AI가 브로드컴과 공동 개발한 추론 특화 인공지능(AI) 반도체 '할라페뇨(Jalapeño)'를 24일(현지시각) 공개했다. 구글, 아마존, 마이크로소프트, 메타에 이어 오픈AI도 자체 AI 칩 개발과 적용에 속도를 내는 모습이다.
오픈AI와 브로드컴은 자체 AI 칩 '할라페뇨'를 올해 말부터 실제 데이터센터 등에 배치할 계획이라고 밝혔다. 해당 AI 칩의 성능은 아직 시험 중이지만, 오픈AI는 초기 시험 결과에서 할라페뇨의 단위 전력(W)당 성능이 최첨단 반도체보다 우수한 것으로 나타났다고 설명했다.
할라페뇨는 추론에 특화된 AI 칩이다. 데이터 이동 병목을 줄이고 연산·메모리·네트워크 자원을 최적화해 성능을 높인 것이 특징이다. 오픈AI는 "할라페뇨는 기존 AI 칩을 개조한 범용 가속기가 아니라, 챗GPT·코덱스 등을 운영한 경험을 바탕으로 대규모언어모델(LLM) 추론을 위해 처음부터 새롭게 설계한 AI 칩"이라며 다른 LLM과도 호환이 가능하다고 설명했다.
그러면서 "우리 모델과 제품을 뒷받침하는 전체 기술 풀스택(full stack) 경쟁력을 구축하려는 전략의 중요한 이정표"이라며 "목표는 AI 모델을 더 빠르고, 더 안정적이며, 더 저렴하게 제공하는 것"이라고 했다.
그렉 브록먼 오픈AI 사장은 CNBC에 "오픈AI의 AI 모델 도움을 받아 할라페뇨를 처음부터 끝까지 9개월 만에 설계했다"고 말했다. 이는 주문형반도체(ASIC) 가운데 가장 빠른 개발 주기 중 하나라고 양사는 강조했다.
혹 탄 브로드컴 최고경영자(CEO)는 할라페뇨에 대해 "엔비디아의 블랙웰 칩이나 구글의 텐서처리장치(TPU)와 대등한 성능을 갖췄다"고 로이터 통신에 말했다.
지난 2022년 챗GPT를 공개해 생성형 AI 시대의 포문을 연 오픈AI는 그동안 엔비디아의 GPU를 사들이는 최대 고객 중 하나였다. 그러나 AI 수요가 폭증하면서 공급처 다변화가 필요해졌고, 지난해 10월 브로드컴과 손잡고 자체 칩을 개발하겠다고 발표했다.
오픈AI는 올해 초 아마존웹서비스(AWS)의 AI 칩 트레이니엄 사용 계약을 맺었고, 엔비디아 경쟁사인 AMD와 AI 반도체 기업 세레브라스와도 협력해왔다.
할라페뇨는 대만의 파운드리(반도체 위탁생산) 업체 TSMC가 생산한다. 탄 CEO는 삼성전자와 SK하이닉스가 브로드컴에 메모리 칩을 공급하고 있다고 언급했다. 양사는 할라페뇨의 후속 버전을 2028년에 선보이고, 이후에는 매년 새로운 칩을 출시할 예정이다. 향후 개발될 칩은 추론이 아니라 다른 영역에 초점을 맞출 수도 있다고 탄 CEO는 덧붙였다.
다만 이번에 공개한 칩은 추론에 특화된 제품인 만큼, 업계에서는 오픈AI가 당분간은 대규모 사전 학습(pre-training)과 같은 고성능 작업은 엔비디아 그래픽처리장치(GPU)에 의존할 가능성이 높다고 보고 있다. IT매체 테크크런치는 "추론 비용을 조금만 줄여도 회사의 수익성 개선에는 상당한 도움이 될 것"이라고 분석했다.