오픈AI의 자체 개발 인공지능(AI) 칩 '할라페뇨'가 성능 테스트에서 엔비디아의 제품군을 앞선 것으로 나타났다.
리처드 호 오픈AI 하드웨어 총괄은 자체 개발한 할라페뇨가 전력 단위당 처리 가능한 AI 작업량과 응답 속도 등 지표에서 최고 성능인 엔비디아의 'GB300'을 앞섰다고 25일(현지 시각) 블룸버그통신과 인터뷰에서 밝혔다.
이어 연내 할라페뇨를 자사 AI 모델 구동에 투입할 계획이라고 밝혔다.
호 총괄은 구글의 텐서처리장치(TPU) 프로젝트를 맡다 2023년 오픈AI로 이직했다. 그는 할라페뇨에 대해 "정말 좋은 칩이다. (오픈AI의) 비용을 큰 폭으로 낮춰줄 것"이라고 말했다.
오픈AI는 맞춤형 칩을 공급하는 브로드컴과 협력해 할라페뇨를 개발했다. 지난해 협력을 발표한 두 회사는 지난 6월 할라페뇨를 공개하면서 이례적으로 빠른 속도로 완성됐다고 강조했다.
호 총괄은 일반적으로 AI 칩이 처리 능력이나 응답 속도 가운데 한쪽에서 강점을 보이는 것과 달리 할라페뇨는 두 가지 성능을 모두 갖췄다고 설명했다. 어떤 AI 모델을 할라페뇨에서 구동할지는 오픈AI가 결정하며, 이를 통해 고객은 비용 절감이나 성능 향상 등 목적에 맞게 칩을 활용할 수 있다는 설명이다.
할라페뇨는 700와트(W)의 비교적 낮은 전력으로도 높은 성능을 내 대규모 데이터센터 운영비에서 큰 비중을 차지하는 전력 비용을 줄이는 데 도움이 될 수 있다고 덧붙였다.
IT 전문 매체 세미애널리시스는 할라페뇨는 패키지당 대역폭 15.4TB/s의 HBM4 메모리를 탑재했으며, 공급업체는 삼성전자로 추정된다고 전했다.
오픈AI는 회사 블로그에 자사의 소형 오픈소스 모델과 함께 딥시크·문샷AI의 타사 모델로도 신형 칩을 공개 테스트했으며, 이 가운데 문샷의 '키미' 모델에서 더 큰 성능 우위를 보였다고 전했다.
다만 할라페뇨는 이제 막 출하를 시작한 엔비디아의 차세대 칩 '베라 루빈'과는 비교 테스트를 거치지 않았다.
아울러 할라페뇨는 엔비디아가 강점을 보이는 AI 모델 훈련용으로도 설계되지 않았으며, 이미 학습을 마친 모델이 프롬프트에 응답하고 작업을 처리하는 '추론' 단계에 특화됐다.
호 총괄은 오픈AI가 현재 상대적으로 작은 모델에 쓰는 세레브라스의 칩 기술을 당장 대체하지는 않을 것이라고 밝혔다. 그는 "우리는 컴퓨팅 수요가 워낙 커서 많은 공급업체와 계약을 맺은 것이고, 이런 상황은 당분간 계속될 것"이라고 말했다.
이어 "엔비디아는 정말 좋은 파트너이며, 우리는 앞으로도 엔비디아가 많이 필요하다"고 말했다.
오픈AI는 후속 자체 칩 개발에도 속도를 내고 있다. 호 총괄은 자체 AI 모델을 활용해 칩 개발 기간을 단축하고 있다며, 2세대 칩은 이미 개발이 상당 부분 진행돼 앞으로 몇 달 안에 설계 최종 단계인 '테이프아웃'을 마칠 것으로 예상한다고 밝혔다.
오픈AI는 AI 인프라 비용을 낮추기 위해 3세대 칩의 개념 설계에도 착수했다.