인공지능(AI) 사용이 폭증하자 일부 기업에서는 AI 연산(컴퓨팅) 비용이 인건비를 웃도는 현상이 벌어지고 있다. 오픈AI, 앤트로픽 등 주요 AI 기업들이 월 구독료 중심이었던 가격 정책을 '쓴 만큼 내는' 종량제로 바꾸면서 비용이 증가했기 때문이다. 당초 비용 절감을 위해 도입한 AI가 예상보다 비싸지자, 기업들은 직원들의 AI 사용량에 제한을 걸거나 보다 저렴한 중국산 AI로 눈을 돌리고 있다.
14일 테크업계에 따르면 우버는 최근 직원들이 사용하는 기업용 AI 코딩 도구의 1인당 월간 토큰 사용 한도를 1500달러(약 230만원)로 설정했다. 토큰(token)이란 AI 모델이 정보를 처리하고 답변을 생성하는 데 사용하는 기본 단위다. 이용자가 오픈AI의 챗GPT나 구글 제미나이에 어떤 요청을 할 때마다 토큰이 소비된다.
우버의 토큰 사용량 제한은 앤트로픽의 '클로드 코드'와 커서 등 주요 코딩 에이전트에만 적용된다. 우버 측은 "책임감 있는 AI 에이전트 도입과 실험을 장려하기 위한 조치"라고 했지만, 업계에서는 우버가 급증하는 AI 비용 부담에 대응하기 위해 토큰 사용량 제한을 두기로 한 것으로 해석하고 있다.
프라빈 네팔리 나가 우버 최고기술책임자(CTO)는 올해 4월 IT 매체 디인포메이션과의 인터뷰에서 "AI 사용이 늘면서 올해 책정한 AI 예산을 4개월 만에 다 소진했다"고 말했다.
미국 실리콘밸리에서는 생산성을 끌어올리기 위해 AI 사용을 극대화하는 이른바 '토큰맥싱(tokenmaxxing)'을 장려해왔다. 일부 빅테크 기업들은 직원들의 토큰 사용량을 측정해 고과 평가에 반영하기도 했지만, 이로 인해 AI 운영비가 불어나자 최근 사용량을 통제하는 방향으로 선회하고 있다.
아마존은 AI 개발 플랫폼 '키로'에서 직원들의 사용량을 점수화해 순위를 매기는 '키로랭크' 제도를 지난달 말 폐지했다. 일부 직원들이 평가 점수와 순위를 높이기 위해 불필요한 AI 작업을 늘리면서 회사의 컴퓨팅 비용이 급증했기 때문이다. 데이브 트레드웰 아마존 수석부사장은 "좋은 의도로 도입한 제도였지만, 일부 직원들이 의도적으로 토큰 사용량을 부풀리면서 비용 부담이 늘었다"며 사내 공지를 통해 직원들에게 "단지 AI 사용량을 늘리기 위해 AI를 쓰지 말아달라"고 당부했다.
페이스북 모회사 메타도 지난 4월 초 직원들의 토큰 사용량을 순위로 매긴 '클로드노믹스'(Claudeonomics) 대시보드를 운영했는데, 직원간 경쟁이 과열되는 등 부작용이 속출하자 일주일도 지나지 않아 폐쇄했다.
업계에서는 오픈AI, 앤트로픽 등 AI 기업들이 요금제를 토큰 사용량 기반의 종량제로 변경하면서 기업들의 AI 운영 비용이 늘었다고 보고 있다. 별도의 지시 없이도 스스로 업무를 수행하는 AI 에이전트 확산도 토큰 사용량 증가를 부추기는 요인이다. 브라이언 카탄자로 엔비디아 응용딥러닝 부사장은 최근 인터뷰에서 "우리 팀의 경우 AI 연산 비용이 직원 인건비를 넘어섰다"고 말했다.
비용 부담이 커지자 미국 스타트업을 중심으로 '가성비' 중국산 AI 모델을 채택하는 사례도 늘고 있다. AI 모델 거래 플랫폼 오픈라우터에서는 중국 딥시크의 'V4 플래시'가 오픈AI와 앤트로픽을 제치고 5월 중순 이후 가장 많이 사용된 AI 모델로 집계됐다. 이달 초 기준으로 텐센트의 'Hy3'가 2위, 미니맥스의 'M3'가 3위로 상위권을 중국 모델이 석권했다. 오픈라우터에서 중국 모델 사용 비중은 2024년 약 1%에서 올해 5월 기준 60%를 넘어섰다.
앞서 딥시크는 주력 모델인 'V4 프로'의 사용 요금을 75% 인하했다. 기업 입장에서는 최첨단 미국산 모델 대신 딥시크를 활용하면 비용을 약 10분의 1 수준으로 낮출 수 있다는 이점이 있다. 이에 저렴한 중국산 모델을 이메일 분류, 기본적인 코딩 등 일상적인 업무에 사용하고, 복잡하거나 중요한 작업을 할 때만 오픈AI나 앤트로픽의 고성능 모델을 활용하는 방식이 스타트업을 중심으로 확산하고 있다. 이런 '어드바이저 모델'을 활용하면 일부 업무의 AI 비용을 최대 95%까지 절감할 수 있다는 게 업계 관계자들의 설명이다.
기업 고객을 중국 경쟁사에 뺏길 위험이 커지자, 오픈AI와 앤트로픽은 AI 서비스 가격을 대폭 인하하는 방안을 검토 중인 것으로 알려졌다. 양사는 올 하반기 기업공개(IPO)를 앞두고 공격적으로 사업을 확장 중인데, 저렴한 요금제를 제공해 더 많은 기업을 고객사로 확보하려는 것이다.
일각에서는 '인건비를 뛰어넘는 AI 운영비'는 소수의 빅테크 기업만 겪는 문제라는 지적도 나온다. 미국 기업들의 AI 도입률을 추적하는 '램프 AI 인덱스' 조사에 따르면, AI를 가장 적극적으로 사용하는 상위 1%의 기업은 직원 1인당 월 평균 7500달러(약 1140만원)를 지출한 것으로 나타났다. 이는 소프트웨어 엔지니어의 평균 월급인 약 1만6000달러(약 2400만원)에는 못 미친다.
AI 사용량 기준 상위 10% 기업은 직원 1인당 월 AI 지출액이 611달러(약 92만원)에 불과했고, 전체 기업을 기준으로 보면 평균 지출액이 약 11.38달러(약 1만7000원)으로 기업용 AI 서비스 계정 하나의 월 구독료 수준에 그쳤다.
아라 카라지안 램프 수석 연구원은 "'AI에 올인'한 상위 1% 기업들도 아직까지 AI에 인건비 수준의 비용을 쓰고 있지 않다"라며 전체 기업을 기준으로 보면 여전히 AI 도입 비용이 인건비보다는 저렴해 당분간 기업의 AI 관련 지출은 증가할 것이라고 내다봤다.