사람처럼 스스로 계획을 세우고 일을 처리하는 AI 에이전트(인공지능 비서)가 기존 AI 챗봇보다 질문 한 건당 최대 137배 많은 전기를 쓴다는 연구 결과가 나왔다. AI가 검색, 계산, 코드 실행까지 스스로 수행하면서 데이터센터 전력 부담을 크게 늘릴 수 있다는 것이다.
KAIST는 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트의 계산 비용과 응답 시간, 에너지 소비, 데이터센터 전력 수요를 정량 분석했다고 5일 밝혔다. 연구 결과는 지난 2월 컴퓨터 시스템 설계 분야 국제학회 '국제고성능컴퓨터구조심포지엄(IEEE HPCA)'에서 발표됐다.
AI 에이전트는 거대언어모델(LLM)을 기반으로 작동하지만, 단순 챗봇과는 다르다. 사용자 질문에 한 번 답하고 끝나는 것이 아니라, 스스로 계획을 세운 뒤 검색, 계산기, 코드 실행 같은 외부 도구를 불러 복잡한 작업을 수행한다. 이런 기능 때문에 소프트웨어 개발, 연구 보조, 업무 자동화 분야에서 활용이 빠르게 늘고 있다.
연구진은 AI 에이전트를 데이터센터가 처리해야 하는 새로운 작업으로 보고, 실제 실행 과정에서 발생하는 계산량과 전력 소비를 분석했다. 그 결과 AI 에이전트는 기존 단계별 추론 방식보다 평균 9.2배 더 많이 LLM을 호출했다. 질문 하나를 처리하는 동안 AI가 여러 번 다시 생각하고, 도구를 쓰고, 결과를 받아 또 판단하기 때문이다.
응답 시간도 크게 늘었다. AI 에이전트의 답변 시간은 최대 154배 증가했다. 외부 도구가 작업하는 동안 그래픽처리장치(GPU)는 전체 실행 시간의 최대 55%를 아무 계산도 하지 못한 채 기다리는 것으로 분석됐다. 복잡한 일을 시킬수록 GPU를 충분히 쓰지 못하는 비효율이 생긴다는 것이다.
전력 소비 차이도 컸다. 700억개 매개변수를 가진 LLM을 기준으로 했을 때 AI 에이전트는 질문 한 건에 평균 348와트시(Wh)의 전기를 썼다. 기존 AI 챗봇의 단순 질의응답 방식보다 137배 많은 수준이다.
유민수 석좌교수는 "AI가 더 똑똑해지는 것을 넘어 그 지능을 구현하고 유지하는 데 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 사례"라고 했다.