인공지능(AI) 모델이 점점 커지고 복잡해지면서, 더 빠르게 계산하고 전기를 적게 쓰는 반도체 기술의 필요성이 커지고 있다. 이런 가운데 한국과학기술원(KAIST)과 해외 연구진이 AI의 '두뇌' 역할을 하는 핵심 반도체의 구조를 새롭게 바꾼 기술을 개발했다.
박종세 KAIST 전산학부 교수 연구진은 미국 조지아공과대와 스웨덴 웁살라대 연구진과 함께, 기존 AI 모델보다 추론(답을 찾아내는 과정) 속도는 4배 빠르고 전력 소모는 절반 이하로 줄인 반도체 구조 '핌바 (Processing-In-Memory Based Architecture, PIMBA)'를 개발했다고 17일 밝혔다.
핌바는 AI가 문장을 이해하고 판단하는 방식을 담당하는 두 가지 뇌 구조인 '트랜스포머(Transformer)'와 '맘바(Mamba)'를 합쳐 놓은 새로운 형태의 구조다.
현재 ChatGPT나 Claude, Gemini 같은 대형언어모델(LLM)은 대부분 트랜스포머 구조를 사용한다. 이 방식은 모든 단어를 한꺼번에 살펴 문맥을 파악하는 데 강점이 있지만, 모델이 커질수록 계산량이 폭증해 속도가 느려지고 전력 소모가 커지는 한계가 있다.
이 문제를 해결하기 위해 최근에는 단어를 순서대로 처리하는 맘바 구조가 등장했다. 시간 순서에 따라 정보를 저장하고 꺼내 쓰는 방식으로 효율을 높였지만, 여전히 계산을 하려면 데이터를 메모리 밖으로 꺼내야 해 '병목 현상(memory bottleneck)'이 남아 있었다.
연구진은 두 구조의 장점을 살리면서 병목 문제를 없애기 위해, '연산을 메모리 안에서 직접 수행하는 반도체 구조'를 고안했다. 기존 GPU(그래픽처리장치)는 데이터를 메모리에서 꺼내 연산을 수행하지만, 핌바는 데이터를 이동시키지 않고 저장장치 내부에서 바로 계산을 처리한다. 이 방식은 데이터 이동 시간을 없애 속도를 높이고, 전력 소모를 크게 줄인다.
실험 결과, 핌바 구조는 기존 GPU 기반 시스템보다 최대 4.1배 빠른 처리 속도를 보였고, 평균 전력 소비는 2.2배 절감됐다.
이번 연구 성과는 오는 10월 20일 서울에서 열리는 세계적 컴퓨터 구조 학술대회 '제58회 국제 마이크로아키텍처 심포지엄(MICRO 2025)'에서 발표될 예정이다. 앞서 '제31회 삼성휴먼테크 논문대상' 금상을 수상하며 기술적 우수성도 인정받았다.
이번 연구는 정보통신기획평가원(IITP)과 인공지능반도체대학원 지원사업, 과학기술정보통신부-정보통신기획평가원 ICT R&D 프로그램의 지원으로 수행됐다. 한국전자통신연구원(ETRI)이 연구를 공동 지원했으며, 반도체설계교육센터(IDEC)가 설계 도구(EDA 툴)를 제공했다.
참고 자료
arXiv(2025), DOI: https://doi.org/10.48550/arXiv.2507.10178