"인공지능(AI) 시대엔 1인당 100TB의 메모리가 필요해집니다. 이른바 '메모리 헝그리' 시대죠. 앞으로 AI 시대엔 속도는 고대역폭 메모리(HBM), 용량은 고대역폭 플래시(HBF)가 맡게 될 겁니다."
김정호 KAIST 전기 및 전자공학부 교수가 3일 오전 서울 중구 프레스룸에서 'HBF 연구 소개 및 기술 개발 전략 설명회'를 열고 이렇게 말했다. 김 교수는 AI 반도체의 핵심 기술인 HBM의 기본 개념과 구조를 창안하고 설계 기술을 정립한 주역으로 꼽힌다. 삼성전자·SK하이닉스 등 HBM 사업을 시작할 수 있게 주춧돌을 놓았다는 평가를 받는다. 현재 그가 주도하는 KAIST 테라랩에서는 HBF 기술 관련 연구를 진행하고 있다.
김 교수는 이날 "현재 HBM만으로는 AI 발전 속도에 맞춰 대응하기 어렵다"며 "보다 큰 용량의 새로운 메모리가 필요하다"고 강조했다. 그는 현재의 HBM을 GPU 옆의 '책꽂이', HBF는 그 뒤를 받치는 '도서관'에 비유하기도 했다. HBF는 낸드플래시를 수직으로 쌓아 고대역폭과 대용량을 동시에 잡은 기술이다. HBM보다 전력 소모가 낮고 대용량 구현이 쉬운 것이 장점으로 꼽힌다.
김 교수는 이날 AI 메모리를 '핫 메모리'와 '콜드 메모리'로 구분하기도 했다. 앞으로 즉각적인 연산에 필요한 핫 메모리를 HBM이 담당한다면, 방대한 과거 정보를 저장하는 콜드 메모리는 낸드플래시 기반의 저장소(스토리지)가 맡는다는 것이다.
그는 "가령 AI에 '어린 시절 모습을 그려달라'고 하면 과거 데이터를 꺼내와야 한다. 이 역할은 HBM이 아니라 콜드 메모리 영역"이라고 했다.
문제는 현재의 컴퓨터 구조가 AI 진화 속도를 따라가지 못한다는 점이다. 지금까지는 GPU가 아무리 빠르게 데이터를 처리하려 해도, 대용량 데이터는 중앙처리장치(CPU) 쪽에 붙은 먼 저장소에서 읽어 와야 하는 병목 현상이 발생했다.
김 교수는 "이미지, 영상, 사운드, 문서가 결합된 멀티모달 AI 환경에서는 기존 방식으로는 속도 지연을 해결할 수 없고, 대용량 메모리를 GPU 바로 옆에 붙이는 구조적 변화가 필요하다. 그 가교 역할을 수행하는 것이 바로 HBF"라고 했다.
"그동안 AI 성능 경쟁은 그래픽처리장치(GPU)가 주도해 왔지만, 앞으로는 메모리가 더 중요한 시대가 될 것이고, HBF를 통해 AI 컴퓨팅은 또 한 번 도약하게 될 것"이라는 설명이다.
김 교수는 AI 시대가 고도화될수록 이 같은 변화가 우리나라 삼성전자와 SK하이닉스에 유리하게 작용할 가능성이 높다고 내다봤다. 두 회사는 전 세계에서도 HBM 기술은 물론이고 낸드플래시, 패키징 역량을 동시에 보유한 몇 안 되는 기업이고, 앞으로 HBF로 확장할 수 있는 기술 기반을 갖췄다는 것이다.
그는 "구글은 방대한 데이터라는 강점을 갖고 있지만, 파운드리와 메모리 패키징은 없다"며 "이 영역은 삼성과 SK하이닉스의 강점이자 절대 내줄 수 없는 경쟁력"이라고 했다.
김 교수는 "HBF 상용화 시점은 2027년 말~2028년쯤이 될 것"이라고도 했다. 초기에는 AI 추론용으로 채택이 시작되지만 이후엔 HBM과 HBF를 결합한 하이브리드 메모리가 표준으로 자리 잡을 가능성이 높다는 전망이다.