방대한 데이터를 기존보다 111배 빨리 처리할 수 있는 인공지능(AI) 반도체가 개발됐다. 새로 개발된 AI 반도체는 유전자 탐색이나 영상 처리 기술에 응용될 수 있다.
한국과학기술원(KAIST)은 전기 및 전자공학부 정명수 교수 연구팀이 대용량으로 메모리 확장이 가능한 ‘컴퓨트 익스프레스 링크 3.0(CXL)’ 기술을 활용한 AI 반도체를 개발했다고 25일 밝혔다.
최근 검색 서비스는 ‘근사 근접 이웃 탐색’ 알고리즘을 사용한다. 이 알고리즘은 데이터의 특징을 숫자로 표현한 뒤 나열해 데이터 간의 유사도를 구하는 ‘특징 벡터’를 활용한다. 하지만 벡터 데이터 용량이 매우 크기 때문에 정확도가 낮다는 문제점이 있다.
연구팀은 메모리 확장이 제한되는 근본적인 문제를 해결하기 위해 CXL 기술을 적용했다. CXL은 CPU와 장치를 잇는 프로토콜로, 가속기와 메모리 확장기를 고속으로 연결한다. CXL 스위치로 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 특징으로 한다.
새로 개발된 AI 반도체 ‘CXL-ANNS’는 CXL 스위치와 CXL 메모리 확장기를 사용해 필요한 모든 데이터를 메모리에 적재해 정확도와 성능을 동시에 높였다. 특히 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 반도체 성능을 향상했다.
연구팀은 CXL-ANNS의 프로토타입을 자체 제작해 실효성을 확인하고 기존 연구와 비교했다. 그 결과 CXL-ANNS 마이크로소프트(MS)와 메타 등 글로벌 IT 기업에서 공개한 근사 근접 이웃 탐색 성능보다 평균 111배 성능이 향상된 것으로 나타났다. MS가 상용화한 서비스와 비교했을 땐 92배 성능이 좋았다.
정명수 교수는 “CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고, CXL 기반의 메모리 확장이 적용될 때 발생하는 접근 시간 지연 문제를 해결했다”며 “CXL 기반 패러다임은 검색 엔진뿐만 아니라 빅 데이터가 필요한 고성능 컴퓨팅과 유전자 탐색, 영상 처리 등의 다양한 분야에 적용될 수 있다”고 말했다.
이번 연구는 팹리스 스타트업 파네시아의 지원을 받아 수행됐다. 연구성과는 올해 7월 미국 보스턴에서 열리는 시스템 분야 학술대회 ‘유즈닉스 연례 회의(USENIX Annual Technical Conference 2023)’에서 발표될 예정이다.