“챗GPT를 구동하는 그래픽처리장치(GPU)는 보유한 성능의 0.3%밖에 사용하지 못해 막대한 비용 투입과 전력 손실이 발생합니다. SK하이닉스는 전력 손실을 줄일 수 있고, GPU보다 응답속도가 13배 빠른 프로세싱 인 메모리(PIM) 솔루션을 보유하고 있습니다.”
30일 서울 서초구 엘타워에서 열린 인공지능(AI)-PIM 반도체 워크숍에서 임의철 SK하이닉스 부사장은 이같이 말했다. 이날 행사에는 임 부사장과 정기태 삼성전자 부사장이 참석해 각각 AI 시대에 최적화된 PIM 솔루션과 기술 현황에 대해 발표했다.
PIM은 메모리 반도체에 기존 중앙처리장치(CPU)와 GPU가 담당하던 연산 처리 기능 일부를 부여해 데이터 처리 효율을 극대화한 반도체 구조를 뜻한다. 그동안 연산 처리를 담당하는 프로세서와 데이터를 저장하는 메모리로 나눠져있던 구조에서는 프로세서가 연산을 위해 메모리로부터 저장된 데이터를 다시 불러오는 작업이 반복됐다. PIM을 활용하면 간단한 연산은 메모리가 자체 처리할 수 있어 작업 속도를 단축시키고 전력 소모도 줄일 수 있다.
임 부사장은 생성형 AI 시장을 중심으로 AI 서비스가 급속도로 발전하고 있지만, 이를 구동하기 위한 데이터센터를 운영하는 데 막대한 비용이 소요되고 있다고 설명했다. 임 부사장은 “챗GPT 등을 구동하려면 기존 검색 서비스 대비 100배 이상의 비용이 투입된다”며 “운영 비용의 대부분은 전기료와 냉각 비용으로, 결국 전력 소모를 줄여야 운영 비용을 최소화할 수 있다”고 했다.
그러면서 그는 PIM이 생성형 AI를 가동하기 위한 최적의 솔루션이 될 것이라고 했다. 임 부사장은 “메모리가 자체적으로 연산을 처리할 수 있기 때문에 자연스레 성능이 개선될 수밖에 없다”며 “CPU·GPU와의 메모리 간 데이터 이동도 최소화돼 에너지 효율을 개선시킬 수 있다”고 했다.
임 부사장은 SK하이닉스의 PIM 솔루션인 AiM(Accelerator in Memory)과 AiMX 카드에 대해서도 설명했다. 그는 “SK하이닉스는 그래픽 메모리 기반의 PIM인 AiM을 보유하고 있다”며 “AiM을 사용하면 GPU보다 13.3배가량 빠른 응답 속도로 생성형 AI를 활용할 수 있다”고 밝혔다. 그는 “AiM 기반의 가속기 카드인 AiMX는 기존 AI 서버에 직접 꽂아서 사용이 가능하다”며 “기존 반도체 가속기의 설계를 수정할 필요가 없고, 소프트웨어 구조 변경도 최소화해 사용자들의 접근성을 높였다”고 했다.
임 부사장은 AiM 외에도 SK하이닉스가 보유한 PIM 솔루션에 대해서도 발표했다. 그는 “메모리 카드 상에서 흩어져 있는 데이터의 연산 처리가 가능한 컴퓨트익스프레스링크(CXL) 메모리 카드와 SSD와 같은 저장장치 내에서 자체적으로 데이터를 처리할 수 있는 솔루션도 갖추고 있다”고 했다.
정 부사장은 데이터 처리 속도를 고도화한 삼성전자의 내장 메모리(eMRAM) 반도체에 대해 설명했다. eMRAM은 사물인터넷(IoT)과 전장, 소비자용 전자기기 등 AI 기능이 적용된 다양한 전자제품에 탑재된다. 삼성전자에 따르면 28㎚ 기반 eMRAM은 기존 내장형 낸드플래시 메모리보다 약 1000배 빠른 쓰기 속도를 구현한다.
정 부사장은 “현재 삼성 파운드리는 28㎚를 시작으로 5㎚까지 반도체 크기를 줄이기 위한 기술 개발을 진행하고 있다”며 “현재 14㎚ 공정이 적용된 제품은 개발을 완료했고, 8㎚ 공정 기반 eMRAM 기술 개발도 개발이 마무리 단계에 이르렀다”고 했다.
정 부사장은 eMRAM과 관련해 보안 분야에서 필수적으로 활용될 것이라고 설명했다. 그는 “보안에 대한 중요성이 높아지면서, 시스템 반도체에도 내부에서 데이터를 저장하고 처리할 수 있는 eMRAM의 필요성이 높아지고 있다”며 “프로세서를 거치지 않고 일부 데이터를 처리할 수 있어 유출에 대한 우려가 적다”고 했다.