SK하이닉스가 인공지능(AI) 가속기와 서버 사이의 데이터 전송 병목을 줄이기 위한 차세대 광 연결 기술인 'CPO(Co-Packaged Optics)'의 발전 방향을 제시했다. CPO는 광 송수신기를 프로세서와 같은 패키지 안에 넣어 기존 구리 배선 대신 빛으로 데이터를 주고받는 기술이다.
SK하이닉스는 글로벌 연구진과 함께 AI와 고성능컴퓨팅(HPC)을 위한 CPO 기술을 분석한 논문 '고성능 컴퓨팅 및 인공지능을 위한 CPO 기술(Co-packaged optics for high-performance computing and artificial intelligence)'을 국제 학술지 '네이처 일렉트로닉스(Nature Electronics)'에 게재했다고 20일 밝혔다.
연구에는 홍승훈 SK하이닉스 AI 인프라 팀장과 이규상 미국 버지니아대학교 전기컴퓨터공학과 교수가 교신 저자로 참여했다. 일리노이대학교 어바나-샴페인(UIUC), 난양공과대학교(NTU), 매사추세츠공과대학교(MIT), 연세대학교 연구진도 공동 연구에 참여했다.
연구진이 CPO에 주목한 것은 AI 시스템이 커지면서 연산 성능보다 데이터 이동 속도가 상대적으로 느려지는 '대역폭 장벽(Bandwidth Wall)'이 나타나고 있기 때문이다. 대역폭은 일정 시간 동안 전달할 수 있는 데이터의 양을 뜻한다.
논문에 따르면 연산 성능은 2년마다 약 3배씩 높아지는 반면 데이터 전송 대역폭은 같은 기간 약 1.4배 증가하는 데 그치고 있다. 수천개의 그래픽처리장치(GPU)와 고대역폭메모리(HBM)를 연결한 대규모 AI 시스템에서는 칩 자체의 연산 능력뿐 아니라 칩과 서버 사이에서 데이터를 얼마나 빠르게 옮길 수 있는지가 전체 성능을 좌우한다.
현재 데이터센터에서는 짧은 거리의 데이터 전송에 주로 구리 배선을 사용한다. 하지만 전송 거리와 속도가 늘어나면 신호가 약해지고 이를 보완하기 위한 전력 소비와 전송 지연이 커진다.
이규상 교수는 "연산칩 성능이 향상되어도 칩 사이의 데이터 이동 능력이 이를 따라가지 못하면 시스템 전체 성능은 올라가지 않는다"며 "물리적 한계를 안고 있는 구리 배선 대신 빛으로 데이터를 옮기는 것이 가장 유력한 확장 경로"라고 말했다.
CPO는 이런 문제를 줄이기 위해 데이터의 전기 신호를 빛으로 바꾸는 광 송수신기를 프로세서 가까이에 배치한다. 고속 전기 신호가 이동해야 하는 거리를 줄이고 나머지 구간을 광신호로 연결하는 방식이다.
홍 팀장은 CPO에 대해 "칩과 칩이 긴 전기 배선 대신 빛으로 데이터를 주고받을 수 있도록 광 송수신기(TRx)를 프로세서와 한 패키지 안에 넣는 기술"이라고 설명했다.
연구진은 CPO를 활용하면 칩뿐 아니라 서버가 설치되는 랙(Rack)과 여러 랙을 묶은 시스템 사이에서도 데이터 전송 범위를 넓히면서 전력 소모를 줄일 수 있다고 설명했다. 랙은 GPU와 서버 등 데이터센터 장비를 설치하는 표준 구조물이다.
논문은 차세대 AI 인프라가 목표로 해야 할 CPO 성능도 제시했다. 하나의 컴퓨팅 노드에서 초당 100테라비트(Tb/s) 이상의 데이터를 전송하면서 비트(bit)당 에너지 소비를 1피코줄(pJ) 미만으로 낮추고, 칩 사이 데이터 전송 지연시간은 10나노초(ns) 미만으로 줄이는 것이 목표다.
패키징 구조도 현재의 평면 배치에서 칩을 더 가깝게 연결하는 방향으로 발전할 것으로 전망했다. 연구진은 칩을 같은 기판 위에 배치하는 기존 2차원(2D) 패키징에서 여러 칩을 중간 연결판인 인터포저 위에 올리는 2.5차원(2.5D), 서로 다른 기능의 칩을 수직으로 쌓는 3차원(3D) 이종 집적으로 CPO가 발전할 것으로 봤다.
장기적으로는 광 연결을 프로세서뿐 아니라 메모리까지 확대하는 방안도 제시했다. 이른바 '옵틱스 중심(Optics-Centric)' 구조다. 프로세서와 메모리를 광신호로 직접 연결해 현재 반도체 패키지 안에서 발생하는 배선과 공간의 제약을 줄이는 방식이다.
이 구조를 적용하면 여러 AI 가속기가 하나의 대규모 메모리 자원을 함께 사용하는 '메모리 풀(Memory Pool)'을 구성할 수 있다. 필요한 메모리를 특정 가속기 주변에 모두 배치하는 대신 여러 가속기가 공유하도록 해 AI 모델 규모가 커질 때 메모리 용량을 보다 유연하게 확장할 수 있다는 설명이다.
이 교수는 "광 연결을 메모리까지 확장하면 연산 칩 주변의 물리적 제약을 우회해 메모리 용량과 배선 수의 한계를 극복할 수 있다"며 "여러 가속기가 거대한 메모리 풀을 공유할 수 있어 AI 모델의 대형화에 훨씬 유연하게 대응하게 된다"고 말했다.
상용화를 위해 해결해야 할 과제도 남아 있다. 광소자의 전력 소비를 낮추고 서로 다른 반도체와 광소자를 하나의 패키지에 안정적으로 집적해야 한다. 대량 생산 과정에서는 수율과 원가, 냉각, 신뢰성 문제도 해결해야 한다.
이 교수는 "관련 기술은 이미 실험실을 벗어나 산업화 초입에 들어섰다"며 "저전력 광소자 집적부터 일관성 프로토콜, 신뢰성 기술까지 풀어야 할 과제가 많지만 결국 핵심은 메모리 소자와 컨트롤러, 광소자, 패키지를 하나의 시스템으로 공동 설계(Co-design)하는 것"이라고 말했다.
홍 팀장은 "학계의 전문성과 산업계의 현장 경험이 연결돼 AI 인프라의 미래 방향을 함께 제시했다는 점에서 의미가 있다"며 "앞으로도 고객과 산업 생태계에 실질적인 가치를 제공할 수 있는 개방형 협력을 지속 확대해 나갈 것"이라고 말했다.