애플이 대형 인공지능(AI) 모델의 메모리 사용량을 최대 15분의 1로 줄이는 기술을 보유한 스타트업과 협의를 진행 중인 것으로 전해졌다. 기술 검증에 성공할 경우 시리의 AI 연산을 클라우드가 아닌 아이폰 내부에서 처리하는 온디바이스 전략이 한층 강화될 전망이다.
14일(현지시각) 미국 경제방송 CNBC에 따르면 캘리포니아공대에서 분사한 프리즘ML은 중국 알리바바의 오픈소스 모델 '큐원'을 압축한 모델 2종을 공개했다. 회사 측은 약 54GB 규모의 270억 파라미터 모델을 4GB 미만으로 줄여 아이폰15 이후 제품에서도 실행할 수 있다고 설명했다.
프리즘ML은 모델 가중치의 표현 단위를 단순화해 메모리 사용량을 10~15배 줄이는 기술을 개발했다. 이를 통해 처리 속도는 6~8배 높이고 전력 소비는 3~6배 낮출 수 있다는 주장이다. 바박 하시비 최고경영자(CEO)는 애플을 포함한 복수 기업이 관련 기술을 평가하고 있다고 밝혔다.
다만 높은 압축률에는 성능 저하가 뒤따를 수 있다. 하시비 CEO도 사실 정보를 기억하거나 정확하게 답하는 능력이 일부 떨어질 수 있다고 인정했다. 실제 상용화 여부는 수많은 질의와 다양한 기기 환경에서 안정성을 확보할 수 있는지에 달렸다는 분석이 나온다.
애플은 비교적 단순한 AI 작업은 기기 내부에서 처리하고, 복잡한 요청은 '프라이빗 클라우드 컴퓨트'로 넘기는 이원화 구조를 운용하고 있다. 초경량 모델이 적용되면 오프라인에서도 더 많은 기능을 실행하고 응답 지연과 서버 운영 비용을 줄이는 동시에 개인정보 보호 수준도 높일 수 있다.
AI 모델 경량화가 확산하면 데이터센터용 고대역폭메모리(HBM) 수요가 둔화할 수 있다는 전망도 제기된다. 반면 연산 수요가 사라지는 것이 아니라 스마트폰과 PC로 이동하는 만큼 전체 반도체 수요 감소로 연결되지는 않을 것이란 반론도 있다. 상시 구동에 따른 배터리 소모 역시 해결해야 할 과제로 꼽힌다.