인공지능(AI) 기술을 기기 자체에 장착하는 ‘온디바이스 AI’가 국내 전자·IT 업계에 새로운 활력을 불어넣으면서 삼성전자, LG전자 등 대기업부터 스타트업들까지 시장에 뛰어들고 있다. 대규모언어모델(LLM)을 스마트폰이나 노트북PC 등의 엣지(Edge) 기기에 맞게 경량화 온디바이스 AI로 구현하는 기술이 화두로 떠올랐다.
6일 업계에 따르면 삼성전자, LG전자는 온디바이스 AI 기술을 확산하기 위해 연구개발(R&D) 역량을 집중하고 있다. 삼성전자의 경우 ‘인공지능(AI) 스마트폰’으로 불리는 갤럭시S24 시리즈 제품에 온디바이스 AI 기술을 적용했으며 향후 가전, TV 등에도 관련 기능을 접목시켜 온디바이스 AI 제품군을 확장해 나간다는 방침이다.
온디바이스 AI는 클라우드를 거치지 않고 기기 자체에서 구동한다. 통신 연결이 없어도 된다. AI 분야 데이터 처리에는 강력한 성능을 갖춘 반도체가 사용된다. 온디바이스 AI는 경량화된 AI 칩이 필수다. AI 기능 탑재는 스마트폰을 비롯해 노트북을 포함한 PC, 가전, 자동차, 보안, 헬스케어 등 다양한 분야로 확산 중이다.
LG전자는 이날 AI 기술 개발 및 서비스 기업인 업스테이지와 ‘온디바이스 AI 기술 개발 협력’을 위한 업무협약(MOU)을 체결하고 온디바이스 AI 기반의 ‘경량화 언어 모델(SLM·Small Language Models)’과 노트북에 적용하는 AI 기능 및 서비스 개발 협업 등을 단계적으로 진행해 나가기로 했다.
LG전자는 정보 보안과 분야별 특화 기능 개발 등에 강점을 지닌 SLM 시장에서 차별화된 성능으로 인정받는 업스테이지의 ‘솔라(Solar)’ 모델을 활용해 고객에게 언제 어디서나 AI 기반의 차별화된 서비스를 즐기는 최적의 사용 경험을 제공한다는 방침이다.
토종 스타트업 딥엑스도 서버의 초거대 AI와 온디바이스의 거대 AI를 연합 구동하는 기술을 개발해 개인화 기기에서 지능은 초거대 AI 수준으로, 전력은 수와트(W)로 구동할 수 있는 온디바이스 AI 반도체를 내년 하반기에 선보일 예정이라고 밝혔다.
딥엑스 관계자는 “최근 챗GPT, 제미나이 등 LLM 서비스를 위해 엔비디아의 GPGPU(범용 그래픽처리장치) 기반 솔루션이 가장 가성비 높은 솔루션으로 주목받고 있지만 거대 AI 모델의 상용화가 확대됨에 따라 전 세계에서 소모되는 GPU의 전력 에너지가 한 나라의 전력 에너지를 넘어서는 수준에 이르렀다”며 “AI 반도체로 온디바이스에서 AI 구동 시 고성능, 저전력, 경제성을 획기적으로 향상시킬 수 있는 거대 AI의 연합 구동(Federated Operation of LLM)’을 핵심 기술로 개발할 계획”이라고 밝혔다.
스타트업 스퀴즈비츠(SqueezeBits)는 카카오벤처스, 삼성넥스트, 포스코기술투자, 포스텍홀딩스로부터 25억원 규모의 프리 시리즈A 투자를 유치한 바 있다. 스퀴즈비츠는 AI 기반 서비스를 효율적으로 사용하도록 돕는 AI 경량화 기술을 개발하고 있다. 경량화 기술을 적용하면 AI 모델 추론 과정에서 필요한 메모리 사용량과 연산량을 줄일 수 있어 빠른 계산이 가능하다.
반도체업계 관계자는 “챗GPT를 시작으로 수많은 AI 기반 서비스가 출시되는 상황에서 AI 대중화의 가장 큰 걸림돌은 운영비용 문제가 될 가능성이 크다”며 “서버의 초거대 AI와 온디바이스의 거대 AI 모델간 협력을 통해 기존 데이터센터에만 의존하는 기술보다 에너지 비용을 작게는 10배에서 1000배 이상 절감할 수 있을 것”이라고 관측했다.