정부가 국산 '로봇 두뇌' 개발에 시동을 건 가운데, 로봇을 구동하는 피지컬 AI(현실 세계에서 움직이는 AI) 구현의 최대 병목인 데이터 부족 문제를 해결하는 게 최대 과제로 부상했다. 스스로 움직이고 판단하는 '똑똑한 로봇'을 만드는 데 필요한 행동 데이터를 수집하는 데 비용과 시간이 많이 들기 때문이다. 고품질 산업 현장 데이터 확보에 필수적인 자동차, 조선, 철강 등 제조 현장 고숙련 노동자의 반발도 넘어서야 할 과제로 꼽힌다.
배경훈 부총리 겸 과학기술정보통신부 장관은 지난 29일 피지컬 AI를 국가 전략 산업으로 지정하고, 3년 안에 실제 세상을 이해하고 행동을 예측하는 범용 피지컬 AI 파운데이션 모델을 구축하겠다고 선언했다. 배 부총리는 "피지컬 AI 1강이 되기 위한 골든타임은 앞으로 3년"이라며 "피지컬 AI로 주력 산업의 생산성을 20% 높여 초격차를 만들고, 가정용 로봇 보급과 산업재해 사망 제로까지 이루겠다"고 말했다.
피지컬 AI 기반의 로봇은 계속 바뀌는 주변 상황에 맞게 직접 움직이고 과제를 수행해야 한다는 점에서 정해진 규칙에 따라 수동적으로 작동하는 기존 로봇과 구분된다. 이런 능동적인 로봇을 훈련하는 데 필요한 유형별 행동 데이터는 충분하지 않아, 정부와 기업이 지금부터 직접 구축해야 한다. 피지컬 AI 분야 전문가인 켄 골드버그 UC버클리 산업공학과 교수에 따르면 챗GPT, 클로드, 제미나이 등 생성형 AI의 경우 지금까지 출판된 모든 책, 기사, 웹사이트 등 10만년치 텍스트(글) 데이터를 기반으로 학습이 가능했지만, 로봇 훈련에 필요한 데이터는 1만 시간 수준에 그친다.
문제는 로봇이 손을 뻗어 물건을 집는 등 다양한 동작 데이터를 일일이 수집하면 정부가 골든타임으로 제시한 3년 안에 필요한 데이터를 확보할 수 없다. 시간만 부족한 게 아니라 비용도 만만치 않다. 미국 실리콘밸리 로보틱스센터(SVRC)에 따르면 사람이 로봇을 원격 조작해 현장 데이터를 일일이 수집하는 방식인 '텔레오퍼레이션'으로 500개의 시연 데이터를 만드는 데 최소 5만달러(약 7700만원)에서 최대 20만달러(약 3억원)가 든다고 분석했다. 여기서 500개는 실제 서비스에 활용할 수 있는 수준의 고품질 데이터를 의미하며, 총 비용은 인건비를 제외한 데이터 수집에 사용할 로봇과 각종 장비(하드웨어) 값만 포함한 수치다.
여기에 텔레오퍼레이션을 총괄하는 연구원·개발자의 인건비와 이를 수행할 전용 작업 공간을 구축하는 데 들어가는 인프라 비용, 수집한 데이터를 학습 데이터로 전환하는 후처리 작업 관련 비용까지 더하면 최소 수천만원이 추가로 필요할 것으로 추산된다.
이에 정부는 텔레오퍼레이션(현장 데이터 수집)과 함께 가상 시뮬레이션으로 합성 데이터를 만들어 부족분을 보완하기로 했다. 현실 환경을 가상의 공간에 그대로 옮겨넣은 디지털트윈을 활용해 합성데이터를 생산하는 방식이다. 이를 통해 3년이라는 짧은 시간 안에 로봇 학습 데이터를 대량으로 확보하고, 비용을 절감한다는 구상이다.
대규모 합성 데이터 생산은 엔비디아, 구글 등 미국 주요 기업들이 적극 활용하고 있다. 엔비디아는 사람이 로봇을 원격 조정해 확보한 소량의 실제 시연 데이터를 가상 환경의 공장에서 로봇이 다양한 시나리오에서 반복적으로 학습하게 한다. 일례로 로봇이 컵을 집어 선반에 올리는 동작을 담은 현장 데이터를 시뮬레이션하는 과정에서 컵의 크기와 무게를 바꾸거나 위치를 옮기고, 선반 높이를 조정하는 등 작업 환경에 변화를 주면 수천에서 수백만 개의 가상 학습 데이터를 대량으로 생산해낼 수 있다.
과거에는 로봇이 실제 환경에서 시행착오를 겪으며 장기간 데이터를 모아야 했지만, 시뮬레이션을 활용하면 적은 현장 데이터 만으로 대규모 고품질 합성 데이터를 생산하고, 현실에서 수집하기 어려운 다양한 상황까지 로봇이 학습할 수 있어 비용과 시간을 크게 줄일 수 있다는 게 회사 측의 설명이다.
엔비디아는 이런 방식으로 약 4억개의 실제·합성 영상과 10억장의 이미지, 사람과 로봇의 행동 데이터 등을 학습한 월드 모델 '코스모스 3'을 올해 초 선보였다. 레브 레바레디안 엔비디아 시뮬레이션 기술 담당 부사장은 "피지컬 AI의 성공 여부는 방대한 양의 데이터를 얼마나 빨리 확보할 수 있느냐에 달려 있다"라고 말했다.
반면 중국은 정부의 전폭적인 지원 아래 제조 현장을 로봇 학습장으로 쓰는 전략을 택했다. 중국은 피지컬 AI를 제조업 고도화 전략의 일부로 보고, 'AI+제조' 정책을 통해 산업 현장에 AI와 로봇을 결합하는 데 주력하고 있다. 대표적으로 중국 로봇 기업 유비테크는 올해 자사 휴머노이드 로봇 '워커 S' 1000여대를 현지 자동차 공장 등에 투입해 현장 훈련과 적용을 시작했다. 중국은 로봇 데이터를 수집하는 데이터 팩토리도 지방에 20곳 운영 중이다. 이곳에서는 사람이 직접 가상현실(VR) 기기 등을 착용하고 옷 개기, 테이블 닦기, 물건 쌓기 같은 동작을 반복해 로봇 학습용 동작 데이터를 만들어낸다.
한국은 미국의 합성데이터 생산 전략과 중국의 제조 현장 접목 방식을 동시에 추진한다는 구상이다. 그 일환으로 국내 주요 제조 기업·스타트업과 협력해 현장 데이터를 모으고, 지역별 거점에 실제 행동 데이터와 합성데이터를 생산·가공할 수 있는 데이터 팩토리를 세울 계획이다.
다만 일자리 감소를 우려하는 제조 현장 근로자와 숙련공의 거센 반발은 정부와 관련 피지컬 AI 업계가 직면한 도전 과제다. 국내 한 피지컬 AI 기업 관계자는 "고품질 데이터를 확보하려면 제조 현장에서 근무하는 숙련공들의 노하우가 담긴 데이터가 필요한데, 데이터 수집을 둘러싼 이들의 반감이 크다"라고 말했다.