어두운 밤, 달리는 차 앞에 갑자기 사람이 나타난다. 블랙박스 영상으로 사고 순간을 보여주는 방송에 단골로 나오는 장면이다. 첨단 컴퓨터 시스템을 갖춘 자율주행차라도 도저히 막을 수 없는 사고지만, 앞으로는 달라질 수 있다. 사람이 움직이는 물체를 감지하는 원리를 모방해 지금보다 훨씬 빨리 장애물을 피하는 기술이 개발됐다.
가오 슈오(Shuo Gao) 중국 베이항대 교수 연구진은 "신경을 모방한 뉴로모픽 칩으로 움직이는 물체를 기존 컴퓨터 시각 시스템보다 4배나 빨리 포착하는 데 성공했다"고 지난 11일 국제 학술지 '네이처 커뮤니케이션'에 밝혔다. 자율주행차나 무인기(드론), 로봇이 이 칩을 장착하면 급변하는 환경에서도 안전하게 작동할 수 있을 것으로 기대된다.
◇움직이는 물체 감지하는 신경 원리 모방
자율주행차나 드론은 사람 눈에 해당하는 컴퓨터 시각 시스템을 갖추고 있다. 카메라가 찍은 영상에서 움직이는 물체를 찾고 어디로 움직일지 추정한다. 바로 영상 내 물체의 움직이는 패턴인 광학 흐름(optical flow)을 감지하는 과정이다.
문제는 광학 흐름을 처리하려면 컴퓨터 소프트웨어가 계산할 정보량이 급증한다는 점이다. 영상 프레임마다 모든 픽셀(화소)을 처리해야 하기 때문이다. 자율주행차도 시속 80㎞로 달리면 전방 위험에 반응하는 데 0.5초까지 걸린다. 차량이 완전히 정지하기까지 약 13m를 더 가는 시간이다.
인공 시스템이 가정이나 도로, 수술실에서 안전하게 작동하려면 시력을 업그레이드해야 한다. 연구진은 소프트웨어를 개선하는 대신 사람 시각 원리를 모방한 하드웨어를 개발해 문제를 해결했다. 사람 뇌는 눈 앞의 위험에 0.15초만에 반응할 수 있다.
뇌가 첨단 컴퓨터보다 물체의 움직임에 더 빨리 반응하는 것은 정보 처리기 선택과 집중 원리로 작동한 덕분이다. 컴퓨터는 카메라가 찍은 영상 정보를 모두 처리하지만, 뇌는 눈에 보이는 대로 다 감지하지 않는다. 망막에서 보낸 시각 정보는 뇌에서 감각 정보를 취합하는 시상으로 간다. 여기서 외측슬상핵이란 부분이 움직임이 있는 관심 영역에 대한 신호만 대뇌에 전달한다. 그만큼 시각 신호 처리가 빨라져 날아오는 공을 쉽게 잡고 피할 수 있다.
연구진은 신경세포(시냅스)처럼 정보를 기억하고 처리하는 뉴로모픽 칩인 시냅틱 트랜지스터를 개발했다. 이 칩은 전체 영상을 메인 컴퓨터로 전송하는 대신 장면의 핵심 변화를 식별한다. 어느 곳이 시간에 따라 밝기가 변한다면 물체가 움직이는 관심 영역으로 본다. 컴퓨터가 전체 이미지 대신 이 관심 영역만 살펴보면 되므로 시각 시스템 전체가 더 빠르게 작동한다. 복잡한 거리에서 친구의 움직임만 쫓는 것과 비슷하다.
◇자율주행차·드론·로봇에서 효능 입증
시각 정보를 처리하는 뉴로모픽 칩은 속도가 빠르다. 이미지 변화를 1만분의 1초 안에 감지해 자율주행차나 드론의 안전성을 획기적으로 높일 것으로 기대된다. 특히 관심 영역만 계산하기 때문에 전력 소비도 적다. 그만큼 배터리를 오래 쓸 수 있다.
연구진은 뉴로모픽 칩을 갖추면 기존 컴퓨터 시각 시스템보다 영상 처리 속도가 평균 400% 빨라졌다고 밝혔다. 반응 속도가 4배나 증가한 것이다. 연구진은 뉴로모픽 칩을 갖춘 시각 시스템을 다양한 실제 환경에서 유효성을 검증했다.
예를 들어 한 실험에서 자율주행차가 보행자를 감지하고 움직임을 예측해 반응하는 시간이 0.23초에서 0.035초로 줄었다. 시속 80㎞에서 0.2초 단축된 반응 시간은 제동 거리를 4.4m 줄일 수 있다. 속도뿐만 아니라 정확도도 높아졌다. 자율주행차 운행 시나리오에서 정확도가 2배 이상(213.5%) 향상됐다.
드론도 같은 방법으로 공중에서 장애물을 감지하고 피했다. 로봇 손은 물체가 움직여도 어떻게 잡아야 할지 바로 알아냈다. 고속으로 움직이는 물체를 잡는 성공률이 740.9%까지 향상됐다. 뉴로모픽 칩을 쓰면 탁구공처럼 빠르게 움직이는 작은 물체도 포착할 수 있어 스포츠계에서도 활용도가 높을 것이라고 연구진은 밝혔다.
이번 연구에는 중국 칭화대와 베이징이공대, 홍콩대, 영국 케임브리지대, 미국 노스이스턴대, 사우디아라비아 킹압둘라과기대 연구진도 참여했다. 연구진은 앞으로 실험실 환경에서 벗어나 자율주행차와 산업용 로봇에 쓸 수 있는 칩을 대규모로 개발할 계획이다.
가오 교수는 "실시간 영상 처리가 가능하면 자율 시스템이 충돌 회피와 물체 추적과 같은 복잡한 작업을 효율적으로 수행할 수 있다"며 "상용화를 위해 더 다양한 환경에서 이번 시각 시스템을 평가하는 연구가 필요하다"고 밝혔다.
참고 자료
Nature Communications(2026), DOI: https://doi.org/10.1038/s41467-026-68659-y