고글처럼 생긴 VR(가상 현실) 헤드셋을 벗지 않고도 책상 위 커피잔을 손쉽게 집어 들 수 있는 기술이 개발됐다. 지금까지는 VR 게임을 하다 커피가 마시고 싶어지면, 주변의 실제 모습을 보여주는 '패스스루(Passthrough)' 기능을 켜거나 아예 VR 헤드셋을 벗어야 했다. 이 과정에서 가상 세계에 대한 몰입감이 깨질 수 있었다.
광주과학기술원(GIST)은 AI(인공지능)융합학과 김승준 교수팀이 사용자가 원하는 현실 물체만 가상 공간에 표시하는 AI 기술 '셀프블렌딩(SelfBlending)'을 개발했다고 최근 밝혔다.
셀프블렌딩은 현실의 물체를 가상 세계에 자연스럽게 겹쳐 보여주는 기술이다. 사용자가 책상 위 커피잔이나 물병, 메모장 등을 미리 지정하면 AI가 해당 물체를 인식하고 위치를 추적한다. 이후 VR 헤드셋을 착용한 사용자가 물체를 집으려고 손을 뻗으면 해당 물체만 가상 공간에 표시된다.
사용자는 게임이나 가상 업무를 계속하면서도 주변 전체를 화면에 띄우지 않고 커피잔이나 물병 등 필요한 물체만 확인할 수 있다. 커피를 마시거나 메모할 때 가상 화면을 그대로 유지할 수 있어 몰입감 저하도 줄일 수 있다.
연구팀은 성인 18명을 대상으로 VR 헤드셋을 벗는 방식, 주변 현실을 모두 보여주는 기존 패스스루 방식, 셀프블렌딩 방식을 비교했다. 분석 결과, 셀프블렌딩은 사용 편의성과 몰입감 등 주요 평가 항목에서 가장 높은 점수를 받았다. 특히 참가자들은 셀프블렌딩의 사용 편의성이 VR 헤드셋을 완전히 벗었을 때와 비슷한 수준이라고 평가했다. 이번 연구 결과는 국제학술지 'IEEE 시각화 및 컴퓨터 그래픽 회보'에 게재됐다.
김승준 교수는 "셀프블렌딩 기술은 VR의 몰입감을 유지하면서도 현실 물체와 자연스럽게 상호 작용할 수 있는 새로운 방식을 제시한다"며 "교육과 훈련, 원격 협업 등 다양한 확장 현실 분야에 활용할 수 있을 것"이라고 했다.