구글 이야기로 빅데이터의 문을 열어볼까 한다. 이유가 있다. 빅데이터 시대를 여는 데 원동력이 된 회사가 바로 구글이다. 구글의 사례는 정보기술 산업이 단순히 제조·서비스업 분야의 효율을 높이는 역할을 넘어 제조·서비스업 분야를 선도할 수 있다는 사실을 극명하게 보여준다. 보라, 인터넷 검색에서 출발한 구글이 지금은 무인자동차를 앞서 개발하고 있지 않은가.

먼저 무인자동차에 대한 약간의 설명이 필요하겠다. 말 그대로 사람 대신 자동차가 스스로 목적지까지 안전하게 알아서 가는 자동차다. 구글 무인자동차는 도요타 프리우스에 각종 센서를 더해 제작됐다. 이미 미국 네바다 주에서 시험 운행도 마쳤다. 30만 마일 이상을 주행하면서 완전 자동 모드로 5만마일 이상을 무사고로 가는 데 성공했다. ‘AU001’이라는 번호판까지 받았다. ‘AU’는 자동으로 움직인다는 ‘Autonomous’, ‘001’은 첫 번째 무인자동차라는 뜻이다. 캘리포니아주에서는 지난해 무인자동차 허용법까지 통과시켰다. 미국 연방 정부도 구글 무인자동차의 상용화를 위해 법과 제도를 마련 중이다.

무인자동차의 혜택은 실로 엄청나다. 시각장애인이 자동차 운전을 맘대로 할 수 있는 것은 기본이다. 음주 운전이나 고령자의 운전 미숙에 따른 각종 사고 위험도 피할 수 있다. 또 무인자동차는 도로 사정과 다른 차량들의 이동 흐름을 종합적으로 판단해 빠른 길을 찾아 가기 때문에 시간과 에너지 소모도 줄여준다. 대중 교통도 잘 분산시켜 사람이 도로에서 빼앗기는 시간을 절약할 수 있다. 도시와 교외 지역의 주차장도 대폭 줄일 수 있다. 무인 차량은 직장에 사람을 내려준 뒤에는 공동 주차장에서 대기하거나 다른 사람을 태우기 위해 이동할 수 있기 때문이다. 이렇듯 무인자동차의 파급 영향은 대단히 크고 광범위할 것이다.

사실 무인자동차에 대한 인류의 꿈은 아주 오래됐다. 요즘 나오는 미래 공상과학 영화에는 각종 자동차나 비행선 같은 이동장치가 무인시스템으로 움직이는 게 기본이지만, 30년 전쯤에도 이미 무인자동차를 주인공으로 한 미국 드라마가 선풍적인 인기를 끌었다. 당시 국내에도 인기리에 방영됐다. 이쯤에서 한 가지 의문이 떠오를 법하다. 그런 무인자동차를 어떻게 구글이 먼저 개발할 수 있었을까.

우리의 상식으로 생각하자면 자동차 회사에서 무인자동차를 개발하는 게 자연스럽다. 하지만 무인자동차 성공 소식은 도요타, 벤츠 같은 굴지의 자동차 회사가 아니라 뜻밖에도 인터넷 검색회사인 구글에서 나왔다. 이유는 바로 빅데이터와 관계가 있다. 무인자동차의 핵심 기술이 자동차 제조 기술이 아니라, 자동차 외부의 여러 정보를 빠른 시간 안에 정확히 분석, 최적의 결정을 내리는 정보 기술이기 때문이다.

구글 무인자동차의 핵심은 정보 분석 시스템이다. 그 중에서도 독창적인 것은 자동차 지붕 위에 설치된 레이저 레인지 파인더 (Lazer range finder)와 위성항법장치(GPS·Global Positioning System)를 결합한 기술이다. 이 시스템을 활용해 실시간 자동차의 위치와 도로 및 차선 정보 등을 제공받는다.

과거에 연구된 무인자동차들은 주로 자동차 외부에 설치된 카메라 및 센서를 이용해 주행 상황을 판단하려고 했다. 하지만 이런 접근법은 번번이 수포로 돌아갔다. 반면 구글은 GPS 정보 활용을 위한 아주 정밀하고 특수한 지도를 직접 구축하는 방식으로 무인자동차 개발에 물꼬를 텄다.

GPS 정보만 이용할 경우에는 위치 오차가 수미터 이상으로 발생할 수 있지만, 도로와 주변 영역에 대한 정밀 지도 정보를 병행해서 사용하면 이 오차를 거의 없앨 수 있다. 이를 위해 실제 도로 주행에 들어가기에 앞서 엔지니어들이 최소 1회 이상 해당 경로를 따라 주행하며 특수 지도 제작을 위한 정보를 축적해가고 있다.

특수 지도란 구글 어쓰 (Google earth) 서비스를 생각하면 되는데, 무인자동차용으로는 이보다 훨씬 더 정밀한 정보가 필요하다. 이를 생성, 저장, 실시간 사용할 수 있는 기술이 구글 무인자동차의 핵심 기술이다. 이게 바로 빅데이터 기술이라는 것이다. 구글 무인자동차는 1초에 1GB의 정보를 처리한다.

그러면 구글은 대체 어떤 특수한 빅데이터 기술을 갖고 있어서 무인자동차까지 넘보게 됐을까? 구글의 시작은 알다시피 전 세계 인터넷을 돌아다니며 정보를 수집, 저장, 정리해 필요한 사람에게 보여주는 인터넷 검색회사였다. 구글 이전에도 야후, 라이코스 같은 인터넷 검색회사가 많았다. 하지만 지금은 구글 이외에는 지금은 다 그 역할이 미미하다. 그 이유가 바로 구글이 빅데이터를 수집, 정리, 분석하는데 특별한 기술을 보유했기 때문이다.

빅데이터와 관련해 구글이 개발한 특수 기술은 크게 두 가지가 있다. 하나는 거대 자료를 여러 대의 소규모 컴퓨터에 나누어서 저장하는 기술이다. 다른 하나는 이렇게 분산 저장된 자료에서 정보를 신속하게 추출하는 기술이다. 첫 번째 기술을 분산파일 시스템이라고 하는데, 아주 큰 파일을 조그마한 파일 여러 개로 나눈 후 여러 대의 소규모 컴퓨터에 나누어서 저장하는 기술이다.

1GB 용량 100대의 소규모 컴퓨터가 100GB 용량 한 대의 대용량 서버보다 값이 훨씬 싸다. 이 기술 덕분에 구글은 아주 저렴하게 빅데이터를 저장·관리할 수 있다. 현재 포털사이트들이 경쟁적으로 제공하는 이메일(E-mail)만 봐도 그렇다. 구글이 단연 최대 공간을 제공한다. 국내 포털회사의 1인자인 네이버는 사용자당 1GB의 공간을 제공하는데 비해 구글은 그 7배를 제공한다.

두 번째 기술은 맵리듀스(MapReduce)라는 소프웨어 프레임 워크다. 쉽게 얘기하면 분산 처리된 자료로부터 빠르게 정보를 추출할 수 있는 프로그램 언어라고 생각하면 된다. 이 기술의 특징은 분산된 자료에서 정보를 추출할 때, 필요한 자료를 한곳에 모아 분석을 하는 게 아니라, 분산 저장된 개별 컴퓨터에서 개별 자료를 분석한 후 분석 결과만 한 곳에 모으는 식이다. 분석 결과의 양은 원 자료 양보다 훨씬 작다. 따라서 정보를 한곳에 모으는 데 드는 비용과 시간도 획기적으로 줄일 수 있다. 최근 빅데이터의 중요 기술이라고 소개되고 있는 하둡(Hadoop)도 구글의 두 가지 기술, 즉 분산파일 시스템과 맵리듀스 기술을 기반으로 발전된 것이다.

이처럼 구글이 무인자동차를 만들 수 있었던 비결은 그저 돈이 많고 인력이 많아서가 아니었다. 핵심 기술인 빅데이터 기술을 보유했기 때문이다. 구글 자동차가 우리에게 주는 교훈은 명확하다. 빅데이터는 지금의 사회를 좀 더 효율적으로 만드는 차원이 아니라 완전히 새로운 사회를 열어가고 있다는 사실이다.