앞날을 내다보려는 인간의 호기심은 뿌리 깊다. 동서고금을 막론하고 미래 예측의 욕망은 강렬했다. 그리스·로마 신화에는 저 유명한 신탁 이야기가 나온다. 신이 인간의 미래 운명을 알려 준다는 설정은 요즘 할리우드 영화에서도 곧잘 활용된다. SF영화 마이너리티 리포트에서는 미래 예측을 통해 범죄를 예방하는 장면이 등장한다.
우리나라만 해도 점집이 인기다. 요즘 젊은이들 사이에 유행하는 타로점은 말할 것도 없고, 전통적으로 대선 때나 입시철, 인사철이면 용하다는 점집이 문전성시를 이룬다. 특정 주가의 향배나 로또의 당첨번호를 예측해 일확천금해 보는 상상을 누구나 한번쯤 해 봤을 것이다.
하지만 이런 류의 예측은 대개 ‘믿거나 말거나’다. 예측이 신빙성을 얻기 시작한 것은 자연과학이 발전하면서였다. 르네상스 이후 추론과 실험, 검증에 입각한 과학 지식이 쌓이면서 자연에 대한 미래 예측이 어느 정도 가능해지기 시작했다. 특히 천문학을 통한 일식과 월식의 예측은 신의 영역이었던 우주를 인간의 영역으로 바꾸는 계기가 됐다.
이런 자연과학의 성공은 자연스럽게 인간의 미래에 대한 예측에 자연과학적 기법을 적용하려는 시도로 이어졌다. 사회‘과학’의 탄생이다. 사회과학은 과거와 현재의 관계에 대한 인과적인 추론을 바탕으로 개연적인 미래상을 예측한다.
하지만 사회 미래의 예측에 관한 한 인간의 능력은 아직 일천하다. 2001년 9·11 테러나 2008년 글로벌 금융위기만 해도 우리는 속수무책이었다. 과학 기술이 발달한 21세기에도 각종 종교가 번성하는 것은 이런 배경에서다. 그런 점에서 인류의 미래는 여전히 불확실성으로 가득하며, 미래의 불확실성은 아직도 과학의 영역이 아닌 신의 영역이라고 믿는 사람들이 많다.
◆ 델포이 신탁에서 빅데이터로
그럼에도 불구하고 미래를 보다 과학적으로 예측하려는 인간의 노력은 그치지 않고 있다. 그 중심에 빅데이터가 있다. 인간의 미래를 예측하는 방법으로는 크게 전문가의 의견을 종합하는 델파이 방법과 과거 통계자료의 추세를 미래에 적용하는 외삽법이 있다.
델파이 방법은 다수 전문가의 의견을 모아 미래를 예측하면 보다 정확도가 높아질 수 있을 거란 믿음에 기반한다. 하지만 여기에도 한계는 뚜렷하다. 2008년 금융위기만 해도 제대로 예측한 전문가는 극소수였다. 다수의 전문가들이라고 해서 예측의 정확도가 높아지지 않는다는 사실은 경험에서 드러난다.
필자는 2006년 독일 월드컵 예측 프로젝트에 참여하면서 델파이 방법의 한계를 절감한 적이 있다. 모 방송국과 공동으로 진행한 프로젝트에서 2006년 1월, 그해 6월에 열리는 독일 월드컵에서 한국팀이 16강에 진출할 가능성을 예측해 봤다. 2002년 월드컵 4강 진출 이후 국내에는 축구에 대한 자신감이 팽배해 있을 무렵이었다.
2006년 16강 진출을 결정하는 경기는 조별 예선 마지막 시합인 스위스전이었다. 이 경기 승패를 예측하는 것이 프로젝트의 핵심이었다. 당시 스위스는 지역 예선에서 2002년 월드컵 3위팀인 터키를 꺾고 온 강팀이었다. 우리는 처음에 델파이 방법을 시도했다. 국내 전문가 30인의 예측을 종합해 봤다. 놀랍게도 30인 모두가 한국의 승리를 예상했다. 하지만 결과는 대학민국의 패배. 30인 전문가 중 한사람도 예측에 성공하지 못했다. 반면 과거 경기 데이터만 잘 분석했어도 2006년 한국의 16강 탈락은 어느 정도 예측 가능한 일이었다.
외삽법은 과거 통계를 분석해서 얻은 정보를 미래에 투영하는 기법이다. 일반적으로 델파이 방법의 보조 수단으로 활용되는 경우가 많았다. 델파이 기법에 참여하는 전문가들은 각자 외삽법을 활용하지만, 최종 예측의 순간에는 자신의 생각과 판단이 더 큰 역할을 한다.
10여년 전 주 5일 근무제 실행 여부를 두고 재계와 노동계가 첨예하게 대립한 적이 있다. 재계에서는 주 5일 근무를 하면 주 6일 근무에 비해 생산성이 떨어진다는 논리를 들고 나왔다. 반면 노동계는 주 5일 근무를 해도 생산성이 떨어질 리 없다, 혹은 생산성 저하보다 더 많은 실익이 있다는 논리를 폈다. 모 방송국은 토론 프로그램에서 양쪽 입장을 소개하면서 통계수치까지 보여줬다. 하지만 토론 결말 부분에 이르러서는 통계 수치는 더 이상 거론되지 않았다.
◆ 실버 네이트는 왜 뉴욕타임스를 떠났나
미래 예측에 대한 이런 분위기는 최근 들어 급변하고 있다. 첫 번째는 델파이 방법의 효능에 대한 의구심이 커졌기 때문이고, 두 번째는 빅데이터의 출현 때문이다.
최근 미국에서 빅데이터 분석을 통해 유명인이 된 네이트 실버(35)의 이야기는 변화의 흐름을 잘 보여준다. 실버는 시카고대 학부 졸업이 학력의 전부다. 처음엔 프로야구 분석으로 이름을 알리기 시작했다. 2002년 미 프로야구 선수에 대한 분석 및 예측 시스템인 PECOTA를 선보여 스포츠 팬들의 관심을 끌었다.
2007년에는 익명으로 정치 관련 예측을 하다가 2008년 개인 웹사이트인 ‘FiveThirtyEight’를 열어 활동에 나섰다. 2008년과 2012년 미 대선에서 다양한 여론조사 자료를 토대로 50개 주의 선거 결과를 예측하면서 화제가 됐다. 2008년에는 50개주 중 49개를, 2012년에는 50개주를 다 맞혀 일대 파장을 일으켰다.
2010년부터 뉴욕타임스가 그와 3년 독점 계약을 맺었다. 최근 만료 시점이 다가오자 네이트는 뉴욕타임스와의 계약 연장을 거부하면서 또한번 화제가 됐다. 경제지인 월스트리트와 스포츠 구단, 헐리우드의 제안도 거절하고 미 최대 스포츠 전문 채널인 ESPN으로 이적을 선언했다.
실버가 뉴욕타임스를 떠난 것을 두고 온갖 소문들이 오가지만, 중론은 뉴욕타임스의 정치 전문 기자들과 사이가 좋지 않았다는 것이다. 델파이 전문가와 외삽법 전문가의 갈등이라고 볼 수 있다. 전통 유력지인 뉴욕타임즈에서는 실버 같은 외삽법 전문가를 델파이 전문가의 보조원 정도로 여겼을 것이다. 실버는 여기에 적잖은 반감을 가졌을 것으로 생각된다. 빅데이터 연구자 입장에서 보면 뉴욕타임즈의 전통이 시대 흐름과 보조를 맞추지 못한 결과로 보인다.
실버의 성공에서 재미있는 점은 그가 원래 야구나 정치 전문가는 아니라는 사실이다. 물론 야구나 정치에 관심이 많고 해박한 지식이 있을 수도 있다. 하지만 그는 프로야구팀에서 뛰어본 적도 없고, 선거전에 나선 적도 없다. 결국 그 분야의 실제 경험 없이도, 빅데이터 분석을 통해 해당 분야의 경험이 풍부한 전문가들보다도 훨씬 정확히 예측할 수 있다는 것을 실버는 보여준다.
◆ 구글이 보건 당국보다 독감 경보에 빠른 시대
외삽법은 사실 과거 수십년 전부터 사용되던 방법이다. 최근 빅데이터가 등장하면서 그 중요성 및 유용성이 커지고 있다. 구글에서 개발한 독감 예측 시스템이 대표적인 사례다. 그전까지는 독감 환자 발병수를 모니터링하다가 추세가 바뀌었을 때 독감 경보를 발령하는 식이었다. 문제는 추세가 바뀌었다고 판단될 때는 이미 독감이 퍼진 후여서 경보의 효과가 반감된다는 것. 예측은 뒷북이 되고 만다.
구글은 이 문제를 아주 멋지게 해결해냈다. 독감 발병 환자 자료 외에도 구글에서 독감 관련 단어를 검색하는 통계치를 이용한 것. 그 결과 해당 지역에 독감이 발병하기 전에 독감 관련 단어의 검색이 급증한다는 사실에 주목, 미 질병관리본부보다 한발 앞선 예측을 내놓을 수 있었다. 구글은 빅데이터의 다양성이라는 특성을 잘 이용했다고 볼 수 있다.
예측하려는 대상과 관련된 다양한 정보를 빠르게 분석하면 예측의 속도 및 정확성을 높일 수 있다는 것을 구글 독감 예측시스템은 잘 보여준다. 앞으로 독감 예측은 보건학 분야에서 IT 분야로 옮겨갈 수 있다는, 보건학 종사자들에게는 다소 우울한 암시를 담고 있다.
빅데이터를 이용한 빠른 예측의 연구와 응용은 이미 여러 갈래로 진행되고 있다. 대출, 모기지, 채무불이행 같은 단어의 검색 데이터를 통해 금융위기를 미리 감지할 수 있는지에 대한 연구가 일례다. 트위터 등의 사회관계망 정보를 분석해 출시를 앞둔 상품의 잠재 소비자들의 관심을 예측하려는 시도도 있다.
어떤 학자들은 인류 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다는 주장까지 편다. 정치 소요나 혁명, 경제 위기 같은 사태도 한발 앞서 예측할 수 있다는 얘기다. 토머스 멀론 미 매사추세츠공과대학 집합지능연구소장이 대표적이다. 그는 “상세하고 방대한 데이터를 이용할 수 있게 되면서 과거에는 절대 불가능했던 미래 예측을 할 수 있게 됐다”라고 호언한다.
빅데이터는 미래 예측에 대한 패러다임을 전문가 중심에서 데이터 중심으로 급격히 바꿔놓고 있다. 마케팅 전문가라는 정의가 ‘수십년 마케팅을 직접 수행한 전문가’라는 뜻에서 ‘마케팅 관련 자료를 분석할 수 있는 데이터 전문가’라는 뜻으로 바뀌는 시기에 우리는 살고 있다. TV에서 인기를 끈 ‘달인’ 코너에서 개그맨이 외치던 유행어 “안 해봤으면 말을 마요!”라는 말은 이제 수정돼야 한다. 직접 해보지 않아도 말을 할 수 있는 시대가 된 것이다.