"다크데이터를 깨워라"…버려지던 데이터가 신산업의 보고

조선비즈
  • 황민규 기자
    입력 2019.06.10 16:08

    큰 잠재력을 갖고 있지만, 지금까지 제대로 활용되지 못했던 ‘다크데이터(Dark Data)’가 주목받고 있다. 특히 최근 인공지능(AI) 기반의 데이터 분석 기술이 고도화하면서 애플, 아마존, 구글 등 대형 IT 기업들이 이 분야에 뛰어들기 시작했다.

    10일 미국의 데이터 분석 및 소프트웨어 개발업체인 스플렁크(Splunk)가 7개국 1365명의 경영진과 IT 부문 관리자를 대상으로 다크 데이터에 대한 인식과 활용 실태를 조사한 결과 전체 데이터의 50% 이상이 다크데이터라는 응답이 60%에 달했다.

    미국 오클라호마주 메이스 카운티의 구글 데이터센터. /구글 제공
    일반적으로 다크데이터란 사용되지 않고 분석되지도 않는 데이터를 말한다. 가령 공장이나 매장 등 사업 현장에서 가동 중인 설비나 기기들은 다양한 데이터를 생성하고 있지만 결과적으로 버려지고 있으며 이를 제대로 활용하는 기업은 많지 않다.

    IT 부서가 관리하는 정보 시스템과 네트워크에서도 많은 양의 로그 데이터가 생성되고 있으며 이를 활용할 경우 보안 기술의 향상 및 운영의 효율화가 가능하나 실제 구현하는 곳은 별로 없다.

    기업 내에 잠들어 있는 다크데이터는 흔히 ‘보물섬’으로 표현되기도 한다. 기업의 경영진 및 IT 관리자들은 대개 다크데이터 활용의 중요성을 인식하고 있지만 기술적 걸림돌, 현실적 제약 때문에 적극적으로 활용하기 위한 시도를 제대로 하지 못했다.

    하지만 최근 대형 IT 기업들을 중심으로 이런 다크데이터가 다시 주목받는 추세다. IT업계 관계자는 "클라우드를 바탕으로 다양한 데이터를 자유롭게 저장할 수 있는 인프라가 생겼고, 또 하둡 등 데이터 분석 기술이 고도화되면서 다크데이터의 미래 가치가 커졌다"고 설명했다.

    실제로 애플은 지난 2017년 비정형 데이터 처리 방법을 연구하는 영국 기업 래티스데이터(Rattice Data)를 인수하기도 했다. 래티스데이터는 다크데이터를 분석해 정형데이터로 변환시키는 기술을 보유한 기업이다. 업계에서는 애플이 향후 이 기술을 고도화해 음성비서인 시리(Siri)의 성능을 고도화하는 데 사용할 것이란 전망을 내놓고 있다.

    아마존 역시 미국 샌디에이고의 AI스타트업 회사 ‘하비스트(Harvest)’를 인수하며 다크데이터 분석 기술 확보에 공을 들이고 있다. 하비스트는 컴퓨터 학습 기술을 사용한 사이버 보안 전문기업으로, 주요 지적 재산에 대한 사용자의 행동 데이터를 분석해 해킹을 방지한다.

    업계 관계자는 "아직 구조화되지 않은 이같은 다크데이터가 실은 뜻밖의 보고일 수도 있다"며 "특히 인지컴퓨팅 등의 기술이 좀 더 발전한다면 다크데이터가 창출해낼 가치는 무한대에 가깝다 해도 과언이 아니다"고 강조했다.

    내가 본 뉴스 맨 위로

    내가 본 뉴스 닫기