네이버가 본격적으로 인공지능(AI)을 적용한 각종 검색·추천 서비스를 내놓기 시작했다. 네이버는 사용자와의 대화를 통해 구체적 검색 결과를 제시하는 '네이버i', 사용자가 원하는 뉴스 등 콘텐츠를 추천하는 '에어스(AiRS)', 지역별 식당 등 추천 장소를 알려주는 '코나(ConA)' 등을 선보이며 '사용자 검색의 최소화'를 목표로 달려가고 있다.
지난 7일 서울시 강남구 삼성동 그랜드 인터컨티넨탈 호텔 파르나스 서울에서는 '네이버와 인공지능(Naver x AI)'를 주제로 네이버 개발자들이 직접 기술을 설명하는 제2회 검색 콜로키움이 열렸다. 이날 행사에는 김광현 네이버 검색 총괄 리더를 비롯해 에어스 담당 최재호 리더, 코나 담당 최지훈 리더, 상품 추천 담당 이정태 리더, 네이버i 담당 서희철 리더 등이 직접 발표자로 나서 세부기술을 설명했다.
김광현 리더는 "사용자가 할 필요가 없도록 하는 게 검색 엔진의 최종 목적지"라며 "검색의 미래는 검색을 더 편하게 잘하는 것도 있지만 검색을 '덜' 하게 만드는 것"이라고 말했다.
이런 목적에서 만들어진 것이 AI 추천 시스템 에어스다. 에어스는 공기와 같이 항상 유용한 정보를 추천한다는 개념으로 AI 추천 시스템(Recommender System)의 약자다.
최재호 에어스 담당 리더는 "스티브 잡스는 사람들이 보여주기 전까지는 무엇을 원하는지, 원하지 않는지를 모른다고 했다"며 "인간을 이해할 수 있고 사용자가 필요한 것을 파악해 비서 역할을 하도록 AI를 만드는 것이 목표"라고 말했다.
최재호 리더에 따르면 넷플릭스의 소비 콘텐츠 중 75%는 추천을 통해 소비되며, 아마존은 추천을 통해 발생한 매출이 전체의 35%에 이른다. AI를 검색과 콘텐츠 추천 기능에 도입하면 폭발적인 수요를 창출하는 셈이다.
네이버는 추천 기능을 만들기 위해 '선별 기준'을 만들었다. 이 기준은 사용자의 특징, 콘텐츠의 특징, 이용 패턴 등을 기준으로 만들어지는데, 이런 기준들이 합쳐져서 필터를 만든다. 이게 이른바 콜라보래이티브 필터링(Collaborative Filtering·협력 필터)이다. 주제별 여러 기준들이 그물처럼 겹쳐져 필터를 형성한다고 생각하면 된다.
문제는 주제별 그물이 촘촘하지 못하다는 것이다. 이건 개발자들이 해결해야 할 과제다. 사용자들의 성향은 물론 사용 패턴 등을 꾸준히 파악해 알고리즘을 만들면 필터가 더 정교해진다.
이렇게 정교해진 필터가 완성되면 AI는 사용자가 원하는 콘텐츠를 추천해줄 수 있게 된다. 과거에는 사용자의 나이나 성별 등 정보를 파악해 필터를 채워주는 게 쉽지 않았지만, 딥러닝을 활용해 이런 문제를 해결하는 것이 수월해졌다.
수천만의 이용자 패턴을 빠르게 학습할 수 있게 되고 패턴의 앞뒤 상황(context)까지 학습해, 기본 정보만으로도 사용자 이용 패턴을 예측하는 수준에 이르렀다. 또 이런 추천 알고리즘이 효과를 보이거나, 또는 효과를 보이지 않으면 네이버의 AI가 스스로 학습해 추천 알고리즘을 정교하게 만든다. 표현은 쉽지만 사실 방대한 데이터와 복잡하고 정교한 여러 알고리즘이 필요한 작업이다.
사용자가 네이버의 콘텐츠 추천 서비스 에어스가 적용된 애플리케이션이나 PC 홈페이지에 접속해서 서비스를 요청한다고 가정해보자.
그러면, 네이버 클라이언트(앱이나 홈페이지)는 네이버 서버의 데이터 저장소(콘텍스트 스토어)에 저장된 문서를 요청하게 된다. 여러 모델에 다양하게 적용된 필터링 작업으로 문서에는 값이 매겨진다. 이 값으로 사용자에게 보여줄 결과 순위가 정해지는 것이다. 사용자 반응은 또 AI에게 피드백 돼 학습 데이터로 쓰인다.
뉴스, 블로그, 웹툰, 동영상 모두 다른 모델을 적용한다. 뉴스는 최근 소식일수록 우선 순위가 높다. 웹툰은 댓글까지 분석해 순위를 매긴다.
최대호 리더는 "상당히 단순하게 설명했지만 이 과정이 만들어지까지 오랜 시간과 공이 들었다"면서 "고도의 컴퓨팅 인프라와 알고리즘이 있어야 가능하다"고 말했다.
에어스 시스템은 네이버 홈, 뉴스, 스포츠 (50%)에 적용돼 있고 5월이면 연예 섹션에도 적용될 예정이다. MY피드 메뉴에도 적용돼 사용자가 관심있어하는 콘텐츠를 추천해준다. 네이버는 또 아무것도 없는 상태에서 취향을 만들어가면서 좋아요를 누르고 친구에게 공유 기능을 담은 추천 콘텐츠 앱도 선보일 예정이다.
이런 에어스 시스템은 음악 추천, 여행지별 추천 장소 등에도 쓰인다. 음악 콘텐츠 별 특성, 사용자별 특성 등으로 협력 필터를 만들고 이를 통해 추천 음악을 걸러내는 것이다. 또 날씨와 분위기 등도 항목별로 값을 정해 필터를 만들고 필터를 정교하게 만드는데 쓰일 수도 있다.
네이버는 올해 3월말 기준 쇼핑 상품 정보 4억6000만개를 가지고 있다. 하루 신규 유입상품은 400만개에 달한다. 에어스 시스템은 쇼핑에도 적용된다. 현재는 콘텐츠 소비 형태까지 파악해 평소 찾던 쇼핑 아이템이 아닌 다른 종류의 아이템을 추천할 수 있을 정도가 됐다.
네이버는 이런 원리를 바탕으로 코나도 만들었다. 코나는 사용자 의도를 파악하는 데 더 중점을 둔다. 사용자 질문의 다양한 형태를 학습하고, 해당 질문에 포함된 장소와 목적 등 항목별 필터링을 통해 '이태원 소개팅 맛집', '울산 유명 관광지 맛집' 등을 찾아준다. 여기에 사용자의 위치를 기반으로 하기 때문에 범위가 좁혀질 수 있다.
네이버의 대화형 검색 인공지능 네이버i도 광범위한 데이터 학습을 기반으로 한다. 네이버i는 880억개 질의 로그, 4200만 객체 관계, 56개 대화주제, 음악과 영상 이미지 학습, 378개 대화 플랜, 3000만 표제어와 그 연결속성을 모두 학습했다.
네이버i는 사용자의 발화 한번만을 이해하는게 아니라 연속된 발화 전체, 즉 맥락을 파악한다. 이태원 맛집을 찾아달라고하면, 목적이 무엇인지 그리고 원하는 음식의 종류는 무엇인지 등을 추가로 파악해 결과를 도출한다. 질문에 따라 필터링을 거친 결과가 나온다.