구글이 자사 검색 결과를 긁어가는 크롤링(crawling·데이터 추출) 업체를 상대로 소송을 냈다. 크롤링으로 수집한 데이터가 경쟁사의 생성형 인공지능(AI) 모델 훈련에 사용되는 것을 막기 위한 조치로 풀이된다.
세계 최대 검색 업체인 구글은 텍사스주 오스틴 소재 크롤링 스타트업 '서프Api'(SerpApi)가 저작권을 침해하고 있다며 캘리포니아 북부 연방지법에 소송을 제기했다고 지난 19일(현지시각) 밝혔다. 구글은 "이번 소송을 계기로 서프Api의 악의적인 크롤링 행위를 중단시키는 게 목표"라고 했다.
크롤링은 수많은 인터넷 페이지의 내용을 대량 복제해 저장하는 작업이다. AI 모델 훈련을 포함해 여러 분석 작업에 활용된다.
구글은 서프Api가 개별 웹사이트가 지정한 크롤링 프로토콜(지침)을 무시한 채 콘텐츠를 허락 없이 가져가고 있으며 이를 막는 보안 조치까지 무단 우회하고 있다고 지적했다.
구글은 "구글은 업계 표준 크롤링 지침을 따르고 있지만, 서프API와 같은 업체들은 자신을 숨기고 대규모 봇 네트워크로 웹사이트를 공격한다"며 "이들은 가짜 이름을 돌려 쓰는 등 뒷문(백도어)을 이용해 웹사이트의 콘텐츠를 통째로 수집하고 있으며, 이런 불법 활동은 지난 1년간 급격히 증가했다"고 설명했다.
특히 자신들이 외부에서 라이선스를 취득해 표시하고 있는 콘텐츠를 이들이 가져가 유료로 재판매하고 있다면서 "서프Api의 사업모델은 기생충 같다(parasitic)"고 언급했다.
구글은 소장에서 서프Api의 개별 위반사항 각각에 대한 손해배상액을 200∼2500달러로 산정했다. 그러면서 "이들이 배상금을 지급할 능력이 없으므로 구글에 회복 불가능한 피해를 초래하고 있다"고 강조했다.
이에 대해 서프Api의 채드 앤슨 법률 고문은 "구글의 소장을 아직 접수하지 않았으며 구글은 소송 제기 전에 우리에게 연락하지 않았다"면서 자신들의 사업은 표현 자유를 규정한 수정헌법 1조로 보호된다고 주장했다.
2017년 설립된 서프Api는 원래 고객들이 구글 검색에서 상위에 노출되도록 돕기 위해 정보를 수집하는 회사로 시작했다. 그러나 챗GPT 개발사 오픈AI를 필두로 생성 AI 기업들이 등장하면서 서프Api는 그간 긁어모았던 웹페이지 데이터를 이들에게 판매하는 새로운 시장에 뛰어들었다.
서프Api는 비슷한 사업을 하는 리투아니아 스타트업 옥시랩스, 러시아 기업 AQM프록시 등과 함께 웹페이지 데이터를 오픈AI와 메타 등에 판매한 것으로 알려졌다.
이에 업계에서는 구글이 오픈AI, 메타 등 경쟁사를 견제하기 위해 서프Api에 법적 조치를 취한 것으로 해석하고 있다.
미국 법원은 구글이 검색 데이터를 주요 경쟁사와 공유하라고 명령했으나, 구글이 제공해야 하는 데이터는 이용자가 입력한 검색어와 원시 데이터 등으로 한정하고 검색 결과를 구성하는 알고리즘은 공유 대상에서 제외했다.
온라인 커뮤니티 레딧도 지난 10월 서프Api를 비롯한 크롤링 업체들을 상대로 소송을 제기한 바 있다.