데이터브릭스, '아파치 스파크' 기술로 빅데이터 '뉴노멀'로 부각
기존 CPU 기반 데이터 처리 대신 '인메모리' 기술로 스피드업
고용량·고성능 D램 모듈 수요 늘어날듯‥ 삼성·하이닉스 집중수혜
구글의 모회사인 알파벳을 비롯해 아마존, 세일즈포스 등 미국의 대형 IT 기업이 미국의 빅데이터 플랫폼 기업인 데이터브릭스에 일제히 투자금을 쏟아붓고 있다. '아파치 스파크'라는 빅데이터 분석 기술로 널리 알려진 이 기업은 현재 기업가치만 31조원에 달하는 것으로 알려졌다.
1일(현지 시각) CNBC에 따르면 이날 데이터 브릭스는 10억달러(한화 1조1171억원)을 추가로 투자 유치했다. 앞서 이 기업은 20억달러에 달하는 투자를 유치하며 정보기술(IT)업계의 주목을 끌은 바 있다. 이번 투자에는 특히 구글, 아마존, 세일즈포스 등을 비롯한 대형 IT 기업들이 일제히 참여해 향후 빅데이터 기술 분야의 이정표가 될 것이라는 전망도 나온다.
데이터브릭스는 빅데이터 분석 소프트웨어 가운데 가장 빠르다고 알려진 ‘아파치 스파크’를 기반으로 한 데이터 분석 플랫폼이다. 아파치 스파크는 현재 가장 인기 있는 데이터 처리 엔진으로, 편리한 사용법과 속도 때문에 빅데이터 업계 내 대규모 수요를 만들어왔다. 빅데이터, 클라우드 분야에서 가장 지배적인 영향력을 가진 IT 기업들이 이 기업에 투자하고 있는 이유도 이 때문이다.
아파치 스파크는 빅데이터 기반 기술인 하둡(Hadoop)의 맵리듀스 기법을 한 단계 발전시킨 기술로 알려져 있다. 하둡은 대용량 데이터를 분산 처리하고 분석하는 프레임워크로 빅데이터 분석과 인공지능 솔루션을 위한 기반으로 자리잡아왔지만 작업 방식이 복잡하고 전체 과정이 신속하지 못하다는 문제가 있었다.
반면 아파치 스파크는 데이터가 중앙처리장치(CPU)와 더 가깝게 위치해 데이터를 처리하는 '인메모리' 구조를 취하고 있어 이전의 빅데이터 플랫폼보다 연산 속도가 월등히 빠르다. 기존의 CPU 기반의 컴퓨팅은 데이터를 통시에 처리할 수 있는 연산코어(core)의 숫자가 8~32개 수준에 한정되기 때문에 방대한 데이터가 분석을 기다리며 스토리지(하드디스크와 같은 드라이브)에서 순서를 기다려야 했다.
반면 인메모리의 경우 데이터를 CPU와 더 가까운 메인메모리(D램 모듈)에 저장해 처리할 수 있다. 스토리지 기반의 데이터 처리 속도보다 약 1000배 이상의 연산 속도를 제공한다. 다만 D램 모듈의 경우 스토리지에 비해 저장할 수 있는 데이터의 용량이 높지 않기 때문에 IT 기업들은 더 빠른 빅데이터 처리를 위해 고용량·고성능 D램을 대량으로 구매해야 한다.
업계에서는 아파치 스파크 기술이 확산할수록 삼성전자, SK하이닉스 등과 같은 국내 메모리 반도체 기업들에 큰 호재가 될 것으로 예상하고 있다. 두 기업 모두 서버용 D램 분야에서 오랜 기간 세계적으로 두각을 드러내왔으며 최근 점유율이 소폭 줄기는 했지만 여전히 70%대의 시장 점유율을 지키고 있기 때문이다.
게다가 삼성전자의 경우 아마존, 구글 등과 오랜 파트너십 관계를 맺어왔으며 실제 해당 기업들의 데이터 센터에 고성능 D램을 꾸준히 공급해왔다. 여기에 고대역폭메모리(HBM)과 같은 차세대 D램 분야에서도 기술적으로 가장 앞서 있으며, 6년전부터 비휘발성메모리모듈(NVDIMM)과 같은 데이터센터에 특화한 메모리 기술 라이선스를 확보해놓기도 했다.
반도체업계 전문가는 "데이터센터에 탑재되는 메모리 반도체의 물량과 요구되는 성능이 점점 더 높아지고 있다"며 "특히 코로나19 이후 데이터센터 인프라 확장 수요가 더 커지고 있고, 더욱 빠른 데이터 처리를 위해 CPU보다 오히려 메모리의 중요성이 강조되면서 삼성, SK하이닉스 등 D램 기업이 수혜를 입게 될 것"이라고 설명했다.