데이터브릭스 한국 공식 진출..."디지털 뉴딜에 맞는 최적의 기술 지원한다"

클라우드 기반 '데이터 레이크하우스'로 통합 분석 역량 제공

메가존 클라우드, 클루커스 등과 손잡고 한국 시장 공략 박차

데이터브릭스 "한국 정부 디지털 뉴딜 2.0 적극 지원하겠다"

장경운 데이터브릭스 솔루션즈 아키텍트 팀장이 4월 20일 자사 기술과 국내 시장 전략을 발표했다.[사진=데이터브릭스 제공]

글로벌 빅테크 기업은 데이터 활용에서 앞서고 있다.. FAANG(페이스북, 애플, 아마존, 넷플릭스 구글)로 대표되는 빅테크 기업은 자사 서비스에서 발생하는 데이터를 수집하고, 이를 분석해 서비스를 개선하고 파괴적 혁신을 이룬다.

장경운 데이터브릭스 솔루션즈 아키텍트 팀장은 "이러한 전략은 비단 빅테크만의 숙제가 아니라 오늘날 모든 기업이 풀어나가야 할 과제"라고 말했다.

20일 클라우드 기반 '데이터 레이크하우스' 솔루션 기업 데이터브릭스(Databricks)가 간담회를 열고 한국 시장 공식 진출을 발표했다. 데이터브릭스는 단순하고 개방적인 데이터·인공지능(AI) 운용 방법을 기업에 제공하고, 기업이 데이터를 통한 혁신을 이룰 수 있도록 지원하는 솔루션 기업이다.

데이터브릭스가 전면에 내세운 데이터 레이크하우스 솔루션은 데이터 분석 분야에서 쓰이는 '데이터 레이크'와 '데이터 웨어하우스'를 통합한 분석 플랫폼이다. 기업은 과거 사업 성과를 분석하고, 미래 전략을 세우기 위해 데이터를 활용한다.

데이터 웨어하우스는 기업이 그간 수집한 정보를 정형화해 보관하고, 이를 통해 과거에 있었던 성과를 살펴보는 데 쓰인다. 반면 데이터 레이크 기술은 비정형화된 데이터를 큰 유목으로 분류하고, AI를 통해 분석해 미래 전략을 세우는 데 쓰인다. 기업은 사업 성과를 살펴보고 향후 전략을 세우기 위해 두 가지 기술을 모두 도입해 운영한다.

장경운 팀장은 "문제는 이 두 가지 플랫폼이 서로 호환하기 어렵다는 점이다. 데이터 활용을 위해서는 각 솔루션에 알맞은 형태로 데이터를 준비해서 넣어야 하며, 두 솔루션에서 발생한 통찰을 통합하는 것도 어렵다"며 "특히 일관된 보안 정책(컴플라이언스)을 적용하기 어렵기 때문에 보안에 대한 관리 역시 복잡하다"고 말했다.

각각의 플랫폼에서 데이터가 독립적으로 운영될 때 발생하는 문제는 먼저 데이터 중복 보관이다. 사용하는 데이터 형태가 다르기 때문에 이러한 중복보관 문제가 생기며, 이는 스토리지 등 저장장치 추가 구매로 이어진다. 또한, 데이터 분류 방식이 다르기 때문에 동일한 보안 정책을 적용하기 어렵고, 이로 인해 관리 효율성이 떨어진다. 마지막으로 분석에 사용하는 도구가 다르기 때문에 호환성이 떨어지며, 사업 전략 담당자와 데이터 분석 담당자 사이의 협업도 불편하다.

데이터브릭스가 제공하는 데이터 레이크하우스 기술은 두 가지 기술을 하나로 통합해, 정형·비정형 데이터와 무관하게 하나의 저장소에서 활용할 수 있도록 했다. 데이터 레이크에 필요한 질의(쿼리) 기술을 데이터 웨어하우스 작업 과정에서 그대로 적용할 수 있다.

특히 처리속도가 빠른 고속 저장장치 필요성이 큰 데이터 레이크 기술을 저가형 저장장치에서도 적용할 수 있도록 해 효율성을 높였다. 이러한 서비스는 클라우드를 통해 제공되며, 현재 국내에서는 아마존 웹 서비스(AWS)와 마이크로스프트 애저 등 퍼블릭 클라우드를 통해 이용할 수 있다.

장경운 팀장은 "이러한 통합으로 데이터에 대한 일관적인 보안 정책을 적용해 관리할 수 있으며, 통합된 분석 환경을 제공한다. 기업은 이를 기반으로 데이터 활용 전략에서 자유도를 높일 수 있고, 개방형 기술을 통해 특정 개발사나 클라우드 서비스 제공자에 대한 종속도 피할 수 있다"고 말했다.

해외 주요 사례로는 금융, 게임, 유통 등이 있다. 골드만삭스는 소비자가 아이폰을 통해 애플카드를 개통할 때, AI 기반 분석으로 5분 이내에 신용 위험도를 평가해 승인하는 방식을 도입했으며 이를 통해 약 5000만 달러(약 617억원)의 수익을 얻었다. 라이엇게임즈는 1억명 이상의 게이머를 대상으로 개인화된 구매추천 서비스를 구축했으며 5억 달러(약 6167억원)의 추가매출을 기록했다. 월마트는 데이터 기술로 공급망을 최적화하고, 식품 부패로인한 손실을 줄이면서 연간 1억 달러(약 1233억원)을 절감했다.

이밖에도 포춘지 선정 500대 기업 중 40%가 현재 데이터브릭스를 도입했으며, 국내에서는 하이브의 글로벌 팬덤 커뮤니티 자회사 '위버스 컴퍼니'와 모바일 게임 기업 '베이글 컴퍼니' 등을 포함해 대기업, 게임사 등에서 솔루션을 도입하기 시작했다.

데이터브릭스는 국내에서는 메가존 클라우드와 클루커스를 파트너사로 두고, 한국 시장 사업을 본격적으로 전개할 계획이다. 특히 국내에서 정부차원에서 추진하고 있는 디지털 뉴딜 2.0과 데이터 댐 등 데이터 활용 정책에 큰 관심을 보이고 있다.

지아 오웨이 링 데이터브릭스 북아시아 총괄은 "우리 솔루션은 한국 정부 차원에서 진행하고 있는 디지털 뉴딜 2.0을 적극 지원할 수 있으리라 생각한다. 한국 정부는 개방형 데이터를 바탕으로 클라우드, 5G, 자율주행차, 스마트팩토리 등의 경쟁력을 발전시키고 있다. 이는 성장 잠재력이 큰 분야로, 데이터브릭스는 더 단순하고 일관성 있는 데이터 분석을 통해 한국이 경쟁 우위를 차지할 수 있는 가치를 제안할 수 있을 것"이라고 말했다.