데이터브릭스
1. 개요
1. 개요
데이터브릭스는 미국 캘리포니아 샌프란시스코에 본사를 둔 빅 데이터 프로세싱 서비스 기업이다. 2013년에 설립되었으며, 아파치 스파크의 핵심 개발자들이 주축이 되어 창업했다. 이 회사는 데이터 웨어하우스와 데이터 레이크의 개념을 통합한 레이크하우스 아키텍처를 기반으로, 다양한 형태의 데이터를 수집, 가공, 분석할 수 있는 통합 플랫폼을 제공한다.
주요 서비스는 데이터 인텔리전스 플랫폼으로, 단순한 데이터 저장 및 처리 도구를 넘어 인공지능이 조직의 데이터를 이해하고 활용할 수 있는 환경을 구축하는 데 중점을 둔다. 또한 생성형 AI 에이전트를 빠르게 구축할 수 있는 에이전트 브릭스와 같은 서비스와 함께, 데이터 및 AI 관련 지식을 공유하는 DI Day 행사를 전 세계적으로 개최한다.
데이터브릭스는 비상장 기업이며, 2025년 12월 기준 기업 가치는 1,340억 달러에 달한다[17]. CEO는 알리 고드시가 맡고 있다. 같은 데이터 클라우드 분야의 스노우플레이크와 주요 경쟁 관계에 있으며, 기업공개에 대한 관심이 지속적으로 제기되고 있다.
2. 역사
2. 역사
데이터브릭스는 2013년에 설립되었다. 창업자들은 UC 버클리의 AMP 연구소에서 오픈소스 빅 데이터 프로세싱 소프트웨어인 아파치 스파크를 개발한 핵심 인물들로, 대부분 컴퓨터 과학 박사 출신이다. 설립 직후인 2013년 9월, a16z가 리드한 시리즈 A 펀딩에서 1,390만 달러를 조달하며 본격적인 활동을 시작했다.
초기 경영진은 이온 스토이카가 CEO를 맡았으나, 2016년 매출 부진으로 인해 알리 고드시가 새로운 CEO로 취임했다. 이온 스토이카는 이사회 의장으로 남아 학계와의 연결고리를 유지했다. 서비스 확장을 위해 2018년 머신러닝 프로젝트 관리 도구인 MLflow를, 2019년에는 오픈소스 스토리지 소프트웨어인 델타 레이크를 출시하며 데이터 레이크하우스 개념을 주도했다.
2020년대 들어 급속한 성장과 투자 유치를 이어갔다. 2021년 8월에는 380억 달러의 기업 가치 평가를 받으며 시리즈 H 펀딩에서 16억 달러를 조달했다. 또한 생성형 인공지능 분야로의 확장을 위해 2023년 6월 모자이크ML을 13억 달러에 인수했고, 2024년 4월에는 Mistral AI의 오픈소스 언어 모델을 자사 플랫폼에 도입하는 협력을 발표했다. 이후 2025년 12월 기준으로 기업 가치는 1,340억 달러에 달하는 것으로 평가받았다.
3. 서비스
3. 서비스
3.1. 데이터 인텔리전스 플랫폼
3.1. 데이터 인텔리전스 플랫폼
데이터 인텔리전스 플랫폼은 데이터브릭스가 제공하는 핵심 서비스로, 인공지능 시대에 최적화된 차세대 데이터 플랫폼이다. 이 플랫폼은 기존의 데이터 웨어하우스나 데이터 레이크의 개념을 넘어, 조직 내 모든 데이터를 AI가 실시간으로 이해하고 활용할 수 있는 환경을 구축하는 데 목적이 있다. 단순한 저장소나 BI 도구가 아닌, 데이터의 의미와 맥락을 파악하여 자동으로 처리 및 분석할 수 있는 인텔리전스 계층을 제공한다.
이 플랫폼은 데이터 레이크하우스 아키텍처를 기반으로 하며, 아파치 스파크와 델타 레이크 같은 오픈소스 기술을 통합하여 성능과 신뢰성을 확보한다. 핵심은 데이터를 단순히 모으는 것을 넘어, 머신러닝과 생성형 AI 애플리케이션을 구축하고 운영하는 데 직접적으로 활용할 수 있도록 하는 것이다. 이를 통해 기업은 데이터 기반 AI 솔루션을 보다 쉽게 개발하고 배포할 수 있다.
데이터 인텔리전스 플랫폼은 모자이크 AI를 포함한 AI 모델 개발 및 관리 도구, 통합 거버넌스, 그리고 에이전트 브릭스와 같은 사전 구축형 AI 에이전트 제품군을 포괄하는 광범위한 생태계를 형성한다. 이는 복잡한 데이터 파이프라인과 AI 인프라 관리 부담을 줄이고, 비즈니스 팀과 데이터 과학자가 협업하여 가치를 창출하는 데 집중할 수 있도록 지원한다.
결과적으로 이 플랫폼은 데이터와 인공지능 시스템 간의 경계를 허물어, 기업이 데이터를 지능적인 자산으로 전환하고 의사결정부터 업무 자동화에 이르는 다양한 영역에서 혁신을 주도할 수 있는 기반을 마련한다.
3.2. DI Day
3.2. DI Day
DI Day는 데이터브릭스가 전 세계 주요 도시에서 정기적으로 개최하는 데이터 및 인공지능 중심의 현장 행사이다. 이 행사는 데이터 인텔리전스 플랫폼의 최신 기술과 적용 사례를 공유하고, 데이터 기반 AI 전략과 플랫폼 혁신에 관한 실무적인 인사이트를 제공하는 데 목적이 있다. 참가자들은 기조 연설, 기술 세션, 핸즈온 랩 등을 통해 빅데이터 처리와 생성형 AI 도입의 실제 노하우를 체험할 수 있다.
행사는 북아메리카, 유럽, 아시아 등 다양한 지역에서 열리며, 2025년에는 서울에서도 개최되어 국내 기업들의 관심을 끌었다. DI Day를 통해 데이터브릭스는 자사의 플랫폼 생태계를 확장하고, 고객 및 개발자 커뮤니티와의 교류를 강화한다. 이는 단순한 마케팅 행사를 넘어 산업의 기술 동향을 주도하고 데이터 레이크하우스 패러다임을 확산시키는 중요한 채널로 자리 잡고 있다.
3.3. 에이전트 브릭스
3.3. 에이전트 브릭스
에이전트 브릭스는 데이터브릭스의 모자이크 AI 플랫폼 위에서 작동하는 사전 구성형 생성형 인공지능 에이전트 제품군이다. 이 제품군은 기업이 특정 비즈니스 목적에 맞춰 AI 에이전트를 빠르게 구축하고 배포할 수 있도록 설계된 템플릿을 제공한다. 예를 들어, 사내 지식 관리 시스템 검색, 대량 문서 요약, 반복적 업무 자동화와 같은 표준화된 작업을 위한 에이전트를 복잡한 개발 과정 없이 설정 중심으로 구현할 수 있게 한다.
기술적으로 에이전트 브릭스는 Mosaic AI Agent Framework를 기반으로 하며, 벡터 검색(RAG), 모델 서빙, AI 게이트웨이, LLMOps 등 모자이크 AI의 핵심 컴포넌트를 내부적으로 활용한다. 이를 통해 사용자는 별도의 벡터 데이터베이스나 LLM 서빙 인프라를 직접 관리할 필요 없이 엔터프라이즈급 보안과 거버넌스가 적용된 AI 에이전트를 배포할 수 있다.
이 제품은 주로 빠른 개념 검증(PoC)이나 비교적 표준화된 비즈니스 프로세스 자동화에 적합하다. 비개발자나 비즈니스 팀도 비교적 쉽게 접근하고 활용할 수 있도록 설계되어, 조직 내 생성형 AI 도입의 진입 장벽을 낮추는 역할을 한다. 반면, 매우 복잡한 로직이나 높은 수준의 커스터마이징이 필요한 경우에는 에이전트 브릭스보다 모자이크 AI 플랫폼을 직접 활용한 에이전트 개발이 더 유연한 대안이 될 수 있다.
4. 기타
4. 기타
데이터브릭스의 주요 창업자인 이온 스토이카, 알리 고드시, 마테이 자하리아는 각각 회사 주식의 약 5%를 보유한 개인 최대주주이다. 이들은 UC 버클리의 AMP 연구소에서 아파치 스파크를 함께 개발한 핵심 인물들로, 학계와 산업계를 연결하는 데 중요한 역할을 했다.
데이터브릭스는 클라우드 데이터 플랫폼 시장에서 스노우플레이크와 주요 경쟁 관계에 있다. 두 회사 모두 설립 시기가 비슷하고, 빅데이터 처리 및 데이터 웨어하우스 분야에서 기업 가치가 빠르게 성장하며 직접적인 비교 대상이 된다. 특히 데이터 레이크하우스 아키텍처를 둘러싼 접근 방식과 시장 전략에서 경쟁이 치열하다.
데이터브릭스는 지속적인 자금 조달을 통해 기업 가치를 급격히 상승시켜 왔다. 2025년 12월 기준 기업 가치는 1,340억 달러에 달한다[18]. 이처럼 높은 평가를 받는 배경에는 생성형 인공지능과 LLM(대형 언어 모델) 시장에 대한 적극적인 투자와 모자이크ML 같은 핵심 기업의 인수가 자리 잡고 있다.
