데이터 레이크 (r1)

데이터 수집 및 수집 계층은 데이터 레이크에 다양한 소스로부터 원본 데이터를 지속적으로 수집하고 수용하는 역할을 담당한다. 이 계층은 데이터 레이크의 생명선으로, 후속 분석과 가치 창출의 기초가 되는 원재료를 공급한다. 수집은 일반적으로 ETL이나 ELT 파이프라인을 통해 이루어지며, 최근에는 실시간 처리를 강조하는 ELT 접근 방식이 더 선호된다. 데이터는 변환 없이 원본 형태 그대로 수집되어, 나중에 필요에 따라 변환 및 정제될 수 있는 유연성을 제공한다.

수집 데이터의 소스는 매우 다양하다. 주요 소스는 다음과 같다.

수집 방법은 배치 수집과 실시간 수집으로 구분된다. 배치 수집은 정해진 간격(예: 매시간, 매일)으로 대량의 데이터를 일괄 전송하는 방식이다. 반면, 스트리밍 데이터 수집은 Apache Kafka나 Amazon Kinesis 같은 기술을 사용하여 데이터가 생성되는 즉시 지속적으로 수집한다. 이 계층의 핵심 목표는 데이터 소스와의 안정적인 연결을 구축하고, 데이터 손실 없이 레이크 저장소로 효율적으로 전달하는 것이다. 이를 통해 데이터 레이크는 정형, 반정형, 비정형 등 모든 형태의 원시 데이터를 중앙 집중화된 단일 저장소에 축적할 수 있다.

이 계층은 데이터 레이크의 핵심 저장소 역할을 담당하며, 원본 데이터를 그대로 보존하는 원천 데이터 저장소의 특성을 유지합니다. 주로 객체 스토리지나 분산 파일 시스템과 같은 확장성이 뛰어난 스토리지 솔루션을 기반으로 구축됩니다. 데이터는 일반적으로 파켓이나 오르크와 같은 열 기반 저장 형식이나, JSON, CSV, 텍스트, 이미지, 비디오 파일 등 원본 형식 그대로 저장됩니다.

데이터 관리 측면에서는 메타데이터 관리가 핵심 요소입니다. 데이터의 위치, 스키마, 계보, 품질 정보 등을 기록하는 데이터 카탈로그 도구를 활용하여 데이터를 검색 가능하고 이해할 수 있도록 만듭니다. 또한, 데이터 수명 주기 정책을 통해 자주 접근하지 않는 콜드 데이터를 저비용 스토리지 티어로 이동시키는 등의 비용 최적화 작업이 이루어집니다.

효과적인 저장 및 관리 계층은 데이터의 무결성을 보장하면서도 다양한 분석 엔진과 도구가 데이터에 효율적으로 접근할 수 있는 기반을 제공합니다. 이는 데이터 레이크가 단순한 데이터 덤프장이 아닌, 관리되는 분석 인프라로 기능하도록 만드는 차별점입니다.

이 계층은 데이터 레이크에 저장된 원본 데이터를 변환, 정제, 분석하여 비즈니스 인사이트를 도출하는 역할을 담당한다. 데이터 처리와 분석 작업은 주로 분산 컴퓨팅 프레임워크를 통해 대규모로 수행된다. 주요 목표는 데이터 과학자나 데이터 분석가가 활용할 수 있는 신뢰할 수 있는 데이터 세트를 생성하고, 배치 처리 또는 실시간 처리를 통해 분석 모델을 실행하는 것이다.

핵심 구성 요소로는 ETL 및 ELT 파이프라인, 데이터 변환 엔진, 분석 엔진 등이 포함된다. Apache Spark는 메모리 내 처리로 대용량 데이터에 대한 배치 및 스트리밍 분석을 수행하는 데 널리 사용되는 프레임워크이다. Apache Flink나 Apache Storm은 낮은 지연 시간의 실시간 스트리밍 데이터 처리에 특화되어 있다. 또한, 머신러닝 및 데이터 마이닝 라이브러리를 활용한 고급 분석 작업도 이 계층에서 이루어진다.

데이터 처리 흐름은 일반적으로 다음과 같은 단계를 거친다.

이 계층의 성공적 운영을 위해서는 처리 작업의 오케스트레이션과 모니터링이 필수적이다. Apache Airflow, Luigi, Kubeflow와 같은 워크플로 관리 도구는 복잡한 데이터 파이프라인의 스케줄링, 실행, 종속성 관리, 재실행을 자동화한다. 이를 통해 데이터 품질을 보장하고, 분석에 필요한 최신 데이터를 지속적으로 공급하는 안정적인 인프라를 구축할 수 있다.

이 계층은 데이터 레이크 내 저장된 데이터에 대한 안전하고 효율적인 접근을 보장하는 역할을 한다. 데이터 소비자(예: 데이터 과학자, 분석가, 비즈니스 사용자)가 필요한 데이터를 쉽게 찾고, 이해하며, 적절한 권한 하에 사용할 수 있도록 하는 기능을 포괄한다. 핵심 구성 요소로는 메타데이터 관리, 데이터 카탈로그, 접근 제어 및 암호화가 포함된다.

데이터 접근을 위한 핵심 도구는 데이터 카탈로그이다. 이는 데이터 레이크 내 모든 데이터 자산에 대한 인덱스와 사전 역할을 하여 데이터의 위치, 형식, 계보, 품질 정보를 중앙에서 관리한다. 사용자는 비즈니스 용어로 검색하여 관련 데이터 세트를 발견하고, 그 의미와 출처를 이해할 수 있다. 또한 데이터 계보 추적 기능은 데이터의 변환 이력을 관리하여 신뢰성을 높인다.

보안은 데이터 접근 계층의 가장 중요한 측면이다. 다중 사용자 환경에서 민감한 데이터를 보호하기 위해 세분화된 접근 제어 정책이 필수적이다. 이는 역할 기반 접근 제어(RBAC) 또는 속성 기반 접근 제어(ABAC)를 통해 사용자나 그룹별로 데이터 읽기, 쓰기, 실행 권한을 테이블, 컬럼, 파일, 객체 수준까지 제어한다. 저장 데이터 암호화와 전송 중 암호화도 표준으로 적용된다.

이러한 접근 및 보안 메커니즘은 데이터의 가치 실현과 오용 방지 사이의 균형을 유지하며, 데이터 레이크가 단순한 저장소를 넘어 신뢰할 수 있는 기업 데이터 허브로 기능하도록 돕는다.

정형 데이터는 미리 정의된 데이터 모델과 고정된 스키마를 따르는 데이터를 의미한다. 일반적으로 행과 열로 구성된 테이블 형태를 가지며, 각 열은 특정 데이터 타입과 이름을 가진다. 관계형 데이터베이스나 스프레드시트가 정형 데이터를 저장하고 관리하는 대표적인 시스템이다.

정형 데이터의 주요 예시로는 고객 관계 관리 시스템의 거래 기록, 재무 회계 소프트웨어의 장부 데이터, 엔터프라이즈 리소스 플래닝 시스템의 재고 정보 등이 포함된다. 이러한 데이터는 구조화 질의어를 사용해 비교적 쉽게 질의, 조인, 집계 및 분석할 수 있다. 데이터 레이크에 저장될 때는 주로 CSV, TSV, Apache Parquet, Apache ORC와 같은 효율적인 열 기반 저장 형식으로 변환된다.

데이터 레이크에서 정형 데이터는 다른 유형의 데이터와 함께 원본 형태 또는 변환된 형태로 저장된다. 이를 통해 기존의 데이터 웨어하우스나 운영 시스템에서 추출한 정형 데이터를 데이터 레이크로 통합하여, 데이터 과학 팀이 머신 러닝 모델 학습에 활용하거나 분석가가 대규모 역사적 데이터를 탐색하는 데 사용할 수 있다. 데이터 레이크는 정형 데이터에 대한 유연한 스케일링과 비용 효율적인 장기 보관을 제공한다.

반정형 데이터는 미리 정의된 고정된 스키마를 따르지 않지만, 데이터 자체에 태그나 마커를 통해 구조적 정보를 내포하는 데이터 형태이다. 이는 완전히 자유로운 비정형 데이터와 엄격한 정형 데이터의 중간적 성격을 지닌다. 대표적인 예로 JSON, XML, YAML과 같은 형식의 파일, 로그 파일, 이메일, 일부 NoSQL 데이터베이스의 문서 등이 포함된다.

반정형 데이터는 태그, 요소, 속성 등을 사용해 데이터 필드와 계층 구조를 표현한다. 예를 들어, JSON 객체는 키-값 쌍으로 데이터를 구성하며, XML은 태그를 사용해 데이터 요소를 정의하고 중첩시킨다. 이러한 자체 기술(self-describing) 특성 덕분에 데이터의 스키마가 유연하게 변경될 수 있으며, 다양한 소스에서 생성되는 데이터를 수용하는 데 적합하다.

데이터 레이크에서 반정형 데이터는 중요한 위치를 차지한다. 데이터 레이크는 원본 형식을 그대로 보존하는 원시 데이터 저장을 지향하기 때문에, JSON이나 XML 파일 등을 변환 없이 직접 수집하여 저장한다. 이후 데이터 처리 및 분석 계층에서 Apache Spark나 특정 쿼리 엔진을 이용해 이 데이터를 읽고, 필요한 경우 스키마를 적용하거나 다른 형식으로 변환하여 분석에 활용한다. 이는 기업의 웹 트랜잭션, IoT 센서 메타데이터, 애플리케이션 로그 등 다양한 반정형 데이터 원천을 통합 분석할 수 있는 기반을 제공한다.

비정형 데이터는 미리 정의된 데이터 모델이나 고정된 스키마를 따르지 않는 데이터를 의미한다. 문서, 이메일, 소셜 미디어 게시물, 멀티미디어 파일 등이 대표적인 예시이다. 이 유형의 데이터는 정형 데이터나 반정형 데이터와 달리 구조화되어 있지 않아, 전통적인 관계형 데이터베이스에서는 저장과 분석이 어려웠다. 데이터 레이크는 이러한 비정형 데이터를 원본 형태 그대로 저장할 수 있는 핵심 인프라로 주목받는다.

비정형 데이터는 일반적으로 텍스트, 이미지, 오디오, 비디오 등의 형태로 존재한다. 주요 출처는 다음과 같다.

데이터 레이크에 비정형 데이터를 저장할 때의 주요 장점은 데이터의 원본성을 유지한다는 점이다. 데이터는 변환되거나 필터링되지 않은 원시 상태로 적재되어, 나중에 다양한 분석 목적에 맞게 유연하게 처리될 수 있다. 예를 들어, 고객 서비스 음성 녹음 파일을 저장해 두었다가 향후 감정 분석이나 품질 모니터링을 위해 음성 인식 기술을 적용할 수 있다.

그러나 비정형 데이터를 효과적으로 활용하기 위해서는 메타데이터 관리와 적절한 데이터 처리 기술이 필수적이다. 데이터가 저장될 때 파일명, 생성 날짜, 출처, 데이터 유형 등의 메타데이터 태깅이 이루어져야 나중에 검색과 발견이 가능해진다. 또한, Apache Spark나 특화된 AI 서비스와 같은 도구를 사용해 비정형 데이터에서 인사이트를 추출하는 ETL 또는 ELT 프로세스가 뒷받침되어야 그 진정한 가치를 실현할 수 있다.

스트리밍 데이터는 실시간으로 생성되고 연속적인 흐름으로 전송되는 데이터를 의미한다. 센서 로그, 웹 서버 접근 기록, 사물인터넷 디바이스의 측정값, 금융 거래, 소셜 미디어 피드 등이 대표적인 예시이다. 이러한 데이터는 전통적인 배치 처리 방식과 달리 끊임없이 도착하며, 매우 짧은 지연 시간 내에 처리되어야 하는 경우가 많다.

데이터 레이크는 이러한 스트리밍 데이터를 수용하고 저장하기 위한 이상적인 플랫폼 역할을 한다. Apache Kafka나 Amazon Kinesis 같은 스트리밍 데이터 수집 도구를 통해 데이터 레이크로 실시간 데이터를 지속적으로 수집할 수 있다. 수집된 데이터는 일반적으로 객체 스토리지나 분산 파일 시스템에 원본 형태 그대로 저장되어, 나중에 다양한 분석 목적을 위해 활용될 수 있다.

스트리밍 데이터를 데이터 레이크에 통합할 때의 주요 접근 방식은 다음과 같다.

스트리밍 데이터를 데이터 레이크에 저장함으로써 조직은 실시간 대시보드, 이상 탐지, 예측 유지보수, 실시간 개인화 추천 등 다양한 저지형 분석 애플리케이션을 구축할 수 있다. 또한, 원본 스트리밍 데이터를 장기 보관하여 향후 새로운 분석 모델을 학습시키거나 배치 분석 작업에 사용할 수 있다는 점에서 큰 가치를 지닌다.

객체 스토리지는 현대 데이터 레이크의 가장 일반적인 저장 기반이 되었다. 이는 파일 시스템이나 블록 스토리지와는 다른 방식으로 데이터를 관리한다. 객체 스토리지는 데이터를 계층적 디렉터리 구조가 아닌, 고유한 식별자(키)를 가진 평면한 네임스페이스의 '객체'로 저장한다. 각 객체는 데이터 자체, 메타데이터, 그리고 고유 ID로 구성된다.

이 방식은 데이터 레이크의 핵심 요구사항에 잘 부합한다. 먼저, 거의 무제한에 가까운 확장성을 제공하며, 정형 데이터, 반정형 데이터, 비정형 데이터 등 다양한 원본 형식을 그대로 저장하는 데 적합하다. 또한, 객체별로 풍부한 사용자 정의 메타데이터를 태깅할 수 있어, 이후 데이터 검색과 분류를 효율적으로 할 수 있다. 대표적인 객체 스토리지 서비스로는 Amazon S3, Google Cloud Storage, Azure Blob Storage 등이 있다.

객체 스토리지를 기반으로 한 데이터 레이크 아키텍처는 일반적으로 다음과 같은 구조를 가진다.

이 아키텍처의 주요 장점은 저장과 컴퓨팅의 분리에 있다. 데이터는 객체 스토리지에 중앙 집중적으로 보관되고, Apache Spark, Presto 등의 다양한 분석 엔진이 이 데이터에 접근하여 처리할 수 있다. 이는 리소스의 유연한 활용과 비용 효율성을 높인다. 그러나 객체 스토지의 데이터는 일반적으로 '한 번 쓰고 여러 번 읽기'(WORM) 패턴에 최적화되어 있어, 빈번한 업데이트나 트랜잭션 처리가 필요한 경우에는 적합하지 않을 수 있다.

분산 파일 시스템 기반 저장 방식은 데이터 레이크의 초기 구현 형태로, Apache Hadoop의 HDFS가 대표적인 예이다. 이 방식은 여러 대의 서버에 데이터를 분산하여 저장하고 처리하는 것을 핵심으로 한다. 각 서버는 로컬 디스크에 데이터 블록을 저장하며, 하나의 논리적인 파일 시스템 네임스페이스 아래에서 통합 관리된다. 이는 단일 장애점을 제거하고 수평 확장성을 제공하여 대규모 데이터를 저장하고 배치 처리 작업을 실행하는 데 적합한 환경을 조성한다.

분산 파일 시스템의 주요 특징은 "데이터를 먼저 이동시키고, 코드를 실행한다"는 원칙에 기반한다는 점이다. Apache Spark나 MapReduce와 같은 분산 컴퓨팅 프레임워크는 계산 작업을 데이터가 저장된 물리적 서버 노드로 직접 전송하여 실행한다. 이는 네트워크 대역폭을 절약하고 데이터 처리 속도를 높이는 데 기여한다. 또한, 데이터는 일반적으로 여러 노드에 복제되어 저장되므로 하드웨어 장애가 발생하더라도 데이터 유실 없이 서비스를 지속할 수 있다.

그러나 이 방식은 주로 대용량 파일의 배치 처리에 최적화되어 있어, 작은 파일이 많을 경우 메타데이터 관리 부하가 커지고 성능이 저하될 수 있다. 또한, 실시간 데이터 업데이트나 트랜잭션 지원에는 한계가 있다. 이러한 특성 때문에 전통적인 분산 파일 시스템은 객체 스토리지나 데이터 레이크하우스와 같은 보다 발전된 아키텍처에 자리를 내주는 추세이나, 여전히 특정 유형의 대규모 데이터 파이프라인에서 중요한 역할을 담당한다.

데이터 레이크하우스는 데이터 레이크의 유연성과 데이터 웨어하우스의 관리 효율성을 결합한 새로운 형태의 데이터 아키텍처이다. 이는 정형 데이터와 반정형 데이터, 비정형 데이터를 모두 수용하는 개방형 저장소인 데이터 레이크 위에, 트랜잭션 지원, 강력한 데이터 거버넌스, 그리고 ACID 속성을 보장하는 처리 계층을 구축한 개념이다. 핵심 목표는 원시 데이터를 그대로 저장하는 레이크의 장점을 유지하면서도, 데이터 웨어하우스 수준의 신뢰성 있는 데이터 분석과 비즈니스 인텔리전스를 지원하는 것이다.

이 아키텍처는 일반적으로 객체 스토리지나 분산 파일 시스템에 데이터를 저장한 후, Apache Spark, Delta Lake, Apache Iceberg, Apache Hudi와 같은 오픈 소스 테이블 포맷 및 처리 프레임워크를 통해 데이터를 관리한다. 이러한 기술들은 데이터 레이크에 저장된 데이터에 대해 메타데이터 관리, 스키마 진화, 시간 여행, 업데이트 및 삭제 기능을 제공하여, 기존 데이터 레이크가 가진 데이터 품질과 일관성 관리의 어려움을 해소한다.

데이터 레이크하우스의 주요 이점은 다음과 같이 정리할 수 있다.

결과적으로 데이터 레이크하우스는 기존의 별도로 운영되던 데이터 레이크와 데이터 웨어하우스의 이분법을 넘어, 통합된 데이터 플랫폼을 지향하는 현대적 접근법으로 자리 잡고 있다. 이는 데이터 엔지니어, 데이터 과학자, 데이터 분석가 등 다양한 사용자가 동일한 데이터 자산을 서로 다른 목적으로 자유롭게 활용할 수 있는 기반을 마련한다.

데이터 레이크에서 데이터 거버넌스는 데이터의 가용성, 유용성, 무결성 및 보안을 보장하기 위한 정책, 프로세스, 표준 및 책임의 체계적인 관리 프레임워크를 의미한다. 데이터 레이크는 모든 원본 형태의 데이터를 수용하는 특성상, 체계적인 거버넌스 없이는 데이터의 신뢰성을 잃고 '데이터 늪'으로 전락할 위험이 크다. 효과적인 거버넌스는 데이터의 수명 주기 전반에 걸쳐 메타데이터 관리, 데이터 계보 추적, 접근 제어, 규정 준수 등을 포함한다.

데이터 품질 관리는 거버넌스의 핵심 요소로, 레이크 내 데이터의 정확성, 완전성, 일관성, 적시성을 유지하고 개선하는 활동이다. 데이터 레이크 환경에서는 다양한 소스의 원본 데이터가 그대로 저장되므로, 분석 단계에서 신뢰할 수 있는 결과를 도출하기 위해선 품질 검증이 필수적이다. 주요 품질 관리 활동에는 데이터 프로파일링, 표준화, 중복 제거, 유효성 검사 및 오류 데이터 정제 등이 포함된다.

데이터 거버넌스와 품질 관리를 구현하기 위한 일반적인 접근 방식과 구성 요소는 다음과 같다.

이러한 체계를 구축함으로써 조직은 데이터 레이크 내 데이터의 신뢰도를 높이고, 분석가와 데이터 과학자가 자신 있게 데이터를 발견하고 활용할 수 있는 기반을 마련한다. 또한 GDPR이나 CCPA와 같은 데이터 규정 준수 요구사항을 충족하는 데에도 필수적이다.

데이터 레이크의 보안 및 접근 제어는 방대하고 민감한 데이터 자산을 보호하기 위한 핵심적인 과제이다. 데이터 레이크는 다양한 출처의 원본 데이터를 그대로 저장하는 특성상, 개인정보, 영업비밀, 규제 대상 데이터 등이 혼재할 수 있어 체계적인 보안 프레임워크가 필수적이다.

접근 제어는 일반적으로 역할 기반 접근 제어(RBAC) 또는 속성 기반 접근 제어(ABAC) 모델을 기반으로 구현된다. 이를 통해 사용자나 애플리케이션의 역할, 부서, 데이터 민감도 속성에 따라 객체 스토리지의 버킷, 디렉토리, 파일 단위로 읽기, 쓰기, 실행 권한을 세밀하게 부여할 수 있다. 또한, 모든 데이터 접근 이력에 대한 감사 로그를 지속적으로 수집하고 모니터링하여 이상 접근 패턴을 탐지하는 것이 중요하다.

데이터 자체의 보안을 강화하기 위해 저장 데이터 암호화와 전송 중 암호화가 결합되어 사용된다. 대부분의 클라우드 데이터 레이크 서비스는 기본적으로 저장 데이터 암호화를 제공하며, 고객 관리형 키를 사용할 수 있는 옵션을 함께 제공한다[3]. 데이터 마스킹 또는 토큰화 기술을 적용하여 분석 과정에서 특정 필드의 민감 정보를 가리는 것도 일반적인 보완 조치이다. 효과적인 보안 관리는 강력한 접근 통제, 암호화, 지속적인 모니터링, 그리고 명확한 데이터 분류 정책이 통합되어 이루어진다.

데이터 레이크의 운영 비용은 저장, 처리, 송신 비용으로 크게 구분된다. 저장 비용은 객체 스토리지나 분산 파일 시스템에 축적되는 원본 데이터의 양과 보존 기간에 비례하여 증가한다. 처리 비용은 Apache Spark나 ETL 작업과 같은 데이터 변환, 분석, 정제 과정에서 사용되는 컴퓨팅 리소스에 의해 발생한다. 송신 비용은 데이터 레이크에서 외부 시스템으로 데이터를 이동시킬 때, 특히 퍼블릭 클라우드 환경에서 리전을 벗어나는 경우에 주로 적용된다.

비용 관리를 위해서는 데이터의 수명 주기를 명확히 정의하고 자동화하는 것이 필수적이다. 자주 접근하지 않는 콜드 데이터는 저비용 저장 계층으로 이동시키고, 법적 보존 기간이 지난 데이터는 삭제하는 정책을 수립해야 한다. 또한, 데이터 처리 작업의 효율성을 높이기 위해 작업 스케줄링을 최적화하고 불필요한 컴퓨팅 리소스 사용을 줄여야 한다. 비용 할당 태그를 활용하여 부서나 프로젝트별로 비용을 명확히 추적하고 책임을 부여하는 것도 효과적인 관리 방법이다.

비용 최적화를 위한 주요 전략은 다음 표와 같이 정리할 수 있다.

최종적으로, 지속적인 비용 모니터링과 리포트를 통해 비용 추이를 분석하고, 비즈니스 가치가 낮은 데이터나 프로세스에 대한 지출을 재평가하는 과정이 필요하다. 이를 통해 데이터 레이크가 단순한 데이터 덤프장이 아닌, 비용 대비 효율적인 분석 인프라로 운영될 수 있다.

AWS Lake Formation과 Azure Data Lake는 주요 클라우드 컴퓨팅 서비스 제공업체인 아마존 웹 서비스와 마이크로소프트 애저가 제공하는 관리형 데이터 레이크 솔루션이다. 이들은 클라우드 환경에서 데이터 레이크를 구축, 보안 관리, 운영하는 데 필요한 핵심 서비스와 통합된 도구 모음을 제공하여 복잡성을 줄여준다.

AWS Lake Formation은 Amazon S3 객체 스토리지를 데이터 레이크의 기본 저장소로 활용한다. 이 서비스는 데이터 수집, 정리, 변환, 보안 설정을 위한 중앙 관리 콘솔을 제공한다. 주요 기능으로는 AWS Glue를 통한 데이터 카탈로그 및 ETL 작업 자동화, AWS IAM 및 칼럼 수준 암호화를 활용한 세밀한 접근 제어, 그리고 Amazon Athena, Amazon Redshift, Amazon EMR과의 원활한 통합이 포함된다. 사용자는 저장된 데이터에 대한 중앙 집중식 권한 정책을 정의하여 다양한 분석 서비스가 일관되게 데이터에 접근할 수 있도록 한다.

Azure Data Lake는 Azure Data Lake Storage Gen2를 핵심 저장 서비스로 구성된다. 이 저장소는 Azure Blob Storage의 확장성과 비용 효율성에 Hadoop Distributed File System 호환 파일 시스템의 디렉터리 구조 및 보안 기능을 결합한 것이 특징이다. 이 플랫폼은 Azure Databricks, Azure Synapse Analytics, Azure HDInsight와 같은 분석 및 빅데이터 처리 서비스와 긴밀하게 통합되어 있다. 또한 Azure Purview를 통한 통합 데이터 거버넌스와 메타데이터 관리 기능을 제공하여 데이터의 발견, 분류, 계보 추적을 지원한다.

두 플랫폼 모두 관리형 서비스로서 인프라 프로비저닝, 패치 관리, 기본적인 확장 작업을 자동화하여 사용자가 데이터 분석과 비즈니스 인사이트 도출에 집중할 수 있도록 설계되었다. 선택은 기존의 클라우드 생태계, 사용 중인 다른 서비스들, 그리고 조직의 특정 기술 요구사항에 따라 결정된다.

Apache Hadoop은 데이터 레이크의 근간을 이루는 핵심 오픈 소스 프레임워크이다. 대규모 데이터 세트를 분산 처리하기 위해 설계되었으며, HDFS라는 분산 파일 시스템과 MapReduce라는 프로그래밍 모델로 구성된다. HDFS는 수백 대의 상용 서버에 데이터를 안정적으로 저장하고 복제하여 장애에 대비한다. MapReduce는 이러한 클러스터에서 병렬 처리를 가능하게 하는 모델이다. Hadoop 생태계에는 Hive, HBase, Sqoop과 같은 다양한 프로젝트가 포함되어 있어 데이터 수집, 저장, 쿼리 기능을 확장한다. 이로 인해 Hadoop은 초기 데이터 레이크 구현의 사실상의 표준 플랫폼이 되었다.

Apache Spark는 Hadoop의 후속이자 보완 기술로 등장한 고속 분산 처리 엔진이다. MapReduce의 디스크 기반 처리 방식과 달리, 인메모리 컴퓨팅을 활용하여 배치 처리, 스트리밍 데이터 분석, 머신러닝, 그래프 처리 등 다양한 워크로드에 대해 훨씬 빠른 성능을 제공한다. Spark는 Hadoop의 HDFS나 Amazon S3와 같은 객체 스토리지에 저장된 데이터 레이크의 데이터를 직접 읽고 처리할 수 있다. Spark의 등장은 데이터 레이크 내에서의 실시간 분석과 복잡한 데이터 파이프라인 구축을 현실화하는 데 기여했다.

두 기술은 상호 보완적으로 데이터 레이크 아키텍처에서 활용된다. Hadoop은 비용 효율적인 대용량 데이터의 장기적, 안정적인 저장소 역할을 하고, Spark는 그 위에서 고성능 분석과 변환 작업을 수행한다. 현대의 데이터 레이크는 종종 Hadoop 생태계의 저장 솔루션과 Spark의 처리 엔진을 결합한 형태로 구축된다.

데이터 카탈로그는 데이터 레이크 내에 저장된 모든 데이터 자산의 인벤토리를 제공하는 중앙화된 메타데이터 저장소이다. 이는 데이터의 위치, 형식, 계보, 품질 정보, 소유자, 사용 패턴 등을 기록한 메타데이터를 체계적으로 관리한다. 주요 목적은 데이터 검색 가능성을 높이고, 데이터 이해를 돕으며, 데이터 거버넌스를 강화하는 것이다. 사용자는 비즈니스 용어나 기술 속성을 통해 필요한 데이터를 쉽게 찾을 수 있다.

메타데이터 관리 도구는 이러한 카탈로그 기능을 구현하고 자동화하는 소프트웨어 플랫폼이다. 이들은 주로 자동 메타데이터 수집, 데이터 계보 시각화, 협업 기능(예: 데이터셋에 대한 주석 및 등급 부여), 그리고 데이터 품질 및 민감도 태깅을 지원한다. 대표적인 상용 도구로는 AWS Glue Data Catalog, Google Cloud Data Catalog, Azure Purview 등 클라우드 공급자의 관리형 서비스가 있으며, Collibra, Alation과 같은 독립형 엔터프라이즈 데이터 카탈로그 플랫폼도 널리 사용된다.

오픈 소스 진영에서는 Apache Atlas가 Hadoop 생태계를 위한 강력한 메타데이터 관리 및 거버넌스 프레임워크로 자리 잡았다. 또한 Amundsen (Lyft), DataHub (LinkedIn), OpenMetadata와 같은 현대적인 데이터 검색 및 관찰 가능성 플랫폼들이 커뮤니티의 주목을 받고 있다. 이들 도구는 데이터 소비자와 생산자 간의 격차를 해소하여 데이터 활용도를 극대화하고 중복 작업을 줄이는 데 기여한다.

효과적인 데이터 카탈로그 구현은 단순한 기술 도구 도입을 넘어선다. 이는 데이터에 대한 비즈니스 용어 사전 구축, 메타데이터 수집 및 유지 관리 프로세스 정립, 그리고 조직 내 데이터 문화 조성과 밀접하게 연관된다. 잘 구축된 카탈로그는 데이터 레이크가 단순한 데이터 덤프장이 아닌 신뢰할 수 있고 가치 있는 분석 자원으로 변모하는 데 필수적인 기반이 된다.