Amazon Dynamo

아마존 다이나모DB의 데이터 모델은 기본적으로 키-값 데이터베이스와 도큐먼트 지향 데이터베이스의 특성을 결합한다. 데이터는 테이블에 저장되며, 각 테이블은 파티션 키와 선택적인 정렬 키로 구성된 기본 키를 가진다. 파티션 키는 데이터를 물리적 파티션에 분산시키는 데 사용되며, 정렬 키가 함께 사용되면 복합 기본 키가 되어 동일한 파티션 키 내에서 항목을 정렬할 수 있다.

각 항목은 기본 키와 함께 유연한 속성 집합으로 구성된다. 속성은 이름과 값으로 정의되며, 값은 문자열, 숫자, 이진 데이터, 불린, 널, 리스트, 맵 등 다양한 데이터 타입을 지원한다. 이는 반정형 또는 비정형 데이터를 저장하는 데 적합한 도큐먼트 모델을 가능하게 한다.

이 데이터 모델은 스키마리스 특성을 지녀, 동일한 테이블 내에서도 항목마다 다른 속성 구조를 가질 수 있다. 이는 애플리케이션 요구사항이 빠르게 변화하는 환경에서 유연성을 제공한다. 데이터 접근은 기본적으로 항목의 기본 키를 통한 읽기와 쓰기로 이루어지며, 보조 인덱스를 생성하여 기본 키 외의 속성으로도 효율적인 쿼리가 가능하다.

아마존 다이나모DB의 아키텍처는 완전 관리형 서비스로서 사용자가 하드웨어 프로비저닝, 설정, 패치, 클러스터 확장과 같은 인프라 관리 부담 없이 데이터베이스 기능에 집중할 수 있도록 설계되었다. 서비스의 핵심은 자동으로 여러 가용 영역에 걸쳐 데이터를 복제하여 높은 내구성과 가용성을 보장하는 것이다. 이는 기본적으로 마스터-슬레이브 복제가 아닌, 다중 리더 방식에 가까운 동기 복제를 통해 이루어지며, 단일 장애점을 제거한다.

서비스의 물리적 구성 요소는 사용자에게 완전히 추상화되어 있다. 사용자는 처리할 초당 요청 수를 기준으로 용량을 지정하기만 하면 되며, 아마존 웹 서비스가 백엔드에서 필요한 서버 리소스를 자동으로 관리하고 조정한다. 데이터는 파티션 키를 기준으로 자동으로 샤딩되어 여러 스토리지 노드에 분산 저장되며, 이로 인해 시스템의 수평적 확장성이 보장된다. 읽기 및 쓰기 작업은 이러한 파티션에 균등하게 분배된다.

이러한 설계는 다이나모라는 아마존의 내부 스토리지 시스템에서 이름을 차용했지만, 구현 방식은 근본적으로 다르다. 원래의 다이나모 시스템이 애플리케이션 계층에 버전 충돌 해결을 맡기는 멀티 리더 디자인이었다면, 다이나모DB는 강력한 일관성 읽기 옵션을 제공하는 등 관리형 서비스로서의 단순함과 강력한 일관성 보장을 더 중시한다. 아키텍처의 중심 목표는 예측 가능한 성능과 인터넷 규모의 애플리케이션을 지원하는 무중단 확장성에 있다.

아마존 다이나모DB는 서버리스 아키텍처를 기반으로 설계되어 사용자가 서버를 프로비저닝하거나 관리할 필요 없이 자동으로 확장된다. 테이블의 처리량 용량을 미리 프로비저닝하는 방식과 온디맨드 용량 모드를 모두 지원하여, 애플리케이션의 트래픽 패턴에 맞춰 탄력적으로 성능을 조절할 수 있다. 이는 예측 불가능한 워크로드를 처리하는 모바일 애플리케이션, 게임, IoT 플랫폼에 특히 유용하다.

가용성과 내구성 측면에서 다이나모DB는 데이터를 여러 가용 영역에 걸쳐 자동으로 복제하여 저장한다. 이 다중 AZ 복제 덕분에 데이터 센터 전체에 장애가 발생하더라도 서비스 중단 없이 데이터를 지속적으로 사용할 수 있다. 모든 데이터 쓰기에 대한 내구성은 기본적으로 보장되며, 데이터는 SSD에 저장되어 낮은 지연 시간의 성능을 제공한다.

이러한 설계는 아마존닷컴의 전자상거래 플랫폼과 같은 대규모, 고가용성 시스템의 요구사항에서 비롯되었다. 결과적으로 다이나모DB는 99.999%의 가용성을 목표로 하며, 관리형 서비스로서의 장점을 살려 운영 부담을 크게 줄여준다. 사용자는 데이터베이스의 확장성과 안정성에 집중하는 대신 애플리케이션 로직 개발에 더 많은 리소스를 투입할 수 있게 된다.

아마존 다이나모DB의 기본 데이터 구성 단위는 테이블, 항목, 속성이다. 사용자는 먼저 데이터를 저장할 테이블을 생성하며, 각 테이블은 이름과 기본 키를 정의해야 한다. 테이블은 무제한으로 항목을 저장할 수 있으며, 저장 용량이나 성능에 대한 사전 프로비저닝이 필요 없는 서버리스 모델을 지원한다.

테이블 내의 각 레코드는 항목이라고 부른다. 각 항목은 하나의 기본 키를 반드시 가지며, 이 기본 키는 파티션 키만으로 구성되거나 파티션 키와 정렬 키의 조합으로 구성된다. 파티션 키는 데이터의 물리적 저장 위치를 결정하며, 정렬 키는 동일한 파티션 내에서 항목들을 정렬된 순서로 저장할 수 있게 한다. 항목은 기본 키 외에도 다양한 속성을 가질 수 있다.

속성은 이름과 값으로 구성되는 데이터의 가장 작은 단위이다. 아마존 다이나모DB는 JSON 문서 형식과 유사한 유연한 스키마를 지원하는데, 이는 각 항목이 서로 다른 수와 유형의 속성을 가질 수 있음을 의미한다. 지원하는 데이터 유형은 스칼라 타입(문자열, 숫자, 이진 데이터, 불리언, null)과 집합 타입(문자열 집합, 숫자 집합, 이진 데이터 집합), 그리고 문서 타입(리스트, 맵)을 포함한다. 이 유연한 데이터 모델은 도큐먼트 지향 데이터베이스로서의 특징을 잘 보여준다.

Amazon DynamoDB는 기본 키를 통한 빠른 데이터 접근을 제공하지만, 보다 복잡한 쿼리 요구사항을 지원하기 위해 인덱스 기능을 제공한다. 인덱스는 테이블의 속성을 사용해 쿼리 성능을 높이는 보조 데이터 구조이다. DynamoDB는 주로 파티션 키와 정렬 키로 구성된 기본 키를 사용하지만, 인덱스를 생성하면 기본 키에 포함되지 않은 다른 속성으로도 효율적인 데이터 검색이 가능해진다.

DynamoDB는 크게 두 가지 유형의 인덱스를 지원한다. 첫 번째는 글로벌 세컨더리 인덱스(GSI)로, 이 인덱스는 파티션 키와 정렬 키를 원본 테이블과 다르게 정의할 수 있으며, 인덱스 자체의 읽기 및 쓰기 처리량을 별도로 설정할 수 있다는 특징이 있다. 두 번째는 로컬 세컨더리 인덱스(LSI)로, 이는 원본 테이블과 동일한 파티션 키를 공유하지만 다른 정렬 키를 사용한다. LSI는 테이블 생성 시에만 설정할 수 있으며, 테이블과 처리량을 공유한다.

인덱스를 효과적으로 사용하면 애플리케이션의 쿼리 패턴을 유연하게 지원할 수 있다. 예를 들어, 사용자 ID를 파티션 키로 하고 생성 날짜를 정렬 키로 하는 테이블에서, 사용자 이메일 주소로 검색해야 하는 요구사항이 생긴다면 이메일을 파티션 키로 하는 글로벌 세컨더리 인덱스를 생성하면 된다. 이를 통해 데이터 모델을 변경하지 않고도 다양한 접근 방식을 제공할 수 있으며, 확장성과 성능을 유지하면서 애플리케이션 개발의 편의성을 크게 높인다.

아마존 다이나모DB는 원자적, 일관적, 격리된, 지속적인 ACID 트랜잭션을 지원한다. 이는 여러 항목에 걸쳐 복잡한 비즈니스 로직을 안전하게 처리할 수 있게 해주는 핵심 기능이다. 다이나모DB의 트랜잭션은 단일 테이블 내에서 또는 여러 테이블 간에 수행될 수 있으며, 읽기와 쓰기 작업을 모두 포함할 수 있다.

트랜잭션 작업은 트랜잭션 쓰기와 트랜잭션 읽기 두 가지 유형으로 제공된다. 트랜잭션 쓰기를 사용하면 최대 100개의 항목에 대해 원자성을 보장하며, 모든 쓰기 작업이 성공하거나 모두 실패하는 All-or-nothing 방식을 따른다. 트랜잭션 읽기는 하나 이상의 테이블에서 최대 100개의 항목을 읽을 때 일관된 스냅샷을 제공하여 데이터의 정확성을 보장한다.

이러한 트랜잭션 지원은 전자상거래의 장바구니 시스템, 금융 서비스의 계좌 이체, 게임의 플레이어 상태 업데이트와 같이 데이터 무결성이 중요한 사용 사례에 필수적이다. 다이나모DB는 트랜잭션을 통해 NoSQL 데이터베이스의 유연성과 확장성을 유지하면서도 전통적인 관계형 데이터베이스 수준의 데이터 일관성 요구 사항을 충족시킨다.

아마존 다이나모DB의 스트림 기능은 테이블 내 데이터 항목에 대한 변경 사항을 시간 순서대로 캡처하고 기록하는 기능이다. 이 기능을 활성화하면 테이블의 항목이 생성, 수정 또는 삭제될 때마다 그 변경 이벤트가 스트림 레코드로 기록된다. 각 레코드는 변경된 항목의 키와 함께 변경 내용을 담고 있으며, 이러한 레코드들의 순서 있는 시퀀스가 스트림을 구성한다.

스트림 레코드는 최대 24시간 동안 보존되며, 애플리케이션은 이를 소비하여 실시간으로 처리할 수 있다. 이를 통해 데이터 변경에 반응하는 다양한 이벤트 기반 애플리케이션을 구축할 수 있다. 대표적인 사용 사례로는 변경 사항에 따른 캐시 무효화, 실시간 데이터 분석, 검색 인덱스 갱신, 그리고 데이터 웨어하우스로의 변경 데이터 캡처 등이 있다.

스트림은 AWS 람다와 같은 서버리스 컴퓨팅 서비스와 쉽게 통합될 수 있다. 람다 함수를 다이나모DB 스트림의 트리거로 지정하면, 새로운 스트림 레코드가 발생할 때마다 해당 함수가 자동으로 실행되어 레코드를 처리한다. 이는 완전 관리형의 실시간 데이터 처리 파이프라인을 구성하는 데 유용한 패턴이다.

스트림은 테이블 생성 시 또는 기존 테이블 설정에서 활성화할 수 있으며, 스트림 뷰 유형을 선택하여 어떤 정보를 캡처할지 결정한다. 옵션으로는 키만, 새 이미지, 이전 이미지, 그리고 새 이미지와 이전 이미지를 모두 포함하는 방식이 있다. 이 기능을 통해 애플리케이션은 데이터의 변경 이력을 추적하고, 복잡한 비즈니스 로직을 구현하며, 다른 AWS 서비스와의 강력한 연동을 가능하게 한다.