샤드 키(Shard Key)편집자 확인

카디널리티는 샤드 키 선택 시 가장 중요한 기준 중 하나이다. 이는 샤드 키가 가질 수 있는 고유한 값의 수를 의미한다. 높은 카디널리티를 가진 필드, 즉 고유한 값이 많은 필드를 샤드 키로 사용하는 것이 이상적이다. 예를 들어, 사용자 ID나 이메일 주소와 같은 필드는 일반적으로 각 레코드마다 고유한 값을 가지므로 높은 카디널리티를 가진다.

반대로, 성별이나 국가 코드와 같이 고유한 값이 적은 필드는 낮은 카디널리티를 가진다. 이러한 필드를 샤드 키로 사용하면 데이터가 소수의 샤드에 집중될 위험이 크다. 이는 데이터베이스의 수평적 확장성을 저해하고, 특정 샤드에 과부하를 초래하는 핫스팟을 발생시킬 수 있다.

따라서 샤드 키 설계 시에는 가능한 한 고유한 값의 범위가 넓은 필드를 선택하여 데이터가 클러스터 전체에 고르게 분산되도록 해야 한다. 이는 분산 시스템의 성능과 안정성을 보장하는 핵심 요소이다.

분산도는 샤드 키가 데이터를 각 샤드에 얼마나 고르게 분배하는지를 나타내는 척도이다. 이상적인 샤드 키는 높은 분산도를 가져 모든 샤드에 데이터가 균등하게 분포되도록 한다. 이는 시스템의 수평적 확장성과 성능을 보장하는 핵심 요소이다.

분산도가 낮으면 특정 샤드에 데이터가 집중되는 핫스팟이 발생할 수 있다. 이는 해당 샤드의 처리 부하를 급격히 증가시키고, 결국 시스템 전체의 성능 저하나 병목 현상을 초래한다. 따라서 샤드 키를 설계할 때는 데이터의 분포를 예측하고, 가능한 한 균일한 분산을 유도할 수 있는 필드를 선택해야 한다.

예를 들어, 사용자 데이터를 샤딩할 때 '지역' 필드를 샤드 키로 사용하면 특정 인구 밀집 지역의 데이터가 한 샤드에 집중될 위험이 있다. 반면, '사용자 ID'와 같이 고유하고 예측 불가능한 값을 기반으로 한 해시드 샤드 키를 적용하면 데이터가 더 무작위적으로 분산되어 높은 분산도를 달성할 가능성이 높아진다.

분산도는 카디널리티 및 질의 패턴과 함께 고려되어야 한다. 높은 카디널리티를 가진 필드라도 실제 데이터 값의 분포가 편향되어 있다면 분산도는 낮아질 수 있다. 최종적으로 샤드 키는 데이터의 균형 있는 분산을 보장하면서도, 애플리케이션의 주요 쿼리 패턴을 효율적으로 지원할 수 있어야 한다.

질의 패턴은 샤드 키를 선정할 때 가장 중요한 기준 중 하나이다. 데이터베이스에 자주 실행되는 쿼리의 조건이 어떤 필드를 포함하는지 분석하여, 해당 필드를 샤드 키로 삼으면 쿼리 성능을 크게 향상시킬 수 있다. 예를 들어, 사용자 활동 로그를 날짜별로 주로 조회한다면 created_at 필드를 샤드 키로 사용하는 것이 효율적일 수 있다.

이러한 접근 방식은 대부분의 쿼리가 단일 샤드 또는 소수의 샤드에서만 데이터를 찾도록 유도하여, 불필요한 브로드캐스트 작업을 줄이고 응답 시간을 단축한다. 반대로, 쿼리 패턴과 무관하게 선택된 샤드 키는 모든 샤드를 스캔해야 하는 풀 테이블 스캔을 유발하여, 분산 시스템의 이점을 상쇄시킬 위험이 있다.

따라서 샤드 키 설계 단계에서는 애플리케이션의 주요 비즈니스 로직과 사용자 행동 패턴을 면밀히 검토하여, 가장 빈번한 조회 조건을 식별하는 것이 필수적이다. 이는 단순한 읽기 성능뿐만 아니라, 특정 샤드에 부하가 집중되는 핫스팟 현상을 방지하고 시스템의 전반적인 안정성을 확보하는 데도 기여한다.

해시드 샤드 키는 샤드 키 값에 해시 함수를 적용하여 생성된 해시 값을 기준으로 데이터를 분산하는 전략이다. 이 방식은 데이터를 물리적 샤드에 할당할 때 원본 키 값의 순서나 범위와 무관하게 결정되므로, 결과적으로 데이터가 각 샤드에 무작위로 분포되도록 한다. 이는 데이터의 쓰기 부하를 여러 샤드에 고르게 퍼뜨리는 데 매우 효과적이다.

이 전략의 가장 큰 장점은 자동적인 부하 분산이다. 입력되는 데이터의 키 값이 시간이나 순서에 따라 편향되더라도(예: 순차적으로 증가하는 기본 키), 해시 함수를 거치면 예측 불가능한 값으로 변환되어 특정 샤드에 데이터가 집중되는 핫스팟 현상을 방지할 수 있다. 따라서 쓰기 처리량이 매우 높은 시스템에서 안정적인 성능을 유지하는 데 유리하다.

그러나 해시드 샤드 키는 범위 쿼리 성능에 제약이 따른다. 해시 함수는 데이터의 자연스러운 순서를 파괴하기 때문에, "보다 크다" 또는 "사이에 있다"와 같은 범위 기반의 질의를 수행할 때 모든 샤드를 스캔해야 할 가능성이 높아진다. 이는 쿼리 성능을 저하시킬 수 있다. 따라서 주로 등가 쿼리가 빈번하고, 쓰기 부하의 균등한 분산이 최우선인 시나리오에서 채택된다.

일반적인 NoSQL 데이터베이스와 분산 데이터베이스 시스템은 해시드 샤딩을 구현하기 위해 일관성 해싱이나 모듈로 연산과 같은 알고리즘을 사용한다. 설계 시에는 해시 함수의 선택과 샤드 키의 카디널리티가 최종적인 데이터 분포와 시스템 성능에 직접적인 영향을 미친다는 점을 고려해야 한다.

레인지 샤드 키는 데이터의 자연스러운 순서를 기반으로 샤드를 분할하는 방식이다. 이 방식은 특정 값의 범위를 각 샤드에 할당하여, 연속적인 값 범위의 데이터가 동일한 물리적 서버에 저장되도록 한다. 예를 들어, 날짜 필드나 숫자형 ID 필드를 레인지 샤드 키로 사용하면, 특정 기간의 데이터나 특정 ID 범위의 데이터를 하나의 샤드에서 효율적으로 관리할 수 있다.

이 방식의 가장 큰 장점은 범위 기반 쿼리의 성능이다. 사용자가 특정 날짜 범위의 데이터를 조회하거나, 특정 ID 구간의 레코드를 검색할 때, 해당 데이터가 대부분 하나 또는 소수의 샤드에 집중되어 있을 가능성이 높다. 이는 쿼리가 모든 샤드에 브로드캐스트되는 것을 방지하고, 특정 샤드에서만 실행되도록 하여 분산 데이터베이스의 전체적인 성능을 향상시킨다.

그러나 레인지 샤드 키는 데이터 분포가 균일하지 않을 경우 심각한 문제를 야기할 수 있다. 만약 특정 값 범위에 데이터가 집중되면, 해당 샤드만 과도한 부하를 받는 핫스팟 현상이 발생한다. 예를 들어, 최근 날짜의 데이터에 대한 쓰기와 읽기가 집중된다면, 최신 데이터를 담당하는 샤드만 과부하 상태가 될 수 있다. 이는 수평적 확장의 이점을 상쇄시키고 시스템 병목을 초래한다.

따라서 레인지 샤드 키는 데이터의 증가 패턴과 접근 패턴을 신중히 분석한 후 선택해야 한다. 시간 순서 데이터를 주로 다루는 시계열 데이터베이스나, 순차적인 ID를 가지며 범위 조회가 빈번한 애플리케이션에 적합한 전략이다. 설계 시에는 데이터가 특정 샤드에 편중되지 않도록 키 값의 분포를 예측하고, 장기적인 데이터 증가를 고려하여 샤드 키를 선정하는 것이 중요하다.

복합 샤드 키는 두 개 이상의 필드를 조합하여 하나의 샤드 키를 구성하는 전략이다. 단일 필드만으로는 데이터 분산의 균일성이나 질의 효율성을 충분히 확보하기 어려운 경우에 주로 사용된다. 예를 들어, 사용자 ID와 날짜 필드를 함께 사용하여 샤드 키를 정의하면, 특정 사용자의 모든 데이터가 한 샤드에 집중되는 것을 방지하면서도 날짜 범위 기반의 쿼리 성능을 일정 수준 보장할 수 있다.

이 전략의 핵심 장점은 샤드 키의 카디널리티와 분산도를 동시에 개선할 수 있다는 점이다. 단일 필드의 값이 다양하지 않거나, 특정 값에 데이터가 몰리는 현상이 예상될 때, 다른 필드를 추가함으로써 데이터 분포를 보다 균등하게 만들 수 있다. 또한, 자주 함께 조회되는 필드들을 샤드 키로 포함시켜 분산 데이터베이스에서의 조인 연산이나 관련 데이터 접근 성능을 높일 수 있다.

복합 샤드 키를 설계할 때는 필드 간의 관계와 실제 애플리케이션의 접근 패턴을 신중히 분석해야 한다. 첫 번째 필드가 주된 분할 기준이 되며, 두 번째 필드는 주로 첫 번째 필드 내에서의 정렬 또는 추가 분할 역할을 한다. 따라서 첫 번째 필드의 선택이 전체 데이터 분산에 가장 큰 영향을 미치며, 이후 필드들은 세분화된 제어를 위해 사용된다. 이는 MongoDB나 Cassandra와 같은 NoSQL 데이터베이스에서 흔히 볼 수 있는 방식이다.

복합 샤드 키는 데이터 분산과 질의 성능 사이의 균형을 맞추는 강력한 도구이지만, 한 번 설정된 후 변경이 매우 어렵다는 점을 유의해야 한다. 또한, 샤드 키에 포함된 모든 필드에 대한 인덱스가 필요할 수 있으며, 불필요하게 많은 필드를 포함하면 오히려 관리 복잡성과 저장 공간 오버헤드가 증가할 수 있다. 따라서 실제 워크로드를 충분히 반영한 설계가 필수적이다.

샤드 키는 데이터베이스 샤딩을 구현할 때 데이터를 어떤 샤드에 배치할지를 결정하는 근본적인 기준이다. 이 키는 시스템 설계 초기에 결정되며, 한번 설정된 후에는 변경이 매우 어렵거나 불가능한 경우가 많다. 이는 샤드 키가 데이터의 물리적 배치 구조와 직접적으로 연결되어 있기 때문이다. 샤드 키를 변경하려면 기존에 분산 저장된 모든 데이터를 새로운 키 기준에 따라 재배치해야 하며, 이 과정은 대규모 데이터 마이그레이션을 수반한다.

샤드 키 변경의 어려움은 주로 운영 중인 시스템의 가용성과 성능에 큰 영향을 미친다는 점에서 비롯된다. 데이터를 재분배하는 동안에는 데이터베이스의 읽기 및 쓰기 성능이 저하될 수 있고, 심지어 서비스 중단이 발생할 수도 있다. 또한, 마이그레이션 과정에서 데이터의 정합성을 유지하고 트랜잭션을 보장하는 것은 복잡한 기술적 과제이다. 따라서 대부분의 분산 데이터베이스 시스템은 샤드 키를 변경하는 공식적인 방법을 제공하지 않거나, 제공하더라도 상당한 주의와 계획을 요구한다.

이러한 제약 때문에 샤드 키 설계는 시스템의 장기적인 성능과 확장성을 결정하는 가장 중요한 결정 중 하나로 여겨진다. 설계자는 애플리케이션의 현재 및 미래 예상 질의 패턴, 데이터의 카디널리티와 분산도, 그리고 데이터 증가 추세를 면밀히 분석하여 최적의 샤드 키를 선정해야 한다. 잘못된 샤드 키 선택은 나중에 핫스팟이 발생하거나 샤드 간 데이터 불균형을 초래하여 시스템 전체의 효율성을 크게 떨어뜨릴 수 있다.

핫스팟 방지는 샤드 키 설계에서 가장 중요한 고려사항 중 하나이다. 핫스팟은 특정 샤드에만 과도한 읽기 또는 쓰기 요청이 집중되는 현상을 말하며, 이는 해당 샤드의 성능 저하를 초래하고 전체 분산 데이터베이스 시스템의 확장성 이점을 무력화시킨다. 핫스팟은 주로 데이터 분포가 균일하지 않거나, 특정 값에 대한 접근 빈도가 지나치게 높은 샤드 키를 사용할 때 발생한다.

핫스팟을 방지하기 위한 핵심은 데이터와 작업 부하를 가능한 한 균등하게 분산시키는 샤드 키를 선택하는 것이다. 예를 들어, 단조 증가하는 값(예: 자동 증가 기본 키, 타임스탬프)만을 샤드 키로 사용하면 모든 새로운 데이터가 가장 최근의 샤드에만 기록되어 쓰기 핫스팟이 발생할 수 있다. 마찬가지로 특정 범위의 데이터(예: 특정 지역 코드, 활성 사용자 그룹)에 대한 질의가 빈번하다면 해당 데이터가 저장된 샤드가 읽기 핫스팟이 될 위험이 있다.

이를 해결하기 위한 일반적인 전략은 해시드 샤드 키를 사용하는 것이다. 해시 함수를 통해 원본 키 값을 무작위에 가까운 값으로 변환하여 데이터를 각 샤드에 균일하게 분배함으로써 쓰기 부하의 균등 분산을 달성할 수 있다. 그러나 이 방식은 범위 기반 질의의 효율성을 떨어뜨릴 수 있다는 단점이 있다. 또 다른 접근법은 자연스럽게 고르게 분포된 속성(예: 고유한 사용자명, 고르게 분산된 카디널리티를 가진 값)을 선택하거나, 단조 증가 값을 다른 필드와 조합하여 복합 샤드 키를 구성하는 것이다.

결국 핫스팟 방지는 애플리케이션의 실제 질의 패턴과 데이터의 특성을 깊이 이해한 상태에서 이루어져야 한다. 설계 단계에서 다양한 시나리오를 시뮬레이션하거나, 실제 트래픽 패턴을 분석하여 특정 샤드 키 후보가 핫스팟을 유발하지 않는지 사전에 검증하는 과정이 필수적이다.

샤드 간 데이터 균형은 샤딩된 데이터베이스 시스템의 성능과 안정성을 결정하는 핵심 요소이다. 이는 각 샤드에 저장된 데이터의 양과 처리되는 트래픽이 고르게 분배되어 있음을 의미한다. 균형이 잘 잡힌 시스템은 모든 서버가 비슷한 부하를 처리하므로 자원을 효율적으로 활용하고, 특정 샤드에 과부하가 집중되는 핫스팟 현상을 방지하며, 전체적인 확장성을 보장한다.

샤드 간 균형을 유지하기 위해서는 샤드 키의 선택이 결정적이다. 이상적인 샤드 키는 높은 카디널리티와 우수한 분산도를 가져야 한다. 예를 들어, 사용자 ID나 주문 번호처럼 값의 종류가 많고, 각 값이 발생하는 빈도가 비슷한 필드를 샤드 키로 사용하면 데이터가 자연스럽게 고르게 분산될 가능성이 높다. 반면, 성별이나 국가 코드처럼 값의 종류가 적은 필드는 특정 값에 데이터가 몰려 샤드 불균형을 초래할 수 있다.

샤드 키 전략에 따라 균형 유지 방식도 달라진다. 해시드 샤드 키는 키 값을 해시 함수에 입력하여 무작위에 가까운 값을 생성하고, 이를 기준으로 데이터를 분배한다. 이는 데이터를 균일하게 분산시키는 데 매우 효과적이지만, 범위 기반의 질의 성능에는 불리할 수 있다. 레인지 샤드 키는 키 값의 순서를 유지하며 특정 범위를 각 샤드에 할당하는 방식으로, 범위 쿼리에 유리하지만 데이터가 시간순으로 증가하는 경우 최신 데이터가 집중되는 핫스팟이 발생할 수 있어 주의가 필요하다.

데이터가 지속적으로 추가되거나 삭제되면 한때 균형 잡혔던 분포가 깨질 수 있다. 대부분의 현대 분산 데이터베이스 시스템은 자동 리밸런싱 기능을 제공하여, 미리 정의된 임계값을 기준으로 샤드 간에 데이터 청크를 자동으로 이동시켜 균형을 유지한다. 그러나 샤드 키 자체의 설계가 근본적으로 불균형을 유발한다면, 리밸런싱이 빈번하게 발생하거나 효과가 제한적일 수 있으므로 초기 설계 단계에서의 신중한 고려가 필수적이다.