S3 (r1)

버킷은 S3에서 데이터를 저장하는 최상위 컨테이너이다. 모든 객체(Object)는 반드시 하나의 버킷 안에 저장되며, 버킷 이름은 전역적으로 고유해야 한다. 버킷은 리전(Region) 수준에서 생성되며, 데이터는 해당 리전 내에 물리적으로 저장된다. 사용자는 버킷을 생성하여 파일, 이미지, 비디오 등 다양한 형태의 데이터를 객체 형태로 업로드하고 관리한다.

버킷의 주요 속성으로는 이름, 생성 리전, 액세스 관리 및 보안 정책, 버전 관리 설정, 로깅 설정, 정적 웹사이트 호스팅 구성 등이 있다. 버킷 정책과 ACL (액세스 제어 목록)을 통해 다른 AWS 사용자나 서비스에 대한 접근 권한을 세밀하게 제어할 수 있다.

버킷의 명명 규칙과 제한 사항은 다음과 같다.

버킷을 생성한 후에는 리전을 변경할 수 없으며, 버킷 이름도 수정이 불가능하다. 필요한 경우 새로운 버킷을 생성하고 데이터를 이전해야 한다. 버킷은 무제한의 객체를 저장할 수 있으며, 단일 객체의 크기는 최대 5TB까지 지원한다.

객체는 S3에 저장되는 기본 단위이다. 객체는 파일 데이터 자체와 해당 데이터를 설명하는 메타데이터, 그리고 고유 식별자인 키로 구성된다.

객체의 구조는 다음과 같다.

객체는 HTTP 또는 HTTPS 프로토콜을 통해 업로드 및 다운로드된다. 객체 키는 URL의 일부로 사용되며, 객체에 대한 작업은 REST API, AWS SDK, AWS Management Console 등을 통해 수행된다. 객체는 업로드 시 자동으로 중복 저장되어 내구성을 보장하며, 필요에 따라 암호화를 적용할 수 있다.

리전은 아마존 웹 서비스가 전 세계에 구축한 지리적 영역을 가리킨다. 각 리전은 하나 이상의 가용 영역으로 구성되며, 가용 영역은 물리적으로 분리된 데이터 센터의 집합이다. 사용자는 데이터를 저장할 버킷을 생성할 때 특정 리전을 선택해야 한다.

리전 선택은 지연 시간, 규정 준수 요구사항, 비용에 직접적인 영향을 미친다. 사용자와 지리적으로 가까운 리전을 선택하면 데이터 업로드 및 다운로드 속도가 향상된다. 또한, 데이터 주권 법률에 따라 데이터가 특정 국가나 지역 내에 상주해야 하는 경우 해당 리전을 선택해야 한다. S3의 요금은 리전마다 상이하며, 일반적으로 미국 리전이 가장 저렴한 편이다.

리전 간 데이터 전송은 S3 교차 리전 복제 기능을 통해 자동화할 수 있지만, 이에 대해서는 별도의 데이터 전송 비용이 발생한다. 재해 복구 전략을 위해 데이터를 지리적으로 분산하여 저장하는 것이 일반적이다.

S3는 다양한 데이터 접근 패턴과 내구성 요구 사항에 맞춰 비용을 최적화할 수 있도록 여러 스토리지 클래스를 제공한다. 각 클래스는 데이터의 접근 빈도, 가용성, 내구성 및 저장 비용 측면에서 다른 특성을 가진다.

주요 스토리지 클래스는 다음과 같다.

사용자는 객체를 업로드할 때 스토리지 클래스를 지정할 수 있으며, 이후 수명 주기 정책을 구성하여 객체의 액세스 패턴 변화에 따라 클래스를 자동으로 전환할 수 있다. 예를 들어, 30일 후에 S3 Standard 객체를 S3 Standard-IA로, 90일 후에는 S3 Glacier로 이동하는 정책을 설정할 수 있다. 이를 통해 데이터의 수명 주기 전반에 걸쳐 스토리지 비용을 효율적으로 관리할 수 있다.

액세스 관리는 IAM 정책, 버킷 정책, ACL 및 사전 서명된 URL을 통해 이루어진다. IAM 정책은 AWS 계정 내 사용자나 역할에게 세분화된 권한을 부여하는 데 사용된다. 버킷 정책은 버킷 수준에서 특정 조건 하에 객체에 대한 액세스를 허용하거나 거부하는 JSON 문서이다. ACL은 레거시 방식이지만 개별 객체에 대한 기본적인 읽기/쓰기 권한을 설정할 수 있다. 사전 서명된 URL은 임시적으로 객체를 업로드하거나 다운로드할 수 있는 권한을 부여하는 시간 제한이 있는 URL을 생성한다.

보안 측면에서 모든 데이터는 업로드 및 다운로드 시 TLS를 통한 암호화 전송을 보장한다. 저장 데이터 암호화는 서버 측 암호화(SSE)와 클라이언트 측 암호화로 구분된다. SSE는 다시 SSE-S3(Amazon S3 관리 키), SSE-KMS(KMS 관리 키), SSE-C(고객 제공 키) 옵션을 제공한다. 또한 버킷에 대한 모든 API 호출을 기록하는 AWS CloudTrail 및 S3 자체의 접근 로그 기록 기능을 통해 포괄적인 감사와 모니터링이 가능하다.

데이터 무결성 검증을 위해 S3는 업로드 시 자동으로 MD5 체크섬을 계산하여 데이터 손상을 검사한다. 또한 버킷 버저닝 기능을 활성화하면 객체의 실수로 인한 삭제나 덮어쓰기를 방지하고 이전 버전으로 복구할 수 있다.

S3는 단순한 파일 저장소를 넘어 다양한 데이터 관리 기능을 제공하여 데이터의 수명 주기, 구성, 무결성을 효율적으로 관리할 수 있게 한다.

핵심 데이터 관리 기능으로는 S3 수명 주기 관리가 있다. 이 기능을 사용하면 객체의 생성 시점이나 마지막 접근 시점을 기준으로 자동으로 스토리지 클래스를 변경하거나 삭제하는 규칙을 설정할 수 있다. 예를 들어, 30일 후에는 S3 Standard에서 S3 Standard-IA로 이동하고, 1년 후에는 S3 Glacier로 아카이빙하는 정책을 정의할 수 있다. 이를 통해 수동 작업 없이도 비용을 최적화하면서 데이터를 보관할 수 있다. 또 다른 중요한 기능은 S3 버전 관리이다. 이 기능을 활성화하면 동일한 키를 가진 객체를 덮어쓰거나 삭제하더라도 모든 이전 버전이 보존되어 실수로 인한 데이터 손실을 방지하고, 필요시 이전 버전으로 복구할 수 있다.

데이터 구성과 성능 최적화를 위한 기능도 제공된다. S3 인벤토리는 버킷 내 객체의 목록과 메타데이터(크기, 수정 날짜, 스토리지 클래스 등)를 정기적으로 CSV, ORC, Parquet 형식의 보고서로 생성하여 별도의 ListObjects API 호출 없이도 객체를 추적하고 감사할 수 있게 한다. 대규모 데이터 세트에 대한 성능을 높이기 위해 S3 배치 작업을 사용하면 단일 API 요청으로 수백만 개의 객체에 대해 복사, 태그 추가, 접근 제어 목록(ACL) 복원 등의 작업을 수행할 수 있다. 또한, S3 객체 락 기능을 통해 WORM 모델을 구현하여 규정 준수 요구사항에 따라 객체를 지정된 기간 동안 또는 무기한으로 삭제나 덮어쓰기로부터 보호할 수 있다.

S3는 내구성, 확장성, 비용 효율성 덕분에 기업과 개인에게 널리 사용되는 데이터 백업 및 아카이빙 솔루션이다. 데이터는 여러 가용 영역에 걸쳐 자동으로 복제되어 하드웨어 장애로부터 보호받는다. 사용자는 S3 스탠더드, S3 스탠더드-IA, S3 글레이셔 등 다양한 스토리지 클래스를 선택하여 접근 빈도와 비용 요구사항에 맞춰 데이터를 저장할 수 있다. 예를 들어, 자주 액세스하는 핵심 백업 데이터는 S3 스탠더드에, 장기 보관이 목적인 아카이브 데이터는 검색 시간이 몇 분에서 몇 시간 걸리지만 비용이 매우 낮은 S3 글레이셔에 저장하는 방식이다.

백업 전략을 구현할 때는 S3 수명 주기 정책을 활용하는 것이 일반적이다. 이 정책을 사용하면 사전 정의된 규칙에 따라 객체를 한 스토리지 클래스에서 다른 클래스로 자동 전환하거나, 특정 기간 후에 삭제할 수 있다. 예를 들어, 30일 후에는 스탠더드에서 스탠더드-IA로, 1년 후에는 글레이셔로 이동하도록 설정할 수 있다. 또한 S3 버전 관리 기능을 활성화하면 실수로 인한 삭제나 덮어쓰기를 방지할 수 있어 데이터 복구 능력을 한층 강화한다.

이러한 특성으로 인해 S3는 온프레미스 서버, 데이터베이스, 가상 머신 이미지의 백업부터 법적 보존을 위한 문서 아카이빙에 이르기까지 광범위한 백업 및 아카이빙 시나리오에 적용된다.

S3는 HTML, CSS, 자바스크립트, 이미지, 동영상 등 정적 파일을 호스팅하여 완전한 웹사이트를 구동할 수 있는 기능을 제공한다. 이는 웹 서버나 애플리케이션 서버가 필요하지 않으며, S3 버킷 자체가 호스팅 엔드포인트 역할을 한다. 사용자는 버킷을 웹사이트 호스팅용으로 구성하고, 인덱스 문서(예: index.html)와 오류 문서(예: error.html)를 지정하기만 하면 된다. 이후 생성된 웹사이트 엔드포인트 URL을 통해 사이트에 접근할 수 있다.

이 호스팅 방식은 확장성과 내구성이 매우 뛰어나며, AWS의 글로벌 인프라를 활용하여 전 세계 사용자에게 낮은 지연 시간으로 콘텐츠를 제공할 수 있다. 특히 트래픽이 급증하는 상황에서도 자동으로 확장되므로 용량 계획이나 서버 관리에 대한 부담이 없다. 정적 콘텐츠는 S3와 Amazon CloudFront를 함께 사용하여 캐싱 및 CDN을 통해 성능을 더욱 최적화할 수 있다.

주요 구성 요소와 특징은 다음과 같다.

이 방식은 블로그, 문서 사이트, 랜딩 페이지, 단일 페이지 애플리케이션(SPA) 등 콘텐츠가 자주 변경되지 않는 사이트에 이상적이다. 그러나 서버 사이드 스크립트(예: PHP, ASP.NET) 처리가 필요한 동적 웹사이트에는 적합하지 않다.

S3는 빅 데이터 분석 파이프라인의 핵심 구성 요소로 널리 사용된다. 분석에 필요한 대규모의 원시 데이터나 처리된 데이터 세트를 저장하는 데 적합한 플랫폼을 제공하며, AWS의 다양한 분석 서비스와 긴밀하게 통합되어 있다.

주요 분석 서비스와의 연동은 다음과 같다. Amazon Athena는 S3에 저장된 데이터에 대해 표준 SQL 쿼리를 실행할 수 있게 해주는 서버리스 서비스이다. Amazon Redshift는 데이터 웨어하우스 서비스로, S3로부터 데이터를 직접 불러오거나 분석 결과를 다시 S3에 내보낼 수 있다. Amazon EMR(Elastic MapReduce)은 Apache Spark나 Hadoop 같은 빅 데이터 프레임워크를 실행하여 S3에 저장된 데이터를 처리한다. 이러한 서비스들은 모두 S3를 중앙 데이터 레이크의 기반 스토리지로 활용한다.

데이터 레이크 구축에서 S3의 장점은 거의 무제한에 가까운 확장성과 비용 효율성에 있다. 다양한 형식(예: CSV, JSON, Parquet, ORC)의 데이터를 원본 그대로 저장할 수 있으며, 필요에 따라 S3 Intelligent-Tiering 같은 스토리지 클래스를 사용해 비용을 최적화할 수 있다. 또한, Amazon Kinesis나 AWS Glue 같은 서비스와 결합하면 실시간 스트리밍 데이터를 S3로 수집하고, 자동으로 카탈로그화 및 변환하는 파이프라인을 구축할 수 있다.