일괄 처리 시스템

작업은 일반적으로 작업 제어 언어나 시스템이 제공하는 특정 스크립트를 통해 정의된다. 이 정의에는 실행할 프로그램의 경로, 필요한 입력 데이터의 위치, 출력을 저장할 경로, 그리고 작업 실행에 필요한 컴퓨팅 자원의 양(예: CPU 시간, 메모리)에 대한 명세가 포함된다. 일부 시스템에서는 작업 간의 의존성을 정의하여 특정 작업이 완료된 후에만 다음 작업이 실행되도록 설정할 수 있다.

작업 제출은 사용자가 정의한 작업을 시스템의 대기열에 넣는 과정이다. 사용자는 명령줄 인터페이스나 웹 인터페이스, API를 통해 작업을 제출한다. 제출된 작업은 즉시 실행되지 않고, 작업 스케줄러가 자원 상황과 우선순위에 따라 실행 시점을 결정할 때까지 대기 상태로 남아 있다. 제출 시 작업에 고유한 ID가 부여되어 상태 추적과 관리가 가능해진다.

작업 정의 파일의 형식은 시스템마다 차이가 있다. 예를 들어, Hadoop의 경우 MapReduce 프로그램을 패키징한 JAR 파일과 설정을 명시하는 것이 일반적이다. 전통적인 메인프레임 시스템에서는 JCL과 같은 전용 언어를 사용했다.

작업 스케줄링은 일괄 처리 시스템에서 대기열에 쌓인 작업들을 효율적으로 순서화하고, 가용한 컴퓨팅 자원에 할당하는 핵심 과정이다. 이 과정의 주요 목표는 전체 시스템의 처리량을 최대화하거나, 작업들의 평균 완료 시간을 최소화하는 것이다. 스케줄러는 작업의 우선순위, 예상 소요 시간, 필요한 자원 양, 그리고 작업 간의 의존성 등의 정보를 고려하여 결정을 내린다.

일반적인 스케줄링 정책은 다음과 같이 분류된다.

현대의 분산 일괄 처리 시스템에서는 클러스터 환경에서 동작하는 고급 스케줄러가 사용된다. 이러한 스케줄러는 다수의 작업 관리자로부터 작업을 수집하고, 클러스터 내의 여러 노드에 분산하여 할당한다. 자원 할당 시에는 CPU 코어 수, 메모리 용량, 디스크 공간, 네트워크 대역폭 등을 고려하여 자원 관리를 수행한다. 또한, 특정 작업이 실패했을 때를 대비한 재시도 정책이나, 더 높은 우선순위의 작업이 도착했을 때 선점을 허용할지 여부도 중요한 스케줄링 결정 요소이다.

효율적인 스케줄링은 시스템 자원의 유휴 상태를 줄이고, 작업 처리의 전체적인 지연을 방지한다. 특히 데이터 지역성을 고려하여, 작업을 해당 데이터가 저장된 물리적 노드에 가깝게 배치하면 데이터 전송 오버헤드를 크게 줄일 수 있다[1]. 따라서 스케줄러는 자원 가용성과 데이터의 물리적 위치 정보를 종합적으로 판단하여 최적의 실행 계획을 수립한다.

자원 관리는 일괄 처리 시스템이 제한된 컴퓨팅 자원(예: CPU, 메모리, 디스크 I/O, 네트워크 대역폭)을 여러 작업 사이에 효율적으로 할당하고 모니터링하는 과정을 말한다. 이는 시스템의 전체 처리량을 극대화하고 개별 작업의 성능 요구 사항을 충족시키는 데 핵심적인 역할을 한다. 자원 관리자는 작업의 실행을 위해 필요한 자원을 예약하고, 실제 사용량을 추적하며, 작업 완료 후 자원을 시스템에 반환하는 책임을 진다.

자원 할당은 일반적으로 작업이 제출될 때 명시된 자원 요구 사항(예: 필요한 코어 수, 메모리 양)을 기반으로 이루어진다. 시스템은 이러한 요청을 받아들여 사용 가능한 자원 풀에서 적절한 양을 할당한다. 대규모 클러스터 환경에서는 자원 관리자가 중앙에서 클러스터 전체의 자원을 통합 관리하는 아키텍처를 사용한다. 대표적인 예로 Apache Hadoop YARN이나 Apache Mesos가 있으며, 이들은 클러스터의 자원을 가상화하여 다양한 일괄 처리 프레임워크(예: MapReduce, Apache Spark)에 동적으로 할당할 수 있게 한다.

효율적인 자원 관리를 위한 주요 기법은 다음과 같다.

자원 관리의 궁극적 목표는 주어진 하드웨어 인프라 내에서 가능한 한 많은 작업을 성공적으로 완료하는 것이다. 따라서 자원 할당의 공정성과 효율성 사이의 균형, 그리고 작업의 우선순위와 서비스 수준 계약(SLA)을 고려한 정책 수립이 중요하다.

작업 관리자는 일괄 처리 시스템에서 사용자가 정의한 작업을 시스템에 제출하고, 그 생명주기를 관리하는 핵심 구성 요소이다. 이 컴포넌트는 작업의 제출, 큐잉, 상태 추적, 완료 또는 실패 처리의 전 과정을 담당한다. 사용자는 작업 관리자에게 작업 제출을 통해 처리할 데이터와 실행할 프로그램 또는 스크립트를 정의한 작업 명세를 전달한다. 작업 관리자는 이를 받아 시스템이 처리할 수 있는 내부 형식으로 변환하고, 대기 큐에 넣어 스케줄러가 선택할 수 있도록 준비한다.

작업 관리자의 주요 기능은 작업의 상태를 지속적으로 모니터링하고 사용자에게 피드백을 제공하는 것이다. 작업이 실행되는 동안 작업 관리자는 실행 엔진이나 클러스터 리소스 매니저로부터 상태 업데이트를 받아 작업이 '대기 중', '실행 중', '완료', '실패' 중 어느 단계에 있는지 추적한다. 사용자는 일반적으로 작업 관리자가 제공하는 명령줄 인터페이스(CLI)나 웹 기반 대시보드를 통해 제출한 작업의 진행 상황을 확인할 수 있다.

또한, 작업 관리자는 오류 처리와 재시도 정책을 관리하는 역할도 수행한다. 작업 실행 중 하드웨어 장애나 소프트웨어 예외 등으로 인해 실패하면, 작업 관리자는 미리 정의된 정책에 따라 작업을 자동으로 재시도할 수 있다. 재시도 횟수를 초과하거나 복구 불가능한 오류가 발생하면, 작업 관리자는 작업을 최종적으로 실패 상태로 표시하고 관련 로그와 진단 정보를 사용자에게 보고한다.

스케줄러는 일괄 처리 시스템의 핵심 구성 요소로, 대기열에 제출된 작업들을 실행할 순서와 시점을 결정하는 역할을 담당한다. 시스템의 전체 처리량을 최대화하고, 자원을 효율적으로 활용하며, 사용자가 정의한 우선순위나 제출 시간 같은 제약 조건을 만족시키는 것이 주요 목표이다.

스케줄링 정책은 시스템의 목표에 따라 다양하게 설계된다. 일반적인 정책으로는 선입선출, 최단 작업 우선, 우선순위 기반 스케줄링 등이 있다. 선입선출은 단순하지만 자원 활용도가 낮을 수 있으며, 최단 작업 우선은 평균 대기 시간을 줄이는 데 유리하다. 현대의 분산 일괄 처리 시스템에서는 데이터 지역성을 고려하여 작업을 데이터가 저장된 노드에 할당하거나, 작업 병렬화를 위해 여러 작업을 동시에 실행시키는 정책을 채택하기도 한다[4].

스케줄러는 작업 관리자로부터 작업 목록을 받아들이고, 실행 엔진이나 클러스터 자원 관리자와 통신하여 실제 컴퓨팅 자원(CPU, 메모리, 디스크)을 할당한다. 이 과정에서 작업 간의 의존성, 자원 가용성, 시스템 부하 등을 지속적으로 모니터링하며 동적인 스케줄링 결정을 내린다.

실행 엔진은 일괄 처리 시스템에서 작업 스케줄러에 의해 할당된 실제 컴퓨팅 작업을 수행하는 핵심 구성 요소이다. 이 엔진은 작업 정의에 명시된 프로그램 코드나 명령어를 물리적 또는 가상의 컴퓨팅 자원 위에서 실행하고, 작업의 완료 상태를 관리자에게 보고하는 역할을 담당한다. 실행 엔진의 설계는 처리할 데이터의 규모, 시스템의 내고장성, 그리고 자원 관리 방식에 따라 크게 달라진다.

일반적인 실행 엔진은 작업 관리자로부터 받은 작업 단위(예: 맵 태스크, 리듀스 태스크)를 특정 노드의 컨테이너나 프로세스에서 구동한다. 주요 책임은 다음과 같다.

Hadoop MapReduce의 경우, YARN이 리소스 매니저와 노드 매니저를 통해 실행 엔진의 기능을 제공한다. 각 노드의 노드 매니저는 컨테이너를 생성하고, 그 안에서 사용자의 맵 또는 리듀스 코드가 실행된다. 반면, Apache Spark는 RDD 기반의 DAG 스케줄러와 태스크 스케줄러를 내장한 자체 실행 엔진을 가지며, 인메모리 컴퓨팅을 통해 작업을 효율적으로 처리한다. 실행 엔진의 성능은 데이터 지역성을 얼마나 잘 보장하는지, 작업 병렬화를 어떻게 구현하는지에 크게 의존한다.

Hadoop MapReduce는 아파치 하둡 생태계의 핵심 구성 요소로, 대규모 데이터 세트를 병렬 분산 처리하기 위한 프로그래밍 모델이자 소프트웨어 프레임워크이다. 이 모델은 구글의 MapReduce 논문[5]에서 그 개념을 차용하여 개발되었다. 사용자는 데이터 처리 로직을 Map과 Reduce라는 두 가지 함수로 정의하며, 프레임워크는 이 함수들을 클러스터의 수많은 노드에 자동으로 분배하고 실행하며, 장애 복구, 통신, 데이터 분산 등 복잡한 분산 처리의 세부 사항을 모두 처리한다.

처리 과정은 명확한 단계로 구분된다. 먼저 입력 데이터는 여러 조각으로 분할되어 클러스터의 노드들에 분산 저장된다. Map 단계에서는 각 노드가 할당받은 데이터 조각을 읽어 사용자 정의 map 함수를 적용하여 중간 키-값 쌍을 생성한다. 이후 셔플 단계에서 동일한 키를 가진 중간 값들은 네트워크를 통해 같은 리듀서 노드로 모인다. 마지막으로 Reduce 단계에서 각 리듀서는 키별로 그룹화된 값들의 리스트에 사용자 정의 reduce 함수를 적용하여 최종 결과를 계산하고 출력한다.

이 시스템의 주요 특징은 내결함성과 확장성에 있다. 작업은 수백, 수천 대의 상용 서버로 구성된 클러스터에서 실행되도록 설계되었으며, 개별 노드의 장애가 발생하더라도 프레임워크가 자동으로 해당 작업을 다른 정상 노드에서 재실행하여 전체 작업의 완료를 보장한다. 데이터는 HDFS에 저장되어 처리되며, 가능한 경우 계산을 데이터가 위치한 노드로 이동시켜 네트워크 대역폭을 절약하는 데이터 지역성 원칙을 따르도록 최적화되어 있다.

Hadoop MapReduce는 단순하면서도 강력한 모델로, 초기 빅데이터 처리의 사실상 표준이 되었으며, 웹 인덱싱, 로그 분석, 대규모 데이터 집계 등 다양한 배치 처리 작업의 기반을 제공했다.

Apache Spark는 대규모 데이터 처리를 위한 오픈 소스 통합 컴퓨팅 엔진 및 클러스터 컴퓨팅 프레임워크이다. 메모리 내 처리를 중심으로 설계되어 디스크 기반 처리에 의존하는 전통적인 일괄 처리 시스템보다 훨씬 빠른 성능을 제공하는 것이 핵심 특징이다. Spark는 일괄 처리, 대화형 쿼리, 스트림 처리, 머신 러닝을 하나의 통합 스택으로 지원한다.

Spark의 핵심 추상화는 RDD와 DataFrame이다. RDD는 변경 불가능한 분산 객체 컬렉션으로, 장애 복구를 위한 탄력적 분산 데이터셋의 기반이 된다. 이후 도입된 DataFrame은 명명된 열을 가진 테이블 형태의 데이터 추상화로, 카탈리스트 옵티마이저와 퉁스텐 실행 엔진을 통해 더 높은 수준의 최적화와 성능을 제공한다. Spark의 아키텍처는 드라이버 프로그램, 클러스터 매니저, 그리고 다수의 익스큐터로 구성된다.

Spark는 다양한 언어 API를 제공하며, 주로 Scala, Java, Python, R을 지원한다. 작업 실행 흐름은 사용자 코드가 SparkContext를 통해 DAG로 변환되고, DAG 스케줄러와 태스크 스케줄러에 의해 세분화되어 클러스터의 익스큐터에 분배된다. 내결함성은 RDD의 라이니지 정보를 통해 데이터를 재계산하는 방식으로 구현된다.

Apache Flink는 기본적으로 스트림 처리를 위한 분산 처리 프레임워크로 설계되었다. 그러나 Flink의 실행 엔진은 유한한 데이터 집합을 무한한 스트림의 특별한 경우로 간주하여, 동일한 런타임으로 배치 처리 작업도 효율적으로 수행할 수 있다[6]. 따라서 Flink의 배치 모드는 별도의 실행 엔진이 아닌, 스트림 처리의 기본 모델 위에 구현된 애플리케이션 실행 방식 중 하나이다.

배치 모드에서는 입력 데이터가 이미 완전히 존재하는 유한한 데이터 소스(예: HDFS의 파일, S3 버킷)로부터 읽힌다. Flink는 이 데이터를 '유한 스트림(Bounded Stream)'으로 처리하며, 데이터의 끝이 명확히 정의되어 있다. 이는 작업 스케줄링과 최종 결과 산출에 영향을 미친다. 예를 들어, 윈도우 연산이 명시적으로 정의되지 않아도 전체 데이터 세트를 하나의 윈도우로 간주하여 처리할 수 있으며, 모든 입력 데이터가 처리되면 최종 결과가 자동으로 출력된다.

Flink 배치 모드의 주요 최적화 기법은 데이터 지역성을 극대화하는 실행 계획 생성에 있다. 특히 shuffle 단계에서 네트워크 전송을 최소화하기 위해, 정렬 병합 조인이나 해시 조인과 같은 연산 전략을 사전에 계획한다. 또한, 메모리 관리와 직렬화에 있어서도 스트림 처리와는 다른 최적화를 적용하여 대용량 데이터를 디스크에 쓰는 빈도를 줄이고 처리 효율을 높인다.

DataSet API는 Flink의 전통적인 배치 처리 API였으나, 현재는 DataStream API를 배치 모드로 실행하거나, 더 높은 수준의 추상화를 제공하는 Table API 및 SQL을 사용하는 것이 권장된다. 이를 통해 사용자는 동일한 애플리케이션 로직을 배치와 스트림 처리 모두에 적용할 수 있는 통합 프로그래밍 모델의 이점을 얻는다.

데이터 지역성 활용은 일괄 처리 시스템의 성능을 극대화하기 위한 핵심 최적화 기법 중 하나이다. 이 기법은 처리할 데이터가 저장된 물리적 위치와 그 데이터를 처리하는 컴퓨팅 노드를 가능한 한 가깝게 배치함으로써 네트워크를 통한 데이터 이동을 최소화하는 원리이다. 대규모 데이터를 처리할 때 데이터 전송에 소요되는 네트워크 대역폭과 지연 시간은 전체 작업 실행 시간의 주요 병목 지점이 될 수 있다. 따라서 데이터가 이미 로컬 디스크에 존재하는 노드에서 작업을 실행하도록 작업 스케줄러가 배치하는 것이 효율적이다.

이 개념은 Hadoop의 HDFS와 MapReduce 프레임워크에서 명확하게 구현되었다. HDFS는 대용량 파일을 여러 블록으로 나누어 클러스터의 여러 노드에 분산 저장한다. MapReduce 작업이 제출되면, 리소스 매니저는 각 데이터 블록의 위치 정보를 확인하고, 가능한 한 그 블록을 보유한 데이터 노드에서 해당 맵 태스크를 실행하도록 스케줄링한다. 이를 '노드 지역성', '랙 지역성' 등으로 구분하여 최적의 실행 위치를 선정한다. 데이터 지역성을 확보하지 못한 경우, 네트워크를 통해 원격 데이터를 읽어야 하므로 처리 속도가 현저히 저하된다.

데이터 지역성 최적화의 효과는 처리 데이터의 규모가 클수록 더욱 두드러진다. 시스템은 일반적으로 다음 세 가지 수준의 지역성을 우선순위에 따라 추구한다.

이러한 스케줄링 정책은 데이터 센터의 네트워크 토폴로지와 자원 가용성을 고려하여, 불필요한 크로스랙 트래픽을 줄이고 전체 클러스터의 처리 처리량을 향상시킨다. 현대의 분산 컴퓨팅 프레임워크는 자원 관리자와 협력하여 데이터 지역성을 최대한 보장하면서도 클러스터 자원의 균형 있는 활용 사이에서 최적의 결정을 내린다.

작업 병렬화는 일괄 처리 시스템의 성능을 극대화하기 위한 핵심 기법 중 하나이다. 이는 하나의 큰 작업을 여러 개의 독립적이거나 약하게 결합된 하위 작업으로 분할하여, 여러 컴퓨팅 자원에서 동시에 실행하는 것을 의미한다. 시스템의 전체 처리량을 높이고 작업 완료 시간을 단축하는 데 목적이 있다.

병렬화는 일반적으로 데이터와 처리 로직 두 축에서 이루어진다. 데이터 병렬화는 입력 데이터를 여러 파티션으로 나누어 각 파티션에 대해 동일한 처리 함수를 적용하는 방식이다. 대표적인 예로 Hadoop MapReduce의 맵 단계가 있다. 작업 병렬화는 서로 다른 함수나 작업을 여러 노드에서 동시에 실행하는 방식으로, DAG 기반 스케줄러를 사용하는 Apache Spark나 Apache Tez에서 효과적으로 구현된다.

효과적인 작업 병렬화를 구현하기 위해서는 몇 가지 고려사항이 필요하다. 첫째, 작업 간 의존성을 최소화하여 독립적으로 실행 가능한 단위로 분할해야 한다. 둘째, 데이터 분할과 작업 분배 과정에서 발생하는 오버헤드가 병렬화로 인한 이득을 상쇄하지 않도록 균형을 잡아야 한다. 셋째, 자원 관리 시스템과 긴밀하게 연동되어 가용한 CPU, 메모리, 디스크, 네트워크 대역폭을 효율적으로 활용할 수 있어야 한다.

이러한 기법들은 대규모 데이터 분석, ETL 프로세스, 머신 러닝 모델 학습과 같은 계산 집약적이고 데이터 중심의 작업을 처리할 때 필수적이다.

일괄 처리 시스템은 방대한 양의 정적 데이터를 한꺼번에 수집, 변환, 분석하는 데 적합한 패러다임이다. 대규모 데이터 분석은 이러한 시스템의 가장 대표적인 사용 사례로, 데이터 웨어하우스 구축, 비즈니스 인텔리전스, 로그 분석 등 다양한 분야에서 핵심 역할을 한다. 분석 작업은 일반적으로 하루나 한 주 같은 정해진 주기로 실행되며, ETL 과정을 통해 원천 데이터를 정제하고 통합된 형태로 변환한 후 복잡한 분석 쿼리를 수행한다.

주요 분석 작업 유형은 다음과 같다.

이러한 분석은 Hadoop MapReduce, Apache Spark, Apache Hive와 같은 프레임워크를 통해 수행된다. 특히 맵리듀스 모델은 데이터를 여러 노드에 분산시켜 병렬 처리함으로써 단일 컴퓨터로는 처리 불가능한 페타바이트 규모의 데이터셋을 분석할 수 있게 한다. 분석 결과는 주로 보고서, 대시보드, 또는 다른 시스템에서 활용할 수 있는 구조화된 데이터셋 형태로 출력된다.

대규모 데이터 분석을 위한 일괄 처리의 장점은 처리량이 크고 비용 효율적이라는 점이다. 한 번에 많은 데이터를 처리하므로 스트림 처리에 비해 단위 데이터당 오버헤드가 낮다. 또한 작업 실행 전에 모든 입력 데이터를 사용할 수 있기 때문에 전역 최적화가 가능하고, 재현 가능한 결과를 얻기 쉬워 데이터 과학 실험에 유리하다. 그러나 실시간성이 요구되는 분석에는 적합하지 않다는 한계를 가진다.

ETL은 데이터를 추출(Extract), 변환(Transform), 적재(Load)하는 과정을 의미하는 데이터 처리 패턴이다. 이는 서로 다른 소스 시스템에서 데이터를 가져와 분석이나 보고에 적합한 형태로 변환한 후, 데이터 웨어하우스나 데이터 레이크 같은 목적지 저장소에 체계적으로 로드하는 작업을 포함한다. 일괄 처리 시스템은 이러한 ETL 작업을 자동화하고 대규모로 효율적으로 실행하기 위한 핵심 플랫폼 역할을 한다.

ETL 프로세스는 일반적으로 정해진 일정(예: 매일 밤, 매주 일요일)에 따라 실행되는 일괄 작업으로 구현된다. 추출 단계에서는 관계형 데이터베이스, 로그 파일, CSV 파일 등 다양한 소스로부터 원본 데이터를 읽어온다. 변환 단계에서는 데이터 정제, 형식 표준화, 중복 제거, 비즈니스 규칙 적용, 집계 계산 등 복잡한 로직이 수행되어 데이터의 품질과 일관성을 보장한다. 최종 적재 단계에서는 처리된 데이터가 분석 시스템에 로드되어 비즈니스 인텔리전스 도구나 데이터 과학 애플리케이션에서 사용할 수 있게 된다.

Apache Spark와 Apache Flink 같은 현대적 일괄 처리 프레임워크는 메모리 내 처리와 최적화된 실행 엔진을 통해 전통적인 ETL 도구보다 훨씬 빠른 처리 속도를 제공한다. 이를 통해 수 테라바이트 이상의 데이터에 대한 복잡한 변환 로직도 수 시간 내에 완료할 수 있다. 결과적으로, 일괄 ETL은 기업이 과거 데이터를 기반으로 한 통합된 보고서 생성, 재무 결산, 머신러닝 모델 학습용 데이터 세트 구축 등의 업무를 신뢰성 있게 수행할 수 있는 기반을 마련해준다.

보고서 생성은 일괄 처리 시스템의 대표적인 사용 사례 중 하나이다. 이는 대량의 원시 데이터를 수집, 처리, 가공하여 정기적이고 구조화된 형태의 문서나 시각화 자료를 만들어내는 과정을 의미한다. 일반적으로 매일, 매주, 매월 같은 정해진 주기로 실행되며, 과거 특정 기간 동안 누적된 데이터를 대상으로 집계, 요약, 분석을 수행한다.

보고서 생성 작업의 전형적인 흐름은 ETL 프로세스와 유사하다. 먼저 데이터베이스, 로그 파일, 트랜잭션 기록 등 다양한 소스에서 원본 데이터를 추출한다. 이후 데이터 정제, 형식 변환, 키-값 매핑 등의 변환 작업을 거친다. 마지막으로 비즈니스 요구사항에 맞춰 집계 함수를 적용하거나 특정 기준으로 그룹화하여 최종 보고서 데이터를 생성하고, 이를 CSV, PDF, 대시보드 등의 형태로 출력한다.

이러한 작업은 처리할 데이터의 규모가 크고, 실행 시간이 길며, 결과의 정확성이 매우 중요하기 때문에 일괄 처리 시스템의 장점을 잘 활용한다. 시스템은 작업이 완료될 때까지 중단 없이 실행되어 일관된 결과를 보장하며, 실패 시 재시작하거나 이전 단계부터 재처리하는 메커니즘을 통해 신뢰성을 확보한다. 또한, 작업 스케줄러를 이용해 비즈니스 활동이 적은 시간대에 자동으로 실행되도록 설정하여 자원 활용도를 최적화한다.