기계 학습 기반 스케줄링

기계 학습 기반 스케줄링 시스템은 주로 지도 학습, 비지도 학습, 강화 학습 세 가지 주요 학습 패러다임을 활용하여 설계된다. 각 접근법은 문제의 특성, 가용 데이터, 그리고 원하는 스케줄링 목표에 따라 선택된다.

지도 학습 모델은 과거의 스케줄링 결정과 그에 따른 시스템 성능 결과(예: 작업 완료 시간, 자원 사용률)로 구성된 레이블이 지정된 데이터셋을 사용하여 훈련된다. 모델은 시스템 상태(입력 특성)를 최적의 스케줄링 결정(출력 레이블)에 매핑하는 함수를 학습한다. 이 방식은 충분한 양의 고품질 역사 데이터가 있을 때 효과적이지만, 훈련 데이터에 없는 새로운 시나리오나 동적 변화에 대한 일반화 능력이 제한될 수 있다. 비지도 학습은 레이블이 없는 데이터에서 패턴이나 구조를 발견하는 데 사용된다. 스케줄링 맥락에서는 주로 시스템 로그나 자원 사용 패턴을 클러스터링하여 유사한 작업 유형이나 부하 상태를 식별하는 데 적용된다. 이렇게 발견된 패턴은 스케줄링 정책을 세분화하거나 사전 분류하는 데 도움을 준다.

강화 학습은 기계 학습 기반 스케줄링에서 가장 활발히 연구되는 접근법이다. 에이전트(스케줄러)가 환경(컴퓨팅 클러스터나 네트워크)과 상호작용하며, 특정 상태에서 스케줄링 액션을 취하고 그 결과로 보상(예: 처리량 증가, 지연 시간 감소)을 받는다. 에이전트는 누적 보상을 최대화하는 정책을 학습한다. 이 방법은 명시적인 정답 레이블이 필요 없으며, 복잡하고 동적인 환경에서 온라인으로 적응하며 최적화할 수 있는 잠재력을 가진다. 그러나 수렴에 시간이 걸리고, 탐색 과정에서 발생하는 초기 성능 저하가 실무 적용의 장벽이 될 수 있다.

기계 학습 기반 스케줄링 시스템의 성능은 입력으로 사용되는 특성(Feature)의 질과 적절성에 크게 의존한다. 입력 특성은 스케줄링 결정을 내리는 데 필요한 시스템 상태 정보를 수치화한 벡터로, 일반적으로 시스템 모니터링 데이터에서 추출된다. 네트워크 스케줄링의 경우 대역폭, 지연 시간, 패킷 손실률, 큐 길이, 트래픽 유형, 사용자 우선순위 등이 주요 특성이 된다. 컴퓨팅 자원 스케줄링에서는 CPU/GPU 사용률, 메모리 점유율, 작업의 예상 실행 시간, 입출력 요구 사항, 작업 간 의존성 정보 등이 핵심 입력 특성으로 활용된다.

스케줄러의 출력, 즉 결정은 선택된 학습 모델의 유형에 따라 다르게 표현된다. 지도 학습 기반 접근법에서는 주로 다음 작업 선택이나 자원 할당량과 같은 이산적 또는 연속적인 값을 직접 예측한다. 강화 학습 에이전트의 경우, 출력은 가능한 스케줄링 액션(예: 특정 작업을 실행 큐에 배치, 특정 링크에 트래픽 할당)에 대한 확률 분포나 각 액션의 예상 가치(Q-러닝의 Q-값)가 된다. 시스템은 이 출력을 바탕으로 최종 스케줄링 결정을 내린다.

입력 특성과 출력 결정의 설계는 다음과 같은 고려 사항을 포함한다.

효과적인 특성 선택은 불필요한 노이즈를 제거하고 학습 속도를 높이며, 최종 스케줄링 정책의 일반화 성능을 향상시키는 데 핵심적인 역할을 한다. 출력 결정의 설계는 문제의 복잡도와 실시간 제약 조건에 맞춰 적절한 표현 방식을 선택해야 한다.

네트워크 트래픽 스케줄링은 패킷이나 데이터 흐름이 네트워크 장치(예: 라우터, 스위치)를 통과하는 순서와 시점을 결정하는 과정이다. 기존의 규칙 기반 알고리즘(FIFO, WFQ)은 정적인 정책에 의존하지만, 기계 학습 기반 접근법은 동적이고 복잡한 트래픽 패턴을 실시간으로 학습하여 더 효율적인 스케줄링 결정을 내린다.

주요 입력 특성으로는 큐 길이, 패킷 도착률, 대역폭 사용률, 지연 시간, 그리고 애플리케이션 유형(예: 실시간 통화, 대용량 파일 전송)의 QoS 요구사항 등이 사용된다. 학습 모델은 이러한 데이터를 분석하여, 예를 들어 지연에 민감한 트래픽을 우선 처리하거나 네트워크 혼잡을 예방하는 방식으로 패킷 전송 순서를 최적화한다. 강화 학습은 특히 이 분야에서 효과적으로 적용되며, 스케줄러가 다양한 스케줄링 동작을 시도하고 그 결과(네트워크 성능 향상 또는 저하)로부터 보상을 받으며 최적의 정책을 학습한다.

적용 사례로는 데이터 센터 네트워크, 소프트웨어 정의 네트워킹(SDN) 컨트롤러, 그리고 5G 및 차세대 이동 통신의 코어 네트워크에서의 트래픽 관리가 있다. 다음 표는 기존 방식과 기계 학습 기반 방식의 주요 비교점을 보여준다.

이 접근법의 도전 과제는 학습에 필요한 정확한 네트워크 상태 정보의 수집 오버헤드와, 학습 모델이 훈련 데이터에 지나치게 의존하여 새로운 트래픽 패턴에 제대로 대응하지 못하는 과적합 문제를 포함한다.

컴퓨팅 자원 스케줄링은 CPU와 GPU 같은 처리 장치를 다수의 작업이나 프로세스에 효율적으로 할당하는 과정이다. 기존의 운영체제 스케줄러는 라운드 로빈이나 최단 작업 우선 스케줄링 같은 고정된 규칙에 의존했으나, 기계 학습 기반 접근법은 시스템 상태와 작업 특성을 실시간으로 분석하여 동적으로 최적의 결정을 내린다. 이는 특히 클라우드 컴퓨팅 데이터센터나 고성능 컴퓨팅 클러스터에서 이질적이고 변화무쌍한 워크로드를 처리할 때 유리하다.

주요 입력 특성으로는 작업의 계산 복잡도, 예상 실행 시간, 메모리 사용량, 입출력 패턴, 그리고 시스템의 현재 부하 상태(예: 코어 사용률, 대기열 길이) 등이 사용된다. 출력은 일반적으로 다음에 실행할 작업의 우선순위 결정, 특정 코어 또는 GPU에의 할당, 또는 실행 시간 예측이다. 학습 모델은 지도 학습을 통해 과거의 최적 스케줄링 결정을 학습하거나, 강화 학습을 통해 스케줄링 정책을 환경과의 상호작용을 통해 직접 최적화한다.

적용 사례로는 구글의 데이터센터에서 에너지 효율과 처리량을 최적화하기 위한 강화 학습 기반 스케줄러 연구[1]와, AI 학습 작업을 위한 GPU 클러스터에서 작업 간 공정성과 자원 활용률을 동시에 고려한 스케줄링이 있다. 또한, 모바일 장치에서 응용 프로그램의 전력 소모를 줄이기 위해 CPU 주파수를 조정하는 DVFS 정책을 학습 모델로 결정하는 경우도 포함된다.

이러한 방식은 정적 규칙 기반 스케줄러에 비해 더 높은 처리량과 더 낮은 평균 응답 시간을 달성할 수 있지만, 학습을 위한 데이터 수집 비용과 모델 추론에 따른 실시간 오버헤드를 신중히 관리해야 한다.

무선 통신 링크 스케줄링은 제한된 무선 자원을 다수의 사용자 또는 기기에게 효율적으로 할당하는 문제를 다룬다. 전통적인 방식은 채널 상태 정보를 기반으로 한 고정된 규칙에 의존했으나, 기계 학습을 도입하면 시간에 따라 변화하는 복잡한 채널 환경과 트래픽 패턴을 실시간으로 학습하여 더욱 적응적인 스케줄링이 가능해진다. 이는 셀룰러 네트워크, Wi-Fi, 그리고 차세대 이동통신인 5G 및 6G 시스템에서 링크 용량 최대화, 지연 최소화, 사용자 간 공정성 보장 등의 목표를 달성하는 데 핵심적인 역할을 한다.

주요 적용 방식은 강화 학습이 두드러진다. 스케줄러는 에이전트로 모델링되며, 현재의 네트워크 상태(예: 각 사용자의 신호 대 잡음비, 버퍼 상태, 서비스 품질 요구사항)를 관찰하고, 특정 사용자에게 자원을 할당하는 행동을 선택하며, 그 결과로 얻는 보상(예: 시스템 전체 처리량 증가, 지연 위반 감소)을 통해 정책을 점진적으로 최적화한다. 구체적인 알고리즘으로는 DQN, A3C 등이 사용되어, 고차원의 상태 공간에서도 효과적인 결정을 내릴 수 있다.

다양한 무선 시나리오에 따른 접근법은 다음과 같이 정리할 수 있다.

이러한 기계 학습 기반 접근법의 구현에는 실시간 추론 속도 보장, 학습 초기의 불안정한 성능(콜드 스타트 문제), 그리고 시뮬레이션 환경과 실제 배포 환경 간의 차이로 인한 일반화 문제 등이 주요 과제로 남아 있다. 또한, 에지 컴퓨팅과 결합하여 분산적으로 스케줄링 결정을 내리는 연구가 활발히 진행되고 있다.

강화 학습 기반 스케줄러는 스케줄링 문제를 강화 학습 에이전트가 환경과 상호작용하며 최적의 정책을 학습하는 과정으로 모델링한다. 에이전트는 주어진 상태(예: 대기 중인 작업 큐, 자원 사용률, 채널 상태)를 관찰하고, 가능한 스케줄링 동작(예: 특정 작업에 자원 할당, 전송 순서 결정) 중 하나를 선택하여 실행한다. 그 후 환경으로부터 보상(예: 처리량 증가, 지연 시간 감소)을 받으며, 이 보상을 장기적으로 극대화하는 방향으로 정책을 업데이트한다. 이 접근법은 복잡하고 동적인 시스템 환경에서 기존의 휴리스틱 기반 알고리즘이 포착하지 못하는 최적의 결정을 데이터 기반으로 발견할 수 있다는 장점을 가진다.

주요 알고리즘으로는 DQN(Deep Q-Network)과 A3C(Asynchronous Advantage Actor-Critic)가 널리 사용된다. DQN은 심층 신경망을 사용하여 주어진 상태에서 각 가능한 행동의 가치(Q-value)를 직접 추정한다. 이는 큰 상태 공간을 가진 스케줄링 문제에 효과적으로 적용될 수 있다. A3C는 비동기적으로 병렬 실행되는 여러 에이전트가 각각의 환경 사본에서 경험을 쌓고, 중앙의 글로벌 네트워크를 업데이트하는 방식을 취한다. 이는 학습 속도를 가속화하고, 데이터 샘플의 상관관계를 줄여 안정적인 학습을 가능하게 한다.

이러한 알고리즘의 적용은 구체적인 스케줄링 맥락에 따라 설계된다. 상태 표현, 행동 공간, 보상 함수의 설계가 성능을 결정하는 핵심 요소이다. 예를 들어, 데이터센터의 작업 스케줄링에서는 보상으로 자원 활용률과 작업 완료 시간을 함께 고려할 수 있다. 무선 네트워크의 스케줄링에서는 사용자 간의 공정성과 시스템 전체 처리량의 트레이드오프를 보상 함수에 반영한다.

강화 학습 기반 스케줄러의 구현은 학습의 실시간 오버헤드와 운영 시스템에의 안전한 통합이 주요 과제이다. 이를 위해 시뮬레이션 환경에서 사전 학습을 진행한 후, 실제 시스템에서는 미세 조정이나 온라인 학습을 제한적으로 적용하는 하이브리드 접근법이 연구된다.

심층 신경망은 기계 학습 기반 스케줄링에서 복잡한 패턴을 학습하고 예측하여 최적의 스케줄링 결정을 내리는 데 핵심적인 역할을 한다. 이 접근법은 주로 미래의 시스템 상태나 워크로드 특성을 예측하는 데 활용되며, 예측 결과를 바탕으로 사전에 최적화된 자원 할당 계획을 수립한다. 예를 들어, 순환 신경망이나 장단기 메모리 네트워크는 시계열 데이터를 처리하여 네트워크 트래픽 부하나 작업 도착률을 예측하는 데 적합하다. 이러한 예측 모델은 단순히 현재 상태에 반응하는 대신, 미래를 선제적으로 고려한 스케줄링 정책을 가능하게 한다.

최적화 과정에서는 예측된 정보를 입력으로 사용하여 최적의 스케줄을 생성하는 것이 목표이다. 여기에는 심층 강화 학습과 같은 방법이 직접적인 의사결정에 사용되기도 하지만, 순수한 심층 신경망 기반 접근법은 주로 최적화 문제를 근사적으로 푸는 데 초점을 맞춘다. 예를 들어, 어텐션 메커니즘을 갖춘 인코더-디코더 구조는 작업 시퀀스를 입력받아 최소 완료 시간을 달성하는 스케줄링 순서를 출력하는 방식으로 학습될 수 있다. 이는 전통적인 조합 최적화 알고리즘의 계산 복잡도를 줄이는 동시에 실시간 의사결정을 지원한다.

구체적인 적용 사례로는 데이터센터의 작업 스케줄링에서 그래프 신경망을 사용하는 방법이 있다. 이 모델은 작업 간의 의존 관계를 그래프 구조로 표현하고, 이를 학습하여 자원 사용률을 극대화하거나 전체 작업 완료 시간을 최소화하는 스케줄을 생성한다. 또 다른 예로는 무선 기지국의 스케줄링에서, 합성곱 신경망이 채널 상태 정보의 공간적 패턴을 분석하여 사용자에게 할당할 최적의 시간-주파수 자원 블록을 예측하는 데 사용된다.

이러한 접근법의 장점은 높은 표현력을 바탕으로 복잡한 비선형 관계를 모델링할 수 있다는 점이다. 그러나 단점으로는 대량의 고품질 학습 데이터에 대한 의존성, 모델 학습 및 추론에 따른 계산 오버헤드, 그리고 의사결정 과정의 해석 가능성이 낮은 블랙박스 문제 등을 꼽을 수 있다.

스케줄링 결정을 위해 기계 학습 모델을 사용할 때, 실시간 처리 요구사항과 모델 학습 및 추론 과정에서 발생하는 오버헤드 간의 균형을 맞추는 것이 시스템 설계의 핵심 과제이다. 대부분의 네트워크 및 컴퓨팅 환경은 마이크로초(μs) 또는 밀리초(ms) 단위의 빠른 결정을 요구하므로, 복잡한 심층 신경망 모델의 추론 시간이 전체 지연 시간을 증가시켜 성능 목표를 저해할 수 있다.

이를 완화하기 위해 여러 전략이 사용된다. 첫째, 모델의 복잡도를 줄이거나 효율적인 경량화 기법을 적용한다. 예를 들어, 교사-학생 학습을 통해 작은 모델이 큰 모델의 성능을 모방하도록 하거나, 양자화 및 가지치기를 통해 모델 크기와 계산량을 줄인다. 둘째, 온라인 학습 대신 오프라인 학습 방식을 채택할 수 있다. 시스템은 오프라인으로 사전 학습된 모델을 배포하고, 주기적으로 새로운 데이터로 모델을 재학습하거나 미세 조정하여 실시간 추론 부하를 최소화한다.

학습 오버헤드는 모델 업데이트 주기와도 깊이 연관된다. 동적으로 변화하는 환경에 적응하기 위해 모델을 지속적으로 학습시키면, 학습에 필요한 계산 자원이 실제 스케줄링 작업을 위한 자원을 빼앗을 수 있다. 따라서 많은 시스템은 두 단계의 주기를 분리한다: 빠른 주기(예: 매 스케줄링 슬롯)로는 경량화된 추론 모델을 실행하고, 느린 주기(예: 몇 분 또는 몇 시간마다)로만 배경에서 모델 재학습을 수행한다.

결론적으로, 효과적인 기계 학습 기반 스케줄러는 높은 정확도의 모델과 낮은 지연 시간의 실행, 그리고 수용 가능한 학습 비용이라는 세 가지 요소를 종합적으로 최적화하는 설계를 요구한다.

강화 학습 기반 스케줄러는 탐색과 활용 사이의 균형을 유지하는 것이 핵심 설계 과제이다. 탐색은 시스템이 새로운 행동을 시도하여 장기적으로 더 나은 정책을 발견하는 과정이며, 활용은 현재까지 학습된 지식을 바탕으로 가장 좋아 보이는 행동을 선택하여 즉각적인 성능을 높이는 과정이다. 스케줄링 맥락에서 탐색은 새로운 자원 할당 방식을 실험하는 것을 의미하고, 활용은 현재까지 가장 높은 처리량이나 가장 낮은 지연 시간을 보인 스케줄링 정책을 적용하는 것을 의미한다. 이 균형이 무너지면 시스템 성능이 저하된다.

너무 적은 탐색은 스케줄러가 최적이 아닌 정책에 빠져 더 나은 해를 발견하지 못하게 만든다. 예를 들어, 네트워크 상태가 변했을 때 기존 정책이 더 이상 효율적이지 않더라도 새로운 옵션을 시도하지 않으면 성능이 정체된다. 반대로, 너무 많은 탐색은 시스템이 지속적으로 최선의 선택이 아닌 무작위 행동을 취하게 하여 성능을 불안정하게 만들고, 학습 오버헤드를 증가시킨다. 따라서 스케줄러는 동적으로 이 균형을 조절해야 한다.

이 균형을 달성하기 위한 일반적인 전략은 ε-탐욕(epsilon-greedy) 정책이나 상한 신뢰 구간 알고리즘을 적용하는 것이다. ε-탐욕 정책은 작은 확률(ε)로 무작위 행동(탐색)을, 높은 확률(1-ε)로 현재 가장 좋은 행동(활용)을 선택한다. UCB 알고리즘은 각 행동의 불확실성을 정량화하여, 충분히 시도되지 않았거나 잠재적 가치가 높은 행동을 선호하는 방식으로 탐색을 유도한다. 스케줄링 시스템은 초기에는 높은 탐색 비율로 시작하여 점차 활용을 강조하도록 ε 값을 조정하거나, 현재의 성능 지표(예: 대기열 길이 급증)에 반응하여 탐색을 일시적으로 증가시키는 적응형 메커니즘을 구현하기도 한다.

실제 시스템에서는 학습 단계와 운영 단계를 분리하여 균형 문제를 완화하기도 한다. 오프라인 학습 단계에서는 충분한 탐색을 통해 정책을 수렴시킨 후, 온라인 배포 단계에서는 주로 활용 모드로 동작하되, 성능 저하가 감지될 때 제한된 탐색을 재개하는 하이브리드 접근법이 사용된다[4].

처리량은 단위 시간당 시스템이 성공적으로 처리하는 작업, 패킷 또는 요청의 수를 의미한다. 네트워크에서는 초당 전송되는 비트 수(bps)나 패킷 수(pps)로, 컴퓨팅 시스템에서는 초당 완료되는 작업 수(IPS)로 측정한다. 기계 학습 기반 스케줄링의 주요 목표는 처리량을 최대화하는 동시에 다른 성능 지표와의 균형을 찾는 것이다. 알고리즘이 대역폭이나 컴퓨팅 자원을 효율적으로 할당하여 전체 시스템의 생산성을 높이는 것을 목표로 한다.

지연 시간은 작업이 시스템에 진입하여 처리가 완료되거나 응답을 받을 때까지 걸리는 총 시간을 가리킨다. 이는 대기 시간, 처리 시간, 전송 지연 등을 포함한다. 특히 실시간 응용 프로그램이나 대화형 서비스에서는 낮은 지연 시간이 매우 중요하다. 기계 학습 모델은 과거의 패턴을 학습하여 작업의 우선순위를 동적으로 조정하거나 자원을 사전에 할당함으로써 평균 지연 시간과 지연 시간의 변동성을 줄이려고 시도한다.

두 지표는 종종 상충 관계에 있다. 처리량을 극대화하기 위해 시스템을 최대한 활용하면 대기열이 길어져 지연 시간이 증가할 수 있다. 반대로, 지연 시간을 엄격히 제한하면 자원이 항상 여유롭게 유지되어 처리량이 감소할 수 있다. 따라서 성능 평가는 단일 지표가 아닌, 다양한 부하 조건에서의 처리량-지연 시간 곡선을 분석하는 것이 일반적이다.

기계 학습 기반 스케줄러의 성능은 이러한 지표들을 기존의 휴리스틱 기반 스케줄러(예: 라운드 로빈, 최단 작업 우선)와 비교하여 평가된다. 학습 기반 접근법은 복잡하고 변화하는 환경에서 더 나은 처리량-지연 시간 트레이드오프를 달성할 수 있지만, 모델 학습 및 추론에 따른 추가적인 계산 오버헤드가 새로운 형태의 지연을 유발할 수도 있다는 점을 고려해야 한다[5].

자원 활용률은 시스템 전체의 효율성을 나타내는 핵심 지표이다. 이는 CPU나 GPU의 사용률, 네트워크 대역폭 점유율, 또는 서버 클러스터의 평균 부하율 등으로 측정된다. 기계 학습 기반 스케줄러는 과거 데이터를 학습하여 자원 요청 패턴을 예측하고, 부하 분산을 최적화함으로써 유휴 자원을 최소화하고 전체적인 활용률을 극대화하는 것을 목표로 한다. 높은 활용률은 하드웨어 투자 대비 효율을 높이고 에너지 소비를 최적화하는 데 기여한다.

공정성은 여러 작업 또는 사용자 간에 자원을 할당하는 공평성을 의미한다. 단순히 처리량이나 활용률만을 극대화하는 스케줄링은 특정 작업이 자원을 독점하거나, 반대로 소규모 작업이 지나치게 오래 대기하는 결과를 초래할 수 있다. 따라서 공정성 지표는 스케줄링 정책을 평가하는 데 필수적이다. 대표적인 공정성 메트릭으로는 제인 공정성 지수나 최대-최소 공정성 기반의 할당 방식이 사용된다[6].

기계 학습 모델, 특히 강화 학습을 활용한 스케줄러는 활용률과 공정성이라는 상충되는 목표를 동시에 만족시키는 정책을 학습해야 한다. 보상 함수 설계 시 두 지표를 적절히 조합한 복합 보상을 사용하는 것이 일반적이다. 예를 들어, 높은 처리량에 대한 보상과 함께 각 작업의 대기 시간 편차를 패널티로 부과하는 방식이다. 최적의 균형점은 시스템의 운영 목표에 따라 달라진다.

이러한 지표들은 시뮬레이션 또는 실제 배포 환경에서 스케줄링 알고리즘의 성능을 비교하고, 학습 과정에서 모델이 올바른 방향으로 수렴하도록 유도하는 데 사용된다.

기계 학습 기반 스케줄링의 성능은 학습에 사용된 훈련 데이터의 양과 질에 크게 의존한다. 대규모의 고품질 데이터를 확보하는 것은 현실적으로 어려운 경우가 많으며, 특히 네트워크 환경이나 워크로드 패턴이 빠르게 변화하는 동적 시스템에서는 데이터 수집이 더욱 복잡해진다. 학습 데이터가 특정 운영 조건(예: 특정 시간대의 트래픽, 특정 애플리케이션 유형)에 편향되어 있으면, 학습된 모델은 해당 조건에서는 우수한 성능을 보이지만, 보지 못한(Unseen) 새로운 시나리오에서는 성능이 급격히 저하될 수 있다. 이는 모델의 일반화 능력이 부족함을 의미한다.

이러한 일반화 문제를 완화하기 위해 전이 학습, 메타 학습, 또는 시뮬레이션 환경에서 생성된 합성 데이터와 실제 데이터를 혼합하는 하이브리드 학습 접근법이 연구되고 있다. 또한, 모델이 학습 데이터의 국소적 패턴에 과도하게 적응하는 과적합을 방지하기 위해 정규화 기법이나 앙상블 학습 방법을 적용하기도 한다. 그러나 근본적으로 예측 불가능한 환경 변화에 대응하기 위해서는 온라인 학습이나 지속적인 모델 업데이트 메커니즘이 필수적이며, 이는 시스템의 복잡성과 운영 오버헤드를 증가시키는 딜레마를 초래한다.

기계 학습 기반 스케줄링 시스템은 적대적 공격에 취약할 수 있다. 악의적인 행위자가 시스템의 입력 데이터(예: 네트워크 트래픽 패턴, 작업 도착률)를 교묘히 조작하여 스케줄러의 학습 모델을 오작동시키거나 성능을 극단적으로 저하시킬 수 있다[7]. 이는 클라우드 컴퓨팅 환경의 다중 사용자 자원 경쟁이나 중요 인프라의 제어 시스템에서 심각한 보안 위협이 될 수 있다.

시스템의 안정성은 학습 과정의 불확실성과 밀접한 관련이 있다. 강화 학습 기반 스케줄러는 탐색 과정에서 예측 불가능한 스케줄링 결정을 내릴 수 있으며, 이는 프로덕션 환경에서 서비스 수준 협정(SLA) 위반이나 시스템 과부하를 초래할 수 있다. 또한, 학습 데이터의 분포가 운영 환경의 실제 분포와 다를 경우, 즉 훈련-테스트 분리 불일치 문제가 발생하면 모델의 성능이 급격히 떨어져 시스템 전체의 안정성을 해칠 수 있다.

보안 및 안정성 문제를 완화하기 위한 접근법은 다음과 같다.

이러한 문제들은 기계 학습 기반 스케줄링이 실제 시스템에 광범위하게 통합되기 위해 반드시 해결해야 할 핵심 과제이다. 보안과 안정성을 보장하지 않는 모델은 신뢰성 있는 인프라 운영에 사용되기 어렵다.