심층 강화 학습

에이전트는 학습과 의사 결정을 수행하는 주체이다. 에이전트는 주어진 환경을 관찰하고, 가능한 행동 중 하나를 선택하여 실행한다. 환경은 에이전트가 상호작용하는 외부 세계이며, 에이전트의 행동에 반응하여 새로운 상태로 변화하고, 그 결과에 대한 보상 신호를 제공한다.

보상은 에이전트가 특정 상태에서 특정 행동을 취했을 때 환경으로부터 받는 스칼라 값 피드백이다. 이는 해당 행동이 얼마나 '좋은지'를 나타내는 즉각적인 신호 역할을 한다. 에이전트의 궁극적인 목표는 시간이 지남에 따라 받는 누적 보상의 기대값, 즉 반환을 최대화하는 것이다. 따라서 보상 설계는 에이전트가 어떤 행동을 학습할지를 결정하는 가장 핵심적인 요소 중 하나이다.

이 세 요소의 상호작용은 다음과 같은 순환 구조로 이루어진다.

1. 에이전트가 환경의 현재 상태를 관찰한다.

2. 에이전트는 자신의 정책에 따라 행동을 선택한다.

3. 선택된 행동이 환경에 실행된다.

4. 환경은 새로운 상태로 전이되고, 에이전트는 해당 전이로부터 보상을 받는다.

5. 이 과정이 반복된다.

이 관계를 표로 정리하면 다음과 같다.

이 기본 프레임워크는 마르코프 결정 과정을 통해 수학적으로 형식화되며, 모든 심층 강화 학습 알고리즘의 이론적 토대를 이룬다.

마르코프 결정 과정(Markov Decision Process, MDP)은 심층 강화 학습을 포함한 강화 학습 문제를 공식화하기 위한 수학적 틀이다. 이는 의사결정이 이루어지는 순차적 과정을 모델링하며, 에이전트가 환경과 상호작용하는 방식을 정의하는 핵심이다.

MDP는 다섯 가지 주요 요소 $(S, A, P, R, \gamma)$로 구성된다. $S$는 가능한 모든 상태(state)의 집합이고, $A$는 가능한 모든 행동(action)의 집합이다. $P(s' | s, a)$는 상태 전이 확률(transition probability)로, 상태 $s$에서 행동 $a$를 취했을 때 다음 상태 $s'$에 도달할 확률을 나타낸다. $R(s, a, s')$은 보상 함수(reward function)로, 해당 전이에서 에이전트가 받는 즉각적인 보상을 정의한다. $\gamma$는 할인율(discount factor)로, 미래 보상의 현재 가치를 조정하는 0과 1 사이의 값이다.

MDP의 핵심 가정은 마르코프 성질(Markov property)이다. 이는 "미래 상태의 확률 분포는 현재 상태와 선택한 행동에만 의존하며, 그 이전의 모든 역사와는 독립적이다"는 것을 의미한다[1]. 수식으로 표현하면 $P(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, ...) = P(s_{t+1} | s_t, a_t)$가 된다. 이 가정 덕분에 복잡한 역사를 모두 기억할 필요 없이 현재 상태만으로 최적의 결정을 내릴 수 있으며, 계산이 크게 단순화된다.

에이전트의 목표는 MDP 내에서 기대할인누적보상(expected discounted cumulative reward), 즉 반환값(return)을 최대화하는 정책(policy)을 학습하는 것이다. 정책 $\pi(a | s)$는 주어진 상태에서 각 행동을 선택할 확률을 나타내는 함수이다. MDP는 이러한 수학적 기반을 제공함으로써, 가치 함수 계산, 벨만 방정식 유도, 그리고 다양한 강화 학습 알고리즘의 이론적 분석을 가능하게 한다.

가치 함수는 특정 상태에서 앞으로 받을 것으로 예상되는 누적 보상의 기댓값을 나타내는 척도이다. 일반적으로 상태 가치 함수 V(s)와 상태-행동 가치 함수 Q(s, a)로 구분된다. 상태 가치 함수 V(s)는 상태 s에서 시작하여 정책 π를 따를 때 받을 할인된 누적 보상의 기댓값을 의미한다. 상태-행동 가치 함수 Q(s, a)는 상태 s에서 행동 a를 선택한 후 정책 π를 따를 때 받을 누적 보상의 기댓값을 의미한다. 이 두 함수는 벨만 방정식이라는 재귀적 관계로 연결되어 있으며, 최적의 가치 함수를 찾는 것이 많은 알고리즘의 핵심 목표가 된다.

정책은 주어진 상태에서 에이전트가 어떤 행동을 선택할지 결정하는 규칙 또는 매핑이다. 정책은 확정적이거나 확률적일 수 있다. 최적 정책 π*는 모든 상태에서 최대의 기대 누적 보상을 얻도록 하는 정책으로 정의된다. 가치 함수와 정책은 밀접한 관계를 가지며, 최적의 가치 함수 Q*를 알면 최적 정책은 각 상태에서 가장 높은 Q 값을 주는 행동을 선택하는 것으로 간단히 유도할 수 있다.

알고리즘은 가치 함수를 기반으로 정책을 개선하거나(가치 기반), 정책을 직접 최적화하거나(정책 기반), 또는 두 가지를 결합(액터-크리틱)하는 방식으로 발전해 왔다. DQN은 가치 함수를 심층 신경망으로 추정하는 대표적인 가치 기반 방법이며, 정책 경사 정리를 이용해 정책의 매개변수를 직접 조정하는 방법은 정책 기반 방법에 속한다.

DQN은 딥러닝과 Q-러닝을 결합한 심층 강화 학습 알고리즘이다. 이 알고리즘은 인공 신경망을 함수 근사 도구로 사용하여 큐 함수를 직접 학습한다. 기존의 표 형태 Q-러닝은 상태 공간이 커질수록 계산 및 메모리 요구 사항이 폭발적으로 증가하는 문제가 있었으나, DQN은 신경망이 상태를 입력받아 각 행동에 대한 Q 값을 출력함으로써 이러한 문제를 해결했다.

DQN의 핵심 혁신은 학습 안정성을 높이기 위한 두 가지 기법, 경험 재현과 목표 네트워크에 있다. 경험 재현은 에이전트의 경험(상태, 행동, 보상, 다음 상태)을 재생 버퍼에 저장하고, 학습 시 이를 무작위로 샘플링하여 사용한다. 이는 데이터 간의 시간적 상관관계를 끊고 데이터 효율성을 높인다. 목표 네트워크는 실제로 학습되는 Q 네트워크와는 별도로, Q 값의 목표치를 계산하는 데 사용되는 목표 Q 네트워크를 유지한다. 목표 네트워크의 매개변수는 주기적으로만 업데이트되어 학습 목표가 일시적으로 고정되도록 함으로써 학습의 발산을 방지한다.

DQN의 성능은 2015년 딥마인드가 아타리 2600 게임 49종에 적용하여 인간 수준의 플레이를 보여주면서 입증되었다[2]. 이 실험에서 DQN은 게임 화면의 원시 픽셀만을 입력으로 받아 학습했으며, 많은 게임에서 전문 인간 테스터의 점수를 능가했다. 이 성과는 심층 강화 학습 분야의 중요한 이정표가 되었다.

초기 DQN 이후 이를 개선한 다양한 변형 알고리즘이 제안되었다. 주요 개선점은 다음과 같다.

이러한 발전에도 불구하고 DQN은 기본적으로 이산 행동 공간 문제에만 적용 가능하며, 연속적인 행동을 요구하는 문제에는 정책 경사 방법이나 액터-크리틱 방법이 더 적합하다.

정책 경사 방법은 심층 강화 학습에서 에이전트의 정책을 직접 최적화하는 알고리즘 계열이다. 이 방법들은 정책을 매개변수화된 함수(예: 신경망)로 표현하고, 기대 보상을 최대화하는 방향으로 이 매개변수의 경사를 따라 업데이트한다. 가치 함수를 학습하는 가치 기반 방법과 달리, 정책 경사 방법은 행동 선택 확률 분포를 직접 조정하여 최적 정책에 접근한다.

이 방법의 핵심은 정책 경사 정리에 기반한 기대 보상의 경사 추정이다. 일반적인 업데이트 규칙은 다음과 같은 형태를 가진다.

θ ← θ + α * ∇θ J(θ)

여기서 θ는 정책의 매개변수, α는 학습률, ∇θ J(θ)는 목표 함수 J(θ)(기대 보상)의 경사이다. 이 경사는 몬테카를로 방법을 통해 에피소드 단위로 추정되거나, 액터-크리틱 방법에서 가치 함수를 사용하여 추정된다.

정책 경사 방법의 주요 알고리즘으로는 REINFORCE, PPO, TRPO 등이 있다. 간단한 몬테카를로 기반의 REINFORCE 알고리즘은 높은 분산을 보이는 단점이 있지만, TRPO와 PPO는 신뢰 구간 제약이나 클리핑을 도입하여 업데이트 단계의 크기를 제한함으로써 학습의 안정성을 크게 향상시켰다.

정책 경사 방법은 연속적인 행동 공간을 다루는 데 유리하며, 로봇 제어나 자율 주행과 같은 복잡한 제어 문제에 널리 적용된다. 또한 확률적 정책을 학습함으로써 탐험을 자연스럽게 유도할 수 있다는 장점을 가진다. 그러나 이 방법들은 일반적으로 가치 기반 방법에 비해 샘플 효율성이 낮고, 학습 과정이 불안정할 수 있다는 한계도 지닌다.

액터-크리틱 방법은 정책 경사 방법과 가치 함수 기반 방법의 장점을 결합한 심층 강화 학습 알고리즘 패밀리이다. 이 방법은 두 개의 주요 구성 요소, 즉 액터와 크리틱으로 구성된다. 액터는 주어진 상태에서 어떤 행동을 취할지 결정하는 정책을 담당한다. 크리틱은 액터가 선택한 행동이 얼마나 좋은지를 평가하며, 일반적으로 상태 가치 함수나 행동 가치 함수를 학습하여 이를 수행한다. 크리틱의 평가를 바탕으로 액터는 자신의 정책을 개선해 나간다.

이 방법의 핵심 아이디어는 정책을 직접 최적화하는 동시에, 가치 함수를 이용해 더 낮은 분산의 그래디언트 추정치를 제공하는 데 있다. 순수한 정책 경사 방법은 학습이 안정적이지만 샘플 효율성이 낮을 수 있고, 가치 기반 방법은 효율적이지만 결정론적인 정책을 학습하는 데 한계가 있다. 액터-크리틱 방법은 이 두 접근법의 중간 지점에 위치하며, 연속적인 행동 공간을 다루는 문제에 특히 효과적이다.

대표적인 액터-크리틱 알고리즘으로는 A3C, A2C, DDPG, TD3, SAC 등이 있다. 이들은 각각 비동기적 학습, 분산 학습, 결정론적 정책, 확률적 정책 등 서로 다른 설계 철학과 기술을 적용한다. 예를 들어, DDPG는 결정론적 정책 그래디언트 정리를 기반으로 하여 연속 제어 문제에서 뛰어난 성능을 보인다.

액터-크리틱 방법의 성능은 크리틱이 얼마나 정확하게 가치를 평가하는지, 그리고 액터와 크리틱의 학습이 어떻게 조화를 이루는지에 크게 의존한다. 두 네트워크의 학습 속도를 적절히 조절하지 않으면 학습이 불안정해지거나 발산할 수 있다. 이를 해결하기 위해 목표 네트워크, 경험 재현, 정책 지연 업데이트 등의 기법이 널리 사용된다.

경험 재현은 심층 강화 학습에서 학습 데이터를 효율적으로 활용하기 위해 도입된 핵심 기법 중 하나이다. 이 기법은 에이전트가 환경과 상호작용하며 수집한 경험 데이터(상태, 행동, 보상, 다음 상태로 구성된 전이 튜플)를 재현 버퍼라는 저장소에 순차적으로 저장한다. 학습 단계에서는 이 저장된 데이터를 무작위로 샘플링하여 미니배치를 구성하고, 이를 사용해 신경망을 업데이트한다. 이 과정은 연속적인 샘플들 사이에 존재하는 강한 시공간적 상관관계를 깨뜨려 학습의 안정성을 높이는 데 기여한다.

경험 재현의 주요 이점은 다음과 같다. 첫째, 동일한 경험 데이터를 반복적으로 재사용할 수 있어 데이터 효율성을 크게 향상시킨다. 둘째, 연속적인 경험 간의 상관관계를 제거함으로써 신경망 학습 시 발생할 수 있는 발산이나 불안정성을 완화한다. 셋째, 과거의 다양한 경험을 혼합하여 학습에 사용함으로써 과대적합을 방지하고 일반화 성능을 개선하는 데 도움을 준다.

이 기법은 DQN (Deep Q-Network)의 성공을 가능하게 한 핵심 요소로 꼽히며, 이후 대부분의 심층 강화 학습 알고리즘에 표준적으로 통합되었다. 그러나 재현 버퍼에 저장할 수 있는 데이터 양이 제한적이므로, 매우 긴 시간 스케일의 의존성을 학습해야 하는 문제나 지속적으로 변화하는 환경에 적용할 때는 한계를 보일 수 있다.

심층 강화 학습은 일반적으로 매우 많은 양의 환경 상호작용 데이터를 필요로 한다. 이는 에이전트가 보상 신호를 통해 시행착오를 거쳐 학습하기 때문이다. 예를 들어, DQN이 아타리 2600 게임을 인간 수준으로 플레이하기 위해서는 수천만 프레임의 게임 경험이 필요했다[4]. 이러한 높은 데이터 요구량은 실제 물리적 환경(예: 로봇 제어, 자율 주행)에 적용할 때 주요 장벽으로 작용한다. 물리적 에이전트는 데이터 수집 속도가 느리고, 장비 마모 및 안전 문제가 따르기 때문이다.

데이터 효율성을 높이기 위한 주요 접근법은 시뮬레이션 활용, 전이 학습, 그리고 모델 기반 방법이다. 시뮬레이션 환경에서는 데이터 수집 비용이 낮고 속도가 빠르지만, 시뮬레이션과 현실 간의 차이(시뮬레이션-현실 간극) 문제가 발생한다. 전이 학습은 한 작업이나 환경에서 습득한 지식을 다른 관련 작업에 적용하여 학습을 가속화하는 방법이다. 가장 근본적인 접근법 중 하나는 모델 기반 강화 학습이다. 이 방법은 환경의 동역학 모델을 학습하거나 주어진 모델을 활용하여, 실제 경험 없이 또는 적은 경험으로 계획을 수립하고 정책을 개선한다.

그러나 데이터 효율성 향상은 종종 학습의 안정성, 최종 성능, 또는 계산 복잡성과 트레이드오프 관계에 있다. 효율적인 알고리즘 설계는 제한된 데이터로도 강건하고 일반화된 정책을 학습하는 것을 목표로 한다.

심층 강화 학습은 게임 AI 분야에서 혁신적인 성과를 내며 주목받았다. 특히, 인간 수준을 넘어서는 성능을 보여주는 사례들이 다수 보고되었다. 이는 게임 환경이 명확한 규칙과 보상 구조를 가지고 있어 에이전트의 학습에 적합하며, 대량의 시뮬레이션 데이터를 안전하고 저렴하게 생성할 수 있기 때문이다.

대표적인 성공 사례로는 딥마인드의 DQN을 활용한 아타리 2600 게임 연구가 있다. 이 연구에서는 하나의 알고리즘이 별도의 조정 없이 49가지의 서로 다른 아타리 게임에서 인간 전문가 수준의 성능을 달성했다[6]. 이후 알파고는 바둑이라는 복잡한 보드 게임에서 세계 최정상 프로 기사를 상대로 승리하며 게임 AI의 한계를 재정의했다. 알파고는 정책 네트워크와 가치 네트워크를 결합한 몬테카를로 트리 탐색과 심층 강화 학습을 사용했다.

게임 AI에 적용된 심층 강화 학습은 높은 수준의 전략적 사고, 장기적 계획, 불완전 정보 처리 능력을 요구하는 실시간 전략 게임으로 영역을 확장했다. 알파스타는 스타크래프트 II에서, 오픈AI 파이브는 도타 2에서 인간 팀을 상대로 승리하며 그 가능성을 입증했다. 이러한 게임 AI 연구는 알고리즘의 발전을 촉진했을 뿐만 아니라, 자율 주행이나 로봇 제어와 같은 현실 세계 문제에 대한 접근 방식에도 영향을 미쳤다.

로봇 제어는 심층 강화 학습의 주요 응용 분야 중 하나로, 로봇이 복잡한 물리적 환경에서 자율적으로 작업을 수행하도록 학습시키는 것을 목표로 합니다. 기존의 프로그래밍 방식으로는 구현하기 어려운 미세한 조작이나 동적 환경에 대한 적응이 필요한 작업에 특히 유용합니다. 로봇 팔을 이용한 물체 조립, 걷기와 같은 보행 제어, 물건 집기와 같은 작업이 대표적인 예입니다.

학습은 주로 시뮬레이션 환경에서 이루어지며, 에이전트인 로봇은 환경과의 상호작용을 통해 보상 신호를 받으며 정책을 개선합니다. 예를 들어, 로봇 팔이 목표 위치에 물체를 성공적으로 놓으면 긍정적 보상을, 떨어뜨리면 부정적 보상을 받습니다. 이를 통해 로봇은 시행착오를 거쳐 최적의 동작 순서를 학습합니다. 실제 물리 로봇에 적용할 때는 시뮬레이션과 현실 간의 차이 문제를 해결하기 위해 도메인 랜덤화나 시뮬레이션에서 학습한 정책을 현실에 점진적으로 적용하는 방법이 사용됩니다.

주요 접근 방식은 다음과 같습니다.

이 분야의 도전 과제는 높은 샘플 복잡도, 시뮬레이션과 현실의 괴리, 안전성 보장, 멀티태스크 학습 등입니다. 최근 연구는 적은 실제 데이터로 시뮬레이션 지식을 전이하거나, 메타 학습을 통해 새로운 작업에 빠르게 적응하는 방향으로 진행되고 있습니다.

자율 주행은 심층 강화 학습의 주요 응용 분야 중 하나로, 복잡한 도로 환경에서 안전하고 효율적인 주행 결정을 학습하는 데 활용된다. 에이전트(자율 주행 차량)는 카메라, 라이다, 레이더 등의 센서로부터 얻은 환경 관측치(예: 차선, 차량, 보행자, 신호등 정보)를 입력으로 받아, 조향, 가속, 브레이크와 같은 행동(액션)을 출력한다. 목표는 사고를 피하고 교통 규칙을 준수하며 목적지에 도달하는 것과 같은 임무를 성공적으로 완료하는 것이다. 이를 위해 안전 위반이나 급정거에 대한 페널티(음의 보상)와 원활한 주행이나 목표 달성에 대한 보상을 정의한 보상 함수를 설계하여 학습을 진행한다.

자율 주행에 심층 강화 학습을 적용할 때는 시뮬레이션 환경이 필수적인 역할을 한다. 실제 도로에서 초기 학습을 진행하는 것은 위험하고 비용이 크기 때문이다. CARLA, AirSim과 같은 고성능 시뮬레이터를 사용하여 다양한 날씨 조건, 교통 상황, 돌발 사고 시나리오를 무한히 생성하고, 에이전트가 이 안에서 안전하게 실패와 학습을 반복할 수 있다. 시뮬레이션에서 학습된 정책은 이후 실제 차량에 이식(전이)되거나, 실제 주행 데이터와 결합된 하이브리드 방식으로 더욱 정교해진다.

현실 세계에의 적용에는 여러 도전 과제가 존재한다. 시뮬레이션과 현실 간의 차이(도메인 격차), 예측 불가능한 인간 보행자나 운전자의 행동, 극히 드물지만 치명적인 상황(코너 케이스)에 대한 대응, 그리고 학습의 안정성과 안전성을 보장해야 하는 엄격한 요구사항이 주요 장애물이다. 이러한 문제를 해결하기 위해 모방 학습을 결합하여 전문가(인간 운전자)의 데이터로 초기화하거나, 안전 제약 조건을 명시적으로 보상 함수에 포함시키는 연구가 활발히 진행되고 있다.

심층 강화 학습의 핵심 도전 과제 중 하나는 샘플 효율성이 낮다는 점이다. 이는 에이전트가 유의미한 정책을 학습하기 위해 환경과의 상호작용을 통해 필요한 경험 데이터의 양이 매우 많음을 의미한다. 예를 들어, 아타리 게임을 인간 수준으로 플레이하는 데 성공한 초기 DQN은 수백만 프레임의 게임 화면 데이터를 학습해야 했다[7]. 이러한 낮은 샘플 효율성은 시뮬레이션 환경이 아닌 실제 로봇이나 자율 주행 차량과 같은 물리적 시스템에 적용할 때 심각한 문제가 된다. 실제 세계에서 데이터를 수집하는 것은 시간과 비용이 많이 들며, 위험할 수도 있기 때문이다.

낮은 샘플 효율성의 주요 원인은 지도 학습과 달리 강화 학습 에이전트가 학습에 사용할 데이터를 스스로 생성해야 한다는 점에 있다. 에이전트는 초기에는 무작위 행동을 하며 데이터를 수집하는데, 이 데이터의 품질이 낮을 수 있다. 또한, 보상 신호가 희소하거나 지연되는 환경에서는 어떤 행동이 좋은 결과를 가져왔는지 평가하기까지 많은 시행착오가 필요하다. 이러한 문제를 완화하기 위해 모델 기반 강화 학습과 전이 학습, 시뮬레이션 활용 등의 접근법이 연구되고 있다.

이러한 방법들은 각각 장단점을 가지며, 종종 결합되어 사용된다. 최근 연구는 더 적은 상호작용으로도 복잡한 작업을 배울 수 있는 샘플 효율적인 알고리즘 개발에 집중하고 있으며, 이는 강화 학습의 실용적 적용 범위를 확대하는 데 중요한 열쇠가 된다.

심층 강화 학습 모델의 학습 과정은 종종 불안정하며, 재현하기 어렵다는 문제를 안고 있다. 이는 신경망의 비선형성, 보상 신호의 희소성과 지연, 그리고 탐험과 활용 사이의 균형 문제 등 여러 요인이 복합적으로 작용하기 때문이다. 특히 정책이나 가치 함수를 근사하는 심층 신경망의 가중치가 급격하게 변동하거나 발산하는 현상이 빈번히 발생한다. 이러한 불안정성은 하이퍼파라미터 설정, 난수 시드, 환경의 미세한 변화에 매우 민감하게 반응하여, 동일한 코드와 설정으로도 다른 학습 결과를 초래할 수 있다.

안정성 문제를 완화하기 위한 주요 접근법으로는 목표 네트워크 사용, 경험 재현, 그레이디언트 클리핑 등이 있다. 예를 들어, DQN은 학습 중인 Q-네트워크와 별도의 목표 네트워크를 유지하여 시간차 오차 계산 시 발생하는 상관관계와 불안정성을 줄인다. 또한, 정책 경사 방법에서는 너무 큰 정책 업데이트를 방지하기 위해 신뢰 구간 최적화나 근접 정책 최적화 같은 기법이 개발되었다.

재현성 문제는 실험 결과의 신뢰성을 저해하는 주요 장애물이다. 난수 생성, 병렬 처리, 하드웨어 차이, 심지어 딥러닝 프레임워크의 버전 차이까지도 결과에 영향을 미칠 수 있다. 이를 해결하기 위해 연구 커뮤니티는 표준화된 벤치마크 환경 (예: OpenAI Gym, DeepMind Control Suite)을 사용하고, 실험 설정을 상세히 기록하며, 코드를 공개하는 방향으로 나아가고 있다. 일부 연구에서는 여러 번의 실행을 통한 통계적 유의성 검정을 강조하기도 한다.

결국, 심층 강화 학습의 실용적 적용을 위해서는 이러한 안정성과 재현성 문제를 체계적으로 관리하고 보고하는 것이 필수적이다. 이는 알고리즘 비교의 공정성을 높이고, 연구의 진전을 가속화하는 데 기여한다.