강화 학습 정책 구배

강화 학습에서 에이전트의 목표는 정책 π를 매개변수 θ로 표현했을 때, 기대 누적 보상 J(θ)를 최대화하는 θ를 찾는 것이다. 이 기대 보상은 목적 함수 또는 성능 측도로 불린다.

목적 함수 J(θ)는 일반적으로 할인율 γ를 포함한 기대 누적 보상으로 정의된다. 가장 흔한 형태는 다음과 같다.

J(θ) = E[Σ γ^t * r_t | π_θ]

여기서 기대값 E는 정책 π_θ에 의해 생성되는 궤적 (상태, 행동, 보상의 시퀀스) 전체에 걸쳐 취해진다. 이는 에이전트가 정책을 따라 행동할 때, 미래에 받을 모든 보상의 할인된 합의 평균값을 의미한다.

목적 함수를 최대화하는 것은 직관적으로 최선의 장기적 성과를 내는 정책을 찾는 것에 해당한다. 그러나 J(θ)는 환경의 확률적 특성과 정책 자체의 확률적 특성에 의존하기 때문에, θ에 대한 명시적인 함수 형태를 알기 어렵다. 따라서 경사 하강법과 같은 직접적인 최적화 방법을 적용할 수 없으며, 정책의 성능을 평가하는 샘플(에피소드)을 통해 기울기를 추정하는 정책 구배 방법론이 필요해진다.

정책 경사 정리는 정책 구배 방법의 핵심 수학적 근거를 제공하는 정리이다. 이 정리는 매개변수화된 정책의 기대 보상에 대한 기울기가, 정책 하에서 생성된 궤적을 사용하여 추정될 수 있음을 보여준다. 구체적으로, 목적 함수인 기대 누적 보상 $J(\theta)$의 기울기는 기대 보상에 로그 정책의 기울기를 가중치로 한 형태로 표현된다[2]$로 나타낸다].

이 정리의 유도 과정은 로그 미분법칙과 기대값의 선형성을 활용한다. 정책 $\pi_{\theta}$ 하에서 생성된 궤적 $\tau$의 확률은 각 단계의 상태 전이 확률과 정책 확률의 곱으로 표현된다. 기대 보상 $J(\theta)$는 보상의 가중합에 궤적 확률을 곱한 총합으로 정의되며, 여기에 로그 미분법칙을 적용하면 기울기 공식이 도출된다. 이 과정에서 환경의 상태 전이 확률은 $\theta$에 의존하지 않는다는 가정이 중요하게 작용한다.

정책 경사 정리가 제공하는 공식의 주요 특징은 기울기 추정에 몬테카를로 샘플링을 직접 적용할 수 있다는 점이다. 에이전트가 정책을 따라 상호작용하며 수집한 궤적 데이터를 사용하여, 각 시간 단계에서의 로그 정책 기울기에 해당 궤적의 총 보상을 곱함으로써 기울기의 불편 추정량을 얻을 수 있다. 이는 복잡한 기대값 계산을 샘플 평균으로 대체할 수 있게 해주며, REINFORCE 알고리즘을 비롯한 많은 정책 구배 알고리즘의 기초가 된다.

그러나 기본 형태의 정책 경사 정리로부터 얻은 추정량은 일반적으로 높은 분산을 가진다. 이는 단일 궤적의 총 보상 $G(\tau)$가 기울기 추정의 스케일을 결정하는데, 이 값의 변동성이 크기 때문이다. 이를 완화하기 위해 기저선 빼기 기법이 도입되며, 이는 액터-크리틱 방법으로의 발전으로 이어진다.

REINFORCE 알고리즘은 정책 경사 정리를 기반으로 한 대표적인 정책 구배 알고리즘이다. 이 알고리즘은 몬테카를로 방법을 사용하여 에피소드가 끝난 후에 얻은 반환값을 통해 정책의 기울기를 추정하고, 이를 이용해 정책 파라미터를 업데이트한다. 알고리즘의 핵심 아이디어는 높은 보상을 얻은 행동의 선택 확률을 높이고, 낮은 보상을 얻은 행동의 선택 확률을 낮추는 것이다.

알고리즘의 업데이트 규칙은 다음과 같은 수식으로 표현된다. 정책 파라미터 θ에 대한 기울기 추정치는 하나의 에피소드 트레이젝토리 τ에서 계산된 반환값 G_t와 해당 상태-행동 쌍에서의 정책 확률의 로그 기울기의 곱으로 구성된다[3]. 이는 기대 보상을 증가시키는 방향으로 파라미터를 조정한다.

주요 단점은 기울기 추정치의 분산이 크다는 점이다. 단일 에피소드의 반환값 G_t를 사용하기 때문에 추정치의 변동성이 크고, 이로 인해 학습 과정이 불안정해지며 수렴 속도가 느려진다. 이를 완화하기 위해 기저선을 도입한 REINFORCE with Baseline 알고리즘이 제안되었다. 이 변형 알고리즘은 반환값에서 상태 의존적인 기저선 값을 빼서 분산을 줄이는 효과를 가져온다. REINFORCE 알고리즘은 이후 액터-크리틱 방법과 PPO와 TRPO 같은 더 발전된 정책 구배 알고리즘들의 기초를 형성했다.

액터-크리틱 방법은 정책 경사 알고리즘의 한 종류로, 순수한 정책 기반 방법인 REINFORCE 알고리즘의 높은 분산 문제를 완화하기 위해 고안되었다. 이 방법은 액터와 크리틱이라는 두 개의 구성 요소를 결합한다. 액터는 정책을 담당하여 주어진 상태에서 행동을 선택하고, 크리틱은 가치 함수를 학습하여 현재 정책의 성능을 평가한다. 크리틱이 제공하는 평가 정보를 바탕으로 액터는 정책을 업데이트하는 방식으로 작동한다.

액터-크리틱의 핵심 아이디어는 정책 구배를 계산할 때, 반환의 기댓값 대신 크리틱이 추정한 어드밴티지 함수를 사용하는 것이다. 어드밴티지 함수는 특정 상태에서 특정 행동을 취하는 것이 평균적인 행동보다 얼마나 더 좋은지를 나타내는 지표이다. 이를 수식으로 표현하면 $A(s, a) = Q(s, a) - V(s)$와 같다. 이 접근법은 REINFORCE 알고리즘에서 사용하는 몬테카를로 반환보다 일반적으로 분산이 낮은 추정치를 제공하여 학습 안정성을 높인다.

대표적인 액터-크리틱 알고리즘의 업데이트 규칙은 다음과 같은 형태를 가진다.

여기서 $\alpha$와 $\beta$는 학습률이며, $A(s, a)$는 크리틱이 계산한 어드밴티지 추정치이다. 크리틱은 주로 시간차 학습을 통해 가치 함수를 온라인으로 학습한다. A2C와 A3C는 비동기적 학습을 통해 효율성을 높인 대표적인 액터-크리틱 알고리즘이다. 이후 등장한 PPO와 TRPO는 이러한 기본 프레임워크 위에 정책 업데이트의 안정성을 보장하는 제약 조건을 추가한 발전된 형태이다.

PPO(Proximal Policy Optimization)와 TRPO(Trust Region Policy Optimization)는 모두 정책 구배 알고리즘의 한계인 학습 불안정성을 해결하기 위해 개발된 고급 기법이다. 이 방법들은 정책 업데이트의 크기를 제한하여 한 번의 업데이트로 정책이 급격하게 악화되는 것을 방지하고, 보다 안정적이고 효율적인 학습을 목표로 한다.

TRPO는 업데이트 전후의 정책 분포 사이의 쿨백-라이블러 발산을 제약 조건으로 활용한다. 구체적으로, 목적 함수(기대 보상)를 최대화하되, 새 정책과 이전 정책 사이의 발산이 미리 정한 임계값(델타)을 넘지 않도록 하는 최적화 문제를 푼다. 이 제약은 정책이 신뢰 영역 내에서만 업데이트되도록 보장하여 안정성을 크게 향상시킨다. 그러나 TRPO는 제약 조건이 있는 최적화 문제를 해결해야 하며, 공액 기울기법 등을 사용해 헤시안 행렬을 근사하는 복잡한 계산 과정을 수반하여 구현 난이도가 높다는 단점이 있다.

PPO는 TRPO의 안정성 목표를 유지하면서 계산 복잡성을 대폭 줄인 알고리즘이다. TRPO의 제약 조건을 목적 함수에 직접 포함시킨 '클리핑된 서로게이트 목적 함수'를 사용하는 것이 핵심이다. 이 방법은 새 정책과 이전 정책의 확률 비율을 계산하고, 이 비율을 특정 구간(예: 0.8 ~ 1.2)으로 클리핑한다. 이를 통해 유리한 방향의 업데이트는 허용하지만, 정책 변화가 너무 커져서 학습이 불안정해지는 것을 방지한다. PPO는 별도의 제약 최적화 과정이 필요 없어 구현이 간단하고, 샘플 효율성과 안정성 면에서 TRPO에 필적하거나 뛰어난 성능을 보인다.

두 알고리즘의 주요 특징을 비교하면 다음과 같다.

결과적으로, PPO는 간결한 구현과 강력한 성능 덕분에 심층 강화 학습 분야에서 가장 널리 사용되는 정책 구배 알고리즘 중 하나가 되었다. TRPO는 이론적으로 엄격한 보장을 제공하지만, PPO가 실용성 면에서 더 큰 인기를 얻었다.

유한 차분법은 정책 구배를 추정하는 가장 직관적인 수치적 방법 중 하나이다. 이 방법은 매개변수 공간에서 작은 변화를 주어 그에 따른 보상의 변화를 측정함으로써 기울기의 근사값을 계산한다.

기본적인 접근법은 다음과 같다. 정책 매개변수 θ가 주어졌을 때, 각 매개변수 θ_i에 대해 양의 작은 변동 ε을 더한 θ+와 뺀 θ-를 각각 생성한다. 그런 다음 각 변동된 매개변수 하에서 정책을 실행하여 얻은 기대 보상 J(θ+)와 J(θ-)를 추정한다. 이때, 해당 매개변수에 대한 기울기의 근사치는 (J(θ+) - J(θ-)) / (2ε)로 계산된다. 이를 중앙 차분법이라고 하며, 전방 차분법 (J(θ+) - J(θ)) / ε이나 후방 차분법도 사용 가능하다.

이 방법의 주요 단점은 계산 비용이 매우 높다는 점이다. 매개변수가 d개일 경우, 중앙 차분법으로 기울기를 한 번 추정하려면 2d+1회의 정책 평가가 필요하다[4]. 또한, 추정치에 포함되는 분산과 편향이 크며, 적절한 변동 크기 ε을 선택하는 것이 중요하지만 어려운 문제이다. 이러한 한계로 인해 고차원 문제에서는 Likelihood Ratio 방법이나 자동 미분을 사용한 정확한 기울기 계산이 선호된다. 그러나 유한 차분법은 모델의 구현이 간단하고 디버깅 목적으로 기울기 검증에 유용하게 활용된다.

Likelihood Ratio 방법은 정책 구배 알고리즘에서 기울기를 추정하는 핵심 기법 중 하나이다. 이 방법은 정책 매개변수에 대한 기대 보상의 기울기를, 실제 샘플링된 궤적 데이터를 사용하여 직접 계산하는 대신 수학적 변환을 통해 추정한다. 핵심 아이디어는 기대값 내부의 미분을 로그 미분법을 사용하여 기대값 외부로 이동시키는 것이다. 이를 통해 모델이나 환경의 역학에 대한 지식 없이도, 오직 정책 하에서 생성된 샘플만으로 기울기의 불편 추정량을 얻을 수 있다.

이 방법의 수학적 표현은 다음과 같다. 정책 매개변수 θ에 대한 목적 함수 J(θ)의 기울기는 정책의 로그 가능도의 기울기에 누적 보상을 가중치로 곱한 기대값으로 표현된다[5]. 즉, ∇_θ J(θ) = E_τ~π_θ [ ∇_θ log π_θ(τ) * G(τ) ] 형태를 가진다. 여기서 τ는 궤적, π_θ(τ)는 해당 궤적이 발생할 정책 하의 확률, G(τ)는 그 궤적의 누적 보상이다. 이 변환의 핵심 장점은 환경의 전이 확률이 식에서 소거되어, 환경 모델을 알 필요가 없다는 점이다.

Likelihood Ratio 방법의 구체적인 구현과 특징은 다음 표와 같다.

이 높은 분산 문제를 완화하기 위해 여러 기법이 개발되었다. 가장 대표적인 것은 기준선을 사용하는 것이다. 누적 보상 G(τ) 대신 [G(τ) - b(s)]를 사용하여 분산을 줄이는데, 여기서 b(s)는 상태 s에서의 예상 보상 값을 나타내는 기준선 함수이다. 이 변형은 기울기의 기대값을 바꾸지 않으면서 분산을 효과적으로 감소시킨다. 이러한 Likelihood Ratio 방법의 원리는 REINFORCE 알고리즘의 기반이 되며, 더 발전된 액터-크리틱 방법론으로 확장되는 토대를 제공한다.

정책 구배 알고리즘의 성능은 기울기 추정치의 분산에 크게 영향을 받는다. 높은 분산은 학습 과정을 불안정하게 만들고 수렴 속도를 저하시키며, 최종 정책의 성능을 낮추는 원인이 된다. 따라서 효과적인 강화 학습을 위해서는 기울기 추정의 분산을 줄이는 기법이 필수적이다.

분산을 줄이는 핵심 방법 중 하나는 기저선을 사용하는 것이다. 이는 기울기 추정식에서 상태의 가치를 나타내는 기준값을 빼는 방식으로, 추정치의 분산을 줄이면서도 기대값은 변하지 않도록 보장한다. 일반적으로 상태 가치 함수 $V(s)$를 추정하여 기저선으로 활용한다. 다른 주요 기법으로는 가치 함수 근사를 크리틱으로 사용하는 액터-크리틱 방법이 있으며, 이는 순수한 정책 구배 방법보다 훨씬 낮은 분산으로 기울기를 추정할 수 있다.

추가적인 분산 감소 기술은 다음과 같다.

이러한 기법들은 단독으로 또는 결합되어 사용되며, REINFORCE나 PPO와 같은 알고리즘의 실질적인 성능을 결정하는 중요한 요소가 된다. 적절한 분산 감소는 샘플 효율성을 높이고 더 복잡한 환경에서의 학습을 가능하게 한다.

하이퍼파라미터 튜닝은 정책 구배 알고리즘의 성능을 최대화하고 학습 안정성을 확보하는 데 필수적인 과정이다. 학습률, 할인율, 엔트로피 계수, 배치 크기, 신경망 구조 등 다양한 하이퍼파라미터가 알고리즘의 수렴 속도, 최종 성능, 샘플 효율성에 결정적 영향을 미친다. 적절하지 않은 하이퍼파라미터 설정은 학습이 전혀 진전되지 않거나, 성능이 급격히 떨어지는 현상을 초래할 수 있다.

튜닝의 핵심은 탐색과 활용 사이의 균형을 찾는 것이다. 주요 튜닝 대상과 고려사항은 다음과 같다.

체계적인 튜닝을 위해 무작위 탐색, 그리드 탐색, 베이지안 최적화 등의 방법이 사용된다. 특히, 재현성을 위해 시드 값을 고정하고, 단일 하이퍼파라미터를 변경할 때의 영향을 평가하기 위해 제어된 실험을 설계하는 것이 중요하다. 최근에는 자동화된 머신러닝 도구를 활용하거나, 학습 중에 하이퍼파라미터를 조정하는 적응형 방법에 대한 연구도 진행되고 있다.

정책 구배 알고리즘의 학습 과정에서 표본 분산은 주요한 도전 과제 중 하나이다. 기울기 추정이 높은 분산을 가지면 학습이 불안정해지고 수렴 속도가 느려진다. 이는 몬테카를로 방법을 사용하는 REINFORCE 알고리즘에서 특히 두드러지는데, 하나의 에피소드 트레이젝토리로부터 얻은 기울기 추정치는 노이즈가 크다. 분산을 줄이기 위해 기저선 빼기 기법이 흔히 사용되며, 액터-크리틱 방법은 크리틱 네트워크를 도입하여 더 낮은 분산의 기울기 추정치를 제공하는 것을 목표로 한다.

학습의 안정성은 적절한 학습률과 업데이트 크기 조절에 크게 의존한다. 너무 큰 학습률은 정책을 급격히 변형시켜 성능이 갑자기 저하되는 현상을 초래할 수 있다. 이를 해결하기 위해 TRPO는 쿨백-라이블러 발산에 제약을 두어 각 업데이트 단계에서 정책의 변화를 제한한다. PPO는 제약 조건 대신 클리핑된 목적 함수를 사용하여 구현이 더 간단하면서도 안정적인 학습을 달성한다.

정책의 표현력과 탐색 간의 균형 또한 안정성에 영향을 미친다. 높은 표현력을 가진 신경망 정책은 지역 최적점에 빠질 위험이 적지만, 기울기 추정의 분산을 증가시킬 수 있다. 탐색을 촉진하기 위한 엔트로피 보너스는 초기 학습을 도울 수 있으나, 지나치게 높은 값은 최적 정책 수렴을 방해한다. 이러한 하이퍼파라미터들은 환경의 특성에 맞게 신중하게 조정되어야 한다.

강화 학습에서 정책 구배 방법은 가치 기반 방법과는 다른 접근 방식을 취한다. 가치 기반 방법은 주로 최적 가치 함수를 학습한 후, 이를 바탕으로 (예: 탐욕적 정책) 결정을 내리는 간접적인 방식을 사용한다. 반면, 정책 구배 방법은 매개변수화된 정책을 직접 최적화하는 것을 목표로 한다. 이는 행동 가치 함수를 정확히 추정하는 대신, 보상 신호를 통해 정책 자체의 성능을 향상시키는 경로를 탐색한다.

두 방법의 핵심 차이는 다음과 같은 표로 요약할 수 있다.

정책 구배 방법의 주요 장점은 연속 행동 공간 문제를 직접 다룰 수 있고, 확률론적 정책을 통해 내재적인 탐색을 수행한다는 점이다. 또한 정책 경사 정리를 통해 기대 보상의 기울기를 추정하여, 목적 함수를 직접 향상시키는 방향으로 학습한다. 반면, 가치 기반 방법은 일반적으로 더 안정적이고 샘플 효율성이 높을 수 있으나, 함수 근사를 사용할 때 발산하거나 과대평가 문제가 발생할 수 있다[6]. 현대의 많은 알고리즘은 두 접근법의 장점을 결합한 액터-크리틱 방법을 사용한다. 여기서 액터는 정책 구배 방식으로 정책을 개선하고, 크리틱은 가치 기반 방식으로 현재 정책을 평가한다.

강화 학습의 최적화 방법은 크게 정책 구배 방법과 모델 기반 강화 학습 방법으로 나눌 수 있다. 두 접근법은 환경에 대한 모델의 존재 여부와 활용 방식에서 근본적인 차이를 보인다.

정책 구배 방법은 환경의 역학 모델을 명시적으로 학습하거나 사용하지 않는다. 대신, 에이전트가 환경과의 상호작용을 통해 직접 얻은 경험 샘플로 정책의 성능 기울기를 추정하고 이를 업데이트한다. 이는 모델이 없거나 복잡하여 정확한 모델링이 어려운 환경에 적용하기 적합하다. 반면, 모델 기반 방법은 환경의 전이 확률과 보상 함수를 나타내는 모델을 먼저 학습하거나 주어진 모델을 활용한다. 이 모델을 바탕으로 계획을 수행하거나, 모델에서 생성한 시뮬레이션 데이터로 정책을 학습한다. 모델을 사용함으로써 실제 환경과의 상호작용 횟수를 크게 줄일 수 있는 것이 주요 장점이다.

두 방법의 특성은 다음과 같이 비교할 수 있다.

현대 연구는 두 패러다임의 장점을 결합한 하이브리드 접근법을 활발히 탐구한다. 예를 들어, 모델 기반 방법으로 샘플 효율성을 높인 초기 학습을 진행한 후, 정책 구배 방법으로 미세 조정하여 최종 성능을 끌어올리는 방식이다. 또는 학습된 모델에서 생성한 가상 경험을 정책 구배 알고리즘의 학습 데이터로 활용하는 방법도 있다[7].