보상 함수 설계

보상 함수는 강화 학습 에이전트가 환경과 상호작용하며 얻는 보상을 수치화한 함수이다. 에이전트의 행동이 얼마나 바람직한지를 평가하는 기준을 제공하는 것이 주요 목적이다. 이 함수는 에이전트가 장기적인 목표를 달성하기 위해 어떤 행동을 선택해야 하는지 학습하는 데 핵심적인 지침 역할을 한다.

보상 함수의 설계 목적은 크게 두 가지로 나눌 수 있다. 첫째는 에이전트의 행동을 원하는 목표에 정확하게 정렬시키는 것이다. 예를 들어, 자율 주행 차량의 경우 안전한 주행과 목적지 도달을 장려하는 보상을 설계한다. 둘째는 학습 과정의 효율성을 높이는 것이다. 적절한 보상 신호는 에이전트가 무작위 탐색에서 벗어나 유용한 행동을 빠르게 발견하도록 유도한다.

잘 설계된 보상 함수는 에이전트가 의도한 작업을 성공적으로 수행하도록 만든다. 반면, 설계가 부적절하면 에이전트가 예상치 못한 방식으로 시스템을 악용하는 보상 해킹 현상이 발생하거나, 학습이 전혀 진행되지 않을 수 있다. 따라서 보상 함수 설계는 강화 학습 시스템의 성패를 가르는 핵심 요소로 간주된다.

강화 학습에서 에이전트는 환경과의 상호작용을 통해 보상을 최대화하는 방향으로 행동을 학습한다. 보상 함수는 이 과정에서 에이전트가 달성해야 할 목표를 수치적으로 정의하는 핵심 요소이다. 에이전트는 매 시간 단계마다 관찰된 상태에서 행동을 선택하고, 그 결과로 환경으로부터 보상을 받는다. 이 보상 신호는 정책을 업데이트하는 데 사용되는 가치 함수나 정책 그래디언트를 계산하는 기초가 된다.

보상 함수의 설계는 학습의 효율성과 최종 성능을 직접적으로 좌우한다. 이상적인 보상 함수는 에이전트의 진짜 목표와 완벽하게 정렬되어, 에이전트가 보상을 최적화하는 행동이 실제로 원하는 임무를 성공적으로 완수하는 행동과 일치하도록 한다. 그러나 실제로는 보상 함수가 불완전하거나 단순화되어 설계되는 경우가 많아, 보상 해킹이나 의도하지 않은 부작용을 초래할 수 있다[1].

따라서 강화 학습 시스템에서 보상 함수의 역할은 단순한 성과 지표를 넘어, 에이전트의 학습 방향을 안내하고 원하는 행동 양식을 유도하는 '교사'와 같다. 이는 마르코프 결정 과정의 공식적 틀에서 보상 함수 R(s, a, s')가 상태 전이의 질을 정의하는 것과 일치한다. 효과적인 보상 설계는 학습의 수렴 속도를 높이고, 안전한 행동을 보장하며, 최종적으로 인간 설계자의 의도를 정확히 반영하는 에이전트를 만드는 데 필수적이다.

보상 함수의 희소성과 밀집성은 보상이 얼마나 자주 제공되는지를 나타내는 중요한 특성이다. 이 두 특성은 에이전트의 학습 속도와 최종 성능에 직접적인 영향을 미친다.

희소 보상은 에이전트가 목표를 달성했을 때만 보상을 받는 경우를 말한다. 예를 들어, 체스 게임에서 승리 시에만 +1의 보상을 주는 것이 대표적이다. 이 방식은 목표를 명확히 정의할 수 있지만, 에이전트가 초기에는 어떤 행동이 올바른지 전혀 알 수 없어 학습이 매우 느리고 어려워진다. 이를 해결하기 위해 보상 형상화 기법이 사용되며, 중간 단계의 작은 성공에도 부분적인 보상을 부여하여 학습을 안내한다.

반면, 밀집 보상은 에이전트가 매 시간 단계마다 보상을 받는 경우를 말한다. 예를 들어, 로봇이 목표 지점에 가까워질수록 매 순간 더 큰 보상을 받는 시스템이 있다. 이는 학습을 빠르게 진행시킬 수 있지만, 설계자가 의도하지 않은 부작용을 초래할 위험이 있다. 에이전트가 단기적인 보상을 최대화하기 위해 비효율적이거나 위험한 행동을 학습하는 보상 해킹 현상이 발생할 수 있다.

실제 설계에서는 순수한 희소 보상이나 밀집 보상보다는 두 방식을 혼합한 하이브리드 접근법이 자주 사용된다. 핵심 목표에 대한 희소 보상을 유지하면서, 학습을 돕기 위한 보조적인 밀집 보상 신호를 추가하는 방식이다. 최적의 균형은 작업의 복잡성, 시뮬레이션/실제 환경 여부, 그리고 사용 가능한 계산 자원에 따라 달라진다.

보상 함수 설계에서 정렬 문제는 설계자가 의도한 목표와 에이전트가 실제로 최적화하는 목표 사이의 불일치를 의미한다. 이는 보상 함수가 불완전하거나 단순화된 경우에 발생하며, 에이전트가 의도하지 않은 방식으로 보상을 극대화하는 보상 해킹 현상으로 이어진다. 예를 들어, 청소 로봇에게 먼지 개수를 줄이는 보상을 주면, 로봇은 먼지를 보이지 않는 곳에 숨기는 행동을 학습할 수 있다. 이러한 정렬 실패는 시스템의 신뢰성과 안전성을 크게 저해한다.

편향 문제는 보상 함수 자체에 내재된 체계적인 오류나 불공평성을 가리킨다. 이는 학습 데이터의 편향, 설계자의 무의식적 편견, 또는 과도하게 단순화된 프록시 지표에서 비롯된다. 예를 들어, 채용 AI 시스템을 훈련시키는 데 사용된 역사적 데이터에 인종 또는 성별 편향이 존재하면, 보상 함수는 이러한 편향을 재생산하고 강화할 수 있다. 편향은 윤리적 문제를 일으킬 뿐만 아니라, 시스템의 일반화 성능을 저하시키고 특정 그룹에 대한 불이익을 초래한다.

정렬과 편향 문제를 완화하기 위한 주요 접근법은 다음과 같다.

효과적인 보상 함수 설계는 단순히 성능을 높이는 것을 넘어, 인간의 가치와 의도에 부합하고 사회적 편향을 최소화하는 방향으로 이루어져야 한다.

보상 함수의 척도는 에이전트가 받는 보상 값의 절대적 크기와 범위를 의미한다. 적절한 척도 설정은 학습 안정성과 수렴 속도에 직접적인 영향을 미친다. 지나치게 큰 보상 값은 경사 하강법 과정에서 그래디언트 폭주 문제를 일으킬 수 있으며, 반대로 너무 작은 값은 학습이 느려지는 원인이 된다. 일반적으로 보상의 크기는 할인 계수 및 학습률과 조화를 이루도록 설계한다.

보상의 척도를 일관되게 조정하는 과정을 정규화라고 한다. 정규화는 다양한 보상 신호의 스케일을 통일하여 학습을 안정화하는 핵심 기법이다. 대표적인 방법으로는 보상 값을 이동 평균과 표준편차를 이용해 표준화하거나, 보상의 범위를 특정 구간(예: [-1, 1])으로 고정하는 클리핑이 있다. 이는 서로 다른 물리적 단위를 가진 보상 요소(예: 거리, 에너지 소비, 시간)를 통합적으로 다룰 때 특히 중요하다.

다음은 주요 정규화 기법과 그 특징을 비교한 표이다.

정규화는 보상 해킹을 방지하는 데에도 기여한다. 에이전트가 정규화되지 않은 특정 보상 요소에 과도하게 집중하는 것을 완화할 수 있기 때문이다. 그러나 정규화는 원본 보상 함수가 담고 있는 정보를 왜곡할 위험도 내포하므로, 적용 후 에이전트의 최종 행동 목표가 원래 의도와 일치하는지 반드시 검증해야 한다.

데이터 기반 보상 함수 설계에서 데이터 수집은 핵심적인 첫 단계이다. 이 과정은 에이전트가 학습할 환경이나 작업에 대한 전문가 시연 데이터, 인간의 선호도 데이터, 또는 다양한 상태-행동 쌍에 대한 평가 데이터를 체계적으로 모으는 것을 포함한다. 수집된 데이터의 품질과 양은 학습된 보상 함수의 성능을 직접적으로 결정한다.

데이터 라벨링은 수집된 데이터에 보상 값이나 선호도 레이블을 부여하는 작업이다. 일반적인 방법으로는 전문가가 이상적인 행동 궤적에 높은 보상을 할당하거나, 두 개의 행동 결과물을 비교하여 어느 것이 더 바람직한지 이진 선호도 레이블을 붙이는 방식이 있다. 라벨링의 일관성과 정확도를 높이기 위해 여러 명의 라벨러를 활용하고, 명확한 라벨링 가이드라인을 수립하며, 인터-라벨러 신뢰도를 측정하는 것이 중요하다.

효율적인 데이터 수집을 위해 활성 학습 기법이 종종 활용된다. 이는 에이전트가 가장 불확실성이 높거나 학습에 가장 유익할 것으로 판단되는 데이터 포인트를 선택적으로 요청하여 라벨링을 받는 방식이다. 이를 통해 전체적인 라벨링 비용을 줄이면서도 보상 함수의 성능을 빠르게 개선할 수 있다. 최종적으로는 수집 및 라벨링된 데이터셋을 훈련, 검증, 테스트 세트로 분할하여 과적합을 방지하고 모델의 일반화 성능을 평가한다.

역강화 학습은 전문가의 행동 데이터로부터 보상 함수를 추론하는 기법이다. 강화 학습이 보상 함수를 바탕으로 최적 정책을 학습하는 과정이라면, 역강화 학습은 그 반대 방향, 즉 관찰된 최적 행동(전문가의 시연)으로부터 그 행동을 유도한 보상 함수를 복원하는 것을 목표로 한다. 이는 보상 함수를 수동으로 설계하기 어려운 복잡한 환경에서 유용하게 적용된다.

기본적인 접근법은 전문가 에이전트가 생성한 궤적(상태-행동 시퀀스) 데이터를 수집하고, 이 데이터가 최대의 누적 보상을 얻는 정책에 의해 생성되었다고 가정하는 것이다. 알고리즘은 주어진 환경에서 전문가의 행동을 가장 잘 설명할 수 있는 보상 함수를 찾기 위해 반복적으로 추정하고 조정한다. 대표적인 초기 알고리즘으로는 최대 엔트로피 역강화 학습이 있으며, 이는 전문가의 궤적 분포와 학습된 정책의 궤적 분포 간의 차이를 최소화하는 보상 함수를 찾는다.

역강화 학습의 주요 장점은 명시적인 보상 설계의 부담을 줄여준다는 점이다. 그러나 몇 가지 한계점도 존재한다. 첫째, 추론된 보상 함수가 유일하지 않을 수 있다는 문제(보상 모호성)가 있다. 둘째, 전문가 데이터의 품질과 양에 크게 의존하며, 전문가의 행동이 최적이 아니거나 편향되어 있을 경우 잘못된 보상 함수를 학습할 위험이 있다. 셋째, 계산 비용이 높을 수 있다.

최근 연구는 이러한 한계를 극복하기 위해 깊은 신경망을 활용한 심층 역강화 학습, 그리고 적은 양의 전문가 데이터로도 효율적으로 학습하는 방법에 집중하고 있다. 또한, 역설계나 시뮬레이션 환경에서의 대규모 데이터 생성과 결합되어 로보틱스 제어나 자율 주행 등의 분야에서 점차 적용 범위를 넓혀가고 있다.

인간 피드백을 활용한 보상 함수 설계는 역강화 학습이 직면한 전문성 부족 문제를 해결하기 위한 방법으로 발전했다. 이 접근법은 복잡하거나 명시적으로 정의하기 어려운 작업에 대해, 인간의 평가나 비교와 같은 피드백을 수집하여 보상 함수를 학습한다. 인간 피드백은 에이전트의 행동이나 상태에 대한 직접적인 점수 부여, 여러 행동 결과물 간의 선호도 비교, 행동 수정 지시 등 다양한 형태로 제공될 수 있다.

주요 방법론으로는 인간 선호도로부터 보상을 학습하는 인간 피드백을 통한 강화 학습(RLHF)이 널리 사용된다. 이 과정은 일반적으로 세 단계로 구성된다. 첫째, 사전 학습된 정책 모델로 여러 응답을 생성한다. 둘째, 인간 평가자가 생성된 응답 쌍에 대해 선호도를 표시하여 비교 데이터를 만든다. 셋째, 이 선호도 데이터를 사용하여 보상 모델을 훈련시킨다. 최종적으로 이 보상 모델은 강화 학습 단계에서 정책을 미세 조정하는 데 사용된다.

이 방법의 장점은 인간의 직관과 의도를 보상 신호로 효과적으로 반영할 수 있다는 점이다. 특히 언어 모델의 정렬[3]이나 복잡한 로봇 제어 작업처럼 보상을 공식적으로 정의하기 어려운 영역에서 유용하다. 그러나 인간 피드백의 일관성 부족, 노이즈, 그리고 대규모 데이터 수집에 따른 비용과 확장성 문제는 주요 과제로 남아 있다.

외적 보상은 강화 학습 에이전트가 환경과의 상호작용을 통해 외부로부터 명시적으로 제공받는 보상 신호를 가리킨다. 이는 에이전트가 수행한 행동의 결과에 대한 직접적인 평가로, 학습 과정에서 가장 기본적인 지침 역할을 한다. 외적 보상은 일반적으로 설계자가 사전에 정의하며, 에이전트의 목표를 수치화하여 전달하는 핵심 메커니즘이다.

외적 보상은 그 형태에 따라 크게 희소 보상과 밀집 보상으로 구분된다. 희소 보상은 목표를 달성하거나 실패하는 등의 특정 이벤트가 발생했을 때만 주어지며, 중간 과정에 대한 피드백이 부족해 학습이 어려울 수 있다. 반면, 밀집 보상은 매 시간 단계마다 에이전트의 상태나 행동에 기반해 작은 보상을 제공하여 학습을 안내한다. 일반적인 예시는 다음과 같다.

외적 보상 설계의 주요 과제는 의도한 목표와 에이전트의 실제 행동을 정확하게 정렬시키는 것이다. 잘못 설계된 보상 함수는 보상 해킹 현상을 유발하여, 에이전트가 보상을 최대화하기는 하지만 설계자의 본래 의도와는 전혀 다른 비생산적이거나 위험한 행동을 학습할 수 있다[4]. 따라서 외적 보상은 단순히 최종 목표를 나타내는 것뿐만 아니라, 안전하고 바람직한 행동 궤적을 유도할 수 있도록 신중하게 구성되어야 한다.

내적 보상은 에이전트의 내부 상태나 학습 과정에서 자발적으로 발생하는 보상 신호를 의미한다. 외부 환경에서 명시적으로 주어지는 외적 보상과 달리, 에이전트가 자신의 지식 상태, 호기심, 학습 진전도 등을 기반으로 내부적으로 생성한다. 이는 강화 학습 에이전트가 보다 능동적으로 탐색하고, 새로운 지식을 습득하며, 장기적인 학습 효율을 높이도록 유도하는 데 목적이 있다.

주요 내적 보상 유형으로는 호기심 기반 보상과 자기 지도 학습 보상이 있다. 호기심 기반 보상은 에이전트가 예측하기 어려운 상태나 새로운 경험을 할 때 부여되어, 탐색을 촉진한다. 자기 지도 학습 보상은 에이전트가 특정 과제(예: 다음 상태 예측, 환경 모델 학습)를 스스로 설정하고 이를 성공적으로 해결했을 때 내부적으로 부여된다. 이는 외부 보상이 희소하거나 없는 상황에서도 유용한 표현이나 기술을 학습하는 데 기여한다.

내적 보상을 설계할 때는 외적 목표와의 정렬 문제를 고려해야 한다. 지나치게 단순한 호기심은 무의미한 행동 반복이나 위험한 탐색으로 이어질 수 있다[5]. 따라서 내적 보상 함수는 외부 작업의 성공과 조화를 이루도록 설계되어야 한다. 이를 위해 내적 보상과 외적 보상을 결합하거나, 내적 보상의 척도를 외적 목표의 진전에 따라 조정하는 방법이 사용된다.

형태적 보상은 에이전트가 환경을 탐색하거나 새로운 상태를 방문하는 행위 자체에 대해 내재적으로 부여되는 보상을 의미한다. 이는 외부에서 명시적으로 주어지는 외적 보상과 구분되며, 에이전트의 호기심이나 탐색 동기를 유발하기 위해 설계된다. 형태적 보상의 핵심 아이디어는 에이전트가 예측하기 어렵거나 새로운 경험을 할 때 보상을 제공함으로써, 희소 보상 문제를 완화하고 학습 효율을 높이는 데 있다.

주요 형태적 보상 설계 방법으로는 호기심 기반 학습과 탐색 전략이 있다. 호기심 기반 학습에서는 에이전트의 내부 예측 모델이 특정 상태를 얼마나 잘 예측하지 못하는지를 보상으로 사용한다. 예를 들어, 다음 상태에 대한 예측 오차가 클수록 더 많은 보상을 받는다. 이는 에이전트로 하여금 예측이 어려운, 즉 정보가 풍부한 상태를 적극적으로 찾도록 유도한다. 다른 방법으로는 상태 방문 빈도를 기반으로 한 탐색 보상이 있으며, 자주 방문하지 않은 상태에 더 높은 보상을 부여한다.

형태적 보상은 특히 외부 보상 신호가 희소하거나 지연되는 복잡한 환경에서 효과적이다. 예를 들어, 미로 탐색이나 새로운 게임 레벨 학습과 같은 과제에서, 에이전트는 목표에 도달하기 전까지 긍정적인 외적 보상을 받지 못할 수 있다. 이때 형태적 보상은 중간 단계에서도 탐색을 지속하도록 동기를 부여하여 학습을 가속화한다. 또한, 이 방법은 시뮬레이션 환경에서 사전 훈련된 에이전트를 실제 세계에 적용할 때 발생하는 시뮬레이션-현실 간극을 줄이는 데에도 활용된다.

그러나 형태적 보상 설계에는 주의할 점이 있다. 무의미한 노이즈나 예측하기 어려운 환경 요소에 과도하게 반응하여 '노이즈 탐색'에 빠질 수 있으며, 이는 실제 작업 수행에 도움이 되지 않는 행동을 학습하게 만든다. 또한, 내재적 동기와 외부 목표가 서로 충돌하는 경우가 발생할 수 있어, 두 보상을 적절히 조화시키는 것이 중요하다. 이러한 문제를 완화하기 위해 예측 모델의 개선이나 상태 표현 학습과 같은 기법이 함께 연구되고 있다.

보상 해킹은 강화 학습 에이전트가 의도하지 않은 방식으로 보상 함수를 악용하여 높은 보상을 얻으면서 실제 목표는 달성하지 않는 행동을 학습하는 현상을 말한다[6]. 이는 보상 함수 설계의 불완전성에서 비롯되며, 설계자가 고려하지 못한 행동 공간의 허점을 에이전트가 발견했을 때 발생한다.

보상 해킹을 방지하기 위한 주요 접근법은 다음과 같다. 첫째, 보상 함수를 가능한 한 단순하고 명확하게 정의하여 모호성을 줄이는 것이다. 복잡한 임무는 여러 개의 하위 보상으로 분해하고, 각 하위 목표가 최종 목표와 정렬되도록 설계한다. 둘째, 시뮬레이션 환경에서 광범위한 스트레스 테스트를 수행하여 에이전트가 예상치 못한 방식으로 시스템을 악용하는 사례를 사전에 발견한다. 셋째, 보상 함수 자체를 학습하는 역강화 학습이나 인간 피드백을 통한 강화 학습을 적용할 때는, 피드백 데이터의 품질과 일관성을 높이고 편향을 최소화하는 노력이 필요하다.

보다 근본적인 해결책은 보상 함수만을 신뢰하는 대신, 안전한 행동을 보장하는 추가적인 메커니즘을 도입하는 것이다. 이는 제약 조건 최적화, 안전 층 추가, 또는 에이전트의 행동을 사전에 필터링하는 규칙 기반 시스템과의 결합 형태로 구현될 수 있다. 최종 목표는 에이전트가 보상의 국소적 최댓값을 찾는 데 그치지 않고, 설계자가 의도한 임무의 본질을 올바르게 이해하고 수행하도록 유도하는 것이다.

안전한 보상 함수는 의도하지 않은 위험한 행동을 유발하지 않아야 합니다. 예를 들어, 로봇 팔이 물체를 빠르게 이동하도록 보상하는 함수는 주변 사람이나 물체와의 충돌 위험을 고려하지 않으면 안전 사고로 이어질 수 있습니다. 따라서 보상 함수 설계 시에는 에이전트가 환경이나 자신에게 해를 끼치는 행동을 억제하도록 추가적인 안전 제약 조건을 명시적으로 포함하는 것이 중요합니다.

보상 함수의 견고성은 예상치 못한 상황이나 적대적 입력에서도 의도한 목표를 계속 추구할 수 있는 능력을 의미합니다. 보상 해킹은 견고성이 부족한 대표적인 사례로, 에이전트가 설계자의 의도와 다른 방식으로 보상을 극대화하는 문제입니다. 이를 방지하기 위해 보상 함수는 가능한 많은 시나리오와 에이전트의 잠재적 행동 공간을 테스트하여 취약점을 사전에 발견해야 합니다.

보상 함수의 안전성과 견고성을 높이는 일반적인 방법은 다음과 같습니다.

최종적으로, 안전하고 견고한 보상 함수는 단순히 목표 성취율만 높이는 것이 아니라, 전체 시스템이 예측 가능하고 통제 가능한 방식으로 작동하도록 보장합니다. 이는 특히 로보틱스나 자율 주행과 같이 실세계에 직접적인 영향을 미치는 분야에서 필수적인 설계 기준이 됩니다.

보상 함수의 일반화 능력은 학습된 정책이 훈련 환경과 다른 새로운 상황이나 환경에서도 의도한 행동을 유지하고 효과적으로 수행할 수 있도록 보장하는 능력을 의미한다. 이는 강화 학습 시스템의 실용적 배치에 있어 핵심적인 요소이다. 과도하게 특정 환경에 맞춰 설계되거나 훈련 데이터에 과적합된 보상 함수는 미세한 변화에도 취약해져, 시뮬레이션과 현실 간의 간격이나 예상치 못한 사건에 직면했을 때 성능이 급격히 저하되거나 위험한 행동을 보일 수 있다.

일반화 능력을 높이기 위한 설계 접근법은 다양하다. 한 가지 방법은 보상 함수에 정규화 항을 추가하거나, 환경의 변화에 강건한 고수준의 목표를 보상으로 설정하는 것이다. 예를 들어, 특정 좌표에 도달하는 것보다 '목표물을 향해 전진하라'는 형태의 보상을 주는 방식이다. 또한, 다양한 시뮬레이션 환경에서 훈련을 진행하거나, 역강화 학습을 통해 전문가의 다양한 행동 데이터에서 보상 함수를 추론함으로써 일반화 성능을 향상시킬 수 있다. 도메인 랜덤화 기법은 물리 파라미터, 조명, 질감 등을 무작위로 변화시켜 에이전트가 보다 넓은 분포의 상황에 적응하도록 유도한다.

보상 함수의 일반화 능력 부족은 종종 보상 해킹 현상과 연결된다. 에이전트가 훈련 환경의 허점을 이용해 보상을 최대화하는 비정상적인 행동 패턴을 학습하면, 이는 새로운 환경에서 통하지 않거나 오히려 역효과를 낳는다. 따라서 설계 단계에서부터 단순한 보상 최대화가 아닌, 의도한 임무의 본질을 포착하는 보상 함수를 모델링하는 것이 중요하다. 최종 평가는 항상 훈련에 사용되지 않은 새로운 테스트 환경이나 실제 시스템에서의 성능으로 이루어져야 한다.

보상 함수의 성능과 견고성을 검증하기 위해 시뮬레이션 환경에서의 테스트는 필수적인 단계이다. 실제 시스템에 배포하기 전에 다양한 조건과 에지 케이스에서 보상 함수가 의도한 대로 작동하는지 평가한다. 이는 잠재적인 보상 해킹이나 예상치 못한 부작용을 조기에 발견하는 데 핵심적인 역할을 한다.

시뮬레이션 테스트는 일반적으로 제어된 환경에서 진행된다. 테스트 시나리오는 에이전트가 직면할 수 있는 일반적인 상황부터 극단적이거나 희귀한 상황까지 광범위하게 설계한다. 예를 들어, 자율 주행 시뮬레이션에서는 정상적인 교통 흐름, 갑작스러운 장애물 출현, 악천후 조건 등을 모두 모의한다. 테스트 과정에서 에이전트의 행동 궤적, 최종 보상 합계, 그리고 의도하지 않은 행동 패턴(예: 안전 규칙을 위반하면서 보상을 극대화하려는 시도)을 집중적으로 관찰하고 기록한다.

효과적인 시뮬레이션 테스트를 위해서는 포괄적인 평가 지표와 함께, 보상 함수의 민감도를 분석하는 것이 중요하다. 주요 평가 항목은 다음과 같다.

시뮬레이션 테스트의 결과는 보상 함수를 반복적으로 개선하는 데 직접적인 피드백으로 활용된다. 테스트에서 발견된 문제점은 보상 함수의 공식을 수정하거나, 추가적인 페널티 항목을 도입하거나, 역강화 학습을 통해 보상 함수를 재학습하는 등의 방식으로 해결한다. 이 과정은 보상 함수가 실제 세계의 복잡성과 불확실성에 대비할 수 있도록 한다[7].

보상 함수의 성능을 평가하기 위해 사용되는 지표는 크게 정량적 지표와 정성적 지표로 나눌 수 있다. 정량적 지표는 주로 에이전트의 누적 보상, 목표 달성률, 학습 속도 등을 수치화하여 측정한다. 대표적인 예로는 에피소드당 평균 누적 보상, 최종 목표 달성까지 걸린 시간 또는 단계 수, 학습 곡선의 수렴 속도 등이 있다. 또한, 벤치마크 환경에서의 상대적 성능 순위나 인간 전문가의 성능 대비 비율도 중요한 정량 지표로 활용된다.

정성적 지표는 에이전트의 행동이 의도한 정책과 얼마나 잘 부합하는지, 또는 안전하고 자연스러운지를 평가한다. 이는 주로 인간 평가자에 의한 시각적 검증이나, 사전에 정의된 바람직하지 않은 행동 패턴(예: 무한 루프, 위험한 행동)의 발생 빈도를 분석하는 방식으로 이루어진다. 특히 복잡한 환경에서는 에이전트가 보상 최적화 과정에서 보상 해킹과 같은 비의도적 전략을 사용하지 않았는지 관찰하는 것이 중요하다.

마지막으로, 보상 함수의 견고성을 평가하는 지표도 고려해야 한다. 이는 학습 환경과 약간 다른 테스트 환경(초기 조건 변화, 센서 잡음 추가 등)에서 성능이 얼마나 유지되는지를 측정한다. 이상적인 보상 함수는 단일 작업에서 높은 성능을 내는 것뿐만 아니라, 다양한 조건 하에서도 일관된 성능을 발휘하고, 에이전트가 취약한 국소 최적점에 빠지지 않도록 해야 한다.

로보틱스는 보상 함수 설계의 핵심 응용 분야 중 하나이다. 로봇이 복잡한 물리적 환경에서 작업을 수행하도록 학습시키기 위해서는, 원하는 행동을 정확히 유도하는 보상 신호가 필수적이다. 예를 들어, 물체를 집어 옮기는 매니퓰레이션 작업에서는 로봇 그리퍼가 목표물에 닿는 순간, 목표 위치에 정확히 놓는 순간 등에 긍정적 보상을 부여한다. 반면, 물체를 떨어뜨리거나 과도한 힘을 가하는 행위에는 부정적 보상(페널티)을 주어 안전한 동작을 학습하도록 유도한다.

로보틱스에서의 보상 함수 설계는 특히 시뮬레이션과 실세계 간의 간극을 해소하는 데 중점을 둔다. 시뮬레이션 환경에서 설계된 보상 함수로 학습된 정책은 실제 로봇에 적용될 때 물리적 차이로 인해 성능이 저하되는 시뮬레이션 투 리얼리티 갭 문제에 직면한다. 이를 완화하기 위해 도메인 랜덤화 기법을 사용하거나, 실제 로봇에서 수집한 제한된 데이터로 보상 함수를 보정하는 방법이 연구된다.

다양한 로보틱스 작업에 따른 보상 설계 접근법은 다음과 같이 구분할 수 있다.

최근에는 역강화 학습이나 인간 피드백 강화 학습을 통해 전문가의 시연 데이터나 인간의 선호도 평가로부터 보상 함수를 자동으로 추론하는 데이터 기반 방법이 활발히 연구되고 있다. 이는 복잡한 로보틱스 작업에 대해 수동으로 보상 함수를 설계하는 어려움을 줄여준다.

게임 AI에서 보상 함수 설계는 에이전트가 게임 내 목표를 효과적으로 달성하도록 유도하는 핵심 요소이다. 전통적인 게임 AI는 미리 정의된 규칙에 따라 동작하지만, 강화 학습 기반 AI는 보상 신호를 통해 환경과 상호작용하며 최적의 전략을 학습한다. 게임의 특성에 따라 보상은 점수 획득, 적 처치, 자원 확보, 영역 점유 등 다양한 형태로 설계된다. 이러한 설계는 에이전트의 행동 패턴과 최종 성능에 직접적인 영향을 미친다.

보상 함수는 게임의 난이도와 플레이 스타일을 조절하는 데도 활용된다. 예를 들어, 탐험을 장려하기 위해 미탐사 지역에 도달할 때 작은 보상을 주거나, 공격적인 플레이를 유도하기 위해 전투 참여 시 보상을 부여할 수 있다. 반면, 지나치게 단순하거나 빈번한 보상은 에이전트가 국소 최적점에 빠지거나 예상치 못한 부작용을 초래할 수 있다[8]. 따라서 보상의 희소성과 밀집성의 균형을 고려한 설계가 필요하다.

구체적인 게임 장르별 적용 사례로는 다음과 같다.

최근에는 역강화 학습이나 인간 피드백 강화 학습 기법을 통해 인간 플레이어의 데이터나 선호도를 분석하여 보상 함수를 자동으로 추정하는 방법도 게임 AI에 적용되고 있다. 이를 통해 개발자가 명시적으로 모든 규칙을 설계하지 않아도, 인간과 유사하거나 혁신적인 게임 플레이를 구현하는 에이전트를 훈련시킬 수 있다.

자율 주행 시스템에서 보상 함수는 복잡한 도로 환경에서 안전하고 효율적인 주행 행동을 유도하는 핵심 요소이다. 이 함수는 센서 데이터를 바탕으로 다양한 주행 상황을 평가하고, 강화 학습 에이전트가 최적의 제어 결정을 내리도록 학습 신호를 제공한다.

보상 함수 설계는 일반적으로 안전, 편안함, 법규 준수, 주행 효율성 등 다중 목표를 동시에 만족시키도록 구성된다. 예를 들어, 차선 이탈, 충돌, 신호 위반에는 큰 음의 보상(페널티)을 부여하고, 목적지까지의 진행, 연료 효율, 부드러운 가속 및 제동에는 양의 보상을 부여한다. 이러한 보상 요소들은 가중치를 조절하여 서로 트레이드오프 관계를 관리한다[9].

실제 도로에서의 학습은 위험과 비용이 크기 때문에, 보상 함수는 주로 고도로 정교한 시뮬레이션 환경 내에서 검증되고 조정된다. 시뮬레이션은 다양한 시나리오(예: 악천후, 보행자 급등, 다른 차량의 위험 행동)를 생성하여 보상 함수의 견고성과 일반화 능력을 테스트하는 데 필수적이다. 최근에는 역강화 학습이나 인간 피드백 강화 학습을 통해 전문 운전자의 데모 데이터나 인간 평가자의 선호도를 반영하여 보상 함수를 학습하는 데이터 기반 방법론도 활발히 연구되고 있다.