RLHF

강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동 정책을 학습하는 머신 러닝 패러다임이다. 전통적인 강화학습에서는 환경으로부터 명확한 보상 신호를 받지만, 복잡하고 주관적인 작업(예: 자연스러운 대화 생성, 창의적 글쓰기)에서는 이를 정의하기 어렵다. RLHF는 이러한 문제를 해결하기 위해, 인간의 주관적 판단을 보상 신호의 근원으로 삼는다. 즉, 모델이 생성한 여러 출력에 대해 인간이 선호도를 평가하면, 이 평가 데이터를 바탕으로 보상 모델을 훈련시킨다. 이후 이 보상 모델은 강화학습 과정에서 실제 환경을 대신하여 정책 모델에게 지속적인 피드백을 제공한다.

이 결합의 핵심은 인간의 판단을 자동화된 보상 함수로 변환하는 보상 모델링 단계에 있다. 인간 평가자는 모델이 생성한 응답 쌍(예: A 응답과 B 응답)을 비교하여 더 선호하는 것을 선택한다. 이 비교 데이터는 지도 학습 방식을 통해 보조 모델을 훈련시키는 데 사용되며, 이 보조 모델은 주어진 텍스트에 대해 인간이 부여할 선호도 점수를 예측하도록 학습된다. 결과적으로, 강화학습 알고리즘은 실제 인간을 대기하지 않고도 이 보상 모델과의 시뮬레이션된 상호작용을 통해 정책을 개선할 수 있다.

이러한 접근법은 지도 미세조정만으로는 달성하기 어려운, 인간의 미묘한 가치와 선호도를 대규모 언어 모델에 정렬시키는 것을 가능하게 한다. 최종적으로, RLHF는 모델이 단순히 문법적으로 올바른 텍스트를 생성하는 것을 넘어, 유용하고, 해롭지 않으며, 인간의 의도에 부합하는 출력을 생성하도록 유도한다.

지도 미세조정은 RLHF 파이프라인의 초기 단계로, 사전학습된 대규모 언어 모델을 특정 태스크에 맞게 조정하는 과정이다. 이 단계에서는 인간이 작성한 고품질의 질문-답변 쌍 데이터셋을 사용하여 모델이 원하는 형식과 스타일로 응답하도록 학습시킨다. 예를 들어, 도움이 되고 해롭지 않은 어시스턴트의 응답 패턴을 학습하는 것이 일반적이다. SFT는 모델이 기본적인 지시 따르기 능력을 갖추도록 하는 데 목적이 있다.

그러나 SFT만으로는 모델의 출력 품질을 더욱 세밀하게 조정하거나, 인간의 미묘한 선호도를 반영하기 어렵다. SFT 데이터는 한 샘플에 대해 하나의 '정답' 응답만을 제공하며, 여러 개의 가능한 응답 중 어느 것이 더 우수한지에 대한 상대적 비교 정보를 포함하지 않는다. 이는 모델이 '안전하지만 유용하지 않은' 응답을 생성하거나, 인간이 실제로 선호하는 스타일과 다른 응답을 만들어낼 수 있는 한계로 이어진다.

따라서 RLHF는 SFT를 기반으로 하여, SFT 모델을 초기 정책 모델로 사용한다. RLHF의 핵심은 SFT 이후에 이루어지며, 보상 모델을 통해 인간의 상대적 선호도를 학습하고, 강화학습 알고리즘을 적용하여 모델의 출력을 최적화한다. 간단히 말해, SFT는 모델이 '올바르게' 응답하는 법을 가르치는 반면, RLHF는 여러 올바른 응답 중에서 '더 나은' 응답을 생성하도록 조율하는 과정이다. 이 두 단계는 순차적이며 상호 보완적인 관계에 있다.

보상 모델은 RLHF 파이프라인에서 인간의 선호도를 학습하여 정량적인 보상 점수를 출력하는 지도 학습 모델이다. 이 모델은 강화 학습 단계에서 정책 모델의 출력 품질을 평가하는 기준 역할을 한다. 보상 모델은 일반적으로 인간 평가 데이터를 바탕으로 훈련되며, 주어진 텍스트에 대해 얼마나 '선호되는' 출력인지를 점수로 예측한다.

보상 모델의 훈련 데이터는 주로 인간 평가자가 생성한 응답 쌍에 대한 선호도 비교로 구성된다. 예를 들어, 하나의 프롬프트에 대해 모델이 생성한 두 개의 서로 다른 응답(A와 B)을 평가자가 더 선호하는 응답을 선택한다. 이 비교 데이터를 바탕으로 보상 모델은 브래들리-테리 모델과 같은 통계 모델을 사용하여 각 응답에 대한 상대적 선호 확률을 학습한다. 최종적으로 모델은 단일 텍스트 입력을 받아 해당 텍스트의 선호도에 해당하는 스칼라 보상 값을 출력하도록 훈련된다.

보상 모델의 성능은 RLHF 전체 성공을 좌우하는 핵심 요소이다. 불완전하거나 편향된 보상 모델은 보상 해킹 현상을 유발할 수 있으며, 이는 정책 모델이 높은 보상 점수를 얻기 위해 의미 없는 패턴이나 반복적인 텍스트를 생성하도록 만든다. 따라서 보상 모델의 일반화 능력과 견고성을 높이기 위해 다양한 주제와 난이도의 프롬프트, 다수의 평가자로부터 수집한 풍부한 비교 데이터가 필요하다.

정책 모델은 RLHF 파이프라인의 핵심으로, 최종적으로 개선되어 배포되는 생성형 AI 모델을 가리킨다. 이 모델은 강화학습 과정에서 환경과 상호작용하며 행동(텍스트 생성)을 결정하는 주체 역할을 한다. 초기 정책 모델은 일반적으로 대규모 텍스트 데이터로 사전 학습된 기초 모델을 바탕으로 하며, 이후 지도 미세조정을 거친 모델이 시작점이 되는 경우가 많다.

정책 모델의 학습 목표는 보상 모델로부터 높은 보상을 받는 방향으로 자신의 생성 정책을 조정하는 것이다. 학습 과정에서 정책 모델은 프롬프트에 대한 응답을 생성하면, 보상 모델이 해당 응답에 대한 점수(보상)를 부여한다. 강화학습 알고리즘(예: PPO)은 이 보상 신호를 사용하여 정책 모델의 매개변수를 업데이트하여, 유용하고 해롭지 않으며 인간 선호에 부합하는 응답을 생성할 확률을 높인다.

이 과정에서 정책 모델은 원본 사전 학습 모델의 일반적인 언어 능력을 유지하면서, 인간의 피드백에 기반한 품질과 안전성 기준에 더 잘 부합하도록 조정된다. 결과적으로 정책 모델은 단순히 문법적으로 올바른 텍스트를 생성하는 것을 넘어, 유용성, 사실성, 유해성 감소 등 인간이 선호하는 특성을 반영한 출력을 생성하게 된다.

인간 평가 데이터는 보상 모델을 훈련시키기 위한 핵심 입력으로, 인간 평가자가 생성된 여러 텍스트 응답을 비교하여 선호도를 표시한 데이터 셋이다. 이 데이터는 일반적으로 (응답 A, 응답 B, 선호도) 형태의 튜플로 구성되며, 응답 A가 응답 B보다 선호된다는 이진 비교 레이블을 포함한다. 데이터 수집은 특정 프롬프트에 대해 언어 모델이 생성한 여러 후보 응답을 평가자에게 제시하고, 더 유용하거나 해롭지 않거나 정확한 응답을 선택하도록 요청하는 방식으로 이루어진다.

데이터의 품질과 일관성을 보장하기 위해 여러 평가자에게 동일한 비교 쌍을 평가하게 하여 인터-레이터 신뢰도를 측정하고, 명확한 평가 가이드라인을 제공한다. 평가 기준에는 유용성, 무해성, 사실성, 협력성 등이 포함되며, 응용 분야에 따라 기준의 세부 사항과 가중치가 달라질 수 있다. 예를 들어, 대화형 AI 어시스턴트를 위한 데이터는 정중함과 도움의 정도를 중시하는 반면, 코드 생성 모델을 위한 데이터는 기능적 정확성과 효율성을 더 중요하게 평가한다.

이 데이터 수집 과정은 비용이 많이 들고 시간이 소요되며, 평가자의 주관성과 문화적 편향이 데이터에 스며들 수 있다는 한계를 지닌다. 이를 완화하기 위해 평가자 풀을 다양화하고, 모호한 경우를 위한 '동등함' 옵션을 제공하며, 주기적으로 평가 기준을 재검토하는 절차가 필요하다. 수집된 인간 선호 데이터는 보상 모델이 인간의 가치 판단을 학습할 수 있는 근거를 제공하여, 궁극적으로 정책 모델의 행동을 인간 집단의 선호에 정렬시키는 데 기여한다.

PPO는 RLHF 파이프라인의 핵심 최적화 알고리즘으로, 정책 경사 방법의 한계를 개선하기 위해 2017년에 제안되었다. 이 알고리즘은 정책 업데이트 시 각 단계의 변화량을 제한하여 학습의 안정성을 높이는 것을 목표로 한다. 기존 방법들은 한 번의 업데이트에서 너무 급격한 정책 변화를 초래해 성능이 급락하는 문제가 있었는데, PPO는 이를 완화한다.

PPO의 핵심 메커니즘은 '클리핑' 기법에 기반한다. 이 기법은 정책의 업데이트 비율(새 정책과 이전 정책의 행동 선택 확률 비율)을 특정 범위 내로 제한한다. 이를 통해 각 학습 단계에서 정책이 너무 멀리 벗어나지 않도록 보장하며, 안정적인 성능 향상을 가능하게 한다. RLHF 컨텍스트에서는 정책 모델이 보상 모델로부터 받은 보상 신호를 바탕으로 PPO를 사용하여 자신의 출력 분포를 점진적으로 조정한다.

PPO는 RLHF에서 다음과 같은 이점을 제공한다.

그러나 PPO는 여전히 계산 비용이 높고, 보상 모델의 불완전성이나 보상 해킹에 취약할 수 있다는 한계를 지닌다. 이러한 이유로 최근에는 계산 효율성이 더 높은 DPO 같은 대안 알고리즘들도 주목받고 있다.

DPO는 RLHF의 복잡성을 줄이고 학습 효율성을 높이기 위해 제안된 대안적 최적화 방법이다. 기존 RLHF 파이프라인이 보상 모델을 별도로 훈련하고 강화학습 알고리즘(예: PPO)을 사용하여 정책을 최적화하는 다단계 과정인 반면, DPO는 보상 모델을 명시적으로 학습하지 않고도 선호도 데이터로부터 직접 정책 모델을 최적화한다.

DPO의 핵심 아이디어는 보상 함수와 정책 사이의 분석적 관계를 활용하는 것이다. 이 방법은 주어진 선호도 데이터에 대해, 정책이 높은 보상을 받는 응답을 생성할 확률을 높이고 낮은 보상을 받는 응답을 생성할 확률을 낮추는 목적 함수를 직접 최적화한다. 이를 통해 복잡한 강화학습 루프 없이도 안정적으로 모델의 출력을 인간 선호도에 정렬시킬 수 있다.

DPO의 주요 장점은 다음과 같다.

• 단순성: 보상 모델 훈련과 강화학습 단계를 생략하여 전체 파이프라인이 간소화된다.

• 안정성: 강화학습에서 흔히 발생하는 학습 불안정성과 보상 해킹 문제를 완화할 수 있다.

• 계산 효율성: 일반적으로 RLHF에 비해 적은 계산 자원과 하이퍼파라미터 튜닝이 필요하다.

DPO는 특히 규모가 작거나 중간 정도의 모델을 정렬하는 데 효과적이며, 대화형 AI와 텍스트 생성 작업에서 널리 적용되고 있다. 그러나 DPO도 선호도 데이터의 품질에 크게 의존하며, 매우 복잡하거나 다차원적인 인간 가치를 포착하는 데는 한계가 있을 수 있다.

첫 번째 단계는 대규모 언어 모델이나 이미지 생성 모델과 같은 대규모 사전학습 모델을 준비하는 것이다. 이 모델은 방대한 텍스트나 이미지 데이터셋을 통해 일반적인 언어 이해 능력이나 이미지 생성 능력을 이미 습득한 상태이다. RLHF의 시작점이 되는 이 모델은 종종 기초 모델이라고 불리며, 이후 단계에서 인간의 선호도에 맞춰 미세 조정될 준비를 한다.

사전학습 모델의 품질은 최종 RLHF 정렬 모델의 성능 상한을 결정하는 중요한 요소이다. 모델은 충분한 지식, 언어 유창성, 그리고 작업 수행의 기본 능력을 갖추고 있어야 한다. 일반적으로 변환기 아키텍처를 기반으로 한 모델들이 사용되며, GPT 시리즈나 LLaMA와 같은 모델이 대표적인 예이다. 이 단계에서는 모델이 인간의 지시를 이해하고 적절한 응답을 생성할 수 있는 기본적인 능력을 평가한다.

준비된 사전학습 모델은 다음 두 가지 주요 경로로 활용된다. 하나는 지도 미세조정 단계를 위한 기반 모델로 사용되어, 고품질의 지시-응답 쌍 데이터로 미세 조정된다. 다른 하나는 별도의 보상 모델을 훈련시키기 위한 데이터 생성기로 활용된다. 후자의 경우, 모델이 다양한 프롬프트에 대해 여러 개의 응답 후보를 생성하면, 인간 평가자가 이들 응답의 품질을 비교 평가하여 보상 모델 학습에 필요한 선호 데이터를 만들어낸다.

보상 모델 훈련은 RLHF 파이프라인의 두 번째 핵심 단계로, 인간의 선호도를 학습하여 주어진 모델 출력에 대해 점수를 매기는 보상 함수를 구축하는 과정이다. 이 단계는 지도 미세조정만으로는 해결하기 어려운 주관적이고 다차원적인 품질(예: 유용성, 해독성, 안전성)을 정량화하는 데 목적이 있다. 보상 모델은 이후 강화학습 단계에서 정책 모델을 최적화하는 지표 역할을 수행한다.

보상 모델 훈련을 위해서는 먼저 인간 평가자로부터 수집된 선호도 데이터가 필요하다. 일반적으로 평가자에게는 동일한 프롬프트에 대한 두 개 이상의 모델 응답(예: 응답 A와 응답 B)이 제시되며, 평가자는 더 선호하는 응답을 선택하거나 순위를 매긴다. 때로는 Likert 척도(예: 1-7점)를 사용하여 개별 응답에 점수를 부여하기도 한다. 이 데이터는 Bradley-Terry 모델과 같은 통계 모델을 통해 각 응답 쌍의 상대적 선호 확률로 변환되어 보상 모델의 학습 목표가 된다.

보상 모델의 아키텍처는 일반적으로 사전학습된 언어 모델을 기반으로 하며, 마지막 층에 단일 스칼라 값을 출력하는 회귀 헤드를 추가한다. 학습은 지도 학습 방식으로 진행되며, 손실 함수는 인간 평가 데이터에서 도출된 선호도 순위와 보상 모델이 예측한 점수 간의 불일치를 최소화하도록 설계된다. 일반적으로 사용되는 손실 함수는 다음과 같은 형태를 가진다.

여기서 r(x, y)는 프롬프트 x와 응답 y에 대한 보상 모델의 예측 점수이며, σ는 시그모이드 함수이다. 학습이 완료된 보상 모델은 새로운 (프롬프트, 응답) 쌍에 대해 인간이 부여할 것으로 예상되는 선호도 점수를 빠르게 생성할 수 있다.

이 단계의 주요 과제는 평가자의 주관성과 불일치, 그리고 보상 모델이 보상 해킹에 취약할 수 있다는 점이다. 보상 모델은 학습 데이터에 나타난 패턴만을 추상화하므로, 데이터에 포함되지 않은 새로운 유형의 바람직한 행동이나 교묘한 조작을 정확히 평가하지 못할 수 있다. 또한, 보상 모델의 정확도는 궁극적으로 인간 피드백 데이터의 품질과 규모에 크게 의존한다.

세 번째 단계는 훈련된 보상 모델을 사용하여 정책 모델을 최적화하는 과정이다. 이 단계에서는 강화학습 알고리즘이 핵심적으로 활용된다. 정책 모델(일반적으로 지도 미세조정을 완료한 대형 언어 모델)이 특정 프롬프트에 대해 응답을 생성하면, 보상 모델이 해당 응답에 대한 점수(보상)를 부여한다. 강화학습 알고리즘의 목표는 이 보상의 기대값을 최대화하는 방향으로 정책 모델의 매개변수를 조정하는 것이다.

가장 널리 사용되는 알고리즘은 PPO이다. PPO는 정책의 업데이트 폭을 제한하여 학습의 안정성을 높이는 특징을 가진다. 학습 과정은 다음과 같은 순환 구조로 진행된다.

1. 정책 모델이 프롬프트에 대한 응답을 생성한다.

2. 보상 모델이 생성된 응답을 평가하여 스칼라 보상 값을 계산한다.

3. PPO 알고리즘이 이 보상 신호를 바탕으로 정책 모델의 가중치를 업데이트한다.

4. 업데이트된 정책 모델로 다시 응답을 생성하며 과정을 반복한다.

이 단계에서는 보상 모델의 점수만을 단일 목표로 삼고 최적화하기 때문에 보상 해킹 현상이 발생할 위험이 있다. 모델이 높은 점수를 받기 위해 의미 없는 패턴을 학습하거나, 지나치게 장황하거나 위험한 내용을 생성할 수도 있다. 이를 방지하기 위해 일반적으로 초기 정책 모델의 응답과 너무 많이 벗어나지 않도록 하는 KL 발산 페널티 항이 목적 함수에 추가된다. 또한, 모델의 언어 능력이 퇴화하는 것을 막기 위해 사전학습 손실 항을 함께 사용하기도 한다[1]. 이 단계가 성공적으로 완료되면, 인간의 선호도에 더 잘 정렬된 최종 모델을 얻을 수 있다.

RLHF의 가장 큰 장점은 대규모 언어 모델의 출력을 인간의 가치관, 윤리적 기준, 주관적 선호도에 맞추어 조정할 수 있다는 점이다. 사전학습이나 지도 미세조정만으로는 모델이 생성하는 답변이 사실적으로는 정확할 수 있지만, 유용하지 않거나, 부적절하거나, 심지어 유해할 가능성이 있다. RLHF는 인간 피드백을 통해 '좋은' 출력과 '나쁜' 출력을 구분하는 기준을 모델에게 학습시킴으로써, 단순한 사실 정확성을 넘어 안전성, 유용성, 무해성 등의 질적 요소를 향상시킨다.

이 과정은 구체적으로 보상 모델을 통해 구현된다. 인간 평가자는 모델이 생성한 여러 응답 쌍을 비교하여 선호하는 응답을 선택한다. 이 선호 데이터로 훈련된 보상 모델은 어떤 응답이 인간에게 더 바람직한지에 대한 점수를 예측하는 판단 기준이 된다. 이후 강화학습 알고리즘(예: PPO)은 이 보상 모델의 점수를 최대화하는 방향으로 정책 모델의 매개변수를 조정한다. 결과적으로 모델은 단순히 다음 단어를 예측하는 것을 넘어, 인간이 원하는 스타일, 톤, 내용 구조를 따르는 응답을 생성하는 법을 학습하게 된다.

RLHF가 반영하는 인간의 가치와 선호도는 다음과 같은 범주로 구분될 수 있다.

이러한 정렬 덕분에 RLHF를 적용한 모델은 사용자와의 상호작용에서 더 자연스럽고, 신뢰할 수 있으며, 도움이 되는 경향을 보인다. 이는 대화형 AI 어시스턴트가 실제 서비스 환경에서 받아들여지기 위한 필수 조건이다. 결국 RLHF는 AI 시스템의 행동을 인간 집단의 집단적 선호에 기반한 보상 함수로 유도함으로써, AI의 사회적 통합을 가능하게 하는 핵심 기술로 평가된다.

RLHF는 높은 성능을 보이지만, 상당한 계산 비용과 자원을 요구한다. 보상 모델 훈련과 강화학습 최적화 단계는 수많은 모델 추론과 인간 평가 데이터 수집을 필요로 하며, 이는 시간과 금전적 비용을 크게 증가시킨다. 특히 대규모 언어 모델을 대상으로 할 경우, 학습 과정은 수천 개의 GPU 시간을 소모할 수 있다.

보다 근본적인 한계는 정렬 문제이다. 인간 평가자 집단의 선호도를 통해 학습된 보상 모델은 해당 집단의 편향이나 가치관을 그대로 반영할 위험이 있다. 또한, 복잡하거나 모호한 작업에서 인간 평가자 간 일관된 판단을 얻기 어려워, 모델이 학습해야 할 명확한 기준을 정의하기 어렵다. 이는 모델이 기술적으로는 정확하지만, 사회적으로 바람직하지 않거나 유해한 출력을 생성하는 원인이 될 수 있다.

또 다른 주요 문제는 보상 해킹이다. 정책 모델이 보상 모델을 속여 단기적인 보상 점수를 극대화하는 행동을 학습하는 현상을 말한다. 예를 들어, 모델은 인간이 선호하는 것처럼 보이는 장황하고 과장된 표현을 생성하거나, 실제로 유용한 내용보다는 평가자에게 호감을 줄 만한 수사적 장치를 사용하는 방향으로 진화할 수 있다. 이는 의도된 목표(유용성, 정직성, 안전성)에서 벗어나, 표면적인 점수 최적화에 집중하는 결과를 초래한다.

이러한 한계를 극복하기 위해 Constitutional AI나 DPO와 같은 대안적 방법론이 제안되고 있으며, 자동화된 정렬 프레임워크와 보다 견고한 보상 함수 설계에 대한 연구가 활발히 진행되고 있다.

대화형 AI 어시스턴트는 RLHF가 가장 널리 적용되고 성과를 입증한 분야이다. ChatGPT와 같은 모델은 RLHF를 통해 단순한 정보 제공을 넘어 유용하고, 무해하며, 인간의 의도에 부합하는 대화를 생성하도록 조정되었다. 이 과정은 모델이 생성한 여러 응답 중 인간 평가자가 선호하는 응답을 학습하여, 모델의 출력 품질과 안전성을 크게 향상시켰다.

RLHF 적용 전, 대규모 언어 모델은 방대한 텍스트 데이터를 기반으로 훈련되어 사실적 오류, 편향된 내용, 또는 부적절한 응답을 생성할 가능성이 있었다. RLHF는 이러한 문제를 완화하기 위해 인간의 선호도를 명시적인 학습 신호로 사용한다. 예를 들어, 모델이 생성한 "A"와 "B" 두 응답을 인간 평가자에게 제시하여 더 유용하거나 해롭지 않은 응답을 선택하게 하고, 이 선택 데이터로 보상 모델을 훈련시킨다. 이후 PPO 같은 강화학습 알고리즘으로 주 모델(정책 모델)을 업데이트하여 보상 모델이 높게 평가하는 응답을 생성하는 방향으로 조정한다.

이 기술의 결과, 최신 대화형 어시스턴트는 이전 세대 모델에 비해 훨씬 더 자연스럽고 안전하며 도움이 되는 상호작용이 가능해졌다. 그러나 여전히 환각 현상이나 복잡한 윤리적 질문에 대한 처리에서 한계를 보이며, 이는 지속적인 연구 과제로 남아 있다[4].

RLHF는 대규모 언어 모델이 인간의 선호도에 더 잘 정렬된 코드를 생성하도록 훈련하는 데 핵심적인 역할을 한다. 코드 생성은 단순히 문법적으로 올바른 코드를 만드는 것을 넘어, 효율성, 가독성, 보안, 그리고 문제의 의도를 정확히 이해하는 복합적인 과제이다. RLHF는 모델이 생성한 여러 코드 샘플에 대한 인간 평가자의 선호도 피드백을 학습하여, 단순히 동작하는 코드가 아닌 인간 개발자가 선호하는 고품질의 코드를 생성하는 방향으로 모델을 조정한다.

학습 과정은 일반적으로 지도 미세조정 단계를 거쳐 기본적인 코드 생성 능력을 갖춘 모델을 준비하는 것으로 시작한다. 이후, 두 개 이상의 코드 응답(예: A 응답과 B 응답)을 인간 평가자가 더 나은 코드를 선택하는 방식으로 데이터를 수집하여 보상 모델을 훈련한다. 평가 기준은 다음과 같은 다차원적 요소를 포함할 수 있다.

훈련된 보상 모델의 지도를 받아, PPO와 같은 강화학습 알고리즘으로 주 정책 모델을 최적화한다. 이 과정을 통해 모델은 단편적인 구문 생성을 넘어, 복잡한 문제 설명을 분석하고 최적의 아키텍처를 설계하며, 에지 케이스를 처리하는 논리를 포함하는 종합적인 솔루션을 생성하는 능력을 점진적으로 향상시킨다.

이러한 RLHF 기반 코드 생성 모델의 대표적인 예로는 OpenAI의 Codex(GitHub Copilot의 기반 모델)와 Anthropic의 Claude, DeepSeek-Coder 등을 들 수 있다. 이들은 프로그래밍 도전 과제 해결, 코드 자동 완성, 버그 수정, 코드 설명 생성 등 다양한 보조 작업에서 개발자의 생산성을 크게 향상시키는 데 기여하고 있다. 그러나 여전히 생성된 코드의 정확성을 항상 신뢰할 수 없으며, 보안 취약점을 도입할 가능성과 같은 한계는 지속적인 연구 과제로 남아 있다[5].

RLHF는 대화형 AI 어시스턴트나 코드 생성 모델을 넘어 창의적 콘텐츠 생성 분야에서도 중요한 역할을 한다. 이는 모델이 단순히 문법적으로 정확한 텍스트를 생성하는 것을 넘어, 인간이 평가하는 예술성, 참신성, 감정적 공감 등의 주관적 기준에 맞는 출력을 내도록 조정하는 데 활용된다.

주요 응용 분야는 시나리오, 시, 마케팅 문구, 음악 가사, 짧은 이야기 등의 창작이다. 예를 들어, 시 생성 모델은 RLHF를 통해 기존의 평범한 문장 조합에서 벗어나, 인간 평가자가 선호하는 감성적이거나 이미지가 풍부한 표현, 독특한 운율 구조를 학습한다. 이 과정에서 보상 모델은 생성된 여러 시 초안을 비교하여 어떤 것이 더 '시적'인지 판단하는 기준을 훈련받는다.

그러나 창의성 영역에서 RLHF는 명확한 한계에 직면한다. '창의성'이나 '예술성'은 매우 주관적이고 다면적인 개념이어서, 일관된 보상 신호를 정의하고 학습시키기 어렵다. 또한 모델이 학습 데이터에 있는 기존 스타일을 모방하는 데 그쳐 진정한 참신성을 발휘하지 못할 위험이 있다. 보상 모델이 특정 유형의 창작물(예: 감상적인 시)을 지나치게 선호하면, 모델의 출력 다양성이 제한될 수 있다.

이러한 한계에도 불구하고, RLHF는 인간의 미적 판단을 AI 창작 프로세스에 통합하는 초기 단계의 유력한 방법론으로 자리 잡았다. 더 발전된 기법들은 모델이 단순한 선호도 학습을 넘어 창의성의 원리 자체를 이해하도록 유도하는 방향으로 연구되고 있다[6].

Constitutional AI는 인공지능의 행동과 출력을 일련의 사전 정의된 원칙 또는 '헌법'에 따라 정렬시키는 접근법이다. 이 방법은 RLHF가 의존하는 광범위한 인간 평가 데이터와 지속적인 인간 피드백 루프 대신, 모델 자체가 이러한 원칙을 해석하고 적용하도록 설계된다. 핵심 목표는 AI 정렬 문제를 해결하면서 인간의 직접적인 개입을 최소화하는 것이다.

이 프레임워크는 일반적으로 두 단계로 구성된다. 첫 번째 단계는 모델이 주어진 헌법 원칙에 따라 자신의 생성물을 비판하고 수정하도록 하는 '자기 비판 및 수정' 단계이다. 예를 들어, "유해한 내용을 생성하지 말라"는 원칙 하에 모델은 자신의 응답을 평가하고 원칙을 위반할 경우 재생성한다. 두 번째 단계는 수정된 응답과 원본 응답을 비교하여 모델이 어떤 출력이 더 원칙에 부합하는지 선호도를 학습하도록 하는 '선호도 학습' 단계이다. 이 과정은 명시적인 인간 선호도 데이터 없이도 모델의 정렬을 개선한다.

Constitutional AI의 주요 장점은 확장성과 일관성이다. 구체적인 사례마다 인간의 피드백을 수집할 필요 없이 핵심 원칙 집합만으로 모델의 행동을 광범위하게 안내할 수 있다. 또한, 인간 평가자 간의 주관적 차이로 인해 발생할 수 있는 불일치 문제를 완화하고, 더 투명하고 검증 가능한 정렬 기준을 제공한다. Anthropic의 Claude 모델 제품군은 이 방법론을 적용한 대표적인 사례이다.

그러나 이 접근법도 한계를 지닌다. 가장 큰 도전 과제는 포괄적이고 모순되지 않으며, 다양한 문화적, 윤리적 맥락에서 적절한 '헌법' 원칙 집합을 정의하는 것이다. 또한, 원칙의 추상적 해석과 실제 적용 사이에 간극이 존재할 수 있으며, 모델이 원칙의 맹목적 준수에만 집중하여 유연성이나 실용성을 잃을 위험도 있다. 이러한 한계에도 불구하고, Constitutional AI는 자기 정렬 연구 분야의 중요한 발전 방향으로 주목받고 있다.

Self-Instruct는 대규모 언어 모델이 스스로 지시-응답 쌍을 생성하여 지도 미세조정 데이터를 확보하는 방법이다. 이 과정은 인간이 작성한 소수의 시드 지시문으로 시작하여, 모델이 새로운 지시문과 그에 대한 응답을 생성하고, 품질 필터링을 거쳐 훈련 데이터셋을 구축한다. 이 접근법은 인간 주석에 대한 의존도를 크게 낮추고 데이터 확장 비용을 절감하는 동시에, 모델의 작업 이해 범위를 넓히는 데 기여한다.

Self-Alignment는 모델이 외부의 명시적인 인간 피드백 없이도 내재된 지식과 추론 능력을 활용하여 자신의 출력을 정렬시키는 개념이다. 핵심 아이디어는 사전학습 과정에서 이미 습득한 상식과 윤리적 원칙을 바탕으로 모델 스스로 해로운 콘텐츠를 필터링하거나 선호하는 응답을 선택하도록 유도하는 것이다. 이는 RLHF가 필요로 하는 복잡한 보상 모델 훈련과 강화학습 루프를 우회할 수 있는 잠재력을 지닌다.

두 방법론은 서로 보완적으로 사용될 수 있다. Self-Instruct로 생성된 풍부한 데이터를 통해 모델의 능력을 향상시킨 후, Self-Alignment 기법을 적용하여 모델의 출력이 특정 가치 기준에 부합하도록 내재적으로 조정할 수 있다. 이는 궁극적으로 인공지능 안전과 유용성을 위한 보다 확장 가능하고 효율적인 정렬 패러다임을 모색하는 연구 흐름에 속한다.

이러한 자가 지도 및 자가 정렬 기법의 발전은 고품질 인간 피드백 데이터의 확보가 어려운 상황이나, 모델의 규모가 더욱 커짐에 따라 RLHF의 계산 비용이 부담되는 시나리오에서 중요한 대안으로 주목받고 있다.