손실 함수 정의

손실 함수는 주어진 입력 데이터에 대해 모델이 예측한 값과 실제 관측된 값 사이의 차이를 측정하는 함수이다. 이 함수는 일반적으로 $L(y, \hat{y})$ 또는 $L(\theta)$와 같이 표기하며, 여기서 $y$는 실제 값(레이블), $\hat{y}$는 모델의 예측값, $\theta$는 모델의 매개변수를 나타낸다.

수학적으로, 손실 함수는 주로 두 가지 형태로 정의된다. 하나는 단일 데이터 포인트에 대한 오차를 측정하는 점별 손실 함수이고, 다른 하나는 전체 데이터셋에 대한 평균 오차를 나타내는 평균 손실 함수 또는 비용 함수이다. 점별 손실은 $L^{(i)} = L(y^{(i)}, f(x^{(i)}; \theta))$로, 여기서 $i$는 데이터 샘플의 인덱스를 의미한다. 전체 데이터셋에 대한 비용 함수 $J(\theta)$는 일반적으로 모든 훈련 샘플에 대한 점별 손실의 평균으로 계산된다: $J(\theta) = \frac{1}{N} \sum_{i=1}^{N} L(y^{(i)}, f(x^{(i)}; \theta))$.

손실 함수의 출력은 항상 스칼라 값이며, 이 값이 작을수록 모델의 예측이 실제 값에 가깝다는 것을 의미한다. 따라서 기계 학습과 최적화 과정의 핵심 목표는 이 손실 함수의 값을 최소화하는 모델 매개변수 $\theta^*$를 찾는 것이다: $\theta^* = \arg\min_{\theta} J(\theta)$. 이 과정을 손실 함수 최소화 또는 위험 최소화라고 부른다.

기계 학습에서 손실 함수는 모델의 학습 과정을 이끄는 핵심적인 나침반 역할을 한다. 학습 알고리즘의 목표는 주어진 훈련 데이터에 대해 손실 함수의 값을 최소화하는 모델 매개변수를 찾는 것이다. 이 과정에서 손실 함수는 모델의 예측이 실제 값과 얼마나 차이가 나는지를 정량적으로 측정하여, 그 차이를 줄이는 방향으로 모델을 조정하도록 안내한다.

손실 함수의 값, 즉 손실은 모델의 현재 성능을 나타내는 지표로 사용된다. 학습이 진행됨에 따라 이 손실 값이 감소하는 것은 모델이 데이터의 패턴을 더 잘 학습하고 있음을 의미한다. 반대로, 손실이 감소하지 않거나 증가한다면 모델 구조나 하이퍼파라미터, 학습 알고리즘에 문제가 있을 수 있다는 신호가 된다. 따라서 손실 함수의 변화를 관찰하는 것은 학습 과정을 모니터링하고 디버깅하는 기본적인 방법이다.

손실 함수의 선택은 해결하려는 문제의 유형과 데이터의 특성에 크게 의존한다. 예를 들어, 연속적인 값을 예측하는 회귀 분석 문제에는 평균 제곱 오차가, 범주를 예측하는 분류 문제에는 교차 엔트로피 손실이 일반적으로 사용된다. 적절한 손실 함수를 선택하지 않으면 모델이 원하는 방식으로 학습되지 않거나, 수렴 속도가 매우 느려질 수 있다.

또한, 손실 함수는 모델이 학습해야 할 '중요한 것'에 대한 암묵적인 가정을 포함한다. 어떤 오차에 더 큰 패널티를 부여할지 결정함으로써, 모델의 행동을 특정 방향으로 유도할 수 있다. 이는 단순히 예측 정확도를 높이는 것을 넘어, 모델의 견고성이나 공정성과 같은 더 넓은 목표를 달성하는 데에도 활용될 수 있다[1].

회귀 문제는 연속적인 값을 예측하는 작업을 말한다. 이때 모델의 예측값과 실제 목표값 사이의 차이를 측정하기 위해 사용되는 손실 함수에는 여러 종류가 있다. 가장 기본적인 것은 평균 제곱 오차이다. MSE는 예측 오차의 제곱을 평균한 값으로, 큰 오차에 대해 더 민감하게 반응하는 특성을 가진다. 이는 경사 하강법과 같은 최적화 알고리즘에서 유용하게 활용되지만, 이상치의 영향을 크게 받을 수 있다는 단점도 있다.

이상치의 영향을 완화하기 위해 사용되는 대안은 평균 절대 오차이다. MAE는 오차의 절댓값을 평균한 것으로, MSE에 비해 이상치에 덜 민감하고 해석이 직관적이다. 그러나 MAE는 0에서 미분 불가능하며, 최적화 과정에서 수렴 속도가 상대적으로 느릴 수 있다. Huber 손실은 MSE와 MAE의 장점을 결합한 함수로, 작은 오차 영역에서는 MSE처럼, 큰 오차 영역에서는 MAE처럼 동작하도록 설계되었다. 이는 이상치에 대한 강건성을 유지하면서도 최적화 효율성을 높인다.

특정 문제에 따라 다른 손실 함수도 사용된다. 예를 들어, 평균 제곱근 오차는 MSE에 제곱근을 취해 오차의 단위를 원본 데이터와 일치시키는 지표이다. 분위수 회귀에 사용되는 분위수 손실은 예측의 특정 분위수(예: 중앙값)에 초점을 맞추도록 한다. 최종 손실 함수의 선택은 데이터의 분포, 이상치 존재 여부, 모델의 최적화 난이도, 그리고 예측 오차에 대한 비용 함수를 종합적으로 고려하여 결정된다.

분류 문제에서 손실 함수는 모델이 예측한 클래스 확률 분포와 실제 클래스 레이블 간의 차이를 정량화한다. 이진 분류와 다중 클래스 분류에 따라 주로 사용되는 함수가 다르며, 로지스틱 회귀나 신경망의 출력층 활성화 함수와 밀접하게 연계되어 사용된다.

주요 손실 함수로는 이진 교차 엔트로피와 범주형 교차 엔트로피가 있다. 이진 교차 엔트로피는 두 개의 클래스를 구분하는 문제에 사용되며, 모델의 출력이 하나의 확률 값(예: 클래스 1에 속할 확률)을 가정한다. 수식은 L = -[y * log(p) + (1-y) * log(1-p)]로 표현되며, 여기서 y는 실제 레이블(0 또는 1), p는 모델이 예측한 양성 클래스의 확률이다. 다중 클래스 분류에는 범주형 교차 엔트로피(또는 다중 클래스 로그 손실)가 사용된다. 이는 실제 레이블을 원-핫 인코딩 벡터로, 모델 출력을 모든 클래스에 대한 확률 분포 벡터로 간주하여 차이를 계산한다. 수식은 L = -∑ y_i * log(p_i)이며, 합계는 모든 클래스에 대해 수행된다.

다른 중요한 손실 함수로는 힌지 손실이 있다. 이는 주로 서포트 벡터 머신에서 사용되며, 예측이 정답 클래스에 대해 일정 마진 이상으로 확신할 때만 손실이 0이 되는 특성을 가진다. 이는 모델이 결정 경계에서 먼, 더 확실한 예측을 하도록 유도한다. 또한, 클래스 간 데이터 불균형이 심한 문제를 해결하기 위해 가중치가 부여된 교차 엔트로피나 초점 손실과 같은 변형 함수들도 개발되었다. 초점 손실은 잘 분류된 쉬운 예제보다 오분류된 어려운 예제에 더 큰 가중치를 부여하여 모델의 학습을 개선한다[2].

생성 모델은 훈련 데이터의 분포를 학습하여 새로운 데이터 샘플을 생성하는 것을 목표로 한다. 이 과정에서 모델이 생성한 데이터의 분포와 실제 데이터의 분포 사이의 차이를 측정하고 최소화하기 위해 특화된 손실 함수가 사용된다. 이러한 함수들은 생성된 샘플의 품질과 다양성을 평가하는 데 중점을 둔다.

적대적 생성 신경망은 생성기와 판별기라는 두 개의 신경망을 적대적으로 경쟁시키는 프레임워크이다. 여기서 사용되는 손실 함수는 이진 교차 엔트로피에 기반한다. 생성기의 목표는 판별기를 속일 수 있는 현실적인 데이터를 생성하는 것이고, 판별기의 목표는 실제 데이터와 생성된 데이터를 정확히 구분하는 것이다. 이 두 네트워크의 목적 함수는 서로 반대되는 미니맥스 게임의 형태를 띤다. 와서스테인 GAN은 판별기를 크리틱으로 변경하고, 두 분포 사이의 Earth Mover's Distance를 근사하여 최적화 안정성을 크게 향상시킨 대표적인 변형이다.

변분 오토인코더는 생성 모델의 또 다른 주요 계보로, 잠재 변수 공간을 통해 데이터를 생성한다. VAE의 손실 함수는 증거 하한으로 구성된다. 이는 재구성 손실과 쿨백-라이블러 발산 항의 합이다. 재구성 손실은 입력 데이터를 디코더를 통해 복원했을 때의 오차를 측정하며, KL 발산 항은 인코더가 학습하는 잠재 변수의 사후 분포가 사전 분포(보통 정규 분포)에서 얼마나 벗어나지 않도록 정규화하는 역할을 한다. 이는 생성 과정의 규제와 해석 가능한 잠재 공간 형성에 기여한다.

최근에는 생성 모델의 성능을 더욱 정교하게 평가하고자 새로운 손실 함수가 지속적으로 제안되고 있다. 예를 들어, 퓨리어 특징 매칭 손실은 생성된 이미지와 실제 이미지의 중간층 특징 통계를 비교하여 시각적 품질을 향상시킨다. 확산 모델은 순방향 노이즈 추가 과정과 역방향 노이즈 제거 과정을 정의하며, 이 과정에서 평균 제곱 오차를 사용하여 점진적으로 노이즈를 제거하는 네트워크를 학습한다.

손실 함수의 볼록성은 최적화 과정의 난이도와 해의 안정성에 직접적인 영향을 미친다. 볼록 함수는 국소 최솟값이 곧 전역 최솟값임을 보장하므로, 경사 하강법과 같은 반복적 최적화 알고리즘이 전역 최적해로 수렴할 가능성이 높다. 반면, 비볼록 함수는 다수의 국소 최솟값을 가지기 때문에, 초기값이나 최적화 경로에 따라 서로 다른 해에 도달할 수 있으며, 이는 모델 성능의 불안정성으로 이어진다.

실제 기계 학습, 특히 심층 신경망에서는 모델의 복잡도가 높아 손실 함수의 형태가 매우 비선형적이고 비볼록한 경우가 대부분이다. 이 경우, 확률적 경사 하강법과 같은 방법은 미니배치의 무작위성을 통해 국소 최솟값에서 벗어날 가능성을 제공한다. 또한, 모멘텀, Adam과 같은 최적화 알고리즘은 과거 기울기 정보를 활용하여 비볼록 지형을 더 효과적으로 탐색하도록 설계되었다. 따라서 볼록성은 이론적 분석의 편의를 제공하지만, 현대의 복잡한 모델에서는 비볼록성을 가정하고 이를 효과적으로 다루는 최적화 기법의 개발이 더 중요해졌다.

데이터의 특성은 적절한 손실 함수 선택에 결정적인 영향을 미친다. 데이터의 분포, 이상치 존재 여부, 목표 변수의 스케일, 문제의 종류(회귀, 분류 등)에 따라 최적의 손실 함수가 달라진다.

이상치가 많은 데이터의 경우, 평균 제곱 오차는 큰 오차에 대해 제곱 패널티를 부여하므로 이상치에 매우 민감하게 반응한다. 이 경우 평균 절대 오차나 후버 손실과 같이 이상치에 덜 민감한 로버스트(Robust) 손실 함수를 선택하는 것이 일반적이다. 분류 문제에서 클래스 불균형이 심한 경우, 단순 교차 엔트로피는 다수 클래스에 편향될 수 있다. 이를 해결하기 위해 가중 교차 엔트로피나 Focal Loss와 같이 소수 클래스에 더 큰 패널티를 부여하는 손실 함수를 사용한다.

연속적인 값을 예측하는 회귀 문제에서는 평균 제곱 오차가 널리 쓰이지만, 데이터의 오차 분포가 정규 분포를 따른다는 가정이 필요하다. 오차 분포가 비대칭적이라면 평균 절대 오차가 더 적합할 수 있다. 생성 모델에서는 생성된 데이터의 분포와 실제 데이터 분포 사이의 차이를 측정하는 젠슨-섀넌 발산 또는 바서슈타인 거리를 기반으로 한 손실 함수가 사용된다. 최종적으로는 손실 함수의 선택이 모델의 수렴 속도, 최종 성능, 그리고 일반화 능력에 직접적인 영향을 미치므로, 데이터의 특성을 면밀히 분석한 후 결정해야 한다.

경사 하강법은 손실 함수를 최소화하는 모델 매개변수를 찾기 위해 가장 널리 사용되는 최적화 알고리즘이다. 이 방법은 손실 함수의 기울기(gradient)를 계산하여, 그 기울기의 반대 방향으로 매개변수를 조금씩 업데이트하는 과정을 반복한다. 기본 아이디어는 산에서 내리막을 따라 내려가는 것과 유사하여, 현재 위치에서 가장 가파르게 하강하는 방향으로 이동하여 손실 함수 값이 최소가 되는 지점, 즉 전역 최솟값 또는 국소 최솟값에 도달하는 것을 목표로 한다.

구체적인 과정은 다음과 같다. 먼저, 가중치와 편향과 같은 모델 매개변수를 임의의 값으로 초기화한다. 그런 다음, 현재 매개변수에서 손실 함수의 기울기(각 매개변수에 대한 편미분 벡터)를 계산한다. 계산된 기울기 벡터는 손실 함수가 가장 빠르게 증가하는 방향을 가리키므로, 이를 반전시킨 방향으로 매개변수를 업데이트한다. 업데이트 식은 일반적으로 θ = θ - η * ∇J(θ)로 표현된다. 여기서 θ는 매개변수 벡터, η는 학습률, ∇J(θ)는 현재 θ에서의 손실 함수 J의 기울기 벡터이다. 학습률은 한 번에 얼마나 큰 보폭으로 매개변수를 업데이트할지를 결정하는 하이퍼파라미터로, 너무 크면 최솟값을 지나쳐 발산할 수 있고, 너무 작으면 수렴 속도가 매우 느려지거나 조기에 멈출 수 있다[4].

경사 하강법은 배치 방식에 따라 몇 가지 변형이 존재한다. 표준적인 배치 경사 하강법은 매 업데이트 단계마다 전체 훈련 데이터셋을 사용하여 기울기를 정확하게 계산한다. 이는 정확한 방향으로 업데이트하지만, 데이터셋이 클 경우 한 번의 계산에 매우 많은 시간과 메모리가 소요된다는 단점이 있다. 이 문제를 해결하기 위해 등장한 것이 확률적 경사 하강법과 미니배치 경사 하강법이다. 확률적 경사 하강법은 매 단계마다 단 하나의 훈련 샘플을 무작위로 선택하여 기울기를 근사적으로 계산하고, 미니배치 경사 하강법은 작은 크기의 샘플 집합(미니배치)을 사용한다. 이 변형들은 계산 효율성을 높이고, 노이즈가 있는 업데이트를 통해 국소 최솟값에서 벗어날 가능성을 제공한다.

경사 하강법의 성능은 손실 함수의 형태와 밀접한 관련이 있다. 볼록 함수인 손실 함수(예: 평균 제곱 오차)의 경우, 적절한 학습률로 경사 하강법을 적용하면 전역 최솟값에 수렴함이 보장된다. 그러나 딥 러닝 모델의 손실 함수와 같이 매우 복잡하고 비볼록한 형태를 가진 경우, 알고리즘이 국소 최솟값이나 안장점에 갇힐 위험이 있다. 이를 완화하기 위해 모멘텀, AdaGrad, RMSProp, Adam과 같은 고급 최적화 기법들이 개발되었다. 이러한 기법들은 과거 기울기의 정보를 활용하거나 매개변수별로 학습률을 적응적으로 조정하여 더 빠르고 안정적인 수렴을 도모한다.

확률적 경사 하강법은 경사 하강법의 변형으로, 매 단계(에포크)에서 전체 훈련 데이터 대신 무작위로 선택된 하나의 데이터 샘플에 대한 기울기를 계산하여 모델 매개변수를 업데이트하는 방법이다. 이는 계산 비용을 크게 줄여주며, 특히 대규모 데이터셋을 다룰 때 효율적이다. 또한, 손실 함수의 국소 최솟값에 빠지는 위험을 줄이고 더 넓은 범위를 탐색하여 더 나은 최적점을 찾을 가능성을 높인다.

이 방법의 주요 단점은 개별 샘플의 노이즈로 인해 업데이트 경로가 매우 불규칙하고 진동할 수 있다는 점이다. 이를 완화하기 위해 미니배치 확률적 경사 하강법이 널리 사용된다. 미니배치 방식은 전체 데이터도, 단일 샘플도 아닌 작은 묶음(미니배치)의 데이터를 사용하여 기울기를 추정한다. 이는 단일 샘플 방식보다 기울기 추정의 분산을 줄여 더 안정적인 수렴을 도모하면서도, 전체 배치 방식보다는 계산 효율성을 유지하는 절충안이다. 학습률 스케줄링[5]과 같은 방법을 함께 사용하면 수렴 안정성을 더욱 높일 수 있다.