AutoRec

자동인코더 구조는 기본적으로 입력층, 은닉층, 출력층으로 구성된다. 입력층은 사용자-아이템 상호작용 행렬의 한 행 또는 한 열과 같은 희소한 데이터를 받는다. 이 데이터는 은닉층을 통해 저차원의 잠재 벡터로 압축된다. 이 압축된 표현을 잠재 요인이라고 볼 수 있다. 이후 디코더 부분은 이 잠재 벡터를 다시 원본 입력 차원으로 복원하는 것을 목표로 한다.

이 구조의 핵심은 입력 데이터의 핵심적인 패턴과 특징을 저차원 공간에 학습하여 저장하는 것이다. 오토인코더는 입력 데이터를 재구성하는 과정에서 노이즈를 제거하고 중요한 정보만을 추출하도록 훈련된다. AutoRec 모델에서는 이 재구성된 출력이 곧 사용자에게 추천될 아이템에 대한 예측 평점이 된다.

AutoRec은 사용자 기반 AutoRec과 아이템 기반 AutoRec 두 가지 변형으로 나눌 수 있다. 사용자 기반 모델은 각 사용자의 모든 아이템에 대한 평점 벡터를 입력으로 사용하며, 아이템 기반 모델은 각 아이템을 평가한 모든 사용자의 평점 벡터를 입력으로 사용한다. 일반적으로 아이템 기반 접근법이 더 안정적인 성능을 보이는 것으로 알려져 있다.

이러한 구조는 협업 필터링의 한 방법으로, 사용자와 아이템 간의 상호작용 데이터만을 활용한다. 모델이 학습을 마치면, 디코더가 생성한 재구성된 출력 벡터에서 원본 입력에 존재하지 않았던 빈칸(평점이 없는 부분)에 대한 예측 값을 추출하여 추천 목록을 생성한다.

AutoRec의 학습 과정은 주어진 평점 행렬에서 관측된 평점만을 사용하여 모델의 매개변수를 최적화하는 것을 목표로 한다. 사용자-아이템 상호작용 행렬에서 관측된 항목을 재구성하는 오차를 최소화하는 방향으로 학습이 진행된다. 구체적으로, 입력된 평점 벡터와 모델이 출력한 예측 평점 벡터 사이의 평균 제곱 오차(Mean Squared Error, MSE)를 손실 함수로 정의하고, 이를 최소화한다.

학습 시에는 일반적으로 과적합을 방지하기 위해 L2 정규화 항이 손실 함수에 추가된다. 이는 모델의 가중치 파라미터가 너무 커지는 것을 억제하여 일반화 성능을 높이는 역할을 한다. 최적화 알고리즘으로는 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이나 그 변형들이 주로 사용되어 효율적으로 매개변수를 업데이트한다.

학습 데이터는 사용자 기반 접근법과 아이템 기반 접근법에 따라 구성 방식이 달라진다. 사용자 기반 AutoRec은 각 사용자의 평점 벡터를 입력으로 사용하며, 아이템 기반 AutoRec은 각 아이템에 대한 평점 벡터를 입력으로 사용한다. 학습이 완료되면, 모델은 관측되지 않은 빈칸에 대한 평점을 예측할 수 있게 되어 추천을 생성한다.

AutoRec 모델의 성능을 평가하는 데에는 주로 평균 제곱 오차와 같은 회귀 문제에서 사용되는 지표가 활용된다. 예측 평점과 실제 평점 사이의 차이를 측정하는 것이 핵심이다.

가장 기본적인 평가 지표는 평균 제곱 오차이다. 이는 예측값과 실제값 사이의 오차 제곱의 평균을 계산한다. 값이 낮을수록 모델의 예측 정확도가 높음을 의미한다. 평균 제곱 오차의 제곱근을 취한 평균 제곱근 오차도 자주 사용되는데, 이는 오차를 원래 평점 척도와 동일한 단위로 해석할 수 있게 해준다.

추천 시스템에서는 순위 기반 평가 지표도 중요하게 고려된다. 예를 들어, 모델이 높은 평점을 줄 것으로 예상하는 상위 N개의 아이템 리스트를 사용자에게 추천했을 때, 그 리스트에 실제로 선호하는 아이템이 얼마나 포함되어 있는지를 측정하는 정밀도와 재현율을 계산할 수 있다. 또한, 평균 정확도는 추천 리스트 내에서 관련 아이템의 순위를 고려한 평가 지표이다.

AutoRec의 주요 장점은 구현과 사용의 간결성에 있다. 모델 구조가 단순한 자동인코더에 기반하기 때문에, 상대적으로 적은 코드와 계산 자원으로도 효율적으로 추천 시스템을 구축할 수 있다. 이는 추천 시스템을 처음 접하거나 제한된 환경에서 실험을 진행하는 경우에 유리한 점으로 작용한다.

또한, 사용자-아이템 상호작용 행렬의 결측값을 직접적으로 예측하는 모델이라는 점도 장점이다. 명시적 평점 데이터가 주어졌을 때, 평점 행렬의 빈칸을 채우는 문제로 접근할 수 있어 직관적이다. 이는 협업 필터링의 핵심 아이디어를 신경망 구조로 구현한 것으로 볼 수 있다.

모델의 매개변수 수가 사용자 수나 아이템 수에 선형적으로 비례하지 않고, 은닉층의 뉴런 수에 의해 주로 결정된다는 점도 확장성 측면에서 이점이 있다. 대규모 데이터셋에서도 은닉층의 크기를 조절하여 모델 복잡도를 관리할 수 있어, 과적합을 방지하면서도 효율적인 학습이 가능하다.

AutoRec의 주요 단점 중 하나는 사용자와 아이템 간의 상호작용 정보만을 활용한다는 점이다. 이는 사용자의 인구통계학적 정보나 아이템의 속성 정보를 전혀 고려하지 않기 때문에, 콜드 스타트 문제에 취약하다. 새로운 사용자나 새로운 아이템에 대한 추천 성능이 현저히 떨어질 수 있다.

또한, 모델 구조가 비교적 단순한 편이다. 기본적인 자동인코더를 사용하기 때문에 사용자와 아이템 간의 복잡한 비선형 관계를 충분히 포착하지 못할 가능성이 있다. 이는 더 깊은 신경망 구조를 가진 모델들에 비해 표현력이 제한될 수 있음을 의미한다.

마지막으로, 학습 데이터가 희소 행렬 형태일 때, 즉 평점이 매우 적은 경우 모델의 일반화 성능에 어려움을 겪을 수 있다. AutoRec는 관측된 평점을 재구성하는 방식으로 학습되기 때문에, 충분한 양의 학습 신호를 얻지 못하면 제대로 된 잠재 표현을 학습하기 어렵다.