매개변수 서버 구조

매개변수는 머신 러닝 모델, 특히 인공 신경망이 학습 과정에서 조정하는 내부 변수이다. 이들은 모델이 입력 데이터에서 패턴을 학습하고 예측을 수행하는 데 필요한 지식을 인코딩한다. 예를 들어, 완전 연결층에서는 각 뉴런 간의 연결 강도를 나타내는 가중치와 각 뉴런의 활성화 임계값을 조정하는 편향이 대표적인 매개변수이다. 컨볼루션 신경망에서는 커널의 필터 계수들이, 순환 신경망에서는 셀 내부의 게이트 관련 가중치들이 매개변수에 해당한다. 모델의 학습은 주어진 손실 함수를 최소화하는 방향으로 이러한 매개변수들의 값을 반복적으로 업데이트하는 과정이다.

매개변수의 수는 모델의 복잡도와 용량을 결정하는 핵심 요소이다. 간단한 선형 회귀 모델은 소수의 매개변수만을 가지지만, 현대의 대규모 딥러닝 모델은 수억에서 수천억 개에 이르는 방대한 매개변수를 포함한다. 이렇게 많은 매개변수를 효율적으로 저장, 관리, 업데이트하는 것은 매개변수 서버 구조의 주요 동기이다. 매개변수는 일반적으로 고정된 차원의 벡터나 행렬 형태로 표현되며, 최적화 알고리즘에 의해 계산된 그래디언트를 기반으로 조정된다.

매개변수의 초기값은 무작위로 설정되며, 학습 데이터를 통해 점진적으로 최적의 값으로 수렴한다. 매개변수 서버 구조에서는 이러한 방대한 매개변수 집합을 중앙 서버나 서버 클러스터에 유지하고, 여러 워커 노드가 병렬로 계산한 그래디언트를 서버에 전송하여 글로벌 매개변수를 업데이트한다. 이는 단일 머신의 메모리 한계를 극복하고 대규모 분산 학습을 가능하게 하는 핵심 메커니즘이다.

데이터와 모델의 규모가 기하급수적으로 증가하면서 단일 컴퓨터의 계산 자원과 메모리 용량으로는 처리하기 어려운 상황이 발생했다. 특히 딥 러닝 모델의 매개변수 수가 수십억 개에 이르고, 학습에 필요한 데이터셋이 테라바이트 단위를 넘어서면서 분산 컴퓨팅 없이는 실용적인 학습 시간을 보장할 수 없게 되었다.

분산 학습은 이러한 문제를 해결하기 위해 다수의 컴퓨팅 노드를 활용하여 작업을 병렬화한다. 매개변수 서버 구조는 이 병렬 처리를 효율적으로 관리하는 프레임워크 중 하나이다. 이 구조는 중앙 집중식 또는 계층적으로 조직된 서버 노드가 전역 매개변수를 유지하고, 여러 워커 노드가 데이터의 일부를 분배받아 그래디언트를 계산하여 서버로 전송하는 방식을 취한다.

분산 학습의 필요성은 단순히 계산 속도 향상뿐만 아니라 메모리 문제 해결에도 있다. 대규모 모델은 단일 GPU나 시스템 메모리에 온전히 로드되지 않을 수 있다. 매개변수 서버 구조는 매개변수를 여러 노드에 분산 저장할 수 있도록 하여, 단일 머신의 물리적 메모리 한계를 극복하는 데 기여한다.

다음 표는 분산 학습이 필요한 주요 동인을 정리한 것이다.

결국, 분산 학습과 매개변수 서버와 같은 구조는 현대 기계 학습이 직면한 규모의 문제를 해결하기 위한 필수적인 진화 단계이다.

서버 노드는 매개변수 서버 구조의 핵심 구성 요소로서, 중앙 집중식 또는 분산된 방식으로 모델 매개변수를 저장하고 관리하는 역할을 담당한다. 이 노드들은 워커 노드로부터 계산된 그래디언트를 수집하고, 이를 집계하여 글로벌 모델의 매개변수를 지속적으로 업데이트한다. 서버 노드는 단일 머신으로 구성될 수도 있고, 샤딩이나 복제 기법을 통해 여러 머신에 분산되어 배치될 수도 있다. 분산 구성에서는 매개변수 공간이 여러 서버 노드에 분할되어 할당되거나, 각 서버 노드가 전체 매개변수의 복사본을 유지하는 방식으로 운영된다.

서버 노드의 주요 기능은 다음과 같다. 첫째, 워커 노드의 요청에 따라 최신 매개변수 값을 제공한다. 둘째, 워커 노드로부터 전송받은 그래디언트를 적용하여 매개변수를 비동기 또는 동기 방식으로 갱신한다. 셋째, 여러 워커 노드로부터의 업데이트를 조정하여 모델의 일관성을 유지한다. 이를 위해 서버 노드는 키-값 저장소와 유사한 인터페이스를 제공하는 경우가 많다.

서버 노드의 설계는 시스템의 성능과 확장성에 직접적인 영향을 미친다. 단일 서버 노드는 구현이 간단하지만, 매개변수 저장 용량과 처리량에 제한이 있어 확장성이 떨어진다. 반면, 분산 서버 노드 클러스터는 다음과 같은 방식으로 구성될 수 있다.

이러한 구조에서 서버 노드 간의 조정과 장애 허용 메커니즘도 중요한 설계 요소이다. 서버 노드의 안정적인 운영을 위해 체크포인팅과 로그 기반 복구 등의 기법이 활용된다.

워커 노드는 매개변수 서버 아키텍처에서 실제 계산 작업을 수행하는 계산 노드이다. 각 워커는 전체 데이터셋의 일부를 할당받아 로컬 그래디언트를 계산하고, 이를 서버 노드에 전송하는 역할을 담당한다. 워커 노드는 일반적으로 GPU나 TPU 같은 가속기를 장착한 머신으로 구성되며, 독립적으로 순전파와 역전파 연산을 실행한다.

워커 노드의 주요 작업 흐름은 데이터 배치 샘플링, 로컬 그래디언트 계산, 서버로의 그래디언트 전송, 그리고 서버로부터 갱신된 매개변수를 수신하여 모델을 동기화하는 순환 과정이다. 워커는 서버와의 통신 빈도와 방식에 따라 동기화 방식 또는 비동기 SGD 방식으로 동작할 수 있다. 여러 워커가 병렬로 작업함으로써 대규모 데이터에 대한 학습 시간을 단축한다.

워커 노드의 수는 시스템의 확장성을 결정하는 핵심 요소이다. 워커를 추가하면 계산 속도는 향상될 수 있지만, 서버와의 통신량이 증가하여 통신 병목 현상이 발생할 위험이 있다. 따라서 효율적인 통신 프로토콜과 네트워크 대역폭 관리가 중요해진다. 각 워커의 하드웨어 사양과 할당된 데이터의 균형도 전체 시스템 성능에 영향을 미친다.

매개변수 서버 구조에서 통신 프로토콜은 서버 노드와 워커 노드 간의 데이터 교환 방식을 정의하는 핵심 규칙 집합이다. 이 프로토콜은 효율성과 일관성을 보장하며, 주로 그래디언트의 전송과 업데이트된 매개변수의 배포를 관리한다.

통신은 일반적으로 풀(Pull)과 푸시(Push) 두 가지 기본 연산을 기반으로 한다. 워커 노드는 학습을 위해 최신 매개변수를 서버로부터 풀(Pull)하여 가져오고, 계산이 완료된 그래디언트를 서버로 푸시(Push)하여 전송한다. 이 과정에서 사용되는 주요 프로토콜 요소는 다음과 같다.

프로토콜 설계는 시스템의 성능에 직접적인 영향을 미친다. 지연을 최소화하기 위해 매개변수를 작은 단위로 분할하여 전송하거나, 압축 기법을 적용하여 통신 오버헤드를 줄이는 최적화가 자주 적용된다[2]. 또한, 네트워크 장애나 노드 실패를 견디기 위한 내고장성(Fault Tolerance) 메커니즘, 예를 들어 타임아웃과 재시도 로직도 프로토콜의 중요한 부분이다.

그래디언트 전송은 매개변수 서버 구조에서 워커 노드가 서버 노드와 상호작용하는 핵심 단계이다. 각 워커는 자신에게 할당된 데이터 배치를 사용하여 순전파와 역전파를 수행한 후, 계산된 그래디언트를 서버로 전송한다. 이때 전송되는 그래디언트는 손실 함수를 모델의 매개변수에 대해 미분한 값으로, 모델이 학습 데이터에 어떻게 적응해야 하는지에 대한 방향과 크기 정보를 담고 있다.

전송 과정은 일반적으로 비동기적 또는 동기적 방식으로 이루어진다. 비동기 방식에서는 각 워커가 그래디언트 계산을 완료하는 대로 즉시 서버로 전송한다. 이는 빠른 워커가 다음 배치 처리를 기다리지 않아도 되므로 자원 활용률을 높이는 장점이 있다. 반면, 동기 방식(예: 동기화 SGD)에서는 모든 워커의 그래디언트 계산이 완료될 때까지 한 번의 학습 단계가 대기하며, 이후 평균화된 그래디언트가 서버에 적용된다.

전송 효율을 높이기 위해 다양한 최적화 기법이 사용된다. 예를 들어, 그래디언트 압축 기술은 전송해야 할 데이터 양을 줄이기 위해 양자화나 희소화를 적용한다[3]. 또한, 일부 구현에서는 그래디언트를 작은 덩어리로 나누어 점진적으로 전송하거나, 업데이트 빈도를 낮추는 방식을 채택하기도 한다. 이러한 방법들은 네트워크 대역폭 소모와 통신 지연을 줄이는 데 기여한다.

서버는 워커들로부터 수신한 그래디언트를 누적하거나 평균하여 글로벌 모델 매개변수를 갱신한다. 이후 워커는 갱신된 매개변수를 서버로부터 가져와(pull) 다음 학습 반복에 사용한다. 이 지속적인 그래디언트 전송과 매개변수 동기화 과정을 통해 분산된 워커들이 하나의 통합된 모델을 협력적으로 학습하게 된다.

매개변수 업데이트는 워커 노드가 계산한 그래디언트를 서버 노드가 중앙 집중식으로 관리하는 전역 모델 매개변수에 반영하는 과정이다. 이 과정은 일반적으로 최적화 알고리즘에 기반하여 수행된다. 가장 기본적인 방식은 확률적 경사 하강법(SGD)을 사용하는 것으로, 서버는 각 워커로부터 전달받은 그래디언트를 평균내거나 누적하여 현재의 전역 매개변수에서 일정 비율만큼 빼는 방식으로 업데이트한다[4].

업데이트 방식은 동기화 정책에 따라 크게 두 가지로 나뉜다. 동기식 업데이트에서는 서버가 모든 워커로부터의 그래디언트를 모아 평균을 낸 후 한 번에 매개변수를 갱신한다. 이 방식은 업데이트의 일관성을 보장하지만, 가장 느린 워커의 속도에 전체 학습이 맞춰져야 하는 단점이 있다. 반면, 비동기식 업데이트에서는 워커가 그래디언트를 계산하는 대로 서버에 전송하고, 서버는 도착하는 즉시 매개변수를 갱신한다. 이는 시스템 효율성을 높이지만, 오래된 그래디언트(stale gradient) 문제로 인해 수렴 안정성이 떨어질 수 있다.

서버는 업데이트된 매개변수 값을 워커들에게 다시 브로드캐스트하거나, 워커가 다음 계산 주기에 요청할 때 전달한다. 이 과정을 반복함으로써 분산된 여러 워커가 협력하여 하나의 공유 모델을 점진적으로 최적화해 나간다.

동기화 방식은 매개변수 서버 구조에서 여러 워커 노드가 매개변수를 업데이트하는 시점을 조율하는 방법을 의미한다. 크게 동기식 학습과 비동기식 학습으로 구분되며, 이 선택은 학습 속도, 수렴 안정성, 자원 활용도에 직접적인 영향을 미친다.

두 방식을 절충한 방식도 존재한다. 예를 들어, 동기식의 스트레글러 문제를 완화하기 위해 일정 시간 내에 도착한 워커의 그래디언트만으로 업데이트를 수행하는 제한적 동기식 병렬 처리나, 여러 개의 비동기식 업데이트를 일괄로 평균하는 지연 보상 기법 등이 개발되었다. 최적의 동기화 방식 선택은 하드웨어 환경, 모델 크기, 데이터 분포, 네트워크 대역폭 등 다양한 요소에 따라 결정된다.

확률적 경사 하강법은 매개변수 서버 구조에서 가장 널리 사용되는 최적화 알고리즘의 기반이 된다. 이 방식은 전체 데이터셋 대신 미니배치 단위로 그래디언트를 계산하여 매개변수를 업데이트한다. 매개변수 서버 환경에서는 각 워커 노드가 할당받은 데이터 샘플에 대해 독립적으로 그래디언트를 계산한 후, 이를 서버 노드로 전송한다. 서버는 모든 워커로부터 수집된 그래디언트를 종합하여 전역 모델의 매개변수를 한 번 업데이트한다.

매개변수 서버에서의 기본적인 SGD 동작은 다음과 같은 단계로 이루어진다.

1. 서버는 현재의 전역 매개변수 벡터를 모든 워커에게 브로드캐스트한다.

2. 각 워커는 자신의 로컬 데이터 미니배치를 사용하여 그래디언트를 계산한다.

3. 계산된 그래디언트를 서버로 전송한다.

4. 서버는 수신된 모든 그래디언트를 평균 내거나 합산한 후, 학습률을 적용하여 전역 매개변수를 업데이트한다.

5. 업데이트된 매개변수를 바탕으로 다음 반복이 시작된다.

SGD를 기반으로 한 여러 변형 알고리즘이 매개변수 서버에 적용된다. 모멘텀을 도입한 방법은 과거 그래디언트의 이동 평균을 사용하여 업데이트 방향을 조정함으로써 수렴 속도를 높이고 진동을 줄인다. AdaGrad와 RMSProp은 각 매개변수마다 적응형 학습률을 조정하여 희소한 특징이 많이 등장하는 문제에 효과적이다. Adam은 모멘텀과 적응형 학습률 방식을 결합한 알고리즘으로, 실전에서 매우 널리 채택된다.

이러한 알고리즘들은 분산 환경에서의 구현에 있어 중요한 설계 선택을 요구한다. 예를 들어, 서버가 그래디언트를 누적하는 방식(평균 vs. 합산), 업데이트에 사용할 워커의 수(전체 vs. 일부), 그리고 동기화 방식 등이 성능과 수렴 특성에 직접적인 영향을 미친다. 표준 SGD는 이론적으로 간단하지만, 대규모 분산 학습에서는 통신 지연과 노드 장애를 견디기 위해 비동기 SGD와 같은 보다 복잡한 변형이 종종 필요해진다.

비동기 SGD는 매개변수 서버 구조에서 여러 워커 노드가 매개변수를 동기화하지 않고 독립적으로 업데이트하는 분산 학습 방식을 가리킨다. 각 워커는 로컬 데이터 배치로 그래디언트를 계산한 후, 즉시 중앙 서버에 전송하여 전역 매개변수를 갱신한다. 서버는 워커들의 요청을 순차적으로 처리하며, 다른 워커가 기다리지 않도록 비동기적으로 매개변수를 업데이트한다. 이 방식은 워커 간 대기 시간을 제거하여 하드웨어 활용도를 극대화한다.

그러나 비동기 SGD는 스태일 그래디언트 문제를 야기할 수 있다. 한 워커가 서버로부터 매개변수를 읽고 그래디언트를 계산하여 돌려보내는 사이에, 다른 워커들에 의해 서버의 매개변수가 여러 번 업데이트될 수 있다. 이로 인해 워커가 오래된 매개변수를 기반으로 계산한 그래디언트가 현재 모델 상태와 맞지 않아 학습의 정확도나 수렴 속도에 부정적 영향을 미칠 수 있다[6].

이 문제를 완화하기 위해 다양한 변형 알고리즘이 제안되었다. 예를 들어, Hogwild! 알고리즘은 메모리 잠금 없이 매개변수를 덮어쓰는 방식을 사용한다. 또 다른 접근법인 딜레이드 SGD는 그래디언트의 지연 정도를 추정하여 업데이트에 반영하거나, AdaDelay와 같은 방법은 각 워커의 지연을 적응적으로 보상한다. 다음 표는 비동기 SGD의 주요 특징을 동기식 SGD와 비교하여 보여준다.

비동기 SGD는 특히 워커들의 계산 속도나 네트워크 지연 시간이 균일하지 않은 이기종 클러스터 환경에서 유리하다. 느린 워커 하나가 전체 학습 속도를 저하시키는 꼬리 지연 문제를 피할 수 있기 때문이다. 이는 대규모 상용 클라우드 환경에서 실용적으로 널리 적용된다.

매개변수 서버 구조의 주요 장점은 확장성이다. 하나의 중앙 서버에 모든 매개변수를 두는 전통적인 방식과 달리, 매개변수 서버는 다수의 서버 노드에 매개변수를 분산하여 저장하고 관리한다. 이로 인해 모델의 크기나 워커 노드의 수가 증가하더라도 시스템을 비교적 쉽게 확장할 수 있다. 모델 매개변수가 매우 커서 단일 머신의 메모리에 담기 어려운 대규모 딥러닝 모델을 학습시킬 때 특히 유용하다.

확장성은 수직적 확장과 수평적 확장 두 측면에서 발휘된다. 수직적 확장 측면에서는, 매개변수를 여러 서버에 분산 저장함으로써 단일 머신의 물리적 메모리 한계를 극복한다. 수평적 확장 측면에서는, 학습 작업을 수행하는 워커 노드의 수를 늘려 데이터 병렬 처리를 가속화할 수 있다. 새로운 워커를 추가하더라도 기존 아키텍처를 크게 변경할 필요 없이 해당 워커가 특정 매개변수 서버와 통신하도록 구성하면 된다.

이 구조는 비동기 학습 방식을 자연스럽게 지원하며, 이는 확장성에 기여하는 또 다른 요소이다. 워커들이 중앙 조정 없이 독립적으로 그래디언트를 계산하고 업데이트를 요청할 수 있기 때문에, 느린 워커 하나가 전체 시스템의 속도를 저하시키는 현상(스트레글러 문제)을 완화한다. 결과적으로 수십, 수백 개의 컴퓨팅 노드를 활용한 대규모 분산 학습이 가능해진다.

매개변수 서버 구조에서 통신 병목은 시스템 성능을 제한하는 주요 요인이다. 이는 수많은 워커 노드가 생성한 그래디언트를 중앙의 서버 노드로 집중적으로 전송하거나, 서버로부터 업데이트된 매개변수를 동시에 수신하는 과정에서 발생한다. 네트워크 대역폭은 유한하며, 특히 대규모 모델의 경우 매개변수와 그래디언트의 크기가 수십 기가바이트에 달할 수 있어 통신 지연이 학습 시간의 상당 부분을 차지하게 된다.

통신 병목은 주로 두 가지 형태로 나타난다. 첫째는 서버 노드의 네트워크 인터페이스나 대역폭이 모든 워커의 요청을 동시에 처리하기에 부족해지는 경우이다. 둘째는 네트워크 스위치나 라우터 같은 공유 인프라에서의 정체 현상이다. 비동기 방식은 이러한 병목을 완화할 수 있지만, 스태일 그래디언트 문제를 유발할 수 있다.

이 문제를 완화하기 위한 여러 기법이 개발되었다. 주요 방법은 다음과 같다.

이러한 최적화에도 불구하고, 매개변수 서버의 중앙 집중식 통신 모델은 본질적인 확장성 한계를 지닌다. 이는 All-Reduce와 같은 피어-투-피어 통신 패턴이 대안으로 주목받는 이유이다.

매개변수 서버 구조는 딥러닝 모델의 규모가 급격히 커지면서 등장한 핵심 인프라이다. 특히 수억에서 수천억 개에 이르는 매개변수를 가진 대형 언어 모델이나 컴퓨터 비전 모델을 학습시킬 때 필수적인 기술로 자리 잡았다. 단일 GPU나 서버의 메모리와 계산 자원으로는 이러한 모델을 처리하는 것이 불가능하기 때문에, 매개변수 서버는 모델 상태를 중앙에서 관리하고 수많은 워커 노드의 계산을 조율하는 역할을 한다.

이 구조의 핵심은 모델 매개변수의 저장과 업데이트를 전문적으로 담당하는 서버 노드군과, 실제 데이터를 처리하고 그래디언트를 계산하는 워커 노드군을 분리하는 것이다. 예를 들어, 트랜스포머 기반의 대규모 언어 모델 학습에서는 각 워커 노드가 미니배치 데이터를 읽어 순전파와 역전파를 수행한 후, 계산된 그래디언트를 매개변수 서버로 전송한다. 서버는 전 세계의 워커들로부터 집계된 그래디언트를 바탕으로 확률적 경사 하강법 등의 최적화 알고리즘을 적용해 중앙 매개변수를 갱신하고, 워커들은 갱신된 매개변수를 다시 가져와 다음 학습을 진행한다.

이러한 접근 방식은 몇 가지 중요한 이점을 제공한다. 첫째, 모델 크기가 단일 장치의 메모리 용량을 초과하더라도 매개변수를 여러 서버 노드에 분산 저장할 수 있어 매우 큰 모델을 학습시킬 수 있다. 둘째, 비동기 또는 준비동기 방식의 업데이트를 허용함으로써, 느린 워커 노드가 전체 학습 속도를 저하시키는 문제를 완화할 수 있다. Google의 딥러닝 프레임워크인 텐서플로의 초기 분산 학습 아키텍처와 바이두의 파들패들 등이 이 구조를 광범위하게 활용한 대표적인 사례이다.

그러나 매개변수 서버 구조는 중앙 집중식 통신으로 인한 통신 병목 현상이 발생할 수 있으며, 서버 노드의 가용성이 전체 시스템의 안정성을 좌우하는 단점도 있다. 이러한 한계를 극복하기 위해 All-Reduce와 같은 피어-투-피어 통신 기반의 분산 학습 패러다임도 함께 발전하고 있다.

매개변수 서버 구조는 추천 시스템의 핵심인 대규모 임베딩 테이블과 딥러닝 모델을 효율적으로 학습시키는 데 널리 사용된다. 특히 사용자와 아이템의 수가 수억에서 수천억에 달하는 현대적 추천 시스템에서는 모델의 매개변수 대부분이 거대한 임베딩 레이어에 집중된다. 이러한 테라바이트 규모의 매개변수를 단일 머신에서 관리하고 업데이트하는 것은 불가능에 가깝기 때문에, 매개변수 서버는 분산 저장과 병렬 처리를 위한 표준 아키텍처로 자리 잡았다.

이 구조에서, 각 워커 노드는 미니배치 데이터(예: 특정 사용자 그룹의 클릭 로그)를 처리하여 해당 데이터에 등장하는 희소 특징에 대한 그래디언트만 계산한다. 워커는 이 그래디언트를 중앙의 서버 노드로 전송하고, 서버는 해당 임베딩 벡터를 비동기적으로 누적 업데이트한다. 이 방식은 전체 임베딩 테이블을 모든 워커에 복제할 필요가 없게 하여 메모리 요구사항을 크게 줄인다.

주요 활용 이점은 다음과 같다.

이러한 특성으로 인해 딥러닝 추천 모델, 컨텐츠 기반 필터링, 협업 필터링을 위한 대규모 행렬 분해 모델 등의 학습에 매개변수 서버 구조가 필수적으로 적용된다. 또한, 온라인 학습 환경에서 실시간으로 유입되는 데이터로 모델을 점진적으로 개선하는 데도 적합한 아키텍처를 제공한다.

All-Reduce는 분산 컴퓨팅 환경에서 여러 프로세서나 노드에 분산된 데이터를 집계(Reduce)한 후 그 결과를 모든 노드에 동일하게 배포(Broadcast)하는 집합 통신 연산이다. 이 연산은 MPI와 같은 병렬 프로그래밍 인터페이스의 핵심 구성 요소로, 특히 분산 머신러닝에서 그래디언트의 평균을 계산하거나 매개변수를 동기화하는 데 널리 사용된다. 모든 노드가 동일한 최종 결과를 얻는 것이 특징이다.

All-Reduce의 구현 방식은 크게 두 가지로 나눌 수 있다. 첫 번째는 Reduce-Scatter 단계와 All-Gather 단계를 순차적으로 결합하는 방식이다. Reduce-Scatter 단계에서는 각 노드가 보유한 데이터를 여러 청크로 나누고, 모든 노드가 서로 다른 청크에 대한 집계 연산(예: 합계, 평균)을 담당하여 부분 결과를 생성한다. 이후 All-Gather 단계에서는 이 부분 결과들이 모든 노드로 전파되어 완전한 최종 결과를 구성한다. 두 번째 방식은 이진 트리나 링 토폴로지를 이용하여 여러 단계에 걸쳐 집계와 전파를 효율적으로 결합하는 것이다.

매개변수 서버 구조와 비교할 때, All-Reduce는 중앙 집중식 서버가 없는 대등한(Peer-to-Peer) 아키텍처를 기반으로 한다. 이로 인해 통신 병목 현상이 발생할 가능성이 낮고, 대역폭 활용이 균등하여 대규모 GPU 클러스터에서 고성능 분산 학습을 구현하는 데 선호된다. 특히 딥 러닝의 동기식 SGD에서 각 워커 노드가 계산한 그래디언트를 동기적으로 평균내는 표준 방법으로 자리 잡았다.

페더러티드 러닝은 분산 머신러닝의 한 패러다임으로, 중앙 서버에 데이터를 집중시키지 않고도 여러 클라이언트 장치에서 협력적으로 모델을 학습하는 기술이다. 이 방식의 핵심 목표는 데이터 프라이버시를 보호하고 네트워크 대역폭을 절약하는 것이다. 매개변수 서버 구조는 페더러티드 러닝을 구현하는 데 있어 핵심적인 인프라 역할을 한다.

페더러티드 러닝의 일반적인 라운드는 다음과 같은 단계로 진행된다. 먼저, 중앙 매개변수 서버가 전역 모델을 선택된 클라이언트 장치들(예: 스마트폰, IoT 기기)에 배포한다. 각 클라이언트는 자신의 로컬 데이터셋을 사용하여 전역 모델을 초기값으로 삼아 로컬 학습을 수행한다. 학습이 완료되면, 클라이언트는 모델 전체가 아닌 학습 결과인 모델 그래디언트 또는 업데이트된 매개변수만을 서버로 전송한다. 마지막으로 서버는 수집된 모든 클라이언트의 업데이트를 안전하게 집계(예: 평균화)하여 새로운 전역 모델을 생성하고, 다음 라운드를 시작한다.

이 접근법은 몇 가지 뚜렷한 특징과 과제를 가진다. 주요 장점은 사용자의 민감한 원본 데이터가 자신의 장치를 벗어나지 않으므로 데이터 보안과 개인정보 보호를 강화할 수 있다는 점이다. 또한, 모든 데이터를 클라우드로 전송할 필요가 없어 통신 비용이 절감된다. 반면, 클라이언트 장치의 이기종성, 통신의 제한적 가용성, 그리고 참여 클라이언트의 데이터 분포가 균일하지 않은 비독립 동등 분포 문제는 학습의 효율성과 모델 정확도에 도전 과제로 작용한다. 이를 해결하기 위해 압축 기법, 차등 프라이버시, 클라이언트 선택 전략 등 다양한 최적화 방법이 연구되고 있다.