드롭아웃 레이어 설정

드롭아웃은 신경망의 과적합을 방지하기 위한 정규화 기법 중 하나이다. 학습 과정에서 네트워크 내의 일부 뉴런을 무작위로 비활성화하여, 매번 다른 하위 네트워크를 학습시키는 방식으로 작동한다.

구체적인 작동 원리는 다음과 같다. 각 학습 단계(미니배치)마다, 각 레이어의 뉴런은 사전에 정의된 확률 p에 따라 독립적으로 제거될지 여부가 결정된다. 제거된 뉴런은 해당 순전파와 역전파 과정에서 기여하지 않는다. 이는 네트워크가 특정 뉴런이나 뉴런 간의 연결에 지나치게 의존하는 것을 방지한다. 다음 학습 단계에서는 또 다른 무작위로 선택된 뉴런 집합이 비활성화되며, 이 과정이 반복된다. 평가나 추론 단계에서는 모든 뉴런을 사용하되, 각 뉴런의 출력에 학습 시 사용한 유지 확률 (1-p)을 곱하여 기대 출력 값을 맞춘다[2].

이 메커니즘은 앙상블 학습의 효과를 단일 모델 내에서 근사한다고 볼 수 있다. 매번 다른 구조의 네트워크를 학습시킴으로써, 모델이 더 강건한 특징을 학습하도록 유도한다. 결과적으로 개별 뉴런은 자신의 출력이 언제든 무시될 수 있다는 사실에 적응해야 하므로, 다른 뉴런들과의 협력을 강화하고 더 일반화된 표현을 학습하게 된다.

드롭아웃은 학습 과정에서 신경망 내 일부 뉴런을 무작위로 비활성화하여 모델이 특정 뉴런에 지나치게 의존하는 것을 방지한다. 이는 각 뉴런이 보다 강건한 특징을 학습하도록 유도하며, 결과적으로 모델의 일반화 성능을 향상시킨다. 이 과정은 앙상블 학습의 효과와 유사하게 작동하는데, 매 학습 단계마다 서로 다른 부분 네트워크를 학습시키는 것과 같다.

과적합 방지의 핵심 메커니즘은 모델의 복잡도를 효과적으로 줄이는 데 있다. 드롭아웃이 적용되면 네트워크는 더 얕고 넓은 구조를 가진 여러 서브네트워크의 평균처럼 동작한다. 이는 단일 복잡한 모델을 학습시키는 대신, 여러 간단한 모델을 조합하는 효과를 낸다. 또한, 드롭아웃은 뉴런 간의 공적응을 억제한다. 특정 뉴런이 항상 특정 다른 뉴런의 출력에 의존하지 못하게 함으로써, 각 뉴런이 독립적으로 유용한 특징을 추출하도록 만든다.

테스트나 추론 단계에서는 모든 뉴런을 사용하되, 각 뉴런의 출력에 학습 시 사용한 드롭아웃 확률을 곱하여 앙상블된 예측의 기대값을 근사한다. 이 방식을 통해 학습 시의 불확실성을 유지하면서도 추론 시에는 결정론적인 출력을 얻을 수 있다.

드롭아웃 확률(p)은 각 학습 단계에서 임의로 선택된 뉴런이 비활성화될 확률을 의미한다. 이 값은 일반적으로 0에서 1 사이의 실수로 표현되며, 가장 일반적으로 사용되는 값은 0.5이다. 확률 p는 네트워크의 정규화 강도를 직접적으로 조절하는 핵심 하이퍼파라미터 역할을 한다.

p 값이 너무 낮으면(예: 0.1) 적은 수의 뉴런만이 드롭아웃되어 효과가 미미해질 수 있다. 반대로 p 값이 너무 높으면(예: 0.8) 네트워크의 너무 많은 정보가 손실되어 학습 자체가 어려워질 수 있다. 따라서 적절한 p 값의 선택은 모델의 용량과 데이터의 특성에 따라 달라진다. 일반적으로 과적합 위험이 높은 대규모 네트워크에서는 상대적으로 높은 p 값(0.5~0.7)을, 네트워크가 작거나 데이터가 부족한 경우에는 낮은 p 값(0.2~0.5)을 적용하는 경향이 있다.

다양한 네트워크 아키텍처에 따라 권장되는 p 값의 범위가 다를 수 있다. 예를 들어, 완전 연결 신경망에서는 0.5가 널리 사용되는 반면, 합성곱 신경망의 경우 공간적 상관관계를 보존하기 위해 더 낮은 확률(예: 0.2~0.3)을 적용하기도 한다. 순환 신경망의 내부 연결에 드롭아웃을 적용할 때는 더욱 보수적인 값(예: 0.1~0.2)을 사용하여 장기 의존성 학습을 방해하지 않도록 주의한다.

이 값은 실험을 통해 최적화되어야 하며, 검증 세트의 성능을 기준으로 튜닝하는 것이 일반적이다.

드롭아웃 레이어를 모델의 어느 위치에 몇 개나 배치할지는 모델의 성능에 직접적인 영향을 미치는 중요한 결정 사항이다. 일반적으로 드롭아웃은 과적합을 방지하기 위해 은닉층에 적용되며, 입력층이나 출력층에는 잘 사용되지 않는다. 입력층에 적용할 경우 너무 많은 정보가 손실되어 학습 자체가 어려워질 수 있고, 출력층 직전에 적용하면 최종 예측의 불확실성이 과도하게 증가할 수 있다.

드롭아웃 레이어의 개수와 배치 위치에 대한 일반적인 원칙은 다음과 같다. 모델이 깊고 복잡할수록, 또는 파라미터의 수가 많을수록 더 많은 드롭아웃 레이어가 필요할 수 있다. 완전 연결 신경망에서는 각 밀집층 뒤에 하나의 드롭아웃 레이어를 배치하는 것이 일반적이다. 합성곱 신경망에서는 풀링 레이어 뒤나 완전 연결층 직전에 배치하는 경우가 많다. 순환 신경망에서는 각 순환층의 출력에 적용되기도 한다.

적절한 레이어 위치와 개수를 결정하는 데에는 실험적 접근이 필수적이다. 처음에는 보수적으로 적은 수의 드롭아웃 레이어를 주요 변환 레이어 뒤에 배치하여 시작하는 것이 좋다. 이후 검증 세트의 성능과 과적합 지표를 관찰하면서 점진적으로 드롭아웃 레이어의 개수를 조정하거나 위치를 변경해 나간다. 너무 많은 드롭아웃 레이어는 모델의 표현력을 지나치게 저하시켜 과소적합을 유발할 수 있다는 점에 유의해야 한다.

데이터셋의 규모는 드롭아웃 확률 설정에 가장 직접적인 영향을 미치는 요소 중 하나이다. 일반적으로 학습 데이터의 양이 적을수록 모델은 과적합에 빠지기 쉬우므로, 드롭아웃 확률을 상대적으로 높게 설정하는 것이 권장된다[3]. 예를 들어, 소규모 이미지 데이터셋을 사용할 때는 드롭아웃 확률을 0.5에서 0.7 사이로 설정하는 경우가 많다. 반대로 대규모 데이터셋(예: 수백만 개의 이미지)을 사용할 경우, 모델이 충분한 다양성을 가진 패턴을 학습할 수 있으므로 드롭아웃 확률을 0.2 이하로 낮추거나 경우에 따라 생략하기도 한다.

데이터의 복잡도와 잡음 수준 또한 중요한 고려 사항이다. 데이터 내 특징 간의 상관관계가 높거나 잡음이 많은 경우, 드롭아웃은 모델이 보다 강건한 특징을 학습하도록 돕는다. 예를 들어, 배경이 복잡하거나 객체가 부분적으로 가려진 컴퓨터 비전 작업에서는 Spatial Dropout과 같은 변형 기법이 효과적일 수 있다. 데이터의 복잡도를 정량적으로 평가하기 위해 다음 요소들을 종합적으로 검토할 수 있다.

실제 설정 시에는 데이터의 양과 복잡도를 기반으로 한 경험적 규칙에서 출발하되, 검증 세트의 성능을 모니터링하며 하이퍼파라미터 튜닝을 수행하는 것이 바람직하다. 단순히 데이터가 적다고 해서 지나치게 높은 드롭아웃 확률을 적용하면 모델이 충분히 학습되지 않는 과소적합 문제가 발생할 수 있음을 유의해야 한다.

과적합 위험도는 드롭아웃 확률과 레이어 배치를 결정하는 핵심 요소이다. 위험도 평가는 일반적으로 데이터셋의 크기, 특징의 복잡성, 노이즈 수준, 그리고 모델의 용량(파라미터 수)을 종합적으로 분석하여 이루어진다. 데이터가 적거나, 특징이 복잡하고 노이즈가 많으며, 모델이 상대적으로 큰 경우 과적합 위험이 높다고 판단한다.

평가를 위한 주요 지표와 기준은 다음과 같다.

과적합 위험이 높다고 평가되면, 드롭아웃 확률(p)을 상대적으로 높게(예: 0.5~0.7) 설정하거나, 모델의 여러 은닉층에 드롭아웃을 적용하는 전략을 채택한다. 반대로 데이터가 풍부하고 모델이 단순하여 위험이 낮은 경우, 드롭아웃 확률을 낮추거나(예: 0.2~0.3) 아예 사용하지 않는 선택도 고려된다. 최종적인 설정은 이러한 정성적 평가와 함께 교차 검증을 통한 정량적 실험을 결합하여 결정된다.

완전 연결 신경망은 모든 뉴런이 이전 층의 모든 뉴런과 연결된 구조를 가집니다. 이로 인해 모델의 파라미터 수가 급격히 증가하여 과적합에 매우 취약한 경향을 보입니다. 따라서 드롭아웃은 완전 연결 신경망에서 가장 효과적이고 널리 사용되는 정규화 기법 중 하나입니다.

일반적으로 드롭아웃은 완전 연결 층(밀집층) 사이에 배치됩니다. 입력층 바로 다음에 위치시키거나, 은닉층 사이에 여러 개를 삽입하는 것이 일반적입니다. 마지막 출력층에는 적용하지 않습니다. 드롭아웃 확률(p)은 보통 0.2에서 0.5 사이의 값을 사용하며, 레이어가 깊어질수록 또는 모델이 과적합될 위험이 높을수록 더 높은 확률을 적용합니다.

실제 적용 시, 데이터의 양과 복잡도에 따라 전략을 조정해야 합니다. 작은 데이터셋을 사용하거나 모델이 매우 깊고 넓은 경우, 더 높은 드롭아웃 확률을 사용하거나 여러 층에 걸쳐 적용하는 것이 효과적입니다. 반대로 데이터가 매우 많거나 모델이 단순하다면, 드롭아웃을 사용하지 않거나 매우 낮은 확률을 적용할 수도 있습니다.

합성곱 신경망에서 드롭아웃은 주로 완전 연결 층에 적용되던 전통적인 방식과는 다른 고려가 필요하다. 합성곱 신경망의 핵심 구조인 합성곱층은 매개변수 공유와 지역적 연결성을 가지므로, 과적합 위험이 완전 연결층보다 상대적으로 낮은 편이다. 따라서 드롭아웃은 보통 합성곱층 이후의 평탄화(Flatten) 층과 이를 따라오는 완전 연결층 사이, 혹은 완전 연결층들 사이에 배치하는 것이 일반적이다. 이는 고차원의 특징 벡터가 완전 연결층으로 들어가면서 발생할 수 있는 과적합을 효과적으로 방지한다.

합성곱층 자체에 드롭아웃을 적용할 때는 SpatialDropout과 같은 변형 기법이 더 효과적일 수 있다. 표준 드롭아웃이 개별 뉴런을 독립적으로 제거하는 반면, SpatialDropout2D(이미지 데이터의 경우)는 전체 특징 맵(Feature Map)을 제거한다. 이는 합성곱층의 출력이 공간적 상관관계를 강하게 가지기 때문에, 연관된 특징들을 함께 제거함으로써 더 강력한 정규화 효과를 제공할 수 있기 때문이다.

CNN 모델에서 드롭아웃 확률 설정은 데이터셋의 규모와 복잡성에 크게 의존한다. 대규모 데이터셋(예: ImageNet)으로 훈련된 매우 깊은 모델에서는 드롭아웃을 사용하지 않거나 매우 낮은 확률(예: 0.2~0.5)로만 적용하기도 한다. 반면, 데이터가 제한적이고 과적합 위험이 높은 경우, 완전 연결층에서 보다 공격적인 드롭아웃(예: 0.5~0.7)이 유용하다. 최신 아키텍처에서는 배치 정규화 레이어가 정규화 역할을 함께 수행하며, 드롭아웃과의 조합에 대한 실험적 검증이 필요하다.

순환 신경망에 드롭아웃을 적용할 때는 네트워크의 순환 구조를 고려한 특별한 접근이 필요하다. 일반적인 완전 연결 신경망이나 합성곱 신경망과 달리, RNN은 시간 축을 따라 오차가 역전파되기 때문에 드롭아웃을 무작위로 적용하면 시간적 의존성 정보가 손실되거나 학습이 불안정해질 수 있다. 따라서 RNN에서는 주로 순환 연결이 아닌, 입력과 은닉층의 출력에만 드롭아웃을 적용하는 방식을 사용한다. 이는 시간 단계마다 동일한 드롭아웃 마스크를 유지하는 방식으로 구현되어, 시간 축을 따라 일관된 정보 흐름을 보존한다.

구체적인 적용 위치는 주로 두 군데이다. 첫째는 RNN 층의 입력에 적용되는 드롭아웃(input_dropout)으로, 각 시간 단계에 들어오는 입력 벡터의 일부 유닛을 무작위로 제거한다. 둘째는 층 사이의 드롭아웃(recurrent_dropout)으로, 이전 시간 단계의 은닉 상태에서 다음 시간 단계로 전달되는 정보에 드롭아웃을 적용한다. 후자는 LSTM이나 GRU와 같은 게이트 메커니즘 내부의 순환 가중치에 대한 정규화 효과를 제공하여, 장기 의존성 학습을 돕는 것으로 알려져 있다.

실제 설정 시에는 데이터의 시퀀스 길이와 노이즈 정도를 고려해야 한다. 긴 시퀀스를 처리할수록 정보 소실 가능성이 커지므로 드롭아웃 확률을 낮게 설정하는 것이 일반적이다. 또한, 과적합의 징후가 뚜렷한 복잡한 모델에서는 순환 드롭아웃의 확률을 조금 더 높여 규제 강도를 증가시키는 전략이 사용된다.

드롭아웃 확률(p)과 같은 하이퍼파라미터의 최적값을 찾기 위해 체계적인 탐색 방법이 사용된다. 가장 기본적인 방법은 그리드 서치이다. 이 방법은 사전에 정의한 파라미터 후보 값들의 모든 가능한 조합을 순차적으로 시도하여 모델을 학습하고 평가한다. 예를 들어, 드롭아웃 확률을 [0.1, 0.3, 0.5, 0.7]로 설정하고, 다른 파라밋터와 조합한다면, 정의된 그리드 내에서 가장 우수한 성능을 보이는 조합을 찾을 수 있다. 이 방법은 탐색 공간을 철저히 조사하지만, 후보 값의 수가 늘어날수록 계산 비용이 기하급수적으로 증가한다는 단점이 있다.

보다 효율적인 대안으로 랜덤 서치가 널리 채택된다. 랜덤 서치는 사전에 정의된 탐색 범위 내에서 파라미터 값을 무작위로 샘플링하여 조합을 시도한다. 그리드 서치가 모든 조합을 고정된 간격으로 시도하는 반면, 랜덤 서치는 확률 분포를 기반으로 값을 추출한다. 이는 불필요한 조합을 반복 시도할 가능성을 줄이고, 적은 시행 횟수로도 우수한 하이퍼파라미터를 발견할 확률이 높다는 연구 결과가 있다[5].

두 방법의 선택은 자원과 목표에 따라 달라진다. 일반적인 가이드라인은 다음과 같다.

실제 적용에서는 두 방법을 혼합하거나, 베이지안 최적화와 같은 더 정교한 기법으로 발전시키기도 한다. 핵심은 드롭아웃 확률 튜닝이 모델의 일반화 성능에 미치는 영향이 크므로, 제한된 자원 내에서 가장 효과적인 탐색 전략을 선택하는 것이다.

성능 평가 지표는 드롭아웃과 같은 정규화 기법을 적용한 모델의 효과를 정량적으로 측정하고, 하이퍼파라미터 튜닝의 방향을 결정하는 데 핵심적인 역할을 한다. 주로 검증 세트(validation set)나 테스트 세트(test set)를 활용하여 계산되며, 목적에 따라 분류, 회귀, 생성 등 다양한 작업에 맞는 지표를 선택해야 한다.

분류 문제에서는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 점수가 널리 사용된다. 특히 클래스 불균형이 심한 데이터셋에서는 정확도보다 F1 점수가 더 유용한 지표가 될 수 있다. 회귀 문제에서는 평균 제곱 오차(MSE), 평균 절대 오차(MAE), 결정 계수(R²) 등을 통해 예측값과 실제값의 차이를 평가한다. 드롭아웃의 주요 목표인 과적합 방지 효과를 평가하려면, 학습 곡선(learning curve)에서 학습 데이터와 검증 데이터에 대한 손실(loss) 또는 정확도의 간극을 모니터링하는 것이 중요하다. 이 간극이 크게 벌어지는 것을 드롭아웃이 완화하는지 확인해야 한다.

또한, Monte Carlo Dropout을 적용하는 경우, 테스트 시 여러 번의 순전파를 통해 얻은 예측의 분산(variance)을 불확실성(uncertainty)의 지표로 활용할 수 있다. 최종적으로는 단일 지표에 의존하기보다, 여러 지표를 종합적으로 살펴보고, 비즈니스 목표나 문제의 맥락에 가장 부합하는 지표를 최적화의 기준으로 삼아야 한다.

Spatial Dropout은 합성곱 신경망에서 주로 사용되는 드롭아웃의 변형 기법이다. 기존 드롭아웃이 개별 뉴런을 독립적으로 제거하는 방식이라면, Spatial Dropout은 특성 맵의 전체 채널을 무작위로 제거하는 방식으로 작동한다[6]. 이는 2D 또는 3D 구조를 가진 특성 맵에서 공간적 상관관계를 보존하면서 정규화 효과를 얻고자 할 때 유용하다.

구체적으로, 합성곱 신경망의 중간 레이어에서 생성된 특성 맵은 [배치 크기, 높이, 너비, 채널]의 형태를 가진다. Spatial Dropout은 이 특성 맵에서 특정 채널 인덱스를 무작위로 선택하여, 해당 채널의 모든 공간 위치(높이와 너비에 해당하는 모든 픽셀)의 값을 0으로 만든다. 이는 특정 채널이 생성한 전체 특징을 학습 과정 중 일시적으로 비활성화하는 효과를 낳는다.

이 접근법은 합성곱 신경망의 특성에 더 적합하다. 일반 드롭아웃을 합성곱 신경망에 적용하면, 인접한 픽셀들이 강한 상관관계를 가지고 있음에도 불구하고 일부만 제거되어 정보의 일관성이 깨질 수 있다. 반면 Spatial Dropout은 채널 단위로 제거하므로, 특성 맵 내부의 공간적 구조를 유지하면서도 효과적으로 과적합을 방지할 수 있다. 이 기법은 특히 입력 데이터의 공간적 차원(예: 이미지의 높이와 너비)이 상대적으로 작은 경우에 더 효과적이다.

구현 측면에서 주요 딥러닝 프레임워크는 이를 지원한다. 예를 들어, 케라스에서는 tf.keras.layers.SpatialDropout2D 레이어를, 파이토치에서는 torch.nn.Dropout2d 또는 torch.nn.Dropout3d를 사용하여 채널 단위의 드롭아웃을 구현할 수 있다. 사용자는 드롭아웃 확률 파라미터 p를 설정하여, 각 학습 단계에서 채널이 유지될 확률을 조정한다.

DropConnect는 드롭아웃의 변형 기법 중 하나로, 2013년 니트시 스리바스타바(Nitish Srivastava) 등에 의해 제안되었다[7]. 드롭아웃이 뉴런의 출력을 무작위로 0으로 만드는(deactivation) 반면, DropConnect는 신경망의 가중치(weight) 자체를 무작위로 0으로 만드는 방식을 취한다.

구체적인 작동 원리는 다음과 같다. 학습 과정에서, 완전 연결층의 각 연결(connection)에 해당하는 가중치 행렬 W의 각 원소를 독립적으로 확률 p로 0으로 만든다. 이때 뉴런의 출력은 남아있는 가중치와 입력의 선형 조합에 활성화 함수를 적용하여 계산된다. 이는 모델이 단일 가중치에 지나치게 의존하는 것을 방지하고, 보다 분산된 표현을 학습하도록 유도한다. 테스트 시에는 드롭아웃과 유사하게, 가중치에 보존 확률(1-p)을 곱하여 스케일링하는 방식을 주로 사용한다.

DropConnect는 드롭아웃보다 더 강력한 정규화 효과를 제공할 수 있다고 알려졌지만, 구현이 더 복잡하고 계산 비용이 높은 경향이 있다. 또한, 모든 연결을 독립적으로 샘플링하기 때문에 효율적인 구현을 위해 이진 마스크를 큰 가중치 행렬에 적용해야 하며, 이는 메모리 접근 패턴에 따라 성능에 영향을 미칠 수 있다. 실험에 따르면, DropConnect는 완전 연결 신경망에서 특히 과적합 방지에 효과적이지만, 합성곱 신경망에서는 기존 드롭아웃이나 Spatial Dropout이 더 널리 사용된다.

Monte Carlo Dropout은 드롭아웃 기법을 추론 단계에서도 활성화하여 불확실성을 정량화하는 방법이다. 기존 드롭아웃이 주로 과적합 방지를 위한 정규화 도구로 훈련 단계에서만 사용되었다면, 이 기법은 훈련과 동일한 방식으로 추론을 여러 번 수행하여 예측의 분포를 얻는다. 이는 베이즈 신경망을 근사하는 실용적인 방법으로 제안되었다[8]. 모델의 파라미터에 대한 사후 분포를 근사하기 위해 드롭아웃을 활용한다.

이 기법의 핵심은 동일한 입력에 대해 서로 다른 드롭아웃 마스크를 적용한 T회의 순전파를 수행하는 것이다. 각 실행마다 네트워크 구조가 미세하게 달라지므로 서로 다른 예측값을 출력한다. 이렇게 얻은 예측들의 평균을 최종 예측값으로, 분산을 모델 불확실성의 척도로 사용한다. 불확실성은 에피스테믹 불확실성과 앨리어토릭 불확실성으로 구분될 수 있으며, Monte Carlo Dropout은 주로 모델 자체의 지식 부족에서 기인하는 에피스테민 불확실성을 추정하는 데 유용하다.

이 방법은 의료 진단, 자율 주행, 금융 예측과 같이 예측에 대한 신뢰도 평가가 중요한 분야에서 적용 가치가 크다. 또한 추가적인 모델 훈련 없이 기존 드롭아웃이 적용된 모델을 바로 활용할 수 있어 실용성이 높다. 단, 불확실성 추정의 정확성은 샘플링 횟수 T와 모델 구조에 의존하며, 계산량이 증가한다는 한계가 있다.

TensorFlow와 Keras에서는 tf.keras.layers.Dropout 레이어를 사용하여 드롭아웃을 쉽게 구현할 수 있다. 이 레이어는 이전 레이어의 출력을 입력으로 받아, 설정된 확률에 따라 일부 유닛의 출력을 0으로 만든다. 일반적으로 완전 연결 레이어나 합성곱 레이어 뒤에 삽입하여 사용한다.

기본적인 사용법은 다음과 같다. Sequential 모델 내에서 Dense 레이어 뒤에 Dropout 레이어를 추가하고, rate 파라미터로 제거할 유닛의 비율을 지정한다. 예를 들어, 0.5는 50%의 유닛을 무작위로 비활성화한다는 의미이다.

```python

import tensorflow as tf

model = tf.keras.Sequential([

tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),

tf.keras.layers.Dropout(rate=0.5),

tf.keras.layers.Dense(64, activation='relu'),

tf.keras.layers.Dropout(rate=0.3),

tf.keras.layers.Dense(10, activation='softmax')

])

```

함수형 API를 사용할 때도 동일한 방식으로 적용할 수 있다. 훈련 시에만 드롭아웃이 활성화되고, 평가나 추론 시에는 자동으로 모든 유닛을 사용하는 것이 Keras의 기본 동작 방식이다[9]. 합성곱 신경망에서는 주로 Conv2D 레이어 뒤에 Dropout을 배치하며, 때로는 풀링 레이어 이후에 적용하기도 한다.

```python

inputs = tf.keras.Input(shape=(32, 32, 3))

x = tf.keras.layers.Conv2D(32, 3, activation='relu')(inputs)

x = tf.keras.layers.MaxPooling2D(2)(x)

x = tf.keras.layers.Dropout(0.25)(x) # 합성곱층 후 드롭아웃 적용

x = tf.keras.layers.Flatten()(x)

x = tf.keras.layers.Dense(64, activation='relu')(x)

x = tf.keras.layers.Dropout(0.5)(x)

outputs = tf.keras.layers.Dense(10)(x)

model = tf.keras.Model(inputs=inputs, outputs=outputs)

```

Dropout 레이어의 noise_shape 및 seed 파라미터를 사용하여 드롭아웃 마스크의 동작을 세밀하게 제어할 수 있다. noise_shape은 입력에 브로드캐스트될 노이즈의 형태를 지정하며, seed는 무작위성에 재현성을 부여한다.

PyTorch는 torch.nn 모듈의 Dropout, Dropout2d, Dropout3d 클래스를 통해 드롭아웃 레이어를 제공한다. 2차원 드롭아웃은 합성곱 신경망의 특징 맵에, 3차원 드롭아웃은 볼륨 데이터에 주로 적용된다.

nn.Sequential을 사용하여 모델을 정의할 때 드롭아웃 레이어를 삽입하는 것이 일반적이다. 아래는 완전 연결 신경망에 드롭아웃을 적용하는 기본 예시이다.

```python

import torch

import torch.nn as nn

class NeuralNet(nn.Module):

def __init__(self, dropout_rate=0.5):

super(NeuralNet, self).__init__()

self.layer1 = nn.Linear(784, 256)

self.dropout1 = nn.Dropout(dropout_rate)

self.layer2 = nn.Linear(256, 128)

self.dropout2 = nn.Dropout(dropout_rate)

self.layer3 = nn.Linear(128, 10)

self.relu = nn.ReLU()

def forward(self, x):

x = self.relu(self.layer1(x))

x = self.dropout1(x)

x = self.relu(self.layer2(x))

x = self.dropout2(x)

x = self.layer3(x)

return x

# 모델 생성

model = NeuralNet(dropout_rate=0.3)

```

학습과 평가 시 드롭아웃의 동작 모드를 정확히 구분하는 것이 중요하다. model.train() 모드에서는 드롭아웃이 활성화되고, model.eval() 모드에서는 비활성화된다.

```python

# 학습 모드: 드롭아웃 활성화

model.train()

output_train = model(train_data)

# 평가 모드: 드롭아웃 비활성화

model.eval()

with torch.no_grad():

output_eval = model(test_data)

```

합성곱 신경망에서는 채널 단위로 뉴런을 제거하는 Spatial Dropout의 개념이 Dropout2d로 구현된다. 이는 특징 맵 전체를 제거하는 효과가 있다.

```python

class CNNWithDropout(nn.Module):

def __init__(self):

super(CNNWithDropout, self).__init__()

self.conv1 = nn.Conv2d(3, 32, kernel_size=3)

self.dropout1 = nn.Dropout2d(p=0.25) # Spatial Dropout

self.conv2 = nn.Conv2d(32, 64, kernel_size=3)

self.dropout2 = nn.Dropout2d(p=0.25)

self.fc1 = nn.Linear(64 * 6 * 6, 256)

self.dropout3 = nn.Dropout(p=0.5) # 전통적인 드롭아웃

self.fc2 = nn.Linear(256, 10)

```

하이퍼파라미터 p는 제거할 뉴런의 비율이 아니라, 각 뉴런이 제거될 *확률*을 의미한다. 또한, PyTorch의 드롭아웃은 학습 시 활성 뉴런의 출력을 1/(1-p)배로 스케일링하는 *인버스 드롭아웃* 방식을 기본으로 채택하여, 평가 시 별도의 스케일링 조정이 필요하지 않다.