심층 신경망 (DNN)

퍼셉트론은 심층 신경망의 가장 기본적인 구성 요소이다. 1958년 프랭크 로젠블랯이 제안한 이 모델은 하나 이상의 이진 입력을 받아 가중치를 곱하고 편향을 더한 후, 그 합이 임계값을 넘으면 1, 그렇지 않으면 0을 출력하는 단순한 구조를 가진다[1].

이는 선형 분류기로 작동하여 선형 분리 가능한 문제만 해결할 수 있다는 근본적인 한계를 지녔으며, XOR 문제와 같은 비선형 문제를 풀지 못한다는 것이 밝혀졌다.

이 한계를 극복하기 위해 다층 구조가 도입되었다. 다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 은닉층을 추가한 구조이다. 각 층은 여러 개의 뉴런(또는 노드)으로 구성되며, 한 층의 모든 뉴런은 다음 층의 모든 뉴런과 완전히 연결된다. 이 연결은 가중치와 편향이라는 학습 가능한 매개변수를 가진다. 은닉층의 존재와 각 뉴런에 적용되는 비선형 활성화 함수 덕분에, 네트워크는 복잡한 비선형 결정 경계를 학습할 수 있는 능력을 얻게 된다.

따라서, 심층 신경망은 기본적으로 이러한 다층 퍼셉트론 구조를 확장한 것으로, 충분한 수의 은닉층과 뉴런을 가질 경우 이론상 임의의 연속 함수를 근사할 수 있는 보편 근사 정리를 만족한다. 이 깊은 계층 구조가 '심층'이라는 용어의 기원이 되었다.

활성화 함수는 인공 뉴런의 출력을 결정하는 비선형 함수이다. 입력 신호의 가중합에 편향을 더한 값에 적용되어, 뉴런의 최종 출력을 생성한다. 단순한 선형 변환만으로는 다층 퍼셉트론이 복잡한 비선형 관계를 학습할 수 없기 때문에, 활성화 함수의 비선형성이 필수적이다. 이 비선형성 덕분에 심층 신경망은 계층을 거듭하며 추상적인 특징을 점진적으로 추출할 수 있다.

주요 활성화 함수는 다음과 같은 특징을 가진다.

함수의 선택은 네트워크의 성능에 직접적인 영향을 미친다. 렐루 함수 계열은 은닉층에서의 표준으로 자리 잡았으며, 출력층의 목적에 따라 소프트맥스 함수(분류)나 선형 함수(회귀)가 사용된다. 최근에는 Swish 함수나 GELU 함수와 같은 새로운 활성화 함수들도 특정 아키텍처에서 연구되고 적용된다.

순전파는 입력 데이터가 신경망의 입력층부터 출력층까지 한 방향으로 전달되는 과정이다. 각 층에서는 입력값에 가중치를 곱하고 편향을 더한 선형 합을 계산한 후, 활성화 함수를 적용하여 비선형 변환을 수행한다. 이 변환된 값이 다음 층의 입력으로 사용되며, 최종 출력층에서 예측값을 산출한다. 순전파의 목적은 주어진 입력에 대한 모델의 출력을 계산하는 것이다.

역전파는 모델의 예측값과 실제 목표값 사이의 오차를 계산한 후, 이 오차를 출력층에서 입력층 방향으로 거슬러 올라가며 각 가중치와 편향에 대한 기울기(경사)를 계산하는 알고리즘이다. 이 과정은 연쇄 법칙을 기반으로 한다. 계산된 기울기는 이후 최적화 알고리즘(예: 경사 하강법)에 사용되어 가중치를 업데이트하고, 모델의 오차를 최소화하는 방향으로 학습이 진행된다.

순전파와 역전파는 신경망 학습의 핵심 사이클을 구성한다. 일반적인 학습 에포크는 다음과 같은 단계로 이루어진다.

이 반복적인 과정을 통해 신경망은 데이터의 복잡한 패턴을 점진적으로 학습한다. 역전파 알고리즘의 효율적인 계산은 심층 신경망의 실용적 발전을 가능하게 한 핵심 요소 중 하나이다[2].

완전 연결 신경망은 심층 신경망의 가장 기본적인 형태로, 각 층의 모든 뉴런이 다음 층의 모든 뉴런과 연결된 구조를 가진다. 이는 다층 퍼셉트론이라고도 불린다. 입력층, 하나 이상의 은닉층, 출력층으로 구성되며, 데이터는 입력층에서 받아들여 은닉층을 거쳐 출력층으로 전달된다. 각 연결은 가중치를 가지며, 뉴런은 입력값과 가중치의 선형 결합에 활성화 함수를 적용한 결과를 출력한다.

이 아키텍처의 핵심 특징은 층 간의 모든 연결이 존재한다는 점이다. 이로 인해 네트워크는 이론적으로 충분한 용량을 가진다면 매우 복잡한 함수도 근사할 수 있는 보편 근사 정리를 만족한다[3]. 그러나 이러한 완전 연결 구조는 매개변수의 수가 급격히 증가하는 원인이 된다. 예를 들어, 입력층에 1000개의 뉴런이 있고 첫 번째 은닉층에 1000개의 뉴런이 있다면, 두 층 사이의 연결 가중치만 1,000,000개가 생성된다.

이러한 단점으로 인해 완전 연결 신경망은 이미지나 시계열 데이터처럼 내재된 공간적 또는 시간적 구조가 중요한 문제에는 직접 적용하기 어렵다. 대신, 합성곱 신경망이나 순환 신경망이 각각 공간적 구조와 시간적 의존성을 효과적으로 처리하기 위해 개발되었다. 완전 연결 신경망은 여전히 CNN이나 RNN의 최종 분류기나 회귀기 층으로, 또는 표 형식의 데이터를 처리하는 데 널리 사용된다.

합성곱 신경망은 주로 그리드 구조의 데이터, 예를 들어 이미지나 시계열 데이터를 처리하도록 설계된 심층 신경망의 한 종류이다. 완전 연결 신경망과 달리, 지역 연결과 가중치 공유라는 두 가지 핵심 개념을 바탕으로 구성되어 파라미터 수를 효과적으로 줄이면서도 공간적 또는 시간적 계층 구조를 효과적으로 학습할 수 있다. 이는 컴퓨터 비전 분야에서 이미지 분류, 객체 탐지, 세그멘테이션 등의 작업에 혁신적인 성과를 가져왔다.

CNN의 기본 구성 요소는 합성곱층, 풀링층, 그리고 완전 연결층이다. 합성곱층은 입력 데이터에 여러 개의 필터 또는 커널을 적용하여 특징 맵을 생성한다. 각 필터는 입력의 작은 지역(예: 3x3 픽셀)과 연결되어 지역적인 패턴(예: 엣지, 질감)을 감지한다. 풀링층(보통 최대 풀링 사용)은 특징 맵의 공간적 크기를 축소하여 계산량을 줄이고 특징의 변형에 대한 불변성을 부여한다. 이러한 합성곱층과 풀링층이 여러 번 쌓인 후, 최종적으로 완전 연결층을 통해 분류나 회귀 작업을 수행한다.

CNN의 대표적인 모델들은 발전 과정을 보여준다. 초기 모델인 LeNet-5는 필기체 숫자 인식에 성공했으며, AlexNet은 ImageNet 대회에서 깊은 구조와 ReLU 활성화 함수, 드롭아웃 기법을 활용해 획기적인 성능을 증명했다. 이후 등장한 VGGNet은 작은 크기의 필터를 깊게 쌓는 구조의 중요성을, GoogLeNet은 인셉션 모듈을 통한 효율적인 계산을, ResNet은 잔차 학습을 통한 매우 깊은 네트워크의 학습 가능성을 각각 제시했다.

이러한 발전을 통해 CNN은 의료 영상 분석, 자율 주행의 시각 인식, 이미지 생성 등 다양한 분야로 응용 범위를 확장하고 있다. 또한, 1D CNN은 시계열 데이터 분석에, 3D CNN은 비디오나 볼륨 데이터 처리에 활용된다.

순환 신경망(RNN)은 시퀀스나 시계열과 같은 순차적 데이터를 처리하도록 설계된 신경망의 한 종류이다. 기존의 완전 연결 신경망이나 합성곱 신경망이 각 입력이 독립적이라고 가정하는 반면, RNN은 내부에 순환 연결을 갖추어 이전 단계의 정보를 현재 단계의 처리에 활용할 수 있다. 이는 자연어의 문장, 주식 가격의 흐름, 음성 신호와 같이 데이터의 순서와 맥락이 중요한 문제를 해결하는 데 적합한 구조를 제공한다.

RNN의 핵심은 은닉 상태(hidden state)라는 개념이다. 네트워크는 각 시간 단계(예: 문장 내의 한 단어)에서 입력을 받아 출력을 생성하며, 동시에 현재의 은닉 상태를 갱신한다. 이 갱신된 은닉 상태는 다음 시간 단계의 입력과 함께 다시 네트워크에 입력되어, 과거의 정보가 미래로 전달되는 효과를 낳는다. 이 과정을 수식으로 간단히 나타내면 h_t = f(W * x_t + U * h_{t-1} + b)와 같으며, 여기서 h_t는 현재 은닉 상태, x_t는 현재 입력, h_{t-1}은 이전 은닉 상태, f는 활성화 함수를 의미한다.

기본 RNN 구조는 긴 시퀀스를 처리할 때 발생하는 기울기 소실 문제 또는 기울기 폭발 문제로 인해 학습이 어려울 수 있다. 이를 해결하기 위해 등장한 변형 아키텍처들이 있다. 대표적인 것으로 입력문, 삭제문, 출력문이라는 세 개의 게이트를 사용하여 장기 의존성을 효과적으로 학습하는 LSTM(Long Short-Term Memory)과, 게이트 구조를 단순화한 GRU(Gated Recurrent Unit)이 있다. 이들은 기본 RNN보다 더 긴 범위의 맥락을 기억하고 학습하는 데 뛰어난 성능을 보인다.

RNN은 주로 입력과 출력 시퀀스의 길이와 형태에 따라 다음과 같은 방식으로 적용된다.

자연어 처리 분야에서 RNN과 그 변형들은 기계 번역, 텍스트 생성, 음성 인식의 핵심 구성 요소로 오랫동안 사용되었다. 그러나 매우 긴 시퀀스 의존성을 학습하는 데는 여전히 한계가 있으며, 이러한 한계를 극복하기 위해 어텐션 메커니즘과 이를 기반으로 한 트랜스포머 아키텍처가 등장하게 되었다.

손실 함수는 심층 신경망의 예측 출력과 실제 정답 간의 차이, 즉 오차를 정량화하는 함수이다. 모델 학습의 목표는 일반적으로 이 손실 함수의 값을 최소화하는 모델의 매개변수(가중치와 편향)를 찾는 것이다. 손실 함수의 선택은 해결하려는 문제의 종류(예: 분류, 회귀)와 모델의 학습 행동에 직접적인 영향을 미친다.

회귀 문제에서는 연속적인 값을 예측하기 위해 평균 제곱 오차가 널리 사용된다. 이는 예측값과 실제값 사이의 차이를 제곱하여 평균을 낸 값으로, 큰 오차에 대해 더 민감하게 반응한다. 반면, 분류 문제에서는 교차 엔트로피 손실이 주류를 이룬다. 특히 이진 분류에는 이진 교차 엔트로피, 다중 클래스 분류에는 범주형 교차 엔트로피가 사용된다. 교차 엔트로피 손실은 모델이 예측한 클래스 확률 분포와 실제 레이블의 분포 간의 차이를 측정하며, 확률 예측의 정확도를 높이는 데 효과적이다.

다양한 문제 상황에 맞춰 다른 손실 함수도 활용된다. 예를 들어, 평균 절대 오차는 이상치의 영향을 덜 받는 회귀 손실 함수이다. 허브 손실은 평균 제곱 오차와 평균 절대 오차의 특성을 혼합한 강건한 손실 함수이다. 한편, 대비 손실이나 트리플렛 손실과 같은 함수는 표현 학습이나 메트릭 러닝과 같은 특정 학습 패러다임에서 특징 벡터 간의 상대적 거리나 유사도를 학습하기 위해 설계된다.

손실 함수의 값은 역전파 알고리즘을 통해 각 가중치에 대한 기울기(그래디언트)를 계산하는 데 사용된다. 이 기울기는 확률적 경사 하강법과 같은 최적화 알고리즘에 의해 활용되어 모델 매개변수를 조정하고 손실을 점차 줄여나간다.

최적화 알고리즘은 심층 신경망의 학습 과정에서 손실 함수의 값을 최소화하는 모델 매개변수를 찾기 위해 사용되는 방법이다. 이 알고리즘들은 경사 하강법을 기본 아이디어로 삼으며, 계산된 기울기 정보를 바탕으로 매개변수를 반복적으로 업데이트한다. 학습률이라는 하이퍼파라미터는 각 업데이트의 단계 크기를 결정하는 중요한 역할을 한다.

초기의 기본적인 방법인 확률적 경사 하강법은 매번 하나의 훈련 샘플을 사용하여 기울기를 계산하고 업데이트를 수행한다. 이는 계산 효율성이 높지만 업데이트가 노이즈가 많을 수 있다. 이를 보완한 미니배치 경사 하강법은 소규모의 데이터 묶음을 사용하여 기울기를 평균화함으로써 더 안정적인 업데이트를 가능하게 한다. 이 방법은 현대 딥러닝에서 가장 널리 사용되는 방식이다.

더 발전된 알고리즘들은 모멘텀, 적응형 학습률 등의 개념을 도입하여 학습 속도와 안정성을 향상시킨다. 대표적인 알고리즘들을 비교하면 다음과 같다.

Adam은 현재 가장 인기 있고 기본적으로 권장되는 최적화 알고리즘으로, 다양한 문제에 대해 강건한 성능을 보인다. 그러나 특정 문제에서는 순수 SGD나 모멘텀이 더 나은 일반화 성능을 보이는 경우도 있다[9]. 최적화 알고리즘의 선택은 문제의 특성, 모델 구조, 데이터에 따라 달라지며, 여전히 활발한 연구 주제 중 하나이다.

정규화 기법은 심층 신경망의 과적합을 방지하고 일반화 성능을 향상시키기 위해 사용되는 핵심적인 방법론이다. 모델이 훈련 데이터에 지나치게 맞춰져 새로운 데이터에 대한 예측 능력이 떨어지는 현상을 완화하는 것을 목표로 한다.

대표적인 정규화 기법으로는 드롭아웃, L1 정규화, L2 정규화, 배치 정규화 등이 있다. 드롭아웃은 훈련 과정에서 무작위로 일부 뉴런을 비활성화하여 모델이 특정 뉴런에 지나치게 의존하는 것을 방지한다. L1 및 L2 정규화는 손실 함수에 가중치의 크기에 대한 패널티 항을 추가하여 가중치 값을 작게 유지하도록 강제한다. L1 정규화는 불필요한 가중치를 완전히 0으로 만들어 희소성을 유도하는 반면, L2 정규화는 가중치를 전반적으로 작게 만드는 데 중점을 둔다. 배치 정규화는 각 층의 입력 분포를 안정화시켜 학습 속도를 가속하고 초기값에 대한 의존성을 줄인다.

이 외에도 데이터 증강, 조기 종료, 앙상블 방법 등도 널리 사용된다. 데이터 증강은 훈련 데이터에 회전, 자르기, 색상 변환 등의 변형을 가해 데이터의 다양성을 인위적으로 증가시킨다. 조기 종료는 검증 데이터에 대한 성능이 더 이상 개선되지 않을 때 훈련을 중단하여 과적합을 사전에 차단한다. 다양한 정규화 기법들은 단독으로 또는 복합적으로 적용되어 모델의 견고성과 성능을 크게 향상시킨다.

컴퓨터 비전은 심층 신경망이 가장 혁신적인 성과를 보인 핵심 응용 분야 중 하나이다. 이미지 분류, 객체 감지, 시맨틱 세그멘테이션 등 다양한 시각적 인식 작업에서 인간 수준을 넘어서는 성능을 달성했다.

합성곱 신경망의 등장은 컴퓨터 비전 분야의 전환점이 되었다. 이미지넷 대회에서 알렉스넷이 획기적인 성능 향상을 보이며, 컨볼루션 레이어와 풀링 레이어를 기반으로 한 CNN 아키텍처가 사실상의 표준이 되었다. 이후 VGGNet, GoogLeNet, ResNet과 같은 더 깊고 효율적인 네트워크들이 개발되어 정확도를 지속적으로 높였다. 객체 감지 분야에서는 R-CNN 계열의 방법론과 YOLO, SSD 같은 단일 단계 감지기가 실시간 처리와 높은 정확도를 동시에 실현했다.

이 기술들은 의료 영상 분석, 자율 주행 자동차, 얼굴 인식 시스템, 산업 검사, 증강 현실 등 수많은 실용적인 분야에 적용된다. 예를 들어, 의료 영상에서는 DNN을 이용한 폐렴 또는 종양 검출 시스템이 보조 진단 도구로 활용되고, 자율 주행에서는 카메라 영상을 실시간으로 분석해 보행자, 차량, 신호등 등을 인식하는 핵심 기술로 작동한다.

자연어 처리는 인간의 언어를 컴퓨터가 이해하고, 생성하고, 조작할 수 있게 하는 인공지능의 한 분야이다. 심층 신경망은 이 분야에 혁신적인 변화를 가져왔으며, 특히 순환 신경망과 트랜스포머 아키텍처가 핵심 역할을 담당한다.

초기 자연어 처리는 주로 규칙 기반 시스템이나 통계적 모델에 의존했다. 그러나 심층 신경망, 특히 장단기 메모리와 게이트 순환 유닛을 포함한 순환 신경망의 등장은 시퀀스 데이터 모델링 능력을 크게 향상시켰다. 이는 문장이나 문서와 같은 순차적 언어 데이터를 처리하는 데 적합했으며, 기계 번역, 텍스트 생성, 감정 분석 등의 과제에서 뛰어난 성능을 보여주었다.

2017년 어텐션 메커니즘에 기반한 트랜스포머 모델의 등장은 자연어 처리의 패러다임을 완전히 바꾸었다. 트랜스포머는 순환 신경망의 순차적 처리 한계를 극복하고 병렬 계산을 가능하게 하여 대규모 데이터 학습 효율을 극적으로 높였다. 이를 바탕으로 BERT, GPT 시리즈와 같은 대규모 사전 훈련 언어 모델이 개발되었으며, 이 모델들은 다양한 다운스트림 작업에서 최첨단 성능을 달성했다.

현재 자연어 처리는 단순한 텍스트 이해를 넘어 대화형 챗봇, 복잡한 추론, 멀티모달 학습 등으로 영역을 확장하고 있다. 생성형 AI의 발전은 인간과 유사한 수준의 텍스트 생성과 창의적 작업을 가능하게 하여, 심층 신경망이 언어의 복잡성을 포착하는 능력이 지속적으로 진화하고 있음을 보여준다.

음성 인식은 인간의 음성 신호를 텍스트나 명령어로 변환하는 기술이다. 심층 신경망은 음성 신호의 복잡한 패턴과 시퀀스를 학습하는 데 핵심적인 역할을 하여, 기존의 은닉 마르코프 모델 기반 방식의 성능을 크게 능가하는 정확도를 달성하게 했다. 초기 DNN 기반 음성 인식 시스템은 주로 완전 연결 신경망을 사용하여 음성 프레임의 멜 주파수 켑스트럼 계수 같은 음향 특징을 음소 또는 삼음자와 같은 단위로 분류하는 데 활용되었다.

음성은 본질적으로 시계열 데이터이기 때문에, 순환 신경망과 LSTM, 게이트 순환 유닛 같은 변형 아키텍처가 음성의 시간적 의존성을 모델링하는 데 널리 채택되었다. 특히 양방향 RNN은 과거와 미음의 문맥을 모두 고려하여 인식 정확도를 향상시켰다. 이후 심층 합성곱 신경망도 음성 신호의 지역적 패턴과 주파수 특성을 효과적으로 추출하는 데 사용되었다.

최근에는 종단 간 음성 인식 시스템이 주목받고 있다. 이 방식은 기존의 복잡한 파이프라인(음향 모델, 발음 모델, 언어 모델 등)을 단일 심층 신경망으로 대체한다. 대표적으로 Connectionist Temporal Classification 손실 함수를 사용하는 RNN 기반 모델이나, 트랜스포머 아키텍처 기반 모델이 이 분야를 선도하고 있다. 이러한 시스템은 원시 음성 파형 또는 스펙트로그램을 직접 입력받아 최종 텍스트 시퀀스를 출력한다.

이러한 발전으로 인해 음성 비서, 실시간 자막 생성, 음성 번역, 핸즈프리 인터페이스 등 다양한 응용 분야에서 심층 신경망 기반 음성 인식 기술이 상용화되고 있다.

트랜스포머 아키텍처는 순환 신경망이나 합성곱 신경망에 의존하지 않고, 오직 어텐션 메커니즘만을 사용하여 시퀀스 데이터를 처리하는 신경망 모델이다. 2017년 논문 "Attention Is All You Need"에서 처음 소개되었으며, 주로 자연어 처리 분야에서 혁신적인 성능 향상을 이끌었다. 이 아키텍처의 핵심은 입력 시퀀스의 모든 위치에 있는 단어들 간의 관계를 병렬적으로 계산하는 셀프 어텐션 메커니즘이다.

트랜스포머는 크게 인코더와 디코더 스택으로 구성된다. 인코더는 입력 문장을 분석하고 문맥을 함축한 표현을 생성하는 반면, 디코더는 그 표현을 바탕으로 새로운 시퀀스(예: 번역된 문장)를 생성한다. 각 인코더와 디코더 층은 멀티 헤드 어텐션과 피드포워드 신경망이라는 두 개의 주요 서브층을 포함한다. 멀티 헤드 어텐션은 모델이 서로 다른 관점에서 정보에 주목할 수 있도록 하여, 단일 어텐션 메커니즘보다 풍부한 표현을 학습하도록 돕는다.

이 아키텍처의 가장 큰 장점은 병렬 처리 가능성이다. 순환 신경망이 시퀀스를 순차적으로 처리해야 하는 것과 달리, 트랜스포머는 입력 시퀀스 전체를 한 번에 처리할 수 있어 대규모 데이터에 대한 학습 속도가 훨씬 빠르다. 또한, 장기 의존성 문제를 효과적으로 해결하여 매우 긴 시퀀스에서도 관련 정보를 연결할 수 있다.

트랜스포머는 BERT, GPT 시리즈와 같은 현대 대규모 언어 모델의 기반이 되었다. 그 응용 범위는 기계 번역, 텍스트 요약, 질문 답변을 넘어 컴퓨터 비전 분야의 비전 트랜스포머 모델로까지 확장되었다. 이는 트랜스포머가 시퀀스 모델링을 넘어 범용적인 계산 모델로서의 잠재력을 보여주는 사례이다.

자기 지도 학습은 지도 학습과 비지도 학습의 중간 형태로, 레이블이 없는 원본 데이터로부터 스스로 생성한 임시 레이블(또는 목표)을 사용하여 모델을 학습시키는 패러다임이다. 학습 데이터에 명시적인 정답 레이블이 필요하지 않다는 점에서 비지도 학습과 유사하지만, 생성된 임무를 통해 모델이 데이터의 유용한 표현을 학습한다는 점에서 차이가 있다. 이 방식은 대규모 데이터셋을 효과적으로 활용할 수 있어 딥러닝 분야에서 큰 주목을 받고 있다.

주요 방법론은 입력 데이터의 일부를 변형하거나 가리고, 모델이 원본 데이터나 누락된 부분을 복원하거나 변형 전후의 관계를 예측하도록 하는 것이다. 대표적인 사례로는 자동 인코더, 마스킹 언어 모델링 (예: BERT), 대조 학습 등이 있다. 예를 들어, 문장에서 일부 단어를 가리고 그 단어를 예측하게 하거나, 이미지의 일부 패치를 제거 후 복원하게 하여 모델이 데이터의 구조와 의미를 이해하도록 유도한다.

이 접근법의 가장 큰 장점은 방대한 양의 무레이블 데이터를 사전 학습에 활용할 수 있어, 레이블링 비용을 크게 절감하고 모델의 일반화 성능을 향상시킬 수 있다는 점이다. 특히 자연어 처리와 컴퓨터 비전 분야에서 트랜스포머 기반 모델과 결합되어 GPT 시리즈나 비전 트랜스포머와 같은 강력한 기초 모델의 발전을 이끌었다. 최근 연구는 다양한 모달리티(텍스트, 이미지, 음성)를 통합하는 다중 모달 자기 지도 학습으로 확장되고 있다.