3-Way Handshake

TCP는 인터넷 프로토콜 스위트의 핵심 프로토콜 중 하나로, 신뢰성 있는 연결형 통신을 제공한다. 이 신뢰성 있는 연결을 수립하기 위해 사용되는 절차가 3-Way Handshake이다. 이 과정은 통신을 시작하기 전에 송신자와 수신자 사이에 논리적인 연결 채널을 설정하는 데 필수적이다.

3-Way Handshake는 기본적으로 세 단계의 패킷 교환으로 구성된다. 첫 번째 단계에서 클라이언트는 서버에게 연결 요청(SYN) 패킷을 보낸다. 두 번째 단계에서 서버는 이 요청을 수락(SYN-ACK)하는 응답을 보낸다. 마지막으로 클라이언트가 다시 확인 응답(ACK)을 보내면 연결이 성립된다. 이 세 번의 패킷 교환을 통해 양측은 상대방이 통신 가능한 상태임을 확인하고, 데이터 전송에 필요한 초기 시퀀스 번호를 동기화한다.

이 절차는 데이터 무결성과 순서 있는 전달을 보장하는 TCP의 근본적인 특성을 가능하게 한다. 연결이 정상적으로 수립되지 않으면 데이터 전송이 시작되지 않는다. 따라서 3-Way Handshake는 전송 계층에서 신뢰성 있는 통신의 초석이 되는 메커니즘이다.

TCP는 신뢰성 있는 연결 지향형 프로토콜이다. 따라서 데이터 전송을 시작하기 전에 통신 양단 간에 논리적인 연결이 확립되어야 한다. 3-Way Handshake는 이러한 연결 설정 과정을 수행하는 핵심 메커니즘이다.

이 핸드셰이크의 주요 목적은 양방향 통신 경로를 확립하고, 통신에 필요한 중요한 파라미터들을 교환하며, 데이터 전송의 시작점을 동기화하는 것이다. 구체적으로, 양측은 자신의 초기 순서 번호를 상대방에게 알리고 이를 확인받음으로써, 이후 전송되는 데이터 세그먼트의 순서를 정확히 관리할 수 있는 기반을 마련한다.

또한, 이 과정은 상대방 호스트의 존재와 통신 가능 여부를 확인하는 역할도 한다. SYN 패킷에 대한 응답이 없으면 상대방이 해당 포트에서 서비스를 제공하지 않거나 네트워크에 문제가 있다고 판단하여 연결 시도를 중단한다. 이는 불필요한 리소스 낭비를 방지한다.

결론적으로, 3-Way Handshake는 TCP가 제공하는 신뢰성 있는 데이터 전송 서비스의 토대를 구성하는 필수적인 연결 설정 절차이다.

TCP 연결을 설정하는 3-Way Handshake 과정은 세 개의 단계로 구성된다. 이 과정은 클라이언트와 서버가 서로의 통신 준비 상태와 초기 시퀀스 번호를 교환하여 신뢰성 있는 연결의 기반을 마련한다.

첫 번째 단계는 SYN 단계이다. 연결을 시작하려는 클라이언트는 서버에게 SYN 플래그가 설정된 패킷을 전송한다. 이 패킷에는 클라이언트가 임의로 생성한 초기 시퀀스 번호(예: ISN_C)가 포함되어, 전송될 데이터의 순서를 추적하기 위한 시작점을 알린다.

두 번째 단계는 SYN-ACK 단계이다. 서버는 클라이언트의 SYN 패킷을 수신하면, 연결 요청을 수락한다는 의미로 SYN과 ACK 플래그가 모두 설정된 패킷으로 응답한다. 이 패킷에는 서버 자신의 초기 시퀀스 번호(ISN_S)와 함께, 클라이언트의 시퀀스 번호(ISN_C)에 1을 더한 값을 확인 응답 번호로 담아 클라이언트의 SYN을 정상적으로 받았음을 확인한다.

마지막 단계는 ACK 단계이다. 클라이언트는 서버로부터 온 SYN-ACK 패킷을 받으면, 서버의 요청을 확인했다는 의미로 ACK 플래그가 설정된 패킷을 보낸다. 이 패킷의 확인 응답 번호 필드에는 서버의 시퀀스 번호(ISN_S)에 1을 더한 값을 넣는다. 이 패킷의 전송으로 양측의 연결 설정이 완료되고, 본격적인 데이터 전송 단계로 진입할 수 있게 된다.

이 세 단계의 패킷 교환은 다음과 같이 요약할 수 있다.

TCP 연결 설정 과정인 3-Way Handshake에서 교환되는 시퀀스 번호는 데이터의 순서와 신뢰성을 보장하는 핵심 요소이다. 각 연결은 무작위로 선택된 초기 시퀀스 번호로 시작하며, 이 번호는 이후 전송되는 모든 데이터 바이트의 순서를 추적하는 기준점이 된다.

초기 시퀀스 번호는 0부터 시작하지 않고, 임의의 값을 가진다. 이는 보안과 신뢰성을 위한 설계이다. 만약 연결이 끊긴 후 재설정될 때 같은 번호를 사용하면, 네트워크에 지연되어 도착한 이전 연결의 패킷이 새로운 연결의 데이터로 오인될 수 있다. 또한 예측 가능한 번호를 사용하면 공격자가 패킷을 위조하기 쉬워지므로, 무작위화는 TCP의 기본적인 보안 메커니즘 중 하나이다.

핸드셰이크 과정에서 시퀀스 번호는 다음과 같이 초기화되고 협상된다.

1. 클라이언트는 SYN 패킷을 보낼 때 자신의 초기 시퀀스 번호를 담아 서버에 알린다.

2. 서버는 SYN-ACK 패킷으로 자신의 초기 시퀀스 번호와 함께, 클라이언트의 시퀀스 번호에 1을 더한 값(확인 응답 번호)을 회신한다. 이는 클라이언트의 SYN을 정상적으로 수신했음을 의미한다.

3. 클라이언트는 마지막 ACK 패킷에서 서버의 시퀀스 번호에 1을 더한 확인 응답 번호를 보낸다.

이 교환을 통해 양측은 상대방의 초기 시퀀스 번호를 인지하고, 이후 데이터 전송을 위한 순서 체계를 확립한다. 첫 번째 실제 데이터 바이트는 초기 시퀀스 번호 + 1의 값부터 시작하여 전송된다.

연결을 시도하는 클라이언트는 먼저 CLOSED 상태에서 SYN 패킷을 전송하며, 이때 내부 상태를 SYN_SENT로 변경한다. 서버 측은 연결 요청을 기다리는 LISTEN 상태에서 클라이언트의 SYN 패킷을 수신하면, SYN_RECEIVED 상태로 전환하고 SYN-ACK 패킷으로 응답한다.

클라이언트가 서버의 SYN-ACK 패킷을 받고 ACK 패킷을 보내면, 클라이언트의 상태는 ESTABLISHED가 된다. 서버는 이 ACK 패킷을 수신함으로써 자신의 상태도 SYN_RECEIVED에서 ESTABLISHED로 최종 변경한다. 이 시점에서 양측 모두 데이터 전송을 위한 안정적인 연결이 수립된 것을 확인한다.

연결 종료 과정에서는 4-Way Handshake가 사용되며, 이 과정에서 FIN 패킷과 ACK 패킷이 교환된다. 이에 따라 상태는 ESTABLISHED에서 FIN_WAIT_1, FIN_WAIT_2, TIME_WAIT 등을 거쳐 최종적으로 CLOSED로 돌아간다.

TCP 연결을 종료할 때 사용되는 4-Way Handshake는 연결을 설정하는 3-Way Handshake와 몇 가지 근본적인 차이를 보인다. 가장 큰 차이는 연결 종료가 양방향으로 독립적으로 이루어질 수 있다는 점이다. 연결 설정은 단일 SYN 패킷과 이에 대한 SYN-ACK 응답으로 양방향 통신 경로를 동시에 열지만, 연결 종료는 한쪽이 먼저 FIN 패킷을 보내고 상대방이 이를 ACK로 확인한 후, 상대방도 자신의 FIN 패킷을 별도로 보내야 한다. 이로 인해 패킷 교환 횟수가 기본적으로 4회가 된다.

두 과정의 상태 변화도 다르다. 3-Way Handshake는 LISTEN, SYN-SENT, SYN-RECEIVED, ESTABLISHED 상태를 거치는 반면, 4-Way Handshake는 ESTABLISHED 상태에서 시작하여 FIN-WAIT-1, CLOSE-WAIT, FIN-WAIT-2, LAST-ACK, TIME-WAIT, 최종적으로 CLOSED 상태로 이어진다. 특히, 먼저 FIN을 보낸 측은 TIME-WAIT 상태에서 일정 시간 대기하여 지연 도착 패킷이 처리될 수 있도록 한다.

다음 표는 두 핸드셰이크 과정의 주요 특징을 비교한다.

요약하면, 3-Way Handshake는 효율적인 연결 수립에, 4-Way Handshake는 데이터 무결성을 보장하는 안전한 연결 해제에 중점을 둔다. 이 차이는 TCP가 제공하는 신뢰성 있는 전이중 통신의 특성에서 비롯된다.

TCP 3-Way Handshake는 신뢰성 있는 연결을 설정하는 핵심 메커니즘이다. 그러나 이 과정의 특성상 몇 가지 보안 취약점이 존재하며, 특히 SYN Flooding 공격에 취약하다. 이 공격은 공격자가 다량의 SYN 패킷을 대상 서버로 보내지만, 이에 대한 ACK 응답을 보내지 않아 서버의 자원을 고갈시키는 DoS 공격의 일종이다. 서버는 각 SYN 패킷에 대해 일정 시간 동안 연결 정보를 할당하고 대기 상태(*SYN_RECEIVED 상태)로 유지하게 되는데, 이러한 반쪽짜리 연결 요청이 폭주하면 정상적인 연결 요청을 처리할 수 없는 상태에 빠지게 된다.

이러한 SYN Flooding 공격을 방어하기 위해 SYN 쿠키 메커니즘이 개발되었다. SYN 쿠키는 서버가 클라이언트의 초기 SYN 패킷을 받았을 때, 즉시 SYN-ACK 패킷을 보내되 연결 정보를 서버 메모리에 저장하지 않는 방식이다. 대신, 서버는 시퀀스 번호를 특별한 알고리즘으로 생성하여 SYN-ACK 패킷의 시퀀스 번호 필드에 담아 보낸다. 이 시퀀스 번호는 클라이언트의 IP 주소, 포트 번호, 타임스탬프 등을 기반으로 계산된 암호화된 값으로, 서버의 메모리 상태에 대한 정보를 인코딩한 "쿠키" 역할을 한다. 정상적인 클라이언트는 이 SYN-ACK에 대한 ACK 응답을 보낼 때, 받은 시퀀스 번호에 1을 더한 값을 확인 번호로 돌려보낸다.

서버는 클라이언트로부터 돌아온 ACK 패킷의 확인 번호를 검증하여 유효한 SYN 쿠키인지 판단한다. 쿠키가 유효하면 서버는 이를 복호화하여 원래의 연결 정보를 재구성하고, 정식적인 연결(*ESTABLISHED 상태)을 수립한다. 이 방식의 핵심 장점은 서버가 연결 요청의 초기 단계에서 메모리 자원을 소비하지 않으므로, SYN Flooding 공격에 대한 저항력을 크게 높일 수 있다는 점이다. 다만, 쿠키 생성 및 검증에 따른 CPU 오버헤드가 존재하며, TCP 옵션 협상과 같은 일부 고급 기능을 지원하는 데 제약이 있을 수 있다[2].

TCP의 3-Way Handshake 과정은 연결 설정에 필수적이지만, 통신 시작 전 지연을 유발하는 오버헤드 요소입니다. 이에 따라 지연 시간을 줄이고 처리량을 높이기 위한 다양한 성능 최적화 기법이 개발되어 적용됩니다.

대표적인 최적화 기술로는 TCP Fast Open이 있습니다. 이는 핸드셰이크 과정 중에 애플리케이션 데이터의 초기 전송을 허용하여 지연을 감소시킵니다. 클라이언트가 첫 번째 SYN 패킷에 특별한 쿠키와 함께 데이터를 실어 보내면, 서버는 유효한 쿠키를 확인한 후 SYN-ACK 응답과 함께 데이터에 대한 ACK를 즉시 회신할 수 있습니다. 이를 통해 최대 한 번의 왕복 시간을 절약할 수 있습니다. 반복적인 연결에 특히 효과적입니다. 또한, 지연 ACK와 네이글 알고리즘의 상호작용으로 인한 지연을 방지하기 위해, 소규모의 긴급한 데이터 전송 시 네이글 알고리즘을 우회하는 TCP_NODELAY 소켓 옵션을 사용하기도 합니다.

서버 측에서는 대량의 동시 연결을 효율적으로 처리해야 합니다. 이를 위해 SYN 큐와 ACCEPT 큐의 크기를 시스템 튜닝을 통해 적절히 조정하고, SYN 쿠키 메커니즘을 활성화하여 SYN Flooding 공격에 대한 복원력을 유지하면서도 연결 리소스를 보존합니다. 고성능 서버는 멀티플렉싱 기법(epoll, kqueue, IOCP)을 사용하여 수천 개의 연결을 소수의 스레드로 효율적으로 관리합니다. 클라이언트 측에서는 일반적으로 TIME_WAIT 상태에 머무는 연결 소켓을 빠르게 재사용할 수 있도록 SO_REUSEADDR 및 SO_REUSEPORT 소켓 옵션을 설정합니다.

• Wikipedia - Transmission Control Protocol

• Wikipedia - TCP 3-way handshake

• TechTarget - TCP (Transmission Control Protocol)

• GeeksforGeeks - TCP 3-Way Handshake Process

• Khan Academy - Transmission Control Protocol (TCP)

• RFC 9293 - Transmission Control Protocol (TCP)

• MDN Web Docs - Transmission Control Protocol (TCP)