패킷 캡처 분석

네트워크 인터페이스는 컴퓨터가 네트워크에 연결되어 데이터를 송수신하는 물리적 또는 논리적 장치이다. 일반적인 이더넷 카드나 Wi-Fi 어댑터가 이에 해당한다. 패킷 캡처 도구는 이러한 인터페이스를 통해 흐르는 모든 데이터를 관찰할 수 있어야 한다. 그러나 일반적인 운영 모드에서는 네트워크 인터페이스가 자신의 MAC 주소로 향하거나 브로드캐스트된 패킷만을 처리하고, 다른 호스트 간의 통신은 무시한다.

이러한 제한을 극복하기 위해 패킷 캡처는 프로미스큐어스 모드(Promiscuous Mode)를 사용한다. 이 모드에서는 네트워크 인터페이스가 자신에게 직접 전달되지 않은 모든 패킷도 수신하여 상위 계층(운영체제의 패킷 캡처 드라이버)으로 전달한다. 이는 스위치가 아닌 허브 기반 네트워크에서는 모든 트래픽이 모든 포트에 브로드캐스트되므로 효과적이었다. 현대의 스위치 환경에서는 포트 미러링(Port Mirroring)이나 SPAN(Switched Port Analyzer)과 같은 네트워크 장비의 기능을 활용하여 특정 포트의 트래픽을 캡처 포인트로 복제해야 할 필요가 있다.

프로미스큐어스 모드는 운영체제의 네트워크 드라이버와 패킷 캡처 라이브러리(예: libpcap/[WinPcap])의 지원을 받아 활성화된다. 이 모드를 사용하면 캡처 도구는 로컬 호스트의 트래픽뿐만 아니라 동일한 네트워크 세그먼트를 지나는 다른 호스트들의 트래픽도 관찰할 수 있게 되어, 네트워크 전체의 통신 흐름을 분석하는 데 필수적인 조건이 된다.

패킷은 네트워크를 통해 전송되는 데이터의 기본 단위이다. 일반적인 패킷은 헤더와 페이로드로 구성된다. 헤더에는 출발지와 목적지 IP 주소, 포트 번호, 프로토콜 종류, 순서 번호, 오류 검출 코드 등 패킷의 전송과 처리를 제어하는 정보가 담겨 있다. 페이로드는 실제 전송되는 사용자 데이터를 의미한다. 패킷의 구조는 사용되는 프로토콜 스택의 계층에 따라 중첩되어 나타나며, 예를 들어 이더넷 프레임 내부에 IP 패킷이, 그 안에 TCP 또는 UDP 세그먼트가, 다시 그 안에 HTTP와 같은 애플리케이션 데이터가 캡슐화된다.

패킷 캡처는 네트워크 상의 특정 지점에서 이 패킷들을 복사하여 저장하는 과정이다. 주요 캡처 포인트는 분석 목표에 따라 달라진다. 가장 일반적인 포인트는 분석 대상 호스트 자체의 NIC이다. 이 경우 해당 호스트가 송수신하는 트래픽만 캡처할 수 있다. 네트워크 전체의 트래픽을 모니터링하려면 스위치의 포트 미러링(SPAN) 기능을 활용하거나, 네트워크 경로 상에 탭 장비를 설치하는 방법이 사용된다. 포트 미러링은 스위치의 한 포트나 VLAN의 모든 트래픽을 지정된 모니터링 포트로 복제하는 방식이다. 네트워크 탭은 물리적 케이블 경로에 삽입되어 모든 트래픽의 복사본을 수동적으로 제공하는 하드웨어 장치이다.

다양한 캡처 포인트와 그 특징은 다음과 같다.

캡처 포인트를 선정할 때는 분석 범위(단일 호스트 vs. 전체 네트워크), 트래픽 양, 캡처에 대한 영향도(침습적 vs. 비침습적), 그리고 필요한 장비와 예산을 종합적으로 고려해야 한다. 특히 암호화된 트래픽(예: HTTPS)을 분석할 경우, 복호화를 위해 클라이언트 측에서 캡처하거나 게이트웨이에서 MITM 방식을 적용하는 등 특수한 설정이 필요할 수 있다.

Wireshark는 가장 널리 사용되는 패킷 캡처 및 분석 도구이다. 이 도구는 오픈 소스이며, 그래픽 사용자 인터페이스(GUI)를 제공하여 네트워크 트래픽을 실시간으로 캡처하고, 상세하게 검사하며, 다양한 프로토콜을 해독하는 기능을 지원한다. 네트워크 관리자, 보안 전문가, 개발자, 교육자 등 다양한 사용자층이 네트워크 문제 해결, 애플리케이션 디버깅, 프로토콜 학습, 보안 감사 등의 목적으로 활용한다.

Wireshark의 핵심 기능은 프로토콜 분석기로서의 역할이다. 이 도구는 수천 가지의 프로토콜을 해독할 수 있으며, 캡처된 각 패킷을 계층별로 분해하여 헤더와 페이로드 정보를 직관적인 트리 구조로 표시한다. 주요 기능으로는 실시간 캡처, 강력한 디스플레이 필터, 색상 강조 규칙, 스트림 추적을 통한 세션 재구성, 다양한 통계 도구(예: 대화 상대, 엔드포인트, 프로토콜 계층 분포) 등이 포함된다. 또한, BPF 구문을 사용한 캡처 필터링을 지원하여 불필요한 트래픽을 사전에 걸러낼 수 있다.

사용자는 네트워크 인터페이스를 선택하여 캡처를 시작한 후, 디스플레이 필터를 적용해 특정 IP 주소, 포트 번호, 프로토콜 또는 패킷 내 바이트 값에 기반한 트래픽만을 신속하게 찾아낼 수 있다. 분석된 데이터는 PCAPNG 또는 PCAP 형식으로 저장 및 내보내기가 가능하며, 다른 도구와의 호환성을 유지한다. Wireshark는 tcpdump와 같은 명령줄 도구로 캡처한 파일을 불러와 시각적으로 분석하는 데에도 자주 사용된다.

tcpdump는 명령줄 인터페이스 기반의 강력한 패킷 캡처 및 분석 도구이다. 주로 유닉스 계열 운영체제(리눅스, macOS, BSD 등)에서 사용되며, 네트워크 인터페이스를 통해 흐르는 패킷을 캡처하고, 그 내용을 필터링하여 출력하거나 파일로 저장하는 기능을 제공한다. 시스템 리소스를 적게 사용하며 원격 서버나 임베디드 시스템과 같이 그래픽 사용자 인터페이스가 없는 환경에서 네트워크 모니터링과 문제 진단에 필수적으로 활용된다.

tcpdump의 기본 사용법은 tcpdump [옵션] [필터 표현식] 형태이다. 주요 옵션을 통해 캡처할 네트워크 인터페이스를 지정하거나(-i), 캡처한 패킷을 파일로 저장하거나(-w), 저장된 파일을 읽어들일 수 있다(-r). BPF 구문을 사용한 필터 표현식을 적용하면 특정 IP 주소, 포트 번호, 프로토콜에 대한 트래픽만 선별적으로 캡처할 수 있어 효율성을 높인다. 예를 들어, tcpdump -i eth0 host 192.168.1.1 and port 80 명령은 eth0 인터페이스에서 192.168.1.1 주소와 주고받는 80번 포트(HTTP) 트래픽만 캡처한다.

출력 형식은 각 패킷의 타임스탬프, 계층 2 정보(MAC 주소), 계층 3 정보(IP 주소), 계층 4 정보(TCP/UDP 포트), 그리고 패킷의 플래그나 시퀀스 번호 등의 핵심 정보를 텍스트로 보여준다. 패킷의 페이로드(실제 데이터)는 16진수(헥사덤프)와 ASCII 형식으로 함께 표시되기도 한다. 아래는 tcpdump로 캡처한 TCP 핸드셰이크의 간략한 예시이다.

tcpdump는 실시간 분석과 자동화 스크립트에 통합하기에 적합하지만, 캡처한 데이터를 심층적으로 분석하거나 시각화하기에는 Wireshark 같은 도구에 비해 제한적이다. 따라서 많은 관리자와 분석가는 tcpdump로 트래픽을 캡처하여 파일(.pcap 형식)로 저장한 후, Wireshark에서 불러와 상세한 분석을 수행하는 워크플로우를 사용한다. 이는 리소스가 제한된 서버에서의 가벼운 캡처와 풍부한 기능의 후처리 분석을 결합한 효율적인 방법이다.

Wireshark나 tcpdump 외에도 특정 환경이나 목적에 맞춘 다양한 전문 패킷 캡처 및 분석 도구가 존재한다. 이러한 도구들은 종종 더 가벼운 리소스 사용, 실시간 대규모 트래픽 처리, 특정 프로토콜에 대한 심층 분석, 또는 자동화된 위협 탐지와 같은 특화된 기능을 제공한다.

많은 상용 네트워크 성능 관리(Network Performance Management, NPM) 및 네트워크 트래픽 분석(Network Traffic Analysis, NTA) 솔루션들은 패킷 캡처 기능을 핵심 엔진으로 통합한다. 예를 들어, 엔데이스의 nGeniusONE, 엑스트라호프의 TruView, 리버베드의 Cascade는 네트워크 장비에서 수집된 플로우 데이터(NetFlow, sFlow 등)와 실제 패킷 데이터를 결합하여 종합적인 성능 모니터링과 문제 해결을 가능하게 한다. 또한, 자이언트 스웜과 같은 클라우드 네이티브 환경용 관찰 가능성 플랫폼도 컨테이너 수준의 패킷 캡처와 분석 기능을 제공한다.

명령줄 기반의 다른 강력한 도구들도 널리 사용된다. tshark는 Wireshark의 명령줄 버전으로, 스크립트나 원격 서버에서의 자동화된 분석에 적합하다. nmap의 Ncat이나 socat과 같은 네트워크 유틸리티는 특정 포트 트래픽을 덤프하는 데 사용될 수 있다. 고성능 패킷 캡처를 위해 PF_RING이나 DPDK(Data Plane Development Kit) 기반의 솔루션들(예: ntopng의 PF_RING 버전)은 표준 libpcap 라이브러리보다 훨씬 높은 패킷 수신률을 달성한다. 다음은 일부 전문 도구와 그 주요 특징을 정리한 표이다.

이러한 전문 도구의 선택은 분석 목표(예: 보안 감시, 성능 튜닝, 애플리케이션 디버깅), 분석 규모, 그리고 운영 환경(예: 엔터프라이즈 네트워크, 데이터센터, 클라우드)에 따라 달라진다. 많은 조직들은 Wireshark 같은 범용 분석기와 Zeek 같은 특화된 처리 도구를 함께 사용하여 상호 보완적인 네트워크 가시성을 확보한다.

BPF(Berkeley Packet Filter)는 커널 수준에서 네트워크 패킷을 필터링하기 위한 기술이다. 주로 tcpdump, Wireshark 등의 패킷 캡처 도구에서 캡처 필터로 사용되어, 특정 조건을 만족하는 패킷만 캡처하거나 제외한다. 이는 분석 대상 트래픽을 사전에 선별하여 불필요한 데이터를 줄이고 저장 공간을 절약하며 분석 효율을 높이는 데 목적이 있다. BPF는 사용자가 정의한 필터 프로그램을 가상 머신에서 실행하는 방식으로 동작한다.

BPF 구문은 프리미티브, 연산자, 예약어를 조합하여 구성한다. 프리미티브는 일반적으로 프로토콜 유형(예: ip, arp, tcp), 호스트(host), 포트(port), 네트워크(net) 등을 지정한다. 연산자로는 논리 연산(and 또는 &&, or 또는 ||, not 또는 !)과 비교 연산(>, <, =, <= 등)이 사용된다. 예를 들어, host 192.168.1.1 and tcp port 80이라는 필터는 특정 IP 주소의 80번 포트로 향하거나 발신하는 TCP 패킷만 캡처한다.

복잡한 조건을 표현하기 위해 프로토콜 헤더 내 특정 오프셋의 값을 직접 참조할 수 있다. 이는 proto [ expr : size ] 형식으로 작성하며, proto는 프로토콜(예: ip, tcp), expr은 시작 바이트 오프셋, size는 읽을 바이트 수를 의미한다. 예를 들어, IP 헤더의 TTL(Time to Live) 값이 64인 패킷을 필터링하려면 ip[8] == 64와 같은 구문을 사용한다. 이 방식은 표준 프리미티브로 표현하기 어려운 세부적인 패킷 조건을 필터링할 때 유용하다.

주요 BPF 프리미티브와 용례는 다음과 같다.

이러한 구문을 조합하면 매우 정교한 캡처 필터를 설계할 수 있다. 예를 들어, not arp and not icmp and src net 10.0.0.0/24는 ARP와 ICMP 프로토콜을 제외한 10.0.0.0/24 네트워크에서 발신하는 모든 트래픽을 캡처한다.

Wireshark 디스플레이 필터는 캡처된 모든 패킷 데이터에서 특정 조건을 만족하는 패킷만 화면에 표시하도록 하는 강력한 기능이다. 캡처 필터가 패킷을 수집하는 단계에서 걸러내는 것과 달리, 디스플레이 필터는 이미 캡처 버퍼나 파일에 저장된 데이터를 사용자가 분석하기 쉽게 필터링한다. 따라서 중요한 패킷을 놓칠 염려 없이 먼저 트래픽을 광범위하게 캡처한 후, 필요에 따라 세부적인 조건을 적용해 점진적으로 분석 범위를 좁힐 수 있다.

디스플레이 필터는 프로토콜, 필드 값, 비교 연산자, 논리 연산자를 조합하여 구성한다. 구문은 직관적으로 설계되어, 예를 들어 ip.addr == 192.168.1.1은 해당 IP 주소가 출발지 또는 목적지인 모든 패킷을 보여준다. tcp.port == 443은 TCP 포트 443을 사용하는 패킷을, http.request.method == "GET"은 HTTP GET 요청만을 필터링한다. 논리 연산자 and, or, not(또는 !)을 사용해 복잡한 조건을 만들 수 있으며, contains, matches 같은 연산자는 패킷 데이터 내 문자열 검색에 활용된다.

Wireshark는 필터 입력 시 실시간으로 구문 검증을 수행하며, 유효하지 않은 필터는 배경색이 빨갛게 변하고 오류 메시지를 표시한다. 또한 프로토콜 트리에서 관심 있는 필드를 마우스 오른쪽 버튼으로 클릭하면, 해당 필드를 기준으로 한 필터 조건을 자동으로 생성해주는 "필터로 적용" 메뉴를 제공하여 사용자의 편의를 높인다.

아래는 일반적으로 사용되는 몇 가지 디스플레이 필터의 예시이다.

TCP와 UDP는 인터넷 프로토콜 스위트의 핵심 전송 계층 프로토콜이다. 패킷 캡처를 통한 세션 분석은 네트워크 통신의 정상 동작 여부를 확인하거나, 성능 문제와 오류의 근본 원인을 규명하는 데 필수적이다. 두 프로토콜은 연결 지향성과 신뢰성 측면에서 근본적인 차이를 보이므로, 분석 시 접근 방식도 달라진다.

TCP 세션 분석은 일반적으로 3-way 핸드셰이크로 시작하는 연결 설정 과정을 확인하는 것으로 시작한다. SYN, SYN-ACK, ACK 패킷의 교환을 통해 연결이 성립되었는지 살펴본다. 이후 데이터 전송 단계에서는 시퀀스 번호와 확인 응답 번호의 증가 추이를 추적하여 데이터의 순서와 누락 여부를 확인한다. 윈도우 크기 값은 흐름 제어 상태를 나타내며, 지연이나 혼잡이 발생했을 때 이 값이 줄어드는 것을 관찰할 수 있다. 세션 종료 시에는 FIN 패킷의 정상적인 교환 또는 예상치 못한 RST 패킷의 발생을 주의 깊게 분석한다. TCP 분석의 주요 포인트는 다음과 같다.

반면, UDP 세션 분석은 상태가 없는(stateless) 프로토콜의 특성상 더 간단하면서도 동시에 더 어려울 수 있다. UDP에는 사전 연결 설정 과정이나 내재된 신뢰성 메커니즘이 존재하지 않는다. 따라서 분석은 주로 특정 IP 주소와 포트 번호 쌍 사이에서 오가는 데이터그램 패킷의 흐름에 집중한다. 패킷 손실, 지연, 혼잡 문제는 상위 계층 애플리케이션 프로토콜(예: DNS, DHCP, RTP)의 응답 누락이나 시간 초과 현상으로 간접적으로 추론해야 한다. 또한, 초당 패킷 수나 데이터량 같은 통계적 분석을 통해 비정상적인 트래픽 폭주(Flooding)를 탐지하는 데 유용하게 활용된다.

HTTP 트래픽 분석은 클라이언트와 서버 간의 요청과 응답을 직접 확인할 수 있어 웹 애플리케이션의 동작을 이해하거나 문제를 진단하는 데 핵심적이다. 분석자는 GET, POST, PUT, DELETE 등의 HTTP 메서드, 요청 URL, HTTP 상태 코드(예: 200 OK, 404 Not Found), 그리고 HTTP 헤더 필드(예: User-Agent, Content-Type, Cookie)를 검토한다. 패킷 캡처 도구는 이러한 요청-응답 쌍을 쉽게 추적하고, 이미지나 문서와 같은 전송된 데이터를 확인하거나 재구성할 수 있게 한다. 특히, 느린 페이지 로딩 시간 분석 시, 각 리소스 요청의 타이밍, 순서, 그리고 서버 응답 지연을 패킷 수준에서 정밀하게 측정할 수 있다.

HTTPS 트래픽 분석은 암호화로 인해 추가 단계가 필요하다. SSL/TLS로 암호화된 트래픽은 기본적으로 페이로드 내용을 볼 수 없다. 분석을 위해서는 서버의 개인 키를 이용하거나, 클라이언트 측에서 생성된 TLS 세션 키를 패킷 캡처 도구(Wireshark 등)에 제공해야 한다[4]. 키를 성공적으로 로드하면, 도구는 암호화된 트래픽을 복호화하여 평문 HTTP 요청과 응답을 보여준다. 이 과정은 애플리케이션 계층의 문제를 분석하는 동시에, TLS 핸드셰이크 과정(클라이언트 헬로, 서버 인증서 교환, 암호 스위트 협상 등) 자체의 실패나 보안 취약점도 검사할 수 있게 한다.

다음은 HTTP와 HTTPS 트래픽 분석 시 주로 확인하는 요소를 비교한 표이다.

이러한 분석은 웹 서비스의 기능적 오류 디버깅, 성능 병목 현상 파악, 그리고 암호화 설정의 적절성 검증 등 다양한 목적으로 활용된다.

DNS 쿼리 분석은 패킷 캡처 데이터에서 DNS 프로토콜 트래픽을 검사하여 네트워크 상의 이름 해석 동작을 이해하고 문제를 진단하는 과정이다. DNS는 호스트 이름을 IP 주소로 변환하는 핵심 서비스이므로, 그 동작 분석은 네트워크 연결성 문제 해결의 첫 단계가 되는 경우가 많다.

분석은 일반적으로 Wireshark나 tcpdump 같은 도구를 사용하여 수행된다. 캡처된 패킷에서 DNS 트래픽을 필터링하려면 udp.port == 53 또는 dns 같은 디스플레이 필터를 적용한다. 분석가는 표준 쿼리와 응답, 재귀적 질의와 반복적 질의의 차이, 그리고 DNS 레코드 유형(A, AAAA, CNAME, MX, NS 등)을 식별하는 방법을 이해해야 한다. 일반적인 분석 항목은 다음과 같다.

문제 해결 시, NXDOMAIN(도메인 없음) 응답은 잘못된 호스트 이름 입력을, SERVFAIL 응답은 서버 오류를 나타낼 수 있다. 예상치 못한 DNS 서버(예: 공용 DNS 대신 내부 서버)로의 요청은 구성 오류를 시사한다. 반복적인 실패 쿼리나 과도한 트래픽은 DNS 증폭 공격 같은 보안 위협의 징후일 수도 있다[5]. 또한, DNS 쿼리의 TTL(Time To Live) 값을 분석하면 클라이언트의 캐싱 동작과 네트워크 부하에 대한 이해를 도울 수 있다.

네트워크 지연과 패킷 손실은 성능 저하의 주요 원인이며, 패킷 캡처를 통해 그 원인을 체계적으로 분석할 수 있다. 지연은 왕복 시간(RTT) 증가로 나타나며, 손실은 재전송이나 중복 ACK로 식별된다. 분석은 일반적으로 TCP 프로토콜의 동작을 중심으로 이루어진다.

지연 분석은 핑(ping)이나 트레이스루트(traceroute)로 기본 경로를 확인한 후, 캡처 도구를 사용해 세부적인 시간 차이를 관찰한다. 핵심은 패킷의 타임스탬프를 비교하는 것이다. 예를 들어, SYN 패킷과 SYN-ACK 패킷 사이의 시간은 연결 설정 지연을, 데이터 패킷과 그에 대한 ACK 사이의 시간은 전송 지연을 나타낸다. Wireshark의 'Statistics' 메뉴의 'TCP Stream Graphs' (예: 시퀀스 번호-시간 그래프)는 이러한 지연과 손실을 시각적으로 확인하는 데 유용하다.

패킷 손실 분석은 TCP의 재전송 메커니즘을 추적하는 과정이다. 손실은 주로 세 가지 형태로 나타난다.

지연과 손실의 근본 원인은 다양하다. 네트워크 혼잡으로 인한 큐잉 지연, 불안정한 무선 링크, 라우터나 방화벽의 버퍼 오버플로우, 또는 종단 시스템의 처리 능력 부족 등이 있다. 분석 시에는 손실이 특정 방향(클라이언트->서버 또는 그 반대)으로 집중되는지, 특정 시간대나 특정 크기의 패킷에서 발생하는지 패턴을 찾는 것이 중요하다.

TCP 연결 설정과 종료 과정에서 발생하는 문제는 네트워크 장애의 흔한 원인이다. 패킷 캡처 분석을 통해 핸드셰이크 단계의 이상을 정확히 진단할 수 있다.

연결 설정 문제는 주로 3-way handshake 실패에서 비롯된다. 클라이언트의 SYN 패킷 전송 후 서버로부터 SYN-ACK 응답이 없는 경우, 네트워크 경로 문제, 서버 다운, 또는 방화벽 차단을 의심할 수 있다. 반대로 서버의 SYN-ACK에 대한 클라이언트의 ACK 응답이 없는 경우, 클라이언트 측 문제 또는 중간 경로의 비대칭 라우팅을 확인해야 한다. 패킷 캡처를 통해 SYN 패킷의 재전송 횟수와 간격을 분석하면 연결 시도 실패의 원인을 구체화하는 데 도움이 된다.

연결 종료 문제는 4-way handshake 과정에서 나타난다. 한쪽에서 FIN 패킷을 보냈으나 상대방의 ACK 응답이 없어 연결이 장시간 FIN_WAIT 상태에 머무르거나, RST 패킷이 예기치 않게 전송되어 강제 종료되는 경우가 빈번하다. 또한, 애플리케이션이 정상적인 종료 절차를 수행하지 않고 강제 종료될 경우, TCP 연결이 CLOSE_WAIT 또는 TIME_WAIT 상태에 과도하게 머물러 리소스를 소모하는 현상이 발생할 수 있다.

이러한 문제를 분석할 때는 클라이언트와 서버 양측의 트래픽을 동시에 캡처하는 것이 이상적이다. 한쪽의 트래픽만으로는 패킷 손실이 어느 경로에서 발생했는지 판단하기 어렵기 때문이다. 또한, TCP 플래그 시퀀스와 ACK 번호를 추적하여 핸드셰이크가 정상적으로 완료되는지 확인해야 한다.

비정상 트래픽 패턴 식별은 패킷 캡처 분석을 통해 네트워크에서 평소와 다른, 잠재적으로 악의적이거나 문제를 일으킬 수 있는 통신 흐름을 발견하는 과정이다. 이는 네트워크 보안 모니터링의 핵심 요소로, 알려진 공격 시그니처 이상의 이상 징후를 탐지하는 데 초점을 맞춘다.

일반적으로 비정상 트래픽은 통계적 기준, 프로토콜 규칙 위반, 또는 비즈니스 로직에 맞지 않는 행위로 나타난다. 분석가는 Wireshark의 통계 도구나 tcpdump의 출력을 기반으로 기준선을 설정한 후, 이를 벗어나는 패턴을 찾는다. 주요 식별 대상은 다음과 같다.

이러한 패턴을 식별하기 위해서는 정상적인 네트워크의 '평상시' 상태에 대한 이해가 필수적이다. 또한, 단일 패킷보다는 스트림 추적과 재조합을 통해 전체 세션의 맥락을 살펴보는 것이 중요하다. 예를 들어, 암호화되지 않은 프로토콜에서 특정 키워드가 반복되거나, HTTP 요청 헤더가 일반적인 브라우저 패턴과 일치하지 않으면 악성 봇의 활동을 의심할 수 있다. 식별된 비정상 패턴은 네트워크 침입 탐지 시스템에 새로운 규칙을 입력하거나, 사고 대응 절차의 시작점으로 활용된다.

악성코드 통신 분석은 패킷 캡처를 통해 네트워크에서 발생하는 악성 활동의 징후를 탐지하고 조사하는 과정이다. 이 분석은 C2 서버(Command and Control Server)와의 통신, 데이터 유출, 익스플로잇 키트의 활동, 또는 다른 악성 네트워크 프로토콜을 식별하는 데 중점을 둔다. 분석가는 캡처된 트래픽에서 정상적인 비즈니스 트래픽과 구별되는 비정상적인 패턴, 포트, 도메인, 또는 페이로드를 찾아낸다.

일반적인 분석 대상은 다음과 같다. 첫째, 도메인 생성 알고리즘(DGA)을 사용하는 도메인에 대한 빈번한 DNS 쿼리이다. 이는 규칙적이지 않고 무작위적인 문자열로 구성된 도메인 이름을 특징으로 한다. 둘째, 비표준 포트를 사용하는 프로토콜 통신이다. 예를 들어, HTTP 트래픽이 80번 포트 대신 8080이나 443이 아닌 다른 포트에서 발생할 수 있다. 셋째, 암호화되지 않거나 약하게 암호화된 채널을 통한 데이터 유출 시도이다. 패킷 크기, 전송 빈도, 목적지 IP 주소의 평판 등을 종합적으로 판단해야 한다.

분석 과정에서는 Wireshark의 필터링과 스트림 추적 기능이 핵심적으로 활용된다. HTTP 객체 추출 기능을 통해 전송된 실행 파일을 확인하거나, SSL/TLS 핸드셰이크 정보를 검토하여 의심스러운 인증서를 발견할 수 있다. 또한, tcpdump로 수집한 데이터를 Zeek(이전 Bro)나 Suricata 같은 네트워크 침입 탐지 시스템(NIDS) 로그와 연계하여 분석하면 더욱 효과적이다.

이러한 분석을 통해 악성코드의 감염 경로, 행위 방식, 그리고 영향을 받은 시스템의 범위를 파악할 수 있다. 이는 사고 대응의 초기 단계에서 매우 중요한 정보를 제공하며, 향후 유사한 위협을 차단하기 위한 방화벽 또는 IPS 정책을 수립하는 근거가 된다.

스트림 추적은 특정 TCP 또는 UDP 세션에 속한 모든 패킷을 논리적으로 그룹화하여 하나의 통신 흐름으로 보는 과정이다. Wireshark와 같은 도구는 패킷의 IP 주소, 포트 번호, 프로토콜 정보를 기반으로 자동으로 스트림을 식별하고, 사용자가 특정 스트림을 선택하면 해당 세션의 모든 패킷을 시간 순으로 볼 수 있다. 이는 대화형 프로토콜(HTTP, FTP, SMTP 등)의 요청과 응답을 순차적으로 분석하거나, 파일 전송과 같은 단일 작업의 전체 진행 상황을 파악하는 데 필수적이다.

패킷 재조합은 분할되어 전송된 데이터를 원래 형태로 복원하는 과정을 말한다. TCP 프로토콜은 대용량 데이터를 여러 개의 TCP 세그먼트로 나누어 전송하며, 각 세그먼트는 독립적인 IP 패킷에 실려 도착할 수 있다. 패킷 캡처 도구는 이러한 세그먼트들의 시퀀스 번호를 분석하여 올바른 순서로 재배열하고, 하나의 완전한 데이터 유닛(예: HTTP 응답 메시지 본문 또는 파일)으로 조합한다. UDP의 경우 일반적으로 재조합이 필요 없지만, 일부 상위 계층 프로토콜에서 데이터그램을 분할하는 경우 재조합이 수행된다.

스트림 추적과 재조합 기능은 다음과 같은 분석 작업에 핵심적으로 활용된다.

* 파일 추출: HTTP를 통한 파일 다운로드나 SMTP를 통한 이메일 첨부 파일을 네트워크 트래픽에서 직접 추출하여 분석할 수 있다.

* 암호화되지 않은 프로토콜의 가시화: 재조합된 TCP 스트림을 통해 사용자의 키 입력, 채팅 메시지, 명령어 등 평문 통신 내용을 확인할 수 있다.

* 프로토콜 디코딩 오류 해결: 분할 전송이나 패킷 손실로 인해 프로토콜 분석기가 단일 패킷 수준에서 내용을 해석하지 못하는 경우, 재조합된 데이터를 통해 정확한 프로토콜 구조를 파악할 수 있다.

이 기법들은 네트워크 디버깅, 포렌식 분석, 애플리케이션 성능 프로파일링 등 다양한 분야에서 복잡한 통신 상호작용을 이해하는 강력한 수단을 제공한다.

통계 및 프로파일링은 캡처된 대량의 패킷 데이터를 정량적으로 분석하여 네트워크의 전반적인 상태, 성능, 행동 패턴을 파악하는 기법이다. 단일 패킷이나 세션 분석을 넘어서, 시간 경과에 따른 트래픽 흐름, 프로토콜 분포, 대역폭 사용률, 응답 시간, 호스트 간 통신량 등의 종합적인 지표를 생성하고 시각화한다. 이는 네트워크 용량 계획, 성능 베이스라인 설정, 이상 징후의 광범위한 탐지에 필수적이다.

주요 도구들은 다양한 통계 기능을 제공한다. Wireshark의 'Statistics' 메뉴에는 'Summary', 'Protocol Hierarchy', 'Conversations', 'Endpoints', 'IO Graphs', 'Flow Graph' 등이 포함된다. 'Protocol Hierarchy'는 캡처 파일 내 각 프로토콜이 차지하는 패킷 수와 바이트 수의 비율을 트리 구조로 보여주어 네트워크에서 어떤 프로토콜이 주로 사용되는지 한눈에 파악하게 한다. 'Conversations'와 'Endpoints'는 호스트 또는 MAC 주소, IP 주소, 포트별 통신 통계를 제공하여 가장 활발한 통신 주체를 식별하는 데 도움을 준다.

프로파일링은 정상적인 네트워크 행동의 기준을 수립하는 과정이다. 일정 기간 동안 정상 상태의 트래픽 패턴(예: 평균/최대 대역폭, 주간/야간 트래픽 차이, 주요 서비스 포트 사용량)을 프로파일로 만들어 저장한다. 이후 실시간 또는 주기적인 분석에서 이 프로파일과 현황을 비교함으로써, 정상 범위를 벗어나는 변화를 감지할 수 있다. 예를 들어, 특정 호스트의 송신 트래픽이 갑자기 급증하거나, 일반적으로 사용되지 않는 포트에서의 통신이 발생하는 것은 잠재적인 보안 위협이나 애플리케이션 오류의 신호일 수 있다.

고급 통계 분석은 패킷 손실률, 지연 시간(레이트런시), 지터, 윈도우 크기 변화 등 TCP 성능 메트릭에 초점을 맞추기도 한다. IO Graphs를 사용하면 사용자 정의 필터(예: 특정 IP 대역의 트래픽만)를 적용하여 시간에 따른 패킷/바이트 전송률을 그래프로 그릴 수 있어, 트래픽 버스트나 주기적 패턴을 분석하는 데 유용하다. 이러한 통계적 접근법은 문제의 근본 원인을 좁히고, 네트워크 성능을 최적화하며, 예측 정확도 높은 모니터링 시스템을 구축하는 토대를 제공한다.