FTPS (SSL/TLS)

FTPS는 FTP 프로토콜의 보안 취약점을 해결하기 위해 SSL/TLS 암호화 계층을 추가한 확장 프로토콜이다. 핵심은 제어 채널과 데이터 채널 모두를 암호화하여 전송 중인 정보를 보호하는 것이다. 이 암호화는 네트워크 상에서 스니핑이나 중간자 공격과 같은 위협으로부터 사용자 인증 정보와 파일 데이터를 안전하게 가린다.

암호화는 주로 두 가지 채널에서 이루어진다. 먼저, 클라이언트와 서버 간의 연결 설정 및 명령을 주고받는 제어 채널이 암호화된다. 이를 통해 사용자명과 비밀번호 같은 로그인 자격 증명이 평문으로 노출되는 것을 방지한다. 둘째, 실제 파일 내용이 전송되는 데이터 채널도 암호화 대상이다. 이는 파일 자체의 기밀성을 보장하며, 데이터가 전송되는 동안 외부에서 내용을 엿보거나 변조할 수 없게 만든다.

사용되는 암호화 방식은 협상 과정을 통해 결정된다. 클라이언트와 서버는 핸드셰이크 과정에서 지원하는 암호화 스위트를 교환하고, 상호 합의된 가장 강력한 암호화 알고리즘을 선택한다[2]. 이 과정에는 대칭키 암호화와 공개키 암호화가 결합되어 사용된다. 공개키 암호화는 초기 핸드셰이크와 키 교환에, 대칭키 암호화는 이후의 실제 데이터 암호화에 주로 활용되어 효율성과 보안을 동시에 확보한다.

이러한 암호화 통신은 FTPS의 동작 모드에 따라 연결 초기부터 암호화를 시작하거나, 일반 FTP 연결을 확장하여 암호화로 전환하는 방식으로 구현된다.

FTPS의 인증은 주로 서버 인증을 중심으로 이루어지며, 선택적으로 클라이언트 인증도 지원합니다. 이 인증 과정은 SSL/TLS 핸드셰이크 프로토콜을 통해 이루어지며, 공개 키 기반 구조를 활용합니다.

서버 인증은 기본적인 방식입니다. FTPS 서버는 연결 시점에 디지털 인증서를 클라이언트에 제시합니다. 이 인증서는 서버의 신원(예: 도메인 이름)을 확인하고, 서버의 공개 키를 포함합니다. 클라이언트는 이 인증서가 신뢰할 수 있는 인증 기관에 의해 서명되었는지 검증하여 서버의 정당성을 확인합니다. 이를 통해 중간자 공격을 방지합니다.

클라이언트 인증은 더 높은 보안 수준이 요구될 때 사용되는 선택적 방식입니다. 이 경우 클라이언트도 자신의 인증서를 서버에 제시해야 합니다. 서버는 클라이언트 인증서를 검증하여 특정 사용자나 시스템의 접근만을 허용할 수 있습니다. 이 방식은 주로 기업 내부나 특정 파트너 간의 통신에 활용됩니다.

인증서 관리의 복잡성 때문에, 많은 공개 FTPS 서버는 서버 인증만을 사용하는 반면, 민감한 데이터를 교환하는 폐쇄적 환경에서는 양방향 인증을 구현하기도 합니다.

FTPS는 SSL/TLS 프로토콜을 사용하여 FTP 세션을 보호하는 방식으로, 크게 Explicit FTPS와 Implicit FTPS 두 가지 동작 모드로 구분된다. 이 두 모드는 연결 협상 과정과 사용하는 기본 포트에서 차이를 보인다.

Explicit 모드(명시적 모드, FTPS 또는 FTPES라고도 함)에서는 클라이언트가 먼저 표준 FTP 포트(일반적으로 21번)를 통해 서버에 일반 텍스트로 연결한 후, AUTH TLS 또는 AUTH SSL 명령을 전송하여 SSL/TLS 암호화를 명시적으로 요청한다. 서버가 이를 수락하면 제어 채널이 암호화되고, 이후의 데이터 채널 설정도 보호된 상태로 진행된다. 이 모드는 기존 FTP 서버와의 하위 호환성을 유지하면서 필요에 따라 보안 연결로 업그레이드할 수 있는 유연성을 제공한다.

반면, Implicit 모드(암시적 모드)에서는 연결 시작부터 SSL/TLS 핸드셰이크가 필요하다고 가정한다. 클라이언트는 특별히 할당된 포트(일반적으로 990번)를 사용하여 서버에 연결하며, 연결이 수립되는 즉시 SSL/TLS 협상이 시작된다. 이 모드에서는 암호화되지 않은 통신이 전혀 허용되지 않는다. 과거에는 Implicit 모드가 더 일반적이었으나, 현재는 Explicit 모드가 더 널리 사용되고 권장되는 방식이다.

두 모드의 주요 차이점을 표로 정리하면 다음과 같다.

현대적인 구현과 호환성을 고려할 때, Explicit 모드가 사실상의 표준으로 자리 잡았다. 대부분의 최신 FTP 서버 및 클라이언트 소프트웨어는 Explicit 모드를 우선 지원하며, 보안 정책상 암호화를 선택적으로 적용할 수 있는 이 모드의 유연성이 더 선호된다.

SSL/TLS 인증서는 FTPS 연결의 핵심 보안 요소로서, 서버의 신원을 확인하고 통신 채널의 암호화를 위한 키 교환을 가능하게 한다. 이 인증서는 신뢰할 수 있는 제3자인 인증 기관(CA)에 의해 발급 및 서명된 디지털 문서이다. 인증서에는 서버의 공개 키, 소유자 정보(일반적으로 도메인 이름), 유효 기간, 발행 CA 정보 등이 포함되어 있다. 클라이언트는 연결 시 서버로부터 이 인증서를 받아 검증 과정을 거친다.

인증서 검증 과정은 다음과 같다. 클라이언트는 먼저 인증서의 유효 기간이 만료되지 않았는지 확인한다. 그 다음, 인증서에 명시된 서버 이름(예: ftps.example.com)과 실제로 연결하려는 서버의 도메인이 일치하는지 검사한다. 마지막으로, 인증서 서명 체인을 추적하여 최상위 루트 인증 기관까지 신뢰할 수 있는지 확인한다. 이 모든 검증이 성공해야 서버의 신원이 입증되고 안전한 연결이 수립된다.

FTPS 구현에서는 다양한 유형의 인증서를 사용할 수 있다. 가장 일반적인 것은 도메인 검증(DV) 인증서이다. 조직 검증(OV)이나 확장 검증(EV) 인증서도 사용 가능하지만, FTPS의 주요 목적이 통신 암호화와 기본적인 신원 확인에 있기 때문에 DV 인증서가 널리 쓰인다. 서버 관리자는 인증서와 대응되는 비공개 키를 안전하게 보관해야 하며, 정기적으로 갱신해야 한다.

인증서 검증 실패 시(예: 만료, 도메인 불일치, 신뢰할 수 없는 발급자), 클라이언트는 보통 사용자에게 경고를 표시하고 연결을 중단할지 계속할지 선택하도록 한다. 프로덕션 환경에서는 검증 실패를 무시하지 않는 것이 보안상 중요하다. 또한, 일부 내부망 환경에서는 사설 인증 기관에서 발급한 인증서를 사용하기도 한다. 이 경우 클라이언트 측에 해당 CA의 루트 인증서를 미리 설치해야 정상적인 검증이 이루어진다.

FTPS는 명시적(Explicit) 모드와 묵시적(Implicit) 모드에 따라 사용하는 기본 포트 번호가 다릅니다. 이는 연결 협상 방식의 차이에서 비롯됩니다.

명시적 모드(Explicit FTPS)에서는 기존 FTP와 동일한 포트를 먼저 사용합니다. 클라이언트는 일반 FTP 포트인 21번 포트로 평문 연결을 수립한 후, AUTH TLS 또는 AUTH SSL 명령을 서버에 전송하여 SSL/TLS 암호화 계층을 협상합니다. 이 모드는 기존 FTP 서버와의 호환성을 유지하며, 암호화 필요 시에만 보안 채널로 전환하는 방식입니다.

반면, 묵시적 모드(Implicit FTPS)에서는 연결 시작부터 SSL/TLS 협상이 이루어집니다. 이 모드는 별도의 포트를 사용하는데, 제어 채널은 일반적으로 990번 포트를 사용합니다. 데이터 채널 포트는 협상에 따라 결정되며, 기존 FTP의 20번 포트와는 다를 수 있습니다. 묵시적 모드는 초기부터 보안 연결을 전제로 하지만, 현재는 명시적 모드가 더 널리 사용됩니다.

포트 번호는 구성에 따라 변경될 수 있습니다. 특히 방화벽을 통과할 때는 제어 채널과 동적으로 열리는 데이터 채널의 포트 범위를 모두 고려해야 합니다. 이를 위해 서버에서는 수동(PASV) 모드 사용 시 특정 포트 범위를 지정하는 설정이 일반적입니다.

FTPS의 데이터 채널 보호는 제어 채널과 별도로 파일 목록 조회나 파일 전송이 이루어지는 데이터 채널의 보안을 처리하는 방식을 의미한다. 이는 FTPS의 핵심 보안 메커니즘 중 하나로, 제어 채널만 암호화하는 것보다 훨씬 강력한 보호를 제공한다. 데이터 채널 보호는 클라이언트가 서버에 보내는 PROT(Protection Level) 명령을 통해 설정된다.

주요 보호 수준은 다음과 같다.

일반적으로 보안 통신에서는 PROT P 모드가 권장된다. 이 모드에서는 파일 내용 및 디렉토리 목록과 같은 모든 데이터가 암호화되어 전송되므로, 네트워크 상에서의 도청이나 데이터 변조를 효과적으로 방지할 수 있다. 데이터 채널은 세션이 필요할 때마다 동적으로 생성되므로, 각 데이터 전송 세션마다 독립적인 보안 채널이 수립된다는 특징이 있다.

FTPS 서버 설정은 사용하는 FTP 서버 소프트웨어에 따라 다르지만, 일반적으로 몇 가지 공통된 단계를 포함한다. 기본적인 설정 과정은 SSL/TLS 인증서를 준비하고, 서버 소프트웨어에서 FTPS 기능을 활성화하며, 보안 정책과 포트를 구성하는 것이다.

가장 먼저 필요한 것은 서버의 신원을 증명하는 SSL/TLS 인증서와 개인 키 파일이다. 공인 인증 기관(CA)에서 발급받은 인증서를 사용하거나, 내부 테스트용으로는 자체 서명된 인증서를 생성하여 사용할 수 있다. 서버 소프트웨어의 설정 파일(예: proftpd.conf, vsftpd.conf)에서 이 인증서와 키 파일의 경로를 지정해야 한다. 다음으로, 서버가 수신할 포트를 설정한다. Explicit FTPS(FTPES) 모드의 경우 일반 FTP 제어 포트(21번)를 사용하지만, Implicit FTPS 모드를 별도로 지원하는 경우에는 기본적으로 990번 포트를 사용한다.

서버 설정 시 보안 수준을 결정하는 옵션들을 신중히 구성해야 한다. 예를 들어, 취약한 SSL 버전은 비활성화하고 강력한 암호화 제품군만 허용하는 것이 좋다. 또한, 데이터 채널의 암호화 정책을 설정하여 제어 채널만 암호화하거나(Clear), 데이터 채널도 반드시 암호화하도록(Require) 강제할 수 있다. 설정이 완료되면 서비스를 재시작하여 변경 사항을 적용하고, 텔넷 또는 FTPS 클라이언트를 이용해 지정된 포트로 암호화 연결이 정상적으로 이루어지는지 확인한다.

클라이언트가 FTPS 서버에 연결하기 위해서는 FTP 클라이언트 소프트웨어가 SSL/TLS 암호화를 지원해야 합니다. 대부분의 현대적 FTP 클라이언트 프로그램은 FTPS 연결 기능을 내장하고 있습니다. 연결 과정은 일반적으로 서버 주소, 포트 번호, 그리고 사용할 연결 모드(Explicit 또는 Implicit)를 지정하는 것으로 시작합니다.

연결 모드에 따라 클라이언트의 설정 방법이 달라집니다. Explicit FTPS(FTPES) 모드로 연결할 경우, 클라이언트는 먼저 기본 FTP 포트(21번)로 일반 명령 채널 연결을 수립한 후, AUTH TLS 또는 AUTH SSL 명령을 서버에 보내 암호화 계층을 협상합니다. 반면, Implicit FTPS 모드로 연결할 경우, 클라이언트는 연결 시점부터 특정 포트(기본 990번)를 통해 SSL/TLS 핸드셰이크를 먼저 수행하며, 암호화되지 않은 통신은 허용되지 않습니다.

클라이언트는 서버가 제시하는 SSL/TLS 인증서를 검증합니다. 이 과정에서 인증서가 신뢰할 수 있는 인증 기관(CA)에 의해 발급되었는지, 그리고 서버의 도메인 이름과 일치하는지 확인합니다. 일부 내부망 또는 테스트 환경에서는 클라이언트가 서버의 자체 서명 인증서를 수동으로 신뢰하도록 설정해야 할 수 있습니다. 연결이 성공적으로 암호화되면, 클라이언트는 평소와 같이 사용자 인증(아이디/비밀번호)을 수행하고 파일 전송 작업을 진행합니다.