스택 가드

Terminator 카나리는 카나리 기법 중 하나로, 버퍼 오버플로 공격이 특정 문자열 연산에 의존한다는 점을 활용한 초기 형태의 보호 방법이다. 이 기법은 공격자가 스택 상의 반환 주소를 덮어쓰기 전에 카나리 값을 먼저 손상시켜야 한다는 원리에 기반한다. Terminator 카나리는 널(null) 종결자, 캐리지 리턴(CR), 라인 피드(LF), 그리고 -1(EOF)과 같은 문자열 종결 문자들로 구성된다.

대부분의 버퍼 오버플로 공격은 strcpy()와 같은 문자열 함수를 이용하며, 이 함수들은 이러한 종결 문자를 만나면 복사를 중단한다. 따라서 공격자가 반환 주소를 조작하려면 카나리 영역을 먼저 덮어써야 하는데, Terminator 카나리에 포함된 종결 문자를 복사하게 되면 공격 코드의 전달이 중단되어 공격이 실패하게 된다. 이는 널 바이트를 사용하는 공격 기법을 특히 효과적으로 차단한다.

그러나 이 방법은 공격자가 카나리의 예상 값을 알고, 해당 값을 정확히 재현한 후 덮어쓸 수 있다면 우회될 가능성이 있다. 또한, 힙 기반 오버플로나 함수 포인터를 대상으로 하는 공격에는 효과가 없다. Terminator 카나리는 이후 등장한 Random 카나리나 Random XOR 카나리와 같은 더 강력한 무작위화 기법의 토대를 제공했다.

Random 카나리는 카나리 기법 중 하나로, 공격자가 값을 예측하거나 알 수 없도록 프로그램 시작 시 난수 생성기를 통해 무작위로 생성된 값을 사용한다. 이 값은 스택 상의 버퍼와 중요한 제어 데이터(예: 반환 주소) 사이에 배치된다. 만약 버퍼 오버플로 공격이 발생하여 버퍼를 넘어 데이터를 덮어쓸 경우, 공격자는 반환 주소를 조작하기 전에 이 무작위 카나리 값을 먼저 덮어쓰게 된다. 함수가 종료되기 직전에 시스템은 이 카나리 값이 원래의 무작위 값과 여전히 일치하는지 검증한다. 값이 변경되었다면 버퍼 오버플로가 발생한 것으로 간주하고 프로그램 실행을 중단시켜 추가적인 피해를 막는다.

Random 카나리의 주요 강점은 그 예측 불가능성에 있다. 공격자가 공격 코드(익스플로잇)를 작성할 때 정확한 카나리 값을 알지 못하면, 값을 보존하면서 반환 주소만 덮어쓰는 것이 불가능해진다. 이 무작위 값은 일반적으로 전역 변수에 저장되며, 때로는 읽기 시도를 막기 위해 메모리 보호 기법을 적용한 페이지에 위치시키기도 한다. 이를 통해 카나리 값을 읽으려는 시도는 세그먼테이션 오류를 유발하여 프로그램을 종료시킨다.

이 기법은 GNU 컴파일러 모음(GCC)의 -fstack-protector 옵션과 같은 컴파일러 수준의 보안 기능으로 구현된다. 그러나 Random 카나리도 완벽하지는 않다. 만약 공격자가 정보 유출 취약점 등을 통해 실행 중인 프로세스의 메모리에서 카나리 값을 읽어낼 수 있다면, 이 공격을 우회할 가능성이 있다. 또한 이 방법은 주로 스택 기반 오버플로를 방어하며, 힙 기반 오버플로나 함수 포인터 오염과 같은 다른 형태의 공격에는 직접적인 보호를 제공하지 않는다.

랜덤 XOR 카나리는 랜덤 카나리의 개념을 확장한 기법이다. 이 방법은 단순히 랜덤 값을 스택에 배치하는 것을 넘어, 해당 랜덤 값과 스택의 제어 데이터(예: 반환 주소)를 XOR 연산하여 최종 카나리 값을 생성한다. 이렇게 생성된 값이 함수의 프롤로그에서 스택에 저장되고, 함수 종료 시 에필로그에서 원래의 제어 데이터와 다시 XOR 연산을 수행해 원본 랜덤 값과 비교함으로써 무결성을 검증한다.

이 방식의 핵심 장점은 공격 난이도의 상승에 있다. 공격자가 카나리 값을 정확히 예측하거나 우회하려면 단순히 랜덤 값뿐만 아니라, XOR의 대상이 되는 원본 제어 데이터(예: 반환 주소)의 값과 XOR 알고리즘 자체를 모두 알아내고 제어해야 한다. 이는 스택 읽기 공격을 훨씬 더 복잡하게 만든다. 또한, 제어 데이터 자체가 공격에 의해 변경되면 XOR 결과인 카나리 값도 함께 변경되어 검증 시 탐지될 수 있다.

그러나 랜덤 XOR 카나리도 완벽한 방어는 아니다. 함수 포인터와 같이 스택에 저장된 제어 데이터가 아닌 다른 데이터 영역을 대상으로 하는 공격에는 효과가 제한적일 수 있다. 이 기법은 주로 스택가드와 같은 초기 보호 도구에서 구현되었으며, 이후 더 발전된 스택 보호 기법들의 기반 아이디어를 제공했다.

GNU 컴파일러 모음(GCC)은 스택 가드 기법을 구현한 주요 컴파일러 중 하나이다. GCC에서의 스택 보호 구현은 역사적으로 여러 발전 단계를 거쳤다. 최초의 구현은 1997년 StackGuard에 의해 이루어졌으며, 이는 인텔 x86 백엔드를 위한 GCC 2.7 패치로 도입되었다. 이후 IBM은 ProPolice라는 이름으로 스택 스매싱 방어를 위한 개선된 GCC 패치를 개발했는데, 이는 스택 프레임에서 버퍼를 로컬 변수와 함수 매개변수 뒤에 재배치하여 포인터 오염을 방지하는 방식이었다.

GCC 4.1 버전부터는 레드햇 엔지니어들이 ProPolice의 아이디어를 재구현하여 기본 컴파일러에 통합했다. 이때 -fstack-protector와 -fstack-protector-all이라는 두 가지 컴파일 플래그가 도입되었다. 전자는 취약한 것으로 판단되는 일부 함수만을 보호하는 반면, 후자는 모든 함수에 대해 보호 기능을 적용한다. 이후 2012년 구글 엔지니어들은 보호 범위와 성능 간의 균형을 개선한 -fstack-protector-strong 플래그를 제안했으며, 이는 GCC 4.9 버전부터 사용할 수 있게 되었다.

GCC의 스택 보호 메커니즘은 주로 카나리 값을 활용한 검사를 기반으로 한다. 이는 함수의 프롤로그에서 스택에 특수 값을 저장하고, 함수가 종료되기 전인 에필로그에서 해당 값이 변경되었는지 확인하는 방식으로 동작한다. 값이 변경되었다면 버퍼 오버플로가 발생한 것으로 간주하고 프로그램 실행을 중단시킨다. 이 기법은 스택 스매싱 공격으로부터 반환 주소나 중요한 제어 데이터가 덮어쓰이는 것을 효과적으로 방지한다.

마이크로소프트 비주얼 스튜디오는 2003년 버전부터 /GS 컴파일러 명령줄 스위치를 통해 스택 가드 기법을 구현해 왔다. 이 기능은 마이크로소프트 비주얼 스튜디오 2005 버전부터 기본적으로 활성화되어 있으며, 버퍼 오버플로 공격으로부터 실행 파일을 보호하는 역할을 한다. /GS 스위치는 스택에 할당된 버퍼와 중요한 제어 데이터(예: 함수의 반환 주소) 사이에 무작위로 생성된 카나리 값을 삽입하여, 버퍼 오버플로가 발생해 이 값이 손상되면 프로그램 실행을 중단시킨다.

구체적인 구현 방식은 GNU 컴파일러 모음(GCC)의 접근법과 유사하지만, 마이크로소프트 고유의 최적화와 윈도우 응용 프로그램 이진 인터페이스(ABI)에 맞춰져 있다. 개발자는 보호 기능을 명시적으로 비활성화해야 하는 경우 /GS- 스위치를 사용할 수 있다. 이 기법은 스택 스매싱 공격을 효과적으로 방어하지만, 힙 기반 오버플로나 포인터를 통한 다른 메모리 손상 공격까지는 보호하지 않는다.

Clang/LLVM 컴파일러 인프라스트럭처는 여러 가지 버퍼 오버플로 탐지 기법을 지원한다. 이들은 성능 저하, 메모리 오버헤드, 탐지 가능한 버그 유형에 따라 서로 다른 장단점을 가진다.

주요 지원 기능으로는 AddressSanitizer(-fsanitize=address 플래그로 활성화), -fsanitize=bounds 옵션, 그리고 SafeCode가 있다. AddressSanitizer는 힙 기반 및 스택 기반 버퍼 오버플로를 포함한 다양한 메모리 오류를 탐지하는 강력한 도구이다. -fsanitize=bounds 옵션은 배열 경계 검사를 수행하여 인덱스가 할당된 범위를 벗어나는 접근을 방지한다.

이러한 도구들은 C 및 C++ 언어로 작성된 프로그램의 메모리 안전성을 높이는 데 기여하며, 소프트웨어 개발 과정에서 보안 취약점을 조기에 발견하는 데 널리 사용된다.