암호화 해시 함수

해시 함수는 임의의 길이를 가진 데이터를 고정된 길이의 값으로 변환하는 함수이다. 이 변환 과정을 해싱이라고 하며, 그 결과물을 해시값, 해시 코드, 다이제스트 등으로 부른다.

해시 함수는 일반적으로 다음과 같은 기본적인 특성을 가진다.

• 결정론적: 같은 입력에 대해서는 항상 동일한 해시값을 출력한다.

• 계산 효율성: 입력 데이터로부터 해시값을 계산하는 것이 빠르다.

• 압축성: 아주 긴 입력 데이터도 고정된 짧은 길이의 해시값으로 변환한다.

암호화 해시 함수가 아닌 일반 해시 함수는 주로 자료 구조에서 데이터를 빠르게 찾거나 비교하는 데 사용된다. 예를 들어, 해시 테이블은 키를 해시값으로 변환하여 데이터 저장 위치를 결정하는 효율적인 자료 구조이다. 그러나 이러한 일반 해시 함수는 보안 목적으로 설계되지 않았기 때문에, 의도적으로 같은 해시값을 만들어내는 것이 비교적 쉽다[3].

암호학적 해시 함수는 일반적인 해시 함수보다 훨씬 엄격한 보안 요구 조건을 충족해야 한다. 이러한 요구 조건은 데이터의 무결성과 인증을 보장하기 위한 핵심 요소로 작용한다.

주요 요구 조건은 다음과 같다. 첫째, 역상 저항성이다. 이는 주어진 해시값 h에 대해 H(x) = h를 만족하는 입력 x를 찾는 것이 계산상 불가능해야 함을 의미한다. 즉, 출력으로부터 입력을 역산할 수 없어야 한다. 둘째, 제2 역상 저항성이다. 주어진 입력 x에 대해, H(x) = H(x')를 만족하는 서로 다른 두 번째 입력 x'를 찾는 것이 불가능해야 한다. 셋째, 충돌 저항성이다. H(x) = H(y)를 만족하는 서로 다른 임의의 두 입력 x와 y를 찾는 것이 계산상 극히 어려워야 한다[4].

이 세 가지 기본 조건 외에도, 암호학적 해시 함수는 효율적인 계산이 가능해야 하며, 입력의 최소한의 변화(예: 1비트 변경)가 출력 해시값에 광범위하고 예측 불가능한 변화를 일으켜야 한다. 이를 눈사태 효과라고 한다. 또한, 해시 함수의 설계는 공개되어 있으며, 그 안전성은 알고리즘 자체의 비밀성이 아닌 수학적 강도에 기반해야 한다는 케르크호프스의 원칙을 따른다.

MD5(Message-Digest algorithm 5)는 1991년 로널드 라이베스트가 개발한 암호화 해시 함수이다. 이전에 널리 사용되던 MD4의 후속 버전으로 설계되었으며, 128비트(16바이트)의 고정 길이 해시값을 생성한다. 입력 데이터는 임의의 길이를 가질 수 있으며, 출력은 항상 32자리의 16진수 문자열로 표현된다.

MD5는 초기에는 데이터 무결성 검증과 디지털 서명의 보조 수단으로 널리 채택되었다. 특히 소프트웨어 배포 시 원본 파일의 변조 여부를 확인하거나, 네트워크 전송 중 데이터 손상 여부를 점검하는 체크섬 용도로 많이 사용되었다. 그 설계는 메르센 트위스터와 같은 의사 난수 생성기의 시드 생성에도 응용되기도 했다.

그러나 MD5는 심각한 암호학적 결함이 발견되어 현재는 보안이 필요한 용도에서 사용이 권장되지 않는다. 주요 문제는 다음과 같다.

이러한 취약점으로 인해, 미국 국립표준기술연구소(NIST)와 같은 표준화 기관들은 MD5를 보안 목적으로 사용하는 것을 금지하고 SHA-2나 SHA-3 계열 알고리즘으로의 전환을 권고하고 있다. 현재 MD5는 빠른 처리 속도와 단순한 구현 덕분에 비보안적 체크섬이나 내부 데이터 색인 생성과 같은 제한된 용도에서만 간헐적으로 사용된다.

SHA 계열은 미국 국립표준기술연구소(NIST)가 표준으로 제정한 암호화 해시 함수군을 가리킨다. 이 계열은 SHA-1, SHA-2, SHA-3로 발전해왔으며, 각각의 알고리즘은 내부 구조와 보안 강도에서 차이를 보인다.

SHA-1은 1995년에 발표되었으며, 160비트의 해시값을 생성한다. 이전에 널리 사용되던 MD5보다 향상된 보안성을 제공했으나, 이후 이론적 및 실용적인 충돌 공격이 발견되면서 현재는 대부분의 보안 용도에서 사용이 권장되지 않는다[7]. SHA-2는 SHA-1의 취약점을 해결하기 위해 2001년에 발표된 후속 알고리즘군이다. SHA-256, SHA-384, SHA-512 등 출력 길이에 따라 여러 변종이 존재하며, 내부적으로 Merkle-Damgård 구조 대신 다른 압축 함수를 사용하는 SHA-224와 SHA-512/256도 포함된다. SHA-2는 현재 가장 광범위하게 사용되는 암호화 해시 함수 표준이다.

SHA-3는 2015년에 NIST에 의해 표준으로 채택된 최신 알고리즘이다. 이는 공개 경쟁을 통해 선정된 Keccak 알고리즘을 기반으로 하며, SHA-2와는 전혀 다른 스펀지 구조(Sponge Construction)를 사용한다. SHA-3의 도입 목적은 SHA-2에 잠재적으로 존재할 수 있는 미래의 취약점에 대비하는 대체 표준을 마련하는 것이었다. 따라서 SHA-2와 SHA-3는 서로 다른 설계 철학을 가진 독립적인 알고리즘으로 공존한다. 주요 SHA 계열 알고리즘의 비교는 다음과 같다.

암호화 해시 함수는 데이터 무결성 검증의 핵심 도구로 사용된다. 데이터 무결성이란 전송, 저장, 처리 과정에서 데이터가 변조되거나 손상되지 않고 원본 그대로 보존되었음을 의미한다. 해시 함수는 임의의 길이의 데이터를 고정된 길이의 해시값으로 변환하며, 이 값은 데이터의 '디지털 지문' 역할을 한다. 원본 데이터가 단 1비트라도 변경되면 전혀 다른 해시값이 생성되므로, 데이터의 변경 여부를 쉽게 탐지할 수 있다.

일반적인 무결성 검증 절차는 다음과 같다. 먼저, 원본 데이터에 대해 SHA-256과 같은 암호학적 해시 함수를 적용하여 해시값을 계산하고 이를 안전하게 저장하거나 전송한다. 이후, 데이터를 수신하거나 저장 매체에서 읽은 후 동일한 해시 함수를 다시 적용하여 새로운 해시값을 생성한다. 이 새로 계산된 해시값과 사전에 저장된 원본 해시값을 비교하여 일치 여부를 확인한다. 두 값이 일치하면 데이터는 무결성이 유지된 것이고, 불일치하면 데이터가 변조되었음을 알 수 있다.

이 기술은 소프트웨어 배포, 파일 다운로드, 시스템 백업 등 다양한 분야에서 널리 활용된다. 예를 들어, 소프트웨어 개발자는 사용자에게 프로그램 설치 파일과 함께 그 파일의 해시값을 공개한다. 사용자는 다운로드한 파일의 해시값을 직접 계산하여 공개된 값과 비교함으로써, 파일이 공격자에 의해 악성 코드가 삽입되거나 전송 중 손상되지 않았음을 확인할 수 있다. 이는 중간자 공격을 통한 변조를 방지하는 효과적인 방법이다.

디지털 서명은 문서나 메시지의 작성자를 확인하고 내용이 변조되지 않았음을 보장하는 전자적 방식이다. 이 과정에서 암호화 해시 함수는 핵심적인 역할을 수행한다. 서명 생성자는 먼저 메시지를 암호화 해시 함수로 처리하여 고정된 길이의 해시 값을 생성한다. 그런 다음, 이 해시 값을 서명자의 개인 키로 암호화하여 디지털 서명을 만든다. 수신자는 서명자의 공개 키로 서명을 복호화하여 원본 해시 값을 얻고, 직접 계산한 메시지의 해시 값과 비교한다. 두 값이 일치하면 메시지의 무결성과 발신자의 신원이 확인된다[9].

암호화 해시 함수는 디지털 서명의 효율성과 보안을 높인다. 긴 메시지를 직접 암호화하는 대신 짧고 고정된 해시 값을 암호화함으로써 계산 부담을 줄이고 처리 속도를 향상시킨다. 또한, 암호화 해시 함수의 충돌 저항성은 공격자가 동일한 해시 값을 생성하는 다른 메시지를 찾아 위조 서명을 생성하는 것을 방지한다. 만약 MD5나 SHA-1과 같이 충돌 저항성이 약화된 함수를 사용하면, 공격자는 원본 메시지와 다른 의미를 가진 메시지를 생성하여 동일한 서명을 위조할 수 있게 된다.

이 기술은 다양한 인증 체계의 기반이 된다. 예를 들어, 공개 키 기반 구조(PKI)에서 발급되는 디지털 인증서는 인증 기관의 디지털 서명을 포함한다. 또한, 코드 서명은 소프트웨어 배포 시 개발자의 신원과 코드의 변조 여부를 확인하는 데 사용된다. 안전한 디지털 서명을 위해서는 SHA-2 또는 SHA-3 계열과 같이 현재 안전성이 검증된 강력한 암호화 해시 함수의 사용이 필수적이다.

암호화 해시 함수는 블록체인 기술의 핵심 구성 요소로서, 데이터 무결성과 시스템의 신뢰성을 보장하는 데 필수적인 역할을 한다. 블록체인은 기본적으로 암호화폐 거래 기록을 포함한 데이터 블록들을 시간 순서대로 연결한 분산 원장이다. 각 블록은 그 블록에 포함된 모든 거래 데이터와 이전 블록의 해시값을 입력값으로 하여 생성된 고유의 해시값을 포함한다. 이렇게 생성된 해시값은 다음 블록에 기록되어 블록들 간의 암호학적 연결을 형성한다. 이 구조 덕분에 한 번 기록된 블래의 데이터를 변경하려면 해당 블록과 그 이후의 모든 블록의 해시값을 재계산해야 하므로, 사실상 변경이 불가능한 불변성을 제공한다.

암호화폐에서 가장 널리 사용되는 해시 함수는 SHA-256이다. 예를 들어, 비트코인의 작업 증명 합의 메커니즘은 채굴자들이 특정 조건을 만족하는 해시값을 찾기 위해 반복적으로 SHA-256 계산을 수행하는 과정을 포함한다. 이 과정을 '채굴'이라고 하며, 성공한 채굴자가 새로운 블록을 체인에 추가할 권리를 얻는다. 해시 함수의 결정론적 특성(동일 입력은 항상 동일 출력)과 눈사태 효과(작은 입력 변화도 출력을 완전히 달라지게 함)는 블록체인의 투명성과 보안의 기초가 된다.

블록체인에서 해시 함수의 주요 응용은 다음과 같이 정리할 수 있다.

이러한 메커니즘은 중앙 권위 없이도 분산 합의를 이루고 이중 지불 문제를 방지하는 것을 가능하게 한다. 최근 등장한 일부 블록체인 플랫폼은 SHA-256 외에 Keccak 알고리즘을 기반으로 한 SHA-3나 다른 해시 함수를 사용하기도 한다. 암호화 해시 함수의 안전성은 블록체인 네트워크 전체의 보안에 직결되므로, 충돌 저항성이 약화된 구식 알고리즘은 사용되지 않으며, 지속적인 암호학적 분석을 받고 있다.

충돌 저항성은 암호화 해시 함수의 핵심 보안 요구사항 중 하나이다. 이는 서로 다른 두 개의 입력값이 동일한 해시값을 생성하지 않아야 한다는 것을 의미한다. 충돌이 발생하면 공격자는 악의적인 데이터를 원본 데이터로 위장할 수 있기 때문에, 데이터 무결성 검증이나 디지털 서명과 같은 응용 분야에서 심각한 보안 위협이 된다.

충돌 공격은 크게 두 가지 유형으로 나뉜다. 첫 번째는 충돌쌍 찾기 공격으로, 공격자가 임의의 두 입력 메시지 M1과 M2를 찾아 H(M1) = H(M2)를 만족시키는 것을 목표로 한다. 두 번째는 제2 역상 공격으로, 주어진 메시지 M1과 그 해시값 H(M1)에 대해, H(M1) = H(M2)를 만족하는 다른 메시지 M2를 찾는 것이다. 이는 특정 서명이나 문서를 위조하는 데 사용될 수 있다.

이러한 공격을 수행하는 주요 기법으로는 생일 공격이 있다. 이는 수학적 확률에 기반하여, 예상보다 훨씬 적은 시도로 충돌쌍을 발견할 수 있게 한다[11]. 또한, 차분 공격이나 대수적 공격과 같은 암호학적 분석 방법을 통해 해시 함수의 내부 구조를 이용한 충돌을 찾기도 한다. MD5와 SHA-1은 이러한 공격에 취약해져 현재는 보안 목적으로 사용되지 않는다.

충돌 저항성의 강도는 일반적으로 비트 수로 표현된다. 예를 들어, 256비트 출력을 내는 해시 함수의 이상적인 충돌 저항성은 2^128 번의 시도가 필요하다. 그러나 알고리즘의 설계 결함으로 인해 이 이론적 한계보다 훨씬 낮은 복잡도로 충돌이 발견될 수 있으며, 이는 해당 알고리즘이 안전하지 않음을 의미한다.

MD5와 SHA-1과 같은 구식 암호화 해시 함수는 설계 당시에는 안전한 것으로 간주되었으나, 컴퓨팅 성능의 발전과 암호분석 기술의 진보로 인해 심각한 취약점이 노출되었다. 이들 알고리즘의 가장 근본적인 문제는 충돌 저항성이 실질적으로 붕괴되었다는 점이다. 충돌 공격은 서로 다른 두 개의 입력값이 동일한 해시값을 생성하도록 찾아내는 공격으로, 데이터 무결성을 근본적으로 훼손한다.

MD5의 경우, 2004년에 이론적 충돌이 발견된 이후 2005년에는 실질적인 충돌 쌍을 생성하는 방법이 공개되었다[12]. 이로 인해 수 초 내에 충돌을 찾는 공격이 가능해졌다. SHA-1 역시 2005년경 이론적 취약성이 제기되었고, 2017년에는 구글 연구팀에 의해 실제 충돌 공격(SHAttered 공격)이 실증되었다. 이 공격은 서로 다른 두 개의 PDF 파일이 동일한 SHA-1 해시값을 갖도록 조작하는 데 성공했다.

이러한 충돌 취약성은 다음과 같은 구체적인 보안 위협으로 이어진다.

결과적으로, MD5와 SHA-1은 더 이상 암호학적 목적으로 사용되어서는 안 된다. 미국 국립표준기술연구소(NIST)는 2011년에 SHA-1 사용 중지를 권고했으며, 주요 소프트웨어 벤더 및 브라우저 제조사들도 관련 인증서에 대한 지원을 중단했다. 현재는 SHA-2 계열(SHA-256, SHA-512)이나 SHA-3과 같이 더 강력한 충돌 저항성을 가진 알고리즘으로의 전환이 필수적이다.

암호화 해시 함수의 표준화는 상호운용성과 보안 수준의 일관성을 보장하기 위해 국제적으로 중요한 과정이다. 주요 표준화 기관으로는 미국 국립표준기술연구소(NIST)와 국제표준화기기(ISO)가 핵심적인 역할을 수행한다.

NIST는 미국 연방 정보 처리 표준(FIPS)을 통해 암호학적 해시 함수 표준을 제정한다. 가장 대표적인 표준군은 SHA 계열이다. FIPS 180-4는 SHA-1, SHA-2 (SHA-224, SHA-256, SHA-384, SHA-512)를 표준으로 규정한다. 또한, SHA-3은 Keccak 알고리즘을 기반으로 한 새로운 표준으로, FIPS 202에 정의되어 있다. NIST는 공개 경쟁과 심사를 거쳐 알고리즘을 선정하며, 표준 문서는 알고리즘의 상세 명세, 안전한 사용 방법 및 테스트 벡터를 제공한다.

ISO는 NIST의 표준을 국제 표준으로 채택하거나, 자체적으로 표준을 개발하여 전 세계적인 적용을 도모한다. 예를 들어, ISO/IEC 10118 시리즈는 암호학적 해시 함수에 대한 일반적인 표준을 다루며, ISO/IEC 10118-3 부분은 구체적인 알고리즘을 명시한다. 주요 알고리즘의 채택 현황은 다음과 같다.

이러한 표준화 작업은 정부 기관, 금융 산업, 보안 제품 개발자 등이 안전하고 검증된 알고리즘을 사용할 수 있는 기반을 마련한다. 표준은 알고리즘의 구현 세부사항을 명확히 함으로써 서로 다른 시스템 간의 데이터 검증과 디지털 서명 호환성을 보장한다. 또한, 표준 기관은 시간이 지남에 따라 발견된 취약점에 따라 특정 알고리즘(예: MD5, SHA-1)의 사용을 단계적으로 폐기(deprecate)하도록 권고하여 보안 생태계의 진화를 주도한다.

암호화 해시 함수의 구현은 소프트웨어와 하드웨어 두 가지 주요 접근 방식으로 나뉜다. 소프트웨어 구현은 범용 CPU 상에서 동작하는 라이브러리나 운영체제의 암호 모듈을 통해 이루어진다. 이 방식은 유연성이 높고 업데이트가 용이하여 SHA-256이나 SHA-3 같은 최신 알고리즘을 빠르게 도입할 수 있다. 많은 프로그래밍 언어는 표준 라이브러리나 서드파티 패키지를 통해 암호화 해시 함수를 제공한다[15]. 그러나 순수 소프트웨어 구현은 하드웨어에 비해 상대적으로 낮은 처리 속도와 높은 전력 소비를 보일 수 있다.

하드웨어 구현은 ASIC이나 FPGA, 또는 최신 CPU의 내장 명령어 세트(예: Intel SHA 확장)를 활용하는 방식을 말한다. ASIC은 특정 해시 알고리즘(예: 비트코인 채굴용 SHA-256 ASIC)을 위해 설계되어 극도로 높은 성능과 에너지 효율을 제공한다. FPGA는 재구성이 가능하여 알고리즘 변경에 다소 유연하게 대응할 수 있다. 하드웨어 구현의 주요 목표는 높은 처리량과 낮은 지연 시간, 그리고 전력 효율성을 달성하는 것이다.

구현 시 고려해야 할 중요한 요소는 부채널 공격에 대한 저항성이다. 타이밍 공격이나 전력 분석 공격과 같은 부채널 공격은 소프트웨어나 하드웨어 구현의 물리적 특성을 관찰하여 비밀 정보를 유출할 수 있다. 따라서 안전한 구현은 알고리즘의 논리적 정확성뿐만 아니라 실행 시간이나 전력 소비 패턴이 데이터에 의존하지 않도록 상수 시간 연산을 사용하는 등의 대응이 필요하다.