HEVC

H.265/HEVC의 가장 핵심적인 장점은 뛰어난 압축 효율이다. 이 코덱은 전신인 H.264/MPEG-4 AVC와 동일한 주관적 화질을 유지하면서도 필요한 데이터 전송률을 약 50% 수준으로 줄일 수 있다. 이는 동일한 대역폭으로 두 배의 콘텐츠를 전송할 수 있거나, 동일한 화질의 콘텐츠를 절반의 저장 공간에 담을 수 있음을 의미한다. 이러한 효율성 향상은 4K UHD 및 8K UHD와 같은 고해상도 콘텐츠의 실용화에 결정적인 기여를 했다.

압축 효율이 획기적으로 개선된 배경에는 여러 기술적 진보가 복합적으로 작용했다. 가장 큰 변화는 코딩 트리 유닛이라는 더욱 유연한 블록 분할 구조를 도입한 것이다. 이를 통해 영상의 복잡도에 따라 최대 64x64 크기의 큰 블록부터 8x8 크기의 작은 블록까지 세밀하게 분할하여 압축할 수 있게 되었다. 또한, 인트라 예측 모드가 35가지로 확장되고, 인터 예측의 정밀도가 1/4 픽셀에서 1/8 픽셀 단위로 향상되는 등 예측 정확도가 대폭 개선되었다.

이러한 기술적 발전 덕분에 H.265/HEVC는 방송, OTT, 비디오 스트리밍, 비디오 감시 등 광범위한 분야에서 새로운 표준으로 자리 잡았다. 특히 대역폭과 저장 공간에 제약이 있는 모바일 환경이나 초고화질 콘텐츠 전송에서 그 가치가 두드러진다. 압축 효율의 비약적 상승은 단순한 기술 업그레이드를 넘어 산업 전반의 비용 절감과 서비스 품질 향상을 동시에 가능하게 한 핵심 요소이다.

H.265/HEVC의 블록 구조는 전신인 H.264/AVC의 매크로블록 개념을 대체하는 더욱 유연하고 효율적인 설계를 채택한다. 핵심은 코딩 트리 유닛(Coding Tree Unit, CTU)이라는 새로운 기본 처리 단위를 도입한 것이다. 각 CTU는 루마(밝기) 성분과 크로마(색차) 성분을 포함하며, 일반적으로 64x64 픽셀 크기로 정의되어 H.264의 16x16 매크로블록보다 훨씬 크다. 이 큰 블록은 고해상도 영상에서 넓은 평탄한 영역을 효율적으로 표현하는 데 유리하다.

CTU는 쿼드트리 분할 방식을 통해 재귀적으로 더 작은 블록으로 분할될 수 있다. 이 분할 과정에서 생성되는 블록은 코딩 유닛(Coding Unit, CU)이라고 불리며, 실제 예측 및 변환 코딩의 기본 단위가 된다. CU는 다시 예측 유닛(Prediction Unit, PU)과 변환 유닛(Transform Unit, TU)으로 분리되어 각각 예측과 변환/양자화 작업에 사용된다. 이러한 계층적 분리 구조는 영상의 지역적 특성에 맞춰 최적의 블록 크기와 형태를 유연하게 선택할 수 있게 해준다.

블록 구조의 유연성은 특히 인트라 예측과 인터 예측 모드에서 두드러진다. HEVC는 H.264보다 더 다양한 블록 크기(예: 4x4부터 64x64까지)에서 인트라 예측을 지원하며, 인터 예측을 위한 움직임 보상도 더 정밀한 블록 분할을 통해 이루어진다. 이러한 세분화된 블록 구조는 복잡한 움직임이나 세부 텍스처를 정확하게 표현함으로써, 동일 화질 기준 H.264 대비 약 2배의 높은 압축 효율을 실현하는 기반이 된다.

인트라 예측은 H.265/HEVC의 핵심 기술 중 하나로, 동일 프레임 내의 이미 인코딩된 주변 픽셀 정보를 활용하여 현재 코딩 유닛의 값을 예측하는 방식이다. 이는 공간적 중복성을 제거하여 압축 효율을 높이는 데 기여한다. H.264/AVC와 비교했을 때, H.265/HEVC의 인트라 예측은 예측 방향의 다양성과 세분화된 블록 구조 덕분에 훨씬 정밀한 예측이 가능하다.

H.265/HEVC는 루마 성분에 대해 총 35가지의 예측 모드를 제공한다. 이는 H.264/AVC가 제공하던 9가지 모드에 비해 크게 증가한 수치이다. 예측 모드에는 DC 모드, 플래너 모드 그리고 33가지의 각도 방향성 모드가 포함되어 있어, 텍스처의 복잡한 경향성을 더욱 정확하게 모델링할 수 있다. 크로마 성분의 경우, 루마 성분과 동일한 예측 모드를 사용하거나 특정 모드를 따로 적용할 수 있다.

인트라 예측의 성능은 코딩 트리 유닛과 그 하위 구조인 코딩 유닛, 예측 유닛의 유연한 분할과 밀접하게 연관된다. 최대 64x64 크기의 코딩 유닛은 쿼드트리 구조로 재귀적으로 분할되어 최소 8x8 크기의 예측 유닛이 될 수 있으며, 각 예측 유닛마다 최적의 인트라 예측 모드가 독립적으로 결정된다. 이러한 세밀한 블록 분할과 다양한 예측 모드의 조합은 특히 고해상도 4K 및 8K UHD 콘텐츠에서 복잡한 디테일을 효율적으로 압축하는 데 필수적이다.

인터 예측은 시간적으로 인접한 프레임 간의 중복성을 제거하여 데이터를 압축하는 H.265/HEVC의 핵심 기술이다. 이전 프레임(참조 프레임)의 정보를 바탕으로 현재 프레임의 내용을 예측하는 방식으로, 동영상에서 움직이는 물체의 궤적을 추정하는 움직임 예측과 그 차이를 보정하는 움직임 보상 과정으로 구성된다. H.264/AVC에 비해 예측의 정밀도와 유연성이 크게 향상되어 높은 압축 효율을 실현하는 기반이 된다.

H.265/HEVC의 인터 예측은 보다 세밀한 블록 분할과 정교한 예측 모드를 지원한다. 최대 64x64 픽셀의 코딩 트리 유닛은 상황에 따라 32x32, 16x16, 8x8,甚至 4x4 픽셀의 예측 유닛으로 재귀적으로 분할될 수 있어, 복잡한 움직임을 가진 영역은 작은 블록으로, 평탄한 배경 등은 큰 블록으로 효율적으로 처리한다. 또한 움직임 벡터의 정밀도가 1/4 픽셀에서 1/8 픽셀 샘플까지 높아져 움직임의 표현이 더욱 매끄러워졌다.

참조 프레임의 선택 범위도 확대되어, H.264/AVC의 최대 16장에서 H.265/HEVC는 최대 15장의 장기 참조 프레임 풀을 관리하며 그 중 다수의 프레임을 참조할 수 있다. 이를 통해 반복적으로 등장하는 배경이나 물체를 더 효과적으로 참조할 수 있다. 또한 병합 모드와 고급 움직임 벡터 예측 기술이 도입되어 인접 블록의 움직임 정보를 공유함으로써 움직임 벡터 정보를 전송하는 데 필요한 데이터량을 추가로 절감한다.

H.265/HEVC의 변환 및 양자화 과정은 이전 표준인 H.264/AVC에 비해 더 큰 변환 블록 크기를 지원하여 압축 효율을 높인다. H.264는 주로 4x4와 8x8 크기의 이산 코사인 변환(DCT)을 사용했으나, HEVC는 4x4, 8x8, 16x16, 32x32까지 네 가지 크기의 정수 DCT 기반 변환을 채택했다. 특히 32x32와 같은 큰 변환 단위는 넓은 영역의 공간적 상관관계를 효과적으로 제거하여 고해상도 동영상에서 더 높은 압축 성능을 발휘한다.

양자화 과정에서는 변환 계수를 일정한 간격의 값으로 줄여 데이터 양을 대폭 감소시킨다. HEVC는 H.264/AVC와 유사한 양자화 파라미터(QP) 체계를 사용하지만, 더 넓은 범위의 QP 값을 지원하여 비트레이트와 화질 제어의 유연성을 높였다. 또한, 비율-왜곡 최적화 과정에서 변환 블록 크기와 양자화 강도를 적응적으로 선택하여 주어진 비트 예산 내에서 최적의 화질을 구현한다.

변환과 양자화는 인코딩 과정에서 계산 복잡도를 증가시키는 주요 요소 중 하나이다. 큰 변환 블록을 처리하기 위해서는 더 많은 연산이 필요하므로, HEVC 인코더와 디코더의 하드웨어 성능 요구사항은 자연스럽게 높아진다. 그러나 이러한 복잡도 증가는 결과적으로 H.264 대비 약 2배 향상된 압축 효율[2]이라는 핵심 이점으로 보상받는다.

H.265/HEVC의 엔트로피 코딩은 변환 및 양자화 과정을 거친 잔여 신호나 예측 모드 등의 부가 정보를 최종적으로 이진 비트열로 압축하는 단계이다. 이전 표준인 H.264/AVC에서 사용되던 CABAC(Context-Adaptive Binary Arithmetic Coding)을 기반으로 하되, 효율성과 병렬 처리 성능을 개선하였다. HEVC의 CABAC은 문맥 모델링의 복잡성을 줄이고, 의존성을 단순화하여 하드웨어 구현 시 더 높은 처리 속도를 낼 수 있도록 설계되었다.

주요 개선점으로는 초기화 과정의 간소화와 코딩 트리 단위(CTU) 내에서의 독립적인 구문 요소 코딩이 있다. 이를 통해 디코더의 병렬 처리 능력이 향상되어 고해상도 4K나 8K UHD 콘텐츠의 실시간 디코딩이 보다 용이해졌다. 또한, 인트라 예측 모드나 움직임 벡터 차분과 같은 다양한 구문 요소에 대해 더 효율적인 이진화 방법과 문맥 모델이 적용되어 전체적인 압축 효율을 높이는 데 기여한다.

H.265/HEVC는 4K 및 8K UHD 방송의 핵심 기술로 채택되었다. 기존의 H.264/AVC로는 초고해상도 영상의 방대한 데이터량을 효율적으로 전송하는 데 한계가 있었으나, HEVC의 높은 압축 효율은 이를 해결하는 열쇠가 되었다. 이는 동일한 화질을 유지하면서 비트레이트를 크게 낮추거나, 동일한 대역폭으로 더 높은 화질의 방송 서비스를 제공할 수 있게 함을 의미한다.

4K UHD 방송의 초기 상용화 단계부터 HEVC는 필수적인 비디오 코덱으로 자리 잡았다. 주요 위성 방송 사업자들과 케이블 텔레비전 업체들은 HEVC를 사용하여 4K HDR 콘텐츠를 방송하고 있으며, 지상파 디지털 텔레비전 방송 표준에서도 HEVC가 채용되는 추세이다. 이는 제한된 주파수 대역 내에서 초고화질 서비스를 안정적으로 제공하기 위한 선택이다.

8K 방송으로 넘어가면 HEVC의 역할은 더욱 중요해진다. 8K 영상의 데이터량은 4K의 4배에 달하기 때문에, 압축 효율이 떨어지는 코덱으로는 실시간 방송이 사실상 불가능하다. 따라서 일본의 8K 위성 방송 서비스 'BS8K'를 비롯한 초기 8K 방송 인프라는 모두 HEVC에 의존하고 있다. HEVC는 초고해상도 시대의 방송 산업 표준을 견인하는 기반 기술로 평가받는다.

OTT 및 스트리밍 서비스는 대역폭 절감과 고화질 콘텐츠 전송이라는 두 가지 핵심 요구사항을 동시에 충족해야 하는 분야로, H.265/HEVC는 이에 적합한 솔루션으로 채택되었다. 기존 H.264/AVC 대비 약 2배의 압축 효율을 제공하기 때문에, 동일한 화질의 콘텐츠를 전송하는 데 필요한 데이터 양을 크게 줄일 수 있다. 이는 서비스 제공자에게는 네트워크 트래픽과 CDN 비용을 절감하는 효과를, 사용자에게는 더 낮은 인터넷 속도에서도 고화질 영상을 시청할 수 있는 가능성을 제공한다.

주요 글로벌 OTT 플랫폼들은 H.265/HEVC를 적극적으로 도입하여 서비스 품질을 개선했다. 예를 들어, 넷플릭스와 아마존 프라임 비디오는 4K HDR 콘텐츠를 스트리밍할 때 이 코덱을 사용한다. 또한 애플은 아이폰의 HEVC 녹화 지원부터 애플 TV+ 서비스에 이르기까지 자사 생태계 전반에 걸쳐 H.265/HEVC를 표준으로 채택하고 있다. 유튜브 역시 일부 고화질 콘텐츠에 대해 이 코덱을 사용하고 있다.

이러한 적용은 모바일 환경에서 특히 큰 의미를 가진다. 데이터 사용량에 민감한 모바일 사용자를 위해, 서비스 제공자들은 H.265/HEVC를 통해 동일한 화질을 더 적은 데이터로 제공하거나, 같은 데이터 양으로 더 높은 화질을 제공할 수 있게 되었다. 이는 제한된 데이터 요금제를 가진 사용자에게 실질적인 혜택이 되며, 전 세계적으로 증가하는 모바일 비디오 온 디맨드 소비 트렌드에 부응하는 기술적 기반이 된다.

H.265/HEVC는 높은 압축 효율로 낮은 대역폭 환경에서도 고화질 영상을 전송할 수 있어, 비디오 회의 및 원격 협업 도구의 핵심 기술로 널리 채택되었다. 기존 H.264/AVC를 사용할 때보다 동일한 화질을 약 절반의 비트레이트로 구현할 수 있어, 제한된 인터넷 연결 속도에서도 안정적인 고화질 화상 통화를 가능하게 한다. 이는 재택근무와 글로벌 협업이 일상화된 환경에서 통화 품질과 접근성을 크게 향상시켰다.

주요 비디오 회의 플랫폼과 클라우드 서비스는 네트워크 부하를 줄이면서 4K UHD 수준의 화상 통화를 지원하기 위해 HEVC 코덱을 적극적으로 도입했다. 특히 다수의 참가자가 동시에 화면을 공유하거나, 의료 원격 진료 및 원격 교육에서 고해상도 영상과 세부 정보를 전달해야 하는 경우에 그 효용이 두드러진다. 또한, 모바일 장치를 통한 화상 통화 시 배터리 소모와 데이터 사용량을 줄이는 데에도 기여한다.

감시 시스템은 H.265/HEVC의 주요 적용 분야 중 하나이다. 기존 H.264/AVC를 사용하는 시스템에 비해 약 2배 향상된 압축 효율은 저장 공간과 네트워크 대역폭에 상당한 이점을 제공한다. 이는 고해상도 카메라를 다수 설치하고 장기간 영상을 기록해야 하는 감시 환경에서 매우 중요한 요소이다. 특히 4K 이상의 고화질 영상을 실시간으로 전송하거나 저장할 때, HEVC의 효율적인 압축은 시스템 구축 및 운영 비용을 절감하는 데 기여한다.

감시용으로는 주로 메인 프로파일이나 메인 10 프로파일이 사용되며, 저지연 통신이 필요한 실시간 모니터링과 높은 압축률이 필요한 장기 보관 요구를 모두 충족시킬 수 있다. 또한 HEVC의 향상된 인터 예측 및 스킵 모드는 정적인 배경이 많은 감시 영상의 특성상 매우 효율적으로 작동하여 데이터 양을 추가로 줄인다. 이로 인해 동일한 저장 용량으로 기록 가능한 기간이 늘어나거나, 더 높은 화질의 영상을 동일한 대역폭으로 전송할 수 있게 된다.

H.266/VVC(Versatile Video Coding)는 H.265/HEVC의 후속 차세대 동영상 압축 표준이다. ISO/IEC MPEG과 ITU-T VCEG가 공동으로 개발한 H.265/HEVC의 뒤를 이어, 동일한 두 기구의 합동 비디오 전문가 팀(JVET)이 표준화 작업을 진행했다. 이 코덱은 H.265/HEVC에 비해 압축 효율을 약 2배 가량 더 향상시키는 것을 주요 목표로 설계되었다.

기술적으로 H.266/VVC는 H.265/HEVC의 기본 구조를 계승하면서도 다양한 개선을 도입했다. 더욱 유연한 블록 분할 방식, 향상된 인트라 예측 및 인터 예측 도구, 새로운 변환 기술 등을 채택하여, 특히 4K 및 8K UHD와 같은 고해상도 콘텐츠, 360도 동영상, HDR 콘텐츠를 효율적으로 압축할 수 있다. 이는 데이터 전송 대역폭과 저장 공간에 대한 요구를 크게 줄여준다.

H.266/VVC 표준은 2020년 7월에 최종 승인되었다. 그러나 상용화 및 보급에는 시간이 필요하며, 이는 주로 복잡한 라이선스 구조와 높은 연산 처리 요구 사항 때문이다. 현재는 연구 개발 및 초기 적용 단계에 있으며, H.265/HEVC와 경쟁하는 오픈 소스 코덱인 AV1과의 경쟁도 주목받고 있다.

AV1은 AOM이 개발한 차세대 오픈 소스 동영상 압축 표준이다. H.265/HEVC와 마찬가지로 4K 및 8K UHD 콘텐츠의 효율적인 전송을 목표로 하지만, 특허 문제로 인한 로열티 부담을 해결하기 위해 무료로 사용할 수 있도록 설계되었다는 점이 가장 큰 특징이다. 구글이 주도한 VP9 코덱의 기술을 기반으로 하여, 애플, 마이크로소프트, 페이스북, 넷플릭스 등 주요 IT 기업들이 참여한 컨소시엄을 통해 표준화되었다.

기술적으로 AV1은 H.265/HEVC와 유사한 고급 압축 도구를 포함하지만, 더욱 복잡하고 다양한 예측 모드와 블록 분할 방식을 도입하여 압축 효율을 극대화한다. 특히 인트라 프레임 예측과 인터 프레임 예측의 정밀도를 높이고, 새로운 엔트로피 코딩 방식을 채택하여 H.264 대비 약 30% 이상의 비트레이트 절감 효과를 목표로 한다. 이는 OTT 및 실시간 스트리밍 서비스에서 대역폭 비용을 줄이는 데 직접적인 도움이 된다.

AV1의 가장 큰 장벽은 압축 효율 대비 높은 인코딩 복잡도이다. H.265/HEVC나 VP9에 비해 인코딩에 필요한 계산량이 훨씬 많아, 초기에는 실시간 인코딩이 어려웠다. 그러나 하드웨어 가속화가 진행되고 코덱 최적화가 지속되면서, 유튜브와 넷플릭스 같은 주요 스트리밍 플랫폼에서 AV1 형식의 콘텐츠 제공이 점차 확대되고 있다. 이는 로열티 없는 개방형 표준의 장점을 활용한 전략적 선택이다.

H.266/VVC와 AV1은 모두 H.265/HEVC의 후계자 역할을 목표로 하지만, 발전 경로는 다르다. VVC는 MPEG와 VCEG의 공동 표준으로 최대 압축률을 추구하는 반면, AV1은 산업계 주도의 개방형 대안을 표방한다. 따라서 향후 동영상 코덱 시장은 고효율의 표준화 코덱과 무료 개방형 코덱이 공존하는 양상으로 전개될 것으로 보인다.