AVC (r1)

H.264/AVC의 표준화는 국제전기통신연합 전기통신표준화부문(ITU-T)의 영상 부호화 전문가 그룹(VCEG)과 국제표준화기구 및 국제전기기술위원회(ISO/IEC)의 Moving Picture Experts Group(MPEG)이 공동으로 수행한 협력 프로젝트의 결과물이다. 이 협력 체계는 Joint Video Team(JVT)으로 알려져 있으며, 표준의 기술적 내용을 동일하게 유지 관리하는 역할을 담당했다. 이로 인해 동일한 기술 표준이 ITU-T에서는 H.264로, ISO/IEC에서는 MPEG-4 Part 10(고급 비디오 코딩, AVC)으로 각각 승인되는 독특한 이중 명칭 체계를 갖게 되었다.

표준화 작업은 VCEG가 1998년 기존 표준 대비 코딩 효율을 두 배로 높이는 것을 목표로 한 H.26L 프로젝트를 시작하면서 본격화되었다. 2001년 12월, VCEG와 MPEG은 공식적으로 JVT를 구성하여 표준 개발을 가속화했다. 표준의 첫 번째 버전(에디션 1)은 2003년 5월에 완료되어 Baseline, Main, Extended 프로파일을 포함한 초기 사양을 확정했다. 이후 지속적인 개정과 확장을 통해 표준은 진화해왔으며, 2004년에는 고화질 및 전문가용 응용을 위한 충실도 범위 확장(FRExt)이, 2007년에는 다양한 네트워크 조건을 지원하는 계층적 비디오 부호화(SVC)가, 2009년에는 입체 및 다시점 비디오를 위한 다시점 비디오 부호화(MVC)가 각각 표준에 추가되었다.

이러한 표준화 과정을 통해 H.264/AVC는 단일한 기술 사양으로서 ITU-T와 ISO/IEC 두 기관의 공식 표준 지위를 동시에 획득했으며, 이는 MPEG-2(H.262)에 이은 두 기관 간의 성공적인 협력 모델로 자리 잡았다. JVT의 공동 작업 덕분에 표준은 방송, 스트리밍, 통신, 저장 등 광범위한 분야에 적용될 수 있는 강력한 기술적 기반과 유연성을 갖출 수 있었다.

H.264/AVC 표준은 초기 버전 이후 다양한 응용 분야의 요구를 충족시키기 위해 여러 확장 기능이 추가되었다. 가장 주요한 확장 기능으로는 충실도 범위 확장(FRExt), 계층적 비디오 부호화(SVC), 그리고 다시점 비디오 부호화(MVC)가 있다.

충실도 범위 확장(FRExt)은 2004년 완료된 확장으로, 전문가용 및 고품질 비디오 응용을 위해 설계되었다. 이 확장은 샘플당 8비트 이상의 높은 비트 깊이 정밀도와 4:2:2 및 4:4:4와 같은 고해상도 색상 샘플링 형식을 지원한다. 또한 8x8 정수 이산 코사인 변환의 도입, 인코더 지정 양자화 행렬, 효율적인 비손실 코딩 모드 등이 추가되어 영상의 화질과 압축 효율을 크게 향상시켰다. 이를 통해 High 10, High 4:2:2, High 4:4:4 Predictive 프로파일과 같은 새로운 프로파일이 정의되었다.

계층적 비디오 부호화(SVC)는 2007년 표준의 부속서 G로 추가된 확장 기능이다. 이는 하나의 비트스트림 내에 여러 품질 또는 해상도 계층을 포함하는 계층적 구조를 가능하게 한다. 네트워크 대역폭이나 단말기의 성능에 따라 적절한 계층의 비트스트림만을 추출하여 디코딩할 수 있어, 네트워크 조건이 다양한 모바일 스트리밍이나 화상 회의 시스템에 유용하다. SVC 확장은 Scalable Baseline 및 Scalable High 프로파일 등을 도입했다.

다시점 비디오 부호화(MVC)는 2009년 완료된 확장으로, 하나의 장면을 여러 시점(뷰)에서 촬영한 비디오를 효율적으로 압축한다. 주로 입체 영상(3D) 및 다시점 비디오 응용을 위해 개발되었으며, 시점 간의 중복 정보를 제거하여 압축 효율을 높인다. MVC 확장은 Multiview High 프로파일과 Stereo High 프로파일을 정의하며, 블루레이 3D 디스크 등의 형식에 사용되었다.

H.264/AVC의 압축 원리는 블록 기반의 하이브리드 방식을 기반으로 하며, 크게 인터 프레임 예측과 인트라 프레임 예측, 그리고 엔트로피 부호화로 구성된다. 이 방식은 시간적 및 공간적 중복성을 제거하여 높은 압축 효율을 달성한다.

핵심은 블록 단위의 움직임 보상이다. 인코더는 현재 프레임을 16x16 픽셀의 매크로블록으로 나눈 후, 이전 또는 이후에 이미 인코딩된 참조 프레임들 사이에서 가장 유사한 영역을 탐색한다. 이때 블록의 움직임을 나타내는 움직임 벡터와 참조 프레임과의 차이인 잔차 신호만을 부호화한다. H.264는 최대 16개의 참조 프레임을 사용할 수 있어 장면 전환이나 복잡한 움직임에서도 효율적인 예측이 가능하다. 또한, 움직임 보상의 정밀도를 높이기 위해 1/4 픽셀 단위까지 보간하여 예측한다.

공간적 중복성 제거를 위한 인트라 프레임 예측은 현재 프레임 내에서만 처리된다. 인코더는 현재 블록의 픽셀 값을 인접한 이미 디코딩된 블록의 픽셀 값으로부터 예측한다. 이는 이산 코사인 변환 기반의 기존 방식과 차별화된다. 예측 후 남은 잔차 신호는 정수 이산 코사인 변환을 적용하여 주파수 영역으로 변환한 후 양자화된다.

마지막 단계인 엔트로피 부호화에서는 양자화된 변환 계수와 움직임 벡터 등의 부호화 요소를 무손실로 압축한다. H.264는 CAVLC와 더욱 효율적인 CABAC 두 가지 방식을 제공한다. 또한, 블록 간의 경계에서 발생할 수 있는 화질 열화를 줄이기 위해 인-루프 디블로킹 필터가 적용되어 최종 디코딩된 화면의 주관적 화질을 향상시킨다.

H.264/AVC는 이전 영상 압축 표준들에 비해 압축 효율을 획기적으로 높이면서도 다양한 네트워크 환경에 적용할 수 있는 유연성을 제공하기 위해 여러 새로운 기능을 도입했다. 그 핵심은 블록 기반의 움직임 보상과 공간적 예측을 결합한 하이브리드 코딩 구조에 있다.

표준은 매크로블록을 기본 단위로 하여, 16x16부터 4x4까지 다양한 크기로 분할할 수 있는 가변 블록 크기 움직임 보상을 지원한다. 이를 통해 움직이는 객체의 경계를 정밀하게 따라갈 수 있어 예측 효율이 크게 향상된다. 또한, 최대 16개의 참조 프레임을 활용하는 다중 참조 프레임 예측 기능은 장면 전환이나 빠르게 반복되는 움직임을 더 효과적으로 압축할 수 있게 한다. 인트라 코딩에서는 공간적 중복성을 제거하기 위해 주변 블록의 픽셀 값을 이용한 방향성 예측 모드를 사용한다.

압축 효율을 높이는 또 다른 핵심 요소는 정수 이산 코사인 변환과 엔트로피 코딩이다. 잔차 신호를 변환할 때 4x4 또는 8x8 크기의 정수 DCT를 선택적으로 적용할 수 있으며, 변환 계수는 CABAC 또는 CAVLC라는 두 가지 엔트로피 코딩 방식을 통해 추가로 압축된다. 특히 CABAC은 문맥을 활용한 산술 코딩으로 매우 높은 압축률을 제공한다. 디코딩된 영상의 블록화 현상을 줄이기 위해 필수적으로 적용되는 인-루프 디블로킹 필터도 화질 향상에 중요한 역할을 한다.

네트워크 전송을 고려한 설계도 주요 특징이다. 네트워크 추상화 계층을 도입하여 동일한 비디오 코딩 계층 데이터를 다양한 전송 프로토콜에 적합한 형태로 패키징할 수 있다. 또한, 데이터 파티셔닝, 유연한 매크로블록 순서, 중복 슬라이스 등의 기능을 통해 패킷 손실 환경에서도 강건한 재생을 보장한다. 이러한 기술적 진보 덕분에 H.264/AVC는 DVD 저장 매체부터 HDTV 방송, 인터넷 스트리밍, 실시간 화상 통신에 이르기까지 광범위한 분야에서 사실상의 표준으로 자리 잡을 수 있었다.

H.264/AVC 표준은 다양한 응용 분야의 요구사항을 충족시키기 위해 여러 프로파일을 정의한다. 각 프로파일은 사용 가능한 코딩 도구의 집합을 규정하며, 디코더가 해당 비트스트림을 처리하기 위해 필요한 최소 기능을 나타낸다. 가장 널리 사용되는 주요 프로파일은 Baseline 프로파일, Main 프로파일, High 프로파일이다.

Baseline 프로파일은 주로 저비용 및 저지연 응용 분야, 예를 들어 화상 회의나 모바일 스트리밍을 위해 설계되었다. 이 프로파일은 데이터 손실에 대한 복원력을 제공하는 기능들을 포함하지만, 고효율 압축을 위한 일부 고급 도구는 지원하지 않는다. Main 프로파일은 디지털 텔레비전 방송과 DVD 저장 매체를 주요 대상으로 하며, 고효율 압축을 위한 CABAC 엔트로피 코딩을 지원한다. 그러나 고화질 방송이 보편화되면서 그 중요성은 다소 감소했다.

High 프로파일은 현재 가장 널리 채택된 프로파일로, 고화질 콘텐츠의 방송 및 저장에 최적화되어 있다. 이 프로파일은 Main 프로파일의 모든 기능에 추가로, 8x8 변환 적응성 및 고급 양자화 행렬과 같은 향상된 압축 도구를 포함한다. 블루레이 디스크와 대부분의 HDTV 방송 표준에서 필수 코덱으로 채택되어 있으며, 높은 압축 효율과 우수한 화질을 제공한다. 또한 충실도 범위 확장을 통해 더 높은 색상 정밀도와 다양한 크로마 서브샘플링 형식을 지원하는 High 10, High 4:2:2 등의 파생 프로파일도 존재한다.

H.264 표준은 디코더의 처리 능력과 메모리 요구사항을 정의하는 레벨을 규정한다. 각 레벨은 디코더가 처리할 수 있는 최대 매크로블록 처리 속도, 최대 비디오 비트레이트, 최대 프레임 크기(매크로블록 단위) 등을 제한한다. 이를 통해 특정 해상도와 프레임 속도의 콘텐츠를 안정적으로 디코딩할 수 있는 최소 성능을 보장한다.

주요 레벨별 지원 해상도와 성능은 다음과 같다.

High 프로파일의 최대 비트레이트는 표의 값의 1.25배이며, High 10 프로파일은 3배, High 4:2:2 및 High 4:4:4 프로파일은 4배까지 허용된다. 레벨은 또한 디코딩된 사진 버퍼의 최대 용량을 제한하여, 디코더가 참조용으로 저장할 수 있는 이전 프레임의 수를 결정한다. 예를 들어 레벨 4의 디코더는 1920×1080 해상도의 프레임을 최대 4개까지 버퍼에 저장할 수 있어야 한다. 이러한 레벨 체계는 방송이나 스트리밍 서비스 제공자가 호환 가능한 장치 범위를 보장하는 데 필수적이다.

H.264/AVC는 디지털 방송 분야에서 고화질 및 표준 화질 비디오 전송의 사실상 표준 코덱으로 자리 잡았다. 이 표준은 주요 국제 방송 표준인 ATSC와 DVB에 채택되어 지상파, 케이블, 위성 방송 서비스의 핵심 기술이 되었다.

DVB 프로젝트는 2004년 말에 H.264/AVC를 방송 TV용으로 공식 승인했다. 이를 통해 DVB 표준을 따르는 유럽 및 기타 지역의 방송사들은 MPEG-2 대비 약 50% 더 효율적인 비트레이트로 HDTV 서비스를 제공할 수 있게 되었다. 특히 DVB-S2 위성 방송과 DVB-T2 지상파 방송에서 고화질 콘텐츠 전송에 널리 활용된다.

미국의 ATSC 표준화 기구도 2008년 7월에 H.264/AVC의 사용을 승인했다. 주로 ATSC 모바일 DTV 표준인 ATSC-M/H를 통해 모바일 방송 서비스에 적용되었으며, 고정식 ATSC 1.0 방송에서는 MPEG-2가 여전히 주류를 이루지만, 차세대 표준인 ATSC 3.0에서는 HEVC로 전환되고 있다. 일본의 ISDB와 한국의 DTMB를 포함한 다른 지역 방송 표준에서도 H.264/AVC를 지원한다.

H.264/AVC는 인터넷 스트리밍 서비스와 물리적 저장 매체 분야에서 사실상의 표준 코덱으로 자리 잡았다. 이 형식은 높은 압축 효율로 인해 제한된 대역폭 환경에서도 고화질 비디오를 전송할 수 있어, 유튜브, 넷플릭스, 아마존 프라임 비디오를 비롯한 주요 스트리밍 플랫폼들이 초기 서비스의 핵심 비디오 코덱으로 채택했다. 특히 HTTP 라이브 스트리밍(HLS)과 MPEG-DASH 같은 적응형 비트레이트 스트리밍 프로토콜에서 H.264 기반의 세그먼트 파일이 널리 사용되며, 다양한 네트워크 조건에서 원활한 재생을 보장한다.

저장 매체 측면에서는 블루레이 디스크의 필수 비디오 코덱 중 하나로 지정되어, 고화질 영화 및 콘텐츠 저장의 근간을 이룬다. 또한 AVCHD 형식으로 소비자용 캠코더에, MP4 파일 컨테이너 내부의 표준 코덱으로 스마트폰 녹화 및 소셜 미디어 공유에 광범위하게 활용된다. 소니의 전문가용 XAVC 형식 역시 H.264/AVC의 높은 레벨을 사용하여 4K 해상도 영상을 기록한다.

이러한 광범위한 채택은 H.264가 제공하는 압축률과 품질의 균형, 그리고 디코더 하드웨어의 보편적 지원에 기인한다. 인텔 퀵 싱크나 엔비디아 NVENC 같은 하드웨어 가속 기술의 등장으로 실시간 인코딩 효율도 크게 향상되어, 라이브 방송과 실시간 통신 분야에서도 계속해서 중요한 역할을 하고 있다.

H.264/AVC는 낮은 지연 시간과 높은 압축 효율이 요구되는 실시간 통신 분야에서 핵심적인 역할을 한다. 화상 회의, 원격 교육, 화상 통화 등 대부분의 실시간 시청각 서비스는 H.264를 기본 비디오 코덱으로 채택하고 있다. 특히 WebRTC 표준은 RFC 7742에 따라 H.264를 필수 지원 코덱 중 하나로 명시하여, 웹 브라우저 기반의 실시간 통신 호환성을 보장한다.

이러한 실시간 응용 분야를 위해 H.264 표준에는 특화된 기능과 프로파일이 도입되었다. 예를 들어, Constrained Baseline 프로파일(CBP)은 베이스라인 프로파일, 메인 프로파일, 하이 프로파일의 공통 기능 하위 집합으로 정의되어, 복잡도를 낮추고 디코딩 부담을 최소화한다. 또한 Scalable Video Coding(SVC) 확장을 활용한 Scalable Constrained Baseline 프로파일은 네트워크 대역폭 변동에 적응적으로 대응하여 통신 품질을 유지하는 데 기여한다.

실시간 통신에서 H.264의 성공은 보편적인 하드웨어 디코더 지원과 빠른 인코딩 속도에 기반한다. 대부분의 현대 스마트폰, 태블릿, 개인용 컴퓨터에는 H.264 하드웨어 가속 칩이 내장되어 있어, CPU 사용률을 낮추고 배터리 수명을 연장하면서도 고화질 영상 전송을 가능하게 한다. 이는 인터넷 프로토콜 텔레비전(IPTV)이나 실시간 스트리밍과 같은 일방향 서비스와 달리, 양방향 상호작용이 필수적인 실시간 통신 시나리오에서 결정적인 장점으로 작용한다.

H.264/AVC의 구현은 소프트웨어와 하드웨어 방식으로 나뉜다. 소프트웨어 인코더와 디코더는 범용 중앙 처리 장치에서 실행되며, 높은 유연성과 다양한 기능 지원이 장점이다. 대표적인 오픈 소스 소프트웨어 인코더로는 x264가 있으며, 이는 FFmpeg 프로젝트의 일부로 개발되어 고품질 인코딩을 제공한다. x264는 CABAC 엔트로피 부호화, B 프레임, 다중 참조 프레임, 8×8 변환 적응성 등 High 프로파일의 대부분의 고급 기능을 지원한다. 또한 OpenH264는 시스코 시스템즈가 공개한 인코더 및 디코더 구현체로, BSD 라이선스 하에 바이너리를 무료로 제공하며 WebRTC와 같은 실시간 통신 응용 분야에 주로 사용된다.

소프트웨어 디코더의 경우, VLC 미디어 플레이어나 미디어 플레이어 클래식과 같은 미디어 플레이어에 내장된 디코딩 라이브러리가 널리 쓰인다. FFmpeg의 libavcodec 라이브러리 역상 강력한 소프트웨어 디코더를 제공하여 수많은 멀티미디어 응용 프로그램의 기반이 된다. 소프트웨어 방식의 주요 단점은 고해상도 비디오를 실시간으로 처리할 때 높은 계산 복잡도로 인한 전력 소모가 크다는 점이다. 이는 특히 모바일 장치에서 배터리 수명에 영향을 미칠 수 있다. 그러나 최신 멀티코어 CPU의 발전으로 소프트웨어 인코더를 이용한 실시간 고화질 인코딩도 점차 가능해지고 있다.

H.264/AVC의 하드웨어 지원은 이 표준이 광범위하게 채택되고 실시간 디코딩 및 인코딩 성능을 보장하는 데 핵심적인 역할을 한다. 인코딩과 디코딩 과정은 상당한 연산 능력을 요구하기 때문에, 범용 CPU만으로는 전력 효율과 성능 면에서 한계가 있다. 이에 따라 다양한 형태의 전용 하드웨어 가속 기술이 개발되어 적용되고 있다.

주요 하드웨어 지원 형태는 크게 세 가지로 구분된다. 첫째, CPU 내에 통합된 전용 하드웨어 블록이다. 대표적으로 인텔의 퀵 싱크 비디오와 AMD의 어바이브 기술이 있으며, 이들은 CPU 칩에 H.264 인코더/디코더 회로를 내장하여 소프트웨어 처리보다 훨씬 높은 전력 효율과 성능을 제공한다. 둘째, GPU에 통합된 하드웨어 인코더이다. NVIDIA의 NVENC와 AMD의 VCE가 이에 해당하며, 특히 NVIDIA NVENC는 고품질 실시간 라이브 스트리밍과 녹화에 널리 사용된다. 셋째, 독립형 ASIC 또는 FPGA 기반의 전용 코덱 칩이다. 이러한 칩들은 블루레이 플레이어, 셋톱박스, 감시 카메라, 스마트폰의 이미지 신호 처리 장치 등에 탑재되어 최적화된 성능을 제공한다.

이러한 하드웨어 가속은 H.264 콘텐츠의 원활한 재생과 실시간 고해상도 인코딩을 가능하게 하여, 유튜브와 넷플릭스 같은 스트리밍 서비스부터 화상 회의 및 모바일 영상 통화에 이르기까지 다양한 응용 분야의 기반이 되었다.