영상 압축 (r1)

무손실 압축은 원본 영상 데이터의 모든 정보를 보존하면서 용량을 줄이는 방식이다. 이 방식은 압축 후 복원 과정에서 원본과 완전히 동일한 데이터를 재생성하는 것을 목표로 한다. 이를 위해 엔트로피 부호화나 런 렝스 부호화와 같은 알고리즘이 사용되어 데이터 내의 통계적 중복성을 제거한다. GIF나 PNG와 같은 정지 영상 포맷에서 널리 사용되며, 애니메이션이나 의료 영상처럼 정확한 데이터 보존이 필수적인 분야에서 중요하게 활용된다.

그러나 동영상과 같이 데이터량이 방대한 경우, 무손실 압축만으로는 일반적으로 충분한 압축률을 달성하기 어렵다. 비트레이트를 크게 낮추지 못해 저장 공간이나 대역폭 제약이 있는 실시간 스트리밍이나 방송 환경에는 적합하지 않은 경우가 많다. 따라서 무손실 압축은 주로 영상 편집 과정의 중간 파일이나, 최종 마스터 파일을 아카이빙하는 용도로 제한적으로 사용된다.

손실 압축은 원본 영상 데이터의 일부 정보를 의도적으로 제거하여 압축률을 극대화하는 방식이다. 이 과정에서 버려지는 정보는 주로 인간의 시각이 민감하게 인지하지 못하는 고주파 성분이나 미세한 색상 차이 등이다. 따라서 압축된 영상을 복원했을 때 원본과 완전히 동일하지는 않지만, 시청자에게는 큰 화질 저하 없이 용량이 크게 줄어든 결과물을 제공할 수 있다. 이 방식은 대용량 영상 데이터를 효율적으로 저장하거나 네트워크를 통해 전송해야 하는 대부분의 실용적인 응용 분야에서 널리 사용된다.

손실 압축의 대표적인 예로는 MPEG-4 파트 2, H.264/AVC, H.265/HEVC 등이 있으며, 인터넷 스트리밍 서비스와 디지털 방송, DVD 및 블루레이 디스크 등에 활용된다. 압축의 정도는 비트레이트로 조절되며, 비트레이트가 낮을수록 데이터는 더 많이 줄어들지만 화질 열화 현상이 두드러질 수 있다. 이러한 화질과 용량 사이의 절충(trade-off) 관계가 손실 압축의 핵심 특징이다.

손실 압축 기술은 공간적 중복성과 시간적 중복성을 제거하는 원리를 기반으로 한다. 공간적 중복성 제거는 한 프레임 내에서 인접한 픽셀 값이 유사한 점을 이용하며, 이산 코사인 변환(DCT) 등을 통해 데이터를 압축한다. 시간적 중복성 제거는 연속된 프레임 사이의 변화가 적은 부분을 찾아 움직임을 예측하고 차분 신호만을 전송하는 인터 프레임 압축 방식이다. 이 과정에는 움직임 추정과 움직임 보상 기술이 사용된다.

MPEG 계열은 국제 표준화 기구와 국제 전기 통신 연합의 공동 그룹인 MPEG에서 표준화한 일련의 영상 압축 표준이다. 이 계열은 주로 손실 압축 방식을 사용하며, 비디오 CD, 디지털 방송, DVD, 인터넷 스트리밍 등 멀티미디어 응용 분야의 발전을 이끌었다.

초기 표준인 MPEG-1은 비디오 CD와 CD-ROM 상의 비디오 저장을 주목적으로 개발되었다. 이 표준은 CD의 데이터 전송률에 맞춰 설계되어 VHS 수준의 화질을 제공했으며, 오디오 압축 표준인 MPEG-1 Audio Layer III는 널리 알려진 MP3 포맷의 기반이 되었다. 이후 등장한 MPEG-2는 고화질 디지털 방송과 DVD의 핵심 표준으로 채택되며 대중화에 성공했다. MPEG-2는 MPEG-1보다 높은 비트레이트와 해상도를 지원하여 디지털 위성 방송, 케이블 TV, 지상파 디지털 방송의 기반을 마련했다.

보다 발전된 MPEG-4는 저비트레이트 환경의 인터넷 스트리밍과 모바일 기기용 멀티미디어에 초점을 맞췄다. 이 표준은 단순한 비디오/오디오 압축을 넘어, 컴퓨터 그래픽스, 대화형 미디어를 통합하는 객체 기반 부호화 개념을 도입했다. MPEG-4의 일부인 MPEG-4 Part 10은 H.264/AVC로도 알려져 있으며, 이후 H.265/HEVC 및 AV1과 함께 현재 가장 널리 사용되는 고효율 비디오 코딩 표준의 기반이 되었다.

H.26x 계열은 국제 전기 통신 연합의 전기 통신 표준화 부문과 국제 표준화 기구의 동영상 전문가 그룹이 공동으로 개발한 비디오 압축 표준 시리즈이다. 이 계열은 주로 방송, 통신, 저장 등 광범위한 응용 분야를 목표로 하며, 높은 압축 효율과 실용성을 특징으로 한다. H.264/AVC, H.265/HEVC, H.266/VVC가 대표적이며, 각 세대마다 압축 효율이 약 50% 정도 향상되는 것이 목표였다.

H.264/AVC는 2003년에 표준화되어 현재 가장 널리 사용되는 비디오 코덱이다. DVD, 블루레이 디스크, 디지털 방송, 인터넷 스트리밍, 화상 통신 등 다양한 분야에서 사실상의 표준으로 자리 잡았다. 이 표준은 이전 표준인 MPEG-2에 비해 약 두 배의 압축 효율을 제공하면서도 높은 화질을 유지한다. H.264/AVC의 성공은 하드웨어 가속 지원의 보편화와 강력한 에러 복원력 덕분이다.

H.265/HEVC는 2013년에 표준화된 후속 표준으로, H.264/AVC 대비 동일 화질에서 약 50%의 비트레이트 절감을 목표로 했다. 이는 4K UHD, 8K UHD, 고동적 범위 영상과 같은 고해상도 콘텐츠의 효율적인 처리에 특히 유용하다. HEVC는 더 큰 블록 구조와 복잡한 예측 모드를 도입하여 압축 효율을 높였지만, 이로 인해 인코딩 복잡도가 크게 증가하는 단점도 있다.

H.266/VVC는 2020년에 최종 표준이 확정된 최신 표준이다. H.265/HEVC에 비해 다시 약 50%의 비트레이트 절감을 목표로 하며, 360도 비디오, 화면 콘텐츠, 게임 영상 등 새로운 형태의 미디어에 대한 압축 성능을 개선했다. VVC는 훨씬 더 유연한 블록 분할 방식과 향상된 예측 기술을 채택했으나, 그 복잡도는 HEVC보다 훨씬 더 높아 실시간 처리와 하드웨어 구현에 새로운 도전을 제기하고 있다.

AV1은 AOMedia가 개발한 개방형이며 로열티가 없는 차세대 영상 압축 표준이다. H.265/HEVC와 VP9의 후속으로, 인터넷 기반 비디오 스트리밍에 최적화되어 더 높은 압축 효율을 제공하는 것을 목표로 한다. 주요 IT 기업들이 참여하는 컨소시엄에서 개발되어 특허권 문제에서 자유롭고, 웹 브라우저와 스트리밍 서비스에서의 채택이 확대되고 있다.

AV1은 기존 표준 대비 약 30% 더 높은 압축 효율을 달성한다고 알려져 있다. 이는 더 복잡한 압축 알고리즘과 블록 분할 방식, 향상된 예측 부호화 기술을 통해 구현된다. 그러나 높은 압축률은 인코딩 시 상당한 계산 복잡도를 요구한다는 단점도 동시에 가지고 있다.

이 코덱은 주로 OTT 서비스와 웹 플랫폼에서 사용된다. 유튜브와 넷플릭스를 비롯한 주요 스트리밍 업체들이 AV1 포맷의 콘텐츠를 제공하기 시작했으며, 크롬, 파이어폭스, 엣지 등의 최신 웹 브라우저와 안드로이드 기기에서도 재생을 지원한다. 로열티 프리 모델은 장기적으로 산업의 표준화와 보급에 유리한 환경을 조성한다.

AV1의 개발과 보급은 영상 코덱 시장의 경쟁을 촉진하고, 고화질 비디오와 실시간 스트리밍의 효율성을 높이는 데 기여하고 있다. AOMedia는 AV1의 후속 표준인 AV2에 대한 연구도 진행 중이다.

코덱은 영상을 압축하거나 압축을 푸는 소프트웨어나 하드웨어를 가리킨다. 코덱은 인코더와 디코더의 합성어로, 인코더는 원본 영상 데이터를 압축하여 저장하거나 전송 가능한 형태로 만들고, 디코더는 압축된 데이터를 다시 재생 가능한 영상으로 복원한다. 대표적인 비디오 코덱으로는 H.264/AVC, H.265/HEVC, AV1, VP9 등이 있다. 이들은 각기 다른 압축 알고리즘을 사용하여 비트레이트 대비 화질, 처리 복잡도, 라이선스 조건 등에서 차이를 보인다.

반면 컨테이너 포맷은 압축된 영상 데이터, 오디오 데이터, 자막, 메타데이터 등을 하나의 파일로 묶는 포장 역할을 한다. 컨테이너는 실제 데이터를 어떻게 담을지 정의할 뿐, 그 안의 영상과 오디오가 어떤 코덱으로 압축되었는지는 규정하지 않는다. 널리 사용되는 컨테이너 포맷으로는 MP4, MKV, AVI, MOV 등이 있다.

하나의 컨테이너 파일 안에는 서로 다른 코덱으로 압축된 여러 개의 비디오와 오디오 트랙이 포함될 수 있다. 예를 들어, MKV 파일은 H.264로 압축된 비디오와 AAC로 압축된 오디오, 그리고 자막 파일을 함께 담을 수 있다. 따라서 특정 영상 파일을 재생하려면 해당 컨테이너 포맷을 해석할 수 있어야 할 뿐만 아니라, 그 안에 사용된 비디오 및 오디오 코덱에 맞는 디코더도 시스템에 설치되어 있어야 한다.

공간적 중복성 제거는 하나의 정지 영상, 즉 단일 프레임 내부에 존재하는 데이터의 반복성을 줄이는 인트라 프레임 압축 기법이다. 이는 영상 압축의 기본 원리 중 하나로, 인접한 픽셀들의 색상과 밝기 값이 매우 유사하다는 점에 착안한다. 예를 들어 하늘 배경이나 벽면 같은 영역은 많은 픽셀이 거의 동일한 값을 가지므로, 각 픽셀을 독립적으로 기록하는 대신 변화가 있는 부분만 효율적으로 부호화함으로써 데이터량을 크게 줄일 수 있다.

이를 수행하는 대표적인 방법으로는 변환 부호화가 있다. 이산 코사인 변환(DCT)은 프레임 내의 픽셀 블록을 주파수 성분으로 변환하여, 시각적으로 중요한 저주파 성분과 덜 중요한 고주파 성분으로 분리한다. 변환 후 대부분의 에너지가 저주파 영역에 집중되므로, 고주파 정보를 간략화하거나 제거해도 화질 저하를 최소화하면서 데이터를 압축할 수 있다. 또한 예측 부호화 기법도 사용되는데, 프레임 내에서 이미 부호화된 주변 픽셀 값을 참조하여 현재 블록의 값을 예측하고, 실제 값과 예측 값의 차이인 잔차 신호만을 전송하는 방식이다.

공간적 중복성 제거는 무손실 압축과 손실 압축 모두에서 핵심 역할을 한다. GIF나 PNG 같은 무손실 이미지 포맷은 런 렝스 부호화(RLE) 같은 방법으로 정확한 데이터를 보존하며 압축한다. 반면, JPEG 같은 손실 압축 표준은 DCT와 양자화를 결합하여 더 높은 압축률을 달성한다. 이 기법은 MPEG이나 H.264와 같은 동영상 코덱에서도 각 프레임을 독립적으로 압축하는 I-프레임을 생성할 때 그대로 적용된다.

시간적 중복성 제거는 인터 프레임 압축의 핵심 원리로, 연속된 프레임 사이에 존재하는 변화가 적은 부분, 즉 움직임이 없는 배경 등에서 발생하는 데이터의 중복을 줄이는 기술이다. 영상은 일반적으로 초당 여러 장의 정지 영상이 빠르게 재생되어 만들어지는데, 인접한 프레임들 사이의 내용은 매우 유사한 경우가 많다. 이 원리를 활용하면 각 프레임을 독립적으로 압축하는 것보다 훨씬 높은 압축률을 달성할 수 있다.

이 기술의 구현은 주로 움직임 추정과 움직임 보상 과정을 통해 이루어진다. 움직임 추정은 현재 압축하려는 프레임(예측 프레임)과 이미 압축된 참조 프레임을 비교하여 화면 내 객체의 이동 벡터를 계산한다. 이후 움직임 보상 단계에서는 계산된 이동 벡터를 이용해 참조 프레임으로부터 현재 프레임을 예측한다. 최종적으로는 실제 프레임과 예측된 프레임 사이의 차이인 잔차 신호만을 부호화하여 전송하거나 저장함으로써 데이터량을 크게 줄인다.

이 방식에 따라 프레임은 그 역할에 따라 I-프레임, P-프레임, B-프레임 등으로 구분된다. I-프레임은 참조 프레임 없이 독립적으로 압축되는 키 프레임이며, P-프레임은 이전의 I-프레임이나 P-프레임을 참조하여 예측 압축한다. B-프레임은 과거와 미래의 프레임을 모두 참조할 수 있어 가장 높은 압축 효율을 보이지만, 인코딩과 디코딩에 필요한 처리 지연이 발생할 수 있다.

시간적 중복성 제거는 MPEG이나 H.264와 같은 대부분의 현대 비디오 코덱 표준에서 필수적인 요소로, 비디오 스트리밍과 영상 통신에서 대역폭을 효율적으로 사용할 수 있는 기반을 제공한다. 그러나 급격한 장면 전환이나 복잡한 움직임이 많은 영상에서는 예측 정확도가 떨어져 압축 효율이 낮아질 수 있다.

변환 부호화는 영상 압축 과정에서 공간적 중복성을 제거하는 핵심 기술이다. 이 방법은 원본 픽셀 데이터를 직접 다루는 대신, 주파수 영역이나 다른 변환 영역으로 데이터를 변환하여 압축에 유리한 형태로 만든다. 대표적인 변환 방식으로는 이산 코사인 변환(DCT)과 웨이블릿 변환이 널리 사용된다.

이산 코사인 변환은 MPEG 계열과 H.264/AVC 같은 많은 비디오 코덱의 기반이 되는 기술이다. 이 방법은 영상을 여러 주파수 성분으로 분해하는데, 시각적으로 중요한 저주파 성분과 덜 중요한 고주파 성분으로 구분된다. 변환 후 대부분의 에너지가 저주파 영역에 집중되므로, 이후 양자화 단계에서 고주파 성분을 크게 줄여도 화질 저하를 최소화하면서 데이터를 압축할 수 있다.

웨이블릿 변환은 JPEG 2000 이미지 포맷과 일부 비디오 코덱에서 사용되는 또 다른 변환 방식이다. 이산 코사인 변환이 블록 단위로 처리하는 것과 달리, 웨이블릿 변환은 영상 전체 또는 넓은 영역에 대해 다중 해상도 분석을 수행한다. 이를 통해 공간적 국소성을 더 잘 보존할 수 있으며, 특히 압축 시 발생할 수 있는 블록화 현상을 줄이는 데 유리하다.

두 변환 방식 모두 목표는 원본 데이터의 정보를 보존하면서도 압축 효율을 높이는 변환 계수를 생성하는 것이다. 생성된 변환 계수들은 이후 엔트로피 부호화를 통해 더욱 압축되어 최종적인 비트스트림을 형성하게 된다.

양자화는 손실 압축 과정에서 변환 계수의 값을 미리 정의된 양자화 스텝 크기에 따라 더 적은 수의 이산 값으로 근사화하는 단계이다. 이 과정은 인트라 프레임 압축이나 인터 프레임 압축을 거쳐 얻은 변환 계수(DCT 또는 웨이블릿 변환 결과)에 적용되어 데이터 양을 대폭 줄이는 핵심 역할을 한다. 양자화는 필연적으로 정보의 손실을 일으키지만, 인간의 시각 특성을 고려해 덜 중요한 고주파 성분을 더 크게 양자화하여 주관적인 화질 저하를 최소화하면서도 높은 압축률을 달성한다.

양자화의 세부 동작은 양자화 파라미터에 의해 제어된다. 양자화 파라미터 값이 클수록 양자화 스텝 크기가 커져 더 많은 계수가 0에 가까운 값으로 처리되며, 이는 비트레이트를 낮추지만 화질 열화를 유발한다. 반대로 양자화 파라미터 값이 작으면 스텝 크기가 작아져 원본에 가까운 정밀도를 유지하지만, 데이터량 감소 효과는 줄어든다. 이러한 트레이드오프 관계를 통해 코덱은 목표 비트레이트나 원하는 화질 수준에 맞게 압축 강도를 동적으로 조절할 수 있다.

양자화 후에는 많은 수의 변환 계수가 0이 되며, 이는 이후 엔트로피 부호화 단계에서 매우 효율적으로 압축될 수 있는 기반을 제공한다. 현대 비디오 코딩 표준인 H.264/AVC, H.265/HEVC, AV1 등은 모두 이 양자화 원리를 기반으로 하며, 보다 정교한 양자화 행렬 설계 및 적응적 양자화 기법을 도입하여 압축 효율을 지속적으로 개선해 왔다.

엔트로피 부호화는 양자화된 데이터를 최종적으로 비트열로 변환하는 단계로, 데이터의 통계적 특성을 활용하여 표현에 필요한 평균 비트 수를 최소화하는 무손실 압축 기법이다. 이 과정은 압축률을 극대화하는 데 핵심적인 역할을 한다. 기본 원리는 자주 나타나는 값에는 짧은 코드를 할당하고, 드물게 나타나는 값에는 상대적으로 긴 코드를 할당하여 전체 데이터를 표현하는 데 필요한 총 비트 수를 줄이는 것이다.

대표적인 엔트로피 부호화 알고리즘으로는 허프만 부호화와 산술 부호화가 있다. 허프만 부호화는 각 심볼의 발생 확률에 따라 최적의 접두 부호를 생성하는 방법으로, 구현이 비교적 간단하여 JPEG이나 MPEG 초기 표준 등에 널리 사용되었다. 산술 부호화는 여러 심볼을 하나의 분수 값으로 매핑하여 허프만 부호화보다 이론적으로 더 높은 압축 효율을 달성할 수 있으며, H.264/AVC와 H.265/HEVC 같은 현대 비디오 코덱에서 채택되고 있다.

최근 표준에서는 CABAC(Context-Adaptive Binary Arithmetic Coding)이 주로 사용된다. CABAC은 산술 부호화에 콘텍스트 모델링을 결합한 방식으로, 주변 매크로블록이나 이전에 부호화된 심볼의 정보를 참조하여 현재 심볼의 발생 확률을 동적으로 예측하고 업데이트한다. 이 적응형 방식은 비디오 데이터의 공간적, 시간적 통계적 특성을 더 정확히 반영하여, 고정된 확률 모델을 사용하는 방식보다 훨씬 높은 압축 성능을 제공한다.

압축률은 원본 영상 데이터의 크기 대비 압축된 데이터의 크기 비율을 나타내는 지표이다. 일반적으로 원본 크기를 압축 후 크기로 나누어 계산하며, 이 값이 클수록 더 많은 데이터가 줄어들었음을 의미한다. 높은 압축률은 동일한 저장 공간에 더 많은 영상을 보관하거나, 더 낮은 대역폭으로 영상을 전송할 수 있게 해준다. 이는 영상 저장과 영상 스트리밍 분야에서 매우 중요한 요소로 작용한다.

압축률은 사용된 압축 방식에 따라 크게 달라진다. 무손실 압축은 원본 데이터를 완벽하게 복원할 수 있지만, 일반적으로 압축률이 상대적으로 낮다. 반면, 손실 압축은 일부 정보를 희생시켜 훨씬 높은 압축률을 달성한다. 대부분의 실용적인 영상 압축 응용, 예를 들어 방송이나 비디오 스트리밍 서비스는 높은 압축 효율을 위해 손실 압축 방식을 채택하고 있다.

압축률은 비트레이트와 직접적인 연관이 있다. 동일한 해상도와 프레임률의 영상에서, 더 높은 압축률은 더 낮은 비트레이트를 의미한다. 그러나 압축률을 지나치게 높이면 화질 열화가 발생할 수 있으므로, 압축률과 화질 평가 척도 간의 균형을 맞추는 것이 비디오 코딩 기술의 핵심 과제 중 하나이다. 최신 고효율 비디오 코딩(HEVC) 및 AV1과 같은 코덱들은 이전 세대보다 우수한 압축 효율, 즉 동일 화질에서 더 높은 압축률을 제공하는 것을 주요 목표로 개발되었다.

비트레이트는 영상 압축에서 단위 시간당 처리되는 데이터의 양을 나타내는 지표이다. 초당 전송 또는 저장되는 비트 수를 의미하며, 주로 초당 킬로비트(kbps) 또는 초당 메가비트(Mbps) 단위로 표기된다. 이 값은 영상의 압축 효율과 최종적인 화질을 결정하는 핵심 요소 중 하나로 작용한다.

일반적으로 비트레이트가 높을수록 영상에 할당되는 데이터량이 많아져 화질이 향상되지만, 파일 크기나 네트워크 대역폭 요구 사항도 함께 증가한다. 반대로 비트레이트를 낮추면 파일 크기와 전송 부담은 줄어들지만, 과도한 압축으로 인해 블록화 현상이나 디테일 손실과 같은 화질 열화가 발생할 수 있다. 따라서 영상 압축 기술의 목표는 원하는 화질 수준을 유지하면서 가능한 낮은 비트레이트를 달성하는 것이다.

비트레이트 제어 방식에는 크게 두 가지가 있다. 상수 비트레이트는 영상의 복잡도와 관계없이 일정한 비트레이트를 유지하는 방식으로, 방송이나 저장 매체와 같이 예측 가능한 대역폭이 필요한 환경에서 주로 사용된다. 가변 비트레이트는 영상 장면의 복잡도에 따라 비트레이트를 동적으로 조절하는 방식으로, 상대적으로 일정한 화질을 유지하면서 전체 평균 비트레이트를 낮출 수 있어 비디오 스트리밍이나 화상 회의에 적합하다.

비트레이트는 압축률 및 화질 평가 척도와 함께 영상 압축 성능을 종합적으로 평가하는 중요한 지표이다. H.264/AVC나 H.265/HEVC와 같은 현대 코덱들은 더 효율적인 알고리즘을 통해 동일 화질을 더 낮은 비트레이트로 구현하거나, 동일 비트레이트에서 더 높은 화질을 제공하는 방향으로 발전해 왔다.

영상 압축 과정에서 발생하는 화질 열화를 정량적으로 평가하기 위해 여러 가지 객관적 평가 척도가 사용된다. 가장 널리 알려진 척도로는 PSNR(Peak Signal-to-Noise Ratio, 최대 신호 대 잡음비)이 있다. PSNR은 원본 영상과 압축된 영상 간의 픽셀 값 차이, 즉 오차 신호의 크기를 계산하여 데시벨(dB) 단위로 표현한다. 수치가 높을수록 원본과의 차이가 적어 화질이 우수함을 의미하지만, 인간의 시각적 지각 특성을 충분히 반영하지 못한다는 한계가 있다.

이러한 한계를 보완하기 위해 개발된 척도가 SSIM(Structural Similarity Index Measure, 구조적 유사성 지수)이다. SSIM은 인간의 시각 체계가 영상의 구조적 정보에 더 민감하다는 점에 착안하여, 밝기, 대비, 구조라는 세 가지 요소를 결합하여 유사성을 평가한다. 결과값은 0에서 1 사이로, 1에 가까울수록 원본과의 구조적 유사성이 높아 화질이 우수함을 나타낸다.

이 외에도 인간의 주관적 평가를 더 잘 예측하기 위한 다양한 평가 척도가 연구되고 있다. 예를 들어, VMAF(Video Multi-method Assessment Fusion)는 여러 기본 평가 알고리즘의 결과를 머신 러닝을 통해 융합하여 예측 정확도를 높인 척도이다. 이러한 척도들은 비디오 스트리밍 서비스 제공업체에서 다양한 비트레이트로 인코딩된 영상의 품질을 효율적으로 관리하고 최적화하는 데 활용된다.

화질 평가는 단일 척도만으로 완벽하게 이루어지기 어렵다. 따라서 실제 응용 분야에서는 PSNR, SSIM과 같은 객관적 척도와 함께, 실제 관찰자의 주관적 평가를 병행하여 종합적인 판단을 내리는 것이 일반적이다. 특히 고효율 비디오 코딩 표준의 성능 비교나 새로운 압축 알고리즘 개발 시에는 이러한 평가가 필수적이다.

방송 및 미디어 산업은 영상 압축 기술의 가장 대표적인 응용 분야이다. 과거 아날로그 방송 시절에는 주파수 대역폭의 제약이 컸으나, 디지털 방송으로 전환되면서 효율적인 영상 압축 기술이 방송 서비스의 핵심이 되었다. 이를 통해 하나의 전송 채널 내에 고화질의 HDTV 방송 신호를 포함하여 여러 개의 표준 화질 채널이나 데이터 서비스를 동시에 전송하는 것이 가능해졌다. 특히 지상파 디지털 텔레비전 방송과 위성 방송, 케이블 텔레비전은 MPEG-2와 H.264/AVC 같은 표준 코덱을 기반으로 서비스를 구축하여 대역폭을 절감하고 방송 품질을 향상시켰다.

영상 압축은 미디어 제작 및 유통 과정 전반에 걸쳐 필수적이다. 방송사나 제작사는 원본 고화질 마스터 파일을 다양한 용도에 맞게 압축하여 배포한다. 예를 들어, UHD 또는 4K 해상도의 원본 콘텐츠는 방송 송출, 비디오 온 디맨드(VOD) 서비스, 블루레이 디스크 제작 등 각 플랫폼의 요구 사항에 따라 다른 비트레이트와 해상도로 압축 인코딩된다. 이 과정에서 손실 압축이 광범위하게 사용되며, 압축률과 화질 간의 최적의 균형을 찾는 것이 중요하다.

또한, 인터넷 프로토콜 텔레비전(IPTV)이나 넷플릭스, 유튜브 같은 OTT 서비스의 성장은 영상 압축 기술의 발전을 더욱 촉진시켰다. 이들 서비스는 사용자의 인터넷 연결 속도에 맞춰 동적으로 화질을 조절하는 적응형 비트레이트 스트리밍 기술을 활용하며, 이를 구현하기 위해 고효율 코덱이 필수적이다. 따라서 방송 및 미디어 산업은 영상 압축 표준의 주요 수요처이자 발전을 견인하는 역할을 지속하고 있다.

비디오 스트리밍은 인터넷을 통해 영상 콘텐츠를 실시간으로 재생하는 서비스를 말한다. 영상 압축 기술은 스트리밍의 핵심 기반 기술로, 제한된 네트워크 대역폭 내에서 가능한 높은 화질의 영상을 전달하기 위해 필수적이다. 스트리밍 서비스 제공자는 사용자의 인터넷 속도와 디바이스 성능에 맞춰 다양한 비트레이트와 해상도의 영상을 실시간으로 제공하는 적응형 비트레이트 스트리밍 기술을 활용한다.

이를 위해 H.264/AVC, H.265/HEVC, AV1과 같은 고효율 비디오 코덱이 널리 사용된다. 특히 H.265/HEVC와 AV1은 H.264/AVC 대비 약 50%의 높은 압축률을 제공하여, 동일한 화질을 더 낮은 대역폭으로 전송하거나 동일한 대역폭에서 더 높은 화질을 구현할 수 있게 한다. 이는 4K UHD 및 HDR 콘텐츠의 스트리밍을 실용화하는 데 기여했다.

주요 스트리밍 플랫폼인 넷플릭스, 유튜브, 디즈니+ 등은 서비스 품질과 트래픽 비용 절감을 위해 이러한 최신 코덱을 적극 도입하고 있다. 또한 라이브 스트리밍과 화상 통신의 경우 저지연 압축 기술이 중요하며, 클라우드 게이밍 서비스는 초저지연 환경에서 고화질 영상을 전송해야 하는 과제를 안고 있다.

영상 통신, 특히 화상 회의는 영상 압축 기술이 실시간성을 보장하면서도 효율적으로 활용되는 대표적인 응용 분야이다. 화상 회의 시스템은 제한된 네트워크 대역폭 내에서 실시간으로 영상과 음성을 주고받아야 하므로, 낮은 비트레이트와 짧은 지연 시간을 유지하는 고효율 압축이 필수적이다. 이를 위해 손실 압축 방식이 주로 사용되며, H.264/AVC와 H.265/HEVC 코덱이 널리 채택되어 화질 대비 전송 데이터량을 크게 줄인다.

화상 회의용 영상 압축은 일반적인 비디오 스트리밍과 다른 요구사항을 가진다. 배경이 정적인 경우가 많고, 화자의 움직임이 비교적 제한적이어서 시간적 중복성이 매우 높다. 따라서 인터 프레임 압축 기술을 적극 활용하여 연속된 프레임 간의 변화만을 전송함으로써 효율을 극대화한다. 또한, 통신 중 네트워크 상태가 변동할 수 있으므로, 적응형 비트레이트 제어 기술을 통해 품질을 유연하게 조정하는 것이 중요하다.

초기의 화상 회의는 ISDN 회선을 이용했으나, 인터넷과 브로드밴드 네트워크의 보급과 함께 VoIP 기술과 결합되어 폭넓게 확산되었다. 최근에는 클라우드 컴퓨팅 기반의 서비스가 일반화되어, 웹 브라우저나 스마트폰 앱을 통해 손쉽게 고화질 화상 회의에 참여할 수 있게 되었다. 이는 영상 압축 표준의 발전과 더불어 하드웨어 가속 기술이 처리 성능을 뒷받침한 결과이다.

감시 시스템은 영상 압축 기술의 중요한 응용 분야 중 하나이다. 수많은 CCTV 카메라가 연속적으로 생성하는 방대한 양의 영상 데이터를 효율적으로 저장하고 전송하기 위해서는 고도의 압축 기술이 필수적이다. 특히 장시간 녹화와 다수의 카메라를 운영하는 환경에서는 저장 공간과 네트워크 대역폭에 대한 부담이 크기 때문에, 높은 압축률을 제공하는 손실 압축 방식이 널리 사용된다.

감시용 영상 압축은 일반적인 방송이나 엔터테인먼트용 압축과는 다른 요구사항을 가진다. 정지된 배경이 대부분을 차지하고 움직이는 객체(예: 사람, 차량)는 상대적으로 작은 영역에만 나타나는 경우가 많아, 시간적 중복성을 매우 효과적으로 제거할 수 있다. 이러한 특성을 활용한 배경 모델링 기법 등이 감시 시스템 전용 코덱에 적용되기도 한다. 또한, 사건 발생 시 증거 자료로 활용하기 위해 중요한 순간의 화질을 유지하는 것도 중요하다.

주요 비디오 코덱 표준인 H.264/AVC와 H.265/HEVC는 감시 시스템 시장에서도 사실상의 표준으로 자리 잡았다. 이들은 높은 압축 효율과 안정적인 성능을 제공하여, 기존의 MPEG-4 파트 2나 MJPEG 등보다 우수한 저장 효율성을 보여준다. 특히 H.265/HEVC는 동일 화질 대비 H.264/AVC 대약 50% 수준의 비트레이트로 전송이 가능해, 고해상도(예: 4K) 카메라의 도입을 촉진하는 역할을 했다.

최근에는 인공지능 기술이 감시 영상 압축에 접목되고 있다. AI를 이용해 영상에서 중요한 객체(예: 사람의 얼굴, 차량 번호판)를 인식하고, 해당 영역에는 높은 비트를 할당하는 콘텐츠 기반 적응적 압축 기법이 연구되고 있다. 이는 제한된 저장 공간 내에서 증거 가치가 높은 정보의 화질을 최우선으로 보존하는 데 기여할 수 있다. 또한, 엣지 컴퓨팅 환경에서 압축 전 처리를 수행하여 클라우드로 전송되는 데이터량을 줄이는 방식도 주목받고 있다.

영상 압축 기술은 방대한 양의 영상 데이터를 효율적으로 보관하고 장기간 보존하는 저장 및 아카이빙 분야에서 핵심적인 역할을 한다. 원본 디지털 영상은 그대로 저장할 경우 막대한 저장 공간을 요구하므로, 용량을 줄이는 압축 과정 없이는 현실적인 데이터 관리가 어렵다. 특히 감시 시스템에서 생성되는 연속적인 영상이나, 방송사 및 제작사의 과거 방송 콘텐츠 아카이브와 같이 장기 보존이 필요한 경우 압축 기술의 선택이 저장 비용과 데이터 접근성을 결정한다.

이 분야에서는 압축 방식에 따라 무손실 압축과 손실 압축이 선택적으로 사용된다. 원본 데이터의 완전한 복원이 필수적인 의료 영상이나 법적 증거용 영상, 고가의 마스터 원본 자료 등은 무손실 압축을 통해 정보 손실 없이 용량을 줄인다. 반면, 대부분의 아카이빙 목적에는 화질 저하를 허용하는 대신 압축 효율이 월등히 높은 손실 압축이 널리 적용된다. H.264/AVC나 H.265/HEVC와 같은 고효율 코덱을 사용하면 동일한 화질 수준에서 더 낮은 비트레이트로 저장할 수 있어, 동일한 저장 장치에 더 많은 콘텐츠를 보관할 수 있다.

저장 및 아카이빙 시스템의 설계에서는 단순한 압축률뿐만 아니라, 향후 데이터를 검색하고 재생하는 데 소요되는 시간과 자원도 고려해야 한다. 고압축률의 코덱은 저장 공간은 절약하지만, 디코딩에 더 많은 연산 능력을 필요로 하여 접근 속도가 느려질 수 있다. 따라서 장기 아카이브용으로는 안정적이고 보편적인 표준 코덱을 채택하는 것이 호환성과 미래 접근성 측면에서 유리하다. 최근에는 클라우드 스토리지 기반의 아카이빙이 증가하면서, 저장 비용과 전송 대역폭을 동시에 고려한 적응형 비트레이트 조정 및 트랜스코딩 기술도 함께 활용되고 있다.

AI 기반 압축은 기존의 수학적 변환과 예측에 기반한 방식에서 벗어나, 인공지능 기술, 특히 딥러닝과 신경망을 활용하여 영상을 압축하는 새로운 패러다임이다. 이 기술은 컴퓨터 비전과 기계 학습 분야의 발전을 바탕으로, 더 높은 압축 효율과 주관적 화질 개선을 목표로 한다. 전통적인 표준 기반 코덱의 한계를 넘어, 데이터의 복잡한 패턴을 학습하여 압축하는 방식으로 진화하고 있다.

AI 기반 압축의 핵심은 인코더와 디코더에 신경망 모델을 통합하는 것이다. 인코더에서는 원본 영상을 분석해 더 적은 정보로 표현하고, 디코더에서는 이 압축된 정보를 받아 원본에 가깝게 복원한다. 이 과정에서 적대적 생성 신경망(GAN)이나 자동 인코더(Autoencoder) 같은 구조가 활용되며, 인간의 시각 체계를 모방하여 중요 정보는 정밀하게, 덜 중요한 정보는 과감하게 처리하는 방식으로 압축률을 높인다.

주요 연구 및 적용 방향은 기존 프레임워크 내 개선과 엔드투엔드 학습 방식으로 나뉜다. 전자는 H.266/VVC나 AV1 같은 최신 표준의 특정 모듈(예: 인트라 예측, 루프 필터, 양자화)을 AI 모델로 대체하여 성능을 보완한다. 후자는 신경망 자체가 전체 압축 알고리즘을 수행하는 방식으로, 더 유연한 최적화가 가능하지만 표준화와 호환성 문제가 과제로 남아 있다.

이 기술은 초고해상도(8K 이상) 콘텐츠, 가상 현실(VR), 증강 현실(AR)과 같은 대용량 영상 처리와, 모바일 기기에서의 효율적인 실시간 스트리밍 분야에서 주목받고 있다. 그러나 높은 계산 복잡도로 인한 인코딩/디코딩 속도 문제, 그리고 표준화와 산업 적용을 위한 상호 운용성 확보는 앞으로 해결해야 할 과제이다.

H.265/HEVC 이후로 영상 압축 기술은 더 높은 압축 효율을 추구하며 발전해왔다. 주요 동향은 초고해상도(8K 이상) 콘텐츠, 360도 영상, 증강 현실(AR), 가상 현실(VR)과 같은 새로운 미디어 형태를 효율적으로 지원하는 데 초점이 맞춰져 있다.

이를 위해 국제 표준화 기구들은 새로운 표준을 제정했다. MPEG와 ITU-T의 공동 비디오 코딩 전문가 그룹(JVET)이 개발한 H.266/VVC(Versatile Video Coding)은 HEVC 대비 약 50%의 비트레이트 절감을 목표로 한다. VVC는 블록 구조, 예측, 변환 등 핵심 기술을 개선하여 복잡한 콘텐츠를 더 효율적으로 압축한다. 또 다른 중요한 표준은 개방형 미디어 연합(AOMedia)이 개발한 AV1이다. 로열티 프리(royalty-free)를 지향하는 이 코덱은 VP9 대비 약 30%의 효율 향상을 제공하며, 인터넷 스트리밍 시장에서 널리 채택되고 있다.

이러한 표준들은 기존의 블록 기반 예측과 변환 부호화 구조를 유지하면서도, 더 유연한 블록 분할(예: 쿼드트리+이진/삼진 트리), 향상된 인트라 예측 모드, 인터 예측 정확도, 루프 필터 등을 도입하여 성능을 극대화한다. 또한, 에너지 효율적인 디코딩과 병렬 처리 지원도 중요한 고려 사항이 되고 있다.

최근에는 인공지능(AI)과 머신러닝 기술을 영상 압축에 접목하는 연구가 활발히 진행되고 있다. 엔드-투-엔드 학습 기반의 신경망 코덱은 전통적인 하이브리드 코덱과는 다른 접근법으로 압축을 수행하며, 특히 매우 낮은 비트레이트 영역에서 잠재력을 보이고 있다. 이러한 AI 기반 방법들은 표준화 논의에도 포함되어 미래 비디오 코딩 표준의 한 축을 이루게 될 전망이다.

저지연 압축은 영상 데이터를 압축하고 복원하는 과정에서 발생하는 지연 시간을 최소화하는 것을 목표로 하는 압축 방식이다. 이는 실시간 상호작용이 중요한 응용 분야에서 필수적이다. 예를 들어, 화상 회의, 원격 의료, 클라우드 게임, 라이브 스트리밍과 같은 서비스에서는 영상이 촬영되어 전송되고 상대방의 화면에 표시되기까지의 전체 지연이 매우 짧아야 자연스러운 소통이 가능하다. 이러한 지연은 인코딩 지연, 네트워크 전송 지연, 디코딩 지연 등 여러 요소로 구성되며, 저지연 압축은 주로 인코딩 및 디코딩 알고리즘의 복잡도를 조정하고 버퍼링을 최소화함으로써 지연을 줄인다.

기존의 고효율 압축 표준들은 높은 압축률을 달성하기 위해 복잡한 알고리즘과 긴 GOP(Group of Pictures) 구조를 사용하는 경우가 많아, 인코딩 및 디코딩에 소요되는 시간과 버퍼링으로 인한 지연이 발생할 수 있다. 저지연 압축은 이러한 트레이드오프 관계에서 화질과 압축 효율을 일부 희생하더라도 지연을 낮추는 데 중점을 둔다. 대표적인 방법으로는 B-프레임 사용을 배제하여 프레임 간 의존성을 줄이고, 인트라 프레임의 주기를 짧게 유지하며, 슬라이스 단위의 인코딩을 활용하는 것 등이 있다.

이를 위해 표준화 단체에서는 저지연 프로파일을 별도로 정의하기도 한다. 예를 들어, H.264/AVC와 H.265/HEVC 표준에는 저지연 통신을 위한 특정 프로파일과 티어가 존재한다. 또한, WebRTC와 같은 실시간 통신 프로토콜에서는 VP8, VP9 코덱의 저지연 모드를 주로 활용한다. 최근에는 머신 러닝을 활용한 초저지연 압축 기술 연구도 진행되고 있으며, 6G 네트워크와 결합된 초실감 홀로그램 통신 등 미래 응용 분야에서 그 중요성이 더욱 커질 전망이다.