KR20060072070A

KR20060072070A - 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는양자화 매트릭스를 발생하는 방법 및 장치

Info

Publication number: KR20060072070A
Application number: KR1020050127022A
Authority: KR
Inventors: 잉 첸; 지에푸 즈하이
Original assignee: 톰슨 라이센싱
Priority date: 2004-12-22
Filing date: 2005-12-21
Publication date: 2006-06-27
Also published as: US20060133479A1; JP2006180497A; CN1794815A; EP1675402A1; TW200623890A

Abstract

픽셀 블록의 변환된 주파수 계수들 또는 성분들을 양자화함으로써 이후에 더 적은 진폭 레벨들을 인코딩하면 되고 양자화된 진폭 값들중 일부는 제로로 되기 때문에 양자화된 진폭 값들로서 인코딩될 필요가 없으며 이에 따라 비디오 코딩에 있어서 상당한 데이터율 감소 효과를 얻는다. 많은 변환 기반 비디오 코딩 표준은 디폴트 양자화 매트릭스를 이용하여 더 나은 주관적 비디오 코딩/디코딩 품질을 얻는다. 양자화 매트릭스는, 관련된 수평 및/또는 수직 주파수가 결과적인 주관적 픽쳐 품질에 대하여 덜 중요한 주파수 성분으로 여겨지면 블록의 일부 주파수 성분들에 더 적은 스케일링 값들을 할당한다. 본 발명의 양자화 매트릭스 발생은 디폴트 양자화 매트릭스로부터 시작하며 이로부터 소정의 픽쳐 시퀀스에 대하여 지각적으로 최적의 양자화 매트릭스를 도출한다. 제1 패스에서, 소정의 피쳐 시퀀스를 위한 후보 양자화 매트릭스는 일부 계수 위치들에 대하여 스케일링 값들을 동시에 증가함으로써 그리고 다른 계수 위치들의 스케일링 값들을 감소함으로써 반복적으로 구성된다. 제2 패스에서, 발생한 양자화 매트릭스를 픽쳐 시퀀스를 리인코딩하는데 적용한다.

양자화 매트릭스, 픽쳐 시퀀스, 변환 계수, 양자기 제수, 반복 루프

Description

이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스를 발생하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING A QUANTISATION MATRIX THAT CAN BE USED FOR ENCODING AN IMAGE OR A PICTURE SEQUENCE}

도 1은 HDTV 시퀀스 쿵푸에서 인트라 프레임 블록들의 DCT 계수들의 분포를 나타내는 도면.

도 2는 그 시퀀스에서 인터 프레임 블록들의 DCT 계수들의 분포를 나타내는 도면.

도 3은 양자화 매트릭스 발생 프로세스의 흐름도.

도 4는 본 발명의 인코더의 블록도.

이하의 설명에서 아래 기재된 종래 기술 리스트를 때때로 참조한다.

[1] G.Wallace, "The JPEG still picture compression standard", Communications of ACM. 34(4), 30-44 1991.

[2] T.Wiegand, G.Sullivan, "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-TRec. H.264 ｜ ISO/IEC 14496-10 AVC), Mar 31, 2003.

[3] K.R. Rao 및 P. Yip, "Discrete Cosine Transform: Algorithms, Advantages, Applications", Boston, MA: Academic, 1990.

[4] G. Sullivan, T.McMahon, T.Wiegand, A.Luthra, "Draft Test of H.264/AVC Fidelity Range Extensions Amendment", JVT-K047, ftp://ftp.imtc-files.org/jvt-experts/2004_03_Munich/JVT-K047 d8.zip.

[5] B.Tao, "On optimal entropy-constrained dead-zone quantisation", IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, pp. 560-563, Apirl 2001.

[6] F,Muller, "Distribution shape of two-dimensional DCT coefficients of natural images", Electronics Letters, 29(22):1935-1936, October 1993.

[7] S.R.Smoot 및 L.A.Rowe, "Laplacian Model for AC DCT Terms in Image and Video Coding", Ninth Image and Multidimensional Signal Processing workshop, March 1996.

[8] Watson et al., "DCT quantisation matrices visually optimised for invividual images", Human Vision, Visual Processing and Digital Display IV, proceedings of SPIE 1913-1 (1993).

[9] Yingwei Chen; K.Challapali, "Fast computation of perceptually optimal quantisation matrices for MPEG-2 intra pictures", Image Processing, 1998, ICIP 98 Proceedings 1998 International Conference, 4-7 Oct. 1998.

[10] H.Peterson, A.J.Ahumada, A.B.Watson, "An Improved Detection Model for DCT Coefficient Quantisation", Proceedings of the SPIE, 1993, pp. 191-201.

[11] E.Y.Lam, 및 J.W.Goodman, "A Mathematical Analysis of the DCT Coefficient Distributions for Images", IEEE Trans. on Image Processing, Vol. 9, No. 10, pp.1661-1666, 2000.

[12] Cristina Gomila, Alexander Kobilansky, "SEI message for film grain encoding", JVT-H022, Mar 31, 2003.

[13] Zhihai He 및 Sanjit K. Mitra, "A Unified Rate-Distortion Analysis Framework for Transform Coding", IEEE Transactions on Circuits and System for Video Technology, Vol.11, pp.1221-1236, December 2001.

본 발명은 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스를 적응적으로 발생하는 방법 및 장치에 관한 것이다.

픽셀 블록의 (변환된) 주파수 계수 또는 성분을 양자화함으로써 비디오 코딩에서 상당한 데이터 레이트 감소 효과를 얻게 되며 이에 따라 이후에는 더 적은 진폭 레벨들을 인코딩하면 되고 양자화된 진폭 값들중 일부는 제로로 되어 양자화된 진폭값으로서 인코딩될 필요가 없다. 많은 변환 기반 비디오 코딩 표준은 디폴트 양자화 매트릭스를 이용하여 보다 주관적인 비디오 코딩/디코딩 품질(예를 들어, ISO/IEC 13818-2(MPEG-2 비디오))을 얻는다. "양자화 매트릭스"는, 관련된 수평 및/또는 수직 주파수가 주관적 픽쳐 품질에 대하여 덜 중요한 주파수 성분으로 여겨지면 적은 스케일링 값들을 블록의 일부 주파수 성분에 할당한다. 인간의 정신-시각(psycho-visual) 시스템은 높은 수평 및/또는 수직 주파수, 특히, 높은 대각 주파수에 덜 민감하다고 알려져 있다.

MPEG-2, MPEG-4, MPEG-4 AVC/H.264 (ISO/IEC 14496-10) 및 MPEG-4 AVC/H.264 FRExt(Fidelity Range Extensions, Redmond JVT meeting, 17-23, 2004년 7월) 비디오 코딩 표준 모두는 이러한 양자화 매트릭스를 지원한다. 예를 들어, ISO/IEC 13818-2는, 섹션 6.3.11에서, 상이한 양자기 제수들을 갖는 인트라 블록용 디폴트 양자화 매트릭스 (제수들중 가장 큰 수는 제수들의 8*8 어레이에서 하부 우측에 위치함), 및 8*8 어레이에서의 모든 위치에 대하여 동일한 양자기 제수들을 갖는 넌-인트라 블록용 디폴트 양자화 매트릭스를 개시하고 있다. 사용자 정의 양자화 매트릭스는 디코더에서의 응용을 위해 인코더에 의해 전송될 수 있으며, ISO/IEC 13818-2의 섹션 6.2.3.2를 참조하기 바란다.

H.264 FRExt는 많은 전문 응용을 위해 양자화 매트릭스를 재도입한다. MPEG-2 및 MPEG-4와 같은 다른 비디오 코딩 표준에서 그러하듯이, 양자화 매트릭스를 인에이블하여 상이한 스케일링 값들에 의해 상이한 DCT 계수들을 양자화한다. 8*8 변환을 H.264 FRExt에 더하고, 그러나, 이것은 H.264 메인 프로파일 내에 존재하지 않으며, 높은 해상도 TV를 위한 전문 응용에 중점을 두고 있다. 또한, 주관적 품질은 HD 비디오 코딩에 있어서 중요 사항이다. 대부분의 경우, 상이한 주파수들을 위한 양자화 매트릭스는 디폴트로 설정되거나 픽쳐 시퀀스를 통해 고정된 다.

JPEG[1], MPEG-2, MPEG-4, 및 AVC/H.264와 같은 현재의 많은 이미지 및 비디오 코딩 표준들은 DCT(이산 코사인 변환)에 기초하고 있다. 제1차수 마르코프 프로세스의 조건 하에서, 자연스러운 이미지를 위해, DCT 변환은 이상적인 Karhunen-Loeve 변환(KLT)에 대하여 대략적인 근사화이며, KLT에 대한 대략적인 근사화의 이점은 이미지 콘텐츠가 독립적이라는 점이다. DCT는, 이미지 신호를 비상관화하도록 그리고 대응하는 픽셀 블록으로부터 도출된 8*8 계수 블록 내의 더 적은 위치에서 신호 에너지를 컴팩트화하도록 사용된다. DCT에는 일반적으로 양자화 및 엔트로피 코딩이 뒤따른다. 상술한 바와 같이, 양자화 프로세스는, 높은 압축비를 얻기 위해, 흔히 이미지 디테일을 드롭(drop)한다. 따라서, 양자화 프로세스에서 가장 중요한 이미지 정보(즉, 계수)를 유지하면서 덜 중요한 계수들을 드롭하는 것이 중요하다. 이것은 양자화 매트릭스에서 양자기 제수들의 값을 채용함으로써 달성될 수 있다. 픽쳐 또는 슬라이스를 코딩하는데 이용가능한 출력 비트율은 미리 결정되고 또는 다른 코딩 파라미터가 고정되며, 적응적 양자화 매트릭스를 이용함으로써 블록에서의 상이한 주파수 위치들을 선택하는 것이 용이해진다. 양호한 양자화 매트릭스를 선택하는 이유는 더 나은 (측정가능한) 코딩/디코딩 품질을 위해서이며, 특히, 더 나은 주관적 품질을 위해서이며, 이것은 높은 비트율 비디오 코딩 응용에서 더 매력적이다. 8*8 변환은 H.264 FRExt에 다시 재도입된다([4]). 지각적 최적 양자화 매트릭스 설계 및 주관적 품질 평가([5], [8], [9]))와 같이, 이미지 및 비디오 코딩에서 사용되는 8*8 DCT 계수와 함께 많은 연구를 행하였다([5], [6], [7]).

JPEG은 이미지를 작은 8*8 블록들로 분리하고 각 블록에 대하여 DCT를 활용한다. 변환 처리에서, MPEG-2는 JPEG이 그러하듯이 I-프레임을 처리한다([1]). 따라서, MPEG-2 I-프레임용 양자화 매트릭스를 설계할 때, 이것은 거의 JPEG에서와 동일하다. H.264 FRExt에서, Y 성분용으로 8*8 변환이 사용될 때, 인트라 블록용 디폴트 양자화 매트릭스는 인트라 예측이 인코딩된 후의 잔류 때문에, MPEG-2에서 사용되는 매트릭스와 상이하고, 이것은 이들 잔류의 통계 분포가 DCT 계수 자체의 통계 분포와 상이하다는 것을 의미한다. 예측 에러는 전파될 수 있으며, 양자화 매트릭스가 변경되면, 최고의 예측 모드가 대응하여 변경된다.

P-프레임 및 B-프레임에 대해서는, 인터 블록의 인코딩이 지배적이다. 보편성을 잃지 않고서, 이하의 경우에서는 P-프레임 또는 B_프레임 대신에 인터 블록이라 칭한다. DCT 에러 전파의 상이한 분포처럼, 인터 블록에 대해서 동일한 문제점이 발생할 수 있다. 그러나, P-프레임 인코딩에 있어서, 적응적 양자화 매트릭스에 의해 야기된 에러 전파는 그렇게 강력하지 않지만 여전히 문제점을 야기한다.

Watson 등은, 낮은 비트율 및 매우 낮은 비트율에 대한 주관적 품질 개선을 제공하는 지각적으로 최적인 양자화 매트릭스를 설계하는 방법을 제시하였다([8]). 그러나, 높은 비트율 코딩에 대해서는, 이러한 지각적 최적 방법들은 최적이 아니다. Watson 등은 주파수 스레스홀딩(thresholding)에 기초하여 이미지 종속적 양자화 매트릭스의 설계 작업을 철저히 하였다([8], [10]). Watson의 간행물에서, 상이한 DCT 주파수 대역들에 대한 인간의 감도는 상이하다고 가정하고 있다. 시각 적 실험에 기초하여, 인간에 의해 인식될 수 있는 최소 왜곡을 나타내는 소위 "검출 스레스홀드"를 측정한다. Watson의 이론은, 이 검출 스레스홀드가 전체 블록의 평균 휘도 및 대응하는 주파수 성분의 절대값에 관련된다고 주장하고 있다. 검출 스레스홀드를 판정한 후, 각 주파수 성분에 대한 지각적 에러는 검출 스레스홀드에 의해 분리된 양자화 에러로서 규정된다. 하나의 픽쳐에서의 모든 블록 및 모든 DCT 주파수 성분의 에러를 풀링(pool)하기 위해, Watson은 'β-norm'이라 불리는 또다른 비전 모델을 사용하였다.

Watson의 방법이 JPEG형 인트라 픽쳐 양자화 매트릭스 설계에는 매우 유효하지만, 잔류 이미지에 대한 성능은 예상하는 것만큼 좋지 않으며, 특히, 높은 비트율 픽쳐 인코딩에 대하여 좋지 않다.

높은 비트율 비디오 압축을 수행하려면, 픽쳐 영역의 상세하거나 복잡한 픽쳐 콘텐츠로 인해 이용가능한 평균 비트율이 상당히 구속되는 픽쳐 영역용 상세를 유지하는 것이 중요하며, 이것은 높은 주파수에 대하여 양자화동안 단지 큰 스케일링을 이용해서는 안된다는 것을 의미한다. Watson의 방법은 양자화 에러의 가중 풀링이라 간주할 수 있다. 양자화 매트릭스를 설계할 때, 알려져 있는 알고리즘은 [5] 및 [9]에 제시된 MSE 최적화에 기초하고 있으며, 이것은 전형적으로 8*8 주파수 위치들의 각각에 대하여 일부 지각적으로 최적인 가중부여(weighting)와 함께 MSE(평균 제곱 에러)를 이용한다. 가중은 적응적 또는 블록 독립적 블록 픽쳐 콘텐츠일 수 있다. 이론적으로, 일부 가중이 주파수의 왜곡값에 부가되면, 또는, 단 지 양자화 매트릭스를 이용하더라도, 왜곡 불변성(invariance)이 파괴된다. 따라서, 알려져 있는 방법들은 단지 대략적인 모델을 규정하려 한다.

본 발명에 따르면, 다른 측정 도움으로 왜곡을 계산함으로써 적응적 양자화 매트릭스의 설계 또는 선택을 위해 더 나은 결과를 얻을 수 있다. 게다가, 임의의 형태의 왜곡을 활용하지 않는 측정도 최적의 양자화 매트릭스 설계에 효과적일 수 있다. 또한, HVS(인간 시각계)는 왜곡 없는 모델로 시작하여 새로운 측정에 대하여 양호한 가중을 다룰 수 있다.

현재까지, 어떠한 HVS 모델도, 특히 HD 또는 HDTV 품질로 영화를 인코딩하는데 있어서([12]) 관련된 필름 그레인(film grain) 문제점을 고려하지 않고 있다. 이러한 경우에, 왜곡 기반 객관적 품질 기준인 PSNR (피크 신호 대 노이즈 비)는, 유쾌한 노이즈가 픽쳐 내로 부가되기 때문에 신호의 품질 평가에 있어서 전혀 정밀하지 않다. 필름 그레인을 유지하는 코딩 기술은 임의의 전통적인 MSE 기반 측정 또는 HVS 모델을 이용하지 않더라도 양호한 성능을 달성해야 한다.

상술한 바와 같이, 기본적으로 MSE는 왜곡을 판정하는 기준으로서 선택될 수 있으며, Hilbert 공간과 같은 많은 공간이 L² norm을 에너지 측정 형태로서 이용하기 때문에, 널리 사용된다. 현재까지 이미지 또는 비디오 코딩에서 사용되는 변환은 직교-정규화(ortho-normal) 변환, 예를 들어, DCT, Haar 웨이브렛 또는 Hadmard 변환이다. 직교-정규화 변환은 거리 불변이며 이에 따라 에너지 불변이다. 따라서, 공간 도메인에서 누적되어야 하는 신호 왜곡을 변환된 도메인 또는 주파수 도 메인에서 누적할 수도 있다. 이러한 개념에 기초하여, 양자화 매트릭스를 설계할 때, 알려져 있는 방법들중 대부분은, 인간의 주파수 감소에 대한 일부 비전 모델의 도움으로 변환된 도메인에서의 각 주파수 성분의 왜곡에 기초하고 있다. 따라서, 본 발명에 따르면, 비(non) MSE (왜곡) 기반 모델로부터 시작하며 특히 높은 비트율 압축에 대하여 더 나은 주관적 결과를 제공하는, 이미지/비디오 품질 평가 또는 비트 할당을 위한 상이한 방법이 필요하다.

상술한 바와 같이, 양자화 매트릭스를 적용하는 목적은, 인코딩 처리에서 더 적은 스케일링 값들을 덜 중요하다고 여겨지는 주파수 성분들에 할당하고 보다 큰 스케일링 값들을 보다 중요한 주파수 성분들에 할당하는 것이다. 따라서, 가장 중요한 이슈는 상이한 주파수 성분들의 중요성을 평가하는 것이다. 종래 기술에서, 가중 왜곡은 이러한 평가용 측정으로서 사용되며 이에 따라 높은 주파수 성분에는 큰 양자화 제수값이 제공되고 따라서 매우 적은 비트 할당을 받게 된다. 그러나, JM FRExt 레퍼런스 소프트웨어에서, 디폴트 인트라 8*8 양자화 매트릭스에서의 스케일링의 편차는 MPEG-2 및 MPEG-4 디폴트 양자화 매트릭스의 편차보다 적다. 주 이유는, 인트라 예측 방법은 정규 DCT 계수들을 잔류 DCT 계수들로 변경하고, 충분한 상세를 포함하는 픽쳐에 대해서는, 적은 편차를 갖는 양자화 매트릭스가 더 낫다. 따라서, 디폴트 양자화 매트릭스로 시작하는 중간 또는 높은 비트율의 응용에서, 각 주파수 성분은 서로 경쟁해서 더 많은 비트가 할당되어야 한다. 승자는 일부 측정에 대하여 고 성능을 달성하는 주파수 성분이며, 이것은 왜곡 형태를 갖지 않을 수 있지만 픽쳐 콘텐츠 상세를 더 고려한다.

양자화 매트릭스를 설계하는 프로세스에서, 비트 구속 조건도 고려해야 한다. 많은 종래 기술에서는 DCT AC 계수들의 분포가 라플리시안 분포를 따르는 것을 제안하고 있다([6], [7], [11]).

여기서, p(x)는 랜덤 변수(x)의 확률이며 λ는 평균값이다. 이러한 간단한 경우에, 표준 편차(σ²)는 평균(λ)에 대하여 아래와 같은 식으로 이어진다.

데드존([-△, △])에서의 양자화 처리 후에, 제로 퍼센트(p)는 아래와 같다.

Zhihai의 모델에서([13]), 율(R)의 로우 바운드(low bound)는 아래와 같다.

여기서, p는 제로 퍼센트이다.

왜곡이 가우시안 또는 일반화된 가우시안에 근접한다고 주장하는 종래 기술([6])이 존재하지만, [13]에서 이러한 경우가 고려되고 있으며 비트율(R)과 넌제로 퍼센트간의 동일한 선형 관계가 유지된다.

본 발명은, 높은 주관적 픽쳐 품질을 달성하고 픽쳐 영역의 상세하거나 복잡한 픽쳐 콘텐츠로 인해 이용가능한 평균 비트율이 상당히 구속되는 픽쳐 영역용 상세, 특히, 높은 비트율 비디오 압축을 더 유지하는 개선된 양자화 매트릭스를 제공 또는 발생 또는 채용함으로써 상술한 문제점을 해결한다. 이러한 문제점은 청구항 제1항에 기재도니 방법에 의해 해결된다. 이 방법을 활용하는 장치는 청구항 제2항에 기재되어 있다.

상술한 바와 같이, H.264 FRExt에서, 대부분의 경우, 상이한 주파수들을 위한 양자화 매트릭스는 픽쳐 시퀀스 전체에 걸쳐 디폴트로 설정되거나 고정된다. 그러나, GOP에서의 일부 영역들이 상세 또는 높은 주파수 정보로 차있는 경우가 있다. 주관적 품질을 개선하도록 이러한 상세를 유지하기 위해, 본 발명에는 I 프레임, P 프레임, 및 B 프레임용 적응적 양자화 매트릭스를 발생하는 여러 방법들이 개시되어 있다. H.264 FRExt에서, 양자화 매트릭스는 슬라이스 기반이며 각 슬라이스는 상이한 양자화 매트릭스를 선택할 수 있게 하는 픽쳐 파라미터 세트 ID를 갖는다.

본 발명에 따르면, 빠른 투 패스(two-pass) 또는 멀티 패스 주파수 기반 처리를 이용하여 상이한 비디오 시퀀스에 대한 적응적 양자화 매트릭스, 특히, I 프레임, P 프레임, 및 B 프레임용 적응적 양자화 매트릭스를 하나 이상의 발생한다. 본 발명의 양자화 매트릭스 발생은 디폴트 인트라 및 인터 블록 양자화 매트릭스로부터 시작하며 이로부터 소정의 픽쳐 시퀀스를 위한 지각적으로 최적인 양자화 매트릭스를 도출한다. 제1 패스에서, 소정의 픽쳐 시퀀스를 위한 양자화 매트릭스를 구축하고, 제2 패스에서, 발생한 양자화 매트릭스를 그 픽쳐 시퀀스를 리인코딩(reencode)하고 대응하는 비트 스트림을 발생하는데 적용한다. (예측에 뒤이어) 잔류 픽쳐들은 DCT 변환후에 상이한 주파수 성분들로 재정렬된다. 양자화된 계수들의 히스토그램은 측정 또는 계량의 계산용으로 추출된다. DCT 도메인에서 민감한 주파수 및 민감하지 않은 주파수는, 종래 기술의 왜곡 기반 측정에 기초하여 여러 개의 측정을 이용하여 반복적으로 선택된다. 그러나, 이것은 각 주파수 성분의 양자화된 레벨들의 분포에 기초하고 있다. 데드존에서의 퍼센트 변경 또는 엔트로피와 같은 계량 또는 측정은, 양자화 매트릭스의 대응값들의 증가 또는 감소하기 위해 상당히 중요한 주파수 성분을 선택하는데 사용된다. 상이한 주파수 성분들을 위한 엔트로피의 합은 결과적 이미지/비디오 품질을 측정하는 기준으로서 사용될 수 있다. 적응적 양자화 매트릭스는 슬라이스 기반일 수 있으며, 즉, 각 슬라이스는 상이한 양자화 매트릭스를 선택하는 픽쳐 파라미터 세트 ID를 갖는다.

대체로, 본 발명의 방법은 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스를 발생하는데 적절하며, 여기서 픽셀 차 블록들 또는 예측된 픽셀 블록들에 관련된 변환된 계수들의 인코딩 블록들은 상기 양자화 매트릭스를 이용하여 양자화되거나 추가로 역 양자화되고, 이 매트릭스 내에서 특정 제수가 계수 블록에서의 계수 위치들의 각각에 할당되며, 그 방법은, 변환된 DC 계수용 으로 하나의 제수 및 변환된 AC 계수들용으로 여러 개의 제수를 포함하는 소정의 양자화 매트릭스를 후보 양자화 매트릭스로서 로딩하는 단계와, 소정의 픽쳐 또는 픽쳐 시퀀스에 대하여, 또는 소정의 픽쳐 또는 픽쳐 시퀀스의 슬라이스에 대하여, a) 상기 후보 양자화 매트릭스에서 상기 AC 계수 제수들중 하나 이상을 증가하는 한편 상기 후보 양자화 매트릭스에서 상기 AC 계수 제수들중 다른 제수들의 하나 이상을 감소하는 단계와, b) 인코딩에서 갱신된 후보 양자화 매트릭스를 적용할 때, 결과적으로 갱신된 후보 양자화 매트릭스의 변경된 제수들에 대하여 결과적으로 픽쳐 인코딩 및 디코딩 품질이 개선되는지 여부를 측정하고, 개선되었다면, 다음에 따르는 반복 루프에서 변경된 제수들의 추가 증가 또는 감소를 허용하며, 개선되지 않았다면, 상기 제수들중 다른 제수들을 증가 및 감소 시도하고 그리고/또는 상기 변경된 제수들의 증가 및 감소를 역으로 하는 단계와, c) 상기 변경된 제수들의 각각에 대하여 상기 반복 루프에서 상기 변경된 제수들이 감소뿐만 아니라 증가되었는지 여부를 체크하고, 감소뿐만 아니라 증가되었다면, 소정의 마킹값을 이러한 제수에 할당하고, 제수 마킹값들로부터 매트릭스 상태값을 계산하는 단계인 a) 내지 c) 단계들을 반복적으로 수행하는 단계와, 반복 횟수가 제1 임계값을 초과하거나 상기 매트릭스 상태값이 제2 임계값을 초과하면, 최후의 후보 양자화 매트릭스를 상기 양자화 매트릭스로서 출력하는 단계를 포함한다.

대체로, 본 발명의 장치는 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스를 발생하는데 적절하며, 픽셀 차 블록 또는 예측된 픽셀 블록과 관련된 변환된 계수들의 인코딩 블록들은, 상기 양자화 매트릭스를 이용하 여 양자화되거나 추가로 역 양자화되고, 상기 매트릭스 내에서 특정 제수가 계수 블록 내의 계수 위치들의 각각에 할당되며, 상기 장치는, 변환된 DC 계수용으로 하나의 제수 및 변환된 AC 계수들용으로 여러 개의 제수를 포함하는 소정의 양자화 매트릭스를 후보 양자화 매트릭스로서 로딩하는 단계와, 소정의 픽쳐 또는 픽쳐 시퀀스에 대하여, 또는 소정의 픽쳐 또는 픽쳐 시퀀스의 슬라이스에 대하여, a) 상기 후보 양자화 매트릭스에서 상기 AC 계수 제수들중 하나 이상을 증가하는 한편 상기 후보 양자화 매트릭스에서 상기 AC 계수 제수들중 다른 제수들의 하나 이상을 감소하는 단계와, b) 인코딩에서 갱신된 후보 양자화 매트릭스를 적용할 때, 결과적으로 갱신된 후보 양자화 매트릭스의 변경된 제수들에 대하여 결과적으로 픽쳐 인코딩 및 디코딩 품질이 개선되는지 여부를 측정하고, 개선되었다면, 다음에 따르는 반복 루프에서 변경된 제수들의 추가 증가 또는 감소를 허용하며, 개선되지 않았다면, 상기 제수들중 다른 제수들을 증가 및 감소 시도하고 그리고/또는 상기 변경된 제수들의 증가 및 감소를 역으로 하는 단계와, c) 상기 변경된 제수들의 각각에 대하여 상기 반복 루프에서 상기 변경된 제수들이 감소뿐만 아니라 증가되었는지 여부를 체크하고, 감소뿐만 아니라 증가되었다면, 소정의 마킹값을 이러한 제수에 할당하고, 제수 마킹값들로부터 매트릭스 상태값을 계산하는 단계인 a) 내지 c) 단계들을 반복적으로 수행하는 단계와, 반복 횟수가 제1 임계값을 초과하거나 상기 매트릭스 상태값이 제2 임계값을 초과하면, 최후의 후보 양자화 매트릭스를 상기 양자화 매트릭스로서 출력하는 단계를 수행하는데 적합한 수단을 포함한다. 본 발명의 추가 실시예는 각 종속항에 기재되어 있다.

첨부 도면을 참조하여 본 발명의 예시적 실시예를 설명한다.

이하, 인트라 블록 및 인터 블록 모두를 위한 양자화 매트릭스의 적응적 계산을 위한 여러 방법들을 설명한다. 이들 방법은, JPEG, MPEG-2 및 MPEG-4 H.264 FRExt와 같은 DCT 기반 이미지 또는 비디오 코딩 표준 모두에 사용될 수 있으며, 양자화 프로세스가 주관적 또는 객관적 품질을 개선하거나 비트율을 조절하는 것에도 유연할 수 있다. HD 비디오 코딩에 있어서, 8*8 크기 변환은 4*4 크기 변환보다 양호하게 수행된다. 따라서, 특별히 언급하지 않는 한, 다음의 설명에서 4*4 변환은 디스에이블되며 양자화 매트릭스는 인트라 블록 및 인터 블록에 대하여 모두 8*8의 크기를 갖는다.

도 1은 HDTV 시퀀스 쿵푸에서 모든 인트라 프레임 8*8 블록들의 64개의 DCT 계수들의 진폭 레벨들의 평균 분포(즉, 히스토그램)를 나타낸다. 작은 이미지 각각은 DCT 위치에 대응한다. 수평 좌표는 양자화된 진폭값(레벨)이고, 수직 좌표는 양자화 후 그 레벨에서의 계수들의 수이다. 작은 이미지들은 래스터 순서로 배열되며, 즉, 히스토그램의 상위 라인은 순전히 수평 8*8 블록 주파수들을 좌측으로부터 우측으로 오름 차순으로 나타내는 반면 히스토그램의 좌측 컬럼은 순전히 수직 주파수들을 위에서부터 아래로 내림 차순으로 나타낸다.

도 2는 그 시퀀스에서의 모든 인터 프레임 블록들의 DCT 계수들의 대응하는 분포를 나타낸다. 도 1 및 도 2을 참조해 보면, 주파수 성분들의 대부분은 제로 주파수(즉, DC)에 가까운 영역(즉, 상위 좌측 가장자리)에 컴팩트화되거나 집중되 지 않지만 더 넓은 분포를 갖는다는 것이 명백하다. 반면에, 높은 주파수 성분들중 일부는 제로 발생에 가깝게 컴패트화되어 있다. 반면에, 높은 주파수 성분들이 일부 저 주파수 성분들의 편차와 유사한 큰 편차를 갖는 특정한 경우가 있다. 이것은, 이들 높은 주파수 성분들이 알려져 있는 양자화 매트릭스에서 중요하며 감소된 가중을 얻지 않아야 한다는 것을 의미한다. 그 주파수 성분들은 비디오 시퀀스의 코딩/디코딩을 뒤따르는 필름 그레인의 유지에 중요할 수도 있다.

다음과 같이 가정한다. 즉, 소정의 주파수 계수용 진폭이 더 높은 편차를 가지면, 진폭의 더 작은 편차를 갖는 주파수 성분을 위한 양자화 스케일링의 감소와 비교할 때 대응하는 양자화 스케일링의 작은 감소로 인해 많은 높은 전체 품질 개선을 야기하지 않는다고 가정한다. 따라서, 전자의 경우에 더 많은 비트 할당을 제공할 수 있다.

또한, 양자화 매트릭스에서 여러 개의 파라미터를 변경하는 것은 인트라 모드 판정 프로세스 및 인터 모션 보상 및 모드 판정에 영향을 끼치지 않는다고 가정한다.

MSE 왜곡 측정을 이용하지 않지만, 넌제로 진폭 퍼센트 및/또는 각 주파수 성분의 엔트로피와 같은 다른 측정을 이용하여 양자화 매트릭스에서 어느 스케일링 값들이 감소 또는 증가하는지를 판정할 수 있다. 이점으로는, 이것이 그 측정에 의해 코딩/디코딩 이미지 품질도 어느 정도 평가할 수 있다는 것을 의미한다.

다음의 설명에서, "양자화 파라미터"라는 용어(QP로 표기됨)를 사용한다. QP는 양자화 프로세스에서의 추가 제수를 나타낸다. 이 제수는 8*8 블록에서의 각 주파수 성분에 대하여 동일 값을 갖는다. 양자화된 변환 계수들(coef_qij)은 아래 식에 따른 변환 계수들(coef_ij)로부터 계산된다.

여기서, QM은 양자화 매트릭스이고, i 및 j는 8*8 블록에서의 수평 및 수직 위치 인덱스이다.

본 발명에 따르면, 높은 비트율 압축이 목적이기 때문에 제1 패스 동안 작은 QP('20')를 사용하여 양자화 매트릭스 발생을 다룰 수 있다. 이 QP 수는 매우 높은 비트율 압축을 위해 더 감소될 수 있다.

또다른 실시예에 따르면, 제1 패스동안 QP용으로 가능한 구성은 제2 패스에서의 최종 QP를 제1 패스로 복제, 즉, 목적지 QP를 이용하여 양자화 매트릭스를 다루는 것이다.

양자화 매트릭스의 각 조절동안, 결과적으로 발생하는 비트율을 대략 일정하게 유지하도록 양자화 매트릭스에서의 여러 스케일링 값들은 감소되는 한편 다른 여러 값들은 증가된다. DC 성분용 스케일링 값은 변경되지 않고 유지된다.

인트라 블록용 양자화 매트릭스는 I 프레임만을 고려함으로써 발생될 수 있다. 그러나, 인터 블록용 양자화 매트릭스의 발생은 다르다. 즉, P 프레임의 인터 블록을 사용할 수 있다. 또한, 블록 선택 프로세스는 이러한 블록들의 모션 벡터에 따라 인터 블록용으로 유용하다.

그러나, 일단 블록 데이터를 수신 및 변환하면, 인트라 및 인터 블록을 위한 양자화 매트릭스용 조절 프로세스는 동일하며 잔류를 고려하면 된다.

일반적으로, 양자화 매트릭스를 발생하는 프로세스는 단지 인트라 블록용으로 상세히 설명된다.

Step 0 T = 0; M_Status[8] [8]={0, 0,...},

여기서, T는 루프 카운터이고 M_Status는 매트릭스(M)의 요소들에 대한 상태 매트릭스이다.

Step 1 M = M₀, encode_slice(),

여기서, M₀는 초기 양자화 매트릭스이고 M은 갱신 양자화 매트릭스이다.

Step 2 TM = M, 여기서 TM은 후보 또는 테스트 양자화 매트릭스이다.

for each 0≤i, j<8 except (i,j) = (0,0)

TM_ij = Shrink(M_ij)

Metric_ij = Function(M, TM_ij)

Step 3 63개 위치에 대한 Metric_ij에 의해 N개의 최고 위치{P_k} 및 L개의 최악 위치{P_m}를 선택한다. 최고 및 최악 위치는 후술하는 바와 같이 측정 또는 계량에 의해 평가된다.

M and M_Status 갱신

1씩 증분

Step 4 if(T>Threshold1 OR ABS(M_Status) > (Threshold2) go to Step 6, else go to Step 5

Step 5 if (need_re-encode()) M₀ = M, go to Step 1,

else go to Step 2

Step 6 M₀ = M, 또다른 인코드 패스를 실행하여 최종 비트스트림을 얻는다.

양자화 매트릭스 발생 프로세스의 대응하는 흐름도가 도 3에 도시되어 있으며, Steps 0 내지 6을 나타내고 있다.

상술한 단계들에 있어서,

a) Step 2에서, 잔류 이미지만이 고려될 필요가 있다.

b) Step 2에서, Shrink() 함수는 후보 양자화 매트릭스(M)에서 변경되는 모든 스케일링 값과 예를 들어 β=0.88의 팩터와의 승산으로서 정의된다.

c) Step 3에서, 갱신 양자화 매트릭스(M)는 최고의 위치를 위해 후보 또는 테스트 양자화 매트릭스(TM)에서의 대응하는 값들을 사용한다. 최악의 위치에 대해서는, 대응하는 팩터, 예를 들어 1/β와의 승산을 이용한다.

d) Step 3에서, 매트릭스(M)의 상태 매트릭스(M_Status)의 갱신을 위해, 다음에 따르는 전략을 이용할 수 있다. 각 주파수 성분에 대항, 스케일링이 증가하거나 감소한 횟수를 계산한다. 일단 동일한 주파수 성분에 대하여 팩터의 증가 또는 감소가 발생하면, M_Status에서의 대응하는 값이 큰 수로 설정되고 이에 따라 그 주파수 성분은 추가 스케일링 조절되는 것이 금지된다.

e) Step 4에서, ABS(M_Status)는 매트릭스(M_Status)에서의 모든 값들의 절대값의 합이다.

f) Step 6에서, 리인코드 프로세스는 최종 인코드 프로세스때까지 실행될 수 있지만 바람직하게 양자화 매트릭스가 미리 기록되어 있다.

g) 인터 프레임에 대하여, 여러 개의 프레임으로부터의 인터 블록들을 함께 고려하여 그 인터 프레임이 대한 양자화 매트릭스를 얻을 수 있다. 비디오 분석을 이용하여 프레임들을 부분 또는 슬라이스로 분리할 수 있다. 인터 양자화 매트릭스에서의 스케일링 값들은 일반적으로 작기 때문에, 바람직하게 팩터(β)는 인트라 양자화 매트릭스에서 사용되는 팩터보다 크다. 또다른 방식은 β를 1로 설정하고 1을 가하거나 감하여 스케일링 값을 각각 증가 또는 감소하는 것이다. 그러나, 실험에 의하여 인트라 블록용 양자화 매트릭스의 설계가 인터 블록용보다 훨씬 더 중요하다는 것을 알게 되었다.

h) 실험에 의하여, Step 5에 따라 프레임이 리인코딩되더라도 최종 양자화 매트릭스(M)가 많이 변경되지 않는다는 것을 알게 되었다. 따라서, 리인코딩 단계는 항상 무시될 수 있으며 Step 5로 연속되는 Step 4 대신에 Step 2로 직접 진행될 수 있다.

Step 2에서 사용되는 함수(F로 표기함)가 중요하다. F는 양자화 매트릭스의 스케일링이 야기하는 변경에 관한 측정값이다. 다음의 설명에서, 특별히 언급하지 않는 한, 모든 파라미터 및 측정은 단일 주파수 성분 또는 계수 위치용으로 계산된다.

소정의 주파수 성분에 대한 넌제로 계수의 퍼센트는, 현재의 테스트 양자화 매트릭스를 적용한 후 모든 블록에 대하여 계산되며, 스케일링 축소되면 변경된다.

F는 F = (ρ₀-ρ₁)/(1-ρ₀)로 정의되며, 여기서, ρ₁은 하나의 주파수 성분에 대한 제로의 퍼센트이고, 첨자(0)는 구 스케일링에 해당되며 첨자(1)는 신 스케일링에 해당된다. 특히, 분모가 제로인 경우를 다룰 필요가 있다. F 값이 커질수록, 하나의 주파수 성분이 더 중요해진다. 따라서, 최고의 주파수 성분 및 최악의 주파수 성분을 선택할 수 있다. 한번 조절될 최고의 주파수 성분들의 수를 선택가능한 수는 N=4이고 조절될 최악의 주파수 성분들의 수는 L=2이다. 넌제로 계수들의 수 또는 넌제로 값들의 퍼센트는 양자화 후에 계산된다. 다시 말하면, 여기서 중요한 것은 각 양자화된 계수에 대한 진폭 레벨뿐이다. W*H의 크기를 갖는 인트라 프레임에 있어서, 다음의 인트라 예측에 따르면,

블록 수가 존재한다. 각 블록은 8*8 변환 후에 하나의 DC 계수 및 63개의 AC 계수를 갖는다. 소정의 양자화 매트릭스에 대하여, 동일한 주파수 성분(AC_ij)의 No_block 계수들은 양자화되며, 이 주파수 성분의 진폭 레벨들의 히스토그램이 His_ij로서 얻어진다. 따라서, 간단한 통계 변수인 ρ = His_ij(0)는 양자화 후에 단지 레벨(0) 계수들의 수를 고려한다. (데드존에 있는 모든 계수들이 제로로 양자화되는 영역인) 데드존에 존재하는 계수들의 수는 매우 중요한 주파수 성분의 정보이며 이것은 데드존에 존재하는지 아닌지에 따라 계수에 대한 상당한 차이이다.

라플라시안의 경우,

여기서, W₀ 및 W₁은 하나의 스케일링 조절 전후에서 데드존으로부터 벗어나기 위한 계수의 최소값들이다. 즉, (예를 들어), 'a'로 표기된 계수는 데드존을 벗어나게 되며 이에 따라 a ≥ W_i이면 1 이상의 레벨을 얻게 된다.

보다 일반적인 분포에 있어서, 하나의 주파수 성분의 확률 분포 함수(P(x≤X))는 [0, +∞]의 범위 내에 있으며, 여기서 'x는 랜덤 변수이며 'X'는 양의 실수라고 가정할 수 있다.

이에 따라,

여기서, 설명의 편의상, 랜덤 변수가 양의 영역에 분포되는 경우를 설명한다. 게다가, W₁ = W₀β가 사용되면,

따라서, 측정(F)은 시작 스케일링 값(W₀) 및 그 성분의 진폭 값 분포에 의존한다. 2개의 주파수 성분이 동일한 스케일링 값으로부터 시작되면, 보다 단축된 성분들이 제수를 저감할 가능성이 있다. 즉, 스케일링 값을 축소할 가능성이 있다.

HVS 모델에 기초하여, 디폴트 양자화 매트릭스는 상이한 성분들에 대하여 상이한 스케일링 값들을 제공한다. 디폴트 양자화 매트릭스에 비교할 때, 본 발명의 방법은 디폴트 양자화 매트릭스의 대략적인 구조를 유지하지만 진폭값 분포를 저감하기 위해 성분들중 일부를 조절한다. 바람직하게, 일부 유사한 조건에서, 데드존은 더 높은 비트 할당을 더 축소된 주파수 성분들에 제공함으로써 축소된다.

인트라 블록에 있어서, AC 계수의 분포로 인해, 양자화 프로세스동안, 대부분의 계수들은 데드존 내로 드롭되며, 이것은 AC 계수의 값을 위한 모든 정보가 손실되거나 상당히 소거된다는 것을 의미한다. 상술한 바와 같이, 알려져 있는 코딩 표준의 디폴트 양자화 매트릭스는, 높은 주파수 계수들이 노이즈를 나타낼 수 있으며 또는 인간의 시각계에 덜 민감할 수 있다는 가정에 기초하여 흔히 많은 양자화 제수를 높은 주파수에 할당한다.

인터 블록에 있어서, 동일한 전략을 이용하여 더 나은 양자화 매트릭스를 얻을 수 있다. 일부 비디오 시퀀스에 대하여, 그 결과는 현재까지 인터 블록용으로 명백하지 않다. 그러나, 인터 블록 양자화 매트릭스의 변경이 없더라도, 더 나은 인트라 블록 양자화 매트릭스 때문에, 뒤따르는 많은 프레임에서 더 나은 주관적인 품질을 주목할 수 있다.

본 발명에서, 주파수 성분의 감도를 위한 여러 측정을 정의하고 있다. 예를 들어, 계량 또는 측정은 데드존으로부터 벗어나는 계수값들의 수와 이미 데드존을 벗어난 계수값들의 수 간의 비율을 나타내야 한다.

다음의 표는 비디오 시퀀스 쿵푸용으로 사용될 수 있는 양자화 매트릭스를 나타낸다.

더 일반적인 계량 또는 측정은, 주파수 성분의 진폭 레벨들의 히스토그램이 제로 레벨의 정보보다 더 많은 정보를 포함하면 각 주파수 성분의 엔트로피에 관한 것이다.

각 주파수 성분(i, j)에 대하여, 엔트로피는 아래와 같다.

따라서, 다른 측정은 F_ij = △H_ij로서 정의될 수 있다. 이 측정은 전의 스케일링에서 그리고 데드존을 벗어나는 여러 개의 스케일링 계수들의 현재 축소후에 매우 적은 넌제로 레벨이 존재하는 경우에 매우 유용하다. 그리고, 주파수 성분이 많은 넌제로 레벨들을 갖는 경우에, 계수들의 동일한 변경으로 인해 대응하는 엔트로피가 많이 증가하지는 않는다. 양자화 후에, 모든 DCT 값들은 진폭 레벨(l=0, 1, ,2 및 그 이상의 레벨)로 양자화된다. 각 주파수 성분의 엔트로피를 보다 효율적으로 나타내려면, H_ij용 공식에서의 레벨(l)은 부호값(0, -1, 1, -2, 2, -3, 3 등 )으로 클리핑된다. 즉, 3보다 큰 절대값을 갖는 레벨들은 각각 3 또는 -3으로 처리된다. 이 방법은, 대부분의 계수들이 데드존에 존재하며 매우 적은 고 진폭값 레벨들이 존재한다는 실험에 기초하고 있다.

주관적인 품질의 개선을 고려할 때, 디폴트 양자화 매트릭스로 인코딩된 비디오 시퀀스의 비트율 및 본 발명의 양자화 매트릭스로 인코딩된 비디오 시퀀스의 비트율이 일반적으로 정확하게 동일하지 않다는 점을 유의해야 한다. 이것은, 비트율 유지가 양자화 매트릭스의 평가에 영향을 끼치는 또다른 중요한 이슈라는 것을 의미한다. 또다른 측정(F_ij = △H_ij/△R_ij)을 고려할 수 있으며, 여기서 △R_ij는 수정된 후보 양자화 매트릭스의 사용에 의해 야기되는 율 차이이다. 대부분의 엔트로리 값들(

)은 동일한 비트율을 갖는다. 즉, 비트 할당 방침은 더 많ㅇ흔 엔트로피 증가를 갖는 주파수 성분으로 향한다. 그러나, 이 측정은 극히 시간 소모적이며, 그 이유는 인코딩 프로세스 후에만 실제 비트율을 판정할 수 있기 때문이다. 즉, 63개의 F_ij 값들을 얻기 위해, 프레임(또는 완전한 비디오 시퀀스)은 적어도 63번 리인코딩될 필요가 있다. 이러한 오랜 계산을 피하기 위해, Zhihai의 ρ-도메인 모델처럼, △R의 추정을 이용할 수 있다([13]).

도 4에서, 인코더의 비디오 데이터 입력 신호(IE)는, 예를 들어, 인코딩용 휘도 및 색도 픽셀 블록을 포함하는 16*16 매크로블록 데이터를 포함한다. 인트라 프레임 또는 인트라필드 코딩되는 비디오 데이터의 경우(I 모드), 이것은 감산기(SUB)를 수정하지 않은채 패스한다. 이후, 예를 들어, 16*16 매크로블록들의 8*8 픽셀 블록들은, 이산 코사인 변환 수단(DCT) 및 양자화 수단(Q)에서 처리되고, 엔트로피 인코더(ECOD)를 통해 인코더 비디오 데이터 출력 신호(QE)를 출력하는 멀티플렉서(MUX)로 공급된다. 엔트로피 인코더(ECOD)는 양자화된 DCT 계수들에 대하여 Huffman 코딩을 실행할 수 있다. 멀티플렉서(MUX)에서, 헤더 정보 및 모션 벡터 데이터(MV) 및 될 수 있는 한 인코딩된 오디오 데이터는 인코딩된 비디오 데이터와 결합된다. 인터프레임 또는 인터필드 코딩되는 비디오 데이터의 경우, 예측된 매크로블록 데이터(PMD)는 감산기(SUB)에서 입력 신호(IE)로부터 블록 단위로 감산되고, 8*8 블록 차 데이터는 변환 수단(DCT) 및 양자화 수단(Q)을 통해 엔트로피 인코더(ECOD)로 공급된다. 양자화 수단(Q)의 출력 신호는 또한 대응하는 역 양자화 수단(Q_E ^-1)에서 처리되고, 이것의 출력 신호는 대응하는 역 이산 코사인 변환 수단(DCT_E ^-1)을 통해 결합기(ADDE)로 재구축된 블록 또는 매크로블록 차 데이터(RMDD)의 형태로 공급된다. ADDE의 출력 신호는 모션 보상 수단(FS_MC_E)의 픽쳐 스토어(picture store)에 버퍼-저장되며, 이것은 재구축된 매크로블록 데이터에 대하여 모션 보상을 실행하고 이에 대응하여 예측된 매크로블록 데이터(PMD)를 SUB의 감산 입력 및 결합기(ADDE)의 다른 입력에 출력한다. 양자화 수단(Q) 및 역 양자화 수단(Q_E ^-1)의 특징은, 예를 들어, 엔트로피 인코더(ECOD)에서의 인코더 버퍼의 점유 레벨에 의해 제어된다.

모션 추정기(ME)는, 입력 신호(IE)를 수신하며, 모션 보상 수단(FS_MC_E)에 필요한 모션 정보를 제공하고, 대응하는 디코더에 전송하여 평가되는 모션 벡터 데이터(MV)를 멀티플렉서(MUX)에 제공한다. Q_E ^-1, DCT_E ^-1, ADDE, 및 FS_MC_E는 수신기측 디코더의 시뮬레이션을 구성한다. 양자화 수단(Q) 및 역 양자화 수단(Q_E ^-1)은 상술한 본 발명의 처리에 따라 동작하는 양자화 매트릭스 계산기(QMC)에 접속된다.

상술한 설명은 휘도 블록에 관한 것이다. 색도 성분에 있어서, 양자화 매트릭스는 4*4이지만, 디폴트 양자화 매트릭스에 기초하여 동일한 조절 스킴을 실행하여 개선된 4*4 양자화 매트릭스를 얻을 수 있다.

또한, 상이한 블록 크기 및/또는 필드 및 프레임 매크로블록 코딩 모드에 대하여 특정 양자화 매트릭스를 발생할 수 있다.

주어진 수들은 다른 블록 크기가 사용되는 경우 이에 대응하여 채용된다.

본 발명은 여러 이점을 갖는다. 양자화 매트릭스를 발생하는 프로세스는 낮은 복잡성을 갖는다. 이것은 빠르다. 본 발명의 양자화 매트릭스는 고 품질 및 중간 또는 높은 비트율 응용에 대하여 사용될 수 있으며 그 이유는 사용되는 측정이 상세한 주파수 성분에 대하여 더 중점을 두기 때문이다. 이것은 필름 그레인을 유지하는 확률을 갖는다. 제1 이점은, 프레임이 단지 한번만 인코딩되며 잔류 픽쳐에 중점을 두기 때문이며, 그리고 각 주파수 성분에 대하여 매우 간단한 통계를 이용하기 때문에 얻게 된다. 이러한 통계는 임의의 형태의 왜곡을 고려할 필요가 없다. 양자화 파라미터는 원래의 비트율과 가까운 비트율 대응성을 얻도록 [-1, 1]의 범위에서 조절될 필요가 있다.

Claims

이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스(M)를 발생하는(QMC) 방법으로서,

픽셀 차 블록 또는 예측된 픽셀 블록(PMD)과 관련된 변환된 (DCT) 계수들의 인코딩 블록들은 상기 양자화 매트릭스를 이용하여 양자화(Q)되거나 추가로 역 양자화(Q_E ^-1)되고, 상기 매트릭스 내에서 특정 제수가 계수 블록 내의 각 계수 위치에 할당되며,

상기 방법은,

변환된 DC 계수용으로 하나의 제수 및 변환된 AC 계수들용으로 여러 개의 제수를 포함하는 소정의 양자화 매트릭스(M₀)를 후보 양자화 매트릭스(TM)로서 로딩하는 단계와,

소정의 픽쳐나 픽쳐 시퀀스에 대하여, 또는 소정의 픽쳐나 픽쳐 시퀀스내의 슬라이스에 대하여,

a) 상기 후보 양자화 매트릭스(M)에서 상기 AC 계수 제수들중 하나 이상을 증가하는 한편 상기 후보 양자화 매트릭스(M)에서 상기 AC 계수 제수들중 다른 제수들의 하나 이상을 감소하는 단계와,

b) 상기 인코딩에서 갱신된 후보 양자화 매트릭스를 적용할 때, 결과적으로 갱신된 후보 양자화 매트릭스(TM)의 변경된 제수들에 대하여 결과적으로 픽쳐 인코 딩 및 디코딩 품질이 개선되는지 여부를 측정하고, 개선되었다면, 다음에 따르는 반복 루프에서 변경된 제수들의 추가 증가 또는 감소를 허용하며, 개선되지 않았다면, 상기 제수들중 다른 제수들을 증가 및 감소하며 그리고/또는 상기 변경된 제수들의 증가 및 감소를 역으로 행하는 단계와,

c) 상기 변경된 제수들의 각각에 대하여 상기 반복 루프에서 상기 변경된 제수들의 각각이 감소뿐만 아니라 증가되었는지 여부를 체크하고, 감소뿐만 아니라 증가되었다면, 소정의 마킹값을 그 제수에 할당하고, 제수 마킹값들로부터 매트릭스 상태값(M_Status)을 계산하는 단계인, a) 내지 c) 단계들을 반복적으로 수행하는 단계와,

반복 횟수가 제1 임계값을 초과하거나 상기 매트릭스 상태값(M_Status)이 제2 임계값을 초과하면, 최종 후보 양자화 매트릭스를 상기 양자화 매트릭스(M)로서 출력하는 단계

를 포함하는 방법.
이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는 양자화 매트릭스(M)를 발생하는 장치로서,

픽셀 차 블록 또는 예측된 픽셀 블록(PMD)에 관한 변환된 (DCT) 계수들의 인코딩 블록들은 상기 양자화 매트릭스를 이용하여 양자화(Q)되거나 추가로 역 양자화(Q_E ^-1)되고, 상기 매트릭스 내에서 특정 제수가 계수 블록 내의 각 계수 위치에 할당되며,

상기 장치는,

변환된 DC 계수용으로 하나의 제수 및 변환된 AC 계수들용으로 여러 개의 제수를 포함하는 소정의 양자화 매트릭스(M₀)를 후보 양자화 매트릭스(TM)로서 로딩하는 단계와,

소정의 픽쳐나 픽쳐 시퀀스에 대하여, 또는 소정의 픽쳐나 픽쳐 시퀀스내의 슬라이스에 대하여,

a) 상기 후보 양자화 매트릭스(M)에서 상기 AC 계수 제수들중 하나 이상을 증가하는 한편 상기 후보 양자화 매트릭스(M)에서 상기 AC 계수 제수들중 다른 제수들의 하나 이상을 감소하는 단계와,

b) 상기 인코딩에서 갱신된 후보 양자화 매트릭스를 적용할 때, 결과적으로 갱신된 후보 양자화 매트릭스(TM)의 변경된 제수들에 대하여 결과적으로 픽쳐 인코딩 및 디코딩 품질이 개선되는지 여부를 측정하고, 개선되었다면, 다음에 따르는 반복 루프에서 변경된 제수들의 추가 증가 또는 감소를 허용하며, 개선되지 않았다면, 상기 제수들중 다른 제수들을 증가 및 감소하며 그리고/또는 상기 변경된 제수들의 증가 및 감소를 역으로 행하는 단계와,

c) 상기 변경된 제수들의 각각에 대하여 상기 반복 루프에서 상기 변경된 제수들의 각각이 감소뿐만 아니라 증가되었는지 여부를 체크하고, 감소뿐만 아니라 증가되었다면, 소정의 마킹값을 그 제수에 할당하고, 제수 마킹값들로부터 매트릭 스 상태값(M_Status)을 계산하는 단계인, a) 내지 c) 단계들을 반복적으로 수행하는 단계와,

반복 횟수가 제1 임계값을 초과하거나 상기 매트릭스 상태값(M_Status)이 제2 임계값을 초과하면, 최후의 후보 양자화 매트릭스를 상기 양자화 매트릭스(M)로서 출력하는 단계

를 수행하는데 적합한 수단(QMC)을 포함하는 장치.
제1항 또는 제2항에 있어서,

별도의 양자화 매트릭스는, 인트라 블록 및 인터 블록에 대하여, 그리고 선택사항으로서 휘도 및 색도 블록들, 상이한 블록 크기들, 필드 및 프레임 매크로블록 코딩 모드들중 하나 이상에 대하여 생성되는 방법 또는 장치.
제1항 또는 제3항, 또는 제2항 또는 제3항에 있어서,

상기 제수의 증가 및 감소는 반복 루프마다 고정된 팩터에 의해 실행되는 방법 또는 장치.
제1항, 제3항, 및 제4항중 어느 한 항, 또는 제2항 내지 제4항중 어느 한 항에 있어서,

블록에서의 각 주파수 성분 위치에 대하여, 계수 진폭 분포 통계가 확립되며, 상기 분포 통계는 상기 반복에서 후보 양자화 매트릭스의 조절에 사용되는 방 법 또는 장치.
제5항에 있어서,

양자화된 넌제로 계수들의 퍼센트 및/또는 블록에서의 각 주파수 성분 위치에 대한 엔트로피는 분포 통계로서 계산되는 방법 또는 장치.
제6항에 있어서,

상기 엔트로피는, 양자화된 계수들의 진폭 레벨들을 소정의 간격으로 클립핑한 후에 계산되는 방법 또는 장치.
제6항 또는 제7항에 있어서,

상기 엔트로피 및 출력 비트율은 모두 양자화 매트릭스 발생에서 평가되는 방법 또는 장치.
제8항에 있어서,

현재의 후보 양자화 매트릭스 및 이전의 후보 양자화 매트릭스로부터 발생하는 비트율들 간의 차이는 상기 양자화 매트릭스 발생에서 평가되는 방법 또는 장치.
제6항 내지 제9항중 어느 한 항에 있어서,

상기 엔트로피의 합은 픽쳐 코딩 및 디코딩 품질의 평가용 기준으로서 이용되는 방법 또는 장치.
제1항 및 제3항 내지 제10항중 어느 한 항의 방법에 따라 발생한 양자화 매트릭스를 이용하여 이미지 또는 픽쳐 시퀀스를 인코딩하는 방법.