KR20090073471A

KR20090073471A - Fast Intermode Decision Method for Video Coding

Info

Publication number: KR20090073471A
Application number: KR1020070141425A
Authority: KR
Inventors: 김기범; 홍민철; 윤성현
Original assignee: (주)씨앤에스 테크놀로지
Priority date: 2007-12-31
Filing date: 2007-12-31
Publication date: 2009-07-03

Abstract

움직임 추정(motion estimation)에 소요되는 시간을 감소시키기 위한 고속 인터모드 결정 방법을 개시한다. 다양한 블록 크기의 움직임 추정 모드를 사용하는 비디오 부호화 방식에서 가장 큰 움직임 추정 단위인 mode1의 영상 복잡도가 특정한 기준 값 미만인 경우 서브매크로블록 모드가 아닌 큰 크기의 블록 모드로 인터모드가 결정될 가능성이 높은 것을 이용하여, 현재 매크로블록의 mode1의 영상 복잡도가 기준 값보다 작은 경우 서브매크로블록 모드(mode4, mode5, mode6, mode7)에 대한 움직임 추정을 생략한다.Disclosed is a fast intermode determination method for reducing the time required for motion estimation. In the video encoding method using the motion estimation modes of various block sizes, if the image complexity of mode1, which is the largest motion estimation unit, is less than a specific reference value, it is highly likely that the inter mode is determined to be a large block mode rather than a submacroblock mode. If the image complexity of mode1 of the current macroblock is smaller than the reference value, motion estimation for the submacroblock modes (mode4, mode5, mode6, and mode7) is omitted.

Description

Fast Inter Mode Decision for video encoding

본 발명은 H.264 부호화에 관한 것으로, 보다 상세하게는 움직임 추정(motion estimation)에 소요되는 시간을 감소시킬 수 있는 H.264 부호화를 위한 움직임 추정에서의 인터 모드 예측 방법에 관한 것이다.The present invention relates to H.264 encoding, and more particularly, to an inter mode prediction method in motion estimation for H.264 encoding, which can reduce the time required for motion estimation.

현재 널리 사용되고 있는 H.264 부호화는 부호화 효율을 향상시키기 위하여 다수의 새로운 기술을 채택하고 있다. 이들 중 가변 블록 크기 기반의 움직임 추정 기법은 부호화 효율의 향상에 있어 큰 효과를 가져올 수 있으나, 이에 따른 계산량의 증가도 동시에 야기하고 있다.H.264 encoding, which is widely used at present, employs a number of new techniques to improve encoding efficiency. Among these, the variable block size-based motion estimation technique can have a great effect on the improvement of the coding efficiency, but also increases the amount of computation.

움직임 추정은 동영상 부호화시에 시간적 중복성(temporal redundancy)을 제거하여 비트율을 줄이기 위해 수행되는 것으로, 전체 부호화 시간의 약 60~70%를 차지하며, 이러한 계산량은 가변 블록 크기 움직임 추정 기법으로 인해 더욱 증가한다. 이와 같이 많은 계산량은 저전력 실시간 비디오 부호화기를 설계하는데 어려움을 주며, 부호화기의 구현 비용을 증가시키는 요인이 되고 있다. Motion estimation is performed to reduce the bit rate by eliminating temporal redundancy during video encoding, which takes about 60 to 70% of the total coding time, and this amount of computation is further increased due to the variable block size motion estimation technique. do. Such a large amount of computation has difficulty in designing a low power real-time video encoder and increases the implementation cost of the encoder.

따라서, 저비용으로 저전력 실시간 비디오 부호화기를 구현하기 위해서 가변 블록 크기 기반의 움직임 추정에서 필요한 계산량을 감소시키는 기법이 필요하다.Therefore, in order to implement a low power real-time video encoder at low cost, a technique for reducing the amount of computation required for motion estimation based on variable block size is required.

본 발명의 목적은 상기한 목적을 달성하기 위하여 안출된 것으로서, 움직임 추정 초기에 최적으로 결정될 확률이 낮은 일부 모드에 대한 움직임 추정을 생략함으로써 저전력 실시간 부호화기 구현의 어려움을 해결하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to solve the difficulty of implementing a low power real time encoder by omitting motion estimation for some modes having low probability of being optimally determined at the beginning of motion estimation.

상기 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 영상의 복잡도를 이용한 고속 인터모드 결정방법은 현재 매크로블록의 모드 1의 영상 복잡도를 계산하는 단계와, 상기 영상 복잡도를 기준 값과 비교하는 단계와, 상기 영상 복잡도가 기준 값 미만인 경우에 서브매크로블록 모드를 제외한 일부 모드에 대한 움직임 추정을 수행하는 단계 및 상기 영상 복잡도가 기준 값 이상인 경우에 서브매크로블록 모드를 포함한 모드에 대한 움직임 추정을 수행하는 단계를 포함한다.In order to achieve the above object, a method of determining a fast intermode using a complexity of an image according to an embodiment of the present invention includes calculating an image complexity of mode 1 of a current macroblock, and comparing the image complexity with a reference value. And performing motion estimation for some modes except the sub macroblock mode when the image complexity is less than the reference value, and performing motion estimation for the mode including the sub macroblock mode when the image complexity is above the reference value. It includes a step.

또한, 본 발명에 있어서, 상기 영상의 복잡도는 상기 현재 매크로블록에 대한 SAD 값인 것이 바람직하다.In addition, in the present invention, the complexity of the image is preferably the SAD value for the current macroblock.

또한, 본 발명에 있어서, 상기 기준 값(SADthr)은 SADthr=α×exp[(QP+2)/17](α는 확률 계수, QP는 양자화 파라미터)에 의해 계산되는 것이 바람직하다.In addition, in the present invention, the reference value SADthr is preferably calculated by SADthr = α × exp [(QP + 2) / 17] (α is a probability coefficient and QP is a quantization parameter).

또한, 본 발명에 있어서, 상기 일부 모드는 모드 1, 모드2 및 모드3인 것이 바람직하다.In addition, in the present invention, it is preferable that some of the modes are Mode 1, Mode 2 and Mode 3.

이상 설명한 바와 같이, 본 발명에 따르면 H.264 표준과 같이 가변블록 모드를 지원하는 동영상 부호화시에 가장 많이 차지하는 움직임 추정의 계산량을 감소시킴으로써 실시간 부호화기 구현의 어려움을 해결할 수 있다는 장점을 제공한다.As described above, according to the present invention, it is possible to solve the difficulty of real-time encoder implementation by reducing the calculation amount of motion estimation, which occupies the most during video encoding that supports the variable block mode as in the H.264 standard.

본 발명의 목적은 비디오 부호화를 위한 움직임 추정을 위한 계산량을 감소시키는 방법에 관한 것으로서, 보다 상세하게는 통계적 특성을 이용한 고속 인터모드 결정 방법에 관한 것이다.An object of the present invention relates to a method for reducing the amount of computation for motion estimation for video encoding, and more particularly, to a method for determining a fast intermode using statistical characteristics.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 복잡도를 이용한 고속 인터모드 결정방법은 현재 매크로블록의 모드 1의 영상 복잡도를 계산하는 단계와, 상기 영상 복잡도를 기준 값과 비교하는 단계와, 상기 영상 복잡도가 기준 값 미만인 경우에 서브매크로블록 모드를 제외한 일부 모드에 대한 움직임 추정을 수행하는 단계, 및 상기 영상 복잡도가 기준 값 이상인 경우에 서브매크로블록 모드를 포함한 모드에 대한 움직임 추정을 수행하는 단계를 포함한다.In accordance with an aspect of the present invention, there is provided a method of determining a fast intermode using a complexity of an image. The method may further comprise calculating an image complexity of mode 1 of a current macroblock, and comparing the image complexity with a reference value. Performing motion estimation for some modes except the sub macroblock mode when the image complexity is less than the reference value, and motion estimation for the mode including the sub macroblock mode when the image complexity is above the reference value. It includes the step of performing.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다. 이하 설명은 가변 블록 크기의 움직임 추정 모드를 지원하는 비디오 부호화기 중에서 널리 사용되고 있는 H.264 부호화기를 기준으로 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following description will be based on an H.264 encoder that is widely used among video encoders that support a motion estimation mode having a variable block size.

도 1은 H.264 부호화기의 블록도이다.1 is a block diagram of an H.264 encoder.

도 1을 참조하면, 부호화 대상 영상은 매크로블록(Macroblock)단위로 부호화된다. H.264 부호화기의 핵심은 인트라 모드(Intra Mode)와 인터 모드(Inter Mode)로 부호화 블록과 유사한 블록을 예측하는 것이다. Referring to FIG. 1, an encoding target video is encoded in macroblock units. The core of the H.264 encoder is to predict blocks similar to coded blocks in intra mode and inter mode.

인트라 모드는 화면 내 영상의 중복성을 제거하기 위한 모드로 입력된 영상 데이터로부터 구성 되어지며, 인터 모드는 화면 간 영상의 중복성을 제거하기 위한 모드로 이전에 부호화된 참조 프레임(Reference Frame)을 이용하여 움직임 추정(ME)과 움직임 보정(MC)에 의하여 구성되어진다. 각 모드에 의해 생성된 예측 블록은 입력된 영상 데이터와의 차 연산을 수행하여 잔여(Residual) 매크로블록을 생성한다. Intra mode is composed of the input image data to remove the redundancy of the image in the screen, and inter mode is a mode to remove the redundancy of the image between the screen using a previously encoded reference frame (Reference Frame) It consists of a motion estimation ME and a motion correction MC. The prediction block generated by each mode performs a difference operation with the input image data to generate a residual macroblock.

이 잔여 블록은 정수 변환(T)과 양자화(Q)를 거쳐 양자화된 변환 계수로 변환되며 엔트로피코딩(Entropy Coding)을 거친다. 그와 동시에 생성된 양자화된 변환 계수는 다시 역양자화(Q^-1)와 정수 역변환(T^-1)을 수행한다. The residual block is transformed into quantized transform coefficients through an integer transform (T) and a quantization (Q) and subjected to entropy coding. At the same time, the generated quantized transform coefficients perform inverse quantization (Q ⁻¹ ) and integer inverse transform (T ⁻¹ ).

인트라 모드 또는 인터 모드로 형성된 값과 합 연산을 수행 후 필터를 거쳐 재구성된 참조 영상으로 사용된다. A sum operation with a value formed in an intra mode or an inter mode is performed and then used as a reconstructed reference image through a filter.

이러한 부호화 과정 중에서, 본 발명은 움직임 추정에 관련하고 있다.Among these encoding processes, the present invention relates to motion estimation.

도 2는 H.264 부호화 방식의 움직임 추정 모드를 보여준다. 2 shows a motion estimation mode of the H.264 coding method.

움직임 추정 모드는 매크로블록 단위(16×16)인 모드1부터 가장 작은 블록 단위(4×4)인 모드7이 있다. The motion estimation modes range from mode 1, which is a macroblock unit (16 × 16), to mode 7, which is the smallest block unit (4 × 4).

움직임이 많은 영상에서는 작은 블록 단위의 모드가 많이 나타나지만 움직임이 적은 영상에서는 작은 블록 단위의 모드가 많이 나타나지 않는다. In small motion images, many small block modes appear, but in small motion images, many small block modes do not appear.

한편 움직임이 많은 영상의 경우에 움직임 추정 과정을 거쳐서 생성된 잔여블록의 영상 복잡도는 크지만 움직임이 적은 영상의 경우에는 움직임 추정 과정을 거쳐서 생성된 잔여블록의 영상 복잡도는 작다.On the other hand, in the case of an image having a lot of motion, the image complexity of the residual block generated through the motion estimation process is large, but in the case of an image having little motion, the image complexity of the residual block generated through the motion estimation process is small.

통상적으로 움직임 추정 과정은 매크로블록 모드(모드 1, 모드 2, 모드 3)에 대해 먼저 수행된 후 서브매크로블록 모드(모드4, 모드5, 모드6, 모드7)에 대해 수행된다. 서브매크로블록 모드에서 움직임 추정이 수행되려면 현재 매크로블록 및 참조 프레임의 참조영역에 대한 업샘플링 과정이 필요하기 때문이다.Typically, the motion estimation process is performed first for the macroblock mode (mode 1, mode 2, mode 3) and then for the submacroblock mode (mode 4, mode 5, mode 6, mode 7). This is because motion estimation in the submacroblock mode requires an upsampling process for the reference region of the current macroblock and the reference frame.

한편 통계적으로 볼 때 영상의 복잡도가 작은 경우에 최적의 모드는 주로 매크로블록 모드에서 결정된다. On the other hand, statistically, the optimal mode is mainly determined in the macroblock mode when the complexity of the image is small.

본 발명은 이러한 특성을 이용한 것으로 도 3을 참조하여 움직임 추정 과정에서 필요한 계산량을 줄이는 기법을 설명한다.The present invention uses this characteristic, and with reference to FIG. 3, a technique for reducing the amount of calculation required in the motion estimation process will be described.

도 3은 움직임 추정시의 고속 인터 모드 결정 과정을 보여준다.3 shows a fast inter mode determination process in motion estimation.

먼저 모드1(16×16)에 대하여 SAD(Sum of Absolute Difference) 값을 계산한다(S100). SAD와 MAD(Mean Absolute Difference)는 영상의 복잡도를 계산하는 지표로 사용되는데, 주로 SAD가 널리 사용된다.First, a SAD (Sum of Absolute Difference) value is calculated for Mode 1 (16 × 16) (S100). SAD and MAD (Mean Absolute Difference) are used as an index for calculating the complexity of an image. SAD is widely used.

단계(S110)에서 QP에 따라 계산된 SAD 임계치(SADthr)를 계산하게 된다(S110). In step S110, the SAD threshold SADthr calculated according to the QP is calculated (S110).

여기서, 수학식1의 알파 값은 부호화 환경에 의해 설정되는 값으로 확률이 높은 알파 값일수록 PSNR, Bitrate등 영상 화질과 압축 효율이 높아지는 반면 부호화 시간이 더 많이 소요된다. 반대로 확률이 낮은 알파 값일수록 영상 화질과 압축 효율은 낮아지는 반면 부호화 시간은 더 빨라진다. 부호화 시 요구되는 환경에 따라 알파 값에 대한 설정이 우선된다.Here, the alpha value of Equation 1 is a value set by the encoding environment, and the higher the alpha value, the higher the image quality and compression efficiency such as PSNR and Bitrate, while requiring more encoding time. Conversely, the lower the probability of alpha, the lower the image quality and compression efficiency, but the faster the encoding time. The setting of the alpha value takes precedence according to the environment required for encoding.

확률percentage 70%70% 75%75% 80%80% 85%85% 90%90% 95%95% αα 300300 290290 280280 220220 140140 100100

수학식1은 다양한 영상에 대한 실험 결과를 통계적으로 처리하여 얻은 경험식이다.Equation 1 is an empirical equation obtained by statistically processing experimental results on various images.

그리고 나서 SAD값이 SAD 임계치 보다 작은지 확인한다(S120). SAD값이 SAD 임계치 이하인 경우라면 영상이 복잡하지 않은 것을 의미하고, 이 경우에는 모든 모드에 대해 움직임 추정을 수행하지 않고 서브매크로블록 모드를 제외한 일부 모드에 대한 움직임 추정을 수행한다. SAD값이 SAD 임계치보다 큰 경우라면 서브매크로블록 모드에 대해서도 움직임 추정을 수행한다.Then, it is checked whether the SAD value is smaller than the SAD threshold (S120). If the SAD value is less than or equal to the SAD threshold, it means that the image is not complicated. In this case, the motion estimation is performed for some modes except the sub macroblock mode without performing motion estimation for all modes. If the SAD value is larger than the SAD threshold, motion estimation is also performed for the submacroblock mode.

예컨대, 모드1, 모드2, 모드3에 대한 움직임 추정을 수행하며, 서브매크로블록 모드(mode4, mode5, mode6, mode7)에 대한 움직임 추정은 생략한다(S130). 반면 SAD 값이 SAD 임계치보다 큰 경우라면 모든 모드에 대한 움직임 추정을 수행한다(S140). 각 모드에 대한 움직임 추정이 끝나면, 가장 적은 비용을 갖는 최적의 모드를 선택한다(S150).For example, motion estimation for mode 1, mode 2, and mode 3 is performed, and motion estimation for submacroblock modes (mode4, mode5, mode6, and mode7) is omitted (S130). On the other hand, if the SAD value is larger than the SAD threshold, motion estimation for all modes is performed (S140). After the motion estimation for each mode is finished, an optimal mode having the lowest cost is selected (S150).

움직임 추정시의 영상의 복잡도를 이용하여 고속 인터 모드 결정하는 장치는 통상의 CPU로 구현되거나 또는 하드웨어 비디오 코덱 내에 구현될 수 있다. 이와 같이 연산이 가능한 프로세서(CPU 또는 하드웨어 비디오 코덱의 컨포넌트)는 고속 인터 모드 결정 장치로서 동작하는데 필요한 데이터를 저장하기 위한 메모리를 필 요로 한다. The apparatus for determining the fast inter mode using the complexity of the image at the time of motion estimation may be implemented in a conventional CPU or in a hardware video codec. A processor that can operate as described above (a component of a CPU or a hardware video codec) needs a memory for storing data necessary to operate as a high speed inter mode decision apparatus.

즉, 프로세서는 도 3에서 설명한 바와 같이 현재 매크로블록에 대한 움직임 추정 과정에서 모드 1일 때의 영상 복잡도를 계산하고, 영상 복잡도를 특정한 기준 값과 비교한다. That is, the processor calculates the image complexity in mode 1 in the motion estimation process for the current macroblock as described in FIG. 3, and compares the image complexity with a specific reference value.

비교 결과 현재 매크로블록이 복잡하지 않다고 판단된 경우 서브매크로블록 모드를 제외한 일부 모드에 대한 움직임 추정만을 수행하여 움직임 추정에 필요한 연산량을 줄인다. 반면 비교 결과 현재 매크로블록이 복잡하다고 판단된 경우 모든 모드에 대한 움직임 추정을 수행한다. As a result of the comparison, when it is determined that the current macroblock is not complicated, only the motion estimation for some modes except the submacroblock mode is performed to reduce the amount of computation required for the motion estimation. On the other hand, if the comparison determines that the current macroblock is complex, motion estimation is performed for all modes.

도 2는 H.264의 움직임 추정 모드를 보여주는 도면이다.2 is a diagram illustrating a motion estimation mode of H.264.

도 3은 본 발명의 일 실시예에 따른 고속 인터모드 결정 과정을 보여주는 흐름도이다.3 is a flowchart illustrating a fast intermode determination process according to an embodiment of the present invention.

Claims

Calculating the image complexity of mode 1 of the current macroblock;

Comparing the image complexity with a reference value;

Performing motion estimation for some modes except sub macroblock mode when the image complexity is less than a reference value;

And performing motion estimation for a mode including a sub macroblock mode when the image complexity is greater than or equal to a reference value.

The method of claim 1,

And the complexity of the image is a SAD value for the current macroblock.

The method of claim 2,

The reference value SADthr is calculated by SADthr = α × exp [(QP + 2) / 17] (α is a probability coefficient and QP is a quantization parameter).

The method according to any one of claims 1 to 3,

The partial mode is a mode 1, a mode 2 and a mode 3, characterized in that the fast inter-mode determination method using the complexity of the image.