JP3945676B2

JP3945676B2 - Video quantization control device

Info

Publication number: JP3945676B2
Application number: JP2000252425A
Authority: JP
Inventors: 幸一高木; 淳小池; 正裕和田; 修一松本
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI Research Inc
Priority date: 2000-08-23
Filing date: 2000-08-23
Publication date: 2007-07-18
Anticipated expiration: 2020-08-23
Also published as: JP2002064829A

Description

【０００１】
【発明の属する技術分野】
この発明は動画像の量子化制御装置に関し、特に、未来の画像の予測に使用されない現在の画像の領域、あるいは人の目に目立ちにくい動きの速い現在の画像の領域を粗く符号化するようにして、全体の符号化効率を向上させるようにする動ベクトルを用いた動画像の量子化制御装置に関する。
【０００２】
【従来の技術】
従来のＭＰＥＧ−２ＴＭ５では、レート制御は次の３段階のステップで行われている。
ステップ１：各ピクチャへのビット配分、
ステップ２：仮想バッファを用いたレート制御、
ステップ３：視覚特性を考慮した適応量子化、
【０００３】
ここで、Ｉピクチャのブロックｉの量子化スケールコードmquant[i] は、前記ステップ２で得られる量子化スケールコードをＱ[i] 、前記ステップ３の視覚特性による正規化アクティビティをＮact[i]とおくと、周知のように、次の(1) 式で与えられる。
mquant[i] ＝Ｎact[i]×Ｑ[i] …(1)
【０００４】
このレート制御によれば、例えば、画面内のみで符号化を行うＩピクチャへの符号量配分は、画面間の相関も利用して符号化を行うＰ，Ｂピクチャと比較して多くなる。また、視覚的に劣化の目立ちやすい平坦部に符号が多く配分されるようになる。
【０００５】
【発明が解決しようとする課題】
以上のように、従来のレート制御によれば、符号化効率の向上に関して一定の成果が得られるが、さらに符号化効率を向上させることに配慮がなされていなかった。
【０００６】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、従来のレート制御よりさらに符号化効率を向上させることができる動画像の量子化制御装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、予め定められた値αを要素とする、画像Ｘと同じ大きさの行列Ｍを生成する手段と、該画像Ｘと未来の画像Ｙとから、該画像Ｘに対する画像Ｙの動きベクトルＭＶを所定の領域毎に求める手段と、該領域毎の動きベクトルＭＶを、動きベクトルのｘ、ｙ成分を変数とする増加関数に適用して、該領域の見え難さ値を求める手段とを具備し、該動きベクトルＭＶの根元に当る画像Ｘの領域と同じ領域の前記行列Ｍを、該領域の見え難さ値で塗り潰し、かつ該領域の見え難さ値の小さい値を優先させ、このようにして得られた行列Ｍ’から該領域毎の正規化アクティビティを求め、該正規化アクティビティから量子化係数を求めることにより、該行列Ｍ’をレート制御に反映させるようにした点に特徴がある。
【０００９】
この特徴によれば、動きの存在する領域の劣化は殆ど生じずに、静止領域の画質を向上させることができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像の量子化制御装置を備えた符号化器の概略の構成を示すブロック図である。
【００１１】
符号化器は、遅延部で遅延された原画Ｘが入力する減算器１、該減算器１の出力を直交変換するＤＣＴ部２、レート制御部６からの量子化スケールコードmquant[i] を基に量子化する量子化部３、量子化データを可変長符号化する可変長符号化部４、符号化データを所定の伝送レートで回線に送出すると共に、その充満度をレート制御に伝えるバッファ５、後述する本発明を取り入れてレート制御情報（mquant[i] ）を作成しこれを量子化部３に提供するレート制御部６、前記量子化データを逆量子化する逆量子化部７、逆ＤＣＴ部８、加算器９、フレームメモリ１０、および第１、第２のスイッチ部１１、１２を備え、Ｉピクチャの符号化時には第１のスイッチ部１１はオフ、第２のスイッチ部１２は接地に接続され、Ｐ，Ｂピクチャの符号化時には第１のスイッチ部１１はオン、第２のスイッチ部１２は減算器１に接続される。
【００１２】
また、該符号化器には、本発明の要部である、前記原画Ｘと未来の原画Ｙとから動きベクトル（ｘ，ｙ）（ここに、ｘはｘ成分、ｙはｙ成分）を求める動きベクトル演算部２１、該動きベクトル演算部２１で得られたベクトル（ｘ，ｙ）を基に、動視覚特性に基づく物体の見え難さを示す関数ｆ（ｘ，ｙ）値を演算する見え難さ関数値演算部２２、および量子化制御マトリックス生成部２３からなる動画像の量子化制御装置が付設されている。
【００１３】
次に、本実施形態の動作を説明する。なお、前記符号化器はＭＰＥＧ２の符号化器と同構成であるので、その動作説明を省略し、本発明の要部である動画像の量子化制御装置の動作について、以下に説明する。
【００１４】
図２において、原画Ｙ（以下、ピクチャＹと呼ぶ）は、原画Ｘ（以下、ピクチャＸと呼ぶ）の未来のピクチャ、例えば１フレーム未来のピクチャであるとする。いま、ピクチャＹがピクチャＸに動き補償される場合、ピクチャＸを符号化することを考える。また、ピクチャＹのあるブロック１のピクチャＸに対する動きベクトルＭＶのｘ，ｙ成分が（ｘ，ｙ）であった場合、該動きベクトル（ｘ，ｙ）をもつ物体の見え難さを示す関数ｆ（ｘ，ｙ）を、下記の(2) 式のように設定する。

【００１５】
この式は、物体の見え難さは、動きベクトル成分（ｘ，ｙ）に対して単調増加であること、および許容限速度に関して、垂直成分は水平成分のおよそ７割であることが確認されていることから、本発明者が考案したものである。なお、関数ｆ（ｘ，ｙ）が大きいということは、動きベクトル成分（ｘ，ｙ）が大きいということであるから、物体の動きが速く、物体が見え難いということができる。
【００１６】
再度、図２を参照して、本実施形態の処理手順を説明する。
【００１７】
(1) ピクチャＸと同じサイズの行列Ｍを考え、該行列の全部の要素として、ある大きな値αを入れる。この時の行列Ｍは、図３のようになる。このαとして、例えば前記(2) 式の最大値を用いることができる。
【００１８】
(2) 次に、ピクチャＹに対して、１６×１６画素ブロック（ＭＢ）毎に、ピクチャＸとの差分絶対値和（ＳＡＤ）が最小になるという規範の基に、動きベクトルＭＶを求める。この時、該ピクチャＹのあるマクロブロック（以下、注目ＭＢと呼ぶ）１の動き推定に使用されるピクチャＸのマクロブロックがブロック２であるとすると、該ブロックを根元（始点）のブロック２と呼ぶことにする。なお、同じＳＡＤ値をもつ動きベクトルＭＶが複数個存在した場合には、前記ｆ（ｘ，ｙ）が最小になるＭＶを選択する。
【００１９】
(3) 次に、該ＭＶの成分（ｘ，ｙ）を前記(2) 式に代入して、物体の見え難さを示す値を求め、この値を、行列Ｍの前記根元のブロック２に対応する領域２ａに埋め尽くす。ただし、次の規則を適用する。すなわち、該物体の見え難さを示す値が以前に入れられている値（本例の場合、α）より小さい場合には、該以前の値と置換し、逆の場合は置換しないものとする。図４は、この処理結果の一例であり、前記物体の見え難さを示す値＝３の場合を示している。３＜αであるので、前記領域２ａは値３で埋め尽くされる。
【００２０】
また、ピクチャＹの次のＭＢに対するピクチャＸの根元のブロックが符号３であり、その動きベクトルＭＶを基に求めたｆ（ｘ，ｙ）の値が８であったとすると、行列Ｍの前記根元のブロック３に対応する領域３ａは、図５に示されているように、αの領域は８で置換されるが、すでに３が入っている領域は３のままとなる。
【００２１】
以上の処理が、ピクチャＹの全部のマクロブロックに対して行われると、行列Ｍは、ピクチャＹの全部のマクロブロックに対する動き推定に使用されたピクチャＸの根元のブロックに相当する領域に、各ＭＶの成分（ｘ，ｙ）を基に求めた前記ｆ（ｘ，ｙ）の値を、前記の規則に基づいて埋め尽くした行列となる。
【００２２】
そうすると、明らかなように、ピクチャＹのマクロブロックに対する動き推定に使用されなかったピクチャＸの根元のブロックに相当する行列Ｍの領域はαのまま残り、また動きの速い領域の値は大きな値を示すことになる。
【００２３】
(4)今、上記の(3)の処理により得られた最終の行列Ｍ’の要素（すなわち、予め定められた大きさに分割された小行列の領域ｉ）をp［i］とすると、下記の(3)式によりＭＶの大きさによる正規化アクティビティNact ＭＶ［i］を求める。
Nact ＭＶ［i］＝｛２p［i］＋ave（p）｝／｛p［ｉ］＋２ave（p）｝・・・(3)
ここに、ave(p)は、p［i］の平均値である。なお、前記（３）式は、前記（１）式のNact［i］を求める式と同じである。
【００２４】
(5) 上記のようにして、正規化アクティビティＮact ＭＶ[i] が求まると、下記の(4) 式から、量子化スケールコードmquant[i] を求めることができる。
mquant[i] ＝Ｗ[i] ×Ｑ[i] …(4)

【００２５】
以上の説明から明らかなように、本実施形態によれば、未来の画像の予測に使用されない現在の画像の領域、あるいは人の目に目立ちにくい動きの速い現在の画像の領域は粗く符号化されることになる。
【００２６】
なお、本実施形態により符号化されたデータを復号する復号器は、従来のＭＰＥＧ２のデコーダがそのまま使用できることは明らかである。
【００２７】
本発明の変形例として、前記(4) 式のＷ[i] として、Ｗ[i] ＝Ｎact ＭＶ[i]を用いるようにしてもよい。
【００２８】
本発明は、他の用途として、スケーラブル符号化に応用することができる。すなわち、行列Ｍ' に記入された重み情報を利用して、これが低い部分をベースレーヤ(base layer)、高い部分をエンハンスドレーヤ(enhanced layer)として、階層的に画像を伝送することが可能となる。また、符号化レートに応じて、この値の大小により、伝送する部分と伝送しない部分とに明確に分けることができる。すなわち、ビットコントロールも簡単にできる。
【００２９】
【発明の効果】
本発明者が、あるテスト画像に対して、本発明を用いて計算機シミュレーションを施した結果、ＭＰＥＧ−２ＴＭ５による結果と比較して、全体的に０．６ｄＢ程度の性能向上が確認された。また、本発明により符号化した画像の復号画像を主観評価した結果、動きの存在する領域の劣化は殆ど生じずに、静止領域の画質を向上させることができることが分かった。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本発明の要部である動画像の量子化制御装置の概略の動作の説明図である。
【図３】当初の行列Ｍの説明図である。
【図４】動画像の量子化制御装置の動作途中の行列Ｍの説明図である。
【図５】動画像の量子化制御装置の動作途中の行列Ｍの説明図である。
【符号の説明】
３…量子化部、５…バッファ、６…レート制御部、２１…動きベクトル演算部、２２…見え難さ関数値演算部、２３…量子化制御マトリックス生成部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image quantization control apparatus, and in particular, coarsely encodes a region of a current image that is not used for prediction of a future image, or a region of a current image that is not noticeable to human eyes and has a fast movement. The present invention relates to a moving picture quantization control apparatus using a moving vector for improving the overall coding efficiency.
[0002]
[Prior art]
In the conventional MPEG-2 TM5, rate control is performed in the following three steps.
Step 1: Bit allocation to each picture
Step 2: Rate control using virtual buffer,
Step 3: Adaptive quantization considering visual characteristics,
[0003]
Here, the quantization scale code mquant [i] of the block i of the I picture is Q [i] for the quantization scale code obtained in the step 2, and Nact [i] for the normalization activity based on the visual characteristics in the step 3. As is well known, it is given by the following equation (1).
mquant [i] = Nact [i] x Q [i] (1)
[0004]
According to this rate control, for example, the code amount distribution to the I picture that is encoded only within the screen is larger than the P and B pictures that are also encoded using the correlation between the screens. In addition, a large number of codes are distributed to flat portions where deterioration is visually noticeable.
[0005]
[Problems to be solved by the invention]
As described above, according to the conventional rate control, a certain result can be obtained regarding the improvement of the encoding efficiency, but no consideration has been given to further improving the encoding efficiency.
[0006]
The present invention has been made in view of the above-described prior art, and an object of the present invention is to provide a moving picture quantization control apparatus capable of further improving the coding efficiency compared to conventional rate control.
[0008]
[Means for Solving the Problems]
To achieve the above objects, the present invention is a value was Me pre Me constant α is an element, means for generating a matrix M of the same size as the image X, the image Y of the image X and the future Then, a means for obtaining a motion vector MV of the image Y for the image X for each predetermined region , and applying the motion vector MV for each region to an increasing function using the x and y components of the motion vector as variables, Means for determining the visibility value of the region, and the matrix M in the same region as the region of the image X corresponding to the root of the motion vector MV is filled with the visibility value of the region, and the appearance of the region By giving priority to a value having a small difficulty value, a normalization activity for each region is obtained from the matrix M ′ thus obtained, and a quantization coefficient is obtained from the normalization activity. The feature is that it is reflected in the control. The
[0009]
According to this feature, it is possible to improve the image quality of the still region without causing almost any degradation of the region where the motion exists.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an encoder provided with a moving picture quantization control apparatus of the present invention.
[0011]
The encoder is based on the subtractor 1 to which the original picture X delayed by the delay unit is input, the DCT unit 2 that orthogonally transforms the output of the subtracter 1, and the quantization scale code mquant [i] from the rate control unit 6. A quantization unit 3 that quantizes the data into a variable length, a variable length coding unit 4 that performs variable length coding of the quantized data, and a buffer 5 that sends the encoded data to the line at a predetermined transmission rate and transmits the fullness to rate control. Incorporating the present invention to be described later, rate control information (mquant [i]) is created and provided to the quantization unit 3, a rate control unit 6, an inverse quantization unit 7 for inversely quantizing the quantized data, A DCT unit 8, an adder 9, a frame memory 10, and first and second switch units 11 and 12 are provided. When an I picture is encoded, the first switch unit 11 is off and the second switch unit 12 is grounded. When encoding P and B pictures The first switch unit 11 is turned on, the second switch section 12 is connected to the subtracter 1.
[0012]
Further, the encoder obtains a motion vector (x, y) (where x is an x component and y is a y component) from the original image X and a future original image Y, which is a main part of the present invention. Based on the motion vector calculation unit 21 and the vector (x, y) obtained by the motion vector calculation unit 21, a function f (x, y) value indicating the difficulty of viewing the object based on the dynamic visual characteristics is calculated. A moving image quantization control device including a difficulty function value calculation unit 22 and a quantization control matrix generation unit 23 is attached.
[0013]
Next, the operation of this embodiment will be described. Since the encoder has the same configuration as that of the MPEG2 encoder, the description of the operation is omitted, and the operation of the moving picture quantization control apparatus, which is the main part of the present invention, will be described below.
[0014]
In FIG. 2, it is assumed that an original picture Y (hereinafter referred to as picture Y) is a future picture of the original picture X (hereinafter referred to as picture X), for example, a picture that is one frame in the future. Now, when picture Y is motion-compensated to picture X, consider encoding picture X. When the x and y components of the motion vector MV with respect to the picture X of the block 1 with the picture Y are (x, y), the function f indicating the difficulty of viewing the object having the motion vector (x, y). Set (x, y) as shown in the following equation (2).

[0015]
This equation confirms that the object visibility is monotonically increasing with respect to the motion vector component (x, y) and that the vertical component is approximately 70% of the horizontal component with respect to the allowable speed limit. Therefore, the present inventors have devised. Note that the fact that the function f (x, y) is large means that the motion vector component (x, y) is large, so that the movement of the object is fast and it is difficult to see the object.
[0016]
With reference to FIG. 2 again, the processing procedure of this embodiment will be described.
[0017]
(1) Consider a matrix M having the same size as the picture X, and put a large value α as all elements of the matrix. The matrix M at this time is as shown in FIG. For example, the maximum value of the equation (2) can be used as α.
[0018]
(2) Next, for the picture Y, the motion vector MV is obtained on the basis of the norm that the sum of absolute differences (SAD) with the picture X is minimized for each 16 × 16 pixel block (MB). At this time, if the macroblock of the picture X used for motion estimation of a macroblock (hereinafter referred to as MB of interest) 1 with the picture Y is the block 2, the block is referred to as a block 2 at the root (starting point). I will call it. When there are a plurality of motion vectors MV having the same SAD value, the MV that minimizes the f (x, y) is selected.
[0019]
(3) Next, the component (x, y) of the MV is substituted into the equation (2) to obtain a value indicating the difficulty of seeing the object, and this value is stored in the root block 2 of the matrix M. The corresponding area 2a is filled. However, the following rules apply: That is, if the value indicating the difficulty of seeing the object is smaller than the previously entered value (α in this example), it is replaced with the previous value, and vice versa. . FIG. 4 is an example of the processing result, and shows a case where the value = 3 indicating the difficulty of seeing the object. Since 3 <α, the region 2a is filled with the value 3.
[0020]
Further, assuming that the base block of the picture X for the next MB of the picture Y is code 3 and the value of f (x, y) obtained based on the motion vector MV is 8, the base of the matrix M As shown in FIG. 5, the area 3 a corresponding to the block 3 of FIG. 5 is replaced with 8 in the area of α, but the area already containing 3 remains 3.
[0021]
When the above processing is performed for all the macroblocks of picture Y, matrix M is added to each area corresponding to the base block of picture X used for motion estimation for all macroblocks of picture Y. This is a matrix in which the values of f (x, y) obtained based on the component (x, y) of MV are filled based on the rules.
[0022]
Then, as is clear, the region of the matrix M corresponding to the base block of the picture X that was not used for motion estimation for the macroblock of the picture Y remains α, and the value of the fast motion region has a large value. Will show.
[0023]
(4) Now, let p [i] be the element of the final matrix M ′ obtained by the process of (3) above (that is, the submatrix region i divided into a predetermined size) . The normalized activity Nact MV [i] according to the size of MV is obtained by the following equation (3).
Nact MV [i] = {2p [i] + ave (p)} / {p [i] + 2ave (p)} (3)
Here, ave (p) is an average value of p [i]. The equation (3) is the same as the equation for obtaining Nact [i] of the equation (1).
[0024]
(5) When the normalized activity Nact MV [i] is obtained as described above, the quantization scale code mquant [i] can be obtained from the following equation (4).
mquant [i] = W [i] x Q [i] (4)

[0025]
As is clear from the above description, according to the present embodiment, a region of the current image that is not used for prediction of a future image or a region of the current image that is not noticeable to the human eye and is fast-moving is roughly encoded. Will be.
[0026]
It is apparent that a conventional MPEG2 decoder can be used as it is as a decoder for decoding data encoded according to the present embodiment.
[0027]
As a modification of the present invention, W [i] = Nact MV [i] may be used as W [i] in the equation (4).
[0028]
The present invention can be applied to scalable coding as another application. That is, by using the weight information entered in the matrix M ′, it is possible to transmit an image in a hierarchical manner with the lower part as a base layer and the higher part as an enhanced layer. Further, depending on the coding rate, it can be clearly divided into a transmission part and a non-transmission part depending on the magnitude of this value. That is, bit control can be easily performed.
[0029]
【The invention's effect】
As a result of the present inventor performing a computer simulation on a certain test image using the present invention, an overall performance improvement of about 0.6 dB was confirmed as compared with the result of MPEG-2 TM5. Further, as a result of subjective evaluation of the decoded image of the image encoded according to the present invention, it has been found that the image quality of the still region can be improved with almost no deterioration of the region where the motion exists.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a schematic operation of a moving image quantization control apparatus which is a main part of the present invention.
FIG. 3 is an explanatory diagram of an initial matrix M;
FIG. 4 is an explanatory diagram of a matrix M during operation of a moving image quantization control apparatus;
FIG. 5 is an explanatory diagram of a matrix M during operation of a moving image quantization control apparatus;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 3 ... Quantization part, 5 ... Buffer, 6 ... Rate control part, 21 ... Motion vector calculating part, 22 ... Visibility function value calculating part, 23 ... Quantization control matrix production | generation part.

Claims

Means for generating a matrix M having the same size as the image X having a predetermined value α as an element;
Means for obtaining a motion vector MV of an image Y for the image X for each predetermined region from the image X and a future image Y;
Means for applying the motion vector MV for each region to an increasing function using the x and y components of the motion vector as variables to obtain a visibility value of the region;
The matrix M in the same region as the region of the image X corresponding to the base of the motion vector MV is filled with the visibility value of the region, and a value with a small visibility value of the region is given priority, and thus A normalization activity for each small matrix divided into predetermined sizes is obtained from the obtained matrix M ′, and a quantization coefficient is obtained from the normalization activity to reflect the matrix M ′ in rate control. An apparatus for controlling quantization of a moving image.

The moving image quantization control apparatus according to claim 1,
Means for determining a visible difficulty value of the region, x of the motion vector MV, increased with respect to the y-component function f (x, y) of the moving image to be characterized in that to determine the difficulty value seen with Quantization control device.