JP6080726B2 - Moving picture encoding apparatus, intra prediction mode determination method, and program - Google Patents
Moving picture encoding apparatus, intra prediction mode determination method, and program Download PDFInfo
- Publication number
- JP6080726B2 JP6080726B2 JP2013176107A JP2013176107A JP6080726B2 JP 6080726 B2 JP6080726 B2 JP 6080726B2 JP 2013176107 A JP2013176107 A JP 2013176107A JP 2013176107 A JP2013176107 A JP 2013176107A JP 6080726 B2 JP6080726 B2 JP 6080726B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction mode
- image
- prediction
- vector
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 16
- 239000013598 vector Substances 0.000 claims description 114
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 description 19
- 238000013139 quantization Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化技術に関する。 The present invention relates to a moving image encoding technique.
従来の動画像符号化装置では、画面内予測モード(イントラ予測モード)を決定するために、多数ある画面内予測モードの各々について予測画を生成し、予測画と入力画像との差異が小さい画面内予測モードを選択することが一般的である(例えば、非特許文献1)。 In a conventional video encoding apparatus, in order to determine an intra prediction mode (intra prediction mode), a prediction image is generated for each of a large number of intra prediction modes, and a screen in which a difference between the prediction image and the input image is small It is common to select an intra prediction mode (for example, Non-Patent Document 1).
従来の動画像符号化装置では、多数ある画面内予測モードの各々について予測画を生成するため、予測画を生成する回路の規模が大型化し、また、予測画を生成するための演算時間が増加してしまうという課題がある。 In the conventional moving image encoding apparatus, a prediction image is generated for each of a large number of intra-screen prediction modes, so the scale of the circuit for generating the prediction image is increased, and the calculation time for generating the prediction image is increased. There is a problem of doing it.
この発明は、上記のような課題を解決することを主な目的の一つとしており、画面内予測モードの決定を簡略化でき、回路規模の増大や演算時間の増大を抑制できる構成を実現することを主な目的とする。 One of the main objects of the present invention is to solve the above-described problems, and it is possible to simplify the determination of the intra prediction mode and to realize a configuration that can suppress an increase in circuit scale and an increase in calculation time. The main purpose.
本発明に係る動画像符号化装置は、
フレーム間予測と画面内予測とが行われる動画像符号化装置であって、
動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルを解析して、画像ブロックごとに、複数の画面内予測モードの中から、画面内予測に適用する画面内予測モードを選択する画面内予測モード決定部を有することを特徴とする動画像符号化装置。
A moving image encoding apparatus according to the present invention includes:
A video encoding device that performs inter-frame prediction and intra-frame prediction,
For each image block divided from the image frames that make up a moving image, input the motion vector calculated for inter-frame prediction, analyze the input motion vector, and perform multiple intra-screen predictions for each image block A video encoding apparatus comprising: an intra-screen prediction mode determining unit that selects an intra-screen prediction mode to be applied to intra-screen prediction from among the modes.
本発明では、フレーム間予測のために算出された動きベクトルを利用することにより、画面内予測モードの決定を簡略化することができ、回路規模の増大や演算時間の増大を抑制することができる。 In the present invention, by using a motion vector calculated for inter-frame prediction, determination of the intra prediction mode can be simplified, and an increase in circuit scale and calculation time can be suppressed. .
実施の形態1〜3では、画面内予測モードの決定を簡略化し、画質の劣化を抑制しつつも回路規模の増大や演算時間の増大を抑制した動画像符号化装置を説明する。 In the first to third embodiments, a description will be given of a video encoding apparatus that simplifies the determination of the intra prediction mode and suppresses an increase in circuit scale and an increase in computation time while suppressing deterioration in image quality.
実施の形態1.
図1は、本実施の形態に係る動画像符号化装置100を示す構成図である。
FIG. 1 is a configuration diagram showing a moving
図1において、画面内予測モード決定部101は、動き補償予測部104から符号化対象ブロックの動きベクトルを入力し、また、外部から設定用のパラメータを入力し、動きベクトルを評価する。
そして、画面内予測モード決定部101は、評価した情報と設定用パラメータを基に画面内予測方向を決定し、予測方向を画面内予測画生成部102に出力する。
なお、符号化対象ブロックとは、動画像を構成する画像フレームから分割された画像ブロックである。
In FIG. 1, an intra-screen prediction
Then, the intra-screen prediction
Note that the encoding target block is an image block divided from image frames constituting a moving image.
画面内予測画生成部102は、画面内予測モード決定部101で決定した画面内予測モードの通知を受け、局部復号画像メモリ103から予測画像生成に必要な符号化対象ブロック周辺の局部復号画素を入力する。
そして、画面内予測画生成部102は、画面内予測モードに対応した画面内予測画像を生成して出力する。
The intra-screen prediction
Then, the intra-screen prediction
局部復号画像メモリ103は、加算器106および画面内予測画生成部102から符号化対象ブロックの周辺画像を入力し、画面内予測画像生成のために必要な画素を蓄積する。
そして、局部復号画像メモリ103は、画面内予測画生成部102へ画素を出力する。
The local decoded
Then, the local decoded
動き補償予測部104は、符号化対象ブロックの原画像とフレームメモリ105から参照するための画像を入力し、符号化対象ブロックと参照画像を比較して最も類似度が高い位置の参照画像をフレームメモリ105から取り出し、フレーム間予測画像としてセレクタに出力する。
そして、動き補償予測部104は、画面内予測モード決定部101および符号化制御部111へ参照画像の最も類似度が高い位置情報の動きベクトルを出力する。
The motion
Then, the motion
フレームメモリ105は、デブロッキングフィルタ部112からデブロッキングフィルタ処理した局部復号画像を入力し、フレーム間予測画生成のために必要な画素を蓄積する。
そして、フレームメモリ105は、動き補償予測部104から入力する動きベクトルによる位置情報を基にフレーム間予測画生成に必要な画素を動き補償予測部104に出力する。
The
Then, the
加算器106は、逆周波数変換逆量子化部109から符号化対象ブロックの局部復号した画素差分値とセレクタ113から予測画像を入力し、加算し、加算結果をデブロッキングフィルタ部112と局部復号画像メモリ103に出力する。
The
減算器107は、符号化対象ブロックと符号化対象ブロックの予測画像を入力し、減算し、減算結果(画素差分値)を周波数変換量子化部108に出力する。
The
周波数変換量子化部108は、減算器107から画素差分値を入力し、直行変換、ディスクリートコサイン変換(DCT)などの周波数変換演算をしてからその演算結果に対して量子化を行う。
そして、周波数変換量子化部108は、量子化した周波数変換係数をエントロピー符号化部110と逆周波数変換逆量子化部109に出力する。
The frequency
Then, the frequency
逆周波数変換逆量子化部109は、周波数変換量子化部108から量子化した周波数変換係数を入力し、その係数に対して逆量子化を行ったあとに逆周波数変換演算をして、復号した画素差分値を加算器106に対して出力する。
The inverse frequency transform
エントロピー符号化部110は、量子化後の周波数変換係数を入力し、エントロピー符号化して符号化ストリームとして出力する。
The
符号化制御部111は、符号化全体の制御を行う。
The
デブロッキングフィルタ部112は、加算器106から入力した局部復号画像に対してデブロッキングフィルタ演算を行い、フレームメモリ105に出力する。
The deblocking filter unit 112 performs a deblocking filter operation on the locally decoded image input from the
なお、図1において「〜部」としている要素は、例えば回路である。
また、「〜部」を、プログラムにより実現することも可能である。
「〜部」をプログラムにより実現する場合は、動画像符号化装置100を、例えば、図8に示すハードウェア構成とすることが考えられる。
つまり、「〜部」の機能を実現するプログラムを外部記憶装置902に格納しておき、「〜部」のプログラムを主記憶装置903にロードし、演算装置901が、ロードされたプログラムを実行する。
1 is a circuit, for example.
Further, the “˜part” can be realized by a program.
When “˜unit” is realized by a program, it is conceivable that the moving image encoding
That is, a program that realizes the function of “˜unit” is stored in the
以下に、本実施の形態に係る動作について説明する。
本実施の形態に係る動画像符号化装置100は画面内予測モード決定部101に主な特徴があるため、以下では、画面内予測モード決定部101の動作について説明する。
Hereinafter, an operation according to the present embodiment will be described.
Since the moving
画面内予測モード決定部101は、外部から設定用のパラメータと動き補償予測部104から符号化対象ブロックのフレーム間予測のために導出した動きベクトルを入力する。
設定用のパラメータは、具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値である。
フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のために画面内予測モード決定部101に動きベクトルを入力する。
The intra-screen prediction
Specifically, the setting parameters are a threshold value for vector length evaluation and a threshold value for vector gradient evaluation.
A motion vector equivalent to inter-frame prediction is derived even in a picture that is predicted in the screen without using a reference image between frames, and the motion vector is input to the intra-screen prediction
たとえばH.265の画面内予測ではDC予測モード(以下、単にDC予測と表記する)を含めた34の方向性予測モード(以下、単に方向性予測と表記する)とPlanar予測モード(以下、単にPlanar予測と表記する)という選択肢がある(図2)。
図2の矢印の向きは参照画像が参照される方向を示すものであるため、画面内予測は矢印とは逆方向に行われる。
一般的に、方向性予測のうちDC予測は方向を持たずエッジのない平坦なテクスチャ領域の予測に適しており、Planar予測はグラデーションなどの画素値の変化の少ない平坦なテクスチャの予測に適している。
For example, H.M. 265 DC prediction mode in intra prediction (hereinafter, simply referred to as DC prediction) of 34 directional prediction mode (hereinafter, simply referred to as directional prediction), including the Plan a r prediction mode (hereinafter, simply Plan referred to as a r prediction) it has the option of (Figure 2).
Since the direction of the arrow in FIG. 2 indicates the direction in which the reference image is referenced, intra prediction is performed in the direction opposite to the arrow.
In general, DC prediction is suitable for prediction of a flat texture region having no direction and no edge, and Planar prediction is used for prediction of a flat texture with little change in pixel values such as gradation. Is suitable.
本実施の形態の画面内予測モード決定部101は動きベクトルをパラメータによって評価することで、符号化対象ブロックに適した画面内予測モードを決定するものである。
The intra-screen prediction
まず、ベクトルの長さ評価用のしきい値に対する動きベクトルの評価について説明する。
動きベクトルの長さは、画面間予測の際の参照画像の位置の遠近を表している。
すなわち動きベクトルが長い場合にはフレーム間参照画像は符号化対象ブロックから離れた位置にあり、短い場合にはフレーム間参照画像は符号化対象ブロックから近い位置にあることを意味している。
動きベクトルが長い場合には符号化対象はある方向にある程度の動きを持ったブロックであり、画面内予測に関してもDC予測以外の方向性予測が適している可能性が高いと考えられる。
逆に動きベクトルが短い場合には符号化対象はあまり動きを持たないブロックであり、方向性予測の中でも方向を持たないDC予測やPlanar予測が向いている可能性が高いと考えられる。
First, evaluation of a motion vector with respect to a threshold for vector length evaluation will be described.
The length of the motion vector represents the perspective of the position of the reference image in inter-screen prediction.
That is, when the motion vector is long, the inter-frame reference image is at a position away from the encoding target block, and when it is short, the inter-frame reference image is at a position close to the encoding target block.
When the motion vector is long, the encoding target is a block having a certain amount of motion in a certain direction, and it is highly likely that directional prediction other than DC prediction is suitable for intra prediction.
If the motion vector is short in inverse coding object is a block not too have a motion, it is likely that the facing is DC prediction and Plan a r prediction having no direction among directions prediction.
次に、ベクトル傾き評価用しきい値に対する動きベクトルの評価ついて説明する。
動きベクトルの傾きは画面間予測の際の参照画像からの動きの向きを表している。
画面内予測では符号化対象ブロックの上方向と左方向の画素から予測するため、画面間予測と比較すると動きの方向が制限される。
動きベクトルの傾きが画面内予測のDC予測を除いた33方向の方向性予測のバリエーションから遠いものである場合、方向を持つ方向性予測が適さない可能性があると考えられる。
逆に動きベクトルの傾きが方向性予測のバリエーションのうちどれかと近い場合には、その方向性予測が画面内予測に適する可能性が高いと考えられる。
Next, the motion vector evaluation with respect to the vector inclination evaluation threshold will be described.
The inclination of the motion vector represents the direction of motion from the reference image in inter-screen prediction.
In the intra prediction, since the prediction is performed from the pixels in the upper and left directions of the encoding target block, the direction of motion is limited as compared with the inter prediction.
When the inclination of the motion vector is far from the 33-direction directional prediction variations excluding the DC prediction of the intra prediction, it is considered that the directional prediction with the direction may not be suitable.
On the other hand, when the inclination of the motion vector is close to any of the variations of the directionality prediction, it is highly likely that the directionality prediction is suitable for the in-screen prediction.
ここまでの説明を踏まえて、実施の形態1における画面内予測モード決定部101での画面内予測モードの決定方法について述べる。
画面内予測モードの決定手順について図3に示す。
Based on the description so far, the method for determining the intra prediction mode in the intra prediction
The procedure for determining the intra prediction mode is shown in FIG.
初めに、画面内予測モード決定部101は、入力した動きベクトルのベクトル長を求める(S301)。
動きベクトルは符号化対象ブロックを原点とした参照画像への座標として入力され、画面内予測モード決定部101は、座標から長さを算出する。
First, the intra-screen prediction
The motion vector is input as coordinates to the reference image with the encoding target block as the origin, and the in-screen prediction
次に、画面内予測モード決定部101は、入力した動きベクトルのベクトル長とベクトル長判定用しきい値の大きさを比較する(S302)。
Next, the intra prediction
ベクトル長とベクトル長判定用しきい値を比較してベクトル長がベクトル長判定しきい値より大きい場合(S302でYES)には、画面内予測モード決定部101は、ある方向にある程度の動きがあるブロックであると判定し、傾き判定用しきい値との評価に進む。
一方、ベクトル長判定しきい値以下である場合(S302でNO)には、方向性の画面内予測が適さないブロックとして、画面内予測モード決定部101は、Planar予測またはDC予測を選択してモードの決定を終了する(S303)。
When the vector length is larger than the vector length determination threshold by comparing the vector length with the vector length determination threshold (YES in S302), the intra prediction
On the other hand, if it is less than the vector length determination threshold (NO in S302), as a block unsuitable directional intra prediction, intra prediction
次に、ベクトル長判定用しきい値よりも動きベクトルが長かった場合、画面内予測モード決定部101は、動きベクトルの傾きを算出し、画面内予測のDC予測以外の方向を持つ方向性予測のバリエーションの傾きと動きベクトルの傾きとの差分絶対値を算出し、算出した差分絶対値の中の最小値を選択する(S304)。
Next, when the motion vector is longer than the threshold for vector length determination, the intra prediction
次に、画面内予測モード決定部101は、算出した傾きの差分絶対値の最小値と入力した傾き判定用しきい値とを比較する(S305)。
比較した結果、傾きの差分絶対値の最小値が、傾き判定用しきい値より大きい場合(S305でYES)には、方向を持つ方向性予測での予測に適さないと判定して、画面内予測モード決定部101は、Planar予測またはDC予測を選択して画面内予測の決定を終了する。
傾きの差分絶対値の最小値が、傾き判定用しきい値以下である場合(S305でNO)には、その予測方向の方向性予測が符号化対象ブロックの画面内予測に適すると判定し、画面内予測モード決定部101は、その方向の予測モードを画面内予測モードとして選択して、画面内予測モードの決定を終了する。
Next, the in-screen prediction
As a result of the comparison, if the minimum value of the absolute difference of the inclination is larger than the inclination determination threshold value (YES in S305), it is determined that it is not suitable for the prediction in the directionality prediction having the direction, and the in-screen prediction
When the minimum value of the absolute difference of the inclination is equal to or less than the inclination determination threshold (NO in S305), it is determined that the directionality prediction in the prediction direction is suitable for the intra prediction of the encoding target block, The intra prediction
このように、本実施の形態では、画面内予測の参照画像を算出することなく画面内予測モードを決定し、画面内予測に関する演算を減らしながらも、画面間予測の動きベクトルを使用することによって符号化対象ブロックの特徴を捉えることによって、画質の劣化を抑えつつも回路規模の増大や演算時間の増大を抑制した動画像符号化装置を実現している。 As described above, in this embodiment, by determining the intra prediction mode without calculating the reference image of the intra prediction, and using the motion vector of the inter prediction while reducing the calculation related to the intra prediction. By capturing the characteristics of the block to be encoded, a moving image encoding apparatus that suppresses an increase in circuit scale and an increase in computation time while suppressing deterioration in image quality is realized.
以上、本実施の形態では、
動画像を入力とし、画面内予測モード決定部、画面内予測画生成部、局部復号画像メモリ、動き補償予測部、フレームメモリ、減算器、周波数変換量子化部、逆周波数変換逆量子化部、加算器、エントロピー符号化部、符号化制御部、デブロッキングフィルタからなる、動画像符号化装置を説明した。
As described above, in the present embodiment,
With a moving image as an input, an intra-screen prediction mode determination unit, an intra-screen prediction image generation unit, a local decoded image memory, a motion compensation prediction unit, a frame memory, a subtractor, a frequency conversion quantization unit, an inverse frequency conversion inverse quantization unit, A moving image encoding apparatus including an adder, an entropy encoding unit, an encoding control unit, and a deblocking filter has been described.
また、本実施の形態では、
画面内予測モード決定部が、動き補償予測部から符号化対象ブロックの動きベクトルと外部から設定用のパラメータを入力し、動きベクトルを評価し、評価した情報と設定用パラメータを基に画面内予測方向を決定し、予測方向を画面内予測画生成部に出力することを説明した。
In the present embodiment,
The in-screen prediction mode determination unit inputs the motion vector of the encoding target block from the motion compensation prediction unit and the setting parameter from the outside, evaluates the motion vector, and predicts the in-screen based on the evaluated information and the setting parameter It has been described that the direction is determined and the prediction direction is output to the intra-screen prediction image generation unit.
また、本実施の形態では、
画面内予測画生成部が、画面内予測モード決定部で決定した画面内予測モードと局部復号画像メモリから予測画像生成に必要な符号化対象ブロック周辺の局部復号画素を入力し、予測モードに対応した画面内予測画像を生成して出力することを説明した。
In the present embodiment,
The intra-screen prediction image generation unit inputs the intra-screen prediction mode determined by the intra-screen prediction mode determination unit and the local decoded pixels around the encoding target block necessary for predictive image generation from the local decoded image memory, and supports the prediction mode The generation of the predicted image within the screen and outputting it were explained.
また、本実施の形態では、
局部復号画像メモリが、加算器および画面内予測画生成部から符号化対象ブロックの周辺画像を入力し、画面内予測画像生成のために必要な画素を蓄積し、画面内予測画生成部へ画素を出力することを説明した。
In the present embodiment,
The local decoded image memory inputs the peripheral image of the encoding target block from the adder and the intra-screen prediction image generation unit, accumulates pixels necessary for generating the intra-screen prediction image, and outputs the pixels to the intra-screen prediction image generation unit. Was explained.
また、本実施の形態では、
動き補償予測部が、符号化対象ブロックの原画像とフレームメモリから参照するための画像を入力し、符号化対象ブロックと参照画像を比較して最も類似度が高い位置の参照画像をフレームメモリから取り出しフレーム間予測画像としてセレクタに出力、画面内予測モード決定部および符号化制御部へ参照画像の最も類似度が高い位置情報の動きベクトルを出力することを説明した。
In the present embodiment,
The motion compensation prediction unit inputs an original image of the encoding target block and an image for reference from the frame memory, compares the encoding target block with the reference image, and determines the reference image having the highest similarity from the frame memory. It has been described that the extracted inter-frame prediction image is output to the selector, and the motion vector of the position information with the highest similarity of the reference image is output to the intra prediction mode determination unit and the encoding control unit.
また、本実施の形態では、
フレームメモリが、デブロッキングフィルタ部からデブロッキングフィルタ処理した局部復号画像を入力し、フレーム間予測画生成のために必要な画素を蓄積し、動き補償予測部から入力する動きベクトルによる位置情報を基にフレーム間予測が生成に必要な画素を動き補償予測部に出力することを説明した。
In the present embodiment,
The frame memory inputs the locally decoded image subjected to the deblocking filter processing from the deblocking filter unit, accumulates the pixels necessary for generating the inter-frame prediction image, and based on the position information based on the motion vector input from the motion compensation prediction unit. In addition, it has been described that the pixels necessary for generating the inter-frame prediction are output to the motion compensation prediction unit.
また、本実施の形態では、
加算器が、逆周波数変換逆量子化部から符号化対象ブロックの局部復号した画素差分値とセレクタから予測画像を入力し、加算してデブロッキングフィルタ部と局部復号画像メモリに出力することを説明した。
In the present embodiment,
Explaining that an adder inputs a pixel difference value obtained by local decoding of an encoding target block from an inverse frequency transform inverse quantization unit and a prediction image from a selector, adds them, and outputs them to a deblocking filter unit and a local decoded image memory did.
また、本実施の形態では、
減算器が、符号化対象ブロックと符号化対象ブロックの予測画像を入力し、減算して周波数変換量子化部に出力することを説明した。
In the present embodiment,
It has been described that the subtracter inputs the encoding target block and the prediction image of the encoding target block, subtracts them, and outputs them to the frequency transform quantization unit.
また、本実施の形態では、
周波数変換量子化部が、減算器から画素差分値を入力し、直行変換、ディスクリートコサイン変換(DCT)などの周波数変換演算をしてからその演算結果に対して量子化を行い、量子化した周波数変換係数をエントロピー符号化部と逆周波数変換逆量子化部に出力することを説明した。
In the present embodiment,
The frequency conversion quantization unit inputs the pixel difference value from the subtractor, performs frequency conversion operations such as direct conversion and discrete cosine transform (DCT), and then quantizes the operation results to quantize the frequency. It has been described that the transform coefficient is output to the entropy coding unit and the inverse frequency transform inverse quantization unit.
また、本実施の形態では、
逆周波数変換逆量子化部が、周波数変換量子化部から量子化した周波数変換係数を入力し、その係数に対して逆量子化を行ったあとに逆周波数変換演算をして、復号した画素差分値を加算器に対して出力することを説明した。
In the present embodiment,
The inverse frequency transform inverse quantizer inputs the frequency transform coefficient quantized from the frequency transform quantizer, performs inverse frequency transform on the coefficient, performs inverse frequency transform operation, and decodes the pixel difference The output of the value to the adder has been described.
また、本実施の形態では、
エントロピー符号化部が、量子化後の周波数変換係数を入力し、エントロピー符号化して符号化ストリームとして出力することを説明した。
In the present embodiment,
It has been described that the entropy encoding unit inputs the frequency transform coefficient after quantization, performs entropy encoding, and outputs the encoded stream.
また、本実施の形態では、
符号化制御部が、符号化全体の制御を行うことを説明した。
In the present embodiment,
It has been described that the encoding control unit controls the entire encoding.
また、本実施の形態では、
デブロッキングフィルタ部が、加算器から入力した局部復号画像に対してデブロッキングフィルタ演算を行い、フレームメモリに出力することを説明した。
In the present embodiment,
It has been described that the deblocking filter unit performs a deblocking filter operation on the locally decoded image input from the adder and outputs the result to the frame memory.
実施の形態2.
図4は、実施の形態2に係る動画像符号化装置100の構成例を示す。
図4では、図1の構成に比べて、画像特徴量抽出部114が追加されている。
画像特徴量抽出部114は符号化対象ブロックの画像を入力し、符号化対象ブロックに含まれる画素の画素値の分散を求め画面内予測モード決定部101に出力する。
画像特徴量抽出部114以外の要素は、図1で示したものと同じである。
なお、本実施の形態では、実施の形態1と異なる点を説明し、実施の形態1と同じ点については、説明を省略する。
FIG. 4 shows a configuration example of the moving
In FIG. 4, an image feature
The image feature
Elements other than the image feature
In the present embodiment, points different from the first embodiment will be described, and description of the same points as in the first embodiment will be omitted.
以下に動作について説明する。 The operation will be described below.
画面内予測モード決定部101は、外部から設定用のパラメータを入力し、また、動き補償予測部104から符号化対象ブロックのフレーム間予測のために導出した動きベクトルを入力する。
設定用のパラメータは具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値と符号化対象ブロック分散評価用しきい値であり、フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のため画面内予測モード決定部101に動きベクトルを入力する。
The intra-screen prediction
Specifically, the setting parameters are a threshold for vector length evaluation, a threshold for vector inclination evaluation, and a threshold for block distribution evaluation encoding, and does not use a reference image between frames. Then, a motion vector corresponding to inter-frame prediction is also derived for a picture to be predicted in the screen, and the motion vector is input to the intra-screen prediction
ベクトルの長さ評価用しきい値に対する動きベクトルの評価、ベクトル傾き評価用しきい値に対する動きベクトルの評価については実施の形態1と同様であるため省略する。
符号化対象ブロック分散評価用しきい値に対する符号化対象ブロックの評価について説明する。
符号化対象ブロックの分散値が小さい場合にはブロック内画素値のばらつきが小さくブロックが平坦な領域であり、DC予測とPlanar予測を比較した場合にDC予測が適する可能性が高い。
逆に、ばらつきが大きい場合にはブロックは平坦な領域でなく、DC予測とPlanar予測を比較した場合にPlanar予測が適する可能性が高い。
Since the evaluation of the motion vector with respect to the threshold for vector length evaluation and the evaluation of the motion vector with respect to the threshold for vector inclination evaluation are the same as those in the first embodiment, a description thereof will be omitted.
The evaluation of the encoding target block with respect to the encoding target block variance evaluation threshold will be described.
If the variance value of the encoding target block is smaller is the variation is small block is flat area of the block in the pixel value, it is likely that suitable is DC prediction when comparing DC prediction and Plan a r prediction.
Conversely, when the variation is large block is not a flat region, it is likely that suitable is Plan a r prediction when comparing DC prediction and Plan a r prediction.
ここまでの説明を踏まえて実施の形態2における画面内予測モード決定部101での画面内予測モードの決定方法について述べる。
画面内予測モードの決定手順について図5に示す。
Based on the description so far, the method for determining the intra prediction mode in the intra prediction
The procedure for determining the intra prediction mode is shown in FIG.
図5で、S501、S502、S507、S508、S509は、それぞれ図3のS301、S302、S304、S305、S306と同様なので説明を省略する。
以下では、S503〜S506の動作について説明する。
In FIG. 5, S501, S502, S507, S508, and S509 are the same as S301, S302, S304, S305, and S306 in FIG.
Below, operation | movement of S503-S506 is demonstrated.
ベクトル長がベクトル長判定用しきい値以下である場合(S502でNo)と、傾きの差分絶対値の最小値が傾き判定用しきい値より大きい場合(S508でYes)は、画面内予測モード決定部101は、画像特徴量抽出部114に符号化対象ブロックの分散値を算出させる(S503)。
そして、画面内予測モード決定部101は、分散判定用しきい値と算出された符号化対象ブロックの分散値を比較する(S504)。
なお、これ以降の画面内予測モード選択については、すでに方向を持つ方向性予測が適さないと判断されているため、DC予測とPlanar予測から選択することとなる。
比較した結果、符号化対象ブロックの分散値が分散判定用しきい値より小さい場合(S504でYES)は、符号化対象ブロックは画素のばらつきが小さく平坦な領域であると判定し、画面内予測モード決定部101は、DC予測を選択する(S505)。
一方、符号化対象ブロックの分散値が分散判定用しきい値より大きい場合(S504でNO)は、符号化対象ブロックは画素のばらつきが比較的大きく平坦な領域でないと判定し、画面内予測モード決定部101は、Planar予測を選択する(S506)。
When the vector length is equal to or less than the vector length determination threshold value (No in S502) and when the minimum absolute value of the gradient difference is larger than the gradient determination threshold value (Yes in S508), the intra prediction mode The
Then, the intra prediction
As for the subsequent intra prediction mode selection, since it has already been determined to be unsuitable directional prediction with direction and selecting from the DC prediction and Plan a r prediction.
As a result of the comparison, if the variance value of the encoding target block is smaller than the variance determination threshold value (YES in S504), it is determined that the encoding target block is a flat region with small pixel variation, and intra prediction The
On the other hand, when the variance value of the encoding target block is larger than the variance determination threshold value (NO in S504), it is determined that the encoding target block is not a flat region with relatively large pixel variation, and the intra prediction mode The
このように、本実施の形態では、画面内予測の参照画像を算出することなく画面内予測モードを決定し、画面内予測に関する演算を減らしながらも、画面間予測の動きベクトルを使用することによって符号化対象ブロックの特徴を捉えることによって、画質の劣化を抑えつつも回路規模の増大や演算時間の増大を抑制した動画像符号化装置を実現している。 As described above, in this embodiment, by determining the intra prediction mode without calculating the reference image of the intra prediction, and using the motion vector of the inter prediction while reducing the calculation related to the intra prediction. By capturing the characteristics of the block to be encoded, a moving image encoding apparatus that suppresses an increase in circuit scale and an increase in computation time while suppressing deterioration in image quality is realized.
実施の形態3.
図6は、実施の形態3に係る動画像符号化装置の構成例を示す。
図6では、図1の構成に比べて、周辺動きベクトル保持部115が追加されている。
周辺動きベクトル保持部115は、動き補償予測部104から動きベクトルを入力し、符号化対象ブロックの周辺のブロックの動きベクトルを保持して画面内予測モード決定部101に符号化対象ブロック周辺ブロックの動きベクトルを出力する。
周辺動きベクトル保持部115以外の要素は、図1で示したものと同じである。
なお、本実施の形態では、実施の形態1と異なる点を説明し、実施の形態1と同じ点については、説明を省略する。
FIG. 6 shows a configuration example of the moving picture encoding apparatus according to the third embodiment.
In FIG. 6, a peripheral motion
The peripheral motion
Elements other than the peripheral motion
In the present embodiment, points different from the first embodiment will be described, and description of the same points as in the first embodiment will be omitted.
以下に動作について説明する。 The operation will be described below.
画面内予測モード決定部101は、外部から設定用のパラメータと動き補償予測部104から符号化対象ブロックのフレーム間予測のために導出した動きベクトルを入力し、また、周辺動きベクトル保持部115から符号化対象ブロック周辺ブロックの動きベクトルを入力する。
設定用のパラメータは、具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値と周辺動きベクトル評価用のしきい値であり、フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のため画面内予測モード決定部101に動きベクトルを入力する。
The intra-screen prediction
Specifically, the setting parameters are a threshold for vector length evaluation, a threshold for vector inclination evaluation, and a threshold for peripheral motion vector evaluation, and does not use a reference image between frames. Then, a motion vector corresponding to inter-frame prediction is also derived for a picture to be predicted in the screen, and the motion vector is input to the intra-screen prediction
図7に実施の形態3における画面内予測モード決定の手順について示す。
S704〜S708は、図3のS301〜S306と同様のためここでは説明を省略する。
FIG. 7 shows the procedure for determining the intra prediction mode in the third embodiment.
S704 to S708 are the same as S301 to S306 in FIG.
実施の形態3の手順では、まず、周辺動きベクトル保持部115から入力した符号化対象ブロック周辺ブロックの動きベクトルと符号化対象ブロックの動きベクトルとのばらつきを評価するために、画面内予測モード決定部101は、符号化対象ブロックの動きベクトルと周辺ブロックの動きベクトルとの差分に対して分散を算出する(S701)。
In the procedure of the third embodiment, first, in order to evaluate the variation between the motion vector of the peripheral block to be encoded and the motion vector of the block to be encoded input from the peripheral motion
そして、算出した分散値が周辺ベクトル評価用のしきい値より大きい場合(S702でYES)は、画面内予測モード決定部101は、符号化対象の予測方向を推測することが困難であると判定し、DC予測またはPlanar予測を選択して画面内予測モードの決定を終了する。
それ以外の場合(S702でNO)は、方向を持つ方向性予測に適する可能性があるため、画面内予測モード決定部101は、動きベクトルのベクトル長を算出以降の手順に進む。
If the calculated variance value is larger than the threshold for evaluating the surrounding vector (YES in S702), the intra prediction
In other cases (NO in S702), since there is a possibility of being suitable for directionality prediction having a direction, the intra-screen prediction
このように、本実施の形態では、画面内予測の参照画像を算出することなく画面内予測モードを決定し、画面内予測に関する演算を減らしながらも、画面間予測の動きベクトルを使用することによって符号化対象ブロックの特徴を捉えることによって、画質の劣化を抑えつつも回路規模の増大や演算時間の増大を抑制した動画像符号化装置を実現している。 As described above, in this embodiment, by determining the intra prediction mode without calculating the reference image of the intra prediction, and using the motion vector of the inter prediction while reducing the calculation related to the intra prediction. By capturing the characteristics of the block to be encoded, a moving image encoding apparatus that suppresses an increase in circuit scale and an increase in computation time while suppressing deterioration in image quality is realized.
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、2つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
As mentioned above, although embodiment of this invention was described, you may implement in combination of 2 or more among these embodiment.
Alternatively, one of these embodiments may be partially implemented.
Alternatively, two or more of these embodiments may be partially combined.
In addition, this invention is not limited to these embodiment, A various change is possible as needed.
100 動画像符号化装置、101 画面内予測モード決定部、102 画面内予測画生成部、103 局部復号画像メモリ、104 動き補償予測部、105 フレームメモリ、106 加算器、107 減算器、108 周波数変換量子化部、109 逆周波数変換逆量子化部、110 エントロピー符号化部、111 符号化制御部、112 デブロッキングフィルタ部、113 セレクタ、114 画像特徴量抽出部、115 周辺動きベクトル保持部。
DESCRIPTION OF
Claims (7)
動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルのベクトル長を算出し、画像ブロックごとに、算出したベクトル長とベクトル長判定用しきい値とを比較し、算出したベクトル長がベクトル長判定用しきい値以下である場合に、画面内予測に適用する画面内予測モードとして、Planar予測モード及びDC予測モードのうちのいずれかを選択する画面内予測モード決定部を有することを特徴とする動画像符号化装置。 A video encoding device that performs inter-frame prediction and intra-frame prediction,
For each image block divided from the image frames constituting a moving image, enter the motion vector calculated for the inter-frame prediction, and calculates the vector length of an input motion vector for each image block, the vector calculated When the calculated vector length is equal to or less than the threshold for vector length determination , the Planar prediction mode and the DC prediction are used as the in-screen prediction modes applied to the in-screen prediction. A moving picture coding apparatus comprising: an in-screen prediction mode determination unit that selects one of modes .
算出したベクトル長がベクトル長判定用しきい値よりも大きい場合に、
入力した動きベクトルのベクトル傾きを算出し、
算出したベクトル傾きと、DC予測モードを除く複数の方向性予測モードの各々に対応付けられている傾きとの差分絶対値を算出し、
算出した複数の差分絶対値のうちの最小の差分絶対値を選択し、
選択した最小の差分絶対値と傾き判定用しきい値とを比較し、
選択した最小の差分絶対値が傾き判定用しきい値よりも大きい場合に、Planar予測モード及びDC予測モードのうちのいずれかを選択し、
選択した最小の差分絶対値が傾き判定用しきい値以下である場合に、選択した最小の差分絶対値が対象としている方向性予測モードを選択することを特徴とする請求項1に記載の動画像符号化装置。 The in-screen prediction mode determination unit
When the calculated vector length is larger than the vector length determination threshold,
Calculate the vector slope of the input motion vector,
And vector tilt issued calculated, the difference absolute value of the gradient associated with the each of the plurality of directional prediction modes except for DC prediction mode is calculated,
Select the minimum difference absolute value from the calculated multiple difference absolute values,
Compare the selected absolute difference with the threshold value for slope judgment,
If the minimum difference absolute value chosen is greater than the determining threshold value gradient, select one of the Plan a r prediction mode and the DC prediction mode,
If the minimum difference absolute value selected is equal to or less than the determining threshold value slope, minimum video according to claim 1, the absolute value difference and selects a directional prediction mode as an object selected Image encoding device.
前記画面内予測モード決定部が画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出する画像特徴量抽出部を有し、
前記画面内予測モード決定部は、
算出したベクトル長がベクトル長判定用しきい値以下である場合に、
前記画像特徴量抽出部に、画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出させ、前記画像特徴量抽出部から分散値を入力し、
入力した分散値と分散判定用しきい値とを比較し、
入力した分散値が分散判定用しきい値よりも小さい場合に、DC予測モードを選択し、
入力した分散値が分散判定用しきい値以上である場合に、Planar予測モードを選択することを特徴とする請求項1又は2に記載の動画像符号化装置。 The moving image encoding device further includes:
The image prediction mode determination unit includes an image feature amount extraction unit that calculates a variance value of pixel values of pixels included in an image block that is a target of selection of the image prediction mode;
The in-screen prediction mode determination unit
When the calculated vector length is less than or equal to the vector length determination threshold,
The image feature amount extraction unit calculates a variance value of pixel values of pixels included in an image block that is a target of selection in the intra prediction mode, and inputs a variance value from the image feature amount extraction unit,
Compare the entered variance value with the threshold value for variance judgment,
When the input variance value is smaller than the threshold value for variance determination, the DC prediction mode is selected,
When entered variance value is greater than or equal variance determining threshold value, Plan a r a moving image encoding apparatus according to claim 1 or 2, characterized in that selects a prediction mode.
前記画面内予測モード決定部が画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出する画像特徴量抽出部を有し、
前記画面内予測モード決定部は、
選択した最小の差分絶対値が傾き判定用しきい値よりも大きい場合に、
前記画像特徴量抽出部に、画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出させ、前記画像特徴量抽出部から分散値を入力し、
入力した分散値と分散判定用しきい値とを比較し、
入力した分散値が分散判定用しきい値よりも小さい場合に、DC予測モードを選択し、
入力した分散値が分散判定用しきい値以上である場合に、Planar予測モードを選択することを特徴とする請求項2に記載の動画像符号化装置。 The moving image encoding device further includes:
The image prediction mode determination unit includes an image feature amount extraction unit that calculates a variance value of pixel values of pixels included in an image block that is a target of selection of the image prediction mode;
The in-screen prediction mode determination unit
When the selected minimum difference absolute value is larger than the threshold value for slope judgment,
The image feature amount extraction unit calculates a variance value of pixel values of pixels included in an image block that is a target of selection in the intra prediction mode, and inputs a variance value from the image feature amount extraction unit,
Compare the entered variance value with the threshold value for variance judgment,
When the input variance value is smaller than the threshold value for variance determination, the DC prediction mode is selected,
The moving image encoding apparatus according to claim 2 , wherein the Plan a r prediction mode is selected when the input variance value is equal to or greater than a variance determination threshold value.
前記画面内予測モード決定部が画面内予測モードの選択の対象とする画像ブロックの周辺に所在する画像ブロックに対して算出された動きベクトルを保持する周辺動きベクトル保持部を有し、
前記画面内予測モード決定部は、
前記周辺動きベクトル保持部から、画面内予測モードの選択の対象とする画像ブロックの周辺に所在する画像ブロックの動きベクトルを入力し、
画面内予測モードの選択の対象とする画像ブロックと、前記周辺動きベクトル保持部から入力した動きベクトルとの差分を算出し、算出した差分おける分散値を算出し、
算出した分散値と周辺ベクトル評価用しきい値とを比較し、
算出した分散値が周辺ベクトル評価用しきい値よりも大きい場合に、Planar予測モード及びDC予測モードのうちのいずれかを選択し、
算出した分散値が周辺ベクトル評価用しきい値以下である場合に、
画面内予測モードの選択の対象とする画像ブロックの動きベクトルのベクトル長を算出し、算出したベクトル長とベクトル長判定用しきい値とを比較することを特徴とする請求項1〜4のいずれかに記載の動画像符号化装置。 The moving image encoding device further includes:
The intra prediction mode determination unit includes a peripheral motion vector holding unit that holds a motion vector calculated for an image block located in the periphery of the image block to be selected in the intra prediction mode;
The in-screen prediction mode determination unit
From the peripheral motion vector holding unit, input the motion vector of the image block located in the periphery of the image block to be selected in the intra prediction mode,
Calculating the difference between the image block to be selected in the in-screen prediction mode and the motion vector input from the peripheral motion vector holding unit, calculating a variance value in the calculated difference;
Compare the calculated variance with the threshold for evaluating the surrounding vector,
If the calculated variance value is larger than the threshold for evaluating the surrounding vector, select one of the Plan a prediction mode and the DC prediction mode,
When the calculated variance is less than or equal to the threshold for evaluating the surrounding vector,
Calculating a vector length of the motion vector of the image block of interest in the intra prediction mode selection, one of the claims 1 to 4, characterized in that comparing the calculated and the vector length and vector length determining threshold value A moving image encoding apparatus according to claim 1.
前記コンピュータが、動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルのベクトル長を算出し、画像ブロックごとに、算出したベクトル長とベクトル長判定用しきい値とを比較し、算出したベクトル長がベクトル長判定用しきい値以下である場合に、画面内予測に適用する画面内予測モードとして、Planar予測モード及びDC予測モードのうちのいずれかを選択することを特徴とする画面内予測モード決定方法。 An intra-screen prediction mode determination method by a computer in which inter-frame prediction and intra-screen prediction for a moving image are performed,
The computer inputs the motion vector calculated for inter-frame prediction for each image block divided from the image frames constituting the moving image, calculates the vector length of the input motion vector , and for each image block When the calculated vector length is compared with the vector length determination threshold and the calculated vector length is equal to or less than the vector length determination threshold , Planar prediction is used as the intra prediction mode applied to the intra prediction. A method for determining an in-screen prediction mode, wherein one of a mode and a DC prediction mode is selected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176107A JP6080726B2 (en) | 2013-08-27 | 2013-08-27 | Moving picture encoding apparatus, intra prediction mode determination method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176107A JP6080726B2 (en) | 2013-08-27 | 2013-08-27 | Moving picture encoding apparatus, intra prediction mode determination method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015046723A JP2015046723A (en) | 2015-03-12 |
JP6080726B2 true JP6080726B2 (en) | 2017-02-15 |
Family
ID=52671919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013176107A Expired - Fee Related JP6080726B2 (en) | 2013-08-27 | 2013-08-27 | Moving picture encoding apparatus, intra prediction mode determination method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6080726B2 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244354A (en) * | 2011-05-18 | 2012-12-10 | Sony Corp | Image processing system and method |
-
2013
- 2013-08-27 JP JP2013176107A patent/JP6080726B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015046723A (en) | 2015-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2015213341B2 (en) | Video decoder, video encoder, video decoding method, and video encoding method | |
US9723316B2 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device | |
US11659178B2 (en) | Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored | |
JP2008227670A (en) | Image coding device | |
JP4937224B2 (en) | Image encoding device | |
CN107113438A (en) | Intra-frame encoding mode | |
JPWO2010067529A1 (en) | Moving picture decoding method and apparatus, moving picture encoding method and apparatus | |
JP5613319B2 (en) | Video encoding apparatus, video encoding method, and video encoding program | |
JP2017069866A (en) | Moving image encoder, moving image encoding method and computer program for encoding moving image | |
JP5748225B2 (en) | Moving picture coding method, moving picture coding apparatus, and moving picture coding program | |
JP2013115583A (en) | Moving image encoder, control method of the same, and program | |
JP2007228519A (en) | Image encoding device and image encoding method | |
JP6339977B2 (en) | Video encoding apparatus and video encoding program | |
JP2010041191A (en) | Image encoding method and image encoding device | |
JP6080726B2 (en) | Moving picture encoding apparatus, intra prediction mode determination method, and program | |
JP4971817B2 (en) | Image encoding device | |
JP6239838B2 (en) | Moving picture encoding apparatus, control method thereof, and imaging apparatus | |
JP2008153802A (en) | Moving picture encoding device and moving picture encoding program | |
JP2009049513A (en) | Moving picture encoding device and moving picture encoding method | |
US20130201367A1 (en) | Image encoding apparatus and its control method | |
KR102125969B1 (en) | Intra prediction method and apparatus using the method | |
JP2009188630A (en) | Image encoder | |
JP2015179943A (en) | Prediction mode cost calculation method and prediction mode cost calculation program | |
JP2012124542A (en) | Moving image encoding method and moving image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6080726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |