JP2012023609A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents
動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 Download PDFInfo
- Publication number
- JP2012023609A JP2012023609A JP2010160640A JP2010160640A JP2012023609A JP 2012023609 A JP2012023609 A JP 2012023609A JP 2010160640 A JP2010160640 A JP 2010160640A JP 2010160640 A JP2010160640 A JP 2010160640A JP 2012023609 A JP2012023609 A JP 2012023609A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- intra prediction
- intra
- encoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 103
- 239000013598 vector Substances 0.000 claims abstract description 125
- 238000013139 quantization Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims 1
- 238000005192 partition Methods 0.000 description 71
- 238000010586 diagram Methods 0.000 description 19
- 238000001914 filtration Methods 0.000 description 15
- 238000009499 grossing Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができるようにする。
【解決手段】可変長符号化部13が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトル(予測方向代表ベクトル)を特定し、その予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化する。
【選択図】図1
【解決手段】可変長符号化部13が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトル(予測方向代表ベクトル)を特定し、その予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化する。
【選択図】図1
Description
この発明は、イントラ予測処理又はインター予測処理を実施して予測符号化を実施する動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。
動画像符号化装置が実施するイントラ予測処理のうち、AVC/H.264符号化方式におけるイントラ予測モードについて説明する。
輝度のイントラ予測モードでは、複数の予測モードの中から、ブロック単位に1つの予測モードを選択することができる。
図15は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
輝度のイントラ予測モードでは、複数の予測モードの中から、ブロック単位に1つの予測モードを選択することができる。
図15は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
図15の例では、白丸が符号化対象のブロック内の画素であり、黒丸が予測に用いる画素であって、符号化済みの隣接ブロック内の画素である。
ただし、モード2は平均値予測に係るイントラ予測モードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード2以外のモードは方向性予測に係るイントラ予測モードである。
ただし、モード2は平均値予測に係るイントラ予測モードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード2以外のモードは方向性予測に係るイントラ予測モードである。
モード0は垂直方向予測に係るイントラ予測モードであり、上のブロックの隣接画素を垂直方向に繰り返すことにより、予測画像を生成する。例えば、符号化対象ブロックが縦縞模様のときにはモード0が選択される。
また、モード1は水平方向予測に係るイントラ予測モードであり、左のブロックの隣接画素を水平方向に繰り返すことにより、予測画像を生成する。
モード3からモード8は、上のブロック又は左のブロックの隣接画素を用いて、所定の方向(矢印で示す方向)に補間画素を生成することにより、予測画像を生成する。
また、モード1は水平方向予測に係るイントラ予測モードであり、左のブロックの隣接画素を水平方向に繰り返すことにより、予測画像を生成する。
モード3からモード8は、上のブロック又は左のブロックの隣接画素を用いて、所定の方向(矢印で示す方向)に補間画素を生成することにより、予測画像を生成する。
ここで、イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、8×8画素の場合には、4×4画素と同様に、9つのイントラ予測モードが規定されている。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、平面予測と呼ばれる4つのイントラ予測モードが規定されている。
平面予測に係るイントラ予測モードは、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、平面予測と呼ばれる4つのイントラ予測モードが規定されている。
平面予測に係るイントラ予測モードは、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。
なお、ブロックサイズが4×4画素又は8×8画素の場合の方向性予測モードでは、予め定められている方向(例えば、45度の方向)で予測値を生成するため、ブロック内のオブジェクトの境界(エッジ)の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができる。
ただし、ブロック内のオブジェクトのエッジの方向が、予測モードが示す方向と一致しなければ、予測効率が低下するため、符号量を削減することができない。
以下の特許文献1には、イントラ予測モードの発生頻度をカウントしている頻度情報テーブルを使用すれば、イントラ予測モードに係る符号量を削減することができる技術を開示しているが、予め、頻度情報テーブルを用意する必要がある。
ただし、ブロック内のオブジェクトのエッジの方向が、予測モードが示す方向と一致しなければ、予測効率が低下するため、符号量を削減することができない。
以下の特許文献1には、イントラ予測モードの発生頻度をカウントしている頻度情報テーブルを使用すれば、イントラ予測モードに係る符号量を削減することができる技術を開示しているが、予め、頻度情報テーブルを用意する必要がある。
従来の動画像符号化装置は以上のように構成されているので、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まり、予測効率を高めることができる。しかし、選択可能な方向性予測のモード数を増やせば、イントラ予測モードに係る情報の符号量が増加してしまうなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
この発明に係る動画像符号化装置は、可変長符号化手段が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化制御手段により決定されたイントラ予測パラメータの可変長符号化として、符号化制御手段により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化するようにしたものである。
この発明によれば、可変長符号化手段が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化制御手段により決定されたイントラ予測パラメータの可変長符号化として、符号化制御手段により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果がある。
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された符号化ブロックサイズのブロック(予測処理単位のブロック)に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部1はブロック分割手段を構成している。
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された符号化ブロックサイズのブロック(予測処理単位のブロック)に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部1はブロック分割手段を構成している。
符号化制御部2は符号化ブロックサイズを決定するとともに、選択可能な1以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部1から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化対象ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化対象ブロックを動き補償予測部5に出力する処理を実施する。
イントラ予測部4はイントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、切換スイッチ3から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像(予測画像)を生成する処理を実施する。
なお、切換スイッチ3、イントラ予測部4及びイントラ予測用メモリ10から予測画像生成手段が構成されている。
なお、切換スイッチ3、イントラ予測部4及びイントラ予測用メモリ10から予測画像生成手段が構成されている。
動き補償予測部5は切換スイッチ3から出力された符号化対象ブロックと動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
減算部6はブロック分割部1より出力された符号化対象ブロックから、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である予測差分信号(差分画像)を変換・量子化部7に出力する処理を実施する。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ(差分画像の量子化係数)を逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ(差分画像の量子化係数)を逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータを参照して、変換・量子化部7から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化してビットストリームを生成する処理を実施する。
ただし、可変長符号化部13は、符号化モードがイントラ符号化モードである場合、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化制御部2により決定されたイントラ予測パラメータの可変長符号化として、符号化制御部2により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化する。
なお、可変長符号化部13は可変長符号化手段を構成している。
ただし、可変長符号化部13は、符号化モードがイントラ符号化モードである場合、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化制御部2により決定されたイントラ予測パラメータの可変長符号化として、符号化制御部2により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化する。
なお、可変長符号化部13は可変長符号化手段を構成している。
図1の例では、動画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図3はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図3はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図2はこの発明の実施の形態1による動画像符号化装置の可変長符号化部13の内部を示す構成図である。
可変長符号化部13は、構成要素の1つとして、イントラ予測パラメータ可変長符号化部13aを内蔵している。
イントラ予測パラメータ可変長符号化部13aのイントラ予測パラメータ予測値算出部21はブロック分割部1から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータから、符号化対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。
可変長符号化部13は、構成要素の1つとして、イントラ予測パラメータ可変長符号化部13aを内蔵している。
イントラ予測パラメータ可変長符号化部13aのイントラ予測パラメータ予測値算出部21はブロック分割部1から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータから、符号化対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。
イントラ予測パラメータ二値化インデックス算出部22はイントラ予測パラメータ予測値算出部21により算出された予測値と、符号化対象ブロックのイントラ予測パラメータから、その予測値と予測方向代表ベクトルのインデックスが一致しているか否かを判定し、一致していれば、その判定結果を示すフラグの他に、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分値を含むイントラ予測パラメータ二値化インデックスを算出し、一致していなければ、その判定結果を示すフラグの他に、予測方向代表ベクトルのインデックスと上記差分値を含むイントラ予測パラメータ二値化インデックスを算出する処理を実施する。
エントロピー符号化部23はイントラ予測パラメータ二値化インデックス算出部22により算出されたイントラ予測パラメータ二値化インデックスを算術符号化などの可変長符号化を行って、イントラ予測パラメータ符号語を出力する処理を実施する。
エントロピー符号化部23はイントラ予測パラメータ二値化インデックス算出部22により算出されたイントラ予測パラメータ二値化インデックスを算術符号化などの可変長符号化を行って、イントラ予測パラメータ符号語を出力する処理を実施する。
図10はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図10において、可変長復号部31は動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
ただし、可変長復号部31は符号化モードがイントラ符号化モードである場合、イントラ予測パラメータの可変長復号として、予測方向代表ベクトルのインデックスを可変長復号するとともに、復号済みブロック(図1の動画像符号化装置の「符号化済みブロック」に相当するブロック)のイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長復号し、その予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、そのイントラ予測パラメータを決定する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
図10において、可変長復号部31は動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
ただし、可変長復号部31は符号化モードがイントラ符号化モードである場合、イントラ予測パラメータの可変長復号として、予測方向代表ベクトルのインデックスを可変長復号するとともに、復号済みブロック(図1の動画像符号化装置の「符号化済みブロック」に相当するブロック)のイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長復号し、その予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、そのイントラ予測パラメータを決定する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータを参照して、可変長復号部31により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の減算部6から出力された予測差分信号に相当する復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部32は逆量子化手段を構成している。
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
イントラ予測部34はイントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像(予測画像)を生成する処理を実施する。
なお、切換スイッチ33、イントラ予測部34及びイントラ予測用メモリ37から予測画像生成手段が構成されている。
なお、切換スイッチ33、イントラ予測部34及びイントラ予測用メモリ37から予測画像生成手段が構成されている。
動き補償部35は動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1のブロック分割部1から出力された符号化対象ブロックに相当する復号画像を算出する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1のブロック分割部1から出力された符号化対象ブロックに相当する復号画像を算出する処理を実施する。
イントラ予測用メモリ37は加算部36により算出された復号画像を格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
図10の例では、動画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図12はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
図12はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
図11はこの発明の実施の形態1による動画像復号装置の可変長復号部31の内部を示す構成図である。
可変長復号部31には、構成要素の1つとして、イントラ予測パラメータ可変長復号部31aを内蔵している。
イントラ予測パラメータ可変長復号部31aのエントロピー復号部41はイントラ予測パラメータ符号語からイントラ予測パラメータ二値化インデックスを可変長復号する処理を実施する。
イントラ予測パラメータ予測値算出部42は復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。
可変長復号部31には、構成要素の1つとして、イントラ予測パラメータ可変長復号部31aを内蔵している。
イントラ予測パラメータ可変長復号部31aのエントロピー復号部41はイントラ予測パラメータ符号語からイントラ予測パラメータ二値化インデックスを可変長復号する処理を実施する。
イントラ予測パラメータ予測値算出部42は復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。
イントラ予測パラメータインデックス算出部43はエントロピー復号部41により可変長復号されたイントラ予測パラメータ二値化インデックスに含まれているフラグが予測値と予測方向代表ベクトルのインデックスが一致している旨を示していれば、イントラ予測パラメータ予測値算出部42により算出された予測値と、そのイントラ予測パラメータ二値化インデックスに含まれている復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分値とから、イントラ予測パラメータを算出し、そのフラグが予測値と予測方向代表ベクトルのインデックスが一致していない旨を示していれば、イントラ予測パラメータ予測値算出部42により算出された予測値と、そのイントラ予測パラメータ二値化インデックスに含まれている予測方向代表ベクトルのインデックスと、上記差分値とからイントラ予測パラメータを算出する処理を実施する。
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の諧調は、8ビットでもよいし、10ビットや12ビットなどの諧調でもよい。
ただし、各画素の諧調は、8ビットでもよいし、10ビットや12ビットなどの諧調でもよい。
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図3のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図3のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。
ブロック分割部1は、入力画像の映像信号を入力すると、符号化制御部2により決定された最大符号化ブロックサイズで、入力画像のピクチャに分割し、分割後の各ピクチャを出力する。
また、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する(ステップST2)。
また、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する(ステップST2)。
ここで、図4は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図4において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さnにおいては、符号化対象ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図4では、Ln=Mnのケースを示している。
図4において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さnにおいては、符号化対象ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図4では、Ln=Mnのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ(Ln,Mn)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
以降、第n階層の符号化対象ブロックをBnで表し、符号化対象ブロックBnで選択可能な符号化モードをm(Bn)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックBnに対する符号化効率が最も高い符号化モードを選択する。
さらに、符号化対象ブロックBnは、図4に示すように、ブロック分割部1によって、1つないし複数の予測処理単位(パーティション)に分割される。
以降、符号化対象ブロックBnに属するパーティションをPi n(iは、第n階層におけるパーティション番号)と表記する。
符号化対象ブロックBnのパーティション分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
以降、符号化対象ブロックBnに属するパーティションをPi n(iは、第n階層におけるパーティション番号)と表記する。
符号化対象ブロックBnのパーティション分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図5に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図5(a)の斜線部分は、分割後のパーティションの分布を示しており、図5(b)は階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図5(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化対象ブロック)である。
符号化制御部2における階層分割・符号化モード判定の詳細な処理は後述する。
図5(a)の斜線部分は、分割後のパーティションの分布を示しており、図5(b)は階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図5(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化対象ブロック)である。
符号化制御部2における階層分割・符号化モード判定の詳細な処理は後述する。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードである場合(m(Bn)∈INTRAの場合)、ブロック分割部1から出力された符号化対象ブロックBnをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化対象ブロックBnを動き補償予測部5に出力する。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化対象ブロックBnを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードであり(m(Bn)∈INTRAの場合)、切換スイッチ3から符号化対象ブロックBnを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックBn内の各パーティションPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST4)。
なお、画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードであり(m(Bn)∈INTERの場合)、切換スイッチ3から符号化対象ブロックBnを受けると(ステップST3)、その符号化対象ブロックBn内の各パーティションPi nと動き補償予測フレームメモリ12に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化対象ブロックBn内の各パーティションPi nに対するインター予測処理を実施して、インター予測画像PINTERi nを生成する(ステップST5)。
なお、画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
なお、画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化対象ブロックBnを受けると、その符号化対象ブロックBn内のパーティションPi nから、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nを減算して、その減算結果である予測差分信号ei nを変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号ei nを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号ei nに対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出する(ステップST8)。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部1から出力された符号化対象ブロックBnに相当する局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像が入力された後に1画面分まとめて行ってもよい。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像が入力された後に1画面分まとめて行ってもよい。
可変長符号化部13は、全ての符号化対象ブロックBnに対するステップST3〜ST9の処理が完了すると(ステップST11、ST12)、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された符号化モードm(Bn)と、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
可変長符号化部13の処理内容の詳細は後述する。
可変長符号化部13の処理内容の詳細は後述する。
次に、イントラ予測部4の処理内容を詳細に説明する。
図6は符号化対象ブロックBn内の各パーティションPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図6では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図6の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図6は符号化対象ブロックBn内の各パーティションPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図6では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図6の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
イントラ予測部4は、上述したように、パーティションPi nのイントラ予測パラメータを参照して、そのパーティションPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成するが、ここでは、パーティションPi nの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
パーティションPi nのサイズをli n×mi n画素とする。
図7はli n=mi n=4の場合のパーティションPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図7では、パーティションPi nに隣接している符号化済みの上パーティションの画素(2×li n+1)個と、左パーティションの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図7に示す画素より多くても少なくてもよい。
また、図7では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
図7はli n=mi n=4の場合のパーティションPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図7では、パーティションPi nに隣接している符号化済みの上パーティションの画素(2×li n+1)個と、左パーティションの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図7に示す画素より多くても少なくてもよい。
また、図7では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図7の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
同様の手順で、パーティションPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
図7の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
同様の手順で、パーティションPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
パーティションPi nの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
次に、可変長符号化部13の処理内容を詳細に説明する。
可変長符号化部13は、イントラ予測パラメータを可変長符号化する際、周辺の符号化済みパーティションのイントラ予測パラメータに基づき、符号化対象のパーティションPi nのイントラ予測パラメータの予測値を算出し、その予測値を用いて予測符号化を行う。
即ち、可変長符号化部13の一部を構成しているイントラ予測パラメータ可変長符号化部13aのイントラ予測パラメータ予測値算出部21は、符号化済み周辺のパーティションのイントラ予測パラメータに基づき、符号化対象であるパーティションPi nのイントラ予測パラメータの予測値を算出する。
ここで、図8はパーティションPi nのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。
図8の例では、パーティションPi nの左(A)、上(B)、右上(C)、左上(D)のパーティションのイントラ予測パラメータを予測値の算出に用いている。
可変長符号化部13は、イントラ予測パラメータを可変長符号化する際、周辺の符号化済みパーティションのイントラ予測パラメータに基づき、符号化対象のパーティションPi nのイントラ予測パラメータの予測値を算出し、その予測値を用いて予測符号化を行う。
即ち、可変長符号化部13の一部を構成しているイントラ予測パラメータ可変長符号化部13aのイントラ予測パラメータ予測値算出部21は、符号化済み周辺のパーティションのイントラ予測パラメータに基づき、符号化対象であるパーティションPi nのイントラ予測パラメータの予測値を算出する。
ここで、図8はパーティションPi nのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。
図8の例では、パーティションPi nの左(A)、上(B)、右上(C)、左上(D)のパーティションのイントラ予測パラメータを予測値の算出に用いている。
イントラ予測パラメータ予測値算出部21が予測値を算出する処理を、イントラ予測モード数が図6に示す17種類の場合を例にして説明する。
図6において、17種類のイントラ予測モードは、平均値予測モードと16種類の方向性予測モードからなる。
図9は17種類のイントラ予測モードのインデックス値と平均値予測を除く、16種類の方向性予測モードの予測方向ベクトルの一例を示す説明図である。16種類の予測方向ベクトルの中から代表的な方向を示す予測方向代表ベクトルを予め決めおくものとする。
以下の説明では、図9に示す“0”から“8”の9方向の予測方向ベクトルを予測方向代表ベクトルとして予め決めた場合を例に説明する。
図6において、17種類のイントラ予測モードは、平均値予測モードと16種類の方向性予測モードからなる。
図9は17種類のイントラ予測モードのインデックス値と平均値予測を除く、16種類の方向性予測モードの予測方向ベクトルの一例を示す説明図である。16種類の予測方向ベクトルの中から代表的な方向を示す予測方向代表ベクトルを予め決めおくものとする。
以下の説明では、図9に示す“0”から“8”の9方向の予測方向ベクトルを予測方向代表ベクトルとして予め決めた場合を例に説明する。
イントラ予測パラメータ予測値算出部21は、予測値の算出に用いる符号化済み周辺パーティションのイントラ予測モードから予測方向代表インデックスを算出する。
ただし、方向性予測モードの予測方向代表インデックスは、その方向性予測モードが示す予測方向ベクトルに対する相対角度が最も小さい予測方向代表ベクトルのインデックスとする。
即ち、方向性予測モードが示す予測方向ベクトルと方向が近い予測方向代表ベクトルのインデックス値である。なお、平均値予測モードの予測方向代表インデックスは、自身(平均値予測モード)のインデックス値とする。
図9は17種類のイントラ予測モードの予測方向代表インデックスを示している。さらに、同じ予測方向代表インデックスを有するイントラ予測モードインデックスに対して、予測方向差分インデックスを割り当てている。
ただし、方向性予測モードの予測方向代表インデックスは、その方向性予測モードが示す予測方向ベクトルに対する相対角度が最も小さい予測方向代表ベクトルのインデックスとする。
即ち、方向性予測モードが示す予測方向ベクトルと方向が近い予測方向代表ベクトルのインデックス値である。なお、平均値予測モードの予測方向代表インデックスは、自身(平均値予測モード)のインデックス値とする。
図9は17種類のイントラ予測モードの予測方向代表インデックスを示している。さらに、同じ予測方向代表インデックスを有するイントラ予測モードインデックスに対して、予測方向差分インデックスを割り当てている。
次に、符号化済み周辺パーティションのイントラ予測モードの予測方向代表インデックスに基づき、符号化対象であるパーティションPi nのイントラ予測パラメータの予測値を算出する処理について説明する。
例えば、予測値の算出に用いる周辺パーティションがパーティションPi nの左(A)、上(B)、右上(C)、左上(D)のパーティションである場合、パーティションA,B,C,Dの予測方向代表インデックスをそれぞれmA,mB,mC,mDとしたときに、mA,mB,mC,mDの最頻値や最小値、メディアンなどの統計値の中から予め決められた統計値を予測値pmpとする。あるいは、周囲のパーティションの予測方向ベクトルの向きに応じて、例えば、パーティションCの予測方向ベクトルの向きが左斜め下の場合(図9の例では、イントラ予測モードインデックスが8、10、16の場合)、エッジの連続性から考えて、パーティションPi nの予測方向ベクトルの向きも左斜め下になる確率が高いことから、予測方向代表ベクトルの向きが左斜め下を表す予測方向代表インデックス(図9の例では8)を、パーティションPi nの予測値pmpとする。あるいは、A、B、C、Dのパーティションの中から予め決められた1つのパーティションの予測方向代表インデックスを予測値pmpとしてもよい。あるいは、周辺パーティションの予測方向代表インデックスを用いずに、予め決められた予測方向代表インデックス(例えば平均値予測モードのインデックス)を予測値pmpとしてもよい。
そして、算出した予測値pmpをイントラ予測パラメータ二値化インデックス算出部22に出力する。
例えば、予測値の算出に用いる周辺パーティションがパーティションPi nの左(A)、上(B)、右上(C)、左上(D)のパーティションである場合、パーティションA,B,C,Dの予測方向代表インデックスをそれぞれmA,mB,mC,mDとしたときに、mA,mB,mC,mDの最頻値や最小値、メディアンなどの統計値の中から予め決められた統計値を予測値pmpとする。あるいは、周囲のパーティションの予測方向ベクトルの向きに応じて、例えば、パーティションCの予測方向ベクトルの向きが左斜め下の場合(図9の例では、イントラ予測モードインデックスが8、10、16の場合)、エッジの連続性から考えて、パーティションPi nの予測方向ベクトルの向きも左斜め下になる確率が高いことから、予測方向代表ベクトルの向きが左斜め下を表す予測方向代表インデックス(図9の例では8)を、パーティションPi nの予測値pmpとする。あるいは、A、B、C、Dのパーティションの中から予め決められた1つのパーティションの予測方向代表インデックスを予測値pmpとしてもよい。あるいは、周辺パーティションの予測方向代表インデックスを用いずに、予め決められた予測方向代表インデックス(例えば平均値予測モードのインデックス)を予測値pmpとしてもよい。
そして、算出した予測値pmpをイントラ予測パラメータ二値化インデックス算出部22に出力する。
イントラ予測パラメータ二値化インデックス算出部22は、符号化対象であるパーティションPi nのイントラ予測パラメータ(イントラ予測モードのインデックス)mpと予測値pmpを入力し、イントラ予測パラメータ二値化インデックスdmpを算出する。
以下、イントラ予測パラメータ二値化インデックスの算出方法について説明する。
以下、イントラ予測パラメータ二値化インデックスの算出方法について説明する。
次に、イントラ予測モードmpの予測方向差分インデックスをdrpとして、上記のイントラ予測パラメータ二値化インデックスdmpに対して、さらに、下式に基づく処理を行う。
ただし、lは同じ予測方向代表インデックスを有するイントラ予測モードの個数であり、図9の例では、イントラ予測モードが平均値予測の場合には、l=1,k=0、イントラ予測モードが平均値予測以外の場合には、l=2,k=1である。
ただし、lは同じ予測方向代表インデックスを有するイントラ予測モードの個数であり、図9の例では、イントラ予測モードが平均値予測の場合には、l=1,k=0、イントラ予測モードが平均値予測以外の場合には、l=2,k=1である。
上記の算出方法で求めたイントラ予測パラメータ二値化インデックスdmpは、1ビット目が、イントラ予測モードの予測方向代表インデックスrmpと予測値pmpが一致しているか否かを示すフラグビット(上記の算出式では、一致している場合は“0”、一致していない場合は“1”を割り当てている)である。
イントラ予測モードの予測方向代表インデックスrmpと予測値pmpが一致している場合、イントラ予測パラメータ二値化インデックスdmpの2〜(k+1)ビットが、予測方向差分インデックス値を表すビットになる。
一方、イントラ予測モードの予測方向代表インデックスrmpと予測値pmpが一致していない場合、イントラ予測パラメータ二値化インデックスdmpの2〜(n+1)ビットが、予測方向代表インデックス値を表すビットになり、(n+2)〜(n+k+1)ビットが、予測方向差分インデックス値を表すビットになる。
以上の処理により算出されたイントラ予測パラメータ二値化インデックスdmpは、エントロピー符号化部23に出力される。
イントラ予測モードの予測方向代表インデックスrmpと予測値pmpが一致している場合、イントラ予測パラメータ二値化インデックスdmpの2〜(k+1)ビットが、予測方向差分インデックス値を表すビットになる。
一方、イントラ予測モードの予測方向代表インデックスrmpと予測値pmpが一致していない場合、イントラ予測パラメータ二値化インデックスdmpの2〜(n+1)ビットが、予測方向代表インデックス値を表すビットになり、(n+2)〜(n+k+1)ビットが、予測方向差分インデックス値を表すビットになる。
以上の処理により算出されたイントラ予測パラメータ二値化インデックスdmpは、エントロピー符号化部23に出力される。
エントロピー符号化部23は、イントラ予測パラメータ二値化インデックス算出部22から出力されたイントラ予測パラメータ二値化インデックスdmpを、予測方向代表インデックスrmpと予測方向差分インデックス毎に、それぞれの確率モデルに応じて、コンテキストを切り替えて算術符号化などのハフマン符号化を行う。
その符号化結果であるイントラ予測パラメータ符号語は、可変長符号化部13のビットストリーム多重化部(図示せず)でビットストリームに多重化される。
その符号化結果であるイントラ予測パラメータ符号語は、可変長符号化部13のビットストリーム多重化部(図示せず)でビットストリームに多重化される。
図1の動画像符号化装置の可変長符号化部13は、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル(予測方向代表ベクトル)を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス(予測方向代表インデックス)と、予測方向代表ベクトルからの差分を表すインデックス(予測方向差分インデックス)で表して、それぞれのインデックス毎に確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化することができる。
次に、図10の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図12のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図12のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
即ち、可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図4で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部31は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック(図1の動画像符号化装置の「符号化対象ブロック」に相当するブロック)を特定する(ステップST23)。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図4で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部31は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック(図1の動画像符号化装置の「符号化対象ブロック」に相当するブロック)を特定する(ステップST23)。
次に、可変長復号部31は、符号化対象ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化対象ブロックをさらに1つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する(ステップST24)。
可変長復号部31は、復号対象ブロック(符号化対象ブロック)に割り当てられている符号化モードがイントラ符号化モードである場合、復号対象ブロック(符号化対象ブロック)に含まれており、予測処理単位となる1つ以上のパーティション毎にイントラ予測パラメータを復号する。
イントラ予測パラメータの復号は、動画像符号化装置側と同じ手順で周辺の復号済みパーティションのイントラ予測パラメータに基づき、復号対象であるパーティションPi nのイントラ予測パラメータの予測値を算出し、その予測値を用いて復号する。
イントラ予測パラメータの復号は、動画像符号化装置側と同じ手順で周辺の復号済みパーティションのイントラ予測パラメータに基づき、復号対象であるパーティションPi nのイントラ予測パラメータの予測値を算出し、その予測値を用いて復号する。
即ち、可変長復号部31の一部を構成しているイントラ予測パラメータ可変長復号部31a内のエントロピー復号部41は、ビットストリームに含まれているイントラ予測パラメータ符号語を入力し、そのイントラ予測パラメータ符号語からイントラ予測パラメータ二値化インデックスを可変長復号する。
イントラ予測パラメータ予測値算出部42は、動画像符号化装置のイントラ予測パラメータ予測値算出部21と同じ手順で、復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する。
イントラ予測パラメータ予測値算出部42は、動画像符号化装置のイントラ予測パラメータ予測値算出部21と同じ手順で、復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する。
イントラ予測パラメータインデックス算出部43は、エントロピー復号部41により可変長復号されたイントラ予測パラメータ二値化インデックスと、イントラ予測パラメータ予測値算出部42により算出された予測値とから、イントラ予測パラメータを算出する。
以下、イントラ予測パラメータの算出方法を説明する。
以下、イントラ予測パラメータの算出方法を説明する。
イントラ予測パラメータインデックス算出部43は、イントラ予測パラメータインデックスを算出するために、予測方向代表インデックスと予測方向差分インデックスを算出する。
イントラ予測パラメータ二値化インデックスをdmpとする。
イントラ予測パラメータ二値化インデックスdmpの1ビット目が“0”の場合、予測値pmpを予測方向代表インデックス値rmpとする。
イントラ予測パラメータ二値化インデックスdmpの1ビット目が“1”の場合、続いて、2〜(k+1)ビットを復号し、2〜(n+1)ビットを復号した値RMpに対して、下式により予測方向代表インデックス値rmpを算出する。
イントラ予測パラメータ二値化インデックスをdmpとする。
イントラ予測パラメータ二値化インデックスdmpの1ビット目が“0”の場合、予測値pmpを予測方向代表インデックス値rmpとする。
イントラ予測パラメータ二値化インデックスdmpの1ビット目が“1”の場合、続いて、2〜(k+1)ビットを復号し、2〜(n+1)ビットを復号した値RMpに対して、下式により予測方向代表インデックス値rmpを算出する。
次に、イントラ予測パラメータインデックス算出部43は、イントラ予測パラメータ二値化インデックスdmpの1ビット目が“0”の場合、2〜(k+1)ビット目を復号し、1ビット目が“1”の場合には、(n+2)〜(n+k+1)ビット目を復号し、その復号した値を予測方向差分インデックスdrpとする。
動画像復号装置においても、動画像符号化装置と同様に、予測方向代表インデックスと予測方向差分インデックスに基づき、イントラ予測パラメータインデックスを復号する。
可変長復号部31は、符号化モードに割り当てられている符号化モードがインター符号化モードの場合、復号対象ブロック(符号化対象ブロック)に含まれており、予測処理単位となる1つ以上パーティション毎にインター予測パラメータを復号する。
可変長復号部31は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
可変長復号部31は、符号化モードに割り当てられている符号化モードがインター符号化モードの場合、復号対象ブロック(符号化対象ブロック)に含まれており、予測処理単位となる1つ以上パーティション毎にインター予測パラメータを復号する。
可変長復号部31は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モードであれば(m(Bn)∈INTRAの場合)、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モードであり(m(Bn)∈INTRAの場合)、切換スイッチ33からイントラ予測パラメータを受けると(ステップST25)、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている局所復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いて、復号対象ブロックBn内の各パーティションPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST26)。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであり(m(Bn)∈INTERの場合)、切換スイッチ33から符号化対象ブロックBnを受けると(ステップST25)、動き補償予測フレームメモリ39に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像PINTERi nを生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の減算部6から出力された予測差分信号に相当する復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi n、または、動き補償部35により生成されたインター予測画像PINTERi nとを加算して、復号対象ブロック内に含まれる1つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測用の画像信号になる。
この復号画像が、以降のイントラ予測用の画像信号になる。
ループフィルタ部11は、全ての復号対象ブロックBnに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
図10の動画像復号装置の可変長復号部31は、イントラ予測パラメータを復号する際に、複数の方向性予測の予測方向ベクトルの中から選択された代表的な予測方向ベクトル(予測方向代表ベクトル)のインデックスと、予測方向代表ベクトルからの差分を表すインデックス(予測方向差分インデックス)とをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号することで、符号量を削減して符号化されたイントラ予測パラメータを正しく復号することができる。
以上で明らかなように、この実施の形態1によれば、動画像符号化装置の可変長符号化部13が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、ブロック分割部1から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトル(予測方向代表ベクトル)を特定し、符号化制御部2により決定されたイントラ予測パラメータの可変長符号化として、その予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果を奏する。
また、この実施の形態1によれば、動画像復号装置の可変長復号部31が、イントラ予測パラメータの可変長復号として、予測方向代表ベクトルのインデックスを可変長復号するとともに、復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長復号して、その予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、そのイントラ予測パラメータを決定するように構成したので、予測効率を低下させることなくイントラ予測パラメータの符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。
実施の形態2.
上記実施の形態1では、動画像符号化装置のイントラ予測部4が、映像信号における輝度信号と色差信号を同様に取り扱い、輝度信号の符号化対象ブロックに対するイントラ予測処理と、色差信号の符号化対象ブロックに対するイントラ予測処理とを別個独立に実施している。
このため、可変長符号化部13は、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと、色差信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータとを個別に可変長符号化してビットストリームに多重化するようにしている。
この場合、例えば、輝度信号の符号化対象ブロックと色差信号の符号化対象ブロックとの特徴が近似しており、双方の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータがほぼ同じであれば、ビットストリームに多重化しているイントラ予測パラメータが冗長的となる。
上記実施の形態1では、動画像符号化装置のイントラ予測部4が、映像信号における輝度信号と色差信号を同様に取り扱い、輝度信号の符号化対象ブロックに対するイントラ予測処理と、色差信号の符号化対象ブロックに対するイントラ予測処理とを別個独立に実施している。
このため、可変長符号化部13は、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと、色差信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータとを個別に可変長符号化してビットストリームに多重化するようにしている。
この場合、例えば、輝度信号の符号化対象ブロックと色差信号の符号化対象ブロックとの特徴が近似しており、双方の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータがほぼ同じであれば、ビットストリームに多重化しているイントラ予測パラメータが冗長的となる。
そこで、この実施の形態2では、イントラ予測部4が、色差信号の予測画像を生成する際、例えば、輝度信号の符号化対象ブロックと色差信号の符号化対象ブロックとの特徴が近似している場合、その輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施することで、ビットストリームに多重化するイントラ予測パラメータを削減する例を説明する。
具体的には、以下の通りである。
図13は輝度信号及び色差信号のパーティションPi nの一例を示す説明図である。
動画像符号化装置のイントラ予測部4は、図13(a)に示すように、パーティションPi nの輝度信号(Y)にエッジがある場合、色差信号(Cb,Cr)に対しても同様のエッジが存在することが多いという特徴を利用して、輝度信号で適用されたイントラ予測パラメータを色差信号のイントラ予測パラメータとしてそのまま適用し、イントラ予測画像を生成する。
ただし、図13(b)に示すように、パーティションPi nの輝度信号(Y)にエッジがあっても、グレースケールのエッジである場合、色差信号(Cb,Cr)にはエッジがないこともある。
このような場合には、輝度信号のイントラ予測パラメータを適用せずに、平均値予測を適用して、イントラ予測画像を生成するようにする。
図13は輝度信号及び色差信号のパーティションPi nの一例を示す説明図である。
動画像符号化装置のイントラ予測部4は、図13(a)に示すように、パーティションPi nの輝度信号(Y)にエッジがある場合、色差信号(Cb,Cr)に対しても同様のエッジが存在することが多いという特徴を利用して、輝度信号で適用されたイントラ予測パラメータを色差信号のイントラ予測パラメータとしてそのまま適用し、イントラ予測画像を生成する。
ただし、図13(b)に示すように、パーティションPi nの輝度信号(Y)にエッジがあっても、グレースケールのエッジである場合、色差信号(Cb,Cr)にはエッジがないこともある。
このような場合には、輝度信号のイントラ予測パラメータを適用せずに、平均値予測を適用して、イントラ予測画像を生成するようにする。
また、図13(c)に示すように、パーティションPi nの輝度信号(Y)にエッジがある場合でも、色差信号(Cb,Cr)では、エッジの境界がぼけていたり、切れていたりすることもある。
このような場合には、エッジの境界がぼけていたり、切れていたりする領域の画素で予測残差が大きくなって、予測残差に係る符号量が増えるおそれがある。
そこで、予測残差に係る符号量が増える状況の発生を避けるため、図14に示すように、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施することで予測画像を生成したのち、エッジをぼかすように、その予測画像に対して、平滑化フィルタをかけるようにする。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。
このような場合には、エッジの境界がぼけていたり、切れていたりする領域の画素で予測残差が大きくなって、予測残差に係る符号量が増えるおそれがある。
そこで、予測残差に係る符号量が増える状況の発生を避けるため、図14に示すように、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施することで予測画像を生成したのち、エッジをぼかすように、その予測画像に対して、平滑化フィルタをかけるようにする。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。
可変長符号化部13は、輝度信号で適用されたイントラ予測パラメータについては、上記実施の形態1と同様に、可変長符号化してビットストリームに多重化するが、色差信号で適用されたイントラ予測パラメータについては次のようにする。
即ち、可変長符号化部13は、色差信号で適用されたイントラ予測パラメータ自体は可変長符号化せずに、そのイントラ予測パラメータの代わりに、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施しているか、平均値予測を適用しているかを示す1ビットのフラグを算術符号化などによりエントロピー符号化する。
これにより、色差信号で適用されたイントラ予測パラメータとして、1ビットのフラグがビットストリームに多重化される。
なお、必要に応じて、予測画像に対して平滑化フィルタをかける場合、平滑化フィルタをかけているか否かを示す1ビットのフラグを算術符号化などによりエントロピー符号化する。
即ち、可変長符号化部13は、色差信号で適用されたイントラ予測パラメータ自体は可変長符号化せずに、そのイントラ予測パラメータの代わりに、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施しているか、平均値予測を適用しているかを示す1ビットのフラグを算術符号化などによりエントロピー符号化する。
これにより、色差信号で適用されたイントラ予測パラメータとして、1ビットのフラグがビットストリームに多重化される。
なお、必要に応じて、予測画像に対して平滑化フィルタをかける場合、平滑化フィルタをかけているか否かを示す1ビットのフラグを算術符号化などによりエントロピー符号化する。
ここでは、イントラ予測部4が、色差信号の予測画像を生成する際、輝度信号のイントラ予測パラメータを適用しない場合、平均値予測を適用して、イントラ予測画像を生成するものについて示したが、平均値予測に加えて、水平予測や垂直予測など、複数の代表的な予測方向ベクトルに対応するモード(方向性予測モード)を適用して予測画像を生成するようにしてもよい。
また、方向性予測モードを適用して生成された予測画像に対して平滑化フィルタをかけた画像を色差信号の予測画像としてもよい。
また、方向性予測モードを適用して生成された予測画像に対して平滑化フィルタをかけた画像を色差信号の予測画像としてもよい。
図10の動画像復号装置の可変長復号部31は、色差信号で適用されたイントラ予測パラメータとして、ビットストリームから1ビットのフラグを可変長復号する。
イントラ予測部34は、可変長復号部31により可変長復号されたフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施している旨を示している場合、図1のイントラ予測部4と同様に、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロック(符号化対象ブロック)に対するイントラ予測処理を実施して色差信号の予測画像を生成する。
一方、そのフラグが、平均値予測を適用している旨を示している場合(輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施していない旨を示している場合)、図1のイントラ予測部4と同様に、平均値予測を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。
また、そのフラグが、水平予測(あるいは、垂直予測)を適用している旨を示している場合、水平予測(あるいは、垂直予測)を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。
イントラ予測部34は、可変長復号部31により可変長復号されたフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施している旨を示している場合、図1のイントラ予測部4と同様に、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロック(符号化対象ブロック)に対するイントラ予測処理を実施して色差信号の予測画像を生成する。
一方、そのフラグが、平均値予測を適用している旨を示している場合(輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施していない旨を示している場合)、図1のイントラ予測部4と同様に、平均値予測を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。
また、そのフラグが、水平予測(あるいは、垂直予測)を適用している旨を示している場合、水平予測(あるいは、垂直予測)を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。
イントラ予測部34は、可変長復号部31により、平滑化フィルタをかけているか否かを示す1ビットのフラグが可変長復号された場合、そのフラグが、平滑化フィルタをかけている旨を示していれば、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成したのち、その予測画像に対して、平滑化フィルタをかけるようにする。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。
以上で明らかなように、この実施の形態2によれば、動画像符号化装置のイントラ予測部4が、色差信号の予測画像を生成する際、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施し、あるいは、平均値予測を適用して、色差信号の符号化対象ブロックに対するイントラ予測処理を実施し、可変長符号化部13が、色差信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータとして、イントラ予測部4が輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施しているか否かを示すフラグを可変長符号化するように構成したので、予測効率を低下させることなく、色差信号のイントラ予測モードに係る符号量を削減することができる効果を奏する。
また、この実施の形態2によれば、動画像符号化装置のイントラ予測部4が、色差信号の符号化対象ブロックに対するイントラ予測処理を実施して、色差信号の予測画像を生成してから、その予測画像に対して平滑化フィルタをかけるように構成したので、予測効率を高めて、残差信号の符号量を削減することができる効果を奏する。
この実施の形態2によれば、動画像復号装置の可変長復号部31が、ビットストリームからフラグを可変長復号し、イントラ予測部34が、可変長復号部31により可変長復号されたフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施している旨を示している場合、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロック(符号化対象ブロック)に対するイントラ予測処理を実施して色差信号の予測画像を生成し、そのフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施していない旨を示している場合、平均値予測を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成するように構成したので、予測効率を低下させることなく、色差信号のイントラ予測パラメータの符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。
また、この実施の形態2によれば、動画像復号装置のイントラ予測部34が、色差信号の復号対象ブロックに対するイントラ予測処理を実施して、色差信号の予測画像を生成してから、その予測画像に対して平滑化フィルタをかけるように構成したので、予測効率を高めて、残差信号に係る符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。
1 ブロック分割部(ブロック分割手段)、2 符号化制御部(符号化制御手段)、3 切換スイッチ(予測画像生成手段)、4 イントラ予測部(予測画像生成手段)、5 動き補償予測部、6 減算部(量子化手段)、7 変換・量子化部(量子化手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ(予測画像生成手段)、11 ループフィルタ部、12 動き補償予測フレームメモリ、13 可変長符号化部(可変長符号化手段)、13a イントラ予測パラメータ可変長符号化部、21 イントラ予測パラメータ予測値算出部、22 イントラ予測パラメータ二値化インデックス算出部、23 エントロピー符号化部、31 可変長復号部(可変長復号手段)、31a イントラ予測パラメータ可変長復号部、32 逆量子化・逆変換部(逆量子化手段)、33 切換スイッチ(予測画像生成手段)、34 イントラ予測部(予測画像生成手段)、35 動き補償部、36 加算部、37 イントラ予測用メモリ(予測画像生成手段)、38 ループフィルタ部、39 動き補償予測フレームメモリ、41 エントロピー復号部、42 イントラ予測パラメータ予測値算出部、43 イントラ予測パラメータインデックス算出部。
Claims (6)
- 入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割手段と、上記ブロック分割手段から出力される符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定する符号化制御手段と、上記符号化制御手段により決定されたイントラ予測パラメータを用いて、上記ブロック分割手段から出力された符号化対象ブロックに対するイントラ予測処理を実施して予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記ブロック分割手段から出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数及び上記符号化制御手段により決定されたイントラ予測パラメータを可変長符号化してビットストリームを生成する可変長符号化手段とを備え、上記可変長符号化手段は、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、上記符号化制御手段により決定されたイントラ予測パラメータの可変長符号化として、上記符号化制御手段により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長符号化するとともに、上記符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと上記予測方向代表ベクトルの差分を表すインデックスを可変長符号化することを特徴とする動画像符号化装置。
- 可変長符号化手段は、ブロック分割手段から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータから、上記符号化対象ブロックのイントラ予測パラメータの予測値を算出するイントラ予測パラメータ予測値算出部と、上記イントラ予測パラメータ予測値算出部により算出された予測値と上記符号化対象ブロックのイントラ予測パラメータから、上記予測値と予測方向代表ベクトルのインデックスが一致しているか否かを判定し、一致していれば、その判定結果を示すフラグの他に、上記符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと上記予測方向代表ベクトルの差分値を含む二値化インデックスを算出し、一致していなければ、その判定結果を示すフラグの他に、上記予測方向代表ベクトルのインデックスと上記差分値を含む二値化インデックスを算出する二値化インデックス算出部と、上記二値化インデックス算出部により算出された二値化インデックスを可変長符号化するエントロピー符号化部とから構成されていることを特徴とする請求項1記載の動画像符号化装置。
- ビットストリームから量子化係数及びイントラ予測パラメータを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された量子化係数を逆量子化する逆量子化手段と、上記可変長復号手段により可変長復号されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施して予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆量子化結果が示す差分画像を加算して復号画像を得る画像加算手段とを備え、上記可変長復号手段は、上記イントラ予測パラメータの可変長復号として、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、上記復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長復号するとともに、上記復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと上記予測方向代表ベクトルの差分を表すインデックスを可変長復号し、上記予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、上記イントラ予測パラメータを決定することを特徴とする動画像復号装置。
- 可変長復号手段は、ビットストリームから二値化インデックスを可変長復号するエントロピー復号部と、復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出するイントラ予測パラメータ予測値算出部と、上記エントロピー復号部により可変長復号された二値化インデックスに含まれているフラグが、予測値と予測方向代表ベクトルのインデックスが一致している旨を示していれば、上記イントラ予測パラメータ予測値算出部により算出された予測値と、上記二値化インデックスに含まれている復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分値とからイントラ予測パラメータを算出し、上記フラグが、予測値と予測方向代表ベクトルのインデックスが一致していない旨を示していれば、上記イントラ予測パラメータ予測値算出部により算出された予測値と、上記二値化インデックスに含まれている予測方向代表ベクトルのインデックス及び上記差分値とからイントラ予測パラメータを算出することを特徴とする請求項3記載の動画像復号装置。
- ブロック分割手段が、入力画像を予測処理単位のブロックに分割して、予測処理単位のブロックである符号化対象ブロックを出力するブロック分割処理ステップと、符号化制御手段が、上記ブロック分割処理ステップによって出力される符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定する符号化制御処理ステップと、予測画像生成手段が、上記符号化制御処理ステップで決定されたイントラ予測パラメータを用いて、上記ブロック分割処理ステップによって出力された符号化対象ブロックに対するイントラ予測処理を実施して予測画像を生成する予測画像生成処理ステップと、量子化手段が、上記予測画像生成処理ステップで生成された予測画像と上記ブロック分割処理ステップによって出力された符号化対象ブロックの差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が、上記量子化処理ステップによって出力された量子化係数及び上記符号化制御処理ステップで決定されたイントラ予測パラメータを可変長符号化してビットストリームを生成する可変長符号化処理ステップとを備え、上記可変長符号化手段が、上記イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、上記符号化制御処理ステップで決定されたイントラ予測パラメータの可変長符号化として、上記符号化制御処理ステップで決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長符号化するとともに、上記符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと上記予測方向代表ベクトルの差分を表すインデックスを可変長符号化することを特徴とする動画像符号化方法。
- 可変長復号手段が、ビットストリームから量子化係数及びイントラ予測パラメータを可変長復号する可変長復号処理ステップと、逆量子化手段が、上記可変長復号処理ステップで可変長復号された量子化係数を逆量子化する逆量子化処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施して予測画像を生成する予測画像生成処理ステップと、画像加算手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆量子化結果が示す差分画像を加算して復号画像を得る画像加算処理ステップとを備え、上記可変長復号手段が、上記イントラ予測パラメータの可変長復号として、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、上記復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルである予測方向代表ベクトルのインデックスを可変長復号するとともに、上記復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと上記予測方向代表ベクトルの差分を表すインデックスを可変長復号し、上記予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、上記イントラ予測パラメータを決定することを特徴とする動画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160640A JP2012023609A (ja) | 2010-07-15 | 2010-07-15 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160640A JP2012023609A (ja) | 2010-07-15 | 2010-07-15 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012023609A true JP2012023609A (ja) | 2012-02-02 |
Family
ID=45777480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010160640A Pending JP2012023609A (ja) | 2010-07-15 | 2010-07-15 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012023609A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016005235A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2016005210A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 端末装置及びデータ管理装置 |
CN112422968A (zh) * | 2019-08-23 | 2021-02-26 | 北京三星通信技术研究有限公司 | 帧内预测方法及装置、基于帧内预测的编解码方法及装置 |
-
2010
- 2010-07-15 JP JP2010160640A patent/JP2012023609A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016005235A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2016005210A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 端末装置及びデータ管理装置 |
CN112422968A (zh) * | 2019-08-23 | 2021-02-26 | 北京三星通信技术研究有限公司 | 帧内预测方法及装置、基于帧内预测的编解码方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5782169B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP6851429B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
JP7012809B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
JP2012023609A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098715A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
HK1183189B (en) | Video encoding device, video decoding device, video encoding method, and video decoding method |