JP4163618B2 - 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置及び復号化装置、符号化方法、復号化方法及びプログラムに関する。
【０００２】
【従来の技術】
従来の動画像符号化伝送システムで用いられる符号化装置及び復号化装置の一つの例について、図１及び図２を参照にして説明する。図１は、従来の動画像符号化伝送システムで用いられる符号化装置の概略構成を示す図であり、図２は、従来の動画像符号化伝送システムで用いられる復号化装置の概略構成を示す図である。
【０００３】
図１に示す符号化装置１２０及び図２に示す復号化装置１４０は、ＩＴＵ-Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３“Ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｌｏｗ ｂｉｔ ｒａｔｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ”に記載のＨ.２６３符号化方式に準拠したディジタル動画像符号化装置及びディジタル動画像復号化装置である。
【０００４】
符号化装置１２０は、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、直交変換（例えば、ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）により空間方向に存在する冗長度を削減することで、ディジタル動画像である入力映像信号２の情報圧縮符号化を行う。
【０００５】
入力部１２１は、入力映像信号２、すなわち、フレーム画像の時間系列を受信する。ここで、符号化装置１２０において、現在、符号化対象となっているフレーム画像を「現フレーム」と呼ぶ。
【０００６】
入力部１２１は、「現フレーム」を、１６×１６画素の正方矩形領域（「マクロブロック（第１の画像ブロック）」）に分割して、分割した「マクロブロック」を、順次、動き検出部１２２及び減算部１２４に送信する。ここで、現在、符号化対象となっている「マクロブロック」を「現マクロブロック」と呼ぶ。
【０００７】
動き検出部１２２は、マクロブロック単位で、「動きベクトル」の検出と「マクロブロックモード（後述）」の決定とを行う。
【０００８】
動き検出部１２２は、フレームメモリ１３２に格納されている過去の符号化済みフレーム画像（「参照フレーム」と呼ぶ）の所定の探索範囲において、現マクロブロックに類似する部分（「動き予測データ」）を見つけ出し、現マクロブロックから「動き予測データ」への二次元の空間的移動量を「動きベクトル」として検出する。
【０００９】
動き検出部１２２は、例えば、「ブロックマッチング」を用いて、上述の「動きベクトル」の検出を行うことができる。すなわち、動き検出部１２２は、フレームメモリ１３２内の「参照フレーム」に、現マクロブロックの空間位置を中心とした探索範囲を設け、当該探索範囲内の画像データと現マクロブロックとの間で「差分二乗和」若しくは「差分絶対和」を算出する。そして、動き検出部１２２は、算出した「差分二乗和」若しくは「差分絶対和」を最小とする当該探索範囲内の画像データを「動き予測データ」として求め、現マクロブロックから「動き予測データ」への二次元の空間的移動量を「動きベクトル」として検出する。
【００１０】
動き検出部１２２は、検出した「動きベクトル」を、動き補償部１２３及び可変長符号化部１２７に送信する。
【００１１】
また、動き検出部１２２は、現マクロブロックにおいて適用される「マクロブロックモード」を決定する。ここで、「マクロブロックモード」は、現マクロブロックについての「予測残差信号（後述）」を生成する方法（「予測モード」や動きベクトルの数等）を示すものであって、図３に示すように、「ＩＮＴＲＡモード（フレーム内予測モードを適用）」、「ＩＮＴＥＲモード（フレーム間予測モードを適用）」及び「ＩＮＴＥＲ４Ｖモード（４つの動きベクトルによるフレーム間予測モードを適用）」を含む。
【００１２】
また、「予測モード」は、現マクロブロックについて、時間方向の冗長度を削減する「フレーム間予測モード」を適用するか、もしくは空間方向の冗長度を削減する「フレーム内予測モード」を適用するかを示すものである。
【００１３】
具体的には、動き検出部１２２は、検出された「動きベクトル」に基づいて、「ＩＮＴＲＡモード」と「ＩＮＴＥＲモード」と「ＩＮＴＥＲ４Ｖモード」との中から、予測残差信号（後述）の電力が最も小さくなる「マクロブロックモード」を選択する。
【００１４】
動き検出部１２２は、決定した「マクロブロックモード」を、動き補償部１２３及び可変長符号化部１２７に送信する。
【００１５】
動き補償部１２３は、動き検出部１２２から送信された「マクロブロックモード」及び「動きベクトル」に基づいて得られた「制御情報」を、減算部１２４に送信する。
【００１６】
例えば、動き補償部１２３は、動き検出部１２２から送信された「マクロブロックモード」が「ＩＮＴＲＡモード」である場合、「予測画像ブロック（後述）」を形成することなく、すなわち、動き補償部１２３が「現マクロブロック」に対して動き補償フレーム間予測を行うことなく、受信した「マクロブロックモード（ＩＮＴＲＡモード）」のみを「制御情報」として、減算部１２４に通知する。
【００１７】
また、動き補償部１２３は、動き検出部１２２から送信された「マクロブロックモード」が「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」である場合、動き検出部１２２から送信された「動きベクトル」とフレームメモリ１３２に格納されている参照フレームとを用いて、現マクロブロックに対して動き補償フレーム間予測を行い、「予測画像ブロック」を形成する。
【００１８】
ここで、「ＩＮＴＥＲモード」では、１６×１６画素のマクロブロックにつき、１つの動きベクトルが割り当てられており、「ＩＮＴＥＲ４Ｖモード」では、８×８画素のサブブロックにつき、１つの動きベクトルが割り当てられている。
【００１９】
動き補償部１２３は、「制御情報」として、「予測画像ブロック」と「マクロブロックモード」と「動きベクトル」とを減算部１２４に送信する。また、動き補償部１２３は、「予測画像ブロック」を加算部１３１に送信する。
【００２０】
減算部１２４は、動き補償部１２３により送信された「制御情報」に応じて、所定の情報を直交変換部１２５に送信する。
【００２１】
具体的には、減算部１２４は、「マクロブロックモード」が「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」である場合、入力部１２４により送信された「現マクロブロック」と、動き補償部１２３から送信された「予測画像ブロック」との差分を求めることによって、時間的に連続する「マクロブロック」間の時間方向に存在する冗長度を削減する。
【００２２】
ここで、減算部１２４によって求められた差分を「予測残差信号」と呼ぶ。減算部１２４は、かかる「予測残差信号」を直交変換部１２５に送信する。
【００２３】
また、減算部１２４は、「マクロブロックモード」が「ＩＮＴＲＡモード」である場合、動き補償部１２３から「予測画像ブロック」が送信されないため、入力部１２４から送信された「現マクロブロック」を「予測残差信号」として直交変換部１２５に送信する。
【００２４】
直交変換部１２５は、減算部１２４により送信された「予測残差信号」を、８×８画素のサブブロック単位で、直交変換（例えば、ＤＣＴ変換）することによって、「予測残差信号」内の空間方向に存在する冗長度を削減する。
【００２５】
直交変換部１２５は、直交変換によって得られた「直交変換係数（例えば、ＤＣＴ係数）」を量子化部１２６に送信する。
【００２６】
量子化部１２６は、直交変換部１２５により送信された「直交変換係数」を量子化する。また、量子化部１２６は、量子化によって得られた「量子化直交変換係数」を、可変長符号化部１２７及び逆量子化部１２９に送信する。
【００２７】
可変長符号化部１２７は、量子化部１２６により送信された「量子化直交変換係数」と、動き検出部１２２から送信された「動きベクトル」及び「マクロブロックモード」とを可変長符号化して圧縮ビットストリーム３に多重化する。可変長符号化部１２７は、圧縮ビットストリーム３を出力部１２８に送信する。
【００２８】
出力部１２８は、可変長符号化部１２７により送信された圧縮ビットストリーム３を、１つ又は複数のフレーム画像分まとめて、ネットワーク１に伝送する。
【００２９】
逆量子化部１２９は、量子化部１２６により送信された「量子化直交変換係数」を逆量子化し、得られた「直交変換係数」を逆直交変換部１３０に送信する。
【００３０】
逆直交変換部１３０は、逆量子化部１２９により送信された「直交変換係数」を、逆直交変換（例えば、逆ＤＣＴ変換）し、逆直交変換により得られた「予測残差信号」を加算部１３１に送信する。
【００３１】
加算部１３１は、動き補償部１２３により送信された「予測画像ブロック」と、逆直交変換部１３０により送信された「予測残差信号」を加算することによって得られた結果を、フレームメモリ１３２に送信する。
【００３２】
ただし、「マクロブロックモード」として「ＩＮＴＲＡモード」が選択されている場合、動き補償部１２３によって「予測画像ブロック」が生成されない（動き補償フレーム間予測が行われない）ため、加算部１３１は、逆直交変換部１３０により送信された「予測残差信号（入力部１２１により送信された現マクロブロック）」をフレームメモリ１３２に送信する。
【００３３】
フレームメモリ１３２は、加算部１３１により送信された情報（現マクロブロック）に基づいて「参照フレーム」を構成し記憶する。フレームメモリ１３２は、動き検出部１２２及び動き補償部１２３に「参照フレーム」を送信する。
【００３４】
図２に示す復号化装置１４０は、符号化装置１２０により送信された圧縮ビットストリーム３から出力映像信号４を再生するものである。
【００３５】
入力部１４１は、圧縮ビットストリーム３を受信し、可変長復号化部１４２に送信する。
【００３６】
可変長復号化部１４２は、入力部１４１により送信された圧縮ビットストリーム３において、各フレーム画像の先頭から、マクロブロックごとに、「量子化直交変換係数」と「動きベクトル」と「マクロブロックモード」とを復号化する。
【００３７】
可変長復号化部１４２は、復号化した「量子化直交変換係数」を逆量子化部１４３に送信する。また、可変長復号化部１４２は、復号化した「マクロブロックモード」が「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」である場合、復号化した「動きベクトル」及び「マクロブロックモード」を動き補償部１４５に送信する。
【００３８】
逆量子化部１４３は、可変長復号化部１４２により送信された「量子化直交変換係数」を逆量子化することによって「直交変換係数」を得て、かかる「直交変換係数」を逆直交変換部１４４に送信する。
【００３９】
逆直交変換部１４４は、逆量子化部１４３により送信された「直交変換係数」を逆直交変換することによって「予測残差信号」を得て、かかる「予測残差信号」を加算部１４６に送信する。
【００４０】
動き補償部１４５は、フレームメモリ１４７に格納されている参照フレームと、可変長復号化部１４２により送信された「動きベクトル」及び「マクロブロックモード」とに基づいて「予測画像ブロック」を生成し、生成した「予測画像ブロック」を加算部１４６に送信する。
【００４１】
加算部１４６は、逆直交変換部１４４により送信された「予測残差信号」と、動き補償部１４５により送信された「予測画像ブロック」とを加算することによって、出力映像信号４を構成するマクロブロックを生成して出力部１４８に送信する。
【００４２】
ただし、「マクロブロックモード」が「ＩＮＴＲＡモード」である場合、動き補償部１４５により「予測画像ブロック」が送信されないため、加算部１４６は、逆直交変換部１４４により送信された「予測残差信号」を、出力映像信号４を構成するマクロブロックとして出力部１４８に送信する。
【００４３】
フレームメモリ１４７は、加算部１４６により送信された情報（マクロブロック）に基づいて「参照フレーム」を構成して記憶する。フレームメモリ１４７は、動き補償部１４５に「参照フレーム」を送信する。
【００４４】
出力部１４８は、加算部１４６により送信された情報（マクロブロック）に基づいて出力映像信号４を構成して所定の表示タイミングで表示デバイス（図示せず）に出力する。
【００４５】
上述のように、従来の動画像符号化伝送システムでは、マクロブロック単位で「マクロブロックモード」を決定するとともに、マクロブロックごとに設定される「符号化情報（動きベクトルや量子化パラメータ等）」を共通化して符号化処理を行うことにより、符号化効率を高めていた。
【００４６】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化伝送システムでは、一つのマクロブロックに対して複数の「マクロブロックモード」を設定することができないため、図４のように、１つのマクロブロック内に、「フレーム内予測モード」で符号化処理したほうが良い部分（鳥の部分）と、「フレーム間予測モード」で符号化処理したほうが良い部分（雲の部分）とが混在していると、効率の良い符号化処理を行うことができないという問題点があった。
【００４７】
この問題点を解決するために、マクロブロックの大きさを小さくし、「マクロブロックモード」の選択を切り替える単位を細かくする方法も考えられる。しかしながら、この方法では、マクロブロックの数が増加し、符号化処理に必要なマクロブロック毎の符号化情報を送る頻度も増加するため、符号化効率が低下してしまうという問題点があった。
【００４８】
そこで、本発明は、以上の点に鑑みてなされたもので、マクロブロックの大きさや枠組みは変えずに、一つのマクロブロック内で、「マクロブロックモード」の切り替えを行い、「フレーム内予測モード」で符号化処理する部分と「フレーム間予測モード」で符号化処理する部分とを混在させることを可能とすることを目的とする。
【００４９】
【課題を解決するための手段】
本発明の第１の特徴は、動画像を第１の画像ブロック単位で符号化する符号化装置であって、前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成する予測モード選択情報生成手段と、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、前記予測モード選択情報及び前記予測残差信号を符号化して伝送する伝送手段とを具備することを要旨とする。
【００５０】
本発明の第１の特徴において、前記伝送手段が、前記第１又は第２の予測モードによる符号化処理を行うために必要な予測モード関連情報を符号化して伝送することが好ましい。
【００５１】
また、本発明の第１の特徴において、前記予測残差信号生成手段が、前記第１の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成し、前記予測残差信号生成手段が、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、フレーム内予測により前記予測残差信号を生成することが好ましい。
【００５２】
また、本発明の第１の特徴において、前記伝送手段が、前記第１の予測モードを適用することが選択された場合、前記予測モード関連情報として、前記動きベクトルを示す情報を符号化して伝送することが好ましい。
【００５３】
また、本発明の第１の特徴において、前記予測残差信号生成手段が、前記第１の画像ブロック内で、同一の動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成することが好ましい。
【００５４】
また、本発明の第１の特徴において、前記伝送手段が、前記予測モード関連情報より先に、前記予測モード選択情報を伝送することが好ましい。
【００５５】
また、本発明の第１の特徴において、前記予測残差信号生成手段が、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、該第２の画像ブロックに隣接する画素値を用いた画素値予測方法により前記予測残差信号を生成し、前記伝送手段が、前記予測モード関連情報として、前記画素値予測方法を符号化して伝送することが好ましい。
【００５６】
また、本発明の第１の特徴において、前記伝送手段が、前記予測モード関連情報を前記予測モード選択情報に関連付けて符号化して伝送することが好ましい。
【００５７】
また、本発明の第１の特徴において、前記伝送手段が、前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１の予測モードの前記予測モード関連情報を伝送しないことが好ましい。
【００５８】
本発明の第２の特徴は、動画像を復号化する復号化装置であって、動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を復号化する予測モード選択情報復号化手段と、前記予測モード選択情報により選択された前記第１又は第２の予測モードに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備することを要旨とする。
【００５９】
本発明の第２の特徴において、前記第１又は第２の予測モードによる符号化処理に必要な予測モード関連情報を復号化する予測モード関連情報復号化手段を具備し、前記動画像復号化手段が、前記予測モード関連情報を用いて前記動画像を復号化することが好ましい。
【００６０】
また、本発明の第２の特徴において、前記動画像復号化手段が、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、動き補償フレーム間予測を用いて前記動画像を復号化し、前記動画像復号化手段が、前記予測モード選択情報により前記第２の予測モードが適用されることが選択された場合、フレーム内予測を用いて前記動画像を復号化することが好ましい。
【００６１】
また、本発明の第２の特徴において、前記予測モード関連情報復号化手段が、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記予測モード関連情報として、動きベクトルを示す情報を復号化することが好ましい。
【００６２】
また、本発明の第２の特徴において、前記予測モード選択情報復号化手段が、前記予測モード関連情報より先に、前記予測モード選択情報を復号化することが好ましい。
【００６３】
また、本発明の第２の特徴において、前記動画像復号化手段が、前記予測モード選択情報により前記第１の予測モードを適用することが選択された場合、前記第１の画像ブロック単位で、同一の動きベクトルによる動き補償フレーム間予測を用いて前記動画像を復号化することが好ましい。
【００６４】
また、本発明の第２の特徴において、前記予測モード選択情報復号化手段が、前記予測モード選択情報により前記第２の予測モードを適用することが選択された場合、前記予測モード関連情報として、前記第２の画像ブロックに係る画素値予測方法を復号化し、前記動画像復号化手段が、前記画素値予測方法を用いて前記動画像を復号化することが好ましい。
【００６５】
また、本発明の第２の特徴において、前記予測モード選択情報復号化手段が、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化することが好ましい。
【００６６】
また、本発明の第２の特徴において、前記予測モード選択情報が、前記予測モード関連情報に関連付けられて符号化されていることが好ましい。
【００６７】
また、本発明の第２の特徴において、前記予測モード選択情報復号化手段が、前記第２の画像ブロック単位で、前記予測モード選択情報により前記第１の予測モードが適用されていないことが示されている場合、前記第１の予測モードの予測モード関連情報を復号化しないことが好ましい。
【００６８】
本発明の第３の特徴は、動画像を第１の画像ブロック単位で符号化する符号化方法であって、前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成する工程Ａと、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する工程Ｂと、前記予測モード選択情報及び前記予測残差信号を符号化して伝送する工程Ｃとを有することを要旨とする。
【００６９】
本発明の第３の特徴において、前記工程Ｃで、前記第１又は第２の予測モードによる符号化処理を行うために必要な予測モード関連情報を符号化して伝送することが好ましい。
【００７０】
また、本発明の第３の特徴において、前記工程Ｂで、前記第１の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成し、前記工程Ｂで、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、フレーム内予測により前記予測残差信号を生成することが好ましい。
【００７１】
また、本発明の第３の特徴において、前記工程Ｃで、前記予測モード関連情報として、前記動きベクトルを示す情報を符号化して伝送することが好ましい。
【００７２】
また、本発明の第３の特徴において、前記工程Ｂで、前記第１の画像ブロック内で、同一の動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成することが好ましい。
【００７３】
また、本発明の第３の特徴において、前記工程Ｃで、前記予測モード関連情報より先に、前記予測モード選択情報を伝送することが好ましい。
【００７４】
また、本発明の第３の特徴において、前記工程Ｂで、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、該第２の画像ブロックに隣接する画素値を用いた画素値予測方法により前記予測残差信号を生成し、前記工程Ｃで、前記予測モード関連情報として、前記画素値予測方法を符号化して伝送することが好ましい。
【００７５】
また、本発明の第３の特徴において、前記工程Ｃで、前記予測モード関連情報を前記予測モード選択情報に関連付けて符号化して伝送することが好ましい。
【００７６】
また、本発明の第３の特徴において、前記工程Ｃで、前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１の予測モードの前記予測モード関連情報を伝送しないことが好ましい。
【００７７】
本発明の第４の特徴は、動画像を復号化する復号化方法であって、動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を復号化する工程Ａと、前記予測モード選択情報により選択された前記第１又は第２の予測モードに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する工程Ｂとを有することを要旨とする。
【００７８】
本発明の第４の特徴において、前記工程Ａで、前記第１又は第２の予測モードによる符号化処理に必要な予測モード関連情報を復号化し、前記工程Ｂで、前記予測モード関連情報を用いて前記動画像を復号化することが好ましい。
【００７９】
また、本発明の第４の特徴において、前記工程Ａで、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記工程Ｂで、動き補償フレーム間予測を用いて前記動画像を復号化し、前記工程Ａで、前記予測モード選択情報により前記第２の予測モードが適用されることが選択された場合、前記工程Ｂで、フレーム内予測を用いて前記動画像を復号化することが好ましい。
【００８０】
また、本発明の第４の特徴において、前記工程Ａで、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記予測モード関連情報として、動きベクトルを示す情報を復号化することが好ましい。
【００８１】
また、本発明の第４の特徴において、前記工程Ａで、前記予測モード関連情報より先に、前記予測モード選択情報を復号化することが好ましい。
【００８２】
また、本発明の第４の特徴において、前記工程Ｂで、前記予測モード選択情報により前記第１の予測モードを適用することが選択された場合、前記第１の画像ブロック単位で、同一の動きベクトルによる動き補償フレーム間予測を用いて前記動画像を復号化することが好ましい。
【００８３】
また、本発明の第４の特徴において、前記工程Ａで、前記予測モード選択情報により前記第２の予測モードを適用することが選択された場合、前記予測モード関連情報として、前記第２の画像ブロックに係る画素値予測方法を復号化し、前記工程Ｂで、前記画素値予測方法を用いて前記動画像を復号化することが好ましい。
【００８４】
また、本発明の第４の特徴において、前記工程Ａで、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化することが好ましい。
【００８５】
また、本発明の第４の特徴において、前記予測モード選択情報が、前記予測モード関連情報に関連付けられて符号化されていることが好ましい。
【００８６】
また、本発明の第４の特徴において、前記工程Ａで、前記第２の画像ブロック単位で、前記予測モード選択情報により前記第１の予測モードが適用されていないことが示されている場合、前記第１の予測モードの予測モード関連情報を復号化しないことが好ましい。
【００８７】
本発明の第５の特徴は、コンピュータを、動画像を第１の画像ブロック単位で符号化する符号化装置であって、前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成する予測モード選択情報生成手段と、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、前記予測モード選択情報及び前記予測残差信号を符号化して伝送する伝送手段とを具備する符号化装置として機能させるためのプログラムであることを要旨とする。
【００８８】
本発明の第６の特徴は、コンピュータを、動画像を復号化する復号化装置であって、動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を復号化する予測モード選択情報復号化手段と、前記予測モード選択情報により選択された前記第１又は第２の予測モードに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備する復号化装置として機能させるためのプログラムであることを要旨とする。
【００８９】
本発明の第７の特徴は、符号化装置と復号化装置とを具備する動画像符号化伝送システムであって、前記符号化装置が、前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成する予測モード選択情報生成手段と、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、前記予測モード選択情報及び前記予測残差信号を符号化して伝送する伝送手段とを具備し、前記復号化装置が、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化する予測モード選択情報復号化手段と、前記予測モード選択情報により選択された前記第１又は第２の予測モードに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備することを要旨とする。
【００９０】
本発明の第８の特徴は、符号化において、動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報と、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより生成された予測残差信号とを符号化して伝送する工程と、復号化において、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化する工程と、前記予測モード選択情報により選択された前記第１又は第２の予測モードに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する工程とを有することを要旨とする。
【００９１】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施形態について詳しく説明する。
【００９２】
（本発明の実施形態１に係る動画像符号化伝送システムの構成）
本発明の実施形態１に係る動画像符号化伝送システムの構成について図を参照しながら説明する。図５は、本実施形態に係る動画像符号化伝送システムの構成を示す図である。
【００９３】
本実施形態に係る動画像符号化伝送システムでは、符号化装置２０が、ディジタル動画像である入力映像信号２を「圧縮ビットストリーム３」に情報圧縮符号化し、当該圧縮ビットストリーム３をネットワーク１を介して復号化装置４０に伝送する。そして、かかる動画像符号化伝送システムでは、復号化装置４０が、圧縮ビットストリーム３から出力映像信号４を復元する。
【００９４】
ここで、ネットワーク１としては、圧縮ビットストリーム３を受け渡すことのできる様々な手段を想定するものとし、例えば、低ビットレートのディジタル通信回線等を想定する。なお、本実施形態に係る動画像符号化伝送システムは、ネットワーク１として、通信回線の代わりに、例えば、データ蓄積装置を介したシステムを用いても構成可能である。
【００９５】
本実施形態に係る動画像符号化伝送システムは、図５に示すように、符号化装置２０と復号化装置４０とによって構成されている。本実施形態に係る動画像符号化伝送システムは、上述のＨ．２６３符号化方式に準拠しており、その上で、本発明の実施に必要な変更が加えられた構成を有する。
【００９６】
図６に、本実施形態に係る動画像符号化伝送システムで用いられる符号化装置２０を示す。本実施形態に係る符号化装置２０は、動画像（入力映像信号２）を第１の画像ブロック（マクロブロック）単位で符号化するものである。
【００９７】
以下、主として、本実施形態に係る符号化装置２０について、従来のＨ．２６３符号化方式に準拠した符号化装置１２０との相違点を説明することとする。そして、特に説明を行わない点については、本実施形態に係る符号化装置２０は、Ｈ．２６３符号化方式に準拠した符号化装置１２０と同様であるものとする。
【００９８】
符号化装置２０は、従来の減算部１２４の代わりに混合予測部２４が設けられており、従来の加算部１３１の代わりに混合予測復号部３１が設けられている点で、従来の符号化装置１２０と構成を異にする。
【００９９】
また、本実施形態に係る符号化装置２０では、「マクロブロックモード」が、動き検出部２２によってではなく、混合予測部２４によって決定される。
【０１００】
混合予測部２４は、入力部２１により送信された「マクロブロック（第１の画像ブロック）」を８×８画素の「サブブロック（第２の画像ブロック）」に分割する。
【０１０１】
また、混合予測部２４は、「サブブロック」ごとに「予測残差信号電力を表す値」を算出する。例えば、混合予測部２４は、「予測残差信号電力を表す値」として、入力部２１により送信されたマクロブロック内のサブブロックと、動き補償部２３により送信された予測画像ブロック内のサブブロックとの間の「ＳＡＤ（Ｓｕｍｓ ｏｆ Ａｂｓｏｌｕｔｅｓ Ｄｉｆｆｅｒｅｎｃｅｓ：差分絶対値和）」を算出する。
【０１０２】
また、混合予測部２４は、算出した「ＳＡＤ」と所定の閾値とを比較して、「ＳＡＤ」が閾値より小さい場合、当該サブブロックに「フレーム間予測モード（第１の予測モード）」を適用することを選択し、ＳＡＤが閾値より大きい場合、当該サブブロックに「フレーム内予測モード（第２の予測モード）」を適用することを選択する。
【０１０３】
また、混合予測部２４は、マクロブロック内の全てのサブブロックについて、「フレーム間予測モード（第１の予測モード）」を適用するか又は「フレーム内予測モード（第２の予測モード）」を適用するかの「予測モード」の選択が終了した後、当該マクロブロック全体の「予測モード」の選択状況を調べて、当該マクロブロックの「マクロブロックモード」を決定する。
【０１０４】
ここで、「マクロブロックモード」は、「ＩＮＴＲＡモード」と「ＩＮＴＥＲモード」と「ＩＮＴＥＲ４Ｖモード」と「ＩＮＴＲＡ/ＩＮＴＥＲモード」を含む。なお、「マクロブロックモード」には、量子化パラメータの変更の有無等の違いから、これらの他にもいくつかのモードが存在する。
【０１０５】
本実施形態では、「マクロブロックモード」が、サブブロックごとの「予測モード」の選択状況の違いに基づいて選択されている場合についてのみ説明するが、「マクロブロックモード」は、同様に、量子化パラメータの変更の有無等によって選択され得る。
【０１０６】
具体的には、混合予測部２４は、マクロブロック内の全てのサブブロックについて「フレーム内予測モード」が選択されている場合、「マクロブロックモード」として「ＩＮＴＲＡモード」を選択する。
【０１０７】
また、混合予測部２４は、マクロブロック内の全てのサブブロックについて「フレーム間予測モード」が選択されている場合、「マクロブロックモード」として「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」を選択する。
【０１０８】
また、混合予測部２４は、マクロブロック内で「フレーム内予測モード」及び「フレーム間予測モード」の両者が混在して選択されている場合、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」を選択する。
【０１０９】
また、混合予測部２４は、マクロブロックごとに決定された「マクロブロクモード」を、可変長符号化部２７及び混合予測復号部３１に送信する。
【０１１０】
さらに、混合予測部２４は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」を選択した場合、サブブロックごとの「予測モード」の選択状況と、「フレーム間予測モード」が適用されているサブブロックの「動きベクトル」とを、可変長符号化部２７及び混合予測復号部３１に送信する。
【０１１１】
ここで、混合予測部２４は、「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合に、動きベクトルの符号化に必要な情報量の増加を抑えるため、１つのマクロブロックにつき１つの動きベクトルを可変長符号化部２７及び混合予測復号部３１に送信してもよい。
【０１１２】
また、混合予測部２４は、動き検出部２２によって検出された「ＩＮＴＥＲモード」用の動きベクトルをそのまま可変長符号化部２７及び混合予測復号部３１に送信してもよい。この結果、混合予測部２４において再度の動きベクトルの計算が不要となり、処理量の増加を抑えることができる。
【０１１３】
また、混合予測部２４は、動き検出部２２によって検出された「ＩＮＴＥＲ４Ｖモード」用の４つの動きベクトルのうち、最も多く現れた動きベクトルを当該マクロブロックの動きベクトルとして可変長符号化部２７及び混合予測復号部３１に送信してもよい。この結果、可変長符号化部２７は、マクロブロック内で「フレーム間予測モード」により効率的に符号化処理が可能であるサブブロックに適した動きベクトルを選択することができるとともに、「ＩＮＴＲＡ/ＩＮＴＥＲモード」で符号化効率を高めることができる。
【０１１４】
また、混合予測部２４は、「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合に、動きベクトルを新たに探索して求めても良い。
【０１１５】
かかる場合、混合予測部２４は、より効率的な符号化が可能となるように、「フレーム内予測モード」と組み合わせた場合に最もＳＡＤが低くなるような動きベクトルを探索する。
【０１１６】
すなわち、混合予測部２４は、「ＩＮＴＥＲモード」のマクロブロックにおける予測画像ブロック内の個々のサブブロックにおいてＳＡＤを求め、最もＳＡＤが大きいサブブロックを外して再び動きベクトルの探索を行うことを繰り返すようなロバスト推定を用いた探索により実現できる。この結果、より最適に近い動きベクトルを探索することができる。
【０１１７】
上述のように、混合予測部２４は、マクロブロック（第１の画像ブロック）を分割したサブブロック（第２の画像ブロック）単位で、時間方向の冗長度を削除する「フレーム間予測モード（第１の予測モード）」を適用するか、又は、空間方向の冗長度を削減する「フレーム内予測モード（第２の予測モード）」を適用するかを示す「予測モード選択状況（予測モード選択情報）」を生成する予測モード選択情報生成手段を構成する。
【０１１８】
また、混合予測部２４は、選択された「フレーム間予測モード（第１の予測モード）」又は「フレーム内予測モード（第２の予測モード）」をサブブロック（第２の画像ブロック）に適用することにより予測残差信号を生成する予測残差信号生成手段を構成する。
【０１１９】
可変長符号化部２７は、量子化部２６により送信された「量子化直交変換係数」を可変長符号化するとともに、混合予測部２４から送信された「マクロブロックモード」に基づいて、所定の情報、例えば、上述の予測モードの選択状況や動きベクトルを示す情報等を可変長符号化し、その結果を出力部２８に送信する。
【０１２０】
ここで、「ＩＮＴＲＡ/ＩＮＴＥＲモード」を表現するために、Ｈ．２６３符号化方式におけるＰピクチャのマクロブロックモードの定義を、図８（ａ）に示すように変更する。図８（ａ）において「ＭＢ ｔｙｐｅ＝６，７」である「マクロブロックモード」が、「ＩＮＴＲＡ/ＩＮＴＥＲモード」を表現するために拡張された部分である。
【０１２１】
可変長符号化部２７は、かかるマクロブロックモードの定義を参照して、「量子化直交変換係数」と共に、どの情報（「ＣＯＤ」、「ＭＣＢＰＣ」、「ＣＢＰＹ」、「ＤＱＵＡＮＴ」、「ＭＶＤ」、「ＭＶＤ２-４」）を圧縮ビットストリーム３に多重化すべきかを決定することができる。
【０１２２】
図８（ａ）において、「ＣＯＤ」は、当該マクロブロックが「スキップ」であるか否かを示すフラグである。「スキップ」とは、当該マクロブロックは、フレームメモリ３２内に格納されている参照フレーム内の同一空間位置の画像をそのままコピーすることで再現され、特別な情報追加の必要がないことを示すものである。「ＭＢ ｔｙｐｅ＝Ｎｏｔ ｃｏｄｅｄ」の場合は「ＣＯＤ＝１」であり、可変長符号化部２７は、当該マクロブロックにおいて「ＣＯＤ」以外の情報を多重化しない。
【０１２３】
「ＭＣＢＰＣ」は、当該マクロブロックモードにおいて、色差信号の「符号化ブロックパターン情報（ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ：ＣＢＰ）」を併せて表現するためのシンタックス要素である。ここで、「符号化ブロックパターン情報：ＣＢＰ」とは、ＤＣＴ変換の単位となるサブブロック内に伝送すべき有意なＤＣＴ係数が存在するか否かを示すフラグのことを意味する。
【０１２４】
「ＣＢＰＹ」は、当該マクロブロックモードにおいて、輝度信号の符号化ブロックパターン情報を併せて表現するためのシンタックス要素である。
【０１２５】
「ＤＱＵＡＮＴ」は、当該マクロブロックの量子化パラメータ（例えば、量子化ステップ）の変更値を示すものである。
【０１２６】
「ＭＶＤ」は、動きベクトルであり、「ＭＶＤ２-４」は、「ＩＮＴＥＲ４Ｖモード」の場合に伝送される２乃至４本目の動きベクトルである。
【０１２７】
「ＩＮＴＲＡ/ＩＮＴＥＲモード」では、サブブロックごとに「フレーム内予測モード」と「フレーム間予測モード」とを切り替えて符号化することを可能とするために、「ＣＯＤ＝０」とし、ＤＣＴ係数の分布状況に応じて「ＭＣＢＰＣ」及び「ＣＢＰＹ」を決定し、「フレーム間予測モード」が適用されるサブブロックのために「ＭＶＤ」を伝送するシンタックス（「ＭＢ ｔｙｐｅ＝６又は７」）が用いられる。
【０１２８】
また、各サブブロックにおける「フレーム内予測モード」と「フレーム間予測モード」の選択状況を示すために、Ｈ．２６３符号化方式における「ブロックレイヤ」のシンタックスを、図８（ｂ）のように拡張する。
【０１２９】
図８（ｂ）において、「ＢＴＹＰＥ」は、１ビットで構成されており、「ＭＢ ｔｙｐｅ＝６,７」の場合にのみ存在するものである。ここで、「ＢＴＹＰＥ＝０」は、フレーム内予測モードにより符号化されたサブブロックであることを示し、「ＢＴＹＰＥ＝１」は、フレーム間予測モードにより符号化されたサブブロックであることを示す。
【０１３０】
「ＩＮＴＲＡＤＣ」は、「ＭＢ ｔｙｐｅ＝６,７」の場合で、かつ、「ＢＴＹＰＥ＝０」の場合にのみ存在する。
【０１３１】
上述のように、可変長符号化部２７及び出力部２８が、サブブロック（第２の画像ブロック）ごとの予測モード選択状況（予測モード選択情報）及び予測残差信号を符号化して伝送する伝送手段を構成する。
【０１３２】
混合予測復号部３１は、混合予測部２４により送信された「マクロブロックモード」に基づいて、以降の符号化処理に用いる「参照フレーム」を構成する「マクロブロック」を生成し、生成したマクロブロックをフレームメモリ３２に送信するものである。
【０１３３】
具体的には、混合予測復号部３１は、「マクロブロックモード」として「ＩＮＴＲＡモード」が選択されている場合、当該マクロブロックは「フレーム内予測」により構成されていることから、逆直交変換部３０により送信された「予測残差信号」を「参照フレーム」を構成する「マクロブロック」とする。
【０１３４】
また、混合予測復号部３１は、「マクロブロックモード」として「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」が選択されている場合、当該マクロブロックは「フレーム間予測」により構成されていることから、逆直交変換部３０により送信された「予測残差信号」と動き補償部２３により送信された「予測画像ブロック」とを加算することによって得られた結果を「参照フレーム」を構成する「マクロブロック」とする。
【０１３５】
また、混合予測復号部３１は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択されている場合、サブブロックごとに、「フレーム内予測モード」または「フレーム間予測モード」のどちらの予測モードが適用されているかを切り替える。
【０１３６】
ここで、混合予測復号部３１は、「フレーム内予測モード」が適用されている場合には、逆直交変換部３０により送信された「予測残差信号（サブブロック単位）」を「参照フレーム」を構成する「サブブロック」とする。
【０１３７】
一方、混合予測復号部３１は、「フレーム間予測モード」が適用されている場合には、逆直交変換部３０により送信された「予測残差信号（サブブロック単位）」と動き補償部２３により送信された「予測画像ブロック（サブブロック単位）」とを加算することによって得られた結果を「参照フレーム」を構成する「サブブロック」とする。
【０１３８】
本実施形態に係る復号化装置４０を図７に示す。以下、主として、本実施形態に係る復号化装置４０について、従来のＨ．２６３符号化方式に準拠した復号化装置１４０との相違点を説明することとする。そして、特に説明を行わない点については、本実施形態に係る復号化装置４０は、Ｈ．２６３符号化方式に準拠した復号化装置１４０と同様であるものとする。
【０１３９】
復号化装置４０は、従来の加算部１４６の代わりに混合予測復号部４６が設けられている点で、従来の符号化装置１２０と構成を異にする。
【０１４０】
可変長復号化部４２は、入力部４１により送信された圧縮ビットストリーム３において、各フレーム画像の先頭から、マクロブロックごとに必要な情報（「量子化直交変換係数」や「マクロブロックモード」や「動きベクトル」等）を復号化する。
【０１４１】
また、可変長復号化部４２は、復号化した「量子化直交変換係数」を逆量子化部４３に送信し、復号化した「マクロブロックモード」を混合予測復号部４６に送信し、復号化した「動きベクトル」を動き補償部４５に送信する。
【０１４２】
また、可変長復号化部４２は、「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合、サブブロックごとの「予測モードの選択状況」及び「動きベクトル」を、混合予測復号部４６に送信する。
【０１４３】
上述のように、可変長復号化部４２は、動画像を分割したマクロブロック（第１の画像ブロック）を分割したサブブロック（第２の画像ブロック）単位で、時間方向の冗長度を削除する「フレーム間予測モード（第１の予測モード）」を適用するか、又は、空間方向の冗長度を削減する「フレーム内予測モード（第２の予測モード）」を適用するかを示す「予測モード選択状況（予測モード選択情報）」を復号化する予測モード選択情報復号化手段を構成する。
【０１４４】
混合予測復号部４６は、「マクロブロックモード」として「ＩＮＴＲＡモード」が選択されている場合、当該マクロブロックは、フレーム内予測により構成されていることから、逆直交変換部４４により送信された「予測残差信号」を、出力映像信号４を構成する「マクロブロック」とする。
【０１４５】
また、混合予測復号部４６は、「マクロブロックモード」として「ＩＮＴＥＲモード」又は「ＩＮＴＥＲ４Ｖモード」が選択されている場合、当該マクロブロックは、動き補償フレーム間予測により構成されていることから、逆直交変換部４４により送信された「予測残差信号」と動き補償部４５により送信された「予測画像ブロック」とを加算することによって得られた結果を、出力映像信号４を構成する「マクロブロック」とする。
【０１４６】
また、混合予測復号部４６は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択されている場合、可変長復号化部４２から送信された「予測モードの選択状況」に基づいて、サブブロックごとに、「フレーム内予測モード」または「フレーム間予測モード」のどちらの予測モードが用いられるかを切り替える。
【０１４７】
ここで、混合予測復号部４６は、サブブロックに「フレーム内予測モード」が適用されている場合には、逆直交変換部４４により送信された「予測残差信号（サブブロック単位）」を、出力映像信号４を構成する「サブブロック」とする。
【０１４８】
一方、混合予測復号部４６は、サブブロックに「フレーム間予測モード」が適用されている場合には、逆直交変換部４４により送信された「予測残差信号（サブブロック単位）」と動き補償部４５により送信された「予測画像ブロック（サブブロック単位）」とを加算することによって得られた結果を、出力映像信号４を構成する「サブブロック」とする。
【０１４９】
さらに、混合予測復号部４６は、上述のようにして得られた「サブブロック」によって構成される「マクロブロック」を、出力部４８に送信するとともに、以降の符号化処理に用いる「参照フレーム」を構成する「マクロブロック」としてフレームメモリ４７に送信する。
【０１５０】
上述のように、混合予測復号部４６は、予測モード選択状況（予測モード選択情報）により選択された「フレーム間予測モード（第１の予測モード）」又は「フレーム内予測モード（第２の予測モード）」に基づいて、サブブロック（第２の画像ブロック）単位で、出力映像信号（動画像）４を復号化する動画像復号化手段を構成する。
【０１５１】
（実施形態１に係る動画像符号化伝送システムの動作）
上記構成を有する動画像符号化伝送システムの動作について、図９を参照にして説明する。図９は、符号化装置２０の混合予測部２４の処理を示すフローチャート図である。以下、符号化装置２０の混合予測部２４の動作を主として、動画像符号化伝送システムの動作について説明する。
【０１５２】
混合予測部２４は、図９に示すように、ステップ４０１において、入力部２１により送信されたマクロブロックを、８×８画素のサブブロックごとに分割する。
【０１５３】
ステップ４０２において、混合予測部２４は、サブブロックごとに、入力部２１により送信されたマクロブロック内のサブブロックと、動き補償部２３により送信された予測画像ブロック内のサブブロックとの間の「ＳＡＤ」を算出する。
【０１５４】
ステップ４０３において、混合予測部２４は、算出したＳＡＤと所定の閾値とを比較する。
【０１５５】
ＳＡＤが閾値より大きい場合、ステップ４０４において、混合予測部２４は、当該サブブロックに「フレーム内予測モード」を適用することを選択する。
【０１５６】
一方、ＳＡＤが閾値より大きくない場合、ステップ４０５において、混合予測部２４は、当該サブブロックに「フレーム間予測モード」を適用することを選択する。
【０１５７】
ステップ４０６において、混合予測部２４は、当該マクロブロック内の全てのサブブロックで、上述の予測モードの選択が行われた否か判断し、行われていない場合は、ステップ４０２に戻り、残りのサブブロックについて上述の予測モードの選択を行う。
【０１５８】
全てのサブブロックで上述の選択が行われた場合、混合予測部２４は、ステップ４０７において、当該マクロブロック全体の予測モードの選択状況を調べて、全てのサブブロックについて「フレーム内予測モード」が選択されているか否か判断する。
【０１５９】
肯定的（ＹＥＳ）である場合、すなわち、全てのサブブロックについて「フレーム内予測モード」が選択されている場合、ステップ４０８において、混合予測部２４は、当該マクロブロックの「マクロブロックモード」を「ＩＮＴＲＡモード」と設定する。
【０１６０】
一方、否定的（ＮＯ）である場合、すなわち、全てのサブブロックについて「フレーム内予測モード」が選択されていない場合、混合予測部２４は、ステップ４０９において、当該マクロブロック全体の予測モードの選択状況を調べて、全てのサブブロックについて「フレーム間予測モード」が選択されているか否か判断する。
【０１６１】
肯定的（ＹＥＳ）である場合、すなわち、全てのサブブロックについて「フレーム間予測モード」が選択されている場合、ステップ４１０において、混合予測部２４は、当該マクロブロックの「マクロブロックモード」を「ＩＮＴＥＲモード」または「ＩＮＴＥＲ４Ｖモード」と設定する。
【０１６２】
ここで、「ＩＮＴＥＲモード」か「ＩＮＴＥＲ４Ｖモード」かどちらとするかは、マクロブロック内で動きベクトルの違いがあるかないかに基づき決定される。
【０１６３】
一方、否定的（ＮＯ）である場合、すなわち、全てのサブブロックについて「フレーム間予測モード」が選択されていない場合、混合予測部２４は、ステップ４１１において、当該マクロブロックの「マクロブロックモード」を「ＩＮＴＲＡ/ＩＮＴＥＲモード」と設定する。
【０１６４】
ステップ４１２において、混合予測部２４は、マクロブロックごとに決定された「マクロブロックモード」を、可変長符号化部２７及び混合予測復号部３１に送信する。
【０１６５】
ただし、混合予測部２４は「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」を設定した場合、「マクロブロックモード」と、各サブブロックの「予測モードの選択状況」と、各サブブロック（フレーム間予測モードが適用されるサブブロック）の「動きベクトル」とを、可変長符号化部２７及び混合予測復号部３１に送信する。
【０１６６】
本実施形態に係る動画像符号化伝送システムは、ＩＴＵ-Ｔ Ｈ.２６３に準拠した構成として説明したが、本発明は、これに限られるものではなく、「フレーム間予測モード（第１の予測モード）」及び「フレーム内予測モード（第２の予測モード）」の予測モードを用い、かつマクロブロック（第１の画像ブロック）相当の単位で符号化が行われるような様々な動画像符号化伝送システムに適用可能である。
【０１６７】
また、「ＩＮＴＲＡ/ＩＮＴＥＲモード」についても、本実施形態で示した構成に限られるものでなく、マクロブロック（第１の画像ブロック）内の各サブブロック（第２の画像ブロック）において「フレーム間予測モード」及び「フレーム内予測モード」のどちらが適用されるかを示す様々なシンタックスを用いることができる。
【０１６８】
同様に「ＢＴＹＰＥ」についても、本実施形態で示した構成に限られるものでなく、各サブブロックにおいて「フレーム間予測モード」及び「フレーム内予測モード」のどちらが適用されるかを示すことができる様々なシンタックスを用いることができる。
【０１６９】
また、本実施形態において、混合予測部２４は、算出したＳＡＤと所定の閾値とを比較して、「マクロブロックモード」を選択することとしているが、この選択基準は、本実施形態で示した構成に限られるものではない。
【０１７０】
例えば、それぞれの「マクロブロックモード」によって当該マクロブロックにおける圧縮ビットストリーム３を実際に構成してみて、そのビット量が小さくなる方の「マクロブロックモード」を選択する等、より効率的な符号化を可能とする「マクロブロックモード」を選択するための様々な選択基準を用いることができる。
【０１７１】
（実施形態１に係る動画像符号化伝送システムの作用・効果）
実施形態１に係る動画像符号化伝送システムによれば、混合予測部２４が、サブブロックから空間方向の冗長度又は時間方向の冗長度を削減した予測残差信号を最適に生成することができるため、１つのマクロブロック内に、フレーム間予測モードで符号化処理したほうが良い部分と、フレーム内予測モードで符号化処理したほうが良い部分とが混在している場合であっても、効率の良い符号化処理を行うことができる。
【０１７２】
（本発明の実施形態２に係る動画像符号化伝送システムの構成）
本発明の実施形態２に係る動画像符号化伝送システムの構成について図１０及び図１１を参照しながら説明する。図１０は、本実施形態に係る動画像符号化伝送システムで用いられる符号化装置６０を示す図であり、図１１は、本実施形態に係る動画像符号化伝送システムで用いられる復号化装置８０を示す図である。
【０１７３】
本実施形態に係る動画像符号化伝送システムは、ＩＴＵ-Ｔ Ｈ．２６Ｌ符号化方式に準拠し、その上で本発明の実施に必要な変更が加えられた構成を有する。Ｈ．２６Ｌ符号化方式は、「ＩＴＵ-Ｔ ＳＧ１６ Ｑ．６ ＶＣＥＧ-Ｍ８１, “Ｈ.２６ Ｔｅｓｔ Ｍｏｄｅｌ Ｌｏｎｇ Ｔｅｒｍ Ｎｕｍｂｅｒ７（ＴＭＬ-７） ｄｒａｆｔ０．”」等に記載されている。
【０１７４】
本実施形態に係る動画像符号化伝送システムは、上述の実施形態１に係る動画像符号化伝送システムと比較すると、「サブブロック」単位の微小化、動きベクトル検出方法の多様化、ループフィルタ７３及び空間予測部７４の採用という点で変更されている。
【０１７５】
第１に、符号化装置６０において、上述の「サブブロック」単位の微小化に係る相違点について説明する。本実施形態において、直交変換の対象となる「サブブロック」単位は、上述の実施形態に係る符号化装置２０の場合の「８×８画素」よりも小さい「４×４画素」となっている。したがって、予測モード選択の最小単位及び動きベクトルの検出の最小単位も、「４×４画素」のサブブロックとなっている。
【０１７６】
第２に、符号化装置６０において、上述の動きベクトル検出方法の多様化に係る相違点について説明する。
【０１７７】
動き検出部６２は、４×４画素のサブブロックを最小単位として、「動きベクトル」の検出を行う。
【０１７８】
具体的には、動き検出部６２は、フレームメモリ７２に格納されている参照フレームを用いて、入力部６１を介して受信したサブブロックについて、図１２に示す７種類の動き検出単位（１６×１６、１６×８、８×１６、８×８、４×８、８×４、４×４）の全てに係る動きベクトルの検出を行う。
【０１７９】
また、動き検出部６２は、検出した動きベクトルと当該動きベクトルの検出に用いられた動き検出単位とを、動き補償部６３に送信する。
【０１８０】
動き補償部６３は、受信した動きベクトルの各々とフレームメモリ７２に格納されている参照フレームとを用いて「予測画像ブロック」を生成する。また、動き補償部６３は、生成した予測画像ブロックと当該予測画像ブロックに対応する動き検出単位とを混合予測部６４に送信する。
【０１８１】
第３に、符号化装置６０において、上述の空間予測部７４の採用に係る相違点について説明する。
【０１８２】
空間予測部７４は、図１３に示すように、入力部６１により送信されたマクロブロック内のサブブロック（４×４画素）ごとに、当該サブブロックに隣接したサブブロックの画素値を用いた数種類の画素値予測方法でフレーム内画素値予測を行い、予測画像ブロックを生成する。
【０１８３】
ここで、空間予測部７４は、上述のフレーム内画素値予測を行うにあたって、上述の隣接したサブブロックとして、直交変換と量子化と逆量子化と逆直交変換とに至る一連の処理を行ったサブブロックを必要とする。したがって、本実施形態では、直交変換と量子化と逆量子化と逆直交変換とに至る一連の処理を、４×４画素のサブブロック単位で行う。
【０１８４】
また、空間予測部７４は、上述の一連の処理を行ったサブブロック（４×４画素）を用いて上述のフレーム内画素値予測を行う。
【０１８５】
また、空間予測部７４は、生成した予測画像ブロックと当該予測画像ブロックに対応する画素値予測方法とを、混合予測部６４及び混合予測復号部７１に送信する。
【０１８６】
混合予測部６４は、入力部６１により送信されたマクロブロック内のサブブロックと動き補償部６３により生成された「予測画像ブロック（サブブロック単位）」との間のＳＡＤが最も低くなる「予測画像ブロック（サブブロック単位）」に対応する動き検出単位を選択する。ここで、混合予測部６４は、当該サブブロックに対して、上述の動き検出単位に対応する「フレーム間予測モード」を適用する。
【０１８７】
また、混合予測部６４は、入力部６１により送信されたマクロブロック内のサブブロックと空間予測部７４により生成された「予測画像ブロック（サブブロック単位）」との間のＳＡＤが最も低くなる「予測画像ブロック（サブブロック単位）」に対応する画素値予測方法を選択する。当該サブブロックに対して、上述の画素値予測方法に対応する「フレーム内予測モード」を適用する。
【０１８８】
ここで、混合予測部６４は、「フレーム間予測モード」が適用された場合の第１のＳＡＤと「フレーム内画素値予測モード」が適用された場合の第２のＳＡＤとを比較して、ＳＡＤが小さい方の「予測モード」を当該サブブロックに適用することとする。
【０１８９】
また、混合予測部６４は、マクロブロック内の全てのサブブロックに対して、例えば、左上のブロックから順に右下のブロックまで、上述のように「予測モード」を適用する。
【０１９０】
なお、上述のように、混合予測部６４が、マクロブロック内の全てのサブブロックに対して、上述の動き検出単位に対応する「フレーム間予測モード」又は上述の画素値予測方法に対応する「フレーム内予測モード」を適用した場合の「マクロブロックモード」を「ＩＮＴＲＡ/ＩＮＴＥＲモード」とする。
【０１９１】
また、混合予測部６４は、マクロブロックにおいて「ＩＮＴＲＡ/ＩＮＴＥＲモード」又は「ＩＮＴＥＲモード」又は「ＩＮＴＲＡモード」が適用された場合のＳＡＤ（入力部６１により送信されたマクロブロックとの間のＳＡＤ）を比較して、ＳＡＤが最も小さくなった「マクロブロックモード」を、当該マクロブロックの「マクロブロックモード」として、可変長符号下部６７に送信する。
【０１９２】
この結果、混合予測部６４は、サブブロックごとに「フレーム間予測モード」又は「フレーム内画素値予測モード」を適用して、最も符号化効率が良くなる組み合わせを探索することができる。
【０１９３】
「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合、混合予測部６４は、「マクロブロックモード」と、各サブブロックにおける「予測モードの選択状況」と、各サブブロックにおける「動きベクトル」又は「画素値予測方法」とを、可変長符号化部６７及び混合予測復号部７１に送信する。
【０１９４】
混合予測復号部７１は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択されている場合で、かつ、当該サブブロックに「フレーム内画素値予測モード」が選択されている場合、空間予測部７４により送信された予測画像ブロックと逆直交変換部７０から送信された予測残差信号とを加え、その結果をループフィルタ７３に送信する。
【０１９５】
また、混合予測復号部７１は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択されている場合で、かつ、当該サブブロックに「フレーム間予測モード」が選択されている場合、動き補償部６３により送信された予測画像ブロックと逆直交変換部７０から送信された予測残差信号とを加え、その結果をループフィルタ７３を経由してフレームメモリ７２に送信する。
【０１９６】
第４に、符号化装置６０において、上述のループフィルタ７３の採用に係る相違点について説明する。
【０１９７】
ループフィルタ７３は、混合予測復号部７１により送信された結果に対して、サブブロック単位でフィルタリング処理を行い、サブブロックの歪み等の劣化を抑える働きをするものである。
【０１９８】
また、本実施形態に係る動画像符号化伝送システムにおいて、「ＩＮＴＲＡ/ＩＮＴＥＲモード」である「マクロブロックモード」を示すために、Ｈ．２６Ｌ符号化方式におけるＰピクチャのマクロブロックモードの定義を、図１４（ａ）に示すように変更する。
【０１９９】
図１４（ａ）において「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」は、「フレーム内画素値予測モード」が適用されたサブブロックにおいて用いられる画素値予測方法を示すものである。
【０２００】
また、「Ｒｅｆ＿ｆｒａｍｅ」は、「フレーム間予測モード」が適用されたサブブロックにおいて用いられる動き検出単位を示すものである。
【０２０１】
また、各サブブロックにおける「予測モードの選択状況」を表現するために、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」を、図１４（ｂ）のように拡張する。「ＩＮＴＥＲ＿ＰＲＥＤ：６」の部分が、拡張された部分である。
【０２０２】
本実施形態においては、図１４（ａ）に示すように、従来のＨ．２６Ｌ符号化方式において定義されている「ＩＮＴＲＡ４×４モード」に相当するマクロブロックモードを「ＩＮＴＲＡ/ＩＮＴＥＲモード」に変更する。
【０２０３】
従来のＨ．２６Ｌ符号化方式では、マクロブロックモードとして「ＩＮＴＲＡ４×４モード」が選択されている場合に、「ＭＢ ｔｙｐｅ＝７」が割り当てられている。
【０２０４】
一方、本実施形態に係る「ＩＮＴＲＡ/ＩＮＴＥＲモード」は、図１４（ｂ）に示すように、「ＭＢ ｔｙｐｅ＝７」が割り当てられているマクロブロックモードにおいて、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」に「ＩＮＴＥＲ＿ＰＲＥＤ」を１つ追加し、４×４画素のサブブロック単位で、フレーム内画素値予測モードだけでなく、フレーム間予測モードも選択できるように定義した。
【０２０５】
「ＩＮＴＲＡ/ＩＮＴＥＲモード」の定義は、上述の方法に限られず、「ＩＮＴＲＡ４×４モード」とは別に行われてもよい。例えば、「ＩＮＴＲＡ/ＩＮＴＥＲモード」の定義は、サブブロックごとの予測モードの選択状況に応じて、別々のマクロブロックモードを割り当てることによって行われてもよい。
【０２０６】
この結果、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」によって、マクロブロック内のフレーム内予測モードが適用されたサブブロックの数やフレーム間予測モードが適用されたサブブロックの数を判別することができる。
【０２０７】
また、符号化装置６０は、「ＩＮＴＲＡ/ＩＮＴＥＲモード」が適用されたマクロブロックにおいて、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」を、「ＭＶ」や「Ｒｅｆ＿ｆｒａｍｅ」等のフレーム間予測モードに係る情報よりも先に送信することによって、かかるフレーム間予測に関する情報が必要ない場合において、「ＩＮＴＲＡ/ＩＮＴＥＲモード」用のシンタックス要素を無駄なく送信することができる。
【０２０８】
また、混合予測部６４は、「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合に、動きベクトルの符号化に必要な情報量の増加を抑えるため、１つのマクロブロックにつき１つの動きベクトルを可変長符号化部６７及び混合予測復号部７１に送信してもよい。
【０２０９】
また、混合予測部６４は、現マクロブロックに隣接するマクロブロックのうち、既に符号化済みのマクロブロック（ＩＮＴＥＲモード）の動きベクトルから予測値を求め、当該予測値との差分を現マクロブロックの動きベクトルとしてもよい。
【０２１０】
また、混合予測部６４は、事前に動き検出部６２によって検出された「ＩＮＴＥＲ１６×１６モード」用の動きベクトルをそのまま可変長符号化部６７及び混合予測復号部７１に送信してもよい。
【０２１１】
また、混合予測部６４は、動き検出部６２によってサブブロック単位で検出された動きベクトルのうち、最も多く現れた動きベクトルを現マクロブロックの動きベクトルとして可変長符号化部６７及び混合予測復号部７１に送信してもよい。
【０２１２】
この結果、マクロブロック内で「フレーム間予測モード」により効率的に符号化処理が可能であるサブブロックに適した動きベクトルを選択することができ、「ＩＮＴＲＡ/ＩＮＴＥＲモード」で符号化効率を高めることができる。
【０２１３】
本実施形態に係る復号化装置８０を図１１に示す。以下、主として、本実施形態に係る復号化装置８０について、上述の実施形態１に係る復号化装置４０との相違点を説明することとする。そして、特に説明を行わない点については、本実施形態に係る復号化装置８０は、上述の実施形態１に係る復号化装置４０と同様であるものとする。
【０２１４】
本実施形態に係る復号化装置８０は、ループフィルタ８９及び空間予測部９０が設けられている点で、上述の実施形態１に係る復号化装置４０と構成を異にする。
【０２１５】
ループフィルタ８９は、符号化装置６０のループフィルタ７３と同一の機能を具備するものであり、混合予測復号部８６により送信された結果に対して、サブブロック単位でフィルタリング処理を行い、サブブロックの歪み等の劣化を抑える働きをするものである。
【０２１６】
空間予測部９０は、フレームメモリ７２に格納されている参照フレームの画像内のサブブロック（４×４画素）ごとに、可変長復号化部８２から送信された画素値予測方法で、フレーム内画素値予測を行い、予測画像ブロックを生成する。
【０２１７】
具体的には、混合予測復号部８６は、「マクロブロックモード」として「ＩＮＴＥＲモード」が選択されている場合、当該マクロブロックは動き補償フレーム間予測により構成されていることから、逆直交変換部８４により送信された「予測残差信号」と動き補償部８５により送信された「予測画像ブロック」とを加算することによって得られた結果を、出力映像信号４を構成する「マクロブロック」とする。
【０２１８】
また、混合予測復号部８６は、「マクロブロックモード」として「ＩＮＴＲＡモード」が選択されている場合、当該マクロブロックは、フレーム内予測により構成されていることから、逆直交変換部８４により送信された「予測残差信号」と空間予測部９０により送信された「予測画像ブロック」とを加算することによって得られた結果を、出力映像信号４を構成する「マクロブロック」とする。
【０２１９】
また、混合予測復号部８６は、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択されている場合、４×４画素のサブブロックごとに、「フレーム内予測モード」または「フレーム間予測モード」のどちらの予測モードが用いられるかを切り替える。
【０２２０】
すなわち、混合予測復号部８６は、当該サブブロックに「フレーム内画素値予測モード」が適用されている場合には、逆直交変換部４４により送信された「予測残差信号（サブブロック単位）」を、出力映像信号４を構成する「サブブロック」とする。
【０２２１】
一方、混合予測復号部８６は、当該サブブロックに「フレーム内予測モード」が適用されている場合には、逆直交変換部４４により送信された「予測残差信号（サブブロック単位）」と空間予測部９０により送信された「予測画像ブロック」とを加算することによって得られた結果を、出力映像信号４を構成する「サブブロック」とする。
【０２２２】
混合予測復号部８６は、これらの「サブブロック」により、出力映像信号４を構成する「マクロブロック」を生成する。
【０２２３】
また、可変長復号化部８２は、第１又は第２の予測モードを行うために必要な予測モード関連情報（動きベクトルや画素値予測方法）を復号化する予測モード関連情報復号化手段を構成する。
【０２２４】
（実施形態２に係る動画像符号化伝送システムの動作）
上記構成を有する動画像符号化伝送システムの動作について、図１５を参照にして説明する。図１５は、符号化装置６０の混合予測部６４の処理を示すフローチャート図である。以下、符号化装置６０の混合予測部６４の動作を主として、動画像符号化伝送システムの動作について説明する。
【０２２５】
図１５に示すように、混合予測部６４は、ステップ９０１において、入力部６１により送信されたマクロブロックを、４×４画素のサブブロックごとに分割する。
【０２２６】
ステップ９０２において、混合予測部６４は、複数の動き検出単位を用いた動き補償フレーム間予測によって生成された複数の予測画像ブロック（サブブロック単位）を動き補償部６３から受信し、複数の画素値予測方法を用いたフレーム内画素値予測によって生成された複数の予測画像ブロック（サブブロック単位）を空間予測部７４から受信する。
【０２２７】
ステップ９０３において、混合予測部６４は、動き補償部６３からの複数の予測画像ブロック（サブブロック単位）の中から、入力部６１により送信されたマクロブロック内のサブブロックとの間の第１のＳＡＤが最も低くなる予測画像ブロックを選択する。
【０２２８】
また、混合予測部６４は、空間予測部７４からの複数の予測画像ブロック（サブブロック単位）の中から、入力部６１により送信されたマクロブロック内のサブブロックとの間の第２のＳＡＤが最も低くなる予測画像ブロックを選択する。
【０２２９】
ステップ９０４において、混合予測部６４は、サブブロックごとに、上述の第１のＳＡＤと第２のＳＡＤとを比較し、第１のＳＡＤの方が小さい場合、ステップ９０５において、当該サブブロックの予測モードを「フレーム間予測モード」と設定し、第２のＳＡＤの方が小さい場合、ステップ９０６において、当該サブブロックの予測モードを「フレーム内画素値予測モード」と設定する。
【０２３０】
ステップ９０７において、混合予測部６４は、当該マクロブロック内の全てのサブブロックで上述の選択が行われた否か判断し、行われていない場合は、ステップ９０２に戻り、残りのサブブロックについて上述の予測モードの選択を行う。
【０２３１】
全てのサブブロックで上述の予測モードの選択が行われた場合、混合予測部６４は、ステップ９０８において、当該マクロブロック全体におけるＳＡＤの合計値である「ＩＮＴＲＡ/ＩＮＴＥＲモード」におけるＳＡＤと、動き補償部６３により送信された動き補償フレーム間予測による予測画像ブロックのＳＡＤと、空間予測部７４により送信されたフレーム内画素値予測による予測画像ブロックのＳＡＤとを比較する。
【０２３２】
そして、混合予測部６４は、ＳＡＤが最も低くなった予測モードを、当該マクロブロックの「マクロブロックモード」として適用する。
【０２３３】
ステップ９０９において、混合予測部６４は、この「マクロブロックモード」を、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２３４】
ここで、「マクロブロックモード」として「ＩＮＴＲＡ/ＩＮＴＥＲモード」が選択された場合、混合予測部６４は、「マクロブロックモード」と、各サブブロックにおける「予測モードの選択状況」と、「動きベクトル」又は「画素値予測方法」とを、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２３５】
本実施形態に係る動画像符号化伝送システムは、ＩＴＵ-Ｔ Ｈ.２６Ｌに準拠した構成として説明したが、本発明は、これに限られるものではなく、「フレーム間予測モード（第１の予測モード）」及び「フレーム内予測モード（第２の予測モード）」の予測モードを用い、かつマクロブロック（第１の画像ブロック）相当の単位で符号化が行われるような様々な動画像符号化伝送システムに適用可能である。
【０２３６】
また、「ＩＮＴＲＡ/ＩＮＴＥＲモード」についても、本実施形態で示した構成に限られるものでなく、マクロブロック（第１の画像ブロック）内の各サブブロック（第２の画像ブロック）において「フレーム間予測モード」及び「フレーム内予測モード」のどちらが適用されるかを示す様々なシンタックスを用いることができる。
【０２３７】
例えば、「ＩＮＴＲＡ４×４モード」とは別に新たに「ＩＮＴＲＡ/ＩＮＴＥＲモード」を用いるようにしてもよい。この場合、マクロブロック内の各サブブロックの予測モード選択状況が、全て「フレーム内画素値予測モード」であった場合には、当該マクロブロックに「ＩＮＴＲＡ４×４モード」を適用する。一方、マクロブロック内の各サブブロックの予測モード選択状況が、「フレーム間予測モード」を含む場合には、当該マクロブロックに「ＩＮＴＲＡ/ＩＮＴＥＲモード」を適用する。
【０２３８】
この際、「ＩＮＴＲＡ４×４モード」においては、予測モード選択状況を示す「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」を、従来のＨ．２６Ｌ符号化方式で用いられている拡張無しテーブルとする。一方、「ＩＮＴＲＡ/ＩＮＴＥＲモード」においては、予測モード選択状況を示す「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」を、図１４（ｂ）に示すような拡張を行ったテーブルや、「ＩＮＴＥＲ＿ＰＲＥＤ」以外の「フレーム内予測モード」に係る項目を一部省略したテーブルとする。その結果、「ＩＮＴＲＡ４×４モード」及び「ＩＮＴＲＡ/ＩＮＴＥＲモード」用のシンタックス要素を効率的に送信することができる。
【０２３９】
同様に「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」についても、本実施形態で示した構成に限られるものでなく、各サブブロックにおいて「フレーム間予測モード」及び「フレーム内予測モード」のどちらが適用されるかを示すことができる様々なシンタックスを用いることができる。
【０２４０】
また、本実施形態において、混合予測部６４は、算出したＳＡＤと所定の閾値とを比較して、「マクロブロックモード」を選択することとしているが、この選択基準は、本実施形態で示した構成に限られるものではない。
【０２４１】
例えば、それぞれの「マクロブロックモード」によって当該マクロブロックにおける圧縮ビットストリーム３を実際に構成してみて、そのビット量が小さくなる方の「マクロブロックモード」を選択する等、より効率的な符号化を可能とする「マクロブロックモード」を選択するための様々な選択基準を用いることができる。
【０２４２】
（実施形態２に係る動画像符号化伝送システムの作用・効果）
実施形態２に係る動画像符号化伝送システムによれば、混合予測部６４が、サブブロックから空間方向の冗長度又は時間方向の冗長度を削減した予測残差信号を最適に生成することができるため、１つのマクロブロック内に、フレーム間予測モードで符号化処理したほうが良い部分と、フレーム内予測モードで符号化処理したほうが良い部分とが混在している場合であっても、効率の良い符号化処理を行うことができる。
【０２４３】
（本発明の実施形態３に係る動画像符号化伝送システムの構成）
本発明の実施形態３に係る動画像符号化伝送システムの構成について図を参照しながら説明する。本実施形態に係る動画像符号化伝送システムは、本発明の実施形態２の場合と同様に、ＩＴＵ−Ｔ Ｈ．２６Ｌ符号化方式に準拠し、その上で、本発明の実施に必要な変更が加えられた構成を具備するものである。本実施形態に係る動画像符号化伝送システムの構成は、実施形態２の場合と同じく、図１０及び図１１により示される。
【０２４４】
本実施形態に係る動画像符号化伝送システムは、実施形態２に係る動画像符号化伝送システムと比較すると、以下の点について変更されている。
【０２４５】
第１に、本実施形態に係る動画像符号化伝送システムは、「予測モード」として「フレーム間予測モード」を適用するか又は「フレーム内予測モード」を適用するかを選択する単位である「サブブロック」を、直交変換の単位である「４×４画素のブロック単位」ではなく、図１２に示す「動き検出単位」としている点で変更されている。
【０２４６】
第２に、本実施形態に係る動画像符号化伝送システムは、かかるサブブロック単位で、「フレーム間予測モード」または「フレーム内予測モード」の適用を選択するために必要なシンタックスを定義している点で変更されている。
【０２４７】
以下、本実施形態に係る符号化装置６０において、上述の実施形態２に係る符号化装置６０と相違する点についてのみ説明することとし、特に説明を行わない点については、上述の実施形態２に係る符号化装置６０と同様であるものとする。
【０２４８】
また、上記の「サブブロック」の単位の違いから、本実施形態の説明においては、実施形態２の場合とは異なり、直交変換の単位である４×４画素のブロックを、「サブブロック」ではなく「直交変換ブロック」と呼ぶこととする。
【０２４９】
本実施形態に係る符号化装置６０において、動き検出部６２は、図１２に示す７種類の動き検出単位（１６×１６、１６×８、８×１６、８×８、４×８、８×４、４×４）、すなわち、「サブブロック」単位で、「動きベクトル」の検出を、それぞれの「予測モード（すなわち、図１２に示す動き検出単位に対応）」における「動きベクトル」として、動き補償部６３に送信する。
【０２５０】
動き補償部６３は、動き検出部６２により送信された「動きベクトル」をフレームメモリ７２に格納されている参照フレームに適用して「予測画像ブロック（サブブロック単位）」を生成して混合予測部６４に送信する。
【０２５１】
空間予測部７４は、図１１に示すように、入力部６１により送信されたマクロブロック内の「直交変換ブロック（４×４画素）」ごとに、当該直交変換ブロックに隣接した直交変換ブロックの画素値を用いた数種類の画素値予測方法によってフレーム内画素値予測を行い、予測画像ブロック（サブブロック単位）を生成して混合予測部６４に送信する。
【０２５２】
空間予測部７４は、１つのサブブロックに含まれる全ての直交変換ブロックについて、上述の予測画像ブロックの生成を行い、入力部６１を介して受信したサブブロックとのＳＡＤが最も小さくなるように、画素値予測方法を選択する。
【０２５３】
ここで、空間予測部７４は、マクロブロック全体（１６×１６画素）についても、当該マクロブロックに隣接したマクロブロックの画素値を用いた数種類の画素値予測方法で、フレーム内画素値予測を行い、予測画像ブロックを生成する。
【０２５４】
空間予測部７４は、混合予測部６４に、上述の選択された画素値予測方法を用いて生成された予測画像ブロック（サブブロック単位）を送信する代わりに、上述の画素値予測方法を示す識別情報を送信してよい。
【０２５５】
上述の直交変換ブロックに隣接した直交変換ブロックは、直交変換と量子化と逆量子化と逆直交変換とに至る一連の処理を行ったものである必要があるため、空間予測部７４は、かかる一連の処理済みの直交変換ブロックを用いて、上述のフレーム内画素値予測を行う。
【０２５６】
かかる場合、隣接する直交変換ブロックが、同じマクロブロック内に含まれる場合には、隣接する直交変換ブロックに用いられる予測モードが確定していない場合がある。
【０２５７】
かかる場合には、当該隣接する直交変換ブロックについて候補となっている予測モードを用いて、上述の符号化及び復号化処理が行われるものとしてもよい。あるいは、隣接する直交変換ブロックが、同じマクロブロック内に含まれる場合には、当該隣接する直交変換ブロックがマクロブロック外であるものとして、フレーム内画素値予測が行われるものとしてもよい。
【０２５８】
混合予測部６４は、入力部６１により送信されたマクロブロックを、「サブブロック（動き検出単位）」に分割し、サブブロック毎に「フレーム間予測モード」又は「フレーム内予測モード」を適用して、最も符号化効率が良くなる組み合わせを探索する。
【０２５９】
具体的には、混合予測部６４は、以下のように、図１２に示す７種類の動き検出単位に対応する「予測モード」を順に検査していく。
【０２６０】
混合予測部６４は、それぞれの予測モードにおける各サブブロックについて、動き補償部６３により送信された動き補償フレーム間予測による「予測画像ブロック（サブブロック単位）」及び空間予測部７４により送信されたフレーム内画素値予測による「予測画像ブロック（直交変換ブロック単位）」のＳＡＤ（入力部６１により送信されたマクロブロック内のサブブロックとの間のＳＡＤ）を算出し、ＳＡＤが小さい方の予測手法（動き補償フレーム間予測又はフレーム内画素値予測）を当該サブブロックの予測手法とする。
【０２６１】
この予測手法による予測画像サブブロックに基づいて生成される「予測残差信号（サブブロック単位）」に対して、直交変換と量子化と逆量子化と逆直交変換とに至る一連の符号化及び復号化処理がなされる。マクロブロック内の（左上のサブブロックから順に右下のサブブロックまで）全てのサブブロックについて上述の処理が行われる。
【０２６２】
混合予測部６４は、マクロブロック内の全てのサブブロックについて上述の処理を行った後、当該マクロブロック全体におけるＳＡＤの合計値を、それぞれの動き検出単位に対応する「マクロブロックモード（ＩＮＴＥＲ １６×１６モード等）」におけるＳＡＤとして保持する。そして、混合予測部６４は、まだ検査の行われていない動き検出単位に対応する「マクロブロックモード（ＩＮＴＥＲ １６×１６モード等）」について、上述の処理を同様に行う。
【０２６３】
混合予測部６４は、全ての動き検出単位に対応する「マクロブロックモード」について上述の処理を行った後、保持しておいたそれぞれの「マクロブロックモード」についてのＳＡＤを比較する。
【０２６４】
そして、混合予測部６４は、ＳＡＤが最も低くなった「マクロブロックモード」を、当該マクロブロックのフレーム間予測を用いた「マクロブロックモード（ＩＮＴＥＲ １６×１６等）」とし、そのＳＡＤを保持する。
【０２６５】
そして、混合予測部６４は、動き補償フレーム間予測を行った場合の第１のＳＡＤを、空間予測部７４により送信された当該マクロブロック全体についてフレーム内画素値予測を行った場合の第２のＳＡＤとを比較する。
【０２６６】
混合予測部６４は、最終的にＳＡＤが最も低くなったマクロブロックモードを、当該マクロブロックの「マクロブロックモード」とし、この「マクロブロックモード」を、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２６７】
「マクロブロックモード」として「ＩＮＴＥＲモード」が選択された場合、混合予測部６４は、「マクロブロックモード」と、各サブブロックにおける「予測モードの選択状況」と、「動きベクトル」又は「画素値予測方法」とを、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２６８】
混合予測復号部７１は、「マクロブロックモード」として「ＩＮＴＥＲモード」が選択されている場合で、かつ、当該サブブロックに「フレーム間予測モード」が選択されている場合、動き補償部６３により送信された「予測画像ブロック（サブブロック単位）」と「予測残差信号（サブブロック単位）」とを加え、その結果をループフィルタ７３に送信する。
【０２６９】
また、混合予測復号部７１は、「マクロブロックモード」として「ＩＮＴＥＲモード」が選択されている場合で、かつ、当該サブブロックに「フレーム内画素値予測モード」が選択されている場合、空間予測部７４により送信された「予測画像ブロック（サブブロック単位）」と「予測残差信号（サブブロック単位）」に加え、その結果をループフィルタ７３を経由してフレームメモリ７２に送信する。
【０２７０】
ループフィルタ７３は、混合予測復号部７１により送信された結果に対して、サブブロック単位でフィルタリング処理を行い、サブブロックの歪み等の劣化を抑える働きをするものである。
【０２７１】
本実施形態に係る動画像符号化伝送システムにおいて、マクロブロック内にて「フレーム間予測モード」と「フレーム内画素値予測モード」とを混在させるために、「ＩＮＴＥＲモード」のシンタックスを以下のように拡張する。
【０２７２】
具体的には、本実施形態に係る動画像符号化伝送システムにおいて、「マクロブロックモード」として「ＩＮＴＥＲモード」が選択されている場合に、当該サブブロックにおける「フレーム間予測モード」と「フレーム内画素値予測モード」の選択状況を示すために、Ｈ．２６Ｌ符号化方式におけるＰピクチャのマクロブロックモードにおける「Ｒｅｆ＿ｆｒａｍｅ」及びシンタックスの定義を、図１６及び図１７に示すように拡張する。
【０２７３】
図１６（ａ）に、従来のＨ．２６ＬのＰピクチャのマクロブロックモードにおけるシンタックスを示す。図１６（ａ）において、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」は、従来のＨ．２６Ｌ符号化方式において「ＩＮＴＲＡ４×４モード」が選択された場合に、各直交変換ブロックにおいて選択された予測方法（動き補償フレーム間予測又はフレーム内画素値予測）を示すものである。
【０２７４】
「Ｒｅｆ＿ｆｒａｍｅ」は、Ｈ．２６Ｌ符号化方式では、動き補償フレーム間予測で、複数の参照フレームを使用して「動きベクトル」を検出することができることから、マクロブロックにおいて、どの参照フレームを使用したかを示すものである。
【０２７５】
「ＭＶＤ」は、動きベクトルの差分情報を示すものであり、「Ｔｅｘｔｕｒｅ Ｃｏｄｉｎ Ｓｙｎｔａｘ」は、上記以外の直交変換係数等の情報を示すものである。
【０２７６】
図１６（ａ）に示すシンタックスを、図１６（ｂ）のように拡張する。「Ｒｅｆ＿ｆｒａｍｅ」は、「ＭＢ＿ｔｙｐｅ」により指示された「マクロブロックモード」により判別されるサブブロックの数だけ伝送されることとする。
【０２７７】
そのために拡張した「Ｒｅｆ＿ｆｒａｍｅ」の定義を、図１７に示す。図１７において、最大参照フレーム数を「５」として、「５」を示すコードの次のコードが、「フレーム内予測モード」を示すこととしている。
【０２７８】
Ｈ．２６Ｌ符号化方式では、最大参照フレーム数は、可変であり、「５」以外の値も取ることができる。ここで、最大参照フレーム数は、符号化装置６０及び復号化装置８０において既知とされており、また、実際のアプリケーションにおいても、同様な設定情報は事前に伝送されると考えられる。
【０２７９】
したがって、「フレーム内予測モード」を示すコードには、最大参照フレーム数を示すコードの次のコードが割り当てられることとすれば、最大参照フレーム数にかかわらず、拡張した「Ｒｅｆ＿ｆｒａｍｅ」を符号化装置６０と復号化装置８０において一意に定義することができる。
【０２８０】
したがって、各サブブロックにおける「フレーム間予測モード」又は「フレーム内画素値予測モード」の選択状況は、「Ｒｅｆ＿ｆｒａｍｅ」を用いて伝送される。
【０２８１】
この結果、「ＩＮＴＥＲモード」が選択されたマクロブロックにおいて、「フレーム間予測モード」と「フレーム内画素値予測モード」を混在させることができる。
【０２８２】
また、「Ｒｅｆ＿ｆｒａｍｅ」により「フレーム間予測モード」又は「フレーム内予測モード」の選択状況が判別されることから、「Ｒｅｆ＿ｆｒａｍｅ」を「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」に先んじて伝送することとするとともに、「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」は、「Ｒｅｆ＿ｆｒａｍｅ」により「フレーム内予測モード」のサブブロックの存在が指示された場合に、「Ｒｅｆ＿ｆｒａｍｅ」により指示された「フレーム内予測モード」のサブブロックの数だけ伝送されることとする。
【０２８３】
「Ｒｅｆ＿ｆｒａｍｅ」を先に送信することによって、「ＭＶＤ」等のフレーム間予測モードに関する情報や「Ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」等のフレーム内画素値予測モードに関する情報が必要ない場合でも、それぞれのシンタックス要素を無駄なく送信することができる。
【０２８４】
なお、この場合、従来のＨ．２６Ｌ符号化方式の場合とは異なり、サブブロック毎に「Ｒｅｆ＿ｆｒａｍｅ」が伝送されることとなる。
【０２８５】
したがって、サブブロック毎に「フレーム間予測モード」と「フレーム内画素値予測モード」の選択が可能となるだけでなく、従来のＨ．２６Ｌ符号化方式の場合にはマクロブロック毎に選択されていた参照フレームを、サブブロック毎に選択することが可能となる。
【０２８６】
本実施形態に係る復号化装置８０の構成は、４×４画素のサブブロックを用いる代わりに、動き検出単位であるサブブロックを用いることを除いて、実施形態２に係る復号化装置８０と同じである。
【０２８７】
（実施形態３に係る動画像符号化伝送システムの動作）
上記構成を有する動画像符号化伝送システムの動作について、図１８を参照にして説明する。図１８は、本実施形態における符号化装置６０の混合予測部６４の処理を示すフローチャート図である。以下、符号化装置６０の混合予測部６４の動作を主として、動画像符号化伝送システムの動作について説明する。
【０２８８】
混合予測部６４は、図１８に示すように、ステップ１５０１において、入力部６１により送信されたマクロブロックを、サブブロック（動き検出単位に対応）ごとに分割する。
【０２８９】
ステップ１５０２において、混合予測部６４は、動き補償部６３からフレーム間予測を用いた予測画像ブロックを受信し、空間予測部７４からフレーム内画素値予測を用いた予測画像ブロックを受信する。
【０２９０】
ステップ１５０３において、混合予測部６４は、入力部６１により送信されたマクロブロックとフレーム間予測を用いた予測画像ブロックとの間の第１のＳＡＤ、及び、入力部６１により送信されたマクロブロックとフレーム内画素値予測を用いた予測画像ブロックとの間の第２のＳＡＤを算出する。
【０２９１】
ステップ１５０４において、混合予測部６４は、サブブロックごとに、上述の第１のＳＡＤと第２のＳＡＤとを比較し、第１のＳＡＤの方が小さい場合、ステップ１５０５において、当該サブブロックの予測モードを「フレーム間予測モード」と設定し、第２のＳＡＤの方が小さい場合、ステップ１５０６において、当該サブブロックの予測モードを「フレーム内画素値予測モード」と設定する。
【０２９２】
ステップ１５０７において、混合予測部６４は、当該マクロブロック内の全てのサブブロックで、予測モードの選択が行われた否か判断し、行われていない場合は、ステップ１５０２に戻り、残りのサブブロックについて、予測モードの選択を行う。
【０２９３】
全てのサブブロックで、予測モードの選択が行われた場合、混合予測部６４は、ステップ１５０８において、当該マクロブロックについて、すべてのマクロブロックモード（ＩＮＴＥＲ １６×１６モード等）について、上述の選択が行われたか否か判断し、行われていない場合は、ステップ１５０１に戻り、残りのマクロブロックモードについて上述の予測モードの選択を行う。
【０２９４】
全てのサブブロックおよび全てのマクロブロックモードで、予測モードの選択が行われた場合、混合予測部６４は、ステップ１５０９において、各マクロブロックモードに対して、当該マクロブロック全体におけるＳＡＤの合計値を比較する。
【０２９５】
また、混合予測部６４は、空間予測部７４によりマクロブロック全体（１６×１６画素）についてフレーム内画素値予測を行った場合（ＩＮＴＲＡモード）のＳＡＤとも比較する。
【０２９６】
そして、混合予測部６４は、ＳＡＤが最も低くなった「マクロブロックモード」を、当該マクロブロックの「マクロブロックモード」として適用する。
【０２９７】
ステップ１５１０において、混合予測部６４は、この「マクロブロックモード」を、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２９８】
ここで、「マクロブロックモード」として「フレーム内予測モード」のサブブロックを含む「ＩＮＴＥＲモード」が選択された場合、混合予測部６４は、「マクロブロックモード」と、各サブブロックにおける「予測モードの選択状況」と、「動きベクトル」又は「画素値予測方法」とを、可変長符号化部６７と混合予測復号部７１とに送信する。
【０２９９】
本実施形態に係る動画像符号化伝送システムは、ＩＴＵ-Ｔ Ｈ.２６Ｌに準拠した構成として説明したが、本発明は、これに限られるものではなく、「フレーム間予測モード（第１の予測モード）」及び「フレーム内予測モード（第２の予測モード）」の予測モードを用い、かつマクロブロック（第１の画像ブロック）相当の単位で符号化が行われるような様々な動画像符号化伝送システムに適用可能である。
【０３００】
また、各サブブロックにおける「フレーム間予測モード」又は「フレーム内予測モード」の判別方法についても、本実施形態で示した構成に限られるものでなく、マクロブロック（第１の画像ブロック）内の各サブブロック（第２の画像ブロック）において「フレーム間予測モード」及び「フレーム内予測モード」のどちらが適用されるかを示す様々なシンタックスを用いることができる。
【０３０１】
各サブブロックにおける「フレーム間予測モード」又は「フレーム内予測モード」の判別方法については、本実施形態における「Ｒｅｆ＿ｆｒａｍｅ」のように、サブブロック単位で伝送される様々な情報に重畳して伝送することが考えられる。
【０３０２】
例えば、動きベクトル差分情報（ＭＶＤ）を用いて、当該サブブロックが「フレーム内予測モード」である場合には、特別なベクトル値又は差分ベクトル値を用いて指示することもできる。
【０３０３】
また、サブブロック毎に伝送される新たな情報を定義して「Ｒｅｆ＿ｆｒａｍｅ」や「ＭＶＤ」とは別に「フレーム間予測モード」や「フレーム内予測モード」の判別情報を伝送してもよい。
【０３０４】
また、「ＭＶＤ」の符号化コードに特別なコード、すなわち、エスケープ符号を設定し、これが伝送された場合に「フレーム内予測モード」であることを指示することもできる。
【０３０５】
なお、本実施形態においては、マクロブロックモードとして「ＩＮＴＥＲモード」が選択された場合に、すべてのサブブロックにおいて「フレーム内予測モード」が選択される場合があり得る。
【０３０６】
かかる場合の符号化結果は、「画素値予測方法」等の情報が異なるため、必ずしもマクロブロックモードとして「ＩＮＴＲＡモード」が選択された場合とは同じとはならない。
【０３０７】
したがって、このような「マクロブロックモード」の存在を許可することとしてもよい。
【０３０８】
しかしながら、この場合、予測方法（動き補償フレーム間予測又はフレーム内画素値予測）に変化のないフレーム内予測を用いたマクロブロックモードが複数存在することになる。
【０３０９】
このような事態を防ぐため、すべてのサブブロックが「フレーム内予測モード」となる「ＩＮＴＥＲモード」を禁止する、又はマクロブロックモードとしての「ＩＮＴＲＡモード」を禁止するなどして、フレーム内予測を用いたマクロブロックモードが複数存在することを避けるようにしてもよい。
【０３１０】
（実施形態３に係る多重伝送装置の作用・効果）
実施形態３に係る動画像符号化伝送システムによれば、混合予測部６４が、サブブロックから空間方向の冗長度又は時間方向の冗長度を削減した予測残差信号を最適に生成することができるため、１つのマクロブロック内に、フレーム間予測モードで符号化処理したほうが良い部分と、フレーム内予測モードで符号化処理したほうが良い部分とが混在している場合であっても、効率の良い符号化処理を行うことができる。
【０３１１】
（その他）
なお、上述の実施形態１乃至３に係る符号化装置２０及び６０、復号化装置４０及び８０の機能を、コンピュータ１００に実行させるためのプログラムを、コンピュータ読み取り可能な記録媒体に記録することができる。このコンピュータ読み取り可能な記録媒体は、図１９に示すように、例えば、フロッピィーディスク１０１、コンパクトディスク１０２、ＩＣチップ１０３、カセットテープ１０４等が挙げられる。このようなプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、プログラムの保存、運搬、販売等を容易に行うことができる。
【０３１２】
【発明の効果】
以上説明したように本発明によれば、マクロブロックの枠組みを変えることなく、１つのマクロブロック内で、予測モードの切り替えを行い、フレーム間予測モードで符号化処理する部分とフレーム内予測モードで符号化処理する部分とを混在させることができる。
【図面の簡単な説明】
【図１】 従来技術に係る動画像符号化伝送システムで用いられる符号化装置の構成を示す図である。
【図２】 従来技術に係る動画像符号化伝送システムで用いられる復号化装置の構成を示す図である。
【図３】 マクロブロックコードを示す図である。
【図４】 マクロブロック内で、フレーム内予測モードで符号化処理したほうが良い部分と、フレーム間予測モードで符号化処理したほうが良い部分とが混在しているケースを示す図である。
【図５】 本発明の一実施形態に係る動画像符号化伝送システムの概略構成図である。
【図６】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の構成を示す図である。
【図７】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる復号化装置の構成を示す図である。
【図８】 本発明の一実施形態に係る動画像符号化伝送システムで拡張されたマクロブロックモード及びブロックレイヤシンタックスの定義を示す表である。
【図９】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の混合予測部の処理を示すフローチャート図である。
【図１０】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の構成を示す図である。
【図１１】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる復号化装置の構成を示す図である。
【図１２】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の動き検出部で用いられる動き検出ブロックを示す図である。
【図１３】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の空間予測部によって行われるフレーム内画素値予測の原理を示す図である。
【図１４】 本発明の一実施形態に係る動画像符号化伝送システムで拡張されたマクロブロックモード及びブロックレイヤシンタックスの定義を示す表である。
【図１５】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の混合予測部の処理を示すフローチャート図である。
【図１６】 従来技術及び本発明の一実施形態に係る動画像符号化伝送システムで用いられるマクロブロックシンタックスの定義を示す図である。
【図１７】 本発明の一実施形態に係る動画像符号化伝送システムで拡張されたマクロブロックシンタックスの定義を示す表である。
【図１８】 本発明の一実施形態に係る動画像符号化伝送システムで用いられる符号化装置の混合予測部の処理を示すフローチャート図である。
【図１９】 本発明に係る動画像符号化伝送システムとして機能するプログラムを記録するコンピュータ読み取り可能な記録媒体を示す図である。

Claims (30)

1. 動画像を第１の画像ブロック単位で符号化する符号化装置であって、
   前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成すると共に、前記予測モード選択情報に基づいて、前記第１の画像ブロック単位で、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれであるかを示すマクロブロックモードを決定する予測モード選択情報生成手段と、
   選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、
   前記第１の予測モードによる符号化処理を行うために必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理を行うために必要な第２予測モード関連情報の少なくとも一方と、前記予測モード選択情報と、前記予測残差信号と、前記マクロブロックモードとを符号化して伝送する伝送手段とを具備し、
   前記伝送手段は、
   前記第１予測モード関連情報及び前記第２予測モード関連情報より先に、前記予測モード選択情報を伝送し、
   前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を伝送し、
   前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１予測モード関連情報を伝送しない
   ことを特徴とする符号化装置。
2. 前記予測残差信号生成手段は、前記第１の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成し、
   前記予測残差信号生成手段は、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、フレーム内予測により前記予測残差信号を生成する
   ことを特徴とする請求の範囲第１項記載の符号化装置。
3. 前記伝送手段は、前記第１の予測モードを適用することが選択された場合、前記第１予測モード関連情報として、前記動きベクトルを示す情報を符号化して伝送することを特徴とする請求の範囲第２項記載の符号化装置。
4. 前記予測残差信号生成手段は、前記第１の画像ブロック内で、同一の動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成することを特徴とする請求の範囲第２項記載の符号化装置。
5. 前記予測残差信号生成手段は、前記第２の予測モードを適用することが選択された場合、前記第２の画像ブロックごとに、該第２の画像ブロックに隣接する画素値を用いた画素値予測方法により前記予測残差信号を生成し、
   前記伝送手段は、前記第２予測モード関連情報として、前記画素値予測方法を符号化して伝送する
   ことを特徴とする請求の範囲第１項記載の符号化装置。
6. 前記伝送手段は、前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方を前記予測モード選択情報に関連付けて符号化して伝送することを特徴とする請求の範囲第１項記載の符号化装置。
7. 動画像を復号化する復号化装置であって、
   動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を入力すると共に、前記第１の画像内の全ての第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれかを示すマクロブロックモードを入力する入力手段と、
   前記マクロブロックモードと、前記予測モード選択情報とを復号化する予測モード選択情報復号化手段と、
   前記第１の予測モードによる符号化処理に必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理に必要な第２予測モード関連情報の少なくとも一方を復号化する予測モード関連情報復号化手段と、
   前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方と、前記マクロブロックモードと、前記予測モード選択情報とに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備し、
   前記予測モード選択情報復号化手段は、前記予測モード関連情報復号化手段が前記第１予測モード関連情報及び前記第２予測モード関連情報を復号化するより先に、前記予測モード選択情報を復号化し、
   前記予測モード関連情報復号化手段は、
   前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を復号化し、
   前記第２の画像ブロック単位で、前記予測モード選択情報により前記第１の予測モードが適用されていないことが示されている場合、前記第１予測モード関連情報を復号化しない
   ことを特徴とする復号化装置。
8. 前記動画像復号化手段は、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記第２の画像ブロック単位で、前記予測残差信号から動き補償フレーム間予測により前記動画像を復号化し、
   前記動画像復号化手段は、前記予測モード選択情報により前記第２の予測モードが適用されることが選択された場合、前記第２の画像ブロック単位で、前記予測残差信号からフレーム内予測により前記動画像を復号化する
   ことを特徴とする請求の範囲第７項記載の復号化装置。
9. 前記予測モード関連情報復号化手段は、前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記第１予測モード関連情報として、動きベクトルを示す情報を復号化することを特徴とする請求の範囲第８項記載の復号化装置。
10. 前記動画像復号化手段は、前記予測モード選択情報により前記第１の予測モードを適用することが選択された場合、前記第１の画像ブロック単位で、同一の動きベクトルによる動き補償フレーム間予測を用いて前記動画像を復号化することを特徴とする請求の範囲第１１項記載の復号化装置。
11. 前記予測モード関連情報復号化手段は、前記予測モード選択情報により前記第２の予測モードを適用することが選択された場合、前記第２予測モード関連情報として、前記第２の画像ブロックに係る画素値予測方法を復号化し、
    前記動画像復号化手段は、前記画素値予測方法を用いて前記動画像を復号化する
    ことを特徴とする請求の範囲第７項記載の復号化装置。
12. 前記予測モード選択情報復号化手段は、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化することを特徴とする請求の範囲第７項記載の復号化装置。
13. 前記予測モード選択情報は、前記第１予測モード関連情報又は前記第２予測モード関連情報に関連付けられて符号化されていることを特徴とする請求の範囲第７項記載の復号化装置。
14. 動画像を第１の画像ブロック単位で符号化する符号化方法であって、
    前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成すると共に、前記予測モード選択情報に基づいて、前記第１の画像ブロック単位で、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれであるかを示すマクロブロックモードを決定する工程Ａと、
    選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する工程Ｂと、
    前記予測モード選択情報と、前記予測残差信号と、前記マクロブロックモードとを符号化して伝送する工程Ｃと、
    前記第１の予測モードによる符号化処理を行うために必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理を行うために必要な第２予測モード関連情報の少なくとも一方を符号化して伝送する工程Ｄとを有し、
    前記工程Ｃにおいて、前記予測モード選択情報を、前記第１予測モード関連情報及び前記第２予測モード関連情報を前記工程Ｄにおいて伝送するより先に伝送し、
    前記工程Ｄにおいて、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を伝送し、
    前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１予測モード関連情報を伝送しない
    ことを特徴とする符号化方法。
15. 前記工程Ａにおいて前記第１の予測モードを適用することが選択された場合、前記工程Ｂにおいて、前記第２の画像ブロックごとに、動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成し、
    前記工程Ａにおいて前記第２の予測モードを適用することが選択された場合、前記工程Ｂにおいて、前記第２の画像ブロックごとに、フレーム内予測により前記予測残差信号を生成する
    ことを特徴とする請求の範囲第１４項記載の符号化方法。
16. 前記工程Ａにおいて前記第１の予測モードを適用することが選択された場合、前記工程Ｄにおいて、前記第１予測モード関連情報として、前記動きベクトルを示す情報を符号化して伝送することを特徴とする請求の範囲第１５項記載の符号化方法。
17. （元の請求項２４）
    前記工程Ｂにおいて、前記第１の画像ブロック内で、同一の動きベクトルを用いた動き補償フレーム間予測により前記予測残差信号を生成することを特徴とする請求の範囲第１５項記載の符号化方法。
18. 前記工程Ａにおいて前記第２の予測モードを適用することが選択された場合、前記工程Ｂにおいて、前記第２の画像ブロックごとに、該第２の画像ブロックに隣接する画素値を用いた画素値予測方法により前記予測残差信号を生成し、
    前記工程Ｄにおいて、前記第２予測モード関連情報として、前記画素値予測方法を符号化して伝送する
    ことを特徴とする請求の範囲第１４項記載の符号化方法。
19. 前記工程Ｄにおいて、前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方を前記予測モード選択情報に関連付けて符号化して伝送することを特徴とする請求の範囲第１４項記載の符号化方法。
20. 動画像を復号化する復号化方法であって、
    動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を入力すると共に、前記第１の画像内の全ての第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すとのいずれかを示すマクロブロックモードを入力する工程Ａと、
    前記マクロブロックモードと、前記予測モード選択情報とを復号化する工程Ｂと、
    前記第１の予測モードによる符号化処理に必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理に必要な第２予測モード関連情報の少なくとも一方を復号化する工程Ｃと、
    前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方と、前記マクロブロックモードと、前記予測モード選択情報により選択された前記第１又は第２の予測モードとに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する工程Ｄとを有し、
    前記工程Ｂにおいて、前記予測モード選択情報を、前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方を前記工程Ｃにおいて復号化するより先に復号化し、
    前記工程Ｃにおいて、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を復号化し、
    前記第２の画像ブロック単位で、前記予測モード選択情報により前記第１の予測モードが適用されていないことが示されている場合、前記第１予測モード関連情報を復号化しない
    ことを特徴とする復号化方法。
21. 前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記工程Ｄにおいて、動き補償フレーム間予測を用いて前記動画像を復号化し、
    前記予測モード選択情報により前記第２の予測モードが適用されることが選択された場合、前記工程Ｄにおいて、フレーム内予測を用いて前記動画像を復号化する
    ことを特徴とする請求の範囲第２０項記載の復号化方法。
22. 前記予測モード選択情報により前記第１の予測モードが適用されることが選択された場合、前記工程Ｃにおいて、前記第１予測モード関連情報として、動きベクトルを示す情報を復号化することを特徴とする請求の範囲第２０項記載の復号化方法。
23. 前記予測モード選択情報により前記第１の予測モードを適用することが選択された場合、前記工程Ｄにおいて、前記第１の画像ブロック単位で、同一の動きベクトルによる動き補償フレーム間予測を用いて前記動画像を復号化することを特徴とする請求の範囲第２２項記載の復号化方法。
24. 前記予測モード選択情報により前記第２の予測モードを適用することが選択された場合、前記工程Ｃにおいて、前記第２予測モード関連情報として、前記第２の画像ブロックに係る画素値予測方法を復号化し、
    前記工程Ｄにおいて、前記画素値予測方法を用いて前記動画像を復号化する
    ことを特徴とする請求の範囲第２０項記載の復号化方法。
25. 前記工程Ｂにおいて、前記第２の画像ブロック単位で、前記予測モード選択情報を復号化することを特徴とする請求の範囲第２０項記載の復号化方法。
26. 前記予測モード選択情報は、前記第１予測モード関連情報又は前記第２予測モード関連情報に関連付けられて符号化されていることを特徴とする請求の範囲第２０項記載の復号化方法。
27. コンピュータを、
    動画像を第１の画像ブロック単位で符号化する符号化装置であって、
    前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成すると共に、前記予測モード選択情報に基づいて、前記第１の画像ブロック単位で、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれであるかを示すマクロブロックモードを決定する予測モード選択情報生成手段と、
    選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、
    前記第１の予測モードによる符号化処理を行うために必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理を行うために必要な第２予測モード関連情報の少なくとも一方と、前記予測モード選択情報と、前記予測残差信号と、前記マクロブロックモードとを符号化して伝送する伝送手段とを具備し、
    前記伝送手段は、
    前記第１予測モード関連情報及び前記第２予測モード関連情報より先に、前記予測モード選択情報を伝送し、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を伝送し、
    前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１予測モード関連情報を伝送しない
    ことを特徴とする符号化装置として機能させるためのプログラム。
28. コンピュータを、
    動画像を復号化する復号化装置であって、
    動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を入力すると共に、前記第１の画像内の全ての第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれかを示すマクロブロックモードを入力する入力手段と、
    前記マクロブロックモードと、前記予測モード選択情報とを復号化する予測モード選択情報復号化手段と、
    前記第１の予測モードによる符号化処理に必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理に必要な第２予測モード関連情報の少なくとも一方を復号化する予測モード関連情報復号化手段と、
    前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方と、前記マクロブロックモードと、前記予測モード選択情報とに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備し、
    前記予測モード選択情報復号化手段は、前記予測モード関連情報復号化手段が前記第１予測モード関連情報及び前記第２予測モード関連情報を復号化するより先に、前記予測モード選択情報を復号化し、
    前記予測モード関連情報復号化手段は、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を復号化し、
    前記第２の画像ブロック単位で、前記予測モード選択情報により前記第１の予測モードが適用されていないことが示されている場合、前記第１予測モード関連情報を復号化しな い
    ことを特徴とする復号化装置として機能させるためのプログラム。
29. 符号化装置と復号化装置とを具備する動画像符号化伝送システムであって、
    前記符号化装置は、
    前記第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報を生成すると共に、前記予測モード選択情報に基づいて、前記第１の画像ブロック単位で、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモードと、前記第１の画像ブロック内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードとのいずれであるかを示すマクロブロックモードを決定する予測モード選択情報生成手段と、
    選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより予測残差信号を生成する予測残差信号生成手段と、
    前記第１の予測モードによる符号化処理を行うために必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理を行うために必要な第２予測モード関連情報の少なくとも一方と、前記予測モード選択情報と、前記予測残差信号と、前記マクロブロックモードとを符号化して伝送する伝送手段とを具備し、
    前記復号化装置は、
    前記マクロブロックモードと、前記第２の画像ブロック単位で、前記予測モード選択情報とを入力する入力手段と、
    前記マクロブロックモードと、前記予測モード選択情報とを復号化する予測モード選択情報復号化手段と、
    前記第１の予測モードによる符号化処理に必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理に必要な第２予測モード関連情報の少なくとも一方を復号化する予測モード関連情報復号化手段と、
    前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方と、前記マクロブロックモードと、前記予測モード選択情報とに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する動画像復号化手段とを具備し、
    前記伝送手段は、
    前記第１予測モード関連情報及び前記第２予測モード関連情報より先に、前記予測モード選択情報を伝送し、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を伝送し、
    前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１予測モード関連情報を伝送しない
    ことを特徴とする動画像符号化伝送システム。
30. 符号化において、
    動画像を分割した第１の画像ブロックを分割した第２の画像ブロック単位で、時間方向の冗長度を削除する第１の予測モードを適用するか、又は、空間方向の冗長度を削減する第２の予測モードを適用するかを示す予測モード選択情報と、選択された前記第１又は第２の予測モードを前記第２の画像ブロックに適用することにより生成された予測残差信号と、前記第１の画像ブロック単位で、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第１の予測モードが選択されていることを示すモード、又は、前記第１の画像ブロック内の全ての前記第２の画像ブロックについて前記第２の予測モードが選択されていることを示すモード、又は、前記第１の画像ブロック内の前記第２の画像ブロックについて前記第１の予測モード及び前記第２の予測モードが選択されていることを示すモードのいずれであるかを示すマクロブロックモードとを符号化して伝送する工程Ａと、
    前記第１の予測モードによる符号化処理を行うために必要な第１予測モード関連情報、又は前記第２の予測モードによる符号化処理を行うために必要な第２予測モード関連情報の少なくとも一方を符号化して伝送する工程Ｂと、
    復号化において、
    前記マクロブロックモードを復号化する工程Ｃと、
    前記第２の画像ブロック単位で、前記予測モード選択情報を復号化する工程Ｄと、
    前記第１予測モード関連情報又は前記第２予測モード関連情報の少なくとも一方と、前記マクロブロックモードと、前記予測モード選択情報により選択された前記第１又は第２の予測モードとに基づいて、前記第２の画像ブロック単位で、前記動画像を復号化する工程Ｅとを有し、
    前記工程Ａにおいて、前記予測モード選択情報を、前記第１予測モード関連情報及び前記第２予測モード関連情報を前記工程Ｂにおいて伝送するより先に伝送し、
    前記工程Ｂにおいて、
    前記第２の予測モードが適用される前記第２の画像ブロックの数と同数の前記第２予測モード関連情報を伝送し、
    前記第２の画像ブロック単位で、前記第１の予測モードが適用されていない場合、前記第１予測モード関連情報を伝送しない
    ことを特徴とする動画像符号化伝送方法。

Images