JP5388977B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関する。

動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）とに大別される。フレーム間符号化は、動画像内の時間方向の相関を利用して、情報圧縮を図るアプローチである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、単一のフレーム内の相関を用いて、情報圧縮を図るアプローチである。ＪＰＥＧ、ＭＰＥＧ−２では、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いたアプローチが、ＪＰＥＧ２０００では、離散ウェーブレット変換を用いたアプローチが採用されている。更に、Ｈ．２６４／ＡＶＣでは、空間方向の予測とＤＣＴとを組み合わせたアプローチが採用されている。一般的に、インター符号化に比べて、イントラ符号化の符号化効率は低く、さらなる符号化効率改善が必要とされている。

図１５は、従来技術によるイントラ符号化器の構成を示すブロック図である。図１５において、イントラ符号化方式指定情報符号化部１は、入力映像信号を入力する。イントラ符号化方式設定部２は、イントラ符号化方式指定情報符号化部１に入力された入力映像信号に対して、後述するイントラ符号化部３−１〜３−Ｍのうち、いずれのイントラ符号化方式を用いるかを設定し、スイッチ部４を切り替え、設定したイントラ符号化部３−１〜３−Ｍへ入力映像信号を供給する。イントラ符号化部３−１〜３−Ｍは、各々、異なるイントラ符号化方式１〜Ｍを有し、入力映像信号に対してそれぞれのイントラ符号化方式１〜Ｍに応じたイントラ符号化を施し、スイッチ部５(スイッチ部４と連動)を介して出力する。上記の設定されたイントラ符号化方式を示す情報と符号化された映像信号とが符号化ストリームとして出力される。

図１６は、従来技術によるイントラ符号器の動作を説明するためのフローチャートである。まず、イントラ符号化方式指定情報符号化部１が入力映像信号を読み込む（ステップＳ１）。次に、ステップＳ２〜Ｓ５において、予め定められた部分領域（符号化ユニット）毎にフレーム内符号化を繰り返して実施する。まず、イントラ符号化方式設定部２で、入力された入力映像信号に対して、後述するイントラ符号化部３−１〜３−Ｍのいずれのイントラ符号化方式を用いるかを設定し（ステップＳ３）、設定されたイントラ符号化方式に対応するイントラ符号化部３−１〜３−Ｍのいずれかを用いてイントラ符号化を実施する（ステップＳ４）。そして、すべての符号化ユニットに対してイントラ符号化が終了すると、当該処理を終了する。

図１７は、従来技術によるイントラ復号器の構成を示すブロック図である。図１７において、イントラ符号化方式指定情報復号部１０は、符号化ストリームを入力とし、符号化ストリームに含まれる設定されたイントラ符号方式を示す情報を復号する。イントラ復号方式設定部１１は、復号されたイントラ符号化方式を示す情報に従って、後述するイントラ復号部１２−１〜１２−Ｍのうちのいずれかのイントラ復号方式を用いるかを設定（選択）し、スイッチ部１３を切り替え、設定したイントラ復号部１２−１〜１２−Ｍへ符号化された映像信号を供給する。イントラ復号部１２−１〜１２−Ｍは、各々、異なるイントラ復号方式１〜Ｍ（イントラ符号化方式１〜Ｍに対応）を有し、符号化ストリームに対してそれぞれのイントラ復号方式１〜Ｍに応じたイントラ復号を施し、スイッチ部１４(スイッチ部１３と連動)を介して復号画像信号として出力する。

図１８は、従来技術によるイントラ復号器の動作を説明するためのフローチャートである。まず、イントラ符号化方式指定情報復号部１０が符号化ストリームを読み込み、設定されたイントラ符号化方式を示す情報を復号する（ステップＳ１０）。次に、ステップＳ１１〜Ｓ１５において、符号化ユニット毎にフレーム内復号を実施する。まず、イントラ復号方式設定部１１で、後述するイントラ復号部１２−１〜１２−Ｍのどのイントラ復号方式を用いるかを設定し（ステップＳ１２）、設定されたイントラ復号方式に対応するイントラ復号部１２−１〜１２−Ｍのいずれかでイントラ復号を実施する（ステップＳ１４）。そして、すべての符号化ユニットに対してイントラ復号が終了すると、当該処理を終了する。

近年、高ビット深度映像向けのスケーラブル符号化方式として、階層構造をとる階層符号化が検討されている（例えば、非特許文献１参照）。同方式では、まず、Ｎビットの画像信号を入力とし、ビット深度変換処理を行うことでＮ−Δビットの低ビット深度画像に変換する。この低ビット深度画像に対して、符号化・復号処理を行う。更に、その復号画像に対して、逆ビット深度変換処理を行い、Ｎビットの画像信号を生成する。最後に、この生成されたＮビット画像と入力画像との差分信号を符号化する。出力は、該差分信号と低ビット深度画像信号の符号化ストリームとなる。このように、同手法は、ビット深度のスケーラブル符号化に対応した手法である。

以下、Ｎ−Δビット信号に対する符号化・復号処理を行う階層を下位階層と呼び、Ｎビット画像と入力画像との差分信号に対する符号化を行う階層を上位階層と呼ぶ。

"Bit-Depth Scalable Video Coding", M. Winken, D. Marpe, H. Schwarz, and T. Wiegand, Proc. IEEE Intl. Conf. on Images Processing(ICIP2007), 2007.

前述した階層符号化では、ビット深度変換を伴う２階層にわたる符号化処理がフレームに対して一様に適用されている。以下、ビット深度変換を伴う階層符号化をビット深度変換階層符号化と呼ぶ。このビット深度変換階層符号化は、スケーラブル符号化を前提とした方式であるため、フレームに対して一様なビット深度変換量を用いることが制約として課せられている。

ところで、非スケーラブル符号化の場合、こうした制約は必ずしも必要ではない。非スケーラブル符号化においては、フレーム内の指定された領域に対して部分的にビット深度変換に基づく符号化方式を適用することも可能である。つまり、ビット深度変換階層符号化をイントラ符号化の新しい符号化モードとして用いることが可能となる。スケーラブル符号化を前提とした制約は、符号化効率を低下させる原因となり、非スケーラブル符号化方式として用いる場合は不要である。
しかしながら、スケーラブル符号化を前提とした方式を非スケーラブル符号化方式へ単純に転用したのでは、符号化効率向上に改良の余地が残るという問題があった。

また、「Ｈ．２６４におけるイントラ予測方式」については、符号化対象ブロックの周辺に位置する符号化済み画素値を参照して、予測信号を生成し、同予測誤差に対する符号化を行う。しかし、限定的な空間予測に基づく方法であるため、符号化効率向上に改善に余地が残るという問題があった。

また、「ビット深度スケーラブル符号化」については、Ｎｂｉｔと、Ｎ−Δｂｉｔ（Ｎは８や１０）との２種類のビット深度での復号画像の生成をサポートするスケーラブル符号化である。しかし、ビット深度変換量（Δ）の値は、スケーラビリティ機能を実現するために、フレーム内で固定値に制約されており、空間的な局所性を考慮し、すなわち、フレーム内の領域（例えば、ブロックなど）毎に異なるビット深度変換量Δの値を適応的な設定ができないという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、低い伝送レートにおいて符号量の使用が制約される場合であっても、符号化の符号化効率を向上させることができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、画像符号化の対象である入力映像信号を読み込み、ビット深度変換を用いた第１イントラ符号化と、ビット深度変換を用いない第２イントラ符号化とのそれぞれを用いて前記入力映像信号を符号化した際のコストを符号量と符号化歪みの加重和によるコスト関数を用いて算出し、算出したコストが最も小さいコストに対応するイントラ符号化を選択する第１ステップと、前記第１イントラ符号化により前記入力映像信号を符号化する第２ステップと、前記第２イントラ符号化により前記入力映像信号を符号化する第３ステップと、前記第１ステップにおいて、前記第１イントラ符号化が選択された場合、前記第２ステップにおいて符号化された入力映像信号と、前記第１イントラ符号化を示す情報とを符号化ストリームとして出力し、前記第２イントラ符号化が選択された場合、前記第３ステップにおいて符号化された入力映像信号と、前記第２イントラ符号化を示す情報とを符号化ストリームとして出力する第４ステップとを含むことを特徴とする画像符号化方法である。

また、本発明は、上記に記載の発明において、前記第２ステップは、前記入力映像信号に応じて定められるビット深度変換量に基づいて前記入力映像信号を変換する第５ステップと、前記ビット深度変換をした入力映像信号に対して第１符号化を行い第１符号化信号を生成する第６ステップと、前記第１符号化に対応した復号により前記第１符号化信号から復号信号を生成する第７ステップと、前記復号信号のビット深度を、逆ビット深度変換により前記入力映像信号と同じビット深度に変換する第８ステップと、前記逆ビット深度変換された復号信号と、前記入力映像信号との差分を算出し、算出した差分を示す差分信号に対して第２符号化を行い第２符号化信号を生成するか、前記差分信号に対する前記第２符号化を省略するかを選択し、前記第１符号化信号及び前記第２符号化信号、もしくは前記第１符号化信号を前記符号化ストリームとして出力する第９ステップとを含むことを特徴とする。

また、本発明は、上記に記載の発明において、前記ビット深度変換量は、前記入力映像信号に応じて予め定められたビット数であるか、あるいは、前記入力映像信号に対してビット深度変換をした際に前記コスト関数が最も小さくなるビット深度の削減ビット数であることを特徴とする。
また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とが、前記入力映像信号に含まれるフレーム毎に設定されることを特徴とする。
また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とが、更に、前記入力映像信号に含まれる各フレームの予め定められた領域毎に設定されることを特徴とする。
また、本発明は、上記に記載の発明において、前記入力映像信号に複数の色チャネルが含まれる場合、前記ビット深度変換量は、前記色チャネル毎に設定されることを特徴とする。

また、本発明は、画像復号対象の符号化ストリームを読み込み、該符号化ストリームを符号化したイントラ符号化を示す情報を復号する第１ステップと、前記符号化ストリームに対して逆ビット深度変換を用いた第１イントラ復号方式により復号する第２ステップと、前記符号化ストリームに対して逆ビット深度変換を用いない第２イントラ復号方式により復号する第３ステップと、前記復号されたイントラ符号化を示す情報に基づいて、前記第１ステップ又は、前記第２ステップのいずれか一方により復号された復号信号を復号画像信号として出力する第４ステップとを含むことを特徴とする画像復号方法である。

また、本発明は、上記に記載の発明において、前記第２ステップは、前記符号化ストリーム中のデータを分離する第５ステップと、前記分離されたデータからビット深度変換量を復号する第６ステップと、前記分離されたデータに対して第１復号を行って第１復号信号を生成する第７ステップと、前記第１復号信号に対して、前記ビット深度変換量分のビット数を増やす逆ビット深度変換を行う第８ステップと、前記分離されたデータから第２符号化信号としての差分信号の有無を示す判定情報を復号する第９ステップと、前記判定情報に基づいて、前記分離されたデータに対して第２復号を行って第２復号信号を生成するか、もしくは、前記第２復号を省略するかを選択し、前記逆ビット深度変換後の復号信号と前記第２復号信号との差分信号、もしくは前記逆ビット深度変換後の復号信号いずれか一方を、復号映像信号として出力する第１０ステップとを含むことを特徴とする。

また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記判定情報とが、前記復号映像信号に含まれる各フレーム毎に復号されることを特徴とする。
また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記判定情報とが、更に、前記復号映像信号に含まれる各フレームの予め定められた領域毎に復号されることを特徴とする。
また、本発明は、上記に記載の発明において、前記画像復号対象の符号化ストリームに複数の色チャネルが含まれる場合、前記ビット深度変換量は、前記色チャネル毎に設定されていることを特徴とする。

また、本発明は、画像符号化の対象である入力映像信号を読み込み、ビット深度変換を用いた第１イントラ符号化と、ビット深度変換を用いない第２イントラ符号化とのそれぞれを用いて前記入力映像信号を符号化した際のコストを符号量と符号化歪みの加重和によるコスト関数を用いて算出し、算出したコストが最も小さいコストに対応するイントラ符号化を選択する選択手段と、前記第１イントラ符号化により前記入力映像信号を符号化する第１符号化手段と、前記第２イントラ符号化により前記入力映像信号を符号化する第２符号化手段と、前記選択手段が、前記第１イントラ符号化を選択した場合、前記第１符号化手段が符号化した入力映像信号と、前記第１イントラ符号化を示す情報とを符号化ストリームとして出力し、前記第２イントラ符号化を選択した場合、前記第２符号化手段が符号化した入力映像信号と、前記第２イントラ符号化を示す情報とを符号化ストリームとして出力する出力手段とを備えることを特徴とする画像符号化装置である。

また、本発明は、上記に記載の発明において、前記第１符号化手段は、前記入力映像信号に応じて設定されたビット深度変換量に基づいて前記入力映像信号を変換するビット深度変換手段と、前記ビット深度変換をした入力映像信号に対して第１符号化を行い第１符号化信号を生成する第１符号化手段と、前記第１符号化に対応した復号により前記第１符号化信号から復号信号を生成する復号手段と、前記復号信号のビット深度を、逆ビット深度変換により前記入力映像信号と同じビット深度に変換する逆ビット深度変換手段と、前記逆ビット深度変換された復号信号と、前記入力映像信号との差分を算出し、算出した差分を示す差分信号に対して第２符号化を行い第２符号化信号を生成するか、前記差分信号に対する前記第２符号化を省略するかを選択し、前記第１符号化信号及び前記第２符号化信号、もしくは前記第１符号化信号を前記符号化ストリームとして出力する切替手段とを備えることを特徴とする。

また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とを、前記入力映像信号に含まれるフレーム毎、あるいは、前記入力映像信号に含まれるフレーム内の予め定められた領域毎に設定する設定手段を更に備えることを特徴とする。
また、本発明は、上記に記載の発明において、前記ビット深度変換手段は、前記入力映像信号に複数の色チャネルが含まれる場合、前記ビット深度変換量を色チャネル毎に設定することを特徴とする。

また、本発明は、画像復号対象の符号化ストリームを読み込み、該符号化ストリームを符号化したイントラ符号化を示す情報を復号する符号化方式復元手段と、前記符号化ストリームに対して逆ビット深度変換を用いた第１イントラ復号方式により復号する第１イントラ復号手段と、前記符号化ストリームに対して逆ビット深度変換を用いない第２イントラ復号方式により復号する第２イントラ復号手段と、前記復号されたイントラ符号化を示す情報に基づいて、前記第１イントラ復号手段又は、前記第２イントラ復号手段のいずれか一方により復号された復号信号を復号画像信号として出力する切替手段とを備えることを特徴とする画像復号装置である。

また、本発明は、上記に記載の発明において、前記第１イントラ復号手段は、前記符号化ストリーム中のデータを分離する分離手段と、前記分離手段により分離されたデータからビット深度変換量を復号するビット深度変換量復号手段と、前記分離手段により分離されたデータに対して第１復号を行って第１復号信号を生成する第１復号手段と、前記第１復号信号に対して、前記ビット深度変換量分のビット数を増やす逆ビット深度変換を行う逆ビット深度変換手段と、前記分離されたデータから第２符号化データとしての差分信号の有無を示す判定情報を復号する判定情報復号手段と、前記判定情報に基づいて、前記分離されたデータに対して第２復号を行って第２復号信号を生成するか、もしくは、前記第２復号を省略するかを選択し、前記逆ビット深度変換後の復号信号と前記第２復号信号との差分信号、もしくは前記逆ビット深度変換後の復号信号いずれか一方を、復号映像信号として出力する出力手段とを備えることを特徴とする。

また、本発明は、上記に記載の発明において、前記ビット深度変換量と前記第２復号の有無を示す判定情報とが、前記復号映像信号に含まれるフレーム毎、あるいは、前記復号映像信号に含まれる各フレーム内の予め定められた領域毎に設定されていることを特徴とする。
また、本発明は、上記に記載の発明において、前記画像復号対象の符号化ストリームに複数の色チャネルが含まれる場合、前記ビット深度変換量は、前記色チャネル毎に設定されていることを特徴とする。

また、本発明は、入力映像信号を符号化する画像符号化装置に備えられているコンピュータに、画像符号化の対象である入力映像信号を読み込み、ビット深度変換を用いた第１イントラ符号化と、ビット深度変換を用いない第２イントラ符号化とのそれぞれを用いて前記入力映像信号を符号化した際のコストを符号量と符号化歪みの加重和によるコスト関数を用いて算出し、算出したコストが最も小さいコストに対応するイントラ符号化を選択する第１ステップと、前記第１イントラ符号化により前記入力映像信号を符号化する第２ステップと、前記第２イントラ符号化により前記入力映像信号を符号化する第３ステップと、前記第１ステップにおいて、前記第１イントラ符号化が選択された場合、前記第２ステップにおいて符号化された入力映像信号と、前記第１イントラ符号化を示す情報とを符号化ストリームとして出力し、前記第２イントラ符号化が選択された場合、前記第３ステップにおいて符号化された入力映像信号と、前記第２イントラ符号化を示す情報とを符号化ストリームとして出力する第４ステップとを実行させるためのプログラムである。

また、本発明は、符号化ストリームを復号する画像復号装置に備えられているコンピュータに、画像復号対象の符号化ストリームを読み込み、該符号化ストリームを符号化したイントラ符号化を示す情報を復号する第１ステップと、前記符号化ストリームに対して逆ビット深度変換を用いた第１イントラ復号方式により復号する第２ステップと、前記符号化ストリームに対して逆ビット深度変換を用いない第２イントラ復号方式により復号する第３ステップと、前記復号されたイントラ符号化を示す情報に基づいて、前記第１ステップ又は、前記第２ステップのいずれか一方により復号された復号信号を復号画像信号として出力する第４ステップとを実行させるためのプログラムである。

この発明によれば、低レートにおいて符号量の使用が制約される場合であっても、符号化の符号化効率を向上させることができる。

本発明の実施形態による動画像符号化装置の構成を示すブロック図である。 本発明の実施形態による動画像復号装置の構成を示すブロック図である。 本第１実施形態によるイントラ符号化器の構成を示すブロック図である。 本第１実施形態によるビット深度変換予測符号化部６０の構成を示すブロック図である。 本第１実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。 本第１実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。 本第１実施形態によるイントラ復号器の構成を示すブロック図である。 本第１実施形態によるビット深度変換予測復号部９０の構成を示すブロック図である。 本第１実施形態によるイントラ復号器の動作を説明するためのフローチャートである。 本第１実施形態によるイントラ復号器の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ復号器の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ復号器の動作を説明するためのフローチャートである。 従来技術によるイントラ符号化器の構成を示すブロック図である。 従来技術によるイントラ符号器の動作を説明するためのフローチャートである。 従来技術によるイントラ復号器の構成を示すブロック図である。 従来技術によるイントラ復号器の動作を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

まず、本発明の概要について説明する。フレーム内符号化は、予め定められた部分領域毎に実施される。同部分領域を符号化ユニットと呼ぶ。例えば、Ｈ．２６４の場合、マクロブロックと呼ぶ１６×１６画素の領域が、符号化ユニットに当たる。フレーム間符号化が適用されるフレームにおいても、部分的にフレーム内符号化が適用される場合もある。Ｈ．２６４では、Ｐ−ｐｉｃｔｕｒｅ、Ｂ−ｐｉｃｔｕｒｅにおけるイントラマクロブロックが、それに相当する。また、予め定められた部分領域として、画面全体を設定してもよい。

本発明では、フレーム内符号化における符号化ユニットに対する符号化方法、復号方法の１つとして、以下に示すビット深度変換符号化と、ビット深度変換復号とを導入する。

画像信号において、上位ビットと下位ビットとでは性質が異なる。一般に上位ビットは、空間的近傍画素間の相関が高く、相関関係を利用する予測等の圧縮処理で冗長性を除去できる。一方、下位ビットは、空間的近傍画素間の相関が低く、予測等の圧縮処理で冗長性を除去することは難しい。そこで、ビット深度変換処理（あるいは、ビット分離処理）を行い、画像信号の上位ビットと下位ビットとを分離し、上位ビットに対してのみ圧縮処理を行い、更に、入力信号との差分を生成して、その差分信号に対して符号化することで、全体の符号量の削減を行う。

まず、指定された符号化ユニットに対して、Ｎビットの画像信号を入力とし、この画像信号に対してビット深度変換処理を行うことでＮ−Δビットの低ビット深度画像に変換する。このＮ−Δビット信号を下位階層信号と呼ぶ。ビット深度変換量Δは、付加情報として指定されるものであり、ビット深度の削減量を示す。この低ビット深度画像、すなわち下位階層信号に対して、符号化・復号処理を行う。更に、その復号画像に対して、逆ビット深度変換処理を行い、Ｎビットの画像信号を生成する。最後に、この生成されたＮビット画像と入力画像との差分信号を符号化する。この差分信号を上位階層信号と呼ぶ。実施形態における画像符号化装置は、該差分信号と低ビット深度画像信号とを含む符号化ストリームを出力する。

ここで、ビット深度変換におけるＮビット信号からＮ−Δビットの情報を取り出す方法は、「２のＮ−Δ乗」個の信号値の集合に分類する処理として一般化できる。このＮビット信号からＮ−Δビットの情報を取り出す方法をビット深度変換処理と呼ぶ。前述した上位ビットと下位ビットの説明は、「２のＮ乗」個の信号値を一定間隔「２のΔ乗」毎に、信号値の集合を分類する方法であった。このため、信号値の分布によらず、分類方法は固定されている。これに対して、信号値の分布に応じて、密に分布している箇所は細かく分類し、疎らに分布している箇所は粗く分類することで、予測誤差の低減を図ることが可能である。

なお、複数の符号化ユニットからなる符号化ユニットの集合において、ビット深度変換量Δを共有することも可能である。この場合、同集合においてビット深度変換量を共有することを示す情報に基づき、同情報がビット深度変換量の共有を示した場合、それに続き、ビット深度変換量Δを一度だけ伝送し、符号化ユニット毎にビット深度変換量を符号化することはしない。

更に、ビット深度変換予測モードの別形態として、生成されたＮビット画像と入力画像との差分信号の符号化を省略する形態もある。この場合、差分信号の符号化が省略されることを示す情報を、符号化情報の一部として格納する必要がある。

カラー画像を符号化対象とする場合には、以下の２通りの形態が可能である。
（ｉ）全色チャネルに対して、共通のビット深度変換量Δを用いる。
（ｉｉ）色チャネル毎に、個別のビット深度変換量Δを用いる。

なお、上述したビット深度変換符号化は、上位階層の信号に対して、必ず、何らかの符号化処理を実施する。このため、発生する符号量には、イントラ符号化において本モードを識別するための識別子の情報、下位階層の信号の符号化情報、上位階層の信号の符号化情報が含まれることになる。

低レートにおいては、符号量の節約が求められる。そこで、上位階層の信号の符号化を省略し、逆ビット深度変換処理により得られるＮビットの画像信号を、復号信号として用いる方法（ビット深度変換予測）を導入する。ビット深度変換予測では、ビット深度変換符号化を識別するための識別子に続けて、ビット深度変換予測の利用の可否を示す情報（１ビット）が符号化情報として伝送される。この情報をビット深度変換予測フラグと呼ぶ。

なお、ビット深度変換予測フラグの設定は、符号化ユニット毎に行うことができる。もしくは、複数の符号化ユニットからなる符号化ユニットの集合において、ビット深度変換予測フラグを共有することも可能である。あるいは、ビット深度変換量Δとビット深度変換予測フラグとを対にして、設定する形式もある。この場合、ビット深度変換量Δを共有する単位（例：符号化ユニット、同ユニットの集合）と、ビット深度変換予測フラグを共有する単位が同一となる。

また、本発明の適用は、イントラ符号化フレームに限定されるものではなく、インター符号化を行うフレーム（例：Ｐ−ピクチャ）内におけるイントラ符号化領域（例：イントラマクロブロック）においても、同様に適用可能である。

図１は、本発明の実施形態による動画像符号化装置の構成を示すブロック図である。図１において、符号化制御部３０は、各部の動作を制御する。スイッチ部３１は、イントラ予測処理部４０、またはインター予測処理部３９のいずれか一方からの予測画像情報を選択する。減算器３２は、入力画像から予測画像情報を減算する。変換・量子化部３３は、画像の差分データに対して整数直交変換を行うとともに、整数直交変換された変換係数に対して所定の量子化スケールで量子化を施す。

逆変換・逆量子化部３４は、変換・量子化部３３において量子化された変換係数に対して所定の逆量子化処理を施すとともに、逆量子化された変換係数を元の画像データ空間に戻すための逆整数直交変換を行う。加算器３５は、画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する。デブロッキングフィルタ３６は、予測画像情報により復元された画像データに対して所定の画素ブロック単位の境界データにおける不連続性を補正する。フレームメモリ３７は、後述するブロック境界補正処理が行われた復元画像データを予測画像情報の参照画像として利用するために保持する。

動き検出部３８は、イントラ予測処理部４０から入力された現在の画像データを複数の画素ブロックに分割し、各画素ブロックにおいて、フレームメモリ３７に保存されている参照フレーム候補と相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する。インター（画面間）予測符号化部３９は、参照フレームと動き検出部３８から出力される動き情報とから現在の画像データの予測画像情報を生成する動き補償を行う。イントラ（画面内）予測処理部４０は、画像データを複数の画素ブロックに分割し、各画素ブロックの画像データをブロック周辺の画素から予測し、予測画像情報を生成する。エントロピー符号化部４１は、変換・量子化部において量子化された変換係数に対し、エントロピー符号化処理を行ってデータ圧縮し、符号化ストリームとして出力する。

図２は、本発明の実施形態による動画像復号装置の構成を示すブロック図である。図２において、エントロピー復号部５０は、符号化された動画像データを含む入力ストリームに対して可変長復号処理を行い、量子化されたＤＣＴ係数（以下、量子化ＤＣＴ係数）、及び量子化パラメータＱＰ（Quantization Parameter）を取得し、参照フレーム番号、予測モード等を含む復号情報を出力する。

逆変換・逆量子化部５１は、入力したＤＣＴ係数に、ＤＣＴ変換処理を施し、この処理結果を残差信号として加算部１４に出力するとともに、逆量子化処理により、量子化パラメータＱＰに基づいて量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を取得する。動きベクトル復号部５２は、フレーム間の動きを示す動きベクトルを復号する。

加算器５５は、残差信号と、イントラ予測処理部５３またはインター予測処理部５４から出力される予測画像データとを加算し、フレーム画像のデータを再現する。デブロッキングフィルタ５６は、加算器５５から出力されるフレーム画像のデータに対して、符号化ブロック間の歪みを改善する処理を施し、この処理結果をフレームメモリ５７に出力する。フレームメモリ５７は、デブロッキングフィルタ５６で処理された復号画像データを記憶する。

イントラ予測処理部５３は、加算器５５から出力されるフレーム画像のデータと、エントロピー復号部５０で得られた量子化ＤＣＴ係数とに基づいてフレーム内予測を行って、予測画像データを生成する。インター予測処理部５４は、エントロピー復号部５０が取得した量子化ＤＣＴ係数や、動きベクトル復号部５２からの動きベクトル、フレームメモリ５７から出力される参照画像などに基づいてフレーム間予測を行って、予測画像データを生成する。スイッチ部５８は、イントラ予測処理部５３、またはインター予測処理部５４のいずれか一方からの予測画像データを選択し、加算器５５に出力する。

本発明は、図１に示すイントラ予測処理部４０、図２に示すイントラ予測処理部５３に関するものである。

Ａ．第１実施形態
本発明の第１実施形態について説明する。本第１実施形態は、動画像符号化装置における「イントラ予測（イントラ符号化器）」の高能率化に関するものである。
図３は、本第１実施形態によるイントラ符号化器の構成を示すブロック図である。なお、図１５に対応する部分について同一の符号を付けて説明を省略する。図３において、イントラ符号化部３−１〜３−Ｍに加えて、ビット深度変換予測符号化部６０を備える。イントラ符号化部３−１〜３−Ｍは、既存のイントラ符号化方式を用いるもので、例えば、Ｈ．２６４で規定されるイントラ予測などがある。すなわち、イントラ符号化部３−１〜３−Ｍは、ビット深度変換を用いないイントラ符号化を行い、ビット深度変換予測符号化部６０は、ビット深度変換を用いたイントラ符号化を行う。

ビット深度変換予測符号化部６０は、指定された符号化ユニットに対して、Ｎビットの画像信号を入力とし、ビット深度変換処理を行うことでＮ−Δビットの低ビット深度画像に変換し、該低ビット深度画像、すなわち下位階層信号に対して、符号化・復号処理を行うとともに、その復号画像に対して、逆ビット深度変換処理を行い、Ｎビットの画像信号を生成し、最後に、該Ｎビット画像と入力画像との差分信号を符号化し、該差分信号と低ビット深度画像信号とを多重化して符号化ストリームとして出力する。

図４は、本第１実施形態によるビット深度変換予測符号化部６０の構成を示すブロック図である。図４において、ビット深度変換量設定部７１は、イントラ符号化方式設定部２が選択したビット深度変換量Δと、ビット深度変換予測フラグとを読み込み、それぞれ設定する。ビット深度変換部７２は、ビット深度変換量Δに従って、入力信号に対してビット深度変換処理を行い、ビット深度をＮ−Δとした下位階層信号を出力する。

下位階層符号化部７３は、下位階層信号に対して、符号化処理を行う。下位階層復号部７４は、下位階層信号に対して、復号処理を行い、Ｎ−Δビットの復号信号（下位階層復号信号）を出力する。逆ビット深度変換部７５は、下位階層復号信号に対して逆ビット深度変換を行い、Ｎビットの復号信号（上位階層予測信号）を出力する。ビット深度変換予測判定部７６は、ビット深度変換予測フラグが「１」であるか否かを判定する。ビット深度変換予測フラグは、符号量・符号化歪みの加重和により表されるコスト関数を用いて算出されるコストが最小になるように、上述したイントラ符号化方式設定部２で設定される。

スイッチ部７７は、ビット深度変換予測フラグが「１」の場合には、零値を符号化ストリーム多重化処理部８０に出力し、ビット深度変換予測フラグが「０」の場合には、上位階層予測信号を減算器７９に出力する。減算器７９は、入力信号から上位階層予測信号を減算して差分信号を生成する。上位階層符号化部７８は、減算器７９が生成した差分信号を符号化する。
符号化ストリーム多重化処理部８０は、ビット深度変換予測フラグが「１」の場合、ビット深度変換量、下位階層信号、及びビット深度変換予測フラグの符号化データを部分領域に対応する一つのストリームする多重化を行い、ビット深度変換予測フラグが「０」の場合、ビット深度変換量、下位階層信号、ビット深度変換予測フラグ、及び差分信号の符号化データを部分領域に対応する一つの符号化ストリームにする多重化を行う。

図５及び図６は、本第１実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。まず、イントラ符号化方式指定情報符号化部１が入力信号を読み込む（ステップＳ２１）。次に、ステップＳ２２〜Ｓ３７において、予め定められた部分領域（符号化ユニット）毎にフレーム内符号化を実施する。

まず、イントラ符号化方式設定部２は、後述するイントラ符号化部３−１〜３−Ｍ、ビット深度変換予測符号化部６０のうち、いずれのイントラ符号化方式（イントラ符号化モード）を用いるかを設定する（ステップＳ２３）。設定方法の例としては、予め与えられた符号量・符号化歪みの加重和をコスト関数として、同コスト関数を最小化するイントラ符号化方式を選択する方法が挙げられる。また、ステップＳ２３において、イントラ符号化方式設定部２は、上記のコスト関数を最小化するビット深度変換量Δとビット深度変換予測フラグとを設定する。ビット深度変換量Δは、１から（Ｎ−１）までのいずれかの値であり、ビット深度変換予測フラグは、差分信号が零値となるとき「１」が設定され、差分信号が零値とならないとき「０」が設定される。なお、ビット深度変換量Δは入力信号に応じて予め定められた値を用いてもよい。

次に、イントラ符号化モードがビット深度変換モードであるか否かを判定する（ステップＳ２４）。そして、イントラ符号化モードがビット深度変換モードである場合には、入力信号のビット深度Ｎを読み込み、符号化データとして書き出し（ステップＳ２５）、ビット深度変換アルゴリズムを設定する（ステップＳ２６）。このビット深度変換アルゴリズムは、外部から与えられ、予め定められたアルゴリズムとする。ビット深度変換アルゴリズムの例としては、四捨五入、切り捨て、切り上げ等がある。もちろん、これ以外のビット深度変換アルゴリズムも利用可能である。

次に、ビット深度変換量設定部７１が、イントラ符号化モードの設定時（ステップＳ２３）に定められたビット深度変換量Δを読み込み（ステップＳ２７）、イントラ符号化モードの設定時に定められたビット深度変換予測フラグを読み込む（ステップＳ２８）。より詳細には、ビット深度変換量Δ、及びビット深度変換予測フラグは、符号量・符号化歪みの加重和により算出されるコストが最小になるように、上述したステップＳ２３で設定される。

次に、ビット深度変換部７２は、入力信号（Ｎビット）に対して、ビット深度変換処理を行い、ビット深度をＮ−Δにした下位階層信号を出力し（ステップＳ２９）、下位階層符号化部７３は、該下位階層信号に対して符号化処理を行い、符号化処理により得られた符号化データを符号化ストリーム多重化処理部８０に出力する（ステップＳ３０）。

次に、ビット深度変換予測判定部７６は、ビット深度変換予測フラグが「１」であるか否かを判定し（ステップＳ３１）、ビット深度変換予測フラグが「１」の場合には、現在の符号化ユニットに対する符号化処理を終了させ、次の符号化ユニットに対する符号化処理を開始させる。

一方、ビット深度変換予測フラグが「０」の場合には、下位階層符号化部７３が出力した符号化データに対して、下位階層復号部７４が復号処理を行い、復号処理により得られたＮ−Δビットの復号信号（下位階層復号信号）を出力する（ステップＳ３２）。そして、逆ビット深度変換部７５は、下位階層復号部７４が出力した下位階層復号信号を、Ｎビットの復号信号（上位階層予測信号）に逆ビット深度変換する（ステップＳ３３）。

ビット深度変換予測判定部７６は、スイッチ部７７を介して、逆ビット深度変換部７５が生成した上位階層予測信号を減算器７９に出力し、減算器７９は、入力信号から上位階層予測信号を減算して得られる差分信号を生成する（ステップＳ３４）。次に、上位階層符号化部７８は、減算器７９が生成した差分信号に対して符号化処理を行い、符号化処理により得られた符号化データを符号化ストリーム多重処理部８０に出力する（ステップＳ３５）。

一方、ステップＳ２４で、イントラ符号化モードがビット深度変換モードでない場合には、イントラ符号化部３−１〜３−Ｍで、予め設定されたイントラ符号化を実施する（ステップＳ３６）。例えば、Ｈ．２６４で規定されるイントラ予測である。この場合も、次の符号化ユニットに対して、上述したステップＳ２２〜Ｓ３７を繰り返し実行する。
いずれの場合も、次の符号化ユニットに対して、上述したステップＳ２２〜Ｓ３７を繰り返し実行する。

そして、すべての符号化ユニットに対してイントラ符号化が終了すると、当該処理を終了する。

図７は、本第１実施形態によるイントラ復号器の構成を示すブロック図である。なお、図１７に対応する部分について同一の符号を付けて説明を省略する。図７において、イントラ符号部１２−１〜１２−Ｍに加えて、ビット深度変換予測復号部９０を備える。ビット深度変換予測復号部９０は、イントラ符号化モードの設定時に定められたビット深度変換量Δを復号し、下位階層信号の符号化データに対して復号処理を行い、Ｎ−Δビットの復号信号（下位階層復号信号）を生成し、該下位階層復号信号に対して逆ビット深度変換を行い、Ｎビットの復号信号（上位階層予測信号）を生成し、該Ｎビットの復号信号（上位階層予測信号）と上位階層復号信号との差分信号を生成し、復号信号として出力する。

図８は、本第１実施形態によるビット深度変換予測復号部９０の構成を示すブロック図である。図８において、符号化ストリーム分離処理部９１は、符号化ストリームを分離し、ビット深度変換量復号部９２、下位階層復号部９３、及びビット深度変換予測ビット復号部９５にそれぞれ供給する。ビット深度変換量復号部９２は、イントラ符号化モードの設定時に定められたビット深度変換量Δを復号する。下位階層復号部９３は、下位階層信号の符号化データに対して復号処理を行い、Ｎ−Δビットの復号信号（下位階層復号信号）を出力する。

逆ビット深度変換部９４は、Ｎ−Δビットの下位階層復号信号に対して逆ビット深度変換を行い、Ｎビットの復号信号（上位階層予測信号）を出力する。ビット深度変換予測ビット復号部９５は、イントラ符号化モードの設定時に定められたビット深度変換予測フラグを復号する。ビット深度変換予測判定部９６は、ビット深度変換予測フラグが「１」であるか否かを判定する。

スイッチ部９７は、上位階層復号部９８が出力する上位階層復号信号を加算器９９に出力するか否かを切り替える。
上位階層復号部９８は、ビット深度変換予測ビット復号部９５及びビット深度変換予測判定部９５を介して入力される差分信号を復号し、復号した差分信号を上位階層復号信号として加算器９９に出力する。加算器９９は、上位階層予測信号と、上位階層復号信号又は零値のいずれかとを加算し、加算結果を復号信号として出力する。

図９及び図１０は、本第１実施形態によるイントラ復号器の動作を説明するためのフローチャートである。まず、符号化ストリームを読み込む（ステップＳ４１）。次に、ステップＳ４２〜Ｓ５６において、予め定められた部分領域（符号化ユニット）毎にフレーム内復号を実施する。

まず、イントラ符号化方式指定情報復号部１０で、イントラ符号化モードを復号し、（ステップＳ４３）、イントラ復号方式設定部１１で、イントラ符号化モードがビット深度変換モードであるか否かを判定する（ステップＳ４４）。そして、イントラ符号化モードがビット深度変換モードである場合には、入力信号のビット深度Ｎを復号し（ステップＳ４５）、ビット深度変換アルゴリズムを設定する（ステップＳ４６）。

なお、符号化器・復号器で共有する場合、あるいは、ビット深度変換アルゴリズムを指定するための情報が符号化ストリームに含まれる場合もある。この場合は、該当する情報を復号して取得する。ビット深度変換アルゴリズムの例としては、四捨五入、切り捨て、切り上げ等がある。もちろん、これ以外のビット深度変換アルゴリズムも利用可能である。

次に、ビット深度変換量復号部９２で、イントラ符号化モードの設定時に定められたビット深度変換量Δを復号し（ステップＳ４７）、ビット深度変換予測ビット復号部９５で、イントラ符号化モードの設定時に定められたビット深度変換予測フラグを復号する（ステップＳ４８）。次に、下位階層復号部９３で、下位階層信号の符号化データに対して復号処理を行い、Ｎ−Δビットの復号信号（下位階層復号信号）を出力し（ステップＳ４９）、逆ビット深度変換部９４で、下位階層復号信号に対して逆ビット深度変換を行い、Ｎビットの復号信号（上位階層予測信号）を出力する（ステップＳ５０）。

次に、ビット深度変換予測判定部９６は、復号したビット深度変換予測フラグが「１」であるか否かを判定し（ステップＳ５１）、ビット深度変換予測フラグが「１」の場合には、零値を加算器９９に出力し、逆ビット深度変換部９４からの上位階層予測信号が復号信号として出力される（ステップＳ５２）。

一方、ビット深度変換予測フラグが「０」の場合には、ビット深度変換予測判定部９６は、ビット深度変換予測ビット復号部９５を介して入力された差分信号の符号化データを上位階層復号部９８に出力し、上位階層復号部９８が差分信号を復号する（ステップＳ５３）。そして、加算器９９は、上位階層予測信号と差分信号とを加算し、加算結果を復号信号を生成する（ステップＳ５４）。

一方、ステップＳ４４で、イントラ符号化モードがビット深度変換モードでない場合には、イントラ復号部１２−１〜１２−Ｍで、予め設定されたイントラ符号化に対応する復号処理を実施する（ステップＳ５５）。例えば、Ｈ．２６４で規定されるイントラ予測である。
いずれの場合も、次の符号化ユニットに対して、上述したステップＳ４２〜Ｓ５６を繰り返し実行する。

そして、すべての符号化ユニットに対してイントラ符号化が終了すると、当該処理を終了する。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態は、上述した第１実施形態において、Ｎビットから（Ｎ−Δ）ビットを取り出すアルゴリズムとして「ビットシフト」を用いることを特徴としている。なお、イントラ符号化器、ビット深度変換予測符号化部、イントラ復号器、ビット深度変換予測復号部の構成は、第１実施形態と同じであるので説明を省略する。

図１１、及び図１２は、本第２実施形態によるイントラ符号化器の動作を説明するためのフローチャートである。まず、イントラ符号化方式指定情報符号化部１が入力信号を読み込む（ステップＳ６１）。次に、ステップＳ６２〜Ｓ７６において、予め定められた部分領域（符号化ユニット）毎にフレーム内符号化を実施する。

まず、イントラ符号化方式設定部２は、後述するイントラ符号化部３−１〜３−Ｍ、ビット深度変換予測符号化部６０のうち、いずれのイントラ符号化方式（イントラ符号化モード）を用いるかを設定する（ステップＳ６３）。設定方法の例としては、予め与えられた符号量・符号化歪みの加重和をコスト関数として、同コスト関数を最小化するイントラ符号化モードを選択する方法が挙げられる。

次に、イントラ符号化モードがビット深度変換モードであるか否かを判定する（ステップＳ６４）。そして、イントラ符号化モードがビット深度変換モードである場合、入力信号のビット深度Ｎを読み込み、符号化データとして書き出し（ステップＳ６５）、ビット深度変換量設定部７１は、イントラ符号化モードの設定時（ステップＳ６３）に定められたビット深度変換量Δを読み込み（ステップＳ６６）、イントラ符号化モードの設定時に定められたビット深度変換予測フラグを読み込む（ステップＳ６７）。より詳細には、ビット深度変換量Δ、及びビット深度変換予測フラグは、符号量・符号化歪みの加重和により算出されるコストが最小になるように、上述したステップＳ６３で設定される。

次に、ビット深度変換部７２は、入力信号（Ｎビット）に対して、右へΔビットのビットシフトを行い、ビット深度をＮ−Δにした下位階層信号を出力し（ステップＳ６８）、下位階層符号化部７３は、該下位階層信号に対して符号化処理を行い、符号化処理により得られたＮ−Δビットの復号信号（下位階層復号信号）の符号化データを符号化ストリーム多重化処理部８０に出力する（ステップＳ６９）。

次に、ビット深度変換予測判定部７６は、ビット深度変換予測フラグが「１」であるか否かを判定し（ステップＳ７０）、ビット深度変換予測フラグが「１」の場合には、現在の符号化ユニットに対する符号化処理を終了させ、次の符号化ユニットに対する符号化処理を開始させる。

一方、ビット深度変換予測フラグが「０」の場合には、下位階層符号化部３７が出力した符号化データに対して、下位階層復号部７４が復号処理を行い、復号処理により得られたＮ−Δビットの復号信号（下位階層復号信号）を出力する（ステップＳ７１）。そして、逆ビット深度変換部７５は、下位階層復号部７４が出力した下位階層復号信号に対して、左へΔビットのビットシフトを行い、Ｎビットの復号信号（上位階層予測信号）を生成する（ステップＳ７２）。

次に、ビット深度変換予測判定部７６は、逆ビット深度変換部７５が生成した上位階層予測信号を減算器７９に出力し、減算器７９が入力信号から上位階層予測信号を減算して差分信号を生成する（ステップＳ７３）。上位階層符号化部７８は、減算器７９が生成した差分信号に対して符号化処理を行い、符号化処理により得られた符号化データを符号化ストリーム多重化処理部８０に出力する（ステップＳ７４）。

一方、ステップＳ６４で、イントラ符号化モードがビット深度変換モードでない場合には、イントラ符号化部３−１〜３−Ｍで、予め設定されたイントラ符号化を実施する（ステップＳ７５）。例えば、Ｈ．２６４で規定されるイントラ予測である。
いずれの場合も、次の符号化ユニットに対して、上述したステップＳ６２〜Ｓ７６を繰り返し実行する。

そして、すべての符号化ユニットに対してイントラ符号化が終了すると、当該処理を終了する。

図１３、及び図１４は、本第２実施形態によるイントラ復号器の動作を説明するためのフローチャートである。まず、符号化ストリームを読み込む（ステップＳ８１）。次に、ステップＳ８２〜Ｓ９５において、予め定められた部分領域（符号化ユニット）毎にフレーム内復号を実施する。

まず、イントラ符号化方式指定情報復号部１０で、イントラ符号化モードを復号し、（ステップＳ８３）、イントラ復号方式設定部１１で、イントラ符号化モードがビット深度変換モードであるか否かを判定する（ステップＳ８４）。そして、イントラ符号化モードがビット深度変換モードである場合には、入力信号のビット深度Ｎを復号し（ステップＳ８５）、ビット深度変換量復号部９２が、イントラ符号化モードの設定時に定められたビット深度変換量Δを復号する（ステップＳ８６）。

次に、ビット深度変換予測ビット復号部９５は、イントラ符号化モードの設定時に定められたビット深度変換予測フラグを復号する（ステップＳ８７）。次に、下位階層復号部９３で、下位階層信号の符号化データに対して復号処理を行い、Ｎ−Δビットの復号信号（下位階層復号信号）を出力し（ステップＳ８８）、逆ビット深度変換部９４で、下位階層復号信号に対して逆ビット深度変換を行い、Ｎビットの復号信号（上位階層予測信号）を出力する（ステップＳ８９）。

次に、ビット深度変換予測判定部９６は、ビット深度変換予測フラグが「１」であるか否かを判定し（ステップＳ９０）、ビット深度変換予測フラグが「１」の場合には、零値を加算器９９に出力し、加算器９９が逆ビット深度変換部９４が出力した上位階層予測信号を復号信号として出力する（ステップＳ９１）。

一方、ビット深度変換予測フラグが「０」の場合には、ビット深度変関与即判定部９６は、ビット深度変換予測ビット復号部９５を介して入力された差分信号の符号化データを上位階層復号部９８に出力し、上位階層復号部９８が差分信号を復号する（ステップＳ９２）。そして、加算器９９は、上位階層予測信号と差分信号とを加算し、加算結果を復号信号を生成する（ステップＳ９３）。

また、ステップＳ８４で、イントラ符号化モードがビット深度変換モードでない場合には、イントラ復号部１２−１〜１２−Ｍで、予め設定されたイントラ符号化に対応する復号処理を実施する（ステップＳ９４）。例えば、Ｈ．２６４で規定されるイントラ予測である。この場合も、次の符号化ユニットに対して、上述したステップＳ８２〜Ｓ９５を繰り返し実行する。

そして、すべての符号化ユニットに対してイントラ符号化が終了すると、当該処理を終了する。

なお、上述した第２実施形態によるイントラ符号化器、イントラ復号器の動作において、ステップＳ６４〜Ｓ７４、ステップＳ８４〜Ｓ９３の作用について説明する。以下、入力信号のビット長をＮビットとし、下位ビットのビット長をΔとする。

画像信号において、上位ビットと下位ビットでは性質が異なる。一般に上位ビットは、空間的希望画素間の相関が高く、予測等の圧縮処理で冗長性を除去できる。一方、下位ビットは、同相関が低く、予測等の圧縮処理で冗長性を除去することは難しい。このため、下位ビットに対する予測処理では、予測誤差（入力信号と予測信号との差分信号）の低減は難しい。

そこで、本第２実施形態では、ビットシフトにより、入力信号を右へΔビットシフトすることで、Ｎ−Δビットの信号（上位Ｎ−Δビットに対応）を生成し、該Ｎ−Δビット信号に対して圧縮処理・復号処理を行い、更にビット深度逆変換処理（Ｎ−Δビット信号をＮビット信号へ伸張する処理）により、入力信号（Ｎビット信号）の予測信号を生成し、入力信号に対する同予測信号の予測誤差（差分信号）を生成する。これにより、空間的な予測と比較して、予測誤差を低減することが可能となり、その結果、符号量を削減することが可能となる。

上述した第１、第２実施形態によれば、以下の効果が得られる。
従来、イントラ符号化においては、イントラ予測の予測性能の低さから、予測信号そのものを復号信号として用いた場合には、復号画質を保証することは難しかったため、予測残差の符号化を伴う符号化方式が取り入られてきた。これに対し、ビット深度変換予測を導入したことにより、予測信号のみであっても復号信号として用いることが可能であり、更に、ビット深度変換量を画像の性質に応じて、自由に設定できる。このため、上述した第１、第２実施形態によれば、低レートにおいて符号量の使用が制約される場合であっても、イントラ符号化の符号化効率を向上させることが可能となる。

また、ビット深度変換量は、フレーム又は部分領域にビット深度変換を用いた符号化をした際のコストが最小になるビット深度の削減量とすることにより、フレーム又は部分領域に最適なビット深度変換をすることができ、ビット深度変換により符号化量を削減することができる。
また、上述した第１、第２実施形態によれば、フレーム毎に当該フレームの映像に応じたビット深度変換量を設定することにより、ビット深度変換により符号化量を削減することができる。また、各フレームの予め定められた部分領域（符号化ユニット）毎の映像に応じたビット深度変換量を設定することにより、更に、ビット深度変換により符号化量を削減することができる。
また、上述した第２実施形態によれば、「ビットシフト」という簡易な演算を用いてビット深度変換を行うことにより、演算量を削減することができる。

また、第１実施形態における、符号化処理でのステップＳ３２〜Ｓ３５、復号処理でのステップＳ５１〜Ｓ５４、第２実施形態における、符号化処理でのステップＳ７１〜Ｓ７４、復号処理でのステップＳ９０〜Ｓ９３では、１ｂｉｔの判定フラグ（ビット深度変換予測フラグ）で、差分信号（＝上位階層予測信号と入力信号の差分信号）の零値として符号化する。もし、この判定フラグ（ビット深度変換予測フラグ）を用いない場合、差分信号の全変換係数に対して、量子化値が零値であることを符号化情報として付与する必要がある。これに対して、判定フラグ（ビット深度変換予測フラグ）を用いる本方式は、１ｂｉｔで同様の表現が可能である。このため、符号化時の符号量の削減ができる。

なお、上述の動画像符号化装置、及び動画像復号装置は内部に、コンピュータシステムを有していてもよい。その場合、上述したイントラ符号化器及びイントラ復号器が行う処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われることになる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１ イントラ符号化方式指定情報符号化部
２ イントラ符号化方式設定部
３−１〜３−Ｍ イントラ符号化部
１０ イントラ符号化方式指定情報復号部
１１ イントラ復号方式設定部
１２−１〜１２−Ｍ イントラ復号部
６０ ビット深度変換予測符号化部
７１ ビット深度変換量設定部
７２ ビット深度変換部
７３ 下位階層符号化部
７４ 下位階層復号部
７５ 逆ビット深度変換部
７６ ビット深度変換予測判定部
７７ スイッチ部
７８ 上位階層符号化部
７９ 減算器
８０ 符号化ストリーム多重化処理部
９０ ビット深度変換予測復号部
９１ 符号化ストリーム分離処理部
９２ ビット深度変換量復号部
９３ 下位階層復号部
９４ 逆ビット深度変換部
９５ ビット深度変換予測ビット復号部
９６ ビット深度変換予測判定部
９７ スイッチ部
９８ 上位階層復号部
９９ 加算器

Claims (17)

1. 画像符号化の対象である入力映像信号を読み込み、ビット深度変換を用いた第１イントラ符号化と、ビット深度変換を用いない第２イントラ符号化とのそれぞれを用いて前記入力映像信号を符号化した際のコストを符号量と符号化歪みの加重和によるコスト関数を用いて算出し、算出したコストが最も小さいコストに対応するイントラ符号化を選択する第１ステップと、
   前記第１イントラ符号化により前記入力映像信号を符号化する第２ステップと、
   前記第２イントラ符号化により前記入力映像信号を符号化する第３ステップと、
   前記第１ステップにおいて、前記第１イントラ符号化が選択された場合、前記第２ステップにおいて符号化された入力映像信号と、前記第１イントラ符号化を示す情報とを符号化ストリームとして出力し、前記第２イントラ符号化が選択された場合、前記第３ステップにおいて符号化された入力映像信号と、前記第２イントラ符号化を示す情報とを符号化ストリームとして出力する第４ステップと
   を含む画像符号化方法であって、
   前記第２ステップは、
   前記入力映像信号に応じて定められるビット深度変換量に基づいて前記入力映像信号を変換する第５ステップと、
   前記ビット深度変換をした入力映像信号に対して第１符号化を行い第１符号化信号を生成する第６ステップと、
   前記第１符号化に対応した復号により前記第１符号化信号から復号信号を生成する第７ステップと、
   前記復号信号のビット深度を、逆ビット深度変換により前記入力映像信号と同じビット深度に変換する第８ステップと、
   前記逆ビット深度変換された復号信号と、前記入力映像信号との差分を算出し、算出した差分を示す差分信号に対して第２符号化を行い第２符号化信号を生成するか、前記差分信号に対する前記第２符号化を省略するかを選択し、前記第１符号化信号及び前記第２符号化信号、もしくは前記第１符号化信号を前記符号化ストリームとして出力する第９ステップと
   を含むことを特徴とする画像符号化方法。
2. 前記ビット深度変換量は、
   前記入力映像信号に応じて予め定められたビット数であるか、あるいは、前記入力映像信号に対してビット深度変換をした際に前記コスト関数が最も小さくなるビット深度の削減ビット数である
   ことを特徴とする請求項１に記載の画像符号化方法。
3. 前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とが、前記入力映像信号に含まれるフレーム毎に設定される
   ことを特徴とする請求項１又は請求項２のいずれかに記載の画像符号化方法。
4. 前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とが、更に、前記入力映像信号に含まれる各フレームの予め定められた領域毎に設定される
   ことを特徴とする請求項３に記載の画像符号化方法。
5. 前記入力映像信号に複数の色チャネルが含まれる場合、前記ビット深度変換量は、前記色チャネル毎に設定される
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像符号化方法。
6. 画像復号対象の符号化ストリームを読み込み、該符号化ストリームを符号化したイントラ符号化を示す情報を復号する第１ステップと、
   前記符号化ストリームに対して逆ビット深度変換を用いた第１イントラ復号方式により復号する第２ステップと、
   前記符号化ストリームに対して逆ビット深度変換を用いない第２イントラ復号方式により復号する第３ステップと、
   前記復号されたイントラ符号化を示す情報に基づいて、前記第１ステップ又は、前記第２ステップのいずれか一方により復号された復号信号を復号画像信号として出力する第４ステップと
   を含む画像復号方法であって、
   前記第２ステップは、
   前記符号化ストリーム中のデータを分離する第５ステップと、
   前記分離されたデータからビット深度変換量を復号する第６ステップと、
   前記分離されたデータに対して第１復号を行って第１復号信号を生成する第７ステップと、
   前記第１復号信号に対して、前記ビット深度変換量分のビット数を増やす逆ビット深度変換を行う第８ステップと、
   前記分離されたデータから第２符号化信号としての差分信号の有無を示す判定情報を復号する第９ステップと、
   前記判定情報に基づいて、前記分離されたデータに対して第２復号を行って第２復号信号を生成するか、もしくは、前記第２復号を省略するかを選択し、前記逆ビット深度変換後の復号信号と前記第２復号信号との差分信号、もしくは前記逆ビット深度変換後の復号信号いずれか一方を、復号映像信号として出力する第１０ステップと
   を含むことを特徴とする画像復号方法。
7. 前記ビット深度変換量と前記判定情報とが、前記復号映像信号に含まれる各フレーム毎に復号される
   ことを特徴とする請求項６に記載の画像復号方法。
8. 前記ビット深度変換量と前記判定情報とが、更に、前記復号映像信号に含まれる各フレームの予め定められた領域毎に復号される
   ことを特徴とする請求項７に記載の画像復号方法。
9. 前記画像復号対象の符号化ストリームに複数の色チャネルが含まれる場合、
   前記ビット深度変換量は、前記色チャネル毎に設定されている
   ことを特徴とする請求項６から請求項８のいずれか一項に記載の画像復号方法。
10. 画像符号化の対象である入力映像信号を読み込み、ビット深度変換を用いた第１イントラ符号化と、ビット深度変換を用いない第２イントラ符号化とのそれぞれを用いて前記入力映像信号を符号化した際のコストを符号量と符号化歪みの加重和によるコスト関数を用いて算出し、算出したコストが最も小さいコストに対応するイントラ符号化を選択する選択手段と、
    前記第１イントラ符号化により前記入力映像信号を符号化する第１符号化手段と、
    前記第２イントラ符号化により前記入力映像信号を符号化する第２符号化手段と、
    前記選択手段が、前記第１イントラ符号化を選択した場合、前記第１符号化手段が符号化した入力映像信号と、前記第１イントラ符号化を示す情報とを符号化ストリームとして出力し、前記第２イントラ符号化を選択した場合、前記第２符号化手段が符号化した入力映像信号と、前記第２イントラ符号化を示す情報とを符号化ストリームとして出力する出力手段と
    を備える画像符号化装置であって、
    前記第１符号化手段は、
    前記入力映像信号に応じて設定されたビット深度変換量に基づいて前記入力映像信号を変換するビット深度変換手段と、
    前記ビット深度変換をした入力映像信号に対して第１符号化を行い第１符号化信号を生成する第１符号化手段と、
    前記第１符号化に対応した復号により前記第１符号化信号から復号信号を生成する復号手段と、
    前記復号信号のビット深度を、逆ビット深度変換により前記入力映像信号と同じビット深度に変換する逆ビット深度変換手段と、
    前記逆ビット深度変換された復号信号と、前記入力映像信号との差分を算出し、算出した差分を示す差分信号に対して第２符号化を行い第２符号化信号を生成するか、前記差分信号に対する前記第２符号化を省略するかを選択し、前記第１符号化信号及び前記第２符号化信号、もしくは前記第１符号化信号を前記符号化ストリームとして出力する切替手段と
    を備えることを特徴とする画像符号化装置。
11. 前記ビット深度変換量と前記差分信号の第２符号化の有無を示す判定情報とを、前記入力映像信号に含まれるフレーム毎、あるいは、前記入力映像信号に含まれるフレーム内の予め定められた領域毎に設定する設定手段を更に備える
    ことを特徴とする請求項１０に記載の画像符号化装置。
12. 前記ビット深度変換手段は、前記入力映像信号に複数の色チャネルが含まれる場合、
    前記ビット深度変換量を色チャネル毎に設定する
    ことを特徴とする請求項１０又は請求項１１のいずれかに記載の画像符号化装置。
13. 画像復号対象の符号化ストリームを読み込み、該符号化ストリームを符号化したイントラ符号化を示す情報を復号する符号化方式復元手段と、
    前記符号化ストリームに対して逆ビット深度変換を用いた第１イントラ復号方式により復号する第１イントラ復号手段と、
    前記符号化ストリームに対して逆ビット深度変換を用いない第２イントラ復号方式により復号する第２イントラ復号手段と、
    前記復号されたイントラ符号化を示す情報に基づいて、前記第１イントラ復号手段又は、前記第２イントラ復号手段のいずれか一方により復号された復号信号を復号画像信号として出力する切替手段と
    を備える画像復号装置であって、
    前記第１イントラ復号手段は、
    前記符号化ストリーム中のデータを分離する分離手段と、
    前記分離手段により分離されたデータからビット深度変換量を復号するビット深度変換量復号手段と、
    前記分離手段により分離されたデータに対して第１復号を行って第１復号信号を生成する第１復号手段と、
    前記第１復号信号に対して、前記ビット深度変換量分のビット数を増やす逆ビット深度変換を行う逆ビット深度変換手段と、
    前記分離されたデータから第２符号化データとしての差分信号の有無を示す判定情報を復号する判定情報復号手段と、
    前記判定情報に基づいて、前記分離されたデータに対して第２復号を行って第２復号信号を生成するか、もしくは、前記第２復号を省略するかを選択し、前記逆ビット深度変換後の復号信号と前記第２復号信号との差分信号、もしくは前記逆ビット深度変換後の復号信号いずれか一方を、復号映像信号として出力する出力手段と
    を備えることを特徴とする画像復号装置。
14. 前記ビット深度変換量と前記第２復号の有無を示す判定情報とが、前記復号映像信号に含まれるフレーム毎、あるいは、前記復号映像信号に含まれる各フレーム内の予め定められた領域毎に設定されている
    ことを特徴とする請求項１３に記載の画像復号装置。
15. 前記画像復号対象の符号化ストリームに複数の色チャネルが含まれる場合、
    前記ビット深度変換量は、前記色チャネル毎に設定されている
    ことを特徴とする請求項１３又は請求項１４のいずれかに記載の画像復号装置。
16. コンピュータに、請求項１から５のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
17. コンピュータに、請求項６から９のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。

Images