JP5698644B2 - 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム - Google Patents

Description

本発明は、動画像予測符号化方法、装置及びプログラム、並びに、動画像予測復号方法、装置及びプログラムに関するもので、とりわけ、画面間の予測符号化に用いられる参照画像のバッファ内の記述に関するものである。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元したもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位を検索し、その動いた分を補償して予測信号を生成し、それを対象ブロックの信号から引き算した差分信号を符号化する。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。

Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化した上で再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。対象ブロックの画素信号とこの最適な予測信号との差分を求め、離散コサイン変換を施し、量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（「参照インデックス」という）、および当該最適な予測信号を参照画像のどの領域から取得するかに関する情報（「動きベクトル」という）も合わせて符号化する。Ｈ．２６４では、再生された画像を４ないし５枚参照画像としてフレームメモリまたは再生画像バッファ（decoded picture buffer、以下「DPB」ともいう）に格納されている。

複数枚の参照画像の管理方法として、再生された複数の画像の中で最も古い参照画像（即ち、時間的に一番長い間バッファ内にあるもの）が占領する領域をバッファから開放し、最近に復号された再生画像を参照画像として格納する手法が一般的である。一方、画面間予測の効率を高める目的として、対象画像に最適な参照画像を柔軟に用意する参照画像の管理方法は、後述する非特許文献１に開示されている。

非特許文献１によれば、各対象画像の符号化データに対し、バッファに格納する複数の参照画像を記述するバッファ記述情報（buffer description information）を付加し符号化する。このバッファ記述情報には、対象画像並びにそれ以降の画像の処理（符号化または復号）に必要とする複数の参照画像の識別子が記載されている。符号化装置もしくは復号装置では、バッファ記述情報に従い、指定された再生画像をバッファ（フレームメモリ）に格納するようにバッファが管理されている。一方、指定されていない再生画像はバッファから消される。

各対象画像に関するバッファ記述情報は、それぞれの対象画像の圧縮データのヘッダに付加して送ってもよいし、複数の対象画像に関するバッファ記述情報をまとめて、共通に適用する復号処理のパラメータを運ぶPPS（picture parameter set）情報の一部として送ってもよい。図１５は、PPSの中に記載されているバッファ記述情報を示す模式図である。PPSにはバッファ記述情報以外の情報もあるが、ここでは省略する。PPS情報１５１０の中には、バッファ記述（buffer description、以下「BD」ともいう）の個数１５１１と、その個数分のBDに関する情報（１５２０，１５２２，１５２４）が記載されている。各BDに関する情報（以降k番目のBDをBD[ｋ]という）には、バッファの中に格納される参照画像の枚数１５３０と、どの参照画像を格納するかを識別するための情報（１５３１，１５３２）が記載されている。参照画像を識別するには、当該画像を外部に出力する順序を示す情報POC（picture output count）を用いる。ここでは、POC番号をそのまま用いるのではなくて、参照画像のPOC番号と処理対象画像のPOC番号との差分であるΔPOC_k,j（k番目のBDにあるj番目の成分）を記述する。同時に、当該参照画像が他の画像に対する依存度を示すD_ID_k,jも合わせて送る。D_ID_k,jの値が小さいほど、当該参照画像はより多く画像の再生に必要とし、逆にこの値が大きければ、他の画像に対する影響が小さい。最大の値をもつ場合は他の画像の再生に必要としないため、参照画像として格納する必要がないことを意味する。まとめると、従来技術では、バッファ記述BD[ｋ]を送るには、参照画像の枚数を示す値（＃ΔPOC_k）とその数分の｛ΔPOC_k,j，D_ID_k,j｝の情報を送信側から受信側に送るようになっている。

図１６は、対象画像と各対象画像を処理する際にバッファDPB内にある複数参照画像の状態を示す。各升目には、画像を識別するPOC番号が書かれている。例えば、行１６１０では、POC＝３２の対象画像を処理（符号化または復号）する際に、DPBにはPOC＝１８，２０，２２，２４の参照画像が格納されていることを意味する。また、図１６に対し、従来技術を適用し求められたバッファ記述情報は図１７に示されている。１７０４の下にある各升目はΔPOC_k,jの値を示す。

Rickard Sjoberg, Jonatan Samuelsson, "Absolute signaling of reference pictures", Joint Collaborative Team on Video Coding, JCTVC-F493, Torino, 2011.

一方、動画像符号化・復号において、同じ画像が複数の対象画像によって参照されることが一般的である。言い換えると、同じ参照画像は複数回（繰り返し）用いられることになる。図１６では、破線１６０３で囲まれたPOC=３２の参照画像は、POC＝２８，２６，３０，２５，２７，２９，３１の対象画像に参照されることがわかる。そのほかに、POC=２２，２４，２８，２６，３０の参照画像も複数回利用されることが、図１６の１６０２の下にある各升目の値からわかる。

ところが、従来技術に基づいたバッファ記述情報では、各BD[ｋ]において独立にΔPOC_k,jを求めるため、同じ参照画像に対しても、BD[ｋ]ごとにそのΔPOC_k,jを記述することで、同じ情報にも関わらず繰り返し同じ情報を送受信しなければならない。図１６と図１７を例に説明する。破線１７０５に囲まれた各升目の値は、図１６の破線１６０３に囲まれた各升目のPOC番号に対応する。破線１６０３内は全てPOC=３２の参照画像になっているが、破線１７０５内にあるΔPOC_k,jの値は全て異なる。また、これらのΔPOC_k,jの値は大きく異なるため、多くのビットを用いて符号化する必要がある。したがって、従来技術によるバッファ記述情報を伝送するには、多くのビットを用いて同じ情報を繰り返し送受信しなければならない課題がある。

上記課題を解決するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、対象画像を、過去に符号化した後に復号・再生された複数の画像を参照画像として予測符号化し、圧縮画像データを生成する符号化手段と、その圧縮画像データを復号し、再生画像に復元する復元手段と、その再生画像を後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、画像格納手段を制御するバッファ管理手段と、を具備し、バッファ管理手段は、（対象画像を処理する前に）、対象画像を予測符号化する際に用いられる複数の参照画像に関するバッファ記述情報BD[k]をもとに画像格納手段を制御すると同時に、当該バッファ記述情報BD[k]を、対象画像と異なる別の画像のバッファ記述情報BD[m]を参照して、符号化した後にその符号化データを圧縮画像データに付加する。

また、本発明に係る動画像予測復号装置は、動画像を構成する複数の画像のそれぞれに対し、過去に復号・再生された複数の画像を参照画像として予測符号化されたデータと、複数の参照画像に関するバッファ記述情報BD[k]の符号化データとを含む圧縮画像データを入力する入力手段と、圧縮画像データを復号し、再生画像に復元する復元手段と、その再生画像を後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、画像格納手段を制御するバッファ管理手段とを具備し、バッファ管理手段は、（再生画像を復元する前に）、その再生画像と異なる別の画像のバッファ記述情報BD[m]を参照して、再生画像のバッファ記述情報BD[k]の符号化データを復号した後に、その復号されたバッファ記述情報BD[k]をもとに画像格納手段を制御する。

本発明によるバッファ記述情報の符号化・復号方法によれば、同じ参照画像が複数の画像の予測符号化・復号処理に繰り返して利用される性質を利用して、異なる画像に用いられるバッファ記述情報BD[k]の間の相関を利用して、冗長となる情報を削減することにより、効率よくバッファ記述情報を符号化できる効果がある。加えて、各参照画像固有の情報（依存度情報）は、参照先の画像と同じであるため、その情報をそのまま継承することができ、改めて符号化・復号する必要がないというメリットもある。

本発明の実施形態による動画像予測符号化装置を示すブロック図である。 本発明の実施形態による動画像予測復号装置を示すブロック図である。 本発明の実施形態による動画像予測符号化装置におけるバッファ管理方法を示す流れ図である。 本発明の実施形態による動画像予測復号装置におけるバッファ管理方法を示す流れ図である。 本発明の実施形態に用いられるバッファ管理方法によって生成されるバッファ記述情報を示す表である。 本発明の実施形態による動画像予測符号化装置におけるバッファ記述情報の符号化処理を示す流れ図である。 本発明の実施形態による動画像予測復号装置におけるバッファ記述情報の復号処理を示す流れ図である。 本発明の実施形態によって生成されるPPSの中に記載のバッファ記述情報を示す模式図である。 対象画像と各対象画像を処理する際にバッファDPB内にある複数参照画像の状態を示す別の例である。 図９の例に関する本発明の実施形態による動画像予測符号化装置におけるバッファ記述情報の符号化処理を示す流れ図である。 図９の例に関する本発明の実施形態による動画像予測復号装置におけるバッファ記述情報の復号処理を示す流れ図である。 図９の例に関する本発明の実施形態によって生成されるPPSの中に記載するバッファ記述情報を示す模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 従来技術によるPPSの中に記載されているバッファ記述情報を示す模式図である。 対象画像と各対象画像を処理する際にバッファDPB内にある複数参照画像の状態を示す一例である。 従来技術に基づいて、図１６の例から求められたバッファ記述情報を示す表である。 本発明の実施形態による動画像予測符号化装置におけるバッファ記述情報のPOC番号を直接に符号化する処理を示す流れ図である。 本発明の実施形態による動画像予測復号装置におけるバッファ記述情報のPOC番号を直接に復号する処理を示す流れ図である。 従来技術に基づいて、図９の例から求められたバッファ記述情報を示す表である。 本発明の実施形態に用いられるバッファ管理方法に基づいて、図２０の例から求められたバッファ記述情報を示す表である。 本発明の実施形態による動画像予測符号化装置におけるバッファ記述情報の符号化処理に関する図６の処理とは別の実施方法を示す流れ図である。 本発明の実施形態による動画像予測復号装置におけるバッファ記述情報の復号処理に関する図７の処理とは別の実施方法を示す流れ図である。 図２２に基づく本発明の実施形態によるバッファ記述情報の符号化処理によって生成されるPPSの中に記載するバッファ記述情報を示す模式図である。

以下、本発明の実施の形態について、図１から図２４を用いて説明する。

図１は本発明の実施形態による動画像予測符号化装置１００を示すブロック図である。図１に示すように、動画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ（またはバッファ、DPBともいう）１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、およびバッファ管理器１１４を備える。減算器１０５、変換器１０６と量子化器１０７は、特許請求の範囲に記載された「符号化手段」に対応する。また、逆量子化器１０８、逆変換器１０９と加算器１１０は、特許請求の範囲に記載された「復元手段」に対応する。

以上のように構成された動画像予測符号化装置１００について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本発明による実施形態では、８ｘ８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下対象ブロックとよぶ）に対して、予測信号を生成する。本発明による実施形態では、画面間予測と画面内予測の２種類の予測方法を用いる。

画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器１０３にて行われ、対象ブロックはラインＬ１０２、参照画像はＬ１０４経由で入力される。参照画像としては、過去に符号化され復元された複数枚の画像を参照画像として用いる。詳細は従来の技術であるＨ．２６４の方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンスインデックス）もラインＬ１１２経由でエントロピー符号化器１１１に送られる。なお、本発明による実施形態では、３枚ないし６枚の再生画像をフレームメモリ１０４に格納し、参照画像として用いる。予測信号生成器１０３では、小領域の分割方法及びそれぞれの小領域に対応する、参照画像と動き情報をもとにフレームメモリ１０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ１０３経由で減算器１０５に送られる。

画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器１０３では、フレームメモリ１０４から同じ画面内にある既再生の画素信号を取得し、これらの信号を外挿することによって画面内予測信号を生成する。外挿の方法に関する情報はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。このように生成された画面内予測信号は減算器１０５に送られる。予測信号生成器１０３における画面内の予測信号生成方法は、従来の技術であるＨ．２６４の方法と同じである。上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器１０５に送られる。

減算器１０５にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０３経由）を引き算し、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、各変換係数は量子化器１０７にて量子化される。最後にエントロピー符号化器１１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子１１２より送出される。

後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。すなわち、量子化された変換係数は逆量子化器１０８にて逆量子化されたのちに逆変換器１０９にて逆離散コサイン変換され、残差信号を復元する。加算器１１０にて復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施の形態では変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよい。場合によって、変換器１０６と逆変換器１０９がなくてもよい。

フレームメモリ１０４は有限なものであり、すべての再生画像を格納することは不可能である。後続の画像の符号化に用いられる再生画像のみフレームメモリ１０４に格納される。このフレームメモリ１０４を制御するのがバッファ管理器１１４である。入力端子１１３より各画像の出力順序を示す情報（POC、picture output count）や他の画像を予測符号化する際に当該画像に対する依存度を示すD_ID_k,jに関する依存度情報（dependency ID）、当該画像を符号化するタイプ（画面内予測符号化、画面間予測符号化）が入力され、この情報に基づいてバッファ管理器１１４が動作する。バッファ管理器１１４によって生成されたバッファ記述情報や各画像のPOC情報はラインＬ１１４経由でエントロピー符号化器１１１に送られ、符号化した上で圧縮された画像データとともに出力される。本発明によるバッファ管理器１１４の処理方法については後述する。

次に、本発明による動画像予測復号方法について説明する。図２は本発明の実施形態による動画像予測復号装置２００のブロック図を示す。図２に示すように、動画像予測復号装置２００は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器２０８、フレームメモリ２０７、出力端子２０６、およびバッファ管理器２０９を備える。逆量子化器２０３と逆変換器２０４は、特許請求の範囲に記載された「復元手段」に対応する。復元手段としては上記以外のものを用いてもよい。また逆変換器２０４がなくてもよい。

以上のように構成された動画像予測復号装置２００について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子２０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測信号の生成に関連する情報が含まれている。予測信号の生成に関連する情報として、画面間予測の場合はブロック分割に関する情報（ブロックのサイズ）や、動き情報と上述のPOC情報が含まれ、画面内予測の場合は周辺の既再生の画素から外挿方法に関する情報が含まれている。また、圧縮データにはフレームメモリ２０７を制御するためのバッファ記述情報も含まれている。

データ解析器２０２は、圧縮データから対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像のPOC情報を抽出する。対象ブロックの残差信号は逆量子化器２０３にて量子化パラメータ（ラインＬ２０２経由）をもとに逆量子化される。その結果は逆変換器２０４にて逆離散コサイン変換される。

次に、ラインＬ２０６ｂ経由で予測信号の生成に関連する情報が予測信号生成器２０８に送られる。予測信号生成器２０８では、予測信号の生成に関連する情報に基づいて、フレームメモリ２０７にアクセスし、複数の参照画像の中から参照信号を取得し予測信号を生成する。この予測信号はラインＬ２０８経由で加算器２０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ２０５経由で出力すると同時にフレームメモリ２０７に格納される。

フレームメモリ２０７には、後続の画像の復号・再生に用いられる再生画像が格納されている。バッファ管理器２０９はフレームメモリ２０７を制御する。バッファ管理器２０９は、ラインＬ２０６ａ経由で送られるバッファ記述情報と画像の符号化タイプに関する情報に基づいて動作する。本発明によるバッファ管理器２０９の制御方法については後述する。

次に、図３と図４を用いて、バッファ管理器（図１の１１４と図２の２０９）の動作を説明する。本発明の実施形態によるバッファ管理器は、フレームメモリ（１０４、２０７）に格納される参照画像を次のように管理する。すなわち、符号化側では、複数枚の対象画像のそれぞれに対するバッファ記述情報をまとめて生成し、共通に適用する復号処理のパラメータを運ぶPPS（picture parameter set）情報の一部として送る。復号側ではPPS情報からまとめて送られてくるバッファ記述情報を抽出し、各対象画像の圧縮データに指定された一つのバッファ記述情報に基づいて、フレームメモリ内にある参照画像を用意した上で復号・再生処理を行う。バッファ記述情報に記載されていない参照画像はフレームメモリから消され、それ以降参照画像として用いることができない。

図３には、本発明の実施形態による動画像予測符号化装置１００のバッファ管理器１１４におけるバッファ記述情報の符号化方法を示し、複数枚の対象画像のそれぞれに対するバッファ記述情報をまとめて符号化する方法を示す。ここでは、バッファ記述をBD（buffer description）で表し、BD[ｋ]は、ｋ番目のBDに関する情報を示す。本発明の実施形態によって生成されるPPSの中に記載のバッファ記述情報の模式図は図８に示される。

図３のステップ３１０にてカウンタｋをゼロにセットする。ステップ３２０ではPPS情報に記載する全てのBDの総数を符号化する。これは図８の８１１に該当する。ステップ３３０では最初のBDであるBD[0]に関する情報を符号化する。図８の８２０はBD[0]の情報を示す。＃ΔPOC₀（８３０）はBD[0]の成分の個数、すなわち必要とする参照画像の枚数を示す。ここでは、対象画像の符号化・復号に必要とする参照画像だけではなくて、対象画像に参照されないが、それより先の画像の符号化・復号処理に参照される参照画像もBD[0]の情報に入れておくため、このような参照画像の枚数も＃ΔPOC₀にカウントされる。

続いて、使われる参照画像に関する情報（８３１、８３２、…）が記載される。本実施の形態では参照画像に関する情報として｛ΔPOC_0,i，D_ID_0,i｝を記載する。iはBD[0]のi番目の成分を示す。ΔPOC_0,iはi番目の参照画像のPOC番号とBD[0]を使用する対象画像のPOC番号の差分値であり、D_ID_0,iはi番目の参照画像の依存度情報である。

BD[0]以外のBD[ｋ]に関する情報は、それより前に出現したバッファ情報BD[ｍ]を参照して予測符号化する（ステップ３６０）。本実施の形態では、ｍ＝ｋ−１を用いるが、ｍ＜ｋであれば、どのBD[ｍ]を参照してもよい。ｋ＞０のBD[ｋ]に含まれる情報は図８の８２２、８２４に例示されている。その中身として、BD[ｋ]の成分の個数（すなわち対象画像及びそれ以降の画像に必要とする参照画像の枚数に相当）＃ΔPOC_k（８３３、８３９）、ΔBD_k（８３４、８４０）、Δidx_k,i（８３５、８３６、８３７、８４１、８４２、８４３、８４４）、もしくは｛Δidx_k,i，D_ID_k,i｝（８３８）が記載される。これらの送信データ（シンタックス）の詳細については後述する。全てのBD[ｋ]が符号化された後に、それをPPS情報の一部として他の圧縮データと合わせて送出する。各画像を符号化する際に、図１の入力端子１１３より指定された一つのバッファ記述情報BD[ｋ]に基づいて、バッファ管理器１１４がフレームメモリ１０４内にある参照画像を用意した上で符号化処理を行う。受信側で、各画像の圧縮データのヘッダに付加されるバッファ記述の識別子ｋに基づいてバッファ管理器２０９がフレームメモリ２０７内にある参照画像を用意した上で復号処理を行う。

図４は本発明の実施形態による動画像予測復号装置２００のバッファ管理器２０９におけるバッファ記述情報の復号方法を示す流れ図である。データ解析器２０２は、PPS情報の中からバッファ記述情報に関するデータを抽出し、バッファ管理器２０９に入力する。ステップ４２０ではまずBDの個数を復号する。ステップ４３０では最初のBDであるBD[0]に関する情報を復号する。ｋ＞０のBD[ｋ]に関する情報は、それより前に出現したバッファ記述BD[ｍ]を参照に予測復号する（ステップ４６０）。上述したように、ここではｍ＝ｋ−１として用いる。全てのBD[ｋ]が復号されたバッファ記述情報はバッファ管理器２０９に格納される。各画像を復号する際に、その圧縮データに指定された一つのバッファ記述情報BD[ｋ]に基づいて、バッファ管理器２０９がフレームメモリ２０７内にある参照画像を用意した上で復号・再生処理を行う。

図８に示されているバッファ記述（BD[k]、k＞０）の送り方は最も効率的である。本実施形態によれば、対象となるBD[k]とその予測に用いられるBD[m]は次のような関係にある。
(a)BD[k]に記載されている参照画像は、少なくとも一部が既にBD[m]に記載されているものである。
(b)上記(a)に加えて新たに符号化・復号されたN枚の画像が「追加参照画像」としてBD[k]に記載されている。ここにNは０以上の整数である。
さらに、もっと好ましい形態として、
(c)m=(k-1)、すなわちバッファ記述情報の中に１つ前のBDを予測に用いる。
(d)上記(b)に記載の追加参照画像は１枚のみ（N=1）である。また、この１枚の追加参照画像はBD[ｍ]を用いた場合に生成された画像であることが望ましい。

図１６を用いて上述した関係を説明する。図１６の欄１６０１は符号化・復号処理の対象となる対象画像のPOC番号を示す。上から順番に、符号化・復号処理の順に並べられている。すなわちPOC=32の画像を符号化・復号した後に、POC=28の画像が符号化・復号される。また各対象画像の符号化・復号処理を行うときに用いられる参照画像（複数）のPOC番号は欄１６０２の下にある各升目に書かれている。

POC=３２の対象画像（１６１０）を符号化・復号／再生するために用いられる参照画像に関する情報は、BD[0]として図８の８２０のシンタックスを用いて符号化される。この場合、＃ΔPOC₀＝４で、POC番号１８，２０，２２，２４の参照画像はΔPOC_0,iとして符号化する。ΔPOC_0,iの値は図１７の行１７１０にあるｉ＝０〜３の値であり、参照画像のPOC番号と対象画像のPOC番号との差から求められる。

図１６の行１６１１〜１６１７に記載されている参照画像に関する情報は、BD[ｋ]、ｋ＞０として、図８の８２２、８２４のシンタックスを用いて符号化される。行１６１１はｋ＝１に対応し、POC=２８の対象画像に用いられる参照画像のPOC番号に関する情報を示す。これからのPOC番号（２２，２４，３２）は、一旦ΔPOC_1,iに換算される。その値は図１７の行１７１１にあるｉ＝０〜２の値に与えられる。本発明による実施形態では、これらのΔPOC_1,iの値はΔPOC_0,i（行１７１０にあるｉ＝０〜３の値）を参照して予測符号化する。

本発明によるバッファ記述情報の予測符号化方法を説明する。対象となるバッファ記述情報をBD[k]として、BD[k]を予測するためのバッファ記述情報をBD[m]とする。BD[k]の情報を利用する対象画像のPOC番号をPOC_currentとし、BD[m]の情報を利用する対象画像のPOC番号をPOC_previousとする。またBD[k]のｉ番目の参照画像のPOC番号をPOC_k,i、BD[m]のj番目の参照画像のPOC番号をPOC_m,jとする。この場合ΔPOC_k,i、ΔPOC_m,jは次のように与えられる。
ΔPOC_k,i＝POC_k,i−POC_current （１）
ΔPOC_m,j＝POC_m,j−POC_previous （２）
ΔPOC_k,iはΔPOC_m,jを予測値として符号化される。すなわち、
ΔPOC_k,i−ΔPOC_m,j＝(POC_k,i−POC_current)−(POC_m,j−POC_previous)
＝(POC_k,i−POC_m,j)＋(POC_previous−POC_current)
＝(POC_k,i−POC_m,j)＋ΔBD_k （３）

ここで、前述した(a)の条件が満たされている場合はPOC_m,jはBD[m]にあるため、(POC_k,i−POC_m,j)がゼロとなるΔPOC_m,jへの識別子（またはインデックス）を符号化する。本実施の形態では、次に定義される識別子Δidx_k,iを用いる。
Δidx_k,i＝offset_k,i−offset_k,i-1 （４）
ここではoffset_k,i＝j−i、offset_k,-1＝０である。また、上記式（３）に定義されているΔBD_kは、(i,j)の値に関わらず、一定であるため、
ΔBD_k＝POC_previous−POC_current （５）
はBD[k]に一回のみ記載すればよい。

一方、(POC_k,i−POC_m,j)がゼロとなるΔPOC_m,jがBD[m]に存在しない場合がある。例として、図１６の成分POC_1,2＝３２（升目１６２０）は行１６１０の参照画像として現れていない。この場合、ΔPOC_k,iの値をそのまま符号化してもよいが、前述した(d)の条件を利用するとΔPOC_k,i＝ΔBD_kとなり、この値はすでにBD[k]に記載されるため改めて符号化する必要がない。BD[m]に同じPOC番号がないことを示すためには、jの値としてBD[m]の成分の個数の値(すなわち、＃ΔPOC_m)またはそれ以上の値を設定する。後復号する際にｊの値を用いてΔPOC_k,iの復号方法については後述する。

各参照画像がもつ依存度情報D_ID_k,iについては、当該参照画像が予測に用いられるBD[m]に存在する場合、依存度情報D_ID_k,iはD_ID_m,jに等しいので符号化する必要がない。一方、当該参照画像が予測に用いられるBD[m]に存在しない場合は、依存度情報D_ID_k,iを符号化する。

以上の考え方に基づいて、図８の８２２、８２４の中身（シンタックス）が構成される、次に、この考え方に基づいて図３のブロック３６０と図４のブロック４６０の処理を説明する。

図６は、本発明の実施形態による動画像予測符号化装置１００におけるバッファ記述情報の符号化処理（図３のブロック３６０の処理）を示す流れ図である。これは、図８におけるｋ＞０の場合のBD[k]の符号化処理に当たる。ステップ６１０では、BD[k]の成分の個数、すなわち記述される参照画像の枚数＃ΔPOC_kを符号化する。次にΔBD_kを算出（ステップ６２０）した上で、それを符号化（ステップ６３０）する。次にBD[k]の各成分について下記の処理を行う。ステップ６４０では、BD[m](m=k-1)の中からΔPOC_k,iと同じ参照画像を共有するΔPOC_m,j（すなわちPOC_m,j＝POC_k,i）が存在するかどうかを検出する。ステップ６４５で存在すると判定した場合は、ステップ６５０に進み、上記式（４）に従いΔidx_k,iの値を求めた上でそれを符号化する。ステップ６４５で存在しないと判定した場合は、ステップ６５５に進む。ステップ６５５では値ｊにBD[m]の成分の個数（＃ΔPOC_m）の値を設定する。それより大きい値でもよい。ステップ６６０では上記式（４）に従いΔidx_k,iの値を求めた上でそれを符号化する。ステップ６７０では当該参照画像の依存度情報D_ID_k,iを符号化する。上述した各値は、２値符号に変換した上で算術符号化を施して符号化するが、そのほかのエントロピー符号化方法を用いてもよい。上記の処理はBD[k]の最後の成分まで繰り返す。

図１７に示す従来技術によるバッファ記述情報を、上述した本発明による方法で処理した結果は図５に示す。欄５０１は各BD[k]の識別子を示し、本実施の形態では、明示的に符号化しない。欄５０２は各BD[k]の成分の個数、５０４はBD[k]の参照画像を記述するためのデータを示す。行５１０はBD[0]に相当し、ΔPOC_k,iの値で符号化する。行５１１以降は、Δidx_k,iの値を示している。欄５０５は予測に用いるBD[m]の識別子を示すが、本実施の形態では、m=k-1にしているため、符号化する必要がない。欄５０６はΔBD_kを示す。また、升目５２０〜５２３の各成分については、予測に用いるBD[m]に同じ参照画像がない場合に該当し、Δidx_k,iに加えて、D_ID_k,iを符号化する必要があるが、図５には省略されている。図５の５０４の下にある各升目の示す値はほとんど”0”で、図１７の従来技術の情報と比べて値が小さく、ダイナミックレンジが小さいため、効率的に符号化できる効果がある。また、従来技術では全て成分のD_ID_k,iを符号化するが、本発明による方法では、限られた成分のみに対してD_ID_k,iを符号化するので、さらに符号量を削減することができる。

図７は、本発明の実施形態による動画像予測復号装置２００におけるバッファ記述情報の復号処理（図４のブロック４６０の処理）示す流れ図である。これは、図８におけるｋ＞０の場合のBD[k]の復号処理に当たる。ステップ７１０ではBD[k]の成分の個数、すなわち記述する参照画像の枚数＃ΔPOC_kを復号する。ステップ７３０ではΔBD_kを復号する。次にBD[k]の各成分について下記の復号処理を行う。ステップ７４０ではΔidx_k,i を復号した上で、次の式を用いてインデックスｊの値を求める（ステップ７４５）。
j＝i＋Δidx_k,i＋offset_k,i-1 但しoffset_k,-1＝０ （６）

このインデックスｊを用いて、ステップ７５０にて復号の対象となるΔPOC_k,iの参照値となるΔPOC_m,jがBD[m]に存在するかどうかを判定する。ここでは、ｊ＜BD[m]の成分の個数（＃ΔPOC_m）であればΔPOC_m,jが存在し、ｊ≧（＃ΔPOC_m）であれば、ΔPOC_m,jは存在しない。ステップ７５０にて存在すると判定した場合はステップ７６０に進み、ΔPOC_k,iの値を求める。依存度情報D_ID_k,iはΔPOC_m,jがもつものをそのままコピーするだけである。依存度情報D_ID_k,iを符号化する必要がないことに注意されたい。ステップ７５０にて存在しないと判定した場合はステップ７６５に進む。ここでは、依存度情報D_ID_k,iを復号し、ステップ７７０にてΔPOC_k,iの値としてΔBD_kを代入する。上記の処理はBD[k]の最後の成分まで繰り返す。

このようにして、本発明によるバッファ記述情報の符号化・復号方法では、参照画像が繰り返して利用される性質を利用して、異なる画像に用いられるバッファ記述情報BD[k]の間の相関を利用して、冗長となる情報をコンパクトにすることにより、効率よくバッファ記述情報を符号化することができる。

図１６に示されているように、バッファに関する情報は対象画像の符号化・復号の順番に整理されている。そのために、前述した(a)〜(d)の関係が成立し、上述した実施形態によって最も効率のよい方法でバッファ記述情報を符号化することができる。一方、バッファ記述の順番は任意に並べてもよく、図１６に示した順番と異なる順序で各BD[k]を記載してもかまわない。この場合に対応した本発明によるもっと汎用性のある実施形態を説明する。

図９は図１６と若干異なる順序でバッファの情報が記載されている。図１６と異なる点は、POC=25（９１３）に関するバッファ情報はPOC=30（９１４）より先に記述されている。但し、利用されている参照画像は図１６の場合と同じである。ここでは、POC=25（９１３）の対象画像は、POC=22、24、32、28、26、30の参照画像を利用するが、その１つ上にあるPOC=26（９１２）の対象画像はPOC=22、24、32、28を利用する。行９１３のバッファ記述情報BD[k]を予測するために、行９１２のバッファ記述情報BD[m]を用いると、BD[k]に属するPOC=30の成分（９６３）はBD[m]に現れていないし、BD[m]の利用により生成されるものではない。すなわち、前述した(c)の条件(m=k-1)を用いると、前述した(d)が満たされていないことになる。

この課題を解決するために、前述した(c)の条件を緩和させて、BD[m]を自由に選択できるようにし、その代わりに予測に用いるBD[m]を識別するためのインデックスｍを符号化する。そうすると、行９１３のバッファ記述情報BD[k]を予測するために、行９１４のバッファ記述情報をBD[m]として用いると、（インデックスmの符号化と復号を追加することを前提に）図６と図７をそのまま適用することができる。

また別の方法として、予測に用いられるBD[m]にない追加参照画像については、前述した式（１）におけるPOC番号ΔPOC_k,iをそのまま符号化してもよいし、または、ΔPOC_k,iからΔBD_kを差し引いた値をIBDR_k,iとして符号化してもよい。
IBDR_k,i＝ΔPOC_k,i−ΔBD_k （７）

上記式（７）を展開すれば（POC_k,i−POC_previous）に等しい。上述した本発明によるもっと汎用性のある実施形態によって生成されるPPSの中に記載のバッファ記述情報の模式図は図１２に示されている。図１２の１２１１は図８の８１１、１２２０は８２０と同じである。ｋ＞０のBD[k]は、１２２２や１２２４に示されているシンタックスで伝送される。この場合のシンタックスは、BD[ｋ]の成分の個数（すなわち対象画像及びそれ以降の画像に必要とする参照画像の枚数に相当）＃ΔPOC_k（１２３３、１２４０）、予測に用いるバッファ記述情報の識別子m_k（１２３４、１２４１）、ΔBD_k（１２３５、１２４２）、Δidx_k,i（１２３６、１２３７、１２４３、１２４４）、もしくは｛Δidx_k,i，D_ID_k,i，IBDR_k,i｝（１２３８、１２３９、１２４５、１２４６）から構成されている。

図１２に示すバッファ記述情報は次のように符号化・復号される。図１０は、本発明の実施形態による動画像予測符号化装置１００における、より汎用性のあるバッファ記述情報の符号化処理（図３のブロック３６０の処理）を示す流れ図である。これは、図１２におけるｋ＞０の場合のBD[k]の符号化処理に当たる。ステップ１０１０では、BD[k]の成分の個数、すなわち記述する参照画像の枚数＃ΔPOC_kを符号化する。次に予測に用いる参照用のバッファ記述情報BD[m]を決定し、その識別子m_kを特定すると同時にΔBD_kを算出（ステップ１０２０）する。ステップ１０３０では、m_kとΔBD_kを符号化する。次にBD[k]の各成分について下記の処理を行う。ステップ１０４０では、BD[m_k]の中からΔPOC_k,iと同じ参照画像を共有するΔPOC_m,j（すなわちPOC_m,j＝POC_k,i）が存在するかどうかを検出する。ステップ１０４５にて存在すると判定した場合は、ステップ１０５０に進み、前述した式（４）に従いΔidx_k,iの値を求めた上でそれを符号化する。ステップ１０４５で存在しないと判定した場合は、ステップ１０５５に進む。ステップ１０５５では、インデックスｊにBD[m]の成分の個数（＃ΔPOC_m）の値以上の値を設定する。この場合（BD[m]にない）追加参照画像は１枚以上ある可能性に対応するため、まだ設定に使用されていない値をインデックスｊの値として設定する。ステップ１０６０では、前述した式（４）に従いΔidx_k,iの値を求めた上でそれを符号化する。ステップ１０７０では、上記式（７）に従いIBDR_k,iの値を求めた上で当該参照画像の依存度情報D_ID_k,iとともに符号化する。上述した各値は、２値符号に変換した上で算出符号化を施して符号化するが、そのほかのエントロピー符号化方法を用いてもよい。上記の処理はBD[k]の最後の成分まで繰り返す。

図９のバッファ記述情報を、図２０に示すΔPOC_k,iに一旦換算した上で、上述した汎用性のある方法で処理した結果は図２１に示す。欄９４１は各BD[k]の識別子を示す。欄９４２は各BD[k]の成分の個数、欄９４４はBD[k]の参照画像を記述するためのデータを示す。行９５０はBD[0]に相当し、ΔPOC_k,iの値で符号化する。行９５１以降は、Δidx_k,iもしくは｛Δidx_k,i，D_ID_k,i，IBDR_k,i｝で符号化する（図２１ではD_ID_k,iを省略）。欄９４５は予測に用いるBD[m]の識別子m_kを示す。欄９４６はΔBD_kを示す。また、升目９８０〜９８３の各成分については、予測に用いるBD[m]に同じ参照画像がない場合に該当し、｛Δidx_k,i，D_ID_k,i，IBDR_k,i｝を符号化する場合に相当する。図２１の９４４の下にある各升目の示す値はほとんど”0”で、図２０の従来技術の情報と比べて値が小さく、ダイナミックレンジが小さいため、効率的に符号化できる効果がある。

図１１は、本発明の実施形態による動画像予測復号装置２００における、より汎用性のあるバッファ記述情報の復号処理（図４のブロック４６０の処理）示す流れ図である。これは、図１２におけるｋ＞０の場合のBD[k]の復号処理に当たる。ステップ１１１０ではBD[k]の成分の個数、すなわち記述する参照画像の枚数＃ΔPOC_kを復号する。ステップ１１３０ではm_kとΔBD_kを復号する。次にBD[k]の各成分について下記の復号処理を行う。ステップ１１４０ではΔidx_k,iを復号した上で、上記式（６）を用いてインデックスｊの値を求める（ステップ１１４５）。

このインデックスｊを用いて、ステップ１１５０にて復号の対象となるΔPOC_k,iの参照値となるΔPOC_m,jがBD[m]に存在するかどうかを判定する。ここでは、ｊ＜BD[m]の成分の個数（＃ΔPOC_m）であればΔPOC_m,jが存在し、ｊ≧（＃ΔPOC_m）であれば、ΔPOC_m,jは存在しない。ステップ１１５０にて存在すると判定した場合はステップ１１６０に進み、ΔPOC_k,iの値を求める。依存度情報D_ID_k,iはΔPOC_m,jがもつものをそのままコピーするだけでよい。ステップ１１５０にて存在しないと判定した場合はステップ１１６５に進む。ここでは、IBDR_k,iと依存度情報D_ID_k,iを復号し、ステップ１１７０にてΔPOC_k,iの値を算出する。上記の処理はBD[k]の最後の成分まで繰り返す。

このようにして、本発明によるバッファ記述情報の符号化・復号方法では、参照画像が繰り返して利用される性質を利用して、異なる画像に用いられるバッファ記述情報BD[k]の間の相関を利用して、冗長となる情報をコンパクトにすることにより、効率よくバッファ記述情報を符号化することができる。加えて、バッファ記述情報の相互参照が自由に行われる場合にも効率的に符号化できる効果がある。

図６と図１０の符号化処理や、図７と図１１の復号処理は、別々に説明したが、この二つの実施形態を組み合わせて用いてもよい。復号処理では、図７のステップ７６５、７７０と図１１のステップ１１６５、１１７０とが異なるが、組み合わせて用いる場合は、これらの処理を識別するための情報（１ビット）を追加して符号化すればよい。

また、図５の行５１２，５１３，５１４，５１７に見られるように、Δidx_k,iの値は全てゼロの値であることから、それらの値を個別に符号化する代わりに、ひとつの信号（フラグ）で表すこともできる。

また、上記の実施形態では、バッファ記述情報に記載されている参照画像のPOC番号は、一旦ΔPOC_k,iに換算した上で、本発明によるバッファ記述情報を符号化・復号されるが、本発明による方法はPOC番号自体に施してもよい。すなわち、対象となるバッファ記述情報BD[k]にあるPOC番号が、予測に用いるBD[m]にある場合は、そのPOC番号を指すΔidx_k,iを符号化する。所望のPOC番号がBD[m]にない場合は、前述した式（１）で求められるΔPOC_k,iをIBDR_k,iとして符号化する。前述した式（１）の代わりに式（７）を用いてもよい。この場合図３のブロック３６０の処理は、図１８に示されており、図４のブロック４６０の処理は、図１９に示されている。図１８は図１０と、図１９は図１１と、それぞれほぼ同じ処理が行われており、図１８、図１９では、対応する図１０、図１１の処理ステップのステップ番号に「Ｓ」を付したステップ番号を用いている。但し、ΔPOCの代わりにPOCに対し処理が施されている。また、この場合ΔBD_kはゼロとなるのでそれを符号化・復号する必要がない。そして、m=(k-1)と固定した場合（すなわち直前のBD[m]から予測する場合）は、m_kも符号化・復号する必要がない。

なお、上記の実施形態において、対象となるバッファ記述BD[k]のi成分をbd_k,iとし、予測に用いるBD[m]の成分をbd_m,jとすると、Δidx_k,iは、bd_k,iから見たbd_m,jの相対的な位置（インデックス、アドレス）と考えられる。すなわち、bd_k,iおよびbd_m,jを情報格納庫と考えると、当該情報格納庫中にPOC番号を入れてもよいし、ΔPOCの値を入れてもよい。この場合、Δidx_k,iは情報格納庫間（それらの中身には共通に使われているPOC番号があることが条件）の相対的な位置との扱いになる。言い換えると、本発明によるバッファ記述は、対象画像のバッファ情報を格納する情報格納庫と対象画像の参照となるバッファ情報を格納する情報格納庫との位置関係を記述するものであり、指されている情報格納庫の位置（ｊ）と中身が存在している情報格納庫の個数（＃ΔPOC_mまたは＃POC_m）とを比較することで、bd_k,iの中身の再生方法を切り替える方法を提供する。

本発明によるバッファ記述情報の符号化・復号方法については、次のような実施形態もある。本実施形態は、図６と図７に示す実施形態と同じく、前述した条件(c)と(d)を前提としている。すなわち、対象となるバッファ記述情報BD[k]を予測するために用いられるバッファ記述情報をBD[m]として、その１つ前にあるBDを用いる。すなわちm=(k-1)である。また、BD[k]にある追加参照画像は１枚のみで、この１枚の追加参照画像はBD[m]を用いた場合に生成されたものである。

これらの条件のもとで、本実施形態は、対象となるバッファ記述BD[k]の情報を符号化する際に、予測に用いられるBD[m]の中に、BD[k]の成分であるΔPOC_k,iと同じ参照画像を共有するΔPOC_m,j（すなわちPOC_m,j＝POC_k,i）が「存在するかどうか」を識別するものである。しかるに、前述した実施形態では「相対的な位置Δidx_k,i」を用いていたが、本実施形態では、単に「あるかどうか」を示すフラグを用いる。このフラグとして、ここではibd_flag_k,jと記載する。フラグibd_flag_k,jが「ある」を示す場合は、既にバッファに格納されているｊ番目の画像は引き続き参照画像として用いられる。一方、フラグibd_flag_k,jが「ない」を示す場合は、指定された別の画像が新たな参照画像（追加参照画像）としてバッファに格納される。

また、条件(c)と(d)のもとでは、BD[k]の個数は、多くてもBD[m]の個数より１つ多いので、すなわち常に＃ΔPOC_k＝＃ΔPOC_m＋１となるため、＃ΔPOC_kを送る必要がない。そのため、本実施形態では、さらに符号量の削減ができる。

上記の考え方に基づいた本実施形態によるバッファ記述情報の符号化処理は図２２に示されている。これは、図３のステップ３６０の処理になる。ステップ２２１０では、ΔPOC_kの個数とΔPOC_mの個数に関する情報を取得し、後続の判定のために用いる。ステップ２２２０では、式（５）で与えられたΔBD_kを求め、ΔBD_kを符号化する。すなわち、ΔBD_kは、BD[k]の情報を利用する対象画像のPOC番号POC_currentと、BD[k]の予測に用いられるBD[m]の情報を利用する画像のPOC番号POC_previousとの差として求められる。ステップ２２３０では、BD[k]のカウンタiと、BD[m]のカウンタjをゼロに初期化する。

次にステップ２２４０から２２６５にかけて、ΔPOC_mの個数分のBD[m]の成分を調べる。具体的には、ステップ２２４５の条件が満たされた場合はステップ２２５０に、そうでない場合はステップ２２６０に進む。しかるにステップ２２４５の条件は式（３）によって与えられ、(POC_k,i＝POC_m,j)の場合に当たる。ステップ２２５０では、当該条件が満たされることを示すためibd_flag _k,j を１として符号化する。同時にBD[k]のカウンタiを増分する。一方、ステップ２２６０では、当該条件が満たされていないことを示すためibd_flag_k,jを０として符号化する。ステップ２２６５では、次のBD[m]を調べるためカウントｊを増分する。

ステップ２２４０の条件が満たされない場合、すなわちBD[m]の全成分を調べ終えた場合は、ステップ２２７０に進む。ここでは、対象となるバッファ記述情報BD[k]のカウンタiとΔPOC_kの個数とを比較する。BD[k]のカウンタiは０から勘定するので、その最大値は（ΔPOC_kの個数−１）となる。ステップ２２７０で（i＝ΔPOC_kの個数）との条件を満たせば、カウンタiはBD[k]の成分の個数を超えることになり、ibd_flag_k,jを０として符号化し、処理を終了する。一方、ステップ２２７０で（i＝ΔPOC_kの個数）との条件が満たされていない場合は、BD[m]にない追加参照画像をバッファに格納することを意味する。それに関する情報を符号化するため、ステップ２２９０ではibd_flag_k,jを１として符号化し、ステップ２２９５では、当該追加参照画像の依存度情報D_ID_k,iを符号化する。なお、図６で説明したように当該追加参照画像のΔPOC_k,iの値はΔBD_kであるため、符号化する必要がない。

このように生成されたPPSの中に記載するバッファ記述情報のデータ配列は図２４に示されている。図２４は図８とほとんど同じである。２４１１で示されている「BDの個数」は図８の８１１と同じで、最初のBDであるBD[0]に関する情報２４２０は図８の８２０と同じであり、それぞれ図３のステップ３２０と３３０にて生成される。

ｋ＞０のBD[ｋ]に含まれる情報は図２４の２４２２、２４２４に例示されている。その中身として、ΔBD_k（２４３４、２４４０）、ibd_flag_k,j（２４３５、２４３６、２４３７、２４４１、２４４２、２４４３、２４４４）、もしくは｛ibd_flag_k,j，D_ID_k,i｝（２４３８）が記載されている。このデータ構造（シンタックス）は図８に似ており、ｋ＞０のBD[k]の個数である＃ΔPOC_k（８３３、８３９）は不必要であることに注意されたい。ibd_flag_k,jは１もしくは０の値をとることになる。BD[k]の個数に関する情報を符号化する必要がないため、より少ないビット数でバッファ記述情報を表すことができる効果がある。

図２３には本実施形態によるバッファ記述情報の復号処理の別の実施方法を示す。ステップ２３１０では、予測に用いられるBD[m]の成分であるΔPOC_mの個数（＃ΔPOC_m）を取得する。BD[m]を復元しながら、その成分の個数をカウントすることにより、ΔPOC_mの個数（＃ΔPOC_m）が得られる。ステップ２３２０では、BD[k]のカウンタであるiと、BD[m]のカウンタであるjをゼロに初期化する。ステップ２３３０にてバッファ情報に記載されているΔBD_kの値を復号する。続いて、（＃ΔPOC_m＋１）個分のibd_flag_k,jを復号する（ステップ２３４５によって制御）。復号されたibd_flag_k,jの値に基づいてステップ２３４５以降の処理を行う。

ステップ２３４５では、BD[m]のカウンタjを判定する。カウンタjがΔPOC_mの個数に達するまでは、ibd_flag_k,jの値（１または０）をもとに、ΔPOC_m,jを用いてΔPOC_k,iを復元するか否かを判定する（ステップ２３５０）。ibd_flag_k,jの値が１の場合はステップ２３５５にてΔBD_kとΔPOC_m,jとを加算してΔPOC_k,iを生成する。この場合、ΔPOC_k,iとΔPOC_m,jとは同じ参照画像を共有する（POC_m,j＝POC_k,iである）ため、依存度情報D_ID_k,iはΔPOC_m,jに関連付けられる依存度情報D_ID_m,jをそのままコピーすればよい。次にBD[k]のカウンタiを増分した上で、BD[m]の次の成分に対する判断を行う。

BD[m]の成分を最後までチェックしたのち（ステップ２３４５にてNOとなった場合に相当）、最後のibd_flag_k,jの値を判定する（ステップ２３７０）。ibd_flag_k,j＝０の場合は、追加参照画像がないことを意味し、何も処理を行わず、後述のステップ２３９０へ進む。一方、ibd_flag_k,j＝１の場合は、（BD[m]にない）追加参照画像があることを意味し、ステップ２３７５にて依存度情報D_ID_k,iを復元する。ステップ２３８０では、当該追加参照画像のPOC番号としてΔBD_kを用いる（条件(d)を利用しているため）。また、BD[k]のカウンタiを増分する。そして最後に、カウンタiで勘定した値をBD[k]の個数として格納する（ステップ２３９０）。このBD[k]の個数は、BD[k+1]の各成分を生成するために用いられる（ステップ２３１０にて）。

図２２と図２３の処理方法では、BD[k]にある追加参照画像が１枚のみの場合の実施方法であるが、追加参照画像がＮ枚の場合は、このＮの値をBD[k]の情報の一部として送受信すればよい。この場合、追加参照画像に関するPOC番号はIBDR_k,iを用いて符号化・復号される。具体的には、図２２のステップ２２９５は図１０のステップ１０７０と同じ処理を、図２３のステップ２３７５は図１１のステップ１１６５と同じ処理を、図２３のステップ２３８０は図１１のステップ１１７０と同じ処理を、それぞれ実行すればよい。

また、上記ではibd_flag_k,jの値を１ビット（１または０）で表しているが、１ビット以上で表してもよい。この場合、追加したビットを用いて、他の情報（D_ID_k,i、IBDR_k,iまたはそれ以外の情報）が明示的に符号化されているかどうかを識別してもよい。

さらに、当該追加したビットを用いて、ΔPOC_k,iに関わる参照画像（すなわち、POC番号が式（１）に与えられたPOC_k,iをもつ参照画像）の適用範囲を示してもよい。具体的には、ibd_flag_k,jが「１」の場合は、ΔPOC_m,jを用いてΔPOC_k,iを復元すると同時に、ΔPOC_k,iに関わる参照画像は、現在処理の対象となる画像（カレント画像）及びそれに続く将来の画像（フューチャー画像、複数でもよい）に適用する。また、ibd_flag_k,jが「０１」の場合は、ΔPOC_m,jを用いてΔPOC_k,iを復元すると同時に、ΔPOC_k,iに関わる参照画像は、現在処理の対象となる画像（カレント画像）に適用せず、それに続く将来の画像（フューチャー画像、複数でもよい）のみに適用する。さらに、ibd_flag_k,jが「００」の場合は、ΔPOC_m,jをΔPOC_k,iの復元に用いない。

上記の実施形態では、バッファ記述情報に記載されたΔPOC_k,iに対し処理を施しているが、各参照画像が所有するPOC番号自体に対し処理を施してもよい。

なお、上記の全ての実施形態において、バッファ記述情報について述べた。バッファ記述情報は、対象画像を符号化・復号するために用いられる複数参照画像に関する記述でもあるため、上記の実施形態は、参照画像リストの管理方法としても用いられる。

また、上記の実施形態ではバッファ記述情報をまとめてPPS情報の一部として符号化する場合を説明したが、バッファ記述情報を個々の対象画像のヘッダに記載される場合でも適用できる。すなわち、図５の行５１０の情報をPOC=32の画像の圧縮データの先頭（ヘッダ）に、また行５１１の情報をPOC=28の画像の圧縮データの先頭（ヘッダ）に記載された場合にも適用できる。この場合、対象画像ｋに属するバッファ記述情報BD[k]は、先行して処理された画像mに属するバッファ記述情報BD[m]を参照にして、図６，７，１０，１１，１８，１９の処理で符号化・復号することができる。但し、予測の構造によって対象画像mは参照画像として全く用いられない場合があり（依存度情報D_IDの値が大きい）、その場合画像mに属するBD[m]を予測に用いない。なぜなら、参照画像として全く用いられない画像mは、データ量を制御したり復号処理を軽減したりするために捨てられることがあるからである。

コンピュータを上記の動画像予測符号化装置１００として機能させるための動画像予測符号化プログラムは、記録媒体に格納されて提供可能とされている。同様に、コンピュータを上記の動画像予測復号装置２００として機能させるための動画像予測復号プログラムは、記録媒体に格納されて提供可能とされている。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、又は半導体メモリ等が例示される。

図１３は、記録媒体に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示す図であり、図１４は、記録媒体に記憶されたプログラムを実行するためのコンピュータ３０の斜視図である。ここでのコンピュータ３０は、ＣＰＵを具備しソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを広く含む。

図１３に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。記録媒体１０が読み取り装置１２に挿入されると、コンピュータ３０は、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって上記の動画像予測符号化装置１００として動作することが可能になる。同様に、記録媒体１０が読み取り装置１２に挿入されると、コンピュータ３０は、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって上記の動画像予測復号装置２００として動作することが可能になる。

１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ（またはバッファ、DPB）、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１４…バッファ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…バッファ管理器。

Claims (6)

1. 動画像を構成する複数の画像を入力する入力手段と、
   前記画像を、過去に符号化した後に復号・再生された複数の画像を参照画像として予測符号化し、圧縮画像データを生成する符号化手段と、
   前記圧縮画像データを復号し、再生画像に復元する復元手段と、
   前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、
   前記画像格納手段を制御するバッファ管理手段と、を具備する動画像予測符号化装置であって、
   前記バッファ管理手段は、前記画像を処理する前に、前記画像を予測符号化する際に用いられる複数の参照画像に関するバッファ記述情報BD[k]をもとに前記画像格納手段を制御すると同時に、前記画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記バッファ記述情報BD[k]を符号化した後にその符号化データを前記圧縮画像データに付加することを特徴とする動画像予測符号化装置。
2. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
   動画像を構成する複数の画像を入力する入力ステップと、
   前記画像を、過去に符号化した後に復号・再生された複数の画像を参照画像として予測符号化し、圧縮画像データを生成する符号化ステップと、
   前記圧縮画像データを復号し、再生画像に復元する復元ステップと、
   前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納ステップと、
   前記画像格納ステップを制御するバッファ管理ステップと、を具備する動画像予測符号化方法であって、
   前記バッファ管理ステップでは、前記画像を処理する前に、前記画像を予測符号化する際に用いられる複数の参照画像に関するバッファ記述情報BD[k]をもとに、前記画像格納ステップを制御すると同時に、前記画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記バッファ記述情報BD[k]を符号化した後にその符号化データを前記圧縮画像データに付加することを特徴とする動画像予測符号化方法。
3. コンピュータを、
   動画像を構成する複数の画像を入力する入力手段と、
   前記画像を、過去に符号化した後に復号・再生された複数の画像を参照画像として予測符号化し、圧縮画像データを生成する符号化手段と、
   前記圧縮画像データを復号し、再生画像に復元する復元手段と、
   前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、
   前記画像格納手段を制御するバッファ管理手段、
   として機能させるための動画像予測符号化プログラムであって、
   前記バッファ管理手段は、前記画像を処理する前に、前記画像を予測符号化する際に用いられる複数の参照画像に関するバッファ記述情報BD[k]をもとに前記画像格納手段を制御すると同時に、前記画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記バッファ記述情報BD[k]を符号化した後にその符号化データを前記圧縮画像データに付加する、
   ことを特徴とする動画像予測符号化プログラム。
4. 動画像を構成する複数の画像のそれぞれに対し、過去に復号・再生された複数の画像を参照画像として予測符号化されたデータと、複数の前記参照画像に関するバッファ記述情報BD[k]の符号化データとを含む圧縮画像データを入力する入力手段と、
   前記圧縮画像データを復号し、再生画像に復元する復元手段と、
   前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、
   前記画像格納手段を制御するバッファ管理手段と、を具備する動画像予測復号装置であって、
   前記バッファ管理手段は、前記再生画像を復元する前に、前記再生画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記再生画像のバッファ記述情報BD[k]の符号化データを復号した後に、前記復号されたバッファ記述情報BD[k]をもとに前記画像格納手段を制御することを特徴とする動画像予測復号装置。
5. 動画像予測復号装置により実行される動画像予測復号方法であって、
   動画像を構成する複数の画像のそれぞれに対し、過去に復号・再生された複数の画像を参照画像として予測符号化されたデータと、複数の前記参照画像に関するバッファ記述情報BD[k]の符号化データとを含む圧縮画像データを入力する入力ステップと、
   前記圧縮画像データを復号し、再生画像に復元する復元ステップと、
   前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納ステップと、
   前記画像格納ステップを制御するバッファ管理ステップと、を具備する動画像予測復号方法であって、
   前記バッファ管理ステップでは、前記再生画像を復元する前に、前記再生画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記再生画像のバッファ記述情報BD[k]の符号化データを復号した後に、前記復号されたバッファ記述情報BD[k]をもとに前記画像格納ステップを制御することを特徴とする動画像予測復号方法。
6. コンピュータを、
   動画像を構成する複数の画像のそれぞれに対し、過去に復号・再生された複数の画像を参照画像として予測符号化されたデータと、複数の前記参照画像に関するバッファ記述情報BD[k]の符号化データとを含む圧縮画像データを入力する入力手段と、
   前記圧縮画像データを復号し、再生画像に復元する復元手段と、
   前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、
   前記画像格納手段を制御するバッファ管理手段、
   として機能させるための動画像予測復号プログラムであって、
   前記バッファ管理手段は、前記再生画像を復元する前に、前記再生画像と異なる別の画像のバッファ記述情報BD[m]を参照して、前記再生画像のバッファ記述情報BD[k]の符号化データを復号し、その後、前記復号されたバッファ記述情報BD[k]をもとに前記画像格納手段を制御する、
   ことを特徴とする動画像予測復号プログラム。

Images