JP2008199252A - 動画像復号装置 - Google Patents

Abstract

【課題】補間対象領域に隣接する領域の類型を分類する際の演算量を削減してコンシールメント処理のオーバヘッド軽減を図る。
【解決手段】欠落マクロブロックに隣接する参照領域の類型を分類する際に、先ず第１の分類処理Ｓ４２１により、参照領域を構成する画素の輝度値の分布状況を表す特徴ベクトル１を求めて、この特徴ベクトル１をもとに“Smoothness”又は“Texture”であるかどうかを判定する。そして、この第１の分類処理により上記参照領域の類型を分類できなかった場合に限り第２の分類処理Ｓ４２２に移行し、この第２の分類処理Ｓ４２２により上記参照領域に存在する画素について勾配を表す特徴量ベクトル２を算出し、この算出された特徴量ベクトル２と上記特徴量ベクトル１とに基づいて上記参照領域の類型が“Smoothness”、“Edge”、“Texture”のいずれであるかを判定する。
【選択図】 図５

Description

この発明は、動画像データを復号する際に、画像フレームのエラーを修復するエラーコンシールメント機能を備える画像復号装置に関する。

近年、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末の中には、地上ディジタル放送のワンセグメント放送を受信する機能を備えた端末が多くなっている。地上ディジタル放送のワンセグメント放送では動画像の符号化方式としてITUT H.264方式が採用されている。このため、上記携帯端末には上記ITUT H.264方式に対応する動画像復号装置が設けられている。

ところで、携帯端末の動画像復号装置では、例えば無線伝送路においてビットストリーム中にエラーが混入すると、可変長復号の同期が回復するまで画像の復号が不可能になり、視覚的に大きな劣化を生じる。そこで、エラーが混入したことにより失われた領域を、フレームメモリに蓄えられた既に復号済みの画像信号を用いて補間するエラーコンシールメント処理が行われる。

エラーコンシールメントには大別して、フレーム間の相関を利用する時間的コンシールメントと、フレーム内の相関を利用する空間的コンシールメントと、前述２つを組み合わせた時空間的コンシールメントがある。一般的には符号化の基準単位であるマクロブロック（ＭＢ）ごとにエラーの有無を特定して補間処理を行うが、補間処理方法を適応的に切り替えることでより画質改善効果の高いエラーコンシールメントが可能となる。

このうち空間的コンシールメントについては，欠落したマクロブロックに隣接する参照領域を“Smoothness”、“Edge”、“Texture”と呼ばれる３つの類型に分類し、その分類結果から欠落したマクロブロックの特徴を推定して補間処理の内容を切り替える手法がある。ここで、“Smoothness”とは空のように画素値がほぼ一様な領域であり、図１５（ａ）〜（ｃ）にその一例を示す。“Edge”はエッジパターンが含まれる領域であり、図１６（ａ）〜（ｃ）にその一例を示す。“Texture”は幾何学的模様や花壇のように画素値のばらつきが大きい領域であり、図１７（ａ）〜（ｃ）にその一例を示す。

ところで、欠落マクロブロックに隣接する参照領域を上記３つの類型に分類する手法としては、従来より例えばエッジパターンを表す勾配の情報を指標の１つとして用いるものが知られている（例えば、非特許文献１を参照。）。
Zhang Rongfu, et. al, "Content-Adaptive Spatial Error Concealment for Video Communication"， IEEE Transactions on Consumer Electronics, Vol. 50, No. 1, pp.335-340, Feb. 2004. 特にFig.2のcontent estimation and classification。

ところが、上記非特許文献１に記載された手法では、欠落マクロブロックの分類に用いるすべての参照領域に対しエッジパターンを検出するための勾配計算が行われる。勾配の計算は、一般的にSobel FilterやPrewitt Filterなどのフィルタを勾配算出領域の各画素に対して適用することにより行われる。このため、領域内すべての画素に対して勾配計算を行うことになり、演算量が膨大になる。この勾配の情報は、参照領域の類型が“Edge”の場合には当該勾配情報が補間処理に用いられるため無駄にはならない。しかし、参照領域の類型が“Smoothness”又は“Texture”の場合には、上記勾配の情報は補間処理に使われないため無駄な演算となる。この演算処理は、コンシールメント処理を行う際の無視できないオーバヘッドとなり、特に携帯電話機やＰＤＡ（Prsonal Digital Assistant）等の携帯端末のように画像処理能力に限りのある機器にあっては非常に大きな問題となる。

この発明は上記事情に着目してなされたもので、その目的とするところは、補間対象ブロックに隣接する参照領域の類型を分類する際の演算量を削減してコンシールメント処理のオーバヘッドの軽減を図った画像復号装置を提供することにある。

上記目的を達成するためにこの発明の第１の観点は、ブロックごとに符号化された画像データを復号処理して復号画像データを出力する画像復号装置において、上記復号画像データ中から上記復号処理により正しく復号がなされなかった欠落画素を含む修復対象ブロックを特定して、この特定された修復対象ブロックに隣接しかつ上記復号処理により正しく復号がなされた参照領域を選択する。そして、上記選択された参照領域ごとに当該参照領域内における画素値の分散状況を表す特徴量を統計的手法を用いて検出し、この検出された画素値の分散状況を表す特徴量に基づいて、上記参照領域の画像の類型が、画素値が一様に分布した第１の類型であるか、画素値のばらつきの多い第２の類型であるか、或いはエッジパターンを含む第３の類型であるかを第１の判定手段により判定する。そして、この第１の判定手段による参照領域の類型の判定結果に基づいて、上記修復対象ブロックの類型が第１の類型、第２の類型及び第３の類型のいずれであるかを推定し、この推定結果に基づいて上記第１、第２及び第３の類型に対応付けて予め用意された複数の補間処理手段の中から補間処理手段を選択して、上記欠落画素を含む修復対象ブロックの補間処理を行うように構成したものである。

また、この発明の第２の観点は、上記第１の判定手段により上記参照領域の画像の類型が判定されなかった場合に、上記参照領域における画素値の勾配を表す特徴量を算出する。そして、この算出された画素値の勾配を表す特徴量に基づいて、上記参照領域の画像の類型が上記第１の類型であるか、上記第２の類型であるか、或いは上記第３の類型であるかを第２の判定手段により判定するように構成したものである。

したがって、この発明の第１の観点によれば、参照領域の画像の類型を判定する際に、当該参照領域内における画素値の分散状況を表す特徴量が統計的手法を用いて検出され、この検出された画素値の分散状況の特徴量に基づいて画像の類型が判定される。このため、常に参照領域における画素値の勾配を表す特徴量を算出してこの勾配を表す特徴量をもとに画像の類型を判定する場合に比べ、参照領域の画像の類型を判定する場合に必要な演算量が削減され、コンシールメント処理のオーバヘッドが軽減される。

また、この発明の第２の観点によれば、第１の判定手段により参照領域の画像の類型が判定されなかった場合に限り、当該参照領域における画素値の勾配を表す特徴量が算出され、この算出された画素値の勾配を表す特徴量に基づいて上記参照領域の画像類型の再判定が行われる。このため、演算量を少量に抑えつつ、画素値の分散状況を表す特徴量からでは正確な類型判定が行えない場合でも画素値の勾配を表す特徴量をもとに正確な類型判定を行うことが可能となる。

すなわち、この発明によれば、補間対象ブロックに隣接する領域の類型を分類する際の演算量を削減してコンシールメント処理のオーバヘッドの軽減を図ることが可能な画像復号装置を提供することができる。

（第１の実施形態）
この発明の第１の実施形態は、この発明に係わる動画像復号装置を携帯電話機等の携帯端末に設けたもので、地上ディジタル放送の１セグメント放送（以後をワンセグ放送と称する）により受信した符号化動画像データストリームの欠落マクロブロックを当該マクロブロックに隣接する参照領域をもとに補間する際に、当該参照領域の類型を先ず画素の分布状況を統計的手法を用いて算出して判定し、この判定の結果類型が“Edge”の可能性がある場合にのみ画素値の勾配を表す特徴量を算出してその算出結果をもとに類型を再判定するように構成したものである。

図１は、この発明の第１の実施形態に係わる画像復号装置を備えた携帯端末の構成を示すブロック図である。
この実施形態に係わる携帯端末は、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、記憶ユニット４と、ディジタル放送受信ユニット５と、電源ユニット６とから構成される。

同図において、先ず通話モードが設定されている状態では、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号がベースバンドユニット２のエンコーダ２３に入力される。また、カメラ（ＣＡＭ）３１から出力されたビデオ信号もエンコーダ２３に入力される。エンコーダ２３は、上記送話音声信号をCELP（Code Excited Liner Predictive coding）所定の符号化方式で符号化すると共に、上記ビデオ信号を例えばMPEG-4（Moving Picture Coding Experts Group-4）方式に従い符号化し、この符号化されたオーディオデータ及びビデオデータをそれぞれパケット化したのち多重化して送信マルチメディアデータを出力する。この送信マルチメディアデータは、制御モジュール２１においてさらに宛先情報などの種々制御情報が多重化されたのち、無線ユニット１の送信回路（ＴＸ）１５に供給される。

送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式やＱＡＭ（Quadrature Amplitude Modulation）方式等のディジタル変調方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この変調された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。

これに対し、基地局から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。

上記復調器から出力された受信パケットデータはベースバンドユニット２に入力される。そして、このベースバンドユニット２内において、制御モジュール２１を介してデコーダ２２に入力される。デコーダ２２は、上記受信パケットデータをオーディオパケットとビデオパケットに分離したのち、オーディオパケットをデパケットしたのちオーディオデータに復号する。この復号されたオーディオフレームは、アナログ信号に変換されたのちユーザインタフェースユニット３のスピーカ３５から受話音声として拡声出力される。またデコーダ２２は、上記入力されたビデオパケットをデパケットしたのち、例えばＭＰＥＧ４方式に従いビデオフレームに復号する。この復号されたビデオフレームはユーザインタフェースユニット３の表示デバイス３４で表示される。表示デバイス３４は、例えばＬＣＤ（Liquid Crystal Display）３３からなる。

一方、ディジタル放送視聴モードが設定されている状態において、図示しない放送局から送信された放送信号は、アンテナ５１を介してディジタル放送受信ユニット５で受信復調される。そして、上記受信復調された受信放送データは、ベースバンドユニット２の制御モジュール２１においてヘッダの解析等が行われたのち、デコーダ２２に入力される。デコーダ２２は、上記入力された受信放送データをオーディオパケットとビデオパケットに分離する。そして、オーディオパケットをデパケットしたのちオーディオフレームに復号し、またビデオパケットをデパケットしたのち画像フレームに復号する。

例えば、地上波ディジタル放送のワンセグ放送では、オーディオデータはMPEG2 AAC方式で符号化され、ビデオデータはITUT H.264方式で符号化されている。このため、上記デコーダ２２は、上記オーディオパケット及びビデオパケットをこれらの符号化方式に対応する復号方式により復号する。上記復号されたオーディオ信号はユーザインタフェースユニット３のスピーカ３５から拡声出力され、ビデオ信号は表示デバイス３４に供給されて表示される。

なお、電源ユニット６には、リチウムイオン電池等のバッテリ６１と、このバッテリ６１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路６２と、電圧生成回路（ＰＳ）６３とが設けられている。電圧生成回路６３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ６１の出力電圧をもとに所定の電源電圧Ｖccを生成する。

ところで、上記デコーダ２２は例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、この発明に係わる機能として次のような機能を備えている。図２はその機能構成を示すブロック図である。すなわち、デコーダ２２は、復号部１００と、欠落領域情報メモリ２００と、コンシールメント部３００と、復号化ピクチャバッファ４００とを備えている。

このうち復号部１００は、復号器と、エラー検出部１１０と、切替制御部１２０とを備えている。復号器は、入力されたビデオデータのビットストリームを可変長符号テーブルに従いマクロブロック単位で可変長復号し、復号されたピクチャデータを符号化ピクチャバッファ４００へ出力する。

エラー検出部１１０は、上記復号器で復号処理されるビデオデータのビットストリームにシンタックス上の誤りが混入していた場合に、これを検出する。そして、この検出結果に応じ、マクロブロックごとに正常に復号されたか否かを表すフラグ情報StatusFragを生成して、このフラグ情報StatusFragを１画像フレーム分ずつ欠落領域情報メモリ２００に記憶させる。
切替制御部１２０は、上記復号器により１フレーム分の復号処理が終了し、次のピクチャ境界が検出された時点で、コンシールメント部３００に対し上記復号処理が終了した修復対象フレームに対するコンシールメント処理を指示するための通知を行う。

コンシールメント部３００は、コンシールメント制御部３１０と、周辺領域情報取得部３２０と、周辺領域バッファ３３０と、勾配情報算出部２４０と、勾配選択部３５０と、しきい値設定部３６０と、境界座標算出部３７０と、補間画素値算出部３８０とを備えている。

コンシールメント制御部３１０は、コンシールメント部３００内各部の動作を統括的に制御するもので、上記切替制御部１２０からコンシールメント処理を指示するための通知を受け取ると、上記コンシールメント部３００内の各部に、修復対象フレーム内の欠落領域に対するコンシールメント処理を行わせる。またそれと共に、修復対象フレームのすべての欠落マクロブロックに対する補間処理が終了すると、切替制御部１２０を介して復号部１００に対しコンシールメント処理の終了を通知し、復号部１００に次の画像フレームの復号処理を開始させる。なお、このとき切替制御部１２０は欠落領域情報メモリ２００に記憶された修復対象フレームに対応するフラグ情報をクリアする。

周辺領域情報取得部３２０は、上記欠落領域情報メモリ２００に記憶されたフラグ情報StatusFlagを参照し、修復対象マクロブロックに隣接するマクロブロックの中から、正しく復号がなされたマクロブロックを修復に利用することが可能な参照領域として選択する。例えば、いま図９（ａ）に示すごとく修復対象マクロブロックをＸとすると、その上下左右に隣接する４個のマクロブロックＡ〜Ｄが修復に利用可能か否かを、当該隣接マクロブロックＡ〜Ｄのフラグ情報StatusFlagをもとに判定する。図９（ｂ）の例では、隣接マクロブロックＡ〜Ｄのフラグ情報StatusFlagはそれぞれ１，１，０，１になっているため、隣接マクロブロックＡ，Ｂ，Ｄが修復に利用可能な参照領域と判定される。

周辺領域バッファ３３０は、周辺領域情報取得部３２０により修復に利用可能と判定された隣接マクロブロックの画素情報を、復号化ピクチャバッファ４００から取得して保存する。そして、境界座標検出部３７０から境界画素の座標値を受け取り、この受け取った境界画素の座標値をもとに、上記保存された隣接マクロブロックの画素情報のうち当該座標値に対応する画素情報を読み出して補間画素値算出部３８０へ出力する。

欠落領域分類部３４０は、上記周辺領域バッファ３３０から隣接マクロブロックの画素情報を読み出して、この読み出した隣接マクロブロックの類型を分類し、この分類結果をもとに補間対象マクロブロックの類型が“Smoothness”、“Edge”、“Texture”のいずれであるかを推定するもので、次のように構成される。図３はその構成を示すブロック図である。

すなわち、欠落領域分類部３４０は、統計情報算出部３４１と、勾配情報算出部３４２と、周辺領域解析部３４３と、欠落領域分類決定部３４４とを備え、さらに切替部３４５を備えている。
統計情報算出部３４１は、上記周辺領域バッファ３３０から予め設定した解析領域サイズ分の画素情報を読み出し、この読み出した画像情報をもとに画素値の分布情報を表す特徴量を統計的な手法により算出し、その算出結果を表す統計情報を切替部３４５を介して周辺領域解析部３４３に通知する。勾配情報算出部３４２は、上記周辺領域バッファ３３０から予め設定した解析領域サイズ分の画素情報を読み出し、この読み出した画像情報をもとに画素値の勾配を表す特徴量を算出し、その算出結果を表す勾配情報を切替部３４５を介して周辺領域解析部３４３に通知する。なお、ここでは、ある参照領域内の画像情報を解析する際、統計情報および勾配情報の算出に用いる参照領域の画素情報としては輝度信号を用いる。しかし、輝度情報と色差情報には相関があるため、起動情報の代わりに色差信号を用いることも可能である。

周辺領域解析部３４３は、上記統計情報算出部３４１および勾配情報算出部３４２により算出された情報をそれぞれ、予め設定された統計情報用のしきい値および勾配情報用のしきい値と比較して類型が“Smoothness”、“Edge”、“Texture”のいずれであるかを判定する。またそれと共に、上記統計情報の算出結果および勾配情報の算出結果を欠落領域分類決定部３４４に通知する。

欠落領域分類部３４４は、上記周辺領域解析部３４３による参照領域の類型の判定結果をもとに、補間対象マクロブロックの類型が“Smoothness”、“Edge”、“Texture”のいずれであるかを推定する。推定方法としては、例えば参照領域の類型の判定結果を多数決処理する方法が用いられる。

切替部３４５は、隣接マクロブロックの類型を分類する際に、先ず上記統計情報算出部３４１を選択して統計情報の算出を行わせる。そして、周辺領域解析部３４３が上記統計情報をもとに各参照領域の類型を判定できなかった場合にのみ、勾配情報算出部３４２を選択して上記勾配情報の算出処理を行わせる。

欠落領域補間処理部３５０は、補間対象マクロブロックを、上記周辺領域バッファ３３０から読み出した参照領域における上記補間対象マクロブロックとの境界画素の画素情報を用いて補間する。この補間処理に際しては、上記欠落領域分類部３４０による補間対象マクロブロックの類型の推定結果を参照する。

図４は、この欠落領域補間処理部３５０の構成を示すブロック図である。すなわち、欠落領域補間処理部３５０は、Smoothness補間処理部３５１と、Edge補間処理部３５２と、Texture補間処理部３５３とを備え、さらにこれらの補間処理部３５１，３５２，３５３の入力側及び出力側に一対の切替部３５４，３５５を備えている。この切替部３５４，３５５は、上記欠落領域分類部３４０により推定された補間対象マクロブロックの類型の推定結果に応じて、上記Smoothness補間処理部３５１、Edge補間処理部３５２及びTexture補間処理部３５３を択一的に切り替える。上記Smoothness補間処理部３５１、Edge補間処理部３５２及びTexture補間処理部３５３により補正された画素情報（輝度値又は色差値）は復号化ピクチャバッファ４００に供給され、該当する補間対象領域の位置に格納される。

復号化ピクチャバッファ４００は、画像フレームごとに、上記復号部１００により正常に復号された領域の画素値と、上記コンシールメント部３００の欠落領域補間処理部３５０により算出された欠落画素の画素値を記憶する。そして、上記コンシールメント部３００によりすべての欠落画素値の補間処理が終了した画像フレームを読み出して表示デバイス３４に供給する。

次に、以上のように構成されたデコーダ２２によるコンシールメント処理の手順と内容を説明する。図５はこのコンシールメント処理の手順と処理内容の概要を示すフローチャート、図６は同処理内容の具体例を示すフローチャートである。
制御モジュール２１からビデオデータのビットストリームが入力されると、復号部１００では上記入力されたビデオデータのビットストリームがそのマクロブロックごとに復号され、この復号されたピクチャデータが復号化ピクチャバッファ４００に送られて一時蓄積される。

またこの復号処理と並行して、上記復号処理されるビデオデータのビットストリームにシンタックス上の誤りが混入しているか否かがマクロブロックごとにエラー検出部１１０により判定される（ステップＳ４１）。そして、この誤りの有無の判定結果を表すフラグ情報が欠落領域情報メモリ２００に記憶される。例えば、正常に復号されたマクロブロックについてはStatusFlag＝１に設定され、復号不可能だったマクロブロックについてはStatusFrag＝０に設定されて、これらがフレーム単位で欠落領域情報メモリ２００に記憶される。図８に、欠落領域情報メモリ２００におけるフラグ情報StatusFragの記憶結果の一例を示す。
そして、１フレーム分のビデオデータの復号処理が終了すると、切替制御部１２０からコンシールメント制御部３１０対し、上記復号処理が終了したフレームに対するコンシールメント処理を指示する通知が送られる。

さて、上記コンシールメント処理の指示が通知されると、コンシールメント部３００では次のようにコンシールメント処理が行われる。
すなわち、先ず欠落画素を含むマクロブロックＸについて、隣接マクロブロックが周辺領域情報取得部３２０により選択される。例えば、欠落マクロブロックＸの周辺には図７に示すように８個のマクロブロックＡ〜Ｈがあり、このうちから先ず例えば図９（ａ）に示すように欠落マクロブロックＸの上下及び左右に隣接する４個の隣接マクロブロックＡ〜Ｄが選択される。次に、欠落領域情報メモリ２００に記憶されたフラグ情報StatusFlagを参照し、例えば図９（ｂ）に示すように上記４つの隣接マクロブロックＡ〜Ｄの中から欠落画素を含まないマクロブロックＡ，Ｂ，Ｄが参照マクロブロックとして選択される。そして、この選択された参照マクロブロックＡ，Ｂ，Ｄ内の各画素の画素値が上記復号化ピクチャバッファ４００から選択的に読み出され、この読み出された参照マクロブロックＡ，Ｂ，Ｄの各画素値が周辺領域バッファ３３０に格納される。

なお、復号化ピクチャバッファ４００から画素値を取得する参照マクロブロックの領域サイズは、必ずしも補間処理単位の領域サイズと等しくする必要はなく、後述する特徴ベクトル１及び２を検出するために必要な画素数分だけを取得すればよい。取得する参照領域のサイズと補間処理単位の領域サイズ（１６×１６画素）に含まれる画素数が等しくない場合の例を、図９（ｃ）に示す。この例では、１６×８画素または８×１６画素の領域を参照領域とする場合を示している。要するに、取得する参照領域の画素数サイズは参照領域の特徴ベクトルの検出精度と確保可能なバッファサイズによって任意に決定することができる。

次に、コンシールメント部３００はステップＳ４２に移行し、欠落領域分離部３４０により、上記選択された参照マクロブロック（参照領域）の類型を分類する処理を行う。この参照領域の分類処理は、ステップＳ４２１による第１の分類処理と、ステップＳ４２２による第２の分類処理と、ステップＳ４２３による分類処理の終了判定処理とから構成され、先ず第１の分類処理が行われる。

すなわち、この第１の分類処理Ｓ４２１において欠落領域分離部３４０は、先ず周辺領域バッファ３３０から参照領域の一つを選択する。そして、この選択した参照領域を構成する画素の輝度値の分布状況を表す特徴量ベクトル１を算出し、この特徴量ベクトル１をもとに上記選択した参照領域の分類を行う。

例えば、図６に示すように先ずステップＳ５１において、上記選択した参照領域に含まれる画素の輝度値に関してその度数分布を調べ、度数の最大値deg_maxを検出する。そして、上記参照領域内の画素数Ｎに対する上記検出された度数の最大値deg_maxの割合を表すdeg_max_rateを算出する。またそれと共に、上記選択した参照領域に含まれる画素の輝度値の最大値及び最小値をそれぞれ検出し、この検出した最大値と最小値との差を表すrangeを算出する。

次に欠落領域分離部３４０は、上記算出された輝度値の最大値と最小値との差rangeを予め設定したしきい値Th_rとステップＳ５２により比較する。そして、この比較の結果range＜Th_rだった場合には、上記選択した参照領域は“Smoothness”であるとステップＳ４２１３で判定し、まだ選択されていない次の参照領域の分類処理に移行する。これに対し、上記比較の結果range＞＝Th_rだった場合には、上記算出された度数の最大値deg_maxの割合を表すdeg_max_rateを、予め設定されたしきい値Th_dとステップＳ５３で比較する。そしてこの比較の結果、deg_max_rate＜Th_dだった場合には、上記参照領域は“Texture”であるとステップＳ４２１４で判定し、未選択の次の参照領域の分類処理に移行する。なお、上記しきい値Th_rおよびTh_dは、画像ごとに最適な値が異なるため、実験的に求めた値に設定される。

なお、以上の分類処理では、明らかにTextureである領域を分類する指標として“range”を用いた。しかし、仮に１画素でも離れた値を取るような場合には、意図する指標とはならないため、分散を用いる方がより精度良く分類を行える。ただし、分散を用いた場合は処理量が増える。さらに、第１の分類処理においては、明らかに“Smoothness”である領域を先に分類した後に、明らかに“Texture”である領域を分類した。しかしそれに限らず、先に明らかに“Texture”である領域を分類した後に、明らかに“Smoothness”である領域を分類するという構成も考えられる。

一方、上記ステップＳ５３による比較の結果、deg_max_rate＞＝Th_dだったとする。この場合、欠落領域分離部３４０は第２の分類処理Ｓ４２２に移行する。この第２の分離処理Ｓ４２２では、上記選択された参照領域に存在する画素について勾配を表す特徴量ベクトル２を算出し、この算出された特徴量ベクトル２と、先にステップＳ４２１１で算出された特徴量ベクトル１とに基づいて、上記選択された参照領域の類型を分類する処理が行われる。

例えば、図６に示すように先ずステップＳ５４において、上記特徴ベクトル２として上記選択した参照領域に含まれる画素の勾配ベクトルを算出する。この勾配ベクトルの算出は、例えばSobel FilterやPrewitt Filter等のフィルタ演算を上記参照領域の各画素に対して適用することにより行われる。次に、ステップＳ５５において、上記算出された勾配ベクトルと、先にステップＳ５１で算出されたrangeとをもとに分類条件を設定する。そして、この分類条件に基づいて、ステップＳ４２２３、Ｓ４２２４、Ｓ４２２５により上記選択した参照領域の類型を判定する。

以上のようにステップＳ４２２による第２の分類処理が終了すると、欠落領域分離部３４０はすべての参照領域についての分類処理が終了したか否かをステップＳ４２３で判定する。そして、まだ分類処理が行われていない参照領域が残っている場合には、第１の分類処理Ｓ４２１に戻って上記述べた手順で分類処理を実行する。

一方、すべての参照領域に対する分類処理が終了すると、欠落領域分離部３４０はステップＳ４２３からステップＳ４３に移行し、ここで上記各参照領域についての分類結果に基づいて補間対象の欠落マクロブロックの類型の推定処理を行う。例えば、図９（ａ）における参照領域Ａ，Ｂ，Ｄがそれぞれ“Smoothness”、“Texture”、“Smoothness”と判定された場合には、補間対象マクロブロックを“Smoothness”と推定する。

そうして欠落マクロブロックの類型が推定されると、コンシールメント部３００はステップＳ４４，Ｓ４６，Ｓ４８からそれぞれステップＳ４５，Ｓ４７，Ｓ４９に移行し、これらのステップＳ４５，Ｓ４７，Ｓ４９においてそれぞれ“Smoothness”、“Edge”、“Texture”に対応した補間処理を実行する。

例えば、欠落マクロブロックの類型が“Smoothness”と推定された場合には、Linear Interpolationを用いた補間処理が行われる。このLinear Interpolationを用いた補間処理は、例えば図１０に示すように補間しようとしている欠落画素ｐ(i,j)から隣接する上下左右の境界に向け垂線ｄ１，ｄ２，ｄ３，ｄ４を引き、その交点の４つの境界の画素値ｐ１(i1,j1)，ｐ２(i2,j2)，ｐ３(i3,j3)，ｐ４(i4,j4)を距離で重み付けして捕間する画素値を決定する。なお、このLinear Interpolationを用いた補間処理については、Viktor Varsa et al., “Non-normative error concealment algorithms”, ITU-Telecommunications Standardization Section, 14^th Meeting: Santa Barbara, CA, USA, 21-24 September, VCEG-N62(Proposal), 2001に詳しく述べられている。

一方、欠落マクロブロックの類型が“Edge”と推定された場合には、例えばDirectional Interpolationを用いた補間処理が行われる。このDirectional Interpolationを用いた補間処理は、欠落マクロブロックに隣接する参照領域から当該欠落マクロブロックに含まれるであろうエッジパターンを表す勾配ベクトルを算出する。そして、この算出された勾配ベクトルの方向を考慮して、例えば図１１に示すように境界の画素値ｐ１(i1,j1)，ｐ２(i2,j2)を距離ｄ１，ｄ２で重み付けすることにより、捕間する画素値ｐ(i,j)を決定する。

なお、本実施形態では、先に述べた第２の分類処理Ｓ４２２において既に勾配ベクトルが算出されたいるので、この算出済の勾配ベクトルを利用して上記補間画素値の計算を行うことが可能である。上記Directional Interpolationを用いた補間処理については、O. Nemethova, A. Al Moghrabi, M. Rupp, “Flexible Error Concealment for H.264 Based on Directional Interpolation”, Proc. of the 2005 International Conference on Wireless Networks Communications and Mobile Computing, Maui, Hawaii, USA, June, 2005.に詳しく述べられている。

さらに、欠落マクロブロックの類型が“Texture”と推定された場合には、例えばSearching the best match blockを用いた補間処理が行われる。この補間処理は、欠落マクロブロックの周辺から用意したコスト関数の値が最小になるようなマクロブロックを探索することにより類似性の高いと考えられるマクロブロックを特定する。そして、この特定したマクロブロックの画素値をコピーすることにより補間値を求めるものである。なお、このSearching the best match blockを用いた補間処理については、Zhang Rongfu, et. al, “Content-Adaptive Spatial Error Concealment for Video Communication”， IEEE Transactions on Consumer Electronics, Vol. 50, No. 1, pp.335-340, Feb. 2004.に詳しく述べられている。

上記欠落領域補間処理部３５０により算出された欠落画素Ｐ(i,j) の補間画素値は、復号化ピクチャバッファ４００に保持されているピクチャフレーム中の該当する画素位置に書き込まれる。以後同様に、欠落画素Ｐ(i,j) が含まれるすべてのマクロブロックについてコンシールメント部３００によりコンシールメント処理が行われ、これにより欠落画素Ｐ(i,j) の補間画素値が算出されて、ピクチャフレーム中の該当する画素位置に書き込まれる。

以上詳述したように第１の実施形態では、コンシールメント部３００において、欠落マクロブロックに隣接する参照領域の類型を分類する際に、先ず第１の分類処理Ｓ４２１により、参照領域を構成する画素の輝度値の分布状況を表す特徴ベクトル１を求めて、この特徴ベクトル１をもとに“Smoothness”又は“Texture”であるかどうかを判定する。そして、この第１の分類処理により上記参照領域の類型を分類できなかった場合に限り第２の分類処理Ｓ４２２に移行し、この第２の分類処理Ｓ４２２により上記参照領域に存在する画素について勾配を表す特徴量ベクトル２を算出し、この算出された特徴量ベクトル２と上記特徴量ベクトル１とに基づいて上記参照領域の類型が“Smoothness”、“Edge”、“Texture”のいずれであるかを判定するようにしている。

具体的には、上記第１の分類処理において、上記参照領域内の画素数Ｎに対する度数の最大値deg_maxの割合を表すdeg_max_rateを算出すると共に、上記参照領域に含まれる画素の輝度値の最大値と最小値との差を表すrangeを算出する。そして、上記rangeをしきい値Th_rと比較することにより上記参照領域が“Smoothness”であるかどうかを判定すると共に、上記deg_max_rateをしきい値Th_dと比較することにより上記参照領域が“Texture”であるかどうかを判定するようにしている。

したがって、第１の分類処理Ｓ４２１において明らかに“Smoothness”又は“Texture”であると判定された場合には、演算量の多い勾配ベクトルの算出処理が不要となる。このため、常に参照領域における画素値の勾配を表す特徴量を算出してこの勾配を表す特徴量をもとに画像の類型を判定する場合に比べ、参照領域の画像の類型を判定する場合に必要な演算量を削減して、コンシールメント処理のオーバヘッドを軽減することができる。この効果は、パーソナル・コンピュータやテレビジョン受信機に比べてデコーダの処理能力が低い携帯端末にあっては、画像データストリームの復号処理を円滑に行う上できわめて有効である。

また、第１の分類処理Ｓ４２１により参照領域の画像の類型が判定できなかった場合には、第２の分類処理Ｓ４２２により画素値の勾配ベクトルに基づく類型判定が行われる。このため、画素値の分布状況を表す特徴量からでは正確な類型判定が行えない場合でも、画素値の勾配を表す特徴量をもとに正確な分類を行うことが可能となる。

（第２の実施形態）
この発明の第２の実施形態は、欠落マクロブロックに隣接する参照領域の類型を分類する際に、第１の分類処理により参照領域を構成する画素の輝度値の分布状況を表す特徴ベクトル１を算出して、この特徴ベクトル１をもとに“Smoothness”であるか“Texture”であるかを判定し、“Smoothness”及び“Texture”のいずれでもない場合には“Edge”と見なすようにしたものである。

図１２は、この発明の第２の実施形態に係わる参照領域の分類処理手順とその処理内容を示すフローチャートである。なお、デコーダの構成については前記第１の実施形態において図２乃至図４を用いて説明した構成と同一であるため、第２の実施形態においても前記図２乃至図４を延用して説明を行う。

欠落領域分離部３４０は、先ず第１の分類処理Ｓ１１１に移行し、ステップＳ１１１１において、周辺領域バッファ３３０から選択した参照領域について画素の輝度値の度数分布を調べ、度数の最大値deg_maxを検出する。そして、上記参照領域内の画素数Ｎに対する上記検出された度数の最大値deg_maxの割合を表すdeg_max_rateを算出する。またそれと共に欠落領域分離部３４０は、上記選択した参照領域に含まれる画素の輝度値の最大値及び最小値をそれぞれ検出し、この検出した最大値と最小値との差を表すrangeを算出する。

次に欠落領域分離部３４０は、上記算出された輝度値の最大値と最小値との差rangeを予め設定したしきい値Th_rとステップＳ１１１２により比較する。そして、この比較の結果range＜Th_rだった場合には、上記選択した参照領域は“Smoothness”であるとステップＳ１１１４で判定する。そして、まだ選択されていない参照領域がある場合には、次の参照領域の分類処理に移行する。これに対し、上記比較の結果range＞＝Th_rだった場合には、上記算出された度数の最大値deg_maxの割合を表すdeg_max_rateを、予め設定されたしきい値Th_dとステップＳ１１１３で比較する。そしてこの比較の結果、deg_max_rate＜Th_dだった場合には、上記参照領域は“Texture”であるとステップＳ１１１５で判定し、まだ選択されていない次の参照領域の分類処理に移行する。

一方、上記上記ステップＳ５３による比較の結果、deg_max_rate＞＝Th_dだったとする。この場合、欠落領域分離部３４０は第２の分類処理Ｓ１１２に移行し、ステップＳ１１２１により上記参照領域を“Edge”と見なす。そして、まだ選択されていない参照領域がある場合には、次の参照領域の分類処理に移行する。
なお、上記参照領域の分類結果を用いた補間対象の欠落マクロブロックの分類処理、及びこの分類結果に基づく欠落ブロック中の欠落画素の補間処理の手順とその内容は、前記第１の実施形態と同じである。

以下に、上記図１２に示した分類処理手順と内容による評価結果の具体例を示す。
いま、しきい値Th_r，Th_dを図１２に例示したように実験的に求めた値Th_r＝３２及びTh_d＝０．３に設定し、かつ参照領域のサイズを16x8（8x16）画素に設定すると共に、度数分布を求める際の横軸（輝度値）の目盛を８に設定する。そして、この分類条件の下で、図１３に示すように画像サイズがＱＣＩＦ（Quarter Common Intermediate Format）で、かつビットレートが１２８kbpsの欠落マクロブロックを有し、当該欠落マクロブロックに対しその上下左右に隣接する参照領域について分類を行ったとする。

このときの分類結果を図１４に示す。同図において、各項目は左から順にマクロブロックアドレス（左上隅のアドレスがMbX=0、MbY=0）、参照領域の位置（上；upper、下；lower、左；left、右；right）、分類に用いた条件（図１２に例示した条件）、分類結果、主観による対象領域の分類（○印は分類結果と主観による分類が一致していることを示す）を示している。

この評価結果では、分類対象となる３５個の参照領域のうち、８個の領域が第１の分類処理Ｓ１１１を行ったことにより主観による分類と同じ結果が得られており、約２３％の勾配算出に関する演算量削減が図れている。なお、主観による分類結果とは異なる領域が一部存在したが、これは複数のエッジパターンが存在するなどrange及びdeg_max_rateだけでは元々分類が困難な領域である。この複数のエッジパターンが存在する参照領域については、第１の実施形態の図６に示したように、第２の分類処理Ｓ４２２により勾配情報を併用して分類することで、高精度の分類が可能となる。また、分類対象の参照領域サイズを同一とした場合、画像サイズが大きくなるにつれて１つの領域に含まれる画素値の相関が高くなると考えられる。このため、“Smoothness”、“Edge”、“Texture”の分類を行いやすくなる。

以上のように第２の実施形態では、第１の分類処理Ｓ１１１において参照領域が“Edge”と見なされた場合に限り参照領域における画素の勾配ベクトルを算出する処理が行われる。したがって、参照領域の勾配ベクトルの算出処理が行われる機会がさらに少なくなり、これによりデコーダの演算処理負担をさらに軽減して復号処理を一層円滑に行えるようになる。

（その他の実施形態）
前記実施形態ではデコーダ２２内にコンシールメント部３００を設けた場合を例にとって説明したが、コンシールメント部３００の機能を実現するアプリケーション・プログラムを制御モジュール２１のＣＰＵに実行させるように構成してもよい。また、コンシールメント部３００内の機能を分割して一部をデコーダ２２に実行させ、他部を制御モジュール２１に実行させるように構成してもよい。

さらに、前記実施形態では画像符号化方式としてITUT H.264方式を採用した場合を例にとって説明したが、画像データをブロック単位で符号化する符号化方式であれば、如何なる符号化方式を採用した画像データに対してもこの発明は適用可能である。また、この種の符号化方式により符号化された画像データであれば、動画像に限らず静止画像に対してもこの発明は適用可能である。

さらに、前記実施形態では地上ディジタル放送のワンセグ放送により受信した画像データを復号する場合を例にとって説明した。しかし、それに限らず、ウエブ上のコンテンツサーバからダウンロードした画像コンテンツデータや、メモリカードや高精細ＤＶＤ等の記録媒体に記録された画像コンテンツデータを復号する場合にも、この発明は同様に適用可能である。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる動画像復号装置を備えた携帯端末の構成を示すブロック図である。 図１に示した携帯端末のデコーダの機能構成を示すブロック図である。 図２に示したデコーダのコンシールメント部における欠落領域分離部の機能構成を示すブロック図である。 図２に示したデコーダのコンシールメント部における欠落領域補間処理部の機能構成を示すブロック図である。 図２に示したデコーダに設けられたコンシールメント部による参照領域分類処理の手順と内容を示すフローチャートである。 図５に示した参照領域分類処理の内容をさらに具体的に示すフローチャートである。 欠落したマクロブロックとその参照領域との関係を示す図である。 図２に示したデコーダに設けられた欠落領域情報バッファに記憶されるフラグ情報の一例を示す図である。 欠落したマクロブロックと当該マクロブロックを修復するために用いる参照領域から選択されたマクロブロックとの位置関係の一例を示す図である。 “Smoothness”と判定された隣接マクロブロックに基づく補間処理の一例を示す図である。 “Edge”と判定された隣接マクロブロックに基づく補間処理の一例を示す図である。 この発明の第２の実施形態に係わる動画像復号装置による参照領域分類処理の手順と内容を示すフローチャートである。 図１２に示した参照領域分類処理を具体的に説明するための画像の一例を示す図である。 図１３に示した画像の部類結果を表す情報の一例を示す図である。 “Smoothness”と判定されるマクロブロックの一例を示す図である。 “Edge”と判定されるマクロブロックの一例を示す図である。 “Texture”と判定されるマクロブロックの一例を示す図である。

符号の説明

１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…記憶ユニット、５…ディジタル放送受信ユニット、１１…移動通信用アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２２…デコーダ、２３…エンコーダ、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…入力デバイス、３４…表示デバイス、３５…スピーカ、１００…復号部、１１０…エラー検出部、１２０…切替制御部、２００…欠落領域情報メモリ、３００…コンシールメント部、３１０…コンシールメント制御部、３２０…周辺領域情報取得部、３３０…周辺領域バッファ、３４０…欠落領域分類部、３４１…統計情報算出部、３４２…勾配情報算出部、３４３…周辺領域解析部、３４４…欠落領域分類決定部、３４５…切替部、３５０…欠落領域補間処理部、３５１…Smoothness領域補間処理部、３５２…Edge領域補間処理部、３５３…Texture領域補間処理部、３５４、３５５…切替部、４００…復号化ピクチャバッファ。

Claims (3)

1. ブロックごとに符号化された画像データを復号処理して復号画像データを出力する画像復号装置において、
   前記復号画像データ中から前記復号処理により正しく復号がなされなかった欠落画素を含む修復対象ブロックを特定する手段と、
   前記特定された修復対象ブロックに隣接しかつ前記復号処理により正しく復号がなされた参照領域を選択する手段と、
   前記選択された参照領域ごとに当該参照領域内における画素値の分散状況の特徴量を統計的手法を用いて検出する検出手段と、
   前記検出された画素値の分散状況の特徴量に基づいて、前記参照領域の画像の類型が、画素値が一様に分布した第１の類型であるか、画素値のばらつきの多い第２の類型であるか、或いはエッジパターンを含む第３の類型であるかを判定する第１の判定手段と、
   前記参照領域の類型の判定結果に基づいて、前記修復対象ブロックの類型が前記第１の類型、第２の類型及び第３の類型のいずれであるかを推定する手段と、
   前記修復対象ブロックについての類型の推定結果に基づいて、前記第１、第２及び第３の類型に対応付けて予め用意された複数の補間処理手段の中から前記推定された類型に対応する補間処理手段を選択する手段と、
   前記選択された補間処理手段に基づいて、前記欠落画素を含む修復対象ブロックに対し補間処理を行う手段と
   を具備することを特徴とする画像復号装置。
2. 前記検出手段は、
   前記参照領域に含まれる画素値の度数分布を求めて度数の最大値を算出し、前記参照領域内の画素数に対する前記算出された度数の最大値の割合を算出する手段と、
   前記参照領域に含まれる画素値の最大値と最小値との差を算出する手段と
   を備え、
   前記第１の判定手段は、
   前記算出された画素値の最大値と最小値との差を予め設定された第１のしきい値と比較して、当該差が第１のしきい値未満のとき前記参照領域の画像の類型を前記第１の類型と判定する第１の比較手段と、
   前記第１の比較手段による比較の結果前記差が第１のしきい値以上のとき、前記算出された度数の最大値の割合を予め設定された第２のしきい値と比較して、当該度数の最大値の割合が予め設定された第２のしきい値未満のとき前記参照領域の画像の類型を前記第２の類型と判定し、それ以外のとき前記参照領域の画像の類型を前記第３の類型と判定する第２の比較手段と
   を備えることを特徴とする請求項１記載の画像復号装置。
3. 前記第１の判定手段により前記参照領域の画像の類型が判定されなかった場合に、前記参照領域における画素値の勾配を表す特徴量を算出する勾配算出手段と、
   前記算出された画素値の勾配を表す特徴量に基づいて、前記参照領域の画像の類型が、前記第１の類型であるか、前記第２の類型であるか、或いは前記第３の類型であるかを判定する第２の判定手段と
   を、さらに具備することを特徴とする請求項１記載の画像復号装置。

Images