JP6110724B2 - 画像処理装置、符号化装置、及び符号化プログラム - Google Patents

Description

本発明は、画像の奥行き情報に基づいて画像を処理する画像処理装置、符号化装置、及び符号化プログラムに関する。

近年、奥行き情報を取得できる深度センサを搭載したカメラが盛んに研究開発されている。例えば、ＲＧＢにＤ（奥行き）を加えた画像情報を取得するＲＧＢ―Ｄセンサを搭載したカメラの一例として、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ（登録商標）がある。このような背景から、２次元の画像信号と、奥行き情報とを有する動画像情報の利用が増加することが予想される。

また、動画情報を効率的に処理する規格であるＨ．２６４／ＡＶＣ（Advanced Video Coding）やＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の映像の圧縮符号化方式では、映像の各フレームをブロックと呼ばれる矩形領域に分割して符号化が行われる。

この映像の圧縮の手法の１つとして、ブロックの動きベクトルを用いた画像予測が利用される。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。この動きベクトルを用いて予測画像と、処理対象の画像との差分値を求めることにより、映像のデータ量を削減することが可能である。

上記の標準においても、動きベクトルが用いられている。なお、動きベクトルの検出手法自体は、規格として定義されていないが、例えばブロック毎にブロックマッチング法を用いて行われている（例えば、非特許文献１参照）。

図１は、動きベクトルの検出例を示している。動画像情報は、複数のフレームを含む。例えば、基準フレーム１１０は、時刻ｔ＝０のときの動画像のフレームを表している。そして、参照フレーム１２０は、時刻ｔ＝−１における動画像のフレームを表している。各々のフレームは、複数のブロックで構成されている。基準フレーム１１０に存在する処理対象ブロック１１２の動きベクトルを探索するために、参照フレーム１２０には、探索範囲１２１が設定される。ブロックマッチング法を利用した場合には、基準フレーム上の処理対象ブロックの画像と、参照フレーム上の同じ空間位置を中心として設定した上記探索範囲内のブロックの画像ＳＡＤ（Sum of Absolute Distance：予測誤差の絶対値和）又はＳＳＤ（Sum of Square Distance：二乗誤差和）を計算する。この値が最も小さい参照フレーム上のブロックと基準フレーム上の処理対象ブロック位置差から動きベクトルが決定される。

なお、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣの標準では、基準フレームと参照フレームを縦横２倍又は４倍にして、原画像から見て１／２又は１／４画素精度の動きベクトル検出が行われる。

動きベクトルの検出確度は、映像の圧縮効率などに影響を与えるため、より確度の高い動きベクトルの検出手法が望まれている。

大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，ｐ１２４，２００９年１月１日

上述したようにブロックマッチングなどの手法を用いた動きベクトルの検出においては、基準フレームの処理対象ブロックと、参照フレームのブロックが異なるオブジェクトに属するにもかかわらず、両者の輝度又は色等が近似しているために、ブロックマッチングの結果が最小となる場合あり得る。この場合には、検出された動きベクトルは、本来のオブジェクトの動きを反映していないものとなる。特に、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣの標準で、時間ダイレクトモードが採用された場合、例えば１フレーム隣のフレームの動きベクトルを２倍にスケーリングすることで２フレーム隣のフレームとの間の動きベクトルを予測することがある。この場合、そもそもオブジェクトが異なっているために、２フレーム隣のフレームとの間の動きベクトルは、本来の動きベクトルとは更に乖離してしまうこととなる。その結果は、符号化された画質の低下となって現れる。

なお、例えば色情報などを用いて、同一オブジェクトであるか否かの判定を行うことはできるが、その判定精度には限界があった。例えばオブジェクトが異なっていても、これらのオブジェクトの色が同じであれば、これらのオブジェクトは同一オブジェクトと判定されてしまう。

そこで、本発明は、奥行き情報を用いて、より確度の高い動きベクトルの検出を行うことによって、画質の向上を図ることができる画像処理装置、符号化装置、及び符号化プログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、基準フレームの複数のブロックのうちの何れかである処理対象ブロックと、参照される参照フレームの画像の一致度に基づいて、前記処理対象ブロックの動きベクトルの複数の候補を特定する、動きベクトル候補特定部と、前記処理対象ブロックの奥行き情報と、前記動きベクトルを求めた参照フレームの対応するブロックの奥行き情報とを用いて、前記処理対象ブロックと、前記参照フレームの対応するブロックとが、同一のオブジェクトに属するか否かを判定するオブジェクト判定部と、前記動きベクトルの複数の候補の各々に対応する前記一致度と前記オブジェクト判定部の判定結果とに基づいて、前記処理対象ブロックの動きベクトルを決定する、動きベクトル決定部と、を有する。

また、前記基準フレーム及び前記参照フレームの奥行き情報にクラスタリングの処理を施す、奥行き情報クラスタリング部を更に有し、前記オブジェクト判定部は、前記クラスタリングの結果を用いて、前記判定を行ってもよい。

また、前記動きベクトル決定部は、前記動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合、前記同一のオブジェクトに属すると判定された動きベクトルのうち、前記一致度の最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定するか、又は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、前記処理対象ブロックと同一のオブジェクトに属しないと判定された場合、前記一致度が最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定してもよい。

また、前記動きベクトル決定部は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、前記処理対象ブロックと同一のオブジェクトに属しないと判定された場合であって、前記処理対象ブロックが更に複数のサブブロックに分割できる場合、前記サブブロックを、処理対象ブロックとして、当該画像処理装置の処理を繰り返してもよい。

また、本発明の他の態様における符号化装置は、上記画像処理装置を備えてもよい。

また、本発明の他の態様における符号化プログラムは、コンピュータを、上記符号化装置として機能させる。

本発明によれば、奥行き情報を用いて動きベクトルを、より的確に検出し、画質の向上を図ることができる。

動きベクトルの検出例を示す図である。 実施例１における画像処理装置１０の構成の一例を示すブロック図である。 動きベクトル決定部１７０の細部の構成の例を示す図である。 実施例１における画像処理装置の処理の一例を示すフローチャートである。 実施例２における符号化装置の概略構成の一例を示すブロック図である。 実施例３における画像処理装置の概略構成の一例を示すブロック図である。

以下、各実施例について、添付図面を参照しながら詳細に説明する。

［実施例１］
まず、実施例１における画像処理装置について説明する。実施例１における画像処理装置は、奥行き情報を用いて動きベクトルを決定する装置である。この画像処理装置は、集積回路により実装されてもよい。また、記憶媒体に記憶されたプログラムをコンピュータが読み込んで、このプログラムをコンピュータが実行することにより実装されてもよい。

＜構成＞
図２は、実施例１における画像処理装置１０の構成の一例を示すブロック図である。図２に示す画像処理装置１０は、動きベクトル候補特定部１４０と、奥行き情報クラスタリング部１５０と、オブジェクト判定部１６０と、動きベクトル決定部１７０とを有する。

動きベクトル候補特定部１４０には、基準フレームと参照フレームの画像情報が入力される。参照フレームは、複数であってもよい。動きベクトル候補特定部１４０は、基準フレームの画像をブロック分割（例えば１６×１６画素サイズに分割）する。基準フレームの分割された複数のブロックのうちの１つを、順に処理対象ブロックとして選択する。そして、処理対象ブロックについて、参照フレームの画像を探索することによって動きベクトルを検出する。動きベクトルの検出には、例えば既存の手法であるブロックマッチング法を用いてもよい。

なお、本実施例では、処理対象ブロック毎にＳＡＤ又はＳＳＤの値がｎ番目までに小さい動きベクトルを動きベクトルの複数の候補として検出することが望ましい。ｎの値は、例えば３を用いてもよい。動きベクトルの複数の候補は、動きベクトル決定部１７０と、オブジェクト判定部１６０に出力する。また、動きベクトルを求めたときの処理対象ブロックと、参照フレームのブロックの位置情報をオブジェクト判定部１６０に出力する。

奥行き情報クラスタリング部１５０は、例えば、基準フレームと参照フレームの各奥行き情報をクラスタリングする。ここで、奥行き情報は、画素毎、又は撮像時に決定されるブロック領域毎に存在する。奥行き情報クラスタリング部１５０は、奥行き情報を示す奥行き深度が例えば２５６段階である場合、クラスタ数ｋ＝８に設定し、Ｋ−ｍｅａｎｓ法を適用して奥行き情報のクラスタリングを行う。

奥行き深度の段階数は、深度センサの性能に従うため２５６に限られない。クラスタ数ｋは、予め適切な値が設定されていればよい。

また、奥行き情報クラスタリング部１５０は、奥行き情報のヒストグラムを求め、このヒストグラムが取る値の範囲をクラスタ数ｋに等分割し、奥行き情報を分類してもよい。

奥行き情報クラスタリング部１５０は、上述のＫ−ｍｅａｎｓ法による奥行き情報のクラスタリング、又は、奥行き情報のヒストグラムから求めた奥行き情報の分類を用いることができる。奥行き情報クラスタリング部１５０は、各画素位置又は各所定領域の奥行き情報のクラスタリング結果として、奥行き降順に番号を付与して、このクラスタリング結果を示すクラスタリング情報（例えば０〜７）をオブジェクト判定部１６０に出力する。

オブジェクト判定部１６０は、動きベクトルが算出された処理対象ブロックと、対応する参照フレームのブロックが同一のオブジェクトに属するか否かの判定を行う。オブジェクト判定部１６０は、取得部１６２と奥行き判定部１６４とを備える。

取得部１６２は、ブロック毎に、クラスタリング情報の代表値を取得する。取得部１６２は、ブロック毎にクラスタリング情報を平均化し、端数を四捨五入する整数化を行うことで、ブロック毎に１つの奥行き情報（代表値）を取得する。なお、取得部１６２は、ブロック毎に、クラスタリング情報の中央値や最頻値を代表値としてもよい。取得部１６２は、ブロック内の奥行き情報の代表値を、ブロックの奥行き代表情報として奥行き判定部１６４に出力する。

奥行き判定部１６４は、取得部１６２から取得した、処理対象ブロックと、対応する参照フレームのブロックの奥行き代表情報が所定範囲内に属するか否かを判定する。例えば、奥行き判定部１６４は、処理対象ブロック奥行き情報と、対応する参照フレームのブロックの奥行き代表情報との差が所定値以内にあるか否かを判定してもよい。

奥行き判定部１６４は、所定値を０にすれば、奥行き情報が同じクラスタに属するか否かを判定でき、所定値を例えば１などにすれば、奥行き情報同士が類似するか否かを判定できる。

奥行き判定部１６４は、処理対象ブロックと、対応する参照フレームのブロックの奥行き代表情報の差が所定値以内であれば、処理対象ブロックと、対応する参照フレームのブロックは、同一オブジェクトに属すると判定する。また、奥行き判定部１６４は、処理対象ブロックと、対応する参照フレームのブロックの奥行き代表情報との差が所定値より大きければ、処理対象ブロックと、対応する参照フレームのブロックは、同一オブジェクトに属しないと判定する。

なお、オブジェクト判定部１６０は、奥行き情報のクラスタリング情報を用いずに、ブロック内の奥行き情報から直接に代表値を決定し、処理対象ブロックと、対応する参照フレームのブロックの奥行き代表情報の代表値の差が所定値以内であるかを判定してもよい。

オブジェクト判定部１６０は、奥行き判定部１６４の判定結果を動きベクトル決定部１７０に出力する。

動きベクトル決定部１７０は、オブジェクト判定部１６０からの情報を用いて、処理対象ブロックに対する動きベクトルの複数の候補から、処理対象ブロックの動きベクトルを決定する。

図３は、動きベクトル決定部１７０の細部の構成の例を示している。動きベクトル決定部１７０は、第１決定部１７１、第２決定部１７２、第３決定部１７３、選択部１７４、及び測定部１７５を備える。

なお、選択部１７４は、動きベクトル候補特定部１４０からの情報及びオブジェクト判定部１６０からの情報を、第１決定部１７１、第２決定部１７２、第３決定部１７３の何れかに、選択的に伝達するように動作してもよい。

また、選択部１７４は、後に説明する測定部からの情報に基づいて、選択的に伝達する機能が制御される。選択部１７４は、オペレータなどの外部からの設定によって、選択的に伝達するように設定されてもよい。

第１決定部１７１は、一致度が最も高い動きベクトル、すなわち、ブロック間のＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Squared Difference）が最小となる動きベクトルを、処理対象ブロックの動きベクトルとして採用すべきか否かを決定する。すなわち、第１決定部１７１は、一致度が最も高い動きベクトルに関して、処理対象ブロックと、対応する参照フレームのブロックとが同一のオブジェクトに属しないと前記オブジェクト判定部において判定された場合、一致度が最も高い動きベクトルを、前記処理対象ブロックの動きベクトルとして採用することを却下する決定を行ってもよい。一致度が最も高い動きベクトルであっても、処理対象ブロックと、対応する参照フレームのブロックとが同一のオブジェクトに属しないと判断される場合には、この動きベクトルを採用することは、適切な判断ではないからである。

第１決定部１７１は、却下を行わない場合には、一致度が最も高い動きベクトルを出力する。第１決定部１７１が、却下を行った場合には、ｎｕｌｌが出力されてもよい。例えば、レジストレーション超解像の処理においては、動きベクトルとしてｎｕｌｌが許容されている。なお、Ｈ．２６４／ＡＶＣ、又はＨ．２６５／ＨＥＶＣの標準においては、ｎｕｌｌは適切ではないとされているため、後述する第２決定部１７２の処理を行ってもよい。

第２決定部１７２は、動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合には、同一のオブジェクトに属すると判定された動きベクトルのうち、一致度の最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定する。なお、第２決定部１７２は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、処理対象ブロックと同一のオブジェクトに属しないと判定された場合、一致度が最も高い動きベクトルを、処理対象ブロックの動きベクトルと決定してもよい。

第３決定部１７３は、動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合には、第２決定部１７２と同じ処理を行ってもよい。第３決定部１７３は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、処理対象ブロックと同一のオブジェクトに属しないと判定された場合であって、処理対象ブロックが更に複数のサブブロックに分割できる場合、サブブロックを、処理対象ブロックとして、動きベクトルの検出の処理を繰り返す処理（図２及び図３の処理）を、例えば動きベクトル候補特定部１４０に指示してもよい（１７６）。例えば、１６×１６画素サイズのブロックを用いてベクトルの検出の処理を行っていた場合には、このブロックを８×８画素サイズの４つのブロックに分割して、同様に動きベクトルの検出の処理を行う。なお、更なるブロックの分割が行えない場合には、一致度が最も高い動きベクトルを、処理対象ブロックの動きベクトルと決定してもよい。

なお、上記の更なるブロック分割が行われた場合には、このブロック分割に係る指示１７６をビットストリームに含めるために、この指示１７６を、図５と共に後に説明するエントロピー符号化部２０４に出力し、符号化するとともに、上述のように動きベクトル候補特定部１４０に指示してもよい。

そして、ブロックの復号化においては、このブロック分割に係る符号化された指示１７６が復号化されて利用される。

また、画像を量子化した後の情報（例えば、図５における量子化部２０３からの量子化データ１８０）が、測定部１７５に入力される。第３決定部が選択部１７４において選択されている場合に、測定部１７５は、量子化データ１８０に係る単位時間当たりの情報量を随時測定する。例えば、量子化データ１８０に係る単位時間当たりの情報量が増加する傾向であれば、選択部が第１決定部１７１、又は第２決定部１７２を選択する様、選択部に指令を発してもよい。この処理を行う理由は、例えば、ブロック分割が頻繁に発生する場合には、ブロック分割に係る指示１７６を表すデータが、量子化データ１８０に係る単位時間当たりの情報量を増加させる要因となり得るため、この単位時間当たりの情報量を所定の量以下に止めることが望ましいからである。

以上の構成を有することで、動き情報を利用して、動きベクトルをより的確に検出し、画質の向上を図ることができる。

＜動作＞
次に、実施例１における画像処理装置１０の動作について図４及び図５を用いて説明する。

図４は、実施例１の基準フレームの１つの処理対象ブロックに対する処理の概要を示している。

ステップＳ１０２で、動きベクトル候補特定部１４０は、処理対象ブロックに対する動きベクトルの複数の候補を特定する。

ステップＳ１０４で、奥行き情報クラスタリング部１５０は、基準フレーム及び参照フレームの奥行き情報のクラスタリング処理を行う。クラスタリング処理は、Ｋ−ｍｅａｎｓ法を利用してもよい。奥行き情報クラスタリング部１５０は、奥行き情報のクラスタリング結果として、奥行きを降順に番号を付与して、各画素位置又は各所定領域に対して、このクラスタリング結果を示すクラスタリング情報（例えば０〜７）を出力してもよい。

ステップＳ１０６で、オブジェクト判定部１６０は、取得部１６２において、関連する各ブロックについて、ブロックの奥行きを代表する代表値を取得する。取得部１６２は、ブロック毎にクラスタリング情報を平均化し、端数を四捨五入する整数化を行うことで、ブロック毎に１つの奥行き情報（代表値）を取得する。なお、取得部１６２は、ブロック毎に、クラスタリング情報の中央値や最頻値を代表値としてもよい。

ステップＳ１０８で、奥行き判定部は、動きベクトルの複数の候補の各々に関連する処理対象ブロックと、参照フレーム内の対応するブロックが同一オブジェクトに属するか否かを判定する。

ステップＳ１１０において、動きベクトル決定部１７０は、一致度が最も高い値を有する第一候補の動きベクトルが取得された２つのブロックが同一オブジェクトに属すると判定された場合には、その第一候補の動きベクトルを、処理対象ブロックの動きベクトルとして決定する。

上記以外の場合には、既に説明したように以下のようになる。

まず、第１決定部１７１は、ＮＵＬＬを出力する。

第２決定部１７２は、動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合には、同一のオブジェクトに属すると判定された動きベクトルのうち、一致度の最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定してもよい。なお、第２決定部１７２は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、処理対象ブロックと同一のオブジェクトに属しないと判定された場合、一致度が最も高い動きベクトルを、処理対象ブロックの動きベクトルと決定してもよい。

第３決定部１７３は、動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合には、第２決定部１７２と同じ処理を行う。第３決定部１７３は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、処理対象ブロックと同一のオブジェクトに属しないと判定された場合であって、処理対象ブロックが更に複数のサブブロックに分割できる場合、サブブロックに分割し、このサブブロックを、処理対象ブロックとして、動きベクトルの検出の処理を繰り返す処理（図２及び図３の処理）の指示１７６を出力する。

以上、実施例１によれば、奥行き情報を利用することにより、同一オブジェクトと判定されたブロックに基づいて、動きベクトルを検出することが可能となり、より的確に動きベクトルを検出でき、画質の向上を図ることができる。

［実施例２］
実施例２では、実施例１における画像処理装置１０を動きベクトル計算部２１３に含む符号化装置について説明する。実施例２では、入力される情報に奥行き情報が含まれているとする。

＜構成＞
図５は、実施例２における符号化装置２０の概略構成の一例を示すブロック図である。図５に示す例では、符号化装置２０は、前処理部２００と、予測誤差信号生成部２０１と、直交変換部２０２と、量子化部２０３と、エントロピー符号化部２０４と、逆量子化部２０５と、逆直交変換部２０６と、復号画像生成部２０７と、ループフィルタ部２０９と、復号画像記憶部２１０と、イントラ予測部２１１と、インター予測部２１２と、動きベクトル計算部２１３と、予測画像選択部２１５とを有する。各部についての概略を以下に説明する。

前処理部２００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレーム毎のフレーム画像等を順次出力する。また、前処理部２００は、ブロック分割なども行い、ブロック分割の境界情報をループフィルタ部２０９に出力してもよい。また、前処理部２００は、原画に含まれる奥行き情報を動きベクトル計算部２１３に出力する。

予測誤差信号生成部２０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

予測誤差信号生成部２０１は、そのブロックデータと、予測画像選択部２１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０１は、生成された予測誤差信号を直交変換部２０２に出力する。

直交変換部２０２は、入力された予測誤差信号を直交変換処理する。直交変換部２０２は、変換された係数値を示す信号を量子化部２０３に出力する。

量子化部２０３は、直交変換部２０２からの出力信号を量子化する。量子化部２０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部２０４及び逆量子化部２０５に出力する。量子化部２０３は、量子化パラメータのＱＰ値をループフィルタ部２０９に出力する。量子化部の出力信号は、量子化データ１８０として、動きベクトル計算部２１３に出力されてもよい。

エントロピー符号化部２０４は、量子化部２０３からの出力信号や、動きベクトル計算部２１３から出力された動きベクトル情報やループフィルタ部２０９からのフィルタ係数などをエントロピー符号化して出力する。

また、エントロピー符号化部２０４は、イントラ予測部２１１から取得したイントラ予測方向の差分値や、インター予測部２１２から取得した動きベクトルと予測ベクトルの差分値などをエントロピー符号化する。

また、エントロピー符号化部２０４は、動きベクトル決定部１７０内の第３決定部１７３から取得した、ブロック再分割に関する情報を符号化してもよい。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部２０５は、量子化部２０３からの出力信号を逆量子化してから逆直交変換部２０６に出力する。逆直交変換部２０６は、逆量子化部２０５からの出力信号を逆直交変換処理してから復号画像生成部２０７に出力する。これら逆量子化部２０５及び逆直交変換部２０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部２０７は、イントラ予測部２１１で画面内予測された画像或いはインター予測部２１２で動き補償された画像のブロックデータと、逆量子化部２０５及び逆直交変換部２０６により復号処理された予測誤差信号とを加算する。復号画像生成部２０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部２０９に出力する。

ループフィルタ部２０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタである。ループフィルタ部２０９は、フィルタ処理結果を復号画像記憶部２１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。

復号画像記憶部２１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部２１１、インター予測部２１２及び動きベクトル計算部２１３に出力する。

イントラ予測部２１１は、符号化対象画像の処理対象ブロックに対して、既に符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

インター予測部２１２は、復号画像記憶部２１０から取得した参照画像のデータを動きベクトル計算部２１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

動きベクトル計算部２１３は、実施例１における画像処理装置１０の構成を有し、奥行き情報と、符号化対象画像におけるブロックデータと、復号画像記憶部２１０から取得する参照画像とを用いて、動きベクトルを求める。

動きベクトル計算部２１３は、求めた動きベクトルをインター予測部２１２に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２０４に出力する。

イントラ予測部２１１とインター予測部２１２から出力されたブロックデータは、予測画像選択部２１５に入力される。

予測画像選択部２１５は、イントラ予測部２１１とインター予測部２１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２０１に出力される。

なお、図５に示す符号化装置２０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。

以上、実施例２によれば、画像符号化時に、奥行き情報を用いて画質の向上を図ることができる。

［実施例３］
図６は、実施例３における画像処理装置４０の概略構成の一例を示すブロック図である。図６に示す画像処理装置４０は、上述した実施例１及び２で説明した画像処理装置１０、符号化装置２０をソフトウェアで実装した画像処理装置の一例である。

図６に示すように、画像処理装置４０は、制御部４０１と、主記憶部４０２と、補助記憶部４０３と、ドライブ装置４０４と、ネットワークＩ／Ｆ部４０６と、入力部４０７と、表示部４０８とを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

また、制御部４０１は、画像処理のプログラムを実行することで、実施例１及び２で説明した処理を実現することができる。

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。

なお、図３に示す画像処理装置１０の各部は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

また、図５に示す復号画像記憶部２１０は、例えば主記憶部４０２又は補助記憶部４０３により実現され、図５に示す復号画像記憶部２１０以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

また、図６に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部４０２又は補助記憶部４０３により実現されうる。図６に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

画像処理装置４０で実行されるプログラムは、実施例１及び２で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

このように、上述した実施例１及び２で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１及び２で説明した処理を実現することができる。

また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末などの処理装置に読み取らせて、前述した画像処理を実現させることも可能である。

なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、上述した各実施例で説明した画像処理は、１つ又は複数の集積回路に実装されてもよい。なお、実施例３における画像処理装置４０は、上記の通り、画像処理装置１０、符号化装置２０の少なくとも１つの装置としての機能を有してもよい。

また、上述した各実施例における画像処理装置１０、符号化装置２０、及び画像処理装置４０は、奥行き情報を用いて動きベクトルを検出する符号化技術、及びこの符号化技術によって符号化されたビットストリームの復号に対して適用可能であり、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣだけに限られるものではない。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１０ 画像処理装置
２０ 符号化装置
４０ 画像処理装置
１４０ 動きベクトル候補特定部
１５０ 奥行き情報クラスタリング部
１６０ オブジェクト判定部
１６２ 取得部
１６４ 奥行き判定部
１７０ 動きベクトル決定部
１７１ 第１決定部
１７２ 第２決定部
１７３ 第３決定部
１７４ 選択部
１７５ 測定部
２０４ エントロピー符号化部
２１３ 動きベクトル計算部
３０１ エントロピー復号部
４０１ 制御部
４０２ 主記憶部
４０３ 補助記憶部

Claims (6)

1. 奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、
   基準フレームの複数のブロックのうちの何れかである処理対象ブロックと、参照される参照フレームの画像の一致度に基づいて、前記処理対象ブロックの動きベクトルの複数の候補を特定する、動きベクトル候補特定部と、
   前記処理対象ブロックの奥行き情報と、前記動きベクトルを求めた参照フレームの対応するブロックの奥行き情報とを用いて、前記処理対象ブロックと、前記参照フレームの対応するブロックとが、同一のオブジェクトに属するか否かを判定するオブジェクト判定部と、
   前記動きベクトルの複数の候補の各々に対応する前記一致度と前記オブジェクト判定部の判定結果とに基づいて、前記処理対象ブロックの動きベクトルを決定する、動きベクトル決定部と、
   を有する画像処理装置。
2. 前記基準フレーム及び前記参照フレームの奥行き情報にクラスタリングの処理を施す、奥行き情報クラスタリング部を更に有し、
   前記オブジェクト判定部は、前記クラスタリングの結果を用いて、前記判定を行う、
   請求項１記載の画像処理装置。
3. 前記動きベクトル決定部は、
   前記動きベクトルの複数の候補に係る参照フレームのブロックが、処理対象ブロックと同一のオブジェクトに属すると判定された動きベクトルが存在する場合、前記同一のオブジェクトに属すると判定された動きベクトルのうち、前記一致度の最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定するか、又は、複数の動きベクトルの候補に係る参照フレームの何れのブロックも、前記処理対象ブロックと同一のオブジェクトに属しないと判定された場合、前記一致度が最も高い動きベクトルを、前記処理対象ブロックの動きベクトルと決定する、
   請求項１又は２記載の画像処理装置。
4. 前記動きベクトル決定部は、
   複数の動きベクトルの候補に係る参照フレームの何れのブロックも、前記処理対象ブロックと同一のオブジェクトに属しないと判定された場合であって、前記処理対象ブロックが更に複数のサブブロックに分割できる場合、前記サブブロックを、処理対象ブロックとして、当該画像処理装置の処理を繰り返す指示を出力する請求項１又は２記載の画像処理装置。
5. 請求項１ないし４のうちいずれか１項記載の画像処理装置を備える符号化装置。
6. コンピュータを、請求項５記載の符号化装置として機能させるための符号化プログラム。

Images