JP2017118459A - 映像符号化装置、映像符号化方法及び映像符号化プログラム - Google Patents

Abstract

【課題】前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式において、演算量の増大を抑えつつ符号量の削減を行う。【解決手段】少なくとも画面間予測を行う画面間予測手段を備え、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式を用いて映像の符号化を行う映像符号化装置であって、画面間予測手段は、符号化済みピクチャの動きベクトル情報を入力し、動きベクトル統計値の算出及び更新を行う動きベクトル統計値更新手段と、入力映像信号と、復号信号と、動きベクトル統計値を入力し、実行すべき動き探索処理を動きベクトル統計値に応じて切り替えながら符号化ブロック毎に動き探索を行って、動きベクトル情報を出力する動き探索処理手段とを備える。【選択図】図３

Description

本発明は、動き予測を用いて映像符号化を行う映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。

映像符号化の技術には、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣなどが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され、今後の普及が見込まれる。

デジタル放送における映像符号化方式として、ＡＲＩＢ（Association of Radio Industriesand Broadcast、一般社団法人電波産業会）は各種の電波利用システムに関する無線設備の標準的な仕様を策定しており、ＡＲＩＢ ＳＴＤ−Ｂ３２において「デジタル放送における映像符号化、音声符号化及び多重化方式」として映像符号化方式の標準規格を策定している。

ＡＲＩＢ ＳＴＤ−Ｂ３２ ３．３版では、ＭＰＥＧ−２ Ｖｉｄｅｏ、ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣの３つに準拠した映像符号化方式が策定され、さらに、ＨＥＶＣに準拠した２１６０／１２０／Ｐ映像及び４３２０／１２０／Ｐ映像の時間方向階層符号化方式を規定している（例えば、非特許文献１参照）。

ＡＲＩＢ規定の時間方向階層符号化において１２０／Ｐビットストリームは、２１６０／６０／Ｐもしくは４３２０／６０／Ｐに準拠した６０／Ｐサブビットストリームと、残りの１２０／Ｐサブセットとに分離されて伝送される。１２０Ｈｚ対応受信機は、分離伝送される６０／Ｐサブビットストリームと１２０／Ｐサブセットとを多重化復号部で合成した後、１２０／Ｐビットストリームとして復号し、１２０Ｈｚの復号画像を出力する。

一方６０Ｈｚ対応受信機では、多重化復号部が６０／Ｐサブビットストリームのみを抽出して復号し、６０Ｈｚの復号画像を出力する。一般に映像符号化では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に異なる複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化では、画面間の差分値を削減するために符号化対象画像と参照画像の間で動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。

ＡＲＩＢ規定の時間方向階層符号化では、１２０／Ｐサブセットの復号時刻が等間隔になるように画面間符号化における参照構造が決定され、それぞれの符号化対象画像において前方向・後方向それぞれ１つの合計２つの参照画像を用いる双方向動き探索を行う。

一般社団法人電波産業会標準規格ＡＲＩＢ ＳＴＤ−Ｂ３２ ３．３版、デジタル放送における映像符号化、音声符号化及び多重化方式、平成２７年７月３日

画面間符号化における動き予測は、映像の正しい動きを捉えて予測を行い符号化すべき情報を小さくするために動きベクトル検出処理に膨大な演算量を必要とし、ハードウェア実装の観点ではハードウェア規模に直結する要素であるため、効率的な動き探索処理が不可欠である。

しかしながら、ＡＲＩＢ規定の時間方向階層符号化における１２０／Ｐサブセットでは、前方向動き予測・後方向動き予測における参照距離の非対称性のため、２つの参照画像を有するにも関わらず片方の動きベクトル情報のみが多く使用され、もう一方の動き探索処理が無駄となる場合が生じうる。

さらに、１２０／Ｐサブセット符号化部をＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実装する場合、大幅な演算量削減のために動き探索範囲を限定することが求められるが、参照画像までの時間的距離が大きい動き予測においては、画面間の動きが動き探索範囲を超えてしまうことで動きベクトルを正しく求めることができず、予測誤差が大きくなり符号量が増大するという問題がある。

本発明は、このような事情に鑑みてなされたもので、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式において、演算量の増大を抑えつつ符号量の削減を行うことができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャにおいて、前方向参照ピクチャと後方向参照ピクチャそれぞれ少なくとも１枚の参照ピクチャに対して動き予測をする映像符号化装置であって、前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動きベクトル統計値を更新する動きベクトル統計値更新手段と、更新された前記動きベクトル統計値に基づいて、動き探索の処理の変更を行うか否かを判定する判定手段と、動き探索の処理の変更を行うと判定された場合、前記符号化対象ピクチャの画面間符号化処理において後方向動き探索を実行しない映像符号化装置である。

本発明の一態様は、前記映像符号化装置であって、前記動き探索の処理の変更を行うと判定された場合、さらに前記符号化対象ピクチャとは異なる特定のピクチャの画面間符号化処理において事前動き探索処理を行う事前動き探索処理手段を備える。

本発明の一態様は、前記映像符号化装置であって、前記動きベクトル統計値更新手段は、前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの絶対値和を前記符号化対象ピクチャの前記動きベクトル統計値として更新する。

本発明の一態様は、前記映像符号化装置であって、前記動きベクトル統計値更新手段は、前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの分散値を前記符号化対象ピクチャの前記動きベクトル統計値として更新する。

本発明の一態様は、前記映像符号化装置であって、前記判定手段は、決定された前記動きベクトル統計値と所定の閾値とを比較し、前記動きベクトル統計値の方が大きいと判定された場合、動き探索の処理の変更を行うと決定し、前記動きベクトル統計値の方が小さいと判定された場合、動き探索の処理を変更せず通常の前記双方向動き探索の処理を行うと決定する。

本発明の一態様は、前記映像符号化装置であって、前記事前動き探索処理手段は、動き探索の処理の変更が決定済みでかつ指定されたピクチャの動き予測処理において、前記指定ピクチャの前方向動き探索の参照距離が後方向動き探索の参照距離よりも短く、かつ、表示順序が前記指定ピクチャよりも後ろであり前方向動き探索の参照ピクチャが前記指定ピクチャの前方向動き探索の参照ピクチャと同一である別ピクチャが存在する場合、前記指定ピクチャの後方向動き探索を行わずに前方向動き探索のみで前記指定ピクチャの画面間符号化を行い、前方向参照ピクチャが前記指定ピクチャの前方向参照ピクチャと同一と判断された前記別ピクチャにおける動き予測処理において、双方向動き探索の実行前に前記指定ピクチャを参照画像とした前記別ピクチャの事前動き探索を行い、前記別ピクチャの符号化対象ブロックにおける算出済みの前記指定ピクチャからの事前動きベクトルと、前記事前動きベクトルが指し示すブロックにおける前記指定ピクチャの算出済み前方向動きベクトルをｘ成分、ｙ成分共に合計し、合計ベクトルが指し示す位置座標を前記別ピクチャの前記符号化対象ブロックにおける前方向動き探索の探索中心として設定し、前記別ピクチャの前方向動き探索においては決定された前記探索中心で、前記別ピクチャの後方向動き探索においては通常の処理によって決定される前記探索中心でそれぞれ動き探索を行い、前記別ピクチャの双方向動き探索を行う。

本発明の一態様は、少なくとも画面間予測を行う画面間予測手段を備え、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式を用いて映像の符号化を行う映像符号化装置であって、前記画面間予測手段は、符号化済みピクチャの動きベクトル情報を入力し、動きベクトル統計値の算出及び更新を行う動きベクトル統計値更新手段と、入力映像信号と、復号信号と、前記動きベクトル統計値を入力し、実行すべき動き探索処理を前記動きベクトル統計値に応じて切り替えながら符号化ブロック毎に動き探索を行って、前記動きベクトル情報を出力する動き探索処理手段とを備える映像符号化装置である。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャにおいて、前方向参照ピクチャと後方向参照ピクチャそれぞれ少なくとも１枚の参照ピクチャに対して動き予測をする映像符号化装置が行う映像符号化方法であって、前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動きベクトル統計値を更新する動きベクトル統計値更新ステップと、更新された前記動きベクトル統計値に基づいて、動き探索の処理の変更を行うか否かを判定する判定ステップと、動き探索の処理の変更を行うと判定された場合、前記符号化対象ピクチャの画面間符号化処理において後方向動き探索を実行しない映像符号化方法である。

本発明の一態様は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式において、演算量の増大を抑えつつ符号量の削減を行うことができるという効果が得られる。

本発明を適用する映像符号化装置の一構成例を示す図である。 ＡＲＩＢ規定の時間方向階層符号化の参照構造の一例を示す図である。 図１に示す画面間予測処理部１０２の詳細構成を示すブロック図である。 図３に示す動きベクトル統計値更新部３０２の処理動作を示すフローチャートである。 図３に示す動き探索処理部３０１の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。以下の説明における「符号化ブロック」については、ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックの事を示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）の事を指し示す。図１は、本発明を適用する映像符号化装置の一構成例を示す図である。映像符号化装置１００において、本実施形態は、特に画面間予測処理部１０２の部分が従来技術と異なる部分であり、他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化器として用いられている従来の一般的な構成と同様である。

映像符号化装置１００は、符号化対象の映像信号（原画像）を入力し、入力映像信号のピクチャをブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部１０１あるいは画面間予測処理部１０２の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部１０４は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化部１０５は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。

一方、量子化された変換係数は、逆量子化・逆変換処理部１０６にも入力され、ここで逆量子化と逆直交変換され、予測残差復号信号を出力する。復号信号生成部１０７では、前記予測残差復号信号とイントラ予測処理部１０１あるいは画面間予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、画面間予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０８に入力される。ループフィルタ処理部１０８では符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像として画面間予測処理部１０２に入力する。

本発明は図１中の画面間予測処理部１０２において、実行すべき動き探索処理を適応に切り替えることで、画面間予測処理に要する演算量を増大させずに符号量を削減するものである。

以下は、ＡＲＩＢ規定の時間方向階層符号化の規格に基づいた実施形態例として説明するが、本発明は、ＡＲＩＢ規定のものに限るものではない。ＡＲＩＢ規定の時間方向階層符号化では、１２０／Ｐサブセットの復号時刻が等間隔になるように画面間予測における参照構造が定められる。

次に、図２を参照して、ＡＲＩＢ規定の時間方向階層符号化の参照構造について説明する。図２は、ＡＲＩＢ規定の時間方向階層符号化の参照構造の一例を示す図である。図２では、各ピクチャが参照のパターンによって５つの階層（０〜４）に分類され、それぞれの階層にＴｅｍｐｏｒａｌＩＤ（時間識別子）とよばれる値を割り振っている。ＴｅｍｐｏｒａｌＩＤ＝０のピクチャから次のＴｅｍｐｏｒａｌＩＤ＝０のピクチャまでをＧＯＰ（Group of Picture）と呼ぶ。図２は、ＧＯＰのサイズが１６の場合におけるＡＲＩＢ規定の時間方向階層符号化の参照構造を表している。

また、ピクチャの表示順番をＰＯＣ（Picture Order Count）と呼び、図２のＧＯＰ内では０〜１６までを割り振っている。ＡＲＩＢ規定の時間方向階層符号化の規定では、６０／Ｐサブビットストリームの各ピクチャは前方向動き予測と後方向動き予測における参照距離が等しいが、１２０／Ｐサブセットの各ピクチャは前方向動き予測と後方向動き予測における参照距離が異なり非対称性を有する。

以下の実施形態は、ＡＲＩＢで規定された時間方向階層符号化の１２０／Ｐサブセットの動き探索処理において、符号化済みピクチャの動きベクトル統計情報に基づいて、通常の双方向予測処理を行うか、後方向予測の代わりに１２０／Ｐサブセット間の予測を行うかを切り替える手法である。実施形態における処理はＧＯＰ単位で実行される。

次に、図３を参照して、図１に示す画面間予測処理部１０２の詳細構成を説明する。図３は、図１に示す画面間予測処理部１０２の詳細構成を示すブロック図である。動き探索処理部３０１は、入力映像信号（原画像）とループフィルタ処理部１０８より出力される復号信号を入力とし、各符号化ブロックごとに動き探索を行う。さらに、動き探索処理部３０１は動きベクトル統計値更新部３０２で更新される動きベクトル統計値も入力とし、実行する動き探索処理を動きベクトル統計値に応じて切り替える機能を有する。ここでいう動きベクトル統計値とは、少なくとも１枚の符号化済みピクチャの動きベクトルに基づき算出される統計値のことである。動きベクトル統計値更新部３０２では、動き探索処理部３０１から出力される動きベクトル情報を入力とし、動きベクトル統計値の算出及び更新を行う。

次に、図４を参照して、図３に示す動きベクトル統計値更新部３０２の処理動作を説明する。図４は、図３に示す動きベクトル統計値更新部３０２の処理動作を示すフローチャートである。

まず、動きベクトル統計値更新部３０２は、ＰＯＣが１５であるか否かを判定する（ステップＳ４０１）。この判定の結果、ＰＯＣが１５であれば、動きベクトル統計値更新部３０２は、全動きベクトルの分散を算出する（ステップＳ４０２）。そして、動きベクトル統計値更新部３０２は、動きベクトル統計値σを上記値に更新して（ステップＳ４０３）終了する。一方、ＰＯＣが１５でなければ、動きベクトル統計値更新部３０２は、動きベクトル統計値σの更新を行わず（ステップＳ４０４）、終了する。

このように、符号化対象ピクチャのＰＯＣが１５の場合のみ、ステップＳ４０２において、符号化対象ピクチャの後方向動き予測における全ての動きベクトルにおけるｘ成分及びｙ成分それぞれの分散を算出し、ｘ成分の分散とｙ成分の分散で絶対値の大きい方を出力する。そして、ステップＳ４０３において、動きベクトル統計値σをステップＳ４０２で出力された分散値へと更新し、動き探索処理部３０１へ出力する。

ここでは動きベクトル統計値σとして動きベクトルのｘ方向分散とｙ方向分散の大きい方を用いたが、ｘ方向分散とｙ方向分散の二乗和を動きベクトル統計値として出力する方法を用いてもよい。また、動きベクトルのｘ成分及びｙ成分それぞれで算術平均をとった平均動きベクトルの大きさを、動きベクトル統計値として出力するようにしてもよい。

また、動きベクトル統計値更新部３０２は、入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、動きベクトルの絶対値和を符号化対象ピクチャの動きベクトル統計値として更新するようにしてもよい。

また、動きベクトル統計値更新部３０２は、入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、動きベクトルの分散値を符号化対象ピクチャの動きベクトル統計値として更新するようにしてもよい。

次に、図５を参照して、図３に示す動き探索処理部３０１の処理動作を説明する。図５は、図３に示す動き探索処理部３０１の処理動作を示すフローチャートである。

まず、動き探索処理部３０１は、動きベクトル統計値σが閾値ＴＨより小さいか否かを判定する（ステップＳ５０１）。この判定の結果、動きベクトル統計値σが閾値ＴＨより小さくなければ、動き探索処理部３０１はＰＯＣが１であるか否かを判定する（ステップＳ５０２）。この判定の結果、ＰＯＣが１であれば、動き探索処理部３０１は、ＰＯＣ０からＰＯＣ１の動き探索のみを実行し、動きベクトル・予測残差信号を出力して（ステップＳ５０３）、終了する。

次に、ＰＯＣが１でない場合、動き探索処理部３０１は、ＰＯＣが３であるか否かを判定する（ステップＳ５０４）。この判定の結果、ＰＯＣが３であれば、動き探索処理部３０１は、ＰＯＣ１からＰＯＣ３の動き探索を実行する（ステップＳ５０５）。そして、動き探索処理部３０１は、ＰＯＣ１からＰＯＣ３とＰＯＣ０からＰＯＣ１の動き探索結果を用いて、ＰＯＣ０からＰＯＣ３の探索中心を決定する（ステップＳ５０６）。

次に、動き探索処理部３０１は、動きベクトル統計値σが閾値ＴＨより小さい場合と、ステップＳ５０６に続いて、ＡＲＩＢの時間方向階層符号化における参照関係に従い双方向動き探索を実行し、動きベクトル・予測残差信号出力して（ステップＳ５０７）、終了する。

このように、動きベクトル統計値σと、閾値ＴＨとを比較し、動きベクトル統計値σが閾値ＴＨよりも小さい場合、図２に示されるＡＲＩＢの時間方向階層符号化における参照関係に従い、通常通り双方向予測を行う。双方向予測を行った結果の動きベクトル及び予測残差信号を出力する（ステップＳ５０７）。

動きベクトル統計値σが閾値ＴＨよりも大きい場合は、符号化対象ピクチャのＰＯＣが１であるか否か（ステップＳ５０２）、もしくは３であるか否か（ステップＳ５０４）で、処理の分岐を行う。ＰＯＣが１でも３でもない場合は、通常通り双方向予測を行い動きベクトル及び予測残差信号を出力する（ステップＳ５０７）。

動きベクトル統計値σが閾値ＴＨよりも大きくかつ符号化対象ピクチャのＰＯＣが１の場合は、前方向探索であるＰＯＣ０からＰＯＣ１の動き探索のみを行い、後方向探索であるＰＯＣ１６からＰＯＣ１の動き探索を行わない。前方向探索のみ実行した結果である動きベクトル及び予測残差信号をＰＯＣ０の動き探索結果として出力する（ステップＳ５０３）。

動きベクトル統計値σが閾値ＴＨよりも大きくかつ当該符号化対象ピクチャのＰＯＣが３の場合は、前方向探索であるＰＯＣ０からのＰＯＣ３の動き探索において、まずＰＯＣ１からのＰＯＣ３の動き探索を行う（ステップＳ５０５）。次に、ＰＯＣ３の符号化対象ブロックの前方向動き探索において、前記符号化対象ブロックの位置座標ベクトルに符号化対象ブロックにおけるＰＯＣ１からＰＯＣ３の算出済み動きベクトルを合計する。

そして、合計されたベクトル値をＰＯＣ１における対象位置とし、ＰＯＣ１の対象位置のブロックにおけるＰＯＣ０からＰＯＣ１の算出済み動きベクトルをＰＯＣ１の対象位置の座標ベクトルに足し合わせ、足しあわされたベクトルの示す位置を、ＰＯＣ０からのＰＯＣ３の前方向動き探索における探索中心として決定する（ステップＳ５０６）。

後方向探索であるＰＯＣ８からのＰＯＣ３の動き探索においては通常通りの探索中心とする。それぞれの探索中心周りでＰＯＣ３の双方向動き探索を行い、双方向予測を行った結果の動きベクトル及び予測残差信号をＰＯＣ３の動き探索結果として出力する（ステップＳ５０７）。

本実施形態では、動きベクトル統計値と閾値の大小関係によって、通常通りＰＯＣ１６からＰＯＣ１の後方向動き探索処理を行うか、ＰＯＣ１６からＰＯＣ１の後方向動き探索処理を実行せずにＰＯＣ１からＰＯＣ３の動き探索処理を行うかを切り替えている。他の１２０／Ｐサブセットの符号化対象ピクチャにおいても、後方向動き探索参照距離が前方向動き探索参照距離よりも長く、かつ、表示順序が符号化対象ピクチャよりも後ろであり前方向参照ピクチャが前記符号化対象ピクチャの前方向参照ピクチャと同一である別ピクチャが存在する場合、同様の切り替え処理を適用することが可能である。

ＰＯＣ５は、前方向参照ピクチャがＰＯＣ４で後方向参照ピクチャがＰＯＣ８であるため、後方向動き探索参照距離が前方向動き探索参照距離よりも長い。さらに、ＰＯＣ７は表示順序がＰＯＣ５よりも後であり、かつＰＯＣ７の前方向参照ピクチャがＰＯＣ５と同様にＰＯＣ４であるため、動きベクトル統計値と閾値の大小関係を判定する。そして、この大小関係によって、通常通りＰＯＣ８からＰＯＣ５の後方向動き探索処理を行うか、ＰＯＣ８からＰＯＣ５の後方向動き探索処理を実行せずにＰＯＣ５からＰＯＣ７の動き探索処理を行うかを切り替えることができる。

同様にＰＯＣ９においても、通常通りＰＯＣ１６からＰＯＣ９の後方向動き探索処理を行うか、ＰＯＣ１６からＰＯＣ９の後方向動き探索処理を実行せずにＰＯＣ９からＰＯＣ１１の動き探索処理を行うかを切り替えることができる。

以上のように、ＡＲＩＢ規定の時間方向階層符号化方式のような、前方向動き探索と後方向動き探索で参照距離が非対称となる参照構造を有する映像符号化方式において、符号化済みピクチャの動きベクトル情報に基づいて、実行すべき動き探索処理を適応に切り替えることで、演算量を増大させずに符号量を削減する効果がある。

なお、前述した説明においては、ＧＯＰが１６ピクチャであるものとして説明したが、本実施形態による映像符号化装置はＧＯＰが１６ピクチャ以外のものにおいても図２に示すＰＯＣ４やＰＯＣ１２のような参照構造のものであれば適用することが可能である。また、本実施形態による映像符号化装置は、図２に示すようなＡＲＩＢの参照構造に依存するものではない。

また、動きベクトル統計値の更新について、図４に示す処理動作においてはＰＯＣ１５を用いて動きベクトル統計値を更新するとして説明したが、どのＰＯＣを用いて実施しても問題なく動作させることができるものである。ただし、次のＧＯＰに近いＰＯＣを用いるのが好ましい。

以上説明したように、時間的に前後方向の動き予測に用いる参照画像が非対称となる場合、符号量が過剰に大きくなる場合は１つの参照画像のみを予測に用いるといった点を解消することができる。特に、符号化済みの画像の動きベクトル情報に基づき、動き予測に係る処理を適応的に切り替えることで実現するようにした。例えば、ＡＲＩＢで規定される時間方向階層符号化方式のような、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式において、符号化済みピクチャの動きベクトル情報に基づいて、実行すべき動き探索処理を適応に切り替えることで、演算量を増大させずに符号量の削減を行うことができる。

前述した実施形態における映像符号化装置１００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

動き探索処理に要する演算量が限られている映像符号化装置、映像符号化方法及び映像符号化プログラムに適用できる。

１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・画面間予測処理部、１０３・・・予測残差信号生成部、１０４・・・変換・量子化処理部、１０５・・・エントロピー符号化部、１０６・・・逆量子化・逆変換処理部、１０７・・・復号信号生成部、１０８・・・ループフィルタ処理部、３０１・・・動き探索処理部、３０２・・・動きベクトル統計値更新部

Claims (9)

1. 入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャにおいて、前方向参照ピクチャと後方向参照ピクチャそれぞれ少なくとも１枚の参照ピクチャに対して動き予測をする映像符号化装置であって、
   前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動きベクトル統計値を更新する動きベクトル統計値更新手段と、
   更新された前記動きベクトル統計値に基づいて、動き探索の処理の変更を行うか否かを判定する判定手段と、
   動き探索の処理の変更を行うと判定された場合、前記符号化対象ピクチャの画面間符号化処理において後方向動き探索を実行しない映像符号化装置。
2. 前記動き探索の処理の変更を行うと判定された場合、さらに前記符号化対象ピクチャとは異なる特定のピクチャの画面間符号化処理において事前動き探索処理を行う事前動き探索処理手段を備える請求項１に記載の映像符号化装置。
3. 前記動きベクトル統計値更新手段は、
   前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの絶対値和を前記符号化対象ピクチャの前記動きベクトル統計値として更新する請求項１に記載の映像符号化装置。
4. 前記動きベクトル統計値更新手段は、
   前記入力映像信号の指定された符号化済みピクチャにおける全ての動きベクトルを算出し、前記動きベクトルの分散値を前記符号化対象ピクチャの前記動きベクトル統計値として更新する請求項１に記載の映像符号化装置。
5. 前記判定手段は、
   決定された前記動きベクトル統計値と所定の閾値とを比較し、
   前記動きベクトル統計値の方が大きいと判定された場合、動き探索の処理の変更を行うと決定し、
   前記動きベクトル統計値の方が小さいと判定された場合、動き探索の処理を変更せず通常の前記双方向動き探索の処理を行うと決定する請求項１から４のいずれか１項に記載の映像符号化装置。
6. 前記事前動き探索処理手段は、
   動き探索の処理の変更が決定済みでかつ指定されたピクチャの動き予測処理において、前記指定ピクチャの前方向動き探索の参照距離が後方向動き探索の参照距離よりも短く、かつ、表示順序が前記指定ピクチャよりも後ろであり前方向動き探索の参照ピクチャが前記指定ピクチャの前方向動き探索の参照ピクチャと同一である別ピクチャが存在する場合、前記指定ピクチャの後方向動き探索を行わずに前方向動き探索のみで前記指定ピクチャの画面間符号化を行い、
   前方向参照ピクチャが前記指定ピクチャの前方向参照ピクチャと同一と判断された前記別ピクチャにおける動き予測処理において、双方向動き探索の実行前に前記指定ピクチャを参照画像とした前記別ピクチャの事前動き探索を行い、
   前記別ピクチャの符号化対象ブロックにおける算出済みの前記指定ピクチャからの事前動きベクトルと、前記事前動きベクトルが指し示すブロックにおける前記指定ピクチャの算出済み前方向動きベクトルをｘ成分、ｙ成分共に合計し、合計ベクトルが指し示す位置座標を前記別ピクチャの前記符号化対象ブロックにおける前方向動き探索の探索中心として設定し、
   前記別ピクチャの前方向動き探索においては決定された前記探索中心で、前記別ピクチャの後方向動き探索においては通常の処理によって決定される前記探索中心でそれぞれ動き探索を行い、前記別ピクチャの双方向動き探索を行う請求項５に記載の映像符号化装置。
7. 少なくとも画面間予測を行う画面間予測手段を備え、前方向動き予測と後方向動き予測で参照距離が非対称となる映像符号化方式を用いて映像の符号化を行う映像符号化装置であって、
   前記画面間予測手段は、
   符号化済みピクチャの動きベクトル情報を入力し、動きベクトル統計値の算出及び更新を行う動きベクトル統計値更新手段と、
   入力映像信号と、復号信号と、前記動きベクトル統計値を入力し、実行すべき動き探索処理を前記動きベクトル統計値に応じて切り替えながら符号化ブロック毎に動き探索を行って、前記動きベクトル情報を出力する動き探索処理手段と
   を備える映像符号化装置。
8. 入力映像信号のピクチャの時間的相関を利用し、符号化対象ピクチャにおいて、前方向参照ピクチャと後方向参照ピクチャそれぞれ少なくとも１枚の参照ピクチャに対して動き予測をする映像符号化装置が行う映像符号化方法であって、
   前記入力映像信号の符号化済みピクチャの動きベクトル情報に基づいて、動きベクトル統計値を更新する動きベクトル統計値更新ステップと、
   更新された前記動きベクトル統計値に基づいて、動き探索の処理の変更を行うか否かを判定する判定ステップと、
   動き探索の処理の変更を行うと判定された場合、前記符号化対象ピクチャの画面間符号化処理において後方向動き探索を実行しない映像符号化方法。
9. コンピュータを、請求項１から７のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。

Images