JP4223169B2

JP4223169B2 - Motion vector detection method, motion vector detection device, and data recording medium

Info

Publication number: JP4223169B2
Application number: JP2000076925A
Authority: JP
Inventors: 眞也角野; 潤 ▲たか▼橋
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1999-03-17
Filing date: 2000-03-17
Publication date: 2009-02-12
Anticipated expiration: 2020-03-17
Also published as: JP2000333184A

Description

【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法，動きベクトル検出装置，及びデータ記憶媒体に関し、特に、ブロック単位動き補償符号化処理，つまり画面間の画素値相関を利用して画像信号を所定数の画素からなるブロック毎に効率良く符号化する処理において使用される動きベクトルを高速かつ精度良く生成する動きベクトル検出処理に関するものである。
【０００２】
【従来の技術】
近年、音声，画像，その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアで扱われる情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋbits（電話品質）、さらに動画については１秒当たり１００Ｍbits（現行テレビ放送品質）以上の情報量が必要となり、上述したほとんどの情報メディアにおいては、その膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋbps 〜１．５Ｍbps の伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビカメラの映像情報をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を記録することも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group) とは、動画データ（動画像の画像信号）の圧縮技術に関する国際規格であり、ＭＰＥＧ１は、動画データを１．５Ｍbps まで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ１規格を対象とする伝送速度が主として約１．５Ｍbps に制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ２では、動画データが２〜１５Ｍbps に圧縮される。
【０００６】
さらに現状では、ＭＰＥＧ１，ＭＰＥＧ２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11) によって、物体単位で符号化処理や信号操作を可能とし、マルチメディア時代に必要な新しい機能を実現する動画データの圧縮技術がＭＰＥＧ４として規格化されつつある。このＭＰＥＧ４では、当初、低ビットレートの符号化方法の標準化を目指してきたが、現在は、標準化の対象が、インタレース画像に対応した高ビットレートのより汎用的な符号化処理に拡張されている。
【０００７】
上述した符号化処理では、画面間の画素値相関を利用して画像信号の符号化を行う処理，いわゆる画面間動き補償符号化処理を用いることにより大幅なデータ圧縮（ビットレート節約）を実現している。ここで、上記画面間動き補償符号化処理では、１６×１６画素からなる画像空間（マクロブロック）、もしくは８×８画素からなる画像空間（ブロック）を単位として、符号化処理の対象となる被処理ブロック(以下、対象ブロックともいう。)の画像信号が、符号化処理が施された画面に対応する画像信号（参照画面の画像信号）と比較されて、参照画面における、最も画素値の配列パターンが上記対象ブロックと似ている領域（予測ブロック）の位置を示す位置情報が対象ブロックに対応する動きベクトルとして検出される。この動きベクトルは、上記対象ブロックに対応する画像信号と予測ブロック(参照ブロック)に対応する画像信号との差分信号（動き補償誤差）とともに符号化される。
【０００８】
図１１は従来の代表的な画面間動き補償符号化装置のブロック図である。なお、説明の簡略化のために、以下の説明では、１６×１６画素からなるマクロブロックと８×８画素からなるブロックを区別せずにブロックという。
この画面間動き補償符号化装置（以下、符号化装置と略記する。）１０００は、所定の物体に対応する画像信号を上記ブロックに対応するよう分割して得られる画像信号をブロック毎に順次受け、各ブロックに対応する画像信号に対して画面間動き補償符号化処理を施すものである。
【０００９】
つまり、上記符号化装置１０００は、符号化処理の対象となる被処理ブロックに対応する画像信号Ｓｔと、参照画面に対応する画像信号から取得した予測ブロックに対応する画像信号（動き補償データ）Ｐｔとの差分値Ｄｔを計算する減算器ｄ１と、該減算器ｄ１により得られた差分値ＤｔをＤＣＴ（離散コサイン変換）等の直交変換処理により周波数成分Ｔｔに変換する直交変換器ｄ２と、該周波数成分Ｔｔを量子化して量子化値Ｑｔを出力する量子化器ｄ３と、量子化値Ｑｔを符号化して符号化データＥｔを出力する可変長符号化器ｄ４とを有している。
【００１０】
また、上記符号化装置１０００は、上記量子化値Ｑｔを逆量子化して周波数成分ＩＱｔを復元する逆量子化器ｄ５と、復元した周波数成分ＩＱｔを逆ＤＣＴ処理等の処理により空間領域の画像データ（画素値）ＩＴｔに変換する逆直交変換器ｄ６と、復元した画像データＩＴｔと上記動き補償データＰｔとを加算する加算器ｄ７と、該加算器ｄ７の出力Ｒｔを後続画面に対する符号化処理の際に参照するためのデータとして一時的に記憶するフレームメモリｄ８とを有している。
【００１１】
さらに、上記符号化装置１０００は、上記被処理ブロックと同一サイズの、上記参照画面における領域毎に、上記被処理ブロックに対応する画像信号Ｓｔを、フレームメモリｄ８に格納されている参照画面の画像データＣｔと比較し、両者の差が最小となる参照画面における領域（予測ブロック）の位置を示す情報（動きベクトル）ＭＶを導出する動き検出器ｄ９と、検出した動きベクトルＭＶに応じたフレームメモリｄ８に対するアドレス信号Ａｄを発生し、このアドレス信号Ａｄに基づいて、参照画面における画素位置により特定される領域（予測ブロック）の画像データＭｔを取得し、この画像データを動き補償データＰｔとして出力する動き補償器ｄ１０とを有している。
【００１２】
上述した従来の符号化装置１０００では、画像信号Ｓｔを直接符号化する代わりに、エネルギーの小さい減算器ｄ１の出力を符号化することにより、圧縮効率の向上を図っている。この圧縮効率は、上記減算器ｄ１の出力のエネルギー（出力信号の振幅）が小さいほど向上することが知られており、従って、動き検出器ｄ９において、高速かつ精度良く動きベクトルを検出することが重要になる。このような精度のよい動きベクトルを検出することにより、上記減算器ｄ１の出力のエネルギーが小さくなる。
【００１３】
なお、図中、ｉ２０は画像信号（画像データ）Ｓｔの入力端子、ｏ２０は符号化データＥｔの出力端子である。また、図１１に示す符号化装置１０００では、フレームメモリｄ８と動き検出器ｄ９により、動きベクトルの検出を行う動きベクトル検出装置２００が構成されており、以下、この動きベクトル検出装置２００について詳述する。
【００１４】
図１２は従来の代表的な動きベクトル検出装置の構成を示すブロック図である。
この動きベクトル検出装置２００は、上記参照画面の画像データＣｔが格納されるフレームメモリｄ８と、外部からの動きベクトル探索中心を示す情報Ｓｃを受け、探索中心近傍の複数の画素位置を示す候補動きベクトルＭＶｃを出力する動きベクトル生成器ｕ１ａと、候補動きベクトルＭＶｃにより示される参照画面における予測ブロックの画素値（画像データ）Ｃｔと、入力された被処理ブロックの画像信号（画像データ）Ｓｔとの誤差（動き補償誤差）Ｄｐを算出する誤差計算器ｕ３ａと、該誤差計算器ｕ３ａの出力である誤差Ｄｐを監視し、動きベクトル生成器ｕ１ａの出力である候補動きベクトルＭＶｃから、誤差が最小となるものを選択し、選択された候補動きベクトルを被処理ブロックに対応する動きベクトルＭＶｓとして出力する最小誤差選択器ｕ４ａとを有している。ここでは、上記動き検出器ｄ９は、上記動きベクトル生成器ｕ１ａ，誤差計算器ｕ３ａ，及び最小誤差選択器ｕ４ａにより構成されている。
【００１５】
なお、図中、ｉ１は上記画像信号（画像データ）Ｓｔが入力される動きベクトル検出装置２００の第１の入力端子、ｉ２は上記動きベクトル探索中心情報Ｓｃが入力される動きベクトル検出装置２００の第２の入力端子、ｏ１は上記動きベクトルＭＶｓが出力される上記検出装置２００の出力端子である。また、動きベクトル探索中心情報Ｓｃは、フレームメモリｄ８に格納されている参照画面の画像信号Ｃｔと入力された画像信号Ｓｔとを比較して動きベクトルを検出するための探索処理を開始する位置を示すものであり、この探索処理の開始位置としては、被処理画面上の対象ブロックと同じ空間位置に対応する参照画面上の位置や、対象ブロック近傍に位置する近傍ブロックの検出済み動きベクトルで示される参照画面上の位置などがよく使われる。例えば、対象ブロック近傍に位置する近傍ブロックとしては、対象ブロックの左隣に位置するブロックが用いられる。
【００１６】
次に動作について説明する。
上記画面間動き補償符号化装置１０００に、符号化処理の対象となる被処理ブロックに対応する画像信号Ｓｔが入力されると、減算器ｄ１にて、該被処理ブロックの画像信号Ｓｔと、対応する予測ブロックの画像信号（動き補償データ）Ｐｔとの差分値Ｄｔが計算される。この差分値Ｄｔは、直交変換器ｄ２にて、ＤＣＴ（離散コサイン変換）等の直交変換処理により周波数成分Ｔｔに変換される。この周波数成分Ｔｔは量子化器ｄ３にて量子化されて、対応する量子化値Ｑｔが出力される。そして、可変長符号化器ｄ４では、この量子化値Ｑｔを可変長符号に変換する可変長符号化処理が行われ、該符号化器ｄ４からは上記被処理ブロックに対応する符号化データＥｔが出力される。
【００１７】
一方、このとき、上記量子化値Ｑｔは、逆量子化器ｄ５にて逆量子化処理により周波数成分ＩＱｔに復元され、さらにこの周波数成分ＩＱｔは、逆直交変換器ｄ６にて空間領域の画像データ（画素値）ＩＴｔに変換される。そして、この画像データＩＴｔは、加算器ｄ７にて、上記動き補償データ（予測ブロックに対応する画像信号）Ｐｔと加算されて、被処理ブロックに対応する再生データＲｔが生成される。この再生データＲｔは、被処理画面に続く後続画面に対応する画像信号を符号化する際に参照するための参照データとして一時的にフレームメモリｄ８に格納される。
【００１８】
そして、動き検出器ｄ９では、フレームメモリｄ８に格納されている参照画面に対応する画像信号Ｃｔと、被処理ブロックに対応する画像信号Ｓｔとが比較され、参照画面における上記被処理ブロックと同一サイズの所定領域（予測ブロック）の位置情報が、上記被処理ブロックに対応する動きベクトルＭＶとして導出される。すると、動き補償器ｄ１０では、この動きベクトルＭＶにより示される参照画面上の位置に対応するアドレスＡｄが生成され、このアドレスＡｄに基づいて、フレームメモリｄ８から上記予測ブロックに対応する画像データＭｔが、被処理ブロックに対応する動き補償データＰｔとして出力される。
【００１９】
続いて、上記動き検出器ｄ９とフレームメモリｄ８からなる動きベクトル検出装置２００の動作について詳しく説明する。
上記動きベクトル検出装置２００における動きベクトル生成器ｕ１ａでは、該装置の外部から供給されるベクトル探索中心情報Ｓｃに基づいて、探索中心近傍の複数の画素位置を示す動きベクトルが候補動きベクトルＭＶｃとして出力される。すると、上記フレームメモリｄ８では、該候補動きベクトルＭＶｃにより示される参照画面上のブロックに対応する画像信号（動き補償データ）Ｃｔが出力される。上記誤差計算器ｕ３ａでは、各候補動きベクトルに対応する動き補償データＣｔと対象ブロックの画像信号との差分信号（画像誤差データ）Ｄｐが算出される。最小誤差選択器ｕ４ａでは、この画像誤差データＤｐがモニターされており、複数の候補動きベクトルＭＶｃから、該誤差データＤｐが最小となる候補動きベクトルＭＶｃが選択され、選択された候補動きベクトルが被処理ブロックに対応する動きベクトル（選択動きベクトル）ＭＶｓとして出力される。
【００２０】
この動きベクトル検出装置２００はその構成が簡単なものであるが、動きベクトルの探索範囲、すなわち動きベクトル生成器ｕ１ａで生成する候補動きベクトルの数に比例して、動き補償誤差を計算する際の演算量が増加するという欠点がある。
言い換えると、動きの大きい物体を含む画像に対しては、画像空間上の広範な範囲にわたって動きベクトルの探索を行うことが符号化効率の向上につながるため、符号化効率の向上を図る上で、動きベクトル検出装置における演算処理のうちで、演算負荷が最も大きい誤差計算を削減することが重要な課題となってくる。
そこで、上記のような動きベクトル検出装置における誤差計算の演算回数を削減する方式として、階層的動きベクトル検出方式がよく使用される。
【００２１】
図１３は、このような階層的動きベクトル検出方式の一例である従来の動きベクトル検出法（３ステップ法）を説明するための図である。
この３ステップ法は、第ｎ回目の階層の処理では、第ｎ−１回目の階層の処理において検出した動きベクトルが示す指示位置を探索中心とする、その周辺の８つの近傍位置にて、探索範囲を第ｎ−１回目の階層の処理における探索範囲の１／３に縮小して再帰的に探索を行うというものである。なお、上記８つの近傍位置は、上記指示位置の上方向，下方向，左方向，右方向に位置する４つの近傍位置、及び該指示位置の右上方向，右下方向，左上方向，左下方向に位置する４つの近傍位置である。
【００２２】
なお、図１３では、○印は参照画面を構成する各画素を表しており、数字の１が書き込まれた○印は、第１回目の階層の処理において探索の対象となる画素（第１探索対象画素）であり、候補動きベクトルが示す候補予測ブロック（動き補償ブロック）の代表位置である。図１３に示す参照画面には、この第１探索対象画素が、探索中心となる画素を含めて９個示されている。
【００２３】
まず、第１回目の階層の動き検出処理では、画素Ｐ０を探索中心として、該画素Ｐ０及びその周辺の画素Ｐ１ａ〜Ｐ１ｈの位置により特定される特定ブロックに対応する画像誤差データ（つまり該特定ブロックと被処理ブロックとの間での画像データの誤差）が検出される。ここでは、上記周辺画素Ｐ１ｂが、画像誤差データの最も小さいものとなっている。従って、第２回目の階層の動き検出処理は、この画素Ｐ１ｂを探索中心として行われる。なお、上記周辺画素Ｐ１ａ〜Ｐ１ｈは、上記探索中心を含む、垂直方向，水平方向，及び該水平方向に対して±４５度の角度をなす斜め方向と平行な直線上において、上記探索中心となる画素Ｐ０から９画素間隔離れて位置している。
【００２４】
次に、第２回目の階層の動き検出処理では、上記周辺画素Ｐ１ｂを探索中心として、該画素Ｐ１ｂの周辺の画素Ｐ２ａ〜Ｐ２ｈの位置により特定される特定ブロックに対応する画像誤差データ（つまり該特定ブロックと被処理ブロックとの間での画像データの誤差）が検出される。ここでは、上記周辺画素Ｐ２ｅが、画像誤差データの最も小さいものとなっている。従って、第３回目の階層の動き検出処理は、この画素Ｐ２ｅを検索中心として行われる。なお、上記周辺画素Ｐ２ａ〜Ｐ２ｈは、上記第２回目の階層の動き検出処理における探索中心を含む、垂直方向，水平方向，及び該水平方向に対して±４５度の角度をなす斜め方向と平行な直線上において、上記探索中心となる画素Ｐ１ｂから３画素間隔離れて位置している。
【００２５】
最後に、第３回目の階層の動き検出処理では、上記周辺画素Ｐ２ｅを探索中心として、該画素Ｐ２ｅの周辺の画素Ｐ３ａ〜Ｐ３ｈの位置により特定される特定ブロックに対応する画像誤差データ（つまり該特定ブロックと被処理ブロックとの間での画像データの誤差）が検出される。ここでは、上記周辺画素Ｐ３ａが、画像誤差データの最も小さいものとなっている。従って、この画素Ｐ３ａ（斜線で示す○印）を示す動きベクトルが、３ステップ法により検出された被処理ブロックに対応する動きベクトルとされる。なお、上記周辺画素Ｐ３ａ〜Ｐ３ｈは、上記第３回目の階層の動き検出処理における探索中心を含む、垂直方向，水平方向，及び該水平方向に対して±４５度の角度をなす斜め方向と平行な直線上において、上記検索中心となる画素Ｐ２ｅから１画素間隔離れて位置している。
【００２６】
この３ステップ法は、一般に画像データに関してはほぼ成立する条件下、つまり画像誤差データが最小となる探索位置に近い画素ほど、対応する画像誤差データが小さくなるという条件下では、単純に探索範囲の全ての画素位置（つまり参照画面における全ての画素）について直接画像誤差データを計算して、画像誤差データが最小となる動きベクトルを検出する方式と比べてほとんど差のない精度でもって動きベクトルが検出できるものである。
【００２７】
また、図１３で示す３ステップ法による動き検出処理では、画像誤差データ（以下単に誤差ともいう。）の計算回数は、第１階層の処理における９回、第２階層の処理における８回、及び第３階層の処理における８回の合計２５回であり、単純に探索範囲の全ての画素位置について直接誤差を計算する方法に比べて、誤差の計算回数を大幅に削減できることが明かである。
【００２８】
図１４は従来の他の動きベクトル検出法を説明するための図である。
この動きベクトル検出法では、１／２画素精度で、誤差（画像誤差データ）の最小となる画素の位置の探索処理が行われる。
【００２９】
上記１／２画素精度の探索処理では、参照画面上の隣接する２つの画素の間に、仮想的な画素値を有する補間画素が定義され、この補間画素を含む参照画面上で、画像誤差データが最小となる画素位置を示す動きベクトルの探索が行われる。この探索処理により得られた１／２画素精度の動きベクトルに基づいて、１／２画素以下の高精度な動き補償が行われることとなる。なお、上記補間画素の画素値は、該補間画素の両側に位置する画素の画素値に対する補間演算により求められる。
【００３０】
このような１／２画素精度の探索処理は、図１１に示す符号化装置における差分器ｄ１の出力信号のエネルギー（振幅レベル）を小さくすることにより符号化効率を向上するために使用される。
【００３１】
この１／２画素精度の探索処理では、フレームメモリから参照画面の画素値を読み出す際に、隣接する２つの画素の間に位置する補間画素の仮想的な画素値を補間演算により生成するという新たな処理が必要となる。このため、第１階層の探索処理では、図１４の実線の○印で示す画素を対象とする整数画素精度の動き検出処理を行い、第２階層の探索処理では、第１回層の探索処理で検出した画素Ｐ’０（図１４参照）を探索中心とし、探索の対象となる画素を該画素Ｐ’０の周囲にこれと隣接して位置する近傍画素（図１４の画素Ｐ’１〜Ｐ’８）に限定して、誤差が最小となる画素位置が探索される。これにより１／２画素精度の動きベクトルが検出されることとなる。
これらの従来の階層的な動きベクトル探索処理の特徴は、段階的に探索範囲を狭めかつ探索密度を高めながら、各段階に対応する探索範囲内で常に最小誤差となる動きベクトルを選択していくことである。
【００３２】
図１５は、従来の階層動きベクトル検出装置を説明するためのブロック図である。
この階層動きベクトル検出装置２０１は、外部から入力される動きベクトル探索中心を示す位置情報（以下、動きベクトル探索中心情報ともいう。）Ｓｃに基づいて第１階層の探索処理により動きベクトルＭＶ１ｓを検出する第１階層動き検出部と、該第１階層の探索処理により得られる動きベクトルＭＶ１ｓに基づいて、第２階層の探索処理により動きベクトルＭＶ２ｓを検出する第２階層動き検出部とを有している。
【００３３】
ここで、上記第１階層動き検出部は、図１２に示す動きベクトル検出装置２００と同様、外部からの動きベクトル探索中心情報Ｓｃに基づいて第１の候補動きベクトルＭＶ１ｃを複数生成するＭＶ生成器ｕ１ａと、参照画面に対応する画像データを記憶しているフレームメモリｕ２と、該第１の候補動きベクトルＭＶ１ｃに基づいて該フレームメモリｕ２から読みだされた動き補償データ（候補予測ブロックの画像データ）Ｃ１ｔと、入力された対象ブロックの画像データＳｔとの誤差データＤ１ｐを算出する誤差計算器ｕ３ａと、該誤差データＤ１ｐに基づいて、複数の候補動きベクトルＭＶ１ｃのなかから、誤差データが最小となる候補動きベクトルを第１階層動きベクトルＭＶ１ｓとして選択する最小誤差選択器ｕ４ａとを有している。
【００３４】
また、上記第２階層動き検出部は、上記第１階層動きベクトルＭＶ１ｓが示す画素位置を探索中心として第２の候補動きベクトルＭＶ２ｃを複数生成するＭＶ生成器ｕ１ｂと、参照画面に対応する画像データを記憶しているフレームメモリｕ２と、該第２の候補動きベクトルＭＶ２ｃに基づいて該フレームメモリｕ２から読みだされた動き補償データ（候補予測ブロックの画像データ）Ｃ２ｔと、入力された対象ブロックの画像データＳｔとの誤差データＤ２ｐを算出する誤差計算器ｕ３ｂと、該誤差データＤ２ｐに基づいて、複数の候補動きベクトルＭＶ２ｃのなかから、誤差データが最小となる候補動きベクトルを第２階層動きベクトルＭＶ２ｓとして選択する最小誤差選択器ｕ４ｂとを有している。この第２階層動き検出部の誤差計算器ｕ３ｂには、上記第１階層動き検出部の最小誤差選択器ｕ４ａから最小誤差データＤ１ｐｍが供給されるようになっている。このため、誤差計算器ｕ３ｂでは、第２階層動き検出処理における探索中心に対応する誤差データを求める必要がない。
【００３５】
なお、この動きベクトル検出装置２０１では、フレームメモリｕ２は、第１階層動き検出部と第２階層動き検出部とによって共用されている。また、図１５中、ｉ１は上記対象ブロックの画像信号Ｓｔが入力される第１の入力端子、ｉ２は上記動きベクトル探索中心情報Ｓｃが入力される第２の入力端子、ｏ１は対象ブロックの動きベクトルＭＶ２ｓが出力される出力端子である。なお、図１５に示すフレームメモリｕ２は、図１１及び図１２に示すフレームメモリｄ８と同一のものである。
【００３６】
次に動作について説明する。
図１５に示す動きベクトル検出装置２０１の第１階層動き検出部では、図１２に示す動きベクトル検出装置２００と全く同一の探索処理が行われて、対象ブロックに対応する動きベクトルが第１階層動きベクトルＭＶ１ｓとして生成される。
【００３７】
そして、第１階層動きベクトルＭＶ１ｓが動きベクトル検出装置２０１における第２階層動き検出部に入力されると、該第２階層動き検出部では、第１階層動きベクトルＭＶ１ｓが示す参照画面上の画素位置を探索中心として、該探索中心の近傍に位置する周辺画素に対応する第２候補動きベクトルＭＶ２ｃが複数生成される。
【００３８】
さらに、誤差計算器ｕ３ｂでは、フレームメモリｕ２から読みだされた、第２候補動きベクトルで示される参照画面上の候補予測ブロックに対応する画像データ（動き補償データ）Ｃ２ｔが入力されると、該動き補償データＣ２ｔと対象ブロックの画像データＳｔとの誤差データＤ２ｐが算出される。
【００３９】
最小誤差選択器ｕ４ｂには、ＭＶ生成器ｕ１ｂにて生成された複数の候補動きベクトルＭＶ２ｃとともに、各候補動きベクトルＭＶ２ｃに対応する誤差データＤ２ｐが入力され、誤差データが最小となる候補動きベクトルＭＶ２ｃが第２階層動きベクトルＭＶ２ｓとして選択されて出力される。
【００４０】
なお、動きベクトル生成器ｕ１ｂでの探索中心（すなわち最小誤差選択器ｕ４ａにて選択された動きベクトル）に対応する誤差データＤ１ｐｍは既に誤差計算器ｕ３ａで計算されて最小誤差選択器ｕ４ａに通知済みであるから、この最小誤差データＤ１ｐｍを最小誤差選択器ｕ４ａから誤差計算器ｕ３ｂに通知することで、誤差計算器ｕ３ｂでは、第２階層動き探索処理における探索中心を示す動きベクトルについては、対応する誤差データを求める演算が省略できる。
【００４１】
また、図１５では、動きベクトル検出装置２０１として、２階層の探索処理により対象ブロックに対応する動きベクトルを検出するものを示しているが、３階層の探索処理により対象ブロックに対応する動きベクトルを検出する動きベクトル検出装置の構成は、図１２に示す動きベクトル検出装置２００において、誤差計算器、最小誤差選択器，及びＭＶ生成器を、さらに１組追加することにより得られることは容易に類推できる。
【００４２】
また、従来の動きベクトル検出方法は、図１３及び図１４を用いて説明した階層的な探索処理を行うものに限らず、動きベクトル探索中心を探索開始位置として、各画素位置毎に探索方向を決定して、動き補償誤差がより小さくなる参照画面上の画素位置を探索するものもある。
図１６は、このように動き補償誤差がより小さくなる画素位置を求めて探索位置をベクトル探索中心から順次移動していく動きベクトル検出方法を説明するための図であり、参照画面における画素の配置を示している。なお、図中、Ｐs0，Ｐsa〜Ｐsiは参照画面上の各画素である。
【００４３】
この動きベクトル検出方法は、One at a time と呼ばれており、以下この動きベクトル検出方法の処理フローについて具体的に説明する。
ただし、ここでは、図１６に示す各画素Ｐs0，Ｐsa〜Ｐsiにより特定される参照画面上のブロックと、被処理画面上の被処理ブロックとの間での画像データの誤差（動き補償誤差）ＳＡＤs0，ＳＡＤsa〜ＳＡＤsiに関して、次の式（１）〜（３）が成立しているものとする。
ＳＡＤs0，ＳＡＤsa＞ＳＡＤsb ・・・（１）
ＳＡＤsb，ＳＡＤsd＞ＳＡＤsc ・・・（２）
ＳＡＤsc，ＳＡＤsf〜ＳＡＤsi＞ＳＡＤse ・・・（３）
この動きベクトル検出方法では、まず、第１のステップでは、参照画面にて、探索中心となる画素Ｐs0の左右に位置する画素Ｐsa及びＰsbに対する探索が行われる。
【００４４】
この場合、探索中心画素Ｐs0の右側の画素Ｐsbに対応する動き補償誤差ＳＡＤsbが、探索中心画素Ｐs0及びその左側の画素Ｐsaに対応する動き補償誤差ＳＡＤs0，ＳＡＤsaより小さくなっている（式（１）参照）。このため、続く第２のステップでは、上記画素Ｐsbの左右に位置する画素Ｐs0及びＰscに対する探索が行われる。
【００４５】
第３のステップでは、上記画素Ｐscに対応する動き補償誤差ＳＡＤscが、画素Ｐs0 及び画素Ｐsbに対応する動き補償誤差ＳＡＤs0，ＳＡＤsbより小さくなっているため（式（１），（２）参照）、上記画素Ｐscの左右に位置する画素Ｐsb及びＰsdに対する探索が行われる。
【００４６】
第４のステップでは、上記画素Ｐscに対応する動き補償誤差ＳＡＤscが、画素Ｐsb及び画素Ｐsdに対応する動き補償誤差ＳＡＤsb，ＳＡＤsdより小さくなっているため（式（２）参照）、上記画素Ｐscの上下に位置する画素Ｐse及びＰsfに対する探索が行われる。
【００４７】
第５のステップでは、上記画素Ｐseに対応する動き補償誤差ＳＡＤseが、画素Ｐsc及び画素Ｐsfに対応する動き補償誤差ＳＡＤsc，ＳＡＤsfより小さくなっているため（式（３）参照）、上記画素Ｐseの左右に位置する画素Ｐsg及びＰshに対する探索が行われる。
【００４８】
第６のステップでは、上記画素Ｐseに対応する動き補償誤差ＳＡＤseが、画素Ｐsg及び画素Ｐshに対応する動き補償誤差ＳＡＤsg，ＳＡＤshより小さくなっているため（式（３）参照）、上記画素Ｐseの上下に位置する画素Ｐsi及びＰscに対する探索が行われる。そして、この場合、上記画素Ｐseに対応する動き補償誤差ＳＡＤseが、画素Ｐsi及び画素Ｐscに対応する動き補償誤差ＳＡＤsi，ＳＡＤscより小さくなっているため（式（３）参照）、上記画素Ｐseの位置を示す動きベクトルが、被処理ブロックに対する動きベクトルとして決定される。
なお、図１６中の画素を示す○印内の番号は、上記第１〜第６の各ステップで新たに探索対象に加えられる画素を示している。例えば、画素Ｐscを示す○印内の番号は２であり、この番号２は、この画素Ｐscが第２のステップで新たに探索対象に加えられるものであることを示している。
【００４９】
【発明が解決しようとする課題】
以上説明したように、従来の動きベクトル検出処理では、階層的な動きベクトルの探索あるいはOne at atime探索等の効率的な動きベクトル検索によって、画像誤差データの計算回数が大幅に削減されているが、近年、機器の小型化や省エネルギー化等の要求がますます厳しくなるに従い、動きベクトル検出処理を、誤差データの計算回数が更に少ないものとする必要性が出てきた。
【００５０】
上記のような省エネルギータイプの小型の画像表示用機器といった用途では、画像信号の符号化効率（一定ビットレートでの画質向上）が重要であることは言うまでもないが、それ以上に動きベクトル検出といった演算量の多い処理における計算回数の削減が要求されるといった課題がある。
【００５１】
本発明は、上記のような課題に鑑みてなされたものであり、画像信号の符号化効率を殆ど劣化させずに、演算量の多い動きベクトル検出処理における計算回数を削減することができ、これにより消費電力を低く抑えることができる動きベクトル検出方法及び動きベクトル検出装置，並びに該動きベクトル検出方法により動きベクトルを検出する処理をコンピュータにより行わせるためのプログラムを格納したデータ記憶媒体を得ることを目的とする。
【００５２】
【課題を解決するための手段】
この発明（請求項１）に係る動きベクトル検出方法は、被処理画面に対応する画像データを処理する単位である、所定数の画素からなるブロック毎に、処理対象となる被処理ブロックに対応する予測ブロックの、参照画面における位置を一定条件下で探索して、上記予測ブロックの位置を示す情報を、被処理ブロックに対応する動きベクトルとして検出する動きベクトル検出処理を含む動きベクトル検出方法であって、上記予測ブロックの位置の探索を開始する位置である動きベクトル探索中心に対応するブロックと、上記処理対象となる被処理ブロックとの間での画像データの誤差を、上記動きベクトル探索中心に対応する動き補償誤差として算出する算出処理と、上記被処理ブロックの近傍に位置する近傍ブロックと、これに対応する予測ブロックとの間での画像データの誤差である、近傍ブロックに対応する動き補償誤差を、上記動きベクトル探索中心に対応する動き補償誤差と比較する比較処理とを含み、上記両動き補償誤差の比較結果に応じて、上記動きベクトル探索中心を示す位置情報を上記被処理ブロックに対応する動きベクトルとして出力するか、あるいは上記動きベクトル検出処理を上記動きベクトル探索中心を探索開始位置として行って得られる動きベクトルを被処理ブロックに対応する動きベクトルとして出力するかを切り替えるものである。
【００５３】
この発明（請求項２）は、請求項１記載の動きベクトル検出方法において、上記動きベクトル探索中心に対応する動き補償誤差が上記近傍ブロックに対応する動き補償誤差より小さいとき、上記動きベクトル探索中心を示す位置情報をそのまま被処理ブロックに対応する動きベクトルとして出力するものである。
【００５４】
この発明（請求項３）は、請求項1記載の動きベクトル検出方法において、上記動きベクトル探索中心に対応する動き補償誤差が上記近傍ブロックに対応する動き補償誤差より小さく、かつ該動きベクトル探索中心に対応する動き補償誤差が所定値未満であるとき、上記動きベクトル探索中心を示す位置情報をそのまま被処理ブロックに対応する動きベクトルとして出力するものである。
【００５５】
この発明（請求項４）は、請求項３記載の動きベクトル検出方法において、外部から動き検出指令信号が入力されたとき、上記近傍ブロックに対応する動き補償誤差及び上記動きベクトル探索中心に対応する動き補償誤差の大小関係に拘わらず、上記動きベクトル検出処理を上記動きベクトル探索中心を探索開始位置として行って得られる動きベクトルを、被処理ブロックに対応する動きベクトルとして出力するものである。
【００５６】
この発明（請求項５）は、請求項１記載の動きベクトル検出方法において、上記近傍ブロックに対応する動き補償誤差と、上記動きベクトル探索中心に対応する動き補償誤差との差分の大きさが所定値未満であるとき、上記動きベクトル探索中心を示す位置情報をそのまま被処理ブロックに対応する動きベクトルとして出力するものである。
【００５７】
この発明（請求項６）に係る動きベクトル検出方法であって、被処理画面に対応する画像データを処理する単位である、所定数の画素からなるブロック毎に、処理対象となる被処理ブロックに対応する予測ブロックの、参照画面における位置を一定条件下で探索して、上記予測ブロックの位置を示す情報を、被処理ブロックに対応する動きベクトルとして検出する動きベクトル検出方法であって、上記参照画面上に設定された第１の探索範囲にて上記予測ブロックの位置を探索して、被処理ブロックに対応する第１の候補動きベクトルにより特定される参照画面上のブロックと、被処理画面上の被処理ブロックとの間での画像データの誤差である第１の動き補償誤差を算出する処理と、上記第１の候補動きベクトルが示す画素位置の近傍に位置する上記参照画面上の第２の探索範囲にて、上記予測ブロックの位置を探索して、被処理ブロックに対応する第２の候補動きベクトルにより特定される参照画面上のブロックと、被処理画面上の被処理ブロックとの間での画像データの誤差である第２の動き補償誤差を算出する処理と、上記第１の候補動きベクトルと第２の候補動きベクトルに基づいて設定された上記参照画面上の第３の探索範囲にて、上記予測ブロックの位置を探索して、被処理ブロックに対応する第３の候補動きベクトルにより特定される上記参照画面上のブロックと、被処理画面上の被処理ブロックとの間での画像データの誤差である第３の動き補償誤差を算出する処理と、上記第１，第２，第３の動き補償誤差を比較して、その比較結果に応じて、上記第１，第２，第３の候補動きベクトルのうちの１つを、被処理ブロックに対応する動きベクトルとして選択する処理とを含むものである。
【００５８】
この発明（請求項７）は、請求項６記載の動きベクトル検出方法において、上記第３の探索範囲を、上記参照画面上にて第１および第２の探索範囲以外の領域に設定し、上記第３の探索範囲における上記予測ブロックの位置の探索を、上記第１および第２の動き補償誤差を参照せずに行うものである。
【００５９】
この発明（請求項８）は、請求項６記載の動きベクトル検出方法において、上記第１の探索範囲では、上記予測ブロックの位置を探索する処理として、画素単位の探索処理を行い、上記第３の探索範囲では、上記予測ブロックの位置を探索する処理を、上記参照画面における画素間の仮想画素に対応する画素値を補間して、半画素以上の精度で行うものである。
【００６０】
この発明（請求項９）は、請求項６記載の動きベクトル検出方法において、上記第２の探索範囲では、上記予測ブロックの位置を、上記参照画面における垂直もしくは水平方向のみに沿って探索し、上記第３の探索範囲では、上記予測ブロックの位置を、該第２の探索範囲における探索方向以外の方向に沿って探索するものである。
【００６１】
この発明（請求項１０）に動きベクトル検出装置は、被処理画面に対応する画像データを処理する単位である、所定数の画素からなるブロック毎に、処理対象となる被処理ブロックに対応する予測ブロックの、参照画面における位置を一定条件下で探索して、上記予測ブロックの位置を示す情報を、被処理ブロックに対応する動きベクトルとして検出する動きベクトル検出処理を行う動きベクトル検出装置であって、上記予測ブロックの位置の探索を開始する位置である動きベクトル探索中心に対応するブロックと、上記処理対象となる被処理ブロックとの間での画像データの誤差を、上記動きベクトル探索中心に対応する動き補償誤差として算出する誤差計算手段と、上記被処理ブロックの近傍に位置する近傍ブロックと、これに対応する予測ブロックとの間での画像データの誤差である近傍ブロックに対応する動き補償誤差を、上記動きベクトル探索中心に対応する動き補償誤差と比較する比較手段と、上記両動き補償誤差の比較結果に応じて、上記被処理ブロックに対する動きベクトル検出処理を行うべきか否かを判別する判別手段と、上記判別手段により動きベクトル検出処理を行うべきと判別されたときのみ、上記動きベクトル探索中心を探索開始位置として上記動きベクトル検出処理を行って動きベクトルを検出する動き検出手段と、上記判別手段にて動きベクトル検出処理を行うべきと判別されたとき、上記動き検出手段により検出された動きベクトルを被処理ブロックに対応する動きベクトルとして出力し、上記判別手段にて動きベクトル検出処理を行うべきではないと判別されたとき、上記動きベクトル探索中心を示す位置情報をそのまま被処理ブロックに対応する動きベクトルとして出力する選択手段と、上記選択手段から出力される動きベクトルに対応する動き補償誤差を、他のブロックに対する動きベクトル検出処理を行うか否かを判定するためのデータとして一時的に格納するメモリとを備えたものである。
【００６２】
この発明（請求項１１）に係る動きベクトル検出装置は、被処理画面に対応する画像データを処理する単位である、所定数の画素からなるブロック毎に、処理対象となる被処理ブロックに対応する予測ブロックの、参照画面における位置を一定条件下で探索して、上記予測ブロックの位置を示す情報を、被処理ブロックに対応する動きベクトルとして検出する動きベクトル検出装置であって、上記参照画面上に設定された第１の探索範囲にて上記予測ブロックの位置を探索して、被処理ブロックに対応する第１の候補動きベクトルにより特定される参照画面上のブロックと、被処理画面上の被処理ブロックとの間での画像データの誤差である第１の動き補償誤差を算出する第１の動き検出手段と、上記第１の候補動きベクトルが示す画素位置の近傍に位置する上記参照画面上の第２の探索範囲にて、上記予測ブロックの位置を探索して、被処理ブロックに対応する第２の候補動きベクトルにより特定される参照画面上のブロックと、被処理ブロックとの間での画像データの誤差である第２の動き補償誤差を算出する第２の動き検出手段と、上記第１の候補動きベクトルと第２の候補動きベクトルに基づいて設定された上記参照画面上の第３の探索範囲にて上記予測ブロックの位置を探索して、被処理ブロックに対応する第３の候補動きベクトルにより特定される上記参照画面上のブロックと、被処理ブロックとの間での画像データの誤差である第３の動き補償誤差を算出する第３の動き検出手段と、上記第１，第２，第３の動き補償誤差を比較して、その比較結果に応じて、上記第1，第２，第３の候補動きベクトルのうちの１つを、被処理ブロックに対応する動きベクトルとして選択する選択手段とを備えたものである。
【００６３】
この発明（請求項１２）に係るデータ記憶媒体は、プログラムとして、コンピュータに、請求項１記載の動きベクトル検出方法により被処理ブロックに対応する動きベクトルを検出する処理を行わせるためのプログラムを格納したものである。
【００６４】
この発明（請求項１３）に係るデータ記憶媒体は、プログラムとして、コンピュータに、請求項６記載の動きベクトル検出方法により被処理ブロックに対応する動きベクトルを検出する処理を行わせるためのプログラムを格納したものである。
【００６５】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
（実施の形態１）
最初に本発明の実施の形態1の基本的な考え方を説明する。
画像信号は一般に局所的な画素値の相関が強いため、被処理画面における対象ブロックとこれに隣接して位置する近傍ブロックの間では、動きベクトルや動き補償誤差はほぼ等しいものとなっている。
その結果、画素値相関が強い場合には、近傍ブロックの動きベクトルから、対象ブロックに対する動きベクトルを求めるための動きベクトル探索中心情報を予測生成し、その予測生成した動きベクトル探索中心情報を対象ブロックに対応する動きベクトルとしても、対象ブロックの動きベクトルの検出精度は殆ど劣化しない。
【００６６】
しかしながら、対象ブロックと近傍ブロックとがそれぞれ、異なる動きをする物体の画素を含む場合は、対象ブロックと近傍ブロックとの間での画素値の相関が失われ、動きベクトルや動き補償誤差も、対象ブロックと近傍ブロックとの間では大きく異なるものとなる。
【００６７】
そこで、近傍ブロックの動きベクトルから対象ブロックの動きベクトル探索中心情報を予測生成し、該動きベクトル探索中心に対応する動き補償誤差を、近傍ブロックに対応する動き補償誤差と比較し、その比較結果に応じて、動きベクトル検出処理を切り替えることにより、対象ブロックの動きベクトルの検出精度をあまり損なうことなく、対象ブロックに対する動き検出処理における演算量を削減することができる。
具体的には、上記動きベクトル探索中心に対する動き補償誤差と近傍ブロックに対する動き補償誤差の比較結果に応じて、該両動き補償誤差の差分が小さい場合は、対象ブロックに対応する動きベクトル探索中心情報を対象ブロックに対する動きベクトルとして用いる。一方、上記両動き補償誤差の差分が大きい場合は、対象ブロックの動きベクトル探索中心を探索開始位置として動きベクトル検出処理を行って得られる動きベクトルを、対象ブロックに対する動きベクトルとして用いる。
【００６８】
また、対象ブロックの動きベクトル探索中心に対する動き補償誤差が、近傍ブロックの動き補償誤差より小さい場合には、近傍ブロックと対象ブロックの間での画素値相関が低く、このため近傍ブロックから予測した動きベクトル探索中心は対象ブロックの最適な動きベクトルとは異なる可能性があるが、その反面、動きベクトル探索中心を示す位置情報を対象ブロックの動きベクトルとして選出しても対象ブロックの動き補償誤差が小さいことから実用上問題無いとみなすことができる。
【００６９】
そこで、両者の動き補償誤差の差分の大きさが所定値未満の場合に動きベクトル探索中心を示す位置情報を対象ブロックの動きベクトルとする判定結果（動き検出の打ち切り判定）を出力する代わりに、対象ブロックの検索中心に対する動き補償誤差が近傍ブロックの動き補償誤差より小さい場合に動きベクトル探索中心を示す位置情報を対象ブロックの動きベクトルとすること（動き検出の打ち切り判定）を示す判定信号を出力するようにしてもよい。
【００７０】
図１は本発明の実施の形態１による動きベクトル検出装置を説明するためのブロック図である。
この実施の形態１の動きベクトル検出装置１０１は、対象ブロックに対応する動きベクトルの検出を２階層の探索処理により行うものであるが、この装置では、第１階層の探索処理は外部から入力される動きベクトル探索中心情報Ｓｃに対する動き補償誤差を計算するものである。このため、この動き検出装置１０１は、図１５に示す従来の階層動きベクトル検出装置２０１における動きベクトル生成器ｕ１ａ及び最小誤差選択器ｕ４ａは有していない。
【００７１】
この実施の形態１の動きベクトル検出装置１０１は、参照画面の画像データが格納されるフレームメモリｕ２と、外部から動きベクトル探索中心を示す情報Ｓｃにより示される参照画面上の特定ブロックの画像データと、対象ブロックの画像データとの誤差を算出する誤差計算器ｕ３ａとを有している。この動きベクトル検出装置１０１では、上記フレームメモリｕ２と誤差計算器ｕ３ａにより第１階層動き検出部が構成されている。
【００７２】
また、この動きベクトル検出装置１０１は、上記外部からの動きベクトル探索中心情報Ｓｃが示す画素位置を探索中心として候補動きベクトルＭＶｃを複数生成するＭＶ生成器ｕ１と、上記候補動きベクトルＭＶｃに基づいて上記フレームメモリｕ２から読みだされた動き補償データ（第２の動き補償データ）Ｃ２ｔと、入力された対象ブロックの画像データＳｔとの誤差データＤ２ｐを算出する誤差計算器ｕ３ｂと、該誤差データＤ２ｐに基づいて、複数の候補動きベクトルＭＶｃのなかから、最小誤差に対応する候補動きベクトルを第２階層動きベクトルＭＶｓとして選択する最小誤差選択器ｕ４とを有している。この動きベクトル検出装置１０１では、上記フレームメモリｕ２，ＭＶ生成器ｕ１，誤差計算器ｕ３ｂ，最小誤差選択器ｕ４により第２階層動き検出部が構成されている。
【００７３】
さらに、上記動きベクトル検出装置１０１は、制御信号Ｄｃに基づいて、上記誤差計算器ｕ３ａから出力される誤差データＤ１ｐと、上記最小誤差選択器ｕ４から出力される最小誤差データＤｍｐの一方を選択し、選択したデータを選択誤差データＤｓｐとして出力する第１の選択器ｕ６と、上記制御信号Ｄｃに基づいて、外部から入力された動きベクトル探索中心情報Ｓｃと、上記最小誤差選択器ｕ４から出力される第２階層動きベクトルＭＶｓとの一方を選択し、選択した動きベクトルを対象ブロックの動きベクトルＭＶとして出力する第２の選択器ｕ７とを有している。
【００７４】
ここで、上記選択器ｕ６は、その第１の入力ノード６ａには上記最小誤差選択器ｕ４からの最小誤差データＤｍｐが入力され、その第２の入力ノード６ｂには誤差計算器ｕ３ａから出力される誤差データＤ１ｐが入力され、これらの一方のデータが選択誤差データＤｓｐとしてその出力ノード６ｃから出力されるようになっている。また、上記選択器ｕ７は、その第１の入力ノード７ａには上記最小誤差選択器ｕ４からの第２階層動きベクトルＭＶｓが入力され、その第２の入力ノード７ｂには外部からの動きベクトル探索中心情報Ｓｃが入力され、これらの一方のデータが対象ブロックの動きベクトルＭＶとしてその出力ノード７ｃから出力されるようになっている。
【００７５】
また、上記動きベクトル検出装置１０１は、上記選択誤差データＤｓｐを一時的に格納する一時格納メモリｕ８と、一時メモリｕ８から読み出された近傍ブロックの動き補償誤差Ｄｒｐと、誤差計算器ｕ３ａで計算した動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとを比較し、上記第２階層動き検出部による動きベクトルの探索処理を打切るかどうかを示す打ち切り判定結果を上記制御信号Ｄｃとして出力する打切判定器ｕ５ａとを有している。
その他の構成は従来の動きベクトル検出装置２０１と同様である。
【００７６】
図２(a)は、図１に示す動きベクトル検出装置１０１を構成する打ち切り判定器ｕ５ａの具体的な構成を示す図である。
この打ち切り判定器ｕ５ａは、近傍ブロックの動き補償誤差Ｄｒｐと、対象ブロックの動きベクトル探索中心Ｓｃに対応する動き補償誤差（図１では誤差計算器ｕ３ａの出力に相当）Ｄ１ｐとを比較する比較器ｃ１ａからなり、該両動き補償誤差の大小関係に応じて打ち切り判定結果を示す判定信号Ｄｃを出力する構成となっている。なお、図２(a)中、ｉ１０，ｉ１１はそれぞれ上記判定器ｕ５ａの入力端子で、入力端子ｉ１０には近傍ブロックの動き補償誤差Ｄｒｐが、入力端子ｉ１１には動きベクトル探索中心Ｓｃに対応する動き補償誤差Ｄ１ｐが入力される。また、ｏ１０は上記判定器ｕ５ａの出力端子であり、この出力端子ｏ１０からは上記判定信号Ｄｃが出力される。
【００７７】
つまり、この打ち切り判定器ｕ５ａは、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐにより小さいときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃを出力し、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐ以上であるときには、第２階層目の探索処理を行うことを示す判定信号Ｄｃを出力する構成となっている。
【００７８】
そして、本実施の形態１の動きベクトル検出装置１０１では、この第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃが上記打ち切り判定器ｕ５ａから出力されたときには、上記誤差計算器ｕ３ｂ，最小誤差選択器ｕ４，及びＭＶ生成器ｕ１での演算処理が停止され、上記選択器ｕ６では、誤差計算器ｕ３ａからの誤差データＤ１ｐが選択され、上記選択器ｕ７では、外部から入力された動きベクトル探索中心情報Ｓｃが選択されるようになっている。一方、上記第２階層目の探索処理を行うことを示す判定信号Ｄｃが上記打ち切り判定器ｕ５ａから出力されたときには、誤差計算器ｕ３ｂ，最小誤差選択器ｕ４，及びＭＶ生成器ｕ１での演算処理が行われ、上記選択器ｕ６では、最小誤差計算器ｕ４からの最小誤差データＤｍｐが選択され、上記選択器ｕ７では、最小誤差計算器ｕ４からの第２階層動きベクトルＭＶｓが選択されるようになっている。
【００７９】
次に作用効果について説明する。
以下、図1の動きベクトル検出装置１０１の動作について説明する。
一時メモリｕ８には、処理対象となる対象ブロックの１つ前に処理された近傍ブロックに対応する動き補償誤差（誤差データ）Ｄｒｐが格納されており、打切り判定器ｕ５ａでは、一時メモリｕ８から読み出した近傍ブロックの動き補償誤差Ｄｒｐと、誤差計算器ｕ３ａにて計算された、対象ブロックの動きベクトル探索中心情報Ｓｃに対応する動き補償誤差Ｄ１ｐとの比較が行われ、第２階層の動きベクトル探索処理を打切るかどうかを示す打ち切り判定結果が判定信号Ｄｃとして出力される。
【００８０】
具体的には、この打ち切り判定器ｕ５ａでは、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐより小さいときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃが出力される。一方、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐ以上であるときには、第２階層目の探索処理を打ち切らないことを示す判定信号Ｄｃが出力される。
【００８１】
上記打ち切り判定器ｕ５ａにて第２階層目の探索処理を打切ると判断された場合は、動きベクトル生成器ｕ１、誤差計算器ｕ３ｂおよび最小誤差選択器ｕ４には上記判定信号Ｄｃにより演算処理が不要であることが通知され、上記誤差計算器ｕ３ｂ，最小誤差選択器ｕ４，及びＭＶ生成器ｕ１では、第２階層目の探索処理に対する演算処理が行われない。一方、上記打ち切り判定器ｕ５ａにて第２階層目の探索処理を打切らないと判断された場合は、動きベクトル生成器ｕ１、誤差計算器ｕ３ｂおよび最小誤差選択器ｕ４には上記判定信号Ｄｃにより演算処理が必要であることが通知され、上記誤差計算器ｕ３ｂ，最小誤差選択器ｕ４，及びＭＶ生成器ｕ１では、第２階層目の探索処理に対する演算処理が行われることとなる。
【００８２】
また、このとき選択器ｕ７では、判定信号Ｄｃが第２階層目の探索処理の打切りを示す場合は、動きベクトル探索中心情報Ｓｃが選択されて対象ブロックの動きベクトルＭＶとして出力される。一方、上記判定信号Ｄｃが第２階層目の探索処理を打切らないことを示す場合は、最小誤差選択器ｕ４にて選択された動きベクトルＭＶｓが対象ブロックの動きベクトルＭＶとして出力される。
【００８３】
同様に、選択器ｕ６では、上記判定信号Ｄｃが第２階層目の探索処理の打切りを示す場合は、動きベクトル探索中心情報Ｓｃに対応する動き補償誤差Ｄ１ｐが選択されて一時メモリｕ８に出力される。一方、上記判定信号Ｄｃが第２階層目の探索処理を打切らないことを示す場合は、最小誤差選択器ｕ４にて選択された動きベクトルＭＶｓに対応する動き補償誤差Ｄｍｐが一時メモリｕ８に出力される。
【００８４】
このような構成の実施の形態１では、打ち切り判定器ｕ５ａにて、近傍ブロックの検出済み動きベクトルに対応する動き補償誤差Ｄｒｐを参照して、第２階層の動き探索を行っても符号化効率が向上しない場合を判定するので、不要な２階層目の動き探索処理を中止することができ、これにより動きベクトル検出処理における誤差計算回数を削減することができる。
【００８５】
また、上記打ち切り判定器ｕ５ａでは、対象ブロックの動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが、近傍ブロックの動き補償誤差Ｄｒｐより小さい場合に、動きベクトル探索中心情報Ｓｃを対象ブロックの動きベクトルとして選出するようにしており、この場合、近傍ブロックと対象ブロックの画素値相関が低く、近傍ブロックから予測した動きベクトル探索中心は対象ブロックの最適な動きベクトルとは異なる可能性があるが、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが小さいことから実用上問題無いとみなすことができる。
【００８６】
なお、上記実施の形態１では、第２階層目の探索処理を打ち切るか否かの判定を、対象ブロックの動きベクトル探索中心に対する動き補償誤差Ｄ１ｐと、近傍ブロックに対する動き補償誤差Ｄｒｐとの大小関係に応じて行っているが、動き補償誤差Ｄ１ｐと動き補償誤差Ｄｒｐの差分の大きさが、所定値未満の場合に第２階層目の検索処理を打ち切り、該差分が所定値以上である場合には、第２階層目の検索処理を打ち切らないようにしてもよい。
【００８７】
図２(b)は、このような構成の打ち切り判定器ｕ５１ａの構成を示している。
この打ち切り判定器ｕ５１ａは、上記所定の基準値Ｄｃｐを発生する基準値発生器ｃ１ｂと、動き補償誤差Ｄ１ｐと動き補償誤差Ｄｒｐの差分の大きさと、該所定の基準値Ｄｃｐとを比較して判定信号Ｄｃを出力する比較判定器ｃ５１ａとを有している。そして、この比較判定器ｃ５１ａは、上記差分の大きさが、所定値未満の場合に第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃを出力し、該差分が所定値以上である場合には、第２階層目の探索処理を打ち切らないことを示す判定信号Ｄｃを出力するよう構成されている。
【００８８】
（実施の形態２）
図３は本発明の実施の形態２による動きベクトル検出装置を説明するためのブロック図である。
この実施の形態２の動きベクトル検出装置１０２は、上記実施の形態１の動きベクトル検出装置における打ち切り判定器ｕ５ａに代えて、近傍ブロックの検出済動きベクトルに対応する動き補償誤差Ｄｒｐと対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとの大小関係、及び外部から入力される閾値Ｔｈに基づいて、第２階層目の動き探索を打ち切るか否かを示す判定信号Ｄｃｂを出力する打ち切り判定器ｕ５ｂを備えたものである。そしてこの動きベクトル検出装置１０２のその他の構成は、実施の形態１の動きベクトル検出装置１０１と同一である。なお、図３中、ｉ３は、上記閾値Ｔｈが入力される動きベクトル検出装置１０２の第３の入力端子である。
【００８９】
図４は、図３に示す動きベクトル検出装置１０２を構成する打ち切り判定器ｕ５ｂの具体的な構成を示す図である。
上記打ち切り判定器ｕ５ｂは、一時メモリｕ８から読み出した近傍ブロックに対応する動き補償誤差Ｄｒｐと、誤差計算器ｕ３ａで計算した動きベクトル探索中心情報Ｓｃに対応する動き補償誤差Ｄ１ｐとの比較を行う第１の比較器ｃ２ａと、外部から入力された閾値Ｔｈと動きベクトル探索中心情報Ｓｃに対応する動き補償誤差Ｄ１ｐとの比較を行う第２の比較器ｃ２ｂとから構成されている。
【００９０】
ここで、上記閾値Ｔｈは、画面間動き補償符号化装置から出力される符号化データのビットレートと上記動きベクトル検出装置での動き補償誤差の演算回数とによって決まる、対象ブロックに対応する動き補償誤差の許容値である。また、上記第１の比較器ｃ２ａは、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐより小さいときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃａを出力し、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐ以上であるときには、第２階層目の探索処理を行うことを示す判定信号Ｄｃａを出力する構成となっている。また、上記第２の比較器ｃ２ｂは、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが上記閾値Ｔｈ未満であれば、上記第１の比較器ｃ２ａから出力される判定信号Ｄｃａをそのまま判定信号Ｄｃｂとして出力し、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが上記閾値Ｔｈ以上であれば、上記第１の比較器ｃ２ａからの判定信号Ｄｃａに拘わらず、第２階層目の探索処理を打ち切らないこと（つまり第２階層目の探索処理を行うこと）を示す判定信号Ｄｃｂを出力する構成となっている。
なお、図４中、ｉ１２は、上記動きベクトル検出装置１０２の外部からの閾値Ｔｈが入力される打切判定器ｕ５ｂの第３の入力端子である。
【００９１】
次に作用効果について説明する。
まず、簡単に実施の形態２の基本原理について説明する。
上記実施の形態1では、単純に、近傍ブロックの検出済み動きベクトルに対応する動き補償誤差Ｄｒｐと、対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐを比較して、打ち切り判定結果を示す判定信号Ｄｃを生成するようにしているが、近傍のブロックに対する動き検出の精度が悪く、近傍ブロックに対応する動き補償誤差が大きなものとなった場合は、対象ブロックに対する動き補償を動きベクトル探索中心情報Ｓｃに基づいて行って得られる動き補償誤差が大きくても、第２回層目の動き検出処理が打ち切られることとなり、精度の悪い動きベクトル探索中心情報Ｓｃが対象ブロックの動きベクトルＭＶとして出力されてしまう。
【００９２】
そこで、例えば、画面間動き補償符号化装置から出力される符号化データのビットレートと上記動きベクトル検出装置での動き補償誤差の演算回数とによって決まる動き補償誤差の許容値を、閾値Ｔｈとして上記打ち切り判定器ｕ５ｂに与えることにより、対象ブロックに対する動き補償を動きベクトル探索中心情報Ｓｃに基づいて行って得られる動き補償誤差が上記閾値Ｔｈより大きい場合には、第２回層目の動き検出処理の打ち切りを中止するようにすることができる。
【００９３】
次に動作について説明する。
本実施の形態２の動きベクトル検出装置１０２では、打ち切り判定器ｕ５ｂ以外の動作は、上記実施の形態１の動きベクトル検出装置１０１の動作と同一であるため、以下は打ち切り判定器ｕ５ｂの動作についてのみ説明する。
【００９４】
打ち切り判定器ｕ５ｂでは、一時メモリｕ８から読み出された近傍ブロックに対応する動き補償誤差Ｄｒｐと、誤差計算器ｕ３ａにて計算された動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとの比較が行われ、さらに外部から入力された閾値Ｔｈと動きベクトル探索中心情報Ｓｃに対応する動き補償誤差Ｄ１ｐとの比較が行われる。
【００９５】
そして、打ち切り判定器ｕ５ｂでは、上記各比較器ｃ２ａ，ｃ２ｂでの比較結果に基づいて、第２階層目の動き検出を打ち切るか否かを示す打ち切り判定信号Ｄｃｂが出力される。
打切りと判断された場合は、上記判定信号Ｄｃｂにより、動きベクトル生成器ｕ１、誤差計算器ｕ３ｂおよび最小誤差選択器ｕ４に処理が不要であることが通知される。
【００９６】
以下、上記打ち切り判定器ｕ５ｂの具体的な動作について説明する。
まず、上記打ち切り判定器ｕ５ｂでは、上記実施の形態１の打ち切り判定器ｕ５ａと同様に、近傍ブロックに対応する動き補償誤差Ｄｒｐと対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとが比較器ｃ２ａにて比較される。そして、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐより小さいときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃａが上記比較器ｃ２ａから出力される。一方、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐ以上であるときには、第２階層目の探索処理を打ち切らないことを示す判定信号Ｄｃａが上記比較器ｃ２ａから出力される。
【００９７】
また、このとき比較器ｃ２ｂでは、対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが上記閾値Ｔｈと比較され、この動き補償誤差Ｄ１ｐが閾値Ｔｈ未満であれば、比較器ｃ２ａの出力Ｄｃａがそのまま打ち切り判定信号Ｄｃｂとして出力され、この動き補償誤差Ｄ１ｐが閾値Ｔｈ以上であれば、上記比較器ｃ２ａの判定出力Ｄｃａに拘わらず、２階層目の動き探索処理を実施する（即ち第２階層目の探索処理を打切りらない）ことを示す判定信号Ｄｃｂが出力される。
【００９８】
このような構成の実施の形態２では、打切り判定器ｕ５ｂにて外部から入力される閾値Ｔｈと動きベクトル探索中心情報Ｓｃに基づく動き補償誤差Ｄ１ｐを比較し、対象ブロックに対する動き補償を動きベクトル探索中心情報Ｓｃに基づいて行って得られる動き補償誤差が上記閾値より大きい場合には、必ず第２階層目の動き探索処理を行うようにしたので、動き検出精度を向上することができる。
【００９９】
なお、実施の形態２では、上記打ち切り判定器ｕ５ｂにおける比較器ｃ２ａを、対象ブロックの動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックの動き補償誤差Ｄｒｐより小さいとき、第２階層目の検出処理を打ち切ることを示す判定信号Ｄｃａを出力し、対象ブロックの動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックの動き補償誤差Ｄｒｐ以上であるとき、第２階層目の検出処理を行うことを示す判定信号Ｄｃａを出力する構成としているが、この比較器ｃ２ａは、図２(b)に示す比較器ｃ５１ａと同様、動き補償誤差Ｄ１ｐと動き補償誤差Ｄｒｐの差分の大きさが、所定の基準値Ｄｃｐ未満であるときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃａを出力し、該差分が所定値Ｄｃｐ以上であるときには、第２階層目の探索処理を打ち切らないことを示す判定信号Ｄｃａを出力する構成としてもよい。
【０１００】
（実施の形態３）
図５は本発明の実施の形態３による動きベクトル検出装置を説明するためのブロック図である。
この実施の形態３の動きベクトル検出装置１０３は、上記実施の形態２の動きベクトル検出装置における打ち切り判定器ｕ５ｂに代えて、近傍ブロックの検出済動きベクトルに対応する動き補償誤差Ｄｒｐと対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとの大小関係、外部から入力される閾値Ｔｈ、及び２階層目動き検出指令信号Ｃｍに基づいて、第２階層目の動き探索を打ち切るか否かを示す判定信号Ｄｃｆを出力する打ち切り判定器ｕ５ｃを備えたものであり、その他の構成は、実施の形態２の動きベクトル検出装置１０２と同一である。なお、図５中、ｉ４は、上記２階層目動き検出指令信号Ｃｍが入力される動きベクトル検出装置１０３の第４の入力端子である。
【０１０１】
また、図６は図５に示す動きベクトル検出装置１０３を構成する打ち切り判定器ｕ５ｃの具体的な構成を示す図である。
この打ち切り判定器ｕ５ｃは、実施の形態２の打ち切り判定器ｕ５ｂにおける比較器ｃ２ａ，ｃ２ｂと同一構成の比較器ｃ３ａ，ｃ３ｂに加えて、打ち切り禁止信号Ｆｃを発生する信号発生器ｃ３ｃと、外部から入力される２階層目動き検出指令信号Ｃｍに基づいて、上記第２の比較器ｃ３ｂの出力Ｄｃｂ及び上記打ち切り禁止信号Ｆｃの一方を選択する選択器ｃ３とを有している。
【０１０２】
ここで、上記選択器ｃ３は、外部から上記２階層目動き検出指令信号Ｃｍが入力されているときには、上記打ち切り禁止信号Ｆｃを選択し、上記２階層目動き検出指令信号Ｃｍが入力されていないときは、上記第２の比較器ｃ３ｂの出力Ｄｃｂを選択する構成となっている。また、上記第２階層目動き検出指令信号Ｃｍを出力する、動きベクトル検出装置１０３外部の機器としては、例えば、対象ブロックや近傍ブロックに対する符号化モードを判定する画面内／画面間符号化モード判定器などが挙げられる。
【０１０３】
次に作用効果について説明する。
まず簡単に実施の形態３の基本原理について説明する。
対象ブロック近傍に位置する近傍ブロックが、動きベクトルを有さないブロック，つまり被処理画面における最初に処理されるブロックや画面端のブロックである場合や、近傍ブロックが画面内符号化処理が施されたイントラブロックである場合では、対象ブロックの近傍に位置するブロックの動きベクトルから予測生成した動きベクトル探索中心情報Ｓｃはその信頼性が低いものであると考えられる。なお、近傍ブロックが画面内符号化処理が施されたイントラブロックである場合は、対象ブロックに対する動き補償誤差が大きく、対象ブロックの動きベクトルは信頼性が無いものであることが多い。
【０１０４】
そこで、このような状況では、動きベクトル検出装置１０３外部の画面内／画面間符号化モード判定器など等の機器からの第２階層目動き検出指令信号Ｃｍにより動きベクトル探索中心Ｓｃの信頼性が低いことを打ち切り判定器ｕ５ｃに指令し、第２階層目動き検出を実施することを示す判定信号Ｄｃｆを打切り判定器ｕ５ｃが出力するようにすることにより、動き検出の精度をさらに向上することができる。
【０１０５】
次に動作について説明する。
本実施の形態３の動きベクトル検出装置１０３では、上記打ち切り判定器ｕ５ｃ以外の動作は、全て図３に示す実施の形態２の動きベクトル検出装置１０２と同一であるので、以下は打ち切り判定器ｕ５ｃの動作についてのみ説明する。
この図６に示す打ち切り判定器ｕ５ｃでは、まず、図４に示す打ち切り判定器ｕ５ｂと同様に、近傍ブロックに対応する動き補償誤差Ｄｒｐと対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとの比較が比較器ｃ３ａにて行われ、さらに外部から入力された閾値Ｔｈと、動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとの比較が比較器ｃ３ｂにて行われる。
【０１０６】
そして、打ち切り判定器ｕ５ｃでは、上記各比較器ｃ３ａ，ｃ３ｂでの比較結果、及び２階層目動き検出指令信号Ｃｍが入力されているか否かに基づいて、第２階層目の動きベクトル探索を打ち切るか否かを示す打ち切り判定信号Ｄｃｆが出力される。打切りと判断された場合は、上記判定信号Ｄｃｆにより、動きベクトル生成器ｕ１、誤差計算器ｕ３ｂおよび最小誤差選択器ｕ４に処理が不要であることが通知される。
【０１０７】
以下、上記打ち切り判定器ｕ５ｃの具体的な動作について説明する。
まず、上記打ち切り判定器ｕ５ｃでは、上記実施の形態２の打ち切り判定器ｕ５ａと同様に、近傍ブロックに対応する動き補償誤差Ｄｒｐと対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐとが比較器ｃ３ａにて比較される。そして、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐにより小さいときには、第２階層目の探索処理を打ち切ることを示す判定信号Ｄｃａが上記比較器ｃ３ａから出力される。一方、動きベクトル探索中心に対する動き補償誤差Ｄ１ｐが近傍ブロックに対する動き補償誤差Ｄｒｐ以上であるときには、第２階層目の探索処理を打ち切らないことを示す判定信号Ｄｃａが上記比較器ｃ３ａから出力される。
【０１０８】
また、このとき比較器ｃ３ｂでは、対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが閾値Ｔｈと比較される。この比較の結果、該動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが閾値Ｔｈ未満であれば、比較器ｃ３ａの出力Ｄｃａがそのまま打ち切り判定信号Ｄｃｂとして出力される。一方、上記動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが閾値Ｔｈ以上であれば、上記比較器ｃ３ａの判定出力Ｄｃａに拘わらず、第２回層目の動きベクトル探索を実施する（即ち第２階層目の探索処理を打切りらない）ことを示す判定信号Ｄｃｂが出力される。
【０１０９】
また、２階層目動き検出指令信号Ｃｍが上記選択器ｃ３に入力されているときには、該選択器ｃ３では、上記打ち切り禁止信号Ｆｃが選択されて最終判定データＤｃｆとして出力される。逆に、２階層目動き検出指令信号Ｃｍが上記選択器ｃ３に入力されていないときには、該選択器ｃ３では、上記比較器ｃ３ｂからの判定信号Ｄｃｂが選択されて最終判定データＤｃｆとして出力される。
【０１１０】
以上のように実施の形態３では、外部からの２階層目動き検出指令信号Ｃｍにより、強制的に第２階層目動きベクトル探索を実施することを示す判定結果を打切り判定器ｕ５ｃから出力するので、図３に示す実施の形態２の動きベクトル検出装置１０２に比べて動きベクトル検出精度を更に向上することができる。
【０１１１】
なお、実施の形態３では、上記打ち切り判定器ｕ５ｃにおける比較器ｃ３ａを、対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが近傍ブロックの動き補償誤差Ｄｒｐより小さいとき、第２階層目の動きベクトル探索処理を打ち切ることを示す判定信号Ｄｃａを出力し、対象ブロックの動きベクトル探索中心に対応する動き補償誤差Ｄ１ｐが近傍ブロックの動き補償誤差Ｄｒｐ以上であるとき、第２階層目の動きベクトル探索処理を行うことを示す判定信号Ｄｃａを出力する構成としているが、この比較器ｃ３ａは、図２(b)に示す比較器ｃ５１ａと同様、動き補償誤差Ｄ１ｐと動き補償誤差Ｄｒｐの差分の大きさが、所定の基準値Ｄｃｐ未満であるときには、第２階層目の動きベクトル探索処理を打ち切ることを示す判定信号Ｄｃａを出力し、該差分が所定値Ｄｃｐ以上であるときには、第２階層目の動きベクトル探索処理を打ち切らないことを示す判定信号Ｄｃａを出力する構成としてもよい。
【０１１２】
また、実施の形態１ないし３では、第２階層の動きベクトル探索処理，つまり動きベクトル探索中心を探索開始位置として動きベクトル探索を行って対象ブロックに対する動きベクトルを検出する処理の具体的な内容は示していないが、第２階層の動きベクトル探索処理では、図１３に示す従来の３ステップ法、図１４に示すその他の従来の階層的な動きベクトル検出法、あるいは図１６に示すOne at a time等の動きベクトル検出方法が用いられる。
【０１１３】
（実施の形態４）
次に本発明の実施の形態４による動きベクトル検出装置について説明する。
まず、本実施の形態４の動きベクトル検出装置の基本原理について説明する。
図７は、この実施の形態の動きベクトル検出装置の動作原理を説明するための図であり、動きベクトル検出処理（以下、動き検出処理ともいう。）の際に参照される参照画面上の画素を示している。
【０１１４】
図７において、Ｐ０は第１階層目の探索処理により見つけた動きベクトルにより示される位置の参照画素であり、この参照画素Ｐ０の周囲には、周辺画素Ｐ１〜Ｐ８が位置している。これらの周辺画素Ｐ１〜Ｐ８の位置は、１／２画素精度等の整数画素精度より高い精度を有する動きベクトルにより示される仮想的な画素位置であり、これらの画素の画素値は、実際に存在する画素の画素値を内挿補間することにより生成されている。
【０１１５】
また、図８は、実施の形態４の動きベクトル検出装置の動作を説明するための図であり、画素値の補間生成を行う具体的な方法の一例が示されている。
図８において、Ｑ１、Ｑ２、Ｑ３、Ｑ４は、参照画面を構成する実際の画素であり、該参照画面上で所定の正方形の頂点に対応する位置に位置している。そして、該各画素Ｑ１、Ｑ２、Ｑ３、Ｑ４はそれぞれ、画素値ｑ１、ｑ２、ｑ３、ｑ４を有している。
【０１１６】
また、Ｈ１は画素Ｑ１と画素Ｑ２の中間に位置する仮想画素、Ｈ２は画素Ｑ１と画素Ｑ３の中間に位置する仮想画素、Ｈ３は画素Ｑ１と画素Ｑ４の中間に位置する仮想画素である。これらの仮想画素Ｈ１，Ｈ２，Ｈ３の画素値ｈ１、ｈ２、ｈ３は、それぞれ下記の式（１），（２），（３）により計算されるのが一般的である。
ｈ１＝（ｑ１＋ｑ２）／２・・・（１）
ｈ２＝（ｑ１＋ｑ３）／２・・・（２）
ｈ３＝（ｑ１＋ｑ２＋ｑ３＋ｑ４）／４・・・（３）
【０１１７】
このように、整数画素精度より高い精度の動き検出処理（高画素精度動き検出）では、参照画面上の画素が存在しない位置に仮想的に配置される仮想画素については、その画素値を補間処理により生成しなければならないために、整数画素精度の動き検出処理と比較して演算量が増加する。しかしながら、その反面、高画素精度動き検出処理により得られる動きベクトルは、小さな画像の小さな動きでも精度良く表現できるものであるため、このような動きベクトルを用いた動き補償処理では、動き補償誤差が小さくなる。さらに、上記のような画素値の補間処理は、低域通過フィルタと等価なものであるため、該補間処理は高周波数雑音を抑圧する効果があることも知られている。
【０１１８】
整数画素精度より高い精度の動き検出処理については、この高周波数雑音抑圧効果が無視できないため、例えば、図７における画素Ｐ０を示す動きベクトルによる動き補償誤差が、画素Ｐ２、Ｐ４、Ｐ５、Ｐ７に対応するものより小さいとしても、画素Ｐ１、Ｐ３、Ｐ６、Ｐ８を示す動きベクトルによる動き補償誤差が画素Ｐ０に対応する動き補償誤差よりも小さくなることが多い。
【０１１９】
しかしながら、画素Ｐ１、Ｐ３、Ｐ６、Ｐ８の全てについて動き検出を行えば、誤差計算回数が多くなる。そこで、第２階層目の探索処理では画素Ｐ２、Ｐ４、Ｐ５、Ｐ７の位置を示す参照画素の動きベクトル４通りについて動き補償誤差を計算し、画素Ｐ２、Ｐ４、Ｐ５、Ｐ７の中で動き補償誤差が最小となる画素位置Ｐｉを検出し、第３階層目の探索処理では、画素Ｐ１、Ｐ３、Ｐ６、Ｐ８の中で画素位置Ｐｉに隣接する画素位置を示す動きベクトル２つに限定して探索を行うことにする。
【０１２０】
そして、最後に、１階層目、２階層目、３階層目の探索処理により得られた動きベクトルに対応する動き補償誤差を比較し、動き補償誤差が最小となる動きベクトルを、対象ブロックの動きベクトルとする。
この方法は、従来の階層的３ステップ法と似ているが、従来の３ステップ法は各階層毎に動き補償誤差が最小となる動きベクトル１つを選択するのに対し、本実施の形態４の方法は、各階層の探索処理により得られた動きベクトルから、動き補償誤差が最小となる１つの動きベクトルを選択するものである。
【０１２１】
例えば、従来の３ステップ法では、図７に示す画素Ｐ０の位置に対応する動き補償誤差が、図７に示す画素Ｐ２、Ｐ４、Ｐ５、Ｐ７の位置に対応する動き補償誤差よりも小さければ、画素Ｐ０の位置を示す動きベクトルが、２階層目で選択されることになり、第３階層目の探索処理では画素Ｐ１、Ｐ３、Ｐ６、Ｐ８の４つの候補から探索範囲を絞り込む判断基準が存在しないこととなる。これに対し、本実施の形態では、第２階層目の探索では、第１階層目の探索により得られた動きベクトルの示す画素Ｐ０を考慮しないため、画素Ｐ２、Ｐ４、Ｐ５、Ｐ７のいずれかが、動き補償誤差が最小となる画素位置Ｐｉとして検出されることとなる。従って、第３階層目の探索処理では、上記画素位置Ｐｉを判断基準として、画素Ｐ１、Ｐ３、Ｐ６、Ｐ８の４つの候補から探索範囲を絞り込むことができる。
【０１２２】
図９は本発明の実施の形態４による動きベクトル検出装置を説明するためのブロック図である。
この実施の形態４の動きベクトル検出装置１０４は、従来の動きベクトル検出装置２０１の構成に加えて、最小誤差選択器ｕ４ｂで選択した２階層目の動きベクトルＭＶ２ｓと、最小誤差選択器ｕ４ａで選択した１階層目の動きベクトルＭＶ１ｓとに応じて、複数の候補動きベクトルＭＶ３ｃを生成する動きベクトル生成器ｕ１ｃと、フレームメモリｕ２から読みだされた、上記候補動きベクトルＭＶ３ｃにより指定される参照画面の特定ブロックに対応する画像データＣ３ｔと、入力される対象ブロックの画像データＳｃとの誤差を計算する誤差計算器ｕ３ｃと、１階層目、２階層目、３階層目の探索処理により得られた各階層に対応する３つの動きベクトルのうちから、動き補償誤差が最小となる動きベクトルを選択し、選択された動きベクトルを対象ブロックに対応する動きベクトルＭＶ３ｓとして出力する最小誤差選択器ｕ４ｃとを有している。なお、この動きベクトル検出装置１０４では、ＭＶ生成器ｕ１ｃ，誤差計算器ｕ３ｃ，最小誤差選択器ｕ４ｃ，及びフレームメモリｕ２によって３階層目の動きベクトル検出部が構成されている。
【０１２３】
ここで、上記動きベクトル生成器ｕ１ｃは、１階層目の動きベクトルＭＶ１ｓ及び２階層目の動きベクトルＭＶ２ｓにより限定される、第１階層目の探索範囲及び第２階層目の探索範囲を含まない第３の探索範囲内の画素位置を示す候補動きベクトルＭＶ３ｃを検出する構成となっている。また、上記最小誤差選択器ｕ４ｃには、最小誤差選択器ｕ４ａ，ｕ４ｂからの第１，第２の選択動きベクトルＭＶｓ１，ＭＶｓ２及び第１，第２の動き補償誤差Ｄ１ｐｍ，Ｄ２ｐｍと、動きベクトル生成器ｕ１ｃからの複数の候補動きベクトルＭＶ３ｃと、誤差計算器ｕ３ｃからの動き補償誤差Ｄ３ｐとが入力される。そして、上記最小誤差選択器ｕ４ｃでは、３階層目の探索により動きベクトルを選択する処理と、１階層目、２階層目、３階層目の探索処理により選択された各階層に対応する３つの動きベクトルのうちから、動き補償誤差が最小となる動きベクトルを選択する処理とが一括して行われるようになっている。
【０１２４】
また、この実施の形態４では、ＭＶ生成器ｕ１ｂ，誤差計算器ｕ３ｂ，最小誤差選択器ｕ４ｂ，及びフレームメモリｕ２からなる２階層目の動きベクトル検出部は、第１階層目の探索処理により得られた動きベクトルＭＶ１ｓが示す画素位置の近傍を第２探索範囲として、第２階層目の動きベクトルＭＶ２ｓを検出する構成となっている。つまり、上記最小誤差選択器ｕ４ｂは、第１階層の動きベクトル検出部の最小誤差選択器ｕ４ａから出力される動きベクトルＭＶ１ｓは考慮せずに、ＭＶ生成器ｕ１ｂにて生成された候補動きベクトルＭＶ２ｃのなかから、動き補償誤差が最小となる動きベクトルを、上記第２階層目の動きベクトルＭＶ２ｓとして選択する構成となっている。
ここで、上記動きベクトルＭＶ１ｓが示す画素位置は、図７では画素Ｐ０の位置であり、また、第２探索範囲は、図７では、画素Ｐ２、Ｐ４、Ｐ５、Ｐ７からなる画像空間である。そして、第２階層目の動きベクトルＭＶ２ｓが画素Ｐ７の位置を示すものであれば、第３探索範囲は、図７では、画素Ｐ６及びＰ８からなる画像空間となる。
【０１２５】
次に動作について説明する。
なお、本実施の形態４の動きベクトル検出装置１０４では、第１階層の探索処理については、従来の階層的な動きベクトル検出装置２０１における処理と同一であるが、ここでは、第１階層，第２階層及び第３階層の探索処理について説明する。
【０１２６】
上記動きベクトル検出装置１０４における動きベクトル生成器ｕ１ａでは、該装置の外部から供給されるベクトル探索中心情報Ｓｃに基づいて、探索中心近傍の複数の画素位置を示す動きベクトルが候補動きベクトルＭＶ１ｃとして出力される。すると、上記フレームメモリｕ２では、該候補動きベクトルＭＶ１ｃにより示される参照画面上の特定ブロックに対応する画像信号（動き補償データ）Ｃ１ｔが出力される。上記誤差計算器ｕ３ａでは、該動き補償データＣ１ｔと対象ブロックの画像信号Ｓｔ１との差分信号（画像誤差データ）Ｄ１ｐが算出される。最小誤差選択器ｕ４ａでは、この画像誤差データＤ１ｐがモニターされており、複数の候補動きベクトルＭＶ１ｃから、該誤差データＤ１ｐが最小となる候補動きベクトルＭＶ１ｃが選択されて、選択動きベクトル（第１階層の動きベクトル）ＭＶ１ｓとして出力される。例えば、この選択動きベクトル（第１階層の動きベクトル）ＭＶ１ｓは、図７の画素Ｐ０の位置を示すものである。
【０１２７】
そして、第１階層動きベクトルＭＶ１ｓが動きベクトル検出装置１０４における第２階層動き検出部に入力されると、該第２階層動き検出部のＭＶ生成器ｕ１ｂでは、第１階層動きベクトルＭＶ１ｓが示す参照画面上の画素位置の近傍位置に対応する第２候補動きベクトルＭＶ２ｃが複数生成される。これらの第２候補動きベクトルＭＶ２ｃは、例えば、図７の画素Ｐ２、Ｐ４、Ｐ５、Ｐ７の位置を示すものである。
【０１２８】
このとき、誤差計算器ｕ３ｂでは、フレームメモリｕ２から読みだされた、第２候補動きベクトルＭＶ２ｃで示される参照画面上の特定ブロックに対応する画像データ（動き補償データ）Ｃ２ｔが入力され、該動き補償データＣ２ｔと対象ブロックの画像データＳｔとの誤差データＤ２ｐが算出される。
【０１２９】
また、最小誤差選択器ｕ４ｂには、ＭＶ生成器ｕ１ｂにて生成された複数の候補動きベクトルＭＶ２ｃとともに、各候補動きベクトルＭＶ２ｃに対応する誤差データＤ２ｐが入力され、誤差データが最小となる候補動きベクトルＭＶ２ｃが第２階層目の動きベクトル（選択動きベクトル）ＭＶ２ｓとして選択されて出力される。例えば、第２階層目の動きベクトル（選択動きベクトル）ＭＶ２ｓは、図７の画素Ｐ７の位置を示すものである。
【０１３０】
さらに、第３階層動き検出部の動きベクトル生成器ｕ１ｃに、最小誤差選択器ｕ４ｂからの２階層目の動きベクトルＭＶ２ｓ、及び最小誤差選択器ｕ４ａからの１階層目の動きベクトルＭＶ１ｓが入力されると、該動きベクトル生成器ｕ１ｃでは、これらの動きベクトルＭＶ１ｓ，ＭＶ２ｓにより限定される、上記第１及び第２の探索範囲を含まない第３の探索範囲内の画素に対応する複数の候補動きベクトルＭＶ３ｃが生成される。例えば、これらの複数の候補動きベクトルＭＶ３ｃは、図７の画素Ｐ６及びＰ８の位置を示すものである。
【０１３１】
すると、複数の候補動きベクトルＭＶ３ｃに対応する動き補償データＣ３ｔがフレームメモリｕ２から読みだされ、誤差計算器ｕ３ｃでは、上記候補動きベクトルＭＶ３ｃに対応する動き補償データＣ３ｔと、入力される対象ブロックの画像データＳｔとの間の誤差データＤ３ｐが計算される。
【０１３２】
さらに、最小誤差選択器ｕ４ｃでは、１階層目及び２階層目の探索処理により得られた対象ブロックに対応する選択動きベクトルＭＶ１ｓ及びＭＶ２ｓ、並びに３階層目の探索処理により得られる候補動きベクトルＭＶ３ｃのうちから、動き補償誤差が最小となる動きベクトルが、対象ブロックの動きベクトルＭＶ３ｓとして選択して出力される。
【０１３３】
このように本実施の形態４では、２階層目では１階層目で探索した範囲以外における画素位置を示す動きベクトルであって動き補償誤差が最小となる動きベクトルＭＶ２ｓの検出を行い、１階層目および２階層目の探索により検出した２つの動きベクトルに基づいて３階層目の探索範囲を決定し、３階層目の探索処理により得られた動きベクトル、並びに第１階層及び第２階層の探索により得られた動きベクトルのなかから、対象ブロックに対応する動きベクトルを検出するようにしたので、３階層目の探索範囲を効率良く絞り込むことができ、動きベクトル検出処理における誤差計算回数の削減が実現できる。
【０１３４】
なお、上記実施の形態４では、上記第２の探索範囲では、第１選択動きベクトルＭＶ１ｓが示す画素位置を探索中心として、上記予測ブロックの位置を、上記参照画面における垂直方向及び水平方向に沿って探索し、上記第３の探索範囲では、第２選択動きベクトルＭＶ２ｓが示す画素位置を探索中心として、上記予測ブロックの位置を、参照画面における水平方向のみに沿って探索しているが、第２及び第３探索範囲における探索方向はこれに限るものではない。
例えば、上記第２の探索範囲では、第１選択動きベクトルＭＶ１ｓが示す画素位置を探索中心として、上記予測ブロックの位置を、上記参照画面における垂直もしくは水平方向のみに沿って探索し、上記第３の探索範囲では、第２選択動きベクトルＭＶ２ｓが示す画素位置を探索中心として、上記予測ブロックの位置を、該第２の探索範囲における探索方向以外の方向に沿って探索するようにしてもよい。
【０１３５】
さらに、上記各実施の形態で示した動きベクトル検出装置による動きベクトルの検出処理を実現するための動き検出プログラムを、フロッピーディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した動きベクトルの検出処理を、コンピュータシステムにおいて簡単に実施することが可能となる。
【０１３６】
図１０は、上記実施の形態１ないし実施の形態４の動きベクトル検出装置による動きベクトル検出処理を、上記動き検出プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１０(a)は、フロッピーディスクの正面からみた外観、その断面構造、及びフロッピーディスク本体を示し、図１０(b)は、該フロッピーディスク本体の物理フォーマットの例を示している。
上記フロッピーディスクＦＤは、上記フロッピーディスク本体ＤをフロッピーディスクケースＦＣ内に収容した構造となっており、該フロッピーディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクＦＤでは、上記フロッピーディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
また、図１０(c)は、フロッピーディスクＦＤに対する上記プログラムの記録、及びフロッピーディスクＦＤに格納したプログラムを用いたソフトウエアによる画像処理を行うための構成を示している。
【０１３７】
上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フロッピーディスクドライブＦDDを介してフロッピーディスクＦＤに書き込む。また、フロッピーディスクＦＤに記録されたプログラムにより、上記動きベクトル検出装置をコンピュータシステムＣｓ中に構築する場合は、フロッピーディスクドライブＦDDによりプログラムをフロッピーディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１３８】
なお、上記説明では、データ記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても上記フロッヒーディスクの場合と同様にソフトウエアーによる動きベクトル検出処理を行うことができる。また、データ記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３９】
【発明の効果】
以上のように本発明（請求項１，２，３，４，５，１０，１２）によれば、被処理ブロックの近傍に位置する近傍ブロックに対応する動き補償誤差と、動きベクトル探索中心に対応する動き補償誤差とを比較し、該両動き補償誤差の比較により得られるこれらの動き補償の差分の大きさに応じて、上記動きベクトル探索中心を示す位置情報を上記被処理ブロックの動きベクトルとして出力するか、あるいは予測ブロックの探索処理及び動きベクトルの検出処理を上記動きベクトル探索中心を探索開始位置として行って得られる動きベクトルを、被処理ブロックの動きベクトルとして出力か、を切替えるようにしたので、動き検出精度を殆ど損うことなく、最も演算量の多い誤差計算回数を削減することができ、これにより消費電力を低減できるなどその実用的価値が高い動きベクトル検出処理を実現できる。
【０１４０】
また、本発明（請求項６，７，８，９，１１，１３）によれば、第１，第２の探索範囲にて予測ブロックの探索処理を行って、各探索範囲で動き補償誤差が最小となる第１，第２の選択動きベクトルを検出し、第１，第２の選択動きベクトルに基づいて第３の探索範囲を絞り込み、該第３の探索範囲にて動き補償誤差が最小となる第３の選択動きベクトルを検出し、上記第１，第２，第３の選択動きベクトルに対応する動き補償誤差を比較して、上記第１，第２，第３の候補のベクトルのうちの１つを、被処理ブロックに対応する動きベクトルとして選択するので、第３の探索範囲を効率よく絞り込むことができ、誤差計算回数の削減が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による動きベクトル検出装置を説明するためのブロック図である。
【図２】上記実施の形態１の動きベクトル検出装置を構成する打ち切り判定器の構成（図(a)）及びその変形例の構成（図(b)）を示す図である。
【図３】本発明の実施の形態２による動きベクトル検出装置を説明するためのブロック図である。
【図４】上記実施の形態２の動きベクトル検出装置を構成する打ち切り判定器の構成を示す図である。
【図５】本発明の実施の形態３による動きベクトル検出装置を説明するためのブロック図である。
【図６】上記実施の形態３の動きベクトル検出装置を構成する打ち切り判定器の構成を示す図である。
【図７】本発明の実施の形態４による動きベクトル検出装置の基本原理を説明するための図である。
【図８】上記実施の形態４の動きベクトル検出装置の基本原理を説明するための図である。
【図９】上記実施の形態４の動きベクトル検出装置を説明するためのブロック図である。
【図１０】上記各実施の形態の動き検出処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図(a)，(b)）、及び上記コンピュータシステム（図(c)）を説明するための図である。
【図１１】従来の代表的な画面間動き補償符号化装置を説明するためのブロック図である。
【図１２】従来の画面間動き補償符号化装置を構成する代表的な動き検出装置を説明するためのブロック図である。
【図１３】従来の動きベクトル検出法（３ステップ法）を説明するための図である。
【図１４】従来の動きベクトル検出法（１／２画素精度探索）を説明するための図である。
【図１５】従来の階層的な動きベクトル検出装置を説明するためのブロック図である。
【図１６】従来の動きベクトル検出法（One at a time）を説明するための図である。
【符号の説明】
１０１〜１０４動きベクトル検出装置
ｕ１ａ、ｕ１ｂ、ｕ１ｃ動きベクトル生成器
ｕ２フレームメモリ
ｕ３ａ、ｕ３ｂ、ｕ３ｃ誤差計算器
ｕ４ａ、ｕ４ｂ、ｕ４ｃ最小誤差選択器
ｕ５ａ、ｕ５ｂ、ｕ５ｃ打ち切り判定器
ｕ６、ｕ７選択器
ｕ８一時メモリ
Ｃ１ｔ第１の動き補償データ
Ｃ２ｔ第２の動き補償データ
Ｃｍ動き検出指令信号
Ｄｃ判定データ
Ｄｃａ第１の判定データ
Ｄｃｂ第２の判定データ
Ｄｃｆ最終判定データ
Ｄ１ｐ，Ｄ２ｐ，Ｄ３ｐ第１，第２，第３の画像誤差データ
Ｄｍｐ最小誤差データ
Ｄｓｐ選択誤差データ
Ｄｒｐ参照誤差データ
Ｄ１ｐｍ，Ｄ２ｐｍ第１，第２の動き補償誤差（最小誤差データ）
ＭＶｃ候補動きベクトル
ＭＶｓ選択動きベクトル
ＭＶ１ｃ，ＭＶ２ｃ，ＭＶ３ｃ第１，第２，第３の候補動きベクトル
ＭＶｓ選択動きベクトル
ＭＶ１ｓ，ＭＶ２ｓ第１，第２の選択動きベクトル（第１，第２階層動きベクトル）
ＭＶ３ｓ対象ブロックの動きベクトル
Ｓｔ画像信号
Ｓｃ動きベクトル探索中心情報
Ｅｔ画像符号化データ
Ｃｓコンピュータシステム
Ｄフロッピディスク本体
ＦＣフロッピディスクケース
ＦＤフロッピディスク
ＦDD フロッピディスクドライブ
Ｓｅセクタ
Ｔｒトラック[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection method, a motion vector detection device, and a data storage medium, and in particular, an image signal is made up of a predetermined number of pixels using block-unit motion compensation encoding processing, that is, pixel value correlation between screens. The present invention relates to a motion vector detection process for generating a motion vector used in a process of efficiently encoding each block at high speed and with high accuracy.
[0002]
[Prior art]
In recent years, the multimedia era of voice, image, and other data has been integrated, and conventional information media, that is, means for transmitting information such as newspapers, magazines, television, radio, and telephones to people are targeted for multimedia. It has come to be taken up as. In general, multimedia refers to not only characters but also figures, sounds, especially images, etc. that are associated with each other at the same time. It is an essential condition.
[0003]
However, when the amount of information handled by each information medium is estimated as a digital information amount, the amount of information per character is 1 to 2 bytes in the case of characters, whereas 64 Kbits per second (phone) in the case of speech. Quality), and more than 100 Mbits (current TV broadcast quality) per second is required for moving images, and in most of the information media mentioned above, it is not realistic to handle such enormous information in digital form. . For example, a videophone has already been put into practical use by an Integrated Services Digital Network (ISDN) having a transmission rate of 64 Kbps to 1.5 Mbps, but it is not possible to send video information of a TV camera as it is by ISDN. Is possible.
[0004]
Therefore, information compression technology is required. For example, in the case of a videophone, H.264 has been internationally standardized by ITU-T (International Telecommunication Union Telecommunication Standardization Sector). 261 and H.264. H.263 standard video compression technology is used. In addition, according to the information compression technology of the MPEG1 standard, it is possible to record image information together with audio information on a normal music CD (compact disc).
[0005]
Here, MPEG (Moving Picture Experts Group) is an international standard relating to compression technology of moving image data (moving image signal), and MPEG1 has moving image data up to 1.5 Mbps, that is, information of a television signal is about 100. It is a standard that compresses to a fraction. Also, since the transmission speed for the MPEG1 standard is mainly limited to about 1.5 Mbps, in MPEG2 standardized to meet the demand for higher image quality, moving image data is compressed to 2 to 15 Mbps. .
[0006]
Furthermore, the current working group (ISO / IEC JTC1 / SC29 / WG11), which has been standardizing with MPEG1 and MPEG2, enables encoding processing and signal manipulation on an object basis, and realizes new functions required in the multimedia era. The moving image data compression technology is being standardized as MPEG4. MPEG4 originally aimed at standardization of a low bit rate encoding method, but at present, the object of standardization has been extended to a more general encoding process of high bit rate corresponding to interlaced images. Yes.
[0007]
In the encoding process described above, significant data compression (bit rate saving) is realized by using a so-called inter-frame motion compensation encoding process that encodes an image signal using pixel value correlation between the screens. ing. Here, in the inter-frame motion compensation encoding process, an image space (macroblock) composed of 16 × 16 pixels or an image space (block) composed of 8 × 8 pixels is used as a unit. An image signal of a processing block (hereinafter also referred to as a target block) is compared with an image signal (an image signal of a reference screen) corresponding to a screen on which an encoding process has been performed. Position information indicating the position of a region (predicted block) whose pattern is similar to the target block is detected as a motion vector corresponding to the target block. This motion vector is encoded together with a difference signal (motion compensation error) between the image signal corresponding to the target block and the image signal corresponding to the prediction block (reference block).
[0008]
FIG. 11 is a block diagram of a conventional typical inter-frame motion compensation encoding apparatus. For simplification of description, in the following description, a macroblock composed of 16 × 16 pixels and a block composed of 8 × 8 pixels are referred to as blocks without being distinguished.
This inter-screen motion compensation encoding apparatus (hereinafter abbreviated as an encoding apparatus) 1000 sequentially receives image signals obtained by dividing an image signal corresponding to a predetermined object so as to correspond to the block. The inter-frame motion compensation encoding process is performed on the image signal corresponding to each block.
[0009]
That is, the encoding apparatus 1000 includes the image signal St corresponding to the processing target block to be encoded, and the image signal (motion compensation data) Pt corresponding to the prediction block acquired from the image signal corresponding to the reference screen. A subtractor d1 for calculating a difference value Dt between the subtractor d1 and the orthogonal transformer d2 for converting the difference value Dt obtained by the subtractor d1 into a frequency component Tt by an orthogonal transformation process such as DCT (discrete cosine transformation); It has a quantizer d3 that quantizes the frequency component Tt and outputs a quantized value Qt, and a variable length encoder d4 that encodes the quantized value Qt and outputs encoded data Et.
[0010]
In addition, the encoding apparatus 1000 includes a dequantizer d5 that dequantizes the quantized value Qt to restore the frequency component IQt, and image data in the spatial domain by processing the restored frequency component IQt, such as inverse DCT processing. (Pixel value) An inverse orthogonal transformer d6 for converting to ITt, an adder d7 for adding the restored image data ITt and the motion compensation data Pt, and an output Rt of the adder d7 for encoding the subsequent screen A frame memory d8 for temporarily storing the data for reference.
[0011]
Furthermore, the encoding apparatus 1000 uses the image of the reference screen stored in the frame memory d8 for each region in the reference screen having the same size as the block to be processed and corresponding to the block to be processed. A motion detector d9 for deriving information (motion vector) MV indicating the position of the region (predicted block) on the reference screen where the difference between the two is minimum compared to the data Ct, and a frame memory corresponding to the detected motion vector MV An address signal Ad for d8 is generated, and based on the address signal Ad, image data Mt of an area (predicted block) specified by a pixel position on the reference screen is acquired, and this image data is output as motion compensation data Pt. And a motion compensator d10.
[0012]
In the conventional coding apparatus 1000 described above, instead of directly coding the image signal St, the output of the subtracter d1 having a small energy is coded to improve the compression efficiency. It is known that this compression efficiency is improved as the output energy (amplitude of the output signal) of the subtractor d1 is smaller. Therefore, the motion detector d9 can detect a motion vector with high speed and accuracy. Become important. By detecting such a highly accurate motion vector, the output energy of the subtractor d1 is reduced.
[0013]
In the figure, i20 is an input terminal for an image signal (image data) St, and o20 is an output terminal for encoded data Et. In the encoding apparatus 1000 shown in FIG. 11, the frame memory d8 and the motion detector d9 constitute a motion vector detection apparatus 200 that detects a motion vector. The motion vector detection apparatus 200 will be described in detail below. To do.
[0014]
FIG. 12 is a block diagram showing the configuration of a conventional representative motion vector detection apparatus.
The motion vector detection apparatus 200 receives a frame memory d8 in which the image data Ct of the reference screen is stored and information Sc indicating the motion vector search center from the outside, and candidate motions indicating a plurality of pixel positions in the vicinity of the search center. A motion vector generator u1a that outputs a vector MVc, a pixel value (image data) Ct of a prediction block on the reference screen indicated by the candidate motion vector MVc, and an image signal (image data) St of the input block to be processed An error calculator u3a that calculates an error (motion compensation error) Dp, and an error Dp that is an output of the error calculator u3a are monitored, and from the candidate motion vector MVc that is an output of the motion vector generator u1a, the error is minimized. And the selected candidate motion vector is output as a motion vector MVs corresponding to the block to be processed. And a minimum error selector u4a to. Here, the motion detector d9 includes the motion vector generator u1a, an error calculator u3a, and a minimum error selector u4a.
[0015]
In the figure, i1 is a first input terminal of the motion vector detecting device 200 to which the image signal (image data) St is input, and i2 is the motion vector detecting device 200 to which the motion vector search center information Sc is input. A second input terminal, o1, is an output terminal of the detection apparatus 200 from which the motion vector MVs is output. The motion vector search center information Sc is a position at which search processing for detecting a motion vector is started by comparing the image signal Ct of the reference screen stored in the frame memory d8 with the input image signal St. The start position of this search process is indicated by a position on the reference screen corresponding to the same spatial position as the target block on the processing target screen, or a detected motion vector of a neighboring block located near the target block. The position on the reference screen is often used. For example, as a neighboring block located near the target block, a block located on the left side of the target block is used.
[0016]
Next, the operation will be described.
When the image signal St corresponding to the processing target block to be encoded is input to the inter-screen motion compensation encoding apparatus 1000, the subtracter d1 corresponds to the image signal St of the processing target block. A difference value Dt from the image signal (motion compensation data) Pt of the prediction block to be calculated is calculated. The difference value Dt is converted into a frequency component Tt by orthogonal transform processing such as DCT (discrete cosine transform) in the orthogonal transformer d2. The frequency component Tt is quantized by the quantizer d3, and a corresponding quantized value Qt is output. The variable length encoder d4 performs variable length encoding processing for converting the quantized value Qt into a variable length code, and the encoder d4 receives encoded data Et corresponding to the block to be processed. Is output.
[0017]
On the other hand, at this time, the quantized value Qt is restored to the frequency component IQt by the inverse quantization process in the inverse quantizer d5, and the frequency component IQt is further converted into image data in the spatial domain by the inverse orthogonal transformer d6. (Pixel value) Converted to ITt. Then, this image data ITt is added to the motion compensation data (image signal corresponding to the prediction block) Pt by the adder d7 to generate reproduction data Rt corresponding to the processing block. The reproduction data Rt is temporarily stored in the frame memory d8 as reference data for reference when encoding an image signal corresponding to a subsequent screen following the screen to be processed.
[0018]
Then, the motion detector d9 compares the image signal Ct corresponding to the reference screen stored in the frame memory d8 with the image signal St corresponding to the processed block, and has the same size as the processed block on the reference screen. Is obtained as a motion vector MV corresponding to the block to be processed. Then, the motion compensator d10 generates an address Ad corresponding to the position on the reference screen indicated by the motion vector MV, and the image data Mt corresponding to the prediction block is generated from the frame memory d8 based on the address Ad. Are output as motion compensation data Pt corresponding to the block to be processed.
[0019]
Next, the operation of the motion vector detection apparatus 200 including the motion detector d9 and the frame memory d8 will be described in detail.
The motion vector generator u1a in the motion vector detection device 200 outputs motion vectors indicating a plurality of pixel positions near the search center as candidate motion vectors MVc based on the vector search center information Sc supplied from the outside of the device. Is done. Then, the frame memory d8 outputs an image signal (motion compensation data) Ct corresponding to the block on the reference screen indicated by the candidate motion vector MVc. The error calculator u3a calculates a difference signal (image error data) Dp between the motion compensation data Ct corresponding to each candidate motion vector and the image signal of the target block. The minimum error selector u4a monitors the image error data Dp, selects a candidate motion vector MVc that minimizes the error data Dp from a plurality of candidate motion vectors MVc, and receives the selected candidate motion vector. A motion vector (selected motion vector) MVs corresponding to the processing block is output.
[0020]
The motion vector detection apparatus 200 has a simple configuration, but is used when calculating a motion compensation error in proportion to the motion vector search range, that is, the number of candidate motion vectors generated by the motion vector generator u1a. There is a drawback that the amount of calculation increases.
In other words, for an image including an object with a large amount of motion, searching for a motion vector over a wide range in the image space leads to an improvement in the encoding efficiency. Of the arithmetic processing in the motion vector detection device, it is an important issue to reduce error calculation with the largest arithmetic load.
Therefore, a hierarchical motion vector detection method is often used as a method for reducing the number of calculation times of error calculation in the motion vector detection device as described above.
[0021]
FIG. 13 is a diagram for explaining a conventional motion vector detection method (3-step method) which is an example of such a hierarchical motion vector detection method.
In the three-step method, in the n-th hierarchy process, search is performed at eight neighboring positions around the designated position indicated by the motion vector detected in the (n-1) -th hierarchy process. The range is reduced to 1/3 of the search range in the (n-1) th hierarchy processing, and the search is performed recursively. The eight neighboring positions include the four neighboring positions located in the upward, downward, leftward, and rightward directions, and the upper right direction, the lower right direction, the upper left direction, and the lower left direction of the designated position. There are four neighboring positions.
[0022]
In FIG. 13, each of the pixels constituting the reference screen represents a circle, and a circle written with a numeral 1 represents a pixel to be searched (first search) in the first layer processing. Target pixel), which is a representative position of the candidate prediction block (motion compensation block) indicated by the candidate motion vector. In the reference screen shown in FIG. 13, nine first search target pixels including the pixel serving as the search center are shown.
[0023]
First, in the first-layer motion detection processing, image error data (that is, the specific block) corresponding to the specific block specified by the position of the pixel P0 and the surrounding pixels P1a to P1h with the pixel P0 as the search center. Error of the image data between the processing block and the processed block). Here, the peripheral pixel P1b has the smallest image error data. Therefore, the second-layer motion detection process is performed with the pixel P1b as a search center. The peripheral pixels P1a to P1h are the search centers on the vertical direction, the horizontal direction, and the straight line parallel to the oblique direction that forms an angle of ± 45 degrees with respect to the horizontal direction, including the search center. It is located 9 pixels apart from the pixel P0.
[0024]
Next, in the second-layer motion detection process, image error data corresponding to a specific block specified by the positions of the pixels P2a to P2h around the pixel P1b with the peripheral pixel P1b as the search center (that is, the Error of image data between the specific block and the block to be processed) is detected. Here, the peripheral pixel P2e has the smallest image error data. Accordingly, the third-layer motion detection process is performed with the pixel P2e as a search center. The peripheral pixels P2a to P2h are parallel to the vertical direction, the horizontal direction, and the oblique direction that forms an angle of ± 45 degrees with respect to the horizontal direction, including the search center in the motion detection processing of the second hierarchy. On a straight line, it is located at a distance of 3 pixels from the pixel P1b as the search center.
[0025]
Finally, in the third-layer motion detection process, image error data corresponding to a specific block identified by the positions of the pixels P3a to P3h around the pixel P2e with the peripheral pixel P2e as the search center (that is, the Error of image data between the specific block and the block to be processed) is detected. Here, the peripheral pixel P3a has the smallest image error data. Therefore, a motion vector indicating the pixel P3a (circle mark indicated by diagonal lines) is a motion vector corresponding to the processing block detected by the three-step method. The peripheral pixels P3a to P3h are parallel to a vertical direction, a horizontal direction, and an oblique direction that forms an angle of ± 45 degrees with respect to the horizontal direction, including the search center in the third-layer motion detection process. On a straight line, it is located one pixel apart from the search center pixel P2e.
[0026]
In general, this three-step method is simply performed in the search range under the condition that the image data is almost satisfied, that is, the condition that the corresponding image error data becomes smaller as the pixel is closer to the search position where the image error data is minimum. Motion vector detection is performed with accuracy that is almost the same as the method that calculates image error data directly for all pixel positions (that is, all pixels on the reference screen) and detects the motion vector that minimizes the image error data. It can be done.
[0027]
In addition, in the motion detection processing by the three-step method shown in FIG. 13, the number of times of calculation of image error data (hereinafter also simply referred to as error) is 9 times in the first layer processing, 8 times in the second layer processing, and It is apparent that the number of error calculations can be greatly reduced compared to a method of calculating errors directly for all pixel positions in the search range, which is 25 times in total in 8 processes in the third hierarchy.
[0028]
FIG. 14 is a diagram for explaining another conventional motion vector detection method.
In this motion vector detection method, a search process of a pixel position where an error (image error data) is minimized is performed with a 1/2 pixel accuracy.
[0029]
In the search process with 1/2 pixel accuracy, an interpolation pixel having a virtual pixel value is defined between two adjacent pixels on the reference screen, and image error data is displayed on the reference screen including the interpolation pixel. A search for a motion vector indicating the pixel position at which is minimized is performed. Based on the motion vector of 1/2 pixel accuracy obtained by this search process, highly accurate motion compensation of 1/2 pixel or less is performed. Note that the pixel value of the interpolation pixel is obtained by interpolation calculation on the pixel values of pixels located on both sides of the interpolation pixel.
[0030]
Such a search process with 1/2 pixel accuracy is used to improve the encoding efficiency by reducing the energy (amplitude level) of the output signal of the differentiator d1 in the encoding apparatus shown in FIG.
[0031]
In this 1/2 pixel precision search process, when the pixel value of the reference screen is read from the frame memory, a virtual pixel value of an interpolation pixel located between two adjacent pixels is generated by interpolation calculation. Processing is required. For this reason, in the first layer search process, motion detection processing with integer pixel accuracy is performed for the pixels indicated by the solid circles in FIG. 14, and in the second layer search process, the first layer search process is performed. The pixel P′0 (see FIG. 14) detected in FIG. 14 is used as a search center, and the pixel to be searched is a neighboring pixel (pixels P′1 to P1 in FIG. 14) located around the pixel P′0 and adjacent thereto. Only in P′8), the pixel position where the error is minimized is searched. As a result, a motion vector with 1/2 pixel accuracy is detected.
The features of these conventional hierarchical motion vector search processes are to select the motion vector that always has the smallest error within the search range corresponding to each step, while narrowing the search range stepwise and increasing the search density. That is.
[0032]
FIG. 15 is a block diagram for explaining a conventional hierarchical motion vector detection apparatus.
This hierarchical motion vector detection apparatus 201 detects a motion vector MV1s by search processing of the first hierarchy based on position information (hereinafter also referred to as motion vector search center information) Sc indicating a motion vector search center input from the outside. And a second layer motion detection unit that detects a motion vector MV2s by a second layer search process based on the motion vector MV1s obtained by the first layer search process. Yes.
[0033]
Here, like the motion vector detection device 200 shown in FIG. 12, the first layer motion detection unit generates an MV generator that generates a plurality of first candidate motion vectors MV1c based on external motion vector search center information Sc. u1a, frame memory u2 storing image data corresponding to the reference screen, and motion compensation data read from the frame memory u2 based on the first candidate motion vector MV1c (image data of the candidate prediction block) ) An error calculator u3a that calculates error data D1p between C1t and the input target block image data St, and based on the error data D1p, the error data is the smallest among the plurality of candidate motion vectors MV1c. A minimum error selector u4a that selects a candidate motion vector as a first layer motion vector MV1s
[0034]
In addition, the second hierarchical motion detection unit includes an MV generator u1b that generates a plurality of second candidate motion vectors MV2c with the pixel position indicated by the first hierarchical motion vector MV1s as a search center, and image data corresponding to a reference screen. , The motion compensation data (image data of the candidate prediction block) C2t read from the frame memory u2 based on the second candidate motion vector MV2c, and the input target block An error calculator u3b for calculating error data D2p with respect to the image data St, and a candidate motion vector having the smallest error data from the plurality of candidate motion vectors MV2c based on the error data D2p And a minimum error selector u4b to be selected as MV2s. The error calculator u3b of the second hierarchy motion detector is supplied with the minimum error data D1pm from the minimum error selector u4a of the first hierarchy motion detector. For this reason, the error calculator u3b does not need to obtain error data corresponding to the search center in the second layer motion detection process.
[0035]
In this motion vector detection device 201, the frame memory u2 is shared by the first layer motion detection unit and the second layer motion detection unit. In FIG. 15, i1 is a first input terminal to which the image signal St of the target block is input, i2 is a second input terminal to which the motion vector search center information Sc is input, and o1 is a motion of the target block. This is an output terminal from which the vector MV2s is output. The frame memory u2 shown in FIG. 15 is the same as the frame memory d8 shown in FIGS.
[0036]
Next, the operation will be described.
The first layer motion detection unit of the motion vector detection device 201 shown in FIG. 15 performs exactly the same search processing as the motion vector detection device 200 shown in FIG. 12, and the motion vector corresponding to the target block becomes the first layer motion. It is generated as a vector MV1s.
[0037]
When the first layer motion vector MV1s is input to the second layer motion detection unit in the motion vector detection device 201, the second layer motion detection unit detects the pixel position on the reference screen indicated by the first layer motion vector MV1s. A plurality of second candidate motion vectors MV2c corresponding to peripheral pixels located in the vicinity of the search center are generated.
[0038]
Further, when the error calculator u3b receives image data (motion compensation data) C2t corresponding to the candidate prediction block on the reference screen indicated by the second candidate motion vector read from the frame memory u2, the error calculator u3b Error data D2p between the motion compensation data C2t and the image data St of the target block is calculated.
[0039]
The minimum error selector u4b receives error data D2p corresponding to each candidate motion vector MV2c together with the plurality of candidate motion vectors MV2c generated by the MV generator u1b, and the candidate motion vector MV2c that minimizes the error data. Is selected and output as the second layer motion vector MV2s.
[0040]
Note that the error data D1pm corresponding to the search center in the motion vector generator u1b (ie, the motion vector selected by the minimum error selector u4a) has already been calculated by the error calculator u3a and notified to the minimum error selector u4a. Therefore, by notifying the minimum error data D1pm from the minimum error selector u4a to the error calculator u3b, the error calculator u3b corresponds to the motion vector indicating the search center in the second hierarchical motion search process. The calculation for obtaining error data can be omitted.
[0041]
FIG. 15 shows the motion vector detection apparatus 201 that detects a motion vector corresponding to the target block by a two-layer search process. However, a motion vector corresponding to the target block is detected by a three-layer search process. The configuration of the motion vector detection device to be detected can be easily estimated by adding one more set of an error calculator, a minimum error selector, and an MV generator in the motion vector detection device 200 shown in FIG. it can.
[0042]
The conventional motion vector detection method is not limited to the hierarchical search process described with reference to FIGS. 13 and 14, and the search direction is set for each pixel position with the motion vector search center as the search start position. Some determine and search for a pixel position on the reference screen with a smaller motion compensation error.
FIG. 16 is a diagram for explaining a motion vector detection method for obtaining a pixel position with a smaller motion compensation error and sequentially moving the search position from the vector search center. Is shown. In the figure, Ps0 and Psa to Psi are each pixel on the reference screen.
[0043]
This motion vector detection method is called “One at a time”, and the processing flow of this motion vector detection method will be specifically described below.
However, here, an error (motion compensation error) SADs0 of image data between the block on the reference screen specified by the pixels Ps0 and Psa to Psi shown in FIG. 16 and the block to be processed on the screen to be processed. , SADsa to SADsi, the following equations (1) to (3) are assumed to hold.
SADs0, SADsa> SADsb (1)
SADsb, SADsd> SADsc (2)
SADsc, SADsf to SADsi> SADse (3)
In this motion vector detection method, first, in the first step, a search for pixels Psa and Psb located on the left and right of the pixel Ps0 serving as the search center is performed on the reference screen.
[0044]
In this case, the motion compensation error SADsb corresponding to the right pixel Psb of the search center pixel Ps0 is smaller than the motion compensation errors SADs0 and SADsa corresponding to the search center pixel Ps0 and the left side pixel Psa (formula (1)). reference). Therefore, in the subsequent second step, a search is performed for the pixels Ps0 and Psc located on the left and right of the pixel Psb.
[0045]
In the third step, since the motion compensation error SADsc corresponding to the pixel Psc is smaller than the motion compensation errors SADs0 and SADsb corresponding to the pixel Ps0 and the pixel Psb (see equations (1) and (2)). A search for pixels Psb and Psd located on the left and right of the pixel Psc is performed.
[0046]
In the fourth step, the motion compensation error SADsc corresponding to the pixel Psc is smaller than the motion compensation errors SADsb and SADsd corresponding to the pixel Psb and the pixel Psd (see Expression (2)). A search is performed for the pixels Pse and Psf located above and below.
[0047]
In the fifth step, the motion compensation error SADse corresponding to the pixel Pse is smaller than the motion compensation errors SADsc and SADsf corresponding to the pixel Psc and the pixel Psf (see Expression (3)). A search is performed for the pixels Psg and Psh located on the left and right.
[0048]
In the sixth step, the motion compensation error SADse corresponding to the pixel Pse is smaller than the motion compensation errors SADsg and SADsh corresponding to the pixel Psg and the pixel Psh (see Expression (3)). A search is performed for the pixels Psi and Psc located above and below. In this case, since the motion compensation error SADse corresponding to the pixel Pse is smaller than the motion compensation errors SADsi and SADsc corresponding to the pixel Psi and the pixel Psc (see Expression (3)), the position of the pixel Pse Is determined as a motion vector for the block to be processed.
Note that the numbers in circles indicating the pixels in FIG. 16 indicate the pixels that are newly added to the search target in the first to sixth steps. For example, the number in circles indicating the pixel Psc is 2, and this number 2 indicates that this pixel Psc is newly added to the search target in the second step.
[0049]
[Problems to be solved by the invention]
As described above, in the conventional motion vector detection processing, the number of image error data calculations is greatly reduced by efficient motion vector search such as hierarchical motion vector search or One at atime search. In recent years, as the demands for miniaturization and energy saving of equipment have become more and more severe, it has become necessary to make motion vector detection processing with fewer error data calculations.
[0050]
In applications such as the above-mentioned energy saving type small image display devices, it goes without saying that image signal coding efficiency (improvement of image quality at a constant bit rate) is important. There is a problem that a reduction in the number of calculations in a large amount of processing is required.
[0051]
The present invention has been made in view of the above-described problems, and can reduce the number of calculations in motion vector detection processing with a large amount of calculation without substantially degrading the encoding efficiency of an image signal. To obtain a motion vector detecting method and a motion vector detecting apparatus capable of suppressing power consumption to a low level, and a data storage medium storing a program for causing a computer to perform a process of detecting a motion vector by the motion vector detecting method. Objective.
[0052]
[Means for Solving the Problems]
The motion vector detection method according to the present invention (Claim 1) corresponds to a block to be processed for each block including a predetermined number of pixels, which is a unit for processing image data corresponding to a screen to be processed. This is a motion vector detection method including a motion vector detection process in which a position of a prediction block on a reference screen is searched under a certain condition and information indicating the position of the prediction block is detected as a motion vector corresponding to a block to be processed. Thus, the error of the image data between the block corresponding to the motion vector search center that is the position where the search for the position of the prediction block is started and the processing target block to be processed is determined based on the motion vector search center. A calculation process for calculating a corresponding motion compensation error, a neighboring block located in the vicinity of the block to be processed, and a corresponding prediction A comparison process of comparing a motion compensation error corresponding to a neighboring block, which is an error in image data with the block, with a motion compensation error corresponding to the motion vector search center, and comparing the motion compensation errors. Depending on the result, position information indicating the motion vector search center is output as a motion vector corresponding to the block to be processed, or obtained by performing the motion vector detection process using the motion vector search center as a search start position. Whether to output a motion vector as a motion vector corresponding to the block to be processed is switched.
[0053]
According to the present invention (Claim 2), in the motion vector detection method according to Claim 1, when the motion compensation error corresponding to the motion vector search center is smaller than the motion compensation error corresponding to the neighboring block, the motion vector search center Is output as a motion vector corresponding to the block to be processed.
[0054]
According to the present invention (Claim 3), in the motion vector detection method according to Claim 1, a motion compensation error corresponding to the motion vector search center is smaller than a motion compensation error corresponding to the neighboring block, and the motion vector search center is When the motion compensation error corresponding to is less than a predetermined value, the position information indicating the motion vector search center is directly output as a motion vector corresponding to the block to be processed.
[0055]
According to a fourth aspect of the present invention, in the motion vector detection method according to the third aspect, when a motion detection command signal is input from the outside, the motion compensation error corresponding to the neighboring block and the motion vector search center are supported. Regardless of the magnitude relationship of motion compensation errors, a motion vector obtained by performing the motion vector detection process using the motion vector search center as a search start position is output as a motion vector corresponding to the block to be processed.
[0056]
According to the present invention (Claim 5), in the motion vector detection method according to Claim 1, the magnitude of the difference between the motion compensation error corresponding to the neighboring block and the motion compensation error corresponding to the motion vector search center is predetermined. When the value is less than the value, the position information indicating the motion vector search center is output as it is as a motion vector corresponding to the block to be processed.
[0057]
In the motion vector detection method according to the present invention (Claim 6), a block to be processed is processed for each block including a predetermined number of pixels, which is a unit for processing image data corresponding to a screen to be processed. A motion vector detection method for searching for a position of a corresponding prediction block on a reference screen under a certain condition and detecting information indicating the position of the prediction block as a motion vector corresponding to a block to be processed. A block on the reference screen specified by the first candidate motion vector corresponding to the block to be processed is searched for in the first search range set on the screen, and on the screen to be processed A process of calculating a first motion compensation error, which is an error of image data with respect to the processing target block, and a position near the pixel position indicated by the first candidate motion vector. A block on the reference screen specified by the second candidate motion vector corresponding to the block to be processed by searching for the position of the prediction block in the second search range on the reference screen to be processed; A process for calculating a second motion compensation error, which is an error in image data with the upper processing block, and the reference set based on the first candidate motion vector and the second candidate motion vector In the third search range on the screen, the position of the prediction block is searched, the block on the reference screen specified by the third candidate motion vector corresponding to the block to be processed, The process for calculating the third motion compensation error, which is the error of the image data with the block to be processed, is compared with the first, second, and third motion compensation errors, and according to the comparison result , The first and second One of the third candidate motion vector, is intended to include a process of selecting a motion vector corresponding to the processed block.
[0058]
According to a seventh aspect of the present invention, in the motion vector detection method according to the sixth aspect, the third search range is set to a region other than the first and second search ranges on the reference screen, The position of the prediction block in the third search range is searched without referring to the first and second motion compensation errors.
[0059]
According to this invention (invention 8), in the motion vector detection method according to claim 6, in the first search range, as a process of searching for the position of the prediction block, search processing in units of pixels is performed, and the third search In the search range, the process of searching for the position of the prediction block is performed with an accuracy of half a pixel or more by interpolating pixel values corresponding to virtual pixels between pixels on the reference screen.
[0060]
The present invention (Claim 9) is the motion vector detection method according to Claim 6, wherein in the second search range, the position of the prediction block is searched only along the vertical or horizontal direction on the reference screen, In the third search range, the position of the prediction block is searched along a direction other than the search direction in the second search range.
[0061]
In this invention (claim 10), the motion vector detection apparatus predicts corresponding to the processing target block to be processed for each block consisting of a predetermined number of pixels, which is a unit for processing the image data corresponding to the processing target screen. A motion vector detection device that performs a motion vector detection process of searching for a position of a block on a reference screen under a certain condition and detecting information indicating the position of the predicted block as a motion vector corresponding to a block to be processed. The error of the image data between the block corresponding to the motion vector search center that is the position where the search for the position of the prediction block is started and the processing target block to be processed corresponds to the motion vector search center. Error calculation means for calculating motion compensation error, neighboring blocks located in the vicinity of the block to be processed, and corresponding to this A comparison means for comparing a motion compensation error corresponding to a neighboring block, which is an error in image data with the measurement block, with a motion compensation error corresponding to the motion vector search center, and a comparison result of the both motion compensation errors. Accordingly, a determination means for determining whether or not motion vector detection processing for the block to be processed should be performed, and the motion vector search center is searched only when the determination means determines that motion vector detection processing should be performed. A motion detection unit that detects the motion vector by performing the motion vector detection process as a start position, and a motion vector detected by the motion detection unit when the determination unit determines that the motion vector detection process should be performed. It should be output as a motion vector corresponding to the block to be processed, and motion vector detection processing should not be performed by the discrimination means A selection means for directly outputting the position information indicating the motion vector search center as a motion vector corresponding to the block to be processed, and a motion compensation error corresponding to the motion vector output from the selection means, And a memory temporarily stored as data for determining whether or not to perform motion vector detection processing on the block.
[0062]
The motion vector detection device according to the present invention (invention 11) corresponds to a block to be processed for each block composed of a predetermined number of pixels, which is a unit for processing image data corresponding to the screen to be processed. A motion vector detection device that searches for a position of a prediction block on a reference screen under a certain condition and detects information indicating the position of the prediction block as a motion vector corresponding to a block to be processed. The position of the prediction block is searched in the first search range set to the block on the reference screen specified by the first candidate motion vector corresponding to the block to be processed, and the target on the screen to be processed. First motion detecting means for calculating a first motion compensation error, which is an error of image data with respect to the processing block, and a pixel position indicated by the first candidate motion vector; A block on the reference screen identified by the second candidate motion vector corresponding to the block to be processed by searching for the position of the prediction block in a second search range on the reference screen located in the vicinity; A second motion detecting means for calculating a second motion compensation error, which is an error in image data with the block to be processed, and the first candidate motion vector and the second candidate motion vector. A block on the reference screen identified by a third candidate motion vector corresponding to the block to be processed by searching for a position of the prediction block in a third search range on the reference screen; The third motion detection means for calculating a third motion compensation error that is an error in image data between the first motion compensation error and the first motion compensation error is compared with the first, second and third motion compensation errors. Depending on the first Second, one of the third candidate motion vector, in which a selection means for selecting a motion vector corresponding to the processed block.
[0063]
A data storage medium according to the present invention (Claim 12) stores, as a program, a program for causing a computer to perform processing for detecting a motion vector corresponding to a block to be processed by the motion vector detection method according to Claim 1. It is a thing.
[0064]
The data storage medium according to the present invention (Claim 13) stores, as a program, a program for causing a computer to perform processing for detecting a motion vector corresponding to a block to be processed by the motion vector detection method according to Claim 6. It is a thing.
[0065]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below.
(Embodiment 1)
First, the basic concept of Embodiment 1 of the present invention will be described.
Since the image signal generally has a strong correlation between local pixel values, the motion vector and the motion compensation error are substantially equal between the target block on the screen to be processed and a neighboring block located adjacent thereto.
As a result, when the pixel value correlation is strong, the motion vector search center information for obtaining the motion vector for the target block is predicted and generated from the motion vectors of the neighboring blocks, and the motion vector search center information thus generated is used as the target block. As a motion vector corresponding to, the motion vector detection accuracy of the target block is hardly deteriorated.
[0066]
However, if the target block and neighboring blocks each contain pixels of objects that move differently, the correlation of pixel values between the target block and neighboring blocks is lost, and motion vectors and motion compensation errors are There are significant differences between blocks and neighboring blocks.
[0067]
Therefore, the motion vector search center information of the target block is predicted and generated from the motion vector of the neighboring block, the motion compensation error corresponding to the motion vector search center is compared with the motion compensation error corresponding to the neighboring block, and the comparison result is Accordingly, by switching the motion vector detection process, it is possible to reduce the amount of calculation in the motion detection process for the target block without significantly impairing the motion vector detection accuracy of the target block.
Specifically, if the difference between the motion compensation errors for the motion vector search center and the motion compensation error for the neighboring block is small, the motion vector search center information corresponding to the target block is determined. Is used as a motion vector for the target block. On the other hand, when the difference between the two motion compensation errors is large, a motion vector obtained by performing motion vector detection processing using the motion vector search center of the target block as a search start position is used as a motion vector for the target block.
[0068]
In addition, when the motion compensation error for the motion vector search center of the target block is smaller than the motion compensation error of the neighboring block, the pixel value correlation between the neighboring block and the target block is low, and therefore the motion predicted from the neighboring block Although the vector search center may be different from the optimal motion vector of the target block, the motion compensation error of the target block is small even if the position information indicating the motion vector search center is selected as the motion vector of the target block. Therefore, it can be considered that there is no practical problem.
[0069]
Therefore, instead of outputting a determination result (motion detection censoring determination) using the position information indicating the motion vector search center as the motion vector of the target block when the magnitude of the difference between the motion compensation errors is less than a predetermined value, When the motion compensation error with respect to the search center of the target block is smaller than the motion compensation error of the neighboring block, a determination signal indicating that the position information indicating the motion vector search center is set as the motion vector of the target block (motion detection abort determination) is output You may make it do.
[0070]
FIG. 1 is a block diagram for explaining a motion vector detection apparatus according to Embodiment 1 of the present invention.
The motion vector detection apparatus 101 according to the first embodiment detects a motion vector corresponding to a target block by a two-layer search process. In this apparatus, the first-layer search process is input from the outside. The motion compensation error for the motion vector search center information Sc is calculated. Therefore, this motion detection device 101 does not have the motion vector generator u1a and the minimum error selector u4a in the conventional hierarchical motion vector detection device 201 shown in FIG.
[0071]
The motion vector detection apparatus 101 according to the first embodiment includes a frame memory u2 in which image data of a reference screen is stored, image data of a specific block on the reference screen indicated by information Sc indicating a motion vector search center from the outside, and And an error calculator u3a for calculating an error from the image data of the target block. In this motion vector detection device 101, the frame memory u2 and the error calculator u3a constitute a first layer motion detection unit.
[0072]
Further, the motion vector detection apparatus 101 is based on the MV generator u1 that generates a plurality of candidate motion vectors MVc with the pixel position indicated by the external motion vector search center information Sc as a search center, and the candidate motion vector MVc. An error calculator u3b for calculating error data D2p between the motion compensation data (second motion compensation data) C2t read from the frame memory u2 and the image data St of the input target block, and the error data D2p And a minimum error selector u4 that selects a candidate motion vector corresponding to the minimum error as the second layer motion vector MVs from among the plurality of candidate motion vectors MVc. In this motion vector detection device 101, the frame memory u2, the MV generator u1, the error calculator u3b, and the minimum error selector u4 constitute a second layer motion detection unit.
[0073]
Further, the motion vector detection device 101 selects one of the error data D1p output from the error calculator u3a and the minimum error data Dmp output from the minimum error selector u4 based on the control signal Dc. The first selector u6 that outputs the selected data as selection error data Dsp, the motion vector search center information Sc input from the outside based on the control signal Dc, and the minimum error selector u4. And a second selector u7 that selects one of the second-layer motion vectors MVs and outputs the selected motion vector as the motion vector MV of the target block.
[0074]
Here, the selector u6 receives the minimum error data Dmp from the minimum error selector u4 at the first input node 6a, and is output from the error calculator u3a at the second input node 6b. Error data D1p is input, and one of these data is output from the output node 6c as selection error data Dsp. The selector u7 receives the second-layer motion vector MVs from the minimum error selector u4 at the first input node 7a, and searches for an external motion vector at the second input node 7b. The center information Sc is input, and one of these data is output from the output node 7c as the motion vector MV of the target block.
[0075]
The motion vector detection device 101 calculates the temporary storage memory u8 that temporarily stores the selection error data Dsp, the motion compensation error Drp of the neighboring block read from the temporary memory u8, and the error calculator u3a. Is compared with the motion compensation error D1p corresponding to the motion vector search center, and the abort determination result is output as the control signal Dc indicating whether or not the motion vector search processing by the second hierarchical motion detection unit is aborted. And u5a.
Other configurations are the same as those of the conventional motion vector detection apparatus 201.
[0076]
FIG. 2A is a diagram showing a specific configuration of the abort determination unit u5a that constitutes the motion vector detection device 101 shown in FIG.
The abort determination unit u5a compares the motion compensation error Drp of the neighboring block with the motion compensation error D1p (corresponding to the output of the error calculator u3a in FIG. 1) corresponding to the motion vector search center Sc of the target block. c1a, which is configured to output a determination signal Dc indicating an abort determination result according to the magnitude relationship between the motion compensation errors. In FIG. 2 (a), i10 and i11 are input terminals of the determiner u5a, the motion compensation error Drp of the neighboring block corresponds to the input terminal i10, and the motion vector search center Sc corresponds to the input terminal i11. The motion compensation error D1p is input. Further, o10 is an output terminal of the determination unit u5a, and the determination signal Dc is output from the output terminal o10.
[0077]
That is, when the motion compensation error D1p with respect to the motion vector search center is smaller than the motion compensation error Drp with respect to the neighboring block, the abort determination unit u5a outputs the determination signal Dc indicating that the search process of the second layer is aborted, and the motion When the motion compensation error D1p for the vector search center is equal to or greater than the motion compensation error Drp for the neighboring block, a determination signal Dc indicating that the second-layer search process is performed is output.
[0078]
In the motion vector detection apparatus 101 according to the first embodiment, when the determination signal Dc indicating that the search process of the second hierarchy is to be stopped is output from the stop determination unit u5a, the error calculator u3b, the minimum The arithmetic processing in the error selector u4 and the MV generator u1 is stopped, the error data D1p from the error calculator u3a is selected in the selector u6, and the motion vector input from the outside is selected in the selector u7. Search center information Sc is selected. On the other hand, when the determination signal Dc indicating that the second-layer search process is to be performed is output from the truncation determination unit u5a, the calculation process in the error calculator u3b, the minimum error selector u4, and the MV generator u1 The selector u6 selects the minimum error data Dmp from the minimum error calculator u4, and the selector u7 selects the second hierarchical motion vector MVs from the minimum error calculator u4. It has become.
[0079]
Next, the function and effect will be described.
Hereinafter, the operation of the motion vector detection apparatus 101 of FIG. 1 will be described.
The temporary memory u8 stores a motion compensation error (error data) Drp corresponding to the neighboring block processed immediately before the target block to be processed. The abort determination unit u5a reads from the temporary memory u8. The motion compensation error Drp of the neighboring block is compared with the motion compensation error D1p corresponding to the motion vector search center information Sc of the target block calculated by the error calculator u3a, and the motion vector search of the second layer is performed. An abort determination result indicating whether or not to abort the process is output as a determination signal Dc.
[0080]
Specifically, the abort determination unit u5a outputs a determination signal Dc indicating that the search process of the second hierarchy is terminated when the motion compensation error D1p for the motion vector search center is smaller than the motion compensation error Drp for the neighboring block. Is done. On the other hand, when the motion compensation error D1p for the motion vector search center is equal to or greater than the motion compensation error Drp for the neighboring block, the determination signal Dc indicating that the search process of the second hierarchy is not aborted is output.
[0081]
When the abort determination unit u5a determines that the search processing of the second hierarchy is to be terminated, the motion vector generator u1, the error calculator u3b, and the minimum error selector u4 are subjected to arithmetic processing by the determination signal Dc. The error calculator u3b, the minimum error selector u4, and the MV generator u1 do not perform the calculation process for the second-layer search process. On the other hand, when it is determined by the abortion decision unit u5a that the search processing of the second hierarchy is not terminated, the motion vector generator u1, the error calculator u3b, and the minimum error selector u4 receive the decision signal Dc. It is notified that the calculation process is necessary, and the error calculator u3b, the minimum error selector u4, and the MV generator u1 perform the calculation process for the search process of the second hierarchy.
[0082]
At this time, the selector u7 selects the motion vector search center information Sc and outputs it as the motion vector MV of the target block when the determination signal Dc indicates the termination of the search processing of the second layer. On the other hand, when the determination signal Dc indicates that the search process of the second hierarchy is not terminated, the motion vector MVs selected by the minimum error selector u4 is output as the motion vector MV of the target block.
[0083]
Similarly, in the selector u6, when the determination signal Dc indicates the termination of the search processing of the second hierarchy, the motion compensation error D1p corresponding to the motion vector search center information Sc is selected and output to the temporary memory u8. The On the other hand, when the determination signal Dc indicates that the second-layer search process is not terminated, the motion compensation error Dmp corresponding to the motion vector MVs selected by the minimum error selector u4 is output to the temporary memory u8. Is done.
[0084]
In the first embodiment having such a configuration, even when the abortion determination unit u5a refers to the motion compensation error Drp corresponding to the detected motion vector of the neighboring block and performs the second layer motion search, the coding efficiency is improved. Therefore, it is possible to cancel the unnecessary motion search process in the second layer, thereby reducing the number of error calculations in the motion vector detection process.
[0085]
Also, the abortion decision unit u5a selects the motion vector search center information Sc as the motion vector of the target block when the motion compensation error D1p for the motion vector search center of the target block is smaller than the motion compensation error Drp of the neighboring block. In this case, the pixel value correlation between the neighboring block and the target block is low, and the motion vector search center predicted from the neighboring block may be different from the optimal motion vector of the target block. Since the motion compensation error D1p is small, it can be considered that there is no practical problem.
[0086]
In the first embodiment, the determination as to whether or not to cancel the second-layer search process is made based on the magnitude relationship between the motion compensation error D1p for the motion vector search center of the target block and the motion compensation error Drp for the neighboring blocks. If the magnitude of the difference between the motion compensation error D1p and the motion compensation error Drp is less than a predetermined value, the second-layer search process is terminated, and the difference is greater than or equal to the predetermined value. May not stop the search processing of the second hierarchy.
[0087]
FIG. 2B shows a configuration of the abortion determination unit u51a having such a configuration.
The abort determination unit u51a is determined by comparing the reference value generator c1b that generates the predetermined reference value Dcp, the difference between the motion compensation error D1p and the motion compensation error Drp, and the predetermined reference value Dcp. And a comparison / determination unit c51a that outputs a signal Dc. Then, the comparison / determination unit c51a outputs a determination signal Dc indicating that the search process of the second hierarchy is terminated when the magnitude of the difference is less than a predetermined value, and the difference is greater than or equal to the predetermined value. Is configured to output a determination signal Dc indicating that the search processing of the second hierarchy is not terminated.
[0088]
(Embodiment 2)
FIG. 3 is a block diagram for explaining a motion vector detection apparatus according to Embodiment 2 of the present invention.
The motion vector detection apparatus 102 according to the second embodiment replaces the abortion determination unit u5a in the motion vector detection apparatus according to the first embodiment with the motion compensation error Drp corresponding to the detected motion vector of the neighboring block and the target block. Abort determination that outputs a determination signal Dcb indicating whether or not to cancel the motion search of the second hierarchy based on the magnitude relationship with the motion compensation error D1p corresponding to the motion vector search center and the threshold value Th input from the outside A device u5b is provided. The other configuration of the motion vector detection device 102 is the same as that of the motion vector detection device 101 of the first embodiment. In FIG. 3, i3 is a third input terminal of the motion vector detecting apparatus 102 to which the threshold value Th is input.
[0089]
FIG. 4 is a diagram illustrating a specific configuration of the abortion determination unit u5b included in the motion vector detection device 102 illustrated in FIG.
The abort determination unit u5b compares the motion compensation error Drp corresponding to the neighboring block read from the temporary memory u8 and the motion compensation error D1p corresponding to the motion vector search center information Sc calculated by the error calculator u3a. 1 comparator c2a, and a second comparator c2b that compares the threshold value Th input from the outside with the motion compensation error D1p corresponding to the motion vector search center information Sc.
[0090]
Here, the threshold value Th is determined by the bit rate of the encoded data output from the inter-frame motion compensation encoding device and the number of times of motion compensation error calculation in the motion vector detection device. This is the error tolerance. The first comparator c2a outputs a determination signal Dca indicating that the second-layer search process is to be terminated when the motion compensation error D1p for the motion vector search center is smaller than the motion compensation error Drp for the neighboring block. When the motion compensation error D1p for the motion vector search center is equal to or greater than the motion compensation error Drp for the neighboring block, a determination signal Dca indicating that the second-layer search process is performed is output. If the motion compensation error D1p for the motion vector search center is less than the threshold Th, the second comparator c2b outputs the determination signal Dca output from the first comparator c2a as it is as the determination signal Dcb. If the motion compensation error D1p with respect to the motion vector search center is equal to or greater than the threshold Th, the second-layer search process is not terminated regardless of the determination signal Dca from the first comparator c2a (that is, the first A determination signal Dcb indicating that the search process of the second hierarchy is performed) is output.
In FIG. 4, i12 is a third input terminal of the abort determination unit u5b to which a threshold value Th from the outside of the motion vector detection device 102 is input.
[0091]
Next, the function and effect will be described.
First, the basic principle of the second embodiment will be briefly described.
In the first embodiment, the motion compensation error Drp corresponding to the detected motion vector of the neighboring block is simply compared with the motion compensation error D1p corresponding to the motion vector search center of the target block, and the abort determination result is shown. The determination signal Dc is generated, but when the motion detection accuracy for the neighboring block is poor and the motion compensation error corresponding to the neighboring block becomes large, the motion compensation for the target block is performed at the motion vector search center. Even if the motion compensation error obtained based on the information Sc is large, the motion detection process for the second layer is aborted, and the motion vector search center information Sc with poor accuracy is output as the motion vector MV of the target block. Will be.
[0092]
Therefore, for example, an allowable value of the motion compensation error determined by the bit rate of the encoded data output from the inter-frame motion compensation encoding device and the number of operations of the motion compensation error in the motion vector detection device is set as the threshold Th. When the motion compensation error obtained by performing motion compensation on the target block based on the motion vector search center information Sc by giving to the abort determination unit u5b is larger than the threshold Th, the second-layer motion detection process Can be canceled.
[0093]
Next, the operation will be described.
In the motion vector detection apparatus 102 according to the second embodiment, the operations other than the abort determination unit u5b are the same as the operations of the motion vector detection apparatus 101 according to the first embodiment. Only explained.
[0094]
The abort determination unit u5b compares the motion compensation error Drp corresponding to the neighboring block read from the temporary memory u8 and the motion compensation error D1p corresponding to the motion vector search center calculated by the error calculator u3a. In addition, the threshold Th inputted from the outside is compared with the motion compensation error D1p corresponding to the motion vector search center information Sc.
[0095]
Then, the abort determination unit u5b outputs an abort determination signal Dcb indicating whether or not to cancel the second-layer motion detection based on the comparison results of the comparators c2a and c2b.
When it is determined that the process is aborted, the determination signal Dcb notifies the motion vector generator u1, the error calculator u3b, and the minimum error selector u4 that processing is unnecessary.
[0096]
Hereinafter, a specific operation of the abort determination unit u5b will be described.
First, the abort determination unit u5b compares the motion compensation error Drp corresponding to the neighboring block with the motion compensation error D1p corresponding to the motion vector search center of the target block, as in the abort determination unit u5a of the first embodiment. Comparison is made in the device c2a. When the motion compensation error D1p with respect to the motion vector search center is smaller than the motion compensation error Drp with respect to the neighboring block, a determination signal Dca indicating that the second-layer search process is to be terminated is output from the comparator c2a. On the other hand, when the motion compensation error D1p for the motion vector search center is equal to or greater than the motion compensation error Drp for the neighboring block, a determination signal Dca indicating that the second-layer search process is not terminated is output from the comparator c2a.
[0097]
At this time, the comparator c2b compares the motion compensation error D1p corresponding to the motion vector search center of the target block with the threshold Th, and if the motion compensation error D1p is less than the threshold Th, the output Dca of the comparator c2a Is output as the abort determination signal Dcb, and if the motion compensation error D1p is equal to or greater than the threshold Th, the motion search process of the second hierarchy is performed regardless of the determination output Dca of the comparator c2a (ie, the second hierarchy) The determination signal Dcb indicating that the eye search process is not terminated is output.
[0098]
In the second embodiment having such a configuration, the threshold Th inputted from the outside in the abortion decision unit u5b is compared with the motion compensation error D1p based on the motion vector search center information Sc, and motion compensation for the target block is performed as a motion vector search. When the motion compensation error obtained based on the center information Sc is larger than the threshold, the second layer motion search process is always performed, so that the motion detection accuracy can be improved.
[0099]
In the second embodiment, the comparator c2a in the abortion decision unit u5b performs the second-layer detection process when the motion compensation error D1p for the motion vector search center of the target block is smaller than the motion compensation error Drp of the neighboring block. A determination signal Dca indicating that the second layer is detected when the motion compensation error D1p for the motion vector search center of the target block is equal to or greater than the motion compensation error Drp of the neighboring block. The comparator c2a is configured to output the signal Dca. The comparator c2a, like the comparator c51a shown in FIG. 2 (b), has a difference between the motion compensation error D1p and the motion compensation error Drp having a predetermined reference value Dcp. If it is less than the value, a determination signal Dca indicating that the search processing of the second hierarchy is to be terminated is output, and the difference is a predetermined value Dcp. When it is above, may output a decision signal Dca indicating that no truncated second tier search process.
[0100]
(Embodiment 3)
FIG. 5 is a block diagram for explaining a motion vector detection apparatus according to Embodiment 3 of the present invention.
The motion vector detection device 103 according to the third embodiment replaces the abort determination unit u5b in the motion vector detection device according to the second embodiment with the motion compensation error Drp corresponding to the detected motion vector of the neighboring block and the target block. Whether to cancel the second-layer motion search based on the magnitude relationship with the motion compensation error D1p corresponding to the motion vector search center, the threshold value Th input from the outside, and the second-layer motion detection command signal Cm. The other part of the configuration is the same as that of the motion vector detecting device 102 of the second embodiment. In FIG. 5, i4 is a fourth input terminal of the motion vector detection device 103 to which the second-layer motion detection command signal Cm is input.
[0101]
FIG. 6 is a diagram showing a specific configuration of the abortion determining unit u5c constituting the motion vector detecting device 103 shown in FIG.
In addition to the comparators c3a and c3b having the same configuration as the comparators c2a and c2b in the abort determination unit u5b of the second embodiment, the abort determination unit u5c includes a signal generator c3c that generates an abort prohibition signal Fc and an external source. A selector c3 for selecting one of the output Dcb of the second comparator c3b and the abort inhibition signal Fc based on the input second-level motion detection command signal Cm.
[0102]
Here, when the second layer motion detection command signal Cm is input from the outside, the selector c3 selects the abort prohibition signal Fc, and the second layer motion detection command signal Cm is not input. In some cases, the output Dcb of the second comparator c3b is selected. The device outside the motion vector detection device 103 that outputs the second layer motion detection command signal Cm is, for example, an intra-screen / inter-screen coding mode determination that determines a coding mode for a target block or a neighboring block. For example.
[0103]
Next, the function and effect will be described.
First, the basic principle of the third embodiment will be briefly described.
If the neighboring block located near the target block is a block that does not have a motion vector, that is, the first block to be processed or the block at the edge of the screen to be processed, or the neighboring block is subjected to intra-frame coding processing. In the case of the intra block, the motion vector search center information Sc predicted and generated from the motion vector of the block located in the vicinity of the target block is considered to have low reliability. When the neighboring block is an intra block that has been subjected to intra-frame coding processing, the motion compensation error for the target block is large, and the motion vector of the target block is often unreliable.
[0104]
Therefore, in such a situation, the reliability of the motion vector search center Sc is determined by the second layer motion detection command signal Cm from a device such as an intra-screen / inter-screen coding mode determiner outside the motion vector detection device 103. It is possible to further improve the accuracy of motion detection by instructing the abort determination unit u5c to be low and causing the abort determination unit u5c to output a determination signal Dcf indicating that the second-layer motion detection is to be performed. it can.
[0105]
Next, the operation will be described.
In the motion vector detection device 103 according to the third embodiment, all the operations other than the abort determination unit u5c are the same as those of the motion vector detection device 102 according to the second embodiment shown in FIG. Only the operation will be described.
In the abort determination unit u5c shown in FIG. 6, first, similarly to the abort determination unit u5b shown in FIG. 4, the motion compensation error Drp corresponding to the neighboring block and the motion compensation error D1p corresponding to the motion vector search center of the target block are The comparator c3a compares the threshold value Th input from the outside with the motion compensation error D1p corresponding to the motion vector search center.
[0106]
Then, the abort determination unit u5c aborts the motion vector search in the second layer based on the comparison results in the comparators c3a and c3b and whether or not the second layer motion detection command signal Cm is input. An abort determination signal Dcf indicating whether or not is output. When it is determined that the process is aborted, the determination signal Dcf notifies the motion vector generator u1, the error calculator u3b, and the minimum error selector u4 that processing is unnecessary.
[0107]
Hereinafter, a specific operation of the abort determination unit u5c will be described.
First, the abort determination unit u5c compares the motion compensation error Drp corresponding to the neighboring block with the motion compensation error D1p corresponding to the motion vector search center of the target block, as in the abort determination unit u5a of the second embodiment. Comparison is made in the device c3a. When the motion compensation error D1p with respect to the motion vector search center is smaller than the motion compensation error Drp with respect to the neighboring block, a determination signal Dca indicating that the second-layer search process is to be terminated is output from the comparator c3a. On the other hand, when the motion compensation error D1p for the motion vector search center is equal to or greater than the motion compensation error Drp for the neighboring block, the determination signal Dca indicating that the second-layer search process is not terminated is output from the comparator c3a.
[0108]
At this time, the comparator c3b compares the motion compensation error D1p corresponding to the motion vector search center of the target block with the threshold Th. As a result of the comparison, if the motion compensation error D1p corresponding to the motion vector search center is less than the threshold Th, the output Dca of the comparator c3a is output as it is as the abort determination signal Dcb. On the other hand, if the motion compensation error D1p corresponding to the motion vector search center is equal to or greater than the threshold Th, the second-layer motion vector search is performed regardless of the determination output Dca of the comparator c3a (ie, the second motion vector search). A determination signal Dcb indicating that the search processing of the hierarchy is not terminated) is output.
[0109]
When the second-layer motion detection command signal Cm is input to the selector c3, the selector c3 selects the abort prohibiting signal Fc and outputs it as final determination data Dcf. Conversely, when the second-layer motion detection command signal Cm is not input to the selector c3, the selector c3 selects the determination signal Dcb from the comparator c3b and outputs it as final determination data Dcf. .
[0110]
As described above, in Embodiment 3, a determination result indicating that the second-layer motion vector search is forcibly performed by the second-layer motion detection command signal Cm from the outside is output from the abortion determination unit u5c. The motion vector detection accuracy can be further improved as compared with the motion vector detection device 102 of the second embodiment shown in FIG.
[0111]
In the third embodiment, when the motion compensation error D1p corresponding to the motion vector search center of the target block is smaller than the motion compensation error Drp of the neighboring block, the comparator c3a in the abort determination unit u5c When the determination signal Dca indicating that the motion vector search process is discontinued is output and the motion compensation error D1p corresponding to the motion vector search center of the target block is equal to or greater than the motion compensation error Drp of the neighboring block, the motion vector of the second layer A determination signal Dca indicating that search processing is to be performed is output. The comparator c3a, like the comparator c51a shown in FIG. 2B, has a large difference between the motion compensation error D1p and the motion compensation error Drp. Is less than a predetermined reference value Dcp, a determination indicating that the motion vector search process in the second layer is to be terminated No. outputs Dca, when said difference is equal to or greater than the predetermined value Dcp may be configured to output a determination signal Dca indicating that no truncated the second tier of the motion vector search process.
[0112]
In the first to third embodiments, the specific contents of the second layer motion vector search process, that is, the process of detecting the motion vector for the target block by performing the motion vector search with the motion vector search center as the search start position are as follows. Although not shown, in the second-layer motion vector search process, the conventional three-step method shown in FIG. 13, the other conventional hierarchical motion vector detection method shown in FIG. 14, or the one at a time shown in FIG. A motion vector detection method such as is used.
[0113]
(Embodiment 4)
Next, a motion vector detection device according to Embodiment 4 of the present invention will be described.
First, the basic principle of the motion vector detection device according to the fourth embodiment will be described.
FIG. 7 is a diagram for explaining the operation principle of the motion vector detection device of this embodiment, and is a pixel on the reference screen that is referred to during motion vector detection processing (hereinafter also referred to as motion detection processing). Is shown.
[0114]
In FIG. 7, P0 is a reference pixel at a position indicated by a motion vector found by the search processing of the first layer, and peripheral pixels P1 to P8 are located around the reference pixel P0. The positions of these peripheral pixels P1 to P8 are virtual pixel positions indicated by motion vectors having accuracy higher than integer pixel accuracy such as 1/2 pixel accuracy, and the pixel values of these pixels actually exist. This is generated by interpolating the pixel values of the pixels to be interpolated.
[0115]
FIG. 8 is a diagram for explaining the operation of the motion vector detection apparatus according to the fourth embodiment, and shows an example of a specific method for performing interpolation generation of pixel values.
In FIG. 8, Q1, Q2, Q3, and Q4 are actual pixels constituting the reference screen, and are located at positions corresponding to the vertices of a predetermined square on the reference screen. The pixels Q1, Q2, Q3, and Q4 have pixel values q1, q2, q3, and q4, respectively.
[0116]
H1 is a virtual pixel located between the pixels Q1 and Q2, H2 is a virtual pixel located between the pixels Q1 and Q3, and H3 is a virtual pixel located between the pixels Q1 and Q4. The pixel values h1, h2, and h3 of these virtual pixels H1, H2, and H3 are generally calculated by the following equations (1), (2), and (3), respectively.
h1 = (q1 + q2) / 2 (1)
h2 = (q1 + q3) / 2 (2)
h3 = (q1 + q2 + q3 + q4) / 4 (3)
[0117]
As described above, in motion detection processing with higher accuracy than integer pixel accuracy (high pixel accuracy motion detection), pixel values of virtual pixels that are virtually arranged at positions where no pixels exist on the reference screen are interpolated. Therefore, the amount of calculation increases as compared with the motion detection process with integer pixel accuracy. However, on the other hand, since the motion vector obtained by the high pixel accuracy motion detection process can accurately represent even a small motion of a small image, motion compensation error using such a motion vector has a motion compensation error. Get smaller. Furthermore, since the pixel value interpolation process as described above is equivalent to a low-pass filter, it is also known that the interpolation process has an effect of suppressing high-frequency noise.
[0118]
Since the high frequency noise suppression effect cannot be ignored for motion detection processing with higher accuracy than integer pixel accuracy, for example, motion compensation errors due to motion vectors indicating the pixel P0 in FIG. 7 are generated in the pixels P2, P4, P5, and P7. Even if it is smaller than the corresponding one, the motion compensation error due to the motion vector indicating the pixels P1, P3, P6, and P8 is often smaller than the motion compensation error corresponding to the pixel P0.
[0119]
However, if motion detection is performed for all of the pixels P1, P3, P6, and P8, the number of error calculations increases. Therefore, in the search process of the second hierarchy, motion compensation errors are calculated for the four motion vectors of the reference pixels indicating the positions of the pixels P2, P4, P5, and P7, and motion compensation is performed among the pixels P2, P4, P5, and P7. The pixel position Pi that minimizes the error is detected, and the search processing in the third hierarchy is limited to two motion vectors indicating pixel positions adjacent to the pixel position Pi among the pixels P1, P3, P6, and P8. We will search.
[0120]
Finally, the motion compensation errors corresponding to the motion vectors obtained by the search processing in the first, second, and third layers are compared, and the motion vector that minimizes the motion compensation error is compared with the motion of the target block. Let it be a vector.
This method is similar to the conventional hierarchical three-step method, but the conventional three-step method selects one motion vector that minimizes the motion compensation error for each layer, whereas the fourth embodiment In this method, one motion vector that minimizes the motion compensation error is selected from the motion vectors obtained by the search processing of each layer.
[0121]
For example, in the conventional three-step method, if the motion compensation error corresponding to the position of the pixel P0 shown in FIG. 7 is smaller than the motion compensation error corresponding to the positions of the pixels P2, P4, P5, and P7 shown in FIG. The motion vector indicating the position of the pixel P0 is selected in the second layer, and there is a criterion for narrowing the search range from the four candidates of the pixels P1, P3, P6, and P8 in the search processing in the third layer. Will not. On the other hand, in this embodiment, since the pixel P0 indicated by the motion vector obtained by the first layer search is not considered in the second layer search, any one of the pixels P2, P4, P5, and P7 is used. Is detected as the pixel position Pi where the motion compensation error is minimized. Therefore, in the search process of the third hierarchy, the search range can be narrowed down from the four candidates of the pixels P1, P3, P6, and P8 using the pixel position Pi as a criterion.
[0122]
FIG. 9 is a block diagram for explaining a motion vector detection apparatus according to Embodiment 4 of the present invention.
In addition to the configuration of the conventional motion vector detection device 201, the motion vector detection device 104 of the fourth embodiment is selected by the motion vector MV2s of the second layer selected by the minimum error selector u4b and the minimum error selector u4a. The motion vector generator u1c that generates a plurality of candidate motion vectors MV3c according to the first-layer motion vector MV1s, and the reference screen specified by the candidate motion vector MV3c read from the frame memory u2 An error calculator u3c that calculates an error between the image data C3t corresponding to the specific block and the image data Sc of the input target block, and each of the search results obtained by the search processing in the first, second, and third layers A motion vector that minimizes the motion compensation error is selected from the three motion vectors corresponding to the hierarchy, and the selected motion is selected. And a minimum error selector u4c output as a motion vector MV3s the corresponding vector to the target block. In the motion vector detection device 104, the MV generator u1c, the error calculator u3c, the minimum error selector u4c, and the frame memory u2 constitute a third-layer motion vector detection unit.
[0123]
Here, the motion vector generator u1c does not include the first-tier search range and the second-tier search range, which are limited by the first-tier motion vector MV1s and the second-tier motion vector MV2s. The candidate motion vector MV3c indicating the pixel position within the search range 3 is detected. The minimum error selector u4c includes first and second selected motion vectors MVs1 and MVs2 and first and second motion compensation errors D1pm and D2pm from the minimum error selectors u4a and u4b, and motion vector generation. A plurality of candidate motion vectors MV3c from the unit u1c and a motion compensation error D3p from the error calculator u3c are input. In the minimum error selector u4c, the motion vector is selected by the search of the third layer and the three motions corresponding to the respective layers selected by the search processing of the first layer, the second layer, and the third layer. A process of selecting a motion vector that minimizes the motion compensation error from the vectors is performed collectively.
[0124]
In the fourth embodiment, the second-layer motion vector detection unit including the MV generator u1b, the error calculator u3b, the minimum error selector u4b, and the frame memory u2 is obtained by the first-layer search process. The vicinity of the pixel position indicated by the obtained motion vector MV1s is used as the second search range, and the second-layer motion vector MV2s is detected. That is, the minimum error selector u4b does not consider the motion vector MV1s output from the minimum error selector u4a of the first layer motion vector detection unit, and the candidate motion vector MV2c generated by the MV generator u1b. Among them, the motion vector that minimizes the motion compensation error is selected as the second-layer motion vector MV2s.
Here, the pixel position indicated by the motion vector MV1s is the position of the pixel P0 in FIG. 7, and the second search range is an image space composed of the pixels P2, P4, P5, and P7 in FIG. If the motion vector MV2s in the second hierarchy indicates the position of the pixel P7, the third search range is an image space composed of the pixels P6 and P8 in FIG.
[0125]
Next, the operation will be described.
Note that in the motion vector detection device 104 of the fourth embodiment, the search processing of the first layer is the same as the processing in the conventional hierarchical motion vector detection device 201, but here, the first layer, The search process of the second hierarchy and the third hierarchy will be described.
[0126]
The motion vector generator u1a in the motion vector detection device 104 outputs motion vectors indicating a plurality of pixel positions near the search center as candidate motion vectors MV1c based on the vector search center information Sc supplied from the outside of the device. Is done. Then, the frame memory u2 outputs an image signal (motion compensation data) C1t corresponding to a specific block on the reference screen indicated by the candidate motion vector MV1c. The error calculator u3a calculates a difference signal (image error data) D1p between the motion compensation data C1t and the image signal St1 of the target block. In the minimum error selector u4a, the image error data D1p is monitored, and a candidate motion vector MV1c having the minimum error data D1p is selected from a plurality of candidate motion vectors MV1c, and a selected motion vector (first layer) is selected. Motion vector) MV1s. For example, the selected motion vector (first layer motion vector) MV1s indicates the position of the pixel P0 in FIG.
[0127]
When the first layer motion vector MV1s is input to the second layer motion detection unit in the motion vector detection device 104, the MV generator u1b of the second layer motion detection unit refers to the reference indicated by the first layer motion vector MV1s. A plurality of second candidate motion vectors MV2c corresponding to positions near the pixel position on the screen are generated. These second candidate motion vectors MV2c indicate, for example, the positions of the pixels P2, P4, P5, and P7 in FIG.
[0128]
At this time, the error calculator u3b receives image data (motion compensation data) C2t corresponding to a specific block on the reference screen indicated by the second candidate motion vector MV2c read from the frame memory u2, and the motion Error data D2p between the compensation data C2t and the image data St of the target block is calculated.
[0129]
The minimum error selector u4b receives a plurality of candidate motion vectors MV2c generated by the MV generator u1b and error data D2p corresponding to each candidate motion vector MV2c, so that the candidate motion that minimizes the error data is input. The vector MV2c is selected and output as the motion vector (selected motion vector) MV2s in the second layer. For example, the motion vector (selected motion vector) MV2s in the second layer indicates the position of the pixel P7 in FIG.
[0130]
Further, the second layer motion vector MV2s from the minimum error selector u4b and the first layer motion vector MV1s from the minimum error selector u4a are input to the motion vector generator u1c of the third layer motion detector. In the motion vector generator u1c, a plurality of candidate motion vectors corresponding to the pixels in the third search range that are limited by these motion vectors MV1s and MV2s and do not include the first and second search ranges. MV3c is generated. For example, the plurality of candidate motion vectors MV3c indicate the positions of the pixels P6 and P8 in FIG.
[0131]
Then, motion compensation data C3t corresponding to the plurality of candidate motion vectors MV3c is read from the frame memory u2, and the error calculator u3c receives the motion compensation data C3t corresponding to the candidate motion vector MV3c and the input target block. Error data D3p with respect to the image data St is calculated.
[0132]
Further, in the minimum error selector u4c, the selected motion vectors MV1s and MV2s corresponding to the target block obtained by the search processing of the first layer and the second layer, and the candidate motion vector MV3c obtained by the search processing of the third layer are obtained. The motion vector that minimizes the motion compensation error is selected and output as the motion vector MV3s of the target block.
[0133]
As described above, in the fourth embodiment, a motion vector MV2s that indicates a pixel position outside the range searched in the first layer and has a minimum motion compensation error is detected in the second layer, and the first layer is detected. And the search range of the third hierarchy is determined based on the two motion vectors detected by the search of the second hierarchy, the motion vector obtained by the search process of the third hierarchy, and the search of the first hierarchy and the second hierarchy Since the motion vector corresponding to the target block is detected from the obtained motion vectors, the search range of the third hierarchy can be narrowed down efficiently, and the number of error calculations in the motion vector detection process can be reduced. it can.
[0134]
In the fourth embodiment, in the second search range, with the pixel position indicated by the first selected motion vector MV1s as the search center, the position of the predicted block is along the vertical and horizontal directions on the reference screen. In the third search range, the position of the predicted block is searched only along the horizontal direction on the reference screen with the pixel position indicated by the second selected motion vector MV2s as the search center. The search directions in the second and third search ranges are not limited to this.
For example, in the second search range, the position of the prediction block is searched only in the vertical or horizontal direction on the reference screen, with the pixel position indicated by the first selected motion vector MV1s as the search center, and the third search range. In the search range, the position of the prediction block may be searched along a direction other than the search direction in the second search range with the pixel position indicated by the second selected motion vector MV2s as the search center.
[0135]
Further, by recording a motion detection program for realizing motion vector detection processing by the motion vector detection device shown in each of the above-described embodiments on a storage medium such as a floppy disk, the above-described each of the above-described embodiments. The motion vector detection process shown in (5) can be easily performed in the computer system.
[0136]
FIG. 10 is an explanatory diagram when the motion vector detection processing by the motion vector detection device of the first to fourth embodiments is performed by a computer system using a floppy disk storing the motion detection program. .
FIG. 10A shows the appearance of the floppy disk as viewed from the front, its cross-sectional structure, and the floppy disk body, and FIG. 10B shows an example of the physical format of the floppy disk body.
The floppy disk FD has a structure in which the floppy disk body D is accommodated in a floppy disk case FC, and a plurality of tracks are concentrically formed on the surface of the floppy disk body D from the outer periphery toward the inner periphery. Tr is formed, and each track Tr is divided into 16 sectors Se in the angular direction. Therefore, in the floppy disk FD storing the program, the floppy disk main body D is such that data as the program is recorded in an area (sector) Se allocated thereon.
FIG. 10C shows a configuration for recording the program on the floppy disk FD and performing image processing by software using the program stored on the floppy disk FD.
[0137]
When recording the program on the floppy disk FD, data as the program is written from the computer system Cs to the floppy disk FD via the floppy disk drive FDD. Further, when the motion vector detecting device is constructed in the computer system Cs by the program recorded on the floppy disk FD, the program is read from the floppy disk FD by the floppy disk drive FDD and loaded into the computer system Cs.
[0138]
In the above description, the floppy disk is used as the data recording medium. However, even if the optical disk is used, the motion vector detection process by software can be performed as in the case of the floppy disk. Further, the data recording medium is not limited to this, and can be similarly implemented as long as it can record a program such as an IC card or a ROM cassette.
[0139]
【The invention's effect】
As described above, according to the present invention (claims 1, 2, 3, 4, 5, 10, 12), the motion compensation error corresponding to the neighboring block located in the vicinity of the block to be processed and the motion vector search center are provided. The position information indicating the motion vector search center is converted into the motion vector of the block to be processed in accordance with the magnitude of the difference between the motion compensation errors obtained by comparing the motion compensation errors with the corresponding motion compensation errors. Or the motion vector obtained by performing the prediction block search process and the motion vector detection process with the motion vector search center as the search start position is output as the motion vector of the block to be processed. As a result, the number of error calculations with the largest amount of computation can be reduced with little loss of motion detection accuracy, thereby reducing power consumption. Its practical value such as can be achieved with high motion vector detecting process.
[0140]
Further, according to the present invention (claims 6, 7, 8, 9, 11, 13), the prediction block search process is performed in the first and second search ranges, and the motion compensation error is detected in each search range. The first and second selected motion vectors that are the smallest are detected, the third search range is narrowed down based on the first and second selected motion vectors, and the motion compensation error is minimized in the third search range. A third selected motion vector is detected, and motion compensation errors corresponding to the first, second, and third selected motion vectors are compared, and among the first, second, and third candidate vectors, Is selected as a motion vector corresponding to the block to be processed, so that the third search range can be narrowed down efficiently, and the number of error calculations can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining a motion vector detection apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration (FIG. (A)) of an abortion determination device constituting the motion vector detection device of the first embodiment and a configuration (FIG. (B)) of a modified example thereof.
FIG. 3 is a block diagram for explaining a motion vector detection apparatus according to a second embodiment of the present invention.
FIG. 4 is a diagram illustrating a configuration of an abort determination unit that constitutes the motion vector detection device according to the second embodiment.
FIG. 5 is a block diagram for explaining a motion vector detection apparatus according to Embodiment 3 of the present invention;
FIG. 6 is a diagram illustrating a configuration of an abort determination unit that configures the motion vector detection device according to the third embodiment.
FIG. 7 is a diagram for explaining a basic principle of a motion vector detection device according to a fourth embodiment of the present invention.
FIG. 8 is a diagram for explaining a basic principle of the motion vector detection device according to the fourth embodiment.
FIG. 9 is a block diagram for explaining a motion vector detection apparatus according to the fourth embodiment.
FIG. 10 illustrates a data storage medium (FIGS. (A) and (b)) storing a program for performing the motion detection processing of each of the above embodiments by a computer system, and the computer system (FIG. (C)). It is a figure for doing.
FIG. 11 is a block diagram for explaining a conventional typical inter-frame motion compensation encoding apparatus.
FIG. 12 is a block diagram for explaining a typical motion detection device constituting a conventional inter-screen motion compensation encoding device.
FIG. 13 is a diagram for explaining a conventional motion vector detection method (3-step method).
FIG. 14 is a diagram for explaining a conventional motion vector detection method (1/2 pixel accuracy search).
FIG. 15 is a block diagram for explaining a conventional hierarchical motion vector detection device;
FIG. 16 is a diagram for explaining a conventional motion vector detection method (One at a time);
[Explanation of symbols]
101-104 Motion vector detection device
u1a, u1b, u1c motion vector generator
u2 frame memory
u3a, u3b, u3c Error calculator
u4a, u4b, u4c Minimum error selector
u5a, u5b, u5c censor
u6, u7 selector
u8 temporary memory
C1t first motion compensation data
C2t second motion compensation data
Cm Motion detection command signal
Dc judgment data
Dca first determination data
Dcb second determination data
Dcf final judgment data
D1p, D2p, D3p First, second and third image error data
Dmp minimum error data
Dsp selection error data
Drp reference error data
D1pm, D2pm First and second motion compensation errors (minimum error data)
MVc candidate motion vector
MVs selection motion vector
MV1c, MV2c, MV3c First, second and third candidate motion vectors
MVs selection motion vector
MV1s, MV2s first and second selected motion vectors (first and second layer motion vectors)
MV3s target block motion vector
St image signal
Sc Motion vector search center information
Et image encoded data
Cs computer system
D floppy disk body
FC floppy disk case
FD floppy disk
FDD floppy disk drive
Se sector
Tr track

Claims

For each block consisting of a predetermined number of pixels, which is a unit for processing image data corresponding to the screen to be processed, the position of the prediction block corresponding to the block to be processed on the reference screen is searched under a certain condition. A motion vector detection method including a motion vector detection process for detecting information indicating the position of the prediction block as a motion vector corresponding to the processing target block,
The error of the image data between the block corresponding to the motion vector search center that is the position where the search for the position of the prediction block is started and the processing target block to be processed corresponds to the motion vector search center. A calculation process for calculating motion compensation error;
The motion compensation error corresponding to the neighboring block, which is the error of the image data between the neighboring block located in the vicinity of the block to be processed and the prediction block corresponding thereto, is represented by the motion corresponding to the motion vector search center. A comparison process for comparing with the compensation error,
According to the comparison result of the both motion compensation errors, position information indicating the motion vector search center is output as a motion vector corresponding to the block to be processed, or the motion vector detection process searches for the motion vector search center. A motion vector detection method characterized by switching whether to output a motion vector obtained as a start position as a motion vector corresponding to a block to be processed.

The motion vector detection method according to claim 1,
When the motion compensation error corresponding to the motion vector search center is smaller than the motion compensation error corresponding to the neighboring block, the position information indicating the motion vector search center is output as it is as a motion vector corresponding to the processing block. A motion vector detection method.

In the motion vector detection method according to claim 1,
When the motion compensation error corresponding to the motion vector search center is smaller than the motion compensation error corresponding to the neighboring block and the motion compensation error corresponding to the motion vector search center is less than a predetermined value, the motion vector search center is A motion vector detection method, wherein the indicated position information is output as it is as a motion vector corresponding to a block to be processed.

The motion vector detection method according to claim 3, wherein
When a motion detection command signal is input from the outside, the motion vector detection process is performed regardless of the magnitude relationship between the motion compensation error corresponding to the neighboring block and the motion compensation error corresponding to the motion vector search center. A motion vector detection method comprising: outputting a motion vector obtained by performing the search using a center as a search start position as a motion vector corresponding to a block to be processed.

The motion vector detection method according to claim 1,
When the magnitude of the difference between the motion compensation error corresponding to the neighboring block and the motion compensation error corresponding to the motion vector search center is less than a predetermined value, the position information indicating the motion vector search center is used as it is as the processing block. A motion vector detection method, wherein the motion vector is output as a motion vector corresponding to.

For each block consisting of a predetermined number of pixels, which is a unit for processing image data corresponding to the screen to be processed, the position of the prediction block corresponding to the block to be processed on the reference screen is searched under certain conditions. A motion vector detection method for detecting information indicating the position of the prediction block as a motion vector corresponding to the block to be processed,
A block on the reference screen identified by the first candidate motion vector corresponding to the block to be processed, by searching for the position of the prediction block in the first search range set on the reference screen; A process of calculating a first motion compensation error, which is an error of image data with a block to be processed on the screen;
In the second search range on the reference screen located in the vicinity of the pixel position indicated by the first candidate motion vector, the position of the predicted block is searched for, and the second candidate motion corresponding to the block to be processed A process of calculating a second motion compensation error, which is an error in image data, between a block on the reference screen specified by the vector and a block to be processed on the processing screen;
The position of the predicted block is searched for in the third search range on the reference screen set based on the first candidate motion vector and the second candidate motion vector, and the position corresponding to the block to be processed is searched. Processing for calculating a third motion compensation error, which is an error in image data, between the block on the reference screen identified by the candidate motion vector of 3 and the block to be processed on the processing screen;
The first, second, and third motion compensation errors are compared, and one of the first, second, and third candidate motion vectors is associated with the block to be processed according to the comparison result. A motion vector detection method comprising: selecting as a motion vector to be performed.

The motion vector detection method according to claim 6,
The third search range is set in an area other than the first and second search ranges on the reference screen,
The motion vector detection method, wherein the search for the position of the prediction block in the third search range is performed without referring to the first and second motion compensation errors.

The motion vector detection method according to claim 6,
In the first search range, pixel-by-pixel search processing is performed as processing for searching for the position of the prediction block,
In the third search range, the process of searching for the position of the prediction block is performed with an accuracy of half a pixel or more by interpolating pixel values corresponding to virtual pixels between pixels on the reference screen. Motion vector detection method.

The motion vector detection method according to claim 6,
In the second search range, the position of the prediction block is searched along only the vertical or horizontal direction on the reference screen. In the third search range, the position of the prediction block is the second search range. A motion vector detection method characterized by searching along a direction other than a search direction in a range.

For each block consisting of a predetermined number of pixels, which is a unit for processing image data corresponding to the screen to be processed, the position of the prediction block corresponding to the block to be processed on the reference screen is searched under a certain condition. A motion vector detection device that performs a motion vector detection process for detecting information indicating the position of the prediction block as a motion vector corresponding to the block to be processed,
The error of the image data between the block corresponding to the motion vector search center that is the position where the search for the position of the prediction block is started and the processing target block to be processed corresponds to the motion vector search center. An error calculating means for calculating motion compensation error;
The motion compensation error corresponding to the neighboring block, which is the error of the image data between the neighboring block located in the vicinity of the block to be processed and the prediction block corresponding thereto, is compensated for the motion compensation corresponding to the motion vector search center. A comparison means for comparing with the error;
A discriminating means for discriminating whether or not to perform motion vector detection processing for the block to be processed in accordance with a comparison result of the both motion compensation errors;
Only when it is determined that the motion vector detection process should be performed by the determination means, a motion detection means for detecting a motion vector by performing the motion vector detection process with the motion vector search center as a search start position;
When it is determined that the motion vector detection process should be performed by the determination means, the motion vector detected by the motion detection means is output as a motion vector corresponding to the block to be processed, and the motion vector detection process is performed by the determination means Selecting means for outputting the position information indicating the motion vector search center as it is as a motion vector corresponding to the block to be processed,
And a memory that temporarily stores motion compensation errors corresponding to the motion vectors output from the selection means as data for determining whether or not to perform motion vector detection processing for other blocks. A motion vector detection device.

For each block consisting of a predetermined number of pixels, which is a unit for processing image data corresponding to the screen to be processed, the position of the prediction block corresponding to the block to be processed on the reference screen is searched under a certain condition. A motion vector detection device that detects information indicating the position of the prediction block as a motion vector corresponding to the block to be processed,
A block on the reference screen identified by the first candidate motion vector corresponding to the block to be processed, by searching for the position of the prediction block in the first search range set on the reference screen; First motion detection means for calculating a first motion compensation error, which is an error of image data with a processing target block on the screen;
In the second search range on the reference screen located in the vicinity of the pixel position indicated by the first candidate motion vector, the position of the predicted block is searched for, and the second candidate motion corresponding to the block to be processed Second motion detection means for calculating a second motion compensation error, which is an error of image data between a block on the reference screen specified by the vector and the block to be processed;
The position of the predicted block is searched for in the third search range on the reference screen set based on the first candidate motion vector and the second candidate motion vector, and the third corresponding to the block to be processed. Third motion detection means for calculating a third motion compensation error, which is an error in image data between the block on the reference screen specified by the candidate motion vector and the block to be processed;
The first, second, and third motion compensation errors are compared, and one of the first, second, and third candidate motion vectors is associated with the block to be processed according to the comparison result. A motion vector detection apparatus comprising: selection means for selecting a motion vector to be performed.

A data storage medium storing a program,
A data storage medium for causing a computer to perform a process of detecting a motion vector corresponding to a block to be processed by the motion vector detection method according to claim 1.

A data storage medium storing a program,
7. A data storage medium characterized in that the program is a program for causing a computer to perform a process of detecting a motion vector corresponding to a block to be processed by the motion vector detection method according to claim 6.