JP4525064B2 - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。

近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、ＤＶＤ、Ｂｌｕ−ｒａｙディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。

動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度）を検出する処理、すなわち、動きベクトルの検出処理が必要となる。

例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が提案されているが、このＭＰＥＧ方式は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、１つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。

動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図１を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］２０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］１０を抽出する。フレーム画像の１画面を複数の画素で構成される小さな領域（以下、ブロックと称する）ｍ画素×ｎラインに分割する。

現フレーム［Ｆ_ｔ］２０を参照フレームとし、参照フレームの検査ブロックＢｙ２１を、所定のサーチエリア２２内で移動し、前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１と最も画素値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検査ブロックを検出する。前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１が、この現フレーム［Ｆ_ｔ］２０から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック（ｍ×ｎ）単位で、フレーム間の相関判定（マッチング判定）処理を行い、動きベクトルを求める手法である。

ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックＢｘ内の複数の画素と、検査ブロックＢｙ内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。

しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。

また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。

本特許出願に係る出願人は、例えば特許文献１において、演算量を増大させることなく、１画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。

特許文献１において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第１ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第２ステップの処理として、抽出した候補ベクトルから、１画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。

候補ベクトル方式による動きベクトル検出処理の利点は、評価テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。

しかし、この候補ベクトル方式においても、以下の問題点がある。
（ａ）評価値テーブルを形成する際、フレーム差の絶対値を積算していた為、例えば画素値データが０〜２５５の８ｂｉｔである場合、フレーム差の絶対値データは、０〜２５５の８ｂｉｔのデータが必要となり、評価値テーブルをメモリで構成する場合、メモリ容量が多く必要となる。
（ｂ）全ての代表点に対応する評価値を積算していた為、代表点が、静止している背景部分の画素である場合、また、代表点が、平坦なブロック内の画素である場合等、代表点と対応する候補点との演算結果は、無意味なデータとなり、この無意味なデータが評価値テーブルに積算されてしまう為、候補ベクトルの抽出が正しく行われない場合がある。
（ｃ）各画素に対応する動きベクトルの割付けの際に、候補ベクトルの中に明らかに不適切なベクトルが含まれている場合でも、全ての候補ベクトルを対象として、ブロックマッチング法で評価値演算をしていた為、演算の無駄が生じる。

これまでに開示されている候補ベクトル方式においては、このような、様々な問題点が存在する。
特開２００１−６１１５２号公報

本発明は、上述の問題点に鑑みてなされたものであり、候補ベクトル方式に基づく動きベクトル検出処理において、演算量を増大させることなく、１画素単位での効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、特に、動画像データを構成する画素対応の動きベクトルを複数の候補ベクトルから選択して対応付ける処理において、候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、この相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行することで、無駄なブロックマッチング処理を排除し、効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部と、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出部とを有し、
前記評価値テーブル形成部は、
動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算部と、
前記相関演算部の算出した相関情報に基づく評価値を算出する相関判定部と、
前記相関判定部の算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別部と、
前記代表点選別部の出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出部を有し、
前記動きベクトル検出部は、
動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定する処理を実行する構成であることを特徴とする動きベクトル検出装置にある。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行する構成であり、前記評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）としたとき、下記式、
Ａ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）
Ｂ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）
によって算出されるＡおよびＢがともに予め定めた閾値より大である場合に、該座標をピーク（極値）形成点として識別する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、さらに、積算評価値の変化が凸状である座標をピーク（極値）として選択し、該選択座標から、積算評価値が大であるものから順に、予め設定された数の候補ベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行する構成であり、前記評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）とし、変換データをｇ（ｉ，ｊ）としたとき、
ｇ（ｉ，ｊ）＝
ｆ（ｉ，ｊ−１）×Ｃｏｅｆ［１］＋ｆ（ｉ−１，ｊ）×Ｃｏｅｆ［３］
＋ｆ（ｉ，ｊ）×Ｃｏｅｆ［４］＋ｆ（ｉ＋１，ｊ）×Ｃｏｅｆ［５］
＋ｆ（ｉ，ｊ＋１）×Ｃｏｅｆ［７］
ただし、上記式において、Ｃｏｅｆ［１］は、座標（ｉ，ｊ−１）に対応するフィルタ係数、Ｃｏｅｆ［３］は、座標（ｉ−１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［４］は、座標（ｉ，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［５］は、座標（ｉ＋１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［７］は、座標（ｉ，ｊ＋１）に対応するフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数である、
上記式によって算出される変換データｇ（ｉ，ｊ）の値に基づいて、ピーク（極値）検出処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記候補ベクトル抽出部は、さらに、前記変換データが大であるものから順に、予め設定された数の候補ベクトルを決定する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップと、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算ステップと、
前記相関演算ステップで算出した相関情報に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップで算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別ステップと、
前記代表点選別ステップにおいて出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップを有し、
前記動きベクトル検出ステップは、
動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定する処理を実行するステップであることを特徴とする動きベクトル検出方法にある。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行するステップであり、前記評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理を実行するステップを含むことを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）としたとき、下記式、
Ａ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）
Ｂ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）
によって算出されるＡおよびＢがともに予め定めた閾値より大である場合に、該座標をピーク（極値）形成点として識別するステップを含むことを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、さらに、積算評価値の変化が凸状である座標をピーク（極値）として選択し、該選択座標から、積算評価値が大であるものから順に、予め設定された数の候補ベクトルを決定するステップを含むことを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行するステップであり、前記評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行するステップを含むことを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）とし、変換データをｇ（ｉ，ｊ）としたとき、
ｇ（ｉ，ｊ）＝
ｆ（ｉ，ｊ−１）×Ｃｏｅｆ［１］＋ｆ（ｉ−１，ｊ）×Ｃｏｅｆ［３］
＋ｆ（ｉ，ｊ）×Ｃｏｅｆ［４］＋ｆ（ｉ＋１，ｊ）×Ｃｏｅｆ［５］
＋ｆ（ｉ，ｊ＋１）×Ｃｏｅｆ［７］
ただし、上記式において、Ｃｏｅｆ［１］は、座標（ｉ，ｊ−１）に対応するフィルタ係数、Ｃｏｅｆ［３］は、座標（ｉ−１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［４］は、座標（ｉ，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［５］は、座標（ｉ＋１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［７］は、座標（ｉ，ｊ＋１）に対応するフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数である、
上記式によって算出される変換データｇ（ｉ，ｊ）の値に基づいて、ピーク（極値）検出処理を実行するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記候補ベクトル抽出ステップは、さらに、前記変換データが大であるものから順に、予め設定された数の候補ベクトルを決定するステップを含むことを特徴とする。

さらに、本発明の第３の側面は、
動きベクトル検出装置に、動画像データから動きベクトルを検出する動きベクトル検出処理を実行させるコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップと、
動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出ステップと、
を実行させ、
前記評価値テーブル形成ステップにおいては、
動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算ステップと、
前記相関演算ステップで算出した相関情報に基づく評価値を算出する相関判定ステップと、
前記相関判定ステップで算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別ステップと、
前記代表点選別ステップにおいて出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップを実行させ、
前記動きベクトル検出ステップにおいては、
動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定するステップを実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、動画像データを構成する各画素対応の動きベクトルを複数の候補ベクトルから選択して対応付ける処理において、候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、この相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行することで、無駄なブロックマッチング処理を削減することが可能となり、効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出が可能となる。

さらに、本発明の構成によれば、候補ベクトル抽出処理において、評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理、あるいは、評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行する構成としたので、評価値テーブルからの候補ベクトル抽出処を正確にかつ効率的に実行することが可能となる。

さらに、本発明の構成によれば、候補ベクトル抽出処理において、評価値テーブルの注目点における積算評価値の変化が凸状である座標の積算評価値、あるいは、評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数を乗算して積算した結果を変換データとして算出し、この変換データが大であるものから順に、予め設定された数の候補ベクトルを決定する構成としたので、限られた数の候補ベクトルを効率的に選択可能な動きベクトル検出装置が実現される。

さらに本発明の構成によれば、動画像データを構成する各画素対応の動きベクトルを複数の候補ベクトルから選択して対応付ける処理において、動画像データのフレーム構成画素各々に対応する動きベクトルを、評価値テーブルから取得される候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける構成としたので、静止ベクトルを評価値テーブルから検出する必要がなく、動きのあるピーク（極値）のみを顕著な形に設定した評価値テーブルの生成を行なうことが可能となり、正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出が可能となる。

以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
１．本発明の概要
２．動きベクトル検出装置全体構成および動きベクトル検出処理手順概要
３．評価値テーブル形成処理の詳細
４．評価値テーブル形成処理における代表点選別処理
５．評価値テーブルの具体例
６．候補ベクトル抽出処理の詳細
７．動きベクトル決定処理の詳細

［１．本発明の概要］
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許２０８３９９９号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式（特開２００１−６１１５２号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。

なお、以下の説明においては、動画像データを構成する１フレームを１画面として、各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、１フレームを細分化とした１フィールドを１画面として扱い、１フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。

また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。

本発明の動きベクトル検出装置、および動きベクトル検出方法における動きベクトル検出処理の特徴は、大きく分けて以下の３つとなる。
１．代表点マッチング法により、１画面における評価値テーブルを形成する際、代表点と参照画素とのフレーム差の絶対値を可変閾値で代表点毎に適応判定した判定結果を積算する度数分布型の評価値テーブルとして構成する。本構成により、評価値の取り得る値を８ビットより少ないビット長（例えば１ビット）とすることが可能となり、メモリ容量の削減が可能となる。
２．度数分布型の評価値テーブルを形成する際、無意味なデータが評価値テーブルに積算されないように、代表点の選別判定を行う。本構成により、評価値テーブルの信憑性が高め、候補ベクトルを正しく抽出することが可能となる。
３．各画素に対応する動きベクトル割付けの際、画素マッチングとブロックマッチングの併用を行う。本構成により、画素マッチングにおいて、ブロックマッチングが不要と判定された場合は、ブロックマッチング処理を省略可能となり、演算回数の低減が可能となる。

まず、図２〜図４を参照して、本実施例の動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。

動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］８０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］７０を抽出する。

例えば、現フレーム［Ｆ_ｔ］８０を参照フレームとし、前フレーム［Ｆ_ｔ−１］７０を、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表点Ｒｙを設定する。各ブロックの代表点は、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

代表点マッチング法では、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点Ｒｙ７１に対応させて、現フレーム［Ｆ_ｔ］８０に所定のサーチエリア８１を設定し、設定したサーチエリア８１内に含まれる各画素の画素値と代表点Ｒｙ７１の画素値との比較を行なう。サーチエリア８１は例えば、ｐ画素×ｑラインの画素領域として設定される。

すなわち、上記ａ〜ｃのいずれかの代表点画素値と、サーチエリア８１内の各画素の画素値を比較検証して、評価値（例えば、フレーム差や判定結果）を算出する。評価値は、サーチエリア８１の各偏移毎（各画素位置毎）に算出される。前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点各々に対応して、現フレーム［Ｆ_ｔ］８０にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、１画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。

なお、各代表点に対応するサーチエリアは、図３（ａ）に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図３（ａ）に示す例では、サーチエリアをｐ×ｑ（画素またはライン）の領域に設定した例であり、例えば、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ａに対応するサーチエリア８１ａと、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ｂに対応するサーチエリア８１ｂとが重なりを持つ領域として設定される。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図３（Ｂ）に示すように積算され、その結果として、図３（Ｃ）に示すような評価値テーブル９０が生成される。評価値テーブルは、前フレーム［Ｆ_ｔ−１］７０に設定した例えばｎ個のブロックに設定された各ブロックの代表点Ｒｙ１〜ｎと、参照フレームである現フレーム［Ｆ_ｔ］８０に設定した各代表点Ｒｙ１〜ｎに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。

なお、従来技術においては、画素値（例えば０〜２５５の８ビット）の差分値としての８ビットデータを積算していたが、本発明においては、後述するように、差分データに基づく例えば１ビットの評価値を算出して、１ビットデータの評価値の積算を行なう構成としてある。この処理の詳細については、後述する。

評価値テーブル９０においては、サーチエリアの各偏移位置（ｉ，ｊ）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをした物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。

このような評価値テーブルに出現するピークに基づいて、前フレーム［Ｆ_ｔ−１］７０と、参照フレームである現フレーム［Ｆ_ｔ］８０とにおける動きベクトルの候補（候補ベクトル）を求める。

評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図４を参照して説明する。

図４において、中央の画素９１が前フレーム［Ｆ_ｔ−１］の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルＡ，Ｂ，Ｃであるとする。前フレーム［Ｆ_ｔ−１］の１つの画素９１は、これらの候補ベクトルのいずれかに従って移動して、現フレーム［Ｆ_ｔ］の画素に対応する位置に表示されると判定される。

図４において、画素ａ９５、画素ｂ９６、画素ｃ９７は、前フレーム［Ｆ_ｔ−１］の１つの画素９１から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレーム［Ｆ_ｔ］の画素を示している。これらの３画素を含むブロックの画素値と、画素９１を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素９１の動きベクトルとする。

１つの画面（フレーム）に含まれるすべての画素について、同様の処理、すなわち候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを設定する。

上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。

以下、説明する本発明の動きベクトル検出装置および動きベクトル検出方法の実施例においては、上述の代表点マッチングを適用した候補ベクトル抽出処理を伴う動きベクトル検出構成を説明する。

［２．動きベクトル検出装置全体構成および動きベクトル検出処理手順概要］
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図５に示し、動きベクトル検出処理の処理シーケンスを図６のフローチャートに示す。

動きベクトル検出装置は、図５に示すように、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル検出部１０３、制御部（コントローラ）１０４を有する。評価値テーブル形成部１０１は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

入力画像データは、評価値テーブル形成部１０１に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図６のフローにおけるステップＳ１０１の処理である。

候補ベクトル抽出部１０２は、評価値テーブル形成部１０１において生成した評価値テーブルから、１画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図６のフローにおけるステップＳ１０２の処理である。

動きベクトル決定部１０３では、候補ベクトル抽出部１０２において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図６のフローにおけるステップＳ１０３の処理である。この処理は、先に図４を参照して説明した処理である。

動きベクトル決定部１０３では、１つの画面（フレーム）に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。

制御部１０４は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル検出部１０３における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。

以上が、本発明の動きベクトル検出装置において実行する代表点マッチングをベースとした評価値テーブルの生成と、候補ベクトル方式を適用した動きベクトル検出処理の流れである。

［３．評価値テーブル形成処理の詳細］
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の詳細について説明する。評価値テーブル形成部の詳細構成を図７（Ａ）に示す。なお、図７（Ｂ）には、比較のため、従来型（特開２００１−６１１５２号公報において開示）の装置に設定されている評価値テーブル形成部の構成を示している。

図７（Ａ）に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部２００は、相関演算部２１０、可変閾値生成部２２０、相関判定部２３０、評価値テーブル算出部２５０を有する。

相関演算部２１０は、代表点メモリ２１１、画素値の差分データを算出する減算回路２１２、絶対値算出部２１３を有する。可変閾値生成部２２０は、特徴量抽出部２２１、特徴量メモリ２２２、閾値生成部２２３を有する。相関判定部２３０は、相関演算部２１０からの出力値であるフレーム差絶対値データと、可変閾値生成部２２０からの出力である閾値データとの比較処理を行なう比較部２３０を有し、各代表点と各画素の１つの評価値として、例えば１ビットデータの評価値を算出し、評価値テーブル算出部２５０に出力する。評価値テーブル算出部２５０は、例えば１ビットデータからなる評価値を評価値積算部２５１において積算し、評価値テーブルを生成して評価値テーブルメモリ２５２に格納する。

図７（Ｂ）に示す従来型（特開２００１−６１１５２号公報において開示）の評価値テーブル形成部は、相関演算部を有し、相関演算部の出力（８ビット）データを集積して、評価値テーブルを生成して評価値テーブルメモリに格納する構成である。

はじめに、図７（Ａ），（Ｂ）の評価値テーブル形成部の共通構成部分である相関演算部の処理について説明をする。

入力端子を介して画像データが、例えばフレーム単位で、相関演算部２１０に入力される。相関演算部２１０に入力された画像データは、減算回路２１２及び代表点メモリ２１１に供給される。

代表点メモリ２１１に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図２、図３を参照して説明した画面を分割して設定されたブロック、例えばｍ×ｎ画素のブロックにおいて代表点が１つ設定される。なお、代表点は、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ（画素値データ）が、制御部（コントローラ）１０４（図５参照）からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ２１１に記憶される。

代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、減算回路２１２に供給される。

減算回路２１１は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力する。

絶対値算出部２１３では、減算回路２１１から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差（相関演算結果）を入力し、フレーム差絶対値を算出する。

図７（Ｂ）に示す従来型の評価値テーブル形成部は、相関演算部の出力値であるフレーム差絶対値（８ｂｉｔ）に基づいて評価値テーブルを生成する構成であり、各サーチエリアにおいて各画素毎に設定されるフレーム差絶対値（８ｂｉｔ）の積算処理を実行し、評価値テーブルを生成していた。画素値は、例えば輝度値として０〜２５５からなる２５６階調の輝度レベルを有しており、この２５６階調を示す画素値データとして８ビットが適用されている。

従って、従来型の評価値テーブル形成部の相関演算部では、８ビットの代表点画素値データとサーチエリアにおける各画素の画素値８ビットの減算によって８ビットの評価値を算出し、この８ビットデータを積算処理に適用していた。

前述したように、１画面内の全ての代表点に対する相関演算結果を積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現するピーク（極値）によって、候補ベクトルの抽出が実行される。

従って、候補ベクトルの抽出を行なうためには、評価値テーブルに出現するピーク（極値）が識別されればよい。従来型の評価値テーブル形成部では、上述したように、８ビットの評価値を算出し、これをこのまま積算処理に適用していた。評価値テーブルに求められる情報は、ピーク情報であり、ピーク（極値）の識別のために８ビットの評価値を積算することは必ずしも必要ではなく、８ビットデータの積算を行なうことは、評価値積算部２５１における演算量を過大にし、また必要となるメモリ容量を増大させているという問題がある。

そこで、本実施例における図７（Ａ）に示す評価値テーブル形成部２００は、相関演算部２１０からの出力として得られる８ビットのフレーム差絶対値を相関判定部２３０に入力して、相関判定部２３０で例えば１ビットデータに縮退し、この１ビットデータを評価値として、評価値テーブル算出部２５０の評価値積算部２５１に出力し、評価値積算部２５１では１ビットデータの積算処理を行なって評価値テーブルの生成を行なう構成としている。この構成により、評価値積算部２５１における積算のための演算処理量が大幅に削減され、効率的かつ高速な評価値テーブルの生成が可能となる。また評価値データ、および評価値テーブルの記憶領域としてのメモリ容量も小さくすることが可能となる。この結果として、性能を低下させることなく、ハードウェア規模の低減が可能となる。

図７（Ａ）に示す本発明の評価値テーブル形成部２００の相関判定部２３０には、相関演算部２１０からのフレーム差絶対値が供給される。これは、従来の評価値テーブル形成部２００の相関判定部と同様、代表点の画素値データ８ビットと、サーチエリアの比較対照となる画素値８ビットの差分データであり８ビットデータとして入力される。なお、本例では、画素は、０〜２５５の２５６の画素値レベルを持つものとして説明する。相関判定部２３０は、この入力８ビットデータを、比較部２３１において、可変閾値生成部２２０から入力する可変閾値との比較を実行し、１ビット［０］または［１］の評価値出力を行なう。

この１ビット評価値は、例えば、
ビット値［１］は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関あり
ビット値［０］は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関なし
のいずれかを示すことになる。

この出力に基づいて、評価値テーブル算出部２５０の評価値積算部は、ビット値［１］の数を積算する処理を行なう。この結果として、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルが生成される。度数分布型の評価値テーブルは、サーチエリア内の各偏移（ｉ，ｊ）において、代表点と参照点に相関がある場合に、その偏移の度数をインクリメントし、１画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移（ｉ，ｊ）の度数ｆ（ｉ，ｊ）は、代表点と参照点の相関条件が成立した回数を示すものであり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現する。

従って、代表点の画素値データ８ビットと、サーチエリアの比較対照となる画素値８ビットの差分データである８ビットデータの積算処理を行なうことなく、相関の有無のみを示す１ビットデータの積算によって生成した評価値テーブルにおいても、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現し、候補ベクトルの選定が可能となる。

図７（Ａ）に示す本発明の評価値テーブル算出部２５０における相関判定部２３０では、可変閾値を可変閾値生成部２２０から入力して、相関演算部２１０から入力する差分データとしてのフレーム差絶対値との比較処理を行なう。

固定閾値を用いず、可変閾値を適用する理由は、実際の動きの程度に対応した、より正確な動き検出を行うことを可能とするためである。

空間内に於けるレベル変動の大きい画像、つまり、ある注目画素の近傍で大きなレベル変化（画素値変動）のある画像、例えば、縦方向の複数本のストライプ状のパターン画像など、エッジ部分の多い画像の場合には、次のフレームで画像に僅かの動きがあってもフレーム差が非常に大きくなる。従って、相関演算部２１０から出力されるフレーム差分は大きな値になる。一方、空間内に於けるレベル変動の小さい画像、例えば人の顔の頬の部分、あるいは緑一色の草原や、空に雲が浮かんでいるような全体的に平坦な輝度分布を持つ画像の場合には、次のフレームで画像に動きがあってもフレーム差が小さくなる。従って、相関演算部２１０から出力されるフレーム差分は小さな値となる。

固定閾値を用いて、相関演算部２１０から出力されるフレーム差分データを一律に「相関有り」、または「相関無し」のいずれかに区別してしまうと、全体的に平坦な輝度分布を持つ画像の場合には、動きがあった場合にも相関なしと判定され、動きのない画像データであると判定されてしまう恐れがある。

そこで、本発明の装置においては、注目画素の時間方向変動を空間内変動で正規化し、この正規化出力に基づいて動きの有無を判断する。この処理のために、可変閾値生成部２２０において、注目画素の時間方向変動を空間内変動で正規化したデータを用いて可変閾値を生成して、可変閾値を適用して、相関演算部２１０から出力されるフレーム差分データとの比較を行う。

すなわち、画像データに応じた異なる閾値を適用して、相関判定部２３０の比較部２３１において相関演算部２１０から入力する差分データとしてのフレーム差絶対値との比較処理を行なって相関あり［１］、相関なし［０］の評価値を生成して、度数分布評価値テーブルの度数としての評価値出力を得る。

可変閾値に基づく相関判定を行なうことで、時間方向変動のみに基づいてなされる動きの有無の判断（固定閾値を適用した判定に対応する）と比較して、実際の動きの程度に対応した、より正確な動き検出を行うことができる。

つまり、可変閾値を用いた相関の判定を行なうことで、時間方向変動が大きい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的大きい場合には動き検出感度が低下する。また、時間方向変動が小さい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的小さい場合には、動き検出感度が向上し、画像データに応じた正確な動き判定、すなわち、相関判定処理が可能となる。

可変閾値生成部２２０の処理について説明する。可変閾値生成部２２０は、空間内変動を表す特徴量を抽出し、特徴量に対応して異なる閾値を設定する。空間内変動を表す特徴量の抽出は、特徴量抽出部２２１において実行する。

特徴量抽出部２２１は、相関演算部２１０の減算回路２１２の出力値、すなわち、フレム差分データを入力し、空間内変動を表す特徴量として、代表点の近傍領域（３×３）のダイナミックレンジ（ＤＲ）を算出する。

なお、ここでは、空間内変動を表す特徴量として、代表点の近傍領域（３×３）のダイナミックレンジ（ＤＲ）を適用する例を説明するが、空間内変動を表す特徴量としては、例えば、代表点の両隣３画素のダイナミックレンジや、差分和、近傍領域の平均偏差和等を用いることが可能である。

代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）は、代表点マッチングの相関演算結果を利用することで算出可能である。代表点マッチングの相関演算結果を利用した代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）算出処理について、図８を参照して説明する。

図８（Ａ）には、現フレーム［Ｆ_ｔ］、現フレーム［Ｆ_ｔ］の１つ前の前フレーム［Ｆ_ｔ−１］、現フレーム［Ｆ_ｔ］の２つ前のフレーム［Ｆ_ｔ−２］の３つの連続フレームを示している。

現フレーム［Ｆ_ｔ］の１つ前の前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）は、例えば、代表点Ｒｙの画素を中心画素（ｉ，ｊ）とすると、図８（Ｂ）に示す９点の画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）によって構成される。代表点Ｒｙ近傍領域（３×３）のダイナミックレンジ（ＤＲ）は、これらの９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）の各画素値の最大値と最小値の差で表される値である。

可変閾値生成部２２０の特徴量抽出部２２１は、この前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）のダイナミックレンジを、２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙにおける相関演算のフレーム差に基づいて算出する。この処理を実行する特徴量抽出部２２１の構成例を図９に示す。

特徴量抽出部２２１には、連続するフレームの代表点とサーチエリアにおける画素値の差分データがフレーム差として入力される。図８に示す２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙと、前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）の差分データがそれぞれ入力されたと仮定する。

差分データは、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データは、順次入力され、最大値検出部３０１、最小値検出部３０３において、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値が求められる。まず最初の入力差分データは、最大値検出部３０１、最小値検出部３０３を通過して、レジスタ３０２，３０４に格納され、次に入力する差分データと、最大値検出部３０１、最小値検出部３０３において比較され、それぞれ最大差分値がレジスタ３０２に格納され、最小差分値がレジスタ３０４に格納される。これを繰り返し実行することで、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値が求められる。

この結果求められた代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値は、減算回路３０５において減算され、この結果が代表点Ｒｙの近傍領域（３×３）、すなわち、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）のダイナミックレンジ（ＤＲ）としてラッチ３０６を介して出力される。

前述したように、代表点Ｒｙの近傍領域（３×３）のダイナミックレンジとは、図８（Ｂ）に示す９点の画素の画素値の最大値と最小値の差で表される値である。２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙと、この９点とのフレーム差は、９点のＤＣ成分が変化しただけなので、この９点のフレーム差の最大値と最小値の差も、上記のダイナミックレンジと同値となる。

具体的な画素値を設定した例で説明する。前フレーム［Ｆ_ｔ−１］の９点の画素値が、１０、１１、７、９、９、１２、１５、１１、８の各画素値（輝度レベル）を有するとする。２フレーム前の［Ｆ_ｔ−２］の代表点Ｒｙの画素値が、［１１］であったとする。この場合、代表点Ｒｙと、前フレーム［Ｆ_ｔ−１］の９点の画素値のフレーム差は、其々、
１０−１１＝−１
１１−１１＝０
７−１１＝−４
９−１１＝−２
９−１１＝−２
１２−１１＝＋１
１５−１１＝＋４
１１−１１＝０
８−１１＝−３
となり、これら９個の差分データに基づいて、図９に示す特徴量抽出部２２１において求められる値（ＤＲ）は、上記９式の結果の最大値［＋４］から最小値［−４］を減算した値であり、［８］となる。一方、前フレーム［Ｆ_ｔ−１］の９点の画素値｛１０、１１、７、９、９、１２、１５、１１、８｝から直接求めたダイナミックレンジは、１５（ＭＡＸ）−７（ＭＩＮ）＝８であり、いずれの値も［８］となって、いずれも同値となる。

このように、２フレーム前［Ｆ_ｔ−２］と前フレーム［Ｆ_ｔ−１］とを対象として相関演算部２１０において実行する代表点マッチング処理における相関結果、すなわち、フレーム差分データを用いて、前フレーム［Ｆ_ｔ−１］の代表点近傍のダイナミックレンジを算出可能であり、このダイナミックレンジ（ＤＲ）を空間内変動の特徴量として適用する。

可変閾値生成部２２１において実行する可変閾値生成処理手順について、図１０に示すフローを参照して説明する。

まず、ステップＳ１５１では、相関演算部２１０において実行する代表点マッチング処理により算出されるフレーム差分データを取り込む。ステップＳ１５２では、特徴量抽出部２２１が、上述した処理に従ってフレーム差分データに基づいて代表点近傍のダイナミックレンジ（ＤＲ）を算出する。

ステップＳ１５３において、算出したダイナミックレンジ（ＤＲ）を、代表点に対応させて特徴量メモリ２２２に記憶する。ステップＳ１５４において、特徴量メモリ２２２から、代表点に対応するダイナミックレンジ（ＤＲ）データを読み出す。ステップＳ１５５において、読み出したダイナミックレンジ（ＤＲ）を閾値生成部２２３で閾値に変換し、ステップＳ１５６において、変換した可変閾値を、相関判定部２３０に出力する。

このように、図７（Ａ）における可変閾値生成部２２０の特徴量抽出部２２１では、上述した処理によって、相関演算部２１０から入力するフレーム差分データに基づいて、特徴点近傍のダイナミックレンジを算出し、これを空間内変動を表す特徴量として特徴量メモリ２２２に格納し、閾値生成部２２３は、この特徴量を閾値として設定し、相関判定部２３０に出力する。

閾値生成部２２３における閾値生成処理、すなわち、空間内変動の特徴量としての代表点近傍のダイナミックレンジデータに基づく閾値生成処理について、図１１を参照して説明する。

閾値生成部２２３には、特徴量抽出部２２１において、フレーム差分データに基づいて算出されたダイナミックレンジ（ＤＲ）データが入力される。このデータは、８ビット画素値の差分データであり８ビットデータである。

閾値生成部２２３のビット分解部３５１では、入力された８ビットのダイナミックレンジ（ＤＲ）をＭＳＢから１ビット単位で分解し、上位６ビットのみを抽出する。上位ビットから、それぞれ、Ｄ７、Ｄ６、Ｄ５、Ｄ４、Ｄ３、Ｄ２とする。

ＯＲ回路３５２には、ＭＳＢから３ビットＤ７、Ｄ６、Ｄ５が入力され、ＯＲ演算が実行され、１ビットの出力がなされる。３ビットＤ７、Ｄ６、Ｄ５のいずれかにビット値［１］が含まれれば［１］が出力される。

さらに、ＯＲ回路３５２の出力と、ビット分解部３５１の出力Ｄ４が、ＯＲ回路３５３に入力され、ＯＲ演算の結果が出力値とされる。さらに、ＯＲ回路３５３の出力と、ビット分解部３５１の出力Ｄ３が、ＯＲ回路３５４に入力され、ＯＲ演算の結果が出力値とされる。さらに、ＯＲ回路３５４の出力と、ビット分解部３５１の出力Ｄ２が、ＯＲ回路３５５に入力され、ＯＲ演算の結果が出力値とされる。

ＯＲ回路３５３の出力と、ＯＲ回路３５４の出力と、ＯＲ回路３５５の出力の計３ビットｄ２，ｄ１，ｄ０が、ビット合成部３５６に入力され、ビット合成部３５６では、上位から、ｄ２、ｄ１、ｄ０の３ビットデータ［０００］〜［１１１］を１０進数に変換し、値０〜７を、閾値として出力する。このように、閾値生成部２２３は、注目画素近傍の空間内変動の特徴量としての代表点近傍のダイナミックレンジデータの構成ビットのビット情報圧縮処理により閾値を算出する。

図１２は、この閾値生成部２２３の入出力関係をプロットしたグラフであり、閾値の上限リミッターを設けた可変閾値が生成される。図１２は、横軸が、可変閾値生成部に入力されるフレーム差分に基づいて算出されるダイナミックレンジ（ＤＲ）であり、縦軸がダイナミックレンジ（ＤＲ）に基づいて算出し、相関判定部２３０に出力する可変閾値を示す。

例えば、ダイナミックレンジ（ＤＲ）が０〜３では、相関判定部２３０に出力する可変閾値は０となる。ダイナミックレンジ（ＤＲ）が４〜７では、相関判定部２３０に出力する可変閾値は１となる。以下、同様であり、ダイナミックレンジ（ＤＲ）が２８以上においては、相関判定部２３０に出力する可変閾値は７となり、閾値の上限リミッターを設けた可変閾値が生成される。

ダイナミックレンジ（ＤＲ）が小さい、すなわち平坦な画像であっても、閾値は比較的小さく設定されるので、相関判定部２３０における相関判定では、相関ありなしの判定が比較的正確に行なわれることになる。

相関判定部２３０は、相関演算部２１０からの出力値であるフレーム差絶対値データを入力し、さらに、可変閾値生成部２２０から、上述の可変閾値を入力して比較部２３１において比較処理を実行する。フレーム差絶対値データが、可変閾値より小であれば、１ビットデータとして、相関あり［１］を評価値テーブル算出部２５０に出力し、可変閾値より大であれば、相関なし［０］を評価値テーブル算出部２５０に出力する。

評価値テーブル算出部２５０は、入力する１ビットデータを評価値積算部２５１において積算し評価値テーブルを生成して、評価値テーブルメモリ２５２に格納する。

評価値積算部２５１は、相関判定部２３０からの評価値としてのビット値［１］の数（度数）を積算する処理を行なう。この結果として、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルが生成される。度数分布型の評価値テーブルは、サーチエリア内の各偏移（ｉ，ｊ）において、代表点と参照点に相関がある場合に、その偏移の度数をインクリメントし、１画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移（ｉ，ｊ）の度数ｆ（ｉ，ｊ）は、代表点と参照点の相関条件が成立した回数を示すものであり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現する。

従って、代表点の画素値データ８ビットと、サーチエリアの比較対照となる画素値８ビットの差分データである８ビットデータの積算処理を行なうことなく、相関の有無のみを示す１ビットデータの積算によって生成した評価値テーブル、すなわち度数分布型の評価値テーブルが生成される。

図１３に、本実施例における評価値テーブル形成部の処理シーケンスを説明するフローチャートを示す。フローチャートの各ステップについて説明する。

まず、ステップＳ２０１において、入力画像データに基づいて代表点マッチング処理を実行し、差分データを算出し、ステップＳ２０２において、差分データの絶対値を算出する。これらの処理は、図７（Ａ）の評価値テーブル形成部２００の相関演算部２１０において実行する処理である。

ステップＳ２０３では、相関演算部２１０がステップＳ２０１において生成したフレーム差分データに基づいて可変閾値を生成する。この処理は、図７（Ａ）の評価値テーブル形成部２００の可変閾値生成部２２０において実行する処理である。

ステップＳ２０４では、相関演算部２１０がステップＳ２０２において生成した差分データの絶対値と、可変閾値生成部２２０が、ステップＳ２０３において生成した可変閾値との比較により、「相関あり」または「相関なし」を示す評価値としての１ビットデータを生成する。この処理は、図７（Ａ）の評価値テーブル形成部２００の相関判定部２３０において実行する処理である。

次に、ステップＳ２０５において、相関判定部２３０の生成した相関ありまたは相関なしを示す評価値としての１ビットデータを積算し、度数分布型評価値テーブルを生成する。この処理は、図７（Ａ）の評価値テーブル形成部２００の評価値テーブル算出部２５０において実行する処理である。

このように、本実施例の評価値テーブル形成部は、相関演算部において算出されるフレーム差分データから取得可能なダイナミックレンジを、空間内変動を示す特徴量として取得し、取得した特徴量に基づいて可変閾値を生成し、可変閾値による相関判定部によって相関の有無を判定する構成としたので、平坦な画像においても正確な動き検出が可能となる。また、相関判定部から出力する評価値を１ビットデータに削減したことにより、評価値積算部における積算演算量が大幅に削減される。これらの構成によって、ハードウェアの規模の低減を図りつつ、実際の動きの程度に対応したより正確な動き相関判定が可能となり、評価値テーブルにおける極値の信憑性を飛躍的に高めることが可能となる。

［４．評価値テーブル形成処理における代表点選別処理］
以上、本発明の動きベクトル検出装置における評価値テーブル形成部１０１（図５参照）の基本構成を説明した。評価値テーブル形成部１０１の生成する評価値テーブルは、候補ベクトルを抽出するための評価値テーブルである。前述したように、候補ベクトルは、評価値テーブルに出現するピーク（極値）に基づいて決定される。

評価値テーブルにおけるピーク（極値）の信憑性を高めることが、有効な候補ベクトルの抽出のためには重要となる。上述した評価値テーブル形成部は、可変閾値方式を採用し、代表点の時間方向変動を空間内変動で正規化し、この正規化出力に基づいて動きの有無を判断することで、より正確な動きに対応した度数分布型評価値テーブルの形成を可能とした。

しかしながら、実際の代表点マッチングでは、点（１画素）と点（１画素）の相関判定を行なうことになるので、判定が難しい場合も存在する。以下では、判定が難しい代表点の相関判定を除外するための処理として代表点選別処理を行なう構成例について説明する。この代表点選別処理を行なうことで、さらに、評価値テーブルの信憑性を高めることが可能となる。以下、代表点選別処理を行なう構成例について３つの実施例を説明する。

（４．１．代表点選別処理例１）
まず、代表点選別処理例１として、代表点近傍領域の空間内変動が微小、すなわち代表点近傍領域のダイナミックレンジが小さい部分（以下これを定常部と呼ぶ）の代表点を除外する構成例について、図１４を参照して説明する。

代表点近傍領域の空間内変動が微小（ダイナミックレンジが小さい）な定常部に存在する代表点の場合は、動きがあっても時間変動（フレーム差）も微小なため、静止している場合のノイズ成分による微小な時間変動との区別が難しい。従って、代表点近傍領域の空間内変動の特徴量によって代表点を選別する。

代表点近傍領域の空間内変動の特徴量によって代表点を選別する処理を実行する構成を持つ評価値テーブル形成部の構成を図１４に示す。

図１４に示す評価値テーブル形成部２００において、相関演算部２１０、可変閾値生成部２２０、相関判定部２３０、評価値テーブル算出部２５０は、前述した実施例と同様の構成であり説明を省略する。

図１４に示す評価値テーブル形成部２００は、代表点選別部２４０を有する。代表点選別部２４０は、基準値メモリ２４１、比較部２４２、ゲート２４３を有する。代表点選別部２４０は、相関判定部２３０からの出力（１ビット評価値）を受領して、評価値の選別を実行して、代表点近傍領域の空間内変動が微小（ダイナミックレンジが小さい）な定常部に存在する代表点に対応する評価値を、評価値テーブルの積算対象から除外する処理を実行する。代表点選別部２４０は、代表点近傍領域の空間内変動が微小（ダイナミックレンジが小さい）な定常部に存在する代表点以外の代表点に対応する有効評価値のみを選択して出力する。

可変閾値生成部２２０で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジを、代表点選別部２４０における比較部２４２に供給し、基準値メモリ２４１に格納された予め定められた基準値より小さい場合は、代表点近傍領域の空間内変動が微小（ダイナミックレンジが小さい）な定常部に存在する代表点に対応する評価値であると判定し、相関判定結果の信頼性が低いと見なし、比較部２４２からゲート２４３に対して［Ｌ］信号を出力してゲート２４３をオフ［ＯＦＦ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合であっても評価値［１］を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。

逆に、可変閾値生成部２２０で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジが、基準値メモリ２４１に格納された予め定められた基準値より大きい場合は、相関判定結果の信頼性は高いと見なし、比較部２４２からゲート２４３対して［Ｈ］信号を出力してゲート２４３をオン［ＯＮ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合に評価値［１］を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。

このように、可変閾値生成部２２０で生成される代表点近傍領域の空間内変動を表す特徴量、例えばダイナミックレンジが小さい定常部では、相関判定部２３０における可変閾値との比較に基づく相関判定結果の信頼性を低いと見なし、このような領域における相関判定処理結果を評価値積算テーブルにカウントする度数としてカウントしない構成とすることにより、信頼性の低い相関判定結果を評価値積算テーブルに影響させることが防止され、評価値テーブルの信憑性を高めることが可能となる。

なお、代表点近傍領域の空間内変動を表す特徴量として、ダイナミックレンジの他に、標準偏差、高周波成分、直交変換高次成分、平均値との差分等を適用する構成としてもよい。

（４．２．代表点選別処理例２）
次に、代表点選別処理例２として、静止領域に存在する代表点を除外する構成例について、図１５を参照して説明する。

評価値テーブルのピークは、候補ベクトルの選定のために利用されるが、静止領域については、評価値テーブルのピークとして検出する必要がない。動画像データの場合、多くの場合、静止領域が存在することが前提であり、候補ベクトルの１つとして静止ベクトルがデフォルトの候補ベクトルとして設定される。従って、評価値テーブルのピークとして静止ベクトルに対応するピークを出現させる必要がない。

評価値テーブルに静止領域に対応するピークを発生させると、他の動きのあることを示す候補ベクトルに対応するピークを目立たなくしてしまう可能性がある。従って、静止領域に存在する代表点の相関判定結果は評価値テーブルの信頼性低下を発生させる度数となる。

本実施例の評価値テーブル形成部２００の構成を図１５に示す。本実施例の評価値テーブル形成部２００は、静止領域に存在する代表点の相関判定結果を相関判定部２３０から出力させない構成とするための代表点選別部２６０を設けてある。相関演算部２１０、可変閾値生成部２２０、相関判定部２３０、評価値テーブル算出部２５０は、前述した実施例と同様の構成であり説明を省略する。

代表点選別部２６０は、静止領域に存在する代表点の相関判定結果を除外するために、相関演算部２１０において実行される代表点マッチング処理の結果を利用して、代表点の静止判定を行う。代表点選別部２６０は、基準値メモリ２６１、比較部２６２、フラグメモリ２６３、ゲート２６４を有する。

比較部２６２が、相関演算部２１０において実行される代表点マッチング処理の結果を入力し、基準値メモリ２６１に格納された予め設定された基準値との比較を行い、代表点が静止領域にあるか否かを判定する。

比較部２６２が実行する静止判定処理の具体例について、図８を参照して説明する。前フレーム［Ｆ_ｔ−１］の代表点Ｒｙの静止判定を、図８（Ａ）を用いて説明する。前フレーム［Ｆ_ｔ−１］の代表点Ｒｙの静止判定は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、現フレーム［Ｆ_ｔ−１］の点Ｑｙとのフレーム差で判定するのではなく、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙのフレーム差で判定を行う。何故ならば、ＲｙとＱｙとのフレーム差を利用する場合、現フレームのＱｙのデータが供給された時点でしか、代表点Ｒｙの静止判定が出来ないが、ＲｙとＰｙとのフレーム差を利用する場合、前フレーム［Ｆ_ｔ−１］のデータが全て供給された時点で、前フレーム［Ｆ_ｔ−１］に存在する代表点の静止判定結果が取得されるからである。

また、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値は、フレーム［Ｆ_ｔ−２］の代表点Ｐｙにおける相関演算部２１０で算出されているので、これを利用することが可能となる。

比較部２６２は、相関演算部２１０で算出された前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値を入力し、このフレーム差絶対値が、基準値メモリ２６１に格納された予め設定された基準値より小さい場合は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙが静止領域にあるとみなし、静止フラグ（０）をフラグメモリ２６３に格納する。

一方、相関演算部２１０で算出された前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値が、基準値メモリ２６１に格納された予め設定された基準値以上である場合は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙが静止領域にないとみなし、動きフラグ（１）をフラグメモリ２６３に格納する。なお、これらのフラグは、コントローラ（図５のコントローラ１０４）によるタイミング制御によって、フラグメモリ２４３に格納される。

さらに、コントローラによる適切なタイミングで、フラグメモリ２６３から代表点静止判定フラグを読み出し、読み出したデータが（０）の場合は、ゲート２６４に［Ｌ］信号を出力してゲート２６４をオフ［ＯＦＦ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合であっても評価値［１］を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。

逆に、フラグメモリ２６３から読み出したデータが（１）の場合は、ゲート２６４に［Ｈ］信号を出力してゲート２６４をオン［ＯＮ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合に評価値［１］を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。

このように、相関演算部２１０において実行される代表点マッチング処理の結果としてのフレーム差分絶対値に基づいて、代表点が静止領域に存在するか否かを判定し、代表点が静止領域に存在する場合の相関判定結果を相関判定部２３０から出力させない構成とすることで、静止領域の相関ありの評価値［１］は、度数分布型評価値テーブルにおける度数としてカウントされることなく、静止領域以外の代表点に関する相関ありの評価値［１］が有効評価値として選択されて出力され、度数分布型評価値テーブルにおける度数としてカウントされる。この結果、動きに対応したピークを高めた信頼性の高い評価値テーブルを生成することが可能となる。

（４．３．代表点選別処理例３）
次に、代表点選別処理例３として、候補数が多い代表点を除外する構成例について、図１６を参照して説明する。

ある代表点における相関演算は、代表点に対応したサーチエリア内の画素に対して行うが、サーチエリア内に代表点と相関があると判定された画素（候補数）が、例えば、サーチエリア内に多数存在する場合、例えば、相関があると判定された画素（候補数）がサーチエリア内の全画素数の１／２以上ある場合は、その代表点における相関判定結果は信頼性が低いと言える。従って、代表点選別処理例３では、これらの候補数が多い代表点に対する相関判定結果を評価値テーブルの生成データから除外する。

本実施例の評価値テーブル形成部２００の構成を図１６に示す。本実施例の評価値テーブル形成部２００は、候補数が多い代表点に対する相関判定結果を相関判定部２３０から出力させない構成とするための代表点選別部２７０を設けてある。相関演算部２１０、可変閾値生成部２２０、相関判定部２３０、評価値テーブル算出部２５０は、前述した実施例と同様の構成であり説明を省略する。

代表点選別部２７０に構成される候補数判定部２７１の詳細構成を図１７に示す。候補数判定部２７１は、相関判定部２３０の出力である判定結果としての１ビットデータを各代表点に対応させて、バッファメモリ３８１に格納すると同時に、カウンタ３８２において、［１］と判定された個数、つまり相関ありとされた候補数を計数する。１つの代表点に対応するカウンタ３８２の計数が終了すると、総数が比較部３８４に入力され、基準値メモリ３８３に格納された予め設定された基準値と比較される。

カウンタ３８２の計数した代表点に対する［１］と判定された個数、つまり相関ありとされた候補数が基準値より大きい場合は、その代表点における相関判定結果は信頼性が低いと判定し、ゲート３８５に［Ｌ］信号を出力してゲート３８５をオフ［ＯＦＦ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合であっても、評価値［１］を出力せず、度数分布型評価値テーブルにおける積算度数としてカウントしない。

一方、カウンタ３８２の計数した代表点に対する［１］と判定された個数、つまり相関ありとされた候補数が基準値以下の場合は、その代表点における相関判定結果は信頼性がある有効評価値であると判定し、ゲート３８５に［Ｈ］信号を出力してゲート３８５をオン［ＯＮ］に設定することで、評価値の出力、すなわち、相関判定部２３０において相関ありと判定された場合に評価値［１］を出力して、度数分布型評価値テーブルにおいて積算される度数としてカウントする。

以上、本発明の動きベクトル検出装置の動きベクトル検出処理構成における評価値テーブル形成部の構成について、その基本構成、および３つの代表点選別処理構成例を説明した。なお、３つの代表点選別処理構成例は、個別に説明したが、実際の処理においては、３つすべての代表点選別処理を併用して実行することが可能であり、併用して実行することにより、
ａ．代表点近傍領域の空間内変動が微小な定常部にある代表点
ｂ．静止領域にある代表点
ｃ．候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除することが可能となり、信頼性の高い相関判定結果からなる評価結果のみを積算した信頼性の高い度数分布型評価値テーブルを形成することが可能となる。

［５．評価値テーブルの具体例］
上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される度数分布型評価値テーブルの例を説明する。

具体的な、動画像データとして、図１８に示すような、静止背景４００の前景に移動物体（Ａ）４０１と、移動物体（Ｂ）４０２とが存在するデータを適用した。

移動物体（Ａ）４０１は水平右方向に移動する物体であり、この物体の表示領域の画素に対応する正しい動きベクトルは（Ｖｘ，Ｖｙ）＝（９，０）である。つまり水平右方向の動きベクトルが設定されるべき画素領域である。移動物体（Ｂ）４０２は、水平左方向に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（−９，０）である。つまり、水平左方向の動きベクトルが設定されるべき画素領域である。

この動画像データに対して、従来手法、例えば特開２００１−６１１５２号公報に開示されている評価値テーブル生成処理、すなわち、図７（Ｂ）に示すように、相関演算部から出力される８ビット差分フレームデータを、そのまま適用して積算し生成した評価値テーブルを図１９に示す。

一方、図７（Ａ）、および図１４、図１５、図１６を参照して説明した、本発明に係る評価値テーブル形成部の処理に従って生成した度数分布型評価値テーブルを図２０に示す。図２０に示すテーブルは、可変閾値と代表点選別を併用して形成した度数分布型の評価値テーブルである。

図２０に示す度数分布型評価値テーブルは、図７（Ａ）に示すように、相関演算部２１０が代表点マッチング処理によって生成した８ビット差分フレームデータを相関判定部２３０において、１ビットデータとして、これを積算した結果に基づくテーブルであり、また、図１４、図１５、図１６を参照して説明したように、
ａ．代表点近傍領域の空間内変動が微小な定常部にある代表点
ｂ．静止領域にある代表点
ｃ．候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除する処理を行なって生成したテーブルである。

図１９においては、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク（極値）４１１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク（極値）４１２と、背景の静止領域に対応する静止を示す動きベトクル（０，０）に対応するピーク（極値）４１３の３つのピーク（極値）が出現している。画面上では、背景の静止領域が最も多い部分を占めるため、背景の静止領域に対応する静止を示す動きベトクル（０，０）に対応するピーク（極値）４１３が最も大きなピークを示し、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク（極値）４１１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク（極値）４１２とが目立ちにくいピーク（極値）を示す結果となっている。

一方、本発明の構成を適用して生成したテーブルである図２０に示すテーブルでは、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク４２１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク４２２が、図１９のテーブルに比較して、大きなピーク（極値）を示し、背景の静止領域に対応する静止を示す動きベトクル（０，０）を示すピーク（極値）４２３は、目立たない結果となっている。これは、図１４、図１５、図１６を参照して説明したように、
ａ．代表点近傍領域の空間内変動が微小な定常部にある代表点
ｂ．静止領域にある代表点
ｃ．候補数が多い代表点
これらの信頼性の低いと判定される代表点に対応する相関判定結果を度数分布型評価値テーブルに積算する度数から排除する処理を行なって生成した結果に基づくものである。

ピークを分かりやすくするために、図２１および図２２に、２次元的に表現した評価値テーブルを示す。図２１は、図１９に示した従来型の８ビット差分データを積算した結果として得られた評価値テーブルの２次元データである。図２２は、図２０に示した本発明の構成に従って生成した度数分布型の評価値テーブルの２次元データである。

図２１においては、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク（極値）４１１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク（極値）４１２と、背景の静止領域に対応する静止を示す動きベトクル（０，０）に対応するピーク（極値）４１３の３つのピーク（極値）が出現し、静止を示す動きベトクル（０，０）に対応するピーク（極値）４１３が最も大きなピークを示し、移動物体に対応する動きベクトル（９，０）または（−９，０）のピーク（極値）４１１，４１２の急峻度が小さく、誤検出しやすい評価値テーブルとなっている。

一方、図２２においては、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク４２１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク４２２が、大きなピーク（極値）であり急峻度が大きく確実な検出が可能なテーブルとなっている。背景の静止領域に対応する静止を示す動きベトクル（０，０）を示すピーク（極値）４２３が小さいものとなっているが、これは、代表点の静止判定による選別を行ったため必然の現象であり、代表点の静止判定による選別を行った場合は、候補ベクトルの中に、必須として静止ベクトルを必ず含めるようにすることで、評価値テーブルから検出する必要はなく、問題はない。

［６．候補ベクトル抽出処理の詳細］
前述したように、評価値テーブルにおいて出現するピーク（極値）の位置が、１画面に存在する動きに対応し、この評価値テーブルにおいて出現するピーク（極値）の位置に基づいて候補ベクトルが取得される。例えば図２０、図２２に示した度数分布型評価値テーブルでは、動きベクトル（９，０）と、動きベクトル（−９，０）が候補ベクトルとして抽出可能である。

評価値テーブルにおけるピーク（極値）の急峻度が大きい方が信憑性が高く、度数が多い方も信憑性が高いと言える。以下、これらを考慮した評価値テーブルからの候補ベクトル抽出方法を説明する。

評価値テーブルからの候補ベクトル抽出処理を実行するのは、図５に示す動きベクトル検出装置における候補ベクトル抽出部１０２である。候補ベクトル抽出部１０２は、評価値テーブル形成部１０１が、前述した手法で生成した度数分布型評価値テーブルを受領し、受領した度数分布型評価値テーブルからピーク（極値）検出を実行して、検出したピーク（極値）の座標に基づいて、候補ベクトルを抽出する。

前述したように、評価値テーブルはサーチエリアに対応した大きさを持つ。サーチエリアの範囲が、水平方向が−Ｈ〜（Ｈ−１）、垂直方向が−Ｖ〜（Ｖ−１）に設定したとすると、評価値テーブルの大きさは、水平が２Ｈ、垂直が２Ｖの大きさとなる。この場合の評価値テーブルの概念図を、図２３に示す。図２３は、評価値テーブルの平面図を示しており、水平：２Ｈ、垂直：２Ｖはサーチエリアの大きさに対応する。

図５に示す候補ベクトル抽出部１０２は、評価値テーブル形成部１０１が生成した評価値テーブルを受領し、受領した評価値テーブルからピーク（極値）を調べるために、図２３に示す評価値テーブル５００における注目点５０１の近傍を参照する。注目点５０１は、座標（ｉ，ｊ）を有する。

例えば、サーチエリアの中心位置にピークがある場合は、静止ベクトル（０，０）に対応する。候補ベクトル抽出部１０２は、各座標（ｉ，ｊ）地点にピークがあるか否かを判定する処理を行い、ピークがあると判定された座標（ｉ，ｊ）に対応する候補ベクトルを抽出する。

サーチエリアの中央、例えば座標（０，０）にピークがある場合は、静止ベクトル（０，０）が候補ベクトルとして抽出される。ただし、本発明の度数分布型評価値テーブルでは、静止ベクトル（０，０）に対応する候補ベクトルは、評価値テーブルからに求める対象ではないので静止ベクトル（０，０）に対応するピーク（極値）を検出することは必須ではない。

候補ベクトル抽出部１０２は、評価値テーブル５００におけるピークを検出する処理を実行するが、この場合、評価値テーブル情報を格納するメモリの情報領域をサーチエリアと同一の大きさに設定すると、ピーク位置が、評価値テーブルの上下左右の端に位置する場合に、正確なピーク位置の検出が困難となる場合がある。従って、評価値テーブルメモリの大きさは、サーチエリアより少し広めに設定しておくことが好ましい。

候補ベクトル抽出部１０２の構成を示すブロック図を、図２４に示す。候補ベクトル抽出部１０２は、データ変換部５１１、変換データメモリ５１２、頻度順ソート処理部５１３を有する。まず、データ変換部５１１において、評価値テーブルのデータｆ（ｉ，ｊ）を、極値データを加味した変換を行い、変換データｇ（ｉ，ｊ）を作成する。データｆ（ｉ，ｊ）は、座標（ｉ，ｊ）の度数を示す。変換データｇ（ｉ，ｊ）は、度数を示すデータｆ（ｉ，ｊ）に対して、極値位置あるいは、極値位置と極値の急峻度を考慮して、データｆ（ｉ，ｊ）に基づく演算を実行した結果である。これらの処理の詳細については後述する。変換データｇ（ｉ，ｊ）は、変換データメモリ５１２に格納される。

変換データメモリ５１２に格納された変換データは、その後、頻度順ソート処理部５１３で、変換データｇ（ｉ，ｊ）の大きい値から、順番に、予め設定された候補ベクトル数に対応するデータを順に取り出し、これらを候補ベクトルとする。

データ変換部５１１において実行する評価値テーブルから取得される極値の度数を示すデータｆ（ｉ，ｊ）に基づく変換処理の詳細について説明する。極値の度数を示すデータｆ（ｉ，ｊ）に基づいて変換データｇ（ｉ，ｊ）を算出する２つの手法について説明する。

（６．１．ピーク（極値）位置検出方式）
これは、ピーク（極値）の急峻度は加味しないで、ピーク（極値）の位置のみを重視する方法である。処理フローを、図２５に示す。このピーク（極値）位置検出方式の概要は、注目点の水平方向両隣の傾きの変化が凸になっている（２次微分成分が０を越える値）、且つ、注目点の垂直方向両隣の傾きの変化が凸になっている場合は、その注目点はピーク（極値）であるので、その度数ｆ（ｉ，ｊ）をそのままｇ（ｉ，ｊ）として設定し、それ以外は、ピーク（極値）ではないので、度数をリセットし、ｇ（ｉ，ｊ）＝０とするデータ変換処理を行なう方式である。この変換データ、すなわちピークとして識別され、０以外の値が設定された変換データｇ（ｉ，ｊ）の値の大きい方から、予め設定された有限個を候補ベクトルとして抽出する。

フローの各ステップについて説明する。ステップＳ４０１において、初期設定として、ｉ＝０，ｊ＝０、すなわち図２３に示すサーチエリアに対応する評価値テーブル内の１つの座標点の位置に処理対象を設定する。

ステップＳ４０２においてｊ＜２Ｖ、ステップＳ４０３において、ｉ＜２Ｈすなわち処理対象が評価値テーブルの内部座標であるかを判定し、評価値テーブルの内部座標である場合には、ステップＳ４０４において、
Ａ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）
Ｂ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）
を算出する。

Ａは、注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）が水平方向でピークを形成している。すなわち、水平方向両隣の傾きの変化が凸になっているか否かの指標値であり、Ｂは、注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）が垂直方向でピークを形成している。すなわち、注目点の垂直方向両隣の傾きの変化が凸になっているか否かの指標値である。

ステップＳ４０５において、Ａが、予め設定された閾値（ＴＨ）より大であるか否かが判定される。大であると判定されると注目点ｆ（ｉ，ｊ）の水平方向両隣の傾きの変化が凸になっている、すなわち注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）が水平方向でピークを形成していると判定する。

ステップＳ４０６において、Ｂが、予め設定された閾値（ＴＨ）より大であるか否かが判定される。大であると判定されると注目点ｆ（ｉ，ｊ）の垂直方向両隣の傾きの変化が凸になっている、すなわち注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）が垂直方向でピークを形成していると判定する。

ステップＳ４０５、Ｓ４０６の両判定がＹｅｓと判定されると、注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）は水平方向、垂直方向双方においてピーク（極値）を形成しているものと判定し、この場合は、ステップＳ４０７において、
ｇ（ｉ，ｊ）＝ｆ（ｉ，ｊ）
すなわち、注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）を変換データとして設定する。

ステップＳ４０５、Ｓ４０６の両判定のいずれかがＮｏと判定された場合は、注目点（ｉ，ｊ）における評価値テーブルの度数ｆ（ｉ，ｊ）は水平方向、垂直方向双方においてピーク（極値）を形成しているものではないと判定し、この場合は、ステップＳ４０８において、
ｇ（ｉ，ｊ）＝０
すなわち、変換データ＝０として設定する。

ステップＳ４０９で値（ｉ）の更新処理を実行し、ステップＳ４１１で、値（ｊ）の更新処理を実行することで、評価値テーブルを構成する全座標の度数データｆ（ｉ，ｊ）についての検証を行ない、評価値テーブルの度数ｆ（ｉ，ｊ）が、水平方向、垂直方向双方においてピーク（極値）を形成しているもののみを抽出する。

変換データｇ＝０として設定されたデータは、ピーク（極値）とは認められず、頻度順ソート処理部５１３では、０以外の値が設定された変換データｇ（ｉ，ｊ）の値の大きい方から並べて、予め設定された有限個を候補ベクトルとして抽出する。

（６．２．フィルタ処理方式）
次に、データ変換部５１１において実行する度数データｆ（ｉ，ｊ）から変換データｇ（ｉ，ｊ）を算出するもう１つの方式として、フィルタ処理方式について説明する。

これは、ピーク（極値）の急峻度も加味する方式であり、フィルタ処理によって、評価値テーブルのデータを変換する方法である。本方式において適用するフィルタ係数の一例を、図２６に示す。

図２６（Ａ）が一般形、（Ｂ）が処理単位をフレームとした場合、（Ｃ）が処理単位をフィールドとした場合のフィルタ係数設定例を示している。注目点の頻度に２次微分成分を加算した形になっている。本フィルタ処理方式によるデータ変換処理フローを、図２７に示す。

フローの各ステップについて説明する。ステップＳ５０１において、初期設定として、ｉ＝０，ｊ＝０、すなわち図２３に示すサーチエリアに対応する評価値テーブルの左上端座標の位置に処理対象を設定する。

ステップＳ５０２においてｊ＜２Ｖ、ステップＳ５０３において、ｉ＜２Ｈすなわち処理対象が評価値テーブルの内部座標であるかを判定し、評価値テーブルの内部座標である場合には、ステップＳ５０４において、
ｇ（ｉ，ｊ）＝
ｆ（ｉ，ｊ−１）×Ｃｏｅｆ［１］＋ｆ（ｉ−１，ｊ）×Ｃｏｅｆ［３］
＋ｆ（ｉ，ｊ）×Ｃｏｅｆ［４］＋ｆ（ｉ＋１，ｊ）×Ｃｏｅｆ［５］
＋ｆ（ｉ，ｊ＋１）×Ｃｏｅｆ［７］
を算出する。

このように、注目点（ｉ，ｊ）の度数データｆ（ｉ，ｊ）と、水平方向の２つの隣接位置と、垂直方向の２つの隣接位置の度数データにフィルタ係数をそれぞれ乗算し、その積算結果を、注目座標（ｉ，ｊ）の変換データｇ（ｉ，ｊ）とする。

この処理によって、ピーク（極値）の急峻度が増幅された結果を、注目座標（ｉ，ｊ）の変換データｇ（ｉ，ｊ）として設定することが可能となる。

ステップＳ５０５で値（ｉ）の更新処理を実行し、ステップＳ５１１で、値（ｊ）の更新処理を実行することで、評価値テーブルを構成する全座標の度数データｆ（ｉ，ｊ）についての検証を行ない、フィルタ係数を適用した式によって、各座標の変換データｇ（ｉ，ｊ）を算出する。

頻度順ソート処理部５１３では、フィルタ係数を適用した式によって算出された各座標の変換データｇ（ｉ，ｊ）の値の大きい方から並べて、予め設定された有限個を候補ベクトルとして抽出する。

［７．動きベクトル決定処理の詳細］
図５に示す動きベクトル検出部１０３は、候補ベクトル抽出部１０２が、上述のいずれかの手法によって評価値テーブルから抽出した複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付ける処理を行い、各画素毎の動きベクトルを決定する処理を実行する。

本発明の動きベクトル検出装置における動きベクトル検出部１０３の構成を図２８（Ａ）に示す。比較のため、従来手法の動きベクトル検出処理構成を示すブロック図を図２８（Ｂ）に示す。また、本発明の動きベクトル検出装置における動きベクトル検出部１０３の処理概要を説明する図を図２９に示す。

動きベクトル検出部においては、複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付けて、各画素毎の動きベクトルを決定する。この処理においては、基本的に、各候補ベクトルに基づく移動位置とのブロックマッチングによる評価を行い、最も相関の高い画素データを指す候補ベクトルを選択する。すなわち、複数の候補ベクトルに対するマッチング評価に基づいて、各画素に対応付ける動きベクトルを決定する。

なお、前述したように、候補ベクトルの１つとして静止ベクトル（０，０）がデフォルトの候補ベクトルとして設定される。静止ベクトル（０，０）は、前述の度数分布型の評価値テーブルのピーク検出に基づいて選択される候補ベクトルとは異なり、予めデフォルトの候補ベクトルとして設定されている。動きベクトル検出部１０３では、度数分布型の評価値テーブルのピーク検出に基づいて選択される候補ベクトルとデフォルトの候補ベクトルとして設定されている静止ベクトル（０，０）の中から、各画素対応の動きベクトルを対応付ける処理を実行する。

例えば、予め設定された候補ベクトル数を３として、前フレーム［Ｆ_ｔ−１］と現フレーム［Ｆ_ｔ］との間で、上述した度数分布型の評価値テーブル形成した後、評価値テーブルに基づいて候補ベクトルの抽出を行った結果、図２９に図示するような３つの候補ベクトルＶ１，Ｖ２，Ｖ３が得られたものと仮定する。

静止ベクトル（０，０）も本来考慮すべきであるが、一例として、ここでは、３つの候補ベクトルＶ１，Ｖ２，Ｖ３から動きベクトルが選択される場合の処理例を説明する。

前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）として、この注目画素に３つの候補ベクトルの中から最良な動きベクトルを決定する処理について説明する。前フレーム［Ｆ_ｔ−１］の注目画素Ｐ（０）が、候補ベクトル分移動した先の、現フレーム［Ｆ_ｔ］の画素を、其々、Ａ（０），Ｂ（０），Ｃ（０）とする。

また、注目画素Ｐ（０）の周辺の隣接画素は、図示するように、Ｐ（１），・・・，Ｐ（８）の８画素からなるブロックがあるものとする。３つの候補ベクトルＶ１，Ｖ２，Ｖ３によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０），Ｂ（０），Ｃ（０）の周辺にも、図示しないが、それぞれ同様に、Ａ（１），・・・，Ａ（８）、Ｂ（１），・・・，Ｂ（８）、Ｃ（１），・・・，Ｃ（８）の画素からなるブロックが存在する。

動きベクトル検出部におけるブロックマッチングは、注目画素の周辺画素を含むブロック領域を設定して、前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）含むブロックと、候補ベクトル（Ｖ１，Ｖ２，Ｖ３）によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０），Ｂ（０），Ｃ（０）を含むブロックの画素値の相関を判別する処理である。ここでは、ブロックマッチングサイズは、説明を分かりやすくするために、一例として、３画素×３画素としている。

図２８（Ｂ）に示す従来の動きベクトル検出手法では、現フレームメモリ６３１に、現フレーム［Ｆ_ｔ］の画素値データを格納し、前フレームメモリ６３２に、前フレーム［Ｆ_ｔ−１］の画素値データを格納して、これらの各メモリから、現フレーム［Ｆ_ｔ］の画素値データと、前フレーム［Ｆ_ｔ−１］の画素値データを読み出して、ブロックマッチング処理部６３３において、予め取得済みの候補ベクトルデータに基づいて、各画素を含むブロックを設定して、ブロックマッチング処理を実行し、最も相関の高いブロックに対応する候補ベクトルをその画素の動きベクトルとして設定する処理を実行する。

ブロックマッチング処理部６３３では、候補ベクトルＶ１，Ｖ２，Ｖ３がある場合、各画素に対するブロックマッチング処理における評価値として、以下の（式１）、（式２）、（式３）を算出する。

上記式中、（式１）は、前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）含むブロックと、候補ベクトルＶ１によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０）を含むブロックのブロックマッチング評価値であり、（式２）は、前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）含むブロックと、候補ベクトルＶ２によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ｂ（０）を含むブロックのブロックマッチング評価値であり、（式３）は、前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）含むブロックと、候補ベクトルＶ３によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ｃ（０）を含むブロックのブロックマッチング評価値である。

これらの評価値の最小値となるものを選択し、最小値を出力した式に対応する候補ベクトルを、その画素Ｐ（０）の動きベクトルとする処理である。

図２８（Ａ）に示す本発明に係る動きベクトル検出部１０３は、現フレームメモリ６１１に、現フレーム［Ｆ_ｔ］の画素値データを格納し、前フレームメモリ６１２に、前フレーム［Ｆ_ｔ−１］の画素値データを格納して、これらの各メモリから、現フレーム［Ｆ_ｔ］の画素値データと、前フレーム［Ｆ_ｔ−１］の画素値データを読み出して、ブロックマッチング処理部６１５において、候補ベクトルデータに基づいて、各画素を含むブロックを設定して、ブロックマッチング処理を実行するが、ブロックマッチング処理部６１５におけるブロックマッチング処理の実行前に、マッチング処理を行なう必要のない候補ベクトルの排除を仮判定部６１４において実行し、マッチング処理を行なう必要のある候補ベクトルのみを選択した後、その選択候補ベクトルを候補ベクトル情報を格納した候補ベクトル情報格納部６１３からブロックマッチング処理部６１５に出力し、選択された候補ベクトルについてのみブロックマッチング処理を実行して、最も相関の高いブロックに対応する候補ベクトルをその画素の動きベクトルとして設定する処理を実行する。

本発明の手法では、代表点マッチングによって形成した評価値テーブルから候補ベクトルの抽出処理を実行しているものであり、仮判定部６１４では、前フレーム［Ｆ_ｔ−１］の注目画素Ｐ（０）と、候補ベクトル（Ｖ１，Ｖ２，Ｖ３）によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０），Ｂ（０），Ｃ（０）の差分を算出し、この差分が予め定めた閾値より大である場合は、その画素に対応する動きベクトルとしては不適切であると判定し、周囲画素を含めたブロックに基づくブロックマッチング判定を行なう必要がないと判断する。

すなわち、以下の各式において算出する画素値差分が閾値より大となる場合は、その式に対応する候補ベクトルに基づくブロックマッチングを実行しない設定とした。

仮判定部６１４は、上記（式４）、（式５）、（式６）を算出する。（式４）は、前フレーム［Ｆ_ｔ−１］の注目画素をＰ（０）と、候補ベクトルＶ１によって指定される現フレーム［Ｆ_ｔ］の画素Ａ（０）の画素値差分の絶対値を示し、（式５）は、前フレーム［Ｆ_ｔ−１］の注目画素をＰ（０）と、候補ベクトルＶ２によって指定される現フレーム［Ｆ_ｔ］の画素Ｂ（０）の画素値差分の絶対値を示し、（式６）は、前フレーム［Ｆ_ｔ−１］の注目画素をＰ（０）と、候補ベクトルＶ３によって指定される現フレーム［Ｆ_ｔ］の画素Ｃ（０）の画素値差分の絶対値を示している。

仮判定部６１４は、上記（式４）、（式５）、（式６）の算出結果Ｅａ'，Ｅｂ'，Ｅｃ'を予め定めた閾値と比較し、閾値より大である場合は、その式に対応する候補ベクトルをブロックマッチング処理の対象から除外する。仮判定部６１４による上記式に基づく判定情報が、候補ベクトル情報格納部６１３に入力され、候補ベクトル情報格納部６１３から、上記式によって求められる画素値差分が、閾値より大である候補ベクトルはブロックマッチング処理部６１５に出力されず、その候補ベクトルに対応するブロックマッチング処理を実行しない。

例えば閾値を画素値差分［３２］として設定した場合、前フレーム［Ｆ_ｔ−１］の注目画素をＰ（０）と、候補ベクトルＶ１，Ｖ２，Ｖ３によって指定される現フレーム［Ｆ_ｔ］の画素Ａ（０），Ｂ（０），Ｃ（０）の画素値差分絶対値が３２を超える場合は、その候補ベクトルを候補ベクトル情報格納部６１３からブロックマッチング処理部６１５に出力せず、その候補ベクトルに対応するブロックマッチング処理を実行しない。

仮判定部６１４を設けることで、ブロックマッチング処理における演算回数を削減しつつ、最良な動きベクトル決定することが可能となる。

なお、上述の説明では、静止ベクトル（０，０）に対応する処理を省略して説明しているが、静止ベクトル（０，０）に対応する画素差分値も仮判定部６１４において、同様に算出し、ブロックマッチング処理の実行対象として選択するか否かを判定し、静止ベクトル（０，０）に対応する画素差分値が閾値より小であれば、ブロックマッチング処理の対象として設定し、ブロックマッチング処理に基づいて、静止ベクトルと、その他の候補ベクトルに対応するブロックマッチング処理の結果から、最も相関の高いブロックに対応する候補ベクトルまたは静止ベクトルが、その画素に対応する動きベクトルとして設定される。

図３０に、動きベクトル決定部における処理手順を説明するフローチャートを示す。各ステップについて説明する。

まず、ステップＳ６０１において、前フレームメモリ６１２から仮判定部６１４に対して、注目画素データが取り込まれる。ステップＳ６０２において、現フレームメモリ６１１から仮判定部６１４に対して、候補ベクトルに対応する画素データの取り込みが行なわれる。この処理においては、静止ベクトルに対応する画素データも処理対象として取り込まれる。

次に、ステップＳ６０３において、仮判定部６１４が、前述の式（式４〜６）に基づいて、ブロックマッチング処理を実行する必要のない候補ベクトルを決定する。この処理においては、静止ベクトルに対応する画素データも処理対象とされ、静止ベクトルに対応して選択される画素の画素値差分データも算出する。

ステップＳ６０４では、仮判定部６１４において、ブロックマッチング処理を実行する必要があると判定した候補ベクトルの情報が候補ベクトル情報格納部６１３からブロックマッチング処理部６１５に取り込まれる。

ステップＳ６０５では、ブロックマッチング処理部６１５に対して、前フレームメモリ６１２から注目画素データが取り込まれる。ステップＳ６０６において、仮判定部６１４がブロックマッチング処理が必要であると判定した候補ベクトル（デフォルト設定の静止ベクトルも含む場合がある）についてのみ、ブロックマッチング処理部６１５においてブロックマッチング処理が実行される。ステップＳ６０７では、ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルが選択され、その画素の動きベクトルとして設定する処理を実行する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、動画像データを構成する各画素対応の動きベクトルを複数の候補ベクトルから選択して対応付ける処理において、候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、この相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行することで、無駄なブロックマッチング処理を削減することが可能となり、効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出が可能となる。従って、例えば動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、効率的で正確な動きベクトル検出処理が可能となる。

さらに、本発明の構成によれば、候補ベクトル抽出処理において、評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理、あるいは、評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行する構成としたので、評価値テーブルからの候補ベクトル抽出処を正確にかつ効率的に実行することが可能となる。従って、例えば動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、効率的で正確な動きベクトル検出処理が可能となる。

さらに、本発明の構成によれば、候補ベクトル抽出処理において、評価値テーブルの注目点における積算評価値の変化が凸状である座標の積算評価値、あるいは、評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数を乗算して積算した結果を変換データとして算出し、この変換データが大であるものから順に、予め設定された数の候補ベクトルを決定する構成としたので、限られた数の候補ベクトルを効率的に選択可能な動きベクトル検出装置が実現される。従って、例えば動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、効率的で正確な動きベクトル検出処理が可能となる。

さらに本発明の構成によれば、動画像データを構成する各画素対応の動きベクトルを複数の候補ベクトルから選択して対応付ける処理において、動画像データのフレーム構成画素各々に対応する動きベクトルを、評価値テーブルから取得される候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける構成としたので、静止ベクトルを評価値テーブルから検出する必要がなく、動きのあるピーク（極値）のみを顕著な形に設定した評価値テーブルの生成を行なうことが可能となり、正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出が可能となる。従って、例えば動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、効率的で正確な動きベクトル検出処理が可能となる。

ブロックマッチング法の概要を説明する図である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その１）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その２）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その３）である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を示す図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケンスを説明するフローチャートである。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成、および従来構成を示す図である。 代表点マッチングの相関演算結果を利用した代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）算出処理について説明する図である。 特徴量抽出部の構成例を示す図である。 可変閾値生成部において実行する可変閾値生成処理手順について説明するフロー図である。 閾値生成部における空間内変動の特徴量としての代表点近傍のダイナミックレンジデータに基づく閾値生成処理について説明する図である。 閾値生成部の入出力関係をプロットしたグラフを示す図である。 評価値テーブル形成部の処理シーケンスを説明するフローチャートを示す図である。 代表点近傍領域のダイナミックレンジが小さい部分（定常部）の代表点を除外する構成を持つ評価値テーブル形成部の構成を説明する図である。 静止領域に存在する代表点を除外する構成を持つ評価値テーブル形成部の構成を説明する図である。 候補数が多い代表点を除外する構成を持つ評価値テーブル形成部の構成を説明する図である。 代表点選別部に構成される候補数判定部の詳細構成を示す図である。 評価値テーブル生成処理対象となる動画像データの例を示す図である。 相関演算部から出力される８ビット差分フレームデータを、そのまま適用して積算し生成した評価値テーブル例を示す図である。 本発明に係る評価値テーブル形成部の処理に従って生成した度数分布型評価値テーブル例を示す図である。 図１９に示した従来型の８ビット差分データを積算した結果として得られた評価値テーブルの２次元データである。 図２０に示した本発明の構成に従って生成した度数分布型の評価値テーブルの２次元データである。 水平が２Ｈ、垂直が２Ｖの大きさを持つ評価値テーブルの概念図（平面図）を示す図である。 候補ベクトル抽出部の構成を示すブロック図である。 ピーク（極値）の急峻度は加味することなく、ピーク（極値）の位置のみを重視したピーク（極値）位置検出方式によるピーク（極値）位置検出処理フローを示す図である。 ピーク（極値）の急峻度を加味したピーク（極値）位置検出処理としてのフィルタ処理方式に適用するフィルタ係数設定例を示す図である。 ピーク（極値）の急峻度を加味したピーク（極値）位置検出処理としてのフィルタ処理方式によるピーク（極値）位置検出処理フローを示す図である。 本発明の動きベクトル検出装置における動きベクトル検出部の構成、および従来構成を示す図である。 本発明の動きベクトル検出装置における動きベクトル検出部の処理概要を説明する図である。 動きベクトル決定部における処理手順を説明するフローチャートを示す図である。

符号の説明

１０ 前フレーム
１１ 検査ブロックＢｙ
１２ サーチエリア
２０ 現フレーム
２１ 基準ブロックＢｘ
７０ 前フレーム
７１ 代表点Ｒｙ
８０ 現フレーム
８１ サーチエリア
９０ 評価値テーブル
９１ 前フレーム画素
９５，９６，９７ 現フレーム画素
１０１ 評価値テーブル形成部
１０２ 候補ベクトル抽出部
１０３ 動きベクトル検出部
１０４ 制御部（コントローラ）
２００ 評価値テーブル形成部
２１０ 相関演算部
２１１ 代表点メモリ
２１２ 減算回路
２１３ 絶対値算出部
２２０ 可変閾値生成部
２２１ 特徴量抽出部
２２２ 特徴量メモリ
２２３ 閾値生成部
２３０ 相関判定部
２３１ 比較部
２４０ 代表点選別部
２４１ 基準値メモリ
２４２ 比較部
２４３ ゲート
２５０ 評価値テーブル算出部
２５１ 評価値積算部
２５２ 評価値テーブルメモリ
２６０ 代表点選別部
２６１ 基準値メモリ
２６２ 比較部
２６３ フラグメモリ
２６４ ゲート
２７０ 代表点選別部
２７１ 候補数判定部
３０１ 最大値検出部
３０２ レジスタ
３０３ 最小値検出部
３０４ レジスタ
３０５ 減算回路
３０６ ラッチ
３５１ ビット分解部
３５２〜３５５ ＯＲ回路
３５６ ビット合成部
３８１ バッファメモリ
３８２ カウンタ
３８３ 基準値メモリ
３８４ 比較部
３８５ ゲート
４００ 静止背景
４０１ 移動物体（Ａ）
４０２ 移動物体（Ｂ）
４１１〜４１３ ピーク（極値）
４２１〜４２３ ピーク（極値）
５００ 評価値テーブル
５０１ 注目点
５１１ データ変換部
５１２ 変換データメモリ
５１３ 頻度順ソート処理部
６１１ 現フレームメモリ
６１２ 前フレームメモリ
６１３ 候補ベクトル情報格納部
６１４ 仮判定部
６１５ ブロックマッチング処理部
６３１ 現フレームメモリ
６３２ 前フレームメモリ
６３５ ブロックマッチング処理部

Claims (17)

1. 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
   前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部と、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出部とを有し、
   前記評価値テーブル形成部は、
   動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算部と、
   前記相関演算部の算出した相関情報に基づく評価値を算出する相関判定部と、
   前記相関判定部の算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別部と、
   前記代表点選別部の出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出部を有し、
   前記動きベクトル検出部は、
   動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定する処理を実行する構成であることを特徴とする動きベクトル検出装置。
2. 前記動きベクトル検出部は、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記候補ベクトル抽出部は、
   前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行する構成であり、
   前記評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記候補ベクトル抽出部は、
   注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）としたとき、下記式、
   Ａ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）
   Ｂ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）
   によって算出されるＡおよびＢがともに予め定めた閾値より大である場合に、該座標をピーク（極値）形成点として識別する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記候補ベクトル抽出部は、さらに、
   積算評価値の変化が凸状である座標をピーク（極値）として選択し、該選択座標から、積算評価値が大であるものから順に、予め設定された数の候補ベクトルを決定する構成であることを特徴とする請求項３または４に記載の動きベクトル検出装置。
6. 前記候補ベクトル抽出部は、
   前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行する構成であり、
   前記評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
7. 前記候補ベクトル抽出部は、
   注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）とし、変換データをｇ（ｉ，ｊ）としたとき、
   ｇ（ｉ，ｊ）＝
   ｆ（ｉ，ｊ−１）×Ｃｏｅｆ［１］＋ｆ（ｉ−１，ｊ）×Ｃｏｅｆ［３］
   ＋ｆ（ｉ，ｊ）×Ｃｏｅｆ［４］＋ｆ（ｉ＋１，ｊ）×Ｃｏｅｆ［５］
   ＋ｆ（ｉ，ｊ＋１）×Ｃｏｅｆ［７］
   ただし、上記式において、Ｃｏｅｆ［１］は、座標（ｉ，ｊ−１）に対応するフィルタ係数、Ｃｏｅｆ［３］は、座標（ｉ−１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［４］は、座標（ｉ，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［５］は、座標（ｉ＋１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［７］は、座標（ｉ，ｊ＋１）に対応するフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数である、
   上記式によって算出される変換データｇ（ｉ，ｊ）の値に基づいて、ピーク（極値）検出処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
8. 前記候補ベクトル抽出部は、さらに、
   前記変換データが大であるものから順に、予め設定された数の候補ベクトルを決定する構成であることを特徴とする請求項６または７に記載の動きベクトル検出装置。
9. 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
   前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップと、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出ステップとを有し、
   前記評価値テーブル形成ステップは、
   動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算ステップと、
   前記相関演算ステップで算出した相関情報に基づく評価値を算出する相関判定ステップと、
   前記相関判定ステップで算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別ステップと、
   前記代表点選別ステップにおいて出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップを有し、
   前記動きベクトル検出ステップは、
   動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定する処理を実行するステップであることを特徴とする動きベクトル検出方法。
10. 前記動きベクトル検出ステップは、
    動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルと、デフォルト設定の静止ベクトルの中から選択して各画素に対応付ける処理を実行するステップであることを特徴とする請求項９に記載の動きベクトル検出方法。
11. 前記候補ベクトル抽出ステップは、
    前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行するステップであり、
    前記評価値テーブルの注目点における積算評価値が、水平方向両隣および垂直方向両隣より大であり、積算評価値の変化が凸状である座標をピーク（極値）として選択する処理を実行するステップを含むことを特徴とする請求項９に記載の動きベクトル検出方法。
12. 前記候補ベクトル抽出ステップは、
    注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）としたとき、下記式、
    Ａ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ＋１，ｊ）−ｆ（ｉ−１，ｊ）
    Ｂ＝ｆ（ｉ，ｊ）×２−ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ−１）
    によって算出されるＡおよびＢがともに予め定めた閾値より大である場合に、該座標をピーク（極値）形成点として識別するステップを含むことを特徴とする請求項９に記載の動きベクトル検出方法。
13. 前記候補ベクトル抽出ステップは、さらに、
    積算評価値の変化が凸状である座標をピーク（極値）として選択し、該選択座標から、積算評価値が大であるものから順に、予め設定された数の候補ベクトルを決定するステップを含むことを特徴とする請求項１１または１２に記載の動きベクトル検出方法。
14. 前記候補ベクトル抽出ステップは、
    前記評価値テーブルのピーク（極値）検出に基づく候補ベクトル抽出処理を実行するステップであり、
    前記評価値テーブルの注目点および注目点近傍の積算評価値に予め定めたフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数を乗算して積算した結果を変換データとして算出し、該変換データに基づいて、ピーク（極値）検出処理を実行するステップを含むことを特徴とする請求項９に記載の動きベクトル検出方法。
15. 前記候補ベクトル抽出ステップは、
    注目点の座標を（ｉ，ｊ）、前記評価値テーブルの前記注目点の積算評価値をｆ（ｉ，ｊ）とし、変換データをｇ（ｉ，ｊ）としたとき、
    ｇ（ｉ，ｊ）＝
    ｆ（ｉ，ｊ−１）×Ｃｏｅｆ［１］＋ｆ（ｉ−１，ｊ）×Ｃｏｅｆ［３］
    ＋ｆ（ｉ，ｊ）×Ｃｏｅｆ［４］＋ｆ（ｉ＋１，ｊ）×Ｃｏｅｆ［５］
    ＋ｆ（ｉ，ｊ＋１）×Ｃｏｅｆ［７］
    ただし、上記式において、Ｃｏｅｆ［１］は、座標（ｉ，ｊ−１）に対応するフィルタ係数、Ｃｏｅｆ［３］は、座標（ｉ−１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［４］は、座標（ｉ，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［５］は、座標（ｉ＋１，ｊ）に対応するフィルタ係数、Ｃｏｅｆ［７］は、座標（ｉ，ｊ＋１）に対応するフィルタ係数であり、ピーク（極値）の急峻度を増幅するフィルタ係数である、
    上記式によって算出される変換データｇ（ｉ，ｊ）の値に基づいて、ピーク（極値）検出処理を実行するステップであることを特徴とする請求項９に記載の動きベクトル検出方法。
16. 前記候補ベクトル抽出ステップは、さらに、
    前記変換データが大であるものから順に、予め設定された数の候補ベクトルを決定するステップを含むことを特徴とする請求項１４または１５に記載の動きベクトル検出方法。
17. 動きベクトル検出装置に、動画像データから動きベクトルを検出する動きベクトル検出処理を実行させるコンピュータ・プログラムであり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップと、
    動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する動きベクトル検出ステップと、
    を実行させ、
    前記評価値テーブル形成ステップにおいては、
    動画像データを構成する一方のフレームに設定したブロックの代表点と、他方の異なるフレームに設定したサーチエリアの構成画素の画素値の相関を判定する代表点マッチング処理に基づいてフレーム間の相関情報を算出する相関演算ステップと、
    前記相関演算ステップで算出した相関情報に基づく評価値を算出する相関判定ステップと、
    前記相関判定ステップで算出した評価値から、相関があると判定された画素候補数が予め定めた閾値より大である代表点の相関判定結果に基づく評価値を除外した有効評価値のみを選択して前記評価値テーブルの生成情報として出力する代表点選別ステップと、
    前記代表点選別ステップにおいて出力する評価値を積算し、積算結果としての評価値テーブルを生成する評価値テーブル算出ステップを実行させ、
    前記動きベクトル検出ステップにおいては、
    動きベクトルを設定する画素の画素値と、前記候補ベクトルによって指定される異なるフレームの画素の画素値との相関判定処理を実行し、該相関判定処理の結果、相関の認められる画素を指定する候補ベクトルのみを選択して、選択された候補ベクトルに対応して設定されるブロックを適用したブロックマッチング処理を実行し、該ブロックマッチング処理の結果、最も相関の高いブロックに対応する候補ベクトルを画素対応の動きベクトルとして決定するステップを実行させることを特徴とするコンピュータ・プログラム。

Images