JP3846642B2 - 動き量検出方法及び動き量検出装置 - Google Patents
動き量検出方法及び動き量検出装置 Download PDFInfo
- Publication number
- JP3846642B2 JP3846642B2 JP25476094A JP25476094A JP3846642B2 JP 3846642 B2 JP3846642 B2 JP 3846642B2 JP 25476094 A JP25476094 A JP 25476094A JP 25476094 A JP25476094 A JP 25476094A JP 3846642 B2 JP3846642 B2 JP 3846642B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- layer
- upper layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段（図１、図８〜図１１、図１５及び図１７）
作用（図１、図８〜図１１、図１５及び図１７）
実施例
（１）第１実施例（図１〜図８）
（２）第２実施例（図９）
（３）第３実施例（図１０及び図１１）
（４）第４実施例（図１）
（５）第５実施例（図１２〜図１７）
（６）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は動き量検出装置及び動き量検出方法に関し、特に画像の動きを検出する際に時間的に異なる２つの画像データをそれぞれ階層化してから動き量を検出するものに適用し得る。
【０００３】
【従来の技術】
従来、動画像の処理として、動き量（動きベクトル）すなわち時間的に異なる画像中の物体の動き方向と大きさ（又は速さ）を用いるものがある。例えば画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フイルタによるテレビジヨン雑音低減装置における動きによるパラメータ制御等に動き量が用いられている。この画像の動き量を求める動き量検出方法として、ブロツクマツチング法が用いられている（特公昭54-124927 号公報）。
【０００４】
このブロツクマツチング法では、まず１つの画面を適当な数画素からなるブロツクに分割する。続いてこのようにブロツク化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロツク化されてなるサーチ領域との間で、所定の評価関数を用いて画素単位で評価し、この評価値を最小とする最適値を求めることにより、２つのブロツク化された画像データ間の動き量を検出する。これにより高い精度で画像の動き量を検出し得るようになされている。
【０００５】
【発明が解決しようとする課題】
ところがブロツクマツチング法においては、検出対象のブロツクの全ての画素に対して、検出範囲となる全てのサーチ領域をくまなくサーチし、その差分を求める必要がある。このため動き量を検出する計算量が大きくなり、装置自体が大型化したり、演算時間が長くなる問題があつた。このような問題を解決するため、それぞれ異なる解像度でなる複数の階層画像を作成し、この階層画像を用いてブロツクマツチング法で動き量を検出するようになされた動き量検出方法が提案されている（特願平5-2448814 号）。
【０００６】
この動き量検出方法では、まずオリジナルの画像データ（以下これを第１階層と呼ぶ）を、平均化やローパスフイルタ処理等により平均値階層化して、画素数を低減した画像データ（以下これを第２階層と呼ぶ）を作成する。次に作成した第２階層の画像データで大まかな動き量を検出し、その動き量に基づいて第１階層の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない第３階層、第４階層、……の画像データを作成することもできる。
【０００７】
このような動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわち上位階層の画像データほどブロツクのサイズとサーチ領域が小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロツクサイズ自体は通常のブロツクマツチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、サーチ領域を小さくすることができるため、演算量を削減することができる。
【０００８】
ところがこの動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があつた。実際上この動き量検出方法では、まず画像の粗い上位階層においてブロツク毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出するため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与える。すなわち上位階層の画像データは、平均値階層化の処理でブロツクサイズを小さくするため、画像の特徴量が最下位階層のオリジナル画像と異なつてくる。特にエツジ成分は平均値階層化により失われることになるため、平均値階層化された画像データにおける動き量とオリジナル画像により動き量の対応関係にずれが生じる場合がある。
【０００９】
実際上下位階層で動き量を求める場合には、上位階層での動き量の結果を反映させるため、もし対応関係のずれ量が大きくサーチ領域以内でカバーできなかつたときには誤動作となる。このように平均値階層化された画像データによる動き量検出方法では、平均値階層化による情報量の欠落により、誤動作が起きる可能性が大きくなる問題がある。また階層が上位になる程ブロツクサイズが小さくなることから、平均値階層化された画像データ上での動き量検出は、オリジナル画像に対する動き量検出の分解能が低下して誤動作が発生する問題もある。
【００１０】
本発明は以上の点を考慮してなされたもので、階層化された画像データを用いてブロツクマツチング法で動き量を検出する際に、動き量の検出精度を向上し得る動き量検出装置及び動き量検出方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出方法において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、画像階層化ステツプ及び上位階層多重化ステツプで階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、第１の時点の入力画像の画像データにおける参照ブロツクと、第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出ステツプとを設けるようにする。
【００１２】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置方法において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、画像階層化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化ステツプと、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、上位階層多重化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化ステツプと、画像階層化ステツプ及び上位階層多重化ステツプで階層化された画像データの対応する階層同士で、第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を求める画像データ評価値算出ステツプと、第１のアクテイビテイ階層化ステツプ及び第２のアクテイビテイ階層化ステツプで階層化されたアクテイビテイデータの対応する階層同士で、参照ブロツクのアクテイビテイデータと、複数の候補ブロツクのアクテイビテイデータとの間でそれぞれ評価値を求めるアクテイビテイデータ評価値算出ステツプと、画像データ評価値算出ステツプで求めた評価値とアクテイビテイデータ評価値算出ステツプで求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出ステツプとを設けるようにする。
【００１３】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、画像階層化手段及び上記上位階層多重化手段で階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出手段とを設けるようにする。
【００１４】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、画像階層化手段により形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化手段と、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、上位階層多重化ステツプにより形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化手段と、画像階層化手段及び上位階層多重化手段で階層化された画像データの対応する階層同士で、第１の時点の入力画像の画像データにおける参照ブロツクと、第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を求める画像データ評価値算出手段と、第１のアクテイビテイ階層化手段及び第２のアクテイビテイ階層化手段により階層化されたアクテイビテイデータの対応する階層同士で、参照ブロツクのアクテイビテイデータと、複数の候補ブロツクのアクテイビテイデータとの間でそれぞれ評価値を求めるアクテイビテイデータ評価値算出手段と、画像データ評価値算出手段で求めた評価値とアクテイビテイデータ評価値算出手段で求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出手段とを設けるようにした。
【００１５】
また本発明においては、上位階層多重化手段１Ｂは、互いに縦方向及び横方向にオーバーラツプした下位階層の画像データの画素を選択することにより、格子状に配列した多重化した上位階層の画像データの画素を形成するようにする。
【００１６】
また本発明においては、上位階層多重化手段１Ｂは、縦方向及び横方向に対して互いに斜め方向にオーバーラツプした下位階層の画像データの画素を選択することにより、縦方向及び横方向に対して斜め方向に配列した多重化した上位階層の画像データの画素を形成するようにする。
【００１７】
また本発明においては、動き量検出装置１又は１００は、上位階層多重化手段１Ｂにより多重化しない上位階層の画像データを形成すると共に、動きベクトル検出手段１Ｃ又は１００Ｃにより、画像階層化手段１Ａで階層化された画像データＳ２n 、Ｓ３n 及び上位階層多重化手段１Ｂで階層化された多重化しない画像データについて、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出した後、上位階層多重化手段１Ｂにより、動きベクトル検出手段１Ｃ又は１００Ｃの検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成すると共に、動きベクトル検出手段１Ｃ又は１００Ｃにより、画像階層化手段１Ａで階層化された画像データ２n 、Ｓ３n 及び上位階層多重化手段１Ｂで多重化した画像データＳ２n-1 、Ｓ３n-1 について、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出するようにする。
【００１８】
また本発明においては、上位階層多重化手段１Ｂは、動きベクトル検出手段１Ｃ又は１００Ｃにおいてブロツクマツチングを行う注目ブロツク毎に多重化した上位階層の画像データＳ３n-1 を形成するようにする。
【００１９】
さらに本発明においては、動き量検出装置１又は１００は、異なる時点の入力画像データＳ１n 及びＳ１n-1 のうち現在又は現在に近い時点の入力画像Ｓ１n に対して上位階層多重化手段１Ｂにより多重化した上位階層画像データＳ２n 、Ｓ３n を形成すると共に、当該上位階層多重化手段１Ｂに入力した入力画像Ｓ１n に対して過去の入力画像Ｓ１n-1 を画像階層化手段１Ａに入力することにより上位階層多重化手段１Ｂにより多重化した上位階層画像データＳ２n 、Ｓ３n に対して過去の解像度の異なる複数階層の階層画像データＳ２n-1 、Ｓ３n-1 を形成するようにする。
【００２０】
【作用】
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、第２の時点で入力された入力画像に基づいて、解像度の高い下位階層の画像データから互いにオーバーラツプした画素を選択して縮小することにより解像度が低く、かつ多重化された上位階層の画像データを形成したことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度を向上し得る。
【００２１】
またこれに加えて、第１の時点の入力画像及び第２の時点の入力画像に対応して、画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、このアクテイビテイデータを用いたブロツクマツチングでの評価値も参照して動きベクトルを検出するようにしたことにより、一段と動き量の検出精度を向上し得る。
【００２２】
また第１の処理として、上位階層多重化ステツプにおいて、多重化しない上位階層の画像データを形成し、動きベクトル検出ステツプにおいて、動きベクトルを検出するした後、第２の処理として、上位階層多重化ステツプにおいて、動きベクトル検出ステツプの検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成し、動きベクトル検出ステツプにおいて、動きベクトルを検出するようにしたことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度を向上し得ると共に、計算量を格段に低減することができる。
【００２３】
また上位階層多重化ステツプで、動きベクトル検出ステツプにおいてブロツクマツチングを行う注目ブロツク毎に多重化した上位階層の画像データを形成するようにしたことにより、計算量及びメモリ使用量を低減することができる。
【００２４】
さらに異なる時点の入力画像データのうち現在又は現在に近い時点の入力画像に対して上位階層多重化ステツプを施すと共に、当該上位階層多重化ステツプを施した入力画像に対して過去の入力画像に対して画像階層化ステツプを施すようにしたことにより、計算量及びメモリ使用量を格段に低減することができる。
【００２５】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）第１実施例
図１において、１は全体として動き量検出装置を示し、階層処理部１Ａによつて現フレームの画像データについて解像度の異なる複数の階層データを作成すると共に、階層処理部１Ｂによつて現フレームに対して１フレーム分過去の画像データについて解像度の異なる複数の階層データを作成する。
【００２７】
動き量検出装置１は、階層処理部１Ａ及び１Ｂで作成した異なる時点の階層データを用いて、動き検出部１Ｃによつて各階層毎にブロツクマツチングの手法により動き量を求める。このとき動き検出部１Ｃは上位階層から順に動き量を求め、かつ上位階層で求めた動き量を基準にして下位階層での動き量を求めることにより、少ない演算量で最終的な第１階層の動きベクトルＭＶを求める。
【００２８】
これに加えて動き量検出装置１においては、後述するように上位階層データとして多重化したデータを作成し、この多重化した上位階層データを用いて上位階層での動き量を求めることにより、動きベクトルの検出精度を向上し得るようになされている。
【００２９】
実際上動き量検出装置１は、入力端子からコンポーネント信号の輝度信号を第１階層画像データ（オリジナルデータ）Ｓ１n として入力し、この第１階層画像データＳ１n を階層処理部１Ａのメモリ２に供給する。
メモリ２の出力信号は第２階層データ作成回路３に供給され、第２階層データ作成回路３は第１階層画像データＳ１n から第２階層画像データＳ２n を作成する。例えば、第１階層画像データＳ１n の２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２n の１画素を作成する。
【００３０】
すなわち第２階層データ作成回路３は、図２に示すように、ｎフレームにおける第１階層画像データＳ１n の各画素をｘn(a,b)とした場合、第２階層画像データＳ２の各画素ｙn(a,b)を、次式
【数１】
により算出する。
【００３１】
第２階層データ作成回路３は供給されたｎフレームデータ全体に亘つて第２階層画像データＳ２n を作成する。第２階層データ作成回路３の出力信号は、メモリ４に供給される。メモリ４の出力信号は第３階層データ作成回路５に供給され、第３階層データ作成回路５は第２階層画像データＳ２n から第３階層画像データＳ３n を作成する。例えば第２階層画像データＳ２n の２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３n の１画素を作成する。
【００３２】
すなわち第３階層データ作成回路５は、図２（Ｂ）に示すようなｎフレームにおける第２階層画像データＳ２n の各画素ｙn(a,b)から、図３（Ａ）に示すような第３階層画像データＳ３n の各画素ｚn(a,b)を、次式
【数２】
により算出する。
第３階層データ作成回路５は供給されたｎフレームのデータ全体に亘つて第３階層データＳ３n を作成する。第３階層データ作成回路５の出力信号はメモリ６に供給される。
【００３３】
一方、入力画像データでなる第１階層画像データＳ１n は階層処理部１Ｂの遅延回路（ＤＬ）７にも供給される。遅延回路７は第１階層画像データＳ１n を１フレーム分蓄える。従つて遅延回路７は現フレームデータに比べて１フレーム過去の第１階層画像データＳ１n-1 をメモリ８に送出する。
メモリ８から出力される１フレーム過去の第１階層画像データＳ１n-1 は第２階層データ作成回路９に供給される。第２階層データ作成回路９は上述した第２階層データ作成回路３と同様の構成でなり、供給された１フレーム過去の第１階層画像データＳ１n-1 から１フレーム過去の第２階層画像データＳ２n-1 を作成する。例えば図４に示すように、（ｎ−１）フレームにおける第１階層画像データＳ１n-1 の各画素をｘn-1(a,b)とした場合、第２階層画像データＳ２n-1 の各画素ｙn-1(a,b)を、次式
【数３】
により算出する。
【００３４】
第２階層データ作成回路９は供給された１フレーム分過去の画像データ全体に亘つて第２階層画像データＳ２n-1 を作成する。第２階層データ作成回路９の出力信号はメモリ１０に供給される。メモリ１０の出力信号は第３階層データ作成回路１１に供給され、第３階層データ作成回路１１は前フレームの第２階層画像データＳ２n-1 から前フレームの第３階層画像データＳ３n-1 を作成する。
【００３５】
すなわち第３階層データ作成回路１１は、図４（Ｂ）に示すような（ｎ−１）フレームにおける第２階層画像データＳ２n-1 の各画素をｙn-1(a,b)とした場合、図３（Ｂ）に示すような（ｎ−１）フレームの第３階層画像データの各画素ｚn-1(a,b)を、次式
【数４】
により算出する。
【００３６】
これに加えて第３階層データ作成回路１１は、（４）式で求めた第３階層の画像データｚn-1(a,b)に対して位相の異なる第３階層画像データも作成するようになされている。すなわち第３階層データ作成回路１１は、図３（Ｂ）に示すように、通常の第３階層画像データの各画素に縦方向及び横方向に隣接する画素、例えば画素ｚn-1(1.5,1)、ｚn-1(1,1.5)、ｚn-1(1.5,1.5)を、次式
【数５】
により算出する。
【００３７】
すなわち第３階層データ作成回路１１は、通常の第３階層画像データ（ｚn-1 (1、1) 、ｚn-1 (1、2) 、ｚn-1 (2、1) 、ｚn-1 (2、2) 等）を作成する際に用いた第２階層画像データＳ２n-1 の画素とオバーラツプするような第２階層画像データＳ２n-1 の画素を選択することにより、通常の第３階層画像データと位相の異なる第３階層画像データ（ｚn-1(1,1.5)、ｚn-1(1.5,1)、ｚn-1(1.5,1.5)等）をも作成する。
【００３８】
従つて第３階層データ作成回路１１は、供給された前フレームのフレームデータ全体に亘つて通常の第３階層画像データ及びこれと位相の異なる第３階層画像データを作成する。かくして多重化された第３階層画像データＳ３n-1 が作成される。第３階層データ作成回路１１の出力信号はメモリ１２に供給される。
【００３９】
この実施例の場合、動き量検出部１Ｃは現フレームのブロツクを固定する（以下これを参照ブロツクと呼ぶ）と共に、前フレームのブロツクを所定のサーチ範囲内で移動させて（以下これを候補ブロツクと呼ぶ）、参照ブロツクと最も似通つた候補ブロツクが検出された位置に基づいて動きベクトルを検出するようになされている。
【００４０】
実際上動き検出部１Ｃは先ず、メモリ６に格納された現フレームの第３階層画像データＳ３n と、メモリ１２に格納された前フレームの多重化された第３階層画像データＳ３n-1 とを、メモリコントロール回路１３により読み出す。このときメモリコントロール回路１３からは、今ベクトルを算出しようとするブロツクアドレスがメモリ６に送出され、この結果メモリ６からは第３階層画像データＳ３n の所定ブロツクが参照ブロツクとして第３階層動き量検出回路１４に出力される。
【００４１】
一方、メモリコントロール回路１３からメモリ１２には、メモリ６へのブロツクアドレスに対して所定のサーチ範囲内で位置を移動させたブロツクアドレスが送出され、この結果メモリ１２からは与えられたブロツクアドレスに対応する第３階層データＳ３n-1 が第３階層動き量検出回路１４に出力される。
第３階層動き量検出回路１４は、ブロツクマツチング法により第３階層における動きベクトルを求める。すなわち第３階層動き量検出回路１４は、先ずｎフレームと（ｎ−１）フレームの対応するブロツク同志の画素間の絶対値差分を積算し、その積算値をパラメータとして、その積算値が最小となるものを見つけることにより、第３階層における動き量を検出する。
【００４２】
換言すれば、第３階層動き量検出回路１４は、ｎフレームと（ｎ−１）フレームにおいて空間的に対応する位置に設定されたＭ画素×Ｎラインの大きさのブロツクについて、ｎフレームにおけるブロツクと、（ｎ−１）フレームにおいてｎフレームのブロツクに対して空間的に対応する位置から所定のサーチ範囲だけ位置的にオフセツトをはかせたブロツクとの間でパターンマツチングを行い、最も似通つたブロツクを検出する。
【００４３】
このときブロツク内の対応画素間の差分絶対値和を評価値として使用する。具体的には、ｎフレームの第３階層の各画素レベルをｚn(i,j)、（ｎ−１）フレームの第３階層の各画素レベルをｚn-1(i,j)、第３階層におけるブロツクサイズを、Ｐ画素×Ｑラインとすると、座標（ｘ，ｙ）における評価値Ｅ（ｘ，ｙ）を、次式、
【数６】
により求める。
【００４４】
ここで従来の階層構造を利用したブロツクマツチング法においては、オリジナルデータのサーチ範囲を（±16，±16）とした場合、第３階層におけるサーチ領域は（±4 ，±4 ）となることにより、オフセツト座標（ｘ，ｙ）を、それぞれ−４から＋４まで１ずつ変化させて、評価値を算出し、動き量を決定している。
【００４５】
これに対して、この実施例の動き量検出装置１においては、第３階層画像において、従来のブロツクマツチング法のように１画素精度の動き量検出を行うのではなく、 0.5画素精度で動き量を検出するようになされている。すなわち動き量検出装置１においては、オフセツト座標（ｘ，ｙ）を、それぞれ−４から＋４まで 0.5ずつ変化させて、評価値を算出し、動き量を決定する。
【００４６】
具体的には、例えば第３階層におけるブロツクサイズが２×２であり、ｎフレームにおけるその要素が、ｚn(1,1)、ｚn(2,1)、ｚn(1,2)、ｚn(2,2)であつた場合、オフセツト座標（ｘ，ｙ）における評価値を、次式、
【数７】
により求める。なお、ｚn-1(x,y)のデータは、上述した第３階層データ作成回路１１により作成したものを用いる。
これにより動き量検出装置１においては、上位階層での情報量の低下によつて生じる動き量の検出誤差を低減し得るようになされている。
【００４７】
ここで例えば図５に示すように、第１階層画像（オリジナル画像）において４画素幅の白黒のストライプ画像があつたとすると、このストライプ画像のエツジが階層ブロツクマツチング法における階層化のブロツク境界と一致している場合、第３階層においては１画素幅の白黒のストライプ画像となり情報は十分残つている。
【００４８】
しかしながら図６に示すように、この第１階層画像が１フレーム後に２画素分だけ横に移動した場合、階層化のブロツク境界がストライプの丁度中心にくるため、従来の階層ブロツクマツチング法では第３階層においてストライプが完全に失われたグレーの単色画像となり、この場合には第１階層の情報が完全に失われてしまう。このように従来の階層ブロツクマツチング法における上位階層の動き量検出においては、画像の動きに応じてブロツク化の位相が変化した場合、階層化後の縮退した画像においてその詳細が全く変化してしまい、正確なパターンマツチング、すなわち正確な動き量を算出することが不可能な状態になることがあつた。
【００４９】
これに対して実施例の動き量検出装置１においては、下位階層の画像データをオーバーラツプさせて選択して、多重化した上位階層の画像データＳ３n-1 を作成するようにしたことにより、画像の動きに応じてブロツク化の位相が変化した場合でも、上位階層での情報量の減少を抑制でき、動き量の検出精度を向上し得る。
【００５０】
ここで第３階層動き量検出回路１４は、図７に示すように構成されている。第３階層動き量検出回路１４には、メモリコントロール回路１３からのブロツクアドレスに応じてメモリ６から読み出された第３階層画像データＳ３n が動き量を
求める基準となる参照ブロツクとして入力される。
【００５１】
また第３階層動き量検出回路１４には、メモリコントロール回路１３からのブロツクアドレスに応じてサーチ範囲内で 0.5画素ずつ移動した位置から切り出された第３階層画像データＳ３n-1 が候補ブロツクとして入力される。
【００５２】
例えば第３階層におけるサーチ範囲が（±4 ，±4 ）であつた場合、メモリ１２からは((4+4)×2+1)×((4+4)×2+1)のブロツクデータが入力される。因に、通常の１画素オフセツト（１画素精度）のサーチでは、（±4 ，±4 ）のサーチ範囲では、(4×2+1)×(4×2+1)のブロツクデータが出力される。メモリ６から与えられたブロツクデータはレジスタ３１を介して加算器３３に与えられると共に、メモリ１２から与えられたブロツクデータはレジスタ３２を介して加算器３３に与えられる。
【００５３】
加算器３３では、第３階層画像データＳ３n のブロツクデータと、それに対応する第３階層画像データＳ３n-1 のブロツクデータとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路３４で絶対値化された後、加算器３５及びレジスタ３６で累積加算される。このようにして（７）式の演算が実行され、この結果得られる評価値（累積加算値）が評価値メモリ３７に入力される。
【００５４】
従つて評価値メモリ３７には、候補ブロツクを 0.5画素単位で移動させた際の各移動位置に対応する評価値が格納された、所謂評価値テーブルが形成される。評価値メモリ３７に格納された各評価値は、評価値メモリコントロール回路３８によつて指定されたアドレスに従つて順次読み出され、比較器４０及びレジスタ４１に与えられる。
【００５５】
比較器４０は他方の入力と評価値メモリ３７より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ４１及び４２の内容を更新する信号を送出する。このレジスタ４２には、評価値メモリ３７を読み出すアドレスが順次設定される。このようにして順次評価値メモリ３７に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ４２より送出され、これが第３階層の動きベクトルとして第２階層のメモリコントロール回路１５に与えられる。
【００５６】
メモリコントロール回路１５は、図１に示すように、第２階層画像データＳ２n が格納されているメモリ４から今動き量を検出しようとしている注目ブロツクの画素データを読み出すためのブロツクアドレスを出力する。この結果メモリ４から読み出された画素データが第２階層動き量検出回路１６に与えられる。
一方、メモリコントロール回路１５は、第２階層画像データＳ２n-1 が格納されているメモリ１０にブロツクアドレスを出力する。このブロツクアドレスは、メモリ１０から、メモリ４から読み出される第２階層画像データＳ２n のブロツクに対応する画像データを、所定のサーチ範囲内で１画素単位のオフセツトをもつて読み出すためのものである。この際、サーチ範囲は第３階層動き量検出回路１４で得られた第３階層における動き量を、第２階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）とする。
【００５７】
第２階層動き量検出回路１６は第３階層動き量検出回路１４（図７）と同様の構成でなり、メモリ４及び１０から供給された対応するブロツク同士の、差分の絶対値の累積加算値を算出し、その最小となるオフセツト量を第２階層における動き量とする。第２階層動き量検出回路１６は、この第２階層における動き量と、先に求めた第３階層における動き量を第２階層のスケールに変換したものとを足し合わせ、これを第２階層における動き量としてメモリコントロール回路１７に出力する。
【００５８】
メモリコントロール回路１７は、第１階層画像データＳ１n が格納されているメモリ２から今動き量を検出しようとしている注目ブロツクの画素データを読み出すためのブロツクアドレスを出力する。この結果メモリ２から読み出された画像データが第１階層動き量検出回路１８に与えられる。
一方、メモリコントロール回路１７は、第１階層画像データＳ１n-1 が格納されいるメモリ８にブロツクアドレスを出力する。このブロツクアドレスは、メモリ８から、メモリ２から読み出される第１階層画像データＳ１n のブロツクに対応する画素データを、所定のサーチ範囲内で１画素単位のオフセツトをもつて読み出すためのものである。この際、サーチ範囲は第２階層動き量検出回路１６で得られた第２階層における動き量を、第１階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）とする。
【００５９】
第１階層動き量検出回路１８も第３階層動き量検出回路１４（図７）と同様の構成でなり、メモリ２及び８から供給された互いに対応するブロツク同士の、差分の絶対値の累積加算値を算出し、その最小となるオフセツト量を第１階層における動き量とする。第１階層動き量検出回路１８は、この第１階層における動き量と、先に求めた第２階層における動き量を第１階層のスケールに変換したものとを足し合わせ、これを第１階層における最終的な動き量とする。
このようにして算出された第１階層における動き量は、検出目的である動き量ＭＶであり、動き量検出装置１はこのように算出された注目ブロツクの動き量を出力端子を介して出力する。
【００６０】
以上の構成において、動き量検出装置１は最上位階層である第３階層画像データを求める際、第２階層画像データの複数の画素の平均値をとることにより図８の「◎」印で示すような通常の平均値画素を作成するのに加えて、「◎」印で示す通常の平均値画素を作成する際に用いた第２階層画像データの画素にオーバーラツプする第２階層画像データの画素を選択してこれを平均値化することにより、図８の「○」印で示す平均値画素を作成する。
【００６１】
動き量検出装置１は、この「◎」及び「○」印で示す平均値画素を用いて、従来の１画素精度ではなく、より正確な 0.5画素精度で第３階層での動き量を検出する。この結果階層ブロツクマツチング法により生じる階層間での位相の変動を低減し得ることにより、第３階層での動き量の誤検出を低減することができる。これにより最終的な第１階層での動き量の検出精度を格段的に向上し得る。
【００６２】
因に、第３階層をこのように多重化した構造とし、 0.5画素精度の動き量を検出すると、第３階層の動き量検出に関しては１画素精度の動き量検出を行つた場合と比して４倍弱の計算量が必要となる。しかしながら、第３階層はブロツクサイズが、第２階層の１／４であるため、第３階層における計算量が増大しても、全体的な計算量はそれほど増大しない。
【００６３】
以上の構成によれば、下位の階層画像データから互いにオーバーラツプした画素を選択して平均値をとることにより多重化した上位階層画像データを作成し、、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を格段的に向上し得る動き量検出装置１を実現することができる。
【００６４】
（２）第２実施例
上述した第１実施例では、第２階層画像データの画素から互いにオーバーラツプした画素を選択して平均値化することにより図８の「◎」印で示す通常の第３階層の画素に加えて、この「◎」印で示す画素の周囲に、縦、横及び斜め方向に隣接する「○」印の画素を作成したが、この第２実施例では、図９に示すように、第２階層画像データの画素から互いにオーバーラツプした画素を選択して平均値化することにより「◎」印で示す通常の第３階層の画素に加えて、この「◎」印で示す画素の斜め方向に隣接する「○」印の画素を作成する。
【００６５】
すなわちこの第２実施例では、第１実施例で作成したｚn-1(1,1.5)やｚn-1(1.5,1)等の画素データは作成せずに、ｚn-1(1,1)やｚn-1(1.5,1.5)等の画素データのみを平均値演算により求める。
第２実施例の動き量検出装置では、このように作成した第３階層画像データＳ３n-1 を用いて上述した第１実施例と同様の動き量検出を行う。これにより第２実施例の動き量検出装置においては、第３階層における計算量の増大を、通常の階層ブロツクマツチング法と比較して２倍弱に抑えることができる。
【００６６】
ところで図６に示すように、例えば第１階層画像データにおいて横方向に２画素の動きが生じた場合は、第３階層における動き量検出において、極端な画像縮退が生じることが多く、正しい動き量を求めることが困難になる場合が多い。
しかしながら、縦方向の動きが無い場合は、縦方向に関しては画像縮退が生じないので、その方向の動き量は正しく求まる場合が多い。また縦方向に２画素の動きが生じた場合も、縦方向に関しては極端な画像縮退が生じることが多く、正しい動き量を求めることが困難になる場合が多いが、この場合も横方向に動きが無い場合は、そちらの方向の動き量は正しく求まることも多い。従つて縦又は横方向のどちらか一方のブロツク位相が大きくずれた場合は、ある程度正しい動き量が求まる場合が多い。
【００６７】
これに対して、縦及び横の双方に２画素（±４画素）の動きがあつた場合、縦横の双方で極端な画像縮退が生じることが多いので、誤つた動き量が求まる可能性が高くなる。
これを考慮して第２実施例では、通常の階層ブロツクマツチング方式に加えて、縦横の双方に２画素（±４画素）の動きがある位相の動き量検出のみを行う。
【００６８】
すなわち図９について説明すると、サーチ範囲が水平、垂直共に±８であつた場合、通常の階層ブロツクマツチング法の第３階層における動き量検出を行うのは「◎」印の位置だけである。これに対して第２実施例においては、「◎」印の位置に加えて、下位階層の所定の画素データをオーバーラツプして選択することにより、通常の第３階層画像データ（「◎」印）の斜め方向に隣接するような第３階層画像データ（「○」印）も作成し、この２種類の画素のデータに基づいて動き量を検することにより、階層ブロツクマツチング法において情報量の最も失われ易い縦及び横の両方向へのブロツク位相の変化があつた場合でも、上位階層の情報量の低下を低減し得、動き量の検出精度を向上させることができる。
【００６９】
以上の構成によれば、下位の階層画像データから互いにオーバーラツプした所定画素を選択して平均値をとることにより、斜め方向に多重化した上位階層画像データを作成し、当該上位階層画像データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に、計算量を低減し得る。
【００７０】
（３）第３実施例
上述の第１実施例及び第２実施例では、予め多重化した構造の第３階層画像データＳ３n-1 を作成して動き量の検出精度を向上させた場合について述べたが、この第３実施例では、先ず第１ステツプとして通常の階層ブロツクマツチングにおける第３階層の動き量検出と全く同じ処理を行う。すなわち図１０における「◎」印の画素のみを候補ブロツクの画素として用いて動き量検出を行い、その中で評価値の高いもの、すなわち動きブロツクであると考えられるものを選択する。
【００７１】
続いて第２ステツプでは、その候補ベクトルを中心に 0.5画素単位の動き量検出を行う。例えば第１ステツプにおいて検出された動きベクトルが、（-1,1）であつた場合、第２ステツプで動き量を検出するのは、図１０における「○」印の位置だけである。これにより第３実施例の動き量検出装置においては、第３階層における計算量の増大を格段的に低減し得るようになされている。
すなわち第３実施例の動き量検出装置においては、第１ステツプにおいて検出された動きベクトル及び第２ステツプでサーチした８つの位置の評価値を比較し、この中で最も評価値の高いものを第３階層における動き量とするようになされている。
【００７２】
実際上第３実施例における第３階層の動き量検出は、図１１に示すような回路によつて実現される。すなわち図１との対応部分に同一符号を付して示す図１１において、この実施例の第３階層動き量検出回路１４は、ＡＲ１で示す部分で第１ステツプを実行し、ＡＲ２で示す部分で第２ステツプを実行することにより第３階層の動き量を検出する。
【００７３】
先ずメモリコントロール回路１３により、第３階層画像データＳ３n が格納されているメモリ６にブロツクアドレスが送出されることにより、動き量を求める基準となる参照ブロツクの画素データがメモリ６から読み出される。一方、メモリコントロール回路１３により、第３階層画像データＳ３n-1 が格納されているメモリ１２にブロツクアドレスが送出されることにより、メモリ６から読み出される第３階層画像データＳ３n のブロツクに対応する候補ブロツクの画素データがメモリ１２から読み出される。因にこの実施例の場合、メモリ１２から読み出される第３階層画像データＳ３n-1 は、第１実施例のように多重化された第３階層画像データではなく、通常の第３階層画像データである。
【００７４】
メモリ６からの出力信号はレジスタ５１を介して加算器５３に供給されると共に、メモリ１２からの出力信号はレジスタ５２を介して加算器５３に供給される。加算器５３では、ｎフレームの第３階層画像データと、それに対応する（ｎ−１）フレームの第３階層画像データとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路５４で絶対値された後、加算器５５及びレジスタ５６で累積加算される。このようにして（６）式の演算が実行され、この結果得られる評価値が評価値メモリ５７に入力される。
評価値メモリ５７に格納された評価値は、評価値メモリコントロール回路５８によつて指定されたアドレスに従つて読み出され、比較器６０及びレジスタ６１に入力される。
【００７５】
比較器６０は他方の入力と評価値メモリ５７より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ６１及び６２の内容を更新する信号を送出する。
このレジスタ６２には、評価値メモリ５７を読み出すアドレスが順次設定される。このようにして順次評価値メモリ５７に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６２より送出され、これが動きベクトルとしてメモリコントロール回路６３に送出される。このようにして第１ステツプの処理を実行する。
【００７６】
第１ステツプが終了すると、メモリコントロール回路６３から、メモリ１０にアドレス信号が送出される。これは第１ステツプで求めたベクトル周辺の 0.5画素精度の動き検出を行うためのもので、メモリ１０はアドレス信号に基づいた第２階層データを第３階層データ作成回路６４に供給する。
【００７７】
第３階層データ作成回路６４は基本的には、図１について上述した第３階層データ作成回路１１と同様な働きをするものであり、第２階層データから多重化した第３階層データを作成する。第３階層データ作成回路６４は例えば（５）式に示すような演算を施すことにより第３階層データを作成し、これを一旦メモリ６５に格納する。但しｚn-1(1,1)等のデータについては既に第３階層データ作成回路１１において作成済みであり、またこれ以降使用しないので、ここでは作成しない。一方、メモリ６の出力信号、すなわち現フレームの注目ブロツクの第３階層データは遅延回路（ＤＬ）６６及びレジスタ６７を介して加算器６９に供給される。またメモリ６５からの出力信号はレジスタ６８を介して加算器６９に供給される。
【００７８】
加算器６９では、ｎフレームの第３階層画像データと、それに対応する（ｎ−１）フレームの第３階層画像データとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路７０で絶対値された後、加算器７１及びレジスタ７２で累積加算される。このようにして（７）式の演算が実行され、この結果得られる評価値が評価値メモリ７３に入力される。
評価値メモリ７３は、 0.5画素のオフセツトを持たせた各ブロツク毎の差分の絶対値の累積加算値である評価値が格納されている。評価値メモリ７３に格納された評価値は、評価値メモリコントロール回路７４によつて指定されたアドレスに従つて読み出され、比較器７５及びレジスタ７６に入力される。
【００７９】
比較器７５は他方の入力と評価値メモリ７３より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ７６及び７７の内容を更新する信号を送出する。
レジスタ７７には、評価値メモリ７３を読み出すアドレスが順次設定される。このようにして順次評価値メモリ７３に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ７７より送出され、これが第３階層の動きベクトルとして第２階層の動き量検出用のメモリコントロール回路１５に送出され、これにより第２ステツプの処理を終了する。
第３実施例の動き量検出装置は、これ以降第１実施例と同様の処理を施すことにより最終的な第１階層画像の動き量を検出する。
【００８０】
以上の構成によれば、第１ステツプにより通常の第３階層の動き量検出を行い、この検出結果に基づいて動き量が大きいと思われる画素の周辺について第２ステツプにより、その周囲で多重化した上位階層データを作成し、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に計算量を有効に低減し得る。
【００８１】
（４）第４実施例
上述の第１〜第３の実施例では、現フレームデータを参照ブロツクとして、多重化して作成した過去のフレームデータをサーチ範囲だけ移動させることにより動き量を求める場合について述べたが、この第４実施例では、参照ブロツクとなる現フレームデータを多重化する。
これに加えて第４実施例においては、予め１フレーム分の階層画像を全て作成するのではなく、注目するブロツク毎に階層画像を作成するようになされている。これにより第４実施例の動き量検出装置においては、全体の計算量及びメモリの使用量を低く抑えた状態で、動き量の検出精度を向上し得るようになされている。
【００８２】
すなわち第４実施例の動き量検出装置においては、図１に示す第２階層データ作成回路３で、現フレームデータのうち、現在注目するブロツクの周辺のデータのみの第２階層データを作成する。具体的には、動き量を求めようとする第１階層のブロツクサイズが８×８のとき、第２階層のブロツクサイズは４×４となるが、さらに上下左右１画素ずつ膨らませた６×６のデータを作成する。すなわち、周辺の他のブロツクのデータをも多少使用する。
【００８３】
第２階層データ作成回路３の出力信号はメモリ４に供給され、メモリ４の出力信号は第３階層データ作成回路５に供給される。ここで第３階層データ作成回路５は供給された第２階層画像データから、第３階層画像データを作成する。具体的には、第２階層画像データの２×２の小領域の画像データから平均値を算出することにより、第３階層画像データの１画素を作成する。
【００８４】
第３階層データ作成回路５は、現フレームのうち、現在注目のブロツクの周辺のデータのみの第３階層データを作成する。具体的には、動きブロツクを求めようとするブロツクのサイズが８×８のとき、第３階層のブロツクサイズは、２×２となるが、第２階層データ作成回路３から供給された６×６の第２階層データを基に、２×２から上下左右１画素ずつ膨らませた４×４のデータを作成する。すなわち周辺のデータをも多少使用することにより多重化した現フレームの第３階層画像データを作成する。
例えば第３階層データ作成回路５は、（２）式で示されるような通常の第３階層画像データだけでなく、データの位相をずらして、（２）式で作成した画像データの中間に位置するデータをも作成するようになされている。
【００８５】
またこの実施例の場合、第２階層データ作成回路９では、現在注目のブロツクを所定のサーチ範囲だけ移動させた範囲内のデータに関して第２階層データを作成する。さらに第３階層データ作成回路１１では、多重化した第３階層画像データを作成せずに、通常の第３階層画像データを作成する。
従つて第４実施例の第３階層動き量検出回路１４では、オフセツト座標（ｘ，ｙ）における評価値を、次式、
【数８】
により求める。
【００８６】
階層データ格納用のメモリを削減するためには、１フレーム分の階層データを予め作成する手法を用いることは出来ない。従つて、メモリ使用量の削減という点に関しては注目ブロツクの周辺のデータを毎回作成し直す方式が有利である。ところが、階層データを多重化し、１画素以下の動き量を検出する場合、現在のフレームデータを参照データとし、過去のフレームデータをサーチ範囲だけ移動させる方式では、過去のフレームデータを多重化する際の計算量が増大する。特にサーチ範囲が大きくなればなるほど、計算量が増大することになる。
【００８７】
これを考慮して、第４実施例においては、注目するブロツク毎に階層データを作成すると共に、参照ブロツクとなる現在のフレームデータを多重化するようになされている。これにより第４実施例においては、階層データを作成する際の計算量を格段に低減し得ると共に、メモリの使用量を格段に低減し得る。
【００８８】
以上の構成によれば、注目するブロツク毎に階層データを作成すると共に、参照ブロツクとなる現フレームデータについて多重化した上位階層データを作成し、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に、計算量及びメモリ使用量を低減することができる。
【００８９】
（５）第５実施例
この第５実施例の動き量検出方法では、第１実施例のようにオーバーラツプした下位階層データから多重化した上位階層データを作成し、この多重化した上位階層データを用いて動き量を求めるのに加えて、画像の高周波成分を反映したアクテイビテイ情報をも階層化し、このアクテイビテイ情報における評価値をも参照することにより、一段と高精度の動き量を検出するようになされている。
【００９０】
すなわちこの第５実施例の動き量検出方法では、オリジナル画像について平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下アクテイビテイと呼ぶ）を表すデータについても階層化（以下これをアクテイビテイ階層化とよぶ）してアクテイビテイデータを形成し、階層毎にこれらを用いて動き量を検出する。
【００９１】
実際上それぞれ階層化された画像データとアクテイビテイデータについては、上位階層から順にブロツクマツチング法で評価値を求め、これらを総合判定することにより、その階層の動き量を求める。この動き量を順次下位階層の評価値を求める際に動き補償して参照することにより、最終的にオリジナル画像の動き量を検出する。
【００９２】
階層化された画像データを生成する例を、図１２に示す。図１２（Ａ）はオリジナル画像について３階層に階層化された画像データを生成する場合で、第１階層はオリジナル画像である。オリジナル画像上のブロツク（例えば16×16）より上位階層の画像データ、第ｎ階層における画像データをＭn （ｘ、ｙ）とすると、次式
【数９】
のように平均値化によつて求めることができ、ブロツクサイズは水平及び垂直方向にそれぞれ１／２になる。またこのように平均値階層化された第１階層の画像データから第２階層の画像データを生成するときも、（９）式により同様に求めることができる。
【００９３】
第１〜４実施例の階層画像を用いた動き量検出方法では、図１２（Ａ）の平均値階層化しか行わないが、この実施例では（９）式により平均値階層化された画像データを生成すると同時に、図１２（Ｂ）に示すように、平均値階層化された画像データについてアクテイビテイ階層化してアクテイビテイデータを生成する。第２階層のアクテイビテイデータをΔ2 （ｘ、ｙ）とすると、このアクテイビテイデータΔ2 （ｘ、ｙ）は、平均値階層化された画像データからオリジナル画像の対応する画素の差分の絶対値和によつて、次式
【数１０】
で求め、同様に第３階層のアクテイビテイデータΔ3 （ｘ、ｙ）は、次式
【数１１】
で求める。アクテイビテイデータとして、全てオリジナル画像を基底にして求めるようにしたことにより、オリジナル画像に忠実な高周波成分を抽出し得るようになされている。
【００９４】
このようにしてアクテイビテイデータを求めると、その階層構造は図１２（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクテイビテイデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００９５】
ここで例えば図１３に示すようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ15、ｘ16でなるブロツクを第１階層として階層化する場合、平均値階層化の第２階層の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は（９）式に基づいて、次式
【数１２】
によつて求め、さらにこの階層２の２×２の画素を用いて、平均値階層化した第３階層の画像データ中の画素ｚ１も（９）式に基づいて、次式
【数１３】
により求める。
【００９６】
また同様にして、アクテイビテイ階層化してなる階層２のアクテイビテイデータは、平均値階層化された第２階層の画像データの画素ｙ１、ｙ２、ｙ３、ｙ４と第１階層の画像データの画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（10）式に基づいて、次式
【数１４】
により求め、さらにアクテイビテイ階層化してなる第３階層のアクテイビテイデータは、平均値階層化された第３階層の画像データの画素ｚ１と第１階層の画像データの画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（11）式に基づいて、次式
【数１５】
により求める。
【００９７】
上述のようにして求めた平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータを用いて、各階層でブロツクマツチング法による動き量検出を行う。すなわちブロツクマツチングの評価関数は、現フイールドをｔで表すと、次式
【数１６】
で表される。ただし（ｕn 、ｖn ）は、第ｎ階層での動き量を示す。この評価関数Ｅ（Ｙ）n の最小を与えるＶ′n ＝（ｕn 、ｖn ）を求める動き量とする。現在の階層における動き量Ｖn は、次式
【数１７】
という関係から、最終的な動き量を求めることができる。
【００９８】
この実施例の場合の評価関数とは、図１２（Ｂ）のアクテイビテイデータについても（16）式と同様に、次式
【数１８】
となる評価を行い、新たな評価関数Ｅ（Ｇ）n を、次式
【数１９】
とする。ただしｗ1 、ｗ2 は重み係数である。そして評価関数Ｅ（Ｇ）n の最小を与える動き量を求める。なお最下位階層ではアクテイビテイデータが存在しないため、（16）式の評価関数Ｅ（Ｙ）n のみによる評価を行う。
【００９９】
このように平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であつても、もう一方の評価値で正しい検出ができるようになり、各階層における動き量検出の精度が向上する。このように各階層における動き量検出精度が向上すると、（17）式で求める最終的な動き量も検出精度を向上することになる。
【０１００】
ここでこの実施例における動き量検出処理手順ＳＰ０を図１４に示す。すなわちまずステツプＳＰ１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ２でブロツク化されたオリジナル画像を、（９）式に従つて平均値階層化すると共に、（10）式及び（11）式に従つてアクテイビテイ階層化して、例えば第１階層、第２階層及び第３階層の画像データと第２階層及び第３階層のアクテイビテイデータを生成する。
【０１０１】
続くステツプＳＰ３では現在処理済みの階層が最下位階層か否か判断し、否定結果の場合にはステツプＳＰ４で全サーチ領域について探索終了か否か判断し、ここで否定結果を得るとステツプＳＰ５で画像データ及びアクテイビテイデータの現在及び過去のデータを用いて、（16）式及び（18）式について上述した評価関数Ｅ（Ｙ）n 及びＥ（Ｄ）n による評価を行い、ステツプＳＰ４に戻る。
【０１０２】
やがてステツプＳＰ４で肯定結果を得ると、ステツプＳＰ６に移つて所定階層の画像データ及びアクテイビテイデータについて求めた評価関数Ｅ（Ｙ）n 及びＥ（Ｄ）n を用いて（19）式より得られる新たな評価関数Ｅ（Ｇ）n による評価を行つて最適評価値を求めステツプＳＰ７に移る。ステツプＳＰ７では最適評価値より動き量を決定し、次のステツプＳＰ８で動き量を加算して、それぞれ下位階層に適用し、ステツプＳＰ３に戻る。やがてこのステツプＳＰ３で否定結果を得ると、ステツプＳＰ９に移つて当該動き量検出方法の処理手順ＳＰ０を終了する。
【０１０３】
このようにサーチ領域内の探索を、最上位階層から始め平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を（19）式により総合判定しながら最適な動き量を求め、（17）式によつて求めた動き量を下位階層に適用しながら最下位階層まで処理を繰り返し行い、最終的な動き量を求める。これにより平均値階層化の画像データのみより求めた動き量に比較して、各階層の高周波成分でなるアクテイビテイデータより求めた評価値を加味して動き量を求めるようにしたことにより、平均値化による誤判定を有効に防止して高い精度で動きを検出し得る。
【０１０４】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図１５に示すように構成されている。なお図１５では、図１との対応部分に同一符号を付して示している。また図１５における平均値階層化回路３、５、９及び１１は、それぞれ図１の第２階層データ作成回路３、第３階層データ作成回路５、第２階層データ作成回路９及び第３階層データ作成回路１１と同様の構成及び機能を有する。
【０１０５】
動き量検出装置１００は、階層処理部１Ａ及び１Ｂに加えて、階層化したアクテイビテイデータを生成するアクテイビテイ階層処理部１００Ａ及び１００Ｂを有する。動き量検出装置１００はアクテイビテイ階層処理部１００Ａで現フレームの階層アクテイビテイデータを生成すると共に、アクテイビテイ階層処理部１００Ｂで前フレームの階層アクテイビテイデータを生成する。
【０１０６】
アクテイビテイ階層処理部１００Ａのアクテイビテイ階層化回路１０１は、第１階層画像データＳ１n 及び平均値階層化回路３からの第２階層画像データＳ２n を用いて、（10）式の演算によるアクテイビテイ階層化処理を実行して第２階層のアクテイビテイデータＰ２n を求める。このアクテイビテイデータＰ２n はメモリ１０２に格納される。
【０１０７】
アクテイビテイ階層化回路１０３は、第１階層画像データＳ１n 及び平均値階層化回路５からの第３階層画像データＳ３n を用いて、（11）式の演算によるアクテイビテイ階層化処理を実行して第３階層のアクテイビテイデータＰ３n を求める。このアクテイビテイデータＰ３n はメモリ１０４に格納される。
【０１０８】
同様に、前フレームの階層アクテイビテイデータを生成するアクテイビテイ階層処理部１００Ｂでは、アクテイビテイ階層化回路１０５に前フレームの第１階層画像データＳ１n-1 及び平均値階層化回路９からの第２階層画像データＳ２n-1 を受ける。アクテイビテイ階層化回路１０５は、第１階層画像データＳ１n-1 及び第２階層画像データＳ２n-1 を用いて、（10）式に基づいて第２階層アクテイビテイデータＰ２n-1 を求める。このアクテイビテイデータＰ２n-1 はメモリ１０６に格納される。
【０１０９】
アクテイビテイ階層化回路１０７は、第１階層画像データＳ１n-1 及び平均値階層化回路１１からの多重化された第３階層画像データＳ３n-1 を用いて、（11）式に基づいて多重化された第３階層アクテイビテイデータＰ３n-1 を求める。この多重化されたアクテイビテイデータＰ３n-1 はメモリ１０８に格納される。多重化された第３階層アクテイビテイデータＰ３n-1 は、図３（Ｂ）に示す多重化された第３階層画像データＳ３n-1 と対応して、図１６（Ｂ）のように表すことができる。
このように各メモリに格納された階層画像データ及び階層アクテイビテイデータは、動き検出部１００Ｃによつて各階層の所定ブロツク毎に読み出され、上位階層から順に動き量が求められる。
【０１１０】
実際の動き量の検出は最上位階層でなる第３階層において、まずメモリ１２に格納された前フレームの画像データ及びメモリ１０８に格納された前フレームのアクテイビテイデータが候補ブロツクとして、サーチ内で読み出され、第３階層動き量検出回路１１０に与えられる。またメモリ６に格納された現フレームの画像データ及びメモリ１０４に格納された現フレームのアクテイビテイデータが参照ブロツクとして読み出され、第３階層動き量検出回路１１０に与えられる。
【０１１１】
このような第３階層の画像データ及びアクテイビテイデータの読み出しはメモリコントロール回路１０９からのブロツクアドレスに基づいて行われる。メモリコントロール回路１０９は、メモリ１２及び１０８に対してはサーチ範囲内で候補ブロツクを 0.5画素単位で読み出すようなブロツクアドレスを送出する。なお同時点にメモリコントロール回路１０９により読み出されるブロツク位置は、メモリ６とメモリ１０４で同一位置であり、かつメモリ１２とメモリ１０８で同一位置である。
【０１１２】
第３階層動き量検出回路１１０は、入力した画像データ及びアクテイビテイデータを用いて、それぞれ（16）式及び（18）式の評価関数Ｅ（Ｙ）3 及びＥ（Ｄ）3 に基づいて評価値を求める。次にこの評価値に対して、（19）式に示すように、重み係数ｗ1 、ｗ2 に応じて所定の重み付けして加算し、この結果得られる新たな評価関数Ｅ（Ｇ）3 に基づいて動き量を検出する。
【０１１３】
実際上第３階層動き量検出回路１１０及び第２階層動き量検出回路１１２は、図１７に示すように構成されている。ここで第２階層動き量検出回路１１２は第３階層動き量検出回路１１０と同様の構成でなるため第３階層動き量検出回路１１０について説明する。
第３階層動き量検出回路１１０は、メモリ６及び１２からの第３階層画像データＳ３n 及びＳ３n-1 をそれぞれ画像データ評価値算出部１５０のレジスタ３１及び３２に入力する。この画像データ評価値算出部１５０は第１実施例で上述したのと同様の累積加算処理を実行し、レジスタ３６から平均値画像データについての評価値を出力する。かくして（16）式の演算が画像データ評価値算出部１５０で実行される。
【０１１４】
また第３階層動き量検出回路１１０は、メモリ１０４及び１０８からの第３階層アクテイビテイデータＰ３n 及びＰ３n-1 をそれぞれアクテイビテイデータ評価値算出部１５１のレジスタ１３１及び１３２に入力する。このアクテイビテイデータ評価値算出部１５１は、アクテイビテイデータＰ３n 及びＰ３n-1 に対して、画像データ評価値算出部１５０が画像データＳ３n 及びＳ３n-1 に対して行つたのと同様の累積加算処理を実行し、レジスタ１３６からアクテイビテイデータについての評価値を出力する。かくして（18）式の演算がアクテイビテイデータ評価値算出部１５１で実行される。
【０１１５】
画像データ評価値算出部１５０から出力された平均値画像データについての評価値は続く乗算回路１５２において重み係数ｗ1 が乗じられた後加算回路１５４に与えられると共に、アクテイビテイデータ評価値算出部１５１から出力されたアクテイビテイデータについての評価値は続く乗算回路１５３において重み係数ｗ2 が乗じられた後加算回路１５４に与えられる。この結果加算回路１５４では、（19）式に基づく加算演算が実行され、当該加算演算結果が新たな評価値として評価値メモリ３７に与えられる。
【０１１６】
ここで評価値メモリ３７、評価値メモリコントロール回路３８、比較回路４０及びレジスタ４１、４２は図７について第１実施例で上述したものと同様の構成でなり、最終的にレジスタ４２から、アクテイビテイデータの評価値をも加味した新たな評価値の最小を与えるアドレスが出力される。このアドレスが第３階層の動きベクトルとして第２階層のメモリコントロール回路１１１に与えられる。
【０１１７】
メモリコントロール回路１１１は、サーチ範囲が第３階層における動き量を第２階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）になるようなブロツクアドレスをメモリ１０、１０６に送出する。このブロツクアドレスに基づいてメモリ１０、１０６から読み出される第２階層画像データＳ２n-1 及び第２階層アクテイビテイデータＰ２n-1 は第２階層動き量検出回路１１２に送出される。
【０１１８】
第２階層動き量検出回路１１２は第３階層動き量検出回路１１０と同様に、画像データの評価値にアクテイビテイデータの評価値を加味した新しい評価値に基づいて第２階層の動きベクトルを検出し、当該検出結果を第１階層のメモリコントロール回路１１３に送出する。但し、この第２階層の動き量検出では、第３階層のように多重化した画像データ及びアクテイビテイデータがないため、 0.5画素単位ではなく、１画素単位でブロツクマツチングを行う。
【０１１９】
メモリコントロール回路１１３は、サーチ範囲が第２階層における動き量を第１階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）になるようなブロツクアドレスをメモリ８に送出する。このブロツクアドレスに基づいてメモリ８から読み出される第１階層画像データＳ１n-1 は第１階層動き量検出回路１１４に送出される。
【０１２０】
第１階層動き量検出回路１１４は、図７について第１実施例で上述した動き量検出回路１４と同様の構成でなり、画像データの評価値のみを用いて動き量を検出する。第１階層動き量検出回路１１４は、この第１階層における動き量と、先に求めた第２階層における動き量を第１階層のスケールに変換したものとを足し合わせ、これを第１階層における最終的な動き量ＭＶとして出力端子を介して出力する。
【０１２１】
以上の構成において、第５実施例の動き量検出装置１００は、平均値演算による階層画像データＳ２n 、Ｓ２n-1 、Ｓ３n 、Ｓ３n-1 に加えて、画像の過渡成分を反映した階層アクテイビテイデータＰ２n 、Ｐ２n-1 、Ｐ３n 、Ｐ３n-1 を生成する。さらに最上位階層である第３階層の画像データＳ３n-1 及びアクテイビテイデータＰ３n-1 は多重化したデータを生成する。
【０１２２】
動き量検出装置１００は、第３階層において、多重化した画像データＳ３n-1 及びアクテイビテイデータＰ３n-1 から候補ブロツクを切り出し、かつ画像データＳ３n 及びアクテイビテイデータＰ３n から参照ブロツクを切り出して、ブロツクマツチングによつて総合判定することにより、この階層での動き量を求める。これにより平均値階層画像のみを用いる場合に比して、格段に検出精度を向上させることができる。
【０１２３】
動き量検出装置１００は、第２階層において、画像データＳ２n-1 及びアクテイビテイデータＰ２n-1 から候補ブロツクを第３階層での動き量の分動き補償して切り出し、かつ画像データＳ２n 及びアクテイビテイデータＰ２n から参照ブロツクを切り出して、ブロツクマツチングによつて総合判定してこの階層の動き量を求める。この結果第２階層での動き量の検出精度も向上させることができる。動き量検出装置１００は、最後に第２階層での動き分動き補償して第１階層の動き量を求め、これを最終的な動き量ＭＶとして出力する。
【０１２４】
以上の構成によれば、多重化した最上位階層データＳ３n-1 を生成するのに加えて、階層化したアクテイビテイデータＰ２n 、Ｐ２n-1 、Ｐ３n 、Ｐ３n-1 を生成し、各階層において階層画像データ及び階層アクテイビテイデータをブロツクマツチングによつて総合判定して動き量を求めるようにしたことにより、最終的なオリジナル画像についての動き量の検出精度を一段と向上し得る。
【０１２５】
（６）他の実施例
（６−１）なお上述の実施例においては、オリジナル画像より平均値階層化で３階層の画像データを作成した場合について述べたが、階層数はこれに限らず２階層や４階層以上でも、上述の実施例と同様の効果を得ることができる。また平均値階層化する際、下位階層の２×２のブロツクの平均値をとることにより上位階層の１ブロツクを生成する場合について述べたが、ブロツク範囲はこれに限らず、また平均値に限らず例えばローパスフイルタ等で平滑化処理することにより上位階層データを生成するようにしても良い。
【０１２６】
（６−２）また上述の実施例においては、ブロツクマツチングの評価値を求めるために、（６）式又は（16）式でなる評価関数によつて、両ブロツクの差分の絶対値和を用いた場合について述べたが、その他ブロツクマツチングの評価関数としては、差分の２乗和や相関係数等を用いるようにしても上述の実施例と同様の効果を得ることができる。
【０１２７】
（６−３）また上述の実施例においては、多重化した上位階層データを作成することにより、上位階層において 0.5画素単位の動き量検出を行う場合について述べたが、 0.5画素単位の動き量検出に限らず、例えば0.25画素単位の動き量検出等、更に細かい単位で動き量検出をする場合にも適用することができる。
また上位階層を多重化するために用いる下位階層データの選択は、上述の実施例の場合に限らず、要は下位階層データをオーバーラツプするように選択することにより多重化した上位階層データを作成するようにすれば良い。
【０１２８】
（６−４）また上述の実施例においては、第３階層画像データＳ３n-1 のみを多重化する場合について述べたが、本発明はこれに限らず、第１階層の画像データをオーバーラツプして選択することにより第２階層画像データも多重化するようにしても良い。
【０１２９】
（６−５）また上述の第５実施例においては、平均値階層化回路１１によつて第１実施例のように通常の第３階層の画素に対して縦方向、横方向及び斜め方向に隣接する多重化した画素を作成する場合について述べたが、本発明はこれに限らず、第２実施例のように斜め方向にのみ多重化した画素を作成するようにしても良い。
【０１３０】
また第５実施例において、第３実施例のような２段階の処理を導入するようにしても良い。このようにすれば、第５実施例における計算量を有効に低減することができる。
さらに第５実施例において、第４実施例のように、参照ブロツクとなる現フレームを多重化すると共に、注目するブロツク毎に階層画像を作成するような方法を導入するようにしても良い。このようにすれば、第５実施例における計算量及びメモリ使用量を低減することができる。
【０１３１】
（６−６）また上述の第５実施例においては、アクテイビテイ階層化する際に差分の絶対値和の平均値を用いた場合について述べたが、標準偏差や分散値を用いてアクテイビテイ階層化するようにしても良い。さらにラプラシアンフイルタを前処理に用いて画像の高周波成分を抽出した後に、アクテイビテイ階層化するようにしても良い。さらにオリジナル画像の最大値と最小値の差で定義されるダイナミツクレンジを用いて、アクテイビテイ階層化するようにしても良い。
【０１３２】
【発明の効果】
上述のように本発明によれば、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、第２の時点で入力された入力画像に基づいて、解像度の高い下位階層の画像データから互いにオーバーラツプした画素を選択して縮小することにより解像度の低い多重化された上位階層の画像データを形成し、階層化された画像データ及び多重化して階層化された画像データについて、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出したことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度の向上し得る動き量検出装置を実現できる。
【０１３３】
また本発明によれば、これに加えて、第１の時点の入力画像及び第２の時点の入力画像に対応して、画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、このアクテイビテイデータを用いたブロツクマツチングでの評価値も参照して動きベクトルを検出するようにしたことにより、一段と動き量の検出精度を向上し得る。
【図面の簡単な説明】
【図１】本発明による動き量検出装置の一実施例の回路構成を示すブロツク図である。
【図２】ｎフレームの第２階層画像データ作成の説明に供する略線図である。
【図３】ｎフレームと（ｎ−１）フレームの第３階層画像データの説明に供する略線図である。
【図４】（ｎ−１）フレームの第２階層画像データ作成の説明に供する略線図である。
【図５】エツジと階層化のブロツク境界が一致している場合の説明に供する略線図である。
【図６】エツジと階層化のブロツク境界が一致してしない場合の説明に供する略線図である。
【図７】動き量検出回路の回路構成を示すブロツクである。
【図８】第１実施例の第３階層画像データの説明に供する略線図である。
【図９】第２実施例の第３階層画像データの説明に供する略線図である。
【図１０】第３実施例の第３階層画像データの説明に供する略線図である。
【図１１】第３実施例の回路構成を示すブロツク図である。
【図１２】第５実施例による階層画像の説明に供する略線図である。
【図１３】第５実施例による階層画像の説明に供する略線図である。
【図１４】第５実施例による動き量検出処理手順を示すフローチヤートである。
【図１５】第５実施例による動き量検出装置の構成を示すブロツク図である。
【図１６】ｎフレームと（ｎ−１）フレームの第３階層アクテイビテイデータの説明に供する略線図である。
【図１７】第５実施例の動き量検出装置における動き量検出回路の構成を示すブロツク図である。
【符号の説明】
１、１００……動き量検出装置、１Ａ、１Ｂ……階層処理部、１Ｃ、１００Ｃ……動き検出部、３、９……第２階層データ作成回路、５、１１……第３階層データ作成回路、１４、１１０……第３階層動き量検出回路、１６、１１２……第２階層動き量検出回路、１８、１１４……第１階層動き量検出回路、１００Ａ、１００Ｂ……アクテイビテイ階層処理部、１５０……画像データ評価値算出部、１５１……アクテイビテイデータ評価値算出部、Ｓ１n 、Ｓ１n-1 ……第１階層画像データ、Ｓ２n 、Ｓ２n-1 ……第２階層画像データ、Ｓ３n 、Ｓ３n-1 ……第３階層画像データ、Ｐ２n 、Ｐ２n-1 ……第２階層アクテイビテイデータ、Ｐ３n 、Ｐ３n-1 ……第３階層アクテイビテイデータ。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段（図１、図８〜図１１、図１５及び図１７）
作用（図１、図８〜図１１、図１５及び図１７）
実施例
（１）第１実施例（図１〜図８）
（２）第２実施例（図９）
（３）第３実施例（図１０及び図１１）
（４）第４実施例（図１）
（５）第５実施例（図１２〜図１７）
（６）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は動き量検出装置及び動き量検出方法に関し、特に画像の動きを検出する際に時間的に異なる２つの画像データをそれぞれ階層化してから動き量を検出するものに適用し得る。
【０００３】
【従来の技術】
従来、動画像の処理として、動き量（動きベクトル）すなわち時間的に異なる画像中の物体の動き方向と大きさ（又は速さ）を用いるものがある。例えば画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フイルタによるテレビジヨン雑音低減装置における動きによるパラメータ制御等に動き量が用いられている。この画像の動き量を求める動き量検出方法として、ブロツクマツチング法が用いられている（特公昭54-124927 号公報）。
【０００４】
このブロツクマツチング法では、まず１つの画面を適当な数画素からなるブロツクに分割する。続いてこのようにブロツク化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロツク化されてなるサーチ領域との間で、所定の評価関数を用いて画素単位で評価し、この評価値を最小とする最適値を求めることにより、２つのブロツク化された画像データ間の動き量を検出する。これにより高い精度で画像の動き量を検出し得るようになされている。
【０００５】
【発明が解決しようとする課題】
ところがブロツクマツチング法においては、検出対象のブロツクの全ての画素に対して、検出範囲となる全てのサーチ領域をくまなくサーチし、その差分を求める必要がある。このため動き量を検出する計算量が大きくなり、装置自体が大型化したり、演算時間が長くなる問題があつた。このような問題を解決するため、それぞれ異なる解像度でなる複数の階層画像を作成し、この階層画像を用いてブロツクマツチング法で動き量を検出するようになされた動き量検出方法が提案されている（特願平5-2448814 号）。
【０００６】
この動き量検出方法では、まずオリジナルの画像データ（以下これを第１階層と呼ぶ）を、平均化やローパスフイルタ処理等により平均値階層化して、画素数を低減した画像データ（以下これを第２階層と呼ぶ）を作成する。次に作成した第２階層の画像データで大まかな動き量を検出し、その動き量に基づいて第１階層の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない第３階層、第４階層、……の画像データを作成することもできる。
【０００７】
このような動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわち上位階層の画像データほどブロツクのサイズとサーチ領域が小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロツクサイズ自体は通常のブロツクマツチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、サーチ領域を小さくすることができるため、演算量を削減することができる。
【０００８】
ところがこの動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があつた。実際上この動き量検出方法では、まず画像の粗い上位階層においてブロツク毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出するため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与える。すなわち上位階層の画像データは、平均値階層化の処理でブロツクサイズを小さくするため、画像の特徴量が最下位階層のオリジナル画像と異なつてくる。特にエツジ成分は平均値階層化により失われることになるため、平均値階層化された画像データにおける動き量とオリジナル画像により動き量の対応関係にずれが生じる場合がある。
【０００９】
実際上下位階層で動き量を求める場合には、上位階層での動き量の結果を反映させるため、もし対応関係のずれ量が大きくサーチ領域以内でカバーできなかつたときには誤動作となる。このように平均値階層化された画像データによる動き量検出方法では、平均値階層化による情報量の欠落により、誤動作が起きる可能性が大きくなる問題がある。また階層が上位になる程ブロツクサイズが小さくなることから、平均値階層化された画像データ上での動き量検出は、オリジナル画像に対する動き量検出の分解能が低下して誤動作が発生する問題もある。
【００１０】
本発明は以上の点を考慮してなされたもので、階層化された画像データを用いてブロツクマツチング法で動き量を検出する際に、動き量の検出精度を向上し得る動き量検出装置及び動き量検出方法を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出方法において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、画像階層化ステツプ及び上位階層多重化ステツプで階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、第１の時点の入力画像の画像データにおける参照ブロツクと、第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出ステツプとを設けるようにする。
【００１２】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置方法において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、画像階層化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化ステツプと、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、上位階層多重化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化ステツプと、画像階層化ステツプ及び上位階層多重化ステツプで階層化された画像データの対応する階層同士で、第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を求める画像データ評価値算出ステツプと、第１のアクテイビテイ階層化ステツプ及び第２のアクテイビテイ階層化ステツプで階層化されたアクテイビテイデータの対応する階層同士で、参照ブロツクのアクテイビテイデータと、複数の候補ブロツクのアクテイビテイデータとの間でそれぞれ評価値を求めるアクテイビテイデータ評価値算出ステツプと、画像データ評価値算出ステツプで求めた評価値とアクテイビテイデータ評価値算出ステツプで求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出ステツプとを設けるようにする。
【００１３】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、画像階層化手段及び上記上位階層多重化手段で階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出手段とを設けるようにする。
【００１４】
また本発明においては、解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、画像階層化手段により形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化手段と、第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、上位階層多重化ステツプにより形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化手段と、画像階層化手段及び上位階層多重化手段で階層化された画像データの対応する階層同士で、第１の時点の入力画像の画像データにおける参照ブロツクと、第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を求める画像データ評価値算出手段と、第１のアクテイビテイ階層化手段及び第２のアクテイビテイ階層化手段により階層化されたアクテイビテイデータの対応する階層同士で、参照ブロツクのアクテイビテイデータと、複数の候補ブロツクのアクテイビテイデータとの間でそれぞれ評価値を求めるアクテイビテイデータ評価値算出手段と、画像データ評価値算出手段で求めた評価値とアクテイビテイデータ評価値算出手段で求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出手段とを設けるようにした。
【００１５】
また本発明においては、上位階層多重化手段１Ｂは、互いに縦方向及び横方向にオーバーラツプした下位階層の画像データの画素を選択することにより、格子状に配列した多重化した上位階層の画像データの画素を形成するようにする。
【００１６】
また本発明においては、上位階層多重化手段１Ｂは、縦方向及び横方向に対して互いに斜め方向にオーバーラツプした下位階層の画像データの画素を選択することにより、縦方向及び横方向に対して斜め方向に配列した多重化した上位階層の画像データの画素を形成するようにする。
【００１７】
また本発明においては、動き量検出装置１又は１００は、上位階層多重化手段１Ｂにより多重化しない上位階層の画像データを形成すると共に、動きベクトル検出手段１Ｃ又は１００Ｃにより、画像階層化手段１Ａで階層化された画像データＳ２n 、Ｓ３n 及び上位階層多重化手段１Ｂで階層化された多重化しない画像データについて、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出した後、上位階層多重化手段１Ｂにより、動きベクトル検出手段１Ｃ又は１００Ｃの検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成すると共に、動きベクトル検出手段１Ｃ又は１００Ｃにより、画像階層化手段１Ａで階層化された画像データ２n 、Ｓ３n 及び上位階層多重化手段１Ｂで多重化した画像データＳ２n-1 、Ｓ３n-1 について、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出するようにする。
【００１８】
また本発明においては、上位階層多重化手段１Ｂは、動きベクトル検出手段１Ｃ又は１００Ｃにおいてブロツクマツチングを行う注目ブロツク毎に多重化した上位階層の画像データＳ３n-1 を形成するようにする。
【００１９】
さらに本発明においては、動き量検出装置１又は１００は、異なる時点の入力画像データＳ１n 及びＳ１n-1 のうち現在又は現在に近い時点の入力画像Ｓ１n に対して上位階層多重化手段１Ｂにより多重化した上位階層画像データＳ２n 、Ｓ３n を形成すると共に、当該上位階層多重化手段１Ｂに入力した入力画像Ｓ１n に対して過去の入力画像Ｓ１n-1 を画像階層化手段１Ａに入力することにより上位階層多重化手段１Ｂにより多重化した上位階層画像データＳ２n 、Ｓ３n に対して過去の解像度の異なる複数階層の階層画像データＳ２n-1 、Ｓ３n-1 を形成するようにする。
【００２０】
【作用】
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、第２の時点で入力された入力画像に基づいて、解像度の高い下位階層の画像データから互いにオーバーラツプした画素を選択して縮小することにより解像度が低く、かつ多重化された上位階層の画像データを形成したことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度を向上し得る。
【００２１】
またこれに加えて、第１の時点の入力画像及び第２の時点の入力画像に対応して、画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、このアクテイビテイデータを用いたブロツクマツチングでの評価値も参照して動きベクトルを検出するようにしたことにより、一段と動き量の検出精度を向上し得る。
【００２２】
また第１の処理として、上位階層多重化ステツプにおいて、多重化しない上位階層の画像データを形成し、動きベクトル検出ステツプにおいて、動きベクトルを検出するした後、第２の処理として、上位階層多重化ステツプにおいて、動きベクトル検出ステツプの検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成し、動きベクトル検出ステツプにおいて、動きベクトルを検出するようにしたことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度を向上し得ると共に、計算量を格段に低減することができる。
【００２３】
また上位階層多重化ステツプで、動きベクトル検出ステツプにおいてブロツクマツチングを行う注目ブロツク毎に多重化した上位階層の画像データを形成するようにしたことにより、計算量及びメモリ使用量を低減することができる。
【００２４】
さらに異なる時点の入力画像データのうち現在又は現在に近い時点の入力画像に対して上位階層多重化ステツプを施すと共に、当該上位階層多重化ステツプを施した入力画像に対して過去の入力画像に対して画像階層化ステツプを施すようにしたことにより、計算量及びメモリ使用量を格段に低減することができる。
【００２５】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）第１実施例
図１において、１は全体として動き量検出装置を示し、階層処理部１Ａによつて現フレームの画像データについて解像度の異なる複数の階層データを作成すると共に、階層処理部１Ｂによつて現フレームに対して１フレーム分過去の画像データについて解像度の異なる複数の階層データを作成する。
【００２７】
動き量検出装置１は、階層処理部１Ａ及び１Ｂで作成した異なる時点の階層データを用いて、動き検出部１Ｃによつて各階層毎にブロツクマツチングの手法により動き量を求める。このとき動き検出部１Ｃは上位階層から順に動き量を求め、かつ上位階層で求めた動き量を基準にして下位階層での動き量を求めることにより、少ない演算量で最終的な第１階層の動きベクトルＭＶを求める。
【００２８】
これに加えて動き量検出装置１においては、後述するように上位階層データとして多重化したデータを作成し、この多重化した上位階層データを用いて上位階層での動き量を求めることにより、動きベクトルの検出精度を向上し得るようになされている。
【００２９】
実際上動き量検出装置１は、入力端子からコンポーネント信号の輝度信号を第１階層画像データ（オリジナルデータ）Ｓ１n として入力し、この第１階層画像データＳ１n を階層処理部１Ａのメモリ２に供給する。
メモリ２の出力信号は第２階層データ作成回路３に供給され、第２階層データ作成回路３は第１階層画像データＳ１n から第２階層画像データＳ２n を作成する。例えば、第１階層画像データＳ１n の２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２n の１画素を作成する。
【００３０】
すなわち第２階層データ作成回路３は、図２に示すように、ｎフレームにおける第１階層画像データＳ１n の各画素をｘn(a,b)とした場合、第２階層画像データＳ２の各画素ｙn(a,b)を、次式
【数１】
【００３１】
第２階層データ作成回路３は供給されたｎフレームデータ全体に亘つて第２階層画像データＳ２n を作成する。第２階層データ作成回路３の出力信号は、メモリ４に供給される。メモリ４の出力信号は第３階層データ作成回路５に供給され、第３階層データ作成回路５は第２階層画像データＳ２n から第３階層画像データＳ３n を作成する。例えば第２階層画像データＳ２n の２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３n の１画素を作成する。
【００３２】
すなわち第３階層データ作成回路５は、図２（Ｂ）に示すようなｎフレームにおける第２階層画像データＳ２n の各画素ｙn(a,b)から、図３（Ａ）に示すような第３階層画像データＳ３n の各画素ｚn(a,b)を、次式
【数２】
第３階層データ作成回路５は供給されたｎフレームのデータ全体に亘つて第３階層データＳ３n を作成する。第３階層データ作成回路５の出力信号はメモリ６に供給される。
【００３３】
一方、入力画像データでなる第１階層画像データＳ１n は階層処理部１Ｂの遅延回路（ＤＬ）７にも供給される。遅延回路７は第１階層画像データＳ１n を１フレーム分蓄える。従つて遅延回路７は現フレームデータに比べて１フレーム過去の第１階層画像データＳ１n-1 をメモリ８に送出する。
メモリ８から出力される１フレーム過去の第１階層画像データＳ１n-1 は第２階層データ作成回路９に供給される。第２階層データ作成回路９は上述した第２階層データ作成回路３と同様の構成でなり、供給された１フレーム過去の第１階層画像データＳ１n-1 から１フレーム過去の第２階層画像データＳ２n-1 を作成する。例えば図４に示すように、（ｎ−１）フレームにおける第１階層画像データＳ１n-1 の各画素をｘn-1(a,b)とした場合、第２階層画像データＳ２n-1 の各画素ｙn-1(a,b)を、次式
【数３】
【００３４】
第２階層データ作成回路９は供給された１フレーム分過去の画像データ全体に亘つて第２階層画像データＳ２n-1 を作成する。第２階層データ作成回路９の出力信号はメモリ１０に供給される。メモリ１０の出力信号は第３階層データ作成回路１１に供給され、第３階層データ作成回路１１は前フレームの第２階層画像データＳ２n-1 から前フレームの第３階層画像データＳ３n-1 を作成する。
【００３５】
すなわち第３階層データ作成回路１１は、図４（Ｂ）に示すような（ｎ−１）フレームにおける第２階層画像データＳ２n-1 の各画素をｙn-1(a,b)とした場合、図３（Ｂ）に示すような（ｎ−１）フレームの第３階層画像データの各画素ｚn-1(a,b)を、次式
【数４】
【００３６】
これに加えて第３階層データ作成回路１１は、（４）式で求めた第３階層の画像データｚn-1(a,b)に対して位相の異なる第３階層画像データも作成するようになされている。すなわち第３階層データ作成回路１１は、図３（Ｂ）に示すように、通常の第３階層画像データの各画素に縦方向及び横方向に隣接する画素、例えば画素ｚn-1(1.5,1)、ｚn-1(1,1.5)、ｚn-1(1.5,1.5)を、次式
【数５】
【００３７】
すなわち第３階層データ作成回路１１は、通常の第３階層画像データ（ｚn-1 (1、1) 、ｚn-1 (1、2) 、ｚn-1 (2、1) 、ｚn-1 (2、2) 等）を作成する際に用いた第２階層画像データＳ２n-1 の画素とオバーラツプするような第２階層画像データＳ２n-1 の画素を選択することにより、通常の第３階層画像データと位相の異なる第３階層画像データ（ｚn-1(1,1.5)、ｚn-1(1.5,1)、ｚn-1(1.5,1.5)等）をも作成する。
【００３８】
従つて第３階層データ作成回路１１は、供給された前フレームのフレームデータ全体に亘つて通常の第３階層画像データ及びこれと位相の異なる第３階層画像データを作成する。かくして多重化された第３階層画像データＳ３n-1 が作成される。第３階層データ作成回路１１の出力信号はメモリ１２に供給される。
【００３９】
この実施例の場合、動き量検出部１Ｃは現フレームのブロツクを固定する（以下これを参照ブロツクと呼ぶ）と共に、前フレームのブロツクを所定のサーチ範囲内で移動させて（以下これを候補ブロツクと呼ぶ）、参照ブロツクと最も似通つた候補ブロツクが検出された位置に基づいて動きベクトルを検出するようになされている。
【００４０】
実際上動き検出部１Ｃは先ず、メモリ６に格納された現フレームの第３階層画像データＳ３n と、メモリ１２に格納された前フレームの多重化された第３階層画像データＳ３n-1 とを、メモリコントロール回路１３により読み出す。このときメモリコントロール回路１３からは、今ベクトルを算出しようとするブロツクアドレスがメモリ６に送出され、この結果メモリ６からは第３階層画像データＳ３n の所定ブロツクが参照ブロツクとして第３階層動き量検出回路１４に出力される。
【００４１】
一方、メモリコントロール回路１３からメモリ１２には、メモリ６へのブロツクアドレスに対して所定のサーチ範囲内で位置を移動させたブロツクアドレスが送出され、この結果メモリ１２からは与えられたブロツクアドレスに対応する第３階層データＳ３n-1 が第３階層動き量検出回路１４に出力される。
第３階層動き量検出回路１４は、ブロツクマツチング法により第３階層における動きベクトルを求める。すなわち第３階層動き量検出回路１４は、先ずｎフレームと（ｎ−１）フレームの対応するブロツク同志の画素間の絶対値差分を積算し、その積算値をパラメータとして、その積算値が最小となるものを見つけることにより、第３階層における動き量を検出する。
【００４２】
換言すれば、第３階層動き量検出回路１４は、ｎフレームと（ｎ−１）フレームにおいて空間的に対応する位置に設定されたＭ画素×Ｎラインの大きさのブロツクについて、ｎフレームにおけるブロツクと、（ｎ−１）フレームにおいてｎフレームのブロツクに対して空間的に対応する位置から所定のサーチ範囲だけ位置的にオフセツトをはかせたブロツクとの間でパターンマツチングを行い、最も似通つたブロツクを検出する。
【００４３】
このときブロツク内の対応画素間の差分絶対値和を評価値として使用する。具体的には、ｎフレームの第３階層の各画素レベルをｚn(i,j)、（ｎ−１）フレームの第３階層の各画素レベルをｚn-1(i,j)、第３階層におけるブロツクサイズを、Ｐ画素×Ｑラインとすると、座標（ｘ，ｙ）における評価値Ｅ（ｘ，ｙ）を、次式、
【数６】
【００４４】
ここで従来の階層構造を利用したブロツクマツチング法においては、オリジナルデータのサーチ範囲を（±16，±16）とした場合、第３階層におけるサーチ領域は（±4 ，±4 ）となることにより、オフセツト座標（ｘ，ｙ）を、それぞれ−４から＋４まで１ずつ変化させて、評価値を算出し、動き量を決定している。
【００４５】
これに対して、この実施例の動き量検出装置１においては、第３階層画像において、従来のブロツクマツチング法のように１画素精度の動き量検出を行うのではなく、 0.5画素精度で動き量を検出するようになされている。すなわち動き量検出装置１においては、オフセツト座標（ｘ，ｙ）を、それぞれ−４から＋４まで 0.5ずつ変化させて、評価値を算出し、動き量を決定する。
【００４６】
具体的には、例えば第３階層におけるブロツクサイズが２×２であり、ｎフレームにおけるその要素が、ｚn(1,1)、ｚn(2,1)、ｚn(1,2)、ｚn(2,2)であつた場合、オフセツト座標（ｘ，ｙ）における評価値を、次式、
【数７】
これにより動き量検出装置１においては、上位階層での情報量の低下によつて生じる動き量の検出誤差を低減し得るようになされている。
【００４７】
ここで例えば図５に示すように、第１階層画像（オリジナル画像）において４画素幅の白黒のストライプ画像があつたとすると、このストライプ画像のエツジが階層ブロツクマツチング法における階層化のブロツク境界と一致している場合、第３階層においては１画素幅の白黒のストライプ画像となり情報は十分残つている。
【００４８】
しかしながら図６に示すように、この第１階層画像が１フレーム後に２画素分だけ横に移動した場合、階層化のブロツク境界がストライプの丁度中心にくるため、従来の階層ブロツクマツチング法では第３階層においてストライプが完全に失われたグレーの単色画像となり、この場合には第１階層の情報が完全に失われてしまう。このように従来の階層ブロツクマツチング法における上位階層の動き量検出においては、画像の動きに応じてブロツク化の位相が変化した場合、階層化後の縮退した画像においてその詳細が全く変化してしまい、正確なパターンマツチング、すなわち正確な動き量を算出することが不可能な状態になることがあつた。
【００４９】
これに対して実施例の動き量検出装置１においては、下位階層の画像データをオーバーラツプさせて選択して、多重化した上位階層の画像データＳ３n-1 を作成するようにしたことにより、画像の動きに応じてブロツク化の位相が変化した場合でも、上位階層での情報量の減少を抑制でき、動き量の検出精度を向上し得る。
【００５０】
ここで第３階層動き量検出回路１４は、図７に示すように構成されている。第３階層動き量検出回路１４には、メモリコントロール回路１３からのブロツクアドレスに応じてメモリ６から読み出された第３階層画像データＳ３n が動き量を
求める基準となる参照ブロツクとして入力される。
【００５１】
また第３階層動き量検出回路１４には、メモリコントロール回路１３からのブロツクアドレスに応じてサーチ範囲内で 0.5画素ずつ移動した位置から切り出された第３階層画像データＳ３n-1 が候補ブロツクとして入力される。
【００５２】
例えば第３階層におけるサーチ範囲が（±4 ，±4 ）であつた場合、メモリ１２からは((4+4)×2+1)×((4+4)×2+1)のブロツクデータが入力される。因に、通常の１画素オフセツト（１画素精度）のサーチでは、（±4 ，±4 ）のサーチ範囲では、(4×2+1)×(4×2+1)のブロツクデータが出力される。メモリ６から与えられたブロツクデータはレジスタ３１を介して加算器３３に与えられると共に、メモリ１２から与えられたブロツクデータはレジスタ３２を介して加算器３３に与えられる。
【００５３】
加算器３３では、第３階層画像データＳ３n のブロツクデータと、それに対応する第３階層画像データＳ３n-1 のブロツクデータとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路３４で絶対値化された後、加算器３５及びレジスタ３６で累積加算される。このようにして（７）式の演算が実行され、この結果得られる評価値（累積加算値）が評価値メモリ３７に入力される。
【００５４】
従つて評価値メモリ３７には、候補ブロツクを 0.5画素単位で移動させた際の各移動位置に対応する評価値が格納された、所謂評価値テーブルが形成される。評価値メモリ３７に格納された各評価値は、評価値メモリコントロール回路３８によつて指定されたアドレスに従つて順次読み出され、比較器４０及びレジスタ４１に与えられる。
【００５５】
比較器４０は他方の入力と評価値メモリ３７より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ４１及び４２の内容を更新する信号を送出する。このレジスタ４２には、評価値メモリ３７を読み出すアドレスが順次設定される。このようにして順次評価値メモリ３７に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ４２より送出され、これが第３階層の動きベクトルとして第２階層のメモリコントロール回路１５に与えられる。
【００５６】
メモリコントロール回路１５は、図１に示すように、第２階層画像データＳ２n が格納されているメモリ４から今動き量を検出しようとしている注目ブロツクの画素データを読み出すためのブロツクアドレスを出力する。この結果メモリ４から読み出された画素データが第２階層動き量検出回路１６に与えられる。
一方、メモリコントロール回路１５は、第２階層画像データＳ２n-1 が格納されているメモリ１０にブロツクアドレスを出力する。このブロツクアドレスは、メモリ１０から、メモリ４から読み出される第２階層画像データＳ２n のブロツクに対応する画像データを、所定のサーチ範囲内で１画素単位のオフセツトをもつて読み出すためのものである。この際、サーチ範囲は第３階層動き量検出回路１４で得られた第３階層における動き量を、第２階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）とする。
【００５７】
第２階層動き量検出回路１６は第３階層動き量検出回路１４（図７）と同様の構成でなり、メモリ４及び１０から供給された対応するブロツク同士の、差分の絶対値の累積加算値を算出し、その最小となるオフセツト量を第２階層における動き量とする。第２階層動き量検出回路１６は、この第２階層における動き量と、先に求めた第３階層における動き量を第２階層のスケールに変換したものとを足し合わせ、これを第２階層における動き量としてメモリコントロール回路１７に出力する。
【００５８】
メモリコントロール回路１７は、第１階層画像データＳ１n が格納されているメモリ２から今動き量を検出しようとしている注目ブロツクの画素データを読み出すためのブロツクアドレスを出力する。この結果メモリ２から読み出された画像データが第１階層動き量検出回路１８に与えられる。
一方、メモリコントロール回路１７は、第１階層画像データＳ１n-1 が格納されいるメモリ８にブロツクアドレスを出力する。このブロツクアドレスは、メモリ８から、メモリ２から読み出される第１階層画像データＳ１n のブロツクに対応する画素データを、所定のサーチ範囲内で１画素単位のオフセツトをもつて読み出すためのものである。この際、サーチ範囲は第２階層動き量検出回路１６で得られた第２階層における動き量を、第１階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）とする。
【００５９】
第１階層動き量検出回路１８も第３階層動き量検出回路１４（図７）と同様の構成でなり、メモリ２及び８から供給された互いに対応するブロツク同士の、差分の絶対値の累積加算値を算出し、その最小となるオフセツト量を第１階層における動き量とする。第１階層動き量検出回路１８は、この第１階層における動き量と、先に求めた第２階層における動き量を第１階層のスケールに変換したものとを足し合わせ、これを第１階層における最終的な動き量とする。
このようにして算出された第１階層における動き量は、検出目的である動き量ＭＶであり、動き量検出装置１はこのように算出された注目ブロツクの動き量を出力端子を介して出力する。
【００６０】
以上の構成において、動き量検出装置１は最上位階層である第３階層画像データを求める際、第２階層画像データの複数の画素の平均値をとることにより図８の「◎」印で示すような通常の平均値画素を作成するのに加えて、「◎」印で示す通常の平均値画素を作成する際に用いた第２階層画像データの画素にオーバーラツプする第２階層画像データの画素を選択してこれを平均値化することにより、図８の「○」印で示す平均値画素を作成する。
【００６１】
動き量検出装置１は、この「◎」及び「○」印で示す平均値画素を用いて、従来の１画素精度ではなく、より正確な 0.5画素精度で第３階層での動き量を検出する。この結果階層ブロツクマツチング法により生じる階層間での位相の変動を低減し得ることにより、第３階層での動き量の誤検出を低減することができる。これにより最終的な第１階層での動き量の検出精度を格段的に向上し得る。
【００６２】
因に、第３階層をこのように多重化した構造とし、 0.5画素精度の動き量を検出すると、第３階層の動き量検出に関しては１画素精度の動き量検出を行つた場合と比して４倍弱の計算量が必要となる。しかしながら、第３階層はブロツクサイズが、第２階層の１／４であるため、第３階層における計算量が増大しても、全体的な計算量はそれほど増大しない。
【００６３】
以上の構成によれば、下位の階層画像データから互いにオーバーラツプした画素を選択して平均値をとることにより多重化した上位階層画像データを作成し、、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を格段的に向上し得る動き量検出装置１を実現することができる。
【００６４】
（２）第２実施例
上述した第１実施例では、第２階層画像データの画素から互いにオーバーラツプした画素を選択して平均値化することにより図８の「◎」印で示す通常の第３階層の画素に加えて、この「◎」印で示す画素の周囲に、縦、横及び斜め方向に隣接する「○」印の画素を作成したが、この第２実施例では、図９に示すように、第２階層画像データの画素から互いにオーバーラツプした画素を選択して平均値化することにより「◎」印で示す通常の第３階層の画素に加えて、この「◎」印で示す画素の斜め方向に隣接する「○」印の画素を作成する。
【００６５】
すなわちこの第２実施例では、第１実施例で作成したｚn-1(1,1.5)やｚn-1(1.5,1)等の画素データは作成せずに、ｚn-1(1,1)やｚn-1(1.5,1.5)等の画素データのみを平均値演算により求める。
第２実施例の動き量検出装置では、このように作成した第３階層画像データＳ３n-1 を用いて上述した第１実施例と同様の動き量検出を行う。これにより第２実施例の動き量検出装置においては、第３階層における計算量の増大を、通常の階層ブロツクマツチング法と比較して２倍弱に抑えることができる。
【００６６】
ところで図６に示すように、例えば第１階層画像データにおいて横方向に２画素の動きが生じた場合は、第３階層における動き量検出において、極端な画像縮退が生じることが多く、正しい動き量を求めることが困難になる場合が多い。
しかしながら、縦方向の動きが無い場合は、縦方向に関しては画像縮退が生じないので、その方向の動き量は正しく求まる場合が多い。また縦方向に２画素の動きが生じた場合も、縦方向に関しては極端な画像縮退が生じることが多く、正しい動き量を求めることが困難になる場合が多いが、この場合も横方向に動きが無い場合は、そちらの方向の動き量は正しく求まることも多い。従つて縦又は横方向のどちらか一方のブロツク位相が大きくずれた場合は、ある程度正しい動き量が求まる場合が多い。
【００６７】
これに対して、縦及び横の双方に２画素（±４画素）の動きがあつた場合、縦横の双方で極端な画像縮退が生じることが多いので、誤つた動き量が求まる可能性が高くなる。
これを考慮して第２実施例では、通常の階層ブロツクマツチング方式に加えて、縦横の双方に２画素（±４画素）の動きがある位相の動き量検出のみを行う。
【００６８】
すなわち図９について説明すると、サーチ範囲が水平、垂直共に±８であつた場合、通常の階層ブロツクマツチング法の第３階層における動き量検出を行うのは「◎」印の位置だけである。これに対して第２実施例においては、「◎」印の位置に加えて、下位階層の所定の画素データをオーバーラツプして選択することにより、通常の第３階層画像データ（「◎」印）の斜め方向に隣接するような第３階層画像データ（「○」印）も作成し、この２種類の画素のデータに基づいて動き量を検することにより、階層ブロツクマツチング法において情報量の最も失われ易い縦及び横の両方向へのブロツク位相の変化があつた場合でも、上位階層の情報量の低下を低減し得、動き量の検出精度を向上させることができる。
【００６９】
以上の構成によれば、下位の階層画像データから互いにオーバーラツプした所定画素を選択して平均値をとることにより、斜め方向に多重化した上位階層画像データを作成し、当該上位階層画像データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に、計算量を低減し得る。
【００７０】
（３）第３実施例
上述の第１実施例及び第２実施例では、予め多重化した構造の第３階層画像データＳ３n-1 を作成して動き量の検出精度を向上させた場合について述べたが、この第３実施例では、先ず第１ステツプとして通常の階層ブロツクマツチングにおける第３階層の動き量検出と全く同じ処理を行う。すなわち図１０における「◎」印の画素のみを候補ブロツクの画素として用いて動き量検出を行い、その中で評価値の高いもの、すなわち動きブロツクであると考えられるものを選択する。
【００７１】
続いて第２ステツプでは、その候補ベクトルを中心に 0.5画素単位の動き量検出を行う。例えば第１ステツプにおいて検出された動きベクトルが、（-1,1）であつた場合、第２ステツプで動き量を検出するのは、図１０における「○」印の位置だけである。これにより第３実施例の動き量検出装置においては、第３階層における計算量の増大を格段的に低減し得るようになされている。
すなわち第３実施例の動き量検出装置においては、第１ステツプにおいて検出された動きベクトル及び第２ステツプでサーチした８つの位置の評価値を比較し、この中で最も評価値の高いものを第３階層における動き量とするようになされている。
【００７２】
実際上第３実施例における第３階層の動き量検出は、図１１に示すような回路によつて実現される。すなわち図１との対応部分に同一符号を付して示す図１１において、この実施例の第３階層動き量検出回路１４は、ＡＲ１で示す部分で第１ステツプを実行し、ＡＲ２で示す部分で第２ステツプを実行することにより第３階層の動き量を検出する。
【００７３】
先ずメモリコントロール回路１３により、第３階層画像データＳ３n が格納されているメモリ６にブロツクアドレスが送出されることにより、動き量を求める基準となる参照ブロツクの画素データがメモリ６から読み出される。一方、メモリコントロール回路１３により、第３階層画像データＳ３n-1 が格納されているメモリ１２にブロツクアドレスが送出されることにより、メモリ６から読み出される第３階層画像データＳ３n のブロツクに対応する候補ブロツクの画素データがメモリ１２から読み出される。因にこの実施例の場合、メモリ１２から読み出される第３階層画像データＳ３n-1 は、第１実施例のように多重化された第３階層画像データではなく、通常の第３階層画像データである。
【００７４】
メモリ６からの出力信号はレジスタ５１を介して加算器５３に供給されると共に、メモリ１２からの出力信号はレジスタ５２を介して加算器５３に供給される。加算器５３では、ｎフレームの第３階層画像データと、それに対応する（ｎ−１）フレームの第３階層画像データとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路５４で絶対値された後、加算器５５及びレジスタ５６で累積加算される。このようにして（６）式の演算が実行され、この結果得られる評価値が評価値メモリ５７に入力される。
評価値メモリ５７に格納された評価値は、評価値メモリコントロール回路５８によつて指定されたアドレスに従つて読み出され、比較器６０及びレジスタ６１に入力される。
【００７５】
比較器６０は他方の入力と評価値メモリ５７より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ６１及び６２の内容を更新する信号を送出する。
このレジスタ６２には、評価値メモリ５７を読み出すアドレスが順次設定される。このようにして順次評価値メモリ５７に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６２より送出され、これが動きベクトルとしてメモリコントロール回路６３に送出される。このようにして第１ステツプの処理を実行する。
【００７６】
第１ステツプが終了すると、メモリコントロール回路６３から、メモリ１０にアドレス信号が送出される。これは第１ステツプで求めたベクトル周辺の 0.5画素精度の動き検出を行うためのもので、メモリ１０はアドレス信号に基づいた第２階層データを第３階層データ作成回路６４に供給する。
【００７７】
第３階層データ作成回路６４は基本的には、図１について上述した第３階層データ作成回路１１と同様な働きをするものであり、第２階層データから多重化した第３階層データを作成する。第３階層データ作成回路６４は例えば（５）式に示すような演算を施すことにより第３階層データを作成し、これを一旦メモリ６５に格納する。但しｚn-1(1,1)等のデータについては既に第３階層データ作成回路１１において作成済みであり、またこれ以降使用しないので、ここでは作成しない。一方、メモリ６の出力信号、すなわち現フレームの注目ブロツクの第３階層データは遅延回路（ＤＬ）６６及びレジスタ６７を介して加算器６９に供給される。またメモリ６５からの出力信号はレジスタ６８を介して加算器６９に供給される。
【００７８】
加算器６９では、ｎフレームの第３階層画像データと、それに対応する（ｎ−１）フレームの第３階層画像データとのそれぞれ対応する画素毎の差分が取られる。この画素毎の差分データは絶対値化回路７０で絶対値された後、加算器７１及びレジスタ７２で累積加算される。このようにして（７）式の演算が実行され、この結果得られる評価値が評価値メモリ７３に入力される。
評価値メモリ７３は、 0.5画素のオフセツトを持たせた各ブロツク毎の差分の絶対値の累積加算値である評価値が格納されている。評価値メモリ７３に格納された評価値は、評価値メモリコントロール回路７４によつて指定されたアドレスに従つて読み出され、比較器７５及びレジスタ７６に入力される。
【００７９】
比較器７５は他方の入力と評価値メモリ７３より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ７６及び７７の内容を更新する信号を送出する。
レジスタ７７には、評価値メモリ７３を読み出すアドレスが順次設定される。このようにして順次評価値メモリ７３に格納された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ７７より送出され、これが第３階層の動きベクトルとして第２階層の動き量検出用のメモリコントロール回路１５に送出され、これにより第２ステツプの処理を終了する。
第３実施例の動き量検出装置は、これ以降第１実施例と同様の処理を施すことにより最終的な第１階層画像の動き量を検出する。
【００８０】
以上の構成によれば、第１ステツプにより通常の第３階層の動き量検出を行い、この検出結果に基づいて動き量が大きいと思われる画素の周辺について第２ステツプにより、その周囲で多重化した上位階層データを作成し、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に計算量を有効に低減し得る。
【００８１】
（４）第４実施例
上述の第１〜第３の実施例では、現フレームデータを参照ブロツクとして、多重化して作成した過去のフレームデータをサーチ範囲だけ移動させることにより動き量を求める場合について述べたが、この第４実施例では、参照ブロツクとなる現フレームデータを多重化する。
これに加えて第４実施例においては、予め１フレーム分の階層画像を全て作成するのではなく、注目するブロツク毎に階層画像を作成するようになされている。これにより第４実施例の動き量検出装置においては、全体の計算量及びメモリの使用量を低く抑えた状態で、動き量の検出精度を向上し得るようになされている。
【００８２】
すなわち第４実施例の動き量検出装置においては、図１に示す第２階層データ作成回路３で、現フレームデータのうち、現在注目するブロツクの周辺のデータのみの第２階層データを作成する。具体的には、動き量を求めようとする第１階層のブロツクサイズが８×８のとき、第２階層のブロツクサイズは４×４となるが、さらに上下左右１画素ずつ膨らませた６×６のデータを作成する。すなわち、周辺の他のブロツクのデータをも多少使用する。
【００８３】
第２階層データ作成回路３の出力信号はメモリ４に供給され、メモリ４の出力信号は第３階層データ作成回路５に供給される。ここで第３階層データ作成回路５は供給された第２階層画像データから、第３階層画像データを作成する。具体的には、第２階層画像データの２×２の小領域の画像データから平均値を算出することにより、第３階層画像データの１画素を作成する。
【００８４】
第３階層データ作成回路５は、現フレームのうち、現在注目のブロツクの周辺のデータのみの第３階層データを作成する。具体的には、動きブロツクを求めようとするブロツクのサイズが８×８のとき、第３階層のブロツクサイズは、２×２となるが、第２階層データ作成回路３から供給された６×６の第２階層データを基に、２×２から上下左右１画素ずつ膨らませた４×４のデータを作成する。すなわち周辺のデータをも多少使用することにより多重化した現フレームの第３階層画像データを作成する。
例えば第３階層データ作成回路５は、（２）式で示されるような通常の第３階層画像データだけでなく、データの位相をずらして、（２）式で作成した画像データの中間に位置するデータをも作成するようになされている。
【００８５】
またこの実施例の場合、第２階層データ作成回路９では、現在注目のブロツクを所定のサーチ範囲だけ移動させた範囲内のデータに関して第２階層データを作成する。さらに第３階層データ作成回路１１では、多重化した第３階層画像データを作成せずに、通常の第３階層画像データを作成する。
従つて第４実施例の第３階層動き量検出回路１４では、オフセツト座標（ｘ，ｙ）における評価値を、次式、
【数８】
【００８６】
階層データ格納用のメモリを削減するためには、１フレーム分の階層データを予め作成する手法を用いることは出来ない。従つて、メモリ使用量の削減という点に関しては注目ブロツクの周辺のデータを毎回作成し直す方式が有利である。ところが、階層データを多重化し、１画素以下の動き量を検出する場合、現在のフレームデータを参照データとし、過去のフレームデータをサーチ範囲だけ移動させる方式では、過去のフレームデータを多重化する際の計算量が増大する。特にサーチ範囲が大きくなればなるほど、計算量が増大することになる。
【００８７】
これを考慮して、第４実施例においては、注目するブロツク毎に階層データを作成すると共に、参照ブロツクとなる現在のフレームデータを多重化するようになされている。これにより第４実施例においては、階層データを作成する際の計算量を格段に低減し得ると共に、メモリの使用量を格段に低減し得る。
【００８８】
以上の構成によれば、注目するブロツク毎に階層データを作成すると共に、参照ブロツクとなる現フレームデータについて多重化した上位階層データを作成し、当該上位階層データにおいて１画素精度よりも細かい精度で動き量を検出するようにしたことにより、動き量の検出精度を向上し得ると共に、計算量及びメモリ使用量を低減することができる。
【００８９】
（５）第５実施例
この第５実施例の動き量検出方法では、第１実施例のようにオーバーラツプした下位階層データから多重化した上位階層データを作成し、この多重化した上位階層データを用いて動き量を求めるのに加えて、画像の高周波成分を反映したアクテイビテイ情報をも階層化し、このアクテイビテイ情報における評価値をも参照することにより、一段と高精度の動き量を検出するようになされている。
【００９０】
すなわちこの第５実施例の動き量検出方法では、オリジナル画像について平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下アクテイビテイと呼ぶ）を表すデータについても階層化（以下これをアクテイビテイ階層化とよぶ）してアクテイビテイデータを形成し、階層毎にこれらを用いて動き量を検出する。
【００９１】
実際上それぞれ階層化された画像データとアクテイビテイデータについては、上位階層から順にブロツクマツチング法で評価値を求め、これらを総合判定することにより、その階層の動き量を求める。この動き量を順次下位階層の評価値を求める際に動き補償して参照することにより、最終的にオリジナル画像の動き量を検出する。
【００９２】
階層化された画像データを生成する例を、図１２に示す。図１２（Ａ）はオリジナル画像について３階層に階層化された画像データを生成する場合で、第１階層はオリジナル画像である。オリジナル画像上のブロツク（例えば16×16）より上位階層の画像データ、第ｎ階層における画像データをＭn （ｘ、ｙ）とすると、次式
【数９】
【００９３】
第１〜４実施例の階層画像を用いた動き量検出方法では、図１２（Ａ）の平均値階層化しか行わないが、この実施例では（９）式により平均値階層化された画像データを生成すると同時に、図１２（Ｂ）に示すように、平均値階層化された画像データについてアクテイビテイ階層化してアクテイビテイデータを生成する。第２階層のアクテイビテイデータをΔ2 （ｘ、ｙ）とすると、このアクテイビテイデータΔ2 （ｘ、ｙ）は、平均値階層化された画像データからオリジナル画像の対応する画素の差分の絶対値和によつて、次式
【数１０】
【数１１】
【００９４】
このようにしてアクテイビテイデータを求めると、その階層構造は図１２（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクテイビテイデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００９５】
ここで例えば図１３に示すようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ15、ｘ16でなるブロツクを第１階層として階層化する場合、平均値階層化の第２階層の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は（９）式に基づいて、次式
【数１２】
【数１３】
【００９６】
また同様にして、アクテイビテイ階層化してなる階層２のアクテイビテイデータは、平均値階層化された第２階層の画像データの画素ｙ１、ｙ２、ｙ３、ｙ４と第１階層の画像データの画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（10）式に基づいて、次式
【数１４】
【数１５】
【００９７】
上述のようにして求めた平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータを用いて、各階層でブロツクマツチング法による動き量検出を行う。すなわちブロツクマツチングの評価関数は、現フイールドをｔで表すと、次式
【数１６】
【数１７】
【００９８】
この実施例の場合の評価関数とは、図１２（Ｂ）のアクテイビテイデータについても（16）式と同様に、次式
【数１８】
【数１９】
【００９９】
このように平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であつても、もう一方の評価値で正しい検出ができるようになり、各階層における動き量検出の精度が向上する。このように各階層における動き量検出精度が向上すると、（17）式で求める最終的な動き量も検出精度を向上することになる。
【０１００】
ここでこの実施例における動き量検出処理手順ＳＰ０を図１４に示す。すなわちまずステツプＳＰ１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ２でブロツク化されたオリジナル画像を、（９）式に従つて平均値階層化すると共に、（10）式及び（11）式に従つてアクテイビテイ階層化して、例えば第１階層、第２階層及び第３階層の画像データと第２階層及び第３階層のアクテイビテイデータを生成する。
【０１０１】
続くステツプＳＰ３では現在処理済みの階層が最下位階層か否か判断し、否定結果の場合にはステツプＳＰ４で全サーチ領域について探索終了か否か判断し、ここで否定結果を得るとステツプＳＰ５で画像データ及びアクテイビテイデータの現在及び過去のデータを用いて、（16）式及び（18）式について上述した評価関数Ｅ（Ｙ）n 及びＥ（Ｄ）n による評価を行い、ステツプＳＰ４に戻る。
【０１０２】
やがてステツプＳＰ４で肯定結果を得ると、ステツプＳＰ６に移つて所定階層の画像データ及びアクテイビテイデータについて求めた評価関数Ｅ（Ｙ）n 及びＥ（Ｄ）n を用いて（19）式より得られる新たな評価関数Ｅ（Ｇ）n による評価を行つて最適評価値を求めステツプＳＰ７に移る。ステツプＳＰ７では最適評価値より動き量を決定し、次のステツプＳＰ８で動き量を加算して、それぞれ下位階層に適用し、ステツプＳＰ３に戻る。やがてこのステツプＳＰ３で否定結果を得ると、ステツプＳＰ９に移つて当該動き量検出方法の処理手順ＳＰ０を終了する。
【０１０３】
このようにサーチ領域内の探索を、最上位階層から始め平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を（19）式により総合判定しながら最適な動き量を求め、（17）式によつて求めた動き量を下位階層に適用しながら最下位階層まで処理を繰り返し行い、最終的な動き量を求める。これにより平均値階層化の画像データのみより求めた動き量に比較して、各階層の高周波成分でなるアクテイビテイデータより求めた評価値を加味して動き量を求めるようにしたことにより、平均値化による誤判定を有効に防止して高い精度で動きを検出し得る。
【０１０４】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図１５に示すように構成されている。なお図１５では、図１との対応部分に同一符号を付して示している。また図１５における平均値階層化回路３、５、９及び１１は、それぞれ図１の第２階層データ作成回路３、第３階層データ作成回路５、第２階層データ作成回路９及び第３階層データ作成回路１１と同様の構成及び機能を有する。
【０１０５】
動き量検出装置１００は、階層処理部１Ａ及び１Ｂに加えて、階層化したアクテイビテイデータを生成するアクテイビテイ階層処理部１００Ａ及び１００Ｂを有する。動き量検出装置１００はアクテイビテイ階層処理部１００Ａで現フレームの階層アクテイビテイデータを生成すると共に、アクテイビテイ階層処理部１００Ｂで前フレームの階層アクテイビテイデータを生成する。
【０１０６】
アクテイビテイ階層処理部１００Ａのアクテイビテイ階層化回路１０１は、第１階層画像データＳ１n 及び平均値階層化回路３からの第２階層画像データＳ２n を用いて、（10）式の演算によるアクテイビテイ階層化処理を実行して第２階層のアクテイビテイデータＰ２n を求める。このアクテイビテイデータＰ２n はメモリ１０２に格納される。
【０１０７】
アクテイビテイ階層化回路１０３は、第１階層画像データＳ１n 及び平均値階層化回路５からの第３階層画像データＳ３n を用いて、（11）式の演算によるアクテイビテイ階層化処理を実行して第３階層のアクテイビテイデータＰ３n を求める。このアクテイビテイデータＰ３n はメモリ１０４に格納される。
【０１０８】
同様に、前フレームの階層アクテイビテイデータを生成するアクテイビテイ階層処理部１００Ｂでは、アクテイビテイ階層化回路１０５に前フレームの第１階層画像データＳ１n-1 及び平均値階層化回路９からの第２階層画像データＳ２n-1 を受ける。アクテイビテイ階層化回路１０５は、第１階層画像データＳ１n-1 及び第２階層画像データＳ２n-1 を用いて、（10）式に基づいて第２階層アクテイビテイデータＰ２n-1 を求める。このアクテイビテイデータＰ２n-1 はメモリ１０６に格納される。
【０１０９】
アクテイビテイ階層化回路１０７は、第１階層画像データＳ１n-1 及び平均値階層化回路１１からの多重化された第３階層画像データＳ３n-1 を用いて、（11）式に基づいて多重化された第３階層アクテイビテイデータＰ３n-1 を求める。この多重化されたアクテイビテイデータＰ３n-1 はメモリ１０８に格納される。多重化された第３階層アクテイビテイデータＰ３n-1 は、図３（Ｂ）に示す多重化された第３階層画像データＳ３n-1 と対応して、図１６（Ｂ）のように表すことができる。
このように各メモリに格納された階層画像データ及び階層アクテイビテイデータは、動き検出部１００Ｃによつて各階層の所定ブロツク毎に読み出され、上位階層から順に動き量が求められる。
【０１１０】
実際の動き量の検出は最上位階層でなる第３階層において、まずメモリ１２に格納された前フレームの画像データ及びメモリ１０８に格納された前フレームのアクテイビテイデータが候補ブロツクとして、サーチ内で読み出され、第３階層動き量検出回路１１０に与えられる。またメモリ６に格納された現フレームの画像データ及びメモリ１０４に格納された現フレームのアクテイビテイデータが参照ブロツクとして読み出され、第３階層動き量検出回路１１０に与えられる。
【０１１１】
このような第３階層の画像データ及びアクテイビテイデータの読み出しはメモリコントロール回路１０９からのブロツクアドレスに基づいて行われる。メモリコントロール回路１０９は、メモリ１２及び１０８に対してはサーチ範囲内で候補ブロツクを 0.5画素単位で読み出すようなブロツクアドレスを送出する。なお同時点にメモリコントロール回路１０９により読み出されるブロツク位置は、メモリ６とメモリ１０４で同一位置であり、かつメモリ１２とメモリ１０８で同一位置である。
【０１１２】
第３階層動き量検出回路１１０は、入力した画像データ及びアクテイビテイデータを用いて、それぞれ（16）式及び（18）式の評価関数Ｅ（Ｙ）3 及びＥ（Ｄ）3 に基づいて評価値を求める。次にこの評価値に対して、（19）式に示すように、重み係数ｗ1 、ｗ2 に応じて所定の重み付けして加算し、この結果得られる新たな評価関数Ｅ（Ｇ）3 に基づいて動き量を検出する。
【０１１３】
実際上第３階層動き量検出回路１１０及び第２階層動き量検出回路１１２は、図１７に示すように構成されている。ここで第２階層動き量検出回路１１２は第３階層動き量検出回路１１０と同様の構成でなるため第３階層動き量検出回路１１０について説明する。
第３階層動き量検出回路１１０は、メモリ６及び１２からの第３階層画像データＳ３n 及びＳ３n-1 をそれぞれ画像データ評価値算出部１５０のレジスタ３１及び３２に入力する。この画像データ評価値算出部１５０は第１実施例で上述したのと同様の累積加算処理を実行し、レジスタ３６から平均値画像データについての評価値を出力する。かくして（16）式の演算が画像データ評価値算出部１５０で実行される。
【０１１４】
また第３階層動き量検出回路１１０は、メモリ１０４及び１０８からの第３階層アクテイビテイデータＰ３n 及びＰ３n-1 をそれぞれアクテイビテイデータ評価値算出部１５１のレジスタ１３１及び１３２に入力する。このアクテイビテイデータ評価値算出部１５１は、アクテイビテイデータＰ３n 及びＰ３n-1 に対して、画像データ評価値算出部１５０が画像データＳ３n 及びＳ３n-1 に対して行つたのと同様の累積加算処理を実行し、レジスタ１３６からアクテイビテイデータについての評価値を出力する。かくして（18）式の演算がアクテイビテイデータ評価値算出部１５１で実行される。
【０１１５】
画像データ評価値算出部１５０から出力された平均値画像データについての評価値は続く乗算回路１５２において重み係数ｗ1 が乗じられた後加算回路１５４に与えられると共に、アクテイビテイデータ評価値算出部１５１から出力されたアクテイビテイデータについての評価値は続く乗算回路１５３において重み係数ｗ2 が乗じられた後加算回路１５４に与えられる。この結果加算回路１５４では、（19）式に基づく加算演算が実行され、当該加算演算結果が新たな評価値として評価値メモリ３７に与えられる。
【０１１６】
ここで評価値メモリ３７、評価値メモリコントロール回路３８、比較回路４０及びレジスタ４１、４２は図７について第１実施例で上述したものと同様の構成でなり、最終的にレジスタ４２から、アクテイビテイデータの評価値をも加味した新たな評価値の最小を与えるアドレスが出力される。このアドレスが第３階層の動きベクトルとして第２階層のメモリコントロール回路１１１に与えられる。
【０１１７】
メモリコントロール回路１１１は、サーチ範囲が第３階層における動き量を第２階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）になるようなブロツクアドレスをメモリ１０、１０６に送出する。このブロツクアドレスに基づいてメモリ１０、１０６から読み出される第２階層画像データＳ２n-1 及び第２階層アクテイビテイデータＰ２n-1 は第２階層動き量検出回路１１２に送出される。
【０１１８】
第２階層動き量検出回路１１２は第３階層動き量検出回路１１０と同様に、画像データの評価値にアクテイビテイデータの評価値を加味した新しい評価値に基づいて第２階層の動きベクトルを検出し、当該検出結果を第１階層のメモリコントロール回路１１３に送出する。但し、この第２階層の動き量検出では、第３階層のように多重化した画像データ及びアクテイビテイデータがないため、 0.5画素単位ではなく、１画素単位でブロツクマツチングを行う。
【０１１９】
メモリコントロール回路１１３は、サーチ範囲が第２階層における動き量を第１階層のスケールに変換しただけオフセツトをはかせた位置を中心に（±１）になるようなブロツクアドレスをメモリ８に送出する。このブロツクアドレスに基づいてメモリ８から読み出される第１階層画像データＳ１n-1 は第１階層動き量検出回路１１４に送出される。
【０１２０】
第１階層動き量検出回路１１４は、図７について第１実施例で上述した動き量検出回路１４と同様の構成でなり、画像データの評価値のみを用いて動き量を検出する。第１階層動き量検出回路１１４は、この第１階層における動き量と、先に求めた第２階層における動き量を第１階層のスケールに変換したものとを足し合わせ、これを第１階層における最終的な動き量ＭＶとして出力端子を介して出力する。
【０１２１】
以上の構成において、第５実施例の動き量検出装置１００は、平均値演算による階層画像データＳ２n 、Ｓ２n-1 、Ｓ３n 、Ｓ３n-1 に加えて、画像の過渡成分を反映した階層アクテイビテイデータＰ２n 、Ｐ２n-1 、Ｐ３n 、Ｐ３n-1 を生成する。さらに最上位階層である第３階層の画像データＳ３n-1 及びアクテイビテイデータＰ３n-1 は多重化したデータを生成する。
【０１２２】
動き量検出装置１００は、第３階層において、多重化した画像データＳ３n-1 及びアクテイビテイデータＰ３n-1 から候補ブロツクを切り出し、かつ画像データＳ３n 及びアクテイビテイデータＰ３n から参照ブロツクを切り出して、ブロツクマツチングによつて総合判定することにより、この階層での動き量を求める。これにより平均値階層画像のみを用いる場合に比して、格段に検出精度を向上させることができる。
【０１２３】
動き量検出装置１００は、第２階層において、画像データＳ２n-1 及びアクテイビテイデータＰ２n-1 から候補ブロツクを第３階層での動き量の分動き補償して切り出し、かつ画像データＳ２n 及びアクテイビテイデータＰ２n から参照ブロツクを切り出して、ブロツクマツチングによつて総合判定してこの階層の動き量を求める。この結果第２階層での動き量の検出精度も向上させることができる。動き量検出装置１００は、最後に第２階層での動き分動き補償して第１階層の動き量を求め、これを最終的な動き量ＭＶとして出力する。
【０１２４】
以上の構成によれば、多重化した最上位階層データＳ３n-1 を生成するのに加えて、階層化したアクテイビテイデータＰ２n 、Ｐ２n-1 、Ｐ３n 、Ｐ３n-1 を生成し、各階層において階層画像データ及び階層アクテイビテイデータをブロツクマツチングによつて総合判定して動き量を求めるようにしたことにより、最終的なオリジナル画像についての動き量の検出精度を一段と向上し得る。
【０１２５】
（６）他の実施例
（６−１）なお上述の実施例においては、オリジナル画像より平均値階層化で３階層の画像データを作成した場合について述べたが、階層数はこれに限らず２階層や４階層以上でも、上述の実施例と同様の効果を得ることができる。また平均値階層化する際、下位階層の２×２のブロツクの平均値をとることにより上位階層の１ブロツクを生成する場合について述べたが、ブロツク範囲はこれに限らず、また平均値に限らず例えばローパスフイルタ等で平滑化処理することにより上位階層データを生成するようにしても良い。
【０１２６】
（６−２）また上述の実施例においては、ブロツクマツチングの評価値を求めるために、（６）式又は（16）式でなる評価関数によつて、両ブロツクの差分の絶対値和を用いた場合について述べたが、その他ブロツクマツチングの評価関数としては、差分の２乗和や相関係数等を用いるようにしても上述の実施例と同様の効果を得ることができる。
【０１２７】
（６−３）また上述の実施例においては、多重化した上位階層データを作成することにより、上位階層において 0.5画素単位の動き量検出を行う場合について述べたが、 0.5画素単位の動き量検出に限らず、例えば0.25画素単位の動き量検出等、更に細かい単位で動き量検出をする場合にも適用することができる。
また上位階層を多重化するために用いる下位階層データの選択は、上述の実施例の場合に限らず、要は下位階層データをオーバーラツプするように選択することにより多重化した上位階層データを作成するようにすれば良い。
【０１２８】
（６−４）また上述の実施例においては、第３階層画像データＳ３n-1 のみを多重化する場合について述べたが、本発明はこれに限らず、第１階層の画像データをオーバーラツプして選択することにより第２階層画像データも多重化するようにしても良い。
【０１２９】
（６−５）また上述の第５実施例においては、平均値階層化回路１１によつて第１実施例のように通常の第３階層の画素に対して縦方向、横方向及び斜め方向に隣接する多重化した画素を作成する場合について述べたが、本発明はこれに限らず、第２実施例のように斜め方向にのみ多重化した画素を作成するようにしても良い。
【０１３０】
また第５実施例において、第３実施例のような２段階の処理を導入するようにしても良い。このようにすれば、第５実施例における計算量を有効に低減することができる。
さらに第５実施例において、第４実施例のように、参照ブロツクとなる現フレームを多重化すると共に、注目するブロツク毎に階層画像を作成するような方法を導入するようにしても良い。このようにすれば、第５実施例における計算量及びメモリ使用量を低減することができる。
【０１３１】
（６−６）また上述の第５実施例においては、アクテイビテイ階層化する際に差分の絶対値和の平均値を用いた場合について述べたが、標準偏差や分散値を用いてアクテイビテイ階層化するようにしても良い。さらにラプラシアンフイルタを前処理に用いて画像の高周波成分を抽出した後に、アクテイビテイ階層化するようにしても良い。さらにオリジナル画像の最大値と最小値の差で定義されるダイナミツクレンジを用いて、アクテイビテイ階層化するようにしても良い。
【０１３２】
【発明の効果】
上述のように本発明によれば、第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、第２の時点で入力された入力画像に基づいて、解像度の高い下位階層の画像データから互いにオーバーラツプした画素を選択して縮小することにより解像度の低い多重化された上位階層の画像データを形成し、階層化された画像データ及び多重化して階層化された画像データについて、階層毎に所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出したことにより、入力画像に応じてブロツクマツチングに用いるブロツクの位相が様々に変化した場合でも、上位階層での誤検出を回避し得、階層ブロツクマツチングによる動き量の検出精度の向上し得る動き量検出装置を実現できる。
【０１３３】
また本発明によれば、これに加えて、第１の時点の入力画像及び第２の時点の入力画像に対応して、画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、このアクテイビテイデータを用いたブロツクマツチングでの評価値も参照して動きベクトルを検出するようにしたことにより、一段と動き量の検出精度を向上し得る。
【図面の簡単な説明】
【図１】本発明による動き量検出装置の一実施例の回路構成を示すブロツク図である。
【図２】ｎフレームの第２階層画像データ作成の説明に供する略線図である。
【図３】ｎフレームと（ｎ−１）フレームの第３階層画像データの説明に供する略線図である。
【図４】（ｎ−１）フレームの第２階層画像データ作成の説明に供する略線図である。
【図５】エツジと階層化のブロツク境界が一致している場合の説明に供する略線図である。
【図６】エツジと階層化のブロツク境界が一致してしない場合の説明に供する略線図である。
【図７】動き量検出回路の回路構成を示すブロツクである。
【図８】第１実施例の第３階層画像データの説明に供する略線図である。
【図９】第２実施例の第３階層画像データの説明に供する略線図である。
【図１０】第３実施例の第３階層画像データの説明に供する略線図である。
【図１１】第３実施例の回路構成を示すブロツク図である。
【図１２】第５実施例による階層画像の説明に供する略線図である。
【図１３】第５実施例による階層画像の説明に供する略線図である。
【図１４】第５実施例による動き量検出処理手順を示すフローチヤートである。
【図１５】第５実施例による動き量検出装置の構成を示すブロツク図である。
【図１６】ｎフレームと（ｎ−１）フレームの第３階層アクテイビテイデータの説明に供する略線図である。
【図１７】第５実施例の動き量検出装置における動き量検出回路の構成を示すブロツク図である。
【符号の説明】
１、１００……動き量検出装置、１Ａ、１Ｂ……階層処理部、１Ｃ、１００Ｃ……動き検出部、３、９……第２階層データ作成回路、５、１１……第３階層データ作成回路、１４、１１０……第３階層動き量検出回路、１６、１１２……第２階層動き量検出回路、１８、１１４……第１階層動き量検出回路、１００Ａ、１００Ｂ……アクテイビテイ階層処理部、１５０……画像データ評価値算出部、１５１……アクテイビテイデータ評価値算出部、Ｓ１n 、Ｓ１n-1 ……第１階層画像データ、Ｓ２n 、Ｓ２n-1 ……第２階層画像データ、Ｓ３n 、Ｓ３n-1 ……第３階層画像データ、Ｐ２n 、Ｐ２n-1 ……第２階層アクテイビテイデータ、Ｐ３n 、Ｐ３n-1 ……第３階層アクテイビテイデータ。
Claims (14)
- 解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出方法において、
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、
上記第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、
上記画像階層化ステツプ及び上記上位階層多重化ステツプで階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、上記第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間で、多重化されたブロツク群の中からオフセットに対応するブロツクを選択してそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出ステツプと
を具えることを特徴とする動き量検出方法。 - 解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置方法において、
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化ステツプと、
上記画像階層化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化ステツプと、
上記第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化ステツプと、
上記上位階層多重化ステツプで形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化ステツプと、
上記画像階層化ステツプ及び上記上位階層多重化ステツプで階層化された画像データの対応する階層同士で、上記第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間で、多重化されたブロツク群の中からオフセットに対応するブロックを選択してそれぞれ評価値を求める画像データ評価値算出ステツプと、
上記第１のアクテイビテイ階層化ステツプ及び上記第２のアクテイビテイ階層化ステツプで階層化されたアクテイビテイデータの対応する階層同士で、上記参照ブロツクのアクテイビテイデータと、上記複数の候補ブロツクのアクテイビテイデータとの間で、多重化されたブロツク群の中からオフセットに対応するブロックを選択してそれぞれ評価値を求めるアクテイビテイデータ評価値算出ステツプと、
上記画像データ評価値算出ステツプで求めた評価値と上記アクテイビテイデータ評価値算出ステツプで求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出ステツプと
を具えることを特徴とする動き量検出方法。 - 上記上位階層多重化ステツプでは、互いに縦方向及び横方向にオーバーラツプした上記下位階層の画像データの画素を選択することにより、格子状に配列した多重化した上位階層の画像データの画素を形成する
ことを特徴とする請求項１又は請求項２に記載の動き量検出方法。 - 上記上位階層多重化ステツプでは、縦方向及び横方向に対して互いに斜め方向にオーバーラツプした上記下位階層の画像データの画素を選択することにより、縦方向及び横方向に対して斜め方向に配列した上記多重化した上位階層の画像データの画素を形成する
ことを特徴とする請求項１又は請求項２に記載の動き量検出方法。 - 上記動き量検出方法は、
第１の処理として、
上記上位階層多重化ステツプにおいて、多重化しない上位階層の画像データを形成し、上記動きベクトル検出ステツプにおいて、動きベクトルを検出した後、
第２の処理として、
上記上位階層多重化ステツプにおいて、上記動きベクトル検出ステツプの検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成し、上記動きベクトル検出ステツプにおいて、動きベクトルを検出する
ことを特徴とする請求項１又は請求項２に記載の動き量検出方法。 - 上記上位階層多重化ステツプでは、上記動きベクトル検出ステツプにおいてブロツクマツチングを行う注目ブロツク毎に上記多重化した上位階層の画像データを形成する
ことを特徴とする請求項１又は請求項２に記載の動き量検出方法。 - 上記動き量検出方法は、
上記第１の時点の入力画像に対して上記上位階層多重化ステツプを施すと共に、上記第２の時点の入力画像に対して上記画像階層化ステツプを施す
ことを特徴とする請求項１又は請求項２に記載の動き量検出方法。 - 解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、
上記第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、
上記画像階層化手段及び上記上位階層多重化手段で階層化された画像データの対応する階層同士で、下位階層については上位階層で求めた動きベクトルを基準にするようにして、上位階層から順に各階層毎に、上記第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間で、多重化されたブロック群の中からオフセットに対応するブロックを選択してそれぞれ評価値を算出し、当該評価値が最も小さい候補ブロツクに基づいて動きベクトルを検出する動きベクトル検出手段と
を具えることを特徴とする動き量検出装置。 - 解像度の低い上位階層で検出した動きベクトルに基づいて、解像度の高い下位階層での動きベクトルを順次検出する動き量検出装置において、
第１の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成する画像階層化手段と、
上記画像階層化手段により形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第１のアクテイビテイ階層化手段と、
上記第１の時点よりも１フレーム分過去の第２の時点で入力された入力画像より解像度の異なる複数階層の画像データを形成すると共に、解像度の高い下位階層の画像データの画素が互いにオーバーラツプするように選択した複数の範囲の画素に対して、それぞれ平均化することにより、解像度が低く、かつ多重化された上位階層の画像データを複数形成する上位階層多重化手段と、
上記上位階層多重化ステツプにより形成された複数階層の画像データそれぞれの高周波成分を表す複数階層のアクテイビテイデータを、算出対象の階層の画像データと、上記入力画像の画像データとの対応する画素の差分の絶対値和で算出する第２のアクテイビテイ階層化手段と、
上記画像階層化手段及び上記上位階層多重化手段で階層化された画像データの対応する階層同士で、上記第１の時点の入力画像の画像データにおける参照ブロツクと、上記第２の時点の入力画像を多重化した各画像データそれぞれにおけるサーチ範囲内の複数の候補ブロツクとの間でそれぞれ評価値を求める画像データ評価値算出手段と、
上記第１のアクテイビテイ階層化手段及び上記第２のアクテイビテイ階層化手段により階層化されたアクテイビテイデータの対応する階層同士で、上記参照ブロツクのアクテイビテイデータと、上記複数の候補ブロツクのアクテイビテイデータとの間で、多重化されたブロック群の中からオフセットに対応するブロックを選択してそれぞれ評価値を求めるアクテイビテイデータ評価値算出手段と、
上記画像データ評価値算出手段で求めた評価値と上記アクテイビテイデータ評価値算出手段で求めた評価値とを総合判定して、上位階層から順に各階層毎に動きベクトルを検出する動きベクトル検出手段と
を具えることを特徴とする動き量検出装置。 - 上記上位階層多重化手段は、
互いに縦方向及び横方向にオーバーラツプした上記下位階層の画像データの画素を選択することにより、格子状に配列した上記多重化した上位階層の画像データの画素を形成する
ことを特徴とする請求項８又は請求項９に記載の動き量検出装置。 - 上記上位階層多重化手段は、
縦方向及び横方向に対して互いに斜め方向にオーバーラツプした上記下位階層の画像データの画素を選択することにより、縦方向及び横方向に対して斜め方向に配列した上記多重化した上位階層の画像データの画素を形成する
ことを特徴とする請求項８又は請求項９に記載の動き量検出装置。 - 上記動き量検出装置は、
上記上位階層多重化手段により多重化しない上位階層の画像データを形成すると共に、上記動きベクトル検出手段により、上記画像階層化手段で階層化された画像データ及び上記上位階層多重化手段で階層化された多重化しない画像データの対応する階層同士で、所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出した後、
上記上位階層多重化手段により、上記動きベクトル検出手段の検出結果に基づいて、動きベクトルの大きな画像データの周辺に多重化した画像データを形成すると共に、上記動きベクトル検出手段により、上記画像階層化手段で階層化された画像データ及び上記上位階層多重化手段で多重化した画像データの対応する階層同士で、所定ブロツク単位でブロツクマツチングによつて動きベクトルを検出する
ことを特徴とする請求項８又は請求項９に記載の動き量検出装置。 - 上記上位階層多重化手段は、
上記動きベクトル検出手段においてブロツクマツチングを行う注目ブロツク毎に上記多重化した上位階層の画像データを形成する
ことを特徴とする請求項８又は請求項９に記載の動き量検出装置。 - 上記動き量検出装置は、
上記第１の時点の入力画像に対して上記上位階層多重化手段により多重化した上位階層画像データを形成すると共に、上記第２の時点の入力画像を上記画像階層化手段に入力することにより上記上位階層多重化手段により多重化した上位階層画像データに対して過去の解像度の異なる複数階層の上記階層画像データを形成する
ことを特徴とする請求項８又は請求項９に記載の動き量検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25476094A JP3846642B2 (ja) | 1994-01-31 | 1994-09-22 | 動き量検出方法及び動き量検出装置 |
| US08/380,557 US5610658A (en) | 1994-01-31 | 1995-01-30 | Motion vector detection using hierarchical calculation |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2727094 | 1994-01-31 | ||
| JP3419594 | 1994-02-07 | ||
| JP6-34195 | 1994-02-07 | ||
| JP6-27270 | 1994-09-07 | ||
| JP25476094A JP3846642B2 (ja) | 1994-01-31 | 1994-09-22 | 動き量検出方法及び動き量検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07264603A JPH07264603A (ja) | 1995-10-13 |
| JP3846642B2 true JP3846642B2 (ja) | 2006-11-15 |
Family
ID=27285718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25476094A Expired - Lifetime JP3846642B2 (ja) | 1994-01-31 | 1994-09-22 | 動き量検出方法及び動き量検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5610658A (ja) |
| JP (1) | JP3846642B2 (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1075321C (zh) * | 1993-08-30 | 2001-11-21 | 索尼公司 | 图像编码装置及方法 |
| US6873738B2 (en) * | 1995-10-02 | 2005-03-29 | Sony Corporation | Hierarchical image processor for encoding or decoding, and memory on the same chip |
| DE69710413T2 (de) * | 1996-05-24 | 2002-10-02 | Koninklijke Philips Electronics N.V., Eindhoven | Bewegungsschätzung |
| TW359919B (en) | 1996-07-17 | 1999-06-01 | Sony Corp | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| US6381369B1 (en) | 1996-07-17 | 2002-04-30 | Sony Corporation | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| AU718453B2 (en) | 1996-07-17 | 2000-04-13 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| US6292591B1 (en) * | 1996-07-17 | 2001-09-18 | Sony Coporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| AU714554B2 (en) | 1996-07-17 | 2000-01-06 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| US6016163A (en) * | 1997-03-12 | 2000-01-18 | Scientific-Atlanta, Inc. | Methods and apparatus for comparing blocks of pixels |
| KR100243865B1 (ko) * | 1997-09-30 | 2000-02-01 | 전주범 | 움직임 벡터 부호화 방법 및 그 장치 |
| IL122299A (en) * | 1997-11-25 | 2003-11-23 | Broadcom Corp | Video encoding device |
| JP3915855B2 (ja) | 1997-12-19 | 2007-05-16 | ソニー株式会社 | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 |
| JP3149840B2 (ja) * | 1998-01-20 | 2001-03-26 | 日本電気株式会社 | 動きベクトル検出装置及び方法 |
| TW376659B (en) * | 1998-05-21 | 1999-12-11 | Nat Science Council | Motion estimator using 3-step hierarchical search block-matching algorithm |
| JP3867883B2 (ja) * | 1999-06-01 | 2007-01-17 | 株式会社リコー | 画像合成処理方法、画像合成処理装置及び記録媒体 |
| US6968008B1 (en) | 1999-07-27 | 2005-11-22 | Sharp Laboratories Of America, Inc. | Methods for motion estimation with adaptive motion accuracy |
| US6442203B1 (en) * | 1999-11-05 | 2002-08-27 | Demografx | System and method for motion compensation and frame rate conversion |
| US6842483B1 (en) | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
| FI110745B (fi) * | 2001-11-13 | 2003-03-14 | Hantro Products Oy | Menetelmä ja laite peräkkäisten kuvien koodaamiseksi |
| KR101013130B1 (ko) * | 2002-07-30 | 2011-02-10 | 소니 주식회사 | 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 |
| KR20050033099A (ko) * | 2003-10-04 | 2005-04-12 | 삼성전자주식회사 | 고속 움직임 추정 장치 |
| JP5053275B2 (ja) * | 2005-07-28 | 2012-10-17 | トムソン ライセンシング | 階層的キャッシュを使うビデオ動き処理最適化のための方法および装置 |
| JP4047879B2 (ja) * | 2005-08-23 | 2008-02-13 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| US7609891B2 (en) * | 2005-08-31 | 2009-10-27 | Sony Corporation | Evaluation of element distribution within a collection of images based on pixel scatterness |
| JP2008061162A (ja) * | 2006-09-04 | 2008-03-13 | Fujitsu Ltd | 動きベクトル探索装置および動きベクトル探索方法 |
| GB2449929A (en) * | 2007-06-08 | 2008-12-10 | Snell & Wilcox Ltd | Hierarchical spatial resolution building processes to fill holes in an interpolated image |
| JP4788695B2 (ja) * | 2007-09-28 | 2011-10-05 | ソニー株式会社 | 画像処理装置 |
| US8649437B2 (en) * | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
| CN101946514B (zh) * | 2007-12-20 | 2014-06-04 | 高通股份有限公司 | 使用自适应搜索范围的真实运动矢量估计 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP5669523B2 (ja) * | 2010-07-06 | 2015-02-12 | 三菱電機株式会社 | フレーム補間装置及び方法、並びにプログラム及び記録媒体 |
| JP5683153B2 (ja) * | 2010-07-09 | 2015-03-11 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP5645699B2 (ja) | 2011-02-16 | 2014-12-24 | 三菱電機株式会社 | 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 |
| US8891626B1 (en) | 2011-04-05 | 2014-11-18 | Google Inc. | Center of motion for encoding motion fields |
| JP2014523708A (ja) | 2011-07-01 | 2014-09-11 | モトローラ モビリティ エルエルシー | 動きベクトル予測設計の簡易化 |
| KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
| US8908767B1 (en) | 2012-02-09 | 2014-12-09 | Google Inc. | Temporal motion vector prediction |
| US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
| US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| US9313493B1 (en) | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
| KR102138368B1 (ko) | 2013-07-19 | 2020-07-27 | 삼성전자주식회사 | 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치 |
| US10152822B2 (en) * | 2017-04-01 | 2018-12-11 | Intel Corporation | Motion biased foveated renderer |
| US10319064B2 (en) | 2017-04-10 | 2019-06-11 | Intel Corporation | Graphics anti-aliasing resolve with stencil mask |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54124927A (en) * | 1978-03-23 | 1979-09-28 | Nippon Hoso Kyokai <Nhk> | Detecting method for moving vector |
| FR2651399B1 (fr) * | 1989-08-29 | 1996-05-15 | Thomson Consumer Electronics | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. |
| JPH03256485A (ja) * | 1990-03-06 | 1991-11-15 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
| FR2664117B1 (fr) * | 1990-06-29 | 1996-06-21 | Thomson Csf | Procede de codage a parametres ajustables d'un champ de mouvement dans une sequence d'images animees. |
| KR950014862B1 (ko) * | 1992-02-08 | 1995-12-16 | 삼성전자주식회사 | 움직임추정방법 및 그 장치 |
| US5461423A (en) * | 1992-05-29 | 1995-10-24 | Sony Corporation | Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
-
1994
- 1994-09-22 JP JP25476094A patent/JP3846642B2/ja not_active Expired - Lifetime
-
1995
- 1995-01-30 US US08/380,557 patent/US5610658A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07264603A (ja) | 1995-10-13 |
| US5610658A (en) | 1997-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3846642B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| EP0643539B1 (en) | Motion vector detection apparatus and method | |
| US8958484B2 (en) | Enhanced image and video super-resolution processing | |
| US5027203A (en) | Motion dependent video signal processing | |
| RU2424561C2 (ru) | Обучение сверточных нейронных сетей на графических процессорах | |
| US6987884B2 (en) | Image processing device and method, and recorded medium | |
| US7667778B2 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
| US8264600B2 (en) | Image processing apparatus for converting a lower resolution image into a higher resolution image using cyclic coefficients | |
| US7738556B2 (en) | Apparatus and method for estimating motion vector with gradient method | |
| JPH0614305A (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
| US4998168A (en) | Motion dependent video signal processing | |
| US20090185756A1 (en) | Image processing device and image processing method | |
| JP3724653B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JPH0846968A (ja) | 階層的動ベクトル検出方法および装置 | |
| JP3812750B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3494306B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3494308B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3553570B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3617671B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3494307B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3491768B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JPH0646383A (ja) | 動画の動き解析装置及び方法 | |
| JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP2934156B2 (ja) | 階層型動き検出方法と装置 | |
| JP3001754B2 (ja) | 階層的動ベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050621 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051027 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060817 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |