JP2676978B2 - 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置及び画像揺れ補正装置と動きベクトル検出方法と画像
揺れ補正方法に関するものである。

従来の技術 従来の画像の動きベクトル検出装置の例として、例え
ば、特開昭61−269475号公報に示される様なものがあ
る。第７図は上記装置の概略構成を示したものであり、
図中１はラッチＡ、２は代表点保存メモリ、３はラッチ
Ｂ、４は減算器、５はアドレスコントローラ、６は絶対
値交換器、７は累積加算器、８は相関性検索部、９は相
関性有効無効判定部、10は動きベクトル判定部Ａであ
る。

以上のように構成された従来の画像の相関演算装置を
用いた画像の動きベクトル検出装置について説明する。
まず、画像の動きベクトルについて説明する。

第８図（ａ）は、ある時刻における画像を示し、第８
図（ｂ）は１フィールドもしくは１フレーム後の画像を
示している。このように、撮影装置等の動きによって画
像が平行移動するとき、第８図（ｃ）の矢印で示したよ
うに画像が平行移動した量をベクトルで示したものを動
きベクトルと呼ぶ。

第９図はこのような画像の動きベクトルを検出する方
法である、代表点マッチング法における代表点とそのま
わりの画素の様子を示したものである。

動きベクトルの検出は、あるフィールドにおける代表
点の位置の画像データが次のフィールドでまわりの画素
のうち、どこに移動したかを相関性を用いて検出するこ
とによって行われる。

次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第７図を用いて説明する。

画像上の各代表点における画像データはタイミングパ
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ２のそれぞれの代表点に応答する
アドレスに書き込まれる。

そして、次のフィールドもしくは次のフレームにおい
て、各代表点の位置のまわりの動きベクトル検出領域に
おける画像データと、代表点保存メモリ２に保存された
前フィールドの代表点の相関（ここでは絶対値差分）を
とり、累積加算器７に入力する。累積加算器７は代表点
は基準としたときの座標の位置が同じ場所において相関
をとったデータをそれぞれ累積加算する。そして、全て
の代表点まわりの累積加算が終了したとき、相関性検索
部８により累積加算器７に保持された累積加算値のなか
で最も相関の高い値を有する場所を判定する。つまり、
代表点の位置を基準としたときの、この最も相関の高い
値を有する位置（アドレス）が動きベクトルとなる。

第７図に示した構成では、相関演算を差分絶対値の累
積加算で行っている為、累積加算器７にある相関が高い
点のデータ値は、その他の点のデータ値より低いレベル
となる。さらに、代表点の回りの相関値の分布（平均
値，最小値，最大値）を基にして相関演算により得られ
た動きベクトルが有効か無効か判定する。

判定の条件は平均値が低いとき、最小値が高いとき、
そして相関値の最小点の回りの最小相関値／最大相関値
が小さいとき、相関演算により得られた動きベクトルを
無効と判定する。この判定を相関性有効無効判定部９に
より行う。

以上に説明した動作は、画面を複数個に分割した各領
域について行われる。そして、画面の各領域から得られ
た動きベクトルとその無効判定情報により画面全体の動
きベクトルを判定器A10により判定する。

ここまでの動作は毎フィールド（フレーム）行うた
め、相関演算を行いながら次のフィールド（フレーム）
の相関演算のための代表点における画像データを保存す
るためにラッチA1がある。またラッチB3は、ある代表点
の画像データとその周辺の画像データとの相関をとると
きに代表点の画像データを保持する。

第７図の波線部分、すなわち相関演算により動きベク
トルを検出する部分を動きベクトル検出部A20とする。

発明が解決しようとする課題 しかしながら上記のような従来の構成において、被写
体の各位置による相関が低く、撮影装置の動きによる画
像がシフトした点だけが相関の高い点となれば良いが、
被写体に規制正しい相関があった場合、以下の問題が発
生する。

被写体に規則正しい相関があった場合、相関の高い点
が多数得られ、これを検出するために相関値の最小値の
回りの最小相関値／最大相関値を調べるものであるが、
最小相関値／最大相関値を単純に一定値と比較しただけ
では十分な検出ができない。特に、画像を撮像している
カメラが揺れていた場合、最小相関値／最大相関値のば
らつきが大きくなり、値が変動し得られた動きベクトル
が正しいかどうかの検出が十分な確度で行えなくなる。

従って各領域から得られる動きベクトルが、画像内の
相関の高い本来の動きベクトルとは関係のない点の位置
となり、各領域における動きベクトルは同じにならな
い。その結果、各領域の動きベクトルの平均等をとって
画面全体の動きベクトルを決定すると、画面全体の動き
と異なる画像の相関の高い点を示した領域の動きベクト
ルの候補点が原因となり、画像全体の動きベクトルの検
出を誤るという問題点を有していた。

本発明はかかる点に鑑み、被写体に多くの相関があっ
た場合、特に、水平方向及び垂直方向に相関があった場
合にその相関を検出し、画面全体の動きベクトルの検出
誤りを抑圧することを目的とする。

課題を解決するための手段 上記目的を達成するため本発明の動きベクトル検出装
置は、入力画像を複数の領域に分割し、各領域における
画像の動きベクトルを演算する動きベクトル検出部と、
前記動きベクトル検出部のデータから相関演算値の相関
が最も高い点の周囲の相関演算値の水平方向の勾配と垂
直方向の勾配の比または斜め方向２つの勾配の比を調べ
る相関特徴抽出部と、前記動きベクトル検出部の相関値
の平均値及び最小値より求めた動きベクトルの無効を判
定する無効判定部と、前記相関特徴抽出部の出力と前記
無効判定部の出力とに基づき、前記各画像について水平
方向または垂直方向もしくは斜め方向の勾配の比が所定
範囲外のとき無効と判断して動きベクトルに採用せず各
領域の有効な動きベクトルに基づいて前記入力画像の動
きベクトルを決定する動きベクトル判定部を有すること
を特徴とする。

また、本発明の画像揺れ補正装置は、入力画像を複数
の領域に分割し、各領域における画像の動きベクトルを
演算する動きベクトル検出部と、前記動きベクトル検出
部のデータから相関演算値の相関が最も高い点の周囲の
相関演算値の水平方向の勾配と垂直方向の勾配の比また
は斜め方向２つの勾配の比を調べる相関特徴抽出部と、
前記動きベクトル検出部の相関値の平均値及び最小値よ
り求めた動きベクトルの無効を判定する無効判定部と、
前記相関特徴抽出部の出力と前記無効判定部の出力とに
基づき、前記各画像について水平方向または垂直方向も
しくは斜め方向の勾配の比が所定範囲外のとき無効と判
断して動きベクトルに採用せず各領域の有効な動きベク
トルに基づいて前記入力画像の動きベクトルを決定する
動きベクトル判定部と、前記動きベクトル判定部で決定
された入力画像の動きベクトルに基づいて前記入力画像
の揺れをキャンセルした画像を出力できる出力制御部を
有することを特徴とする。

また、本発明の動きベクトル検出方法は、入力画像を
複数の領域に分割し、各領域における画像の動きベクト
ルを演算し、演算された各領域の動きベクトルに基づい
て前記入力画像の動きベクトルを決定する際、以下の処
理を含むことを特徴とする。

演算された各領域の動きベクトルについて相関演算値
の相関が高い点の周囲の相関演算値の、一の方向の勾配
と他の方向の勾配の比を求める処理、前記勾配の比が所
定の範囲内にあるか否かを判定する処理、前記勾配の比
が所定の範囲内にない場合、無効と判断して動きベクト
ルに採用せず各領域の有効な動きベクトルに基づいて入
力画像の動きベクトルを決定する処理。

また、本発明の画像揺れ補正方法は、入力画像を複数
の領域に分割し、各領域における画像の動きベクトルを
演算する処理と、演算された各領域の動きベクトルにつ
いて相関演算値の相関が高い点の周囲の相関演算値の、
一の方向の勾配と他の方向の勾配との比が所定の範囲内
にない場合、無効と判断して動きベクトルに採用せず各
領域の有効な動きベクトルに基づいて前記入力画像の動
きベクトルを決定する処理と、前記決定された動きベク
トルに基づいて前記入力画像の揺れを補正する処理を含
むことを特徴とする。

作用 上記構成により、各検出領域の動きベクトルの有効性
を、相関の高い点の一方向の相関演算値の勾配と他の方
向の相関演算値の勾配との比を用いて判断し、有効でな
い画像の動きベクトルは採用せず、入力画像の動きベク
トルを決定し、さらにこの入力画像の動きベクトルを用
いて安定な揺れ補正を行うものである。

実施例 第１図は、本発明の第１の実施例における動きベクト
ル検出装置の構成図であり、図中１はラッチＡ、２は代
表点保存メモリ、３はラッチＢ、４は減算器、５はアド
レスコントローラ、６は絶対値交換器、７は累積加算
器、８は相関性検索部、、９は相関性有効無効判定部で
あり、以上のブロックで構成された動きベクトル検出部
A20は、従来の構成と同様である。11は相関特徴抽出部
であり、12は動きベクトル判定部Ｂである。

以上のように構成された動きベクトル検出装置につい
て説明する。

まず、入力された信号の、画面上の各代表点における
画像データは、タイミングパルスLP1によりラッチA1に
取り込まれ、タイミングをとって代表点保存メモリ２の
それぞれの代表点に対応するアドレスに書き込まれる。

そして、次のフィールドもしくは次のフレームにおい
て、各代表点の位置のまわりの動きベクトル検出領域に
おける画像データと、代表点保存メモリ２に保存された
前フィールドの代表点の相関をとり、累積加算器７に入
力する。ここでの相関演算は差分絶対値の累積加算で行
う。累積加算器７は代表点を基準としたときの座標の位
置が同じ場所において、相関をとったデータをそれぞれ
累積加算する。そして、全ての代表点まわりの累積加算
が終了したとき、相関性検索部８により累積加算器７に
保持された累積加算値のなかで最も相関の高い値を有す
る場所を判定する。つまり、代表点の位置を基準とした
ときの、この最も相関の高い値を有する位置（アドレ
ス）が動きベクトルとなる。

本発明の構成では、相関演算を差分絶対値の累積加算
で行っているため、累積加算器７にある相関が高い点の
データ値は、その他の点のデータ値より低いレベルとな
る。

一般の画像信号の場合の累積加算した値の一部を第２
図に模式的に示す。第２図は２次元の相関演算を行うと
きの２次元のシフト量（偏移）に対応した平面に相関値
（ここでは差分絶対値の累積加算）のレベルを示したも
ので、XX′は水平方向を示し、YY′は垂直方向を示す。
また、濃度はデータのレベルを示し、黒いほどレベルが
低いものとする。

第２図（ａ）のXX′の位置のデータレベルを第２図
（ｂ）に示す。ここで一番レベルの低い点が相関の高い
点であり、この点の位置＝アドレスを動きベクトルとし
て相関性検索部８で求める。

さらに、代表点の回りの相関値の分布（平均値、最小
値、最大値）を基にして相関性検索部８により得られた
動きベクトル候補が有効か無効か判定する。

判定の条件は平均値が低いとき、最小値が高いとき、
そして相関値の最小点の最小相関値／最大相関値が小さ
いとき、相関演算により得られた動きベクトル候補を無
効と判定する。この判定を相関性有効無効判定部９によ
り行う。

この無効判定と同時に、一番相関の高い点（レベルの
一番低い点）の周囲データを基にして水平（Ｈ）、垂直
（Ｖ）、斜め方向の相関値の勾配と、これらの勾配の比
を計算する。この勾配の比の計算は相関特徴抽出部11に
より行う。相関特徴抽出部11の構成を第３図に示す。

第３図において、21は相関値読み込み部、22は勾配演
算部、23は勾配比演算部、24はフィルタである。

相関性検索部８により得られた動きベクトル候補点の
周囲の相関値を相関値読み込み部21により読み取り、
縦、横そして斜め方向の勾配を勾配演算部22で演算す
る。そしてこの勾配の比を勾配比演算部23で演算する。

勾配比の演算は、勾配演算部22で得られる勾配値を直
接演算するものと、フィルタ24を通過させたものに演算
を行う２種類の演算を行う。勾配値をLPFに通すことに
より、擾乱の少ない判定が可能となる。勾配の比を取る
組み合わせを第４図に示す。

同図において１つの四角は相関値を求める演算単位を
示し、中央の黒く示した四角は相関の最も高い（レベル
は低い）位置を示すものである。同図（ａ）は縦横比の
判定を行う方向を示し、（ｂ）は斜め方向比の判定を行
う方向を示すものである。フィルタ（LPF）24を通した
縦方向の勾配をGv、横方向の勾配をGh、斜め方向の勾配
をGo1,Go2と表すと、 Gv＝max｛（Lv1−Ls0），（Lv2−Ls0）｝ Gh＝max｛（Lh1−Ls0），（Lh2−Ls0）｝ Go1＝max｛（Lo1−So1），（Lo2−So1）｝ Go2＝max｛（Lo3−So1），（Lo4−So1）｝ ここで、Lv1,Lv2,Lh1,Lh2,Ls0,Lo1,Lo2,Lo3,Lo4,So1
は、第４図に示すV1,V2,H1,H2,S0,O1,O2,O3,O4,S1の相
関演算値である。max（a,b）はａまたはｂの最大値を示
す。勾配の比の判定は次式により判定する。

４＞Gh/Gv＞0.8 ……（１） ２＞Go1/Go2＞0.5 ……（２） 以上の２式の条件が成立したときに、得られた動きベ
クトルが有効であると判定する。この演算は相関特徴抽
出部11で行い、判定は動きベクトル判定部B12で行う。

このように同じ条件で求めたデータの比を求めること
により、画像の移動（カメラの揺れによる）によって勾
配値が変動した場合においても、比を求めることにより
変動成分を打ち消すことが可能となる。従って勾配値の
変動による影響を少なくすることが可能となり、誤ベク
トルの発生確率が高くなる条件を安定して検出できるよ
うになる。誤ベクトルの発生確率が高くなる条件を、第
５図に模式的に示す。

第５図は相関演算値を明暗で示し、２次元の位置は相
関演算の偏移を示したものであり、相関の高い（相関値
は小さい値）点の偏移（黒く示した点）を図の中心に示
す。第５図ａは水平方向に相関が強い場合の例であり、
同図ｂは垂直方向に相関が強い場合の例であり、いずれ
も（１）式の条件が成立せず、該ベクトルの発生確率が
高くなる条件を検出できる。

動きベクトル判定部B12は勾配値をLPF24に通した信号
GLや、フィルタ24を通さないで勾配比を計算した信号GR
も、動きベクトル判定部B12に入力する。

動きベクトル判定部B12は、フィルタ24を通した勾配
の比の判定とともに、フィルタ24を通さない勾配の比
（信号GR）の判定も同時に行う。更にフィルタ24を通し
た勾配値単独の判定も行う。勾配値単独の判定は、例え
ば勾配値が一定レベルより大きいか否かの判定で行う。

これはフィルタ24を通すことにより、判定に対する擾
乱は少なくなり安定した判定が行えるが、応答時間が長
くなるため、時間遅れが問題になる条件ではフィルタ24
を通さないデータを優先させ、そうでないときはフィル
タ24を通したデータを優先させ、得られた動きベクトル
が画像の揺れ補正に用いて良いかどうかの判定を行う。

第５図に示した例では、従来のように相関値の平均値
レベル、及び相関値の最小値と平均値の比較、及び相関
値の最小値と最大値の比の判定しか用いない場合、画像
が１方向に相関が強く、第５図に示したように相関値が
１方向に谷のようになる条件下においては、安定した動
きベクトルの検出ができない。その結果として誤った動
きベクトルを検出することになる。本発明の場合、この
ような条件においても、画像の相関が１方向に強い部分
を判定し、この条件下での演算結果を用いないようにで
きるため、動きベクトルを誤検出する確率を低減でき
る。

ここまでの動作は、画面を複数個に分割した各領域に
ついて行なう。ここまでの動作は、毎フィールド（フレ
ーム）行うため、相関演算を行いながら次のフィールド
（フレーム）の相関演算のための代表点における画像デ
ータを保存するためにラッチA1がある。また、ラッチB3
は、ある代表点の画像データと、その周辺の画像データ
との相関をとるときに代表点の画像データを保持する。

このようにして、分割した各領域から動きベクトルの
候補を決定し、これらの候補ベクトルをメディアンフィ
ルタにかけて、入力信号の動きベクトルとする。このよ
うにして入力信号の動きベクトルを求めることにより、
相関性の高い点が水平方向または垂直方向もしくは斜め
方向に多く得られている条件では、動きベクトル候補点
を無効として、動きベクトルに採用しない。従って、従
来動きベクトルとして無効であるが、その判定ができ
ず、誤った動きベクトルを出力していた場合において
も、その判定が可能となり誤ったベクトルを出力するこ
とが無くなる。

次に本発明の動きベクトル検出装置を用いた画像の揺
れ補正装置について説明する。第６図は本実施例におけ
る画像の揺れ補正装置のブロック図である。

図中、15は画像信号を蓄積するメモリ、16はメモリの
信号を補間する補間部、17は画像信号の出力を制御する
出力制御部であり、50は本発明の動きベクトル検出装置
であり、第１図と同じ番号を付して説明は省略する。

以上のように構成された画像の揺れ補正装置の動作に
ついて説明する。

第６図において、動きベクトルを求める方法は前記実
施例と同様であるので、その説明は省略する。

動きベクトル検出装置B50より入力された画像信号の
動きベクトルが出力され、出力制御部17に入力する。出
力制御部17は動きベクトルの正数部（動きベクトルを画
像信号が記録されているメモリのアドレスで表現した場
合）に対応して、メモリ15の信号読み出しのアドレスを
決定する。また、動きベクトルの小数部に対応して補間
部16の制御を行う。補間は垂直水平とも距離の逆数に対
応した重みを掛ける線形補間とする。

このようにして、動きベクトルに合わせて出力制御部
17は画像の揺れを逆方向にシフトし、画像の揺れをキャ
ンセルする。また、出力制御部17は出力する画像をもと
の画像の1.1から1.5倍程度に拡大し、メモリ15内部の画
像を左右上下にシフトして出力した場合“縁”が見えな
いようにする。

このように本発明の動きベクトル検出装置を用い、画
像の揺れ補正装置を構成することにより、画像の中に相
関性の高い点が水平方向または垂直方向もしくは斜め方
向に多く得られる条件で、従来の揺れ補正装置では補正
を誤る場合においても、誤る可能性のある候補ベクトル
を無効とし、安定な揺れ補正を実現することができる。

尚、動きベクトル検出装置の実施例において、相関値
の勾配の比は縦、横及び斜め方向しか示さなかったが、
この方向に限る必要はない。また相関値の勾配の演算方
法も本実施例に限る必要はなく、相関性の一番高い（相
関値の一番低い）点と勾配を求めたい方向の相関値の差
の平均でも良く、これに変わるその他の勾配を演算する
方法でも良いのは当然である。また、勾配の比の判定は
本実施例の値に限る必要はなく、それぞれの応用条件に
合わせて変更して良い。

発明の効果 以上のように本発明によれば、画像の中で相関性の高
い点が水平方向または垂直方向もしくは斜め方向に多く
得られる条件で、動きベクトルの演算データを、動きベ
クトルの決定に用いないようにし、他の領域の動きベク
トルが安定に求められる演算データを基に、動きベクト
ルを決定するので、従来動きベクトルとして無効である
が、その判定ができず誤った動きベクトルを出力してい
た場合においても、その判定が可能となり、誤ったベク
トルを出力することが無くなり、安定した動きベクトル
を検出できる。

また、画像揺れ補正装置に応用した場合には、誤った
ベクトルを採用することがなく、安定した揺れ補正が実
現できる。

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図、第２図は本実施例における
動きベクトル検出装置の動作状態説明図、第３図は本発
明に用いる相関特徴抽出部の構成を示すブロック図、第
４図及び第５図は本実施例における動きベクトル検出装
置の動作状態説明図、第６図は本実施例における画像揺
れ補正装置の構成を示すブロック図、第７図は従来の動
きベクトル検出装置の構成を示すブロック図、第８図及
び第９図は従来の動きベクトル検出装置の動作状態説明
図である。 ２……代表点保存メモリ、７……累積加算器、８……相
関性検索部、９……相関性有効無効判定部、11……相関
特徴抽出部、12……動きベクトル判定部Ｂ、15……メモ
リ、16……補間部、17……出力制御部、50……動きベク
トル検出装置Ｂ。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】入力画像を複数の領域に分割し、各領域に
   おける画像の動きベクトルを演算する動きベクトル検出
   部と、前記動きベクトル検出部のデータから相関演算値
   の相関が最も高い点の周囲の相関演算値の水平方向の勾
   配と垂直方向の勾配の比または斜め方向２つの勾配の比
   を調べる相関特徴抽出部と、前記動きベクトル検出部の
   相関値の平均値及び最小値より求めた動きベクトルの無
   効を判定する無効判定部と、前記相関特徴抽出部の出力
   と前記無効判定部の出力とに基づき、前記各画像につい
   て水平方向または垂直方向もしくは斜め方向の勾配の比
   が所定範囲外のとき無効と判断して動きベクトルに採用
   せず各領域の有効な動きベクトルに基づいて前記入力画
   像の動きベクトルを決定する動きベクトル判定部を有す
   ることを特徴とする動きベクトル検出装置。
2. 【請求項２】入力画像を複数の領域に分割し、各領域に
   おける画像の動きベクトルを演算する動きベクトル検出
   部と、前記動きベクトル検出部のデータから相関演算値
   の相関が最も高い点の周囲の相関演算値の水平方向の勾
   配と垂直方向の勾配の比または斜め方向２つの勾配の比
   を調べる相関特徴抽出部と、前記動きベクトル検出部の
   相関値の平均値及び最小値より求めた動きベクトルの無
   効を判定する無効判定部と、前記相関特徴抽出部の出力
   と前記無効判定部の出力とに基づき、前記各画像につい
   て水平方向または垂直方向もしくは斜め方向の勾配の比
   が所定範囲外のとき無効と判断して動きベクトルに採用
   せず各領域の有効な動きベクトルに基づいて前記入力画
   像の動きベクトルを決定する動きベクトル判定部と、前
   記動きベクトル判定部で決定された入力画像の動きベク
   トルに基づいて前記入力画像の揺れをキャンセルした画
   像を出力できる出力制御部を有することを特徴とする画
   像揺れ補正装置。
3. 【請求項３】入力画像を複数の領域に分割し、各領域に
   おける画像の動きベクトルを演算し、演算された各領域
   の動きベクトルに基づいて前記入力画像の動きベクトル
   を決定する際、以下の処理を含むことを特徴とする動き
   ベクトル検出方法。 演算された各領域の動きベクトルについて相関演算値の
   相関が高い点の周囲の相関演算値の、一の方向の勾配と
   他の方向の勾配の比を求める処理、 前記勾配の比が所定の範囲内にあるか否かを判定する処
   理、 前記勾配の比が所定の範囲内にない場合、無効と判断し
   て動きベクトルに採用せず各領域の有効な動きベクトル
   に基づいて前記入力画像の動きベクトルを決定する処
   理。
4. 【請求項４】入力画像を複数の領域に分割し、各領域に
   おける画像の動きベクトルを演算する処理と、 演算された各領域の動きベクトルについて相関演算値の
   相関が高い点の周囲の相関演算値の、一の方向の勾配と
   他の方向の勾配の比が所定の範囲内にない場合、無効と
   判断して動きベクトルに採用せず各領域の有効な動きベ
   クトルに基づいて前記入力画像の動きベクトルを決定す
   る処理と、 決定された動きベクトルに基づいて前記入力画像の揺れ
   を補正する処理を含むことを特徴とする画像揺れ補正方
   法。