JP4639555B2 - 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば手振れによる動きベクトルを検出する動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置に関する。
【０００２】
【従来の技術】
カメラ一体型撮像装置により被写体を撮影する時に、手振れによって撮像画像が揺れる問題があり、これを補正するために、動きベクトルを検出し、撮像画像の揺れを補正する手振れ補正が行なわれている。動きベクトルは、前のフィールド（またはフレーム）と現在のフィールド（またはフレーム）間の相関を検出することで求められる。手振れ補正による動きは、画面全体の動きであり、画面全体の動きベクトルが検出される。
【０００３】
従来の動きベクトル検出装置は、前フィールドに設定された代表点と現フィールドにおける画素の輝度レベルの相関を演算することで動きベクトルを検出していた。例えば代表点と現フィールドのサーチ範囲内の複数の画素の値のフィールド差の絶対値を演算し、１フィールドまたは１検出領域に関して差の絶対値を積分し、積分値の最小値の位置から動きベクトルを検出していた。さらに、検出された動きベクトルが手振れを反映したものであるかどうかの信頼性を判断し、信頼性が低い、すなわち、動きベクトルが手振れを反映したものでないと判断される場合では、検出された動きベクトルを無効として扱っていた。従来、動きベクトルの信頼性は、積分値の最小値、平均値、勾配等に基づいて判別していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、撮影画像が縞模様の場合に、手振れを検出すると、本来の手振れではない動きベクトルを検出する場合がある。この本来の手振れと異なった動きベクトルは、信頼性判別で無効としなければならないが、従来の信頼性の判別方法は、縞模様の信号の場合に検出された動きベクトルを排除することが難しかった。
【０００５】
したがって、この発明の目的は、かかる問題点を解決し、縞模様を撮像した時の本来の手振れとは異なった動きベクトルを排除することができる動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置を提供することにある。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出する動きベクトル検出装置において、
時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
現在のフィールドまたはフレームに代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と代表点との相関値を演算する相関値演算手段と、
入力映像信号の画面が分割されて複数の検出領域が設定され、相関値演算手段からの相関値を検出領域のそれぞれの範囲で積分する積分手段と、
積分手段からの相関値の積分値に基づいて検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
動きベクトル検出手段からの動きベクトルと、信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
信頼性判定手段は、検出領域内に積分値の極値が複数存在することを検出し、極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、動きベクトル検出手段によって検出された検出領域の動きベクトルの信頼性が低いと判定し、
動きベクトル決定手段が信頼性が低いと判定された動きベクトルを除外して画面全体の動きベクトルを決定する動きベクトル検出装置である。請求項２の発明は、このような信頼性の判定を行う動きベクトル検出方法である。
【０００７】
請求項３の発明は、撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出し、検出された動きベクトルによって手振れを補正する手振れ補正装置において、
時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
現在のフィールドまたはフレームに代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と代表点との相関値を演算する相関値演算手段と、
入力映像信号の画面が分割されて複数の検出領域が設定され、相関値演算手段からの相関値を検出領域のそれぞれの範囲で積分する積分手段と、
積分手段からの相関値の積分値に基づいて検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
動きベクトル検出手段からの動きベクトルと、信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
信頼性判定手段は、検出領域内に積分値の極値が複数存在することを検出し、極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、動きベクトル検出手段によって検出された検出領域の動きベクトルの信頼性が低いと判定し、
動きベクトル決定手段が信頼性が低いと判定された動きベクトルを除外して画面全体の動きベクトルを決定し、決定された動きベクトルによって手振れを補正する手振れ補正装置である。請求項４の発明は、動きベクトル決定手段で求められた信頼性が高い動きベクトルに基づいて、手振れを補正する手振れ補正方法である。
【０００８】
請求項５の発明は、撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出し、検出された動きベクトルによって手振れを補正する手振れ補正装置を備えた撮像装置において、
手振れ補正装置は、
時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
現在のフィールドまたはフレームに代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と代表点との相関値を演算する相関値演算手段と、
入力映像信号の画面が分割されて複数の検出領域が設定され、相関値演算手段からの相関値を検出領域のそれぞれの範囲で積分する積分手段と、
積分手段からの相関値の積分値に基づいて検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
動きベクトル検出手段からの動きベクトルと、信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
信頼性判定手段は、検出領域内に積分値の極値が複数存在することを検出し、極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、動きベクトル検出手段によって検出された検出領域の動きベクトルの信頼性が低いと判定し、
動きベクトル決定手段が信頼性が低いと判定された動きベクトルを除外して画面全体の動きベクトルを決定し、決定された動きベクトルによって手振れを補正するように構成された撮像装置である。
【０００９】
この発明では、積分値の極値が複数存在することを検出し、極値の一番目のものと、少なくとも２番目に小さい極値が近いレベルであることを検出した場合には、縞模様の画像によって積分値が生成されたものと推定し、その場合では、検出された動きベクトルを信頼性が低いと判定する。したがって、信頼性の低い動きベクトルを用いて手振れ補正をすることを回避できる。
【００１０】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。この発明の理解を容易とするために、手振れ補正装置の一例を説明する。図１は、かかる手振れ補正装置を示し、参照符号１は、手振れ補正の対象となるディジタル映像信号の入力端子である。入力映像信号は、撮像装置により撮像されたものである。入力映像信号が動きベクトル検出装置２およびフィールドメモリ４に供給される。動きベクトル検出装置２が動きベクトルを検出し、検出した動きベクトルの信頼性を判断し、信頼性の高い動きベクトルから画面全体の動きベクトルを検出する。動きベクトル検出装置２で検出された動きベクトルが補正制御部３に供給される。
【００１１】
補正制御部３は、検出された動きベクトルに基づいた手振れ補正を行う。補正制御部３からの動きベクトルがフィールドメモリ４に供給される。フィールドメモリ４には、撮像部からの入力映像信号（ディジタル）が蓄積されている。例えば撮像部は、出力画像領域より大きな領域とされ、それによって生じた余剰エリアを使用して手振れ補正を行うようにされている。フィールドメモリ４には、かかる余剰エリアを含む画像が蓄積され、動きベクトルに基づいて出力画像領域として切り出す位置を変更することによって手振れを補正している。フィールドメモリ４は、手振れ補正の内で、整数画素単位の補正を行う。すなわち、手振れと逆の方向に画像をシフトする処理がなさる。このシフトの処理を行う時に、余剰エリアを利用することによって画像の欠落を生じないようになされる。撮像部の読み出しを制御したり、撮像した画像を拡大してフィールドメモリ４に蓄積しても良い。
【００１２】
フィールドメモリ４から読み出された映像信号が補間部５に供給される。補間部５では、補正制御部３で求められた動きベクトルに基づく補正量のうちで、整数画素以下の補正量が補間によって補正される。補間は、整数画素以下の補正量に応じた重み付け加算で実現される。水平方向の動きベクトルの成分が例えば０．５画素であれば、隣接する２画素の平均値によって水平方向に０．５画素ずれた画像が生成される。垂直方向に関しても同様の補間がなされる。
【００１３】
なお、本説明では、１フィールドを１画面として扱うが、１フレームを１画面として扱うようにしても良い。また、映像信号は、インターレース信号およびノンインターレース信号の何れでも良い。さらに、この発明は、カラー映像信号の手振れ補正に対しても適用できる。但し、動きベクトルは、輝度信号を使用して検出され、手振れ補正が輝度信号およびカラーコンポーネント信号の両者に施される。
【００１４】
動きベクトル検出装置２では、代表点マッチング法によって動きベクトルを検出する。代表点マッチング法は、前フィールドに代表点を設定し、現フィールドのサーチ範囲の画素の輝度レベルと前フィールドの代表点の輝度レベルとを比較し、サーチ範囲の画素のうち代表点の画素に最も近い画素から動きベクトルを検出する方法である。
【００１５】
図２は、代表点マッチング法による動きベクトル検出方法を示すものである。
現フィールドに複数の画素からなるサーチ範囲ＳＲｎが設定される。サーチ範囲ＳＲｎと同一位置で、同一の大きさの前フィールドの領域ＳＲn-1 の例えば中心位置の画素の値が代表点Ｓt-1（Ｘｋ，Ｙｋ）とされる。代表点Ｓt-1（Ｘｋ，Ｙｋ）と 、サーチ範囲ＳＲｎ内の複数の画素との輝度レベルの差の絶対値が演算される。サーチ範囲で発生した差の絶対値が相関値である。１フィールド内には、複数のサーチ範囲が設定され、各サーチ範囲で求められた相関値が１フィールドにわたって積分されることによって、相関値の積分値が形成される。この積分値から動きベクトルが検出される。
【００１６】
このように、輝度レベルの相関を表す相関値は、代表点の輝度レベルとサーチ範囲ＳＲｎの各画素の輝度レベルの差の絶対値であり、相関が高い場合では、相関値が小さくなる関係にある。相関値としては、差の自乗を使用しても良い。相関値が積分された積分値から動きベクトルが検出される。サーチ範囲ＳＲｎを相関値の積分値とした場合、積分値が最小の位置ａが検出される。代表点の位置と検出された位置ａとの偏移から動きベクトルＭｖが検出される。
【００１７】
撮影時の手振れにより発生する画像の揺れは、画面全体の揺れであり、手振れ補正は、フィールドメモリ４を使用して画面全体を手振れで発生した動きベクトルと逆の方向にシフトする処理である。画面全体の動きベクトルを求める方法の一例についてより具体的に説明する。
【００１８】
図３は、撮像された１画面に設定される検出領域の例である。各フィールド（各画面）をほぼ４分割した各分割領域に検出領域Ｄ０，Ｄ１，Ｄ２，Ｄ３が設定される。各検出領域の動きベクトルが求められ、各検出領域の動きベクトルの中で信頼性の高いものを使用して画面全体の動きベクトルが求められる。
【００１９】
図４は、検出領域Ｄｉ（ｉ＝０，１，２，３）の一例を詳細に示す。前フィールドの検出領域には、複数例えば水平方向に８個、垂直方向に６個の合計４８個の代表点が含まれる。各代表点に対応する空間的位置に、代表点と同数のサーチ範囲ＳＲｎ（ｎ＝０〜４７）が現フィールドに設定される。サーチ範囲は、水平方向の位置が（０，１，２，・・・，Ｘ）とされ、垂直方向の位置が（０，１，２，・・・，Ｙ）とされる。この両方の位置によって、各画素の位置が規定される。代表点の位置は、例えばサーチ範囲と同一位置の領域の中心位置である。そして、代表点の位置に対する偏移ｘ、偏移ｙが規定される。代表点と同一位置では、偏移ｘおよびｙが共に０である。
【００２０】
検出領域Ｄｉのそれぞれにおいて、各サーチ範囲で、各画素毎に相関値例えば代表点と各画素の差の絶対値が求められる。相関値が検出領域毎に積分され、相関値の積分値（以下、適宜検出領域の積分値と称する）からその検出領域の動きベクトルが求められる。図５は、相関値の積分値を求める方法を示す。図５では、１つの検出領域内にＺ＋１個のサーチ範囲ＳＲ０〜ＳＲｚが含まれる例である。
【００２１】
図５の最上段には、サーチ範囲ＳＲ０で求められた相関値が示されている。各画素の位置に対応して相関値が発生するので、各相関値の位置が示されている。他のサーチ範囲の相関値も、同様に各画素の位置で発生する。そして、検出領域内の全てのサーチ範囲の相関値の中で、同じ位置のものが加算されることによって、相関値の積分値ＳＲｄが求められる。例えば（０，０，０）の位置の相関値、（０，０，１）の位置の相関値、・・・、（０，０，Ｚ）の位置の相関値が合計された値が相関値の積分値ＳＲｄの（０，０）の位置の成分である。
【００２２】
図６は、このようにして求められた１つの検出領域の相関値の積分値を３次元（偏移ｘおよびｙと相関値の大きさ）で表すものである。図６において、積分値が最小となる位置ａから動きベクトルを検出する。すなわち、位置ａに対応する偏移ｘおよびｙの値をその検出領域の相関値積分値の最小値とする。なお、上述したように、１つの検出領域内に複数のサーチ範囲を持つことによって、検出精度の低下を防止することができる。さらに、１つの検出領域内に設定される複数のサーチ範囲が互いにオーバーラップ部分を持つようにしても良い。
【００２３】
図７は、動きベクトル検出装置２における動きベクトル検出部２０の一例の構成を示す。入力端子２１から映像信号が入力され、フィルタ処理回路２２に供給される。フィルタ処理回路２２によって動き検出に不要な周波数成分を除去する。フィルタ処理回路２２の出力信号が代表点記憶回路２３および減算器２４の一方の入力端子に供給される。減算器２４の他方の入力端子には、代表点記憶回路２３からの代表点の値が供給される。
【００２４】
代表点記憶回路２３によって、サーチ範囲に対応する２次元領域の中心位置の画素の値が代表点として記憶される。例えば、代表点記憶回路２３は、現フィールドの代表点を選択的に記憶するメモリと、前フィールドの代表点を保持するメモリとから構成される。代表点記憶回路２３から減算器２４の他方の入力端子に対しては、前フィールドの代表点の値が供給される。
【００２５】
減算器２４では、代表点からサーチ範囲内の各画素値が減算される。減算器２４からの差のデータが絶対値変換回路２５に供給され、差の絶対値に変換される。差の絶対値が相関値である。相関値が累積加算回路２６に供給され、図５を参照して説明したように、検出領域に含まれる全ての相関値が積分される。累積加算回路２６によって、１検出領域の相関値の積分値が得られる。
【００２６】
累積加算回路２６からの相関値の積分値が動きベクトル発生回路２７に供給される。動きベクトル発生回路２７では、積分値の最小値を検出し、その偏移ｘおよびｙから動きベクトルを検出し、出力する。出力される動きベクトルは、１つの検出領域で検出されたものである。
【００２７】
図８は、動きベクトル検出装置２の構成の一例を示す。動きベクトル検出装置２の内の動きベクトル検出部２０については、図７と対応する部分に同一符号を付してその説明は、重複を避けるために省略する。動きベクトル検出装置２は、動きベクトル検出部２０の他に、ベクトル特徴検出回路３１、信頼性判別回路３２およびベクトル決定回路３３によって構成される。動きベクトル検出部２０の累算加算回路２６から出力される相関値の積分値が動きベクトル発生回路２７と共に、ベクトル特徴検出回路３１に供給される。
【００２８】
ベクトル特徴検出回路３１は、図６に示す最小値の点ａの周辺の特徴、相関値積分値の特徴を検出する回路である。ベクトル特徴検出回路３１で検出された特徴が信頼性判別回路３２に供給される。信頼性判別回路３２は、検出された特徴に基づいて信頼性の程度を示す信頼性情報を生成し、信頼性情報をベクトル決定回路３３に供給する。ベクトル決定回路３３では、信頼性情報を使用して信頼性の高い動きベクトルを決定する。動きベクトル決定回路３３は、信頼性情報と各検出領域の動きベクトルとを使用して画面全体の動きベクトルを決定し、決定された動きベクトルを出力する。
【００２９】
図３を参照して説明したように、１画面に４個の検出領域Ｄ１〜Ｄ４を設定している。動きベクトル検出部２０では、Ｄ１から順に各検出領域の動きベクトルを検出し、ベクトル決定回路３３には、検出領域Ｄ１、Ｄ２、Ｄ３、Ｄ４の順で、検出された動きベクトルと各検出領域の信頼性情報とが供給される。なお、各検出領域の動きベクトルを並列的に求めても良い。また、動きベクトル検出装置２の全体または一部の機能をソフトウェア処理で実現しても良い。
【００３０】
ベクトル決定回路３３では、４個の検出領域でそれぞれ求められた動きベクトルと信頼性の情報から画面全体の動きベクトルを検出する。このアルゴリズムは、種々のものが可能である。単純な例としては、最も信頼性が高いと判別された動きベクトルが画面全体の動きベクトルとして選択される。他の例としては、信頼性の高い動きベクトルが複数あった場合に、それらの平均値を画面全体の動きベクトルとして採用する。これら以外の方法も可能である。
【００３１】
信頼性判別回路３２は、動きベクトル検出部２０から出力される動きベクトルが本来の手振れによる動きベクトルと異なることがあるために設けられている。
従来では、最小値、積分値の平均値に基づいて信頼性が判別されていた。
【００３２】
図９において、参照符号４１は、通常の被写体の偏移に対する積分値の変化を示し、４１ａｖがその平均値を示す。積分値の分布は、図６に示すように、３次元分布であるが、図９では、簡単のため１つの偏移（例えばＸまたはＹ）に沿ったレベル変化が示されている。参照符号４２は、移動物体が画面に進入した場合の積分値の変化を示す。この場合では、極値のレベルが通常の場合のものに比して大きくなる。参照符号４３は、低コントラスト時の積分値の変化を示す。低コントラスト時では、平均値が小さくなる。これらの場合に検出された動きベクトルは、手振れを正確に反映しないことが多いので、信頼性が低いものと判別される。
【００３３】
縞模様でない被写体の場合では、図６および図１０に示すように、偏移に対する相関値の積分値のレベル分布は、１つの極値のみ存在するか、たとえ複数の極値が存在しても図１１に示すようにそれらのレベルは、最小の極値と大きく異なっている。これらの場合では、従来の信頼性判定の方法を検出された動きベクトルに対して適用することができる。
【００３４】
しかしながら、検出領域内の被写体の輝度レベルが２値的な縞模様の場合では、図１２に示すように、積分値の分布として、複数の極値（図１２では、位置ａおよびｂ）が存在する場合が多く、レベルが比較的近い極値が存在する。また、図１３に示すように、レベルが比較的近い複数の極値が存在する場合もある。そのため、本来の動きベクトルを点ｂの位置から検出すべきであるにもかかわらず、レベルが最小の極値の位置ａから動きベクトルが検出される。この動きベクトルは、本来の手振れベクトルとは異なるものである。
【００３５】
被写体が縞模様である場合では、積分値の最小値のレベルや、平均値に基づく従来の信頼性の判別構成では、本来手振れ動きベクトルとは異なったものが有効な動きベクトルとして扱われ、その結果、手振れ補正時に不自然な手振れ補正がなされる問題があった。
【００３６】
この発明は、検出領域に縞模様が存在する場合においても、信頼性を判別できるようにするものである。すなわち、積分値の分布の中で複数の極値を検出し、最も積分値が小さい極値を最小（１番目の）極値とし、それ以外の極値と比較することによって、最小極値と、少なくとも２番目に小さい極値が近いレベルであることを検出した場合に、検出された動きベクトルの信頼性が低いと判定するものである。これは、動きベクトルとして検出される最小極値に対してレベルが近い極値が存在することによる誤動作を防止するためである。但し、信頼性判別回路がこの発明による信頼性判別の方法と共に、従来の最小値のレベル、平均値等の特徴を使用した信頼性の判別を併用するようにしても良い。
【００３７】
最小極値と全ての極値を比較するのが１つの方法である。他の方法は、２番目に積分値が小さい点（第２極値）だけを最小極値と比較する方法である。第２極値以外に、極値の積分値に関する情報が無くても、充分に判別を行うことができる。このように、全ての極値ではなく、二つの極値しか扱わなければ、回路規模を抑えることができる。
【００３８】
そこで、図１２に示したように、偏移−相関値のグラフにおいて、複数の極値が存在する場合、最小極値と第２極値（２番目に小さい値）を用いて、次式に示す判別式を満たす場合に信頼性がないと判定される。ＡＢＳ（ ）は、絶対値を意味する。
【００３９】
第２極値／最小極値 ≦しきい値
【００４０】
または、ＡＢＳ（第２極値−最小極値）≦しきい値
【００４１】
存在する極値を全て用いる場合では、次式によって信頼性が判定される。Σは、最小極値以外に存在する全ての極値の数の総和を意味する。
【００４２】
ΣＡＢＳ（極値−最小極値）／最小極値以外の全極値の数≦しきい値
【００４３】
一実施形態では、ベクトル特徴検出回路３１において、積分値の分布に存在する複数の極値の位置と、極値のレベルを検出する。検出された極値の位置とレベルの情報が信頼性判別回路３２に供給され、信頼性判別回路３２が上述した判別式に基づいて動きベクトルの信頼性を判別する。信頼性の有無の情報がベクトル決定回路３３に供給され、ベクトル決定回路３３は、例えば４個の検出領域のそれぞれで検出され、且つ信頼性が高いと判別された動きベクトルのみを使用して画面全体の動きベクトルを決定する。
【００４４】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば極値のレベルは、０からのレベルに限らず、積分値の最大値（例えば８ビットデータの場合の２５５）との差によって規定しても良い。
【００４５】
【発明の効果】
この発明では、輝度レベルが２値的な被写体例えば縞模様の被写体を撮影した場合では、積分値の分布において、複数の極値が発生し、しかも、１番目のものと少なくとも２番目のものとが近いレベルとなることに着目し、そのような場合では、検出された動きベクトルの信頼性を低いものと判定する。この信頼性判定処理によって、画面全体の動きベクトルを決定する場合に、信頼性の低い動きベクトルを排除することができ、手振れ補正時に不自然な補正をする等の誤動作を防止することができる。
【図面の簡単な説明】
【図１】手振れ補正装置の一例を示すブロック図である。
【図２】動きベクトル検出方法の説明に用いる略線図である。
【図３】動きベクトル検出のための検出領域を示す略線図である。
【図４】動きベクトル検出のための代表点とサーチ範囲の関係を示す略線図である。
【図５】相関値の積分値を説明するための略線図である。
【図６】相関値の積分値を３次元的に示す略線図である。
【図７】動きベクトル検出部の一例のブロック図である。
【図８】動きベクトル検出装置の一例のブロック図である。
【図９】偏移−積分値の例を示す略線図である。
【図１０】通常の被写体から求められた偏移−積分値の例を示す略線図である。
【図１１】通常の被写体から求められた偏移−積分値の例を示す略線図である。
【図１２】縞模様のような２値的な被写体から求められた偏移−積分値の例を示す略線図である。
【図１３】縞模様のような２値的な被写体から求められた偏移−積分値の例を示す略線図である。
【符号の説明】
２・・・動きベクトル検出装置、３・・・補正制御部、４・・・フィールドメモリ、３１・・・ベクトル特徴検出回路、３２・・・信頼性判別回路、３３・・・動きベクトル決定回路

Claims (5)

1. 撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出する動きベクトル検出装置において、
   時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
   現在のフィールドまたはフレームに上記代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と上記代表点との相関値を演算する相関値演算手段と、
   上記入力映像信号の画面が分割されて複数の検出領域が設定され、上記相関値演算手段からの相関値を上記検出領域のそれぞれの範囲で積分する積分手段と、
   上記積分手段からの相関値の積分値に基づいて上記検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
   上記積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
   上記動きベクトル検出手段からの上記動きベクトルと、上記信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
   上記信頼性判定手段は、上記検出領域内に上記積分値の極値が複数存在することを検出し、上記極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、上記動きベクトル検出手段によって検出された上記検出領域の動きベクトルの信頼性が低いと判定し、
   上記動きベクトル決定手段が上記信頼性が低いと判定された動きベクトルを除外して画面全体の動きベクトルを決定する動きベクトル検出装置。
2. 撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出する動きベクトル検出方法において、
   時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶ステップと、
   現在のフィールドまたはフレームに上記代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と上記代表点との相関値を演算する相関値演算ステップと、
   上記入力映像信号の画面が分割されて複数の検出領域が設定され、上記相関値演算手段からの相関値を上記検出領域のそれぞれの範囲で積分する積分ステップと、
   求められた相関値の積分値に基づいて上記検出領域毎に動きベクトルを検出する動きベクトル検出ステップと、
   上記相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定ステップと、
   上記動きベクトル検出ステップにより検出された上記動きベクトルと、上記信頼性の情報とから、画面全体の動きベクトルを決定する動きベクトル決定ステップとを有し、
   上記信頼性判定ステップは、上記検出領域内に上記積分値の極値が複数存在することを検出し、上記極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、上記動きベクトル検出ステップによって検出された上記検出領域の動きベクトルの信頼性が低いと判定し、
   上記動きベクトル決定ステップにおいて上記信頼性が低いと判定された動きベクトルを除外して上記画面全体の動きベクトルを決定する動きベクトル検出方法。
3. 撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出し、検出された動きベクトルによって手振れを補正する手振れ補正装置において、
   時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
   現在のフィールドまたはフレームに上記代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と上記代表点との相関値を演算する相関値演算手段と、
   上記入力映像信号の画面が分割されて複数の検出領域が設定され、上記相関値演算手段からの相関値を上記検出領域のそれぞれの範囲で積分する積分手段と、
   上記積分手段からの相関値の積分値に基づいて上記検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
   上記積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
   上記動きベクトル検出手段からの上記動きベクトルと、上記信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
   上記信頼性判定手段は、上記検出領域内に上記積分値の極値が複数存在することを検出し、上記極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、上記動きベクトル検出手段によって検出された上記検出領域の動きベクトルの信頼性が低いと判定し、
   上記動きベクトル決定手段が上記信頼性が低いと判定された動きベクトルを除外して上記画面全体の動きベクトルを決定し、決定された動きベクトルによって手振れを補正する手振れ補正装置。
4. 撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出し、検出された動きベクトルによって手振れを補正する手振れ補正方法において、
   時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶ステップと、
   現在のフィールドまたはフレームに上記代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と上記代表点との相関値を演算する相関値演算ステップと、
   上記入力映像信号の画面が分割されて複数の検出領域が設定され、上記相関値演算手段からの相関値を上記検出領域のそれぞれの範囲で積分する積分ステップと、
   求められた相関値の積分値に基づいて上記検出領域毎に動きベクトルを検出する動きベクトル検出ステップと、
   上記相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定ステップと、
   上記動きベクトル検出ステップにより検出された上記動きベクトルと、上記信頼性の情報とから、画面全体の動きベクトルを決定する動きベクトル決定ステップとを有し、
   上記信頼性判定ステップは、上記検出領域内に上記積分値の極値が複数存在することを検出し、上記極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、上記動きベクトル検出ステップによって検出された上記検出領域の動きベクトルの信頼性が低いと判定し、
   上記動きベクトル決定ステップにおいて上記信頼性が低いと判定された動きベクトルを除外して上記画面全体の動きベクトルを決定し、決定された動きベクトルによって手振れを補正する手振れ補正方法。
5. 撮像装置の手振れにより生じる動きベクトルを入力映像信号から検出し、検出された動きベクトルによって手振れを補正する手振れ補正装置を備えた撮像装置において、
   上記手振れ補正装置は、
   時間的に前のフィールドまたはフレームから複数の代表点を抽出して記憶する代表点記憶手段と、
   現在のフィールドまたはフレームに上記代表点のそれぞれと同一の位置の画素を含む複数のサーチ範囲を設定し、各サーチ範囲内の複数の画素と上記代表点との相関値を演算する相関値演算手段と、
   上記入力映像信号の画面が分割されて複数の検出領域が設定され、上記相関値演算手段からの相関値を上記検出領域のそれぞれの範囲で積分する積分手段と、
   上記積分手段からの相関値の積分値に基づいて上記検出領域毎に動きベクトルを検出する動きベクトル検出手段と、
   上記積分手段からの相関値の積分値を使用して検出された動きベクトルの信頼性を判定する信頼性判定手段と、
   上記動きベクトル検出手段からの上記動きベクトルと、上記信頼性判定手段からの信頼性の情報とが供給され、画面全体の動きベクトルを決定する動きベクトル決定手段とを備え、
   上記信頼性判定手段は、上記検出領域内に上記積分値の極値が複数存在することを検出し、上記極値の１番目のものと、少なくとも２番目の極値が近いレベルであることを検出した場合に、上記動きベクトル検出手段によって検出された上記検出領域の動きベクトルの信頼性が低いと判定し、
   上記動きベクトル決定手段が上記信頼性が低いと判定された動きベクトルを除外して上記画面全体の動きベクトルを決定し、決定された動きベクトルによって手振れを補正するように構成された撮像装置。

Images