JP3221052B2 - 画像の手振れ検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の手振れ検出装置
に関し、例えばハンディタイプのビデオカメラの撮像出
力などのビデオデータに含まれる所謂手振れによる画像
の移動量を検出して補正する画像の手振れ補正装置など
に適用される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開昭６３−１６６３７０号公報に開示されているよ
うに、画像の動きベクトルを検出し、この動きベクトル
に基づいて、画像メモリに貯えられているビデオデータ
を補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】一般に、このようなブロックマッチング法
では、画素の間隔を１単位として動きベクトルが検出さ
れ、少数点以下の値は求まらない。

【０００５】ところで、手振れの補正を行う場合は、フ
ィールド毎又はフレーム毎に検出される動きベクトルを
積算したベクトルを手振れベクトルとして用いるため、
正しいベクトルに対する誤差が大きくなることがある。
そこで、決定された動きベクトルとその周辺の積算値デ
ータを用いて動きベクトルの補間を行うことにより少数
点以下の値を求めるようにしている。

【０００６】また、上述の如きブロックマッチング法で
は、カメラの手振れによる画像の動きベクトルと被写体
の動きによる動きベクトルとが同時に発生するので、こ
れらの判別が難しい。従来、手振れによる画像の動きベ
クトルの検出精度を高める手法として、１画面の複数の
領域（マクロブロック）に分割し、上記マクロブロック
毎の動きベクトルから画面全体の動きベクトルを検出す
る手法が知られている。本件出願人は、高いに隣接しな
いマクロブロックが生じるような形態で１画面を複数の
マクロブロックに分割して、上記マクロブロック毎の動
きベクトルから画面全体の動きベクトルを検出する手法
を例えば特願平３−１００３８４号などにおいて先に提
案している。

【０００７】

【発明が解決しようとする課題】ところで、１画面の複
数のマクロブロックに分割し、上記マクロブロック毎の
動きベクトルから画面全体の動きベクトルを決定し、こ
の動きベクトルについて、その周辺の積算値データを用
いて補間すると、画像中に動き物体がある場合には、上
記動き物体が存在するマクロブロックの手振れベクトル
周辺の積算値データに上記動き物体による動きベクトル
の成分が含まれてしまうので、動きベクトルの検出精度
を十分に高めることができず、補間された動きベクトル
と実際の手振れベクトルとの差が大きくなってしまう。

【０００８】そこで、本発明は、このような実情に鑑み
てなされたものであり、ハンディタイプのビデオカメラ
などにおける高性能の手振れ補正を可能にすることを目
的とし、画像中に動き物体がある場合にも補間により手
振れベクトルを高精度に検出することのできる画像の手
振れ検出装置を提供するものである。

【０００９】

【課題を解決するための手段】本発明に係る画像の手振
れ検出装置は、上述の課題を解決するために、１画面を
複数のマクロブロックに分割し、上記マクロブロック毎
に動きベクトルを検出する第１の検出手段と、上記第１
の検出手段の出力に基づいて画面全体の動きベクトルを
検出する第２の検出手段と、上記第２の検出手段により
検出された画面全体の動きベクトル近傍の動きベクトル
が得られるマクロブロックを有効マクロブロックとし
て、各有効マクロブロックの動きベクトルの周辺の積算
値データにより画面全体の動きベクトルを補間する補間
手段とを備え、上記補間手段により補間された動きベク
トルを手振れベクトルとして出力することを特徴とす
る。

【００１０】

【作用】本発明に係る画像の手振れ検出装置では、第１
の検出手段により１画面を複数に分割したマクロブロッ
ク毎に動きベクトルを検出し、第２の検出手段により各
マクロブロックの動きベクトルに基づいて画面全体の動
きベクトルを検出する。そして、上記画面全体の動きベ
クトル近傍の動きベクトルが得られるマクロブロックを
有効マクロブロックとして、補間手段により、各有効マ
クロブロックの動きベクトルの周辺の積算値データで画
面全体の動きベクトルを補間し、手振れベクトルとして
出力する。

【００１１】

【実施例】以下、本発明に係る画像の手振れ検出装置の
一実施例について図面に従い詳細に説明する。本発明に
係る画像の手振れ検出装置は、例えば図１のように構成
される。

【００１２】この図１に示した手振れ検出装置１０は、
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置に本発明を適用した
もので、補正信号発生部２０及び補正部３０とともに手
振れ補正装置を構成している。この図１において、信号
入力端子１には、上記ビデオカメラの図示しない撮像部
による撮像出力として得られるビデオ信号をディジタル
化した入力ビデオデータが供給される。

【００１３】この手振れ検出装置１０は、入力ビデオデ
ータが上記信号入力端子１を介して供給されるフィール
ド差分検出部１１と、このフィールド差分検出部１１の
出力が供給される相関積算値表形成部１２と、この相関
積算値表形成部１２の出力が供給されるマクロベクトル
検出部１５と、このマクロベクトル検出部１５の出力が
供給される動きベクトル決定部１６及び周辺積算値記憶
部１７と、上記動きベクトル検出部１６及び周辺積算値
記憶部１７の各出力が供給される有効積算値表作成部１
８と、この有効積算値表作成部１８の出力が供給される
補間処理部１９とを備えてなる。

【００１４】上記フィールド差分検出部１１は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１Ａと減算回路１１Ｂからなる。

【００１５】上記代表点メモリ１１Ａは、入力ビデオデ
ータで構成される１フィールドの画像を複数に分割した
各ブロック毎の代表点画素の画像データＩ_k （０，０）
を記憶する。具体的には、例えば図２に示すように、１
フィールドの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素Ｓ（０，
０）を代表点とし、各代表点画素の画像データＩ
_k （０，０）を上記代表点メモリ１１Ａに１フィールド
期間記憶する。なお、上記代表点は、画面上で均一にば
らまかれている。そして、この代表点メモリ１１Ａから
読み出される１フィールド前の各代表点画素の画像デー
タＩ_k-1 （０，０）が上記減算回路１１Ｂに供給され
る。

【００１６】また、上記減算回路１１Ｂは、上記信号入
力端子１を介して供給される入力ビデオデータすなわち
現フィールドの画像データについて、ブロック毎のｍ×
ｎ個の各画素の画像データＩ_k （ｘ，ｙ）と上記代表点
メモリ１１Ａから読み出される前フィールドの対応する
ブロックの代表点画素の画像データＩ_k-1 （０，０）と
の差分すなわちフィールド間差の絶対値｜Ｉ_k-1 （０，
０）−Ｉ_k （ｘ，ｙ）｜を検出する。

【００１７】そして、上記フィールド差分検出部１１
は、上記減算回路１１Ｂにより得られるフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を上記相
関積算値表形成部１２に供給する。

【００１８】上記相関積算値表形成部１２は、上記フィ
ールド差分検出部１１により得られたフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給され
るマクロブロック化回路１３と、このマクロブロック化
回路１３によりマクロブロック化されたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給さ
れる第１乃至第１３の絶対値積分回路１４Ａ〜１４Ｍか
らなる。

【００１９】上記マクロブロック化回路１３は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜につい
て、互いに隣接しないマクロブロックが生じる形態で、
１画面を複数のマクロブロックに分割するもので、例え
ば図４に示すように、１画面を４×３の１２個のマクロ
ブロックＢ１〜Ｂ１２に分割する。

【００２０】そして、このマクロブロック化回路１３に
よりマクロブロック化されたフィールド差分絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜は、各マクロブロッ
クＢ１〜Ｂ１２に対応する上記第１乃至第１２の絶対値
積分回路１４Ａ〜１４Ｌにマクロブロック毎に供給され
るとともに、上記第１３の絶対値積分回路１４Ｍに全マ
クロブロックが供給される。

【００２１】上記第１の絶対値積分回路１４Ａは、第１
のマクロブロックＢ１のフィールド差分絶対値｜Ｉ_k-1
（０，０）−Ｉ_k （ｘ，ｙ）｜について、上記ｍ×ｎ個
の画素で構成されるブロックの各フィールド差分絶対値
を対応する画素毎に積算し、上記第１のマクロブロック
Ｂ１の相関積算値表を形成する。以下同様に、上記第２
乃至第１２の絶対値積分回路１４Ｂ〜１４Ｌは、それぞ
れ対応する第２乃至第１２のマクロブロックＢ２〜Ｂ１
２の相関積算値表を形成する。また、上記第１３の絶対
値積分回路１４Ｍは、上記第１乃至第１２のマクロブロ
ックＢ１〜Ｂ１２からなる１画面全体の相関積算値表を
形成する。

【００２２】そして、上記相関積算値表形成部１２は、
上記第１乃至第１２の絶対値積分回路１４Ａ〜１４Ｌに
より形成された各マクロブロックＢ１〜Ｂ１２の相関積
算値表の相関積算値と上記第１３の絶対値積分回路１４
Ｍにより形成された１画面全体の相関積算値表の相関積
算値を上記マクロベクトル検出部１５に供給する。

【００２３】上記マクロベクトル検出部１５は、上記第
１乃至第１２の絶対値積分回路１４Ａ〜１４Ｌにより形
成された各マクロブロックＢ１〜Ｂ１２の相関積算値表
の相関積算値が供給される第１乃至第１２のマクロベク
トル検出回路１５Ａ〜１５Ｌと、上記第１３の絶対値積
分回路１４Ｍにより形成された１画面全体の相関積算値
表の相関積算値が供給されるベクトル検出回路１５Ｍと
からなる。

【００２４】上記第１乃至第１２のマクロベクトル検出
回路１５Ａ〜１５Ｌは、各マクロブロックＢ１〜Ｂ１２
毎の画像の動きベクトル（マクロベクトル）として、各
マクロブロックＢ１〜Ｂ１２の相関積算値表の相関積算
値の最小値の座標を検出する。また、上記ベクトル検出
回路１５Ｍは、１画面全体の動きベクトルとして、上記
相関積算値表の相関積算値の最小値の座標を検出する。

【００２５】ここで、上記相関積算値表形成部１２によ
り形成された各相関積算値表の相関積算値は、各ブロッ
クの代表点画素の画像データＩ_k-1 （０，０）と他の画
素の画像データＩ_k （ｘ，ｙ）とのフィールド間相関を
示すもので、相関の強い画素に対応する座標ほど小さな
値となり、動きベクトルに対応する座標の相関積算値が
最小値となるので、上記マクロベクトル検出部１５は、
相関積算値表の最小値の座標を検出することにより動き
ベクトルを検出することができる。

【００２６】そして、上記マクロベクトル検出部１５
は、上記第１乃至第１２のマクロベクトル検出回路１５
Ａ〜１５Ｌにより検出された各マクロベクトルと上記ベ
クトル検出回路１５Ｍにより検出された１画面全体の動
きベクトルを上記動きベクトル決定部１６に供給する。
さらに、この相関積算値表形成部１２は、上記第１乃至
第１２のマクロベクトル検出回路１５Ａ〜１５Ｌにより
検出された各マクロベクトルの周辺の相関積算値データ
を上記周辺積算値記憶部１７に供給する。

【００２７】上記動きベクトル決定部１６では、上記マ
クロベクトル検出部１５から供給される各マクロベクト
ルと１画面全体の動きベクトルとから総合的に画像の動
きベクトルを決定する。そして、この動きベクトル決定
部１６は、決定した画像の動きベクトルを上記有効積算
値表作成部１８に供給する。

【００２８】また、上記周辺積算値記憶部１７には、上
記第１乃至第１２のマクロベクトル検出回路１５Ａ〜１
５Ｌにより検出された各マクロベクトルの周辺の相関積
算値データが各周辺積算値メモリ１７Ａ〜１７Ｌにコピ
ーされる。

【００２９】さらに、上記有効積算値表作成部１８は、
上記周辺積算値記憶部１７の各周辺積算値メモリ１７Ａ
〜１７Ｌにコピーされた各マクロベクトルの周辺の相関
積算値データについて、上記動きベクトル決定部１６に
り決定された画像の動きベクトル近傍のマクロベクトル
が得られるマクロブロックを有効マクロブロックとし
て、各有効マクロブロックの動きベクトルの周辺の積算
値データにより有効積算値表を作成する。

【００３０】ここで、例えば図５に示すように、１画面
を４×３の１２マクロブロックに分割してマクロブロッ
ク毎の動きベクトルから画面全体の動きベクトルを決定
する場合に、手振れベクトルが（−３，１）で他のベク
トルが物体の動きによるものであったとすると、全ての
マクロブロックの積算値表を足した全体積算値表で（−
３，１）のベクトルに補間をかけると、（−３，１）の
ベクトルが出たマクロブロック以外では、物体の動きに
より（−３，１）近傍の積算値データが汚れているの
で、ベクトルの補間精度が期待できない。

【００３１】そこで、図６に斜線を施して示すように、
手振れベクトル（−３，１）以外のベクトルが検出され
たマクロブロックは無視し、手振れベクトルが検出され
たマクロブロックの積算値表のみを加算することによ
り、動き物体の影響を軽減した有効積算値表を上記有効
積算値表作成部１８において作成する。なお、手振れベ
クトルが（−３，１）と決定されも、実際には（−２，
１）との中間といったことも考えられるので、上記有効
積算値表作成部１８は、例えば図７に斜線を施して示す
ように、上記動きベクトル決定部１６により決定された
動きベクトルに近いベクトルは有効ベクトルとみなし
て、有効積算値表を作成する。

【００３２】そして、上記補間処理部１９は、上記有効
積算値表作成部１８により作成された有効積算値表に基
づいて、上記動きベクトル決定部１６にり決定された画
像の動きベクトルを補間する。この補間処理部１９によ
り補間された動きベクトルは、画像の手振れを示す手振
れベクトルとして上記補正信号発生部２０に供給され
る。

【００３３】なお、上記有効積算値表作成部１８におい
て各有効マクロブロックの動きベクトルの周辺の積算値
データにより有効積算値表を作成するときには、上記相
関積算値表形成部１２における各相関積算値データの一
部は次のフィールドのデータで更新されてしまっている
が、各マクロベクトルの周辺の相関積算値データを各周
辺積算値メモリ１７Ａ〜１７Ｌにコピーして使用するこ
とにより、正しい有効積算値表を作成することができ
る。また、上記各周辺積算値メモリ１７Ａ〜１７Ｌは、
全ての相関積算値データをコピーするようにしても良い
のであるが、動きベクトルの補間処理に使用される周辺
積算値データのみをコピーすることにより、記憶容量を
削減している。

【００３４】すなわち、この実施例の手振れ検出装置１
０では、上記フィールド差分検出部１１，相関積算値表
形成部１２及びマクロベクトル検出部１５により、１画
面を複数に分割したマクロブロック毎に動きベクトルを
検出し、上記動きベクトル決定部１６により各マクロブ
ロックの動きベクトルに基づいて画面全体の動きベクト
ルを検出する。そして、上記周辺積算値記憶部１７及び
有効積算値表作成部１８により、上記画面全体の動きベ
クトル近傍の動きベクトルが得られるマクロブロックを
有効マクロブロックする有効積算値表を作成して、上記
補間処理部９により各有効マクロブロックの動きベクト
ルの周辺の積算値データで画面全体の動きベクトルを補
間し、手振れベクトルとして出力する。

【００３５】このように、上記画面全体の動きベクトル
近傍の動きベクトルが得られるマクロブロックを有効マ
クロブロックする有効積算値表を作成して補間処理を行
うことにより、動き物体の影響を軽減して、誤差の少な
い手振れベクトルを得ることができる。

【００３６】また、上記補正信号発生部２０は、上記手
振れ検出装置１０により検出された手振れベクトル
Ｖ_t ’を入力として、 Ｘ_t ＝Ｘ_t-1 −Ｖ_t ’ なる補正量Ｘ_t の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部３０に供給する。

【００３７】そして、上記補正部３０は、例えば図８に
示すように、上記補正信号発生部２０から手振れ補正信
号が供給されるアドレス制御回路３１及びセレクト信号
発生回路３２と、上記アドレス制御回路３１から供給さ
れるアドレス信号に従ってビデオデータの書き込み／読
み出しが行われるフィールドメモリ３３及び周辺メモリ
３４と、上記フィールドメモリ３３及び周辺メモリ３４
から読み出されるビデオデータを上記セレクト信号発生
回路３２から供給されるセレクト信号に応じて選択的に
出力するセレクタ３５とを備えてなる。

【００３８】上記フィールドメモリ３３には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ３３の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ３３からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ３３から
読み出されるビデオデータと上記周辺メモリ３４から読
み出される周辺ビデオデータとが上記セレクタ３５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００３９】なお、上記周辺メモリ３４には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００４０】

【発明の効果】以上の説明からも明らかなように、本発
明に係る画像の手振れ検出装置では、第１の検出手段に
より１画面を複数に分割したマクロブロック毎に動きベ
クトルを検出し、第２の検出手段により各マクロブロッ
クの動きベクトルに基づいて画面全体の動きベクトルを
検出し、上記画面全体の動きベクトル近傍の動きベクト
ルが得られるマクロブロックを有効マクロブロックとし
て、補間手段により、各有効マクロブロックの動きベク
トルの周辺の積算値データで画面全体の動きベクトルを
補間し、手振れベクトルとして出力することにより、動
き物体の影響を軽減して、誤差の少ない手振れベクトル
を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ検出装置を設けた手
振れ補正装置の構成を示すブロック図である。

【図２】上記手振れ検出装置における画面のブロック分
割の状態を示す図である。

【図３】ブロック分割された画面の１ブロックの構造を
示す図である。

【図４】１画面を１２分割したマクロブロックの状態を
示す図である。

【図５】各マクロブロックの動きベクトルの状態を示す
図である。

【図６】図５に示した動きベクトルの状態における有効
マクロブロックを示す図である。

【図７】上記手振れ検出装置における有効マクロブロッ
クの一例を示す図である。

【図８】上記手振れ補正装置の補正部の構成を示すブロ
ック図である。

【符号の説明】

１０・・・・・手振れクトル検出装置 １１・・・・・フィールド差分検出部 １２・・・・・相関積算値表作成部 １５・・・・・マクロベクトル検出部 １６・・・・・ベクトル決定部 １７・・・・・周辺積算値記憶部 １８・・・・・有効積算値表作成部 １９・・・・・補間処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平４−314290（ＪＰ，Ａ) 特開 平４−309078（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 G03B 5/00 G06T 7/20 100

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 １画面を複数のマクロブロックに分割
   し、上記マクロブロック毎に動きベクトルを検出する第
   １の検出手段と、 上記第１の検出手段の出力に基づいて画面全体の動きベ
   クトルを検出する第２の検出手段と、 上記第２の検出手段により検出された画面全体の動きベ
   クトル近傍の動きベクトルが得られるマクロブロックを
   有効マクロブロックとして、各有効マクロブロックの動
   きベクトルの周辺の積算値データにより画面全体の動き
   ベクトルを補間する補間手段とを備え、 上記補間手段により補間された動きベクトルを手振れベ
   クトルとして出力することを特徴とする画像の手振れ検
   出装置。