JPH05145828A - 画像の手振れ判定装置 - Google Patents

Abstract

(57)【要約】 【目的】 検出した動きベクトルが手振れに起因するも
のであるか否かを確実に判定することのできる画像の手
振れ判定装置を提供する。 【構成】 互いに隣接しないマクロブロックが生じる形
態で１画面を複数のマクロブロックに分割し、フィール
ド差分検出部１１により検出されたフィールド差分絶対
値を相関積算値表形成部１４により積算して各マクロブ
ロック毎の相関積算値表を形成し、動きベクトル推定部
１８により動きベクトルを推定する。手振れ判定部１９
は、各マクロブロック毎の相関積算値表について、代表
点画素に対応する座標の積算値を周辺座標の積算値と比
較して極小値でない場合に動きベクトルが手振れによる
ものであると判定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の手振れ判定装置
に関し、例えばハンディタイプのビデオカメラの撮像出
力等をビデオデータに含まれる所謂手振れによる画像の
移動量を検出して補正する画像の手振れ補正装置などに
適用される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開昭６３−１６６３７０号公報に開示されているよ
うに、画像の動きベクトルを検出し、この動きベクトル
に基づいて、画像メモリに貯えられているビデオデータ
を補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】そして、画像の手振れ補正装置では、検出
された動きベクトルを補正信号に変換し、この補正信号
により現画像を移動する補正を行っている。このような
画像の手振れ補正装置における補正精度は、画像の動き
ベクトルの検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトルの検出では、カメラの手振れ
による動きベクトルと被写体の移動による動きベクトル
とが同時に発生する。従って、画像の手振れ補正装置で
は、上記手振れによる動きベクトルと被写体の移動によ
る動きベクトルとを判別し、上記手振れによる動きベク
トルのみにより手振れ補正信号を形成して手振れ補正を
行う必要がある。上記被写体の移動による動きベクトル
を手振れによる動きベクトルと誤って判定して、手振れ
補正を行った場合には、静止しているべき背景画像など
が手振れ補正により移動してしまうことになり、不自然
が画像となってしまう。逆に、上記手振れによる動きベ
クトルを被写体の移動による動きベクトルと誤って判定
した場合には、手振れ補正がきかなくなってしまう。

【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
検出した画像の動きベクトルが手振れによる画像の動き
ベクトルであるか被写体の移動による動きベクトルであ
るかを確実に判定することのできる画像の手振れ判定装
置を提供するものである。

【０００７】

【課題を解決するための手段】本発明に係る画像の手振
れ判定装置は、上述の課題を解決するために、入力ビデ
オ信号で構成される１フィールドの画像を複数に分割し
た各ブロック毎の代表点画素の画像データをメモリに１
フィールド期間記憶し、現フィールドのブロックの各画
素の画像データと上記メモリから読み出される前フィー
ルドのブロックの代表点画素の画像データとの差分の絶
対値を検出するフィールド差分検出手段と、互いに隣接
しないマクロブロックが生じる形態で、１画面を複数の
マクロブロックに分割し、上記フィールド差分検出手段
により検出されたフィールド差分絶対値を各マクロブロ
ック毎に積算する積算手段と、上記積算手段により得ら
れる各マクロブロック毎の相関積算値表から動きベクト
ルを推定する動きベクトル推定手段と、上記積算手段に
より得られる各マクロブロック毎の相関積算値表に基づ
いて、上記動きベクトル推定手段により推定された動き
ベクトルが手振れに起因するものであるか否かの判定を
行う手振れ判定手段とを備え、上記手振れ判定手段は、
上記積算手段により得られる各マクロブロック毎の相関
積算値表について、代表点画素に対応する座標の積算値
を周辺座標の積算値と比較し、上記代表点画素に対応す
る座標の積算値が極小値でないときに、上記動きベクト
ルが手振れに起因するものであると判定することを特徴
とするものである。

【０００８】

【作用】本発明に係る画像の手振れ判定装置では、各マ
クロブロック毎の相関積算値表について、代表点画素に
対応する座標の積算値を周辺座標の積算値と比較し、上
記代表点画素に対応する座標の積算値が極小値でないと
きに、上記動きベクトルが手振れに起因するものである
と判定する。

【０００９】

【実施例】以下、本発明に係る画像の手振れ判定装置の
一実施例について図面に従い詳細に説明する。本発明に
係る画像の手振れ判定装置は、例えば図１に示すように
構成される。

【００１０】この図１に示した画像の手振れ判定装置１
０は、ハンディタイプのビデオカメラにおける手振れに
よる画像の動きを補正する手振れ補正装置に本発明を適
用したもので、補正量発生部２０及び補正部３０ととも
に手振れ補正装置を構成している。図１において、信号
入力端子１には、上記ビデオカメラの図示しない撮像部
による撮像出力として得られるビデオ信号をディジタル
化した入力ビデオデータが供給される。

【００１１】この手振れ判定装置１０は、上記入力ビデ
オデータが上記信号入力端子１を介して供給されるフィ
ールド差分検出部１１と、このフィールド差分検出部１
１によるフィールド差分出力が供給される相関積算値表
形成部１４と、この相関積算値表形成部１４により形成
された相関積算値表の相関積算値が供給される動きベク
トル推定部１８及び手振れ判定部１９とを備えてなる。

【００１２】上記フィールド差分検出部１１は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１２と減算回路１３からなる。

【００１３】上記代表点メモリ１２は、入力ビデオデー
タで構成される１フィールドの画像を複数に分割した各
ブロック毎の代表点画素の画像データＩ_k （０，０）を
記憶する。具体的には、例えば図２に示すように、１フ
ィールドの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素Ｓ（０，
０）を代表点とし、各代表点画素の画像データＩ
_k （０，０）を上記代表点メモリ１１に１フィールド期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ１２から読み
出される１フィールド前の各代表点画素の画像データＩ
_k-1 （０，０）が上記減算回路１３に供給される。ま
た、上記減算回路１３は、上記信号入力端子１を介して
供給される入力ビデオデータすなわち現フィールドの画
像データについて、ブロック毎のｍ×ｎ個の各画素の画
像データＩ_k （ｘ，ｙ）と上記代表点メモリ１２から読
み出される前フィールドの対応するブロックの代表点画
素の画像データＩ_k-1 （０，０）との差分すなわちフィ
ールド間差の絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，
ｙ）｜を検出する。

【００１４】そして、上記フィールド差分検出部１１
は、上記減算回路１３により得られるフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を上記相関
積算値表形成部１４に供給する。

【００１５】上記相関積算値表形成部１４は、上記フィ
ールド差分検出部１１により得られたフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k（ｘ，ｙ）｜が供給され
るマクロブロック化回路１５と、このマクロブロック化
回路１５によりマクロブロック化されたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給さ
れる第１乃至第１０の絶対値積分回路１６Ａ〜１６Ｊか
らなる。

【００１６】上記マクロブロック化回路１５は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜につい
て、互いに隣接しないマクロブロックが生じる形態で、
１画面を複数のマクロブロックに分割するもので、例え
ば図４に示すように、１画面を３×３の９個のマクロブ
ロックＢ１〜Ｂ９に分割する。

【００１７】そして、このマクロブロック化回路１５に
よりマクロブロック化されたフィールド差分絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜は、各マクロブロッ
クＢ１〜Ｂ９に対応する上記第１乃至第９の絶対値積分
回路１６Ａ〜１６Ｉにマクロブロック毎に供給されると
ともに、上記第１０の絶対値積分回路１６Ｊに全マクロ
ブロックが供給される。

【００１８】上記第１の絶対値積分回路１６Ａは、第１
のマクロブロックＢ１のフィールド差分絶対値｜Ｉ_k-1
（０，０）−Ｉ_k （ｘ，ｙ）｜について、上記ｍ×ｎ個
の画素で構成されるブロックの各フィールド差分絶対値
を対応する画素毎に積算し、上記第１のマクロブロック
Ｂ１の相関積算値表を形成する。以下同様に、上記第２
乃至第９の絶対値積分回路１６Ｂ〜１６Ｉは、それぞれ
対応する第２乃至第９のマクロブロックＢ２〜Ｂ９の相
関積算値表を形成する。また、上記第１０の絶対値積分
回路１６は、上記第１乃至第９のマクロブロックＢ１〜
Ｂ９からなる１画面全体の相関積算値表を形成する。

【００１９】そして、上記相関積算値表形成部１４は、
上記第１乃至第９の絶対値積分回路１６Ａ〜１６Ｉによ
り形成された各マクロブロックＢ１〜Ｂ９の相関積算値
表の相関積算値と上記第１０の絶対値積分回路１６Ｊに
より形成された１画面全体の相関積算値表の相関積算値
を上記動きベクトル推定部１８及び手振れ判定部１９に
供給する。

【００２０】上記動きベクトル推定部１８は、上記相関
積算値表形成部１４により形成された各相関積算値表の
相関積算値の最小値の座標を検出して、動きベクトルを
推定する。上記相関積算値表形成回路１４により形成さ
れた各相関積算値表の相関積算値は、各ブロックの代表
点画素の画像データＩ_k-1 （０，０）と他の画素の画像
データＩ_k （ｘ，ｙ）とのフィールド間相関を示すもの
で、相関の強い画素に対応する座標ほど小さな値とな
り、動きベクトルに対応する座標の相関積算値が最小値
となるので、最小値の座標を検出することにより動きベ
クトルを推定することができる。

【００２１】また、上記手振れ判定部１９は、上記相関
積算値表形成部１４により形成された各相関積算値表に
ついて、各ブロックの中心画素Ｓ（０，０）すなわち代
表点画素に対応する座標の積算値を周辺座標の積算値と
比較し、上記代表点画素に対応する座標の積算値が極小
値でないときに、上記動きベクトルが手振れに起因する
ものであると判定する。

【００２２】すなわち、動きを伴わない静止画の場合に
は、上記相関積算値表形成部１４により形成された各相
関積算値表の代表点画素に対応する座標の積算値が最小
値となるので、例えば固定してビデオカメラによる撮像
出力すなわち手振れを伴わない撮像出力では、移動する
被写体により画面全体が覆われない限り、いずれかのマ
クロブロックの相関積算値表の代表点画素に対応する座
標の積算値が極小値となる可能性が極めて高い。従っ
て、上記相関積算値表形成部１４により形成された各相
関積算値表について、各ブロックの中心画素Ｓ（０，
０）すなわち代表点画素に対応する座標の積算値を周辺
座標の積算値と比較することにより、上記代表点画素に
対応する座標の積算値が極小値であるときには、上記動
きベクトル推定部１８により推定した画像の動きベクト
ルが手振れに起因するものでないと判定し、また、上記
代表点画素に対応する座標の積算値が極小値でないとき
には、上記動きベクトルが手振れに起因するものである
と判定することができる。

【００２３】そして、この手振れ判定装置１０は、上記
動きベクトル推定部１８により推定した画像の動きベク
トルと、上記手振れ判定部１９による判定出力を上記補
正量発生部２０に供給する。

【００２４】上記補正量発生部２０は、上記手振れ判定
装置１０の上記動きベクトル推定部１８で推定した動き
ベクトルが画像の手振れに起因するものであることを示
す判定出力が上記手振れ判定部１９から供給されると、
上記動きベクトル推定部１８が検出した上記動きベクト
ルを手振れベクトルＶ_t ’として、 Ｘ_t ＝Ｘ_t-1 −Ｖ_t ’ なる補正量Ｘ_t の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部３０に供給する。また、この補正
量発生部２０は、上記動きベクトル推定部１８が検出し
た動きベクトルが画像の手振れに起因するものでないこ
とを示す判定出力が上記手振れ判定部１９から供給され
ると、手振れベクトルＶ_t’を零ベクトルＶ〔０，０〕
として手振れ補正信号を形成し、この手振れ補正信号を
上記補正部３０に供給する。

【００２５】また、上記補正部３０は、例えば図５に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路３２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフィールドメモリ３３及び周辺メモリ４４
と、上記フィールドメモリ３３及び周辺メモリ３４から
読み出されるビデオデータを上記セレクト信号発生回路
３２から供給されるセレクト信号に応じて選択的に出力
するセレクタ３５とを備えてなる。

【００２６】上記フィールドメモリ３３には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ３３の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ３３からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ３３から
読み出されるビデオデータと上記周辺メモリ３４から読
み出される周辺ビデオデータとが上記セレクタ３５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００２７】なお、上記周辺メモリ３４には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００２８】この手振れ補正装置では、上述のように手
振れ判定装置１０において上記動きベクトル推定部１８
により推定した画像の動きベクトルが手振れに起因する
ものであるか否かの手振れ判定を上記手振れ判定部１９
により確実に行うことができるので、手振れ補正を確実
に行うことができ、自然な画像出力が得られる。

【００２９】

【発明の効果】以上の説明からも明らかなように、本発
明に係る画像の手振れ判定装置では、互いに隣接しない
マクロブロックが生じる形態で、１画面を複数のマクロ
ブロックに分割し、フィールド差分検出手段により検出
されたフィールド差分絶対値を積算手段により積算して
各マクロブロック毎の相関積算値表を形成し、これらの
相関積算値表から動きベクトル推定手段により動きベク
トルを推定するとともに、上記積算手段により得られる
各マクロブロック毎の相関積算値表について、手振れ判
定手段により、代表点画素に対応する座標の積算値を周
辺座標の積算値と比較し、上記代表点画素に対応する座
標の積算値が極小値でないときに、上記動きベクトルが
手振れに起因するものであると判定することにより、上
記動きベクトル推定手段により推定した画像の動きベク
トルが手振れに起因するものであるか否かの手振れ判定
を確実に行うことができる。

【００３０】このように、発明によれば、画像の動きベ
クトルが手振れに起因するものであるか否かを確実に判
定することのできる手振れ判定装置を提供することがで
き、ハンディタイプのビデオカメラなどにおける高性能
の手振れ補正を可能にすることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ判定装置を設けた手
振れ補正装置の構成を示すブロック図である。

【図２】上記手振れ判定装置の動きベクトル検出部にお
ける画面のブロック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】１画面を９分割したマクロブロックの状態を示
す図である。

【図５】上記手振れ補正装置の補正部の構成を示すブロ
ック図である。

【符号の説明】

１０・・・・・・・・・手振れ判定装置 １１・・・・・・・・・フィールド差分検出部 １２・・・・・・・・・代表点メモリ １３・・・・・・・・・減算回路 １４・・・・・・・・・相関積算値表形成部 １５・・・・・・・・・マクロブロック化回路 １６Ａ〜１６Ｊ・・・・絶対値積分回路 １８・・・・・・・・・動きベクトル推定部 １９・・・・・・・・・手振れ判定部 ２０・・・・・・・・・補正量発生部 ３０・・・・・・・・・補正部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フィール
   ドの画像を複数に分割した各ブロック毎の代表点画素の
   画像データをメモリに１フィールド期間記憶し、現フィ
   ールドのブロックの各画素の画像データと上記メモリか
   ら読み出される前フィールドのブロックの代表点画素の
   画像データとの差分の絶対値を検出するフィールド差分
   検出手段と、 互いに隣接しないマクロブロックが生じる形態で、１画
   面を複数のマクロブロックに分割し、上記フィールド差
   分検出手段により検出されたフィールド差分絶対値を各
   マクロブロック毎に積算する積算手段と、 上記積算手段により得られる各マクロブロック毎の相関
   積算値表から動きベクトルを推定する動きベクトル推定
   手段と、 上記積算手段により得られる各マクロブロック毎の相関
   積算値表に基づいて、上記動きベクトル推定手段により
   推定された動きベクトルが手振れに起因するものである
   か否かの判定を行う手振れ判定手段とを備え、 上記手振れ判定手段は、上記積算手段により得られる各
   マクロブロック毎の相関積算値表について、代表点画素
   に対応する座標の積算値を周辺座標の積算値と比較し、
   上記代表点画素に対応する座標の積算値が極小値でない
   ときに、上記動きベクトルが手振れに起因するものであ
   ると判定することを特徴とする画像の手振れ判定装置。