JP2019083407A

JP2019083407A - 像振れ補正装置およびその制御方法、撮像装置

Info

Publication number: JP2019083407A
Application number: JP2017209632A
Authority: JP
Inventors: 勇太川村; Yuta Kawamura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2019-05-30
Anticipated expiration: 2037-10-30
Also published as: JP7013205B2

Abstract

【課題】撮像画像の特徴点の３次元座標の推定状態に拠らずに良好な像振れ補正を行う装置及その制御方法並びに撮像装置を提供する。【解決手段】撮像装置は振れ情報を検出し、撮像画像信号から動きベクトルを検出する。特徴点追跡部２１０は、動きベクトルに基づき、撮像画像にて同一の特徴点の座標値を追跡情報として算出する。追跡期間算出部２０９は撮像画像間の視差量と特徴点に基づいて特徴点の追跡期間を算出する。統合処理部２０５は、振れ情報及び特徴点の追跡情報に基づき撮像装置の位置姿勢情報を推定し、被写体と撮像装置との奥行きを含めた位置関係を示す特徴点の３次元座標を推定する。目標位置算出部２１２は、追跡期間に基づく３次元座標推定の寄与度に応じて振れ情報及び撮像装置の位置姿勢情報を合成し、像振れ補正レンズ１０３の駆動制御の目標位置を算出する。追跡期間が長くなるにつれて３次元座標推定の寄与度が高く制御される。【選択図】図２

Description

本発明は、ビデオカメラ、デジタルスチルカメラ等の撮像装置において像振れを補正する技術に関する。

デジタルカメラ等による撮像時に、カメラ本体部を保持するユーザの手振れ等で被写体の像振れが生ずる場合がある。撮像装置が行う像振れ補正には、光学式像振れ補正と電子式像振れ補正がある。例えば光学式像振れ補正では、カメラ本体部に加えられた振動を角速度センサ等で検出し、検出結果に応じて撮像光学系内に設けた補正レンズを移動させる制御が行われる。撮像光学系の光軸方向を変化させて撮像素子の受光面に結像される像を移動させることにより、像振れが補正される。また電子式像振れ補正では、撮像画像に対する画像処理により、擬似的に像振れの補正処理が行われる。

手振れ等により発生する像振れを補正するためには、撮像装置の位置姿勢変化を検出する必要がある。撮像装置の姿勢および位置を検出する自己位置推定方法として、ＳＦＭ（Structure from Motion）と慣性センサを用いた位置姿勢推定（Visual and Inertial Sensor Fusion）技術を応用した方法がある。現実の空間（実空間）に存在する物体の３次元座標と撮像装置の位置姿勢を推定する方法が知られている。特許文献１には、特徴点の動きを追跡し、追跡結果を使用して像振れを補正する技術が開示されている。

特開２０１６−１１９５７２号公報

従来の技術では、撮影された画像間の視差量が小さい場合、ＳＦＭによる物体の３次元座標推定に失敗する可能性がある。特許文献１では、画像間の視差量が大きくなるように、追跡を行う画像を選択することで視差量が小さくなることを回避している。しかしこの技術では、視差量の小さい画像同士の比較結果を考慮することができない。そのため処理が行われない期間が発生してしまい、像振れ補正に関して制御されない期間が発生する可能性がある。特に細かな手振れにより像振れが長期間に亘って発生する場合、像振れを補正することは困難である。
本発明は、撮像画像の特徴点の３次元座標を利用した像振れ補正において、３次元座標の推定状態に拠らずに良好な像振れ補正を行うことを目的とする。

本発明の一実施形態の装置は、撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置であって、撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する追跡手段と、前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する第１の推定手段と、前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する第２の推定手段と、複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する第１の算出手段と、前記第１の算出手段から取得した前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の合成の割合を高くして前記振れ情報および前記位置姿勢情報を合成することにより、前記振れ補正手段の目標位置を算出する第２の算出手段と、前記目標位置にしたがって前記振れ補正手段を制御する制御手段と、を備える。

本発明によれば、撮像画像の特徴点の３次元座標を利用した像振れ補正において、３次元座標の推定状態に拠らずに良好な像振れ補正を行うことができる。

本発明の第１実施形態の撮像装置の構成例を示すブロック図である。像振れ補正装置の構成例を示す図である。像振れ補正装置の処理を説明するフローチャートである。特徴点追跡部の構成例を示す図である。特徴点追跡処理を説明するフローチャートである。特徴点抽出の説明図である。テンプレートマッチングの説明図である。相関値マップの説明図である。相関値マップの表現方法を説明する図である。特徴点の追跡信頼度を表す相関値指標を説明する図である。特徴点の追跡信頼度の算出方法を説明する図である。透視射影モデルの説明図である。３次元座標の推定方法を説明する図である。位置姿勢推定値の補正処理のフローチャートである。目標位置算出部の構成例を示す図である。目標位置算出処理のフローチャートである。追跡期間に対するゲイン量の説明図である。第２実施形態の像振れ補正装置の構成例を示す図である。第２実施形態の像振れ補正装置の処理を説明するフローチャートである。第２実施形態の動きベクトル演算部の構成例を示す図である。第２実施形態の動きベクトル演算部が行う処理のフローチャートである。第２実施形態の目標位置算出部の構成例を示す図である。

以下に本発明の実施形態を、添付図面を参照して詳細に説明する。本発明は、ビデオカメラ、デジタルカメラおよび銀塩スチルカメラ等の撮像装置や、撮像部を有する電子機器に適用可能である。以下では、撮像装置の振れ検出信号を用いて像振れの補正を行う動作を「像振れ補正動作」という。

［第１実施形態］
図１は、本実施形態の撮像装置の構成例を示す図である。図１に示す撮像装置は、例えばデジタルスチルカメラである。なお、撮像装置が動画撮影機能を有していてもよい。撮像装置はズームユニット１０１を備える。ズームユニット１０１は、撮像光学系（結像光学系）を構成する、倍率が可変な撮影レンズの一部であり、撮影倍率を変更するズームレンズを含む。ズーム駆動部１０２は、制御部１１７からの制御信号に従ってズームユニット１０１を駆動する。

像振れ補正レンズ（以下、単に補正レンズともいう）１０３は、撮像装置に加わる振れにより生じる像振れの補正に用いられる補正部材（振れ補正手段）である。補正レンズ１０３は、撮影レンズの光軸方向に対して直交する方向に移動可能である。像振れ補正レンズ駆動部１０４は、制御部１１７からの制御信号に従って、補正レンズ１０３を駆動する。絞り・シャッタユニット１０５は、絞り機能をもつメカニカルシャッタを備える。絞り・シャッタ駆動部１０６は、制御部１１７からの制御信号に従って絞り・シャッタユニット１０５を駆動する。焦点調節に使用するフォーカスレンズ１０７は、撮影レンズの一部であり、撮影レンズの光軸に沿って位置を変更可能である。フォーカス駆動部１０８は、制御部１１７からの制御信号に従って、フォーカスレンズ１０７を駆動する。

撮像部１０９は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備える。ＣＣＤは、“Charge Coupled Device”の略号であり、ＣＭＯＳは、“Complementary Metal-Oxide Semiconductor”の略号である。撮像素子は、撮像光学系により結像される光学像を、画素単位の電気信号に変換する。

撮像信号処理部１１０は、撮像部１０９が出力する電気信号に対して、Ａ（Analog）／Ｄ（Digital）変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等を行い、映像信号に変換する。映像信号処理部１１１は、撮像信号処理部１１０が出力した映像信号を用途に応じて加工する。具体的には、映像信号処理部１１１は、表示用の映像データを生成し、また記録用に符号化処理やデータファイル化を行う。表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号に基づいて、必要に応じて画像表示を行う。

電源部１１３は、撮像装置全体に、用途に応じて電源を供給する。外部入出力端子部１１４は、外部装置との間で通信信号および映像信号の入出力を行う際に使用される。操作部１１５は、ユーザが撮像装置に指示を与えるためのボタンやスイッチ等を有する。記憶部１１６は、映像情報等を含む様々なデータを記憶する。

制御部１１７は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、撮像装置全体を制御する。ＲＯＭに記憶された制御プログラムをＲＡＭに展開してＣＰＵが実行することによって、撮像装置の各部が制御され、以下に説明する様々な動作が実現される。振れ検出部１１８は撮像装置に加わる振れを検出するセンサを備え、振れ検出信号を制御部１１７に出力する。

操作部１１５は、レリーズボタンの押し込み量に応じて第１スイッチ（ＳＷ１と記す）および第２スイッチ（ＳＷ２と記す）が順にオンするように構成されたレリーズスイッチを有する。レリーズボタンの半押し操作で、ＳＷ１がオンし、レリーズボタンの全押し操作でＳＷ２がオンする。ＳＷ１がオンすると、制御部１１７は、映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいて、ＡＦ（オートフォーカス）評価値を算出する。そして、制御部１１７は、ＡＦ評価値に基づいてフォーカス駆動部１０８を制御することにより、自動焦点検出および焦点調節制御を行う。また、制御部１１７は、映像信号の輝度情報および予め定められたプログラム線図に基づいて、適切な露光量を得るための絞り値およびシャッタ速度を決定するＡＥ（自動露出）処理を行う。ＳＷ２がオン操作されると、制御部１１７は、決定した絞り値およびシャッタ速度で撮影を行い、撮像部１０９で得た画像データを記憶部１１６に記憶させるように各処理部を制御する。

また操作部１１５は、像振れ補正（防振）モードの選択に使用する操作スイッチを有する。この操作スイッチの操作により像振れ補正モードが選択されると、制御部１１７は、振れ検出部１１８から振れ検出信号を取得し、像振れ補正レンズ駆動部１０４に像振れ補正動作を指示する。制御部１１７の制御指令を受けた像振れ補正レンズ駆動部１０４は、像振れ補正のオフ指示が行われるまでの間、像振れ補正動作を行う。

操作部１１５は、静止画撮影モードや動画撮影モードを選択可能な撮影モード選択スイッチを有する。撮影モード選択スイッチのユーザ操作により撮影モードの選択処理が行われ、制御部１１７は、像振れ補正レンズ駆動部１０４の動作条件を変更する。また操作部１１５は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチのユーザ操作によって再生モードが選択されると、制御部１１７は像振れ補正動作を停止させる制御を行う。また操作部１１５は、ズーム倍率変更の指示を行う倍率変更スイッチを含む。倍率変更スイッチのユーザ操作によって、ズーム倍率の変更が指示されると、制御部１１７を介して指示を受けたズーム駆動部１０２は、ズームユニット１０１を駆動して、指示された位置にズームレンズを移動させる。

図２は、本実施形態の像振れ補正装置の構成例を示す図である。像振れ補正装置は、撮像装置に加わる振れを検出し、像振れ補正レンズ１０３を駆動することによって像振れ補正を行う。第１振動センサ２０１は、例えば角速度センサであり、通常姿勢（撮像画像の長手方向が水平方向とほぼ一致する姿勢）における、撮像装置の垂直方向（ピッチ方向）、水平方向（ヨー方向）、光軸回りの回転方向（ロール方向）の振動を検出する。第２振動センサ２０３は、例えば加速度センサであり、通常姿勢における、撮像装置の垂直方向の移動量、水平方向の移動量、光軸方向の移動量を検出する。

Ａ／Ｄ変換器２０２は、第１振動センサ２０１により検出されるアナログ値をデジタル値へ変換し、後述の目標位置算出部２１２および減算器２１５に出力する。Ａ／Ｄ変換器２０４は、第２振動センサ２０３により検出されるアナログ値をデジタル値へ変換し、後述の統合処理部２０５および追跡期間算出部２０９に出力する。また、Ａ／Ｄ変換器２１７は、位置検出センサ２１１により検出される補正レンズの位置を示すアナログ値をデジタル値へ変換し、後述の減算器２１３および微分器２１６に出力する。

撮像部１０９の出力信号は撮像信号処理部１１０によって処理され、さらに特徴点追跡部２１０が処理する。特徴点追跡部２１０は、撮像信号処理部１１０より入力される映像信号に対して、追跡期間算出部２０９によって推定される複数の撮像画像間の視差量に基づいて特徴点を抽出し、追跡処理を行う。

主被写体分離部２０８は、特徴点追跡部２１０から取得される特徴点に対して、主被写体領域に属する特徴点と主被写体以外の背景領域に属する特徴点を分離する。分離された特徴点のデータは、追跡期間算出部２０９および統合処理部２０５に出力される。追跡期間算出部２０９は、主被写体分離部２０８およびＡ／Ｄ変換器２０４の各出力を取得し、複数の撮像画像間の視差量および追跡期間を算出する。追跡期間算出部２０９は、主被写体分離部２０８によって分離された背景領域に属する特徴点の追跡情報を使用して視差量を算出し、視差量に基づいて特徴点の追跡期間を算出する。追跡情報は、例えば撮像画像において抽出されて追跡対象となる特徴点の座標等を示す情報である。

統合処理部２０５は、３次元座標推定部２０６と位置姿勢推定部２０７を有する。統合処理部２０５は、第１振動センサ２０１および第２振動センサ２０３による検出情報と、主被写体分離部２０８による画像情報とを統合し、撮像装置の位置姿勢および特徴点の３次元座標を推定する。位置姿勢推定部２０７には、減算器２１５がＡ／Ｄ変換器２０２の出力から微分器２１６の出力を減算して得た信号と、Ａ／Ｄ変換器２０４の出力信号が入力される。３次元座標推定および位置姿勢推定の詳細については後述する。

目標位置算出部２１２は、第１振動センサ２０１より得られる撮像装置のピッチ方向、ヨー方向の振れを表す振れ検出信号（角速度信号）と、統合処理部２０５の出力する位置姿勢情報を取得する。目標位置算出部２１２は、追跡期間算出部２０９によって算出された追跡期間の情報を、統合処理部２０５を介して取得する。目標位置算出部２１２は取得した情報に基づいて、像振れ補正レンズ１０３をピッチ方向やヨー方向に駆動するための補正位置制御信号を生成する。補正位置制御信号は、減算器２１３を通じて制御フィルタ２１４に供給される。減算器２１３は取得した補正位置制御信号から、Ａ／Ｄ変換器２１７の出力である補正レンズのピッチ方向およびヨー方向における位置検出信号を減算し、減算後の信号を制御フィルタ２１４へ出力する。

制御フィルタ２１４は、減算器２１３の出力に応じて像振れ補正レンズ１０３の駆動に係るフィードバック制御を行う。これにより、補正レンズの位置検出信号値が、目標位置算出部２１２による補正位置制御信号値に収束するように、像振れ補正レンズ駆動部１０４内のアクチュエータの制御が行われる。

図３のフローチャートを参照して、本実施形態の像振れ補正処理について説明する。Ｓ３０１からＳ３０４の処理とＳ３０５からＳ３０９の処理は、並行処理として実行される。Ｓ３０１で撮像部１０９は、被写体像の光信号を電気信号に光電変換し、撮像画像の画像信号を取得する。Ｓ３０２で撮像信号処理部１１０は、画像信号をアナログ信号からデジタル信号へ変換し、所定の画像処理を行う。特徴点追跡部２１０は撮像画像における特徴点を追跡するとともに、特徴点追跡の信頼度（以下、追跡信頼度と呼ぶ）を算出する。特徴点追跡部２１０の内部構成および処理の詳細については後述する。

Ｓ３０３で主被写体分離部２０８は、Ｓ３０２で追跡された特徴点に対して、主被写体領域に属する特徴点と主被写体以外の背景領域に属する特徴点を分離する。特徴点の分離には、例えば公知のＫ−ｍｅａｎｓ法やＥＭアルゴリズムによるクラスタリングが用いられる。

Ｓ３０４で追跡期間算出部２０９は、Ｓ３０２にて分離された背景領域の特徴座標を使用して、複数の撮像画像間の視差量を推定する。本実施形態では撮像装置の並進移動による、像面上の移動量を視差量として算出する。具体的には、背景領域に属する特徴座標のフレーム間変位量が視差量として算出される。なお、画像信号から視差量を算出する処理について説明するが、後述のＳ３０８で算出される第２振動センサ２０３による振れ加速度から撮像装置の並進移動量を算出し、これを視差量としてもよい。また、後述のＳ３１０で推定される３次元位置座標から像面上の移動量について奥行方向も考慮することで、より視差量の推定精度を高めることができる。算出された視差量に基づいて特徴点の追跡期間が算出される。具体的には画像間の視差量が小さいほど、追跡期間がより短く算出される。

Ｓ３０５〜Ｓ３０９の処理は、位置姿勢推定部２０７が撮像装置の位置姿勢を推定する処理である。Ｓ３０５で第１振動センサ２０１は振れ角速度を検出する。Ｓ３０５からＳ３１２への矢印は、検出された振れ角速度が目標位置算出部２１２に出力される処理が行われることを示す。Ｓ３０６で微分器２１６は、像振れ補正レンズ１０３の検出位置にかかわる撮影フレーム間の差分を演算することで、像振れ補正レンズ１０３の移動速度を算出する。

Ｓ３０７で減算器２１５は、第１振動センサ２０１による角速度情報から、像振れ補正レンズ１０３の移動速度を減算する。これにより、撮像装置の振れ補正残り角速度に相当する情報が算出され、位置姿勢推定部２０７に出力される。Ｓ３０８で第２振動センサ２０３は振れ加速度を検出する。Ｓ３０９で位置姿勢推定部２０７は、Ｓ３０７にて算出された振れ補正残り角速度の情報と、Ｓ３０８にて検出された振れ加速度の情報に基づき、撮像装置の実空間での位置姿勢を推定する。この位置姿勢は、振れ補正残り角速度を用いて推定されるため、像振れ補正後の補正残り位置姿勢に相当する。

Ｓ３０４、Ｓ３０９の処理後にＳ３１０へ進む。３次元座標推定部２０６は、Ｓ３０９で位置姿勢推定部２０７により推定された撮像装置の位置姿勢情報と、Ｓ３０２で得られた背景領域の特徴点情報に基づいて、実空間上の特徴点の奥行きを含めた３次元座標を推定する。つまり、被写体と撮像装置との奥行きを含めた位置関係を示す特徴点の３次元座標を推定して算出する処理が実行される。Ｓ３１１で位置姿勢推定部２０７は、Ｓ３１０で推定された特徴点の３次元座標と、Ｓ３０３で得られた背景領域の撮像画像上の２次元特徴点座標に基づいて、Ｓ３０９における振れ補正残りの位置姿勢推定値を補正する。３次元座標の推定方法および推定値の補正方法の詳細は後述する。

Ｓ３１２で目標位置算出部２１２は、Ｓ３０４にて取得された追跡期間と、Ｓ３０５にて取得された振れ角速度信号と、Ｓ３１１における振れ補正残りの位置姿勢推定値を用いて、像振れ補正レンズ１０３の駆動に係る補正位置制御信号を生成する。その詳細については後述する。そしてＳ３１３にて像振れ補正レンズ駆動部１０４は、Ｓ３１２で生成された補正位置制御信号が示す目標位置に基づいて、像振れ補正レンズ１０３を駆動する。以下ではＳ３０２、Ｓ３１０、Ｓ３１１、Ｓ３１２の各ステップの処理について詳述する。

図４および図５を参照して、図３のＳ３０２における特徴点追跡の詳細を説明する。図４は、特徴点追跡部２１０の内部構成を例示する図である。特徴点抽出部４０１は、撮像信号処理部１１０から画像信号を取得し、画像から特徴点を抽出する。特徴点設定部４０２は、特徴点抽出部４０１および動きベクトル検出部４０４および追跡信頼度算出部４０５の各出力に基づき、追跡対象とする特徴点を設定する。

画像メモリ４０３は、撮像信号処理部１１０から入力された画像信号を一時的に記憶し、撮像時刻の異なる複数の画像の画像信号を蓄積する。動きベクトル検出部４０４は、特徴点設定部４０２で設定された特徴点に基づいて撮像信号処理部１１０および画像メモリ４０３から入力される画像信号に対して動きベクトルを検出する。追跡信頼度算出部４０５は、動きベクトル検出部４０４により検出された動きベクトルを取得し、特徴点追跡の信頼度、つまり追跡信頼度を算出する。

図５は、特徴点追跡部２１０の処理を説明するフローチャートである。
Ｓ５０１にて特徴点抽出部４０１は、撮像信号処理部１１０からの入力画像に対して、特徴点を抽出する。図６は、特徴点の抽出例を説明する図である。特徴点抽出部４０１は、例えば、分割された複数の画像領域ごとに所定数の特徴点を抽出する。図６（Ａ）において、白い矩形領域が、特徴点抽出を行う特徴抽出領域である。特徴点抽出領域の周辺には、斜線で示す周辺領域が設けられている。抽出される特徴点の位置によっては、後述する動きベクトル検出に用いるテンプレート領域およびサーチ領域が特徴抽出領域をはみ出す。したがって、はみ出し分だけ余剰の画像領域として斜線で示す周辺領域が設けられている。図６（Ｂ）は、格子状に分割された画像領域ごとに１個の特徴点６０１を抽出する処理例を示す。

特徴点の抽出方法としては、一般的な公知の方法である、Ｈａｒｒｉｓｃｏｒｎｅｒ検出器またはＳｈｉａｎｄＴｏｍａｓｉの方法がある。画像の画素位置（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）と表現する。そして、画像に対して水平および垂直の１次微分フィルタを適用した結果Ｉｘ，Ｉｙから、式（１）で示す自己相関行列Ｈが作成される。

式（１）において、Ｇは式（２）に示すガウス分布による平滑化の関数を表す。

Ｈａｒｒｉｓｃｏｒｎｅｒ検出器は、式（３）に示す特徴評価式により、特徴量が大きくなる画素を特徴点として抽出する。

式（３）において、“ｄｅｔ”は行列式を表し、“ｔｒ”は対角成分の和を表す。また、αは定数であり、実験的に０．０４〜０．１５の値が良いとされる。

一方、ＳｈｉａｎｄＴｏｍａｓｉの方法では、式（４）に示す特徴評価式が用いられる。

式（４）は、式（１）の自己相関行列Ｈの固有値λ１，λ２のうち、小さい方の固有値を特徴量とすることを表す。ＳｈｉａｎｄＴｏｍａｓｉを用いる場合でも、特徴量が大きくなる画素を特徴点として抽出する処理が行われる。式（３）または式（４）により画素の特徴量が算出され、特徴量が高い方から所定数の画素が特徴点として抽出される。

図５のＳ５０２では特徴点設定部４０２が、追跡対象とする特徴点を設定する。初期フレームに関しては、Ｓ５０１で新たに抽出された特徴点をそのまま追跡対象として設定すればよい。２フレーム目以降の設定方法については後述する。

Ｓ５０３にて動きベクトル検出部４０４は、Ｓ５０２で追跡対象として設定された特徴点を用いて動きベクトルの検出を行う。動きベクトルの検出方法としては公知の相関法やブロックマッチング法等がある。動きベクトルの算出方法に関しては、公知の任意の方法を適用可能である。以下ではブロックマッチング法の適用例について説明する。

図７は、ブロックマッチング法の概要を示す模式図である。図７（Ａ）は、２つのベクトル検出画像のうちの基準画像を示し、図７（Ｂ）は参照画像を示している。この例では、基準画像として画像メモリ４０３に保持されているフレーム画像、参照画像として撮像信号処理部１１０から直接入力される画像データを用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルが算出される。なお、基準画像と参照画像とは、入れ替えて適用してもよい。基準画像と参照画像とを入れ替えて適用することは、現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出部４０４は、基準画像にテンプレート領域７０１を配置し、参照画像にサーチ領域７０２を配置し、テンプレート領域７０１とサーチ領域７０２との相関値を算出する。テンプレート領域７０１は、図５のＳ５０２で設定された特徴点を中心に配置し、サーチ領域７０２は、テンプレート領域を上下左右の各方向で均等に包含するように、所定の大きさで配置すればよい。

本実施形態では、相関値の算出方法として、差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略記する）を使用する。ＳＡＤの計算式（５）を示す。

式（５）において、ｆ（ｉ，ｊ）はテンプレート領域７０１内の座標（ｉ，ｊ）での輝度値を示す。また、ｇ（ｉ，ｊ）はサーチ領域７０２内において相関値の算出対象となる領域（以下、相関値算出領域という）７０３内の各座標での輝度値を示す。ＳＡＤでは、両領域７０２，７０３内の輝度値ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）との差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤが得られる。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域７０１と相関値算出領域７０３とのテクスチャの類似度が高いことを表す。なお、相関値の算出にはＳＡＤ以外の方法としては、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いる方法でもよい。

動きベクトル検出部４０４は、サーチ領域７０２の全域にて相関値算出領域７０３を移動させて相関値を算出する。これにより、サーチ領域７０２に対して図８に示す相関値マップが作成される。

図８は相関値マップの例を示す図である。図８（Ａ）は、サーチ領域７０２の座標系で算出した相関値マップを示す。Ｘ軸とＹ軸は相関値マップ座標を表し、Ｚ軸は各座標での相関値の大きさを表している。また図８（Ｂ）は、図８（Ａ）の等高線を示す図である。

図８（Ａ）および図８（Ｂ）において、最も小さい相関値は極小値８０１であり、サーチ領域７０２内で極小値８０１が算出された領域には、テンプレート領域７０１と非常に類似したテクスチャが存在していると判定できる。極小値８０２は、二番目の極小値、極小値８０３は、三番目の極小値である。極小値８０２、８０３が算出された領域においては、極小値８０１が算出された領域に次いで類似したテクスチャが存在している。このように、動きベクトル検出部４０４は、テンプレート領域７０１とサーチ領域７０２との間で相関値を算出し、相関値が最も小さくなる相関値算出領域７０３の位置を判定する。これにより、動きベクトル検出部４０４は、基準画像上のテンプレート領域７０１の参照画像上での移動先を特定する。そして、動きベクトル検出部４０４は、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出する。

図５のＳ５０４において、追跡信頼度算出部４０５は、Ｓ５０１で得られた特徴点情報と、Ｓ５０３で得られた相関値情報の少なくともいずれかを用いて、追跡信頼度を算出する。相関値情報は、動きベクトル情報の算出の際に実行される相関値の演算結果である。最初に、相関値情報を用いて追跡信頼度を算出する例を説明する。図９は、図８（Ｂ）の２次元相関値マップにおいて、矢印８０４のように相関値をラスター順に並べて１次元で表した図である。図９の縦軸は相関値を表し、横軸は相関値マップのＸ座標とＹ座標により一意に定まる画素アドレスを表す。以降、追跡信頼度を算出するため、図９の表現を用いることにする。位置９０１は、図８に示す極小値８０１に対応する位置である。

図１０は、追跡信頼度を表す相関値の指標の一例を示す。図１０の横軸は画素のアドレスを表し、縦軸は相関値を表す。図１０（Ａ）に示す例では、指標として相関値の最小値と最大値との差分Ｄａを用いる。差分Ｄａは相関値マップのレンジを表しており、差分Ｄａが小さく、例えばテクスチャのコントラストが低い場合に追跡信頼度が低いことを示す。図１０（Ｂ）に示す例では、指標として相関値の最小値と最大値の差分Ａと、最小値と平均値の差分Ｂとの比率Ｄｂ（＝Ｂ／Ａ）を用いる。比率Ｄｂは、相関値ピークの急峻性を表しており、比率Ｄｂが小さく、例えばテンプレート領域とサーチ領域との類似度が低い場合、追跡信頼度が低いことを示す。

図１０（Ｃ）に示す例では、指標として相関値の極小値（最小値）と二番目の極小値との差分Ｄｃを用いる。相関値１００１、１００２、１００３はそれぞれ、図８の極小値８０１、８０２、８０３と対応している。よって、図１０（Ｃ）では、図８（Ｂ）の等高線において、相関値の最小値と類似した極小値が存在しないかを確認することができる。差分Ｄｃは相関値マップの周期性を表し、差分Ｄｃが小さい場合、例えばテクスチャが繰り返しパターンやエッジ等である場合、追跡信頼度が低いことを示す。なお、この例では、最小値と二番目の極小値を選択したが、相関値マップの周期性を判定できればよいため、その他の極小値を選択してもよい。

図１０（Ｄ）に示す例では、指標として相関値の最小値Ｄｄを用いる。最小値Ｄｄが大きく、例えばテンプレート領域とサーチ領域との類似度が低い場合、追跡信頼度が低いことを表す。最小値Ｄｄと追跡信頼度は反比例の関係にあるため、Ｄｄの逆数（１／Ｄｄ）を指標とする。

上記相関値の指標は、そのまま信頼度として用いることができるが、相関値の指標から信頼度を算出方法がある。例えば図１１（Ａ）では、相関値指標Ｄと追跡信頼度の対応付けが行われる。図１１（Ａ）の横軸に示す相関値指標Ｄは、Ｄａ，Ｄｂ，Ｄｃ，１／Ｄｄのいずれかを表し、縦軸は追跡信頼度Ｒ１を表す。この例では、二つの閾値Ｔ１，Ｔ２（Ｔ１＜Ｔ２）を設けている。Ｄ値がＴ１以下である場合にＲ１の値がゼロであり、Ｔ２以上である場合にＲ１の値が１である。閾値Ｔ１，Ｔ２は、相関値指標ごとに変更してもよい。またＤ値が閾値Ｔ１とＴ２との間の区間では、ＤとＲ１が線形関係にあり、Ｄ値の増加につれてＲ１の値が増加する。あるいは相関値指標Ｄと追跡信頼度Ｒ１とを非線形関係に対応付けてもよい。以降の説明では、各相関値指標Ｄａ，Ｄｂ，Ｄｃ，１／Ｄｄから得られる信頼度をそれぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄと表記する。ここで、任意の関数（ｆと記す）を用いてＲａ＝ｆ（Ｄａ），Ｒｂ＝ｆ（Ｄｂ），Ｒｃ＝ｆ（Ｄｃ），Ｒｄ＝ｆ（Ｄｄ）の関係とする。

最終的な追跡信頼度Ｒ１は、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄを組み合わせて算出される。重み付け加算による方法と論理演算による方法を説明する。重み付け加算による方法では、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重みをそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄと表記する。追跡信頼度Ｒ１は式（６）から計算される。

例えば、重みをＷａ＝０．４，Ｗｂ＝０．３，Ｗｃ＝０．２，Ｗｄ＝０．１とする。全ての信頼度が十分に高く、Ｒａ＝Ｒｂ＝Ｒｃ＝Ｒｄ＝１の場合には、式（６）よりＲ１＝１．０となる。またＲａ＝０．６，Ｒｂ＝０．５，Ｒｃ＝０．７，Ｒｄ＝０．７の場合には、式（６）よりＲ１＝０．６となる。

論理演算による方法では、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対する閾値をそれぞれＴａ，Ｔｂ，Ｔｃ，Ｔｄと表記する。追跡信頼度Ｒ１は、例えば論理積演算を用いて式（７）から計算される。

式（７）中の、

は論理積演算を表す記号である。Ｒａ≧Ｔａ、Ｒｂ≧Ｔｂ，Ｒｃ≧Ｔｃ，Ｒｄ≧Ｔｄが全て成立する場合にＲ１＝１（高信頼度）であり、それ以外の場合にＲ１＝０（低信頼度）となる。

また論理和演算を用いて、追跡信頼度Ｒ１を式（８）から計算してもよい。

↓は否定論理和演算を表す記号である。Ｒａ＜Ｔａ、Ｒｂ＜Ｔｂ，Ｒｃ＜Ｔｃ，Ｒｄ＜Ｔｄの全てが成立しない場合にＲ１＝１（高信頼度）であり、それ以外の場合にＲ１＝０（低信頼度）となる。

次に、特徴点の特徴量を用いた追跡信頼度の算出例を説明する。撮像時刻の異なる画像間で同一の特徴点を正しく追跡できている場合、追跡前後で特徴点の特徴量の変化は小さくなる。そのため、追跡信頼度算出部４０５は追跡前後の特徴量の変化量に応じて追跡信頼度を算出する。特徴量の変化量は、追跡前後で式（３）または式（４）により特徴量を算出し、両者の差分を演算することで得られる。図１１（Ｂ）を参照して具体例を説明する。

図１１（Ｂ）は、特徴量の変化量と信頼度の対応付けの一例を示す。図１１（Ｂ）の横軸は特徴量の変化量を表し、縦軸は追跡信頼度Ｒ２を表す。この例では、２つの閾値Ｔ１，Ｔ２（Ｔ１＜Ｔ２）を設けている。特徴量の変化量が閾値Ｔ１以下である場合、同一の特徴点を正しく追跡できているので、追跡信頼度Ｒ２は１である。特徴量の変化量が閾値Ｔ２以上である場合、異なる特徴点の誤追跡の可能性が高いので、追跡信頼度Ｒ２はゼロである。特徴量の変化量が閾値Ｔ１とＴ２との間の区間では、特徴量の変化量とＲ２とが線形関係であり、特徴量の変化量の増加につれてＲ２の値が減少する。あるいは特徴量の変化量と信頼度とを非線形関係に対応付けてもよい。

以上の説明から、相関値指標情報と特徴点情報のそれぞれから追跡信頼度Ｒ１，Ｒ２を算出することができる。最終的な追跡信頼度Ｒとしては、いずれか一方を用いてもよいし、両者を組み合わせて用いてもよい。組み合わせに関しては、式（６）〜式（８）にて説明したように、重み付け加算や論理演算を用いればよい。

図５のＳ５０５において特徴点追跡部２１０は、最終フレームまで処理が完了したかどうかを判定し、処理の完了時には以上に説明した一連の処理を終了する。一方、最終フレームまで処理が完了していない場合にはＳ５０１に戻り、処理を続行する。Ｓ５０２で特徴点設定部４０２は、図３のＳ３０４にて算出された追跡期間に基づき追跡対象の特徴点の制御を行う。追跡期間中には、Ｓ５０３で検出された動きベクトルの終点座標が、次のフレームでの追跡対象の特徴点として設定される。その結果、動きベクトルの終点座標は、特徴点の移動先を表しているため、複数のフレームに亘って特徴点を追跡することが可能になる。追跡期間が終了する場合、Ｓ５０１では新たに抽出された特徴点に置き換える処理が実行される。

次に図１２および図１３を参照して、図３のＳ３１０における特徴点の３次元座標推定を詳説する。図１２は透視射影モデルを示す模式図であり、特徴点の３次元座標Ｐ＝（Ｘ，Ｙ，Ｚ）と、それを撮像画像上に射影した２次元座標ｐ＝（ｕ，ｖ）との関係を表す。ここでは、仮想的な撮像面がレンズの前方に、焦点距離ｆだけ離れた位置に設定されているものとする。ＯＷは世界座標系の原点を表し、ＯＣはカメラ座標系の原点であるカメラレンズ中心を表す。Ｚ軸はカメラ光軸を表しており、点Ｐは世界座標系で表現され、点ｐはカメラ座標系で表現される。

透視投影変換では、３次元座標系での点Ｐと２次元座標系での点ｐとの関係が式（９）で表される。

（９）式中、Ｋは内部パラメータ行列と呼ばれ、カメラ固有のパラメータである。Ｋは、ピクセル単位の焦点距離ｆと主点ｃ＝（ｃｘ，ｃｙ）から成る。ここでは、主点を画像中心（０，０）とし、ｃｘ＝ｃｙ＝０として扱う。また、Ｒおよびｔは外部パラメータ行列と呼ばれ、世界座標系に対するカメラの位置姿勢を表す。Ｒは回転行列、ｔは平行移動行列である。Ｒの要素をＲ_１１〜Ｒ_３３と表記し、ｔの要素をｔ_ｘ〜ｔ_ｚと表記する。

図１３は、２つの異なるカメラ位置姿勢から３次元座標Ｐを観測する様子を示す模式図である。図１３において、推定したい３次元座標をＰ＝（Ｘ，Ｙ，Ｚ）とし、フレーム１でのカメラの位置をＯ（原点）、姿勢をＩ（単位行列）とし、その時の撮像画像上の特徴座標をｐ０＝（ｕ_０，ｖ_０）とする。また、フレーム２でのカメラの位置をＴ、姿勢をＲ、その時の撮像画像上の特徴座標をｐ１＝（ｕ_１，ｖ_１）とする。

式（９）より、３次元座標Ｐと、撮像画像上の２次元座標ｐ０，ｐ１との関係はそれぞれ式（１０）、式（１１）のように表される。

式（１０）、式（１１）中のｆは撮像光学系の焦点距離である。ＲおよびＴは図３のＳ３０９で得られる位置姿勢推定値、ｐ０およびｐ１の座標値は図３のＳ３０４で得られる背景領域の特徴点情報を用いればよく、既知である。したがって、式（１０）および式（１１）の連立方程式を解くことで、未知数Ｘ，Ｙ，Ｚを求め、３次元座標を得ることができる。なお、未知数の数がＸ，Ｙ，Ｚの３個であるのに対して、連立方程式の数は、特徴点を追跡するフレーム数をｎとすると、２ｎ個になる。そのため、３次元座標Ｐを１フレームだけから観測した場合には、未知数の数が方程式の数よりも多いため、Ｐを一意に定めることができない。一方、２フレーム以上では、過剰条件の連立方程式となるので、例えば、公知の最小二乗法を用いて解くことができる。

図１４を参照して、図３のＳ３１１における振れ補正残り位置姿勢の推定補正について説明する。図１４は、位置姿勢推定部２０７の処理を示すフローチャートである。
Ｓ１４０１では、式（９）を用いて、Ｓ３１０で推定された３次元座標を、撮像画像上の２次元座標に変換する処理が行われる。Ｓ１４０２では再射影誤差の算出処理が行われる。Ｓ１４０１で得られた２次元座標を、

と表記し、図３のＳ３０３で得られた実際に観測された２次元座標を、

と表記する。

再射影誤差をＥと表記し、これは式（１２）で表される。

式（１２）中のｉは、フレーム番号を表し、ｊは特徴点番号を表す。フレーム数をｎ、特徴点数をｍとすると、ｉ＝０〜ｎ−１、ｊ＝０〜ｍ−１の範囲で変化する。Ｗ_ｉはｉ番目のフレームにおける特徴点重みを表す行列である。行列Ｗ_ｉのｉ行ｊ列目の要素は、ｉ番目のフレームにおけるｊ番目の特徴点の重みｗ_ｉｊであり、図３のＳ３０４で得られる。重み（加重係数）が大きい特徴点ほど、再射影誤差に与える影響が大きくなり、Ｓ１４０３における位置姿勢推定値の補正に対する寄与度が大きくなる。

Ｓ１４０３では、カメラ位置姿勢の推定補正処理が行われる。位置姿勢推定部２０７は、Ｓ１４０２において式（１２）より得られた再射影誤差が最小になるように、振れ補正残りの位置姿勢推定値を補正する。再射影誤差は、実際に観測された撮像画像上の２次元座標と、３次元座標を撮像画像上に投影した２次元座標との誤差である。したがって、３次元座標と、追跡した２次元の特徴座標が正しい場合、座標誤差は３次元座標を撮像画像上に投影した際の位置姿勢推定の誤差により生じていることになる。この再射影誤差が小さくなるほど、位置姿勢推定値は真値に近づく。以上から、位置姿勢推定値の補正は、位置姿勢推定値を変数とした再射影誤差の最小化問題となるため、例えば公知の重み付き最小二乗法により行うことができる。

図１５を参照して、目標位置算出部２１２の内部構成を説明する。図１５は、目標位置算出部２１２の詳細な内部構成を示すブロック図である。ハイパスフィルタ１５０１は、Ａ／Ｄ変換器２０２の出力信号を取得し、第１振動センサ２０１の出力に含まれるＤＣオフセット成分を除去する。ローパスフィルタ１５０２は、ハイパスフィルタ１５０１の出力を取得して、角速度信号から角度相当の信号へ変換する。積分ゲイン部１５０３はローパスフィルタ１５０２の出力に対して積分ゲインを乗算する。ゲイン乗算器１５０４は、統合処理部２０５の出力に対してゲインを乗算する。加算器１５０５は、積分ゲイン部１５０３およびゲイン乗算器１５０４の各出力信号の加算処理を行い、加算演算結果の信号を減算器２１３へ出力する。つまり、積分ゲイン部１５０３の出力に対してゲイン乗算器１５０４からのフィードバック量を加算する処理が行われる。

図１６を参照して、図３のＳ３１２における目標位置算出について詳説する。図１６は、目標位置算出部２１２が行う処理のフローチャートである。Ｓ１６０１でハイパスフィルタ１５０１は、図３のＳ３０５で第１振動センサ２０１が検出した撮像装置の振れ角速度信号に対して、ＤＣオフセット成分を除去する。Ｓ１６０２でローパスフィルタ１５０２は、Ｓ１６０１でＤＣオフセット成分が除去された振れ角速度信号に対して、ローパスフィルタ処理を行う。Ｓ１６０３で積分ゲイン部１５０３はゲイン乗算を行う。こうして振れ角速度信号が振れ角度信号に変換される。

Ｓ１６０４でゲイン乗算器１５０４は、統合処理部２０５から出力される振れ補正残り角度信号に対して乗算するゲインを決定する。ゲインの決定方法について、図１７を用いて説明する。図１７の横軸は追跡期間を表し、縦軸はゲイン量を表す。この例では、閾値時間Ｔ３を設けており、追跡期間の長さがゼロのときにゲイン量がゼロである。この原点を起点として、追跡期間の長さが閾値時間Ｔ３未満である区間では、追跡期間の増加につれてゲイン量が増加する線形関係を示す。追跡期間の長さが閾値時間Ｔ３以上である場合には、ゲイン量が１となる。よって追跡期間が長い場合には、追跡期間が短い場合よりも振れ検出信号に対する振れ補正残り角度信号（位置姿勢情報）の合成の割合が高くなる。

Ｓ１６０５で加算器１５０５は、Ｓ１６０３で算出される振れ角度信号と、Ｓ１６０４で得られるゲイン乗算後の振れ補正残り角度信号とを加算し、振れ補正レンズ１０３の目標位置を算出する。

本実施形態では、撮像装置の振れ角度信号に対して、特徴点の３次元座標を利用して生成した振れ補正残り角度信号を、視差量に応じて制御する。追跡情報に基づいて画像間の視差量から算出される追跡期間に基づく３次元座標の推定の寄与度を算出し、追跡期間が長くなるにつれて寄与度を高く設定する処理が行われ、寄与度にしたがって振れ情報および位置姿勢情報が合成される。３次元座標推定の精度が十分でない状況でも処理を中断することなく像振れ補正を行うことができる。したがって、３次元座標推定の推定状態に依らずに、良好な撮像画像を得ることができる。

［第２実施形態］
次に、本発明の第２実施形態について、第１実施形態との相違点を主に説明する。
図１８は、本実施形態の像振れ補正装置の構成例を示す図である。同図において第１実施形態に示した構成要素と共通する箇所については、既に使用した符号を付すことによって、それらの詳細な説明を割愛する。本実施形態の像振れ補正装置は、動きベクトル演算部１８０１を備える。動きベクトル演算部１８０１は、撮像信号処理部１１０の出力を取得して画像の動きベクトル演算を行い、演算結果を主被写体分離部２０８、目標位置算出部１８０２に出力する。

図１９に示すフローチャートを参照して、本実施形態における処理について詳説する。図３との相違点は、Ｓ１９０１およびＳ１９０２のステップに示す処理である。動きベクトル演算部１８０１が行うＳ３０２（特徴点追跡）の次にＳ１９０１の処理へ進む。

Ｓ１９０１において、動きベクトル演算部１８０１は、Ｓ３０２で得られた特徴点の追跡結果と、フレームごとに特徴点を更新してフレーム間のグローバルベクトルを推定した２つの結果を出力する。グローバルベクトルは、撮影画面全体での一様な動きを表すベクトルである。Ｓ１９０１からＳ１９０２への矢印は、算出されたグローバルベクトルが目標位置算出部１８０２に出力される処理が行われることを示す。

図２０は、動きベクトル演算部１８０１の内部構成を示すブロック図である。特徴点抽出部４０１から追跡信頼度算出部４０５までの各部は、第１実施形態にて図４で説明したとおりである。本実施形態では、動きベクトル検出部４０４を第１の動きベクトル検出部とし、追加された動きベクトル検出部２００１を第２の動きベクトル検出部とする。第２の動きベクトル検出部２００１は、撮像信号処理部１１０と、特徴点抽出部４０１と、画像メモリ４０３から信号を取得して動きベクトルを算出する。つまり、第２の動きベクトル検出部２００１は、特徴点抽出部４０１が抽出した特徴点に基づいて、撮像信号処理部１１０および画像メモリ４０３からそれぞれ入力される画像信号に対して、動きベクトル検出を行う。グローバルベクトル推定部２００２は、第２の動きベクトル検出部２００１から入力された動きベクトルによりグローバルベクトルを推定する。

図２１のフローチャートを参照して、動きベクトル演算部１８０１が行う処理について、説明する。図５に示すＳ５０１からＳ５０５の処理とは異なる、追加されたＳ２１０１およびＳ２１０２の処理を説明する。Ｓ２１０１およびＳ２１０２の処理は、Ｓ５０２からＳ５０４のステップで示す処理に対する、並行処理として実行される。

Ｓ２１０１で第２の動きベクトル検出部２００１は、Ｓ５０１で抽出された特徴点を用いて第２の動きベクトルを検出する。動きベクトルの検出方法についはＳ５０３と同様であるため説明を割愛する。Ｓ２１０２でグローバルベクトル推定部２００２は、Ｓ２１０１にて推定された動きベクトルを使用し、グローバルベクトルを推定する。グローバルベクトルの推定方法には、検出された動きベクトルからヒストグラム処理を行い、最頻値をグローバルベクトルとして推定する方法がある。また、検出された動きベクトルの平均値をグローバルベクトルとして推定する方法がある。また、ヒストグラム処理によって特定される外れ値を除外し、残りの動きベクトルの平均値をグローバルベクトルとして推定する方法がある。Ｓ２１０２の処理後、Ｓ５０５の処理へ移行する。

図１９のＳ１９０２で目標位置算出部１８０２は、補正レンズの目標位置を算出する。Ｓ３０４にて算出された追跡期間と、Ｓ３１１における振れ補正残りの位置姿勢推定値と、Ｓ１９０１から取得されたグローバルベクトルを用いて、像振れ補正レンズ１０３をピッチ方向またはヨー方向に駆動する補正位置制御信号が生成される。Ｓ１９０２の次にＳ３１３の処理に進む。

図２２は、目標位置算出部１８０２の内部構成を示すブロック図である。図１５との相違点は、ゲイン乗算器２２０１である。ゲイン乗算器２２０１は、統合処理部２０５の出力と、グローバルベクトル推定部２００２の出力に対してそれぞれゲインを乗算する。

図１６のフローチャートを流用して、本実施形態の目標位置算出処理を説明する。第１実施形態における処理との相違点は、Ｓ１６０４の処理内容である。本実施形態では、統合処理部２０５から出力される振れ補正残り角度信号と、グローバルベクトル推定部２００２から出力されるグローバルベクトルに対して、ゲイン乗算器２２０１により乗算するゲインが決定される。ゲインの決定方法について、図１７を流用して説明する。横軸は追跡情報に基づく追跡期間を表し、縦軸はグローバルベクトルのゲイン量を表す。閾値時間をＴ４とし、追跡期間の長さがゼロのときのグローバルベクトルのゲイン量をゼロとする。この例では、追跡期間の長さがゼロからＴ４未満である区間で、グローバルベクトルのゲイン量が追跡期間の長さに比例する。追跡期間の長さが閾値時間Ｔ４以上である場合に、グローバルベクトルのゲイン量が１となる。振れ補正残り角度信号に対するゲイン乗算に関しては第１実施形態のＳ１６０４で説明済みであるため、その詳細な説明を割愛する。ゲイン乗算器２２０１はゲイン乗算後の各出力を加算器１５０５に出力する。

本実施形態では、フレームごとに更新される特徴点を使用し、毎フレームで推定されるグローバルベクトルを、振れ補正残り角度信号に適用する。特徴点の追跡が長期間行われることによって蓄積される誤差を補正して低減することで、第１実施形態よりも良好な像振れ補正を行うことができる。

１０３像振れ補正レンズ
１０４像振れ補正レンズ駆動部
１１７制御部
２０１，２０３振動センサ
２０５統合処理部
２０９追跡期間算出部
２１０特徴点追跡部
２１２目標位置算出部

Claims

撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置であって、
撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する追跡手段と、
前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する第１の推定手段と、
前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する第２の推定手段と、
複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する第１の算出手段と、
前記第１の算出手段から取得した前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の合成の割合を高くして前記振れ情報および前記位置姿勢情報を合成することにより、前記振れ補正手段の目標位置を算出する第２の算出手段と、
前記目標位置にしたがって前記振れ補正手段を制御する制御手段と、を備える
ことを特徴とする像振れ補正装置。
前記第２の算出手段は、前記追跡期間に基づく前記３次元座標の推定の寄与度を算出し、前記追跡期間が長くなるにつれて前記寄与度を高く制御して前記振れ情報および前記位置姿勢情報を合成する
ことを特徴とする請求項１に記載の像振れ補正装置。
前記第２の算出手段は、
前記追跡期間に対応するゲインを前記位置姿勢情報に乗算する乗算手段と、
前記振れ情報を前記ゲインが乗算された前記位置姿勢情報と加算する加算手段と、を備え、
前記ゲインの値は、前記追跡期間が長い場合に前記追跡期間が短い場合よりも大きい
ことを特徴とする請求項１または請求項２に記載の像振れ補正装置。
前記第１の算出手段は、前記視差量が小さいほど前記追跡期間を短く算出する
ことを特徴とする請求項１から３のいずれか１項に記載の像振れ補正装置。
前記追跡手段は、前記撮像画像のフレームごとに特徴点を抽出する抽出手段と、撮像時刻の異なる複数の画像信号を記憶する記憶手段と、動きベクトルを検出する検出手段を備え、前記追跡情報を用いて複数の前記撮像画像における同一の特徴点を抽出して追跡する処理を行う
ことを特徴とする請求項１または請求項２に記載の像振れ補正装置。
前記検出手段は、
前記追跡手段により追跡される前記特徴点に基づく第１の動きベクトルを検出する第１の検出手段と、
前記複数の画像信号から第２の動きベクトルを検出する第２の検出手段と、を備える
ことを特徴とする請求項５に記載の像振れ補正装置。
前記第２の動きベクトルからグローバルベクトルを推定する第３の推定手段をさらに備え、
前記第２の算出手段は、前記追跡期間に対応するゲインを前記グローバルベクトルに乗算する乗算手段と、
前記振れ情報を前記ゲインが乗算された前記グローバルベクトルと加算する加算手段と、を備え、
前記ゲインの値は、前記追跡期間が長い場合に前記追跡期間が短い場合よりも大きい
ことを特徴とする請求項６に記載の像振れ補正装置。
前記追跡情報の信頼度である追跡信頼度を算出する信頼度算出手段と、
前記追跡信頼度を用いて追跡対象とする特徴点を設定する特徴点設定手段と、を備える
ことを特徴とする請求項１から７のいずれか１項に記載の像振れ補正装置。
前記信頼度算出手段は、前記動きベクトルが算出される際に用いられた複数の画像信号から演算される相関値、または追跡の前後における前記特徴点の特徴量の変化量により前記追跡信頼度を算出する
ことを特徴とする請求項８に記載の像振れ補正装置。
請求項１から９のいずれか１項に記載の像振れ補正装置を備える撮像装置。
撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置にて実行される制御方法であって、
撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する工程と、
前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する工程と、
前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する工程と、
複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する工程と、
前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の合成の割合を高くして前記振れ情報および前記位置姿勢情報を合成することにより、前記振れ補正手段の目標位置を算出する工程と、
前記目標位置にしたがって前記振れ補正手段を制御する工程と、を有する
ことを特徴とする像振れ補正装置の制御方法。