JP5501119B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、例えば、手振れ等による撮像画像の振れを光学的に補正する機能を備えた撮像装置並びにその制御方法に関するものである。

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置の振れ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置の振れ等により生じた撮像画像の振れを補正する振れ補正機能が種々提案されている。

また、パンニング時の振れ補正系の制御は、例えば特許文献１等に開示されており、低域の周波数の振れ補正を抑制しつつ、高域の周波数の振れ補正を行うことができ、パンニング状態の振れ補正制御として有効である。

特開平１１−１８７３０８号公報

しかしながら、特許文献１に示すような従来の振れ補正機能においては、次のような問題があった。

従来のパンニング制御では、振れを表す信号が所定の閾値以上であるならば、パンニング状態であると判定し、パンニング制御を行っていた。しかしこの方法においては、手振れが大きい撮影者の場合に、パンニングを行っていない撮影状態でも、振れを表す信号が所定の閾値を超え、パンニング状態であると判定されてしまうことがあった。これによって固定点撮影（パンニングを行わない、固定被写体の撮影）においてもパンニング状態であると判定され、振れ残りが大きくなる状態が継続してしまう可能性があるという問題点があった。

そこで、本発明は、上記の問題点を解決するためになされたもので、撮影者が固定点撮影を行っているかどうかを自動判別し、固定点撮影に最適な制御を行うことにより、固定点撮影時の低周波数帯域の振れ残りを小さくすることを目的とする。

上記目的を達成するために、本発明に係わる撮像装置は、振れを検出する振れ検出手段と、撮像画像信号から画像の動きを示す動きベクトルを検出する動きベクトル検出手段と、前記振れ検出手段の出力に基づいて第１の像振れ補正量を算出する第１の算出手段と、前記動きベクトル検出手段の出力に基づいて第２の像振れ補正量を算出する第２の算出手段と、前記第１及び第２の像振れ補正量に基づいて、撮像画像の像振れを光学的に補正する像振れ補正手段と、前記振れ検出手段の出力に基づいて得られた信号の大きさに基づいて、パンニング動作を判定するパンニング判定手段と、一定の位置を撮影する定点撮影状態か否かを判定する判定手段と、前記判定手段によって定点撮影状態と判定されたときは、パンニング動作と判定しにくくなるように前記パンニング判定手段を制御し、かつ第２の像振れ補正量を増幅する制御変更手段と、を有することを特徴とする。

本発明によれば、固定点撮影時にパンニング状態であると誤って判定される可能性を減らすことで手振れ補正性能の向上を実現した撮像装置を提供することができる。

本発明に適用可能な撮像装置の一例の構成を示すブロック図。 動きベクトル処理部１２２の動作を説明するためのブロック図。 パンニング制御部１２３が行う処理を説明するためのグラフ。 固定点撮影判定部１２５が行う処理を説明するためのフローチャート。 本発明の第１の実施例における、図４のフローチャートの、ステップＳ１０８の詳細な処理を説明するためのフローチャート。 図４のフローチャートの、ステップＳ１０１及びステップＳ１０２の処理を説明するためのグラフ。 図５のフローチャートの、ステップＳ２０１及びステップＳ２０２の処理を説明するためのグラフ。 本発明の第２の実施例における、図４のフローチャートの、ステップＳ１０８の詳細な処理を説明するためのフローチャート。 本発明の第３の実施例における、図４のフローチャートの、ステップＳ１０８の詳細な処理を説明するためのフローチャート。 図８及び図９のフローチャートの、ステップＳ４０３及びステップＳ４０４の処理を説明するためのフローチャート。

以下、本発明を実施するための好適な一実施形態について図面を用いて説明する。図１は、例えば本発明の一実施形態に係る撮像装置としてのビデオカメラの構成を示すブロック図である。

図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。角速度センサ１０２は撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＤＣカットフィルタ１０３に供給する。ＤＣカットフィルタ１０３は、角速度センサ１０２からの角速度信号に含まれる直流（ＤＣ）成分を遮断して、該角速度信号の交流成分、すなわち振動成分のみをアンプ１０４に供給する。アンプ１０４は、ＤＣカットフィルタ１０３からの角速度信号を、最適な感度に増幅して、Ａ／Ｄ変換器１０５に供給する。Ａ／Ｄ変換器１０５は、アンプ１０４からの角速度信号をデジタル化して、角速度データとしてｕＣＯＭ１０１内部のＨＰＦ１０６に供給する。

ＨＰＦ１０６は、任意の周波数帯域でその特性を可変し得る機能を有しており、Ａ／Ｄ変換器１０５からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。積分器１０７は、任意の周波数帯域でその特性を可変し得る機能を有しており、ＨＰＦ１０６から出力された角速度データを積分し、その積分結果を角変位データとして出力する。

撮像光学系１１５は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１１９に結像する。ズームエンコーダ１１８は、撮像光学系１１５のズーム位置を検出し、ｕＣＯＭ１０１内部の焦点距離補正部１０８に出力する。焦点距離補正部１０８では、ズームエンコーダ１１８の出力より、撮像光学系１１５の焦点距離を算出し、該焦点距離と積分器１０７の出力とから、補正光学系１１４の駆動量（ジャイロ系補正データ）を算出する。撮像素子１１９は、撮像光学系１１５によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理回路１２０に供給する。信号処理回路１２０は、撮像素子１１９により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して動きベクトル検出回路１２１に供給する。

動きベクトル検出回路１２１は、信号処理回路１２０からの映像信号に含まれる輝度信号を基に、動きベクトルを検出する。具体的には、まず、動きベクトル検出法としては、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出回路１２１に採用するものとする。このブロックマッチング法とは、まず入力画像信号を複数の適当な大きさのブロック（例えば、８×８画素）に分割し、ブロック単位に前のフィールド又はフレームの一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフィールド又はフレームのブロックを検索し、当該ブロックの相対的なずれをそのブロックの動きベクトルとして検出する方法である。尚、ブロックマッチング法でのマッチング演算については、尾上守男氏等による”情報処理Ｖｏ １．１７ Ｎｏ．７ ｐ６３４ 〜６４０ Ｊｕｌｙ １９７６ ”等で詳しく論じられているため、その詳細な説明は省略する。

動きベクトル処理部１２２は、動きベクトル検出回路１２１から出力された動きベクトルのデータに対して後述するフィルタ演算などを行い、その結果を動きベクトルの変位データとして算出する。その結果が補正光学系１１４の駆動量（ベクトル系補正データ）となる。

加減算器１０９は、焦点距離補正部１０８（第１の算出手段）から出力された角速度センサ１０２側の補正量（第１の振れ補正量）であるジャイロ系補正データと、動きベクトル処理部１２２（第２の算出手段）から出力された動きベクトル検出回路１２１側の補正量（第２の振れ補正量）とを加算して、最終補正データとする。そして最終補正データを、補正光学系１１４の駆動量として算出する。また、加減算器１０９は、補正光学系１１４の位置を検出する位置検出センサ１１６の出力をＡ／Ｄ変換器１１７にてＡ／Ｄ変換し、デジタル化したデータを上記最終補正データから減算し、その結果である偏差データを制御フィルタ１１０に供給する。制御フィルタ１１０は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。

加減算器１０９から供給された偏差データは、制御フィルタ１１０に供給され、上記増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調回路１１１に出力される。パルス幅変調回路１１１は、制御フィルタ１１０を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動回路１１２に供給する。モータ１１３は、補正光学系１１４の駆動用のボイス・コイル型モータであり、モータ駆動回路１１２から駆動されることにより、補正光学系１１４が光軸と垂直な方向に移動される。位置検出センサ１１６は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１１４の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１７を介して、上述した加減算器１０９に供給する。これによって、上述した最終補正データに対して、補正光学系１１４の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。

補正光学系１１４（補正部材）は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸の向きを偏向する、光学的に振れ補正可能な補正系である。その結果、装置の振れ等により生じる撮像面上の被写体の移動が補正された像が、撮像素子１１９に結像される。撮像素子１１９の出力は、信号処理回路１２０で所定の信号処理が行われ、動きベクトル検出回路１２１に供給されることになる。

ここで動きベクトル処理部１２２の処理の詳細について、図２のブロック図を用いて説明する。図２のブロック図は、図１のブロック図から動きベクトル処理部１２２に関連するブロックのみを抽出し、更に動きベクトル処理部１２２の内部構成を示したものである。図１と同一のブロックには、同一の符合を付しており、説明は省略する。

動きベクトル検出回路１２１は、補正光学系１１４による振れ補正の結果生じた補正残りを、動きベクトルとして検出している。補正光学系１１４の補正残りを示す動きベクトル信号は、動きベクトル処理部１２２によるフィルタ演算などの処理を行った後、加減算器１０９に供給される。この加減算器１０９に供給される信号によって、補正光学系１１４は補正残りを軽減する方向に駆動される。そしてその結果軽減された補正残りは、更に動きベクトル検出回路１２１によって動きベクトルとして検出され、また補正光学系１１４が補正残りを軽減する方向に駆動される。つまり、図２のブロック図は、補正光学系１１４の補正残りを動きベクトルとして検出し、この補正残りを軽減するように補正光学系１１４を駆動するフィードバックループを構成している。

動きベクトル処理部１２２は、図２に示すようにベクトルゲイン乗算部１３０とベクトルフィルタ１３１とから構成される。ベクトルゲイン乗算部１３０は、動きベクトル検出回路１２１から供給される信号に対して、所定のゲインを乗算し、ベクトルフィルタ１３１に供給する。ベクトルフィルタ１３１は、ベクトルゲイン乗算部１３０から出力されたデータに対して、微分演算や積分演算などを行い加減算器１０９に供給する。

ベクトルゲイン乗算部１３０とベクトルフィルタ１３１は、図２のフィードバックループにおいて、補正残りを軽減する際の応答性や、発振マージンなどを決める役割を担っている。発振マージンが確保されている状態で、ベクトルゲイン乗算部１３０のゲインを大きくすれば、補正残りは小さくなり、ベクトルゲイン乗算部１３０のゲインを小さくすれば、補正残りは大きくなる。言い換えると、ベクトルゲイン乗算部１３０のゲインを大きくすると、振れ補正の効果が大きくなり、ベクトルゲイン乗算部１３０のゲインを小さくすると、振れ補正の効果は小さくなる。ベクトルゲイン乗算部１３０のゲインの大きさは、固定点撮影判定部１２５やパンニング制御部１２３の判定状態によって決定される。

なお、動きベクトル検出回路１２１は、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）では、動きベクトル検出は６０Ｈｚ周期で行われる。フィードバック制御は一般的に、制御したい信号周波数よりも十分高いサンプリング周波数で処理を行う必要があり、６０Ｈｚ周期では、ＤＣ〜数Ｈｚ程度の低い周波数帯域の制御しか行うことができない。そこで、上述したジャイロ系補正データによって、高周波数帯域の振れ補正を行い、ジャイロ系補正データでは検出精度が落ちるＤＣ〜数Ｈｚ程度の低周波数成分の振れ補正を、動きベクトル処理部１２２の出力であるベクトル系補正データによって行う。これにより、振れ補正性能向上を実現することができる。

図１に戻って、パンニング制御部１２３は、撮影者が例えば撮像装置に対してパンニング動作を行ったときに、その撮像装置がパンニングされている状態であるか否かの判定（パンニング判定）を行う。Ａ／Ｄ変換器１０５から出力された角速度データ、積分器１０７から出力された角変位データに基づいて、撮像装置がパンニング状態であるか否かの判定を行う。そして、パンニング制御部１２３によって撮像装置がパンニング状態であると判断されるとパンニング制御を行う。

パンニング状態であるか否かの判定及びパンニング制御について、図３（ａ）及び図３（ｂ）のグラフを用いて説明する。図３（ａ）は、横軸は角速度データあるいは角変位データの大きさを示し、縦軸はＨＰＦ１０６のカットオフ周波数を示している。図３（ｂ）は、横軸は角速度データあるいは角変位データの大きさを示し、縦軸は積分器１０７の時定数を示している。

図３（ａ）に示すように、角速度データあるいは角変位データの絶対値が、閾値Pan_hpf_th0（第１の閾値）より大きくなったとき、パンニング制御部１２３では撮像装置がパンニング状態であるという判定が行われる。パンニング状態であるという判定が行われると、パンニング制御部１２３は角速度データあるいは角変位データの大きさに応じて、ＨＰＦ１０６（高域通過フィルタ）のカットオフ周波数（遮断周波数）を、パンニング状態でないときのカットオフ周波数Hpf_fc0よりも大きい値に設定する。

図３（ｂ）に示すように、角速度データあるいは角変位データの絶対値が、閾値Pan_int_th0より大きくなったとき、パンニング制御部１２３では撮像装置がパンニング状態であるという判定が行われる。パンニング状態であるという判定が行われると、パンニング制御部１２３は角速度データあるいは角変位データの大きさに応じて、積分器１０７の時定数をパンニング状態でないときの時定数Int_th0よりも小さい値に設定する。

また、上記パンニング状態であるという判定が行われたときは、ベクトルゲイン乗算部１３０のゲインを小さい値、もしくはゼロに変更し、低周波数帯域の振れ補正効果を小さくする。

パンニング制御とは、ＨＰＦ１０６のカットオフ周波数を、パンニング状態でないときのカットオフ周波数Hpf_fc0よりも大きい値に設定する制御、及び積分器１０７の時定数をパンニング状態でないときの時定数Int_th0よりも小さい値に設定する制御、ベクトルゲイン乗算部１３０のゲインを小さい値に変更する制御のことを示すこととする。このパンニング制御を行うことによって、低周波数帯域の振れ補正効果を小さくし、撮影者のパンニング動作を妨げないようにしている。

三脚撮影判定部１２６は、Ａ／Ｄ変換器１０５の出力である角速度データから、撮像装置１００が三脚に設置されているかどうかの判定を行う。三脚撮影判定部１２６によって撮像装置１００が三脚に設置されていると判定されたときは、振れ補正制御を停止し、補正光学系１１４を可動範囲の中心に保持する。三脚設置判定には、角速度データが所定値以下の状態が所定時間以上続いたときに、三脚に設置されていると判定する等の公知の方法を用いればよい。

動きベクトル積分器１２４は、動きベクトル検出回路１２１から出力された動きベクトルのデータを積分し、そのベクトル積分データを固定点撮影判定部１２５に出力する。上記積分の方法としては、ローパスフィルタ（ＬＰＦ）を用いる方法、単位時間毎に動きベクトル検出回路１２１の出力を加算していく方法等種々の方法があるが、いずれの方法を採用してもよい。固定点撮影判定部１２５の動作は本発明の特徴となる処理であり、動作の詳細を以下に述べる。

（第１の実施例）
本発明の一例である図１の撮像装置１００における、固定点撮影判定部１２５が実行する処理の第１の方法について、以下に図面を用いて詳細な説明を行う。

図４は、固定点撮影判定部１２５の処理の流れを示したフローチャートである。図４のフローチャートの処理は、例えば６０分の１秒等の間隔で繰り返し行われる。ステップＳ１００においては、パンニング制御部１２３によってパンニング状態であるという判定が行われているかどうか、あるいは三脚撮影判定部１２６によって三脚に設置されているという判定が行われているかどうかの判定を行う。パンニング状態ではなく、かつ三脚に設置されていないと判定されたときは、ステップＳ１０１の処理へ移行する。

ステップＳ１０１においては、Ａ／Ｄ変換器１０５の出力である角速度データが閾値Fix_gyro_thより小さいかどうかの判定を行う。角速度データが閾値Fix_gyro_thより小さい場合はステップＳ１０２の処理へ移行する。

ステップＳ１０２においては、動きベクトル積分器１２４の出力であるベクトル積分データが閾値Fix_vector_thより小さいかどうかの判定を行う。ベクトル積分データが閾値Fix_vector_thより小さい場合はステップＳ１０３の処理へ移行する。

ステップＳ１０３においては、変数Fix_countが閾値Fix_judge_thを超えたかどうかの判定を行う。ステップＳ１０３において、変数Fix_countが閾値Fix_judge_thを超えていない場合は、ステップＳ１０４へと進み、Fix_countをカウントアップする。ステップＳ１０４の処理を行った後はステップＳ１０７へと移行し、固定点撮影（定点撮影状態）ではないという判定が行われる。

ステップＳ１００において、パンニング状態であるまたは三脚に設置されていると判定されたとき、ステップＳ１０１において、角速度データが閾値Fix_gyro_th以上であると判定されたとき、ステップＳ１０２において、ベクトル積分データが閾値Fix_vector_th以上であると判定されたときは、ステップＳ１０５の処理へ移行する。ステップＳ１０５では変数Fix_countをゼロクリアし、ステップＳ１０７へと移行する。ステップＳ１０７では、上述したように固定点撮影ではないという判定が行われる。

ステップＳ１０３において、変数Fix_countが閾値Fix_judge_thを超えている場合は、ステップＳ１０６の処理へ移行する。ステップＳ１０６では、固定点撮影であるという判定が行われる。

ここで、図４のフローチャートのステップＳ１００〜ステップＳ１０７の処理について、図６（ａ）及び図６（ｂ）のグラフを用いて更に詳細を説明する。図６（ａ）は、縦軸を角速度データ、横軸を時間として、角速度データの時系列変化を示したグラフである。図６（ｂ）は、縦軸をベクトル積分データ、横軸を時間として、ベクトル積分データの時系列変化を示したグラフである。

図６（ａ）及び図６（ｂ）において、時間Ｔ０〜Ｔ１の間では、補正光学系１１４で補正しきれない大きな振れが撮像装置に生じたときの角速度データおよびベクトル積分データの変化の様子を示している。このとき、図６（ａ）に示すように角速度データが閾値Fix_gyro_thを超え、あるいは図６（ｂ）に示すようにベクトル積分データも閾値Fix_vector_thを超える。そのため、図４のフローチャートにおいて、ステップＳ１０１もしくはステップＳ１０２で“ＮＯ”の判定が行われる。その後、ステップＳ１０５で変数Fix_countをゼロクリアし、ステップＳ１０７で固定点撮影でないという判定が行われる。つまり、角速度データが大きいとき、またはベクトル積分データが大きいときは、撮像装置の動きが大きいと推測し、固定点を撮影していないという判定を行っている。

図６（ａ）及び図６（ｂ）において、時間Ｔ１以降は、固定点撮影が行われているときの、角速度データおよびベクトル積分データの変化の様子を示している。固定点撮影時は、図６（ａ）に示すように、角速度データは閾値Fix_gyro_thを常に下回るような安定した出力となる。また、ベクトル積分データも閾値Fix_vector_thを常に下回るような安定した出力となる。そのため、図４のフローチャートにおいて、ステップＳ１０１とステップＳ１０２では、“ＹＥＳ”の判定が行われる。ステップＳ１０３では、角速度データ及びベクトル積分データが閾値を連続して下回った時間が、変数Fix_countに対する閾値Fix_judge_thで決まる所定時間を超えたかどうかの判定を行っている。所定時間を超えていない場合は、ステップＳ１０４において、所定時間を超えるまで変数Fix_countをカウントアップしている。ステップＳ１０３において、角速度データ及びベクトル積分データが閾値を連続して下回った時間が上記所定時間を超えた（所定時間以上継続した）場合は、ステップＳ１０６で固定点撮影であるという判定が行われる。つまり、角速度データ、ベクトル積分データが小さい時間が連続して続いたときは、撮影者が固定被写体の撮影を行っている可能性が高いため、固定点を撮影しているという判定を行っている。

図６（ａ）及び図６（ｂ）において、変数Fix_countに対する閾値Fix_judge_thで決まる所定時間がＴ２−Ｔ１であるとすると、時間Ｔ２より前は固定点撮影でないという判定が行われ、時間Ｔ２以降では固定点撮影であるという判定が行われる。

ステップＳ１０６、ステップＳ１０７で固定点撮影判定が行われた後は、ステップＳ１０８に移行し、固定点撮影であるときと固定点撮影でないとき、それぞれに応じた制御（固定点撮影制御）を行う。

ステップＳ１０８の固定点撮影制御のフローチャートを図５に示す。図５のフローチャートにおいて、ステップＳ２００では固定点撮影であるという判定が行われているかどうかの判定を行う。ステップＳ１０６で固定点撮影であるという判定が行われているときは、ステップＳ２０１の処理へ移行する。

ステップＳ２０１の処理では、パンニング制御部１２３において、撮像装置がパンニングされている状態であるか否かの判定に用いる閾値を大きくする。ステップＳ２０１の処理について、図７（ａ）及び図７（ｂ）のグラフを用いて説明する。

図７（ａ）は、図３（ａ）と同様に、横軸は角速度データあるいは角変位データの大きさを示し、縦軸はＨＰＦ１０６のカットオフ周波数を示している。図７（ｂ）は、図３（ｂ）と同様に、横軸は角速度データあるいは角変位データの大きさを示し、縦軸は積分器１０７の時定数を示している。

図７（ａ）の実線のグラフは、固定点撮影であるという判定が行われているときの、角速度データあるいは角変位データに対する、ＨＰＦ１０６のカットオフ周波数の変化を示している。図７（ａ）の点線のグラフは、固定点撮影であるという判定が行われていないときの、角速度データあるいは角変位データに対する、ＨＰＦ１０６のカットオフ周波数の変化を示しており、図３（ａ）と同様のグラフとなっている。

固定点撮影であるという判定が行われていないときは、パンニング制御部１２３は、角速度データあるいは角変位データの絶対値が、閾値Pan_hpf_th0より大きくなったとき、撮像装置がパンニング状態であるという判定を行う。一方、固定点撮影であるという判定が行われているときは、上記閾値をPan_hpf_th0（第１の閾値）よりも大きい値Pan_hpf_th1（第２の閾値）に変更し（制御変更）、パンニング状態であるという判定が行われ難いようにする。

図７（ｂ）の実線のグラフは、固定点撮影であるという判定が行われているときの、角速度データあるいは角変位データに対する、積分器１０７の時定数の変化を示している。図７（ｂ）の点線のグラフは、固定点撮影であるという判定が行われていないときの、角速度データあるいは角変位データに対する、積分器１０７の時定数の変化を示しており、図３（ｂ）と同様のグラフとなっている。

固定点撮影であるという判定が行われていないときは、パンニング制御部１２３は、角速度データあるいは角変位データの絶対値が、閾値Pan_int_th0より大きくなったとき、撮像装置がパンニング状態であるという判定を行う。一方、固定点撮影であるという判定が行われているときは、上記閾値をPan_int_th0よりも大きい値Pan_int_th1に変更し、パンニング状態であるという判定が行われ難いようにする。

これによって固定点撮影において、パンニングをしていないのにもかかわらず、パンニング状態であるという判定が行われ、低周波数帯域の振れ残りが大きくなってしまう現象を軽減することができる。

ステップＳ２０１の処理を行った後は、ステップＳ２０３の処理へ移行する。ステップＳ２０３では、図２のブロック図を用いて説明した、ベクトルゲイン乗算部１３０のゲインを、固定点撮影であるという判定が行われていないときのゲインよりも、大きい値に変更する。これによって、固定点撮影において、低周波数帯域の振れ補正効果を大きくし、更に振れの少ない品位の高い映像を撮影することができるようになる。ステップＳ２０３の処理を行った後、図４及び図５のフローチャートの処理は終了となる。

ステップＳ２００において、ステップＳ１０７で固定点撮影でないという判定が行われているときは、ステップＳ２０２の処理へ移行する。ステップＳ２０２では、ステップＳ２０１で、パンニング状態の判定に用いる閾値を大きくしていた場合に、それを元の閾値に戻す処理を行う。すなわち、図７（ａ）及び図７（ｂ）において、実線のグラフを各々点線のグラフへと変更する。また、ステップＳ２０２の後はステップＳ２０４の処理へ移行し、ステップＳ２０３で、ベクトルゲイン乗算部１３０のゲインを大きくしていた場合に、それを元の閾値に戻す処理を行う。

ステップＳ２０１及びステップＳ２０３の処理において、パンニング状態であるかどうかの判定に用いる閾値を広げ、ベクトルゲイン乗算部１３０のゲインを大きくすることは、固定点撮影においては非常に有効である。しかし、パンニングが頻繁に行われるような撮影においては、次に示すような不具合を生じる。すなわち、低周波数帯域の振れ補正効果が大きいことと、パンニング判定が遅れることにより、補正光学系１１４が可動範囲の端に当たって、振れ補正ができなくなる頻度が大きくなってしまう。上述したステップＳ２０２及びステップＳ２０４の処理は、この不具合を回避するために行うものである。ステップＳ２０４の処理を行った後、図４及び図５のフローチャートの処理は終了となる。

以上本発明の第１の実施例によれば、撮像装置が固定点撮影か否かの判定を行い、固定点撮影時には固定点撮影専用の制御を行うことにより、特に低周波数帯域の振れ補正効果を大きくし、振れ補正性能の向上を実現することができる。

（第２の実施例）
本発明の一例である図１の撮像装置１００における、固定点撮影判定部１２５が実行する処理の第２の方法について、以下に図面を用いて詳細な説明を行う。

本実施例の処理における、第１の実施例との差は、図４のステップＳ１０８の固定点撮影制御の動作が、図５から図８に変更になった点である。よって、図４のフローチャートの説明は省略し、図８のフローチャートの説明を行う。また、図８のフローチャートにおいて、ステップＳ３００〜Ｓ３０２の処理は、図５のステップＳ２００〜Ｓ２０２の処理と同様であるため、説明は省略する。

図８のフローチャートにおいて、ステップＳ３００で固定点撮影であるという判定が行われているときは、ステップＳ３０１の処理へ移行する。そして、ステップＳ３０１で撮像装置がパンニング状態であるかどうかの判定に用いる閾値を大きくし、ステップＳ３０３の処理へ移行する。

ステップＳ３０３の処理では、ＨＰＦ１０６のカットオフ周波数を、固定点撮影であるという判定が行われていないときよりも小さい値に変更する。ステップＳ３０１、Ｓ３０３の処理について、図１０（ａ）のグラフを用いて説明する。

図１０（ａ）は、図３（ａ）と同様に、横軸は角速度データあるいは角変位データの大きさを示し、縦軸はＨＰＦ１０６のカットオフ周波数を示している。図１０（ａ）の実線のグラフは、固定点撮影であるという判定が行われているときの、角速度データあるいは角変位データに対する、ＨＰＦ１０６のカットオフ周波数の変化を示している。図１０（ａ）の点線のグラフは、固定点撮影であるという判定が行われていないときの、角速度データあるいは角変位データに対する、ＨＰＦ１０６のカットオフ周波数の変化を示しており、図３（ａ）と同様のグラフとなっている。

ステップＳ３０１の処理では、パンニング状態であるかどうかの判定に用いる閾値を、Pan_hpf_th0からPan_hpf_th1に広げる処理を行う。ステップＳ３０３の処理では更に、図１０（ａ）に示すように、ＨＰＦ１０６のカットオフ周波数を、撮像装置がパンニング状態でない時の値Hpf_fc0から、Hpf_fc0よりも小さい値Hpf_fc1へと変更する（低域側に変移させる）。これによって、固定点撮影において、低周波数帯域の振れ補正効果を大きくし、更に振れの少ない品位の高い映像を撮影することができるようになる。ステップＳ３０３の処理を行った後、図４及び図８のフローチャートの処理は終了となる。

図８のフローチャートにおいて、ステップＳ３００で固定点撮影であるという判定が行われていないときは、ステップＳ３０２の処理へ移行する。ステップＳ３０２では、ステップＳ３０１で、パンニング状態の判定に用いる閾値を大きくしていた場合に、それを元の閾値に戻す処理を行い、ステップＳ３０４の処理へ移行する。ステップＳ３０４では、ステップＳ３０３の処理で、撮像装置がパンニング状態でない時のＨＰＦ１０６のカットオフ周波数を小さい値に変更していた場合に、それを元の値に戻す処理を行う。すなわち、図１０（ａ）において、ＨＰＦ１０６のカットオフ周波数を、Hpf_fc1からHpf_fc0へと変更する。

ステップＳ３０１及びステップＳ３０３の処理において、パンニング状態であるかどうかの判定に用いる閾値を広げ、ＨＰＦ１０６のカットオフ周波数を小さくすることは、固定点撮影においては非常に有効である。しかし、パンニングが頻繁に行われるような撮影においては、次に示すような不具合を生じる。すなわち、低周波数帯域の振れ補正効果が大きいことと、パンニング判定が遅れることにより、補正光学系１１４が可動範囲の端に当たって、振れ補正ができなくなる頻度が大きくなってしまう。上述したステップＳ３０２及びステップＳ３０４の処理は、この不具合を回避するために行うものである。ステップＳ３０４の処理を行った後、図４及び図８のフローチャートの処理は終了となる。

以上本発明の第２の実施例によれば、撮像装置が固定点撮影か否かの判定を行い、固定点撮影時には固定点撮影専用の制御を行うことにより、特に低周波数帯域の振れ補正効果を大きくし、振れ補正性能の向上を実現することができる。

（第３の実施例）
本発明の一例である図１の撮像装置１００における、固定点撮影判定部１２５が実行する処理の第３の方法について、以下に図面を用いて詳細な説明を行う。

本実施例の処理における、第１の実施例との差は、図４のステップＳ１０８の固定点撮影制御の動作が、図５から図９に変更になった点である。よって、図４のフローチャートの説明は省略し、図９のフローチャートの説明を行う。また、図９のフローチャートにおいて、ステップＳ４００〜Ｓ４０２の処理は、図５のステップＳ２００〜Ｓ２０２の処理と同様であるため、説明は省略する。

図９のフローチャートにおいて、ステップＳ４００で固定点撮影であるという判定が行われているときは、ステップＳ４０１の処理へ移行する。そして、ステップＳ４０１で撮像装置がパンニング状態であるかどうかの判定に用いる閾値を大きくし、ステップＳ４０３の処理へ移行する。

ステップＳ４０３の処理では、積分器１０７の時定数を、固定点撮影であるという判定が行われていないときよりも大きい値に変更する。ステップＳ４０１、Ｓ４０３の処理について、図１０（ｂ）のグラフを用いて説明する。

図１０（ｂ）は、図３（ｂ）と同様に、横軸は角速度データあるいは角変位データの大きさを示し、縦軸は積分器１０７の時定数を示している。図１０（ｂ）の実線のグラフは、固定点撮影であるという判定が行われているときの、角速度データあるいは角変位データに対する、積分器１０７の時定数の変化を示している。図１０（ｂ）の点線のグラフは、固定点撮影であるという判定が行われていないときの、角速度データあるいは角変位データに対する、積分器１０７の時定数の変化を示しており、図３（ｂ）と同様のグラフとなっている。

ステップＳ４０１の処理では、パンニング状態であるかどうかの判定に用いる閾値を、Pan_int_th0からPan_int_th1に広げる処理を行う。ステップＳ４０３の処理では更に、図１０（ｂ）に示すように、積分器１０７の時定数を、撮像装置がパンニング状態でない時の値Int_t0から、Int_t0よりも大きい値Int_t1へと変更する。これによって、固定点撮影において、低周波数帯域の振れ補正効果を大きくし、更に振れの少ない品位の高い映像を撮影することができるようになる。ステップＳ４０３の処理を行った後、図４及び図９のフローチャートの処理は終了となる。

図９のフローチャートにおいて、ステップＳ４００で固定点撮影であるという判定が行われていないときは、ステップＳ４０２の処理へ移行する。ステップＳ４０２では、ステップＳ４０１で、パンニング状態の判定に用いる閾値を大きくしていた場合に、それを元の閾値に戻す処理を行い、ステップＳ４０４の処理へ移行する。ステップＳ４０４では、ステップＳ４０３の処理で、撮像装置がパンニング状態でない時の積分器１０７の時定数を大きい値に変更していた場合に、それを元の値に戻す処理を行う。すなわち、図１０（ｂ）において、積分器１０７の時定数を、Int_t1からInt_t0へと変更する。

ステップＳ４０１及びステップＳ４０３の処理において、パンニング状態であるかどうかの判定に用いる閾値を広げ、積分器１０７の時定数を大きくすることは、固定点撮影においては非常に有効である。しかし、パンニングが頻繁に行われるような撮影においては、次に示すような不具合を生じる。すなわち、低周波数帯域の振れ補正効果が大きいことと、パンニング判定が遅れることにより、補正光学系１１４が可動範囲の端に当たって、振れ補正ができなくなる頻度が大きくなってしまう。上述したステップＳ４０２及びステップＳ４０４の処理は、この不具合を回避するために行うものである。ステップＳ４０４の処理を行った後、図４及び図９のフローチャートの処理は終了となる。

以上本発明の第３の実施例によれば、撮像装置が固定点撮影か否かの判定を行い、固定点撮影時には固定点撮影専用の制御を行うことにより、特に低周波数帯域の振れ補正効果を大きくし、振れ補正性能の向上を実現することができる。

ここで、動きベクトル検出回路１２１、動きベクトル処理部１２２、動きベクトル積分器１２４は、本発明の第２、第３の実施例において必須ではなく、角速度センサ１０２の出力のみを用いて振れ補正動作を行う構成にしてもよい。その場合、図４においてステップＳ１０２の処理は省略する。

また、図４のステップＳ１０１とステップＳ１０２の処理は、必ずしも両方を行う必要はない。角速度データのみを用いて固定点撮影判定を行ってもよいし、ベクトル積分データのみを用いて固定点撮影判定を行ってもよい。

また、図４のステップＳ１０１の角速度データによる固定点撮影判定の動作については、一例でありこれに限定されるものではない。例えば、角速度データの代わりに、ＨＰＦ１０６の出力、積分器１０７の出力、焦点距離補正部１０８の出力など、角速度センサ１０２の出力に基づいた値であれば、いずれを用いてもよい。また、角速度データの値を平均化するなど、固定点撮影判定専用の演算を行った値を用いてもよい。

また、本発明の３つの実施例は、互いに組み合わせて実施することにより、更に固定点撮影時の振れ補正効果を大きくし、振れ補正性能の向上を実現することができる。例えば図５のフローチャートにおいて、ステップＳ２０３の処理の後にステップＳ３０３及びステップＳ４０３の処理を行い、ステップＳ２０４の処理の後にステップＳ３０４及びステップＳ４０４の処理を行ってもよい。

また、振れ補正を行う構成として、補正光学系１１４（例えばシフトレンズ）を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム（ＶＡＰ）や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。

Claims (10)

1. 振れを検出する振れ検出手段と、
   撮像画像信号から画像の動きを示す動きベクトルを検出する動きベクトル検出手段と、
   前記振れ検出手段の出力に基づいて第１の像振れ補正量を算出する第１の算出手段と、
   前記動きベクトル検出手段の出力に基づいて第２の像振れ補正量を算出する第２の算出手段と、
   前記第１及び第２の像振れ補正量に基づいて、撮像画像の像振れを光学的に補正する像振れ補正手段と、
   前記振れ検出手段の出力に基づいて得られた信号の大きさに基づいて、パンニング動作を判定するパンニング判定手段と、
   一定の位置を撮影する定点撮影状態か否かを判定する判定手段と、
   前記判定手段によって定点撮影状態と判定されたときは、パンニング動作と判定しにくくなるように前記パンニング判定手段を制御し、かつ第２の像振れ補正量を増幅する制御変更手段と、
   を有することを特徴とする撮像装置。
2. 前記パンニング判定手段は、前記振れ検出手段の出力に基づいて得られた信号が第１の閾値より大きいとき、前記撮像装置がパンニング動作を行っていると判定し、前記制御変更手段は、前記判定手段によって定点撮影状態と判定されたときは、前記第１の閾値を第１の閾値よりも大きい第２の閾値に変更することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の算出手段は高域通過フィルタを含み、前記制御変更手段は、前記判定手段によって定点撮影状態と判定しているときには、前記高域通過フィルタの遮断周波数を低域側に変移させることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の算出手段は、積分手段を含み、前記制御変更手段は、前記判定手段によって定点撮影状態と判定しているときには、更に前記積分手段の時定数を大きくすることを特徴とする請求項１ないし３の何れか１項に記載の撮像装置。
5. 前記判定手段は、前記振れ検出手段の出力に基づいて得られた信号が所定の閾値より小さい状態が所定時間以上継続したとき、または前記動きベクトル検出手段の出力に基づいて得られた信号が所定の閾値より小さい時間が所定時間以上継続したとき、前記定点撮影状態であると判定することを特徴とする請求項１ないし４の何れか１項に記載の撮像装置。
6. 像振れを補正する機能を有する撮像装置であって、
   振れを検出する振れ検出手段と、
   前記振れ検出手段の出力に基づいて像振れ補正量を算出する算出手段と、
   前記像振れ補正量に基づいて、撮像画像の像振れを光学的に補正する像振れ補正手段と、
   前記振れ検出手段の出力に基づいて得られた信号が第１の閾値より大きいとき、前記撮像装置がパンニング動作を行っていると判定するパンニング判定手段と、
   一定の位置を撮影する定点撮影状態か否かを判定する判定手段と、
   前記判定手段によって定点撮影状態と判定されたときは、前記第１の閾値を、第１の閾値よりも大きい第２の閾値に変更し、かつ前記算出手段が有する高域通過フィルタの遮断周波数を低域側に変移させる制御変更手段と、
   を有することを特徴とする撮像装置。
7. 前記算出手段は、積分手段を含み、前記制御変更手段は、前記撮像装置の振れが安定していると判定しているときには、更に前記積分手段の時定数を大きくすることを特徴とする請求項６に記載の撮像装置。
8. 像振れを補正する機能を有する撮像装置であって、
   振れを検出する振れ検出手段と、
   前記振れ検出手段の出力に基づいて像振れ補正量を算出する算出手段と、
   前記像振れ補正量に基づいて、撮像画像の振れを光学的に補正する像振れ補正手段と、
   前記振れ検出手段の出力に基づいて得られた信号が第１の閾値より大きいとき、前記撮像装置がパンニング動作を行っていると判定するパンニング判定手段と、
   一定の位置を撮影する定点撮影状態か否かを判定する判定手段と、
   前記判定手段によって定点撮影状態と判定されたときは、前記第１の閾値を、第１の閾値よりも大きい第２の閾値に変更し、かつ前記算出手段が有する積分手段の時定数を大きくする制御変更手段と、
   を有することを特徴とする撮像装置。
9. 前記判定手段は、前記振れ検出手段の出力に基づいて得られた信号が所定の閾値より小さい状態が所定時間以上継続したとき前記定点撮影状態であると判定することを特徴とする請求項６ないし８の何れか１項に記載の撮像装置。
10. 撮像画像の像振れを補正する機能を有する撮像装置の制御方法であって、
    振れ検出手段が、振れを検出する振れ検出工程と、
    動きベクトル検出手段が、撮像画像信号から画像の動きを示す動きベクトルを検出する動きベクトル検出工程と、
    第１の算出手段が、前記振れ検出工程の出力に基づいて第１の像振れ補正量を算出する第１の算出工程と、
    第２の算出手段が、前記動きベクトル検出工程の出力に基づいて第２の像振れ補正量を算出する第２の算出工程と、
    像振れ補正手段が、前記第１及び第２の像振れ補正量に基づいて補正部材を駆動することで、撮像画像の振れを光学的に補正する像振れ補正工程と、
    パンニング判定手段が、前記振れ検出工程の出力に基づいて得られた信号の大きさに基づいて、パンニング動作を判定するパンニング判定工程と、
    判定手段が、一定の位置を撮影する定点撮影状態か否かを判定する判定工程と、
    制御変更手段が、前記判定工程によって定点撮影状態と判定されたときは、パンニング動作と判定しにくくなるように前記パンニング判定手段を制御し、かつ第２の像振れ補正量を増幅する制御変更工程と、
    を有することを特徴とする撮像装置の制御方法。

Images