JP4227213B2

JP4227213B2 - 撮像装置

Info

Publication number: JP4227213B2
Application number: JP09267198A
Authority: JP
Inventors: 裕人大川原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 2009-02-18
Anticipated expiration: 2018-03-20
Also published as: JPH11275443A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段で生成された撮像信号から該撮像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段を有し、撮像手段の揺動の大きさに応じて映像信号の生成に関する補正動作を行うビデオカメラなどの撮像装置に関する。
【０００２】
【従来の技術】
近年、光学レンズが捕らえた光学像をＣＣＤなどの撮像素子により電気信号に変換して撮像信号を生成する撮像系を有するビデオカメラなどにおいては、一般に、手ぶれ防止機能が搭載されている。この手ぶれ防止機能は、手ぶれによる映像の乱れを防止する機能であり、この機能を実現する方式としては、光学式手ぶれ補正方式と電子式手ぶれ補正方式とがある。
【０００３】
光学式手ぶれ補正方式では、撮像素子に入射される撮像光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じて光軸の変位を行うことによりぶれ補正を行う。この補正方式においては、手ぶれを検出する手段として振動ジャイロなどの角速度センサを用いてカメラに直接加わる揺れ成分の検出を行い、この検出された揺れ成分の積分によりカメラの角変位を検出する方法が採用されている。
【０００４】
これに対し、電子式手ぶれ補正方式は、フィールド間での映像信号の変化からカメラの動き量を算出し、この算出された動き量を手ぶれ量とする動きベクトル検出方式と併用される場合が多く、この場合には、動きベクトル検出用のフィールドメモリの蓄積画像における動きを除去するように対応する画像を該メモリから抽出することにより、補正が行われる。また、他の電子式手ぶれ補正方式として、センサを用いて手ぶれを検出し、この検出した手ぶれに応じて撮像素子で受光された画像の一部を切り出す位置を制御し、この位置での画像の切り出しを行うことにより手ぶれを補正するものがある。
【０００５】
電子式手ぶれ補正方式の場合、映像信号に対して信号処理による補正すなわち電気的な補正を行うから、補正周期はフィールド周期となり、露光時間中の手ぶれを除去することはできないが、光学方式手ぶれ補正方式により小型軽量化することができるというメリットがある。また、撮像素子に高密度の大型のものを用いて切り出しまたはメモリから抽出される撮影像の解像度を上げることにより、光学式手ぶれ補正方式に比して不利であった画質劣化という点も、改良がなされつつある。
【０００６】
ところで、ビデオカメラを意図的に動かすパンニング、チルティングなどのカメラワークを行いながら撮影を行う場合がある。これらのカメラワークでの撮影時には、手ぶれ補正に制限をかけて補正能力を低下させることにより、この制限された手ぶれ補正範囲の境界部分にカメラワークによる揺れがくることによって生じる撮影画像の乱れの防止、および撮影者の意図する方向への素早い応答を図る手法が本出願人により提案されている。
【０００７】
この本出願人により提案されている手法について図７ないし図１０を参照しながら説明する。図７は従来の撮像装置の構成を示すブロック図、図８は図７の撮像装置における防振制御システムの処理手順を示すフローチャート、図９は図７の撮像装置の防振制御システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図、図１０は図７の撮像装置のシフトレンズ７０４の最大シフト移動量と最大補正値との関係を表す図である。
【０００８】
この従来例として、焦点距離がいずれの焦点に設定されていも、また焦点距離により補正限界が変化するような場合であっても、制限量の特性設定を簡単に行うことが可能な光学式手ぶれ補正機能を有する撮像装置を例に説明する。
【０００９】
この撮像装置は、図７に示すように、インナーフォーカスタイプの構成を有するレンズ群を備え、該レンズ群は、固定レンズ７０１、ズームレンズ７０２、絞り７０３、光軸に対し垂直方向に移動可能なシフトレンズ７０４およびフォーカスレンズ７０５を有する。レンズ群が捕らえた光学像はＣＣＤ（電荷結合素子）などからなる撮像素子７０６の撮像面に結像され、撮像素子７０６は撮像面に結像された光学像を電気信号に変換して出力する。撮像素子７０６からの電気信号は増幅器７１８で増幅された後にカメラ信号処理回路７１９に入力され、カメラ信号処理回路７１９は入力された電気信号を所定規格（例えばＮＴＳＣ）の映像信号に変換して出力するとともに、映像信号の焦点状態を表す焦点信号を生成して後述する制御マイコン７１６に出力する。
【００１０】
レンズ群のズームレンズ７０２による変倍動作およびフォーカスレンズ７０５による焦点位置調整動作は、制御マイコン７１６により制御される。具体的には、ズームレンズ７０２による変倍動作に対する制御では、押し圧により抵抗値が可変する回転操作タイプのズームユニットスイッチ７１７が用いられ、ズームユニットスイッチ７１７からはその回転操作に応じてズームレンズ７０２の変倍率を指示する信号が制御マイコン７１６に出力される。制御マイコン７１６は、ズームユニットスイッチ７１７からの指示信号に基づき指示された変倍率が得られるようにモータ（Ｍｏ）７０７の駆動命令をモータドライバ７１２に出力する。この駆動命令を受けたモータドライバ７１２は、ズームレンズ７０２を指示された変倍率に応じた光軸方向への位置に移動するようにモータ７０７を駆動する。
【００１１】
フォーカスレンズ７０５による焦点位置調整動作に対する制御では、制御マイコン７１６がカメラ信号処理回路７１９からの焦点信号に基づき焦点状態を検出し、最適な焦点状態が得られるようにモータ（Ｍｏ）７０９の駆動命令をモータドライバ７１０に出力する。この駆動命令を受けたモータドライバ７１０は、フォーカスレンズ７０５を最適な焦点状態が得られる光軸方向への位置に移動するようにモータ７０９を駆動する。
【００１２】
この撮像装置には、シフトレンズ７０４を光軸と垂直方向へ駆動させることにより手ぶれ補正を行う防振制御システムが搭載されている。この防止制御システムでは、防振スイッチ７２０と、ピッチ角速度センサ７２１と、ヨウ角速度センサ７２２とが用いられている。防振スイッチ７２０は、この防止制御システムのオン、オフを指示するスイッチであり、オン動作が行われると、定電圧Ｖに接続されている抵抗７２０ａにより生じる電圧がオン信号として制御マイコン７１６に入力される。ピッチ角速度センサ７２１は、カメラ本体のピッチ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器７２３で増幅された後に制御マイコン７１６のＡ／Ｄコンバータに入力される。ヨウ角速度センサ７２２は、カメラ本体のヨウ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器７２４で増幅された後に制御マイコン７１６のＡ／Ｄコンバータに入力される。
【００１３】
制御マイコン７１６は、入力された各方向の角速度をそれぞれ積分して角変位に変換し、各方向への角変位すなわち各方向への揺れ角θと光学系（レンズ群）の焦点距離ｆとに応じて撮像素子７０６上の揺れる撮影像の移動分（ｆ＊tanθに相当する距離）をゆれる移動方向とは逆の方向に動かすように、シフトレンズ７０４を光軸に対して垂直方向に移動させることにより揺れ補正を行う。このシフトレンズ７０４を移動させる制御に際して、制御マイコン７１６は、シフトレンズ７０４の移動位置に対する補正量（シフト目標量）を算出して加算器７１５に出力する。
【００１４】
加算器７１５は、制御マイコン７１６からの補正量とともに、エンコーダ７１３からシフトレンズ７０４の位置信号（光軸と垂直な方向における移動位置を示す信号）を増幅器７１４を介して取り込み、補正量とシフトレンズ７０４の位置信号とを比較し、その差を零にするように駆動信号をモータドライバ７１２に出力する。モータドライバ７１２は、加算器７１５からの駆動信号に基づきモータ（Ｍｏ）７１１を駆動してシフトレンズ７０４の移動位置を制御する。このように、シフトレンズ７０４の位置はループ制御され、最終的に補正量で表される目標位置に一致される。
【００１５】
ここで、前記シフトレンズ７０４に対する補正量は光学系の焦点距離ｆとシフトレンズ７０４の最大補正限界（シフトレンズ７０４の最大シフト移動量）とで規格化されており、次の（１）、（２）式に基づき算出される。
【００１６】
ピッチ規格化補正量＝（ピッチ補正量／ピッチ最大シフト限界／２）
＊１００（％） …（１）
ヨウ規格化補正量＝（ヨウ補正量／ヨウ最大シフト限界／２）
＊１００（％） …（２）
この規格化補正量は、手ぶれ補正能力に制限を加えるための制限量の算出に用いられ、この制限量は所定の特性となるように決定される。よって、全ての焦点距離の変化に対応可能な防振制御システムが構築されていることになる。
【００１７】
次に、防振制御システムにおける制御マイコン７１６による補正量および制限量を算出する処理手順について図８を参照しながら具体的に説明する。この処理は定周期割込み処理であり、その割込みの起動要因を、例えば発振クロックを分周してアップまたはダウンカウント動作しているカウンタが１ｍｓｅｃに相当するカウント値を計数する毎に発生するように構成することができる。また、各角速度センサ７２１，７２２の出力は制御マイコン７１６のＡ／Ｄコンバータに取り込まれるが、本例では、簡単のため、Ａ／Ｄコンバータの動作モードがスキャンモードで、常時Ａ／Ｄ動作を繰り返しているものとする。
【００１８】
割込みの起動要因の発生により処理が開始されると、まず、ステップＳ８０１において、制御マイコン７１６のＡ／Ｄコンバータに取り込まれた各角速度センサ７２１，７２２の出力をそれぞれＡ／Ｄサンプリングして角速度信号に変換し、この角速度信号に対しカットオフ周波数が固定されているハイパスフィルタ処理を施す。このフィルタ処理により角速度信号からＤＣ成分が除去され、ＡＣ成分の角速度信号が得られる。
【００１９】
続くステップＳ８０２では、角速度信号に対して帯域制限処理を施す。このカットオフ周波数は後述する処理により設定される周波数であり、このカットオフ周波数を低域から高域まで変化させることにより所望の帯域制限を行うことが可能である。ここで、パンニングなどのカメラワークが行われている最中には、手ぶれ補正能力を低下させるために、カットオフ周波数を上げるように制御し、通常撮影時には、手ぶれ補正能力（手ぶれ除去能力）を高めるために、カットオフ周波数を下げるように制御する。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときに生じる画面に不自然さを防止するためにも、この帯域制限処理が有効に作用する。
【００２０】
次いで、ステップＳ８０３に進み、帯域制限された角速度信号に対して積分処理を施し、角変位を算出する。この算出された角変位がカメラ本体に加わる揺れ角θに相当する。続くステップＳ８０４では、上記ステップＳ８０３で算出された揺れ角θと光学系の焦点距離ｆとから、シフトレンズ７０４に対する補正量（シフト目標量）を算出する。ここで、補正量はｆ＊tanθで表される。そして、ステップＳ８０５に進み、算出した補正量をシフトレンズ７０４の最大補正限界（シフトレンズ７０４の最大シフト移動量）で規格化する処理を行う。この処理では、上記（１）、（２）式に基づき規格化補正量を算出する。
【００２１】
次いで、ステップＳ８０６に進み、算出された規格化補正量に基づき手ぶれ補正能力に制限を加えるための制限量を算出する。ここで、制限量は、上記ステップＳ８０２の帯域制限処理により制御されるカットオフ周波数に相当する物理量である。この制限量すなわちカットオフ周波数は、図9に示すように、規格化補正量の２乗の関数として一意に決定される。ここで、図９の横軸は規格化補正量であり、最大シフト限界の１／２までシフトして補正する場合に対する、現在の揺れの補正に必要な補正量の割合を示している。縦軸は制限量のパラメータである帯域制限のカットオフ周波数を示している。また、補正量に対して制限をかける度合いを閾値設定による設定ではなく関数的に設定することから、カットオフ周波数を制御してパンニング動作に対応する場合に、円滑な切替を行うことができる。本例では、最大カットオフ周波数を６Ｈｚとしているが、これは、主となる手ぶれの周波数成分が５Ｈｚ以下であることによるものである。さらに、カットオフ周波数は規格化補正量の２乗の関数として設定されているから、補正量が大きいほど急峻にカットオフ周波数を上げ、補正量が零近傍の値である場合には、カットオフ周波数をできる限り低くして手ぶれ補正能力を高めるように制御することが可能になる。なお、手ぶれ補正能力が高い範囲（補正量が零近傍の範囲）をできる限り拡大したいときには、補正量の２乗としていた次数をさらに増していけばよく、補正量がより大きくなったときにカットオフ周波数が急峻に立ち上がるように係数などを設定すればよい。
【００２２】
また、最大シフト限界について図１０を参照しながら説明する。ここで、本図（ａ）は焦点距離の変化に対し有効像円径が変化する様子、（ｂ）は焦点距離に対し最大補正範囲（最大シフト限界）が変化する様子をそれぞれ示している。図１０（ａ）の直線１００１は、ワイド側からテレ側までの焦点距離に対しシフトレンズ７０４のメカニカル的な最大移動距離を有効像円径に換算した点を表す直線であり、直線１００２は、ワイド側からテレ側までの焦点距離に対しシフトレンズ７０４がメカニカル的な最大移動距離までの距離を移動した際に撮影画面にけられがないことを示している。従って、直線１００２で示される有効像円径の変化に対してその最大補正範囲は、図１０（ｂ）の直線１００５で表され、一定になることが分かる。これに対し、図１０（ａ）の直線１００３は、焦点距離１００４よりテレ側の焦点距離に対し、直線１００１が示す有効像円径より大きな像円径が得られるが、焦点距離１００４よりワイド側の焦点距離に対しては、像円径が直線１００１が示す有効像円径より大きくならない状態を示している。この直線１００３で示される有効像円径の変化に対しては、図１０（ｂ）の直線１００６が表すように、最大補正範囲が焦点距離１００４よりワイド側では小さくなることが分かる。
【００２３】
一般には、図１０（ａ）の直線１００３で表されるような有効像円径の変化状態を示す光学系が設計され、レンズの小型化が図られる場合が多い。この場合、上述したように、図１０（ｂ）の直線１００６が表すように、最大補正範囲が焦点距離１００４よりワイド側で小さくなるように変化するが、補正量は最大補正範囲で規格化されるから、焦点距離毎に制限特性を変更しなくても（特性変更パラメタを多数持たくても）、補正範囲の端との衝突防止と円滑なパンニング動作への移行と解除とを実現することができる。
【００２４】
このように、カットオフ周波数（制限量）が算出されると、このカットオフ周波数は次回の帯域制限処理時に設定されることになる。ここで、算出されたカットオフ周波数が大きいときには、カットオフ周波数以下の手ぶれ周波数の揺れに対し、手ぶれ補正による効果が減少することになる。
【００２５】
次いで、ステップＳ８０７に進み、上記ステップＳ８０４で算出された補正量（シフト目標量）を加算器７１５に対して出力し、本処理を終了する。
【００２６】
【発明が解決しようとする課題】
しかし、上述の従来の撮像装置におけるパンニング制御動作では、最大補正範囲で規格化された補正量に応じて制御量を決定するから、電子ズームなどによる画面拡大時（例えばレンズの焦点距離がテレ端に設定されいてる状態で２倍の拡大を行うとき）には、以下のような問題が生じる。
【００２７】
電子ズームによる画面拡大時（例えばレンズの焦点距離がテレ端に設定されている状態で２倍の拡大を行うとき）には、焦点距離をテレ端に設定しているときと同じぶれ量に対して、画像の動き量が焦点距離をテレ端に設定している場合の２倍になる。一方、撮影者が意図的にパンニングする速度は、画面変化がどの画角でも一定とする傾向があり、２倍の電子ズーム時には、パンニング速度は焦点距離をテレ端に設定している場合に比してほぼ１／２となる。ここで、２倍の電子ズーム時においては最大補正量が焦点距離がテレ端に設定されている場合と同じであるから、パンニング時の制限量を図９に示す制限量特性に基づき算出すると、焦点距離がテレ端に設定されている場合より２倍速く見えるパンニング動作から制限がかかり始めることになり、最適なパンニング速度（焦点距離をテレ端に設定した場合よりゆっくりしたカメラ操作）に対しては、手ぶれ補正が強くかかり、円滑なパンニング動作、自然なカメラワークに支障をきたし、自然な撮影を行うことができないことがある。
【００２８】
また、画角が望遠側になるほど制限を小さな揺れ量からかけるようにする提案（特開平９−５１４６６号公報）がなされているが、望遠領域を閾値で分けており、電子ズーム動作のように画面が滑らかに拡大されていく場合には、制限を変更する領域の境界で、画面に乱れを生じる場合がある。また、同一領域内では同じように制限特性で制御することになるから、ある画角では最適化さているが、他の画角では、パンニング動作の自然さを欠くような場合がある。
【００２９】
本発明の目的は、あらゆるカメラワークで自然な撮影を行うことができる撮像装置を提供することにある。
【００３０】
【課題を解決するための手段】
本発明の撮像装置は、光学像を電気信号に変換して画像信号を生成する撮像手段と、前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、前記撮像手段の揺動の大きさを検出する検出手段と、前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、前記補正手段の前記補正動作に用いられる補正量を算出する補正量算出手段と、前記算出された補正量に応じて前記補正手段の前記補正動作に制限をかける制限手段と、前記補正量の変化に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする。
【００３３】
本発明の撮像装置は、光学像を電気信号に変換して画像信号を生成する撮像手段と、前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、前記撮像手段の揺動の大きさを検出する検出手段と、前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、前記補正手段の前記補正動作に用いられる補正量を、前記撮像手段の焦点距離と前記補正手段の最大補正範囲とで規格化しながら決定する補正量決定手段と、前記決定された補正量に応じて前記補正動作に制限をかける制限手段と、前記決定された補正量に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする。
【００３６】
【発明の実施の形態】
以下に本発明の実施の形態について図を参照しながら説明する。
【００３７】
図１は本発明の撮像装置の実施の一形態の構成を示すブロック図、図２は図１の撮像装置の撮像素子からの画像抽出状態を示す図である。
【００３８】
撮像装置は、図１に示すように、インナーフォーカスタイプの構成を有するレンズ群を備え、該レンズ群は、第１の固定レンズ１０１、ズームレンズ１０２、絞り１０３、第２の固定レンズ１０４およびフォーカスレンズ１０５を有する。レンズ群が捕らえた光学像はＣＣＤからなる撮像素子１０６の撮像面に結像され、撮像素子１０６は撮像面に結像された光学像を電気信号に変換して出力する。撮像素子１０６からの電気信号は増幅器１０７で増幅された後にカメラ信号処理回路１０８に入力され、カメラ信号処理回路１０８は入力された電気信号を所定規格（例えばＮＴＳＣ）の映像信号に変換して出力するとともに、映像信号の焦点状態を表す焦点信号（ＡＦ信号）を生成して後述する防振制御部１１５に出力する。
【００３９】
レンズ群のズームレンズ１０２による変倍動作およびフォーカスレンズ１０５による焦点位置調整動作は、防振制御部１１５により制御される。具体的には、ズームレンズ１０２による変倍動作に対する制御では、押し圧により抵抗値が可変する回転操作タイプのズームユニットスイッチ１１８が用いられ、ズームユニットスイッチ１１８からはその回転操作に応じて変倍率を指示する信号が防振制御部１１５に出力される。防振制御部１１５は、ズームユニットスイッチ１１８からの指示信号に基づき指示された変倍率が得られるようにモータ（Ｍｏ）１１９の駆動命令をモータドライバ１２０に出力する。この駆動命令を受けたモータドライバ１２０は、ズームレンズ１０２を指示された変倍率に応じた光軸方向への位置に移動するようにモータ１１９を駆動する。
【００４０】
また、電子ズーム機能が搭載され、ズームレンズ１０２がテレ端位置に到達して光学的に最大の変倍が行われた状態からは、電子ズーム機能によりさらに画面拡大を行うことが可能である。この電子ズーム機能による画面拡大において、垂直方向への拡大に関してはＣＣＤ駆動回路１１６が拡大率に合せて間引き処理を行い（例えば拡大率が２倍ならインターレーズ走査で電荷転送を１ライン毎に行う）、カメラ信号処理回路１０８で、電荷の存在したラインのみをラインメモリ１１３に書き込むことにより行われる。水平方向への拡大は、ラインメモリ１１３に格納された画像データの読出し周期を拡大率に合せて間引くことにより行われる（例えば拡大率が２倍の場合、１倍の場合の２倍のクロック周期で読出し画素の更新が行われる）。ラインメモリ１１３への画像データの書込み、読出し動作はメモリ制御回路１１４により制御され、メモリ制御回路１１４は、防振制御部１１５により制御される。
【００４１】
フォーカスレンズ１０５による焦点位置調整動作に対する制御では、防振制御部１１５がカメラ信号処理回路１０８からの焦点信号（ＡＦ信号）に基づき焦点状態を検出し、最適な焦点状態が得られるようにモータ（Ｍｏ）１２１の駆動命令をモータドライバ１２２に出力する。この駆動命令を受けたモータドライバ１２２は、フォーカスレンズ１０５を最適な焦点状態が得られる光軸方向への位置に移動するようにモータ１２１を駆動する。
【００４２】
本撮像装置には、電子式手ぶれ補正システムが塔載されている。この手ぶれ補正システムでは、防振スイッチ１１７と、ピッチ角速度センサ１０９と、ヨウ角速度センサ１１０とが用いられている。防振スイッチ１１７は、この手ぶれ補正システムのオン、オフを指示するスイッチであり、オン動作が行われると、定電圧Ｖに接続されている抵抗１１７ａにより生じる電圧がオン信号として防振制御部１１５に入力される。ピッチ角速度センサ１０９は、カメラ本体のピッチ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器１１１で増幅された後に防振制御部１１５のＡ／Ｄコンバータに入力される。ヨウ角速度センサ１１０は、カメラ本体のヨウ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器１１２で増幅された後に防振制御部１１５のＡ／Ｄコンバータに入力される。
【００４３】
防振制御部１１５は、入力された各方向の角速度をそれぞれ積分して角変位に変換し、各方向への角変位すなわち各方向への揺れ角θと光学系（レンズ群）の焦点距離ｆとに応じて撮像素子１０６上の揺れによる画素移動分（ｆ＊tanθに相当する距離）を揺れによる移動方向とは逆の方向に動かすことにより揺れ補正を行う。
【００４４】
この手ぶれ補正システムでは、揺れの大きさに応じて、撮像素子１０６の撮像画面上から抽出する画像領域を特定するための基準位置を変えることによって、揺れ補正が行われる。具体的には、図２（ａ）に示すように、撮像素子１０６上の全撮像画面領域２０１に対して領域２０２が抽出されるとすると、この領域２０２が図２（ｂ）に示すように全画面２０４として表示されまた記録処理される。この抽出される画面領域２０２の位置は、揺れに大きさに応じて変更され、その位置変更は、画面領域２０２の基準位置を成す点２０３の位置座標（Ｖ０，Ｈ０）を変更することにより行われる。この点２０３の位置変更範囲は、全撮像画面２０１と画面領域２０２との水平／垂直画素数差（以下、余剰画素という）で決定される。すなわち、点２０３は、手ぶれがない場合には予め設定された原点位置に保持され、この原点位置を基準にして点２０３の位置を手ぶれの大きさとその方向とに応じて変更することにより補正が行われることになる。
【００４５】
この画面領域２０２の抽出する方法としては、フィールドメモリを用いて全撮像画面２０２の画像を一旦記憶し、領域２０２の画像のみを読み出しながら全撮像画面２０１の大きさになるように拡大処理を行うことにより、全画面２０４を得る方法と、領域２０２が予め所定規格の映像信号に必要な走査線数を満足するような高密度、高画素タイプのＣＣＤを撮像素子として用いる方法とがある。
【００４６】
しかし、いずれの方法も高価なフィールドメモリやＣＣＤを必要とするから、本実施の形態では、汎用のＰＡＬ用ＣＣＤを、ＮＴＳＣ規格のカメラに用いる構成とする。ＰＡＬ用ＣＣＤは垂直方向の画素密度が高いから、垂直走査方向に関しては、タイミングジェネレータなどのＣＣＤ駆動回路１１６で、ＮＴＳＣ規格に対して余分になるライン数の範囲内で高速掃出しべきライン数を角変位に応じて変化させれば、垂直の切出し画像の位置を変化させることが可能になる。また、水平方向に関しては、ラインメモリ１１３とメモリ制御回路１１４とにより縦横比分だけ拡大処理を行いながらラインメモリ１１３への書込み開始画素位置と読出し開始画素位置との関係を変化させれば、水平方向の画面位置変更が可能になる。すなわち、本実施の形態では、垂直走査方向の画素移動は、防振制御部１１５によりＣＣＤ駆動回路１１６を制御して高速掃出し制御を行うことにより、所望の走査領域の抽出を行い、水平走査方向の画素移動は、ラインメモリ１１３とメモリ制御回路１１４とにより記憶された水平走査画素の読出し位置を揺れ補正画素移動量に応じて可変しながらかつその縦横比に見合うだけの拡大処理を行い、その信号をカメラ信号処理回路１０８に入力して色処理などの所定処理を施すことにより所定規格（ＮＴＳＣ）の映像信号に変換する。このような構成により、安価な電子式手ぶれ補正システムが提供されることになる。
【００４７】
次に、本実施の形態における防振制御部１１５による電子式手ぶれ補正システムに関する処理手順について図３ないし図６を参照しながら具体的に説明する。図３は図１の撮像装置の電子式手ぶれ補正システムにおける揺れ角算出処理を示すフローチャート、図４は図１の撮像装置の電子式手ぶれ補正システムにおける補正量算出および制限量算出の処理手順を示すフローチャート、図５は図１の撮像装置の電子式手ぶれ補正システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図、図６は図５のカットオフ周波数の特性を変更するための特性変更係数と電子ズームの拡大率との関係を示す図である。
【００４８】
まず、揺れ角算出処理について図３を参照しながら説明する。この処理は定周期割込み処理であり、本実施の形態では、フィールド周波数の１０倍すなわちＮＴＳＣ規格においては６００Ｈｚの周波数周期で実行される。この周波数は、角速度信号のサンプリング周波数、角変位の算出周波数に相当する。この処理に対する割込みの起動要因を、例えば発振クロックを分周してアップまたはダウンカウント動作しているカウンタが１ｍｓｅｃに相当するカウント値を計数する毎に発生するように構成することができる。また、各角速度センサ１０９，１１０の出力は防振制御部１１５のＡ／Ｄコンバータに取り込まれるが、本例では、簡単のため、Ａ／Ｄコンバータの動作モードがスキャンモードで、常時Ａ／Ｄ動作を繰り返しているものとする。
【００４９】
割込みの起動要因の発生により揺れ角算出処理が開始されると、図３に示すように、まず、ステップＳ３０１において、防振制御部１１５のＡ／Ｄコンバータに取り込まれた各角速度センサ１０９，１１０の出力をそれぞれＡ／Ｄサンプリングして角速度信号に変換し、この角速度信号に対しカットオフ周波数が固定されているハイパスフィルタ処理を施す。このフィルタ処理により角速度信号からＤＣ成分が除去され、ＡＣ成分の角速度信号が得られる。
【００５０】
続くステップＳ３０２では、角速度信号に対して帯域制限処理を施す。この帯域制限処理では、カットオフ周波数を可変設定することが可能であり、このカットオフ周波数を低域から高域まで変化させることにより所望の帯域制限を行うことが可能である。この設定されるカットオフ周波数は、後述の図４に示すフローで決定される周波数であり、パンニングなどのカメラワークが行われている最中には、手ぶれ補正能力を低下させるために、カットオフ周波数を上げるように制御が行われ、通常撮影時には、手ぶれ補正能力（手ぶれ除去能力）を高めるために、カットオフ周波数を下げるように制御が行われる。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときに生じる画面に不自然さを防止するためにも、この帯域制限処理が実行される。
【００５１】
そして、ステップＳ３０３に進み、帯域制限された角速度信号に対して積分処理を施し、角変位を算出する。この算出された角変位がカメラ本体に加わる揺れ角θに相当する。
【００５２】
次いで、ステップＳ３０４に進み、１フィールド間の揺れ角θの算出回数を表す回数パラメータｍを１インクリメントし、続くステップＳ３０５で、回数パラメータｍが１０に等しいか否かを判定し、回数パラメータｍが１０に等しくないときには、１フィールド間の揺れ角θの算出回数が１０回に達していないと判断して本処理を抜ける。これに対し、回数パラメータｍが１０に等しいときには、１フィールド間の揺れ角θの算出回数が１０回に達したと判断してステップＳ３０６に進み、回数パラメータｍを零に初期化して本処理を抜ける。
【００５３】
なお、上記ステップＳ３０１，Ｓ３０２，Ｓ３０３の一連の処理において、垂直方向の揺れ角の算出に関しては、ピッチ角速度センサ１０９の出力に基づき行われ、水平方向の揺れ角の算出に関しては、ヨウ角速度センサ１１０の出力に基づき行われる。
【００５４】
揺れ角算出処理が所定回数すなわち１０回実行されると、算出された揺れ角θに応じた補正量、および制限量の算出をするための処理が実行される。この処理は、揺れ角算出処理が１０回実行されて次のフィールドにおいて開始されるまでの間、すなわち現フィールドにおいて、揺れ角算出処理の終了後に実行されることになる。
【００５５】
本処理では、まずステップＳ４０１で上記回数パラメータｍが零になるまで待機し、回数パラメータｍが零になると、揺れ角算出処理が１０回実行されて終了したと判断してステップＳ４０２に進み、上記ステップＳ３０３で算出された各方向の揺れ角θと光学系の焦点距離ｆとから、補正量の算出を行う。ここで、補正量はｆ＊tanθで表される。
【００５６】
次いで、ステップＳ４０３に進み、切出し位置を示す目標位置座標（Ｖ０，Ｈ０）を算出する。この目標位置座標（Ｖ０，Ｈ０）は次の（３）、（４）式で求められるとともに、ぶれ補正により移動すべき画素数が得られる。
【００５７】
Ｖ０＝垂直の原点位置±ピッチ方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ピッチ補正量／垂直画素サイズ…（３）
Ｈ０＝水平の原点位置±ヨウ方向の揺れ角を補正する移動画素数
＝水平の原点位置±（−１）＊ヨウ補正量／水平画素サイズ…（４）
続くステップＳ４０４では、上記ステップＳ４０２で算出された補正量を最大補正範囲で規格化する処理を行う。この処理では、次の（５）、（６）式に基づき規格化補正量を算出する。
【００５８】
ピッチ規格化補正量＝（ピッチ補正量／垂直画素サイズ／垂直余剰画素数
／２）＊１００（％） …（５）
ヨウ規格化補正量＝（ヨウ補正量／水平画素サイズ／水平余剰画素数
／２）＊１００（％） …（６）
ここで、撮像素子１０６に５８２Ｖ＊７５２ＨのＣＣＤを用い、ＮＴＳＣ規格の垂直４８５ラインを切出すとすると、縦横比から水平方向の抽出画素は６２７Ｈとなる。従って、上記余剰画素数は９７Ｖ＊１２５Ｈとなり、手ぶれの方向に応じて補正方向が正負をとるので、余剰画素数の１／２で規格化が行われる。
【００５９】
次いで、ステップＳ４０５に進み、算出された規格化補正量に基づき手ぶれ補正能力に制限を加えるための制限量を算出する。ここで算出される制限量は、上記ステップＳ３０２の帯域制限処理により制御されるカットオフ周波数に相当する周波数である。この制限量すなわちカットオフ周波数は、図５に示すように、規格化補正量の２乗の関数として変化する特性を有する。ここで、図５の横軸は規格化補正量を示し、最大補正限界である余剰画素数の１／２すべてを使用して補正する場合を１００％としている。縦軸は制限量のパラメータである帯域制限のカットオフ周波数を示している。このカットオフ周波数は規格化補正量の２乗の関数として変化する特性を有するから、従来例と同様に、揺れ角が大きくなって補正端に衝突することにより撮影画像が乱れる現象を防止するためにも、補正比率が最大補正限界に近いほど、急峻にカットオフ周波数を高くすることが可能である。
【００６０】
本実施の形態では、電子ズームの倍率に応じて制限量の特性を変更するように設定されている。具体的には、電子ズームのオフすなわち電子ズームの倍率が１倍であるときには、図５に示すカットオフ周波数を表す特性曲線５０１を選択する。これに対し、電子ズームの倍率が２倍であるときには、図５に示すカットオフ周波数の特性曲線５０２を選択する。この特性曲線５０２は、｛２＊（規格化補正量）｝の２乗の関数で表わされ、規格化補正量で５０％でカットオフ周波数が最大になる特性を有する。このように、電子ズームの拡大率が１倍から順次大きくなるに従い、小さい規格化補正量でカットオフ周波数が高くなる特性を示す複数の特性曲線を電子ズームの拡大率に対応付けて準備し、電子ズームの拡大率に応じて対応する特性曲線を選択することにより、電子ズームの倍率に応じた制限量特性が変更されることになる。なお、本実施の形態では、複数の特性曲線を予めメモリに記憶して準備することに代えて、各特性曲線を定義可能な式を準備し、この式を用いてカットオフ周波数の特性を電子ズームの倍率に応じて変更するように設定されている。この各特性曲線を定義するための式は次の（７）式で表される。
【００６１】
変更特性量＝特性変更係数＊電子ズームＯＦＦ時の所定特性 …（７）
ただし、所定特性は（規格化補正量）ⁿ（ｎ＝１，２，３，…）の関数で表されるものとする。また、特性変更係数は、図６に示すように、電子ズームの拡大率に比例して線形的に変化する特性を有する係数である。この図６の例では、特性変更係数が電子ズームの拡大率に対して１：１の比の割合で比例するが、これに限定されるものではなく、実際には、所定倍の拡大画像の大きさ（光学ズームの倍率によって変わる）とパンニング時の画面移動速度とからより自然なカメラワークが可能なように特性変更係数を表す直線の傾きを決定することが望ましい。
【００６２】
このように、カットオフ周波数（制限量）が算出されると、このカットオフ周波数は次回の帯域制限処理時（上記ステップＳ３０２）に設定されることになる。ここで、算出されたカットオフ周波数が大きいときには、カットオフ周波数以下の手ぶれ周波数の揺れに対し、手ぶれ補正による効果が減少することになる。
【００６３】
次いで、ステップＳ４０６に進み、上記ステップＳ４０３で算出された目標位置座標（Ｖ０，Ｈ０）を切出し位置として指示する命令をＣＣＤ駆動回路１１６およびメモリ制御回路１１４に出力し、そして次のフィールドに備えるために、再度上記ステップＳ４０１に戻り、回数パラメータｍを監視する。
【００６４】
以上より、本実施の形態では、補正量に対する制限量すなわちカットオフ周波数を所定の特性に従いに変化するように設定し、かつその特性を電子ズーム機能の拡大率に応じて変更するから、補正量に対し制限をかける切替が、閾値比較による切替のようにオンオフ的に変化する不連続な切替にはならず、連続的に変化するような切替となる。また、電子ズームによる画面拡大時の、最適なパンニング速度（焦点距離をテレ端に設定した場合よりゆっくりしたカメラ操作）に対しても、最適な制限がかけられる。よって、円滑なパンニング動作、自然なカメラワークを行うことができ、あらゆるカメラワークで自然な撮影を行うことが可能になる。
【００６５】
なお、本実施の形態では、ＰＡＬ用ＣＣＤ１０６とラインメモリと１１３とを用いた構成を示したが、フィールドメモリを用いて抽出画像の位置を制御することにより補正することも可能であることはいうまでもない。また、拡大制御を行わずに済む大型または超高画素タイプのＣＣＤ、または光学式の補正手段を用いて補正を行うように構成することも可能である。
【００６６】
また、本実施の形態では、揺れ検出手段として角速度センサを用いているが、これに代えて加速度センサを用いて揺れを検出するように構成することもできる。この場合、防振制御部１１５または外部で余分に１回分の積分処理が必要である。
【００６７】
さらに、本実施の形態では、角速度センサの出力を用いて揺れ角を算出するための積分処理をソフトウェアにより実行しているが、積分器などのハードウェアを用いて構成することも可能である。
【００６８】
さらに、本実施の形態では、補正量に対する制限をカットオフ周波数の変更により行っているが、補正ゲインの変更によって制限を行うことも可能である。
【００６９】
さらに、本実施の形態では、電子ズームによる画像拡大が光学ズームがテレ端に到達した後に開始されるととして説明したが、光学ズーム倍率がいずれの倍率であっても電子的な画面拡大が行われると、同様に補正量に対する制限をかけるように動作するように設定することも可能である。特に、瞬時に所定倍率の電子ズームを作動させるいわゆるテレコンやインスタントズーム機能を有する場合には、有効に作用する。
【００７０】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、円滑なパンニング動作、自然なカメラワークを行うことができ、あらゆるカメラワークで自然な撮影を行うことができる。
【００７１】
また、特性変更手段で、電子拡大手段に設定された拡大率に応じて補正量の正の整数乗を変数とする関数で表される電子拡大手段オフ時の特性を線形的に変化させるから、電子拡大手段により滑らかに画面が拡大される場合であっても、円滑に特性を変更することができ、閾値を設定して制限量を切り替える制御において発生する閾値前後の境界切替の画面の乱れ、同一制限量で制御される領域内での画角差によるパンニング動作の円滑性の違いをなくすことができる。
【図面の簡単な説明】
【図１】本発明の撮像装置の実施の一形態の構成を示すブロック図である。
【図２】図１の撮像装置の撮像素子からの画像抽出状態を示す図である。
【図３】図１の撮像装置の電子式手ぶれ補正システムにおける揺れ角算出処理を示すフローチャートである。
【図４】図１の撮像装置の電子式手ぶれ補正システムにおける補正量算出および制限量算出の処理手順を示すフローチャートである。
【図５】図１の撮像装置の電子式手ぶれ補正システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図である。
【図６】図５のカットオフ周波数の特性を変更するための特性変更係数と電子ズームの拡大率との関係を示す図である。
【図７】従来の撮像装置の構成を示すブロック図である。
【図８】図７の撮像装置における防振制御システムの処理手順を示すフローチャートである。
【図９】図７の撮像装置の防振制御システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図である。
【図１０】図７の撮像装置のシフトレンズ７０４の最大シフト移動量と最大補正値との関係を表す図である。
【符号の説明】
１０２ズームレンズ
１０５フォーカスレンズ
１０６撮像素子
１０８カメラ信号処理回路
１０９ピッチ角速度センサ
１１０ヨウ角速度センサ
１１５防振制御部
１１７防振スイッチ

Claims

光学像を電気信号に変換して画像信号を生成する撮像手段と、
前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、
前記撮像手段の揺動の大きさを検出する検出手段と、
前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、
前記補正手段の前記補正動作に用いられる補正量を算出する補正量算出手段と、
前記算出された補正量に応じて前記補正手段の前記補正動作に制限をかける制限手段と、
前記補正量の変化に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、
前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする撮像装置。
光学像を電気信号に変換して画像信号を生成する撮像手段と、
前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、
前記撮像手段の揺動の大きさを検出する検出手段と、
前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、
前記補正手段の前記補正動作に用いられる補正量を、前記撮像手段の焦点距離と前記補正手段の最大補正範囲とで規格化しながら決定する補正量決定手段と、
前記決定された補正量に応じて前記補正動作に制限をかける制限手段と、
前記決定された補正量に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、
前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする撮像装置。