JP4919637B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、シャッタ速度制御が可能な撮像装置に関する。

「通常、ＣＣＤを用いたビデオカメラでは、被写体光がＣＣＤに入射すると、その部分
の光の強さに応じた光電荷がフォトダイオードに発生し、これは１フィールド期間（1/60
秒間）蓄積された後、垂直転送用ＣＣＤと水平転送用ＣＣＤとを通って、次のフィールド
で信号出力として出力されるようになっている。すなわち、1/60秒でシャッタを切ったの
と等価となっている。ところで、暗い場所での撮影等においては、１フィールド期間毎に
映像信号を送出すると、十分な信号レベルが得られないので、垂直転送ゲートパルスの送
出を数フィールド期間停止して数フィールド周期のパルスとすることにより信号レベルを
増加させる、いわゆるスローシャッタ装置を搭載したビデオカメラが提供されている。」
との開示が、特許文献１にはある。
また、「［課題］像振れ補正機能の動作中に、シャッター速度を下げ、撮影感度を下げると撮像素子からの信号が飽和してしまう場合がある。［解決手段］撮影光学系により形成された被写体像を光電変換する撮像素子１２と、撮影光学系の一部を駆動して振れに起因する像振れを補正する振れ補正手段２６，３１，３２の作動時と非作動時とで、撮像素子の感度と露光時間とを変更する制御手段７とを有する。また、振れ補正手段の作動時であり、かつ測光手段６により得られた主被写体の輝度と主被写体以外の明部の輝度との差が所定値以下であるときに撮像素子の感度と露光時間とを変更する。」との開示が、特許文献２にはある。

特開平３−１７５８８５号公報 特開２００４−１２００１４号公報

特許文献１に開示あるように、撮像装置の一つであるビデオカメラにおいて撮影に用いた被写体より標準テレビジョン信号を形成する際、ビデオカメラに内蔵された撮像素子の露光時間は、標準テレビジョン信号の垂直同期信号の周期、１フィールド分の時間とほぼ同じになるように設定されている。しかしながら、適切な露光調整をする為に、露光時間を１フィールド期間よりも長くしたい場合や、また、その逆に露光時間を１フィールド期間よりも短くしたい場合がある。

このような要求を満足させるために、ＣＣＤ（Charge Coupled Device）等の撮像素子には入射する光を最適の光量にするために、電子シャッタ技術が利用されている。電子シャッタは、撮像素子からの光量に応じ電荷の引き出しのタイミングを電気的に制御することにより、リセット時から電荷引き出しまでの時間を制御して、最適光量に制御する技術である。リセット時から電荷引き出しまでの時間が電子シャッタ速度に対応する。現在では撮像素子の露光時間を１フィールド期間より長くする、特許文献１に記載のスローシャッタという技術や、撮像素子の露光期間中に光電交換を行うセンサ部の電荷を一定期間捨てることによって、撮像素子の露光時間を１フィールド期間よりも短くする、いわゆる、高速電子シャッタと呼ばれるものがある。近年では、カメラの小型化に伴いＣＣＤも小さくなり、１画素当たりのフォトダイオードの受光面積が低下し感度が悪くなってきていることから、光量不足となりがちであり、この対応策として低速シャッタを用いざるを得なくなってきている。

上記の電子シャッタ速度の制御は、撮像素子が受光した光量レベルを検出し、その光量レベルに応じて、次のフィールドでの電荷引き出しのタイミングを変化させることで行われる。

撮像素子の受光した光量が変化した場合、適正なシャッタ速度に移行するためには、１フィールド単位で適正なシャッタ速度の方向の隣接するシャッタ速度に順次変更することにより行われる。即ち、受光した光量が、適正光量範囲より大きい方にずれたことが検出されると、次のフィールドのシャッタ速度は１段速い速度に変更され、次のフィールドでの光量を監視する。更にその光量が適正光量範囲より大きい方にずれている場合は、更にもう一段速い速度に変更される。以上の様に、順次フィールド毎に１段づつシャッタ速度を変化させることで、やがて適正なシャッタ速度に変更された時点で受光光量が最適光量範囲になり、適正なシャッタ速度になったことが確認される。受光光量が適正光量範囲から小さい方にずれたことが検出された場合は、シャッタ速度は１段遅い速度に変更され適正な露光量に制御される。

シャッタ速度を上記のように制御するビデオカメラにおいては、パンニング（左右方向への画角移動操作）、チルティング（上下方向への画角移動操作）による被写体の変化により生じる被写体照度の変化に応じてシャッタ速度が変化してしまい、仮にパンニング中に1フィールドより短い期間での通常シャッタ（１／６０秒）以上から１フィールドより長い期間での低速シャッタに、或いは、低速シャッタから通常シャッタ（１／６０秒）以上に移行した場合はカクカクした映像とスムーズな映像が入れ替わり見苦しいという問題がある。該問題の要因は、パンニング、チルティングに伴う被写体のカメラに対する相対速度が影響しており、各被写体の被写体照度により低速シャッタに入った場合は、フレームレートが低下しカクカクした映像（駒落ち）にあるが、高速シャッタに入った場合は、上記問題はないのでスムーズな映像となる。従って、シャッタ速度を被写体照度により自動で制御するカメラにおいては、パンニングして撮影を行うとスムーズな映像とカクカクした映像を繰り返す可能性があり、見苦しい映像になる可能性が有る。以上の問題は、パンニング、チルティングが小さいときは、カメラに対する被写体の相対速度は比較的小さい為、高速シャッタと低速シャッタのフレームレートのギャップはそれほど目立ちにくいのだが、パンニング、チルティングが大きくなるほど顕著になる。

上記特許文献１の低速シャッタ技術には、前記問題についての対策が記載されていない。

本発明は、以上のような問題点を考慮し、パンニング、チルティングなどの画像内における被写体の移動割合が大きい場合にシャッタ速度を制御することにより生じる、スムーズな映像とカクカクした映像が混ざるのを阻止することで、良好な画質を撮像できる撮像装置及び撮像方法を提供することである。

前記目的を解決するために本発明では、画像全体における被写体の移動割合が所定値より小さい場合、前記被写体の照度に応じてシャッタ速度を切り替えて撮影を行い、画像全体における被写体の移動割合が所定値以上の場合、前記被写体の照度に関わらずシャッタ速度を切り替えないで撮影を行う。

本発明により、画質の向上した撮像装置及び撮像方法を提供できる。

以下、本発明の実施の形態について図を用いて説明する。なお、チルティングした場合については特に記載はしないが、パンニングと同様である。

図1は、本発明を撮像装置の一つであるビデオカメラに適用した場合のブロック図である。ビデオカメラは、レンズ１０１、シャッタ速度切換え可能な撮像素子１０２、ＡＧＣ(Automatic Gain Control)回路１０３、Ａ／Ｄ(Analog to Digital)変換回路１０４、信号処理回路１０５、エンコーダ・デコーダ１０６、記録媒体１０７、角速度センサ１０８、パンニング判定部１０９、シャッタ速度制御部１１０を有する。

図２は図１のパンニング判定部１０９を詳細に説明したブロック図である。パンニング判定部１０９は、パンニング角度算出部２０１、パンニング速さ判定部２０２、パンニング大きさ判定部２０３を有する。

図３はパンニング中にシャッタ速度が変化した場合と、変化しない場合の映像の見え方を説明した図面である。人物１と人物２が動作１から動作４までの動作を繰り返し行っているときに、ビデオカメラ３０１でパンニングにより撮影を行っている。人物１は日が当たる場所におり、被写体照度が高く、人物２はビルの日陰におり、被写体照度が低い。通常の撮影では、シャッタ速度は被写体照度に応じて自動的に切り替わるので、例えば図３(a)の右下のように、人物１はシャッタ速度が１／６０で撮影され、人物２はシャッタ速度が１／３０で撮影される場合がある。

パンニングにより、人物１から人物２までを通して撮影すると、パンニング速度が速い場合は、図３（ｂ）のように撮影される。即ち被写体が人物１から人物２へ切り替わると、シャッタ速度が切り替わるため、人物２を撮影したコマ数が人物１に比べ相対的に少なくなり、人物２を撮影した映像がカクカクした映像となってしまい、人物１から人物２へ切り替わる際にスムーズな映像からカクカクした映像に切り替わってしまい、映像全体として見苦しくなってしまう。そこで、本実施例では、図３（ｃ）のように被写体照度が低い人物２を撮影する場合でも、パンニング速度が速いときにはシャッタ速度を切り替えないようにして上記見苦しさを生じないようにしている。

また、図３（ｃ）では、被写体照度が高いものから低いものへ切り替わる例で説明したが、これに限られず、被写体照度が低いものから高いものへ切り替わる例にも適用できる。この場合、映像全体がカクカクした映像となるが、カクカクした映像とスムーズな映像が混ざっている場合よりも、見苦しくないため、画質が向上したものとなる。

一方、パンニング速度が遅い場合は、人物１、人物２でフレームレートの相違が生じるが、パンニングが速い場合に比べて、被写体の相対速度が小さいため、スムーズな映像とカクカクした映像の境界が目立たないので、シャッタ速度を固定せず、撮像素子への露光量に応じてフレキシブルにシャッタ速度を変化させるのが望ましい。

図１の実施例は、上記のことを考慮したものであり、以下に説明する。
図１において、カメラレンズ１０１はフォーカスレンズやズームレンズからなるものである。撮像素子１０２は、カメラレンズ１０１によって撮像面に結像された被写体像を電気信号に光電変換することにより、この被写体像に応じてアナログ撮像信号１１１を生成して出力する。このアナログ撮像信号１１１は、ＡＧＣ回路１０３で所定の信号レベルに増幅された後、Ａ／Ｄ変換回路１０４でデジタル信号に変換されて信号処理回路１０５に供給される。信号処理部１０５において、輝度信号、色信号を生成しガンマ補正などの各種の信号処理を行い映像信号１１２としてエンコーダに出力される。エンコーダ１０６は信号処理回路１０５から出力されたデジタル輝度信号とデジタル色信号とからＮＴＳＣ方式、ＰＡＬ方式などに応じたデジタルテレビジョン信号を生成する。Ｄ／Ａ変換回路１０７はこのデジタルテレビジョン信号をアナログ形態の標準テレビジョン信号に変換する。

本実施例では、パンニング検出には角速度センサ１０８を用い、該センサよりパンニングの大きさに応じた角速度信号１１３として検出する。角速度信号１１３はアナログデータで得られ、角速度センサ内蔵のＡ／Ｄコンバータにより、例えば８ビットのデジタルデータに変換され、パンニング判定部１０９に入力される。

パンニング判定部１０９では、図２に示したように、まずパンニング角度算出部２０１において、角速度センサからの角速度信号１１３よりパンニング角度を算出する。パンニング速さ判定部２０２は、パンニング角度２０４とレンズ１０１のズーム倍率１１７からパンニングの速さを判断し、パンニング速さ信号２０５をパンニング大きさ判定部２０３に出力する。パンニングの大きさ判定部２０３は、パンニング判定信号２０５よりパンニングが速いと判断された場合はその持続時間を観測し、その継続時間からパンニングの大きさを判断し、パンニング判定信号１１４をシャッタ速度制御部に出力する。シャッタ速度制御部１１０では、光量１１５、パンニング判定信号１１４を監視して、シャッタ速度を切り替える。

次に、カメラ起動中のシャッタ速度の制御について図４〜図６を参照して説明をする。図４は、カメラの振れを検出する角速度センサの出力特性（電圧値）を示す図、図５は撮影時カメラに振れが生じた場合に発生する被写体像の電気信号の変化を現した図、図６は撮影時のシャッタ速度制御を説明するためのフローチャートである。

図４はカメラの振れを検出する角速度センサの出力特性を示す図であり、角速度センサの角速度信号１１３（電圧値）の時間変化を現している。通常角速度センサは、カメラが静止した状態では所定のオフセットされた出力値を持ち、実線４１のような一定値Ａとなる。そしてカメラに振れが生じ該センサに正方向、逆方向の加速度が加わったとき、点線４２のようにその中心値から離れていくように変化する。従って、撮影時のパンニングの大きさおよび速さは、該センサの角速度信号１１３を監視することで容易に判断できる。パンニング判定部１０９では、以上の特性にあらかじめ所定の閾値を設定しパンニング速さ及び大きさを判断している。パンニングの速さは、角速度センサの出力（縦軸）より判断し、閾値は同図のパンニング速さ閾値δＸのように所定の値に定めればよい。パンニングの大きさは、角速度センサの出力がパンニングの速さ閾値δＸを越えている時間で判断し、該時間が所定のパンニングの大きさ閾値δｔより連続的に長く継続されるようであればパンニングが大きいと判断される。

パンニング判定部１０９において、角速度センサ１０８で検出された角速度信号１１３が閾値以上或いは以下を判断するために、角速度信号１１３をパンニング角度算出部２０１でパンニング角度に換算し、パンニング速さ及び大きさ判定部２０２で、この算出角度とズーム倍率１１２用いて撮像信号変化量を求める。撮像信号変化量とは、入力された角速度信号１１３によって如何ほど撮像信号が変化するのかを表す量であり、角速度信号１１３の速さの閾値は該変化量をどこまで許可するかによって決定される。この閾値の設定方法の具体例を、図５を参照して説明する
図５は、パンニング中のレンズ５０１から撮像素子５０２に取りこまれる被写体像の電
気信号の変化を現したものである。５０１はズームレンズ、５０２は撮像素子（ＣＣＤ）
、５０３は焦点距離ｆ、５０４はパンニング角度量θ、５０５は撮像信号変化量Ｘである。まずパンニング角度量θは図５から一目瞭然であり、焦点距離（画角）ｆ、撮像信号変化量Ｘを用いて以下の関係が成り立つ。

式（１）から、各撮像信号変化量におけるパンニング角度を知ることは容易であるが、各
速度センサの角速度信号１１３もθが分かれば、以下の式を使うことで求められる。

以上の式から、例えば撮像信号量が１０％変化した場合の角速度信号（電圧）は、ＣＣＤサイズ１／４．５インチ、画素数１３３万画素（画素ピッチサイズ＝２．５×２．５μｍ）、ｆ値４．５〜４５ｍｍの×１０倍レンズ、角速度センサの感度２０ｍＶ／ｄｅｇ／ｓ、Ａ／Ｄのサンプリング時間が１／６０秒の場合、ズーム倍率１倍時（ｆ＝４．５ｍｍ）は角速度信号（電圧値）＝３７２ｍVとなる。したがって、映像変化量が１０％変化した場合をパンニング、速い、遅いの境界として定めるであれば、振れ信号１１３の閾値は±３７２ｍＶとなり、これ以上の角速度信号１１３がパンニング判定部１０９に入力された場合は、パンニングが速いと判断される。

次にパンニングの大きさ判定について説明する。パンニングの大きさ判定部２０４では図４に示すようなパンニング時間閾値δｔを設け、角速度センサ１０８からの角速度信号１１３が閾値を超えている時間でパンニングの大小を判断する。このとき、所定の時間（たとえば一秒）よりも長く継続されるようであればパンニングは大きいと判断し、パンニング判定信号１１４をシャッタ速度制御部１１０に出力する。

次に、撮影時のシャッタ速度制御を図６に示すフローチャートを参照して説明する。ここではビデオカメラの本体電源が投入されると、シャッタ速度は撮影時の露光量に応じて自動で制御するモードとなっているとする。

まず、パンニング判定部１０９のパンニング速さ判定部２０２において角速度センサ１０８からの角速度信号１１３を監視しパンニングの速さを判定する（ステップ６１）。このとき角速度信号１１３が所定の閾値（図４のパンニングの速さ閾値δＸ）よりも小さい場合は、パンニングは小さいと判断しシャッタ速度制御のモードは変化させずに、シャッタ速度制御部１１０は光量に応じてフレキシブルにシャッタ速度を制御する（ステップ６５）。一方、角速度信号１１３が所定の大きさよりも大きい場合はパンニングが速いと判断し、パンニングの大きさ判定（ステップ６２）に進む。パンニングの大きさ判定は、速いパンニングが継続される時間で判断し、所定の時間より短い場合はシャッタ速度の制御のモードは変化させず、光量に応じてシャッタ速度を制御する（ステップ６５）。一方、所定の時間（図５のパンニングの大きさ閾値δｔ）より大きければパンニングは大きいと判断し、パンニング判定信号１１４をシャッタ速度制御部１１０に出力する（ステップ６３に進む）。シャッタ速度制御部１１０では、パンニング判定部１０９からパンニング判定信号１１４がある場合（パンニングの大きさ及び速さが所定の値より大きい場合）は、シャッタ速度を固定する（ステップ６４）。

以上に示す動作により、図１に示すビデオカメラ撮像装置は、カメラのパンニングの大きさ及び速さに応じてシャッタ速度を制御することが可能となり、シャッタ速度が変化するカメラに比べ良好な映像を得ることが出来る。

なお、この実施例では、パンニングの大きさも監視して、シャッタ速度制御に用いているので、パンニングの大きさをも監視していない場合に比べて、シャッタ速度を固定にするか否かが頻繁に切り替わりにくく、制御に負担とならない。しかしながら、パンニングの大きさを監視することなく、シャッタ速度制御を行っても良いことは言うまでもない。この場合、シャッタ速度制御のパラメータを減らすことができる。

なお、実施例１においては、振れ検出手段に角速度センサを用いる場合について述べたが、本発明はこれに限らず、動きベクトルの検出方法を用いて測定する場合、加速度計を用いて検出する場合など、多くの振れ検出手段を広く適用することができる。

以下、動きベクトルの検出方法を用いた実施例を図７及び図８を用いて説明する。
図７はパンニングを動きベクトルから検出するためのブロック図である。図１の、角速度センサ１０８の換わりに信号処理部にフレームメモリを備え、パンニングの検出手段を変更しただけであり、以後の動作に変化はない。信号処理部では、処理した映像信号をメモリに蓄え、先に蓄えられた映像を参照映像として次に入力される映像と比較し動き量を求め、動きベクトル信号を生成する。具体的には、先の映像のある被写体の一部の輝度情報をメモリに蓄えておき、次に入ってきた映像では同じ輝度情報がどこにいったか検出することで動きベクトルを算出する。パンニング判定部７１０では、信号処理部からの動きベクトル信号に閾値を設けることでパンニング速度の速い、遅いを判断しており、閾値よりも大きい場合はパンニング判定信号をシャッタ速度制御部に出力する。具体的には、図８に示すように被写体がX1からX2へ動いた場合、X１からX２への動きベクトルの大きさが閾値以上であるか、閾値より小さいかにより、パンニング速度の速い、遅いを判断している。

これまでの実施例では、パンニング速度の速い、遅いで、シャッタ速度を固定にするか否かを決めていた。しかしながら、撮影した映像がカクカクになるかどうかは、撮影された画像内における被写体の移動割合によって決まるので、画像内における被写体の移動割合に応じてシャッタ速度を固定にするか否かを決めても良いことは言うまでもない。すなわち、画像内における被写体の移動割合を検出する被写体移動検出部により、検出された結果（被写体の移動割合が所定の閾値以上であるか、所定の閾値より小さいか）に応じて、シャッタ速度を固定にするか否かを決定していも良い。また、画像の大きさが分かっている場合、被写体の移動量を検出すれば、画像内における被写体の移動割合をいちいち検出しなくても同様の効果を得ることができる。よって、被写体移動量検出部により、検出された結果（被写体の移動量が所定の閾値以上であるか、所定の閾値より小さいか）に応じて、シャッタ速度を固定にするか否かを決定しても良い。

以上の実施例により、パンニング、チルティングの動作の速さにより、シャッタ速度を制御することにより、スムーズ映像とカクカクした映像が混ざるのを阻止することで、良好な画質を提供することが可能となる。また、速いパンニングを行ったときに、シャッタ速度が固定されるので、速いパンニングを行っていないときには、被写体照度に応じたシャッタ速度とされているので、露光不足やオーバーになったりすることが少ない。

実施例１を実現するビデオカメラのブロック図である。 図１のパンニング判定部１０９を詳細に説明したブロック図である。 パンニング中にシャッタ速度が変化した場合と変化しない場合の映像の見え方を示した概略図である。 角速度センサの特性および閾値定め方を示した図である。 パンニング時にレンズから撮像素子へ取り込まれる撮像信号の変化を示したものである。 シャッタ速度制御の一連の流れを示した、フローチャートである。 実施例２を実現するビデオカメラのブロック図である。 メモリによる動きベクトル検出方法を示した図である。

符号の説明

１０９・７１０・・・パンニング判定部、１１０・７１１・・・シャッタ速度制御部、１０２・７０２・・・撮像素子、１０８・・・角速度センサ、７０９・・・メモリ

Claims (5)

1. 画像内において被写体が移動した量の画像全体に対する割合である移動割合が、所定期間、所定値より小さい場合、前記被写体の照度に応じてシャッタ速度を自動的に切り替えて動画の撮影を行い、
   画像全体における所定期間の被写体の移動割合が所定値以上の場合、前記被写体の照度に関わらず、当該所定期間における動画に含まれる各フレームにおけるシャッタ速度を切り替えないで動画の撮影を行うこと
   を特徴とする撮像方法。
2. 被写体を撮像する撮像素子と、
   前記撮像素子より出力された信号より画像を作成する信号処理部と、
   撮像装置の角速度を検出する角速度センサと、を備え、
   動画の撮影において、前記角速度センサで検出された移動量が所定値より小さい場合、前記被写体の照度に応じて前記撮像素子のシャッタ速度を切り替え、前記角速度センサで検出された移動量が所定値以上の場合、前記被写体の照度に関わらず、動画に含まれる各フレームにおける前記撮像素子のシャッタ速度を切り替えないことを特徴とする撮像装置。
3. 被写体を撮像する撮像素子と、
   前記撮像素子より出力された信号より画像を作成する信号処理部と、
   前記被写体画像の移動量を検出する移動量検出部と、を備え、
   動画の撮影において、前記移動量検出部で検出された移動量が所定値より小さい場合、前記被写体の照度に応じて前記撮像素子のシャッタ速度を切り替え、前記移動量検出部で検出された移動量が所定値以上の場合、前記被写体の照度に関わらず、動画に含まれる各フレームにおける前記撮像素子のシャッタ速度を切り替えないことを特徴とする撮像装置。
4. 請求項２又は３に記載の撮像装置であって、
   前記検出された移動量が所定値以上の期間が所定値以上続いたときに、前記被写体の照度に関わらず前記撮像素子のシャッタ速度を切り替えないことを特徴とする撮像装置。
5. 請求項２乃至４のいずれかに記載の撮像装置であって、
   該撮像装置は、動画像を撮像することを特徴とする撮像装置。

Images