JP5961058B2 - 撮像装置及びその制御方法、画像処理装置及びその制御方法 - Google Patents

Description

本発明は、絞り駆動中の撮像信号のシェーディング補正方法に関するものである。

現在、ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置において、静止画撮影前のプレビュー画像を撮像装置の背面などに設置されたＴＦＴモニタ等に表示するライブビュー機能を備えたり、動画記録撮影が可能な撮像装置が多く製品化されている。また、これらの撮像装置においては、適切な明るさになるように蓄積時間（シャッター速度）、絞り、ゲイン等を自動的に調節するＡＥ機能（自動露出制御機能）を有するものが一般的である。

動画記録撮影においては、動画フレーム間の被写体像が滑らかに変化することが望まれるため、蓄積時間は、フレームレートによる制限範囲内で十分に長い時間に固定されることが求められる。また、動画フレーム間の露出変化においても滑らかに変化することが望ましく、蓄積時間、絞り、ゲイン等の露出制御パラメータは、ＡＥ制御により、フレーム間での露出変化量が小さくなるように適宜調節される。

また、一般的なＣＭＯＳセンサにおいては、画素毎にメモリを持たず、行毎に読み出し処理が行われる。そのため、ライブビューや動画記録撮影の際には、画面内で各画素の蓄積時間が一定となるように、行毎に順次リセット動作と読み出し動作が制御される、いわゆるローリングシャッター方式が知られている。

しかしながら、ローリングシャッター方式により蓄積制御を行う撮像装置において、絞りを低速駆動させてフレーム間の露出変化量を調節すると、行毎の蓄積タイミングのズレにより、１フレーム内において異なる絞り位置が設定される。このような場合、均一被写体面においても露光量差（露光ムラ）が発生してしまう。

また、このフレーム内の露出量差は、動画再生時には人間の目が露出変化に対して鈍感であるために気にならない程度であっても、動画フレームから１フレームを切り出して静止画として利用する際にはより顕著な問題となる。

上記欠点を解消するために、特許文献１においては、絞り駆動を行った前（後）の動画フレームとの差分を検出することにより、露光量差をゲイン補正する方法が開示されている。

特開２０１０−０７４３１３号公報

しかしながら、特許文献１において、絞りが動作したフレームの前（後）フレームを使用して露光量差を補正するため、絞りが複数フレームに跨って連続的に変化した場合や点滅光源などの被写体を撮影した場合、正確な露光量差を求めることができない。このような場合、精度よく補正を行うことができないという問題が発生していた。

本発明は上記問題点を鑑みてなされたものであり、動画記録撮影時にローリングシャッター方式で撮像素子を駆動する撮像装置において、１フレーム内で絞りを連続して動作させた場合に、フレーム内の露出量差を正しく補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正する補正手段とを有する。

本発明によれば、動画記録撮影時にローリングシャッター方式で撮像素子を駆動する撮像装置において、１フレーム内で絞りを連続して動作させた場合にも、フレーム内の露出量差を正しく補正することができる。

本発明の実施の形態におけるデジタルカメラシステムの構成を示す図。 実施の形態における固体撮像素子のブロック図。 実施の形態における全画素読み出しの説明図。 実施の形態における間引き読み出しの説明図。 第１の実施形態における動作を説明するフローチャート。 従来の絞りを用いた場合の動画の露出制御を説明するプログラム線図。 動画撮影動作を説明するタイミングチャート。 第１の実施形態における絞りを用いた場合の動画の露出制御を説明するプログラム線図。 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。 第２の実施形態における動画の記録動作を説明するフローチャート。 第２の実施形態における再生動作を説明するフローチャート。 第２の実施形態における絞り駆動情報の一例を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における一眼レフタイプデジタルカメラシステムの構成を示すブロック図である。図１に示すように、本実施形態のデジタルカメラのカメラ本体１００には、撮影レンズユニット２００が不図示のマウント機構を介し着脱可能に取り付けられる。マウント部は電気的接点群２１０を有している。接点群２１０はカメラ本体１００と撮影レンズユニット２００との間で制御信号、状態信号、データ信号などを伝え合う。また更に、接点群２１０は各種電圧の電流を供給する機能と、撮影レンズユニット２００が接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりカメラ本体１００と撮影レンズユニット２００との間で通信を行い、撮影レンズユニット２００内の撮影レンズ２０１、絞り２０２の駆動を行うことが可能となる。また、接点群２１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

なお、図１では、本実施の形態では撮影レンズユニット２００内のレンズを便宜上１枚の撮影レンズ２０１で示しているが、実際は多数のレンズから構成されていることは周知の通りである。

不図示の被写体像からの光束が、撮影レンズ２０１及び絞り２０２を介して、図１に示す矢印方向に駆動可能なクイックリターンミラー１０２に導かれる。クイックリターンミラー１０２の中央部はハーフミラーになっており、クイックリターンミラー１０２がダウンした際に一部の光束が透過する。そして、この透過した光束は、クイックリターンミラー１０２の後方に設置されたサブミラー１０３で下方に向けて反射される。なお、クイックリターンミラー１０２のアップ時には、サブミラー１０３は折り畳まれるようになっている。

１０４は、不図示の結像面近傍に配置された、フィールドレンズ、反射ミラー、２次結像レンズ、絞り、及び、複数のＣＣＤから成るラインセンサ等から構成されている周知の位相差方式のＡＦセンサユニットである。そして、システムコントローラ１２０からの制御信号から、焦点検出回路１０５はＡＦセンサユニット１０４を制御して、周知の位相差検出方式により焦点検出を行う。

一方、クイックリターンミラー１０２で反射された撮影光束は、ペンタプリズム１０１、接眼レンズ１０６を介して撮影者の目に至る。また、接眼レンズ１０６の近傍に不図示の測光センサが配設され、被写体の輝度を測定し、その出力は測光回路１０７を経てシステムコントローラ１２０へ供給される。

また、クイックリターンミラー１０２がアップした際には、撮影レンズ２０１からの光束は、機械シャッタであるフォーカルプレーンシャッタ１０８、フィルタ１０９を介してＣＭＯＳセンサ等の撮像素子等により構成されるイメージセンサ１１２に入射する。フィルタ１０９は２つの機能を有している。１つは赤外線をカットし、可視光線のみをイメージセンサ１１２へ導く機能であり、もう１つは光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ１０８は、先幕及び後幕を有して成るもので、撮影レンズ２０１からの光束の透過、遮断を制御する。

また、本実施形態のデジタルカメラは、デジタルカメラシステム全体の制御を司るＣＰＵにより構成されるシステムコントローラ１２０を備え、後述する各部の動作を適宜制御する。なお、システムコントローラ１２０は、補正手段に相当する。

システムコントローラ１２０には、撮影レンズ２０１を光軸方向に移動してピント合わせを行うためのレンズ駆動機構２０３を制御するレンズ制御回路２０４がレンズ制御マイコン２０７を介して接続されている。更にシステムコントローラ１２０には、絞り２０２を駆動するための絞り駆動機構２０５を制御する絞り制御回路２１６がレンズ制御マイコン２０７を介して接続されている。また、システムコントローラ１２０には、クイックリターンミラー１０２のアップ・ダウンの駆動及びフォーカルプレーンシャッタ１０８のシャッタチャージを制御するシャッタチャージ・ミラー駆動機構１１０が接続されている。また、システムコントローラ１２０には、フォーカルプレーンシャッタ１０８の先幕、後幕の走行を制御するためのシャッタ制御回路１１１とが接続されている。さらにシステムコントローラ１２０には、デジタルカメラを制御する上で調整が必要なパラメータ、デジタルカメラの個体識別が可能なカメラＩＤ情報、基準レンズで調整されたＡＦ補正データ、自動露出補正値等が記憶されたＥＥＰＲＯＭ１２２が接続されている。

撮影レンズユニット２００のレンズ制御マイコン２０７は、レンズ固有の情報、例えば焦点距離、開放絞り、レンズ個々に割り振られるレンズＩＤという情報、システムコントローラ１２０から受け取った情報等を記憶するレンズ記憶装置を有している。システムコントローラ１２０は、レンズ制御マイコン２０７を介してレンズ駆動機構２０３を制御することにより、被写体像をイメージセンサ１１２上に結像させる。また、設定されたＡｖ値に基づいて、絞り２０２を駆動する絞り駆動機構２０５をレンズ制御マイコン２０７を介して制御し、更に、設定されたＴｖ値に基づいて、シャッタ制御回路１１１へ制御信号を出力することで露出制御を行う。

フォーカルプレーンシャッタ１０８の先幕、後幕は、駆動源がバネにより構成されており、シャッタ走行後次の動作のためにバネチャージを要する。シャッタチャージ・ミラー駆動機構１１０は、このバネチャージを制御する。また、シャッタチャージ・ミラー駆動機構１１０によりクイックリターンミラー１０２のアップ・ダウンが行われる。

また、システムコントローラ１２０には、画像データコントローラ１１５が接続されている。この画像データコントローラ１１５は、ＤＳＰ（デジタル信号プロセッサ）により構成され、イメージセンサ１１２の制御、イメージセンサ１１２から入力された画像データの補正や加工等をシステムコントローラ１２０の指令に基づいて実行するものである。画像データの補正・加工の項目の中にはオートホワイトバランスも含まれている。オートホワイトバランスとは、撮影画像中の最大輝度の部分を所定の色（白色）に補正する機能である。オートホワイトバランスは、システムコントローラ１２０からの命令により補正量を変更することが可能である。

さらに、画像データコントローラ１１５によって、画像信号を領域分割し、それぞれの領域でベイヤ画素毎に積分した値をシステムコントローラ１２０に供給し、システムコントローラ１２０で積分信号を評価することで測光を行う。

画像データコントローラ１１５には、イメージセンサ１１２を駆動する際に必要なパルス信号を出力するタイミングパルス発生回路１１４が接続されている。また、イメージセンサ１１２と共にタイミングパルス発生回路１１４で発生されたタイミングパルスを受けて、イメージセンサ１１２から出力される被写体像に対応したアナログ信号をデジタル信号に変換するためのＡ／Ｄコンバータ１１３も接続されている。更に、得られた画像データ（デジタルデータ）を一時的に記憶しておくＤＲＡＭ１２１と、Ｄ／Ａコンバータ１１６、及び、画像圧縮回路１１９が接続されている。

ＤＲＡＭ１２１は、加工や所定のフォーマットへのデータ変換が行われる前の画像データを一時的に記憶するために使用される。画像圧縮回路１１９には、記録媒体４０１が接続される。画像圧縮回路１１９は、ＤＲＡＭ１２１に記憶された画像データの圧縮や変換（例えばＪＰＥＧ）を行うための回路である。変換された画像データは、記録媒体４０１へ格納される。この記録媒体４０１としては、ハードディスク、フラッシュメモリ、フロッピー（登録商標）ディスク等が使用される。なお、画像データコントローラ１１５と画像圧縮回路１１９と記録媒体４０１とから記録手段を構成している。

また、Ｄ／Ａコンバータ１１６には、エンコーダ回路１１７を介して画像表示回路１１８が接続される。画像表示回路１１８は、イメージセンサ１１２で撮像された画像データを表示するための回路であり、一般にはカラーの液晶表示素子により構成される。画像データコントローラ１１５は、ＤＲＡＭ１２１上の画像データを、Ｄ／Ａコンバータ１１６によりアナログ信号に変換してエンコーダ回路１１７へ出力する。エンコーダ回路１１７はこのＤ／Ａコンバータ１１６の出力を、画像表示回路１１８を駆動する際に必要な映像信号（例えばＮＴＳＣ信号）に変換する。

画像データコントローラ１１５は、補正した画像データに対し、所定の周波数特性を持つフィルタを通し、所定のガンマ処理を行って得られる画像信号の所定方向のコントラストを評価し、その結果はシステムコントローラ１２０に供給される。システムコントローラ１２０は、レンズ制御回路２０４と通信を行って焦点位置を調節し、コントラスト評価値が所定レベルよりも高くなるように焦点位置を調節する。

さらにシステムコントローラ１２０には、デジタルカメラの動作モードの情報や露出情報（シャッタ秒時、絞り値等）などを外部液晶表示装置１２４や内部液晶表示装置１２５に表示させる動作表示回路１２３が接続されている。また、システムコントローラ１２０には、デジタルカメラの操作を行うための各種スイッチ、ボタンなどの操作部が接続されている。操作部としては、ユーザが所望の動作をデジタルカメラに実行させるべくモードを設定する撮影モード選択ボタン１３０、メイン電子ダイヤル１３１、決定ＳＷ１３２を含む。また、ＡＦセンサユニット１０４が持つ複数の焦点検出位置から使用する焦点検出位置を選択するための測距点選択ボタン１３３、ＡＦモード選択ボタン１３４、測光モード選択ボタン１３５を含む。更に、測光・測距などの撮影準備動作を開始させるためのレリーズＳＷ１（１３６）、撮像動作を開始させるためのレリーズＳＷ２（１３７）と、ファインダーモード選択ＳＷ１３８を含む。

また、ファインダーモード選択ＳＷ１３８は、接眼レンズ１０６を通過する光束を確認することが可能な光学ファインダーモードと、イメージセンサ１１２で受光した像信号を、逐次、画像表示回路１１８によって表示を行うライブビュー表示モードとを切り替える。

さらに、カメラ本体１００には、フラッシュ装置３００を不図示のマウント機構を介して着脱可能に取り付けることができる。マウント部は、電気的接点群３１０を有している。接点群３１０はカメラ本体１００とフラッシュ装置３００との間で制御信号、状態信号、データ信号などを伝え合う。また更に、発光タイミングを制御するＸ端子（発光端子）と、フラッシュ装置３００が接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりカメラ本体１００とフラッシュ装置３００との間で通信を行い、フラッシュ装置３００の発光制御を行うことが可能となる。また、接点群３１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

フラッシュ装置３００は、キセノン（Ｘｅ）管３０１、反射笠３０２、Ｘｅ管３０１の発光を制御するＩＧＢＴなどで構成された発光制御回路３０３、Ｘｅ管３０１に給電するために３００Ｖ程度の電圧を発生する充電回路３０４を含む。更に、充電回路３０４に給電する電池などの電源３０５、フラッシュの発光、充電などを制御するとともに、カメラ本体１００のシステムコントローラ１２０と通信を制御するフラッシュ制御マイコン３０６から構成される。

図２は、本発明の実施の形態におけるイメージセンサ１１２の構成を示すブロック図である。なお、図２は、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、光電変換部２１１は、光電変換素子であるフォトダイオード、画素アンプ、リセット用のスイッチなどで構成されており、ｍ列×ｎ行の光電変換部が２次元状に配置されている。

スイッチ２１２は、光電変換部２１１の出力を選択するためのスイッチであり、後述の垂直走査回路２１８により、行単位で選択される。ラインメモリ２１３は、光電変換部２１１の出力を一時的に記憶するために設けられており、垂直走査回路２１８により選択された行の光電変換部２１１の出力を、信号ＭＥＭがＨレベルとなったときに、垂直出力線ＶＬを介して記憶する。ラインメモリ２１３としては、通常は、コンデンサが使用される。スイッチ２１４は、水平出力線ＨＬを所定の電位ＶＨＲＳＴにリセットするための水平出力線ＨＬに接続されたスイッチであり、信号ＨＲＳＴにより制御される。スイッチ２１５は、ラインメモリ２１３に記憶された光電変換部２１１の出力を水平出力線ＨＬに順次出力するためのスイッチである。

水平走査回路２１６は、信号Ｈ₀からＨ_m-1を用いてスイッチ２１５を順次走査することにより、ラインメモリ２１３に記憶された光電変換部２１１の出力を順次、水平出力線ＨＬに出力させる。信号ＰＨＳＴは水平走査回路２１６のデータ入力、信号ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１がＨレベルの時にデータがセットされ、ＰＨ２がＨレベルの時にデータがラッチされる構成となっている。信号ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、信号Ｈ₀からＨ_m-1を順次Ｈレベルにし、スイッチ２１５を順次オンさせることができる。ＳＫＩＰは、後述の一部の画素から信号を読み出す間引き読み出し時に設定を行わせる信号である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２１６を所定間隔でスキップさせることが可能になる。なお、読み出し動作に関する詳細は後述する。

アンプ２１７は、ラインメモリ２１３から水平出力線ＨＬを介して出力された画素信号を所定の割合で増幅し、ＶＯＵＴとして出力する。

垂直走査回路２１８は、信号Ｖ₀からＶ_n-1をＨレベルにすることにより、選択スイッチ２１２を行単位で選択することができる。垂直走査回路２１８は、水平走査回路２１６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定信号ＳＫＩＰにより制御される。動作に関しては、水平走査回路２１６と同様であるので詳細説明は省略する。

図３は、図２に示す構成を有するイメージセンサ１１２の全画素を読み出す場合の説明図である。図３（ａ）において、Ｒ、Ｇ、Ｂの記号は、各画素を覆うカラーフィルタの色を表している。本実施の形態の説明においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置したベイヤー配列として説明する。また、図３（ａ）の画素配列の上および左側に付記された番号は、Ｘ及びＹ方向の番号である。また、斜線の引かれた画素が、読み出し対象である。ここでは、全画素読み出しなので、図３（ａ）のすべての画素に斜線が引かれている。なお、イメージセンサ１１２には、通常、黒レベルを検出するために遮光されたＯＢ（オプティカルブラック）画素なども配置され、ＯＢ画素からも読み出しを行うが、本実施の形態では、説明が煩雑になるため省略する。

図３（ｂ）は、イメージセンサ１１２の全画素を読み出す場合のタイミングチャートを示しており、タイミングパルス発生回路１１４がイメージセンサ１１２にパルスを送ることにより、読み出しが行われる。ここで図３（ｂ）を参照して、全画素読み出し動作を説明する。

まず、垂直走査回路２１８を駆動して、Ｖ₀をアクティブにする。このとき、０行目の画素の出力が、垂直出力線ＶＬにそれぞれ出力される。この状態で、信号ＭＥＭをアクティブにして、各画素のデータをラインメモリ２１３にホールドする。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H₀からＨ_m-1をアクティブにすることで、水平出力線ＨＬに画素出力を出力する。出力された画素出力は、アンプ２１７を介して、ＶＯＵＴとして出力され、Ａ／Ｄコンバータ１１３でデジタルデータに変換され、画像データコントローラ１１５で所定の画像処理が施される。

次に、垂直走査回路２１８がV₁をアクティブにすることで、１行目の画素出力が垂直出力線ＶＬに出力され、この状態で同様に信号ＭＥＭをアクティブにすることによりラインメモリ２１３に画素出力がホールドされる。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H₀からＨ_m-1をアクティブにすることで、水平出力線ＨＬに画素出力を出力する動作は同じである。同様にして、V_n-1まで順にアクティブにしていくことで、n-1行目までの読み出しを順次行う。

図４は、図２に示す構成を有するイメージセンサ１１２から一部の画素を読み出す間引き読み出しの一例を説明する図である。図４（ａ）では、図３（ａ）と同様に、斜線の引かれた画素が、間引き読み出し時の読み出し対象画素である。ここでは、Ｘ、Ｙ方向ともに１／３の間引きの読み出しの場合を示している。

図４（ｂ）は、間引き読み出し時のタイミングチャートを示しており、図４（ｂ）のタイミングチャートを参照して、間引き読み出しの動作説明を行う。間引き読み出しの設定は、水平走査回路２１６の制御端子であるＳＫＩＰ端子をアクティブにすることで行う。ＳＫＩＰ端子をアクティブにすることで、垂直走査回路２１８、水平走査回路２１６は、１画素ごとの順次走査から３画素ごとの順次走査に動作が変更される。具体的方法に関しては、公知の技術なので詳細は省略する。

間引き読み出し時は、まず、垂直走査回路２１８を駆動して、V₀をアクティブにする。このとき、0行目の画素の出力が、垂直出力線ＶＬにそれぞれ出力される。この状態で、信号ＭＥＭをアクティブにして、各画素のデータをラインメモリ２１３にホールドする。次に、ＰＨＳＴをアクティブして、ＰＨ１、ＰＨ２にシフトクロックを入力する。このとき、ＳＫＩＰ端子をアクティブ設定にすることにより、シフトレジスタの経路が変更され、順次H₀、H₃、H₆・・・Ｈ_m-3のように、３画素ごとに水平出力線ＨＬに画素出力を出力する。出力された画素出力は、アンプ２１７を介してＶＯＵＴとして出力され、Ａ／Ｄコンバータ１１３でデジタルデータに変換され、画像データコントローラ１１５で所定の画像処理が施される。

次に、垂直走査回路２１８は、水平走査回路２１６と同様に、V₁、V₂をスキップさせて、Ｖ₃をアクティブにして、３行目の画素出力を垂直出力線ＶＬに出力する。その後、信号ＭＥＭによりラインメモリ２１３に画素出力がホールドされる。ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H₀、H₃、H₆・・・Ｈ_m-3をアクティブにして、水平出力線ＨＬに画素出力を出力する動作は０行目と同じである。以上のように、n-３行目までの読み出しを順次行う。以上のように、水平、垂直ともに１／３の間引き読み出しが行われる。

以上のように構成されたシステムにおける第１の実施形態の動作について、図５から図１１を用いて詳細に説明する。

図５は、本発明の第１の実施形態における動作を示すフローチャートである。Ｓ１０１では、電池交換等の電源投入により、システムコントローラ１２０はフラグや制御変数等の初期化を行うために、不揮発性メモリであるＥＥＰＲＯＭ１２２より制御パラメータや設定値を読み出してシステムの初期化処理を行う。

Ｓ１０２では、ライブビュー、または、動画記録開始の待ち状態となり、不図示の動作開始ボタンが押されるとＳ１０３に移行する。Ｓ１０３では、システムコントローラ１２０はレンズ制御マイコン２０７と接点２１０を介し、現在、装着されているレンズユニット２００が、低速絞り駆動に対応しているか否かの判定を行う。低速絞り駆動に対応していない場合はＳ１０４に移行し、低速絞り駆動に対応しているレンズであると判定した場合は、Ｓ１１０に移行する。この判定により、絞りの駆動特性に応じた最適なプログラム線図が選択される。

Ｓ１０４では、図６に示す低速絞り駆動非対応レンズ用のプログラム線図が選択されＳ１０５に移行する。図６に示すプログラム線図の特徴は、設定される絞り値（Ａｖ）の分解能が大きく（例えば３段）、所定輝度範囲においては、蓄積時間（Ｔｖ）、ＩＳＯ感度（Ｓｖ）で露出の調節を行うように設定される。例えば、絞り値がＦ８に設定されている場合、Ｅｖ７〜Ｅｖ１３の輝度範囲においては、絞り駆動は発生しない。

また、絞りを開く輝度と絞る輝度が異なる輝度として、絞り駆動設定にヒステリシスを持たせ、絞り駆動の発生回数の抑制を行っている。これにより、絞りの制御性の悪いレンズであってもライブビュー及び動画記録中に絞り駆動の発生を抑え、絞り動作に起因する動画露出のちらつきなどの問題を抑制することが可能になる。

Ｓ１０５〜Ｓ１０８では、イメージセンサ１１２より順次、画像信号が読み出され、外部液晶表示装置１２４に表示される、いわゆるライブビュー駆動、または、記録媒体４０１に動画記録が行われる。

ここで、ライブビュー駆動について説明する。図７は、イメージセンサ１１２としてＣＭＯＳセンサを用いたライブビュー、または、動画記録時の撮像動作シーケンスの概要を説明するタイミングチャートである。ライブビュー機能を実現する場合には連続的にイメージセンサ１１２から画像信号を読み出す必要があるが、ＣＭＯＳセンサではＣＣＤ方式のような一括転送、一括読み出しができないため、一般的にローリングシャッター方式が使用されている。

ローリングシャッター方式では、図７に示すように、イメージセンサ１１２において露光動作が行われた後、イメージセンサ１１２内の各画素の蓄積電荷が画像信号として読み出される。この読み出し動作は、制御パルスである垂直同期信号ＶＤ、および不図示の水平同期信号ＨＤに同期して行われる。垂直同期信号ＶＤは、１フレームを表す信号であり、本第１の実施形態では、たとえば１／３０秒（３０フレーム／秒）ごとにシステムコントローラ１２０からのコマンドを受けて、タイミングパルス発生回路１１４より、イメージセンサ１１２へ送られる。また、水平同期信号ＨＤは、１フレーム期間に水平ラインのライン数に応じた数のパルスが所定間隔で送出され、水平ラインごとの読み出しが行われる。また、水平同期信号ＨＤに同期して、設定された蓄積時間となるように、水平ライン毎に画素リセットが行われる（図中に点線で示す）。そのため、１フレームの画像信号において、ライン毎に蓄積期間、及び、読み出しタイミングに時差が発生する。

また、ライブビュー動作のようにフレームレートによって読出し時間の制約を受ける場合、水平方向、及び、垂直方向に画素間引きを行い、高速に画像信号を読み出す必要がある。本第１の実施形態では、図４を参照して説明したようにして水平１／３、垂直１／３に間引いて読み出すものとする。

垂直同期信号ＶＤ、水平同期信号ＨＤにより、蓄積及び読み出しが実行されると、読み出された画像信号は、画像データコントローラ１１５へ転送され、欠陥画素補正などの画像処理が実行される。画像処理された画像データは、外部液晶表示装置１２４に表示されたり、また、画像圧縮回路１１９に送られて、記録媒体４０１などに記録される。

また、読み出された画像信号は、不図示のコントラスト検出回路にも送られ、被写体像のコントラストを評価することで被写体の焦点状態を検出する。システムコントローラ１２０は、検出された焦点状態に応じて、レンズ制御マイコン２０７、レンズ制御回路２０４、レンズ駆動機構２０３を通じて焦点状態の調節を行う、いわゆるＡＦ動作を行うことができる。

更に、Ｓ１０８において、読み出された信号は不図示の測光検出回路にも送られ、被写体像の明るさを検出する。システムコントローラ１２０は、検出された明るさに応じて、Ｓ１０４で選択したプログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。

Ｓ１０９では、ライブビュー、または、動画記録の終了を検出すると、システムコントローラ１２０は処理を終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。ライブビュー、または、動画記録の終了が検出されない場合は、Ｓ１０５に戻って、引き続きライブビュー、または、動画記録動作を継続させる。

一方、Ｓ１０３で低速絞り駆動に対応しているレンズと判定された場合、Ｓ１１０に進んで、図８に示す低速絞り駆動対応レンズ用のプログラム線図が選択され、Ｓ１１１に移行する。図８に示すプログラム線図の特徴は、設定される絞り値（Ａｖ）の分解能が小さく（例えば０．１段）、所定輝度範囲において露出調節を行う際は、連続的に低速で絞りを駆動する。これにより、動画フレーム間の露出変化量を抑えた滑らかな動画露出制御を実現している。

Ｓ１１１〜Ｓ１１７では、イメージセンサ１１２より順次、画像信号が読み出され、外部液晶表示装置１２４に表示される、いわゆるライブビュー駆動、または、記録媒体４０１に動画記録が行われる。なお、ライブビューまたは動画記録駆動では、図７を参照して前述した駆動方式で、イメージセンサ１１２の蓄積、読み出し動作、及び、ライブビュー表示、動画記録、ＡＦ、ＡＥ動作が実施される。

Ｓ１１２では、絞り駆動が行われたか否かの判定が行われ、絞りが駆動した場合は、Ｓ１１３に移行し、絞り駆動が行われていない場合はＳ１１４へ移行する。Ｓ１１３では、イメージセンサ１１２への露光期間中に絞りが駆動した場合に発生する輝度ムラの補正処理を行う。

ここで、図９〜図１１を用いて、本第１の実施形態にかかるライブビュー駆動中に絞りを低速駆動させた場合に発生する輝度ムラの補正処理について説明する。

図９は、イメージセンサ１１２をローリングシャッター方式で駆動する場合の電荷蓄積タイミングと、絞りを低速駆動させた時の関係を示している。同図に示す通り、ローリングシャッター方式では、動画の１フレーム内において、イメージセンサ１１２の各ラインの画素リセット、及び、読み出し動作は異なるタイミングで順次実行されているため、各ラインの蓄積期間には時差が発生している。つまり、例えば、図９のｋ行目では、時刻t(k)からt(k’)の期間、イメージセンサ１１２は露光状態となり電荷の蓄積を行うが、ｌ行目では、時刻t(l)からt(l’)の期間、イメージセンサ１１２は露光状態となり電荷の蓄積を行う。

そのため、図９に示すタイミングで絞りを駆動すると、ラインｋとラインｌでは、異なる絞り状態で露光されるため、蓄積される露光量に差が生じてしまう。この露光量差は、動画の１フレーム画像内においては、画面上部から下部にかけて輝度ムラとなって現れる。この輝度ムラの影響度合いは、イメージセンサ１１２から信号を読み出す速度と絞りの駆動速度、及び、駆動方向によって変化する。

ここで、イメージセンサ１１２における１ラインの読み出しに掛かる時間をHDTIME（単位：[msec/line]）とし、対象フレームから最後に読み出される最下部のｎ行目（基準行）の読み出し時刻t(n)を基準とする。この場合、ｋ行目（基準行以外の行）の蓄積開始時刻t(k)との時刻差Δt(k-n)は、式（１）により求めることができる。
Δt(k-n) = ( k − n ) × HDTIME + 蓄積時間 …（１）

また、ｎ行目の読み出し時刻t(n)の絞り値を基準とした場合（基準絞り込み量）、ｋ行目の蓄積開始時刻t(k)における、基準の絞り値からの相対的な絞り込み量である相対絞り込み量ΔAv(k-n)は、次式（２）により表すことができる。すなわち、絞り駆動速度をAVSPDとすると（開方向を負、閉方向を正とする。単位：[段数/sec]）、
ΔAv(k-n) ＝ Δt(k-n) × AVSPD ／ 1000 …（２）
ここで、動画の１フレーム内での蓄積時間、及び、ＩＳＯ感度を同一設定とする。この場合、時刻t(n)における絞り込み量を基準とすると、ｋ行目の蓄積時間中の相対絞り込み量の時間積分値ΔS(k)は、上記時刻t(k)と時刻t(k’)の期間の相対絞り込み量の時間積分結果として表すことができる。即ち、次式（３）で求めることができる。

よって、ｋ行目とｎ行目の露出差を補正する場合は、式（３）で求めたΔS(k)（行積分値）とΔS(n)（基準積分値）の差分をゲイン処理することにより補正することができる。実際には、補正値R(k/n)は、リニア系の補正値として求めるため、ゲイン１倍をGAINRとすると、式（４）によって求めることができる。
補正値R(k/n) = 2^{(ΔS(k)-ΔS(n))}×GAINR …（４）
また、ｌ行目とｎ行目の露出差を補正する場合は、同様に式（３）で求めた相対絞り込み量の時間積分値ΔS(l)とΔS(n)の差分をゲイン処理することにより補正することができる。

以上より、ｋ行目とｎ行目との露出差が補正可能であるため、各ラインにおいて同様の処理を実施することで、動画の１フレーム内の全領域において、ローリングシャッター方式による駆動時に絞り駆動に起因する輝度ムラを補正することができる。

次に、絞りが補正フレームの途中から動作し始め、次フレーム以降まで駆動した場合の補正処理について、図１０を用いて説明する。

図１０に示す例においては、対象フレーム内の時刻t(av_s)で、絞りが開方向に駆動を開始し、次フレーム以降まで駆動を継続している。ここで、最終行であるｌ行目（基準行）の読み出し時刻t(l’)の絞り位置Av(l’)（基準絞り込み量）を基準として説明する。ｋ行目の蓄積開始時刻t(k)が時刻t(av_s)より前の時刻である場合、ｋ行目（基準行以外の行）の蓄積開始時刻t(k)の相対絞り込み量ΔAv(k-l)は、相対絞り込み量ΔAv(av_s-l)として、上述した式（２）より求めることができる。また、時刻t(av_s)より後の時刻となるｋ行目の読み出し時刻t(k’)の相対絞り込み量ΔAv(k’-l)は、上述した式（２）より求めることができる。これらから、ｋ行目の相対絞り込み量ΔS(k)（行積分値）は、式（５）により求めることができる。

このように、１行の蓄積時間内に駆動開始時刻t(av_s)を含む場合、上記式（５）及び式（４）より、ｌ行目を基準とした場合のｋ行目の補正量R(k/l)を求め、ゲイン補正することにより、ｋ行目の露出差を補正することが可能となる。また、１行の蓄積時間内に駆動開始時刻t(av_s)が含まれない場合、上記式（３）及び式（４）を用いて露出差を補正することができる。また、各ラインにおいて同様の処理を実施することで、絞りが対象フレームの途中から動作し始め、次フレーム以降まで駆動した場合にも動画の１フレーム内の輝度ムラを補正することができる。

次に、絞りが補正フレームの蓄積開始以前に駆動され、同フレーム内で停止した場合の補正処理について、図１１を用いて説明する。

図１１に示す例においては、対象フレームの蓄積開始以前の時刻t(av_s)で、絞りが開方向に駆動を開始し、同フレーム内の時刻t(av_e)で駆動が停止している。ここで、最終行であるｌ行目（基準行）の読み出し時刻t(l’)時の絞り位置Av(l’)（基準絞り込み量）を基準として説明する。ｋ行目（基準行以外の行）の蓄積開始時刻t(k)が時刻t(av_e)より前の時刻である場合、ｋ行目の蓄積開始時刻t(k)の相対絞り込み量ΔAv(k-l)は、相対絞り込み量ΔAv(k-av_e)として、上述した式（２）より求めることができる。また、時刻t(av_e)より後の時刻となるｋ行目の読み出し時刻t(k’)の相対絞り込み量ΔAv(k’-l)は、図１１より明らかな通り０となる。これらから、ｋ行目の蓄積時間における相対絞り込み量の時間積分値ΔS(k)（行積分値）は、式（６）により求めることができる。

このように、１行の蓄積時間内に駆動開始時刻t(av_e)を含む場合、上記式（６）及び式（４）より、ｌ行目を基準とした場合のｋ行目の補正量R(k/l)を求め、ゲイン補正することにより、ｋ行目の露出差を補正することが可能となる。また、１行の蓄積時間内に駆動開始時刻t(av_e)が含まれない場合、上記式（３）及び式（４）を用いて露出差を補正することができる。また、各ラインにおいて同様の処理を実施することで、絞りが対象フレームの蓄積開始以前に駆動され、同フレーム内で停止した場合にも動画の１フレーム内の輝度ムラを補正することができる。

なお、本第１の実施形態では、１フレーム内の補正目標となる基準ライン（式（３）ではｎ行目、式（４）、式（５）ではｌ行目に相当）を決定する際に、絞りが開方向に駆動される場合は１フレームにおいて最後に読み出される最下部のラインとする。一方、絞りが閉方向に駆動される場合には、１フレームにおいて最初に読み出される最上部のラインとする。これは、補正処理時に常に正のゲイン補正量となるようにするためであり、イメージセンサ１１２から読み出した画像信号が飽和している場合に負のゲイン処理を行うことで色比がずれてしまうことを回避するためである。

よって、画像信号出力が飽和しない条件においては、補正目標となる基準ラインを他のラインに設定してもよい。例えば、画面中央のラインを基準ラインにすることで、ゲイン補正量の最大値を減らし、ノイズ量を改善することができる。

図５に戻り、Ｓ１１４では、画像データコントローラ１１５により、イメージセンサ１１２から読み出した画像信号の補正や加工処理を実行する。この加工処理には、記録媒体４０１に記録するための画像データの生成、及び、画像表示回路１１８に表示するための画像データの生成が含まれる。

Ｓ１１５では、Ｓ１１４で加工された画像データが、記録媒体４０１に送られ記録される。また、Ｄ／Ａコンバータ１１６を通し、画像表示回路１１８に送られ表示される。

また、Ｓ１１６において、読み出された信号は不図示の測光検出回路に送られ、被写体像の明るさを検出する。システムコントローラ１２０は、検出された明るさに応じて、Ｓ１１０で選択したプログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。

Ｓ１１７では、ライブビュー、または、動画記録の終了を検出すると、システムコントローラ１２０はライブビュー、または、動画記録駆動を終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。ライブビュー、または、動画記録の終了が検出されない場合は、Ｓ１１１に移行し、引き続きライブビュー駆動を継続させる。

上記の通り本第１の実施形態によれば、ローリングシャッター方式による駆動を行っている際に、絞りを駆動することによってフレーム内で生じる輝度ムラの補正量を、撮像素子の読み出し速度と絞りの駆動速度及び駆動方向から演算によって求めることができる。そのため、前後のフレームを使用することなく、フレーム内の輝度ムラを補正することが可能となる。

また、補正量を求める際に前後フレームを使用しないため、複数のフレームに跨って絞りが駆動した場合や、点光源被写体などを撮影した場合においても、フレーム内の輝度ムラを正しく補正することが可能となる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について図面を参照しながら説明する。なお、第２の実施形態におけるカメラシステムの構成は第１の実施形態と同様であるので、ここでの説明は省略する。

第２の実施形態における動作について、図１２から図１４を用いて詳細に説明する。図１２は、本第２の実施形態における絞り駆動情報を動画ファイルへ記録する動作を示すフローチャートである。Ｓ２０１では、電池交換等の電源投入により、システムコントローラ１２０はフラグや制御変数等の初期化を行うために、不揮発性メモリであるＥＥＰＲＯＭ１２２より制御パラメータや設定値を読み出してシステムの初期化処理を行う。

Ｓ２０２では、動画記録開始の待ち状態となり、不図示の動作開始ボタンが押されるとＳ２０３に移行する。Ｓ２０３では、イメージセンサ１１２より順次、画像信号が読み出され、画像信号の補正、及び加工処理が行われた後、記録媒体４０１へ記録する動画記録が行われる。

Ｓ２０４において、イメージセンサ１１２より読み出された信号は不図示の測光検出回路に送られ、被写体像の明るさを検出する。システムコントローラ１２０は、プログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。

Ｓ２０５で、システムコントローラ１２０が接点２１０を介し、レンズ制御マイコン２０７と通信することにより、絞りの駆動開始、駆動停止、駆動中を検出する。絞り駆動が行われていると判定した場合はＳ２０６に移行し、絞り駆動が停止していると判定した場合はＳ２０７へ移行する。

Ｓ２０６では、絞り駆動情報を動画記録ファイルに記録する。ここで、絞り駆動情報について、図１４を参照しながら詳細に説明する。

図１４のフレームＩＤは、動画ファイルに記録されるフレームの内、任意の１フレームを特定可能な固有ＩＤであり、現在処理している絞りが動作中のフレームＩＤを記録する。同図の絞り駆動速度は、絞りを開方向に駆動した場合には負の値を、絞りを閉方向に駆動した場合は正の値を取る絞りの駆動速度（単位：[段数/sec]）であり、現在駆動している絞りの駆動速度を記録する。

図１４の駆動開始時刻は、絞りが駆動し始めた時間を示すものであり、現在処理しているフレーム内で絞り駆動が開始した場合は、対象フレームの読み出し開始時刻からの相対時間を記録する。また、駆動停止時刻は、絞り駆動が停止した時間を示すものであり、現在処理しているフレーム内で絞り駆動が停止した場合は、対象フレームの読み出し開始時刻からの相対時間を記録する。

更に、蓄積時間は、イメージセンサ１１２が露光状態となるローリングシャッターの蓄積時間を示すものであり、対象フレームにおける蓄積時間を記録する。

上記の絞り駆動情報を動画に関連付けて動画ファイルに記録することで、絞りの駆動期間（駆動開始タイミング、駆動停止タイミング）と絞りの駆動方向、絞りの駆動速度、及び、イメージセンサ１１２の蓄積時間を保存することができる。つまり、図１４に示す例では、フレームＩＤが７０のフレームの読み出し開始時刻から24[msec]後に絞りが開方向に5.0[段/sec]の速度で駆動し始め、フレームＩＤが７２のフレームの読み出し開始時刻から12[msec]後に絞りが停止したことが確認できる。また、フレームＩＤが７０から７２の期間では、蓄積時間が30[msec]であることが分かる。

Ｓ２０７では、動画記録の終了を検出すると、システムコントローラ１２０は動画記録処理を終了し、各種パラメータの保存や記録媒体の終了処理を行い、スタンバイ状態になる。動画記録の終了が検出されない場合は、Ｓ２０３に戻り、引き続き動画記録駆動を継続させる。

図１３は、絞り駆動情報が記録された動画ファイルから、所定の１フレームを選択して静止画像を取得するための動作フロー図である。

Ｓ２２１では、不図示の動画再生ボタンにより指示を受け、システムコントローラ１２０は、記録媒体４０１に記録された動画ファイルから動画データの読み出しを行い、動画再生モードに移行する。

Ｓ２２２では、不図示の選択ボタンにより指示を受けると、システムコントローラ１２０は動画データの中の１フレームを選択し、対象フレームを外部液晶表示装置１２４へ表示する。

Ｓ２２３では、決定ＳＷ１３２より指示を受け、選択フレームの静止画切り出しが選択されるとＳ２２４へ移行し、静止画切り出しの中止が選択されるとＳ２２２に移行する。Ｓ２２４では、選択されたフレームの画像信号をデコード処理した後、静止画用の画像データとしてＤＲＡＭ１２１に記憶する。

Ｓ２２５では、静止画切り出しフレームとして選択されたフレームが、動画ファイル内の絞り駆動情報のフレームＩＤに該当するか否かを判定し、絞りが駆動したフレームであると判定されるとＳ２２６に移行する。また、絞りが駆動したフレームではないと判定された場合は、Ｓ２２７に移行する。

Ｓ２２６では、静止画用の画像データに対して、絞り駆動情報を用いて、ローリングシャッター読み出し駆動時に絞りが駆動した際に発生する１フレーム内の輝度ムラの補正を行う。補正処理は、上述した第１の実施形態で説明した手法を用いて行う。

Ｓ２２７では、静止画用の画像データを記録媒体４０１に保存する。Ｓ２２８で、不図示の終了ボタンにより動画再生モードの終了が指示されると、システムコントローラ１２０は動画再生モードを終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。動画再生モードの終了が検出されない場合は、Ｓ２２２に移行し、引き続き動画再生モードを継続させる。

本第２の実施形態においては、動画ファイルから静止画を切り出して、切り出し画像の輝度ムラ補正をカメラで処理しているが、本発明はこれに限定されるものではなく、後処理をＰＣなどの画像処理装置を用いて実施しても構わない。

上記の通り、本第２の実施形態によれば、動画記録中に絞り駆動が発生した際に絞り駆動情報を動画ファイルに記録する。そして、動画再生中に動画フレームから静止画画像を生成する際に、動画ファイルに記録された絞り駆動情報を用いて、動画の１フレーム内の輝度ムラを補正する。このように、ローリングシャッター方式で撮像素子の駆動を行っている際に、絞りを駆動することによって生じる動画の１フレーム内の輝度ムラが補正された静止画を生成することが可能になる。

また、補正量を求める際に前後フレームを使用しないため、複数のフレームに跨って絞りが駆動した場合や、点光源被写体などを撮影した場合においても、フレーム内の輝度ムラを正しく補正することが可能となる。

＜他の実施形態＞
また、本発明の図１３に示す制御は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、
   前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正する補正手段と
   を有することを特徴とする撮像装置。
2. 前記基準絞り込み量は、前記絞りが変化したフレームにおいて、前記絞りが最も開いている状態での絞り込み量であることを特徴とする請求項１に記載の撮像装置。
3. 前記基準行は、前記絞りが開方向に変化している場合には、前記撮像素子から最後に読み出される行であり、前記絞りが閉方向に変化している場合には、前記撮像素子から最初に読み出される行であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記基準積分値と前記行積分値との差に基づいて、前記基準行以外の各行の画像信号にかけるゲインをそれぞれ求め、該求めたゲインを前記各行の画像信号にそれぞれかけることを特徴とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、
   前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りの駆動速度と、前記絞りの駆動を開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを取得する取得手段と、
   前記取得手段により取得した情報を、前記撮像素子から出力された画像信号に関連付けて記録する記録手段と
   を有することを特徴とする撮像装置。
6. 撮像素子から取得し、記録された画像信号と、該画像信号に関連付けて記録された、前記撮像素子をローリングシャッター方式で駆動中に絞りが変化した場合に、前記絞りが駆動開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを入力する入力手段と、
   前記入力手段により入力した情報に基づいて、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値との差を補正するように、前記フレームの画像信号を補正する補正手段と
   を有することを特徴とする画像処理装置。
7. 前記基準絞り込み量は、前記絞りが変化したフレームにおいて、前記絞りが最も開いている状態での絞り込み量であることを特徴とする請求項６に記載の画像処理装置。
8. 前記基準行は、前記絞りが開方向に変化している場合には、前記撮像素子から最後に読み出される行であり、前記絞りが閉方向に変化している場合には、前記撮像素子から最初に読み出される行であることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記補正手段は、前記基準積分値と前記行積分値との差に基づいて、前記基準行以外の各行の画像信号にかけるゲインをそれぞれ求め、該求めたゲインを前記各行の画像信号にそれぞれかけることを特徴とすることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子を有する撮像装置の制御方法であって、
    補正手段が、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とを求めるステップと、
    前記補正手段が、前記基準積分値と前記行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正するステップと
    を有することを特徴とする撮像装置の制御方法。
11. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子を有する撮像装置の制御方法であって、
    取得手段が、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りの駆動速度と、前記絞りの駆動を開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを取得する取得ステップと、
    記録手段が、前記取得ステップで取得した情報を、前記撮像素子から出力された画像信号に関連付けて記録する記録ステップと
    を有することを特徴とする撮像装置の制御方法。
12. 入力手段が、撮像素子から取得し、記録された画像信号と、該画像信号に関連付けて記録された、前記撮像素子をローリングシャッター方式で駆動中に絞りが変化した場合に、前記絞りが駆動開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを入力する入力ステップと、
    取得手段が、前記入力ステップで入力した情報に基づいて、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とを求める取得ステップと、
    補正手段が、前記基準積分値と前記行積分値との差を補正するように、前記フレームの画像信号を補正する補正ステップと
    を有することを特徴とする画像処理方法。
13. コンピュータに、請求項１２に記載の画像処理方法の各工程を実行させるためのプログラム。
14. 請求項１３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images