JP2013161048A - 撮像装置 - Google Patents

Abstract

【課題】コントラストＡＦ制御と測光制御とのタイミングとを最適化し、測光精度と合焦精度の両方を向上させた撮像装置を提供すること。
【解決手段】撮影開始の指示がされた場合に、複数回のレンズスキャンを行って評価値が最大となる複数の第１のピント位置を得る。レンズスキャンの後、測光処理を行う。測光処理の後、レンズスキャンの結果として得られた複数の第１のピント位置の時間変化と、測光時間を含む撮影開始までに要する時間とに基づいて、撮影開始時に駆動しておくべき、フォーカスレンズのピント位置を予測する。そして、予測したピント位置にフォーカスレンズを駆動する。
【選択図】図２

Description

本発明は、動体予測機能を有する撮像装置に関する。

撮像装置において、動きのある被写体を追従するように自動焦点制御（以下、ＡＦ制御と言う）を行うための手法として、動体予測を用いる手法がある。動体予測を伴うＡＦ制御においては、移動体に対する過去の合焦情報を利用して所定時間後の未来の移動体の位置を予測し、この予測位置に撮影レンズのピントを合わせるようにしている。近年、このような動体予測を、コントラスト方式のＡＦ制御（以下、コントラストＡＦ制御と言う）に対しても適用するようにした提案がなされている。例えば、特許文献１における提案では、撮影前のコントラストＡＦ制御の結果として撮影レンズが合焦状態となったときに、そのときのフォーカスレンズの位置情報を保持しておき、保持しておいたレンズの位置情報に基づいて、実際の撮影時におけるピント位置を予測することにより、動きのある被写体であっても実際の撮影時にピント合わせができるようにしている。

特開２０１０−１０７７１１号公報

通常、撮像装置の撮影前の動作としては、ＡＦ制御に加えて自動露出制御（以下、ＡＥ制御と言う）のための測光制御も行われる。このような測光制御の１つの方式として、撮像により得られた画像データから被写体輝度を算出するものが知られている。

ここで、特許文献１の提案は、測光制御を含む動体予測については考慮されていない。したがって、測光制御のタイミングによっては測光精度と合焦精度との少なくとも何れかが低下する。

本発明は、前記の事情に鑑みてなされたもので、コントラストＡＦ制御と測光制御とのタイミングとを最適化し、測光精度と合焦精度の両方を向上させた撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の撮像装置は、被写体を撮像して複数の画像データを取得する撮像素子と、前記撮像素子に前記被写体の像を結像させる撮影レンズと、前記撮影レンズのレンズ位置を変化させながら前記撮像素子による複数回の前記撮像を実行させ、複数回の前記撮像によって取得された複数の前記画像データのコントラストを評価し、該コントラストの評価の結果、前記コントラストが最大となる前記撮影レンズのレンズ位置を第１のピント位置として検出するコントラスト評価部と、前記画像データから前記被写体の輝度を示す被写体輝度データを算出する測光部と、前記コントラスト評価部によって複数回検出された複数の前記第１のピント位置の時間変化と、前記被写体輝度データの算出に要した時間と、前記被写体輝度データの算出から次回の前記撮像までに要する時間と、に基づいて、次回の前記撮像の時点で駆動すべき前記撮影レンズのレンズ位置である第２のピント位置を予測する予測部と、前記第２のピント位置に前記撮影レンズを駆動するように制御する撮像制御部と、を具備することを特徴とする。

本発明によれば、コントラストＡＦ制御と測光制御とのタイミングとを最適化し、測光精度と合焦精度の両方を向上させた撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置の構成を示す図である。 本発明の一実施形態に係る撮像装置の撮影動作を示すフローチャートである。 図３（ａ）は図２における低輝度の動体に対する撮影動作までの撮像素子の動作について示したタイミングチャートであり、図３（ｂ）は図３（ａ）の撮像素子の動作に従って得られる画像データを示す図である。 予測演算について説明するための図であって、図３（ａ）の一連の動作中のピント位置の時間変化を示す図である。 画像合成について説明するための図である。 本発明の一実施形態の変形例における撮像素子の動作について示したタイミングチャートである。 本発明の一実施形態の変形例に係る撮像装置の撮影動作を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。図１は、本発明の一実施形態に係る撮像装置をレンズ交換式のデジタルカメラに適用した場合の構成例である。したがって、撮像装置１は、交換レンズ１００と、本体２００と、を有している。撮像装置１は、レンズ交換式でなくとも良い。

交換レンズ１００は、撮影レンズ１０２と、レンズ駆動部１０４と、レンズ位置検出部１０６と、絞り１０８と、絞り駆動部１１０と、レンズ情報記憶部１１２と、レンズ制御部１１４と、通信部１１６と、を有している。

撮影レンズ１０２は、フォーカスレンズ１０２ａ及びズームレンズ１０２ｂ等の複数のレンズを有するレンズ群である。この撮影レンズ１０２は、図示しない被写体からの光を、本体２００に設けられた撮像素子に結像させる。フォーカスレンズ１０２ａは、撮影レンズ１０２のピント調節のためのレンズであり、ズームレンズ１０２ｂは、撮影レンズ１０２の画角調節のためのレンズである。

レンズ駆動部１０４は、レンズ制御部１１４による制御に従って撮影レンズ１０２のフォーカスレンズ１０２ａやズームレンズ１０２ｂを駆動する。このレンズ駆動部１０４は、撮影レンズ１０２に含まれるそれぞれのレンズを駆動するためのモータと、これらのモータを駆動する駆動回路と、を有している。レンズ位置検出部１０６は、フォーカスレンズ１０２ａ及びズームレンズ１０２ｂの駆動位置を検出する。レンズ位置検出部１０６は、例えばエンコーダにより構成されている。

絞り１０８は、開閉自在に構成されており、撮影レンズ１０２を介して撮像素子に結像される光の量を調節する。絞り１０８の開口量によって、撮像素子に結像される被写体の像のボケ具合も調節される。

絞り駆動部１１０は、レンズ制御部１１４による制御に従って絞り１０８を駆動する。この絞り駆動部１１０は、絞りを駆動するためのモータと、その駆動回路と、を有している。

レンズ情報記憶部１１２は、撮影レンズ１０２の焦点距離、Ｆナンバー、収差情報といった撮影レンズ１０２のレンズ情報を記憶している。

レンズ制御部１１４は、通信部１１６を介して本体２００の制御部２１６と通信自在に接続されている。レンズ制御部１１４は、制御部２１６の制御に従って、レンズ駆動部１０４及び絞り駆動部１１０を制御する。また、レンズ制御部１１４は、ＡＦ動作の時等において、レンズ位置検出部１０６で検出されたフォーカスレンズ１０２ａの位置やレンズ情報記憶部１１２に記憶されているレンズ情報を、通信部１１６を介して本体２００に送信することも行う。

通信部１１６は、レンズ制御部１１４と制御部２１６との通信のための交換レンズ１００側のインターフェイスである。

また、本体２００は、撮像素子２０２と、ゲイン調整部２０３と、Ａ/Ｄ変換部２０４と、画像処理部２０６と、表示部２０８と、記録部２１０と、操作部２１２と、タッチ操作部２１４と、制御部２１６と、通信部２１８と、を有している。

撮像素子２０２は、撮像素子を有している。撮像素子は、画素としての光電変換素子が２次元状に配置された受光面を有して構成されている。それぞれの画素は、撮影レンズ１０２を介して結像された被写体の像を電気信号（画像信号）に変換する。撮像素子の撮像動作は、撮像制御部としての機能を有する制御部２１６によって制御される。

ゲイン調整部２０３は、撮像素子２０２で得られた画像信号を、ユーザによって設定された撮像素子感度（ＩＳＯ感度）に応じたゲイン値に従って増幅する。このゲイン値は、制御部２１６から指示される。Ａ／Ｄ変換部２０４は、ゲイン調整部２０３でゲイン調整された画像信号を、デジタル信号としての画像データに変換する。

画像処理部２０６は、画像データに対して画像処理を施す。画像処理部２０６が施す画像処理は、ホワイトバランス補正処理及びγ補正処理等の画像データに対応した画像を表示部２０８に表示させたり記録したりするために必要な各種の処理、並びに圧縮処理、伸張処理等が含まれる。また、画像処理部２０６は、画像合成部を有している。画像合成部は、後述の撮影時において複数の露出条件で撮像素子２０２を介して得られた複数の画像データを合成する。

表示部２０８は、画像処理部２０６によって処理された画像データに基づく画像等の各種の画像を表示する。表示部２０８は、例えば液晶ディスプレイで構成されている。

記録部２１０は、画像処理部２０６によって圧縮処理された画像データから生成される画像ファイルが記録される。記録部２１０は、例えば本体２００に着脱自在なメモリカードで構成されている。記録部２１０を本体２００に内蔵させるようにしても良い。

操作部２１２は、ユーザが撮像装置１の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、モードダイアル、電源ボタン等が含まれる。レリーズボタンは、ユーザが本体２００に対して撮影開始の指示をするための操作部材である。モードダイアルは、ユーザが本体２００に対して動作モードの設定の指示をするための操作部材である。電源ボタンは、ユーザが本体２００に対して電源のオン又はオフを指示するための操作部材である。

タッチ操作部２１４は、例えば表示部２０８の表示画面の上に形成されている。タッチ操作部２１４は、例えば静電容量式のタッチ操作部であり、ユーザの指等の表示部２０８の表示画面への接触があった場合に、その接触位置を検出する。このタッチ操作部２１４により、ユーザによるタッチ操作を検出する。

制御部２１６は、本体２００の各ブロックの動作を制御する。例えば、制御部２１６は、レンズ制御部１１４を制御して撮影レンズ１０２のオートフォーカス（以下、ＡＦと言う）動作を制御する。本実施形態においては、ＡＦの方式としてコントラスト方式を用いる。このために、制御部２１６は、コントラスト評価部としての機能を有し、画像データから画像のコントラストを評価するための評価値を算出し、この評価値を評価して評価値が最大となるレンズ位置であるピント位置を検出する。さらに、制御部２１６は、予測部としても機能し、複数回の評価の結果に従って得られるピント位置の時間変化に従って、撮影動作の開始時点において駆動しておくべきフォーカスレンズ１０２ａのレンズ位置を予測する。また、制御部２１６は、撮像素子２０２の撮像動作を制御する。また、制御部２１６は、表示部２０８の表示動作を制御する。また、制御部２１６は、画像データから画像ファイルを生成し、生成した画像ファイルを記録部２１０に記録することも行う。この他、制御部２１６は、操作識別部としての機能も有し、ユーザによって操作部２１２又はタッチ操作部２１４が操作された場合には、その操作の内容を識別することも行う。さらに、制御部２１６は、測光部としての機能も有し、撮像素子を介して得られる画像データから被写体輝度を測定することも行う。また、制御部２１６は、記憶部を有し、撮像素子２０２を介して得られた画像データ等の各種の情報を一時的に保持する。

通信部２１８は、レンズ制御部１１４と制御部２１６との通信のための本体２００側のインターフェイスである。

次に、図１に示した撮像装置の撮影動作について説明する。図２は、本実施形態に係る撮像装置１の撮影動作を示すフローチャートである。ここで、図２の動作は、制御部２１６が主体となって行われる。
例えば撮像装置１の電源がオンされる等して図２の動作が開始される。図２の動作の開始後、制御部２１６は、撮像装置１の動作モードが撮影モードであるか否かを判定する（ステップＳ１０１）。本実施形態では、撮像装置１が、動作モードとして撮影モードを少なくとも有している。撮影モードは、記録用の画像を得るためのモードである。ステップＳ１０１において、撮像装置１の動作モードが撮影モードでないと判定した場合に、制御部２１６は、現在の動作モードに応じた動作を行う。例えば、撮像装置１は、撮影モードの他に再生モード等を有していても良く、動作モードとして再生モードが設定された場合に、制御部２１６は、再生モードに対応した処理を行う。

また、ステップＳ１０１において、撮像装置１の動作モードが撮影モードであると判定した場合に、制御部２１６は、撮像素子２０２を動作させてスルー画表示用の画像データを取り込み、この取り込んだ画像データに基づいてスルー画表示を行う（ステップＳ１０１）。スルー画表示動作として、制御部２１６は、画像データの取り込み動作によって記憶部に記憶させた画像データを画像処理部２０６に入力する。そして、制御部２１６は、画像処理部２０６において表示用の画像処理がなされた画像データを表示部２０８に入力することにより、撮像素子２０２を介して得られる画像データに対応した画像を表示部２０８に表示させる。このようなスルー画表示動作によって表示部２０８に表示された画像により、ユーザは、撮影構図等を確認することが可能である。

スルー画表示の後、制御部２１６は、取り込んだ画像データの中に、動体が存在しているか否かを判定する（ステップＳ１０２）。例えば、複数フレームに亘って取得した画像データにおける被写体をそれぞれ検出し、該検出した被写体の画像データ上での移動量が所定以上の移動量である場合に、その検出した被写体が動体であると、即ち動体が存在していると判定する。

ステップＳ１０２において、動体が存在していると判定した場合に、制御部２１６は、動体フラグをセットする（ステップＳ１０３）。その後、制御部２１６は、処理をステップＳ１０４に移行させる。動体フラグは、動体が存在しているか否かを識別するためのフラグである。なお、動体フラグをセットしたときに、動体の位置情報も併せて記憶部に記憶させる。また、ステップＳ１０２において、動体が存在していないと判定した場合に、制御部２１６は、ステップＳ１０３の処理をスキップして処理をステップＳ１０４に移行させる。

ステップＳ１０２又はステップＳ１０３の後、制御部２１６は、撮影指示がなされたか否かを判定する（ステップＳ１０５）。ここでは、例えばレリーズボタンが押された場合に撮影指示がなされたと判定する。ステップＳ１０５において、撮影指示がなされたと判定していない場合に、制御部２１６は、処理をステップＳ１０１に戻す。この場合、スルー画表示が継続される。

ステップＳ１０５において、撮影指示がなされたと判定した場合に、制御部２１６は、画像データ中の動体部分の輝度が所定輝度以下であるか否かを判定する（ステップＳ１０６）。この所定輝度は、例えばノイズレベルであるとする。ノイズレベルとは、画像データのレベルがノイズと区別できなくなる程度の低輝度レベルである。

ステップＳ１０６において、動体部分が所定輝度以下でない（動体フラグがセットされていない場合も含む）と判定した場合に、制御部２１６は、撮影レンズ１０２のピント合わせを行う（ステップＳ１０７）。ステップＳ１０７におけるピント合わせとしては、山登り方式を用いる。山登り方式においては、山登りＡＦ用の撮像動作（レンズスキャン）に伴って取得される画像データから、画像データのコントラストを評価するための評価値を演算し、この演算した評価値が最大となるようにフォーカスレンズ１０２ａを駆動することによって、撮影レンズ１０２のピント合わせを行う。

ピント合わせの後、制御部２１６は、測光処理を行って露出量を決定する（ステップＳ１０８）。ステップＳ１０８の測光処理において、制御部２１６は、撮像素子２０２を動作させ、撮像素子２０２からＡ／Ｄ変換部２０４を介して得られた画像データから被写体輝度データを演算する。そして、制御部２１６は、測光処理の結果として得られた被写体輝度データにより、所定の高輝度レベル（例えば撮像素子２０２の飽和レベル）の被写体の露出量が予め定められた適正露出量になるように、絞り１０８の絞り値並びに撮像素子２０２の露出時間及び感度を決定する。同様に、制御部２１６は、測光処理の結果として得られた被写体輝度データにより、所定の低輝度レベル（例えばノイズレベル）の被写体の露出量が予め定められた適正露出量になるように、絞り１０８の絞り値並びに撮像素子２０２の露出時間及び感度を決定する。

ステップＳ１０９の測光処理の後、制御部２１６は、測光処理の結果を用いて画像データ内の高輝度の被写体に対して露出を合わせた撮影動作を行う（ステップＳ１０９）。この撮影動作において、制御部２１６は、高輝度レベルの被写体用に決定した露出量が得られるように、レンズ制御部１１４に対して絞り１０８の駆動を指示するとともに、撮像素子２０２による撮像動作を実行させる。そして、制御部２１６は、撮像素子２０２を介して得られた画像データを画像処理部２０６に入力する。その後、制御部２１６は、画像処理部２０６において記録用の画像処理がなされた画像データを、画像ファイルとして記録部２１０に記録する。ここで、以後の説明においては、ステップＳ１０９の撮影動作によって得られた画像データを、明部撮影画像データと言う。また、ステップＳ１０９の撮影動作を明部撮影動作と言う。

続いて、制御部２１６は、測光処理の結果を用いて画像データ内の低輝度の被写体に対して露出を合わせた撮影動作を行う（ステップＳ１１０）。この撮影動作において、制御部２１６は、低輝度レベルの被写体用に決定した露出量が得られるように、レンズ制御部１１４に対して絞り１０８の駆動を指示するとともに、撮像素子２０２による撮像動作を実行させる。そして、制御部２１６は、撮像素子２０２を介して得られた画像データを画像処理部２０６に入力する。その後、制御部２１６は、画像処理部２０６において記録用の画像処理がなされた画像データを、画像ファイルとして記録部２１０に記録する。ここで、以後の説明においては、ステップＳ１１０の撮影動作によって得られた画像データを、暗部撮影画像データと言う。また、ステップＳ１１０の撮影動作を暗部撮影動作と言う。

暗部撮影動作の後、制御部２１６は、２回の撮影動作によって得られたそれぞれの画像ファイルから明部撮影画像データ及び暗撮影画像データを読み出して画像処理部２０６に入力する。画像処理部２０６は、入力された２つの画像データを合成して合成画像データを生成する。そして、制御部２１６は、合成画像データを画像ファイルとして記録部２１０に記録する（ステップＳ１１１）。その後に、制御部２１６は、図２の処理を終了させる。ここで、ステップＳ１１１の合成の際には、シーン中の各被写体の露出が適正となるようにする。即ち、低輝度被写体の部分には暗部撮影画像データを合成し、高輝度被写体の部分には明部撮影画像データを合成する。低輝度でも高輝度でもない部分については何れの画像データを合成しても良い。この合成については後でさらに説明する。

また、ステップＳ１０６において、動体部分が所定輝度以下であると判定した場合に、制御部２１６は、複数回（図２の例では２回）のレンズスキャンを行う（ステップＳ１１２、Ｓ１１３）。それぞれのレンズスキャンにおいて、制御部２１６は、フォーカスレンズ１０２ａを駆動させながら、撮像素子２０２による連続撮像を実行させ、この連続撮像に伴って取得される画像データから、画像のコントラストを評価するための評価値を算出し、この算出した評価値が最大となるフォーカスレンズ１０２ａのレンズ位置を、第１のピント位置として記憶部に記憶させておく。即ち、本実施形態では、ステップＳ１１２とステップＳ１１３とで２つの第１のピント位置が記憶部に記憶される。

２回のレンズスキャンの後、制御部２１６は、測光処理を行って露出量を決定する（ステップＳ１１４）。ステップＳ１１４の測光処理においては、２回の測光処理を行う。
第１の測光処理として、制御部２１６は、撮像素子２０２を連続動作させ、この撮像素子２０２の連続動作によって得られる複数フレームの画像データを平均化した画像データから被写体輝度データ（第２の被写体輝度データ）を演算する。低輝度被写体は、撮像素子２０２を介して得られる画像データの信号レベルがノイズレベルとなり易い。第１の測光処理においては、低輝度被写体の部分に発生しているノイズを複数フレームの画像データを平均化することによって低減させる。一般に、ｍフレームの画像データを平均化することにより、ノイズ量をルート１/ｍにできることが知られている。
また、第２の測光処理として、制御部２１６は、撮像素子２０２を１回動作させ、この撮像素子２０２の１回の動作によって得られる画像データから被写体輝度データ（第２の被写体輝度データ）を演算する。前述の第１の測光処理においては、低輝度の被写体の測光精度については改善されるのに対し、平均化を行うことによって輝度の時間変化に追従し難くなる。例えば、画像内のある部分の輝度が急激に低輝度から高輝度に変化したとき、その部分に対して平均化を行ってしまうと、高輝度のデータと低輝度のデータとが平均化されることになるので、現フレームの実際の輝度よりも低輝度のデータが得られてしまう。このような低輝度のデータを用いて露出を制御してしまうと大きな誤差が生じる。したがって、高輝度被写体に対する測光処理として、１回の撮像動作によって得られた画像データを用いる第２の測光処理を行う。ここで、第１の測光処理の最後の撮像動作で得られた画像データを第２の測光処理にも利用することができる。勿論、第２の測光処理用の画像データを別途に取得しても良い。

ステップＳ１１４の測光処理の後、制御部２１６は、ステップＳ１１４の測光処理にかかった時間（測光時間）、測光処理の完了から明部撮影動作の開始までにかかる時間（撮影時間）に基づいて、明部撮影動作の時点で駆動しておくべきフォーカスレンズ１０２ａのレンズ位置を第２のピント位置として予測する（ステップ１１５）。ステップＳ１１５の予測の詳細については後述する。第２のピント位置の予測後、制御部２１６は、予測した第２のピント位置にフォーカスレンズ１０２ａが駆動されるよう、レンズ制御部１１４に対して指示する（ステップＳ１１６）。その後、制御部２１６は、処理をステップＳ１０９に移行させて明部撮影動作及び暗部撮影動作を実行する。

図３（ａ）は、図２における低輝度の動体に対する撮影動作（図２のステップＳ１０６をＹｅｓに分岐する場合）までの撮像素子２０２の動作について示したタイミングチャートである。また、図３（ｂ）は、図３（ａ）の撮像素子２０２の動作に従って得られる画像データを示す図である。

図３（ａ）に示すように、電源オン等によって図２の処理が開始されると、予め定められたフレームレートに従って撮像素子２０２によるスルー画表示用の撮像動作が行われる。

スルー画表示中にユーザによって撮影開始が指示されると、２回のレンズスキャン（レンズスキャン１、レンズスキャン２）が行われる。それぞれのレンズスキャンにおいては、フォーカスレンズ１０２ａを所定方向に駆動させながら、レンズスキャン用の連続撮像動作が行われる。ここで、レンズスキャン用の撮像動作のフレームレートは、スルー画表示用の撮像動作のフレームレートと異ならせて良い。図３（ａ）の例では、フォーカスレンズ１０２ａの駆動方向は、例えば無限側（遠距離被写体に対してピントの合う側）から至近側（近距離の被写体に対しピントの合う側）に向かう方向としている。

レンズスキャン動作用の撮像動作によって逐次得られる画像データから、画像データのコントラストを評価するための評価値が算出される。制御部２１６は、評価値の最大値を検出したときに（評価値が増加から減少に転じたときに）、評価値の最大値に対応したフォーカスレンズ１０２ａのレンズ位置を第１のピント位置として記憶部に記憶させる。前述したように、本実施形態では、レンズスキャン１、レンズスキャン２のそれぞれで第１のピント位置が検出される。例えば、被写体が撮像装置１に対して近づくように等速移動しているとすると、レンズ位置の変化に対して評価値が図３（ａ）に示すようにして変化する。この場合、レンズスキャン２においては、レンズスキャン１よりも至近側のレンズ位置において評価値が最大となる。

以後の説明において、レンズスキャン１によって検出された第１のピント位置をＬＤ１、レンズスキャン２によって検出された第１のピント位置をＬＤ２とする。また、ＬＤ１が検出された時刻をＴ０、ＬＤ２が検出された時刻をＴ１とする。例えば制御部２１６が、時刻Ｔ０及びＴ１を計測する。

２回のレンズスキャン動作の後、測光処理用の撮像動作が行わる。前述したように、低輝度の動体に対しては第１の測光処理用の撮像と第２の測光処理用の撮像とが行われる。ただし、図３（ａ）においては、第１の測光処理用における最後の撮像と第２の測光処理用の撮像とを兼用させる例を示している。ここで、測光処理において、制御部２１６は、レンズスキャン２において第１のピント位置ＬＤ２が検出された時刻Ｔ１から測光処理が完了するのに要する時間を測光時間として計測している。

測光処理の後、予測演算が行われ、次回の撮像動作である明部撮影動作用の撮像動作の際に駆動しておくべきフォーカスレンズ１０２ａのレンズ位置ＬＤ３が第２のピント位置として演算される。

図４を参照して予測演算について説明する。ここで、図４は、図３（ａ）の一連の動作中のピント位置の時間変化を示している。図４の横軸は、ＬＤ１が検出されてからの経過時間を示している。また、図４の縦軸は、ピント位置を示し、図４の正方向が至近側である。

本実施形態においては、複数回（図２の例では２回）のレンズスキャン動作によって検出された複数の第１のピント位置ＬＤ１、ＬＤ２の時間変化に従って第２のピント位置ＬＤ３を予測する。ここで、フォーカスレンズを無限側から至近側に向けて駆動している間に被写体である動体が撮像装置１に近づくように等速運動したと仮定すると、図４に示すように、時間に対してピント位置が線形に変化する。ここで、ＬＤ１、ＬＤ２、Ｔ０、Ｔ１が既知であるので、図４の直線の傾きαは、以下の（式１）により算出することが可能である。
α＝（ＬＤ２−ＬＤ１）/（Ｔ１−Ｔ０） （式１）
したがって、動体が等速運動をしていたならば、図３（ａ）に示す明部撮影動作の開始時刻Ｔ２におけるピント位置であるピント位置ＬＤ３は、以下の（式２）に示す補間式より算出することが可能である。
ＬＤ３＝α×（Ｔ２−Ｔ０） （式２）
ここで、時刻Ｔ２は、例えば制御部２１６によって算出される。図３（ａ）からも明らかなように、時刻Ｔ２は、時刻Ｔ１から、測光処理に要した時間と、ピントチェックに要する時間と、ピントチェックが完了してから明部撮影動作が開始されるまでに要する時間と、を加えた時刻である。詳細は後述するが、図３（ａ）に示すように、ピントチェック時には１回の撮像を行う。この撮像に要する時間は、ピントチェックに要する時間とほぼ等しい。また、ピントチェックが完了してから明部撮影動作が開始されるまでに要する時間は、第２のピント位置ＬＤ３にフォーカスレンズ１０２ａを駆動するのに要する時間と絞り１０８の駆動に要する時間の合計である。この時間は、例えば予め定めておく。

予測演算の後、フォーカスレンズ１０２ａが、第２のピント位置ＬＤ３まで駆動される。そして、ピントチェックが行われる。ピントチェックにおいては、１回の撮像が行われ、この撮像によって得られた画像データから、画像データのコントラストを評価するための評価値が算出される。制御部２１６は、ピントチェック用に算出した評価値とピント位置ＬＤ２において得られた評価値とを比較し、両者の差が所定以内かを判定することによって、ピント位置ＬＤ３において正しく被写体に合焦しているかを判定する。正しく合焦していない場合には、その旨を例えばユーザに対して告知する。この場合であっても明部撮影動作及び暗部撮影動作を実行するようにしても良い。また、ピントチェックを省略しても良い。

ピントチェックの後、測光処理の結果を用いて、シーンにおける高輝度の被写体に対して露出を合わせた明部撮影動作が実行される。この撮影動作に続いて、測光処理の結果を用いて、シーンにおける低輝度の被写体に対して露出を合わせた暗部撮影動作が実行される。図３（ａ）に示すように、この２回の撮影動作は、露出時間が異なっている。これは、低輝度被写体の露出を適正にするためには高輝度被写体に比べて露出時間を長くする必要があるためである。

図５は、画像合成について示す図である。
前述したように、明部撮影動作においては、第２の測光処理の結果に基づいて撮影動作が行われる。図３（ａ）にも示すように、第２の測光処理は、明部撮影動作の直前に行われるものである。このようにして撮影動作の直前に得られた画像データを用いて測光処理を行うことにより、測光処理から実際の撮影動作までのタイムラグを最小とすることが可能である。これにより、測光処理から撮影動作までの被写体輝度データの変化を最小とすることができる。この第２の測光処理は、高輝度の被写体に対する測光精度を第１の測光処理よりも向上させることが可能である。

一方、明部撮影動作に続く暗部撮影動作においては、第１の測光処理の結果に基づいて撮影動作が行われる。図３（ａ）にも示すように、第１の測光処理は、複数回の撮像を行い、この複数回の撮像によって得られた画像データを平均化処理してから被写体輝度データを演算している。したがって、第１の測光処理は、低輝度の被写体に対する測光精度を第２の測光処理よりも向上させることが可能である。

画像合成においては、明部撮影画像データにおいて露出を合わせている高輝度被写体の部分（図５のすすきの部分）と暗部撮影画像データにおいて露出を合わせている低輝度被写体の部分（図５の人物の部分）とを合成して１つの画像データを得る。このようにして画像合成を行うことにより、高輝度被写体と低輝度被写体の両方の露出が適正な、広ダイナミックレンジの画像データを得ることが可能である。

ここで、明部撮影画像データの撮影動作と暗部撮影画像データの撮影動作との間に被写体の移動等がある可能性がある。したがって、明部撮影画像データと暗部撮影画像データとの間の被写体の動きを例えば周知の動きベクトル検出によって検出し、被写体の動きが検出された場合にはその動き量だけ明部撮影画像データと暗部撮影画像データとの何れかをシフトさせてから合成することが望ましい。

以上説明したように、本実施形態においては、撮影動作の直前に測光処理を行うようにしているので、動きのある被写体に対しても測光精度を確保することが可能である。また、本実施形態では、撮影動作の直前に測光処理を行うために、レンズスキャンを測光処理の前に行うようにしている。このため、レンズスキャンの完了時点から被写体が移動してしまうとフォーカスレンズ１０２ａが正しく被写体に合焦しない可能性がある。これに対し、本実施形態では、レンズスキャンの完了から明部撮影動作の開始までにかかる時間を算出し、この算出した時間と過去の複数回のレンズスキャンの結果によって得られた複数の第１のピント位置の時間変化とに基づいて明部撮影動作の時点で駆動すべきフォーカスレンズ１０２ａのレンズ位置ＬＤ３を予測するようにしている。これにより、ＡＦ精度も確保することが可能である。

低輝度の動体を被写体として撮影する際には、低輝度被写体の部分の画像データがノイズレベルとなり易い。このノイズを低減するための手法として、複数フレームの画像データを平均化処理する手法を用いると、ノイズが低減される反面、撮影動作の完了までに時間がかかるようになる。この時間の間に被写体が移動してＡＦ精度が大きく低下し易い。これに対し、本実施形態では、平均化する画像データのフレーム数が増加したとしてもＡＦ精度を維持することが可能である。

ここで、図３（ａ）は、フォーカスレンズ１０２ａの駆動方向を、無限側から至近側に向かう方向としている。しかしながら、フォーカスレンズ１０２ａの駆動方向を、至近側から無限側に向かう方向としても（式１）、（式２）の関係を適用できる。ただし、フォーカスレンズ１０２ａの駆動方向を、至近側から無限側に向かう方向とした場合、被写体である動体が撮像装置１に遠ざかるように等速運動したときに、図４に示すように、時間に対してピント位置が線形に変化する。

また、図４は、動体が等速運動をしていると仮定した場合の関係である。動体が等速運動をしていない場合には、時間に対してピント位置が線形に変化するとは限らない。このため、３回以上のレンズスキャン動作によって検出された複数の第１のピント位置からラグランジュ補間等の所定の補間演算を行ってＬＤ３を求めるようにしても良い。

さらに、図２の例では、暗部撮影動作の前にはピント合わせを行わない例を示している。これは、明部撮影動作が短時間で終了するので、この間の被写体の移動が少ないと仮定しているためである。これに対し、暗部撮影動作のときのピント位置ＬＤ４をさらに予測するようにしても良い。この場合には、明部撮影動作の開始時刻Ｔ２から暗部撮影動作の開始時刻Ｔ３までの再撮影時間を考慮した以下の（式３）によってＬＤ４を算出する。

ＬＤ４＝α×（Ｔ３−Ｔ０） （式３）
また、本実施形態においては、被写体が低輝度の動体である場合には、２回の測光処理が行われる。これは、明部撮影動作と暗部撮影動作とを実行して合成画像データを得るためである。合成画像データを得る必要がなければ、必ずしも２回の測光処理と２回の撮影動作とを行う必要はない。

［変形例］
以下、本実施形態のさらなる変形例について説明する。図２及び図３に示した例では、予測演算のために２回のレンズスキャンを行うようにしている。これに対し、例えばスルー画表示中にもコントラスト方式のＡＦ制御を行うのであれば、スルー画表示中のフォーカスレンズ１０２ａの駆動によって検出されたピント位置を第１のピント位置として利用することができる。即ち、スルー画表示中に２つ以上の第１のピント位置を検出できた場合には、撮影開始指示後のレンズスキャンは不要である。

以下の変形例は、この考え方を連写の場合に適用したものである。図６は、本変形例における撮像素子２０２の動作を示すタイミングチャートである。ここで、図６（ａ）は、連写の１回目までの撮像素子２０２の動作を示している。また、図６（ｂ）は、連写の２回目以後の撮像素子２０２の動作を示している。

図６（ａ）に示すように、スルー画表示用の撮像動作が行われる。ここで、図６（ａ）では図示を省略しているが、スルー画表示中にフォーカスレンズ１０２ａの駆動を行っても良い。フォーカスレンズ１０２ａが合焦した場合には、そのときのレンズ位置が第１のピント位置として記憶部に記憶される。

スルー画表示中にユーザによって撮影開始が指示されると、山登り方式のＡＦが行われる。ここで、本変形例においては、山登り方式のＡＦの結果として検出されたピント位置が第１のピント位置として記憶部に記憶される。なお、山登り方式のＡＦ中のレンズスキャンによって得られた画像データに基づいてスルー画表示を行うようにしても良い。

ＡＦ動作の後、測光処理用の撮像動作が行わる。前述したように、低輝度の動体に対しては第１の測光処理用の撮像と第２の測光処理用の撮像とが行われる。測光処理の後、予測演算が行われ、次回の撮像動作である明部撮影動作用の撮像動作の際に駆動しておくべきフォーカスレンズ１０２ａのレンズ位置ＬＤ３が第２のピント位置として演算される。なお、スルー画表示中にフォーカスレンズ１０２ａの駆動を行っていない場合には、連写の１回目における予測演算は省略される。

予測演算の後、フォーカスレンズ１０２ａが、第２のピント位置ＬＤ３まで駆動される。そして、ピントチェックが行われる。ピントチェックも図３（ａ）を参照して説明したのと同様にして行われる。

ピントチェックの後、測光処理の結果を用いて、シーンにおける高輝度の被写体に対して露出を合わせた明部撮影動作が実行される。この撮影動作に続いて、測光処理の結果を用いて、シーンにおける低輝度の被写体に対して露出を合わせた暗部撮影動作が実行される。

連写の２回目以後は、図６（ｂ）に示すようにして再ＡＦ用の撮像動作（レンズスキャン）が行われる。この場合も図６（ａ）で示したレンズスキャンと同様にして評価値の最大値に対応したフォーカスレンズ１０２ａのレンズ位置が第１のピント位置として記憶部に記憶される。なお、再ＡＦ用のレンズスキャンによって得られた画像データに基づいてスルー画表示を行うようにしても良い。

再ＡＦ用のレンズスキャン動作の後、測光処理用の撮像動作が行わる。図６（ａ）で示したのと同様に、低輝度の動体に対しては第１の測光処理用の撮像と第２の測光処理用の撮像とが行われる。

レンズスキャン動作の後、測光処理用の撮像動作が行わる。前述したように、低輝度の動体に対しては第１の測光処理用の撮像と第２の測光処理用の撮像とが行われる。測光処理の後、予測演算が行われ、次回の撮像動作である明部撮影動作用の撮像動作の際に駆動しておくべきフォーカスレンズ１０２ａのレンズ位置ＬＤ３が第２のピント位置として演算される。ここで、ピント位置の変化は、１回前のレンズスキャン時に記憶された第１のピント位置と今回のレンズスキャン時に記憶された第１のピント位置とを用いて算出する。

予測演算の後、フォーカスレンズ１０２ａが、第２のピント位置ＬＤ３まで駆動される。そして、ピントチェックが行われる。ピントチェックも図３（ａ）を参照して説明したのと同様にして行われる。

ピントチェックの後、測光処理の結果を用いて、シーンにおける高輝度の被写体に対して露出を合わせた明部撮影動作が実行される。この撮影動作に続いて、測光処理の結果を用いて、シーンにおける低輝度の被写体に対して露出を合わせた暗部撮影動作が実行される。以後、連写が終了するまで図６（ｂ）に示す動作が繰り返される。

図７は、本変形例に係る撮像装置１の撮影動作を示すフローチャートである。ここで、図７の動作は、制御部２１６が主体となって行われる。
例えば撮像装置１の電源がオンされる等して図７の動作が開始される。図７の動作の開始後、制御部２１６は、撮像装置１の撮影モードが連写モードであるか否かを判定する（ステップＳ２０１）。本変形例では、撮像装置１が、撮影モードの１つとして連写モードを少なくとも有している。連写モードは、１回の撮影指示に応答して複数回の撮影動作を実行して複数の画像からなる連写画像を得るためのモードである。ステップＳ２０１において、撮像装置１の撮影モードが連写モードでないと判定した場合に、制御部２１６は、現在の動作モードに応じた動作を行う。例えば、撮像装置１は、撮影モードとして単写モード等を有していても良く、撮影モードとして単写モードが設定された場合に、制御部２１６は、図２で示した処理を行う。

また、ステップＳ２０１において、撮像装置１の撮影モードが連写モードであると判定した場合に、制御部２１６は、撮像素子２０２を動作させてスルー画表示用の画像データを取り込み、この取り込んだ画像データに基づいてスルー画表示を行う（ステップＳ２０２）。スルー画表示動作は図２で説明したものとほぼ同様である。ただし、本変形例においては、スルー画表示用に取り込んだ画像データを記憶部に記憶させておく。

スルー画表示動作の後、制御部２１６は、撮影指示がなされたか否かを判定する（ステップＳ２０３）。ステップＳ２０３において、撮影指示がなされたと判定していない場合に、制御部２１６は、処理をステップＳ２０１に戻す。この場合、スルー画表示が継続される。

ステップＳ２０３において、撮影指示がなされたと判定した場合に、制御部２１６は、スルー画表示用として取り込んだ画像データから算出された評価値のうち、画像のコントラストを評価するための評価値を算出し、この算出した評価値が最大となるフォーカスレンズ１０２ａのレンズ位置を、第１のピント位置ＬＤ（ｍ）として記憶部に記憶させる（ステップＳ２０４）。

第１のピント位置ＬＤ（ｍ）の取得後、制御部２１６は、測光処理を行って露出量を決定する（ステップＳ２０５）。ステップＳ２０５の測光処理は、図２のステップＳ１１４の測光処理と同様にして行う。

測光処理の後、制御部２１６は、山登り方式のＡＦにより、フォーカスレンズ１０２ａのピント合わせを行う（ステップＳ２０６）。なお、スルー画表示中に２つ以上の第１のピント位置を記憶させている場合には、ステップＳ２０６において図２のステップＳ１１５〜Ｓ１１６で示した予測演算を用いたピント合わせを行うようにしても良い。

ピント合わせの後、制御部２１６は、コントラストが変化したか否かを判定する（ステップＳ２０７）。ステップＳ２０７において、制御部２１６は、撮像素子２０２を動作させて画像データを取り込み、この取り込んだ画像データから算出された評価値が、直前に得られた評価値に対して所定以上の変化をしたか否かを判定する。所定以上の変化をした場合に、制御部２１６は、コントラストが変化したと判定する。

ステップＳ２０７において、コントラストが変化していないと判定した場合に、制御部２１６は、測光処理の結果を用いて、画像データ内の高輝度の被写体に対して露出を合わせた撮影動作（明部撮影動作）及び画像データ内の低輝度の被写体に対して露出を合わせた撮影動作（暗部撮影動作）を行う（ステップＳ２０８）。明部撮影動作及び暗部撮影動作は前述したのと同様に行われる。

撮影動作の後、制御部２１６は、連写を終了するか否かを判定する（ステップＳ２０９）。例えば、予め設定された回数の撮影動作が実行された場合に連写を終了すると判定する。連写の回数は、例えばユーザが任意に設定できるものである。ステップＳ２０９において、連写を終了しないと判定した場合に、制御部２１６は、処理をステップＳ２０４に戻す。

また、ステップＳ２０９において、連写を終了すると判定した場合に、制御部２１６は、連写によって得られた一連の画像データを画像ファイルとして記録部２１０に記録する（ステップＳ２１０）。一連の画像データ別個の画像ファイルに記録しても良いし、一連の画像データを組画像として１つの画像ファイルに記録しても良い。

また、ステップＳ２０７において、コントラストが変化したと判定した場合に、制御部２１６は、ステップＳ２０９と同様にして連写を終了するか否かを判定する（ステップＳ２１１）。ステップＳ２１１において、連写を終了すると判定した場合に、制御部２１６は、処理をステップＳ２１０に移行させて連写によって得られた一連の画像データを画像ファイルとして記録部２１０に記録する。

ステップＳ２１１において、連写を終了しないと判定した場合に、制御部２１６は、レンズスキャンを行い、レンズスキャンの結果から、評価値が最大となるフォーカスレンズ１０２ａのレンズ位置を、第１のピント位置ＬＤ（ｍ＋１）として記憶部に記憶させる（ステップＳ２１２）。

第１のピント位置ＬＤ（ｍ＋１）の取得後、制御部２１６は、再測光処理を行って露出量を決定する（ステップＳ２１３）。ステップＳ２１３の再測光処理も、図２のステップＳ１１４の測光処理と同様にして行う。

測光処理の後、制御部２１６は、図２のステップＳ１１５と同様にして次回の撮影動作（次回の明部撮影動作）の時点で駆動しておくべきフォーカスレンズ１０２ａのレンズ位置を第２のピント位置として予測する（ステップ２１４）。ここで、ステップＳ２１４においては、今回のレンズスキャンによって得られた第１のピント位置ＬＤ（ｍ＋１）と前回のレンズスキャンによって得られた第１のピント位置ＬＤ（ｍ）とを用いて前述の（式２）のαを算出する点が異なる。第２のピント位置の予測後、制御部２１６は、予測した第２のピント位置にフォーカスレンズ１０２ａが駆動されるよう、レンズ制御部１１４に対して指示する（ステップＳ２１５）。その後、制御部２１６は、再測光処理の結果に基づいて明部撮影動作及び暗部撮影動作を実行する（ステップＳ２１６）。撮影動作の後、制御部２１６は、ｍに１を加える（ステップＳ２１７）。その後、制御部２１６は、処理をステップＳ２０７に戻す。

以上説明した本変形例によれば、連写に本実施形態の技術を適用することにより、撮影動作の前に常に２回のレンズスキャンを行う必要がない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像装置、１００…交換レンズ、１０２…撮影レンズ、１０２ａ…フォーカスレンズ、１０２ｂ…ズームレンズ、１０４…レンズ駆動部、１０６…レンズ位置検出部、１１０…絞り駆動部、１１２…レンズ情報記憶部、１１４…レンズ制御部、１１６…通信部、２００…本体、２０２…撮像素子、２０３…ゲイン調整部、２０４…Ａ/Ｄ変換部、２０６…画像処理部、２０８…表示部、２１０…記録部、２１２…操作部、２１４…タッチ操作部、２１６…制御部、２１８…通信部

Claims (6)

1. 被写体を撮像して複数の画像データを取得する撮像素子と、
   前記撮像素子に前記被写体の像を結像させる撮影レンズと、
   前記撮影レンズのレンズ位置を変化させながら前記撮像素子による複数回の前記撮像を実行させ、複数回の前記撮像によって取得された複数の前記画像データのコントラストを評価し、該コントラストの評価の結果、前記コントラストが最大となる前記撮影レンズのレンズ位置を第１のピント位置として検出するコントラスト評価部と、
   前記画像データから前記被写体の輝度を示す被写体輝度データを算出する測光部と、
   前記コントラスト評価部によって複数回検出された複数の前記第１のピント位置の時間変化と、前記被写体輝度データの算出に要した時間と、前記被写体輝度データの算出から次回の前記撮像までに要する時間と、に基づいて、次回の前記撮像の時点で駆動すべき前記撮影レンズのレンズ位置である第２のピント位置を予測する予測部と、
   前記第２のピント位置に前記撮影レンズを駆動するように制御する撮像制御部と、
   を具備することを特徴とする撮像装置。
2. 前記測光部は、複数回の前記撮像のうちの１回の撮像により取得された画像データに基づく第１の被写体輝度データを算出するとともに、複数回の前記撮像により取得された複数の画像データを平均化処理した画像データに基づく第２の被写体輝度データを算出し、
   前記被写体輝度データの算出に要した時間は、前記第１の被写体輝度データを算出するまでに要した時間と前記第２の被写体輝度データを算出するまでに要した時間との合計時間であることを特徴とする請求項１に記載の撮像装置。
3. 次回の前記撮像は、前記第１の被写体輝度データに基づいて高輝度の被写体に対して前記撮像素子の露出を合わせた第１の撮像と、前記高輝度の被写体に対して相対的に低輝度の被写体に対して前記撮像素子の露出を合わせた第２の撮像と、を含み、
   前記第１の撮像により得られた画像データと前記第２の撮像により得られた画像とを合成する画像合成部をさらに具備することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記予測部は、複数の前記第１のピント位置の時間変化と、前記被写体輝度データの算出に要した時間と、前記被写体輝度データの算出から前記第１の撮像までに要する時間と、に基づいて前記第１の撮像の時点で駆動すべき前記撮影レンズのレンズ位置を予測するとともに、複数の前記第１のピント位置の時間変化と、前記第１の撮像から前記第２の撮像までに要する時間と、に基づいて前記第２の撮像の時点で駆動すべき前記撮影レンズのレンズ位置を予測することを特徴とする請求項３に記載の撮像装置。
5. 複数回の前記撮像は、スルー画表示動作用の撮像に含まれることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 複数回の前記撮像は、連写動作用の撮像に含まれることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。

Images