JP2022128228A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ライブビュー表示中にフリッカーを検出する場合の、検出精度の低下を抑制できる撮像装置を提供する。【解決手段】レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、撮像素子から出力される画像からフリッカーを検出する検出部と、撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、レンズに対し、撮像素子が受光する光量の変化を引き起こす駆動操作に応じたレンズの駆動が行われる場合、撮像期間においてレンズの駆動を調整する制御部と、を備える。【選択図】 図３

Description

本発明は、撮像装置におけるフリッカーを検出する技術に関するものである。

近年のデジタルカメラの高ＩＳＯ化（高感度化）に伴い、フリッカーの発生する人工光源下でも高速シャッターの撮影を行えるようになってきている。高速シャッターは、室内スポーツの撮影などでブレのない写真を撮影できるメリットがある一方、フリッカー光源下での撮影では、フリッカーの影響により、フレーム毎、もしくは１フレーム内でも、画像の露出や色のムラが発生してしまうことがある。

このような問題に対して、フリッカーを検出し、明暗の変化が最も少ない、フリッカーのピーク位置での露光を行うことにより、フリッカーの影響を軽減する方法が知られている。

このようなフリッカーの影響を軽減する手法を用いるには、フリッカー及びその周波数を検出することが必要である。フリッカーおよびその周波数の検出に関しては、例えば特許文献１に開示されている技術が知られている。特許文献１では、一定の周期で測光を複数回行い、得られた複数回の測光値のうち、フリッカーの同相に近い第１の間隔で取得された測光値から得られる第１の評価値と、フリッカーの逆相に近い第２の間隔で取得された測光値から得られる第２の評価値とから、フリッカーの有無と周波数を判定する例が示されている。

また、特許文献２には、フリッカー検出動作を、いわゆるライブビュー表示中に、ライブビュー表示を停止させることなく実施することを可能にした撮像装置が開示されている。

特開２０１７－１１３５２号公報 特開２０２０－８０５１２号公報

しかしながら、上述の特許文献１に開示された従来技術では、フリッカー検出のための画像の露光時に、絞りなどの露光条件が変化せず、フリッカー光源による被写体の明るさのみが変化することを前提としている。この前提条件が満たされない場合は、フリッカー検出の性能は低下する。

一方で、特許文献２に開示された技術では、ライブビュー表示中は、露出やピントを絶えずユーザーにとって好ましい状態に制御する必要がある。そのため、ライブビュー表示中にフリッカー検出動作を実施しようとすると、ライブビュー表示中の露出やピントの変化に影響され、フリッカー検出ための画像の露光条件が変化してしまうという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライブビュー表示中にフリッカーを検出する場合の、検出精度の低下を抑制できる撮像装置を提供することである。

本発明に係わる撮像装置は、レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、前記撮像素子から出力される画像からフリッカーを検出する検出手段と、前記撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、前記レンズに対し、前記撮像素子が受光する光量の変化を引き起こす駆動操作に応じた前記レンズの駆動が行われる場合、前記撮像期間において前記レンズの駆動を調整する制御手段と、を備えることを特徴とする。

本発明によれば、ライブビュー表示中にフリッカーを検出する場合の、検出精度の低下を抑制できる撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルミラーレスカメラの概略構成を示す図。 ライブビュー中における撮像素子の駆動を説明する図。 第１の実施形態におけるライブビュー中のフリッカー検出動作を示すフローチャート。 フリッカー検出用画像の取得タイミングと測光出力の関係を示す図。 フリッカーの存在を判定する方法を示す図。 フリッカー検出用画像の蓄積時に絞りを駆動した際の測光出力を示す図。 第２の実施形態におけるライブビュー中のフリッカー検出動作を示すフローチャート。 第３の実施形態におけるライブビュー中のフリッカー検出動作を示すフローチャート。 第１の実施形態におけるライブビュー中のフリッカー検出動作を示すフローチャート。 第１の実施形態におけるライブビュー中のフリッカー検出動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本発明は、レンズから取り込まれる光量（撮像素子が受光する光量）が変化するような撮像制御動作（例えばレンズにおける絞り駆動、フォーカシングレンズ駆動、ズームレンズ駆動）がフリッカー検出にとって外乱となることを課題としている。以下の説明では、いずれの実施形態においても、上記の撮像制御動作（レンズ構成部材の駆動操作）の代表として、レンズの絞り駆動がフリッカー検出に影響を与える例について記載している。しかし、これは説明を分かりやすくするためであり、実際にはレンズの絞り駆動に限ったことではなく、その他の撮像制御動作についても同様の手法を用いることができる。

また、いずれの実施形態でも、撮像装置として、いわゆるデジタルミラーレスカメラを例に挙げて説明する。しかし、本発明はこれに限定されるものではなく、カメラ機能を備える各種の電子機器であってもよい。例えば、本発明に係る撮像装置は、携帯電話やスマートフォン等のカメラ機能付き携帯通信端末、カメラ機能付き携帯型コンピュータ、カメラ機能付き携帯ゲーム機などであってもよい。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルミラーレスカメラ（以下、カメラと呼ぶ）の概略構成を示す図である。

図１において、カメラは、大きく分けてカメラ本体１００と、撮影レンズ２００とから構成され、両者はレンズマウント機構１１０を介して、機械的、電気的に接続される。なお、本実施形態では、被写体像を結像させる撮影レンズ２００は、カメラ本体１００に対して脱着自在に構成されているが、カメラ本体１００と一体となっていてもよい。

まず、カメラ本体１００について説明する。撮像素子１０１は、赤外カットフィルタやローパスフィルタなどを含み、ＣＭＯＳ型等の光電変換素子を備えるイメージセンサである。撮像素子１０１により被写体の光学像が光電変換され、画像信号として出力される。シャッター１０４は、非撮影時には閉じて撮像素子１０１を遮光し、ライブビュー（ＬＶ）時や撮影時には開いて、撮影レンズ２００を通過した入射光を撮像素子１０１へ導く。

システム制御部１０２は、カメラ本体１００の各部を制御する演算処理装置である。メモリ１０３は、システム制御部１０２が実行するプログラムや変数等を格納するＲＯＭと、システム制御部１０２がプログラムを展開する作業領域や一時的な画像データ等の記憶領域を有するＲＡＭとを含む。

また、システム制御部１０２は、レンズマウント機構１１０を通じて、レンズ制御部２０１と接続される。レンズ制御部２０１は、レンズ駆動部２０３を通じてフォーカシングレンズ２０２の位置を制御する。また、絞り制御部２０５を通じて絞り２０４を制御する。より具体的には、撮像素子１０１で取得した画像からＡＥ／ＡＦに関する演算をシステム制御部１０２で行い、演算結果に応じたフォーカシングレンズの位置や絞り値をレンズ制御部２０１へ通信し、制御を行う。

また、シャッター１０４もシャッター制御部１０５を通してシステム制御部１０２と接続されており、システム制御部１０２での演算結果に応じた露光時間で撮像素子１０１を露光させる。

次に撮像素子１０１で取得した画像を表示する動作について説明する。ここでは、撮像素子１０１で連続的に撮像を行い、撮像された画像を表示部にリアルタイムに表示することでユーザーが被写体を観察する、いわゆるライブビューモードでの動作について説明する。

撮像素子１０１で取得した画像の表示先として、背面モニタ１０６とファインダー表示部１０７の２種類があり、これらを切り替えながら画像が表示される。切り替えは接眼検知部１０９の検知結果に基づいて行われる。具体的には、ユーザーが接眼状態にあることが検出された場合は、ファインダー表示部１０７に画像が表示される。ユーザーはファインダーを覗き込んで、接眼レンズ１０８を通してファインダー表示部１０７に表示された被写体を確認する。一方、接眼検知部１０９によりユーザーが接眼状態にないことが検出された場合は、背面モニタ１０６に画像が表示される。

次に、ライブビューモード時の撮像素子１０１の駆動について、図２を用いて説明する。図２において、横方向は時間、縦方向は撮像素子１０１の垂直方向の位置を示し、図中の斜線は、ライブビューモード中の撮像素子１０１の読み出しタイミングを示している。図２に示すように、まず初めにライブビュー表示用の画像を１枚読み出し、その後、フリッカー検出用の画像を複数枚読み出す（フリッカー検出用の画像の撮像期間）。このライブビュー用の画像とフリッカー検出用の複数枚の画像の取得を１セットとし、この１セットの動作を繰り返す。

フリッカー検出用の画像は、１．６６［ｍｓ］間隔で複数枚撮影される。１セットはＴ[ｍｓ]の周期で繰り返されるので、この周期がライブビュー表示のフレームレートとなり、１／Ｔ［ｆｐｓ］である。１セット内で、フリッカー検出用の画像を何枚取得できるかは、１セットの周期Ｔ［ｍｓ］に依存し、Ｔ［ｍｓ］が長いほど、取得できるフリッカー検出用の画像の枚数は増加する。本実施形態では、１セットの周期（ライブビュー表示のフレームレート）を３３．３３ｍｓ（３０ｆｐｓ）とし、また１セット内で取得するフリッカー検出用の画像の枚数を１８枚とする。

次に、図３を用いて、本実施形態のカメラにおけるライブビュー中のフリッカー検出動作について説明する。図３のフローチャートの動作は、システム制御部１０２が、メモリ１０３のＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現される。なお、後述する図７～図１０のフローチャートの動作も、同様にシステム制御部１０２がメモリ１０３内のプログラムを実行することにより実現される。

ステップＳ１０１でライブビューの動作開始指示を受け付けると、システム制御部１０２は、まず初めにステップＳ１０２においてフリッカー検出用の蓄積を行う際の、絞り２０４の駆動速度の上限速度Ｖ＿ｍａｘをｖ０に設定する。詳細は後述するが、一般にフリッカー検出用の画像の露光時に、絞り駆動によりレンズからの取り込み光量が変化すると、フリッカーの検出性能は低下する。そして、性能低下の度合いは絞り駆動速度が速いほど大きくなる。そのため、ステップＳ１０２では、ライブビューが始まって最初のフリッカー検出動作に向けて、絞り２０４の駆動速度の上限値Ｖ＿ｍａｘが設定される。

通常、撮影環境のフリッカーの状態は、その環境にある照明光で決まるため、フリッカーの有無や周波数といったフリッカーの状態が目まぐるしく変化することは考えにくい。そのため、初回のフリッカー検出は確実な検出を行うことを目的として、Ｖ＿ｍａｘは比較的低速な速度に設定されるのが望ましい。この初回のフリッカー検出時の絞り駆動速度の上限値をｖ０とする。ｖ０は予め定められた値であるが、例えばｖ０＝０とすれば、フリッカー検出時は絞り２０４の駆動が停止することになり、高精度なフリッカー検出を実現することができる。システム制御部１０２はＶ＿ｍａｘを設定した後、ステップＳ１０３へ処理を進める。

ステップＳ１０３は、フリッカー検出を行うタイミングを待つステップである。すでに説明した通り、フリッカー状態が目まぐるしく変化することは考えにくいため、フリッカー検出動作を毎フレーム行うことは、演算負荷などの観点からも過剰であり、所定の期間が経過するたびにフリッカー検出動作を行えばよいと考えられる。そのため、本実施形態では、システム制御部１０２は、ライブビュー起動後にフリッカー検出を行い、その後Ｔ秒経過するたびに、フリッカー検出を繰り返し行うものとする。例えばＴ＝１などに設定し、１秒おきにフリッカー検出を行うことが考えられる。ステップＳ１０３では、システム制御部１０２は、このフリッカー検出タイミングが来たか否かを判定する。そして、フリッカー検出タイミングが来た場合のみフリッカー検出動作を行うステップＳ１０４へと進み、そうでない場合は通常のライブビュー表示を継続したまま待機する。

ステップＳ１０４～Ｓ１０７は、実際にフリッカーの検出動作を行うステップである。まずステップＳ１０４では、システム制御部１０２は、フリッカー検出のための画像を蓄積するにあたり、絞り２０４の駆動速度を上限速度Ｖ＿ｍａｘ以下（上限値以下）に制限（調整）する。絞り駆動速度が制限された後、ステップＳ１０５では、システム制御部１０２は、撮像素子１０１にフリッカー検出用の蓄積を行わせる。

図４（ａ）は、フリッカー検出用の蓄積を行い、１００Ｈｚのフリッカーが存在した場合の信号値の時間変化を示した図である。既に図２で示した通り、本実施形態では、ライブビュー表示用の画像の読み出しの後に、フリッカー検出用画像を、１．６６ｍｓ間隔で１８回読み出すことを１セットとして、撮像素子１０１が駆動される。フリッカー検出には、１．６６ｍｓ間隔で撮像された１８枚の画像のうち、最初の１２枚の画像が使用される。１２枚の画像のそれぞれに対して、蓄積と読み出しを実施するが、図に示したように、ｎ回目の蓄積を「蓄積ｎ」、蓄積ｎの信号読み出しを「読み出しｎ」、読み出しｎの結果から得られる測光値（信号値）を「ＡＥ（ｎ）」と記述する。ここでは、最初の１２回の蓄積に着目するので、ＡＥ（１）～ＡＥ（１２）の測光値が得られることになる。また、各測光値の取得時刻に関しては、蓄積が有限の時間で行われるため、蓄積期間中の中央値（図中の平行四辺形の重心位置）で代表させることとし、それぞれｔ（１）～ｔ（１２）とする。ステップＳ１０５では、システム制御部１０２が、このように１．６６ｍｓ間隔でフリッカー検出用の画像を撮像素子１０１に取得させる。

ステップＳ１０５でフリッカー検出用の画像を取得し終わったら、システム制御部１０２は、ステップＳ１０６において、絞り２０４の駆動速度に対してステップＳ１０４で設定していた制限を解除する。そして、システム制御部１０２は、ステップＳ１０７においてＡＥ（１）～ＡＥ（１２）を用いてフリッカー検出演算を行う。

フリッカー検出演算では、システム制御部１０２は、まずＡＥ（１）～ＡＥ（１２）からフリッカーの周波数判定で使用する評価値を算出する。フリッカー周波数判定に使用する評価値を、本実施形態では次式により定義することとする。

ＳＡＤとはＳｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅの略であり、パターンマッチングの分野などで使われる、類似度を表す指標である。ｍは、１２回の測光を行ったうちのｎ回目の測光結果ＡＥ（ｎ）に対し、何回先の測光値との類似度を計算するかを意味する数値であるから、ＳＡＤ（ｍ）とは、（１．６６７×ｍ）ｍｓ経過後の測光値との類似度を算出する式である。式から分かるように、類似度が高いほど、ＳＡＤ（ｍ）の値は小さくなる。

例えば、１００Ｈｚのフリッカーが存在する環境下では、フリッカー周期は約１０ｍｓであり、測光周期１．６６ｍｓとの関係は、１０÷１．６６≒６であるから、図４（ａ）に示すように、蓄積のタイミングによらず、６回周期で同じ測光値が得られる。すなわち、ＡＥ（ｎ）≒ＡＥ（ｎ＋６）の関係となる。この性質から、１００Ｈｚのフリッカーが存在する環境下でＳＡＤ（６）を計算すると、ＳＡＤ（６）≒０となる。更に、１００Ｈｚのフリッカーの存在を検出するために、ＳＡＤ（３）も計算する。ＳＡＤ（３）は、１．６６７×３＝５ｍｓ経過後の測光値との類似度を計算した値となる。１００Ｈｚのフリッカーが存在する環境下では、５ｍｓずれたタイミングの測光値は逆相の関係となるため、ＳＡＤ（３）はＳＡＤ（６）に対して非常に大きな値となる。つまり、ＳＡＤ（３）が大きく、ＳＡＤ（６）が小さくなる場合は、１００Ｈｚフリッカーが存在すると考えられる。

同様の考え方から、１２０Ｈｚのフリッカーが存在する環境下では、ＳＡＤ（５）とＳＡＤ（３）を計算すればよい。１２０Ｈｚのフリッカーが存在する環境下では、光源の点灯周期は８．３３３ｍｓであるため、図４（ｂ）に示すようにＡＥ（ｎ）≒ＡＥ（ｎ＋５）となり、ＳＡＤ（５）≒０となる。また、１２０Ｈｚのフリッカーでは、完全に逆相の関係になるのは４．１６ｍｓ経過後であり、４．１６ｍｓ経過後の波形との類似度を判定するのが理想的である。しかし、４．１６ｍｓはフレーム周期１．６６７ｍｓの整数倍ではないため、これに比較的近い値として、５ｍｓ経過後の波形との類似度を示すＳＡＤ（３）の値で代用する。１２０Ｈｚのフリッカーが存在する環境下でも、ＳＡＤ（３）は逆相に近い類似度を示すため、ＳＡＤ（３）はＳＡＤ（５）に対して非常に大きな値となる。

以上のことから、ＳＡＤ（６）、ＳＡＤ（５）、ＳＡＤ（３）を計算し、これらを使用して最終的なフリッカーの周波数判定を行う。既に説明したように、１００Ｈｚのフリッカーが存在する環境下では、ＳＡＤ（３）はＳＡＤ（６）と比較して非常に大きな値となる。よって、横軸にＳＡＤ（３）、縦軸にＳＡＤ（６）をとった図５（ａ）に示すような平面を考えると、１００Ｈｚのフリッカーが存在する環境下では、この平面の相対的に右下の領域にプロットが得られることになる。すなわち、図５（ａ）に示すような領域分割で１００Ｈｚと判定する領域と、１００Ｈｚではないと判定する領域を設定すれば、プロットの位置から、精度良く１００Ｈｚのフリッカーであるか否かを判定することができる。

同様に横軸にＳＡＤ（３）、縦軸にＳＡＤ（５）をとった図５（ｂ）に示す平面の領域分割により、１２０Ｈｚのフリッカーであるか否かを判定することができる。

なお、図５（ａ）、図５（ｂ）に示した領域分割線はあくまで一例であり、その傾きや折れ曲がるポイントは、これに限定されるものではない。

図５（ａ）に示す平面でのプロット位置から１００Ｈｚのフリッカーの有無が判定でき、図５（ｂ）に示す平面でのプロット位置から１２０Ｈｚのフリッカーの有無が判定できるので、最後にこれらの判定結果を統合する処理を行う。

統合処理は、図５（ｃ）に示す表に基づいて行われる。以下、この表について説明する。１００Ｈｚのフリッカーが存在する場合は、図５（ａ）の判定結果は「１００Ｈｚ」となり、図５（ｂ）の判定結果は「１２０Ｈｚではない」となるため、図５（ｃ）の左下のボックスは「１００Ｈｚ」となる。同様の考え方で、図５（ｃ）の右上のボックスは「１２０Ｈｚ」となる。

フリッカーが存在せず、ＤＣ的な定常光が被写体となっている場合は、測光値は時間的に変化しないため、
ＡＥ（１）≒ＡＥ（２）≒ＡＥ（３）≒ … ≒ＡＥ（１２）
であり、これにより
ＳＡＤ（６）≒ＳＡＤ（５）≒ＳＡＤ（３）≒０
となる。つまりＤＣ環境下では図５（ａ）、図５（ｂ）の両平面の原点付近にプロットが得られることとなり、図５（ａ）の判定結果は「１００Ｈｚではない」、図５（ｂ）の判定結果は「１２０Ｈｚではない」となる。よって、図５（ｃ）の表の右下のボックスは輝度変化が無いＤＣ判定となる。

また、図５（ｃ）の表の左上のボックスは、「１００Ｈｚ」であり、「１２０Ｈｚ」でもあるという場合である。通常であればこのような判定結果が得られることは考えにくいが、仮に被写体の移動やパンニング動作などによって、ＡＥ（１）～ＡＥ（１２）を取得中の被写体が同じでない場合などは、このような結果になる可能性もある。よって、このような場合は、フリッカー検出エラーという意味合いで、ＤＣ判定とする。以上のようにして、システム制御部１０２は、ステップＳ１０７において、フリッカーの有無とその周波数を判定する。

以上、理想的なフリッカーが存在した場合でのフリッカー検出演算について説明したが、次に、フリッカー検出用画像を蓄積中に、絞り２０４が駆動されて、絞りが開いた場合について考える。図６は、絞りが開きつつあり、且つ１００Ｈｚのフリッカーが存在する環境下で、フリッカー検出用の蓄積を１２回行った場合の測光出力の例を示す図である。

図６のような測光出力では、ＡＥ（ｎ）≦ＡＥ（ｎ＋６）となり、１００Ｈｚのフリッカーが存在する環境下で期待されるＳＡＤ（６）≒０とはならず、ＳＡＤ（６）＞０となり、絞り２０４を駆動する速度が速いほど、ＳＡＤ（６）も大きな値となる。つまり、図５（ａ）で本来１００Ｈｚと判定される領域に来るはずの点が、絞りの駆動速度によってはＳＡＤ（６）＞０となる領域の点となり、１００Ｈｚではないと判定される可能性が出てくる。この現象は、１２０Ｈｚのフリッカーが存在する環境下でのＳＡＤ（５）に関しても同様である。

一方で、検出対象のフリッカーの振幅が大きいほど、ＳＡＤ（３）の値は大きくなる。図５では、フリッカー判定領域の境界が右上がりになっており、フリッカーの振幅が大きいほど、絞り２０４が駆動されてＳＡＤ（６）＞０となっても、誤判定される確率は小さくなることが分かる。つまり、大きい振幅のフリッカーであれば、比較的速くレンズ絞り駆動をしても誤判定しにくいことが分かる。

システム制御部１０２は、ステップＳ１０７でフリッカー検出演算を終えたら、ステップＳ１０９に処理を進め、検出したフリッカーに応じて、ライブビューの表示動作を変更する。フリッカー環境下においては、取得画像の蓄積時間をフリッカー周期の整数倍に設定することで、撮影画像に生じるラインフリッカーを防ぐことができる。そのため、ステップＳ１０９では、システム制御部１０２は、ライブビュー表示用画像の蓄積時間をフリッカー検出結果に応じて制御する。

ステップＳ１１０～Ｓ１１１では、システム制御部１０２は、フリッカーの振幅を計算し、計算結果に応じて、次のフリッカー検出用蓄積における絞り２０４の駆動速度上限値Ｖ＿ｍａｘを決定する。

既に説明したように、大きい振幅のフリッカーであれば、絞り２０４の駆動速度を比較的速くしても誤判定しにくい。よって、図４にあるＡＥ（１）～ＡＥ（１２）のＭＡＸ値とＭＩＮ値の差分からフリッカーの振幅を求め、求めた振幅に応じてＶ＿ｍａｘを決定する。その後、ステップＳ１０３ヘ戻って、システム制御部１０２は、ライブビュー表示を繰り返す。これにより、振幅が大きいフリッカー環境下では絞り２０４の駆動速度の最大値Ｖ＿ｍａｘを相対的に大きな値に設定できる。そのため、必要以上に絞りの駆動速度を制限することを避けることができ、また、振幅の小さいフリッカー環境下でも、誤検知を防ぐことができる。

（第２の実施形態）
次に、第２の実施形態におけるカメラのライブビュー中のフリッカー検出動作について、図７を用いて説明する。なお、カメラ１００の構成及びライブビューモード時の撮像素子１０１の駆動方法については、第１の実施形態における図１及び図２と同様であるため、説明を省略する。

第１の実施形態における図３のフローチャートでは、フリッカーの振幅を検出し、その振幅に応じて絞りの駆動速度の上限値Ｖ＿ｍａｘを更新した。本実施形態では、より簡易的に、フリッカーの振幅によらず、予め定めた固定の所定値をＶ＿ｍａｘに設定する。すなわち、本実施形態を示す図７のステップＳ２０１～Ｓ２０９では、図３のステップＳ１０２，Ｓ１１０，Ｓ１１１を省略して、Ｖ＿ｍａｘを固定値としている。これにより、フリッカーの検出精度とライブビュー表示の露出制御を、非常に簡単な制御で両立することが可能となる。

（第３の実施形態）
第３の実施形態におけるカメラのライブビュー中のフリッカー検出動作について、図８を用いて説明する。なお、カメラ１００の構成及びライブビューモード時の撮像素子１０１の駆動方法については、第１の実施形態における図１及び図２と同様であるため、説明を省略する。

ライブビュー中においては、絞り２０４が常に高速で動いていることは稀である。そのため、絞りが高速で動いているときのフリッカー検出結果のみを信頼度が低いと見なして廃棄し、代わりにフリッカー検出の周期Ｔを短く設定すれば、全体として大きな問題はないと考えることができる。第３の実施形態では、この考え方に基づき、図８に示すようなフリッカー検出動作を行う。

ステップＳ３０１，Ｓ３０３は、ステップＳ１０１，Ｓ１０３と同様である。ステップＳ３０４では、システム制御部１０２は、絞りの駆動速度Ｖの監視を始める。ステップＳ３０５，Ｓ３０７では、ステップＳ１０５，Ｓ１０７と同様にフリッカー検出用の蓄積と演算が行われる。その後、ステップＳ３０８では、システム制御部１０２は、監視していた絞りの駆動速度の判定を行う。すなわち、ステップＳ３０５におけるフリッカー検出用の蓄積期間中において、監視していた絞りの駆動速度Ｖが予め定めた固定の閾値Ｖ＿ｔｈより高速か否かを判定する。そして、駆動速度Ｖが閾値Ｖ＿ｔｈより高速だった場合は、ステップＳ３０７のフリッカー検出結果が信用できないとして、ステップＳ３０３へ戻る。逆にＶが閾値Ｖ＿ｔｈ以下（閾値以下）だった場合は、システム制御部１０２は、ステップＳ３０７のフリッカー検出結果を採用（選択）し、それに応じてステップＳ３０９でライブビュー表示を制御する。その後、ステップＳ３０３に戻る。

このように、ステップＳ３０５でのフリッカー検出用の蓄積期間中の絞り駆動速度に応じてフリッカー検出結果の信頼性を評価することにより、フリッカーの誤検知を抑制することができる。

（第４の実施形態）
第４の実施形態におけるカメラのライブビュー中のフリッカー検出動作について、図９を用いて説明する。なお、カメラ１００の構成及びライブビューモード時の撮像素子１０１の駆動方法については、第１の実施形態における図１及び図２と同様であるため、説明を省略する。

ステップＳ４０１，Ｓ４０３は、ステップＳ１０１，Ｓ１０３と同様である。ステップＳ４０４では、システム制御部１０２は、絞り２０４の絞り位置の監視を開始し、ステップＳ４０５では、フリッカー検出用の画像の取得を行う。ステップＳ４０５では、例えば、絞り２０４を開く方向に駆動しながら１２回の蓄積、読み出しを行い、図６に示したような、測光値ＡＥ（１）～ＡＥ（１２）を得る。しかし、ステップＳ４０４で絞り位置の監視を始めているので、１２回の蓄積を行った時刻であるｔ（１）～ｔ（１２）のそれぞれの時点における絞り位置を特定することができる。そして、これに基づいて、測光値ＡＥ（１）～ＡＥ（１２）を補正することができる。例えばｔ（１）での絞り位置を基準として、ｔ（２）～ｔ（１２）の時点での絞りの相対位置から計算される光量差を、そのままＡＥ（２）～ＡＥ（１２）へ加味すれば、絞り駆動の影響を排除したＡＥ（１）～ＡＥ（１２）の値を得ることができる。結果として、実際に得られるＡＥ（１）～ＡＥ（１２）は図６のような値でも、絞り位置に基づく補正により、図４（ａ）のＡＥ（１）～ＡＥ（１２）のような測光値に補正することができる。

ステップＳ４０７，Ｓ４０９は、ステップＳ１０７，Ｓ１０９と同様であるため、説明を省略する。

以上の動作により、本実施形態においては、フリッカー検出用画像を蓄積中に絞りを駆動しても、フリッカーの検出性能とライブビュー表示の露出制御を両立することができる。

（第５の実施形態）
第１～第４の実施形態では、１．６６ｍｓ間隔で取得したフリッカー検出用画像１２枚から、ＳＡＤ（６）、ＳＡＤ（５）、ＳＡＤ（３）を算出し、これらの評価値を利用してフリッカー検出を行った。これを説明の都合上、第１のフリッカー検出方法と呼ぶこととする。

本実施形態では、第１のフリッカー検出方法とは別に、フリッカー検出用の蓄積時の外乱に対して相対的に強い第２のフリッカー検出方法も用い、フリッカー検出用の蓄積時の絞り２０４の駆動速度に応じて、使用するフリッカー検出方法を切り替える。

ここで、第２のフリッカー検出方法について説明する。第２のフリッカー検出方法では、フリッカーの検出に、ライブビュー表示用の画像そのものを使用する。ローリングシャッター形式の撮像素子で撮像された画像では、水平ラインごとに露光開始と露光終了のタイミングが異なる。つまり、フリッカー環境下においては水平ラインごとに明るさの異なる画像が得られ、縞模様として観測される。この縞模様からフリッカー成分を抽出するために、以下の式により時間方向の定常的な信号成分を抽出する。

mem＝ave×k ＋ mout×(1-k)
ここで、memは上記式の出力としてメモリに格納される値であり、aveは入力される画像内の各行の色成分の信号値であり、kは巡回型ローパスフィルタのフィルタ係数であり、moutは１フレームの前の画像の信号値が入力された時に演算された上記式の演算結果である。

上記の演算を入力画像の各水平ラインについて行うことにより、時間方向の定常的な信号成分を抽出できる。新たに入力される画像の水平ラインの信号値を、抽出された定常的な信号成分で除算することにより、フリッカー成分(入力画像信号のレベル変動成分)を算出する。算出されたフリッカー成分から、垂直方向の信号のレベルの変動特性であるフリッカーモデルを生成する。フリッカーモデルは、例えば垂直方向にある特定の振幅ｗ、周波数ｆ、位相θを持つ周期的な関数として近似することが出来る。光源を駆動する交流電源の電圧変動が三角関数の特徴を持つため、モデルとする周期的な関数としては正弦波（または余弦波）を用いるのが一般的であるが、他の周期的な理想関数でも構わない。周波数ｆはフレームレートと光源の電源周波数により決定される。また、位相θについては、検出された変動成分のうち変動比が１で垂直方向に変動比の変化量で１をとる行を位相θ＝０として各行の位相を算出することができる。さらに、振幅ｗは算出された位相のπ／２及び３π／２における変動比から算出される。

このような方法は、より周波数成分に着目した手法であり、第１のフリッカー検出方法よりも、絞り２０４の駆動による明るさの変化に対して強く、安定して検出できる特性がある。しかし、ローリングシャッター形式により発生する縞の情報を使うことから、画面の一部のみに存在するフリッカーを見つけることが困難である。また、安定した検出結果を得るために、複数フレームの画像を必要とするため、１回の検出にかかる時間が長いという特徴がある。

一方で、第１のフリッカー検出方法は、着目する領域に絞った測光値を用いることで、画面の一部の領域のみに存在するフリッカーも検出可能である。また、検出にかかる時間も、１．６６ｍｓ間隔で１２枚の撮影を行えばよいので、おおよそ２０ｍｓ程度と非常に短い。第５の実施形態では、このように特性の違う第１と第２のフリッカー検出方法を使い分ける。

図１０は、本実施形態の動作を示すフローチャートである。ステップＳ５０１～Ｓ５０９に関しては、第３の実施形態のステップＳ３０１～Ｓ３０９と同様である。ただし、ステップＳ３０８で、フリッカー検出用蓄積時の絞り駆動速度Ｖが、予め定めた固定の閾値Ｖ＿ｔｈより高速だった場合は、第３の実施形態では検出結果を廃棄していた。これに対し、本実施形態では、絞り駆動速度Ｖが閾値Ｖ＿ｔｈより高速だった場合でも、ステップＳ５１０で第２のフリッカー検出を実施することにより、絞り駆動に影響されないフリッカー検出を実現することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像素子、１０２：システム制御部、１０３：メモリ、２０１：レンズ制御部、２０３：レンズ駆動部、２０４：絞り、２０５：絞り駆動部

Claims (19)

1. レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、
   前記撮像素子から出力される画像からフリッカーを検出する検出手段と、
   前記撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、前記レンズに対し、前記撮像素子が受光する光量の変化を引き起こす駆動操作に応じた前記レンズの駆動が行われる場合、前記撮像期間において前記レンズの駆動を調整する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記検出手段は、フリッカーの有無と、フリッカーの周波数とを検出することを特徴とする請求項１に記載の撮像装置。
3. 前記駆動操作により、前記レンズにおける絞りの駆動、フォーカシングレンズの駆動、ズームレンズの駆動の少なくとも１つのレンズ駆動が行われることを特徴とする請求項１または２に記載の撮像装置。
4. 前記駆動操作は、前記レンズの絞りを駆動する操作であり、前記制御手段は、前記撮像期間において前記絞りを駆動する速度を調整することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記撮像期間において前記絞りを駆動する速度を所定の上限値以下に制限することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記所定の上限値をフリッカーの振幅に基づいて変更することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記所定の上限値を固定の値に設定することを特徴とする請求項５に記載の撮像装置。
8. レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、
   前記撮像素子から出力される画像からフリッカーを検出する検出手段と、
   前記撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、前記レンズに対し、前記撮像素子が受光する光量の変化を引き起こす駆動操作が行われる場合、前記検出手段によりフリッカーを検出する方法を変更する制御手段と、
   を備えることを特徴とする撮像装置。
9. 前記検出手段は、フリッカーの有無と、フリッカーの周波数とを検出することを特徴とする請求項８に記載の撮像装置。
10. 前記駆動操作により、前記レンズにおける絞りの駆動、フォーカシングレンズの駆動、ズームレンズの駆動の少なくとも１つのレンズ駆動が行われることを特徴とする請求項８または９に記載の撮像装置。
11. 前記制御手段は、前記レンズの絞りを駆動する速度に基づいて前記検出手段によるフリッカーの検出結果の信頼度を判定し、信頼度が低い検出結果を採用しないことを特徴とする請求項１０に記載の撮像装置。
12. 前記制御手段は、前記レンズの絞りを駆動する速度が所定の閾値より速い場合に、前記信頼度が低いと判定し、前記レンズの絞りを駆動する速度が前記所定の閾値より速い期間に撮像された画像を用いたフリッカーの検出結果を採用しないことを特徴とする請求項１１に記載の撮像装置。
13. 前記制御手段は、前記レンズの絞りの位置を監視し、絞りの位置に基づいて前記検出手段によるフリッカーの検出結果を補正することを特徴とする請求項１０に記載の撮像装置。
14. 前記制御手段は、フリッカーを検出する方法として、フリッカー検出用の複数の画像を用いてフリッカーを検出する第１の方法と、ライブビュー用の画像を用いてフリッカーを検出する第２の方法とを切り替えることを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
15. 前記制御手段は、前記レンズの絞りを駆動する速度が所定の閾値以下の場合に前記第１の方法を選択し、前記所定の閾値より速い場合に前記第２の方法を選択することを特徴とする請求項１４に記載の撮像装置。
16. レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、前記撮像素子から出力される画像からフリッカーを検出する検出手段と、を備える撮像装置を制御する方法であって、
    前記撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、前記レンズに対し、前記撮像素子が受光する光量の変化を引き起こす駆動操作に応じた前記レンズの駆動が行われる場合、前記撮像期間において前記レンズの駆動を調整する制御工程を有することを特徴とする撮像装置の制御方法。
17. レンズにより結像された被写体像を撮像して画像を出力する撮像素子と、前記撮像素子から出力される画像からフリッカーを検出する検出手段と、を備える撮像装置を制御する方法であって、
    前記撮像素子によりフリッカーを検出するために被写体を撮像している撮像期間において、前記レンズに対し、前記撮像素子が受光する光量の変化を引き起こす駆動操作が行われる場合、前記検出手段によりフリッカーを検出する方法を変更する制御工程を有することを特徴とする撮像装置の制御方法。
18. 請求項１６または１７に記載の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１６または１７に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images