JP5247076B2 - 画像追尾装置、焦点調節装置および撮像装置 - Google Patents

Description

本発明は画像検出装置、焦点調節装置および撮像装置に関する。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の画面内位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動するオートフォーカスシステムが知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００５−２１５０４０号公報

ところで、追尾対象がカメラから遠くにあるときに、撮影画像の中から追尾対象の画像をテンプレート画像（基準画像）として切り出して画像追尾動作を開始すると、テンプレート画像に追尾対象以外の被写体や背景などが多く含まれ、追尾対象の像は小さくなる。このようなテンプレート画像を用いて画像追尾を行うと、追尾対象以外の被写体や背景を追尾対象と誤認する可能性が高くなり、画像追尾機能における追尾性能が低下するという問題がある。

（１）請求項１に記載の画像追尾装置は、結像光学系による画面内の画像情報を取得する撮像素子と、追尾対象の像に関する基準画像情報と前記撮像素子より取得された前記画像情報とに基づいて前記画面内における前記追尾対象の位置を検出する追尾対象検出手段と、前記結像光学系の像倍率を検出する倍率検出手段とを備え、前記追尾対象検出手段は、前記像倍率が所定値以上になったときに、前記基準画像情報及び前記画像情報に基づいた前記追尾対象の位置の検出動作を開始し、前記像倍率が所定値未満のときに、前記基準画像情報及び前記画像情報に基づいた前記追尾対象の位置の検出動作を開始しないことを特徴とする。
（２）請求項２に記載の画像追尾装置は、請求項１に記載の画像追尾装置において、前記像倍率が所定値以上になったときに、前記撮像素子により取得した画像情報の内の前記対象の像に対応する情報を前記基準画像情報として設定する基準画像情報設定手段を備えることを特徴とする。
（３）請求項３に記載の画像追尾装置は、請求項２に記載の画像追尾装置において、前記画面内に設定された複数の焦点検出位置における前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記複数の焦点検出位置に対して検出された焦点調節状態に基づいて、前記複数の焦点検出位置のいずれかを選択する位置選択手段と、を備え、前記基準画像情報設定手段は、前記位置選択手段により選択された前記焦点検出位置に対応する前記画像情報を前記基準画像情報として設定することを特徴とする。
（４）請求項４に記載の画像追尾装置は、請求項３に記載の画像追尾装置において、前記撮像素子による前記画像情報に基づいて撮影シーンを判別するシーン判別手段を備え、前記位置選択手段は、前記画面内の前記撮影シーンに応じた範囲に位置する前記複数の焦点検出位置に対して検出された焦点調節状態に基づいて、前記焦点検出位置を選択することを特徴とする。
（５）請求項５に記載の画像追尾装置は、請求項３に記載の画像追尾装置において、前記撮像素子による前記画像情報に基づいて前記画面内の人物位置を検出する人物検出手段を備え、前記位置選択手段は、前記画面内の前記人物位置に対応する前記焦点検出位置で検出された焦点調節状態に基づいて、前記焦点検出位置を選択することを特徴とする。
（６）請求項６に記載の焦点調節装置は、請求項３〜５のいずれか１項に記載の画像追尾装置と、前記追尾対象検出手段により検出された前記画面内における前記追尾対象の位置と、前記焦点検出手段による前記複数の焦点検出位置に対する焦点調節状態とに基づいて、前記結像光学系の焦点調節を行う前記焦点検出位置を決定する位置決定手段と、前記位置決定手段により決定された前記焦点検出位置の焦点調節状態に基づいて前記結像光学系の焦点調節を行う焦点調節手段と、を備えることを特徴とする。
（７）請求項７に記載の撮像装置は、請求項６に記載の焦点調節装置を備えることを特徴とする。

本発明によれば、対象の像に関する適切な基準情報を設定して対象検出性能を向上させることができる。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれか１または複数のエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と一致または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する画像検出装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の画像検出装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前に焦点板１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて画像追尾制御と露出制御が行われる。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチ、焦点調節モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーター、センサーなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２は、レンズマウント部の接点２３を介して通信を行う。ボディ駆動制御装置１９からレンズ駆動制御装置２２へは、レンズ駆動量や制御絞り値などの情報を送信する。一方、レンズ駆動制御装置２２からボディ駆動制御装置１９へは、ズーミングレンズ８ａによる焦点距離、フォーカシングレンズ８ｂによる撮影距離、絞り値などの情報を送信する。モニター２４はカメラ本体２の背面に設けられ、スルー画や撮影画像の他に各種撮影情報を表示する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像（基準画像）やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。

追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に第２撮像素子１６で繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって追尾対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。

この一実施の形態では、撮影レンズ８の焦点調節を行う焦点検出エリアを自動的に選択する自動エリア選択モードが設定されている場合には、各焦点検出エリアで検出されたデフォーカス量の中から最至近を示すデフォーカス量のエリアを焦点調節を行うエリアとして選択する。なお、自動エリア選択モード設定時のエリア選択アルゴリズムは最至近優先に限定されない。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。

図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。なお、第２撮像素子１６の画素数はこの一実施の形態の画素数に限定されない。

次に、一実施の形態の被写体追尾動作を説明する。図５〜図７は一実施の形態の被写体追尾方法を説明するための図、図８〜図１１は一実施の形態の被写体追尾処理を示すフローチャートである。シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が出力される。

図５は撮影者が接眼窓１５から視認する被写体像（ファインダー像）である。撮影レンズ８により焦点板１１上に結像された被写体像には、液晶表示素子１２により焦点検出エリアマークなどの撮影情報が重畳表示され、ペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像と撮影情報を視認することができる。この一実施の形態では、撮影レンズ８の撮影画面内に７個の焦点検出エリア４５ａ〜４５ｇが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマークを重畳し、各焦点検出エリア４５ａ〜４５ｇの位置を表示する。操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマーク４５が点灯表示される。

操作部材２０の焦点調節モード選択スイッチにより自動エリア選択モードが設定され、操作部材２０のシャッターボタンが半押しされると、ボディ駆動制御装置１９は図８に示す被写体追尾処理を開始する。ステップ１において、第２撮像素子１６により画像追尾／露出制御共用の画像を取得する。この画像は画素ごとにＲＧＢ値で表す。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ] ・・・（１）
この画素ごとのＲＧＢ値に基づいて、各画素の色情報（ここでは色相）ＲＧ、ＢＧを演算するとともに、画像を取得したときの露光時間Ｔ、ゲインＧainおよび色合成係数Ｋｒ、Ｋｇ、Ｋｂに基づいて輝度情報Ｌを演算する。
ＲＧ[ｘ,ｙ]＝Log_２（Ｒ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]），
ＢＧ[ｘ,ｙ]＝Log_２（Ｂ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]），
Ｌ[ｘ,ｙ]＝Log_２（Ｋｒ×Ｒ[ｘ,ｙ]＋Ｋｇ×Ｇ[ｘ,ｙ]＋Ｋｂ×Ｂ[ｘ,ｙ]）−Log_２（Ｔ）−Log_２（Ｇain） ・・・（２）
これらの色情報ＲＧ、ＢＧ、輝度情報Ｌをテンプレート画像として用いるためにメモリ１９ｄに記憶する。

ステップ２で、測距素子１０により各焦点検出エリア４５ａ〜４５ｇごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。続くステップ３では、焦点検出信号に基づいて各焦点検出エリア４５ａ〜４５ｇの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。ステップ４において、各焦点検出エリア４５ａ〜４５ｇのデフォーカス量の内、最至近のデフォーカス量を示す焦点検出エリアを焦点調節を行う焦点検出エリア（以下、焦点調節エリアという）に選択する。

ステップ５において、各焦点検出エリア４５ａ〜４５ｇで信頼性のあるデフォーカス量が検出され、かつこれらのデフォーカス量に基づいて焦点調節エリアを自動選択できたか否かを確認し、焦点検出エリア４５ａ〜４５ｇにおいて焦点検出不能、もしくは信頼性のあるデフォーカス量が得られず、焦点調節エリアが自動選択できなかった場合には、ステップ１へ戻って上述した処理を繰り返す。一方、焦点検出エリア４５ａ〜４５ｇで信頼性のあるデフォーカス量が検出され、これらのデフォーカス量に基づいて焦点調節エリアを自動選択できた場合はステップ６へ進み、焦点調節エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。

ステップ７において、画像追尾を開始する条件が整ったか否かを判別する。この一実施の形態では、像倍率が予め設定した追尾開始判定しきい値以上になった場合に、画像追尾動作を開始する。ここで、像倍率は、レンズ駆動制御装置２２から取得した撮影レンズ８の焦点距離と撮影距離とに基づいて次式により演算する。
（像倍率）＝（焦点距離）／（撮影距離） ・・・（３）
画像追尾開始条件が満たされない場合、つまり像倍率が追尾開始判定しきい値未満のときはステップ１へ戻り、上述した処理を繰り返す。

画像追尾開始条件が満たされた場合、つまり像倍率が追尾開始判定しきい値以上のときはステップ８へ進み、図１０に示すテンプレート画像記憶処理を実行する。図１０のステップ３１で、図８のステップ１で取得し記憶した追尾用画像の色情報ＲＧ、ＢＧと輝度情報Ｌから、焦点調節エリアに対応する位置の画像の色情報ＲＧ、ＢＧと輝度情報Ｌを抽出し、追尾対象の色情報として記憶する。ステップ３２では、図６(ａ)に示すように、追尾用画像の中の焦点調節エリアの位置周辺部において追尾対象の色情報と同様な色情報を示す同色情報領域を検出し、続くステップ３３でこの同色情報領域を初期の追尾被写体領域４７とする。

ステップ３４において、追尾被写体領域４７の画像の色情報ＲＧ、ＢＧと輝度情報Ｌを画像追尾処理に用いるテンプレート画像情報４８（図６(ｂ)参照）としてメモリ１９ｄに記憶する。例えば、追尾被写体領域４７の始点位置が図６(ａ)に示すように(ｘ,ｙ)＝(４,５)の場合には、テンプレート画像４８の色情報（ここでは色相）ＲＧref、ＢＧrefと輝度情報Ｌrefは次のように表される。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]、
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]、
Ｌref[ｒｘ,ｒｙ]＝Ｌ[ｘ,ｙ] （ｒｘ,ｒｙ＝１〜３、ｘ＝４〜６、ｙ＝５〜７） ・・・（４）

次に、ステップ３５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定する。図６(ａ)に示す例では、探索領域４９は、ｘ＝２〜８、ｙ＝３〜９の領域になる。テンプレート画像記憶処理を終了したら図８のステップ９へリターンする。

図８のステップ９において、第２撮像素子１６により画像追尾／露出制御共用の画像を取得し、ステップ１の処理と同様に色情報ＲＧ[ｘ,ｙ]、ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出し、メモリ１９ｄに記憶する。続くステップ１０で図１１に示す追尾演算処理を実行する。

図１１のステップ４１において、追尾用画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに色情報の差Ｄiffを算出する。図７(ａ)に太い破線で示すように、探索領域４９の中で１画素ずつ領域をずらしながらテンプレート画像４８との色情報の差Ｄiffを算出する。

今、図７(ａ)に示すように探索領域４９の始点位置が(scｘ,scｙ)＝(２,３)であるとすると、差Ｄiffの演算は次のようにして行う。
Ｄiff[ｄｘ,ｄｙ]＝ΣΣ｛ＡＢＳ（ＲＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（ＢＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（Ｌ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）｝ ・・・（５）
（５）式において、ｄｘ，ｄｙ＝１〜５、ｒｘ，ｒｙ＝１〜３、scｘ＝２、scｙ＝３、ΣΣはｒｘ＝１〜３およびｒｙ＝１〜３の総和演算である。

次に、ステップ４２において、差Ｄiff[ｄｘ,ｄｙ]の中の最小の差を検索し、探索領域４９内で最小の差を算出したときの上記切り出し領域を新しい追尾被写体領域４７に決定する。ここでは、図７(ｂ)に示すように、始点位置が(ｘ,ｙ)＝(５,６)の切り出し領域を新しい追尾被写体領域４７とする。

ここで、新しく被写体領域４７に決定された画像情報を用いてテンプレート画像４８の画像情報を更新する処理を加えてもよい。その場合、例えば元のテンプレート画像４８の画像情報８０％に対して新被写体領域４７の画像情報２０％を加えることによって、テンプレート画像の情報に対して最新の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくなる。この場合、追尾演算のたびに毎回更新を行うのではなく、追尾被写体領域４７として決定した位置の差Ｄiffの大きさに基づいて、あるしきい値より小さいときのみ更新するようにしてもよい。

ステップ４３では、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。ここでは、図７(ｂ)に示すように、ｘ＝３〜９、ｙ＝４〜１０の領域を新しい探索領域４９とする。その後、図８のステップ１１へリターンする。

図８のステップ１１において、測距素子１０により各焦点検出エリアごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。続くステップ１２で、取得した焦点検出信号に基づいて各選択焦点検出エリア４５ａ〜４５ｇの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。ステップ１３では、すべての焦点検出エリア４５ａ〜４５ｇのデフォーカス量の中から、前回の焦点調節時に焦点調節エリアとして採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索する。

このとき、前回までの焦点検出結果の履歴から追尾対象の被写体が撮影レンズ８の光軸方向に移動していると判断される場合には、前回の焦点調節時のデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを採用するのではなく、焦点検出結果の履歴に基づいて追尾対象の移動速度を算出し、その移動速度から今回の焦点調節時におけるデフォーカス量を予測し、その予測デフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索するようにしてもよい。

ステップ１４において、ステップ９〜１０における画像追尾結果の新追尾被写体領域と、ステップ１１〜１２におけるエリア検索結果の焦点検出エリアとに基づいて、焦点調節を行うエリア（焦点調節エリア）を決定する。この一実施の形態では、画像追尾結果の新追尾被写体領域４７に対応する焦点検出エリアと、エリア検索結果の焦点検出エリアとを比較し、画像追尾結果とエリア探索結果とに共通の焦点検出エリアを焦点調節エリアに決定する。

ステップ１５において、焦点調節エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。焦点調節後のステップ１６で、操作部材２０のシャッターボタンの全押し操作を確認する。シャッターボタンの全押し操作がなされていない場合はステップ１７へ進み、シャッターボタンの半押し操作が行われているか否かを確認する。シャッターボタンの半押し操作が継続されている場合はステップ９へ戻り、上述した処理を繰り返す。一方、シャッターボタンの半押し操作がなされていない場合は被写体追尾処理を終了する。

ステップ１６でシャッターボタンが全押しされた場合はステップ１８へ進み、撮影を行う。すなわち、ステップ９で取得した露出制御用画像から被写体輝度を検出し、露出演算により絞り値を決定してレンズ駆動制御装置２２により絞り２１を調節する。そして、クイックリターンミラー５およびサブミラー６を撮影光路から退避(ミラーアップ）し、シャッター７を開放して撮影レンズ８により結像された被写体像を第１撮像素子４により撮像する。この撮像画像には必要な画像処理が施され、メモリカードなどの画像記録媒体（不図示）に記録される。

このように、一実施の形態によれば、像倍率が所定値以上になったときに、追尾対象のテンプレート画像（基準画像）を取得して画像追尾動作を開始するようにしたので、対象の像に関する適切なテンプレート画像を取得して追尾対象の画像追尾性能を向上させることができる。

《発明の一実施の形態の変形例》
上述した一実施の形態では、画像追尾を開始する際に、焦点検出エリア４５ａ〜４５ｇで検出したデフォーカス量に基づいてカメラが自動的に焦点調節を行う焦点検出エリア、すなわち焦点調節エリアを決定する例を示したが、撮影者が焦点調節エリアを選択して追尾対象を手動で指定する変形例を説明する。図１２は変形例の被写体追尾処理を示すフローチャートである。なお、図８〜図９に示す一実施の形態の被写体追尾処理と同様な処理を行うステップに対しては、同一のステップ番号を付して相違点を中心に説明する。

撮影者がファインダー像を観察しながら追尾対象の被写体を認識し、操作部材２０の焦点検出エリア選択スイッチにより追尾対象の被写体に対応する焦点検出エリアを選択し、この状態で操作部材２０のシャッターボタンを半押しすると、ボディ駆動制御装置１９は図１２に示す被写体追尾動作を開始する。ここでは、図５に示す焦点検出エリア４５ｂが追尾対象の被写体に対応する焦点検出エリアに選択された場合を例に上げて説明する。ステップ１で第２撮像素子１６により画像追尾／露出制御共用の画像を取得した後、ステップ２Ａへ進み、測距素子１０により焦点検出エリア４５ｂにおける焦点検出用の対の光像に応じた焦点検出信号を取得する。続くステップ３Ａでは、焦点検出信号に基づいて焦点検出エリア４５ｂの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。

次に、ステップ５Ａで撮影者が選択した焦点検出エリア４５ｂにおいて焦点検出が可能であったか否か、つまり信頼性のあるデフォーカス量が得られたか否かを確認し、焦点検出不能または信頼性のあるデフォーカス量が得られなかった場合はステップ１へ戻り、上述した処理を繰り返す。一方、撮影者が選択した焦点検出エリア４５ｂにおいて信頼性のあるデフォーカス量が得られた場合はステップ６Ａへ進み、焦点検出エリア４５ｂで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。その後、ステップ７で、上述したように画像追尾を開始する条件が整ったか否かを判別する。ステップ７以降の処理は図８〜図９に示す処理を同様であり、図示と説明を省略する。

《発明の一実施の形態の他の変形例》
上述した一実施の形態とその変形例では、画像追尾を開始する際に、カメラが自動的に追尾対象の焦点検出エリアを選択する例、あるいは撮影者が追尾対象の焦点検出エリアを指定する例を示したが、第２撮像素子１６の撮像画像から人物の部分（人肌）を抽出し、人肌部分を考慮して追尾対象の焦点検出エリアを自動選択したり、あるいは撮影シーンを推定し、撮影シーンを考慮して追尾対象の焦点検出エリアを自動選択する他の変形例を説明する。

図１３は他の変形例の被写体追尾処理を示すフローチャートである。なお、図８〜図９に示す一実施の形態の被写体追尾処理と同様な処理を行うステップに対しては、同一のステップ番号を付して相違点を中心に説明する。ステップ１で第２撮像素子１６により画像追尾／露出制御共用の画像を取得した後、ステップ５１へ進み、人物検出とシーン推定演算を実行する。これらの詳細は後述する。ステップ２で各焦点検出エリア４５ａ〜４５ｇで焦点検出を行いデフォーカス量を取得した後、ステップ３Ｂで人物検出およびシーン推定演算の結果と焦点検出結果に基づいて焦点調節エリアを選択する。

まず、人物検出について説明する。第２撮像素子１６による撮像画像の色情報ＲＧ、ＢＧに基づいて、人肌の可能性のある色情報の画面内の分布を検出する。人肌の色情報の分布領域に対応する焦点検出エリアのデフォーカス量が最至近である場合は、その焦点検出エリアを焦点調節エリアに選択する。人肌の色情報の分布領域に対応する焦点検出エリアのデフォーカス量が最至近でなくても、比較的カメラに近いデフォーカス量を示す場合にもその焦点検出エリアを焦点調節エリアに選択する。これにより、移動する人物を追尾する撮影において、移動する人物を確実に追尾対象に指定することができる。

次に、シーン推定演算について説明する。第２撮像素子１６による撮像画像の色情報ＲＧ、ＢＧの分布、輝度情報Ｌの画面上下左右の差、絶対輝度値、撮影レンズ８の焦点距離および撮影距離などに基づいて撮像画像のパターン認識を行い、風景やポートレートなどの撮影シーンを分類する。例えばポートレート撮影の場合には、人の顔が撮影画面の上部にある可能性が高いので、撮影画面上部の焦点検出エリアの内の最至近のデフォーカス量を検出した焦点検出エリアを焦点調節エリアに選択する。また、例えば風景シーンの場合には、撮影画面下部に地面が存在する可能性が高いので、撮影画面上部の焦点検出エリアの内の最至近のデフォーカス量を検出した焦点検出エリアを焦点調節エリアに選択する。

なお、上述した人物検出結果とシーン推定演算結果は、いずれか一方の結果を用いて焦点調節エリアの選択を行ってもよいし、両方の結果を用いてもよい。ステップ５で、各焦点検出エリア４５ａ〜４５ｇで信頼性のあるデフォーカス量が検出され、かつこれらの焦点検出結果と、人物検出結果および／またはシーン推定演算結果とに基づいて焦点調節エリアを選択できたか否かを確認する。焦点調節エリアを選択できなかった場合はステップ１へ戻って上述した処理を繰り返し、焦点調節エリアを選択できた場合はステップ６へ進む。ステップ６では焦点調節エリアのデフォーカス量に基づいて撮影レンズ８の焦点調節を行い、続くステップ７で上述したように画像追尾を開始する条件が整ったか否かを判別する。以下の処理は図８〜図９に示す処理と同様である。

このように、人物検出結果および／またはシーン推定演算結果を考慮して焦点調節エリアを選択することによって、適切な追尾対象を自動的に設定することができる。

一実施の形態の構成を示す図 ボディ駆動制御装置の詳細な構成を示す図 第２撮像素子の詳細な構成を示す図 第２撮像素子の画素の詳細な構成を示す図 一実施の形態の被写体追尾方法を説明する図 一実施の形態の被写体追尾方法を説明する図 一実施の形態の被写体追尾方法を説明する図 一実施の形態の被写体追尾処理を示すフローチャート 図８に続く一実施の形態の被写体追尾処理を示すフローチャート テンプレート画像記憶処理を示すサブルーチン 追尾演算処理を示すサブルーチン 一実施の形態の変形例の被写体追尾処理を示すフローチャート 一実施の形態の他の変形例の被写体追尾処理を示すフローチャート

符号の説明

８ 撮影レンズ
１６ 第２撮像素子
１９ ボディ駆動制御装置
２２ レンズ駆動制御装置

Claims (7)

1. 結像光学系による画面内の画像情報を取得する撮像素子と、
   追尾対象の像に関する基準画像情報と前記撮像素子より取得された前記画像情報とに基づいて前記画面内における前記追尾対象の位置を検出する追尾対象検出手段と、
   前記結像光学系の像倍率を検出する倍率検出手段とを備え、
   前記追尾対象検出手段は、前記像倍率が所定値以上になったときに、前記基準画像情報及び前記画像情報に基づいた前記追尾対象の位置の検出動作を開始し、前記像倍率が所定値未満のときに、前記基準画像情報及び前記画像情報に基づいた前記追尾対象の位置の検出動作を開始しないことを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記像倍率が所定値以上になったときに、前記撮像素子により取得した画像情報の内の前記対象の像に対応する情報を前記基準画像情報として設定する基準画像情報設定手段を備えることを特徴とする画像追尾装置。
3. 請求項２に記載の画像追尾装置において、
   前記画面内に設定された複数の焦点検出位置における前記結像光学系の焦点調節状態を検出する焦点検出手段と、
   前記複数の焦点検出位置に対して検出された焦点調節状態に基づいて、前記複数の焦点検出位置のいずれかを選択する位置選択手段と、を備え、
   前記基準画像情報設定手段は、前記位置選択手段により選択された前記焦点検出位置に対応する前記画像情報を前記基準画像情報として設定することを特徴とする画像追尾装置。
4. 請求項３に記載の画像追尾装置において、
   前記撮像素子による前記画像情報に基づいて撮影シーンを判別するシーン判別手段を備え、
   前記位置選択手段は、前記画面内の前記撮影シーンに応じた範囲に位置する前記複数の焦点検出位置に対して検出された焦点調節状態に基づいて、前記焦点検出位置を選択することを特徴とする画像追尾装置。
5. 請求項３に記載の画像追尾装置において、
   前記撮像素子による前記画像情報に基づいて前記画面内の人物位置を検出する人物検出手段を備え、
   前記位置選択手段は、前記画面内の前記人物位置に対応する前記焦点検出位置で検出された焦点調節状態に基づいて、前記焦点検出位置を選択することを特徴とする画像追尾装置。
6. 請求項３〜５のいずれか１項に記載の画像追尾装置と、
   前記追尾対象検出手段により検出された前記画面内における前記追尾対象の位置と、前記焦点検出手段による前記複数の焦点検出位置に対する焦点調節状態とに基づいて、前記結像光学系の焦点調節を行う前記焦点検出位置を決定する位置決定手段と、
   前記位置決定手段により決定された前記焦点検出位置の焦点調節状態に基づいて前記結像光学系の焦点調節を行う焦点調節手段と、を備えることを特徴とする焦点調節装置。
7. 請求項６に記載の焦点調節装置を備えることを特徴とする撮像装置。
   

Images