JP5594157B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、被写体の検出ができない状況となっても適切な焦点調整を行う撮像装置および撮像方法に関する。

近年、ビデオカメラを始めとした撮像装置では、顔検出等に代表される被写体検出機能が広く普及し、フォーカス制御等にこの被写体検出機能を利用する技術も一般的になってきている。

さらに、撮像装置が予め特定の人物の顔の特徴を記憶しており、撮像画像中にその人物の顔を検出した場合に、その顔に自動的にフォーカスを合わせたり、撮像装置の表示画面に配されたタッチパネル上でユーザがタッチした被写体を追跡しながらフォーカスを合わせ続けたりすることで、ユーザが主に撮像したい被写体を特定してフォーカス制御等を行う技術も開発されている。以下では、このような顔の特徴量が記憶された人物やタッチされた被写体といった、ユーザが主に撮像したい被写体を主要被写体と呼ぶ。

一方で、これら近年の一般的な撮像装置の多くは、顔検出がなされていた主要被写体である人物が後ろを向く等、撮像装置が主要被写体を検出することができない状態が生じた場合、それまで検出されていた被写体とは関係のないフォーカス制御に画一的に切り換えていた。

例えば、それまで検出されていた主要被写体が撮像画像の範囲内からフレームアウトしたことを検知したとき、または画像範囲内にあるものの、その主要被写体の検出が不能な状態に陥ったときに、オートフォーカス機能をオフとするか、オンのままとするかをユーザが予め設定しておくことができる撮像装置に関する技術が提案されている（例えば、特許文献１）。

また上述の画一的な切り換えの他にも、被写体の位置を推定することで被写体の追跡を継続する手法が提案されている。

例えば、主要被写体の顔画像が検出できなくなった場合に、過去に検出された顔の位置に基づいて現在の顔のおおまかな位置を推定し、このおおまかな位置に対応する複数の周囲情報を取得する。そして、過去に取得された周囲情報に最も類似する周囲情報が取得された位置に基づいて現在の顔の位置を推定することで、主要被写体を継続的に追跡する技術が提案されている（例えば、特許文献２）。

特開２０１０−２３０８７号公報 特開２００７−４２０７２号公報

しかし、上述した特許文献１に記載の技術では、主要被写体を検出できなくなった際の特別なフォーカス制御として、画一的にオートフォーカス機能をオフとすることしかできない。従って、例えば、撮像装置は主要被写体を検出不能な状態に陥っているが、その主要被写体はフレームアウトしていないため、ユーザの目視ではフレーム中に主要被写体がいることが認識できているにもかかわらず、ユーザの意図に反して撮像装置が自動的にオートフォーカス機能をオフにしてしまうといった不都合が生じることが推察される。

また、上述した特許文献２に記載の技術では、主要被写体の顔の周囲情報（例えば洋服の色）が、主要被写体とは無関係な情報（例えば、他人の洋服の色や背景の色）と区別がつかない場合等に、そもそも継続的な追跡が不可能となるという問題が推測される。

以上に述べた通り、従来提案されてきた技術では、主要被写体が検出不能に陥った際に、撮像状況やユーザの意図を反映した適切なフォーカス制御を実現することができなかった。

そこで本発明は、このような課題に鑑み、主要被写体を検知できない状況に陥っても、撮像状況やユーザの意図を適切に反映したフォーカスエリアやアイリスの自動調整が可能な、撮像装置および撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の撮像装置（１１０、５１０）は、被写体を撮像して映像データを生成する撮像部（１２２）と、前記映像データにおける特定された被写体（主要被写体）を追尾する追尾部（１８６、５８６）と、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部（１９０）と、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、前記撮像部の被写界深度を前記撮像操作情報に基づいて決定した値に変化させる焦点決定部（１９２）と、を備えることを特徴とする。
上記課題を解決するために、本発明の他の撮像装置（１１０、５１０）は、被写体を撮像して映像データを生成する撮像部（１２２）と、前記映像データにおける特定された被写体（主要被写体）を追尾する追尾部（１８６、５８６）と、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部（１９０）と、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させる焦点決定部（１９２）と、を備えることを特徴とする。
上記課題を解決するために、本発明の他の撮像装置（１１０、５１０）は、被写体を撮像して映像データを生成する撮像部（１２２）と、前記映像データにおける特定された被写体（主要被写体）を追尾する追尾部（１８６、５８６）と、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部（１９０）と、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央付近で検出された顔に移動させる焦点決定部（１９２）と、を備えることを特徴とする。

上記課題を解決するために、本発明の撮像方法は、被写体を撮像して映像データを生成し、前記映像データにおける特定された被写体を追尾し、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態の変化を示す撮像操作情報を生成し、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、撮像部の被写界深度を前記撮像操作情報に基づいて決定した値に変化させることを特徴とする。
上記課題を解決するために、本発明の他の撮像方法は、被写体を撮像して映像データを生成し、前記映像データにおける特定された被写体を追尾し、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態の変化を示す撮像操作情報を生成し、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させることを特徴とする。
上記課題を解決するために、本発明の他の撮像方法は、被写体を撮像して映像データを生成し、前記映像データにおける特定された被写体を追尾し、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態の変化を示す撮像操作情報を生成し、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央付近で検出された顔に移動させることを特徴とする。

以上説明したように本発明は、主要被写体を検知できない状況に陥っても、撮像状況やユーザの意図を適切に反映したフォーカスエリアやアイリスの自動調整が可能となる。

フォーカス対象とした被写体のロストおよびロストした場合の従来のビデオカメラによるフォーカス制御について説明するための説明図である。 第１の実施形態における撮像装置の一例を示した外観図である。 第１の実施形態における撮像装置の概略的な構成を示した機能ブロック図である。 第１の実施形態における撮像方法の処理の流れを示すフローチャートである。 第１の実施形態における撮像方法の処理の流れを示すフローチャートである。 第１の実施形態における撮像方法の処理の流れを示すフローチャートである。 第２の実施形態における撮像装置の概略的な構成を示した機能ブロック図である。 第２の実施形態における撮像方法の処理の流れを示すフローチャートである。 第２の実施形態における撮像方法の処理の流れを示すフローチャートである。 第２の実施形態における撮像方法の処理の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、フォーカス対象とした主要被写体のロストおよびロストした場合の従来のビデオカメラによるフォーカス制御について説明するための説明図である。図１（ａ）に示すように、ビデオカメラの撮像画面１００において、画面左側には、比較的近い位置に人物１０２が、画面右側には比較的遠い位置に人物１０４がいる。ここでは、撮像画面１００内で顔が検出されると、その顔の位置に、焦点を合わせる画角内の位置を表すフォーカスエリアが設定され、その顔を追尾するモードにて撮像が行われているものとする。

そして、例えば、ユーザが撮像画面１００に備えられたタッチセンサで右側の人物１０４を指定したり、予め右側の人物１０４の顔の特徴を示す特徴量をビデオカメラに登録しておき、その登録した顔を追尾するように操作したり、子供優先モードになっていて、例えば、右側の人物１０４の顔は子供らしく、左側の人物１０２の顔は大人らしい顔の特徴量である等の状況で、右側の人物１０４（主要被写体）にフォーカスが合った状態で撮像しているものとする。このとき、例えば、枠１０６が右側の人物１０４の顔に重畳される。

そして、図１（ｂ）に示すように、動画の撮像中、右側の人物１０４が動いて顔の向きがビデオカメラとは反対方向を向いた場合、ビデオカメラは、右側の人物１０４の顔を検出できなくなり、追尾不能になる（ロスト）。この場合、従来のビデオカメラは、予め設定された処理として、顔をロストした位置に予め定められた待機時間、フォーカスエリアを固定したり、オートフォーカス機能を停止したり、左側の人物１０２の顔の検出位置にフォーカスエリアを移動させ、左側の人物１０２の顔にフォーカスを合わせるといった処理を画一的に行っていた。図１（ｂ）においては、左側の人物１０２の顔にフォーカスが合わせられ枠１０６が重畳されている。

そのため、ユーザが右側の人物１０４に引き続きフォーカスを合わせたいと考えていたとしても、ユーザの意図と異なる処理となってしまい、意図しない領域にフォーカスの合致した映像データが生成されてしまうという不具合が生じていた。

また、右側の人物１０４をロストした後、再び右側の人物１０４がビデオカメラ側に顔を向けてから、ユーザが撮像画面１００に備えられたタッチセンサで右側の人物１０４を指定し直せば、追尾を再開することができる。しかし、ロストする度に右側の人物１０４を指定し直さなくてはならないため、ユーザにとってはその作業が煩わしいと感じる場合がある。

以下の実施形態では、ユーザに煩わしい作業をさせずとも、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整が可能な撮像装置１１０について説明し、その撮像装置１１０を用いた撮像方法について詳述する。

（第１の実施形態：撮像装置１１０）
図２は、第１の実施形態における撮像装置１１０の一例を示した外観図である。図２（ａ）は、撮像装置１１０としてデジタルスチルカメラを、図２（ｂ）は、撮像装置１１０としてビデオカメラを示している。図３は、図２（ｂ）に記載した撮像装置１１０の概略的な構成を示した機能ブロック図である。撮像装置１１０は、操作部１２０と、撮像部１２２と、データ処理部１２４と、映像保持部１２６と、表示部１２８と、圧縮伸長部１３０と、記憶読取部１３２と、外部入出力部１３４と、記憶部１３６と、動き検出部１３８と、中央制御部１４０と、を含んで構成される。

操作部１２０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受け付ける。また、後述する表示部１２８の表示面にタッチパネルを配し、操作部１２０としてもよい。

撮像部１２２は、撮像レンズ１５０と、画角変更に用いられるズームレンズ１５２、焦点調整に用いられるフォーカスレンズ１５４と、露光調整に用いられるアイリス（絞り）１５６と、撮像レンズ１５０を通じて入射した光束を映像データに光電変換する撮像素子１５８と、後述する撮像制御部の制御信号に応じて、ズームレンズ１５２、フォーカスレンズ１５４、アイリス１５６および撮像素子１５８をそれぞれ駆動させる駆動部１６０とを含んで構成され、被写体を撮像して映像データを生成してデータ処理部１２４に出力する。

データ処理部１２４は、撮像部１２２から出力された映像データに、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理（ガンマ補正処理、ニー処理）等の所定の処理を施し、処理後の映像データを映像保持部１２６に出力する。また、データ処理部１２４は、コントラストの評価のため、データ処理部１２４自体に備えるＢＰＦ（Band Pass Filter）で映像データの高周波成分を抽出し撮像制御部に出力する。コントラストの評価については後に詳述する。

映像保持部１２６は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、データ処理部１２４、圧縮伸長部１３０、および外部入出力部１３４から入力された映像データを一時的に保持する。

表示部１２８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、データ処理部１２４および圧縮伸長部１３０が出力し映像保持部１２６に保持された映像データや、操作部１２０と連動した指示項目を表示する。

圧縮伸長部１３０は、データ処理部１２４から出力された映像データを、映像保持部１２６を介してＭ−ＪＰＥＧ（モーションJPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣなどの所定の符号化方式で符号化した符号データとし、符号データを記憶読取部１３２に出力する。また、圧縮伸長部１３０は、記憶読取部１３２が記憶媒体１７０から読み取った、所定の符号化方式で符号化された符号データを復号した映像データを、映像保持部１２６に出力する。

記憶読取部１３２は、圧縮伸長部１３０が符号化した符号データを任意の記憶媒体１７０に記憶させる。任意の記憶媒体１７０としては、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。ここで、記憶媒体１７０は、着脱可能とするが、撮像装置１１０と一体であってもよい。また、記憶読取部１３２は、映像データを所定の符号化方式で符号化した符号化データが記憶された任意の記憶媒体１７０から符号化データを読み取り、圧縮伸長部１３０に出力する。

外部入出力部１３４は、映像保持部１２６に保持された映像データを、例えば、撮像装置１１０に接続された、映像を表示する表示装置１７２に出力する。また、外部入出力部１３４は、図示しない外部装置からの映像信号を受け取って、映像保持部１２６に格納する。

記憶部１３６は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、後述する顔検出部の制御に従って、顔検出部が導出した顔の特徴量を記憶する。ここで、顔の特徴量は、顔の特徴点（目、口、鼻、耳等の特徴部分の代表点）それぞれの相対位置、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌の色等の顔を特徴付ける情報である。また、記憶部１３６は後述する撮像操作状態を示す撮像操作情報を記憶する。

動き検出部１３８は、撮像装置１１０のパンやチルト等の動きを検出する。動き検出部１３８は、具体的に、例えば、角速度センサ等で構成され、撮像装置１１０の角速度を測定し、その測定値を後述する情報生成部１９０に出力する。

中央制御部１４０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１１０全体を管理および制御する。また、中央制御部１４０は、顔検出部１８０、顔識別部１８２、周辺情報生成部１８４、追尾部１８６、撮像制御部１８８、情報生成部１９０、焦点決定部１９２としても機能する。

顔検出部１８０は、撮像部１２２が生成した映像データから顔を検出し、検出された顔の位置や大きさ、傾き等を示す顔情報を生成する。具体的に、顔検出部１８０は、例えば、顔全体の輪郭または目、口、鼻、耳等の顔の構成要素に基づくテンプレートマッチングによって顔を検出する。また、顔検出部１８０は、肌の色に近い領域を検出し、その領域を顔として検出してもよい。さらに、顔検出部１８０は、ニューラルネットワークを使って教師信号による学習を行い、顔らしいと判断した領域を顔として検出したり、顔を検出する既存の他の技術を用いたりしてもよい。

そして、顔検出部１８０は、検出された顔の特徴量を導出する。また、顔検出部１８０は、その検出された顔について、登録するようユーザの操作入力があると、導出した特徴量を記憶部１３６に記憶させる。

顔識別部１８２は、顔検出部１８０によって検出された顔について、導出された特徴量と、記憶部１３６に予め記憶されている特徴量とを比較して類似度を導出する。類似度は、検出された顔と、記憶部１３６に特徴量が記憶されている人物（以下、「登録人物」と称する。）との顔の類似の度合いを示す。そして、顔識別部１８２は、類似度が予め定められた閾値を超えていると、顔検出部１８０によって検出された顔が登録人物と同一人物の顔であると判定する。

周辺情報生成部１８４は、顔検出部１８０から出力される顔の位置や大きさ、傾きを利用して、その顔の人物の胴体に相当する領域を推定して、推定した領域の大きさ、位置および色を示す周辺情報を生成する。

追尾部１８６は、映像データにおける顔検出部１８０が検出した顔またはその顔に対応する周辺情報を追尾する。追尾部１８６は、顔検出部１８０が生成した顔情報、および周辺情報生成部１８４が生成した周辺情報を、所定の周期（例えば、フレーム周期）で取得する。映像データから顔が複数検出された場合、追尾部１８６は、検出された各顔についての顔情報と周辺情報とを取得する。

そして、追尾部１８６は、顔情報に基づいて、最新のフレームより一つ前のフレームにおける映像領域中の顔が検出された位置Ａに対応する、最新のフレームにおける映像領域中の位置Ａ’から、所定の距離内に顔が検出されているか否かを判定する。所定の距離内の位置Ｂで顔が検出されており、一つ前のフレームの映像領域中の位置Ａで検出された顔の大きさと、最新のフレームの映像領域中の位置Ｂで検出された顔の大きさの変化が所定値以下である場合、追尾部１８６は、その２つの顔は同一人物の顔であり、顔を追尾できていると判定する。そして、追尾部１８６は、位置Ｂと位置Ａ’との差分をとって速度ベクトルを導出する。

また、追尾部１８６は、所定の距離内に顔が検出されていない場合、または、検出されていても顔の大きさの変化が所定の大きさを超えている場合、周辺情報を用いた追尾を行う。具体的に、追尾部１８６は、一つ前のフレームの映像領域中の位置Ｄに対応する周辺情報に示される位置が位置Ｄ’である場合、この最新のフレームでの映像領域中の位置Ｄ’から所定の距離内で、周辺情報に示される色ヒストグラムに類似した色ヒストグラムの領域があるかどうか探索する。このとき、追尾部１８６は、色の類似度合いを示す指標であるヒストグラムインタセクションの値が所定の閾値以下であるか否かで類似を判定する。

ヒストグラムインタセクションの値が所定の閾値以下となる領域が検出された場合、追尾部１８６は、同一人物の周辺情報であると判定する。追尾部１８６は、ヒストグラムインタセクションが所定の閾値以下となる領域が検出されなかった場合、または、複数の領域（例えば、同じ色の服を着た複数の人の胴体）が検出された場合、同一人物の周辺情報を見失ったと判定する。また、色の類似度合いの指標としては、ヒストグラムインタセクションに限定されるものではなく、ユークリッド距離等を用いてもよい。

最新のフレームで同一人物の顔と判定される顔が検出されず、さらに同一人物の周辺情報も見失ったと判定した場合、追尾部１８６は、その人物を見失い、追尾不能となったと判定する。

そして、追尾部１８６は、追尾の可否にかかわらず、顔情報と、顔情報に対応する周辺情報と、顔情報を識別するためのＩＤ（IDentification）とを一時的に記憶する。追尾部１８６は、顔が検出されると顔毎に相異なるＩＤを付与する。ただし、顔を追尾できている場合、追尾部１８６は、追尾している顔の顔情報については、一つ前のフレームの追尾の対象となる顔の顔情報に付与されたＩＤを引き継ぎ、同一のＩＤを付与して記憶し、さらに導出した速度ベクトルも記憶する。このとき、一旦追尾不能となった人物の顔を所定時間内に再度検出した場合、その顔に付与されていたＩＤを引き継ぐとしてもよい。このように、追尾部１８６は、基本的に、顔検出部１８０が検出したすべての顔を追尾する。

撮像制御部１８８は、焦点調整や露光調整を含む撮像制御を行う。撮像制御部１８８は、撮像制御を遂行するための制御指令を駆動部１６０に出力し、駆動部１６０は、撮像制御部１８８から出力された制御指令に従って、フォーカスレンズ１５４やアイリス１５６を調整する。

本実施形態の撮像装置１１０は、オートフォーカス方式としてコントラスト方式を用いる。コントラスト方式は、撮像素子１５８上の像のボケの程度とコントラストの間に相関があり、焦点があったときに像のコントラストが最大になることを利用し、焦点を合わせる方式である。コントラストは、撮像部１２２で生成される映像データの高周波成分のエネルギーの大きさによって評価できる。

具体的に、撮像制御部１８８は、データ処理部１２４から出力されたコントラストの絶対値の積分値を評価値とするオートフォーカス演算を行う。そして、撮像制御部１８８は、オートフォーカス演算の結果に応じ、コントラストが最大となるように駆動部１６０にフォーカスレンズ１５４の位置を調節させることで焦点を合わせる。また、撮像装置１１０は、コントラスト方式に限らず、赤外光によって測定された被写体距離に応じてフォーカスレンズ１５４の位置を調節してもよいし、その他、焦点を合わせる様々な方式を適用してもよい。

このとき、撮像制御部１８８は、撮像素子１５８上の画角内のいずれかの領域をフォーカスエリアとし、フォーカスエリアに対応する部分的な映像データをコントラストの評価の対象とする。撮像装置１１０におけるオートフォーカス方式は、フォーカスエリアの選択手段によって、例えば以下のモードに分類される。

すなわち、フォーカスエリアとして、画角内の中央の領域を用いる「中央重点フォーカス」、表示部１２８の表示面に配されたタッチセンサにユーザがタッチした位置に相当する画角内の領域を用いる「タッチフォーカス」、タッチした位置近傍に相当する画角内の領域の色情報を用いて追尾対象物を追尾して、追尾結果の領域を用いる「タッチ追尾オートフォーカス」、顔検出部１８０で検出した顔のうち最大の面積の顔の位置に相当する画角内の領域を用いる「顔検出フォーカス」、顔検出した結果の一つまたは複数の顔のうち、ユーザがタッチした顔を追尾し、その追尾している顔の位置に相当する画角内の領域を用いる「顔追尾フォーカス」、撮像装置１１０内の記憶部１３６に特徴量が記憶されている人物の顔であると判定された顔を追尾し、その追尾している顔の位置に相当する画角内の領域を用いる「個人追尾フォーカス」の各モードである。なお、「顔追尾フォーカス」の場合、ユーザがタッチした顔の特徴量を一時的に記憶するようにしてもよい。

上述した周辺情報生成部１８４による周辺情報の生成処理、および追尾部１８６による追尾処理は、少なくとも「顔追尾フォーカス」と「個人追尾フォーカス」のモードにおいて実行される。なお、周辺情報生成部１８４が周辺情報の抽出の対象とする顔や、追尾部１８６が追尾の対象とする顔は、顔検出部１８０が検出したすべての顔とするが、フォーカスエリアを移動させる対象となる顔は、「特定された顔」とする。

「特定された顔」は、例えば、「顔追尾フォーカス」であれば、ユーザが表示部１２８の表示面に備えられたタッチセンサで指定した顔であり、「個人追尾フォーカス」であれば、顔識別部１８２によって登録人物と同一人物の顔であると判定された顔とする。

前者の場合、タッチセンサで指定した「特定された顔」を見失うと、再度タッチセンサによる指定等をしないと「特定された顔」の追尾は再開できない。なお、ユーザがタッチセンサで指定した顔の特徴量を一時的に記憶する構成の場合、「特定された顔」を見失った後で、再度、画面内にその人物の顔が現れると、追尾を再開できる。これは、顔識別部１８２が、一時的に記憶された顔の特徴量と検出された顔の特徴量とを比較して同一人物の顔であるか否かの判定を行い、同一人物の顔であると判定された顔が検出されると、「特定された顔」として追尾を再開するためである。

後者の場合、予め記憶部１３６に登録した顔を用いるため、「特定された顔」を見失った後で、再度、画面内にその人物の顔が現れると、顔識別部１８２がその顔を登録人物と同一人物の顔であると判定し、追尾部１８６が追尾を再開できる。

本実施形態において、「特定された顔」は、１つの顔を例に挙げるが、「特定された顔」を複数の顔としてもよい。その場合、撮像制御部１８８は、すべての「特定された顔」について、総合的に最も焦点が合うようにフォーカス調整を行う。

情報生成部１９０は、上記の２つのいずれかのモードで撮像が開始されると、例えば、フレーム周期毎に取得した、後述する撮像操作情報を記憶部１３６に記憶させる。

情報生成部１９０は、追尾している「特定された顔」について追尾部１８６が追尾不能と判定するまで、撮像操作情報を記憶部１３６の第１の場所に記憶させる。記憶部１３６に記憶させる撮像操作情報は、最新の第１の所定時間分とし、古いデータは新しいデータで上書きされる。したがって、追尾不能となった場合においても、記憶部１３６には、追尾不能になる直前の撮像操作情報が記憶されていることになる。

そして、情報生成部１９０は、追尾していた「特定された顔」が追尾不能となった場合、追尾不能となった直後の、第２の所定時間について、撮像操作情報を生成し、記憶部１３６の第２の場所に記憶させる。

このように、情報生成部１９０は、追尾不能となる直前の第１の所定時間分と、追尾不能となった直後の第２の所定時間分それぞれについて、撮像操作状態を示す撮像操作情報を生成、記憶する。

この撮像操作状態は、例えば、パンまたはチルトの大きさであり、情報生成部１９０は撮像操作状態としてパンまたはチルトの大きさを示す情報を生成する。具体的に、情報生成部１９０は、動き検出部１３８からの出力値に基づいて、パンやチルトの大きさとして、追尾不能となる直前の角速度および追尾不能となった直後の角速度をそれぞれ導出する。パンやチルトの大きさとしては、速度に限らず、例えば、パンやチルト方向の変位量や角速度であってもよい。

本実施形態の撮像装置１１０では、パンやチルトの大きさを把握することで、ユーザが撮像装置１１０の向きをどのように動かして主要被写体を画角に捉えていたのかがわかるため、その後、どのように主要被写体を撮像したいのかといったユーザの意図の推定精度が向上し、さらに適切に撮像状況やユーザの意図を反映したフォーカスエリアおよびアイリスの調整が可能となる。

また、撮像操作状態は、例えば、ズームの大きさであり、情報生成部１９０は撮像操作状態としてズームの大きさを示す情報を生成する。具体的に、情報生成部１９０はズームの大きさとして、ズームレンズの位置とズームレンズの移動速度（以下、ズーム速度と称す）を導出する。

本実施形態の撮像装置１１０では、ズームの大きさを把握することで、ユーザが主要被写体に対してズームインをしていたのかズームアウトをしていたのか、どちらでもないのかがわかるため、その後、どのように主要被写体を撮像したいのかといったユーザの意図の推定精度が向上し、さらに適切に撮像状況やユーザの意図を反映したフォーカスエリアおよびアイリスの調整が可能となる。

さらに、撮像操作状態は、フォーカス状態であってもよい。この場合、映像データの高周波成分のエネルギーのフレーム毎の変動が、所定の閾値よりも小さい場合に合焦状態であると判断する。

また、撮像操作状態は、「特定された顔」の特徴とその周辺情報とそれらの位置と、その他のすべての顔の特徴とその周辺情報とそれらの位置であってもよい。また、撮像操作状態は、追尾部１８６が導出した速度ベクトルであってもよい。

撮像操作状態が周辺情報である場合、情報生成部１９０は、追尾している「特定された顔」の周辺情報とその他のすべての顔の周辺情報から、「特定された顔」の周辺情報が他の周辺情報と識別可能であるかを判定する。例えば、周辺情報を上半身の服の色とする場合、追尾している「特定された顔」の人物の服の色ヒストグラムが他のすべての顔の人物の服の色ヒストグラムと異なると判定されると、識別可能と判定される。色ヒストグラムが異なるか否かの判定は、ヒストグラムインタセクションの値が所定の閾値より大きいか否かで行い、閾値より大きいと異なると判定される。

焦点決定部１９２は、追尾不能となる直前の第１の所定時間分と、追尾不能となった直後の第２の所定時間分の撮像操作情報に基づいて、フォーカスエリア（焦点を合わせる画角内の位置）を決定、または、撮像部１２２の被写界深度、本実施形態においてはアイリスを決定する。そして、焦点調整部１９２は、撮像制御部１８８に決定したフォーカスエリアおよびアイリスの値を出力する。撮像制御部１８８は、そのフォーカスエリアおよびアイリスの値に応じて駆動部１６０を制御する。焦点調整部１９２がフォーカスエリアおよびアイリスの値を決定する具体例については後述するフローチャートにおいて詳述する。

本実施形態の撮像装置１１０は、主要被写体を追尾不能となった直前および直後それぞれについての撮像操作情報に応じて、追尾不能となった主要被写体が追尾不能直後に画角内外のどの位置にいるか、および撮像者がその主要被写体を引き続き主要な被写体と考えているかどうかを推測し、追尾不能になった場合のフォーカスエリア、および被写界深度（本実施形態においてはアイリス）を決定する。そのため、まだ追尾可能と考えるか、追尾を断念するかといったユーザの意図が反映された撮像が可能になり、撮像装置１１０がユーザの意図に反した動作をしてしまい、ユーザがそれを是正しなければならないといった煩わしい事態を回避できる。

また、焦点決定部１９２は、主要被写体が追尾不能の状態が、撮像操作情報に応じた長さの待機時間継続すると、被写界深度（本実施形態においてはアイリス）を決定した値に変化させてもよい。例えば、撮像操作情報がパンやチルトの速度の場合、焦点決定部１９２は、その速度に応じて待機時間やアイリスを決定する。

このように、本実施形態の撮像装置１１０は、適切に設定された待機時間の経過を待って、被写界深度を変化させることができる。本実施形態において、アイリスを変更するまでの待機時間をアイリス待機時間と称す。

焦点決定部１９２は、主要被写体が追尾不能の状態が、撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央（以下、単に画角の中央と称す）に移動してもよい。例えば、撮像操作情報がパンやチルトの速度の場合、焦点決定部１９２は、その速度に応じて待機時間を決定する。焦点決定部１９２は、追尾不能の状態が待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させる。この際、焦点決定部１９２は、待機時間を撮像操作情報に応じた長さとする。例えば、主要被写体がフレームアウトしている可能性が高い場合には、待機時間を比較的短く、フレームアウトしている可能性が低い場合には、待機時間を比較的長くする。

このように、本実施形態における撮像装置１１０は、適切に設定された待機時間の経過を待って、フォーカスエリアを撮像対象となる範囲の中央にすることができる。本実施形態において、フォーカスエリアを変更するまでの待機時間をエリア待機時間と称す。

また、焦点決定部１９２は、主要被写体を追尾不能になった直前および直後それぞれについての、パンとチルトの大きさ、ズームの大きさ、フォーカス状態、検出されたすべての顔の特徴とその周辺情報とそれらの位置、速度ベクトルといった、撮像操作情報のうち、いずれか１または複数の値を入力とする、予め定められた関数の出力値によって、エリア待機時間、アイリス待機時間を連続的に変えるようにしてもよい。

以上のように、本実施形態の撮像装置１１０を用いれば、撮像操作情報に応じてフォーカスエリアやアイリスを調整するため、顔を追尾したオートフォーカス中に追尾不能になっても、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。

（撮像方法）
図４〜６は、第１の実施形態における撮像方法の処理の流れを示すフローチャートである。少なくとも上記の２つのいずれかのモードで撮像が開始されると、撮像部１２２は映像データを生成し（Ｓ３００）、顔検出部１８０は映像データから顔を検出し（Ｓ３０２）、その顔情報から特徴量を導出する（Ｓ３０４）。顔識別部１８２は、導出された特徴量と、記憶部１３６に予め記憶されている特徴量とを比較して登録人物と同一人物の顔であるかの判定をする（Ｓ３０６）。

周辺情報生成部１８４は、検出したすべての顔の人物の胴体に対応する領域を推定して、推定した領域の位置や色を示す周辺情報を生成する（Ｓ３０８）。追尾部１８６は、映像データにおける顔検出部１８０が検出した顔またはその顔に対応する周辺情報を追尾する（Ｓ３１０）。情報生成部１９０は、最新の撮像操作情報を記憶部１３６に記憶させる（Ｓ３１２）。

追尾部１８６が追尾している「特定された顔」が追尾不能になる直前、情報生成部１９０は、撮像操作情報を記録部１３６の第１の場所に記憶させる。第１の場所には、第１の所定時間に相当するフレーム数分（ここでは、Ｎフレームとする。Ｎは自然数。）の撮像操作情報が記憶される。最新のフレームの撮像操作情報は、Nフレーム分の情報のうち最も古いフレームの情報に上書きされる。したがって、第１の場所には、追尾不能になる直前のＮフレーム分の撮像操作情報が格納される。

追尾部１８６が追尾している「特定された顔」が追尾不能になった直後、情報生成部１９０は、撮像操作情報を記録部１３６の第２の場所に記憶させる。第２の場所には、追尾不能になったフレームから、第２の所定時間に相当するフレーム数分（ここでは、Ｍフレームとする。Ｍは自然数）の撮像操作情報が記憶される。追尾不能状態が続く場合には、第２の場所には追尾不能になったフレームからＭフレーム分の撮像操作情報が格納される。以上のようにして、記憶部１３６の第１の場所と第２の場所に、追尾不能になる直前のＮフレーム分と直後のＭフレーム分の撮像操作情報が記憶される。

記憶される撮影情報は、パンとチルトの大きさ、ズームの大きさ、フォーカス状態、検出されたすべての顔の特徴とその周辺情報とそれらの位置、速度ベクトルである。

情報生成部１９０は、追尾部１８６が追尾している「特定された顔」が追尾不能となったか否かを判定する（Ｓ３１４）。追尾不能となった場合（Ｓ３１４におけるＹＥＳ）、情報生成部１９０は、最新のフレームの一つ前のフレームでも追尾不能となっていたか否かを判定する（Ｓ３１６）。前のフレームで追尾不能でなかった、すなわち、最新のフレームが追尾不能となった初めてのフレームである場合（Ｓ３１６におけるＮＯ）、時間計測のカウンターをリセットした上で、その「特定された顔」が追尾不能と判定された時点からの経過時間の計測を開始する（Ｓ３１８）。

次に、フォーカスエリアやアイリスの設定判定の処理を行う（Ｓ３２０）。設定判定ステップＳ３２０については、図５、６を用いて後に詳述する。焦点決定部１９２は、設定判定ステップＳ３２０においてエリア待機時間が設定されたか否かを示すエリアフラグが、設定されたことを示す１で、かつ追尾不能と判定された時点からエリア待機時間が経過したか否かを判定する（Ｓ３２２）。エリアフラグが１で、かつエリア待機時間が経過している場合（Ｓ３２２におけるＹＥＳ）、撮像制御部１８８は、画角の中央がフォーカスエリアとなるよう駆動部１６０を制御する（Ｓ３２４）。エリアフラグが、エリア待機時間が設定されていないことを示す０か、またはエリア待機時間が経過していない場合（Ｓ３２２におけるＮＯ）、焦点決定部１９２は、設定判定ステップＳ３２０においてアイリス待機時間が設定されたか否かを示すアイリスフラグが、設定されたことを示す１で、かつアイリス待機時間が経過したか否かを判定する（Ｓ３２６）。アイリスフラグが１で、アイリス待機時間が経過している場合（Ｓ３２６におけるＹＥＳ）、撮像制御部１８８は、設定されたアイリスの値となるように駆動部１６０を制御する（Ｓ３２８）。アイリスフラグが、設定されていないことを示す０であるか、アイリス待機時間が経過していないかの少なくとも一方の条件に該当する場合（Ｓ３２６におけるＮＯ）、フォーカス調整、アイリス調整とも固定した状態とする。

追尾不能判定ステップＳ３１４において、追尾不能ではない場合（Ｓ３１４におけるＮＯ）、撮像制御部１８８は、追尾している「特定された顔」の顔情報または周辺情報に基づいて、フォーカスエリアを設定し焦点を合わせる（Ｓ３３０）。

そして、中央制御部１４０は、ユーザからの撮像の終了指示があるか否かを判定し（Ｓ３３２）、終了の指示があれば（Ｓ３３２におけるＹＥＳ）、撮像処理を終了し、終了の指示がなければ（Ｓ３３２におけるＮＯ）、映像データ生成ステップＳ３００に戻る。

続いて、設定判定ステップＳ３２０の詳細について、図５を用いて説明する。情報生成部１９０は、記憶部１３６の第１の場所に記憶されている、追尾不能になる直前のＮフレーム分の情報から、「特定された顔」の周辺情報が他の周辺情報と識別可能であったか否かを判定する（Ｓ３５０）。識別可能であった場合（Ｓ３５０におけるＹＥＳ）、記憶部１３６の第２の場所に記憶されている、最新のフレームの情報から、「特定された顔」の周辺情報と同一と見なせる周辺情報が検出されたか否かを判定する（Ｓ３５２）。同一と見なせる周辺情報が検出された場合（Ｓ３５２におけるＹＥＳ）、焦点決定部１９２は、フォーカスエリアをその周辺情報に示される位置とし撮像制御部１８８が駆動部１６０を駆動する（Ｓ３５４）。追尾部１８６は、次のフレームからその周辺情報を追尾する。焦点決定部１９２は、エリアフラグとアイリスフラグをそれぞれ０とする（Ｓ３５６）。

このように、「特定された顔」の周辺情報が追尾不能となる直前に識別可能であって、追尾不能となった直後でその周辺情報と同一と人物のものと見なせる周辺情報が検出された場合、焦点決定部１９２は、その周辺情報に示される位置にフォーカスエリアを決定する。周辺情報が識別可能、すなわち胴体の服の色ヒストグラムが他の人物のものと異なる場合、その周辺情報と同一と見なせる周辺情報は同一人物のものである可能性が高い。従って、その周辺情報の位置にフォーカスエリアを移動することで、主要被写体に合焦できる可能性が高い。一方、周辺情報が識別可能でない場合、似たような色の服の人物が複数いると考えられる。その場合、ユーザの意図する人物とは別の人物に合焦してしまうおそれがあるため、焦点決定部１９２は、他と識別可能な周辺情報があるときに限って、周辺情報を参照してフォーカスエリアを決定する。

追尾不能になる直前に周辺情報が他の周辺情報と識別可能で無かった場合（Ｓ３５０におけるＮＯ）、または、最新のフレームで同一と見なせる周辺情報がなかった場合（Ｓ３５２におけるＮＯ）、情報生成部１９０は、記憶部１３６に記憶されている撮像操作情報に基づき、追尾不能となった直前および直後それぞれについて、撮像操作情報としてズーム速度を導出する（Ｓ３５８）。そして、焦点決定部１９２は、追尾不能となった直前および直後の少なくとも一方でズームインをしているか否かをズーム速度から判定する（Ｓ３６０）。ズームインしている場合（Ｓ３６０におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間を約２秒に設定し、エリアフラグを１、アイリスフラグを０とする（Ｓ３６２）。

このように、追尾不能になる直前、または追尾不能になった直後に、ズームイン操作が行われた場合、焦点決定部１９２は、エリア待機時間を短く約２秒間とし、その後、撮像制御部１８８は、画角の中央をフォーカスエリアとした中央フォーカスステップＳ３２４を行う。これは、ズームイン操作が、画角の中央に、主要被写体を位置させて行われることが多いためである。また、エリア待機時間設定ステップＳ３６２の後、複数フレーム（例えば、１０フレーム）分、画角中央付近に同一人物の顔が検出されると、その顔が追尾不能になった「特定された顔」であると見なせない場合であっても、焦点決定部１９２は、その顔の位置をフォーカスエリアとしてもよい。さらに、焦点決定部１９２は、ズーム速度が速いほど、エリア待機時間を短くしてもよい。

ズームインしていなかった場合（Ｓ３６０におけるＮＯ）、焦点決定部１９２は、追跡不能となった直前および直後の少なくとも一方でズームアウトしているか否かを判定する（Ｓ３６４）。ズームアウトしている場合（Ｓ３６４におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間とアイリス待機時間を約２秒とし、エリアフラグとアイリスフラグをそれぞれ１とし（Ｓ３６６）、アイリス待機時間経過後、アイリスを狭い値とするように設定する（Ｓ３６８）。

追尾不能になる直前、または追尾不能になった直後で、ズームアウト操作を行った場合には、エリア待機時間を短く約２秒に設定し、その後、撮像制御部１８８は、画角の中央をフォーカスエリアとした中央フォーカスステップＳ３２４を行う。また、ズームアウト操作の場合、主要被写体が画角の特定の場所にいるといった傾向が少ないため、焦点決定部１９２は、アイリスを狭く設定し被写界深度を深くする。被写界深度を深くすることで、主要被写体が画角のどの位置にあっても焦点の合った映像が得られる。ここでも、焦点決定部１９２は、ズーム速度が速いほど、エリア待機時間を短くしてもよい。

ズームアウトしていなかった場合（Ｓ３６４におけるＮＯ）、さらに、設定判定の処理を行う（Ｓ３７０）。設定判定ステップＳ３７０について、図６を用いて説明する。情報生成部１９０は、記憶部１３６に記憶されている撮像操作情報に基づき、追尾不能となった直前および直後それぞれについて、撮像操作情報としてパンやチルトの速度を導出する（Ｓ４００）。そして、焦点決定部１９２は、パンやチルトの速度が予め定められた速度の閾値と比較する等して、手ぶれではなくパンやチルト動作が行われているか否かを判定する（Ｓ４０２）。パンやチルト動作が行われている場合（Ｓ４０２におけるＹＥＳ）、焦点決定部１９２は、追尾不能となる直前と直後それぞれのパンやチルトが比較的高速（例えば、３０°／ｓｅｃ以上）であるか否かを判定する（Ｓ４０４）。いずれも高速であった場合（Ｓ４０４におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間とアイリス待機時間を約３秒に設定し、エリアフラグとアイリスフラグをそれぞれ１とし（Ｓ４０６）アイリス待機時間経過後、アイリスを狭い値とするように設定する（Ｓ４０８）。

このように、追尾不能になる直前に、比較的高速度でパンやチルトを行っており、追尾不能になった直後も比較的高速度でパンやチルトを行っている場合、主要被写体が比較的高速度で移動していると考えられる。この場合、画面の中央に主要被写体を配置するように撮像すると考えられるため、焦点決定部１９２は、エリア待機時間を短く約３秒に設定し、その後、撮像制御部１８８は、画角の中央をフォーカスエリアとした中央フォーカスステップＳ３２４を行う。この場合、主要被写体までの距離も変化する場合が多いため、焦点決定部１９２は、アイリスを狭く設定し被写界深度を深くする。被写界を深くすることで、被写体距離の推測に失敗していても、フォーカスの合った映像が得られる。また、パンやチルトの速度が高速になるほど待機時間をより短くしてもよい。

追尾不能となる直前のパンやチルトおよび直後のパンやチルトのいずれか一方でも比較的高速でなかった場合（Ｓ４０４におけるＮＯ）、焦点決定部１９２は、追尾不能となる直前のパンやチルトが比較的高速かつ、追尾不能となった直後のパンやチルトが比較的低速（例えば、３０°／ｓｅｃ未満）であるか否かを判定する（Ｓ４１０）。追尾不能直前が比較的高速かつ、追尾不能直後が比較的低速である場合（Ｓ４１０におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間を約１５秒、アイリス待機時間を約４秒に設定し、エリアフラグとアイリスフラグをそれぞれ１とし（Ｓ４１２）、アイリス待機時間経過後、アイリスを狭い値とするように設定する（Ｓ４１４）。

このように、追尾不能になる直前、比較的高速度でパンやチルトを行っていたが、追尾不能になった直後には、パンやチルトを停止した場合、主要被写体が追尾不能になった時点でいた場所に留まっている可能性が高い。この場合、一時的に顔の向きが逸れただけで、再度、撮像装置１１０側に向き、追尾可能となる可能性がある。このとき、比較的短時間でフォーカスエリアを画角の中央に移動してしまうと、ユーザは、再度、タッチセンサ等で主要被写体を指定しなおさなければならず煩わしい上、フォーカスエリアの移動が多い、見難い映像となってしまう。そこで、焦点決定部１９２は、比較的長い約１５秒間、フォーカスエリアを固定する。一方、追尾不能となる直前は比較的高速度でパンやチルトを行っていたため、被写体距離が正確でない可能性も高いため、アイリスを狭くする。

追尾不能直前が比較的高速かつ、追尾不能直後が比較的低速でなかった場合（Ｓ４１０におけるＮＯ）、焦点決定部１９２は、追尾不能となる直前のパンやチルトが比較的低速かつ、追尾不能となった後のパンやチルトが比較的高速であるか否かを判定する（Ｓ４１６）。追尾不能直前が比較的低速かつ、追尾不能直後が比較的高速である場合（Ｓ４１６におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間を約０秒、アイリス待機時間を約０秒に設定し、エリアフラグを１、アイリスフラグを１とし（Ｓ４１８）、アイリスをより狭い値とするように設定する（Ｓ４２０）。

このように、追尾不能になる直前、パンやチルトを行っていないか、あるいは比較的低速で行っていたが、追尾不能直後に比較的高速度でパンやチルトを開始した場合、何らかの理由で顔の識別が困難であったり、ユーザが「特定された顔」を別の人の顔に切り換えたりしたことが想定される。したがって、焦点決定部１９２は、迅速に画面中央付近の顔にフォーカスを合わせ、アイリスは比較的大きく絞るように設定する。また、画角の中央付近に複数フレーム(例えば、１０フレーム以上)にわたって顔が検出された場合、その顔が追尾不能になった「特定された顔」であると見なせない場合であっても、焦点決定部１９２は、その顔の位置をフォーカスエリアとする。

追尾不能直前が比較的低速かつ、追跡不能直後が比較的高速でなかった場合（Ｓ４１６におけるＮＯ）、すなわち、追尾不能となる直前および直後それぞれのパンやチルトが比較的低速である場合、焦点決定部１９２は、エリア待機時間を約１５秒に設定し、エリアフラグを１、アイリスフラグを０とする（Ｓ４２２）。

このように、追尾不能となる直前および直後それぞれにおいて、パンやチルトを比較的低速で行っている場合、何らかの理由で「特定された顔」を追跡できないが、実際にはその場所にいるものと考えられる。そのため、焦点決定部１９２は、比較的長い約１５秒間、フォーカスエリアを追尾不能になる直前の位置のまま固定し、アイリスは追尾不能になる直前と同じ値を保つよう設定する。

さらに、追尾不能になる直前の「特定された顔」やその周辺情報の位置が画角の中央付近であり、速度ベクトルが小さく（例えば、画角換算で５°／ｓｅｃ未満）、合焦状態であって焦点距離の変化の大きさが小さく、その他の顔の位置が「特定された顔」の位置と離れていて速度ベクトルが小さく（例えば、画角換算で５°／ｓｅｃ未満）、追尾不能直後もその他の顔の位置の変化が小さい場合、焦点決定部１９２は、さらに長い時間フォーカスエリアを固定する。この場合には、「特定された顔」の人物がその場所にいる可能性がより高いためである。

有意判定ステップＳ４０２において、パンやチルト動作が行われていなかった場合（Ｓ４０２におけるＮＯ）、焦点決定部１９２は、追尾不能になる直前または追尾不能になった直後にフォーカスが合焦状態でなかったか、または焦点距離の変化の大きさが大きかったか、追尾している「特定された顔」とその周辺情報の移動速度が速く（例えば、画角換算で２０°／ｓｅｃ以上）、追尾不能直後のパンやチルトが行われないか比較的低速（例えば、２０°／ｓｅｃ未満）であったか、いずれかの条件に該当するか否かを判定する（Ｓ４２４）。該当する場合（Ｓ４２４におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間とアイリス待機時間を比較的短い約５秒に設定し、エリアフラグとアイリスフラグをそれぞれ１とし（Ｓ４２６）、アイリス待機時間経過後、アイリスを狭い値とするように設定する（Ｓ４２８）。条件判定ステップＳ４２４において、いずれかの条件に該当する場合、「特定された顔」にフォーカスがあっていないと考えられるため、比較的早く画角の中央にフォーカスエリアを移す。いずれの条件にも該当しない場合（Ｓ４２４におけるＮＯ）、焦点決定部１９２は、デフォルトの設定である、エリア待機時間とアイリス待機時間を約１０秒間とし、エリアフラグとアイリスフラグをそれぞれ１とする（Ｓ４３０）。

以上説明したように、本実施形態の撮像装置１１０を用いた撮像方法によれば、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。

（第２の実施形態）
上述した第１の実施形態では、人の顔を追尾することを前提としていた。第２の実施形態では、人の顔に限らないより汎用性のある追尾を前提として、追尾不能直後の処理をユーザの意図に沿ったものとする撮像装置５１０について説明する。本実施形態では、上述した「タッチ追尾オートフォーカス」のモードで撮像する場合について説明する。なお、上述した第１の実施形態と実質的に等しい構成要素については、同一の符号を付して説明を省略する。

（撮像装置５１０）
図７は、撮像装置５１０の概略的な構成を示した機能ブロック図である。撮像装置５１０は、操作部１２０と、撮像部１２２と、データ処理部１２４と、映像保持部１２６と、表示部１２８と、圧縮伸長部１３０と、記憶読取部１３２と、外部入出力部１３４と、記憶部１３６と、動き検出部１３８と、中央制御部５４０と、を含んで構成される。

中央制御部５４０は、中央処理装置や信号処理装置を含む半導体集積回路で構成され、所定のプログラムを用いて撮像装置５１０全体を管理および制御する。また、中央制御部５４０は、色抽出部５８０、追尾部５８６、撮像制御部１８８、情報生成部１９０、焦点決定部１９２としても機能する。

第１の実施形態における構成要素として既に述べた、操作部１２０、撮像部１２２、データ処理部１２４、映像保持部１２６、表示部１２８、圧縮伸長部１３０、記憶読取部１３２、外部入出力部１３４、記憶部１３６、動き検出部１３８、撮像制御部１８８、情報生成部１９０、焦点決定部１９２は、実質的に機能が等しいので重複説明を省略し、ここでは構成が相違する中央制御部５４０の色抽出部５８０と追尾部５８６を主に説明する。

色抽出部５８０は、ユーザが表示部１２８の表示面に備えられたタッチセンサで位置を指定すると、映像データにおけるその位置に相当する領域の色情報を抽出する。この色情報は、追尾対象物を特定するためのものとなる。以降、追尾部５８６から領域の指定があると、色抽出部５８０は、指定された領域の色情報を抽出する。

表示部１２８は、撮像中の映像がスルー画像として表示される。ユーザが、そのスルー画像の任意の場所をタッチすると、映像データにおける被写体像（追尾対象物）が指定される。ユーザがタッチした位置情報は、表示部１２８の表示面に配されたタッチセンサで読み取られ、記憶部１３６に記憶される。色抽出部５８０は、映像保持部１２６に記憶された映像データから、記憶部１３６に記憶された位置情報に相当する領域の映像データを読み出し、その映像データから色情報を抽出する。抽出された色情報は記憶部１３６に記憶される。

そして、次フレーム以降、画角内の追尾対象物の移動を追尾する。追尾部５８６は、記憶部１３６に記憶された位置情報に基づいて探索範囲を決定する。探索範囲は、例えば、位置情報の位置から上下左右に所定の距離をとった領域とする。色抽出部５８０は、探索範囲の映像データを映像保持部１２６から読み出し、探索領域より十分に小さい大きさの小領域の映像データから色情報を抽出する。

続いて、追尾部５８６は、抽出された色情報と記憶部１３６に記憶されている色情報との類似度をヒストグラムインタセクションによって導出し、小領域の位置を追尾領域内で変えながら類似度を算出していき、最も類似度が高い小領域の位置を導出する。この最も類似度が高い小領域の位置が追尾結果の位置となる。追尾部５８６は、記憶部１３６に記憶されている位置情報を更新する。以下、撮像制御部１８８は、追尾結果の位置をフォーカスエリアとし、第１の実施形態と同様、焦点の調整を行う。

また、追尾部５８６は、追尾対象物の移動速度を算出する。追尾対象物の移動速度は、追尾対象物の前フレームと最新フレームのそれぞれ画角内の位置から移動距離を算出し、フレーム間の時間間隔で除算した値である。ただし、フレーム間の時間間隔が追尾している間変化しない場合、除算せず移動距離をそのまま用いてもよい。追尾部５８６は、導出した移動速度を情報生成部１９０に出力する。焦点決定部１９２は、かかる移動速度を、第１の実施形態で説明した、撮像操作状態として用いてもよい。

「タッチ追尾オートフォーカス」のモードで撮像している場合であっても、例えば、追尾対象物が他の物体に隠れてしまったり、追尾対象物の色が正面と背面で異なり、背面を向いてしまったり、追尾対象物がフレームアウトしてしまったり、追尾対象物に光が反射し色が変わって見えたりして、追尾対象物を追尾不能となる場合がある。

（撮像方法）
さらに、上述した撮像装置５１０を用いた撮像方法も提供される。図８〜１０は、第２の実施形態における撮像方法の処理の流れを示すフローチャートである。「タッチ追尾オートフォーカス」のモードで撮像が開始されると、撮像部１２２は映像データを生成する（Ｓ３００）。タッチパネルを通じた映像データにおける位置の指定を既に受け付けたか否かを判定し（Ｓ６０４）、既に受け付けていると（Ｓ６０４におけるＹＥＳ）、色抽出部５８０は、指定された位置に相当する領域の色情報を抽出し（Ｓ６０６）、追尾部５８６は、その色情報に基づいて追跡対象物の追尾を開始する（Ｓ６０８）。

以下、追尾不能判定ステップＳ３１４から終了判定ステップＳ３３２までの処理は、設定判定ステップＳ６２０を除いて、第１の実施形態と実質的に等しいため重複説明を省略する。続いて、設定判定ステップＳ６２０の詳細について、図９を用いて説明する。

図９において、ズーム速度導出ステップＳ３５８からアイリス設定ステップＳ３６８までの処理は、第１の実施形態と実質的に等しいため重複する説明を省略する。ただし、エリア待機時間設定ステップＳ３６２において、追尾部５８６は、色情報による追尾のための探索範囲を画角の中央付近とする。ズームイン操作は、画角の中心に主要被写体がある場合に行われることが多いからである。ズームアウト判定ステップＳ３６４において、ズームアウトしていなかった場合（Ｓ３６４におけるＮＯ）、さらに、設定判定の処理を行う（Ｓ６７０）。設定判定ステップＳ６７０について、図１０を用いて説明する。

図１０において、パンチルト速度導出ステップＳ４００からアイリス設定ステップＳ４１４までの処理は、第１の実施形態と実質的に等しいので重複する説明を省略する。追尾不能前後の速度判定ステップＳ４１０において、追尾不能となる直前のパンやチルトが比較的高速かつ、追尾不能となった直後のパンやチルトが比較的低速でなかった場合（Ｓ４１０におけるＮＯ）、焦点決定部１９２は、追尾不能となる直前および直後それぞれのパンやチルトが比較的低速であるか否かを判定する（Ｓ６８０）。比較的低速である場合（Ｓ６８０におけるＹＥＳ）、焦点決定部１９２は、追尾不能となる直前の追跡対象物の移動速度が低速（例えば、画角換算で５°／ｓｅｃ未満）であり、かつフォーカスが合焦状態で焦点距離の変化が小さいか否かを判定する（Ｓ６８２）。追跡対象物の移動速度が低速かつ焦点距離の変化が小さい場合（Ｓ６８２におけるＹＥＳ）、焦点決定部１９２は、エリア待機時間を約２０秒に設定し、エリアフラグを１、アイリスフラグを０とする（Ｓ６８４）。

上述した追尾対象物の移動速度は画角内の移動速度であり、実際には追跡対象物が比較的高速で移動していても、パンやチルトでその動きを追うと画角内の追跡対象物の移動速度は小さくなる。この場合、ユーザは、追尾不能になってからも追尾対象物の動きをパンやチルトで追っており、しかも追尾対象物は焦点距離を変えなくてはならないような移動はしていないと考えられる。したがって、焦点決定部１９２は、フォーカスエリアを比較的長時間固定することで、ユーザは追尾対象物に焦点が合った状態で撮像を続けることができる。

以下、条件判定ステップＳ４２４からエリア待機時間およびアイリス待機時間設定ステップＳ４３０までの処理は、第１の実施形態と実質的に等しいため重複説明を省略する。

本実施形態の撮像装置５１０を用いた撮像方法によれば、撮像状況やユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、被写体の検出ができない状況となっても適切な焦点調整を行う撮像装置および撮像方法に利用することができる。

１１０、５１０ …撮像装置
１２２ …撮像部
１８６、５８６ …追尾部
１９０ …情報生成部
１９２ …焦点決定部

Claims (6)

1. 被写体を撮像して映像データを生成する撮像部と、
   前記映像データにおける特定された被写体を追尾する追尾部と、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部と、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、前記撮像部の被写界深度を前記撮像操作情報に基づいて決定した値に変化させる焦点決定部と、
   を備えることを特徴とする撮像装置。
2. 被写体を撮像して映像データを生成する撮像部と、
   前記映像データにおける特定された被写体を追尾する追尾部と、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部と、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させる焦点決定部と、
   を備えることを特徴とする撮像装置。
3. 被写体を撮像して映像データを生成する撮像部と、
   前記映像データにおける特定された被写体を追尾する追尾部と、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部と、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央付近で検出された顔に移動させる焦点決定部と、
   を備えることを特徴とする撮像装置。
4. 被写体を撮像して映像データを生成し、
   前記映像データにおける特定された被写体を追尾し、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成し、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、撮像部の被写界深度を前記撮像操作情報に基づいて決定した値に変化させることを特徴とする撮像方法。
5. 被写体を撮像して映像データを生成し、
   前記映像データにおける特定された被写体を追尾し、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成し、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させることを特徴とする撮像方法。
6. 被写体を撮像して映像データを生成し、
   前記映像データにおける特定された被写体を追尾し、
   追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成し、
   前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央付近で検出された顔に移動させることを特徴とする撮像方法。

Images