JP4802884B2

JP4802884B2 - 撮像装置、撮像画像記録方法、及び、プログラム

Info

Publication number: JP4802884B2
Application number: JP2006168300A
Authority: JP
Inventors: 和典柳
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-06-19
Filing date: 2006-06-19
Publication date: 2011-10-26
Anticipated expiration: 2026-06-19
Also published as: JP2007336411A

Description

本発明は、顔認識技術を利用したオートブラケティング撮影技術に関する。

従来、撮影時に複数の人物が検出された場合に、主要被写体と判定される人物に合焦させる技術があった。例えば、特許文献１には、被写体に含まれる人物を抽出する人物抽出部と、この人物抽出部で抽出された人物が複数いる場合にどの人物を主要被写体とするかを判定する主要被写体判定部とを備えたカメラが開示されており、主要被写体判定技術として、カメラとの距離が最も近い被写体を主要被写体と判定する技術、画面に占める面積が最も大きい被写体を主要被写体と判定する技術、および最も画面中央に近い被写体を主要被写体と判定する技術、が開示されている。

また、複数の人物が検出された場合に、それぞれの人物に焦点を合わせて連続撮影する技術があった。例えば、特許文献２に開示の技術では、カメラは撮像部からの画像データに含まれる人物の眼を検出する。そして、検出された眼の位置及び大きさを示す情報（つまり、焦点位置情報）を基に検出された眼の人物に対する合焦位置を確定する。尚、前記合焦位置は、眼が検出された全ての人物に対して、撮影を開始する前に予め確定される。そして、確定された合焦位置に順次フォーカスレンズを移動させて撮影を行なうように構成されている。

また、登録されている顔データに基づいて撮影された顔と照合する技術があった。例えば、特許文献３には、取り込んだ画像の差分画像を生成し、エッジ検出によりある一定のしきい値以上の差分変化（変動量）の有無を検出し、差分変化のある顔画像を記憶手段にため込み、ため込まれている顔画像のラフな輪郭検出を行なって顔画像を正規化したあと、顔特徴点を抽出して顔画像のグラフ表現を抽出し、また、確認用記録媒体の媒体情報から得た顔画像についても同様にして顔画像のグラフ表現を抽出し、撮影された顔画像から得たグラフ表現と確認用記録媒体の媒体情報から得たグラフ表現と比較照合して類似度判定を行なう顔画像の認識と比較判定方法が開示されている。

特開２００２−５１２５５号公報特開２００５−１２８１５６号公報特開２００２−２５１３８０号公報

カメラの視野内で複数の人物が検出された場合に、検出された各人物にそれぞれピントを合わせて撮影した画像を得たい場合がある。そして、検出された各人物に対して最適な焦点位置で撮影を行なうために、上記特許文献２に記載のようにそれぞれの人毎に焦点を合わせて連続撮影することが考えられる。しかしながら、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間には時間差が生じるため、最初の撮影対象人物の撮影から最後の撮影対象人物の撮影までの間に、カメラと被写体との位置関係が変化していることがある。

このために、上記特許文献２に開示の焦点検出装置の技術のように、検出した全ての人物に対し撮影を開始する前に予め合焦位置を確定させてしまうと、カメラと被写体との位置関係の変化により予め確定した合焦位置と目的とした撮影対象がずれてぼけた画像になってしまうという問題があった。また、最初の撮影対象人物の撮影から最後の撮影対象の人物の撮影までの間に、撮影対象人物の増減や各人物の位置関係の変化が生ずる場合がある。このような場合にも目的とした撮影対象がぼけた画像になってしまうという問題があった。

本発明は上記課題を解決するためになされたものであり、人物の顔が検出された場合であっても、各人物の顔毎に最適な焦点位置で撮影してぼけのない画像を得ることが可能な撮像装置、撮像画像記録方法、及び、プログラムの提供を目的とする。

上記課題を解決するために、請求項１記載の発明は、撮像手段と、この撮像手段が所定の周期で撮像する画像を取得する画像取得手段と、前記画像取得手段によって所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定手段と、前記合焦位置決定手段により合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御手段と、前記合焦制御手段によって前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得手段によって取得された画像を記録する記録手段と、を備えること特徴とする。

また、請求項２記載の発明は上記請求項１記載の発明において、前記顔領域検出手段は前記取得された画像から顔領域を複数検出するとともに、これら検出された各顔領域の前記取得された画像における位置情報をそれぞれ記憶する位置情報記憶手段を更に備え、前記合焦位置決定手段は、前記位置情報記憶手段から所定の順序で取り出す位置情報を基に合焦すべきエリアを決定し、更にこの合焦すべきエリアについて合焦位置を決定することを特徴とする。

また、請求項３記載の発明は上記請求項２記載の発明において、当該撮像装置と前記顔領域で特定される被写体との距離を取得する距離取得手段を更に備え、前記所定の順序とは、この距離取得手段によって取得された距離の大きさの順であることを特徴とする。

また、請求項４記載の発明は上記請求項１記載の発明において、前記顔領域検出手段は前記取得された画像から顔領域を複数検出するとともに、前記合焦位置決定手段が合焦位置を決定する前に、前記複数検出された顔領域から合焦位置を決定すべき顔領域を選択する選択手段を更に備えることを特徴とする。

また、請求項５記載の発明は上記請求項１記載の発明において、顔領域の特徴を示す顔データを記憶する顔データ記憶手段を更に備え、前記顔領域検出手段は、前記顔データ記憶手段に記憶されている顔データと特徴が略一致する顔領域を検出することを特徴とする。

また、請求項６記載の発明は上記請求項５記載の発明において、前記画像取得手段によって取得された画像から前記顔データ記憶手段に顔データとして登録すべき顔領域を抽出する抽出手段を更に備えることを特徴とする。

また、請求項７記載の発明は上記請求項１記載の発明において、前記顔領域検出手段が顔領域を検出すると、この検出された顔領域を合焦すべき顔領域として記憶する顔領域記憶手段と、この顔領域記憶手段への記憶処理後に前記画像取得手段が取得した画像については、前記記憶処理された顔領域を検出しないよう前記顔領域検出手段を制御する検出制御手段と、を更に備えることを特徴とする。

また、請求項８記載の発明は、撮像部が所定の周期で撮像する画像を取得する画像取得ステップと、前記画像取得ステップにて所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップにて顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定ステップと、前記合焦位置決定ステップで合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御ステップと、前記合焦制御ステップにて前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得ステップにて取得された画像を記録させる記録ステップと、を含むことを特徴とする。

また、請求項９記載の発明は、撮像装置のコンピュータを、所定の周期で撮像する画像を取得する画像取得手段、前記画像取得手段によって所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出手段、前記顔領域検出手段によって顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定手段、前記合焦位置決定手段によって合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御手段、前記合焦制御手段によって前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得手段にて取得された画像を記録させる記録手段、として機能させることを特徴とする。

本発明によれば、人物の顔が検出された場合であっても、各人物の顔毎に最適な焦点位置で撮影してぼけのない画像を得ることが可能となる。

（実施形態１）
本実施形態では、検出した顔領域の位置情報を記憶しておき、検出した顔領域を対象としたＡＦ（オートフォーカス）を実行して撮影する動作を、検出した顔毎に順次繰り返すことにより、検出した顔の人物全員に対して最適な合焦位置で撮影してぼけのない画像を得る例について述べる。

図１は、本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ１および距離センサー２を有している。また、デジタルカメラ１００の背面には、図１（ｂ）に示すように、モードダイアル３、液晶画面４、カーソルキー５、ＳＥＴキー６、メニューキー１０等が設けられている。また、上面にはシャッターキー８および電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。なお、距離センサー２は必須ではない。また、後述する実施形態４では距離センサー２は不要である。

図２は本実施形態に係わるデジタルカメラの電気的構成の一実施例を示すブロック図であり、デジタルカメラ１００は、撮像部３１、画像データ処理部３２、顔領域検出部３３、システム制御部３５、一時記憶メモリ３６、画像表示部３７、記録部３８、外部入出力部４０、操作部４１、測距部４２および位置情報記憶メモリ４３を備えている。撮像部３１および画像データ処理部３２は本発明の画像取得部を構成する。また、オートフォーカス機能、および静止画撮影モードや動画撮影モード等の撮影機能とそれらの撮影機能の下選択可能な本発明に基づく顔認識によるオートブラケティング撮影モードを有している。

撮像部３１は、撮影レンズ１のほか、図３に示すように、基本モードである撮像モードにおいてズームレンズ１−１を移動させて光学ズーム動作を行わせるズーム駆動制御部３１−１やフォーカスレンズ１−２を移動させて合焦動作を行わせる合焦制御手段としてのＡＦ駆動制御部３１−２等を含むレンズ駆動系３１−３と、撮像素子３１−５、信号変換部３１−６、撮像タイミング制御部３１−７、撮像素子駆動制御部３１−８等を含む撮像系３１−９を有しており、撮像レンズ１を経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子３１−５によって光電変換され撮像信号（アナログ）として出力される。撮像素子３１−５の出力信号は信号変換部３１−６で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部３２に送られる。撮像素子３１−５は、被写体の二次元画像を撮像するＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＭＯＳに限定されない。

画像データ処理部３２は、信号変換部３１−６から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＤＲＡＭ等の一時記憶メモリ３６にバス３０を介してＤＭＡ転送する。

顔領域検出部３３は、顔認識によるオートブラケティング撮影モード時に、一時記憶メモリ３６に取り込まれた１フレーム分の画像データの中から人物の顔領域を検出し、検出した顔領域の位置情報、例えば、顔領域の四隅の座標または中心位置の座標、をバス３０を介してシステム制御部３５に送出する。顔領域の検出方法として、例えば特許文献１（特開平２００２−５１２５５号公報）に記載の技術等のような公知の技術を適宜用いることができる。なお、この顔領域検出処理のために専用の回路を設けてもよいし、システム制御部３５で顔領域検出用プログラムを実行させるようにしてもよい。また、顔領域検出部３３を、後述する実施形態４のように、画像を所定の方向から走査しながら顔領域を検出するように構成してもよい。

システム制御部３５は、デジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、該ＣＰＵで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成されている。また、システム制御部３５は画像データ処理部３２からの画像データ（輝度及び色差信号）のＤＲＡＭ等の一時記憶メモリ３６へのＤＭＡ転送終了後に、この輝度及び色差信号を一時記憶メモリ３６から読出し、画像表示部３９の表示用バッファメモリに書き込むよう制御する。

また、システム制御部３５は、顔認識によるオートブラケティング撮影モード時に、顔領域検出部３３から受け取る顔画像の位置情報を基に合焦位置を決定する合焦位置決定手段として機能し、合焦位置データをＡＦ駆動制御部３１−２に送出する。また、ＡＦ駆動制御部３１−２に合焦時に撮像指示を撮像部３１に送出する。

更に、システム制御部３５は、顔認識によるオートブラケティング撮影モード時に、一時記憶メモリ３６に一時記憶されている複数の撮影画像からそれぞれ主要被写体部分を抽出して合成画像を生成する画像合成手段として機能する。

一時記憶メモリ３６はＤＲＡＭ等で構成され、オートブラケティング撮影モード時にはその一部の領域を画像データ処理部３２から取得する撮影画像を一時的に記憶するバッファメモリとして用いることができる。

画像表示部３７はＶＲＡＭ等の表示用バッファメモリ、表示制御部、及び液晶画面４を有し、システム制御部３５の制御下で表示用バッファメモリに書き込まれた上記輝度及び色差信号を表示制御部を介して定期的に読み出し、これらのデータを基にビデオ信号を生成して上記液晶画面４に出力する。

記録部３８は、画像データの圧縮または伸張を行うデータ圧縮伸張部と、ＤＲＡＭ等のバッファメモリから転送されるデータの記録媒体３９への書き込みや記録媒体３９からの読み出しを行うコントローラ等から構成されている。記録媒体３９は内蔵メモリ（フラッシュメモリ）や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり記録部３８によって書き込まれた画像データや撮像情報等を保存記録する。

外部入出力部４０は、デジタルカメラ１００とＵＳＢケーブル等の接続手段やインターネット等の通信ネットワークによりデジタルカメラ１００に接続する外部装置との間で画像データやプログラム等を入出力する際の入出力インターフェィス等からなる。

操作部４１は、図１に示したモードダイアル３、カーソルキー５、ＳＥＴキー６、シャッターキー８、電源ボタン９、およびメニューキー等のキーと、それらのキーが操作されると操作されたキーの操作信号を生成してシステム制御部３５に送出するキー処理部等から構成されている。

モードダイアル３は撮像モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、静止画撮像モード、顔認識によるオートブラケティング撮影モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード等の撮像モードや再生モードを選択することができる。顔認識によるオートブラケティング撮影モードは静止画撮像モードまたは動画撮影モード下で表示される処理選択メニューで選択できる。なお、モードダイアル３でオートブラケティング撮影モードを選択できるように構成してもよい。

カーソルキー５はモード設定やメニュー選択等に際して液晶画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目を選択設定する際に押されるキーである。またＳＥＴキー６を確認キーとして用いることもできる。

シャッターキー８は、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、システム制御部３５はシャッターキー８の１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。

測距部４２は、撮像時に距離センサー２から受け取る距離情報を基に顔領域検出部３３で検出した各顔領域とカメラとの距離を取得してシステム制御部３５に送出する。距離センサー２は必須でなく、検出された各顔領域とカメラとの距離は、例えば、特許文献１（特開平２００２−５１２５５号公報）に記載の技術等のような公知の技術を適宜用いて取得することができる。

位置情報記憶メモリ４３は、例えば、図５に示すように、顔領域検出部３３で検出した各顔領域の位置情報に測距部４２で取得したそれぞれの顔領域とカメラの距離を対応付けて記憶したメモリからなり、検出された顔領域の位置情報（例えば、フレーム上の四隅の座標値）４３−１とその顔領域とカメラとの距離４３−２を対応付けた位置情報データ４３−５が検出された顔領域の数だけ記憶される。なお、位置情報記憶メモリ４３は専用のメモリでもよいが、例えば、システム制御部３５のＲＡＭ等のワークメモリに確保した所定の領域を位置情報記憶メモリ４３として用いるようにしてもよいし、一時記憶メモリ３６に確保した所定の領域を位置情報記憶メモリ４３として用いるようにしてもよい。

図４は本発明のオートブラケティングによる撮影の説明図である。図４（ａ）はデジタルカメラ１００の視野内の被写体光像から取得した、５人の人物４１〜人物４５が被写体として含まれるフレーム画像４０を示す。デジタルカメラ１００は、フレーム画像４０内の人物４１〜４６の顔領域をそれぞれ検出する。そして、前記検出した各顔領域の位置情報を取得し、それを前記位置情報記憶メモリ４３に記憶する。前記位置情報記憶メモリ４３に前記各顔領域の位置情報を記憶すると、所定の順に従って、前記位置情報記憶メモリ４３に記憶された位置情報を読み出すとともに、前記読み出した位置情報、つまり、顔領域に対して合焦させて撮影を行う。具体的には、まず、図４（ｂ）に示すように人物４１の顔領域に対応した位置情報を前記位置情報記憶メモリ４３から読み出し、そこに合焦させて撮影を行なう。次に、人物４２の顔領域に対応した位置情報を前記位置情報記憶メモリ４３から読み出し、そこに合焦させて撮影を行なう。同様の動作を図４（ｄ）〜図４（ｆ）に示すように人物４３〜人物４５にも行って順次撮影する。つまり、前記位置情報記憶メモリ４３に記憶されている位置情報としての顔領域を読み出すとともに、そこに合焦させて撮影を行なうといったことを、前記位置情報記憶メモリ４３に記憶されている位置情報毎に、前記位置情報記憶メモリ４３に記憶されている位置情報全てに対して行う。

これにより、人物４１を主要被写体とした撮影画像、人物４２を主要被写体とした撮影画像、・・・、人物４５を主要被写体とした撮影画像、の各主要被写体についてぼけのない５枚の撮影画像を得ることができる。

尚、図４（ｂ）〜図４（ｆ）において、太線で表示している人物像は主要被写体（つまり、合焦対象人物）を示し、細線や破線で表示している人物像は主要被写体以外の人物を示し、細線および破線表示で画像がぼけている状態を示している。

図６は、本実施形態に係わる顔認識によるオートブラケティング撮影時のシステム制御部３５による制御動作例を示すフローチャートであり、デジタルカメラ１００に本発明の顔認識によるオートブラケティング撮影機能を実現させるためのプログラムを説明するためのものである。以下、図１〜図６に基づいて説明する。

デジタルカメラ１００の電源キー９がオンのとき、ユーザがモードダイアル３を操作して静止画撮影モードを選択すると液晶画面４に表示される処理選択メニューの中からオートブラケティング撮影モードを選択することができる。システム制御部３５は操作部４１からの信号を調べ、オートブラケティング撮影モードが選択された場合はステップＳ２に進み、他のモードが選択された場合は選択されたモードの処理を行う（ステップＳ１）。

オートブラケティング撮影モードが選択された場合は、システム制御部３５は撮影用の各種初期設定を行った後（ステップＳ２）、撮像部３１および画像データ処理部３２を制御してその時点のズーム値に対応した焦点距離でＡＥ処理を実行させ、撮影レンズ１を介して取り込んだ被写体光像から画像データを得ると共に自動ホワイトバランス（ＡＷＢ）処理により光源の色に対応したホワイトバランスになるように調整を施した上で、所定の周期で１フレーム分の画像データを得て一時記憶メモリ３６にＤＭＡ転送し、一時記憶メモリ３６に取り込んだ画像データから画素数を間引いたビデオスルー画像データで画像記憶部３７の表示用バッファを書き換えて液晶画面４にスルー画像を表示する（ステップＳ３）。ユーザはスルー表示されている画像を見てフレーミングを行って好適な構図の画像を画面内に収めるようにできる。

システム制御部３５は、顔領域検出部３３を制御して一時記憶メモリ３６に定期的に取り込まれる１フレーム分の画像のうちの一つをサンプリング画像とし、そのサンプリング画像からの顔領域検出処理を開始させる（ステップＳ４）。前記サンプリング画像は、例えば、シャッターキー８の２段目が操作（全押し状態）されたときに取り込まれる１フレーム分の画像とすることができる。

顔領域検出処理においてシステム制御部３５は、顔領域検出部３３からの信号を調べて顔領域を検出したか否かを判定し、顔領域を検出した場合はステップＳ６に進み、そうでない場合はステップＳ８に進む（ステップＳ５）。

具体的には、システム制御部３５は、顔領域検出部３３から位置情報を取得すると顔領域の中心位置を算出して測距部４２に送り、検出した顔領域とカメラとの距離を測定させて測距部４２からその顔領域とカメラとの距離を取得し（ステップＳ６）、検出した顔領域の位置情報とその顔領域とカメラとの距離を対応付けて図５に示したような位置情報記憶メモリ４３に追加記憶する（ステップＳ７）。そして、サンプリング画像の全画像領域に対して、顔領域検出部３３による顔領域検出処理が終わるまでステップＳ４〜Ｓ７の動作を繰り返す（ステップＳ８）。尚、図示していないが、顔領域が検出される度に、当該サンプリング画像における顔領域の数をカウントするカウント値がインクリメントされる。

顔領域検出部３３による顔検出処理が終わると顔領域のカウント値を調べ、顔領域の数が１以上の場合はステップＳ１０に進み、そうでない場合、つまり、サンプリング画像から顔領域が一つも検出できなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する（ステップＳ９）。

システム制御部３５は、位置情報記憶メモリ４３に記憶されている位置情報データのうち、例えば、顔領域とカメラとの距離が最も近い顔領域の位置情報を取り出してその位置情報を基に合焦エリアを決定する（ステップＳ１０）。

そして、ＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を順次移動させて、各フォーカスレンズ１−２位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する（ステップＳ１１）。次に、検出した合焦位置にＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を移動させることで、位置情報記憶メモリ４３に記憶されている顔領域の位置、つまり、サンプリング画像の顔領域のうちでカメラとの距離が一番近い顔領域を主要被写体として合焦させる（ステップＳ１２）。換言すると、システム制御部３５は、前記合焦エリアをオートフォーカス対象エリアにしてオートフォーカスを行うことで、前記合焦エリアにある被写体が主要被写体として合焦するように制御している。

このように所定の顔領域に合焦すると、システム制御部３５は、撮像部３１および画像データ処理部３２からなる画像取得部を制御して最初の１枚の撮像を実行する。つまり、その時点で直ちに画像データ処理部３２から一時記憶メモリ３６への経路を停止してスルー画像取得時とは異なる本撮影時の撮像素子駆動方式への切り替えを実行するとともに、この本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像を主要被写体となった顔領域の位置情報に関連付けて一時記憶メモリ３６に確保された撮影画像記憶領域に記憶する（ステップＳ１３）。

次に、システム制御部３５は、位置情報記憶メモリ４３に記憶されている各位置情報データのうち、例えば、顔領域とカメラとの距離が次に近い顔領域の位置情報を取り出してその位置情報を基に合焦エリアを決定する（ステップＳ１４）。

そして、ＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を順次移動させて、各フォーカスレンズ１−２位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する（ステップＳ１５）。次に、検出した合焦位置にＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を移動させることで、位置情報記憶メモリ４３に記憶されている顔領域の位置情報、つまり、サンプリング画像の顔領域のうちで前回に主要被写体となった顔領域の次にカメラとの距離が近い顔領域を主要被写体として合焦させる（ステップＳ１６）。

次の顔領域に合焦すると、システム制御部３５は、撮像部３１および画像データ処理部３２からなる画像取得部を制御して次の１枚の撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ３６に確保された撮影画像記憶領域に追加記憶する（ステップＳ１７）。

また、システム制御部３５は検出した全ての顔領域、つまり、位置情報記憶メモリ４３記憶されている全ての位置情報データについて上記ステップＳ１４の合焦位置決定からステップＳ１７の撮影の動作を繰り返し、全ての顔領域についてステップＳ１４〜ステップＳ１７の動作が終わると（ステップ１８）、システム制御部３６は記録部３８を制御して一時記憶メモリ３６の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体３９に順次記録させ、オートブラケティング撮影を終了する（ステップＳ１９）。

上記図６のフローチャートに示した動作により、デジタルカメラ１００は検出した顔領域の位置情報をメモリに記憶しておき、順次検出した顔領域にピントを合わせて撮影するので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に時間差が生じてカメラと被写体との距離関係が多少変化してもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。

上記図６に示したフローチャートでは、検出した全ての顔領域への合焦および撮影が終了すると、ステップＳ１９で一時記憶メモリ３６の撮影画像記憶領域に記憶されていた各撮影画像を取り出してそれぞれ記録媒体３９に記録するようにしたので、記録媒体３９には検出された顔領域の数、つまり、人物の数だけ各人物を主要被写体とした撮影画像が記録されるが、ステップＳ１９で各撮影画像のうち主要被写体部分を合成して記録媒体３９に記録するようにしてもよい。また、ステップＳ１９で人物の数だけ各人物を主要被写体とした撮影画像を記録した後、それらの画像を順次再生して主要被写体部分を合成して液晶画面４に表示するようにしてもよい。

以下、具体的に説明する。図７はオートブラケティング撮影した複数の画像から合成画像を生成する場合の制御動作例を示すフローチャートであり、図６のフローチャートのステップＳ１９の記録処理を下記ステップＳ１９−１〜Ｓ１９−３で置き換えたものである。また、図４（ｇ）は、図４（ｂ）〜図４（ｆ）に示した画像中の各主要被写体像を抽出して合成した画像の例である。

図７のステップＳ１８で、全ての顔領域について合焦および撮影が終わったと判定されると、システム制御部３６は一時記憶メモリ３６の撮影画像記憶領域に記憶していた順次撮影画像を取り出し、その撮影情報と関連付けて記憶されている顔領域の位置情報の位置情報から各撮影画像の主要被写体部分を抽出し（ステップＳ１９−１）、抽出した各主要被写体部分を合成した合成画像を生成し（ステップＳ１９−２）、記録部３８を制御して生成した合成画像に圧縮処理を施させ、合成画像の圧縮画像データを記録媒体３９に順次記録させ、オートブラケティング撮影を終了する（ステップＳ１９−３）。なお、ステップＳ１９−２で撮影画像の主要被写体部分を抽出する際に、近傍の背景も一緒に抽出し、ステップＳ１９−３で背景も一緒に合成することが望ましい。

上記図７のフローチャートに示した動作により、複数の人物の顔領域を検出して撮影した画像を合成し、記録できるので、全ての人物にピントが合った画像を記録することができる。

図８は、記録媒体に記録した複数の撮影画像から合成画像を生成して表示する場合の制御動作例を示すフローチャートであり、図６のフローチャートのステップＳ１９の次に、下記ステップＳ２０〜Ｓ２４を付加するようにしたものである。

図８で、システム制御部３６は記録部３８を制御して、記録媒体３９に記録されている一連の各撮影画像の圧縮画像データを読み出して伸張処理を施して再生し、一時記憶メモリ３６に確保されている再生画像記憶領域に記憶し（ステップＳ２０）、さらに、圧縮画像データに関連付けて記録媒体３９に記録されている各撮影画像の主要被写体の顔領域の位置情報を取得して（ステップＳ２１）、取得した位置情報を基に各再生画像から主要被写体部分を抽出し（ステップＳ２２）、抽出した主要被写体部分を合成した合成画像を生成し（ステップＳ２３）、画像表示部３７を制御して生成した合成画像を液晶画面４に表示させる（ステップＳ２４）。なお、ステップＳ２２で再生画像の主要被写体部分を抽出する際に近傍の背景も一緒に抽出し、ステップＳ２３で背景も一緒に合成することが望ましい。

上記図８のフローチャートに示した動作により、複数の人物の顔領域を検出して撮影した画像を合成し、表示できるので、全ての人物にピントが合った画像を表示することができる。

（実施形態２）
本実施形態では、所定のサンプリング画像から検出した顔領域の特徴を予め抽出して記憶しておき、撮影する毎に、そのときに撮影されている撮影画像から前記予め記憶されている特徴を有する領域を検出してその領域を対象としたＡＦを実行して撮影する動作を、前記予め記憶されている特徴を有する顔領域毎に順次繰り返すことにより、検出した顔の人物全員に対して最適な合焦位置で撮影する例について述べる。

図９は、本実施形態に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。なお、デジタルカメラ２００の外観構成は図１に示したデジタルカメラ１００の外観構成と同様である。また、デジタルカメラ２００の電気的構成は図２に示したデジタルカメラ１００の電気的構成に、特徴抽出部３４および顔データ登録メモリ４４を追加し、測距部４２および位置情報記憶メモリ４３を削除した構成であり、特徴抽出部３４および特徴登録メモリ４４以外の構成、つまり、撮像部３１〜顔領域検出部３３、および制御部３５〜操作部４１の電気的構成および機能はデジタルカメラ１００の電気的構成および機能と同様である。また、制御部３５は特徴抽出部３４から受け取る顔領域の特徴を顔データ登録メモリに登録する顔データ登録手段として機能し、特徴抽出部３４および顔データ登録メモリ４４と制御部３５は本発明の登録画像領域検出手段を構成する。

特徴抽出部３４は、顔領域検出部３３で検出された各顔領域を正規化し、正規化した顔の特徴を抽出してバス３０を介してシステム制御部３５に送出する。特徴抽出部３４によって抽出された特徴は、顔データ登録手段としてのシステム制御部３５によって、例えば、図１０に示すような顔データ登録メモリ４４に順次記憶される。特徴の抽出技術は、公知の技術、例えば前述した特許文献３（特開平２００２−２５１３８０号公報）に記載の特徴抽出技術等）を適宜用いることができる。顔領域の正規化は、例えば、顔部分の輪郭、傾き、顔の向き等を、拡大若しくは縮小、傾き角度調整、回転、等の処理によって行うことができる。また、特徴の一致不一致の判定には、例えば、メモリに記憶し各特徴と検出した各顔領域の顔の特徴の差分から距離（距離自乗平均）を求め、距離が所定の閾値以下の場合一致し、閾値未満の場合不一致と判定することができる。また、なお、この特徴抽出処理のために専用の回路を設けてもよいし制御部３５で特徴抽出用プログラムを実行させるようにしてもよい。

顔データ登録メモリ４４には、例えば、図１０（ａ）に示すように、特徴抽出部３４で抽出した各顔領域の特徴４４−１を検出された顔領域の数だけ記憶する。また、特徴登録メモリ４４は専用のメモリでもよいが、例えば、システム制御部３５のＲＡＭ等のワークメモリに確保した所定の領域を特徴登録メモリ４４として用いるようにしてもよいし、一時記憶メモリ３６に確保した所定の領域を特徴登録メモリ４４として用いるようにしてもよい。また、顔領域の特徴４４−１して、特徴抽出部３４で抽出した顔領域の特徴と比較して類似判定を行うための登録済み特徴が記憶されており、例えば、図１０（ｂ）に示すように顔の各部位（目、鼻、口、耳、額顎、・・・等）の位置４４−１−１や各部位のサイズ４４−１−２、各部分の角度４４−１−３、顔の各部位間の相対関係（例えば、左右の目の間隔や、顔の横サイズとの比率等）４４−１−４等のデータを含んでいる。

本実施形態によるオートブラケティングの概要を前述した図４を用いて説明図する。デジタルカメラ１００は、まず、所定のサンプリング画像から検出した各顔領域の各特徴を顔データ登録メモリ４４に記憶しておく。前記サンプリング画像は、例えば、シャッターキー８の２段目が操作（全押し状態）されたときに取り込まれる１フレーム分の画像とすることができる。次に、その後に取り込まれる１フレーム分の画像を新たなサンプリング画像として取得し、前記新たなサンプリング画像に基づいてフレーム画像４０内の人物の顔領域を検出する。そして、例えば、人物の顔領域を検出すると、検出した顔領域の特徴と顔データ登録メモリ４４に登録されている例えば人物４１に対応する特徴とを比較し、特徴が一致した場合に、図４（ｂ）に示すように人物４１の顔領域を合焦エリアとし、そこに合焦させ撮影を行なう。この撮影が終了すると、再び新たなサンプリング画像を取得し、前記新たなサンプリング画像に基づいてフレーム画像４０内の人物の顔領域を検出する。そして、例えば、人物の顔領域を検出すると、検出した顔領域の特徴と顔データ登録メモリ４４に登録されている未だ撮影の実行されていない例えば人物４２に対応する特徴とを比較し、特徴が一致した場合に、図４（ｃ）に示すように人物４２の顔領域を合焦エリアとし、そこに合焦させ撮影を行なう。このように、新たなサンプリング画像を順次取得する毎に、同様の動作を人物４３〜人物４５に対しても行なうことで、図４（ｄ）〜図４（ｆ）に示すように人物４３〜人物４５の顔領域に合焦させた撮影をも実行する。これにより、人物４１を主要被写体とした撮影画像、人物４２を主要被写体とした撮影画像、・・・、人物４５を主要被写体とした撮影画像、の各主要被写体についてぼけのない５枚の撮影画像を得ることができる。

尚、前記合焦エリアの検出は、必ずしも各サンプリング画像から顔領域を検出した後に前記検出した顔領域の特徴と顔データ登録メモリ４４に記憶されている顔領域の特徴とを比較する必要はなく、前記各サンプリング画像の各領域における特徴量を算出し、前記各サンプリング画像の各領域における特徴量と顔データ登録メモリ４４に記憶されている所定の顔領域の特徴とを比較することで、前記各サンプリング画像に対して顔データ登録メモリ４４に記憶されている所定の顔領域の特徴を有する領域を直接的に検出する構成としてもよい。

図１１は、本実施形態に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図１、および図９〜図１１に基づいて説明する。なお、図１１でステップＴ１〜Ｔ３の動作は図６に示したフローチャートのステップＳ１〜Ｓ３と同様であるため図示および説明を省略する。

図１１で、図示しないステップＴ１〜Ｔ３の動作後、システム制御部３５は、顔領域検出部３３を制御して一時記憶メモリ３６に定期的に取り込まれる所定の１フレーム分の画像を対象とする顔領域検出処理を開始させる（ステップＴ４）。前記顔領域検出処理が実行される所定の１フレーム分の画像としてのサンプリング画像は、例えば、シャッターキー８の２段目が操作（全押し状態）されたときの１フレーム分の画像とすることができる。

顔領域検出処理においてシステム制御部３５は、顔領域検出部３３からの信号を調べて対象のフレームから顔領域を検出したか否かを判定し、顔領域を検出した場合はステップＴ６に進み、顔領域を検出しなかった場合はステップＴ９に進む（ステップＴ５）。

顔領域検出部３３で顔領域を検出すると、システム制御部３５は、特徴抽出部３４を制御して顔領域検出部３３が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させ（ステップＴ６）、抽出された特徴を顔領域検出部３３が検出した顔領域の顔データとして顔データ登録メモリ４４に登録（追加記憶）する（ステップＴ７）。そして、サンプリング画像の全画像領域に対する顔領域検出部３３による顔領域検出処理が終わるまでステップＴ４〜Ｔ７の動作を繰り返す（ステップＴ８）。尚、顔領域が検出される度に、当該サンプリング画像における顔領域の数をカウントする顔領域カウント値がインクリメントされる。尚、顔データ登録メモリ４４に記憶される顔データは、複数の異なる画像から検出された各画像における顔領域の特徴であってもよい。何れにしても、顔データ登録メモリ４４に予め顔領域の特徴が顔データとして記憶される構成となっていればよい。

システム制御部３５は、顔領域検出部３３による顔検出処理が終わると顔領域の数を調べ、顔領域の数が１以上の場合はステップＴ１０に進み、そうでない場合、つまり、サンプリング画像から顔領域が一つも検出できなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する（ステップＴ９）。

システム制御部３５は、顔データ登録メモリ４４に記憶されている顔領域の特徴の先頭アドレスを指定するための顔データカウンタに１を設定する（ステップＴ１０）。そして、顔領域検出部３３を制御して一時記憶メモリ３６に定期的に取り込まれる１フレーム分の画像を新たなサンプリング画像として走査しながら顔データ登録メモリ４４に登録されているｉ番目の顔領域の特徴と一致する顔領域を検出する顔領域検出処理を開始させる（ステップＴ１１）。ここで、ｉは顔データカウンタの値である。

システム制御部３５は、顔領域検出部３３からの信号を調べてｉ番目の顔領域の特徴と一致する顔領域を検出したか否かを判定し、ｉ番目の顔領域の特徴と一致する顔領域を検出した場合はステップＴ１５に進む（ステップＴ１２）。ｉ番目の顔領域の特徴と一致する顔領域を検出しない場合は１フレーム分の画像の全画像領域に対する走査を終了するまで上記ステップＴ１１、Ｔ１２の動作を繰り返し（ステップＴ１３）、１フレーム分の画像の全画像領域に対する走査が終了すると顔データカウンタに１を加えた値が顔データ登録メモリ４４に登録されている顔データの数以下か否かを調べ、顔データの数以下の場合はステップＴ１１に戻り、顔データの数以上、つまり、顔データ登録メモリ４４に登録されている顔データの数分の走査を終了した場合はステップＴ２０に進む（ステップＴ１４）。

顔領域検出部３３がｉ番目の顔領域の特徴と一致する顔領域を検出すると、システム制御部３５は検出された顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する（ステップＴ１５）。

そして、ＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を順次移動させて、各フォーカスレンズ１−２位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する（ステップＴ１６）。次に、検出した合焦位置にＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を移動させることで、ｉ番目の顔領域の特徴と一致する顔領域を主要被写体として合焦させる（ステップＴ１７）。

その顔領域に合焦すると、システム制御部３５は、撮像部３１および画像データ処理部３２からなる画像取得部を制御してｉ番目の顔領域の特徴と一致する顔領域を主要被写体とした撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ３６に確保された撮影画像記憶領域に追加記憶する（ステップＴ１８）。そして、撮影した画像の数をカウントする顔データカウンタｉに１を加え、顔データカウンタiが顔領域カウント値以下であれば、ステップＴ１１に戻る（ステップＴ１９）。

一方、顔データカウンタiが顔領域カウント値を超えたときには、システム制御部３６は記録部３８を制御して一時記憶メモリ３６の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体３９に順次記録させ、オートブラケティング撮影を終了する（ステップＴ２０）。

上記図１１のフローチャートに示した動作により、デジタルカメラ１００は所定のサンプリング画像から検出した顔領域の特徴を記憶しておき、例えば、その後に定期的に取り込まれる新たなサンプリング画像としてのフレーム画像から前記記憶した特徴と一致する顔領域を検出する毎に検出した顔領域にピントを合わせて撮影するので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に時間差が生じて、その間に被写体人物が撮像面に対して動いてしまうような位置関係の変化があってもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。

また、本実施形態においても、実施形態１と同様、ステップＴ２１で各撮影画像のうち主要被写体部分を合成して記録媒体３９に記録するようにできる。また、ステップＴ２１で人物の数だけ各人物を主要被写体とした撮影画像を記録した後、それらの画像を順次再生して主要被写体部分を合成して液晶画面４に表示することができる。

＜実施形態３＞
上記実施形態２では所定のサンプリング画像から検出した各顔領域の特徴を一括して登録しておき、撮影する毎に新たなサンプリング画像を取得し、前記新たなサンプリング画像からそのときに撮影対象とされている主要被写体と同じ特徴を有する領域を検出してその領域を対象としたＡＦを実行して撮影するようにしたが、本実施形態では、撮影済みの主要被写体の顔領域の特徴を撮影の実行とともに順次メモリに登録するようにし、顔領域の特徴が登録された被写体をその後の撮影対象としないようにし、顔領域の特徴が登録されていない顔領域のみを主要被写体として撮影対象とするように構成した例について説明する。つまり、撮影した顔領域の特徴を登録するとともに、顔領域の特徴が登録されていない顔領域がなくなるまで撮影が繰り返される例について説明する。

本実施形態では撮像装置の外観構成は実施形態２と同様でよく、回路構成は顔データ登録メモリ４４に登録する顔データの登録タイミングが異なるほかは実施形態２と同様でよい。本実施形態では、顔データ登録メモリ４４には、撮影毎に検出する顔領域から抽出した顔領域の特徴４４−１を各主要被写体の撮影後に記憶する。

本実施形態によるオートブラケティングの概要を前述した図４を用いて説明図する。デジタルカメラ２００は、サンプリング画像としての所定のフレーム画像４０内で人物４１の顔領域を、例えば、とりあえず１箇所検出すると、図４（ｂ）に示すようにその人物４１の顔領域に合焦させて撮影を行ない、検出した人物４１の顔領域の特徴を顔データ登録メモリ４４に登録する。顔データ登録メモリ４４に検出された１箇所の顔領域に対応する顔領域の特徴が１顔領域分として登録されると、次いで、新たなサンプリング画像を取得し、前記新たなサンプリング画像から、例えば、人物４２の顔領域を検出する。この場合、検出された人物４２の顔領域の特徴が顔データ登録メモリに登録されている特徴と異なる場合にのみ図４（ｃ）に示すようにその人物４２の顔領域に合焦させて撮影を行ない、検出した顔領域の特徴を顔データ登録メモリ４４に登録する。つまり、前記新たなサンプリング画像から人物４１の顔領域を検出したときには、人物４１の顔領域の特徴は、既に顔データ登録メモリに登録されているので、人物４１を対象として合焦させた撮影は行わず、次の顔領域の検出結果として人物４２の顔領域が検出される。そして、人物４２の顔領域に合焦させた撮影が行われ、人物４２の顔領域の特徴が顔データ登録メモリ４４に登録される。同様に、更に新たなサンプリング画像を取得し、前記新たなサンプリング画像から人物４３の顔領域を検出すると、検出された顔領域の特徴が顔データ登録メモリ４４に登録されている特徴と異なる場合にのみ図４（ｄ）に示すようにその人物４３の顔領域に合焦させて撮影を行なう。同様の動作を人物４４、人物４５にも行って図４（ｅ）、図４（ｆ）に示すように人物４４、人物４５の顔領域に合焦して順次撮影する。これにより、人物４１を主要被写体とした撮影画像、人物４２を主要被写体とした撮影画像、・・・、人物４５を主要被写体とした撮影画像、の各主要被写体についてぼけのない５枚の撮影画像を得ることができる。

図１２は、本実施形態に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図１、図９、図１０、および図１２に基いて説明する。なお、図１２でステップＵ１〜Ｕ３の動作は図１１に示したフローチャートのステップＴ１〜Ｔ３と同様であるため図示および説明を省略する。

図１２で、図示しないステップＵ１〜Ｕ３の動作後、システム制御部３５は、顔データ登録メモリ４４をクリアしてから、顔データ登録メモリ４４に記憶されている顔領域の特徴の先頭アドレスを指定するための顔データカウンタに１を設定する（ステップＵ４）。ここで、ｉは顔データカウンタの値である。

次に、顔領域検出部３３を制御して一時記憶メモリ３６に定期的に取り込まれる所定の１フレーム分の画像をサンプリング画像として走査しながら顔領域を検出する顔領域検出処理を開始させる（ステップＵ５）。前記サンプリング画像は、例えば、シャッターキー８の２段目が操作（全押し状態）されたときに取り込まれる１フレーム分の画像とすることができる。

顔領域検出部３３が最初の顔領域を検出するとステップＵ７に進み、１フレーム分の画像領域を走査しても最初の顔領域を検出できない場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する（ステップＵ６）。

顔領域検出部３３が最初の顔領域を検出すると、システム制御部３５は、特徴抽出部３４を制御して顔領域検出部３３が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させ（ステップＵ７）、抽出された特徴を顔領域検出部３３が検出した１番目の顔領域の顔データとして顔データ登録メモリ４４の１番目の位置に登録（記憶）する（ステップＵ８）。

システム制御部３５は、顔領域検出部３３によって検出されたｉ番目の顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する（ステップＵ９）。

そして、ＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を順次移動させて、各フォーカスレンズ１−２位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する（ステップＵ１０）。次に、検出した合焦位置にＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を移動させることで、ｉ番目の顔領域を主要被写体として合焦させる（ステップＵ１１）。

その顔領域に合焦すると、システム制御部３５は、撮像部３１および画像データ処理部３２からなる画像取得部を制御してｉ番目の顔領域を主要被写体とした撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ３６に確保された撮影画像記憶領域のｉ番目の位置に記憶する（ステップＵ１２）。

次に、システム制御部３５は、顔データカウンタに１を加えて顔データカウンタの値を更新する（ステップＵ１３）。

そして、新たなサンプリング画像を取得し、顔領域検出部３３が前記新たなサンプリング画像から、例えば、とりあえず顔領域を１箇所検出するとステップＵ１５に進む。尚、１フレーム中の残りの全画像領域を走査しても残りの顔領域を検出することができなかった場合は走査ステップＵ１７に進む（ステップＵ１４）。

顔領域検出部３３が顔領域を１箇所検出すると、システム制御部３５は、特徴抽出部３４を制御して顔領域検出部３３が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させる（ステップＵ１５）。

システム制御部３５は、顔データ登録メモリ４４に登録済みの各顔領域の特徴と特徴抽出部３４によって抽出されたｉ＋１個目の顔領域の特徴を比較し、顔領域の特徴が一致しない場合にはステップＵ８に戻り、一致した場合はステップＵ１７に進む（ステップＵ１６）。

システム制御部３５は、顔領域検出部３３が１フレーム分の全画像領域を走査済みの場合はステップＵ１８に進み、全画像領域の走査が終わっていない場合はステップＵ１４に戻る（ステップＵ１７）。

つまり、上述したような所定のタイミングで順次取得されるサンプリング画像に対して、１フレーム分の全画像領域を走査しても、顔データ登録メモリ４４に登録されている顔領域の特徴と異なる顔領域が抽出されなくなると（ステップＵ１７）、システム制御部３６は記録部３８を制御して一時記憶メモリ３６の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体３９に順次記録させ、オートブラケティング撮影を終了する（ステップＵ１８）。

上記図１２のフローチャートに示した動作により、デジタルカメラ２００は、撮影する毎に、その顔領域の特徴をメモリに登録し、顔領域の特徴がメモリに登録されている特徴と同じ顔領域を検出すると撮影を禁止し、登録されていない顔領域を検出した場合にのみその顔領域を対象としたＡＦを実行して撮影するので、最初の撮影対象人物の撮影から最後の撮影対象の人物の撮影までの間に、撮影対象人物の増減や、例えば、左右の人物が入れ替わる等の撮像面に対する人物の位置関係の変化が生じても、カメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。

（実施形態４）
上記実施形態１では、カメラと顔領域との距離によって撮影順序を順序付け、検出した顔領域を対象としてＡＦを実行して撮影する動作を撮影順序の順に顔領域毎に繰り返すようにし、実施形態３では撮影する毎に、撮影した主要被写体の顔データ（顔領域の特徴）を登録し、次の撮影対象は顔データが登録されていない顔領域の被写体人物を主要被写体としてＡＦを実行して撮影するようにしたが、カメラと顔領域を距離によって順序付けたり、撮影済みの被写体の顔データを登録しなくても、フレーム画像内で検出した顔の人物全員に対してそれぞれ最適な合焦位置で撮影することができる。

図１３は、本実施形態に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。なお、デジタルカメラ３００の外観構成は図１に示したデジタルカメラ１００のから距離センサー２を除いた構成である。また、デジタルカメラ３００の電気的構成は図示のように、図２に示したデジタルカメラ１００の電気的構成から測距部４２および位置情報記憶メモリ４３を削除した構成であり、撮像部３１〜顔領域検出部３３、および制御部３５〜操作部４１の電気的構成および機能はデジタルカメラ１００の電気的構成および機能と同様である。すなわち、本実施形態では、デジタルカメラ３００は、画像を所定の方向から走査しながら顔領域を検出し、顔領域を検出する毎にその顔領域に合焦させて撮影するので、実施形態１〜３のように距離センサー２、測距部４２および位置情報記憶メモリ４３または顔データ登録メモリ４４を備えていなくてもよい。

本実施形態によるオートブラケティングの概要を前述した図４を用いて説明図する。顔領域検出部３３がフレーム画像４０を、所定の方向、例えば、画面の左から右に向かって順次顔領域の走査を行うとすると、デジタルカメラ３００は、まず、所定のサンプリング画像から図４（ｂ）に示すように一番左の人物４１の顔領域を検出するとその顔領域に合焦させて撮影を行ない、次に、左から２番目の人物４１の顔領域を検出するとその顔領域に合焦させて撮影を行なう。同様の動作を図４（ｄ）〜図４（ｆ）に示すように人物４３〜人物４５にも行って順次撮影する。これにより、人物４１を主要被写体とした撮影画像、人物４２を主要被写体とした撮影画像、・・・、人物４５を主要被写体とした撮影画像、の各主要被写体についてぼけのない５枚の撮影画像を得ることができる。撮影中において、特に撮像面に対して主要被写体の位置変化がないと想定される場合に有効である。

図１４は、本実施形態に係わる顔認識によるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図１〜図５、および図１５に基いて説明する。なお、図１４でステップＶ１〜Ｖ３の動作は図６に示したフローチャートのステップＳ１〜Ｓ３と同様であるため図示および説明を省略する。

図１４で、図示しないステップＶ１〜Ｖ３の動作が終了すると、システム制御部３５は、顔領域検出部３３を制御して一時記憶メモリ３６に定期的に取り込まれる１フレーム分の画像を所定の方向に向かって走査する顔領域検出処理を開始させる（ステップＶ４）。

システム制御部３５は、顔領域検出部３３からの信号を調べて１フレーム分の全画像領域について走査を終了したか否かを判定し、全画像領域について走査を終了した場合はステップＶ１０に進む（ステップＶ５）

顔領域検出部３３が顔領域を検出すると、システム制御部３５は、顔領域検出部３３によって検出された顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する（ステップＶ６）。

そして、ＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を順次移動させて、各フォーカスレンズ１−２位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する（ステップＶ７）。次に、検出した合焦位置にＡＦ駆動制御部３１−２を介してフォーカスレンズ１−２を移動させることで、検出した顔領域を主要被写体として合焦させる（ステップＶ８）。

その顔領域に合焦すると、システム制御部３５は、撮像部３１および画像データ処理部３２からなる画像取得部を制御して合焦した主要被写体の撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ３６に確保された撮影画像記憶領域に追加記憶し、ステップＶ５に戻る（ステップＶ９）。

また、１フレーム分の画像の全ての領域について走査が終わると、システム制御部３６は一時記憶メモリ３６の撮影画像記憶領域にオートブラケティング撮影画像が記録されているか否か、つまり、少なくとも１枚のオートブラケティング撮影がなされたか否かを調べ、撮影画像が記録されている場合はステップＶ１１に進み、記録されていない場合、つまり、オートブラケティング撮影がなされなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する（ステップＶ１０）。

一時記憶メモリ３６の撮影画像記憶領域にオートブラケティング撮影画像が記録されている場合は、システム制御部３５は、記録部３８を制御して一時記憶メモリ３６の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像に関連付けられて記憶されている位置情報と関連付けて記録媒体３９に順次記録させ、オートブラケティング撮影を終了する（ステップＶ１１）。

図１４のフローチャートに示した動作により、デジタルカメラ１００は画像を所定の方向から走査し、顔領域を検出する毎に顔領域に合焦させて撮影を行なう動作を繰り返すので、位置情報を記録したり、特徴をメモリに登録する必要がないことから、カメラの回路構成や制御動作が実施形態１や実施形態３の場合よりも簡単で済む。また、所定の方向から走査して顔領域を検出する毎に顔領域に合焦させて撮影を行なうので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に撮影対象人物の増減や各人物の位置関係の変化が生じてもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。

また、図６、図１１、図１２、図１４、および図７、図８のフローチャートに示した処理はシステム制御部３５が予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する場合を例として説明したが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。また、上記実施例では静止画撮影モード下でオートブラケティング撮影モードを実行する場合について説明したが、本発明の適用範囲は静止画撮影時に限定されず、動画撮影モードや高速連写モード時にも適用できる。また、撮像装置という用語はデジタルカメラに限定されるものではなく、撮像素子を介して画像を撮影する手段を備えた装置、例えば、カメラ付携帯電話機等を含む。

本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図である。実施形態１に係わるデジタルカメラの電気的構成の一実施例を示すブロック図である。撮像部の構成例を示すブロック図である。本発明に係わる画像認識によるオートブラケティングの説明図である。位置情報記憶メモリの構造の一実施例を示す図である。実施形態１に係わる顔認識によるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。オートブラケティング撮影した複数の画像から合成画像を生成する場合の制御動作例を示すフローチャートである。記録媒体に記録した複数の撮影画像から合成画像を生成して表示する場合の制御動作例を示すフローチャートである。実施形態２および実施形態３に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。顔データ登録メモリの構造の一実施例を示す図である。実施形態２に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。実施形態３に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。実施形態４に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。実施形態４に係わる顔認識によるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。

符号の説明

１撮像レンズ
１−３ＡＦ駆動制御部（合焦制御部）
３１撮像部
３１−５撮像素子
３２画像データ処理部
３３顔領域検出部
３４顔画像認識処理部
３５システム制御部
３６一時記憶メモリ（バッファメモリ）
３７画像表示部
３８記録部
４１操作部
４２測距部
４３顔認識情報メモリ
４４顔データ登録メモリ
１００、２００、３００デジタルカメラ

Claims

撮像手段と、
この撮像手段が所定の周期で撮像する画像を取得する画像取得手段と、
前記画像取得手段によって所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定手段と、
前記合焦位置決定手段により合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御手段と、
前記合焦制御手段によって前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得手段によって取得された画像を記録する記録手段と、
を備えること特徴とする撮像装置。
前記顔領域検出手段は前記取得された画像から顔領域を複数検出するとともに、これら検出された各顔領域の前記取得された画像における位置情報をそれぞれ記憶する位置情報記憶手段を更に備え、
前記合焦位置決定手段は、前記位置情報記憶手段から所定の順序で取り出す位置情報を基に合焦すべきエリアを決定し、更にこの合焦すべきエリアについて合焦位置を決定することを特徴とする請求項１に記載の撮像装置。
当該撮像装置と前記顔領域で特定される被写体との距離を取得する距離取得手段を更に備え、
前記所定の順序とは、この距離取得手段によって取得された距離の大きさの順であることを特徴とする請求項２に記載の撮像装置。
前記顔領域検出手段は前記取得された画像から顔領域を複数検出するとともに、
前記合焦位置決定手段が合焦位置を決定する前に、前記複数検出された顔領域から合焦位置を決定すべき顔領域を選択する選択手段を更に備えることを特徴とする請求項１に記載の撮像装置。
顔領域の特徴を示す顔データを記憶する顔データ記憶手段を更に備え、
前記顔領域検出手段は、前記顔データ記憶手段に記憶されている顔データと特徴が略一致する顔領域を検出することを特徴とする請求項１に記載の撮像装置。
前記画像取得手段によって取得された画像から前記顔データ記憶手段に顔データとして登録すべき顔領域を抽出する抽出手段を更に備えることを特徴とする請求項５に記載の撮像装置。
前記顔領域検出手段が顔領域を検出すると、この検出された顔領域を合焦すべき顔領域として記憶する顔領域記憶手段と、
この顔領域記憶手段への記憶処理後に前記画像取得手段が取得した画像については、前記記憶処理された顔領域を検出しないよう前記顔領域検出手段を制御する検出制御手段と、を更に備えることを特徴とする請求項１記載の撮像装置。
撮像部が所定の周期で撮像する画像を取得する画像取得ステップと、
前記画像取得ステップにて所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出ステップと、
前記顔領域検出ステップにて顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定ステップと、
前記合焦位置決定ステップで合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御ステップと、
前記合焦制御ステップにて前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得ステップにて取得された画像を記録させる記録ステップと、
を含むことを特徴とする撮像画像記録方法。
撮像装置のコンピュータを、
所定の周期で撮像する画像を取得する画像取得手段、
前記画像取得手段によって所定の周期で取得された画像をサンプリングし、このサンプリングされた画像から顔領域を検出する顔領域検出手段、
前記顔領域検出手段によって顔領域が検出されると、この顔領域に合焦するための合焦位置を決定する合焦位置決定手段、
前記合焦位置決定手段によって合焦位置が決定される毎に、前記決定された合焦位置に撮像レンズを駆動制御する合焦制御手段、
前記合焦制御手段によって前記撮像レンズが前記決定された合焦位置へ駆動制御されたときに、前記画像取得手段にて取得された画像を記録させる記録手段、
として機能させることを特徴とするプログラム。