JP4853425B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

この発明は、撮像装置、撮像方法およびプログラムに関する。詳しくは、この発明は、顔画像から所定の顔器官を検出し、この顔器官の検出位置に基づいて、顔の位置、角度、大きさ等を正規化して正規化顔画像を得、この正規化顔画像から特定の表情が検出されるとき撮影を行うことにより、被写体側の人の顔が特定の表情となったとき撮影を行う自動撮影の精度を高めるようにした撮像装置等に係るものである。また、この発明は、被写体の撮像画像に含まれている特定画像が所定の条件を満たすとき自動的に撮影を行う撮像装置にあって、撮像画像に特定画像が含まれていることが検出されているが、この特定画像の状態が所定の条件を満たしていないとき、所定の条件を満たせば撮影されることを被写体側に報知することにより、所定の条件を満たすように被写体側に促すことができるようにした撮像装置等に係るものである。

近年、デジタルスチルカメラ、デジタルカメラレコーダ等の静止画の撮影を行う撮像装置が普及している。例えば、特許文献１等には、被写体を撮像して得られた撮像画像内に笑顔の顔画像があるとき自動的に撮影を行う撮像装置が記載されている。
特開２００５−５６３８７号公報

この種の撮像装置にあっては、顔検出の精度が１００％ではないため、当該顔検出結果にしばしば誤検出が含まれる。例えば、撮像画像に含まれる顔以外の画像を顔画像として検出した場合、当該検出された画像に基づいて行われる笑顔判定が正しく行われないばかりではなく、誤撮影につながる可能性が高くなる。

また、この種の撮像装置にあっては、撮像画像から笑顔の顔画像が検出されるまで撮影が行われない。被写体側の人は、撮影が行われずに経過する時間が長くなれば、撮像装置が故障かなどの疑問を抱き、不安な状態になり、笑顔も出なくなる。

この発明の目的は、被写体側の人の顔が特定の表情となったとき撮影を行う自動撮影の精度を高めることにある。また、この発明の目的は、被写体側が所定の条件を満たしていないことから撮影が行われないとき、被写体側に所定の条件を満たすように促すことにある。

この発明の概念は、
被写体の撮像画像に特定の表情の顔画像が含まれているとき自動的に撮影を行う撮像装置であって、
上記被写体を撮像して該被写体の撮像画像に対応した画像情報を得る撮像部と、
上記撮像部で得られた撮像画像に対応した画像情報に基づいて、上記撮像画像に含まれる顔画像を検出する顔検出部と、
上記顔検出部で検出された顔画像に対応した画像情報に基づいて、該顔画像に含まれる所定の顔器官を検出する顔器官検出部と、
上記顔器官検出部で検出された上記所定の顔器官の検出位置に基づいて、上記顔検出部で検出された顔画像に対し、顔の位置、顔の角度および顔の大きさの少なくともいずれかを正規化する処理を行って、正規化顔画像を得る正規化部と、
上記正規化部で得られた正規化顔画像に対応した画像情報に基づいて、顔の正規化が成功したか否かを判定する正規化正否判定部と、
上記正規化部で得られた正規化顔画像に対応した画像情報に基づいて、特定の表情を検出する表情検出部と、
上記正規化正否判定部で顔の正規化が成功したと判定され、かつ、上記表情検出部で特定の表情が検出されるとき撮影指示を行う撮影制御部と
を備えることを特徴とする撮像装置にある。

この発明においては、顔器官検出部により、顔検出部で検出された顔画像に含まれる所定の顔器官、例えば目、鼻等が検出される。正規化部により、所定の顔器官の検出位置に基づいて、顔画像に対して、顔の位置、顔の角度および顔の大きさの少なくともいずれかを正規化する処理が行われ、正規化顔画像が得られる。

例えば、正規化部で得られる正規化顔画像のピクセル数は、正規化前の顔画像のピクセル数より少なくされる。すなわち、顔器官を位置精度よく検出するために顔画像はある程度のピクセル数（解像度）を持つ必要があるが、特定の表情を検出するための正規化顔画像に関しては、全体として特徴が表れていればよいので、それほどピクセル数を必要としない。このように正規化顔画像のピクセル数を顔画像のピクセル数より少なくすることで、メモリ使用量を節約でき、また、後述する特定の表情の顔であるか否かの判定処理の高速化も可能となる。

表情検出部により、正規化顔画像に対応した画像情報に基づいて、特定の表情の検出が行われる。特定の表情は、笑顔、泣き顔等である。そして、特定の表情が検出されるとき、撮影制御部により、撮影指示が行われる。これにより、被写体側の人の顔が特定の表情となったとき自動的に撮影が行われる。

このように、この発明においては、顔器官の検出位置に基づいて顔の位置、角度、大きさ等が正規化されて得られた正規化顔画像に対応した画像情報を用いて特定の表情を検出するものであり、正規化していない顔画像に対応した画像情報を用いて特定の表情を検出するものに比べて特定の表情の検出精度を向上でき、被写体側の人の顔が特定の表情となったとき撮影を行う自動撮影の精度を高めることができる。

また、この発明において、例えば、正規化部で得られた正規化顔画像に対応した画像情報に基づいて、正規化が成功したか否かを判定する正規化正否判定部をさらに備え、撮影制御部は、正規化正否判定部で正規化が成功したと判定され、かつ、表情検出部で特定の表情が検出されるとき、撮影指示を行う、ようにされてもよい。

上述した顔検出部で顔以外の画像、正面を向いていない顔画像等が顔画像として検出される場合、また、上述の顔器官検出部で所定の顔器官でない部分が当該所定の顔器官として検出される場合もある。その場合、正規化顔画像は、顔以外の画像、正面を向いていない顔画像、正面を向いているが傾いた顔画像等であって、表情検出部における特定の表情の検出結果が妥当でないことが多い。しかし、この場合、正規化正否判定部では正規化が失敗であると判定されることから、誤撮影を回避できる。

また、この発明において、例えば、表情検出部で特定の表情が検出されないとき、あるいは、正規化成否判定部で顔の正規化が成功したと判定され、かつ、表情検出部で特定の表情が検出されないとき、特定の表情の顔になれば撮影されることを被写体側に報知する報知部をさらに備える、ようにされてもよい。この場合、報知により被写体側の人に撮影が行われない理由を知らせることができ、当該被写体側の人に、特定の表情の顔となるように促すことができる。

また、この発明の概念は、
被写体の撮像画像に特定画像が含まれていることが検出され、該特定画像の状態が所定の条件を満たすとき自動的に撮影を行う撮像装置であって、
上記撮像画像に上記特定画像が含まれていることが検出されているが、該特定画像の状態が上記所定の条件を満たしていないとき、該所定の条件を満たせば撮影されることを被写体側に報知する報知部を備える
ことを特徴とする撮像装置にある。

この発明においては、撮像画像に特定画像が含まれており、この特定画像の状態が所定の条件を満たしているとき、自動的に撮影が行われる。例えば、撮像画像に顔画像が含まれており、この顔画像が特定の表情、例えば笑顔、泣き顔等にあるとき、自動的に撮影が行われる。一方、特定画像の状態が所定の条件を満たしていないとき、報知部により、所定の条件を満たせば撮影されることが被写体側に報知される。例えば、報知は、発光により行われる、あるいは音声の出力により行われる。

特定画像の状態が所定の条件を満たさない限り撮影は行われないが、報知により被写体側に撮影が行われない理由を知らせることができ、当該被写体側に、所定の条件を満たすように促すことができる。

この発明によれば、顔画像から所定の顔器官を検出し、この顔器官の検出位置に基づいて、顔の位置、角度、大きさ等を正規化して正規化顔画像を得、この正規化顔画像から特定の表情が検出されるとき撮影を行うものであり、被写体側の人の顔が特定の表情となったとき撮影を行う自動撮影の精度を高めることができる。

また、この発明によれば、被写体の撮像画像に含まれている特定画像が所定の条件を満たすとき自動的に撮影を行う撮像装置にあって、撮像画像に特定画像が含まれていることが検出されているが、この特定画像の状態が所定の条件を満たしていないとき、所定の条件を満たせば撮影されることを被写体側に報知するものであり、所定の条件を満たすように被写体側に促すことができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタルスチルカメラ１００の構成例を示している。

このデジタルスチルカメラ１００は、撮像レンズ１０１と、撮像部１０２と、カメラ制御部１０３と、システム制御部１０４と、外部Ｉ／Ｆ部１０５と、記録再生部１０６と、表示部１０７と、操作入力部１０８と、ＬＥＤ(Light Emitting Diode)１０９と、スピーカ１１０と、記憶装置部１１１とを有している。

撮像部１０２は、図示していないが、電子シャッター機能を持つ撮像素子と、撮像素子の出力信号を処理して撮像画像に対応した画像情報（画像データ）を得る信号処理部とで構成されている。撮像レンズ１０１により撮像素子の撮像面に被写体の光学像が結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことで、当該撮像部１０２からは撮像画像に対応した画像情報が得られる。カメラ制御部１０３は、記憶装置部１１１を介して撮像部１０２から供給される画像情報を基に、シャッター速度および露出を決定し、撮像部１０２に対して制御を加える。

システム制御部１０４は、カメラ全体の制御を行う。このシステム制御部１０４は、操作入力部１０８によるユーザ操作による制御、表示部１０７に対しての適切な内容の表示、記録再生部１０６への画像情報の保存、外部Ｉ／Ｆ部１０５を通じての外部のコンピュータやネットワークとの通信を制御する。また、システム制御部１０４は、シャッター釦の押し下げなどのユーザ操作の内容などによっては、カメラ制御部１０３に制御を加える。また、システム制御部１０４は、撮影時には、撮像部１０２で捕らえた画像を表示部１０７に表示する。さらに、システム制御部１０４は、報知時に、ＬＥＤ１０９の発光を制御し、あるいはスピーカ１１０からの音声出力を制御する。

外部Ｉ／Ｆ部１０５は、ＵＳＢ(UniversalSerial Bus)による外部のコンピュータとの接続、あるいはネットワーク接続のためのインタフェースを提供する。記録再生部１０６は、主にフラッシュメモリからなる記録媒体が着脱自在に装着されており、当該記録媒体に画像情報を記録し、あるいは、この記録媒体から画像情報を読み出す。表示部１０７は、例えば液晶パネルからなっている。この表示部１０７は、撮影した画像、記録再生部１０６で記録媒体から読み出した画像、さらには、ユーザに対する各種情報等を表示する。

操作入力部１０８は、シャッター釦などの筐体外部に配置されたキー装置であり、ユーザ入力を受ける。記憶装置部１１１は、撮像部１０２から出力される撮像画像に対応した画像情報等を一時的に保存しておくための主記憶装置であって、ＤＲＡＭにより構成されている。各部間の画像情報のやりとりは、当該記憶装置部１１１を介して行われる。

図２は、デジタルスチルカメラ１００の外観の一例を示している。デジタルカメラ１００の筐体１１５の前面には、撮像レンズ１０１の他に、ＬＥＤ１０９、スピーカ１１０が配設されている。また、筐体１１５の上面には、シャッター釦１１６が配設されている。なお、図示していないが、筐体１１５の背面には、表示部１０７、さらにはシャッター釦１１６以外の操作入力部１０８が配設されている。

次に、カメラ制御部１０３の詳細構成を説明する。図３は、カメラ制御部１０３の構成例を示している。このカメラ制御部１０３は、顔検出部１２１と、顔属性検出部１２２と、カメラパラメータ制御部１２３と、シーケンス制御部１２４とを有している。

顔検出部１２１は、シーケンス制御部１２４のトリガにより、記憶装置部１１１に保持されている、撮像部１０２から出力された現在の撮像画像の画像情報に基づいて、顔画像を検出する。顔検出部１２１は、顔画像が検出されるとき、当該顔画像に対応した画像情報を記憶装置部１１１に記憶し、また、顔検出情報をシーケンス制御部１２４に供給する。この顔検出部１２１における検出処理の詳細については後述する。

顔属性検出部１２２は、シーケンス制御部１２４のトリガにより、記憶装置部１１１に保持されている、上述の顔検出部１２１で検出された顔画像に対応した画像情報に基づいて、顔器官としての目を検出し、当該目の検出位置に基づいて顔画像に対して正規化処理をして正規化顔画像を得る。この顔属性検出部１２２は、目の検出処理で得られた目スコアをシステム制御部１２４に供給し、また、正規化処理により得られた正規化顔画像に対応した画像情報を記憶装置部１１１に記憶する。

また、顔属性検出部１２２は、記憶装置部１１１に保持されている正規化顔画像に対応した画像情報に基づいて、正規化が成功したか否かの判定のための正規化スコアを測定し、当該正規化スコアをシーケンス制御部１２４に供給する。また、顔属性検出部１２２は、記憶装置部１１１に記憶されている正規化顔画像に対応した画像情報に基づいて、笑顔を検出するための笑顔スコアを測定し、当該笑顔スコアをシーケンス制御部１２４に供給する。この顔属性検出部１２２における検出処理の詳細については後述する。

カメラパラメータ制御部１２３は、シーケンス制御部１２４のトリガにより、記憶装置部１１１に保持されている、撮像部１０２から出力された現在の撮像画像の画像情報を評価し、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定し、撮像部１０２に対して制御を行う。

シーケンス制御部１２４は、システム制御部１０４からの撮影待機命令で起動し、撮像部１０２に起動命令を送り、当該撮像部１０２をいつでも撮影できる撮影待機状態に保持する。撮影待機状態では、撮像部１０２で得られる被写体の撮像画像に対応した画像情報は記憶装置部１１１に供給され、当該記憶装置部１１１に保持されている画像情報は、例えば１フィールド期間（１／６０秒）毎に、順次更新される。シーケンス制御部１２４は、カメラパラメータ制御部１２３に対しては、記憶装置部１１１に保持されている画像情報からカメラパラメータの算出を行うように制御を加え、顔検出部１２１に対しては、記憶装置部１１１に保持されている画像情報から顔検出を行うように制御を加える。

また、シーケンス制御部１２４は、顔検出部１２１から顔検出情報が供給されるとき、顔属性検出部１２２に対して、顔属性の検出（目検出、正規化処理、正規化スコアの測定、笑顔スコアの測定）を行うように制御を加える。シーケンス制御部１２４は、左右の目検出が成功し、正規化が成功し、さらに笑顔が検出されるとき、システム制御部１０４等の必要個所に、撮影を指示する。

図１に示すデジタルスチルカメラ１００において、ユーザは、操作入力部１０８を操作することで、笑顔シャッターモードに設定できる。そして、このデジタルスチルカメラ１００においては、このように笑顔シャッターモードに設定された状態で、ユーザが、シャッター釦１１６を押し下げることで、被写体の撮像画像に笑顔の顔画像が含まれているとき自動的に撮影が行われる。

図４のフローチャートは、笑顔シャッターモードで、シャッター釦１１６の押し下げがあった場合における、シーケンス制御部１２４による制御シーケンスの詳細を示している。

まず、シーケンス制御部１２４は、ステップＳＴ１において、システム制御部１０４からの撮像待機命令により制御動作を開始し、その後に、ステップＳＴ２に移る。このステップＳＴ２において、シーケンス制御部１２４は、撮像部１０２に起動命令を送る。撮像部１０２は、当該起動命令を受け、いつでも撮影できる撮影待機状態になる。この撮影待機状態では、撮像部１０２において被写体を撮像する動作が繰り返し行われ、当該撮像部１０２から出力される被写体の撮像画像に対応した画像情報は記憶装置部１１１に供給され、当該記憶装置部１１１に保持されている画像情報はフィールド期間毎に順次更新される。

次に、シーケンス制御部１２４は、ステップＳＴ３において、カメラパラメータ制御部１２３に、カメラパラメータの更新を要求する。カメラパラメータ制御部１２３は、当該要求を受け、記憶装置部１１１に保持されている、撮像部１０２から出力された現在の撮像画像の画像情報を評価し、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定し、撮像部１０２のカメラパラメータを更新する。

次に、シーケンス制御部１２４は、ステップＳＴ４において、顔検出部１２１に、顔検出を要求する。顔検出部１２１は、記憶装置部１１１に保持されている、撮像部１０２から出力された現在の撮像画像の画像情報に基づいて、顔画像を検出する。例えば、記憶装置部１１１内の撮像画像ＩＭ-0が図５（ａ）に示すようであるとき、顔検出部１２１は、図５（ｂ）に破線枠で囲んで示すように、撮像画像ＩＭ-0に含まれている顔画像ＩＭ-1を検出する。

顔検出部１２１は、顔画像が検出されるとき、当該顔画像を、顔属性検出部１２２における処理のために、図５（ｃ）に示すように、所定のサイズ、この実施の形態では、水平サイズが８０ピクセル、垂直サイズが８０ピクセルとなるように正規化し、当該正規化された顔画像ＩＭ-2に対応した画像情報を、記憶装置部１１１に記憶する。また、顔検出部１２１は、顔画像が検出されるとき、顔検出情報（顔スコア、位置情報、サイズ情報等）を、シーケンス制御部１２４に送る。

ここで、顔検出部１２１における顔画像の検出処理の一例について説明する。
この検出処理では、図６に示すように、撮像画像ＩＭ-0上に、所定サイズ、例えば、水平サイズがＳピクセル、垂直サイズがＳピクセルである、検出枠ＦＲ-faが設定される。この実施の形態において、Ｓピクセルは、８０ピクセル以上である。この検出枠ＦＲ-faは、図６に矢印で示すように、撮像画像ＩＭ-0上を走査され、その位置が順次変化するようにされる。そして、各位置の検出枠ＦＲ-faで囲まれる画像に対し、顔辞書を用いて顔スコアSCORE_faの測定が行われ、当該顔スコアSCORE_faに基づいて、顔画像であるか否かの判定が行われる。

顔辞書は、図７（ｂ）に示すように、ｔ４組（数百ペア）の、pix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の組みあわせからなっている。ここで、pix_fa1(i)，pix_fa2(i)は、図８に示すように、検出枠ＦＲ-faで囲まれる画像における２点の位置を示している。なお、図８には、図面の簡単化のため、３組だけを示している。θ_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差に関する閾値を示している。また、α_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差と閾値θ_fa(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

顔スコアSCORE_faの測定は、図７（ａ）に示すように、顔辞書のpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各組に対応して、（１）式を満たすか否かを判断し、満たす場合には（２）式の演算を行い、一方、満たさない場合には（３）式の演算を行うことで、行われる。なお、（１）式で、pix_fa1(i)はその位置の輝度値を示し、pix_fa2(i)はその位置の輝度値を示している。

pix_fa1(i)−pix_fa2(i)＜θ_fa(i) ・・・（１）
SCORE_fa＝SCORE_fa＋α_fa(i) ・・・（２）
SCORE_fa＝SCORE_fa−α_fa(i) ・・・（３）

検出枠ＦＲ-faで囲まれる画像が顔画像であるか否かの判定は、上述したように測定された顔スコアSCORE_faに基づいて行われる。なお、上述の顔スコアSCORE_faの測定において、（１）式を満たす場合はｈ(i)＝１とし、逆に、（１）式を満たさない場合はｈ(i)＝−１とするとき、測定された顔スコアSCORE_faは、（４）式で表される。

顔スコアSCORE_faが０より大きいとき、検出枠ＦＲ-faで囲まれる画像は顔画像であると判定される。一方、顔スコアSCORE_faが０以下であるとき、検出枠ＦＲ-faで囲まれる画像は顔画像ではないと判定される。なお、判定の基準を０ではなく、０以外の多少調整された値が用いられることもある。

なお、撮像画像に含まれる顔画像には種々の大きさが考えられる。そのため、図６に示すように、撮像画像ＩＭ-0上に所定サイズの検出枠ＦＲ-faを設定して顔画像を検出するものにあっては、当該撮像画像ＩＭ-0に含まれる顔画像の内、当該検出枠ＦＲ-faのサイズに対応した顔画像だけしか検出できない。そこで、撮像画像ＩＭ-0に含まれる種々の顔画像を検出可能とするために、上述した顔画像の検出処理は、図９に示すように、撮像画像ＩＭ-0の他に、この撮像画像ＩＭ-0を、適宜縮小した縮小画像ＩＭ-0a，ＩＭ-0b，・・・に対しても行われる。

図１０のフローチャートは、顔検出部１２１における、顔画像検出処理の手順を示している。

まず、顔検出部１２１は、ステップＳＴ２１において、顔画像検出処理を開始し、その後に、ステップＳＴ２２に移る。このステップＳＴ２２において、顔検出部１２１は、撮像画像ＩＭ-0の縮小段階Ｓ_NOを１に設定する。そして、顔検出部１２１は、ステップＳＴ２３において、記憶装置部１１１から撮像画像ＩＭ-0の画像情報を読み出し、縮小段階Ｓ_NOのスケーリング（縮小処理）を施し、顔画像を検出するための縮小画像（縮小された撮像画像）を生成する。なお、Ｓ_NO＝１であるとき、縮小率は１とされ、顔画像を検出するための縮小画像は、撮像画像ＩＭ-0と同じものとされる。また、縮小段階Ｓ_NOが大きくなるにつれて、縮小率は小さくなっていく。縮小率が小さな縮小画像で検出される顔画像ほど、撮像画像ＩＭ-0上では大きな顔画像である。顔検出情報に含まれるサイズ情報および位置情報は、撮像画像ＩＭ-0におけるものとされる。

次に、顔検出部１２１は、ステップＳＴ２４において、ステップＳＴ２３で生成された縮小画像上の左上に検出枠ＦＲ-faを設定する。そして、顔検出部１２１は、ステップＳＴ２５において、上述したように、顔辞書を用いて、顔スコアSCORE_faを測定する。

次に、顔検出部１２１は、ステップＳＴ２６において、ステップＳＴ２５で測定された顔スコアSCORE_faに基づいて、検出枠ＦＲ-faで囲まれた画像が顔画像であるか否かを判定する。この場合、顔検出部１２１は、SCORE_fa＞０であるとき顔画像であると判定し、SCORE_fa＞０でないとき顔画像ではないと判定する。

顔画像であると判定するとき、顔検出部１２１は、ステップＳＴ２７に移る。このステップＳＴ２７において、顔検出部１２１は、検出枠ＦＲ-faで囲まれている画像を顔画像として記憶装置部１１１に記憶し、さらに当該顔画像に対応した顔検出情報（顔スコア、位置情報、サイズ情報等）をシーケンス制御部１２４に送る。なお、顔検出部１２１は、上述したように、Ｓピクセル×Ｓピクセルの検出顔画像を、顔属性検出部１２２における処理のために、８０ピクセル×８０ピクセルの大きさに正規化した後に、記憶装置部１１１に記憶する。顔検出部１２１は、ステップＳＴ２７の処理の後、ステップＳＴ２８に進む。ステップＳＴ２６で顔画像でないと判定するとき、顔検出部１２１は、直ちに、ステップＳＴ２８に移る。

このステップＳＴ２８において、顔検出部１２１は、検出枠ＦＲ-faが最後の位置まで移動したか否かを判定する。最後の位置まで移動していないとき、顔検出部１２１は、ステップＳＴ２９において、検出枠ＦＲ-faを次の位置に移動し、その後に、上述したステップＳＴ２５に戻って、上述したと同様の処理を繰り返す。なお、検出枠ＦＲ-faは、ある垂直位置においては水平方向に１ピクセルずつ移動していき、当該垂直位置における水平方向の移動が終わると、垂直方向に１ピクセル移動して、次の垂直位置に移る。

ステップＳＴ２８で検出枠ＦＲ-faが最後の位置まで移動しているとき、顔検出部１２１は、ステップＳＴ３０において、縮小段階Ｓ_NOが最後の段階Ｓ_NOmaxにあるか否かを判定する。Ｓ_NO＝Ｓ_NOmaxでないとき、顔検出部１２１は、ステップＳＴ３１において、縮小段階Ｓ_NOを次の段階とし、その後、ステップＳＴ２３に移り、上述したと同様の処理を繰り返す。

また、ステップＳＴ３０で、Ｓ_NO＝Ｓ_NOmaxであるとき、全ての縮小段階Ｓ_NOでの顔画像の検出処理が終了したことを意味するので、顔検出部１２１は、ステップＳＴ３２において、顔画像検出処理を終了する。

図４に戻って、シーケンス制御部１２４は、ステップＳＴ４の処理の後、ステップＳＴ５に移る。このステップＳＴ５において、シーケンス制御部１２４は、顔画像が検出されたか否かを判定する。顔画像が検出されていないとき、シーケンス制御部１２４は、ステップＳＴ３の処理に戻り、上述したと同様の処理を繰り返す。一方、顔画像が検出されたとき、シーケンス制御部１２４は、ステップＳＴ６に移る。このステップＳＴ６において、シーケンス制御部１２４は、顔属性検出部１２２に、検出された各顔画像に対する属性検出を要求する。

図１１のフローチャートは、顔属性検出部１２２における、顔属性検出処理の手順を示している。

まず、顔属性検出部１２２は、ステップＳＴ４１で、顔属性検出処理を開始する。そして、顔属性検出部１２２は、ステップＳＴ４２において、左目検出を実行し、さらに、ステップＳＴ４３において、右目検出を実行する。目検出では、図１２（ａ）に示すように、記憶装置部１１１に保持されている、８０ピクセル×８０ピクセルに正規化された顔画像ＩＭ-2に対応した画像情報に基づいて、目検出辞書を用いて、顔器官としての目の検出を行う。

左目検出について説明する。例えば、顔画像ＩＭ-2が、図１３に示すようであるとき、顔属性検出部１２２は、顔画像ＩＭ-2上に、左目検出範囲ＡＲ-Leyを設定する。この左目検出範囲ＡＲ-Leyにおいて、左上の座標は（LEFT_LEFT,LEFT_TOP）であり、右下の座標は（LEFT_RIGHT,LEFT_BOTTOM）である。

また、顔属性検出部１２２は、左目を検出する際には、顔画像ＩＭ-2上に、所定サイズ、この実施の形態においては、水平サイズが２４ピクセル、垂直サイズが２４ピクセルの検出枠ＦＲ-eyを設定する。上述した左目検出範囲ＡＲ-Leyは、当該検出枠ＦＲ-eyの中心位置の移動範囲となる。

左目の検出処理では、図１３に矢印で示すように、検出枠ＦＲ-eyは左目検出範囲ＡＲ-Ley上を走査され、その位置が順次変化するようにされる。そして、各位置の検出枠ＦＲ-eyで囲まれる画像に対し、左目検出辞書を用いて左目スコアSCORE_Leyの測定が行われ、当該左目スコアSCORE_Leyの最大値、および当該最大値が得られた検出枠ＦＲ-eyの位置情報が出力される。

図１４フローチャートは、左目検出処理の処理手順を示している。まず、顔属性検出部１２２は、ステップＳＴ５１において、左目検出処理を開始し、その後に、ステップＳＴ５２に移る。このステップＳＴ５２において、顔属性検出部１２２は、記憶装置部１１１から、当該左目検出処理で使用される、左目検出範囲ＡＲ-Leyに対応した画像情報を読み出す。

次に、顔属性検出部１２２は、ステップＳＴ５３において、LEFT_SCOREを負の大きな数、この実施の形態においては−１００００に設定する。そして、顔属性検出部１２２は、ステップＳＴ５４およびステップＳＴ５５において、検出枠ＦＲ-eyの中心位置（ｘ，ｙ）を、左目検出範囲ＡＲ-Leyの左上に設定する。すなわち、ｙ＝LEFT_TOPとし、ｘ＝LEFT_LEFTとする。

次に、顔属性検出部１２２は、ステップＳＴ５６において、検出枠ＦＲ-eyに囲まれた画像に対し、左目検出辞書を適用して、左目スコアSCORE_Leyを測定する。そして、顔属性検出部１２２は、ステップＳＴ５７において、左目スコアSCORE_LeyがLEFT_SCOREより大きいか否かを判定する。SCORE_Ley＞LEFT_SCOREであるとき、顔属性検出部１２２は、ステップＳＴ５８に移る。このステップＳＴ５８において、顔属性検出部１２２は、LEFT_SCORE＝SCORE_Leyとすると共に、ＰＯＳ＝（ｘ，ｙ）とする。

顔属性検出部１２２は、ステップＳＴ５８の処理の後、ステップＳＴ５９に移る。ステップＳＴ５７で、SCORE_Ley＞LEFT_SCOREでないとき、顔属性検出部１２２は、直ちに、ステップＳＴ５９に移る。このステップＳＴ５９において、顔属性検出部１２２は、ｘをインクリメントする。そして、顔属性検出部１２２は、ステップＳＴ６０において、ｘがLEFT_RIGHTより大きいか否かを判定する。ｘがLEFT_RIGHTより大きくなるとき、検出枠ＦＲ-eyの中心位置（ｘ，ｙ）の右方向への移動が左目検出範囲ＡＲ-Leyの右端まできたことを意味する。そこで、ｘ＞LEFT_RIGHTでないとき、顔属性検出部１２２は、上述のステップＳＴ５６に戻り、上述したと同様の処理を繰り返すが、ｘ＞LEFT_RIGHTであるとき、顔属性検出部１２２は、ステップＳＴ６１において、ｙをインクリメントする。

次に、顔属性検出部１２２は、ステップＳＴ６２において、ｙがLEFT_BOTTOMより大きいか否かを判定する。yがLEFT_BOTTOMより大きくなるとき、検出枠ＦＲ-eyの下方向への移動が左目検出範囲ＡＲ-Leyの下端まできたことを意味する。そこで、ｙ＞LEFT_BOTTOMでないとき、顔属性検出部１２２は、上述のステップＳＴ５５に戻り、上述したと同様の処理を繰り返す。

ステップＳＴ６２でｙ＞LEFT_BOTTOMであるとき、検出枠ＦＲ-eyの左目検出範囲ＡＲ-Leyにおける移動が終了したことを意味するので、顔属性検出部１２２は、ステップＳＴ６３に移る。このステップＳＴ６３において、顔属性検出部１２２は、当該左目スコアSCORE_Leyの最大値LEFT_SCORE、および当該最大値LEFT_SCOREが得られた検出枠ＦＲ-eyの位置情報ＰＯＳを出力する。そして、顔属性検出部１２２は、ステップＳＴ６３の処理の後、ステップＳＴ６４において、左目検出処理を終了する。

ここで、上述のステップＳＴ５６における左目スコアSCORE_Leyの測定処理について説明する。

左目検出辞書は、図１５（ｂ）に示すように、ｔ１組（数百ペア）の、pix_ey1(i)，pix_ey2(i)、θ_ey(i)、およびα_ey(i)の組みあわせからなっている。ここで、pix_ey1(i)，pix_ey2(i)は、図１６に示すように、検出枠ＦＲ-eyで囲まれる画像における２点の位置を示している。なお、図１６には、図面の簡単化のため、３組だけを示している。θ_ey(i)は、pix_ey1(i)の輝度値およびpix_ey2(i)の輝度値の差に関する閾値を示している。また、α_ey(i)は、pix_ey1(i)の輝度値およびpix_ey2(i)の輝度値の差と閾値θ_ey(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_ey1(i)，pix_ey2(i)、θ_ey(i)、およびα_ey(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

左目スコアSCORE_Leyの測定は、図１５（ａ）に示すように、顔辞書のpix_ey1(i)，pix_ey2(i)、θ_ey(i)、およびα_ey(i)の各組に対応して、（５）式を満たすか否かを判断し、満たす場合には（６）式の演算を行い、一方、満たさない場合には（７）式の演算を行うことで、行われる。なお、（５）式で、pix_ey1(i)はその位置の輝度値を示し、pix_ey2(i)はその位置の輝度値を示している。

pix_ey1(i)−pix_ey2(i)＜θ_ey(i) ・・・（５）
SCORE_Ley＝SCORE_Ley＋α_ey(i) ・・・（６）
SCORE_Ley＝SCORE_Ley−α_ey(i) ・・・（７）

図１７のフローチャートは、左目スコアSCORE_Leyの測定処理の手順を示している。まず、顔属性検出部１２２は、ステップＳＴ７１において、スコア測定処理を開始し、その後に、ステップＳＴ７２に移る。このステップＳＴ７２において、顔属性検出部１２２は、左目スコアSCORE_Leyを０に設定する。そして、顔属性検出部１２２は、ステップＳＴ７３において、ｉを１に設定する。

次に、顔属性検出部１２２は、ステップＳＴ７４において、pix_ey1(i)およびpix_ey2(i)に対応する輝度値を選択し、ステップＳＴ７５において、pix_ey1(i)の輝度値からpix_ey2(i)の輝度値を差し引く演算を行う。そして、顔属性検出部１２２は、ステップＳＴ７６において、演算結果であるpix_ey1(i)−pix_ey2(i)が閾値θ_ey(i)より小さいか否かを判定する（（５）式参照））。

pix_ey1(i)−pix_ey2(i)＜θ_ey(i)を満たすとき、顔属性検出部１２２は、ステップＳＴ７７において、左目スコアSCORE_Leyに重みα_ey(i)を加算する（（６）式参照）。一方、pix_ey1(i)−pix_ey2(i)＜θ_ey(i)を満たさないとき、顔属性検出部１２２は、ステップＳＴ７８において、左目スコアSCORE_Leyから重みα_ey(i)を減算する（（７）式参照）。

顔属性検出部１２２は、ステップＳＴ７７の処理の後、およびステップＳＴ７８の処理の後、ステップＳＴ７９に移る。このステップＳＴ７９において、顔属性検出部１２２は、ｉをインクリメントする。そして、顔属性検出部１２２は、ステップＳＴ８０において、ｉがｔ１より大きいか否かを判定する。ｉがｔ１より大きいとき、左目検出辞書のｔ１組の各組み合わせの処理を終了したことを意味する。顔属性検出部１２２は、ｉ＞ｔ１でないときステップＳＴ７４に戻って上述した処理を繰り返し、一方、ｉ＞ｔ１であるとき、ステップＳＴ８１において、スコア測定処理を終了する。

なお、詳細説明は省略するが、右目の検出処理も、上述した左目の検出処理と同様に行われ、右目スコアSCORE_Reyの最大値LEFT_SCORE、および当該最大値LEFT_SCOREが得られた検出枠ＦＲ-eyの位置情報ＰＯＳを出力する。

図１１に戻って、顔属性検出部１２２は、ステップＳＴ４３の処理の後、ステップＳＴ４４に移る。このステップＳＴ４４において、顔属性検出部１２２は、左目、右目の位置が所定座標になるように正規化（アフィン変換）を行って、図１２（ｂ）に示すように、所定サイズ、この実施の形態においては、水平サイズが４８ピクセル、垂直サイズが４８ピクセルの正規化顔画像ＩＭ-3を生成する。このように左目、右目の位置が所定座標になるように正規化が行われることで、正規化顔画像ＩＭ-3は、顔の位置、顔の角度および顔の大きさの全てが正規化されたものとなる。

この場合、顔属性検出部１２２は、ステップＳＴ４２の左目検出処理で出力された左目スコアSCORE_Leyの最大値LEFT_SCOREが０より大きいときは、左目の検出に成功したと判断し、ＰＯＳは左目位置を示すものとする。同様に、顔属性検出部１２２は、ステップＳＴ４３の右目検出処理で出力された右目スコアSCORE_Reyの最大値LEFT_SCOREが０より大きいときは、右目の検出に成功したと判断し、ＰＯＳは右目位置を示すものとする。

顔属性検出部１２２は、このように左目、右目の検出に成功したときは、それに対応した左目、右目の位置を用いて、アフィン変換を行う。なお、この実施の形態においては、左目、右目の検出が成功しなかったときにも、所定の位置に左目、右目があったものとして、アフィン変換を行うようにしている。

なお、上述した正規化顔画像ＩＭ-2のピクセル数（８０ピクセル×８０ピクセル）に比べて、左目、右目の位置に基づいて正規化された正規化顔画像ＩＭ-3のピクセル数（４８ピクセル×４８ピクセル）が少なくされている。これは、以下の理由からである。すなわち、目を位置精度よく検出するために正規化顔画像ＩＭ-2はある程度のピクセル数（解像度）を持つ必要があるが、正規化顔画像ＩＭ-3に関しては、顔全体に広がる特徴（正規化正否スコア、笑顔スコア）を検出するためのものであり、少ないピクセル数でも十分である。このように正規化顔画像ＩＭ-3のピクセル数を少なくすることで、メモリ使用量を節約でき、また、特徴検出の処理を簡単、かつ高速に行うことができる。

次に、顔属性検出部１２２は、ステップＳＴ４５において、図１２（ｂ）に示すように、正規化正否辞書を適用して、正規化スコアSCORE_noを測定する。この正規化スコアSCORE_noは、正規化が成功したか否かを判定するためのスコアである。正規化が失敗した正規化顔画像ＩＭ-3の例としては、当該正規化顔画像ＩＭ-3が顔画像でない、当該正規化顔画像ＩＭ-3が正面を向いているが傾いている、当該正規化顔画像ＩＭ-3が横を向いている、等がある。このように正規化が正しく行われていない正規化画像ＩＭ-3に関しては、後述する笑顔スコアSCORE_smの測定値が妥当なものか不明なものとなる。

ここで、正規化スコアSCORE_noの測定処理について説明する。

正規化正否辞書は、図１８（ｂ）に示すように、ｔ２組（数百ペア）の、pix_no1(i)，pix_no2(i)、θ_no(i)、およびα_no(i)の組み合わせからなっている。ここで、pix_no1(i)，pix_no2(i)は、図１９に示すように、正規化画像ＩＭ-3における２点の位置を示している。なお、図１９には、図面の簡単化のため、３組だけを示している。θ_no(i)は、pix_no1(i)の輝度値およびpix_no2(i)の輝度値の差に関する閾値を示している。また、α_no(i)は、pix_no1(i)の輝度値およびpix_no2(i)の輝度値の差と閾値θ_no(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_no1(i)，pix_no2(i)、θ_no(i)、およびα_no(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

正規化スコアSCORE_noの測定は、図１８（ａ）に示すように、顔辞書のpix_no1(i)，pix_no2(i)、θ_no(i)、およびα_no(i)の各組に対応して、（８）式を満たすか否かを判断し、満たす場合には（９）式の演算を行い、一方、満たさない場合には（１０）式の演算を行うことで、行われる。なお、（８）式で、pix_no1(i)はその位置の輝度値を示し、pix_no2(i)はその位置の輝度値を示している。

pix_no1(i)−pix_no2(i)＜θ_no(i) ・・・（８）
SCORE_no＝SCORE_no＋α_no(i) ・・・（９）
SCORE_no＝SCORE_no−α_no(i) ・・・（１０）

なお、詳細説明は省略するが、正規化スコアSCORE_noの測定処理の手順は、上述した、左目スコアSCORE_Leyの測定処理の手順と同様である（図１７参照）。

次に、顔属性検出部１２２は、ステップＳＴ４６において、図１２（ｂ）に示すように、笑顔辞書を適用して、笑顔スコアSCORE_smを測定する。この笑顔スコアSCORE_smは、正規化顔画像ＩＭ-3の状態が笑顔であるか否かを判定するためのスコアである。

ここで、笑顔スコアSCORE_smの測定処理について説明する。

正規化正否辞書は、図２０（ｂ）に示すように、ｔ３組（数百ペア）の、pix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の組み合わせからなっている。ここで、pix_sm1(i)，pix_sm2(i)は、正規化画像ＩＭ-3における２点の位置を示している。θ_sm(i)は、pix_sm1(i)の輝度値およびpix_sm2(i)の輝度値の差に関する閾値を示している。また、α_sm(i)は、pix_sm1(i)の輝度値およびpix_sm2(i)の輝度値の差と閾値θ_sm(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

笑顔スコアSCORE_smの測定は、図２０（ａ）に示すように、顔辞書のpix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の各組に対応して、（１１）式を満たすか否かを判断し、満たす場合には（１２）式の演算を行い、一方、満たさない場合には（１３）式の演算を行うことで、行われる。なお、（１１）式で、pix_sm1(i)はその位置の輝度値を示し、pix_sm2(i)はその位置の輝度値を示している。

pix_sm1(i)−pix_sm2(i)＜θ_sm(i) ・・・（１１）
SCORE_sm＝SCORE_sm＋α_sm(i) ・・・（１２）
SCORE_sm＝SCORE_sm−α_sm(i) ・・・（１３）

なお、詳細説明は省略するが、笑顔スコアSCORE_smの測定処理の手順は、上述した、左目スコアSCORE_Leyの測定処理の手順と同様である（図１７参照）。

次に、顔属性検出部１２２は、ステップＳＴ４７において、属性情報（左目スコアSCORE_Leyの最大値、右目スコアSCORE_Reyの最大値、正規化スコアSCORE_no、笑顔スコアSCORE_sm）をシーケンス制御部１２４に出力する。そして、顔属性検出部１２２は、ステップＳＴ４８において、顔属性検出処理を終了する。

図４に戻って、シーケンス制御部１２４は、ステップＳＴ６の処理の後、ステップＳＴ７に移る。このステップＳＴ７において、シーケンス制御部１２４は、撮影条件を満たしているか否を判定する。シーケンス制御部１２４は、上述した顔属性検出部１２２で検出された属性情報（左目スコアSCORE_Leyの最大値、右目スコアSCORE_Reyの最大値、正規化スコアSCORE_no、笑顔スコアSCORE_sm）に基づいて、判定を行う。

シーケンス制御部１２４は、左右の目検出が成功し、顔の正規化が成功し、かつ笑顔が検出されるとき、撮影条件を満たしていると判定する。ここで、シーケンス制御部１２４は、左目スコアSCORE_Leyの最大値が０より大きいとき、左目の検出が成功したと判定する。また、シーケンス制御部１２４は、右目スコアSCORE_Reyの最大値が０より大きいとき、右目の検出が成功したと判定する。また、シーケンス制御部１２４は、正規化スコアSCORE_noが０より大きいとき、顔の正規化が成功したと判定する。さらに、シーケンス制御部１２４は、笑顔スコアSCORE_smが０より大きいとき、笑顔が検出されたと判定する。

例えば、図２１の状態Ａは、左目検出が失敗、右目検出が失敗、顔の正規化が成功または失敗、笑顔が検出または非検出であり、撮影条件を満たしていない。この状態は、左右の目の検出が失敗しているので、顔検出部１２１で検出された顔画像が顔画像でない、顔検出部１２１で検出された顔画像が正面を向いていない等が考えられる。また、図２１の状態Ｂは、左目検出が成功、右目検出が失敗、顔の正規化が成功、笑顔が検出であり、撮影条件を満たしていない。この状態は、片目の検出が失敗しているので、顔検出部１２１で検出された顔画像が横を向いている等が考えられる。

また、図２１の状態Ｃは、左目検出が成功、右目検出が成功、顔の正規化が成功、笑顔が検出であり、撮影条件を満たしている。この状態は、顔検出部１２１で検出された顔画像が正面を向いた笑顔の顔画像であったと考えられる。さらに、図２１の状態Ｄは、左目検出が成功、右目検出が成功、顔の正規化が失敗、笑顔が検出であり、撮影条件を満たしていない。この状態は、両目の検出が成功しているものの、顔の正規化が失敗しているので、顔検出部１２１で検出された顔画像が顔画像でない、顔属性検出部１２２で眉毛などを目として検出した等が考えられる。

ところで、上述したように、顔検出部１２１で撮像画像ＩＭ_0から複数の顔画像が検出されることもあり、その場合、顔属性検出部１２２では当該複数の顔画像に対して顔属性の検出が行われる。このような場合、シーケンス制御部１２４は、ステップＳＴ７における撮影条件を満たしているか否かの判定に当たっては、例えば、以下の（１）〜（３）の処理が考えられる。

（１）全ての顔画像が撮影条件を満たしているとき、撮影条件を満たしていると判定する。（２）撮影画像において最も大きな顔画像が撮影条件を満たしているとき、撮影条件を満たしていると判定する。この場合、最も大きな顔画像が複数あるときは、それら全ての顔画像が撮影条件を満たしているか、あるいは最も中央側に位置する１つの顔画像が撮影条件を満たしているとき、撮影条件を満たしていると判定する。（３）顔画像の大きさに拘わらず、最も中央側に位置する顔画像が撮影条件を満たしているとき撮影条件を満たしていると判定する。

ステップＳＴ７で撮影条件を満たしていると判定するとき、シーケンス制御部１２４は、ステップＳＴ８に移る。このステップＳＴ８において、シーケンス制御部１２４は、システム制御部１０４等の必要な個所に、撮影を指示する。この場合、例えば、撮像部１０２から出力される撮像画像に対応した画像情報は、記憶装置部１１１を介して、記録再生部１０６に供給され、図示しないメモリカード等の記録媒体に記録される。なお、撮像部１０２においては、必要に応じて、フラッシュの発光等も行われる。シーケンス制御部１２４は、ステップＳＴ８の処理の後、ステップＳＴ９において、一連の制御動作を終了する。

また、ステップＳＴ７で撮影条件を満たしていないと判定するとき、シーケンス制御部１２４は、ステップＳＴ１０に移る。このステップＳＴ１０において、シーケンス制御部１２４は、笑顔の条件だけを満たせば撮影されるということを報知する報知条件を満たしているか否かを判定する。シーケンス制御部１２４は、左右の目検出が成功し、顔の正規化が成功しているが、笑顔が検出されていないとき、報知条件を満たしていると判定する。

例えば、図２２の状態Ａは、左目検出が失敗、右目検出が失敗、顔の正規化が成功または失敗、笑顔が検出または非検出であり、報知条件を満たしていない。また、図２２の状態Ｂは、左目検出が成功、右目検出が失敗、顔の正規化が成功、笑顔が検出であり、報知条件を満たしていない。また、図２２の状態Ｃは、左目検出が成功、右目検出が成功、顔の正規化が成功、笑顔が非検出であり、笑顔が検出されれば撮影条件を満たすので、報知条件を満たしている。さらに、図２２の状態Ｄは、左目検出が成功、右目検出が成功、顔の正規化が失敗、笑顔が検出であり、報知条件を満たしていない。

ステップＳＴ１０で報知条件を満たしていると判定するとき、シーケンス制御部１２４は、ステップＳＴ１１に移る。このステップＳＴ１１で、シーケンス制御部１２４は、システム制御部１０４に報知を指示する。システム制御部１０４は、シーケンス制御部１２４からの報知指示を受けて、報知を行う。この報知は、ユーザの設定により、ＬＥＤ１０９の発光による報知、スピーカ１１０からの音声出力による報知のいずれか、または双方により行われる。

図２３は、ＬＥＤ１０９の発光パターンの一例を示している。図２３（ａ）は間欠的に点灯される例であり、図２３（ｂ）は連続的に点灯される例である。また、スピーカ１１０からの音声出力による報知の場合、「ハィ、チーズ」、「笑って下さい」などの笑顔を促す音声が出力される。

シーケンス制御部１２４は、ステップＳＴ１１の処理の後、ステップＳＴ３に戻り、上述したと同様の動作を繰り返す。なお、ステップＳＴ１０で報知条件を満たしていないと判定するとき、シーケンス制御部１２４は、直ちに、ステップＳＴ３に戻る。

以上説明したように、図１に示すデジタルスチルカメラ１００においては、左右の目の検出位置に基づいて顔の位置、角度、大きさが正規化されて得られた正規化顔画像ＩＭ-3に対応した画像情報を用いて、笑顔の検出を行うものである。したがって、正規化されていない顔画像に対応した画像情報を用いて笑顔を検出するものに比べて、笑顔の検出精度を向上でき、被写体側の人の顔が笑顔となったとき撮影を行う自動撮影の精度を高めることができる。

また、図１に示すデジタルスチルカメラ１００においては、正規化顔画像ＩＭ-3に対応した画像情報を用いて、正規化が成功したか否かを判定し、正規化が成功し、かつ笑顔が検出されたとき、撮影が行われる。したがって、顔検出部１２１で検出された顔画像が顔画像でなかった場合、顔検出部１２１で検出された顔画像が正面を向いた顔画像でなかった場合、顔属性検出部１２２で眉毛などが目として検出され、誤った正規化がなされた場合等では、笑顔が検出されても、正規化が失敗したと判定されるので、誤撮影を回避できる。

また、図１に示すデジタルスチルカメラ１００においては、目検出が行われる顔画像ＩＭ_2のピクセル数（８０ピクセル×８０ピクセル）に比べて、左右の目の検出位置に基づいて正規化され笑顔検出に用いられる正規化顔画像ＩＭ-3のピクセル数（４８ピクセル×４８ピクセル）は少なくされている。したがって、笑顔検出等の処理におけるメモリ使用量を節約でき、当該処理の高速化も可能となる。なお、目を位置精度よく検出するために顔画像はある程度のピクセル数（解像度）を持つ必要があるが、当該特定の表情を検出するための正規化顔画像に関しては、全体として特徴が表れていればよいので、それほどピクセル数を必要としない。

また、図１に示すデジタルスチルカメラ１００においては、笑顔が検出されれば撮影ができる状態にあるとき、被写体側に、笑顔の条件だけを満たせば撮影されることが、ＬＥＤ１０９よる発光、スピーカ１１０からの音声の出力などで報知される。したがって、被写体側の人に笑顔を促すことができ、自動撮影をスムーズに行うことができる。

なお、上述実施の形態においては、撮像画像から検出される特定画像が顔画像であるものを示したが、この発明は、撮像画像から顔画像以外の特定画像を検出し、当該特定画像が所定の条件を満たすとき自動的に撮影を行う撮像装置にも同様に適用できる。

また、上述実施の形態においては、顔画像から検出される特定の表情が笑顔であるものを示したが、その他の表情、例えば泣き顔、怒り顔等であってもよい。

また、上記実施の形態としては、顔画像から検出される顔器官が目であるものを示したが、顔器官はこれに限定されるものではなく、その他の顔器官、鼻、耳などであってもよい。

また、上述実施の形態においては、顔画像ＩＭ-2に対して左右の目の検出位置に所定座標になるように正規化（アフィン変換）を行って、顔の位置、顔の角度および顔の大きさの全てが正規化された正規化顔画像ＩＭ-3を得るようにしているが、少なくも顔の位置、顔の角度および顔の大きさのいずれかが正規化された正規化画像が得られればよい。

また、上述実施の形態においては、図１１に示す画像属性検出処理において、シーケンス制御部１２４は、左目、右目の検出が成功しなかった場合であっても、ステップＳＴ４４において、所定の位置に左目、右目があったものとして正規化（アフィン変換）を行い、その後のステップＳＴ４５、ステップＳＴ４６の処理を行うものを示したが、左目、右目の検出が成功しなかった場合には、ステップＳＴ４４〜ステップＳＴ４６の処理を行わないようにしてもよい。このように左目、右目の検出が成功しなかった場合、ステップＳＴ４４〜ステップＳＴ４６の処理は意味がなくなるからである。

この発明は、被写体側の人の顔が特定の表情となったとき撮影を行う自動撮影を精度よく行い得るものであり、デジタルスチルカメラ等の静止画撮影が可能な撮像装置に適用できる。

実施の形態としてのデジタルスチルカメラの構成例を示すブロック図である。 デジタルスチルカメラの外観例を示す斜視図である。 カメラ制御部の構成例を示すブロック図である。 笑顔シャッターモードで、シャッター釦の押し下げがあった場合における、シーケンス制御部による制御シーケンスを示すフローチャートである。 顔検出部における顔画像の検出動作を説明するための図である。 顔画像検出のために撮像画像ＩＭ-0上に設定される検出枠ＦＲ-faを説明するための図である。 顔画像検出時に用いる顔辞書と、この顔辞書を用いた顔スコアSCORE_faの測定を説明するための図である。 顔辞書の各組の位置情報と検出枠ＦＲ-faとの関係を説明するための図である。 顔画像検出時に使用する撮像画像ＩＭ-0と、その縮小画像ＩＭ-0a，ＩＭ-0b，・・・を示す図である。 顔検出部における顔画像検出処理の手順を示すフローチャートである。 顔属性検出部における顔属性検出処理の手順を示すフローチャートである。 顔属性検出部における処理の流れを概略的に示す図である。 左目検出のために顔画像ＩＭ-2上に設定される左目検出範囲ＡＲ-Leyと、この左目検出範囲ＡＲ-Ley上で移動する検出枠ＦＲ-eyを説明するための図である。 顔属性検出部における左目検出処理の手順を示すフローチャートである。 左目検出時に用いる左目検出辞書と、この左目検出辞書を用いた左目スコアSCORE_Leyの測定を説明するための図である。 左目検出辞書の各組の位置情報と検出枠ＦＲ-eyとの関係を説明するための図である。 辞書を用いたスコア測定処理の手順を示すフローチャートである。 正規化正否辞書と、この正規化正否辞書を用いた正規化SCORE_noの測定を説明するための図である。 正規化正否辞書の各組の位置情報と正規化顔画像ＩＭ-3との関係を説明するための図である。 笑顔辞書と、この笑顔辞書を用いた笑顔SCORE_smの測定を説明するための図である。 撮影条件の判定例を示す図である。 報知条件の判定例を示す図である。 ＬＥＤの発光による報知における発光パターン例を示す図である。

符号の説明

１００・・・デジタルスチルカメラ、１０１・・・撮像レンズ、１０２・・・撮像部、１０３・・・カメラ制御部、１０４・・・システム制御部、１０５・・・外部Ｉ／Ｆ部、１０６・・・記録再生部、１０７・・・表示部、１０８・・・操作入力部、１０９・・・ＬＥＤ、１１０・・・スピーカ、１１１・・・記憶装置部、１１５・・・筐体、１１６・・・シャッター釦、１２１・・・顔検出部、１２２・・・顔属性検出部、１２３・・・カメラパラメータ制御部、１２４・・・シーケンス制御部

Claims (7)

1. 被写体の撮像画像に特定の表情の顔画像が含まれているとき自動的に撮影を行う撮像装置であって、
   上記被写体を撮像して該被写体の撮像画像に対応した画像情報を得る撮像部と、
   上記撮像部で得られた撮像画像に対応した画像情報に基づいて、上記撮像画像に含まれる顔画像を検出する顔検出部と、
   上記顔検出部で検出された顔画像に対応した画像情報に基づいて、該顔画像に含まれる所定の顔器官を検出する顔器官検出部と、
   上記顔器官検出部で検出された上記所定の顔器官の検出位置に基づいて、上記顔検出部で検出された顔画像に対し、顔の位置、顔の角度および顔の大きさの少なくともいずれかを正規化する処理を行って、正規化顔画像を得る正規化部と、
   上記正規化部で得られた正規化顔画像に対応した画像情報に基づいて、顔の正規化が成功したか否かを判定する正規化正否判定部と、
   上記正規化部で得られた正規化顔画像に対応した画像情報に基づいて、特定の表情を検出する表情検出部と、
   上記正規化正否判定部で顔の正規化が成功したと判定され、かつ、上記表情検出部で特定の表情が検出されるとき撮影指示を行う撮影制御部と
   を備えることを特徴とする撮像装置。
2. 上記顔器官検出部で検出される顔器官は目である
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記正規化部で得られる正規化顔画像のピクセル数は、正規化前の顔画像のピクセル数より少ない
   ことを特徴とする請求項１に記載の撮像装置。
4. 上記表情検出部で検出する上記特定の表情は笑顔である
   ことを特徴とする請求項１に記載の撮像装置。
5. 上記正規化成否判定部で顔の正規化が成功したと判定され、かつ、上記表情検出部で特定の表情が検出されないとき、該特定の表情の顔になれば撮影されることを被写体側に報知する報知部をさらに備える
   ことを特徴とする請求項１に記載の撮像装置。
6. 被写体の撮像画像に特定の表情の顔画像が含まれているとき自動的に撮影を行う撮像方法であって、
   撮像部で得られる撮像画像に対応した画像情報に基づいて、上記撮像画像に含まれる顔画像を検出する顔検出ステップと、
   上記顔検出ステップで検出された顔画像に対応した画像情報に基づいて、該顔画像に含まれる所定の顔器官を検出する顔器官検出ステップと、
   上記顔器官検出ステップで検出された上記所定の顔器官の検出位置に基づいて、上記顔検出ステップで検出された顔画像に対し、顔の位置、顔の角度および顔の大きさの少なくともいずれかを正規化して、正規化顔画像を得る正規化ステップと、
   上記正規化ステップで得られた正規化顔画像に対応した画像情報に基づいて、顔の正規化が成功したか否かを判定する正規化正否判定ステップと、
   上記正規化ステップで得られた正規化顔画像に対応した画像情報に基づいて、特定の表情を検出する表情検出ステップと、
   上記正規化正否判定ステップで顔の正規化が成功したと判定され、かつ、上記表情検出ステップで特定の表情が検出されるとき、撮影指示を行う撮影制御ステップと
   を備えることを特徴とする撮像方法。
7. コンピュータを、
   撮像部で得られる撮像画像に対応した画像情報に基づいて、上記撮像画像に含まれる顔画像を検出する顔検出手段と、
   上記顔検出手段で検出された顔画像に対応した画像情報に基づいて、該顔画像に含まれる所定の顔器官を検出する顔器官検出手段と、
   上記顔器官検出手段で検出された上記所定の顔器官の検出位置に基づいて、上記顔検出手段で検出された顔画像に対し、顔の位置、顔の角度および顔の大きさの少なくともいずれかを正規化して、正規化顔画像を得る正規化手段と、
   上記正規化手段で得られた正規化顔画像に対応した画像情報に基づいて、顔の正規化が成功したか否かを判定する正規化正否判定手段と、
   上記正規化手段で得られた正規化顔画像に対応した画像情報に基づいて、特定の表情を検出する表情検出手段と、
   上記正規化正否判定手段で顔の正規化が成功したと判定され、かつ、上記表情検出手段で特定の表情が検出されるとき、撮影指示を行う撮影制御手段と
   して機能させるためのプログラム。