JP2011166442A

JP2011166442A - 撮像装置

Info

Publication number: JP2011166442A
Application number: JP2010026821A
Authority: JP
Inventors: Kazuhiro Kojima; 和浩小島; Haruo Hatanaka; 晴雄畑中
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-02-09
Filing date: 2010-02-09
Publication date: 2011-08-25
Also published as: US20110193986A1; CN102148931A

Abstract

【課題】音声を出力することで被写体がカメラ目線になるように誘導し、被写体がカメラ目線になった瞬間の画像を撮影し、記録媒体に記録する。
【解決手段】撮影領域から特定被写体を検出し、検出された特定被写体の種類に応じた音声を出力することで、当該特定被写体が正面顔（カメラ目線）になるように誘導する。音声出力は特定被写体がカメラ目線の状態の画像を撮影するまで繰り返され、その間、特定被写体の状態が遷移する毎に撮影を行う。
【選択図】図１

Description

本発明は、被写体の光学像を撮影する撮像装置に関する。

近年、デジタルカメラが広く普及し、様々な撮影シーンや用途で使用されている。この種のデジタルカメラには、通常撮影モード以外に様々な撮影モードが備えられているものもあり、その一例として、被写体の状態を判断し、当該被写体が所定の条件を満たす状態になった場合に、自動的に撮影を行うといったものがある。

例えば、特許文献１には、被写体が撮像装置の方向を見ている画像、即ち、カメラ目線の画像を取得できる撮像装置が開示されている。かかる撮像装置によると、顔画像を含む一人または複数の人物の画像から人物の視線方向を検出して、視線が撮像装置の方向を向いているかどうか判断し、撮像装置の方向を向いていると判断された場合に画像の撮影、保存を行う。

特開２００６−３１９６１０号公報

しかしながら、上記特許文献１には、被写体をカメラ目線にさせる効果については開示されていない。そのため、例えば、子供や動物などの被写体を撮影する場合、被写体がなかなかカメラ目線にならない場合も想定され、そのような場合、撮影者は被写体がカメラ目線になるまで待たなければならず、負担になる。

本発明は上記課題に鑑みてなされたものであり、本願の発明にかかる撮像装置は、プレビュー画像から特定被写体を検出する被写体検出手段、前記被写体検出手段により検出された被写体の状態を判別する状態判別手段、前記特定の被写体が第１の状態ではないと判別された場合に、前記特定被写体に音声を出力する音声出力手段、前記特定被写体の状態が前記第１の状態であると判別された場合に撮影を行う撮影手段、を備えること特徴とする。

本発明によると、撮影領域内から特定被写体を検出し、該特定被写体がカメラ目線になるように誘導する音声を出力する。その際、出力する音声は、該特定被写体の種類に応じて決定される。そして、前記特定被写体がカメラ目線になった瞬間の画像を撮影する。そのため、撮影者に負担をかけることなく被写体がカメラ目線の画像を撮影することができる。

本発明の第１の実施の形態にかかる撮像装置の構成の概略を示すブロック図である。本発明に係る撮像装置の動画撮影時の基本動作の概略を示すフローチャートである。特定被写体検出部７ａの内部構成の概略を示すブロック図である。縮小画像生成手段によって得られる階層画像の一例を示す図解図である。被写体検出処理の処理動作を示す図解図である。撮像装置が捉えている撮影領域の一例を示す図解図である。テーブル構造の一例を示す図解図である。本発明の第１の実施の形態にかかる正面顔撮影モードの処理動作を示すフローチャートである。本発明の第１の実施の形態にかかる正面顔撮影処理の処理動作を示すフローチャートである。本発明の第２の実施の形態にかかる撮像装置の構成の概略を示すブロック図である。顔検出処理の処理動作を示す図解図である。類似度判定部７ｃの内部構成の概略を示すブロック図である。本発明の第２の実施の形態にかかる正面顔撮影モードの処理動作を示すフローチャートである。

＜実施例１＞
本発明を静止画の撮影が可能なデジタルカメラ等の撮像装置に実施した第１の実施の形態について、図面を参照して説明する。当該撮像装置は静止画を撮影できるものであれば、動画の撮影が可能なものであっても構わない。
（撮像装置の構成）
図１は、本実施の形態にかかる撮像装置の構成の概略を示すブロック図である。撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離、即ち、光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部３を備える。

また、図１の撮像装置はイメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部７と、静止画を撮影する場合は画像処理部７からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部７からの画像信号と集音マイクを含む音声処理部（図示せず）から出力される音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号をＳＤメモリカード（SD Memory Card）などの記録媒体２７に記録するドライバ部２９と、ドライバ部２９で記録媒体２７から読み出した圧縮符号化信号を伸長して復号化する伸長処理部１１と、伸長処理部１１で復号されて得られた画像信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等を有する表示部１３と、を更に備える。

また、本実施の形態にかかる撮像装置は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１５と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１９と、静止画撮影用のシャッタボタン２１ｓを含む、ユーザからの指示が入力される操作部２１と、音声を出力する音声出力部３１を更に備える。

また、本実施の形態にかかる撮像装置は、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス２３と、メモリ１９と各ブロックとの間でデータのやりとりを行うためのバス２５と、を更に備える。

レンズ部３は、画像処理部７で検出した画像信号に応じてＣＰＵ１７が、モータを駆動させ、焦点や絞りの制御を行うものである。また、画像処理部７は、ＡＦＥ５から出力された画像信号に応じた画像から特定の被写体（例えば、人物や動物など。）を検出する特定被写体検出部７ａを更に備える。

尚、記録媒体２７は、ＤＶＤ（Digital Versatile Disc）等の光ディスクやＨＤＤ（Hard disk drive）等の磁気記録媒体でも良い。
（撮像装置の基本動作撮影時）
次に、図２を参照して、この撮像装置の静止画撮影時の基本動作についてフローチャートを用いて説明する。ユーザが撮像装置の電源をＯＮにすると、撮像装置の駆動モード、即ち、イメージセンサ１の駆動モードがプレビューモードに設定される（Ｓ１）。プレビューモードとは、撮影対象となる画像を記録することなく表示部１３に表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモード、移動物体の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能や撮影シーンに応じたモードが選択される。撮影モードが入力されない場合は通常撮影モードが選択されたものとする（Ｓ３）。

プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログの画像信号は、ＡＦＥ５においてデジタル画像信号に変換されて、画像処理部７で色分離、ホワイトバランス調整、ＹＵＶ変換などの画像処理が施され、メモリ１９に書き込まれる。メモリ１９に書き込まれた画像信号は、逐次、表示部１３に表示される。この結果、所定期間毎（例えば、１/３０秒毎や１/６０秒毎、等）の撮影領域を表すフレーム画像（プレビュー画像）が表示部１３に逐次表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（Ｓ５）。その際、画像処理部７に入力された画像信号に基づきＣＰＵ３７によってレンズ部３を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（Automatic Focus；ＡＦ）が行われる（Ｓ７）。ユーザが撮影画角、構図を決定し、操作部２１のシャッタボタン２１ｓを半押しすると（Ｓ９でＹｅｓ）、ＡＥの調整を行い（Ｓ１１）、ＡＦの最適化処理を行う（Ｓ１３）。

その後、シャッタボタン２１ｓが全押しされると（Ｓ１５でＹｅｓ）、ＴＧ１５より、イメージセンサ１、ＡＦＥ５、画像処理部７及び圧縮処理部９それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（Ｓ１７）、イメージセンサ１から出力されるアナログ画像信号をＡＦＥ５でデジタル画像信号に変換して画像処理部７内のフレームメモリに書き込む（Ｓ１９）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部７において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部９においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（Ｓ２１）後、記録媒体２７に圧縮画像を書き込み（Ｓ２３）、撮影を完了する。その後、プレビューモードに戻る。
（撮像装置の基本動作画像再生時）
記録媒体２７に記録された動画を再生することが、操作部２１を通じて指示されると、再生を選択された圧縮信号が、ドライバ部２９によって読み出されて伸長処理部１１に与えられる。そして、伸長処理部１１において、圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号が表示部１３に与えられて画像が再生される。これにより、記録媒体２７に記録された圧縮信号に基づく画像が再生される。
（被写体検出処理）
ここで、この撮像装置の被写体検出処理について説明する。本実施例に係る撮像装置は、特定被写体検出部７ａを備え、入力された画像信号から人物の顔や動物の顔などの特定被写体を検出することができる。ここでは、人物の顔を検出する場合を例として、特定被写体検出部７ａの構成及び動作について以下に説明する。

図３は、特定被写体検出部７ａの構成の概略を示すブロック図である。特定被写体検出部７ａは、ＡＦＥ５によって得られた画像信号に基づいて１または複数の縮小画像を生成する縮小画像生成部７１、入力画像及びその縮小画像から構成される各階層画像とメモリ１９に記憶された特定被写体検出用の重みテーブルである被写体検出辞書Ｄとを用いて入力画像に特定被写体が存在するか否かを判定する被写体判定部７２、および被写体判定部７２の判定結果を出力する判定結果出力部７３を備えている。尚、被写体検出辞書Ｄは、記録媒体２７に記憶しておくようにしても良い。

また、メモリ１９に記憶された被写体検出辞書Ｄは、入力画像から特定被写体を検出するのに用いる判定領域と同じ大きさの各方向のエッジ特徴画像（例えば、水平方向エッジ画像や垂直方向エッジ画像など）の画素位置を、エッジ特徴画像の種類、エッジ特徴画像の各画素の行番号及び列番号で定義する。エッジ特徴画像とは、画像のエッジ部分のみを抽出した画像のことである。

このような被写体検出辞書Ｄは、大量の教師サンプル（例えば、顔を検出する辞書である場合、顔および非顔のサンプル画像など）から求められたものである。このような被写体検出辞書Ｄは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができ（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）、例えば、正面顔を検出する正面顔検出辞書、横顔を検出する横顔検出辞書などを個別に作成することもできる。

また、人物に限らず、例えば、犬や猫などの動物を検出する辞書や自動車などを検出する辞書を作成することもできる。

尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図４は、縮小画像生成部７１によって得られる階層画像の一例を示している。階層画像とは、撮像装置が取得した画像を任意の縮小率Ｒ（０＜Ｒ＜１、理想的には０．８や０．９など１に近い値が望ましい。）に従い縮小された複数の画像である。図４において、Ｐ１は入力画像を、Ｐ２〜Ｐ５はそれぞれＲ倍、Ｒ^２倍、Ｒ^３倍、Ｒ^４倍に縮小された縮小画像を示している。Ｆ１は判定領域を示している。判定領域は、例えば、縦２４画素、横２４画素の大きさに設定される。判定領域の大きさは、入力画像及びその縮小画像においても同じである。被写体検出処理は、各階層画像に設定された判定領域に対応する複数のエッジ特徴画像と被写体検出辞書Ｄに含まれる辞書の各々とを用いて行われる。

本実施例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、画像の上方から下方に向かって行いながらパターンマッチングを行うことで被写体を検出する。各判定領域と被写体検出辞書Ｄの各辞書との類似度（similarity measure）によって、当該判定領域が顔領域であるか否かの検出を行う。ただし、走査順はこれに限られるものではない。

入力画像Ｐ１の他に、複数の縮小画像Ｐ２〜Ｐ５を生成しているのは、大きさが異なる複数の顔を検出するためである。

図５は被写体検出処理を説明するための図である。被写体判定部７２による被写体検出処理は、各階層画像に対して行なわれるが、処理方法は同様なので、ここでは入力画像Ｐ１に対して行なわれる被写体検出処理についてのみ説明する。

図５には、入力画像Ｐ１と、入力画像内に設定された判定領域Ｆ１とを示している。階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と被写体検出辞書Ｄとを用いた、パターンマッチングによって行われる。パターンマッチングとは、入力画像の中に被写体検出辞書Ｄに設定されているパターンと同じ物があるか、或いは近いものがあるかを検出すること指し、本発明では、入力画像に被写体検出辞書Ｄを重ねながら移動し、２つの画像が画素データレベルの相関（類似性）を有するか否かを調べる。入力画像と被写体検出辞書Ｄとの相関は、例えば、類似度判定によって行なわれる。類似度判定は、例えば、ディジタル画像処理第２版（ＣＧ−ＡＲＴＳ協会出版，２００７年３月１日発行）に記載されている類似度を算出する手法で調べる。類似度は、例えば、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）を用いて導出する。ＳＳＤやＳＡＤを用いる場合、類似度の値は画像が類似しているほど小さくなり、類似度の値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。また、ＮＣＣを用いる場合は、ベクトルのなす角の余弦が１に近いほど類似度が高くなり、類似度の値から１を減算した値の絶対値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。

被写体検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、被写体が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域に被写体は存在しないと判定する。全ての判定ステップにおいて、被写体が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。尚、このような被写体検出処理については、特開２００７−２５７３５８号公報に詳しく開示されている。

以上、人物の顔を検出する場合を例として、特定被写体の検出手法について説明したが、上記手法により、人物の顔以外の特定被写体（例えば、動物や自動車など。）を検出することも可能である。

尚、本実施例に係る撮像装置は、図３に示すように、人物の顔を検出する人物検出辞書と、犬の顔を検出する犬検出辞書を備えているものとする。また、人物検出辞書及び犬検出辞書は、それぞれ正面顔を検出する正面顔辞書、横顔を検出する横顔辞書、傾いた顔を検出する傾き顔辞書、回転した顔を検出する回転顔辞書を備えているものとする。

また、正面顔辞書により特定被写体が検出されている状態をＳＴ１、横顔辞書により特定被写体が検出されている状態をＳＴ２、後ろ顔辞書により被写体が検出されている状態をＳＴ３、傾き顔辞書により特定被写体が検出されている状態をＳＴ４、回転顔辞書により被写体が検出されている状態をＳＴ５とする。

（正面顔撮影モード）
本実施例に係る撮像装置は、音声を出力することで撮影領域内にいる人物や動物などの被写体がカメラが存在する方向に向く（以下、正面顔と記載する。）ように誘導し、当該被写体が正面顔になった瞬間の画像を自動的に記録する、所謂、正面顔撮影モードを備えている。

正面顔撮影モードは、例えば、次のようにして実現される。ユーザが操作部２１を操作することで、撮影モードが正面顔撮影モードに設定され、シャッタボタン２１ｓが半押しされると、撮像装置１は、通常撮影モード時と同様にＡＥ調整、ＡＦ最適化処理を行なう。

その後、撮影者によりシャッタボタン２１ｓが全押しされると、その瞬間の画像に対して特定被写体検出処理を行ない、判定結果をＣＰＵ１７に出力する。この判定結果には、被写体の有無を示す情報、また、特定被写体が検出された場合、当該特定被写体の状態（ＳＴ１〜ＳＴ５）を示す情報が含まれる。尚、特定被写体が人物であるか犬であるか否かといった被写体の種類の特定、及び特定被写体の状態ＳＴ１〜ＳＴ５は、どの顔辞書によって検出されたかによって特定することができる。

このとき、特定被写体が検出されなかった場合は、そのまま画像撮影を行い、記録媒体２７に画像データを記録する。

特定被写体が検出された場合（例えば、図６に示すようなプレビュー画像である場合、人物の横顔が検出され、状態ＳＴ２に相当。）、ＣＰＵ１７は、検出された特定被写体が人物であるか、或いは、犬であるかに応じて出力する音声を決定する。音声はメモリ１９に記憶させておいても良いし、記録媒体２７に記憶させておいてもよい。音声は、例えば、図７に示すようなテーブルで管理されており、特定被写体検出処理による検出結果に応じて、出力する音声を決定する。

特定被写体検出処理によって人物が検出された場合は、人物の注意を惹き、カメラが存在する方向へ振り向かせるための音声Ａ、犬が検出された場合は犬を振り向かせるための音声Ｂが、音声出力部３１から出力される。特定被写体検出部７ａは所定周期毎に生成される各フレーム画像（プレビュー画像）に対して検出された被写体に応じた検出辞書を用いて（特定被写体が人物である場合は人物検出辞書、特定被写体が犬である場合は犬検出辞書）、特定被写体検出処理を行なう。音声出力および特定被写体検出処理は、被写体の正面顔が検出されるまで繰り返され、その間、特定被写体の状態がＳＴ１に遷移した場合に画像の記録を行なう。状態ＳＴ１の画像を記録媒体２７に記録すると、撮影を終了する。

尚、特定被写体が犬である場合は、音声出力部から出力される音声が音声Ｂになり、使用する特定被写体検出辞書が犬検出辞書になること以外は上述した処理動作と同一である。

図８は正面顔撮影モード時における撮像装置の処理動作を示すフローチャートである。尚、図２に示すフローチャートと同一の符号を付す部分は、上述した通常撮影モード時と同一の処理動作を行うため、説明は省略する。

ステップＳ８０では、正面顔撮影処理を行う。図９は、ステップＳ８０の正面顔撮影処理の処理動作を示すフローチャートである。正面顔撮影処理は、次のサブルーチンに従って実行される。

ステップＳ９０では、被写体検出処理によって特定被写体を検出されたか否かを判別する。特定被写体が検出された場合はステップＳ９２に進み、そうでない場合はステップＳ１９に進む。

ステップＳ９２では、被写体の状態がＳＴ１（正面顔）であるか否かを判別する。被写体の状態がＳＴ１である場合はステップＳ１９に進み、そうでない場合はステップＳ９４に進む。

ステップＳ９４では、ステップＳ９０で検出された被写体の種類に応じて出力する音声を決定し、音声出力部３１から出力する。音声を出力したらステップＳ９２に戻る。

尚、上述した実施の形態では、シャッタボタン２１ｓが全押しされた後の特定被写体検出処理において、特定被写体が検出されなかった場合、そのまま画像を記録するようにしているが、例えば、シャッタボタン２１ｓ全押し後、所定期間は被写体検出処理を繰り返し、当該期間内に特定被写体が検出された場合は、上述した正面顔撮影処理を行うようにしてもよい。

上述した実施の形態では、特定被写体の状態がＳＴ１である時の画像のみを記録するようにしているが、特定被写体が正面顔になるまでの間、所定のタイミング毎（例えば、所定時間毎、被写体の状態が遷移する毎、等）に画像の記録を行なうようにしても良い。

また、予め所定の被写体の顔に関する情報と所定の音声Ｄをメモリ１９又は記録媒体２７に記憶しておき、特定被写体が検出された場合、類似度判定によって該特定被写体が予め記録されている所定の被写体と類似すると判定された場合は音声Ｄを出力するようにしても良い。

また、上述した実施の形態では、撮影が完了するまでの間、継続的に状態判別を行うようにしているが、例えば、１０フレーム毎など、断続的に状態判別を行うようにしても良い。音声出力についても同様に、継続的に出力するようにしても良いし、断続的に出力するようにしても良い。

また、撮影領域から複数の特定被写体が検出された場合は、全ての特定被写体が正面顔になった瞬間の画像を記録するようにしても良いし、いずれか一方の特定被写体が正面顔になった瞬間の画像を記録するようにしても良い。

或いは、予め特定被写体に優先度を設定し、優先度の高い特定被写体が正面を向いた瞬間の画像を記録するようにしても良いし、撮影領域の中央部に近い位置に存在する特定被写体が正面顔になった瞬間の画像を記録するようにしても良い。

また、上述した画像を記録するタイミングを撮影者が任意で選択、設定できるようにしてもよい。

また、人物と犬の両方が撮影領域から検出された場合は、音声Ａと音声Ｂを同時に出力するようにしてもよいし、音声Ａと音声Ｂを交互に出力するようにしてもよい。

或いは、人物と犬の両方が検出された場合に出力する音声を別途用意しても良い。

また、上述した実施例と同様の手法で、例えば、横顔や後ろ顔などを確実に撮影することもできる。

また、上述した実施例では被写体の状態がＳＴ１（正面顔）の画像を記録するようにしているが、例えば、被写体の状態がＳＴ２（横顔）の画像やＳＴ５（傾き顔）の画像を記録し、その時点で撮影を終了するようにしてもよい。

また、被写体がどのような状態の画像を記録するかをユーザーが任意で設定できるようにしても良い。
＜実施例２＞
次に、本発明を静止画の撮影が可能なデジタルカメラ等の撮像装置に実施した第２の実施の形態について、図面を参照して説明する。当該撮像装置は静止画を撮影できるものであれば、動画の撮影が可能なものであっても構わない。

図１０は本発明の第２の実施形態にかかる撮像装置の構成の概略を示すブロック図である。尚、図１に示したブロック図と同一の符号を付す箇所は、上述した説明と同一の処理動作を行うため、その説明は省略する。

撮像装置は、人物の顔を検出する顔検出部７ｂと、顔検出部７ｂで検出された顔がどの動物に類似しているかを判定する類似度判定部７ｃを備える。また、撮像装置は動物を検出するための動物検出辞書（図示せず。）を更に備える。本実施例における動物検出辞書は犬を検出するための犬検出辞書、及び猫を検出するための猫検出辞書を備えているものとする。

図１１は、撮像装置が捉えている撮影領域を示している。ユーザが操作部２１を操作することで、撮影モードが正面顔撮影モードに設定され、シャッタボタン２１ｓが半押しされると、撮像装置はＡＥ調整、ＡＦ最適化処理を行なう。その後、シャッタボタン２１ｓが全押しされるとプレビュー画像に対して顔検出処理を行ない、当該検出結果を類似度判定部７ｃに出力する。例えば、図１１に示すようなプレビュー画像である場合、横顔辞書により人物の横顔が検出され、当該検出結果が類似度判定部７ｃに出力される。

図１２は、類似度判定部７ｃの内部構成の概略を示すブロック図である。類似度判定部７ｃは、部分画像と動物を検出するための動物検出辞書の類似度を導出する類似度導出部７４、類似度導出結果に基づき、類似度の比較を行い、顔検出処理によって検出された顔がどの動物に最も類似しているかを判定する類比較判定部７５、類似度比較部７５による比較結果をＣＰＵ１７に出力する比較結果出力部７６を備える。

類似度導出部７ｃは、部分画像と各動物検出辞書との類似度を導出し、類似度判定部７５に出力する。類似度比較部７５は、類似度導出部７４で導出された類似度に基づき、当該人物がどの動物に最も類似しているか（本実施例では、犬または猫のどちらに類似しているか）を比較する。比較結果出力部７６は、その比較結果をＣＰＵ１７に出力する。

ＣＰＵ１７は比較結果出力部７６から出力された比較結果に基づき、出力する音声を決定する。音声はメモリ１９に記憶させておいても良いし、記録媒体２７に記憶させておいてもよい。

その後、顔検出処理によって検出された人物の顔が、犬に類似していると判定された場合は、例えば、「ワン、ワン」という犬の鳴き声など、犬に関係する音声Ｂ、猫に類似していると判定された場合は「ニャー、ニャー」という猫の鳴き声など、猫に関係する音声Ｃが、音声出力部３１から出力される。特定被写体検出部７ａは所定期間毎に生成される各プレビュー画像に対して顔検出処理を行ない、検出された被写体が人物である場合は人物検出辞書、犬である場合は犬検出辞書、猫である場合は猫検出辞書を用いて、被写体の顔の状態がＳＴ１（即ち、正面顔）であるか否かを判別する。被写体の顔の状態がＳＴ１であると判断されると、その瞬間の画像を記録媒体２７に記録し、音声出力を終了する。音声出力および顔検出処理は、状態ＳＴ１が検出されるまで繰り返される。

図１３は本発明の第２の実施の形態における正面顔撮影モード時における撮像装置の処理動作を示すフローチャートである。尚、図２に示すフローチャートと同一の符号を付す部分は、上述した通常撮影モード時と同一の処理動作を行うため、説明は省略する。

ステップＳ１３０では、人物検出辞書により、人物の顔を検出したか否かを判別する。人物の顔を検出した場合はステップＳ１３２に進み、そうでない場合はステップＳ１９に進む。

ステップＳ１３２では、ステップＳ１３０で検出した顔と各動物検出辞書との類似度を導出し、ステップＳ１３４では、ステップＳ１３２で導出した類似度に基づき、ステップＳ１３０で検出した顔がどの動物に最も類似しているかを判定する。ステップＳ１３６では、ステップＳ１３４の判定結果に応じて出力する音声を決定し、音声出力部３１から音声を出力する。

ステップＳ１３８では、ステップＳ１３０で検出した顔が状態ＳＴ１であるか否かを判別する。状態ＳＴ１である場合はステップＳ１９に進み、そうでない場合は、ステップＳ１３６に戻る。

上述した実施例は、特定被写体の顔の状態がＳＴ１になるまで音声を出力し続けるようにしているが、所定期間が経過しても状態ＳＴ１にならない場合、音声出力を終了し、正面顔撮影処理を中止するようにしてもよい。

また、顔検出処理によって検出された状態に応じて類似度導出に使用する辞書を制限するようにしても良い。即ち、例えば、顔検出処理によって検出された顔の状態がＳＴ２であれば、横顔辞書のみを使用して類似度を導出し、顔の状態がＳＴ３であれば、傾き顔辞書のみを使用して類似度を導出するようにする。そうすることで、類似度判定の処理量が低下し、より短時間で類似度判定を行なうことができる。

また、本実施の形態では、検出した人物の顔がどの動物検出辞書を動物に最も類似しているかを判定しているが、動物以外の物体を検出するための辞書を用意し、当該辞書と検出した人物の顔との類似性を判定するようにしても良い。

また、本実施の形態では、被写体の顔が状態ＳＴ１、即ち正面顔になるまで撮影は行わないため、顔検出後に該顔の状態を判別するのではなく、正面顔辞書のみを用いて顔検出を行い、顔が検出された時に撮影を行うようにしてもよい。

また、実施例１と同様に予め所定の被写体の顔に関する情報と所定の音声Ｄをメモリ１９又は記録媒体２７に記憶しておき、特定被写体が検出された場合、類似度判定によって該特定被写体が予め記録されている所定の被写体と類似すると判定された場合は音声Ｄを出力するようにしても良い。

また、撮影領域から複数の人物が検出され、検出された人物がそれぞれ異なる動物と類似していると判定された場合は、各判定結果に対応する音声を同時に出力するようにしてもよいし、各音声を交互に出力するようにしてもよい。或いは、上述した様な状況の際に出力する音声を別途用意しても良い。

以上、本発明の一実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で変形及び変更が可能である。

１イメージセンサ
３レンズ部
５ＡＦＥ
７画像処理部
７ａ特定被写体検出部
７ｂ顔検出部
７ｃ類似度判定部
７１縮小画像生成部
７２被写体判定部
７３判定結果出力部
７４類似度導出部
７５類似度比較部
７６比較結果出力部
９圧縮処理部
１１伸長処理部
１３表示部
１５ＴＧ
１７ＣＰＵ
１９メモリ
２１操作部
２１ｓシャッタボタン
２３バス回線
２５バス回線
２７記録媒体
２９ドライバ部

Claims

プレビュー画像から特定被写体を検出する被写体検出手段、
前記被写体検出手段により検出された被写体の状態を判別する状態判別手段、
前記特定の被写体が第１の状態ではないと判別された場合に、前記特定被写体に音声を出力する音声出力手段、
前記特定被写体の状態が前記第１の状態であると判別された場合に撮影を行う撮影手段、
を備えること特徴とする撮像装置。
前記状態判別手段は、所定期間毎に繰り返されることを特徴とする請求項１記載の撮像装置。
前記音声出力手段は、前記撮影手段による撮影が完了するまで音声出力を継続することを特徴とする請求項１乃至２いずれかに記載の撮像装置。
前記音声出力手段は、前記撮影手段による撮影が完了するまでの間、音声出力を断続的に行うことを特徴とする請求項１乃至２いずれかに記載の撮像装置。
前記特定の被写体の種類を判別する被写体判別手段、
前記被写体判別手段による判別結果に応じて、出力する音声の種類を決定する音声決定手段、
を更に備えることを特徴とする請求項１乃至４いずれかに記載の撮像装置。
前記被写体検出手段は、プレビュー画像から人物の顔を検出する顔検出手段、
前記人物の顔と類似する動物を選択する選択手段、
前記判定結果に応じた音声を出力する音声出力手段とを備え、
前記音声出力手段は選択された動物に応じた音声を出力することを特徴とする請求項１乃至５いずれかに記載の撮像装置。