JP5298887B2 - デジタルカメラ - Google Patents

Description

本発明は、デジタルカメラに係り、特に、被写体人物の所定の顔表情を検出すると自動的に撮影動作を開始させる機能を備えたデジタルカメラに関する。

近年、被写体人物の笑顔などの所定の顔表情を検出すると自動的に撮影動作を開始させる顔表情検出自動撮影モード機能を備えたデジタルカメラが広く普及している。このような顔表情検出自動撮影モード機能を備えたデジタルカメラは、例えば、顔表情検出自動撮影モードを設定してシャッターレリーズボタンを押圧操作すると、顔表情検出自動撮影モードが起動する。このデジタルカメラは、この顔表情検出自動撮影モード中に被写体人物の笑顔等を検出すると、自動的に撮影動作を開始し、笑顔の被写体人物を撮像して、その被写体画像データを記録媒体に記録する。このような笑顔等の自動撮影が予め定められた所定の回数行われると、顔表情検出自動撮影モードは、自動的に終了する。また、撮影者が、笑顔等の自動撮影が上述の所定回数行われる前に、シャッターレリーズボタンを押圧操作すると、顔表情検出自動撮影モードを強制的に終了させることができる。

しかしながら、上述の顔表情検出自動撮影モード機能を備えたデジタルカメラは、撮影者が顔表情検出自動撮影モードに設定したことを忘れてしまい風景を撮影しようとした場合や、被写体人物が被写界領域から移動してしまい、いつまでも戻ってこない場合であっても、無意味に笑顔などの表情を検出し続けるといった問題がある。

請求項１の発明によるデジタルカメラは、被写体人物の所定の顔表情を検出すると自動的に撮影動作を開始させる顔表情自動撮影モードを起動させるモード設定手段と、被写体を撮像して、被写体画像データを出力する撮像手段と、前記被写体画像データに基づき被写体人物画像を検出する人物検出手段と、前記被写体画像データに基づき、前記被写体人物画像の顔表情が前記所定の顔表情に対応することを検出すると、検出信号を出力する顔表情検出手段と、前記検出信号に応じて自動的に撮影動作を開始する自動撮影手段と、前記人物検出手段が、前記顔表情自動撮影モードの起動後、第１の所定期間の間に前記被写体人物画像を検出しない場合に、前記顔表情自動撮影モードを終了させる自動キャンセル手段と、を備え、前記人物検出手段は、前記被写体画像データに基づき前記被写体人物の顔を検出し、前記自動キャンセル手段は、前記人物検出手段が前記第１の所定期間の間に前記被写体人物画像の顔を検出し、その後に前記被写体人物画像の顔検出が不可能になった場合、前記顔検出の不可能が第２の所定期間継続したときにも前記顔表情自動撮影モードを終了させることを特徴とする。

本発明のデジタルカメラによれば、顔表情自動撮影モードの設定時に、所定期間の間、被写体人物を検出しないときには、顔表情自動撮影モードを終了させることができる。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。

以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔認識部２１、顔データ記憶部２２、顔表情検出部２３、顔表情データ記憶部２４および自動撮影部３０を備える。さらに、デジタルカメラは、顔表情撮影モード設定部４０、自動キャンセル部４１、シーン解析部４２、撮影モード自動設定部４３、表示制御部４４およびディスプレイ４５を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介してディスプレイ４５に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６へ送られ、不揮発性メモリ（記憶媒体）１６ａに記録される。

画像記録部１６は、画像データとその画像データに関する属性データ（例えば、撮影日時、撮影場所）とを関連付けてメモリ１６ａに記録する。画像データには、撮像素子１３からの被写体画像データや、外部機器から画像記録部１６に入力された被写体画像データが含まれる。

顔認識部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部２２に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。顔認識部２１は、被写体人物の顔を検出、即ち認識している間、認識信号を出力する。
顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔認識には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔認識としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情検出部２３は、顔認識部２１により検出された顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、顔画像中の被写体人物の顔表情の種類を検出する。すなわち、顔表情検出部２３は、被写体人物の顔表情が所定の顔表情であることを検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、これらの様々な顔表情をデータとして記憶している。

顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

顔表情検出部２３は、被写体人物の顔表情が所定の顔表情であることを検出すると、検出信号を出力する。
自動撮影部３０は、顔表情検出部２３からの検出信号に応じて撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。画像記録部１６は、撮影された被写体画像データと属性データ（例えば、撮影日時、撮影場所）とを関連付けてメモリ１６ａに記録する。

顔表情撮影モード設定部４０は、顔表情の種類を設定するとともに、その設定された顔表情を検出すると自動撮影を行うモードをＯＮ設定する操作部である。顔表情撮影モードでは、例えば、所定の顔表情として笑顔を設定すると、顔表情検出部２３は被写体人物画像の笑顔を検出するように動作する。

自動キャンセル部４１は、顔表情撮影モード設定部４０により顔表情撮影モードが起動した後、顔認識部２１が被写体人物画像の顔を検出しない時間が所定時間（以下、第１の所定時間Ｔ１という）経過すると、顔表情撮影モードを強制的に終了させる。なお、この第１の所定時間Ｔ１は１０秒程度が好ましい。
また、自動キャンセル部４１は、上記の第１の所定時間Ｔ１の途中、顔認識部２１が被写体人物画像の顔を検出したが、その後、被写体人物画像の顔の検出が不可能となり、その検出不可能状態が所定時間（以下、第２の所定時間Ｔ２という）経過した時も、顔表情撮影モードを強制的に終了させる。もし、第２の所定時間Ｔ２内に顔認識部２１が被写体人物画像の顔を再検出すれば、顔表情撮影モードをキャンセルすることなく、顔表情検出部２３による被写体人物の顔表情検出が行われる。なお、この第２の所定時間Ｔ２は３秒程度が好ましい。

すなわち、自動キャンセル部４１は、タイマー機能を有しており、このタイマーは、顔表情撮影モードの起動時にＯＮとなり計時を開始し、顔認識部２１が顔を認識して認識信号を出力するとその認識信号により計時をリセットする。また、タイマーは、顔認識部２１が顔を認識できず認識信号を出力しない状態のまま第１の所定時間Ｔ１を計時すると、
自動キャンセル部４１は、これに応じて顔表情撮影モードをキャンセルする。
タイマーは、更に、第１の所定時間Ｔ１の間に顔認識部２１の認識信号が出力された後に、顔認識部２１が顔認識をすることができずに認識信号が出力されなくなる、すなわち消失すると、計時を再開する。そして、タイマーは、第２の所定時間Ｔ２を計時すると、自動キャンセル部４１は、これに応じて顔表情撮影モードをキャンセルする。
第２の所定時間Ｔ２は、第１の所定時間Ｔ１よりも短く設定される。

シーン解析部４２は、被写体のスルー画像から被写体の情景（シーン）を解析する。シーンには、森や海などの風景、花火画像のように画像全体が暗い夜景、人物の近景であるポートレートなどがある。シーン解析部４２は、例えば、被写体画像中に緑の部分や青の部分が多い場合は風景シーンであると解析し、輝度が低い部分が多い場合は夜景シーンであると解析する。

撮影モード自動設定部４３は、自動キャンセル部４１が顔表情撮影モードを強制的に終了させた時に、顔表情撮影モードとは異なる撮影モードを自動的に起動する。異なる撮影モードには、風景モード、夜景モード、ポートレートモードなどがある。シーン解析部４２によりその時の被写体が風景シーンであると解析されると、撮影モード自動設定部４３は、風景モードを起動し、同様に、その時の被写体が夜景シーンであると解析されると、夜景モードを起動し、ポートレートシーンであると解析されるとポートレートモードを起動する。

表示制御部４４は、ディスプレイ４５による表示を制御する。すなわち、表示制御部４４は、ディスプレイ４５がスルー画像の表示、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像の再生表示を行なう時の表示態様を制御する。また、表示制御部４４は、ディスプレイ４５に、被写体画像に属性情報を付加して表示させる。さらに、表示制御部４４は、ディスプレイ４５に、自動キャンセル部４１が顔表情撮影モードをキャンセルしたときに、そのキャンセルを告げる表示を行わせる。

ディスプレイ４５は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の再生表示を行い、また、表示制御部４４の指令に従って、撮影画像に関連する属性情報の表示やキャンセルの表示などを行う。

以上のように構成されたデジタルカメラは、以下のように動作する。
以下の説明では、ユーザーが顔表情撮影モード設定部４０の操作によって所定の顔表情として笑顔を設定したものとする。笑顔撮影モードのＯＮ設定が行われて笑顔撮影モードが起動すると、顔認識部２１は直ちにスルー画像中の被写体人物の顔検出動作を開始し、自動キャンセル部４１のタイマーは計時を開始する。顔認識部２１は、スルー画像中の被写体人物の顔画像を顔データ記憶部２２の顔データと比較することにより、スルー画像中の被写体人物の顔を検出すると、認識信号を出力する。この認識信号の出力により、自動キャンセル部４１のタイマーは計時をリセットする。

顔表情検出部２３は、顔認識部２１により検出された顔画像の顔表情を顔表情データ記憶部２４に予め記憶されている笑顔データと比較することにより、顔画像中の被写体人物の顔表情が笑顔であることを検出すると、検出信号を出力する。自動撮影部３０は、その検出信号に応じて撮影レンズ１１、絞り１２および撮像素子１３へ動作信号を出力して被写体の撮影を行う。撮影された被写体画像データは、その属性データと関連付けられて画像記録部１６のメモリ１６ａへ保存される。

ところが、顔認識部２１は、被写体人物が存在しない場合はもちろん顔検出が不可能であり、被写体人物が存在していても、その人物が帽子やマスクを被っていたり、あるいは人物が遠方にいるために顔を認識できなかった場合にも顔検出はできない。顔認識部２１が笑顔撮影モードの起動時から第１の所定時間Ｔ１の時間内に被写体人物の顔を検出できなかった場合は、自動キャンセル部４１のタイマーは第１の所定時間Ｔ１を計時し、これに応じて自動キャンセル部４１は笑顔撮影モードを終了させ、ディスプレイ４５はキャンセルの表示を行う。

次に、顔認識部２１が第１の所定時間Ｔ１の時間内に被写体人物の顔を検出した後に、被写体人物の顔検出が不可能となった場合について説明する。被写体人物の顔検出が不可能となり、顔認識部２１からの認識信号の出力が中断した時点で、自動キャンセル部４１のタイマーは計時を開始する。顔認識部２１が第２の所定時間Ｔ２の時間内に被写体人物の顔を検出できなかった場合は、自動キャンセル部４１は笑顔撮影モードを終了させ、ディスプレイ４５はキャンセルの表示を行う。
なお、顔認識部２１が第２の所定時間Ｔ２の時間内に被写体人物の顔を検出した場合は、認識信号を出力し、この認識信号により、自動キャンセル部４１は計時をリセットする。そして、顔表情検出部２３は笑顔検出動作を再開する。

自動キャンセル部４１が笑顔撮影モードをキャンセルすると、撮影モード自動設定部４３は、その時のシーン解析部４２の解析結果に基づいて撮影モードを自動設定し起動する。例えば、シーン解析部４２は、被写体画像中に緑の部分や青の部分が多い場合は風景シーンであると解析し、撮影モード自動設定部４３は、顔表情撮影モードとは異なる撮影モードである風景モードを自動的に設定し起動する。こうして、笑顔撮影モードから風景モードに自動的に切り換えられる。

本実施の形態によるデジタルカメラは、以下の作用効果を奏する。
（１）笑顔撮影モードの起動時から第１の所定時間Ｔ１の時間内に被写体人物の顔を検出できなかった場合は、自動キャンセル部４１は笑顔撮影モードを終了させるので、無意味な笑顔撮影モードを継続することがなくなる。
（２）顔認識部２１が第１の所定時間Ｔ１の時間内に被写体人物の顔を検出した後に、その顔検出ができなくなり、その顔検出不可能状態が第２の所定時間Ｔ２の間、継続した場合には、自動キャンセル部４１は笑顔撮影モードを終了させるので、無意味な笑顔撮影モードを継続することがなくなる。
（３）笑顔撮影モードの終了後に、撮影モード自動設定部４３は、シーン解析部４２の解析結果に基づいて撮影モードを自動設定するので、現状に即した撮影モードへ変更できる。

本発明のデジタルカメラは、以下のように変形することもできる。
移動する被写体人物を追尾して撮影動作を実行する追尾撮影モードと、顔表情撮影モードとを組み合わせることもできる。例えば、追尾撮影モードの起動により被写体人物を追尾し、その人物が被写体画面から完全にフレームアウトしても、その時点から短時間、例えば３秒以内に被写体画面に復帰した場合には追尾動作を再開する。
ところが、フレームアウトした人物が３秒以内に復帰しなかった場合には、追尾撮影モードをキャンセルして顔表情撮影モードへ自動的に切り換える。また、追尾撮影モードと顔表情撮影モードとを同時に起動させてもよい。なお、被写体追尾機能については、特開２００７−０７４２９６号公報に記載の手法を利用することができる。

本実施の形態によるデジタルカメラは、顔認識部２１によりスルー画像中の被写体人物の顔を検出するものであるが、人物全体あるいは人物の上半身を検出する検出部として顔認識部２１を構成することもできる。遠景の人物は顔検出が難しいが、このように人物全体あるいは人物の上半身を検出することによって容易に人物の存在を認識することができる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１３：撮像素子 １６：画像記録部
２１：顔認識部 ２２：顔データ記憶部
２３：顔表情検出部 ２４：顔表情データ記憶部
３０：自動撮影部 ４０：顔表情撮影モード設定部
４１：自動キャンセル部 ４２：シーン解析部
４３：撮影モード自動設定部 ４５：ディスプレイ

Claims (6)

1. 被写体人物の所定の顔表情を検出すると自動的に撮影動作を開始させる顔表情自動撮影モードを起動させるモード設定手段と、
   被写体を撮像して、被写体画像データを出力する撮像手段と、
   前記被写体画像データに基づき被写体人物画像を検出する人物検出手段と、
   前記被写体画像データに基づき、前記被写体人物画像の顔表情が前記所定の顔表情に対応することを検出すると、検出信号を出力する顔表情検出手段と、
   前記検出信号に応じて自動的に撮影動作を開始する自動撮影手段と、
   前記人物検出手段が、前記顔表情自動撮影モードの起動後、第１の所定期間の間に前記被写体人物画像を検出しない場合に、前記顔表情自動撮影モードを終了させる自動キャンセル手段と、を備え、
   前記人物検出手段は、前記被写体画像データに基づき前記被写体人物の顔を検出し、
   前記自動キャンセル手段は、前記人物検出手段が前記第１の所定期間の間に前記被写体人物画像の顔を検出し、その後に前記被写体人物画像の顔検出が不可能になった場合、前記顔検出の不可能が第２の所定期間継続したときにも前記顔表情自動撮影モードを終了させることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記第２の所定期間は、前記第１の所定期間よりも短いことを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   表示手段を更に備え、
   前記表示手段は、前記自動キャンセル手段が前記顔表情自動撮影モードを終了させたときに、前記顔表情自動撮影モードの終了を表示することを特徴とするデジタルカメラ。
4. 請求項１に記載のデジタルカメラにおいて、
   表示手段を更に備え、
   前記表示手段は、前記自動キャンセル手段が前記第２の所定期間の後に前記自動撮影モードを終了させたときに、前記顔表情自動撮影モードの終了を表示することを特徴とするデジタルカメラ。
5. 請求項１に記載のデジタルカメラにおいて、
   前記顔表情自動撮影モードとは異なった撮影モードを設定する撮影モード自動設定手段を更に備え、
   前記撮影モード自動設定手段は、前記自動キャンセル手段が前記第１の所定期間の後に前記顔表情自動撮影モードを終了させた時に、前記異なった撮影モードを自動的に起動することを特徴とするデジタルカメラ。
6. 請求項１に記載のデジタルカメラにおいて、
   前記顔表情自動撮影モードとは異なった撮影モードを設定する撮影モード自動設定手段を更に備え、
   前記撮影モード自動設定手段は、前記自動キャンセル手段が前記第２の所定期間の後に前記顔表情自動撮影モードを終了させた時に、前記異なった撮影モードを自動的に起動することを特徴とするデジタルカメラ。

Images