JP2010016878A - 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】入力画像に複数の被写体が含まれる場合に、適当な被写体に着目して笑顔検出を行ない、好適な撮影タイミングを自動的に決定する。
【解決手段】撮影者は、例えばスルー画像を表示するタッチパネル上で、笑顔を検出して笑顔を撮りたい被写体を自在に選択することができる。また、笑顔の検出対象となる被写体と非対象となる被写体とを区別してスルー画像を表示することもできる。例えばパーティーなどで比較的大人数を画角に含めた場合などに、２人以上のメンバーが同時に笑っていることを撮影条件にして、笑顔検出に基づく自動撮影を好適に行なうことができる。
【選択図】 図１１

Description

本発明は、人物などの被写体を含んだ画像の撮影を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、画像に含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、入力画像に複数の被写体を含む場合に、適当な被写体に着目して笑顔検出を行ない、撮影タイミングを自動的に決定する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。

例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。

オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。

ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。

また、最近では、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタに関する研究開発が進められている。

例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献３〜５を参照のこと）。ここで言う注目部位とは、例えば、人物を撮影するときの当該人物の目や口の形や色、鳥を撮影するときの当該鳥の羽根などである。

具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。また、人物を被写体として撮影した写真を良好にするために写真を修正する技術が従来から知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、笑顔を撮影条件とする理由の１つである。

例えば、被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。しかしながら、撮像素子より入力された画像フレーム中に複数の被写体が含まれる場合には、いずれの被写体に着目して笑顔検出して撮影タイミングの制御を行なうべきか不明である。

例えば、複数の顔が検出された場合には一番大きい又は最至近の顔の枠がＡＦエリアに設定するとともに、スルー画像を利用して顔検出を行なうときには、顔検出を行なっていないときよりもスルー画像の輝度を上げて顔検出し易くするデジタルカメラについて提案がなされている（例えば、特許文献６を参照のこと）。しかしながら、当該デジタルカメラは、笑顔検出に基づいて自動撮影を行なうものではなく、また、ＡＦエリアに設定する検出顔はカメラ側によって自動的に決められてしまい、撮影者が自ら笑顔を撮りたいと望む被写体を指定することはできない。

また、検出した顔のうち距離が最も近い顔に焦点が合うように撮影レンズの焦点調整を行なうとともに、液晶表示器には焦点が合わされた顔を囲む枠を表示し、枠で囲まれた顔が所望の人物の顔でないときには十字キーなどのユーザ操作によって他の顔に枠を移動する撮像装置について提案がなされている（例えば、特許文献７を参照のこと）。この撮像装置は、最至近であることを基準として主役判定して自動焦点合わせを行なうが、笑顔検出に基づいて自動撮影を行なうものではない。また、撮影者が自ら笑顔を撮りたいと望む被写体を指定することができるが、特定の被写体しか検出対象に選ぶことはできない。

自動焦点合わせの場合、光学系が持つ焦点深度などの特性も依るが、基本的には結像する場所は１点であるから、同時に複数の被写体を検出対象に選ぶことはあり得ない。これに対し、笑顔検出による自動撮影の場合、例えばパーティーなどの風景を撮影する際に比較的大人数を画角に含めた場合、注目しているメンバーの１人が笑っているだけでは不十分であり、メンバーが同時に笑っていることが撮影条件として要求されることもある。言い換えれば、笑顔検出に基づく自動撮影は、自動焦点合わせとは本質的に相違する。

特開２００３−２７１９３３号公報（段落００５１〜００５３、図６） 特開平９−１７１５６０号公報（段落００３２〜００４４、図４） 特開２０００−３４７２７８号公報 特開２００４−２９４４９８号公報 特開２００６−２３７８０３号公報 特開２００６−３３４３７号公報 特開２００６−１４５６２９号公報

本発明の目的は、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、入力画像に複数の被写体が含まれる場合に、適当な被写体に着目して笑顔検出を行ない、好適な撮影タイミングを自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、被写体を結像した画像を入力する画像入力手段と、
該入力画像を信号処理する画像信号処理手段と、
前記画像信号処理手段による信号処理後の入力画像を画面表示する表示手段と、
前記画像信号処理手段による信号処理後の入力画像から被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された検出顔から笑顔検出の対象とすべきものを設定する笑顔検出対象顔設定手段と、
前記表示手段が表示するスルー画像上において、前記笑顔検出対象顔設定手段によって設定された検出顔をその他の検出顔と区別して表示する表示制御手段と、
前記の笑顔検出対象に設定された検出顔とその他の検出顔を区別した表示画面上におけるユーザの操作に応じて、笑顔検出対象の検出顔を変更する笑顔検出顔変更手段と、
を具備することを特徴とする画像撮影装置である。

本発明の係る画像撮影装置は、笑顔検出対象となった検出顔の笑顔度レベルを検出し、検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて撮影処理を制御するように構成されている。勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

現在、デジタルカメラなどの画像撮影装置が広範に普及しており、各種カメラ・ワークの自動化技術についても並行して進められている。このうち、自動撮影に関しては、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能について研究開発がなされている。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。

ここで、撮像素子より入力された画像フレーム中に複数の被写体が含まれる場合には、いずれの被写体に着目して笑顔検出して撮影タイミングの制御を行なうべきか、という問題がある。

これに対し、本発明に係る画像撮影装置は、撮影者が笑顔を検出して笑顔を撮りたい被写体を自在に選択するように構成されている。具体的には、前記顔検出手段によって検出された検出顔から笑顔検出の対象とすべきものを設定し、笑顔検出対象に設定された検出顔とその他の検出顔を区別してスルー画像上にＯＳＤ表示するが、表示画面上におけるユーザの操作に応じて、笑顔検出対象の検出顔を変更するようになっている。

前記顔検出手段が入力画像から複数の被写体の顔を検出したときに、前記笑顔検出対象顔設定手段は、画像内の各検出顔の位置又はその他の情報に基づいて検出顔毎の重要度を判別し、該重要度に応じて各検出顔に優先順位を割り振り、優先順位の高い方から所定数の検出顔を笑顔検出の対象に設定する。

また、撮影者などのユーザが笑顔検出対象となっている検出顔を死人で切るようにするために、前記表示制御手段は、笑顔検出対象となった検出顔に枠を付けてスルー画像を表示するようにする。あるいは、前記表示制御手段は、前記顔検出手段によって検出されたすべての検出顔に枠を付けるとともに、笑顔検出対象となった検出顔についての枠の表示形式を変え又は所定のアイコンを付けてスルー画像を表示する。

ここで、２以上の検出顔を笑顔検出対象とした場合において、前記撮影制御手段は、少なくとも１人の笑顔が検出されたら撮影を自動的に行なう、あるいは、選択されたＮ人全員の笑顔が検出されたら撮影を自動的に行なうようにしてもよい。

前記表示手段の表示画面はタッチパネルを兼ね備えていてもよい。このような場合、前記笑顔検出顔変更手段は、前記タッチパネルに対するユーザ操作に応じて笑顔検出対象の検出顔を変更するようにすればよい。

あるいは、前記顔検出手段が入力画像から複数の被写体の顔を検出するとともに各検出顔に操作順を付与し、前記笑顔検出対象顔設定手段が各検出顔の重要度に応じて複数の検出顔を笑顔検出の対象に設定している場合において、前記笑顔検出顔変更手段は、上下左右キーなどの一般的な操作キーを介してユーザが指定した検出顔を操作順に応じて特定し、該検出顔の優先順位を繰り上げて笑顔検出の対象に変更するようにする。

また、複数の検出顔を笑顔検出の対象に設定している場合には、前記タッチパネルを介してユーザが指定した検出顔の優先順位を繰り上げて笑顔検出の対象に変更するようにする。

また、複数の検出顔を笑顔検出の対象に設定している場合には、前記笑顔検出顔変更手段は、前記タッチパネルを介して前記画面上でユーザが指定した領域内の検出顔の優先順位を繰り上げて笑顔検出の対象に変更するようにしてもよい。

ここで、笑顔検出の対象とすることができる被写体の人数がＮ人に制限されている場合において、前記タッチパネルを介して前記画面上でユーザが指定した領域内にＮ人を超える検出顔が含まれているときには、該領域内の検出顔毎の重要度を判別し、該重要度に応じて各検出顔に優先順位を割り振り、優先順位の高い方から所定数の検出顔を笑顔検出の対象に設定するようにすればよい。

このように、本発明に係る画像撮影装置によれば、撮影者が笑顔を検出して笑顔を撮りたい被写体を自在に選択することができる。例えばスルー画像を表示するタッチパネル上で任意に笑顔検出対象の被写体を指定することが可能であり、笑顔の検出対象となる被写体と非対象となる被写体とを区別してスルー画像に表示することもできる。したがって、例えばパーティーなどの風景を撮影する際に比較的大人数を画角に含めた場合などに、２人以上のメンバーが同時に笑っていることを撮影条件にして、笑顔検出に基づく自動撮影を好適に行なうことができる。

また、本発明の第２の側面は、被写体を結像した入力画像を撮影するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
該入力画像を信号処理する画像信号処理手順と、
前記画像信号処理手順を実行して信号処理後の入力画像を所定の表示手段に画面表示する表示手順と、
前記画像信号処理手順を実行して信号処理後の入力画像から被写体の顔を検出する顔検出手順と、
前記顔検出手順を実行することによって検出された検出顔から笑顔検出の対象とすべきものを設定する笑顔検出対象顔設定手順と、
前記画面上に表示されるスルー画像上において、前記笑顔検出対象顔設定手順を実行して設定された検出顔をその他の検出顔と区別して表示する表示制御手順と、
前記の笑顔検出対象に設定された検出顔とその他の検出顔を区別した表示画面上におけるユーザの操作に応じて、笑顔検出対象の検出顔を変更する笑顔検出顔変更手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像撮影装置と同様の作用効果を得ることができる。

本発明によれば、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、入力画像に複数の被写体が含まれる場合に、適当な被写体に着目して笑顔検出を行ない、好適な撮影タイミングを自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像処理装置によれば、撮影者が笑顔を検出して笑顔を撮りたい被写体を自在に選択することができる。例えばスルー画像を表示するタッチパネル上で任意に笑顔検出対象の被写体を指定することが可能であり、笑顔の検出対象となる被写体と非対象となる被写体とを区別してスルー画像に表示することもできる。したがって、例えばパーティーなどの風景を撮影する際に比較的大人数を画角に含めた場合などに、２人以上のメンバーが同時に笑っていることを撮影条件にして、笑顔検出に基づく自動撮影を好適に行なうことができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。 図２は、カメラ画像をモニタ・ディスプレイ２５上にスルー表示する際のデータフローを模式的に示した図である。 図３は、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示した図である。 図４は、デジタルスチルカメラ１が画像撮影する際の処理手順を示したフローチャートである。 図５は、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうとともに撮影するタイミングを被写体に通知するための処理手順を示したフローチャートである。 図６は、検出対象の検出顔のみ枠を表示したスルー画像の一例を示した図である。 図７は、検出対象の検出顔に枠を表示するための処理手順を示したフローチャートである。 図８は、笑顔検出の対象として選択されている検出顔のみ枠の形態を変えて表示したスルー画像の一例を示した図である。 図９は、検出対象の検出顔の枠にアイコンを付加したスルー画像の一例を示した図である。 図１０は、自動で選択された笑顔検出対象の顔を別の顔に変更する操作を説明するための図である。 図１１は、自動で選択された笑顔検出対象の顔を別の顔に変更する操作を説明するための図である。 図１２は、画像から検出された各検出顔に対してキー操作のための操作順を割り振る処理を説明するための図である。 図１３は、上下左右キーのキー操作に応じて処理対象の検出顔を変更するときの画面遷移例を示した図である。 図１４は、笑顔検出の対象となる検出顔を３名としたときに、笑顔検出対象の検出顔を変更するときの画面遷移例を示した図である。 図１５Ａは、同時に複数の検出顔を笑顔検出の対象として師弟するときの画面遷移例を示した図である。 図１５Ｂは、同時に複数の検出顔を笑顔検出の対象として師弟するときの画面遷移例を示した図である。 図１５Ｃは、同時に複数の検出顔を笑顔検出の対象として師弟するときの画面遷移例を示した図である。 図１５Ｄは、同時に複数の検出顔を笑顔検出の対象として師弟するときの画面遷移例を示した図である。 図１６は、ユーザのタッチパネル操作に応じて笑顔検出対象となる検出顔を切り替えるための処理手順を示したフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、被写体からの入射光を電気信号に変換する。受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。また、カメラ信号処理部１７では、ＡＦＥ部１３の出力画像信号を基に、輝度情報を検波し、所定範囲毎のヒストグラムを算出するヒストグラム検波、並びに所定範囲毎に色情報を検波する色検波が行なわれる。ヒストグラム検波並びに色検波の結果は、後述する制御部２７に出力される。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、画像のサイズの変更を行なう。画像コーデック処理部１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。

メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。

また、モニタ・ディスプレイ２５上には、スルー画像が表示される他、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）として表示出力される。本実施形態では、モニタ・ディスプレイ２５上にＯＳＤ表示される設定画面の１つとして、撮影者が任意に笑顔検出対象として指定した被写体を識別するための検出枠が含まれる。また、笑顔の検出対象となる被写体と非対象となる被写体とを区別して検出枠を表示することもできる。これらの詳細については後述に譲る。

本実施形態では、モニタ・ディスプレイ２５の表面にはタッチセンサが重畳されており、タッチパネルを兼ねている。タッチパネルが認識する座標と表示パネルに表示する座標は同一である。したがって、撮影者は、モニタ・ディスプレイの表示画面上で、笑顔の検出対象となる被写体や、その他のＧＵＩ部品などを直接指定することができる。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。

ＣＰＵ２９は、解像度変換部１８により解像度変換した後の画像を用いて被写体の笑顔検出処理を行なう。また、ＣＰＵ２９は、モニタ・ディスプレイ２５上にＯＳＤ表示するためのＧＵＩ処理を行なう。本実施形態では、このＧＵＩ処理には、撮影者が任意に笑顔検出対象として指定した被写体を識別するための検出枠の表示と、笑顔の検出対象となる被写体と非対象となる被写体とを区別して検出枠を表示することが含まれる。

ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・レリーズ・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。本実施形態では、ＵＩ部２８は、操作機能として、図示のように上下左右キー、及びこれら４つのキーに囲まれた中央（決定キー）の５通りの入力が可能な操作キー（あるいは十字キー）を備えているものとする。

また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。

フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。

カメラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

図２には、カメラ画像をモニタ・ディスプレイ２５上に表示する際のデータフローを模式的に示している。

被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、パネルに表示するための画像の解像度変換がさらに行なわれ、その結果作成された画像がモニタ・ディスプレイ２５上に表示される。このような画像出力処理の制御は、制御部２７内のＣＰＵ２９が所定のプログラム・コードを実行するという形態で実現される。実際には、制御の分担が細かく分かれているが、本発明の要旨に直接関連しないので、ここでは詳細な説明を省略する。

また、ＵＩ部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施されて、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。ちなみに、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。

図３には、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示している。また、図４には、デジタルスチルカメラ１が画像撮影する際の処理手順をフローチャートの形式で示している。

上記で図２を参照しながら説明したと同様に、被写体をモニタ・ディスプレイ２５上に表示させている状態で、ＵＩ部２８中のシャッターキーをユーザが押下すると（ステップＳ１）、ＵＩ部２８はキー検出して、キー情報の信号をＣＰＵ２９に送る。これに応答して、ＣＰＵ２９は、ドライバ１０ａに制御信号を出力し、撮影処理を実行する（ステップＳ２）。その際、適宜ＡＦ及びＡＥの処理が併せて行なわれる。

ドライバ１０ａを通じて撮影処理の指示が行なわれると、上記と同様に、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、撮影モードに応じた画像サイズとなるように解像度変換がさらに行なわれる（ステップＳ３）。その後、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ４）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ５）。

本実施形態に係るデジタルスチルカメラ１は、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能を適用することができる。笑顔認識は、ＣＰＵ２９において所定の画像認識処理プログラムを実行するか、又は、制御部２７内に画像認識処理用のエンジン（図示しない）を搭載することによって実現可能である。笑顔認識技術自体は周知のものでよいので、ここでは詳細な説明を省略する。

なお、デジタルスチルカメラ１は、カメラが撮影処理を実施する際に、ＵＩ部２８の出力機能を用いて、アラーム音の発生やランプの点灯若しくは点滅といったＵＩ部２８からの外部出力によって撮影するタイミングを被写体に通知するようにしてもよい。

本実施形態に係るデジタルスチルカメラ１は、被写体の笑顔検出に基づいて自動撮影処理を行なうことができる。図５には、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうための処理手順をフローチャートの形式で示している。

まず、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像をモニタ・ディスプレイ２５上に表示させる（ステップＳ１１）。このとき、表示される画像は、制御部２７内にも供給される。

本実施形態では、撮影者は、笑顔を検出して笑顔を撮りたい被写体を自在に選択することができる（ステップＳ１２）。具体的には、スルー画像を表示するモニタ・ディスプレイ２５（タッチパネル）上で任意に笑顔検出対象の被写体を指定する。

所定の画像認識処理プログラムを実行するＣＰＵ２９（若しくは、図示しない画像認識エンジン）は、先行ステップＳ１２において指定された被写体についての笑顔度レベルを検出する（ステップＳ１３）。この指定操作に応じて、モニタ・ディスプレイ２５上では、指定された指定した被写体を識別するための検出枠がＯＳＤ表示される。このとき、笑顔の検出対象となる被写体と非対象となる被写体とを区別して検出枠を表示するようにしてもよい。

ここで、ＵＩ部２８中のシャッターキーをユーザが押下すると、カメラ撮影処理が起動する（ステップＳ１４）。具体的には、ＣＰＵ２９がドライバ１０ａを通じて撮影処理の指示を行ない、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれる。ここで、笑顔検出に基づいて自動撮影機能がオンされているときには、シャッターキーの押下操作により即座にシャッタが切られるのではなく、被写体の笑顔度レベルがあらかじめ設定された笑顔検出レベルに達したときに、カメラ撮影処理が起動する。

このようにして、シャッターキーの押下操作又は笑顔検出結果に応じてカメラ撮影処理が実施された後、解像度変換部１８によって撮影モードに応じた画像サイズに変換され（ステップＳ１５）、さらに、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ１６）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ１７）。

本実施形態に係るデジタルスチルカメラ１は、撮影者が任意に笑顔検出対象の被写体を指定することが可能であり、例えば２人以上の被写体を同時に笑顔検出の対象として指定することも許容されている。そして、笑顔の検出対象となる被写体と非対象となる被写体とを区別してスルー画像に表示するとともに、スルー画像から得られた被写体の笑顔度レベルが所定の撮影条件を満たすときには、撮影処理が自動的に起動する。以下では、笑顔検出に基づく撮影処理について説明する。なお、被写体の顔検出並びに検出顔の笑顔検出処理のために、制御部２７内に画像認識用のエンジンを装備することも考えられるが、以下では便宜上、これらの処理をＣＰＵ２９内で実施するものとする。

（１）顔検出処理
解像度変換部１８によりスルー画像用に解像度変換された画像データは、所定の画像認識処理プログラムを実行するＣＰＵ２９にも供給される。そして、例えば画像パターン検出により顔検出すなわち画像フレーム中から各被写体の顔領域の抽出を行なう。本発明の要旨は特定の顔検出処理に限定されるものではない。例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理アルゴリズムを適用することができる。

顔検出に際し、解像度変換した後の画像全体にわたってスキャンを行なう。但し、画像内に多数の被写体が含まれる場合には、すべての検出顔を対象にして補正や笑顔検出の処理を行なうことは難しい。そこで、各検出顔に優先順位を付け、優先順位の高い検出顔を笑顔検出処理の対象に指定するようにしてもよい。

なお、優先順位の設定方法として、例えば、画面の中央に近い、あるいは顔領域が大きいといった情報に基づいて被写体の重要度を表すスコアをつけ、スコアの大きい順に優先順位を高くするようにすればよい。

現在顔検出している顔の中で笑顔検出の顔を撮影者が知るために、笑顔検出対象となっている被写体と、対象外の被写体とをスルー画像上で区別して表示することが好ましい。検出対象及び対象外の被写体を区別するために、例えば、検出対象の検出顔のみ枠を表示するという方法が考えられる。図６には、検出対象の検出顔のみ枠を表示したスルー画像の一例を示している。

図７には、検出対象の検出顔に枠を表示するための処理手順をフローチャートの形式で示している。ここでは、Ｎ人までの被写体を笑顔検出の対象にできるものとする（但し、Ｎは正の整数）。

まず、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像をモニタ・ディスプレイ２５上に表示させる（ステップＳ２１）。このとき、表示されるスルー画像の情報は、制御部２７内にも供給される。

制御部２７内のＣＰＵ２９は、所定の顔検出プログラムを実行中であり、スルー画像の情報から顔検出を行なう（ステップＳ２２）。ここで、Ｍ人の顔が検出されたときには（但し、Ｍは正の整数で、Ｍ＞Ｎとする）、検出顔毎の重要度を判別し、この判別結果に基づいて各検出顔に優先順位を付ける（ステップＳ２３）。

そして、優先順位が１〜Ｎまでの検出顔については、笑顔検出用のＧＵＩ処理、すなわち当該検出顔に枠をＯＳＤ表示する（ステップＳ２４）。一方、優先順位がＮ＋１〜Ｍまでの検出顔については、通常のＧＵＩ処理を行なう（ステップＳ２５）。

また、検出対象及び対象外の被写体を区別して表示する他の方法として、すべての検出顔に枠を表示するが、笑顔検出の対象として選択されている検出顔のみ枠の形態（色や太さ、線の種類などの線の属性）を変える（図８を参照のこと）、あるいは検出対象の検出顔の枠にアイコンを付加する（図９を参照のこと）といった方法なども挙げることができる。図８に示した例では、前列の左から２名の被写体が笑顔検出対象に選択されているが、これらの検出顔のみ太線の枠で囲い、それ以外の検出顔は細い点線の枠で囲っている。また、図９に示した例では、前列の左から２名の被写体が笑顔検出対象に選択されているが、これらの検出顔にのみ、選択されたことを示すアイコンが付加されている。

このように、枠の表示方法に関しては２通りの仕様が考えられる。１つは自動で選択される笑顔検出対象の人数分だけ、変更された優先順位で上位の人だけを選択して枠を表示するという方法である。もう１つは、領域で囲った顔すべてを新たな笑顔検出対象とする方法である。後者のようにすべての検出顔を枠で囲う場合には、ユーザ（撮影者）は、笑顔検出対象となっている検出顔を確認できるだけでなく、システムが入力画像から顔検出したすべての被写体を確認することもできる。

（２）笑顔検出処理
笑顔検出の仕様については幾つかのケースが想定される。例えば、複数の検出顔についてそれぞれ笑顔検出を行ない、これら複数の検出結果を統計的に処理することもできる。ここでは説明の簡素化のため、上記で検出された検出顔のうち最も優先順位の高い顔１名（仮に、その被写体を「Ａさん」とする）について着目し、その人が笑ったら自動的に撮影を行なう仕様に従って説明する。

笑顔検出処理には、上記の顔検出処理と同じアルゴリズム、例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理アルゴリズムを適用することができる。但し、この場合は参照する画像の辞書が相違する。

そして、着目する被写体の検出顔について笑顔が検出されると、入力画像についての撮影用の解像度変換、ＪＰＥＧ画像圧縮、符号化圧縮画像の記録メディアへの記録といった撮影処理が起動する。

上述したように、入力画像からＭ人の顔が検出されたときには、優先順位付けによって、このうちＮ人が笑顔検出の対象として選択される（但し、ＭとＮは正の整数で、Ｍ≧Ｎとする）（前述）。ここで、Ｎが２以上、すなわち笑顔検出の対象となる被写体が複数存在する場合には、少なくとも１人の笑顔が検出されたら撮影を自動的に行なう、あるいは、選択されたＮ人全員の笑顔が検出されたら撮影を自動的に行なう、というような仕様が考えられる。いずれにしても対象のＮ人が誰なのかは優先順位の決め方の中で決まっている

なお、本明細書では、笑顔検出に基づいて撮影処理を起動する場合についてのみ説明するが、勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

（３）被写体の選択
上記の説明では、撮像素子より入力された画像フレーム中に複数の被写体が含まれる場合には、システム側で笑顔検出の対象となる被写体を自動で選択するようになっている。各検出顔について重要度を判別し、判別結果に基づいて優先順位を付け、最も優先順位の高い検出顔を笑顔検出の対象に指定する。

撮影者は、モニタ・ディスプレイ２５に表示されたスルー画像を介して、笑顔の検出対象となる被写体を指定することができる。この指定方法として、タッチパネルとして構成されるモニタ・ディスプレイ２５の表示画面上で指先やスタイラスを用いて直接被写体を指示する方法と、ＵＩ部２８が備える十字キーを用いて選択する方法などが考えられる。以下では、各方法についてそれぞれ説明する。

ここで、図１０に示す入力画像を例にとって、自動で選択された笑顔検出対象の顔を別の顔に変更する操作について説明する。同図では、画像中で前列略中央の枠で囲われた検出顔が優先順位に従って笑顔検出の対象として自動選択されているときに、前列の右隣の被写体を笑顔検出の対象に変更したいとする。

図１１に示すように、タッチパネルを構成するモニタ・ディスプレイ２５の画面上で、変更したい顔の付近に対してタッチ操作を行なう。すると位置検出によりタッチされた座標を認識する。続いて、画像パターン検出によりその座標の近傍で顔検出を行なう。

このとき、顔検出ができたならば、その検出顔の優先順位を最高位に変更する。これに伴い、当該検出顔より優先順位が高位であったその他の検出顔の優先順位をそれぞれ１つずつ繰り下げる。

そして、ＯＳＤ表示処理する際に、この新しい優先順位変更の情報に基づいて、優先順位が最高位に変更された顔に対して枠作成の処理を行ない、モニタ・ディスプレイ２５上に枠を表示させる。

なお、上記ではタッチすることにより顔検出が成功した場合で説明したが、タッチした位置で顔検出ができなかった場合は、変更の処理を実施しない。

また、タッチパネルではなく、ＵＩ部２８に装備された上下左右キーを用いて、笑顔検出の対象となる被写体を選択するという操作方法も考えられる。以下では、このような操作方法について説明する。

この場合、顔検出処理が終了した時点で、各検出顔に対しキー操作のための操作順を割り振る。図１２にはその様子を図解している。図示の例では、画像を上から下に向かって水平スキャンを繰り返していき、左から右、そして上から下に、各検出顔に操作順を付けていく。

そして、ユーザによる上下左右キーのキー操作が行なわれると、現在選択されている検出顔から、キー操作に応じた分だけ操作順を前後させて、処理対象となる検出顔を変更する。

図１３には、上下左右キーのキー操作に応じて処理対象の検出顔を変更するときの画面遷移例を示している。同図において、操作したキーを斜線で示しておく。各検出顔に操作順が割り振られた後に、中央の決定キーを押下すると顔を変更するモードに入る。そして、左キーで操作順を１だけ増分するように顔選択を移動させ、また、右キーで操作順を１だけ減分するように顔選択を移動させる。移動が終わったら、再び決定キーで笑顔検出対象の顔を決定する。

（４）笑顔検出対象の検出顔が複数存在する場合の処理
ここまでの説明では、笑顔検出の対象となる検出顔を１名だけに限定していたが、複数の検出顔を笑顔検出の対象とすることができる。

図１４には、笑顔検出の対象となる検出顔を３名としたときに、笑顔検出対象の検出顔を変更するときの画面遷移例を示している。

まず、顔検出を行なった後、例えば、画面の中央に近い、あるいは顔領域が大きいといった情報に基づいて被写体の重要度を表すスコアをつけるといったアルゴリズムに従って優先順位の設定を行ない、優先順位が上位３名までの被写体が検出対象に選択され、同図左に示すようにモニタ・ディスプレイ２５上の画面においてこれらの検出顔が枠で囲われる。

このとき、同図中央に示すように、ユーザ（撮影者）が、検出対象に選ばれていないが検出対象にしたいと考えている被写体の顔の付近をタッチパネルで指示する。

このような指示操作に応答して、ユーザが希望する被写体の優先順位を最上位に変更し、それまでは当該被写体よりも優先順位が上位であった各被写体の優先順位をそれぞれ１ずつ減分する。この結果、優先順位が３位であった被写体は４位に繰り下がり、笑顔の検出対象から外れることになる。

そして、新しい優先順位が上位３名までの被写体が検出対象に選択され、同図右に示すようにモニタ・ディスプレイ２５上の画面においてこれらの検出顔が枠で囲われる。同図左と比較すると、後列の最左端の被写体がユーザのタッチ操作に従って優先順位が最上位となったことに伴い、後列略中央の被写体が検出対象から外され、この検出顔を囲っていた枠が消失している。

（５）被写体の選択方法
上記の説明では、タッチパネル又は左右キー操作によって被写体を１つずつ選択する例について説明したが、タッチパネル上で複数の検出顔を囲うようなタッチ操作によって同時に複数の検出顔を指定することもできる。

図１５には、このような場合の画面遷移例を示している。ここでは、笑顔検出の対象となる検出顔を２名とし、自動で選択される笑顔検出対象の人数分だけ枠表示するものとする。

ユーザ（撮影者）は、タッチパネルを介して、検出対象として指定したい顔を囲うようなタッチパネル操作を行なう。すると、位置検出によりタッチ座標から囲われた領域を認識すると、続いて画像パターン検出によりその領域内で顔検出を行なう。

ここで、タッチ操作された領域内から顔画像を検出ができたら、その検出顔に対して顔の優先順位を最高位に変更する。このとき、同領域内から検出した顔が１人であればその人を１番目の優先順位にする。また、検出顔が複数あるときには、これらの中での所定のアルゴリズムにより優先順位を割り振る。検出顔が２名を超えるときには（図示の例では４名）、同領域内での優先順位が２番目までの検出顔について優先順位の繰り上げを行なうが、３番目以降の検出顔は繰り上げを行なわない。また、この優先順位の繰り上げに伴い、これらの被写体よりも優先順位が上位であった各被写体の優先順位を繰り下げる。

そして、ＯＳＤ表示処理する際に、この新しい優先順位変更の情報に基づいて、笑顔検出の対象に変更された顔に対して枠作成の処理を行ない、モニタ・ディスプレイ２５のスルー画像上に枠を表示させる。

図１５Ａに示した例では、最前列の左から２名までの被写体が笑顔の検出対象に選択されている。

このとき、図１５Ｂに示すように、ユーザ（撮影者）は、タッチパネルを介して後列の左から４名の顔を囲うような操作を行なう。

領域で囲った顔すべてを新たな笑顔検出対象とする場合には、図１５Ｃに示すように、最前列の左から２名までの被写体から後列の左から４名の検出顔に、笑顔検出対象が切り替わる。これに伴って、後列の左から４名の検出顔をそれぞれ囲う枠が表示されるとともに、最前列の左から２名の検出顔を囲っていた枠が消失する。

また、笑顔検出対象の人数分すなわち２名だけを笑顔検出対象を切り替える場合には、図１５Ｄに示すように、タッチパネル操作により囲われた４名の中から所定のアルゴリズムにより優先順位が上位とされた後列の左から３番目及び４番目の２名のみが笑顔検出対象に選択され、後列の左から３番目及び４番目の検出顔を囲う枠が表示される。これに伴い、最前列の左から２名の検出顔を囲っていた枠が消失する。

図１６には、ユーザのタッチパネル操作に応じて笑顔検出対象となる検出顔を切り替えるための処理手順をフローチャートの形式で示している。

まず、システム側で入力画像に対して顔検出処理を行ない、さらに各検出顔の重要度を判別して優先順位を付け、上位から所定人数を笑顔検出対象に自動選択する（ステップＳ３１）。

選択された各検出顔は、スルー画像上で枠が付けられる。ユーザ（撮影者）は、モニタ・ディスプレイ２５上で、笑顔検出の対象となっている被写体を確認する。ここで、笑顔対象を変更したいときには、検出対象として指定したい顔を囲うようなタッチパネル操作を行なう（ステップＳ３２）。

すると、位置検出によりタッチ座標から囲われた領域を認識すると、続いて画像パターン検出によりその領域内で顔検出を行なう（ステップＳ３３）。ここで、タッチ操作された領域内から顔画像を検出ができたら、その検出顔に対して顔の優先順位を繰り上げる（ステップＳ３４）。また、この優先順位の繰り上げに伴い、これらの被写体よりも優先順位が上位であった各被写体の優先順位を繰り下げる。

そして、ＯＳＤ表示処理する際に、この新しい優先順位変更の情報に基づいて、優先順位が最高位に変更された顔に対して枠作成の処理を行ない、モニタ・ディスプレイ２５のスルー画像上に枠を表示させる（ステップＳ３５）。

このように、本実施形態に係るデジタルスチルカメラ１によれば、撮影者が笑顔を検出して笑顔を撮りたい被写体を自在に選択することができる。例えばスルー画像を表示するタッチパネル上で任意に笑顔検出対象の被写体を指定することが可能であり、笑顔の検出対象となる被写体と非対象となる被写体とを区別してスルー画像に表示することもできる。したがって、例えばパーティーなどの風景を撮影する際に比較的大人数を画角に含めた場合などに、２人以上のメンバーが同時に笑っていることを撮影条件にして、笑顔検出に基づく自動撮影を好適に行なうことができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、あるいはその他のカメラ機能を備えたさまざまな情報機器に対して本発明を同様に適用することができる。

また、本明細書では、笑顔検出に基づいて撮影処理を起動する場合についてのみ説明したが、勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部

Claims (12)

1. 被写体を結像した画像を入力する画像入力手段と、
   入力される前記画像を信号処理する信号処理手段と、
   前記信号処理手段が信号処理した前記画像を画面表示する、表示画面がタッチパネルを兼ね備えた表示手段と、
   前記信号処理手段が信号処理した前記画像から被写体の顔を検出する検出手段と、
   前記検出手段が検出した検出顔のうち顔の特定のパターンを検出する検出対象を設定する設定手段と、
   前記タッチパネル上でユーザにタッチされた座標近傍で検出された検出顔を前記パターンの検出対象に変更する制御手段と、
   を具備することを特徴とする画像処理装置。
2. 前記パターンの検出対象となった検出顔のパターン度レベルを検出するパターン度レベル検出手段と、
   前記パターン度レベル検出手段により検出されたパターン度レベルがパターン検出レベルに到達したことに応じて撮影処理を制御する撮影制御手段と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段が入力画像から複数の被写体の顔を検出したときに、前記設定手段は、画像内の各検出顔の位置又はその他の情報に基づいて検出顔毎の重要度を判別し、該重要度に応じて各検出顔に優先順位を割り振り、優先順位の高い方から所定数の検出顔を前記パターンの検出対象に設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記パターンの検出対象となった検出顔に枠を付けてスルー画像を表示する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記検出手段によって検出されたすべての検出顔に枠を付けるとともに、前記パターンの検出対象となった検出顔についての枠の表示形式を変え又は所定のアイコンを付けてスルー画像を表示させる、
   ことを特徴とする請求項１に記載の画像処理装置。
6. ２以上の検出顔を前記パターンの検出対象とした場合において、前記撮影制御手段は、少なくとも１人の笑顔が検出されたら撮影を自動的に行なう、あるいは、選択された全員の笑顔が検出されたら撮影を自動的に行なう、
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記表示画面上で方向を指示する方向操作キーをさらに備え、
   前記制御手段は、前記画像から検出された複数の検出顔にそれぞれ操作順を付与し、各検出顔の重要度に基づいて優先順位を割り振り、優先順位の高い方から所定数を前記パターンの検出対象に設定させた後、前記方向操作キーに対するユーザの操作順に応じて特定される検出顔の優先順位を繰り上げて前記パターンの検出対象に変更させる、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記制御手段は、前記画像から検出された複数の検出顔のそれぞれの重要度に基づいて優先順位を割り振り、優先順位の高い方から所定数を前記パターンの検出対象に設定させた後、前記タッチパネルを介してユーザが指定した検出顔の優先順位を繰り上げて前記パターンの検出対象を変更させる、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記制御手段は、前記画像から検出された複数の検出顔のそれぞれの重要度に基づいて優先順位を割り振り、優先順位の高い方から所定数を前記パターンの検出対象に設定させた後、前記タッチパネルを介して前記画面上でユーザが指定した領域内の検出顔の優先順位を繰り上げて前記パターンの検出対象に変更する、
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記制御手段は、前記パターンの検出対象とすることができる被写体の人数をＮ人に制限し、前記領域内にＮ人を超える検出顔が含まれているときには、前記領域内の各検出顔の重要度に基づいて優先順位を割り振り、優先順位の高い方からのＮ人分の検出顔を前記パターンの検出対象に設定する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 被写体を結像した画像を入力する画像入力ステップと、
    入力される前記画像を信号処理する信号処理ステップと、
    前記信号処理ステップにおいて信号処理した前記画像を、タッチパネルを兼ね備えた表示画面上に画面表示するステップと、
    前記信号処理ステップにおいて信号処理した前記画像から被写体の顔を検出する検出ステップと、
    前記検出ステップにおいて検出した検出顔のうち顔の特定のパターンを検出する検出対象を設定する設定ステップと、
    前記タッチパネル上でユーザにタッチされた座標近傍で検出された検出顔を前記パターンの検出対象に変更する制御ステップと、
    を有することを特徴とする画像処理方法。
12. 被写体を結像した入力画像の処理を、表示画面がタッチパネルを兼ね備えた表示手段を備えたコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
    前記入力画像を信号処理する画像信号処理手段、
    前記画像信号処理手段による信号処理後の前記入力画像から被写体の顔を検出する検出手段、
    前記検出手段が検出した検出顔のうち顔の特定のパターンを検出する検出対象を設定する設定手段、
    前記タッチパネル上でユーザにタッチされた座標近傍で検出された検出顔を前記パターンの検出対象に変更する制御手段、
    として機能させるためのコンピュータ・プログラム。