JP2014068280A - 撮像装置 - Google Patents

Abstract

【課題】被写体の目線検出結果により撮影制御を行う撮像装置において、目線検出の精度不足による撮影装置の誤作動を減らす。
【解決手段】被写体の顔を検出する顔検出手段、前記顔検出手段で検出された顔の撮像装置に対する角度検出を行う顔角度検出手段、前記顔検出手段で検出された顔のそれぞれの目について目線方向を検出する目線検出手段、を有する撮像装置であって、前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ１より大きい場合には前記目線検出手段による目線検出を行わず、また前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ２より大きい場合には前記目線検出手段における目線検出条件を変更して目線検出を行う。
【選択図】 図２

Description

本発明は、撮像素子を備えた撮像装置及びその制御方法に関する。

人物を被写体として撮影した画像では、被写体の目線が撮像装置に向いたカメラ目線の状態で撮影された画像がより好まれる。しかし、じっとしてくれない子供の撮影など、カメラ目線の撮影は困難な場合が多い。

特許文献１では、複数の撮像画像からカメラ目線の状態で被写体が撮影された画像を抽出して記録する技術が開示されている。

特開２００７−９６４４０号公報

前記特許文献１では、被写体の顔が斜め横を向いた状態においても、顔画像の目の黒目位置からカメラ目線画像であるかの判定を行う方法が開示されている。なお前記特許文献１では、被写体の目について、左右の２つの目を区別することなしに目線の判定を行っている。

図１に示すように、被写体の顔が撮像装置に対して正対する正面の状態から横向きに顔角度θが大きくなるにつれて、被写体の目を抽出した画像は横方向につぶれた状態となる。また、横向きになるにつれて撮像装置から遠くなる側の目は、近い側の目と比較してより小さな角度でも横方向につぶれてしまう。このため、横方向の黒目位置の判定精度が低下し、誤検出が発生しやすい問題がある。さらに、鼻が高く彫りの深い被写体では、前記遠くなる側の目が隠れやすく、目線判定ができなくなることも懸念される。

そこで本発明の目的は、被写体が撮像装置に対して横向きに近い状態においても、より信頼度の高い目線検出および目線判定を行って撮影制御を行うことで、目線検出の精度不足による撮像装置の誤作動を減らし、実用性の高い撮影制御を行うことが可能な撮像装置を提供することである。

前述の課題を解決するために本発明の撮像装置は、被写体の顔を検出する顔検出手段、前記顔検出手段で検出された顔の撮像装置に対する角度検出を行う顔角度検出手段、前記顔検出手段で検出された顔のそれぞれの目について目線方向を検出する目線検出手段、を有する撮像装置であって、前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ１より大きい場合には前記目線検出手段による目線検出を行わず、また前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ２より大きい場合には前記目線検出手段における目線検出条件を変更して目線検出を行うことを特徴とする。

本発明の撮像装置によれば、
被写体の目線検出結果により撮影制御を行う撮像装置において、より信頼度の高い目線検出および目線判定による撮影制御を行うことで、目線検出の精度不足による撮影装置の誤作動を減らし、実用性が高く高度な撮影制御を行うことが可能となる。

ななめ横を向いた被写体の目の見え方を示す図である。 本実施形態の撮像装置の概略構成を示す図である。 本実施形態の撮影装置の撮影動作フロー図である。 顔角度θに対する目線検出結果への重み付け係数の設定を示す。

以下、本発明を図面に基づいて詳しく説明する。

図２は本発明の実施形態を適用した撮像装置の概略構成を示す図である。

光学系２０１は、入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御部２０２は、光学系２０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子２０３は、結像させた光学像を電気信号に変換する。撮像系制御部２０４は、固体撮像素子を駆動するための制御系である。アナログ信号処理部２０５は、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行う。アナログ／デジタル（Ａ／Ｄ）変換部２０６は、アナログ信号にデジタル変換を行い画像データとして出力する。

デジタル信号処理部２０７は、Ａ／Ｄ変換したデジタル信号から出力画像を生成し、現像処理を行う。内部記憶部２０８は、デジタル信号処理部にて出力画像を生成する際の画像データや、ライブ画像表示するＥＶＦ動作用の画像データなどを一時的に格納する。また、後述する顔検出部２１２や目線検出部２１４による各種演算データの一時記憶用途でも使用される。インターフェース（Ｉ／Ｆ）部２０９は、生成した画像データを最終的に保存するための外部記憶装置とつながっている。画像表示部２１０は、生成された画像をライブ画像として表示する電子ファインダとしての機能（ＥＶＦ動作）を有する。

顔検出部２１２は、撮影画像から人物の顔を検出し、さらに検出された顔画像について目の位置を検出する。顔検出の方法については、公知の方法を用いればよい。ここでは、顔の特徴点のテンプレートマッチングにより顔検出を行い、顔の位置と大きさおよび顔の特徴点である目、鼻、口の位置情報が得られるものとする。また、前記顔の特徴点のテンプレートは横顔を含み、横顔の顔検出も可能とする。

顔角度検出部２１３は、前記顔検出部２１２で検出された各顔について撮像装置に対する角度検出を行う。図１に示すように、顔角度は撮像装置に正対する方向を基準とする。顔角度検出の方法としては、前記顔の特徴点のテンプレートについて顔角度が異なる複数のテンプレートを用意し、最も類似度の高いテンプレートを検索して、対応する顔角度情報を参照することで実現される。

目線検出部２１４は、前記顔検出部２１２で検出された目部分の画像から、後述する方法で目線検出を行う。

システム制御部２１１は、前記顔検出結果や前記目線検出結果から所望の撮影を行うために、前記撮像系制御部２０４を制御するなど、システム全体の制御を行う。

図３は本発明の実施形態を適用した撮像装置の撮影動作フロー図である。また、図４は顔角度θに対する目線検出結果への重み付け係数の設定を示す図である。

ステップＳ３０１では、デジタル信号処理部２０７により生成される画像信号から、顔検出部２１２において顔の検出、および検出された顔の目の位置を検出する。

ステップＳ３０２では、ステップＳ３０１で検出された顔の位置や大きさ情報から、主被写体の候補となる顔の絞込みを行う。具体的には、所定以上の大きさで画面中心に近い顔から優先的に順序付けて選択する。なお、ここでは必ずしも１つの顔に絞り込む必要はない。

ステップＳ３０３では、ステップＳ３０２で絞り込まれた前記主被写体候補の対象顔があれば、ステップＳ３０４へ進み、そうでなければステップＳ３１１へ進む。

ステップＳ３０４では、ステップＳ３０２で絞り込まれた前記主被写体候補の対象顔について、顔角度検出部２１３において顔角度の検出を行う。

ステップＳ３０５では、ステップＳ３０４で検出された顔角度が所定値θ１以下（または−θ１以上）である前記主被写体候補の対象顔があるかを調べ、所定値θ１以下（または−θ１以上）の前記主被写体候補の対象顔があればステップＳ３０６へ進み、そうでなければステップＳ３１３へ進む。

ステップＳ３０６では、ステップＳ３０４で検出された顔角度が所定値θ１以下（または−θ１以上）である前記主被写体候補の対象顔ごとに、それぞれの検出顔角度に応じた目線検出条件の設定を行い、ステップＳ３０７において目線検出処理を行う。目線検出は、ステップＳ３０１で検出した目の領域においてテンプレートマッチングにより行い、テンプレートとの類似度合いから、目線検出結果に対する信頼度情報を同時に得る。

ここで図１は、撮像装置に対し顔が正面向きと顔がやや横向きの時で、なおかつ撮像装置に目線が向いている場合を図示している、図１（ｃ）（ｄ）は目領域を拡大したものである。図１（ｄ）に示すように被写体の顔が撮像装置に対してやや横向きの場合には、撮像装置から遠い側の目は近い側の目よりも横方向の幅が小さくなり（Ｗｎｅａｒ＞Ｗｆａｒ）、白目の幅もより小さくなっている。このため、ステップＳ３０７の目線検出で用いる目のテンプレートは、撮像装置に目線が向いた各顔角度における右目用と左目用のテンプレートを用意する。

また、前述したように同じ顔角度であっても撮像装置から遠い側の目では目の幅が小さくなるため、テンプレートマッチングによる検出では撮像装置から遠い側の目における目線検出の検出精度が低下する懸念が生じる。そこでステップＳ３０６において、ステップＳ３０４で検出された顔角度が所定値θ２以下である場合とそうでない場合で、ステップＳ３０７における目線検出条件を変更する（θ１＞θ２）。例えば、黒目白目の境界をはっきりさせるために検出用に切り出した目の画像のコントラスト調整などを行う。また、後述するステップＳ３０８では検出結果に重み付けを行うことで検出精度対策を行う。

ステップＳ３０８では図４に示すように、ステップＳ３０４で検出された顔角度に応じてステップＳ３０７の目線検出結果に対して重み付けを行う。具体的には、左右両方のそれぞれの目についてステップＳ３０７の目線検出で得られる信頼度情報に前記重み付けを乗算したのちに足し合わせることで、前記主被写体候補の対象顔ごとの目線検出評価値を算出する。

これは前述の目線検出精度低下を回避するために設定され、ほぼ正面向きの顔角度の範囲（−θ３＜θ＜θ３）においては、左右の目線検出結果に対する重み付けは等しく設定されるが、顔角度が横向きになるに従い撮像装置に近い側の検出結果をより重視する設定を行う。なお、前述したようにθ１よりも大きい角度では目線検出を実施しない。

ステップＳ３０９では、ステップＳ３０８で算出された目線検出評価値が所定値Ｔｈｓ以上である前記主被写体候補の対象顔があるか調べ、所定値Ｔｈｓ以上の前記主被写体候補の対象顔があればステップＳ３１０へ進み、そうでなければステップＳ３１３へ進む。

ステップＳ３１０では、前記主被写体候補の対象顔について、ステップＳ３０１で検出された顔の位置や大きさ情報にステップＳ３０８で算出された目線検出評価値情報を加えて、主被写体顔の順位付けの見直しを行う。

ステップＳ３１１では、主被写体の候補の対象となる顔がないため、画面中心でＡＦし中央重点露出制御などの通常の撮像動作を行う。

ステップＳ３１２では、ステップＳ３０２で順序付けられた主被写体候補の顔情報を元に、例えば主被写体顔にフォーカスと露出をあわせるなど、顔検出時の撮像動作を行う。

ステップＳ３１３では、ステップＳ３１０で見直された主被写体顔情報を元に、目線検出時の所定の撮像動作を行う。例えば、目線がある目にピントを合わせ、被写界深度がごく浅くなるよう絞りを開放寄りに設定し、目線がより印象的となるような撮影を行う。

以上説明したように本発明を適用した撮像装置によれば、やや横向きの被写体顔においても信頼度の高い目線検出結果を元に撮像動作を切り換えるため、目線検出の誤検出により失敗が少ない撮像制御が可能となる。

２０１‥‥光学系
２０２‥‥光学系制御部
２０３‥‥撮像素子
２０４‥‥撮像系制御部
２０５‥‥アナログ信号処理部
２０６‥‥Ａ／Ｄ変換部
２０７‥‥デジタル信号処理部
２０８‥‥内部記憶部
２０９‥‥Ｉ／Ｆ
２１０‥‥画像表示部
２１１‥‥システム制御部
２１２‥‥顔検出部
２１３‥‥顔角度検出部
２１４‥‥目線検出部

Claims (3)

1. 被写体の顔を検出する顔検出手段、前記顔検出手段で検出された顔の撮像装置に対する角度検出を行う顔角度検出手段、前記顔検出手段で検出された顔のそれぞれの目について目線方向を検出する目線検出手段、を有する撮像装置であって、
   前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ１より大きい場合には前記目線検出手段による目線検出を行わず、
   また前記顔角度検出手段により検出された顔の撮像装置に対する角度が所定角度θ２より大きい場合には前記目線検出手段における目線検出条件を変更して目線検出を行う
   ことを特徴とする撮像装置。
2. 前記θ１は前記θ２よりも大きい設定であることを特徴とする請求項１に記載の撮像装置。
3. 前記顔角度検出結果が所定角度±θ３より小さい場合には、前記目線検出手段により検出される目線検出結果に対し、撮像装置に近い側に位置する目における前記目線検出結果の重み付けを大きく設定し、撮像装置より遠い側に位置する目における前記目線検出結果の重み付けを小さく設定する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。