JP5231285B2 - 撮像装置 - Google Patents

Description

本発明は、静止画、動画の撮影機能を有するデジタルカメラ、デジタルビデオカメラ、デジタルカメラ付携帯電話などの撮像装置に関する。

デジタルカメラ、デジタルビデオカメラ、デジタルカメラ付携帯電話などの撮像装置が広範囲に普及し、従来のコアのユーザー以外の人たち（たとえば、女性、中高年など）においても写真撮影が趣味して広がりつつある。

最近では、撮像装置を意識させない状態での撮影よりも、被写体の視線が撮像装置に向かったいわゆるカメラ目線での撮影が好まれている。特に、個人の体験、日記などの時系列に比較的頻繁に記録される情報をインターネット上に公表するブログ（Weblogの略）が広範囲に普及している。そして、プログ上には、お母さんの撮影した赤ちゃんなどの乳幼児の写真や、ペットブームを反映して愛猫家、愛犬家と称する人たちの撮影したネコ、犬などの写真が掲載されている。

被写体がある程度の年齢の人であれば、撮影者の意図を理解して、撮像装置を見つめることにより撮影者の意図するカメラ目線での撮影が格別の困難なく行える。しかしながら、乳幼児は、撮影者の意図を理解できないため、自分の遊びに夢中だったり、撮影そのものに興味を示さないなどの理由から、乳幼児を被写体としたカメラ目線での撮影は容易でない。また、ネコ、犬などのペットは撮影そのものに興味を示さないなどの理由からカメラ目線での撮影が難しい。

乳幼児、ネコ、犬などの目線を撮像装置に向けるために、被写体方向に向けた液晶ディスプレイにアニメキャラクターなどの画像を表示するもの（たとえば、特開２００３−１０１８４２号公報）、撮像装置に内蔵したスピーカから「こっちこっち」などの所定の音声信号を発したり、撮影レンズの回りにＬＥＤなどの発光部材を環状に配置して所定間隔で点滅させるもの（たとえば、特開２００３−０７８７９２号公報）が提案されている。

また、ねずみの模型、小動物の尾、渦巻き回転パネルなどを動かすことにより、乳幼児、ネコ、犬などの興味を撮像装置方向に向けさせるもの（たとえば、特開２００７−１２８０１１号公報）も提案されている。

さらに、被写体の画像データをデジタル的に解析して被写体の目線が撮像装置方向に向いたか否かを判定する撮像装置も提案されている。たとえば、特開２００８−０１１４５７号公報においては、画像データから検出した被写体の顔部分から鼻部、眼部を抜き出して眼部の目線の向き、顔部分の向きを判定して被写体の目線が撮像装置に向けられているか否かを判定している。

特開２００３−１０１８４２号公報 特開２００３−０７８７９２号公報 特開２００７−１２８０１１号公報 特開２００８−０１１４５７号公報

撮像装置の背面には液晶ディスプレイなどからなる表示手段が設けられており、撮影者は、通常、液晶ディスプレイ（表示手段）のライブビュー画像を見ながら構図を確認して撮影を行っている。しかしながら、被写体方向に向けた液晶ディスプレイにアニメキャラクターなどの画像を表示する引用文献１の構成では、撮影者はファインダーを覗いて構図を確認しなければならず、狭い視界での撮影を強いられ、シャッターチャンスを逃がしやすい。

これに対して、音声、発光、物の移動によって乳幼児、ネコ、犬などの注意を撮像装置に向ける引用文献２、３では、液晶ディスプレイを見ながら撮影できる。
しかしながら、引用文献１〜３のいずれにおいても、カメラ目線になったか否かを撮影者が判定しており、撮影者の感覚、経験に依存せざるを得ず、シャッターチャンスを逃すことなくカメラ目線での撮影を容易に行なえない。

被写体の画像データをデジタル的に解析して被写体の目線の方向を判断する引用文献４では、カメラ目線になったか否かが撮影者の感覚、経験に依存することなく自動的に判定されるため正確に判定できるとともに、液晶ディスプレイを見ながら撮影できる。
しかしながら、撮影者が「こっちを向いて」などと呼びかけたり、おもちゃ（たとえば、ガラガラ）を鳴らしたりなどの被写体の注意を引く動作を撮影者自らが演じる必要があり、撮影に気苦労が伴う。特に、撮影者の呼びかけになんらの反応を示さない被写体に対してはなんら有効に機能せず、さらにおもちゃなどの小道具が必要となる。
また、カメラ目線が電子的に判定されるとはいえ、レリーズスイッチの撮影操作（レリーズ操作）は撮影者自らが行わなければならず、カメラ目線での撮影がタイミングよく常に行えるものでもなく、シャッターチャンスを逃すおそれもある。

本発明は、カメラ目線での撮影がタイミングよく行える撮像装置の提供を目的としている。

請求項１記載の本発明によれば、撮像装置は、被写体からの画像を取得する撮像手段と、当該撮像装置から被写体方向に所定のパターンで変化信号を発生して被写体の注意を喚起して変化信号に対する反応を促す変化信号発生手段と、撮影手段で取得した被写体の画像から被写体の顔の向きまたは目線を判定し、判定した顔の向き、目線に従って変化信号発生手段の変化信号の発生パターンを制御する制御手段とを具備し、制御手段は、複数の信号変化のうち、被写体に対して最も注意喚起の効果があった信号変化を検出し、最も注意喚起の効果があった信号変化を繰り返し発生するように変化信号発生手段を制御している。

請求項２記載の本発明によれば、制御手段は、変化信号に対応した被写体の目の動きに従って被写体に対する注意喚起の効果を判定している。

請求項３記載の本発明によれば、制御手段は、判定した被写体の顔の向き、目線に従って撮影条件を制御している。

請求項４記載の本発明によれば、制御手段は、被写体の目線を判定し、目線が所定の範囲にあれば撮影操作を自動的に行うように制御している。

請求項５記載の本発明によれば、変化信号発生手段は、当該撮像装置の前面に設けられたディスプレイの画面上に変化する光信号を発生している。

請求項６記載の本発明によれば、変化信号発生手段は、当該撮像装置の前面の複数の位置から変化信号を発生している。

請求項１記載の本発明では、変化信号を発生することによって被写体の注意が喚起されており、被写体の注意を喚起する動作を撮影者自らが行う必要はなく、変化信号に反応した顔の傾きからカメラ目線が制御手段の制御のもとで判定されており、カメラ目線が正確に判定できる。そして、撮影操作が制御手段で制御されているため、カメラ目線と判定したとき撮影操作することにより、カメラ目線での撮影がタイミングよく行え、シャッターチャンスを逃すことがない。
また、変化信号を発生することによって被写体の注意が喚起されており、被写体の注意を喚起する動作を撮影者自らが行う必要はなく、複数の異なる変化信号を発生して最も注意喚起の効果があった信号変化を検出して繰り返し発生させているため、被写体を撮影者の方向に確実に向かせることができ、シャッターチャンスを逃すことなく撮影できる。

請求項２記載の本発明では、変化信号に反応した被写体の目の動きに従って被写体に対する注意喚起の効果を判定しており、被写体が撮影者の方向に向いたタイミングでシャッターチャンスを逃すことなく撮影できる。

請求項３記載の本発明では、変化信号を発生することによって被写体の注意が喚起されており、被写体の注意を喚起する動作を撮影者自らが行う必要はなく、変化信号に反応した顔の傾きを検出し、顔の傾きに基づいて黒目の中心位置のずれからカメラ目線が制御手段の制御のもとで判定されており、カメラ目線が正確に判定できる。そして、撮影操作が制御手段で制御されているため、カメラ目線と判定したとき撮影操作することにより、カメラ目線での撮影がタイミングよく行え、シャッターチャンスを逃すことがない。

請求項４記載の本発明では、所定の範囲という許容範囲にあればカメラ目線と判定して撮影操作を自動的に行っているため、カメラ目線での撮影がタイミングよく行え、シャッターチャンスを逃すことがない。

請求項５記載の本発明では、ディスプレイの画面上に変化する光信号を発生させる発光パターンを制御手段で制御して多様な発光パターンのもとで光信号を発生することによって被写体の注意を強力に喚起できる。

請求項６記載の本発明では、複数の位置から変化信号が発生しており、その変化信号の発生パターンを制御手段で制御して多様な発光パターンのもとで光信号を発生することによって被写体の注意を強力に喚起できる。

デジタルカメラとして具体化された本発明の一実施例に係る撮像装置の主要部の概略ブロック図を示す。 被写体を赤ちゃんとする場合の撮影の一シーンを示す。 （Ａ）は前方からのデジタルカメラの概略斜視図、（Ｂ）（Ｃ）は上面からのデジタルカメラの模式図をそれぞれ示す。 （Ａ）（Ｂ）は被写体(赤ちゃん)の顔が撮影者（撮像装置）方向に向いていない状態の概略図、解析図をそれぞれ示す。 （Ａ）（Ｂ）は被写体(赤ちゃん)の顔が撮影者（撮像装置）方向に向いている状態の概略図、解析図をそれぞれ示す。 （Ａ）（Ｂ）は被写体(赤ちゃん)の目線を判定する模式図をそれぞれ示す。 被写体（赤ちゃん）の顔が撮影者（撮像装置）の方向を向き、目も撮影者（撮像装置）を見つめたカメラ目線での模式図を示す。 本発明のデジタルカメラによる撮影制御のフローチャートの一例を示す。 最適目線条件（図８のＳ１０６）のサブルーチンを示す。 最適目線（図８のＳ１０７）のサブルーチンを示す。 （Ａ）（Ｂ）はデジタルカメラとして具体化された本発明の別実施例（実施例２）の概略斜視図をそれぞれ示す。 実施例２における撮影制御のフローチャートの一例を示す。 光信号でなく音声信号を変化信号発生手段とするデジタルカメラとして具体化された本発明の他実施例（実施例４）の概略斜視図を示す。 デジタルカメラとして具体化された本発明の実施例４の概略斜視図を示す。 （Ａ）〜（Ｃ）はデジタルカメラ背面の液晶ディスプレイをタッチパネルとした変形例を示し、（Ａ）（Ｂ）はデジタルカメラの背面図、(Ｃ)は概略斜視図をそれぞれ示す。

撮像装置は、被写体からの画像を取得する撮像手段と、当該撮像装置から被写体方向に所定のパターンで変化信号を発生して被写体の注意を喚起して変化信号に対する反応を促す変化信号発生手段と、変化信号発生手段の信号発生パターンを制御し、撮像手段からの画像信号から被写体の顔の向きを検出して被写体のカメラ目線を判定して撮影操作を制御する制御手段とを具備している。

以下、図面を参照しながら本発明の一実施例（実施例１）を詳細に説明する。図１は、デジタルカメラとして具体化された本発明の一実施例に係る撮像装置の主要部の概略ブロック図を示す。
図１に示すように、デジタルカメラ（撮像装置）１０は、撮像手段１２、制御手段（中央制御回路）１４、表示手段１６、記録手段（メモリ）１８、計時手段（クロック）２０、通信手段２２、操作判定手段２４、変化信号発生手段２６、スイッチ群２８などを有して構成されている。

撮像手段１２は、撮影レンズ１２ａ（図２（Ａ）参照）やＣＣＤ、ＣＭＯＳセンサなどの撮像素子などからなり、被写体からの像は撮影レンズを介して撮像素子に結像され、光電変換されて中央制御回路１４に出力される。そして、中央制御回路１４で色や階調の補正や圧縮処理などの必要な画像処理が施され、たとえば静止画ではＪＰＥＧ形式、動画ではＨ．２６４形式等の画像ファイルに変換されてフラッシュメモリなどの記録手段（メモリ）１８に記録される。計時手段（クロック）２０は撮影日時を計時し、その日時情報が撮影画像とともにメモリ１８に記録されることにより、撮影画像は順序よく記録され、検索も容易になる。

撮影に先立って撮影の構図やタイミングを確認するために、撮像手段１２からの画像信号は、表示手段１６にライブビュー画像（スルー動画像）として表示される。また、表示手段１６には、撮影前のライブビュー画像だけでなく、メモリ１８内の画像信号も中央制御回路１４で再生用に画像処理されて表示される。表示手段１６は液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどから形成され、デジタルカメラ１０の背面に設けられる。

撮像手段１２からの撮影画像を画像処理する中央制御回路（制御手段）１４は、たとえばＣＰＵ、ＭＰＵなどからなり、顔検出部１４ａ、目線検出部１４ｂ、条件設定部１４ｃ、撮影制御部１４ｄを備え、カメラ目線を判定するとともに、スイッチ群２８の操作を検出して所定の制御プログラムにしたがって構成部材を制御する。

撮像素子に結像され光電変換されて中央制御回路１４に出力された被写体像は中央制御回路で色や階調の補正、圧縮処理などの必要な画像処理を施される。顔検出部１４ａは、色補正、画像処理などの施された被写体の画像データを解析して、被写体中に人物、ペットなど顔を持つもの（以下、適宜「人物など」という）があるか否かを判定し、人物などがあれば、顔の向きや長さなどを判定し、目線検出部１４ｂは、顔検出部１４ａで判定された顔の向きや長さなどから被写体の目線を検出する。

条件設定部１４ｃには、目線検出部１４ｂで判定された顔の向きや長さなどから、顔の向きや長さなどがどのような状態にあれば被写体の目が撮像装置方向を向いているか否か、つまり、被写体の目線がカメラ目線であるか否かを判定する条件が設定される。そして、撮影制御部１４ｄは、目線検出部１４ｂで検出された目線が条件設定部１４ｃの条件を満たすか否かを判定するとともに、所定の制御プログラムにしたがって構成部材を制御している。

通信手段２２はＵＳＢ端子や無線送受信部などからなり、メモリ１８に記録された撮影画像のデータは、通信手段を介してＴＶなどの外部の表示手段、別の撮像装置などに出力されるとともに、別の撮像装置に記録された撮影画像のデータが通信手段を介して入力される。

操作判定手段２４は撮影可能状態を設定するパワースイッチ（電源スイッチ）の操作、レリーズスイッチの操作、撮影・再生モード選択などの撮影者の操作を検出し、その検出結果が中央制御回路１４に出力され、スイッチ操作に対応した処理が中央制御回路の制御のもとでなされる。

変化信号発生手段２６は、被写体の目を撮像装置方向に向けるための変化信号を発生するものであり、たとえばレリーズスイッチの１ｓｔレリーズによって光信号、音声信号などの変化信号が被写体に向けて発生される。クロック（計時手段）２０はタイマー機能を持ち、変化信号発生手段２６の変化信号の発生する時間はクロックでカウントされ、変化信号の発生が中央制御回路１４によって制御される。変化信号発生手段２６のためのスイッチを設け、スィツチをオンにすると、変化信号を所定時間発生するようにしてもよい。

スイッチ群２８は、パワースイッチ（電源スイッチ）、レリーズスイッチ、メニューキー、決定キー（ＯＫキー）、モードキーなどからなり、スイッチが操作されると、操作判定手段２４によってそのスイッチ操作が検出されてスイッチ操作に対応した処理が中央制御回路１４の制御のもとでなされる。

カメラ目線のもとで静止画撮影されてメモリ１８に記録された画像は、中央制御回路１４で再生処理されてデジタルカメラ背面の液晶ディスプレイ(表示手段)１６に表示されて撮影された結果が直ちに確認される。また、撮影画像は通信手段２２を介してＴＶなどの外部の表示手段にデジタルカメラ１０を接続することによって再生、表示できる。

図２は被写体を赤ちゃんとする場合の撮影の一シーンを示し、被写体（赤ちゃん）はデジタルカメラ１０を構える撮影者（お母さん）の存在を意識せずに行動しており、撮影者（つまりは、撮像装置）の方向に顔を向けず、目は撮影者に向けられていない。

図３（Ａ）は前方からのデジタルカメラの概略斜視図、図３（Ｂ）（Ｃ）は上面からのデジタルカメラの模式図をそれぞれ示す。
図３（Ａ）に示すように、変化信号発生手段２６はデジタルカメラ１０の前面に配置された発光部材とされ、たとえば、水平に並置された９つのＬＥＤ（発光ダイオード）とされる。

発光部材である一連のＬＥＤ（変化信号発生手段）２６は、被写体(赤ちゃん)の注意を引いて顔および目を撮影者(お母さん)の方向に向けさせるように、変化する信号（光信号）を発生するように構成されている。たとえば、撮影者から見て左端のＬＥＤ２６−１が先ず点灯し、次にそのＬＥＤが消灯するとともに右隣のＬＥＤ２６−２が点灯し、左端から右端に向かってＬＥＤが順次点灯、消灯されて点灯するＬＥＤが変わることによって変化する光信号が発せられる。右端に至って右端のＬＥＤ２６−９が点灯されると、そのＬＥＤ２６−９を消灯し、左端に戻って右に向かってＬＥＤ２６−１〜２６−９の点灯、消灯を繰り返してもよいし、逆に、右から左に向かってＬＥＤ２６−８〜２６−１を順次点灯、消灯させてもよい。

上記は一例であり、ＬＥＤ２６による変化信号の発生は上記以外にも種々考えられ、たとえば、上記の例では、点灯、消灯が繰り返されているが、左端から右端まで消灯しないでＬＥＤ２６−１〜２６−９を１つずつ点灯し、右端に至って左端に向かって、または、左端に戻って１つずつ消灯してもよい。また、１つずつ点灯しないで、２つごとにＬＥＤを点灯してもよい。
さらに、発光色の異なるＬＥＤを使用してもよい。たとえば、９つのＬＥＤ２６−１〜２６−９を赤、青、黄、赤、青、黄、赤、青、黄のように３色３つの組合せとし、赤のＬＥＤ２６−１，２６−４，２６−７、青のＬＥＤ２６−２，２６−５，２６−８、黄のＬＥＤ２６−３，２６−６，２６−９の組ごとに点灯（消灯）してもよい。
いずれにせよ、複数の信号発生パターンが中央制御回路１４に予め記録され、それぞれの信号発生パターンに基づいてＬＥＤ２６が発光されて、変化する発光信号が被写体に向けて発生される。

たとえば、一連のＬＥＤ２６（２６−１〜２６〜９）が所定の信号発生パターン左から右に(または右から左に)走るように点灯することにより、被写体（赤ちゃん）がこれに気付いて撮影者方向に顔を向けて、たとえば、左端のＬＥＤ２６−１を注視すれば図３（Ｂ）に示すようにその目は左に片寄り（参照）、右端のＬＥＤ２６−９に注視すれば図３（Ｃ）に示すように右に片寄る。しかし、デジタルカメラ１０がさほど大きいものでないとともに、その大きさに比較してお母さん（撮影者）、赤ちゃん（被写体）間の距離が大きいため、ＬＥＤ２６のいずれかを被写体が見ていれば（赤ちゃんの視線がＬＥＤにあれば）、その片寄りは僅かにすぎず、カメラ目線にあると考えてもよい。

また、赤ちゃんがデジタルカメラの変化信号発生手段（ＬＥＤ）２６を見ないでお母さん（正確には、お母さんの顔）を見ていても、お母さんはデジタルカメラ１０、つまりはＬＥＤの間近にあるから、赤ちゃんの目の片寄りは僅かにすぎず、お母さんを見ている赤ちゃんの視線もカメラ目線と考えてよい。
いずれにせよ、カメラ目線であるか否かはさほど厳密に考える必要はなく、所定の範囲を許容範囲と考えてカメラ目線を判定すればよい。

図４、図５を参照しながら、中央制御回路の顔検出部による被写体の顔の検出について述べる。図４（Ａ）（Ｂ）は赤ちゃん（被写体）の顔がデジタルカメラ１０の方向、つまりは撮影者（お母さん）の方向に向いていない状態の概略図、解析図を、図５（Ａ）（Ｂ）は撮影者方向に向いている状態の概略図、解析図をそれぞれ示す。

図４（Ａ）のように赤ちゃん（被写体）の顔がお母さんの方向に向いておらず傾けられていると仮定し、傾けられた顔の上下方向(Ｙ方向)、左右方向（Ｘ方向）の中心Ｏを通るＹ軸、Ｘ軸を傾いた面上で考える。図４（Ｂ）に示すように、中心Ｏを通る垂直線Ｖに対してＹ軸はθだけずれ、Ｙ軸に対して鼻筋の線Ｙ１（Ｙ軸と平行で鼻筋に沿った線）はＸ方向にΔＸだけずれる。顔の傾きと無関係に、Ｘ軸は顔の長さＦに対してＦ／２の位置にあり、目は顔の長さ方向（Ｙ軸方向）にΔＹだけずれて位置する。

これに対して、図５（Ａ）のように赤ちゃんが顔を傾けることなくお母さんを正視した厳密なカメラ目線にあれば、図５（Ｂ）に示すように顔の中心Ｏを通る垂直線Ｖ、鼻筋の線Ｙ１はＹ軸に一致し、Ｙ軸に対する鼻筋の線Ｙ１のずれ（ΔＸ＝０）はなくなる。しかし、目の位置がＸ軸からはΔＹだけずれていることは変わらない。

図４（Ｂ）、図５（Ｂ）と対比するとわかるように、赤ちゃんの顔がお母さん（の方向）に向いていれば、Ｙ軸に対する鼻筋の線Ｙ１のずれΔＸ、垂直線Ｖの傾きθがゼロとなり、鼻筋の線Ｙ１のずれΔＸ、垂直線Ｖの傾きθから赤ちゃんの顔の向きを判定可能となる。しかし、鼻筋の線Ｙ１のずれΔＸはお母さんに対する被写体の距離に依存するから、同様に赤ちゃんの距離に依存する赤ちゃんの顔の長さＦで割ることによって距離の依存性をなくして正規化し、ΔＸ／Ｆ、垂直線Ｖの傾きθから赤ちゃんの顔の向きが判定される。

ΔＸ／Ｆ（鼻筋の線Ｙ１のずれ／顔の長さ）、垂直線Ｖの傾きθがゼロであれば、赤ちゃんの顔がお母さんに向けられたことになる。しかしながら、ある程度のずれを許容し、ΔＸ／Ｆ、θが所定の範囲（許容範囲）にあれば、赤ちゃんの顔がお母さんの方向に向けられたとして取り扱う。

顔検出部１４ａによって、顔の輪郭（顔部の大きさ、位置）が検出され、顔の輪郭からＹ軸に対する鼻筋の線Ｙ１のずれ、垂直線Ｖの傾きθが検出される。そして、検出された値が、条件設定部１４ｃに設定された条件（ある程度のずれを許容した条件；許容範囲を考慮した条件）を満たすかが撮影制御部１４ｄで判定されて、赤ちゃん（被写体）の顔がお母さんの方向（撮影者方向）に向いているか否かが判定される。

図６（Ａ）（Ｂ）は被写体(赤ちゃん)の目線を判定する模式図をそれぞれ示す。
顔の傾きがない場合での顔の上下方向(Ｙ方向)、左右方向（Ｘ方向）の中心Ｏを通るＹ軸、Ｘ軸を考えているため、Ｙ軸は鼻筋の線Ｙ１、垂直線Ｖと一致し、上下方向での顔の中心線となる。鼻筋の線Ｙ１（Ｙ軸、垂直線Ｖでもある）に対する左右の目の黒目の中心位置のずれΔＸ’が検出され、この黒目の中心位置のずれΔＸ’がゼロであれば、被写体が撮影者(撮像装置)を見つめていることとなり、カメラ目線にあることになる。黒目の中心位置のずれΔＸ’は目線検出部１４ｂによって検出され、図６（Ａ）のように(被写体から見て)目が右に寄っていれば負の値、図６（Ｂ）のように左に寄っていれば正の値となるから、絶対値が基準とされる。

黒目の中心位置のずれΔＸ’も距離に依存するから顔の長さＦで割ることによって正規化される。つまり、（│ΔＸ’│／Ｆ）が計算され、目線検出部１４ｂで検出された（│ΔＸ’│／Ｆ）の値が条件設定部１４ｃの条件を満たすか否かがを撮影制御部１４ｄで判定されて、カメラ目線にあるか否かが判定される。

図７は赤ちゃん（被写体）の顔がお母さん（撮影者）の方向を向き、目もお母さんを見つめたカメラ目線での模式図を示す。この模式図では、被写体の顔の傾きがなく（θ＝０）、黒目の中心位置のずれもない(ΔＸ’＝０)、理想的なカメラ目線として図示され、完全なカメラ目線ということができる。このような完全なカメラ目線での撮影が好ましいとはいえ、このような完全なカメラ目線が容易に得られないとともに、いつも完全なカメラ目線での撮影では面白みに欠けるため、ある程度の許容範囲を考えてカメラ目線の判定を行うとよい。

図８は本発明のデジタルカメラによる撮影制御のフローチャートの一例を示す。また、図９、図１０は最適目線条件（Ｓ１０６）、最適目線（Ｓ１０７）のサブルーチンをそれぞれ示す。
まず、図８において、Ｓ１０１でパワースイッチ（電源スイッチ）の操作状態を判定し、パワースイッチが操作されていなければ（オフであれば）終了し、パワースイッチがオンであればＳ１０２に進んで撮影モードが判定され、撮影モードでなければＳ１１１に分岐する。

Ｓ１１１で再生モードが判定され、再生モードでなければＳ１０１に戻り、再生モードであれば、Ｓ１１２でメモリ１８に記録されていた撮影画像が選択されて表示手段１６、たとえば液晶ディスプレイに表示（再生）される。Ｓ１１３で再生の終了が判定され、再生を継続するのであればＳ１１２に戻って次の画像が再生され、再生を終了するのであればＳ１０１に戻る。

Ｓ１０２で撮影モードと判定されれば、Ｓ１０３で画像が撮像手段１２の撮像素子に結像されて取り込まれる。そして、レリーズスイッチを１ｓｔレリーズすると、Ｓ１０４で被写体の画像を判定し、被写体の顔と判定した部分に合焦されて露出が制御され、Ｓ１０５で液晶ディスプレイ１６にライブビュー画像が表示される。

Ｓ１０６で条件設定部１４ｃに設定された条件(最適目線条件)が判定され、図９のサブルーチンに進む。図９において、まず、Ｓ２０１で変化信号発生手段である一連のＬＥＤ２６−１〜２６−９が所定の発光パターンで点灯（発光）されて変化信号が発生されて被写体の注意を喚起する。たとえば、レリーズスイッチの１ｓｔレリーズによって変化信号発生手段２６がオンとされて変化信号が発生される。

そして、Ｓ２０２で変化信号に対して被写体の反応（変化）が検出される。すなわち、顔の向きの検出要素である（１）Ｘ軸方向での鼻筋の線Ｙ１のずれΔＸ、（２）顔の長さ方向（Ｙ軸）での目のずれΔＹ、(３)顔の傾き（中心Ｏを通る垂直線Ｖに対するＹ軸のずれ）θ、（４）顔の長さＦが顔検出部１４ａによって検出される（図４、図５参照）。

所定時間経過するまでＬＥＤ２６−１〜２６−９が所定の発光パターンで点灯（発光）される（Ｓ２０３）。ＬＥＤを点灯してΔＸなどを検出する時間は、たとえば、１つのＬＥＤを１ｓｅｃ間点灯するとすれば、９つのＬＥＤを発光する発光パターンにおいては９ｓｅｃとされる。そして所定時間（９ｓｅｃ）が経過すると、別の発光パターンに対する被写体の反応が検出される。つまり、Ｓ２０４で別の発光パターンの有無が判定され、Ｓ２０５において別の発光パターンで変化信号発生手段（ＬＥＤ２６−１〜２６−９）を点灯されて被写体の注意を喚起し、Ｓ２０２に戻って異なる発光パターンに対する被写体の反応が検出される。中央制御回路１４に記録されている全ての発光パターンについてＬＥＤが発光されて被写体の反応がその都度検出される。

全ての発光パターンに対する被写体の反応が検出されると、最も大きな変化(反応)を示した発光パターンがＳ２０６で判定され、サブルーチンが終了する。

図９の最適目線条件のサブルーチンから図８に戻ってＳ１０７に進み、Ｓ１０７で最適目線、つまり、カメラ目線が判断される。図１０の最適目線のサブルーチンについて述べると、図９のＳ２０６で被写体の反応（変化）の最も大きいと判定された発光パターンでＬＥＤ２６−１〜２６−９がＳ２２１で発光され、Ｓ２２２で所定時間（たとえば９ｓｅｃ）の点灯が確認されると、Ｓ２２３で鼻筋の線Ｙ１に対する左右の目の黒目の中心位置のずれΔＸ’が検出される（図６参照）。ΔＸ’が所定の範囲にあればカメラ目線と判定されてＳ１０７でＹに分岐する。ΔＸ’が所定の範囲になければ、所定の発光パターンに対する反応から、特定のＬＥＤの発光に対する反応に切換えられる。特定のＬＥＤは、通常、中央のＬＥＤ２６−５とされ、Ｓ２２４で中央のＬＥＤ２６−５が発光される。

ＬＥＤ２６の数は、通常、奇数とされ、図３に示すように実施例では９個となっている。しかし、偶数（たとえば、８個）であれば、中央付近のＬＥＤ（左右いずれかの端から４番目、または、５番目のＬＥＤ）が発光される。

Ｓ２２５で中央のＬＥＤ２６−５が、所定時間、たとえば、１ｓｅｃの間隔で発光（点滅）され、その発光に対する黒目の中心位置のずれΔＸ’がＳ２２６で検出され、所定範囲にあるか否かが判定される。ΔＸ’が所定の範囲にあればカメラ目線と判定されて図８のＳ１０７でＹに分岐し、所定の範囲になければ、ＬＥＤの発光に対して被写体が反応しない（カメラ目線にない）と判定してＳ１０７でＮに分岐する。

図１０の最適目線のサブルーチンから図８に戻り、カメラ目線と判定されていればＳ１０７からＳ１２２に進み、レリーズスイッチの２ｎｄリリースが自動的になされて（自動でシャッターが切れ）、Ｓ１２３で液晶ディスプレイ（表示手段）１６のライブビュー画像が撮影日時などの画像データとともにメモリ（記録手段）１８に記録される。自動撮影が終わると、Ｓ１０１に戻る。

カメラ目線にないと判定されれば、Ｓ１０７からＳ１２１に進み、カメラ目線にない撮影の可否がＳ１２１で求められ、カメラ目線になくても撮影者が撮影すると判断すれば、Ｓ１２２で撮影者がレリーズスイッチの２ｎｄリリースを行って撮影され、液晶ディスプレイ１６のライブビュー画像が撮影日時などの画像データとともにメモリ１８に記録される。

このように、本発明によれば、変化信号を発生することによって被写体の注意が喚起されており、被写体の注意を喚起する動作を撮影者自らが行う必要はなく、変化信号に反応した顔の傾きを検出し、顔の傾きに基づいて黒目の中心位置のずれからカメラ目線が制御手段の制御のもとで判定されており、カメラ目線が正確に判定できる。そして、レリーズスイッチの操作が制御手段で制御されているため、カメラ目線と判定したときレリーズスイッチを操作させることにより、カメラ目線での撮影がタイミングよく行え、シャッターチャンスを逃すことがない。
また、ライブビュー画像の表示される表示手段を見ながら撮影でき、ファインダーを覗きながら構図を確認する必要もない。

許容範囲を考慮して被写体の顔の傾き（顔角度）の検出、カメラ目線の判定を行っているため、カメラ目線での撮影がタイミングよく行え、シャッターチャンスを逃すことがない。
そして、カメラ目線での自動撮影に限定されず、変化信号に対して被写体が反応しなければ撮影者の判断による撮影も行え、カメラ目線にこだわらない撮影も行なえる。

黒目の中心位置のずれからカメラ目線を判定せず、変化信号に反応した顔の傾きからカメラ目線を判定してもよく、この場合においては、カメラ目線の判定精度は劣るが、シャッターチャンスを逃すことなくカメラ目線での撮影が手軽にタイミングよく行える。

複数のＬＥＤをデジタルカメラ１０の前面に設けるなどして複数の位置から変化信号を発生させる構成とすれば、その変化信号の発生パターンを制御手段で制御して多様な発光パターンのもとで光信号を発生することができ、多様な発光パターンのもとで被写体の注意を強力に喚起できる。

図１１（Ａ）（Ｂ）はデジタルカメラとして具体化された本発明の別実施例（実施例２）の概略斜視図を示す。上記実施例（実施例１）とこの実施例２とは変化信号発生手段の構成が相違し、他の構成は実施例１、２において共通している。
すなわち、変化信号発生手段が実施例１では複数のＬＥＤから構成されているのに対して、実施例２ではデジタルカメラ１０の前面に液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどからなるディスプレイ２６'が変化信号発生手段として設けられている。

図１１（Ａ）においては、たとえば液晶ディスプレイからなるディスプレイ２６'の画面上を光点（輝点）２６ａが光跡２６ｂを残像としてＸ軸、Ｙ軸で規定される平面をランダムに移動することにより、変化する信号が発生される。光点２６ａが液晶ディスプレイ２６'の画面上でＸ軸、Ｙ軸で規定される平面をランダムに動くことにより、被写体の注意が喚起されて被写体の顔を液晶ディスプレイ２６'に向ける反応が促される。

また、図１１（Ｂ）においては、光点（輝点）でなく面、たとえば矩形の枠面２６ｃがランダムに、たとえば被写体から見て液晶ディスプレイ２６'の左上方向に、大きい面から小さい面に変化することによって変化する信号が発生されている。枠面２６ｃがその大きさを変化させながらＸ軸、Ｙ軸で規定される平面をランダムに移動することにより、被写体の注意が喚起されて被写体の顔を液晶ディスプレイ２６'に向ける反応が促される。もちろん、大きい面から小さい面に変化してから小さな面から大きな面に変化してもよい。

光点２６ａの動き、枠面２６ｃの動きは中央制御回路１４によって制御されている。液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイ２６'の画面上で光点、枠面がＸ軸、Ｙ軸で規定される平面をランダムに移動させて変化信号を発生させる構成では、中央制御回路１４の制御のもとで変化信号の発光パターンがほぼ無数に設定できるとともに、その光跡を変えながら色を変化させることもできる。

図１２は実施例２における撮影制御のフローチャートの一例を示す。光点２６ａ、枠面２６ｃのうちの光点について述べると、まず、Ｓ３０１で光点の発光位置が初期設定される。たとえば、変化信号発光手段（液晶ディスプレイ）２６'の中心（Ｘ＝０、Ｙ＝０）が光点の初期位置とされる。次に、Ｘ軸方向、Ｙ軸方向のいずれか、たとえばＸ軸方向に光点が発光しながら移動する。

Ｓ３０３で所定の条件を満たしているか否かが判定される。ここでいう所定の条件とは、実施例１のＳ１０６、Ｓ１０７における最適目線条件、最適目線の条件をいう。ただし、通常、実施例２においては、実施例１よりもそれらの条件は緩和され、被写体が液晶ディスプレイ２６'の画面上の光点（および許容範囲であるその周囲）を見つめていなくても液晶ディスプレイの画面上を見つめていればカメラ目線にあると判定される。つまり、より大きな許容範囲が設定される。
所定の条件を満たしていれば、Ｓ３０７に進んで自動でシャッターが降りて自動撮影され、Ｓ３０８で日付などのデータとともに画像がメモリ２８に記録されて終了する。

光点が方向を変えながら発光して所定時間経過すると（Ｓ３０４）、Ｓ３０５でいまだ発光していないＸ軸方向の位置の有無が判定され、全ての位置が発光されていれば、Ｓ３０５で撮影するか否かが撮影者によって判定され、カメラ目線でなくとも撮影すると撮影者は判定すれば、撮影者のレリーズ操作によってＳ３０７で撮影され、Ｓ３０８で日付などのデータとともに画像がメモリ２８に記録されて終了する。
Ｓ３０５でカメラ目線での撮影を撮影者が選択すれば、Ｓ３０２に戻ってカメラ目線での撮影が模索される。

Ｓ３０５で未発光位置があれば、Ｓ３１１に分岐して、Ｘ軸方向への移動が可能か否か判定され、液晶ディスプレイの左右の端に至っておらずＸ軸方向に移動する余地があれば、Ｓ３０２に戻る。左右の端に至っており、Ｘ軸方向に移動する余地がなければ（Ｘ軸に未発光位置がなければ）、Ｓ３１２でＹ軸方向にシフトする。そして、Ｓ３１３でＸ軸方向の位置が初期設定されて，Ｓ３０２に戻る。

このように実施例２においても、変化信号を発生することにより被写体の注意を喚起してその反応から被写体の顔の傾きを検出し、その目の位置から被写体のカメラ目線を判定しているため、自動撮影が可能となり、シャッターチャンスを逃すことなくカメラ目線での撮影が行える。
特に、多様な発光パターンが得られるため、多様な発光パターンによって被写体の注意を繰り返し喚起して反応を促すことができる。

実施例１，２では、変化信号発生手段は変化する光信号を発生し、被写体の視覚に訴えて被写体の注意を喚起し、反応を促している。しかし、変化する信号を発することによって被写体の注意を喚起して撮影者、つまりはデジタルカメラ１０の方向に顔を向けさせれば足り、変化信号発生手段が発生する変化信号は光信号に限定されない。
図１３は光信号でなく音声信号を変化信号発生手段とするデジタルカメラとして具体化された本発明の他実施例（実施例３）の概略斜視図を示す。なお、実施例１，２とこの実施例３とは変化信号発生手段の構成が相違し、他の構成が共通することはいうまでもない。

図１３に示すように、変化信号発生手段としてのスピーカ２６’’がデジタルカメラ１０に内蔵され、たとえば、スピーカは左右に１つずつ配置される。しかし、スピーカ（変化信号発生手段）２６’’の配置、数などはこれに限定されない。たとえば、左右方向（Ｘ軸方向）でデジタルカメラの中央に１つのスピーカを配置してもよい。
このようにスピーカによって音声信号を発生させることによって被写体の注意を喚起し、その反応から被写体の顔の傾き（顔角度）を検出してカメラ目線を判定すれば、シャッターチャンスを逃すことなくカメラ目線での自動撮影が行える。
なお、音声信号が変化信号に該当することはいうまでもない。

変化信号を発生することにより被写体の注意を喚起するために、変化信号発生手段として、実施例１,２では変化する光信号を生じるＬＥＤ２６−１〜２６−９のような発光部材や、液晶ディスプレイ、有機ＥＬディスプレイのようなディスプレイを使用し、実施例３では、スピーカのような音声発生部材を使用している。しかしながら、変化する光を発生するもの（光信号発生手段）と音声を発生するもの（音声信号発生手段）とを併用してもよい。
図１４はデジタルカメラとして具体化された本発明の実施例４の概略斜視図を示し、ここでは、撮影レンズ１２ａの上でデジタルカメラ１０の前面にＬＥＤ２６−１〜２６−９（光信号発生手段）が左右方向に配置されるとともに、スピーカ（音声信号発生手段）２６’’が左右に１つずつ配置されている。

このように変化する光信号発生手段と音声信号発生手段とを組み合わせて変化信号発生手段とすれば、光信号だけ、音声信号だけ、光信号、音声信号の双方を発生することができ、多様な信号発生パターンが得られる。そのため、被写体が興味を引くと思われる信号発生パターンを選択して、または、それぞれの信号発生パターンをメドレーで実施するなどして被写体の注意を強力に喚起することができ、シャッターチャンスを逃すことなくカメラ目線での自動撮影が広範囲に行える。

実施例１〜４では、ＬＥＤの発光や音声の出力がレリーズスイッチの１ｓｔレリーズなどのスイッチ操作で発生し、中央処理回路に予め記録されたパターンで自動的に切換えられて変化するように構成されている。図１５（Ａ）〜（Ｃ）はデジタルカメラ背面の液晶ディスプレイをタッチパネルとした変形例を示し、撮影者がタッチパネルを操作することによって変化信号を発生させる構成となっている。すなわち、図１５（Ａ）（Ｂ）に示すように、撮影者がその指をタッチパネルに触れたまま左右（図１５（Ａ）参照）または上下（図１５（Ｂ）参照）に滑らせれば、その指の動きに対応して、たとえば図１５(Ｃ)に示すようにデジタルカメラ前面のＬＥＤ２６（２６−１〜２６−９）が所定のパターンで発光して変化信号を発生させている。

撮影者のタッチパネルの操作によって発生した変化信号に対応した被写体の顔の向きの変化や目線の変化が顔検出部１４ａ，目線検出部１４ｂで検出され、最も大きな反応を示した信号変化を生じさせるパターンで信号が繰り返し発生される。

もちろん、タッチパネルの操作によって、ＬＥＤだけでなく、音の高さや大きさ、または、発生パターンやその周波数などが変わるようにしてもよい。この場合、図１５（Ａ）のような動きで音の大きさを変え、図１５（Ｂ）のような動きで音の発音パターンを変えるような制御を行ってもよい。

上記のように本発明によれば、被写体の注意を喚起する動作を、まず、撮影者が状況に応じて行い、実際の撮影タイミングの判断は撮影者自らが行うことなく、カメラ目線が判定され、カメラ目線と判定したとき撮影制御させることにより、カメラ目線での撮影がシャッターチャンスを逃すことなく行える。このため、撮影者は被写体の注意喚起に専念すればよい。

上述した実施例は、この発明を説明するためのものであり、この発明を何等限定するものでなく、この発明の技術範囲内で変形、改造等の施されたものも全てこの発明に包含されることはいうまでもない。
たとえば、実施例ではデジタルカメラとして撮像装置を具体化しているが、本発明の対象となる撮像装置はデジタルカメラに限定されず、たとえば、デジタルビデオカメラはもちろん、デジタルカメラの機能を持つ携帯電話、ノートパソコンなどのデジタルカメラ付モバイルツールなども本発明でいう撮像装置に含まれる。

本発明は、液晶ディスプレイのような表示手段を持つデジタルカメラなどの撮像装置に広範囲に応用できる。

１０ デジタルカメラ（撮像装置）
１２ 撮像手段
１２ａ 撮影レンズ
１４ 中央制御回路（制御手段）
１４ａ〜１４ｄ 顔検出部、目線検出部、条件設定部、撮影制御部
１６ 液晶ディスプレイ（表示手段）
１８ メモリ（記録手段）
２０ クロック（計時手段）
２２ 通信手段
２４ 操作判定手段
２６ 変化信号発生手段
２６−１〜２６−９ ＬＥＤ（変化信号発生手段）
２６’ ディスプレイ（変化信号発生手段）
２６’’ スピーカ（変化信号発生手段）
２８ スイッチ群

Claims (6)

1. 被写体からの画像を取得する撮像手段と、
   当該撮像装置から被写体方向に所定のパターンで変化信号を発生して被写体の注意を喚起して変化信号に対する反応を促す変化信号発生手段と、
   撮影手段で取得した被写体の画像から被写体の顔の向きまたは目線を判定し、判定した顔の向き、目線に従って変化信号発生手段の変化信号の発生パターンを制御する制御手段と、
   を具備し、
   制御手段は、複数の信号変化のうち、被写体に対して最も注意喚起の効果があった信号変化を検出し、最も注意喚起の効果があった信号変化を繰り返し発生するように変化信号発生手段を制御する撮像装置。
2. 制御手段は、変化信号に対応した被写体の目の動きに従って被写体に対する注意喚起の効果を判定する請求項１の撮像装置。
3. 制御手段は、判定した被写体の顔の向き、目線に従って撮影条件を制御する請求項1または２記載の撮像装置。
4. 制御手段は、被写体の目線を判定し、目線が所定の範囲にあれば撮影操作を自動的に行うように制御する請求項１または２記載の撮像装置。
5. 変化信号発生手段は、当該撮像装置の前面に設けられたディスプレイの画面上に変化する光信号を発生する請求項１〜４のいずれか記載の撮像装置。
6. 変化信号発生手段は、当該撮像装置の前面の複数の位置から変化信号を発生する請求項１〜４のいずれか記載の撮像装置。

Images