JP5719223B2 - 画像記録装置、記録方法およびプログラム - Google Patents

Description

本発明は、被写体を撮像した電子的な画像データを記録する画像記録装置及び撮像装置に関する。

近年、デジタルカメラやデジタルビデオ等の撮像装置が広範囲に普及している。最近の撮像装置は、被写体の目線検出や目つぶり防止といった撮影タイミングを逃さないための種々の機能を搭載しており、幅広い層のユーザが手軽に利用している。このような機能に関連する技術として、例えば、特許文献１には被写体の目線の推移に基づいて撮像タイミングを決定する撮像装置が開示されている。また、特許文献２には、被写体のカメラ目線を判定して撮像操作を制御する撮像装置が開示されている。特許文献３には、撮像された画像データに基づいて被写体の顔検出を行い、目つぶり顔領域が存在する場合に当該領域の属性を変更して表示する撮像装置が開示されている。

また、目線（視線）の検知に関連する技術として、特許文献４には、ステレオカメラによって撮像した画像から眼球中心及び黒目中心を推定して、運転者の視線方向を測定する視線方向検出装置が開示されている。また、特許文献５には、ファインダを覗く撮影者の視線を検出する機能が設けられたカメラが開示されている。

特開２０１０−２０６５２３号公報 特開２０１０−１９９７２８号公報 特開２００８−１３１０９４号公報 特開２００４−２５４９６０号公報 特開２００４−１２５０３号公報

しかしながら、被写体の目線を検出して撮像タイミングを決定する場合、被写体が撮像装置に目線を向けるのを待たなくてはならない。また、複数の被写体の集合写真を撮像する場合、特に、被写体が幼い子どもである場合には、全ての被写体の目線が撮像装置を向くタイミングを計るのは非常に困難である。そのため、そのような撮像タイミングを計っている間に、好適なショットを逃してしまうおそれがある。

さらに、上記特許文献４及び５に開示された技術はいずれも、操作者（撮影者）が向けている視線の方向を検知する技術であり、特定の方向（例えば撮像装置の方向）に目線を向けた被写体の画像を取得することについては開示されていない。

本発明は、上記に鑑みてなされたものであって、ユーザ所望の方向に被写体が目線を向けた画像を取得することができる画像記録装置を提供することを目的とする。また、本発明は、ユーザ所望の方向に被写体が目線を向けたタイミングで撮像を行うことができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像記録装置は、被写体の電子的な画像データに対応する画像を表示する表示手段と、前記画像から顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出手段と、前記目の領域において前記瞳の領域の位置を変更することを含む編集を行う瞳編集手段と、前記瞳編集手段によって編集された画像データを記録する記録手段とを備えることを特徴とする。

上記画像記録装置は、前記目の領域における前記瞳の領域の位置に基づいて、前記顔の目線が所定の方向を向いているか否かを判定する目線判定手段を更に備えることを特徴とする。

上記画像記録装置において、前記所定の方向は正面方向であり、前記目線判定手段は、前記瞳の領域が前記目の領域の略中央にある場合に、前記目線が正面を向いていると判定することを特徴とする。

上記画像記録装置は、前記目線判定手段の判定結果を通知する通知手段をさらに備えることを特徴とする。

上記画像記録装置において、前記通知手段は、前記目線判定手段による判定結果に応じて定まる表示属性を有し、前記顔を囲む顔検出枠を、前記画像に合成する顔検出枠合成手段であることを特徴とする。

上記画像記録装置において、前記顔検出枠合成手段は、２種類以上の表示属性を有する前記顔検出枠を前記画像に合成することを特徴とする。

上記画像記録装置は、前記目線判定手段によって前記目線が所定の方向を向いていないと判定された顔を選択する顔選択手段をさらに備え、前記瞳編集手段は、前記顔選択手段によって選択された顔における前記瞳の領域を編集することを特徴とする。

上記画像記録装置は、外部からの操作に応じた信号を当該画像記録装置に入力する操作入力手段と、前記操作入力手段により、前記顔検出手段によって検出された顔の内のいずれかを選択する選択信号が入力された場合に、当該選択された顔を選択する顔選択手段とをさらに備え、前記瞳編集手段は、前記顔選択手段によって選択された顔における前記瞳の領域を編集することを特徴とする。

上記画像記録装置は、外部からの操作に応じた信号を当該画像記録装置に入力する操作入力手段をさらに備え、前記瞳編集手段は、前記操作入力手段によって入力された信号に基づいて、前記目の領域において前記瞳の領域を移動させることを特徴とする。

上記画像記録装置において、前記操作入力手段は、前記表示手段上に重ねて設けられたタッチパネルであり、前記瞳編集手段は、前記タッチパネルに対する前記瞳の領域へのタッチの軌跡に基づいて、前記瞳の領域を移動させることを特徴とする。

上記画像記録装置において、前記操作入力手段は、前記表示手段上に重ねて設けられたタッチパネルであり、前記瞳編集手段は、前記タッチパネル上における前記瞳の領域以外の領域へのタッチの軌跡に基づいて、前記瞳の領域を移動させることを特徴とする。

上記画像記録装置において、前記瞳編集手段は、前記操作入力手段により一方の瞳の領域を移動させる信号が入力された場合に、他方の瞳の領域を連動させて移動させることを特徴とする。

上記画像記録装置において、前記瞳編集手段は、前記一方の瞳の領域に連動して前記他方の瞳の領域を移動させた後、前記操作入力手段により前記他方の瞳の領域を移動させる信号が入力された場合に、前記一方の瞳の領域を連動させないで、前記他方の瞳の領域のみを移動させることを特徴とする。

上記画像記録装置は、前記目の領域において目線を所定の方向に向けた場合の瞳の領域の位置を算出する瞳位置算出手段を更に備え、前記瞳編集手段は、前記目領域検出手段によって検出された前記瞳の領域を、前記瞳位置算出手段によって算出された位置に移動させることを特徴とする。

上記画像記録装置において、前記瞳編集手段は、前記瞳の領域を移動させた後、前記瞳の領域の上下に前記目の領域との隙間が生じた場合に、前記瞳の領域を拡大又は拡張することにより前記隙間を補間することを特徴とする。

上記画像記録装置は、撮影レンズを介して被写体を撮像して電子的な画像データを取得する撮像手段と、撮影指示を行うレリーズ手段とをさらに備え、前記記録手段は、前記レリーズ手段による撮影指示に従って撮影を行うことにより取得された画像に対応する画像データを記録すると共に、前記瞳編集手段によって編集された画像に対応する画像データを、元の画像データとは異なるファイル名で記録することを特徴とする。

本発明に係る撮像装置は、撮影レンズを介して被写体を撮像して電子的な画像データを取得する撮像手段と、撮影指示を行うレリーズ手段と、前記画像データに対応する画像を表示する表示手段と、一定の微小な時間間隔で連続的に再生されるライブビュー画像を生成する画像処理手段と、前記レリーズ手段による撮影指示に従って撮影を行うことにより取得された画像を記録する記録手段と、前記画像から顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出手段と、前記目の領域における前記瞳の領域の位置に基づいて、前記顔の目線が所定の方向を向いているか否かを判定する目線判定手段と、前記目線判定手段による判定結果に応じた警告表示を前記画像に合成する警告表示合成手段とを備えることを特徴とする。

上記撮像装置において、前記所定の方向は正面方向であり、前記目線判定手段は、前記瞳の領域が前記目の領域の略中央にある場合に、前記目線が正面を向いていると判定することを特徴とする。

上記撮像装置は、前記目線判定手段による判定結果に応じて定まる表示属性を有し、前記顔を囲む顔検出枠を、前記画像に合成する顔検出枠合成手段をさらに備えることを特徴とする。

上記撮像装置において、前記顔検出枠合成手段は、２種類以上の表示属性を有する前記顔検出枠を前記画像に合成することを特徴とすることを特徴とする。

上記撮像装置において、前記警告表示合成手段は、所定の属性を有する前記顔検出枠の数を表示することを特徴とする。

上記撮像装置は、前記目線判定手段による判定結果に応じた警告情報を前記画像に対応する画像データに付加する警告情報付加手段をさらに備えることを特徴とする。

上記撮像装置は、前記警告情報に基づいて、前記表示手段に表示される画像を選択する画像選択手段をさらに備えることを特徴とする。

上記撮像装置において、前記画像選択手段は、前記警告情報が付加された画像を選択することを特徴とする。

上記撮像装置において、前記画像選択手段は、前記警告情報が付加されていない画像を選択することを特徴とする。

上記撮像装置は、前記画像選択手段によって選択された画像に対し、前記目の領域における前記瞳の領域の位置を変更することを含む編集を行う瞳編集手段を更に備えることを特徴とする。

本発明によれば、画像から目の領域及び瞳の領域を検出し、目の領域において瞳の領域の位置を変化させる編集を行うので、ユーザは、所望の方向に被写体が目線を向けた画像を容易に取得することができる。また、本発明によれば、一定の微小な時間間隔で連続的に再生されるライブビュー画像に対し、目の領域における瞳の領域の位置に基づいて目線の判定を行い、判定結果に応じた警告表示を行うので、ユーザは、所望の方向に被写体が目線を向けたタイミングで容易に撮像を行うことができる。

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図２は、図１に示す撮像装置の外観を示す斜視図である。 図３は、図１に示す目線編集処理部の構成を示すブロック図である。 図４は、図１に示す撮像装置の動作を示すフローチャートである。 図５は、図１に示す撮像装置の再生動作を示すフローチャートである。 図６は、表示部に表示された画像の一例を示す模式図である。 図７は、目線の判定方法を説明する図である。 図８は、顔検出枠の表示属性を示す表である。 図９は、顔検出枠が合成された画像の表示例を示す模式図である。 図１０は、目線のマニュアル編集動作を示すフローチャートである。 図１１は、目線のマニュアル編集方法を説明する図である。 図１２は、瞳領域の編集方法を説明する図である。 図１３は、瞳領域の編集後の編集画像の表示例を示す模式図である。 図１４は、目線編集メニューの表示例を示す模式図である。 図１５は、目線の自動又は一括編集動作を示すフローチャートである。 図１６は、瞳領域が一括自動編集された画像の表示例を示す模式図である。 図１７は、瞳領域が一括マニュアル編集された画像の表示例を示す模式図である。 図１８は、変形例１−１における瞳領域の編集方法を説明する図である。 図１９は、実施の形態２に係る撮像装置が備える目線編集処理部の構成を示すブロック図である。 図２０は、実施の形態２に係る撮像装置のライブビュー動作を示すフローチャートである。 図２１は、変形例２に係る撮像装置が備える画像処理回路の構成を示すブロック図である。 図２２は、警告情報が付加された画像を一覧表示した例を示す模式図である。 図２３は、警告情報が付加されていない画像を一覧表示した例を示す模式図である。

以下、図面を参照しながら、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
なお、本願において、水平方向とは、画像内の顔の２つの目が並んでいる方向のことをいう。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像記録装置であるデジタルカメラ（以下、単にカメラという）の構成を示すブロック図である。また、図２は、図１に示すカメラの外観を背面側から示す斜視図である。

図２に示すように、カメラ１は、別体で構成された交換レンズ１００及びカメラ本体２００を備え、交換レンズ１００を介して被写体を撮像した画像をカメラ本体１００において記録する。交換レンズ１００はカメラ本体２００の前面のマウント開口部（不図示）に着脱自在となっている。

カメラ本体２００の上面には、撮影を指示するためのレリーズ釦１０と、パワースイッチ２０と、撮影モードを設定するモードダイヤル１１とが配置されている。
レリーズ釦１０は、半押しすることより第１レリーズスイッチがオンすると共に、さらに押し込んで全押しすることにより第２レリーズスイッチがオンする２段階スイッチとなっている。カメラ１は、第１レリーズスイッチのオンにより、焦点検出、撮影レンズのピント合わせ、被写体輝度の測光等の撮影準備動作を行い、第２レリーズスイッチのオンにより、後述する撮像素子２２１の出力に基づいて、被写体像の画像データの取り込みを行う撮影動作を実行する。

パワースイッチ２０は、カメラ本体２００や交換レンズ１００のパワー供給を制御するためのパワースイッチレバーに連動している。パワースイッチ２０がオン状態となると、カメラ１全体に電源が供給され、カメラ１が動作を開始する。一方、パワースイッチ２０がオフ状態となると、カメラ１は低消費電流モード（スリープモードともいう）での動作状態に入る。この低消費電流モードでは、後述するシーケンスコントローラ２２７は低消費電流で駆動され、気圧センサユニット２１５、スイッチ検知回路２５３等の回路以外には電源が供給されない。

カメラ本体２００の背面には、表示部２６及び該表示部上２６に重ねて設けられたタッチパネル１２と、拡大釦１３ａ、縮小釦１３ｂ、再生釦１４、メニュー釦１５、目線釦１６、編集釦１７、十字釦１８、決定釦１９を含む操作釦群とが配置されている。タッチパネル１２及び操作釦群１３ａ〜１９は、外部からの操作に応じて、所定の指示や情報に対応する信号を入力する操作入力手段に相当する。また、カメラ本体２００の背面には、種々のアクセサリーの接続部となるアクセサリーポート２９が設けられている。

表示部２６は、ＴＦＴ（薄膜トランジスタ）等のアクティブ素子を用いた液晶パネルや有機ＥＬ（Electro Luminescence）といった表示パネルによって実現され、被写体像のライブビュー表示、記録済みの撮影画像の再生表示、メニュー画面の表示等、種々の画像や情報を表示する。なお、実施の形態１において、表示部２６はカメラ本体２００の背面に配置されるが、撮影者が観察できる位置であれば、背面に限らず配置することができる。また、ライブビュー表示とは、撮像素子２２１から出力された画像信号に基づいて表示される被写体像の観察用の動画（ライブビュー画像）表示のことである。

タッチパネル１２は、表示部２６に表示される情報に基づいてユーザの指やタッチペン（スタイラス）等の物体が自身に接触（タッチ）した位置を検出し、このタッチ位置及びタッチの軌跡に応じた操作信号を入力する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。実施の形態１においては、いずれの方式のタッチパネルを適用しても良い。

拡大釦１３ａは、表示部２６に表示される画像を拡大させる指示信号を入力するための操作釦であり、縮小釦１３ｂは、表示部２６に表示される画像を縮小させる指示信号を入力するための操作釦である。

再生釦１４は、再生モードへの移行、及び再生モードからの抜出を指示する指示信号を入力するための操作釦である。
メニュー釦１５は、表示部２６にメニューを表示する指示信号を入力するための操作釦である。

目線釦１６は、表示部２６に表示された画像内の被写体像の目線を自動又は一括して編集する自動又は一括編集モードへの移行、及び該自動又は一括編集モードからの抜出を指示する指示信号を入力するための操作釦である。

編集釦１７は、表示部２６に表示された画像内の被写体像の目線をユーザがマニュアルで編集するマニュアル編集モードへの移行、及び該マニュアル編集モードからの抜出を操作するための操作釦である。

十字釦１８は、上釦１８ａ、下釦１８ｂ、左釦１８ｃ、右釦１８ｄを含み、表示部２６に表示されたカーソルやポインタ等を上下左右に移動させる指示信号を入力するための操作釦である。
決定釦１９は、十字釦１８等によって選択された項目を決定する指示信号を入力するための操作釦である。

なお、表示部２６に表示されたカーソルやポインタを操作する操作部材としては、タッチパネル１２及び十字釦１８以外にも、トラックボール、タッチパッド、ポインティングスティック等の種々のポインティングデバイスを用いることができる。これらのポインティングデバイスは、カメラ１に設けても良いし、カメラ１に対して外付けにしても良い。

アクセサリーポート２９には、例えばファインダ接眼部、及びファインダ接眼部を介して撮影者が観察可能な位置に配置されたファインダ内表示モニタが設けられたビューファインダ等、種々の付属部品が接続される。なおファインダ内表示モニタとしては、液晶や有機ＥＬ等の表示パネルが用いられる。

図１に示すように、交換レンズ１００をカメラ本体２００に装着した状態のとき、通信接点３００において両者は電気的に接続される。カメラ本体２００内のマウント開口部の近傍には、着脱検知スイッチ２５９が設けられており、交換レンズ１００とカメラ本体２００の装着状態を検知する。

交換レンズ１００内には、焦点調節及び焦点距離調節用の撮影レンズ１０１ａ、１０１ｂを含む撮影光学系１０１と、開口量を調節するための絞り１０３が配置されている。この内、撮影光学系１０１は光学系駆動機構１０７に駆動されて、その位置調節がなされる。また、絞り１０３は絞り駆動機構１０９に駆動されて、その位置調節がなされる。光学位置検出機構１０５は、撮影光学系１０１の位置を検出して、撮影光学系１０１の焦点調節レンズ位置（ピント位置）及び焦点距離（ズーム位置）を取得する。また、交換レンズ１００の周囲には、回動自在な距離環１１２が設けられている。この距離環１１２の回動方向（操作方向）及び回動量（操作量）は、エンコーダ１１０によって検出される。

光学位置検出機構１０５、光学系駆動機構１０７、絞り駆動機構１０９、及びエンコーダ１１０の各々は、通信接点３００を介してカメラ本体２００に接続されたレンズコントローラ１１１に接続されている。レンズコントローラ１１１は、例えばＣＰＵによって実現され、光学系駆動機構１０７に対する駆動制御を介してピント合わせ及びズーム駆動を制御すると共に、絞り駆動機構１０９に対する駆動制御を介して絞り値を制御する。

また、レンズコントローラ１１１は、光学位置検出機構１０５によって取得された焦点調節レンズ位置及び焦点距離に関するレンズ情報をカメラ本体２００に送信する。具体的には、交換レンズ１００内（又はレンズコントローラ１１１内）に内蔵された電気的書き換え可能な不揮発性メモリ（図示せず）に、交換レンズ１００の焦点距離情報（ズームレンズの場合には、最短焦点距離及び最長焦点距離）、開放絞り値、最小絞り値、撮影可能距離範囲（最至近距離を含む）、レンズの色バランス情報、収差情報、オートフォーカス（ＡＦ）に関する情報、装着されたレンズの種類（マクロレンズ、テレコンバータ等）といったレンズ情報が記憶される。なお、レンズ情報は、これらの情報の他、絞り１０３の絞り状態（開放絞り状態又は絞り込み状態）、距離環１１２の操作状態（操作方向及び操作量）といった交換レンズ１００の状態に関する情報や、絞り駆動機構１０９による絞り１０３の絞り込み完了や絞り開放完了、光学系駆動機構１０７によるレンズ駆動完了の情報といった交換レンズ１００の操作状況に関する情報も含む。レンズコントローラ１１１は、不揮発性メモリに記憶されたこれらのレンズ情報を、通信接点３００を介してカメラ本体２００に送信する。

カメラ本体２００内における撮影光学系１０１の光軸上（即ち、撮影光路上）には、露光時間制御及び撮像素子２２１の遮光用のフォーカルプレーンタイプのシャッタ２０３が配置されている。シャッタ２０３の動作は、シャッタ駆動機構２１３によって駆動制御される。被写体の方向から入射し、撮影光学系１０１によって形成された被写体像に対応する光束は、交換レンズ１００とカメラ本体２００とが結合するマウント開口部を介してカメラ本体２００の方向に導かれ、シャッタ２０３が開いたタイミングでカメラ本体２００内に入射する。

シャッタ２０３の後方（撮影光学系１０１とは反対側の方向）には、撮像素子ユニット２９０が配置されている。撮像素子ユニット２９０は、防塵フィルタ２０５、赤外カットフィルタ２０９、光学的ローパスフィルタ２１０、及び撮像素子２２１を、撮影光学系１０１側からこの順で配置して一体的に構成したユニットであり、塵埃が侵入しないように密封されたパッケージに収納されている。このような撮像素子ユニット２９０は、ブレ補正駆動機構２９２により、撮影光学系１０１の光軸と直交するＸＹ平面内において２次元的に変位される。

防塵フィルタ２０５は、カメラ本体２００のマウント開口部や本体内部において発生した塵埃が撮像素子２２１や光学素子に付着することにより、塵埃の影が被写体像に写し込まれて見苦しい画像となることを防止する。

防塵フィルタ２０５の周縁部の全周又は一部には、防塵フィルタ駆動回路２１１に接続された圧電素子２０７が固着されている。圧電素子２０７は、防塵フィルタ駆動回路２１１の駆動信号に基づいて、防塵フィルタ２０５を所定周波数の超音波で振動させる。防塵フィルタ２０５が超音波で振動することにより、防塵フィルタ２０５の前面に付着した塵埃が除去される。

赤外カットフィルタ２０９は、被写体像に対応する光束から赤外光成分をカットする。また、光学的ローパスフィルタ２１０は、被写体光束から高周波成分を取り除く。

撮像素子２２１は、撮影光学系１０１によって結像された光束を光電変換して、アナログ画像信号を生成する。本実施形態１においては、撮像素子２２１として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の２次元固体撮像素子が使用される。

また、カメラ本体２００は、撮像素子２２１において生成されたアナログ画像信号を処理する撮像素子駆動回路２２３、前処理回路２２５、コントラストＡＦ回路２２６、ＡＳＩＣ（Application Specific Integrated Circuit 特定用途向け集積回路）２６２、ブレ補正駆動機構２９２、アクチュエータ駆動回路２９４、及びブレ検出部２９７を備える。

撮像素子駆動回路２２３は、入出力回路２３９から出力された制御信号に従って、撮像素子２２１において生成されたアナログ画像信号を読み出し、このアナログ画像信号を増幅すると共に、アナログデジタル変換（ＡＤ変換）等の信号処理を行う。

前処理回路２２５は、撮像素子駆動回路２２３において信号処理が施された画像信号に対しライブビュー表示のための画素間間引処理等、種々の前処理を行う。
コントラストＡＦ回路２２６は、前処理回路２２５から出力された画像信号の高周波成分（コントラスト信号）を抽出する。コントラスト信号を抽出する画像の範囲は、シーケンスコントローラ２２７によって制御され、例えば、ＡＦターゲット、撮影画面全体、又は拡大表示領域等の領域に対して抽出が行われる。抽出されたコントラスト信号はシーケンスコントローラ２２７に出力される。

ＡＳＩＣ２６２は、データバス２６１と、このデータバス２６１に接続されたシーケンスコントローラ（本体側コントローラ）２２７、画像処理回路２２９、圧縮伸張回路２３１、ビデオ信号出力回路２３３、ＳＤＲＡＭ制御回路２３７、入出力回路２３９、通信回路２４１、記録媒体制御回路２４３、フラッシュメモリ制御回路２４７、スイッチ検知回路２５３とを含む。なお、図２においてはコントラストＡＦ回路２２６をＡＳＩＣ２６２の外側に設けているが、ＡＳＩＣ２６２内に設けても良い。

シーケンスコントローラ２２７は、例えばＣＰＵによって実現され、カメラ本体２００の各部の動作を制御する。具体的には、シーケンスコントローラ２２７は、フラッシュメモリ２４９に記憶されているプログラムに従って、カメラ１全体の動作を制御する。また、シーケンスコントローラ２２７は、上述したように、コントラストＡＦ回路２２６からコントラスト信号を入力し、レンズコントローラ１１１を介して撮影光学系１０１の自動焦点調節の制御を行う。

画像処理回路２２９は、前処理回路２２５から出力され、データバス２６１を介して入力されたデジタル画像信号（画像データ）に対し、デジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正、白黒・カラーモード処理、ライブビュー表示用処理といった各種画像処理を施し、画像データの輝度分布や彩度の判定を行う。また、画像処理回路２２９は、画像データに対応する画像に人物や動物等の被写体像の顔が含まれている場合に、その顔における目線を編集する目線編集処理部２３０を有する。なお、このような顔検出及び目線の編集は、専用のハードウエアを用いて実行しても良い。

図３は、目線編集処理部２３０の構成を示すブロック図である。目線編集処理部２３０は、顔検出部２３０ａと、目領域検出部２３０ｂ、瞳位置算出部２３０ｃと、目線判定部２３０ｄと、顔検出枠合成部２３０ｅと、顔選択部２３０ｆ、瞳編集部２３０ｇとを備える。

顔検出部２３０ａは、表示部２６に表示される画像に顔が含まれるか否かを、パターンマッチング処理等の周知技術を用いて判定する。そして、顔が含まれる場合には、顔の範囲の表示部２６における位置座標を取得し、この位置座標を表す顔範囲情報を生成する。このとき、画像中に複数の顔が含まれる場合には、各顔に対応する顔範囲情報が生成される。なお、顔検出部２３０ａは、基本的には人物の顔を検出するが、犬や猫等の動物の顔を検出することとしても良い。

目領域検出部２３０ｂは、顔範囲情報に基づいて、顔の範囲から目の領域（以下、目領域という）、及び該目領域における瞳の領域（以下、瞳領域という）を検出する。そして、目領域及び瞳領域の輪郭の表示部２６における位置座標を取得し、これらの位置座標を表す目領域情報を生成する。

瞳位置算出部２３０ｃは、目領域情報に基づいて、目線を所定の方向に向けた場合の目領域における瞳領域の位置を算出する。具体的には、目領域の水平方向における中央の位置が算出される。

目線判定部２３０ｄは、目領域検出部２３０ｂにおいて検出された目領域及び瞳領域の位置座標と、瞳位置算出部２３０ｃにおいて算出された位置に基づいて、検出された顔の目線が所定の方向を向いているか否かを判定する。実施の形態１においては、目線が正面（カメラ１の方向）を向いているか否かを判定するものとし、検出された瞳領域が水平方向における目領域の略中央にある場合に、目線が正面に向いていると判定される。

顔検出枠合成部２３０ｅは、顔範囲情報に基づいて、検出された顔をそれぞれ囲む顔検出枠を画像に合成する。その際、顔検出枠合成部２３０ｅは、目線判定部２３０ｄにより判定が行われた場合に、その判定結果に応じて定まる属性（線の太さ、色、種類、点滅周期等、以下、表示属性という）で表示される顔検出枠を合成する。具体的には、顔検出枠合成部２３０ｅは、目線が正面を向いていると判定された顔、及び目線が正面を向いていないと判定された顔に対し、互いに異なる色や線種で表示される顔検出枠を合成する。この場合、顔検出枠合成部２３０ｅは、目線判定部２３０ｄの判定結果を通知する通知手段に相当する。

顔選択部２３０ｆは、目線判定部２３０ｄの判定結果、及び／又はタッチパネル１２や操作釦群１３ａ〜１９によって入力された選択信号に基づいて、画像内の１つ又は複数の顔を選択する。
瞳編集部２３０ｇは、顔選択部２３０ｆによって選択された顔に対し、瞳領域を編集する処理を行う。この編集は、目領域における瞳領域の位置を変更することを含む。

なお、このような目線編集処理部２３０は、専用のハードウエアによって実現しても良いし、目線編集処理プログラムをＣＰＵに読み込むことにより実現しても良い。

圧縮伸張回路２３１は、ＳＤＲＡＭ２３８に記憶された画像データをＪＰＥＧ、ＴＩＦＦ等の形式で圧縮する。なお、画像圧縮はＪＰＥＧやＴＩＦＦに限らず、他の圧縮方法を適用しても良い。

ビデオ信号出力回路２３３は、表示部駆動回路２３５を介して表示部２６（及び、アクセサリーポート２９にビューファインダを取り付ける場合には、ファインダ内表示パネル）に接続される。ビデオ信号出力回路２３３は、ＳＤＲＡＭ２３８又は記録媒体２４５に記憶された画像データを、表示部２６（及び／又はファインダ内液晶モニタ）に表示するためのビデオ信号に変換する。

ＳＤＲＡＭ２３８は、ＳＤＲＡＭ制御回路２３７を介してデータバス２６１に接続されている。ＳＤＲＡＭ２３８は、画像処理回路２２９によって画像処理された画像データ又は圧縮伸張回路２３１によって圧縮された画像データを一時的に記憶するバッファメモリである。

入出力回路２３９は、防塵フィルタ駆動回路２１１、シャッタ駆動機構２１３、及び撮像素子駆動回路２２３に接続され、データバス２６１を介してシーケンスコントローラ２２７等の各回路とデータの入出力を制御する。

通信回路２４１は、データバス２６１と接続されると共に、通信接点３００を介してレンズコントローラ１１１と接続されている。通信回路２４１は、レンズコントローラ１１１とシーケンスコントローラ２２７その他の各回路との間のデータの送受信や制御命令の送信等の通信を行う。

記録媒体制御回路２４３は、記録媒体２４５に接続され、記録媒体２４５への画像データ等の記録と再生の制御を行う。記録媒体２４５は、コンパクトフラッシュ（登録商標）、ＳＤメモリカード（登録商標）、又はメモリスティック（登録商標）等の書き換え可能な記録媒体が装填可能となるように構成され、カメラ本体２００に対して着脱自在となっている。その他、マイクロドライブ（登録商標）などのハードディスクユニットや無線通信ユニットを接続可能に構成してもよい。

フラッシュメモリ制御回路２４７は、フラッシュメモリ（Flash Memory）２４９に接続される。フラッシュメモリ２４９は、電気的に書き換え可能な不揮発性メモリであり、カメラの動作を制御するためのプログラムや、制御用の調整値等を記憶する。シーケンスコントローラ２２７は、フラッシュメモリ２４９に記憶されたプログラムや調整値等に従ってデジタルカメラの制御を行う。

スイッチ検知回路２５３は、モードダイヤル１１、タッチパネル１２、操作釦群１３ａ〜１９、パワースイッチ２０、及び着脱検知スイッチ２５９に接続され、これらの各部のスイッチ状態を検知し、或いはこれらの各部から入力された入力信号を受け付けて、データバス２６１を介して各部に送信する。なお、パワースイッチ２０がオフ状態になると、パワースイッチ２０以外の操作部材の動作はいずれも検出されない。

ブレ補正駆動機構２９２は、駆動源として圧電素子駆動モータ等からなるアクチュエータを備え、撮像素子ユニット２９０を撮影光学系１０１の光軸と直交するＸＹ平面内において２次元的に変位することにより、画像におけるブレを防止する。
アクチュエータ駆動回路２９４は、ブレ補正駆動機構２９２内のアクチュエータを駆動する。

ブレ検出部２９７は、ジャイロを利用した角速度センサ２９７ａ、及び角速度検出回路２９７ｂを含むブレ検出部２９７を有する。角速度センサ２９７ａは、カメラ本体２００に生じたブレに応じたブレ信号を出力する。角速度検出回路２９７ｂは、角速度センサ２９７ａから出力されたブレ信号を増幅すると共にＡＤ変換し、シーケンスコントローラ２２７に出力する。

シーケンスコントローラ２２７は、ブレ検出部２９７によって検出されたブレ信号に基づき、カメラ本体２００のブレを打ち消すブレ制御信号をアクチュエータ駆動回路２９４に出力し、ブレ補正駆動機構２９２内のアクチュエータに対する駆動信号を出力させる。これによりアクチュエータが駆動し、撮像素子２２１が撮影光学系１０１の光軸と直交する方向に移動する。その結果、カメラ本体２００に加えられたブレが打ち消され、画像の劣化が防止される。なお、このような手ブレ補正の方式は、撮像素子シフト方式と呼ばれる。

実施の形態１に係るカメラの動作を、図４を参照しながら説明する。図４は、シーケンスコントローラ２２７によるパワーオンリセット後のカメラ１の動作を示すフローチャートである。カメラ本体２００にバッテリが装填され、又は外部電源が接続されると、図４に示す動作がスタートする。

まず、ステップＳ０１において、カメラ１は、パワースイッチ２０がオンであるか否かを判定する。パワースイッチ２０がオンである場合（ステップＳ０１：Ｙｅｓ）、カメラ本体２００及び交換レンズ１００内の各機構や各回路等への電源供給が開始される（Ｓ０２）。一方、パワースイッチ２０がオフである場合（ステップＳ０１：Ｎｏ）、カメラ１は、低消費電力の状態であるスリープ状態となる（ステップＳ１２）。なお、このスリープ状態は、パワースイッチ２０のオフからオンによって解除される。

ステップＳ０３において、カメラ１は、レンズ情報を取得する。具体的には、シーケンスコントローラ２２７が、レンズコントローラ１１１から通信回路２４１を介して、光学位置検出機構１０５によって検出された撮影光学系１０１の焦点位置情報及び焦点距離情報、並びに、至近側焦点距離・長焦点側焦点距離、開放絞り値、焦点距離毎の露出補正値、周辺光量の補正値（シェーディング）、周辺の色補正値、歪曲収差補正値等の交換レンズ１００の固有情報を含むレンズ情報を取得する。この際、中間リング、テレコンバータなどのレンズに関わるアクセサリーに関する情報を、これらのアクセサリーの装着の有無を含めて取得しても良い。

ステップＳ０４において、カメラ１は、動作モード及びパラメータの設定を行う。具体的には、カメラ本体２００が、モードダイヤル１１によって設定された撮影モード、ＩＳＯ感度、操作釦群１３ａ〜１９を用いてマニュアル設定されたシャッタ速度、絞り値等の情報に基づいて、撮影条件の読み込みを行う。

続くステップＳ０５において、カメラ１は、測光及び露光量の演算を行う。詳細には、カメラ１は、撮像素子２２１の出力に基づいて被写体輝度を求め、この被写体輝度を用いて撮影モード及び撮影条件に従って適正露光となるシャッタ速度や絞り値等の露光制御値を算出する。

ステップＳ０６において、カメラ１は、ライブビュー表示を行う。具体的には、画像処理回路２２９が、撮像素子２２１から出力された画像信号を取り込んで所定の画像処理を施すことにより、一定の微小な時間間隔で連続的に再生される表示用の画像データを生成する。表示部２６は、この表示用の画像データに対応する画像（ライブビュー画像）を表示する。

ステップＳ０７において、カメラ１は、再生スイッチがオンされたか否かを判定する。即ち、再生釦１４に連動する再生スイッチ信号が検出されたか否かが判定される。再生スイッチがオンされた場合（ステップＳ０７：Ｙｅｓ）、カメラ１は、記録媒体２４５に記録されている画像データに対応する画像を表示部２６に再生して表示する（ステップＳ２０）。

一方、再生スイッチがオンされない場合（ステップＳ０７：Ｎｏ）、又はステップＳ２０の再生動作が終了した場合、カメラ１は、メニュースイッチがオンされたか否かを判定する（ステップＳ０８）。即ち、メニュー釦１５に連動するメニュースイッチ信号が検出されたか否かが判定される。

メニュースイッチがオンされた場合（ステップＳ０８：Ｙｅｓ）、カメラ１はメニュー設定を行う（ステップＳ３０）。詳細には、カメラ１は、メニュースイッチのオンに応じて、ＩＳＯ感度、ホワイトバランス、マニュアルフォーカス（ＭＦ）モード、オートフォーカス（ＡＦ）モード、防振モード等の種々の設定用の画面を表示部２６に表示する。カメラ１は、このような画面（タッチパネル１２）に対するタッチや、十字釦１８及び決定釦１９に対する操作により入力された指示信号に応じて、種々のモードやパラメータの設定を行い、設定されたモードを各部に実行させる。例えば、防振モードが設定された場合、ライブビュー動作中及び撮影動作時に防振動作が実行される。

一方、メニュースイッチがオンされない場合（ステップＳ０８：Ｎｏ）、又はステップＳ３０のメニュー設定が終了した場合、カメラ１は、第１レリーズスイッチ（１Ｒスイッチ）がオンされたか否かを判定する（ステップＳ０９）。具体的には、レリーズ釦１０の半押しによる第１レリーズスイッチ信号が検出されたか否かが判定される。

第１レリーズスイッチがオンされた場合（ステップＳ０９：Ｙｅｓ）、カメラ１は撮影を実行する（ステップＳ４０）。具体的には、カメラ１は、例えばＡＦモードに設定されている場合、コントラストＡＦによって撮影光学系１０１のピント合わせを行い、測光及び露出演算により適正露光となる露出制御値の演算を行う。そして、レリーズ釦１０の全押しにより第２レリーズスイッチがオンされた際に露出動作を行い、撮像によって取得された静止画の画像データを記録媒体２４５に記録する。

一方、第１レリーズスイッチがオンされない場合（ステップＳ０９：Ｎｏ）、又は、ステップＳ４０の撮影が終了した場合、カメラ１は、パワースイッチ２０がオンであるか否かを判定する（ステップＳ１０）。パワースイッチ２０がオンである場合（ステップＳ１０：Ｙｅｓ）、動作はステップＳ０５に戻る。一方、パワースイッチ２０がオフされた場合（ステップＳ１０：Ｎｏ）、カメラ１はパワーオフモードとなり、電源供給が停止する（ステップＳ１１）。その後、動作はステップＳ１２に移行する。

次に、カメラ１の再生動作（ステップＳ２０）について、図５を参照しながら説明する。図５は、カメラ１の再生動作を示すフローチャートである。
まず、ステップＳ２０１において、カメラ１は、記録媒体２４５に記録された画像データを読み出す。このとき、カメラ１は、最新の撮影画像に対応する画像データを読み出す。

続くステップＳ２０２において、カメラ１は、読み出した画像データに対応する画像を表示部２６に表示する。図６は、表示部２６に表示された画像の例である。以下においては、一例として、図６に示す画像Ｇ１に対する処理を説明する。画像Ｇ１は、顔Ｆ₀₁〜Ｆ₀₅を有する被写体像を含む。
ステップＳ２０３において、顔検出部２３０ａは、表示部２６に表示された画像から顔Ｆ₀₁〜Ｆ₀₅を検出する。

ステップＳ２０４において、目領域検出部２３０ｂは、検出された各顔Ｆ₀₁〜Ｆ₀₅から目領域及び瞳領域を検出する。詳細には、目領域検出部２３０ｂは、各顔Ｆ₀₁〜Ｆ₀₅の顔範囲情報に基づいて顔の範囲内の色情報を取得し、白色（白目の色）と周囲の肌色との境界を検出して、この境界を目領域の輪郭とする。続いて、目領域検出部２３０ｂは、目領域内から黒色（又は茶色や灰色）の領域を検出し、この黒色の領域の輪郭を瞳領域の輪郭とする。目領域検出部２３０ｂは、目領域及び瞳領域の輪郭の位置座標を目領域情報として生成する。

ステップＳ２０５において、目線判定部２３０ｄは、目領域情報に基づいて、各顔Ｆ₀₁〜Ｆ₀₅の目線が正面を向いているか否かを判定する。
この目線の判定方法を、図７を参照しながら説明する。図７は、図６に示す顔Ｆ₀₅を含む被写体像の一部を拡大して示す図である。通常、左右両眼において、瞳領域Ｐ_R、Ｐ_Lが目領域Ｅ_R、Ｅ_Lの略中央にある場合、目線が正面を向いているように見える。そこで、瞳位置算出部２３０ｃは、被写体像から見て右（紙面に向かって左）の瞳領域Ｐ_Rの中心から目領域Ｅ_Rの外側（目尻側）の端部までの距離Ｌ_R(OUT)と、右の瞳領域Ｐ_Rの中心から目領域Ｅ_Rの内側（目頭側）の端部までの距離Ｌ_R(IN)と、被写体像から見て左（紙面に向かって右）の瞳領域Ｐ_Lの中心から目領域Ｅ_Lの内側の端部までの距離Ｌ_L(IN)と、左の瞳領域Ｐ_Lの中心から目領域Ｅ_Lの外側の端部までの距離Ｌ_L(OUT)とを取得し、次式（１）を用いて評価値Ｗを算出する。

目線判定部２３０ｄは、この評価値Ｗの値及び次式（２）に基づいて目線を判定する。即ち、評価値Ｗが次式（２）を満たす場合、目線が正面を向いていると判定される。
０．８≦Ｗ≦１．２ …（２）
評価値Ｗが１．０と等しい場合、瞳領域Ｐ_R、Ｐ_Lはそれぞれの目領域Ｅ_R、Ｅ_Lの中心にあり、目線は真正面を向いていることになる。また、評価値Ｗが上式（２）の範囲内である場合、瞳領域Ｐ_R、Ｐ_Lはそれぞれの目領域Ｅ_R、Ｅ_Lの略中央にあり、目線はほぼ正面を向いていることになる。

ステップＳ２０６において、顔検出枠合成部２３０ｅは、顔範囲情報に基づいて、各顔の範囲を囲む顔検出枠を生成し、ステップＳ２０５における判定結果に応じた表示属性を付与して画像に合成する。

図８は、目線の判定結果と顔検出枠の表示属性との対応を示す表である。図８に示すように、顔検出枠の表示属性には、線の太さ、線の色、線の種類、枠の形状、点滅周期等がある。線の太さとしては、例えば細線、太線、中線を用いることができ、目線が正面から外れている（よそ見している）と判定された顔のようにユーザの注意を引きたい顔に対しては線の太い枠を合成すると良い。線の色としては、緑色、赤色、黄色等を用いることができ、ユーザの注意を引きたい顔には赤色の枠を合成すると良い。線の種類（１）としては、連続線、破線、一点鎖線等を用いることができる。別の線の種類（２）としては、一重線、二重線、三重線等を用いることができ、ユーザの注意を引きたい顔には重ねる線の数を増やした枠（例えば三重線の枠）を合成すると良い。枠の形状としては、円形、四角形、５角形以上の多角形（例えば６角形）等を用いることができ、ユーザの注意を引きたい顔には角数が少ない枠（例えば３角形や４角形の枠）を合成すると良い。点滅周期としては、点灯（点滅しない）、４Ｈｚで点滅、１Ｈｚで点滅等を適用することができる。

顔検出枠合成部２３０ｅは、目線が正面を向いていると判定された顔に対し、例えば、細線、緑色、連続線、一重線、円形状、若しくは点灯、又はこれらを組み合わせた表示属性を有する顔検出枠を合成する。また、顔検出枠合成部２３０ｅは、よそ見していると判定された顔に対し、例えば、太線、赤色、破線、三重線、四角形状、若しくは４Ｈｚの点滅、又はこれらを組み合わせた表示属性を有する顔検出枠を合成する。さらに、後述するように、目線を編集した後の顔に対しては、例えば、中線、黄色、一点鎖線、二重線、６角形状、若しくは１Ｈｚの点滅、又はこれらを組み合わせた表示属性を有する顔検出枠を合成する。なお、様々なユーザ（例えば、色弱）に対応するため、複数種類の表示属性を組み合わせることが好ましい。

図９は、顔検出枠が合成された画像Ｇ１を示す模式図である。図９において、目線が正面を向いていると判定された被写体象Ｆ₀₂、Ｆ₀₃に対しては、例えば実線（又は実線且つ緑色等）の顔検出枠ａ₀₂、ａ₀₃が合成される。一方、目線が正面から外れている（よそ見をしている）と判定された被写体像Ｆ₀₁、Ｆ₀₄、Ｆ₀₅に対しては、例えば破線（又は破線且つ赤色等）の顔検出枠ｂ₀₁、ｂ₀₄、ｂ₀₅が合成される。なお、カメラ１は、画像Ｇ１内に警告表示エリアＭを設け、よそ見していると判定された顔が存在する場合に、その旨をユーザに警告するメッセージを警告表示エリアＭに表示しても良い。

ステップＳ２０７において、カメラ１は、十字釦１８が操作されたか（十字釦１８から操作信号か入力されたか）否かを判定する。十字釦１８が操作された場合（ステップＳ２０７：Ｙｅｓ）、カメラ１は、表示部２６に表示する画像を変更する（ステップＳ２２０）。具体的には、カメラ１は、十字釦１８の内の上釦１８ａから信号が入力された場合、１０コマ前の画像に対応する画像データを記録媒体２４５から読み出す。また、下釦１８ｂから信号が入力された場合、１０コマ後の画像に対応する画像データを記録媒体２４５から読み出す。また、左釦１８ｃから信号が入力された場合、１コマ前の画像に対応する画像データを記録媒体２４５から読み出す。さらに、右釦１８ｄから信号が入力された場合、１コマ後の画像に対応する画像データを記録媒体２４５から読み出す。

一方、十字釦１８が操作されない場合（ステップＳ２０７：Ｎｏ）、カメラ１は、拡大釦１３ａ又は縮小釦１３ｂが操作されたか否かを判定する（ステップＳ２０８）。拡大釦１３ａ又は縮小釦１３ｂが操作された場合（ステップＳ２０８：Ｙｅｓ）、カメラ１は、表示部２６に表示する画像の表示範囲を変更する（ステップＳ２３０）。具体的には、カメラ１は、拡大釦１３ａから信号が入力された場合、表示部２６に表示されている画像の表示範囲を中央部の所定範囲に縮小し、該所定範囲を表示部２６に拡大表示する。一方、カメラ１は、縮小釦１３ｂから信号が入力された場合、表示部２６に表示される画像の範囲を外周側の所定範囲に拡大し、該所定範囲を表示部２６に縮小表示する。このとき、既に表示部２６に画像が等倍表示されている場合には、カメラ１は、サムネイル画像を複数枚並べて（例えば、２行２列、３行３列、４行４列等に配置）表示するインデックス画像表示（後述する図２２参照）を行う。さらに、カメラ１は、十字釦１８からの信号を検出した場合、検出した釦（上釦１８ａ、下釦１８ｂ、左釦１８ｃ、右釦１８ｄ）の向きに応じて、表示部２６に表示される画像の表示範囲を移動させる。

拡大釦１３ａ又は縮小釦１３ｂが操作されない場合（ステップＳ２０８：Ｎｏ）、カメラ１は、編集釦１７が操作されたか否かを判定する（ステップＳ２０９）。編集釦１７が操作された場合（ステップＳ２０９：Ｙｅｓ）、カメラ１は、表示中の画像から検出された顔の目線をマニュアル編集する（ステップＳ２５０）。

一方、編集釦１７が操作されることなく（ステップＳ２０９：Ｎｏ）、目線釦１６が操作された場合（ステップＳ２１０：Ｙｅｓ）、カメラ１は、表示中の画像において検出された顔の目線を自動又は一括編集する（ステップＳ２７０）。

その後、再生釦１４が操作された場合（ステップＳ２１１：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。一方、再生釦１４が操作されない場合（ステップＳ２１１：Ｎｏ）、カメラ１の動作はステップＳ２０２に戻る。

次に、目線のマニュアル編集（ステップＳ２５０）について、図１０を参照しながら詳細に説明する。図１０は、カメラ１の目線のマニュアル編集動作を示すフローチャートである。なお、以下においては、例として、図９に示す画像Ｇ１に対する処理を説明する。

まず、ステップＳ２５１において、カメラ１は、ユーザの指やタッチペン等の物体によりタッチパネル１２がタッチされたか否かを判定する。タッチパネル１２がタッチされた場合（ステップＳ２５１：Ｙｅｓ）、続いてカメラ１は、画像Ｇ１に表示された顔のいずれかがタッチされたか否かを判定する（ステップＳ２５２）。詳細には、目線編集処理部２３０が、タッチされた位置座標が顔検出枠ａ₀₁〜ａ₀₅のいずれの範囲に含まれるかを判定する。

いずれかの顔がタッチされた場合（ステップＳ２５２：Ｙｅｓ）、瞳編集部２３０ｇは、タッチされた顔の目領域情報を取得する（ステップＳ２５３）。詳細には、顔選択部２３０ｆが、タッチされた位置座標が含まれる顔検出枠を選択し、瞳編集部２３０ｇが、選択された顔検出枠に対応する目領域情報を取得する。なお、この際、顔検出枠合成部２３０ｅは、選択された顔検出枠の表示属性を変化させ、選択中の顔検出枠をユーザが認識できるようにしても良い。例えば、選択された顔検出枠の線幅を太くしたり、点滅表示したりすると良い。

ステップＳ２５４において、カメラ１は、タッチパネル１２に対して物体によるタッチの移動があったか否かを判定する。タッチの移動があった場合（ステップＳ２５４：Ｙｅｓ）、瞳編集部２３０ｇは、タッチの軌跡に応じて、瞳領域を編集する（ステップＳ２５５）。

具体例として、図６に示す画像Ｇ１において顔検出枠ａ₀₅に対応する被写体像Ｆ₀₅が選択された場合を説明する。図１１は、顔検出枠ａ₀₅の領域の拡大図である。なお、瞳領域を編集する際には、ステップＳ２０８において拡大釦１３ａを操作し、予め画像を拡大表示しておくと良い（ステップＳ２３０）。

図１１に示すように、右の瞳領域Ｐ_R及び左の瞳領域Ｐ_Lは、それぞれ、右の目領域Ｅ_R及び左の目領域Ｅ_Lの端部にあるため、顔Ｆ₀₅は、目線が正面を向いていないように見える。

このような画像に対し、ユーザが物体（図１１においては自身の指）２によって一方の瞳領域（図１１においては右側の瞳領域Ｐ_R）にタッチし、タッチの位置を水平方向に移動させる操作を行う。これに応じて、瞳編集部２３０ｇは、タッチされた瞳領域をタッチの軌跡に応じた位置に移動させる。具体的な画像処理は、以下のとおりである。まず、瞳編集部２３０ｇは、図１２（ａ）に示すように、当初の瞳領域Ｐ_Rを周囲の白色と同じ色で塗りつぶす。続いて、図１２の（ｂ）に示すように、タッチの移動が停止した座標を中心とし、当初の瞳領域Ｐ_Rの半径ｒを半径とする円を描画し、当初の瞳領域Ｐ_Rと同じ色で塗りつぶす。これが移動後の瞳領域Ｐ_Rとなる。なお、瞳領域Ｐ_Rの移動可能な範囲は目領域Ｅ_R内に限定される。そのため、瞳編集部２３０ｇは、タッチの軌跡が目領域Ｅ_Rを超過した場合、瞳領域Ｐ_Rを移動させる処理を実行しない。或いは、このような場合、超過した側の目領域Ｅ_Rの端部に瞳領域Ｐ_Rを配置しても良い。

ここで、一般的に、目領域Ｅ_Rの中央付近における幅ｈ_cは、端部付近における幅ｈ_ｅよりも大きい。そのため、目領域Ｅ_Rの端部にあった瞳領域Ｐ_Rを、幅ｄ₁のまま中央付近に移動させると、瞳領域Ｐ_Rの上下に目領域Ｅ_Rとの隙間ｇａｐ₁、ｇａｐ₂が生じてしまう。そこで、瞳編集部２３０ｇは、瞳領域Ｐ_Rを幅ｈ_cに合わせて拡大し、又は、瞳領域Ｐ_Rの周囲を瞳領域Ｐ_Rの端部領域と同じ色で描画して拡張することにより、目領域Ｅ_Rとの隙間ｇａｐ₁、ｇａｐ₂が補間された瞳領域Ｐ_R’を生成する（図１２（ｃ）参照）。

さらに、瞳編集部２３０ｇは、タッチされた側とは反対側（図１１においては左側）の瞳領域Ｐ_Lを、瞳領域Ｐ_Rと連動させ水平方向に移動させる。このとき、瞳領域Ｐ_Lの位置は、瞳領域Ｐ_Lの中心から目領域Ｅ_Lの両端までの距離の比率が、瞳領域Ｐ_R’の中心Ｃから目領域Ｅ_Rの両端までの距離Ｌ₁、Ｌ₂の比率と等しくなるように決定される。それにより、右目と左目における目線の方向が揃えられる。また、移動後の瞳領域Ｐ_Lの上下に目領域Ｅ_Lとの隙間が生じる場合には、瞳領域Ｐ_Lを拡大又は拡張して、目領域Ｅ_Lとの間の隙間が補間された瞳領域Ｐ_L’を生成する。それにより、顔Ｆ₀₅の目線を正面に向けることができる。

ステップＳ２５６において、カメラ１は、目線編集処理部２３０によって編集された編集画像を表示部２６に表示する。また、この際に、顔検出枠合成部２３０ｅは、編集後の顔に合成される顔検出枠の表示属性を変更する（図８参照）。図１３は、顔Ｆ₀₅の瞳領域が編集された画像を示している。図１３に示す画像Ｇ２においては、顔Ｆ₀₅に対し、編集後であることを示す例えば一点鎖線（又は一点鎖線且つ黄色等）の顔検出枠ｃ₀₅が合成されている。

ステップＳ２５７において、カメラ１は、決定釦１９が操作されたか否かを判定する。決定釦１９が操作された場合（ステップＳ２５７：Ｙｅｓ）、カメラ１は、編集画像に対応する画像データを、元の画像に対応する画像データとは異なるファイル名で記録媒体２４５に記録する（ステップＳ２５８）。

一方、タッチパネル１２がタッチされない場合（ステップＳ２５１：Ｎｏ）、又はタッチパネル１２上の顔以外の領域がタッチされた場合（ステップＳ２５２：Ｎｏ）、編集釦１７が操作された際に（ステップＳ２６１：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。一方、編集釦１７が操作されない場合（ステップＳ２６１：Ｎｏ）、カメラ１は、タッチパネル１２がタッチされるのを待機する。

また、タッチの移動が検出されない場合（ステップＳ２５４：Ｎｏ）、又は、決定釦１９が操作されない場合（ステップＳ２５７：Ｎｏ）、編集釦１７が操作された際に（ステップＳ２６２：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。この場合、瞳位置の編集は破棄される。

一方、編集釦１７が操作されない場合（ステップＳ２６２：Ｎｏ）、カメラ１の動作はステップＳ２５４に戻る。この場合、ユーザは、タッチパネル１２に対するタッチ操作により、瞳位置を再度編集することができる。瞳編集部２３０ｇは、２回目以降に瞳編集処理を行う際、１回目にタッチされた側と同じ側の瞳領域（上記説明においては、右側の瞳領域Ｐ_R）に対するタッチの移動操作があった場合、タッチの軌跡に応じてタッチされた側の瞳領域を移動させると共に、他方の瞳領域も連動して移動させる。一方、瞳編集部２３０ｇは、１回目にタッチされた側とは反対側の瞳領域（上記説明においては、左側の瞳領域Ｐ_L）に対するタッチの移動操作があった場合、タッチの軌跡に応じてタッチされた側の瞳領域のみを移動させ、もう一方は連動させない。これにより、ユーザは、他方の瞳領域（瞳領域Ｐ_R）へのタッチ操作に連動して移動した瞳領域（瞳領域Ｐ_L）の位置を微調整することができる。

次に、目線の自動又は一括編集（ステップＳ２７０）について、図１４及び図１５を参照しながら詳細に説明する。図１４は、目線の自動又は一括編集を選択するためのメニュー画面の表示例である。また、図１５は、カメラ１の目線の自動又は一括編集動作を示すフローチャートである。なお、以下においては、例として、図９に示す画像Ｇ１に対する処理を説明する。

ステップＳ２７１において、カメラ１は、表示中の画像に対する目線編集メニューを表示部２６に表示する。図１４に示す目線編集メニューＭ₁には、各顔の目線を個別に自動編集するモード（個別自動編集モード）を選択するためのアイコンＩ₁と、全ての顔の目線を自動編集するモード（全自動編集モード）を選択するためのアイコンＩ₂と、全ての顔の目線を一括してマニュアル編集するモード（マニュアル一括編集モード）を選択するためのアイコンＩ₃と、キャンセルアイコンＩ₄とが表示されている。ユーザは、このような目線編集メニューＭ₁に対し、上釦１８ａ、下釦１８ｂ、及び決定釦１９に対する操作や、タッチパネル１２に対するタッチ操作により、所望のアイコンＩ₁〜Ｉ₄を選択することができる。それにより、ユーザ所望の目線編集モードを選択する選択信号が入力される。

カメラ１は、個別自動編集モードの選択信号を検出した場合（ステップＳ２７２：Ｙｅｓ）、続いて、タッチパネル１２がタッチされたか否かを判定する（ステップＳ２７３）。タッチパネル１２がタッチされた場合（ステップＳ２７３：Ｙｅｓ）、さらにカメラ１は、よそ見していると判定された顔がタッチされたか否かを判定する（ステップＳ２７４）。具体的には、目線編集処理部２３０は、タッチされた位置座標が、顔検出枠ｂ₀₁、ｂ₀₄、ｂ₀₅のいずれの範囲に含まれるかを判定する。

よそ見していると判定された顔がタッチされた場合（ステップＳ２７４：Ｙｅｓ）、目線編集処理部２３０は、タッチされた顔の瞳領域を自動編集する（ステップＳ２７５）。詳細には、まず、顔選択部２３０ｆが、タッチされた顔を選択し、瞳位置算出部２３０ｃが、選択された顔の目領域の中心座標を算出する。続いて瞳編集部２３０ｇが、瞳領域の中心座標が、目領域の中心座標と一致するように、瞳領域を水平方向に移動させる。なお、具体的な画像処理については、ステップＳ２５４において説明したものと同様である。さらに、瞳編集部２３０ｇは、瞳領域と目領域との間に隙間が生じる場合に、瞳領域を拡大又は拡張して隙間を補間する（図１２（ｃ）参照）。

ステップＳ２７６において、カメラ１は、瞳編集部２３０ｇによって編集された編集画像を表示部２６に表示する。また、この際に、顔検出枠合成部２３０ｅは、瞳領域の編集後の顔に合成される顔検出枠の表示属性を変更する。それにより、顔Ｆ₀₅の瞳領域が自動編集された画像が生成される。このとき、顔Ｆ₀₅に対しては、図１３と同様に、編集後であることを示す例えば一点鎖線（又は一点鎖線且つ黄色等）の顔検出枠ｃ₀₅が合成される。

ステップＳ２７７において、カメラ１は、決定釦１９が操作されたか否かを判定する。決定釦１９が操作された場合（ステップＳ２７７：Ｙｅｓ）、カメラ１は、編集画像に対応する画像データを、元の画像に対応する画像データとは異なるファイル名で記録媒体２４５に記録する（ステップＳ２７８）。

一方、タッチパネル１２がタッチされない場合（ステップＳ２７３：Ｎｏ）、目線が外れた顔がタッチされない場合（ステップＳ２７４：Ｎｏ）、又は、決定釦１９が操作されない場合（ステップＳ２７７：Ｎｏ）、カメラ１は、編集釦１７が操作されたか否かを判定する（ステップＳ２７９）。編集釦１７が操作された場合（ステップＳ２７９：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。一方、編集釦１７が操作されない場合（ステップＳ２７９：Ｎｏ）、カメラ１の動作はステップＳ２７３に戻る。

ステップＳ２７２において個別自動編集モードの選択信号が検出されない場合（ステップＳ２７２：Ｎｏ）、カメラ１は、全自動編集モードの選択信号が検出されたか否かを判定する（ステップＳ２８０）。

全自動編集モードの選択信号が検出された場合（ステップＳ２８０：Ｙｅｓ）、目線編集処理部２３０は、よそ見している全ての顔に対し、瞳領域の位置の自動編集を行う（ステップＳ２８１）。詳細には、まず顔選択部２３０ｆが、よそ見している全ての顔（図９においては、顔Ｆ₀₁、Ｆ₀₄、Ｆ₀₅）を選択し、瞳位置算出部２３０ｃが、選択された各顔の目領域の中心座標を算出する。続いて瞳編集部２３０ｇが、各顔に対して、瞳領域の中心座標が、目領域の中心座標と一致するように、瞳領域を水平方向に移動させる。なお、具体的な画像処理については、ステップＳ２５４において説明したものと同様である。さらに、瞳編集部２３０ｇは、瞳領域と目領域との間に隙間が生じる場合に、瞳領域を拡大又は拡張して隙間を補間する（図１２（ｃ）参照）。

ステップＳ２８２において、カメラ１は、瞳編集部２３０ｇによって編集された編集画像を表示部２６に表示する。また、この際に、顔検出枠合成部２３０ｅは、瞳領域の編集後の顔に合成される顔検出枠の表示属性を変更する。図１６は、顔Ｆ₀₁、Ｆ₀₄、Ｆ₀₅の瞳領域が自動編集された画像を示す。図１６に示す画像Ｇ３においては、顔Ｆ₀₁、Ｆ₀₄、Ｆ₀₅に対し、編集後であることを示す例えば一点鎖線（又は一点鎖線且つ黄色等）の顔検出枠ｃ₀₁、ｃ₀₄、ｃ₀₅が合成されている。

ステップＳ２８３において、カメラ１は、決定釦１９が操作された否かを判定する。決定釦１９が操作された場合（ステップＳ２８３：Ｙｅｓ）、カメラ１の動作はステップＳ２７８に移行する。一方、決定釦１９が操作されない場合（ステップＳ２８３：Ｎｏ）、続いてカメラ１は、編集釦１７が操作されたか否かを判定する（ステップＳ２８４）。編集釦１７が操作された場合（ステップＳ２８４：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。この場合、瞳領域の編集は破棄される。一方、編集釦１７が操作されない場合（ステップＳ２８４：Ｎｏ）、カメラ１の動作はステップＳ２８３に戻る。

ステップＳ２８０において全自動編集モードの選択信号が検出されない場合（ステップＳ２８０：Ｎｏ）、カメラ１は、マニュアル一括編集モードに入る（ステップＳ２８５）。ここで、マニュアル一括編集モードとは、画像内において検出された顔のいずれかに対し、ユーザがマニュアルで瞳領域を編集した場合に、他の全ての顔に対して同様の編集がなされる編集モードのことである。

この場合、ステップＳ２８６において、カメラ１は、タッチパネル１２がタッチされたか否かを判定する。タッチパネル１２がタッチされた場合（ステップＳ２８６：Ｙｅｓ）、続いてカメラ１は、画像に表示された顔の内のいずれかがタッチされたか否かを判定する（ステップＳ２３０）。詳細には、目線編集処理部２３０が、タッチされた位置座標が顔検出枠ｂ₀₁、ａ₀₂、ａ₀₃、ｂ₀₄、ｂ₀₅のいずれの範囲に含まれるのかを判定する。

いずれかの顔がタッチされた場合（ステップＳ２８７：Ｙｅｓ）、瞳編集部２３０ｇは、タッチされた顔の目領域情報を取得する（ステップＳ２８８）。詳細には、顔選択部２３０ｆが、タッチされた位置座標が含まれる顔検出枠を選択し、瞳編集部２３０ｇが、選択された顔検出枠に対応する目領域情報を取得する。

続くステップＳ２８９において、カメラ１は、タッチパネル１２に対してタッチの移動があったか否かを判定する。タッチの移動があった場合（ステップＳ２８９：Ｙｅｓ）、瞳編集部２３０ｇは、タッチの軌跡に応じて瞳領域を編集する（ステップＳ２９０）。なお、ステップＳ２９０における詳細な処理は、ステップＳ２５５と同様である。

ステップＳ２９１において、瞳編集部２３０ｇは、さらに、選択された顔に対する瞳領域の編集と同様にして、他の全ての顔の瞳領域の編集を行う。詳細には、瞳編集部２３０ｇは、編集済みの瞳領域の中心と目領域の両端との距離Ｌ₁、Ｌ₂を取得し（図１２（ｃ）参照）、両者の比率Ｌ₁／Ｌ₂を算出する。そして、他の顔においても、瞳領域の中心と目領域の両端の比率が同じ比率Ｌ₁／Ｌ₂となるように瞳領域を移動させる。さらに、瞳編集部２３０ｇは、瞳領域と目領域との間に隙間が生じる場合には、瞳領域を拡大又は拡張して隙間を補間する（図１２（ｃ）参照）。

ステップＳ２９２において、カメラ１は、瞳編集部２３０ｇにおいて編集された編集画像を表示部２６に表示する。また、この際に、顔検出枠合成部２３０ｅは、瞳領域の編集後の顔に合成される顔検出枠の表示属性を変更する。図１７は、全ての顔Ｆ₀₁〜Ｆ₀₅の目線が右方向（紙面に向かって左方向）を向くように編集された画像を示す。図１７に示す画像Ｇ４においては、顔Ｆ₀₁〜Ｆ₀₅に対し、編集後であることを示す例えば一点鎖線（又は一点鎖線且つ黄色等）の顔検出枠ｃ₀₁〜ｃ₀₅が合成されている。

ステップＳ２９３において、カメラ１は、決定釦１９が操作されたか否かを判定する。決定釦１９が操作された場合（ステップＳ２９３：Ｙｅｓ）、カメラ１の動作はステップＳ２７８に移行する。

一方、タッチパネル１２がタッチされない場合（ステップＳ２８６：Ｎｏ）、又は、顔に対するタッチがない場合（ステップＳ２８７：Ｎｏ）、カメラ１は、編集釦１７が操作されたか否かを判定する（ステップＳ２９４）。編集釦１７が操作された場合（ステップＳ２９４：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。一方、編集釦１７が操作されない場合（ステップＳ２９４：Ｎｏ）、カメラ１は、タッチパネル１２がタッチされるのを待機する。

また、タッチの移動がない場合（ステップＳ２８９：Ｎｏ）、又は、決定釦１９が操作されない場合（ステップＳ２９３：Ｎｏ）、カメラ１は、編集釦１７が操作されたか否かを判定する（ステップＳ２９５）。編集釦１７が操作された場合（ステップＳ２９５：Ｙｅｓ）、カメラ１の動作はメインルーチンに戻る。一方、編集釦１７が操作されない場合（ステップＳ２９５：Ｎｏ）、カメラ１の動作はステップＳ２８６に戻る。

以上説明したように、実施の形態１によれば、画像から検出された顔の目領域に対して瞳領域を移動させるので、被写体像の目線が所望の方向を向いた画像を生成することが可能となる。

また、実施の形態１によれば、目線を個別にマニュアル編集するモードにおいて、タッチパネル１２へのタッチ操作により、瞳領域を所望の位置に移動させるので、瞳領域の位置の微調整が可能となる。また、最初にタッチした側の瞳領域と連動して、タッチしなかった側の瞳領域を移動させるので、左右の目線を簡単に揃えることができる。さらに、タッチしなかった側の瞳領域を移動させる際には、他方の瞳領域を固定しておくので、目線の微妙な調節が可能となる。

また、実施の形態１によれば、目線を自動編集するするモードにおいて、瞳領域を目領域の中央に配置するので、簡単な操作により目線を正面に向けることができる。

なお、上記実施の形態１においては、タッチパネル１２に対するタッチにより、編集対象の顔を選択したが、十字釦１８及び決定釦１９の操作によって顔検出枠を選択することにより、編集対象の顔を選択しても良い。

（変形例１−１）
実施の形態１においては、目線をマニュアル編集する際に、直接指やタッチペン等により瞳領域を直接タッチして移動させたが、移動させたい瞳領域とタッチの位置とは必ずしも一致していなくても良い。例えば、図１８に示すように、編集対象の顔Ｆ₀₅以外の領域（顔Ｆ₀₅の近傍又はタッチパネル１２上の所定領域）に、瞳領域の編集用のタッチ領域Ａ_Ｔを設けても良い。この場合、ユーザが、予め編集対象の顔（例えば顔Ｆ₀₅）をタッチして編集位置を指定した後、編集用のタッチ領域Ａ_Tに対するタッチ操作を行うと、瞳編集部２３０ｇは、タッチ領域Ａ_Ｔへのタッチの軌跡に応じて、編集対象の顔（顔Ｆ₀₅）における瞳領域（例えば瞳領域Ｐ₀₅）を移動させる。この変形例１によれば、ユーザは、自身の指等に妨げられることなく、瞳領域Ｐ₀₅を観察しながらタッチ位置を移動させることができるので、瞳領域Ｐ₀₅の微調整を容易に行うことができる。

（変形例１−２）
目線をマニュアル編集する際には、タッチパネル１２以外の操作部材を用いて瞳領域を移動させても良い。例えば、十字釦１８に対する釦操作により、移動させる瞳領域の選択並びに移動方向及び移動量の入力を行っても良いし、マウスやタッチパッド等のポインティングデバイスを別途設け、それらのポインティングデバイスによって瞳領域の選択及び移動を行っても良い。

（変形例１−３）
目線編集処理部２３０は、目線のマニュアル編集モード（ステップＳ２５０）において、ユーザがマニュアルで編集した瞳領域に対し、編集後の画像が自然に見えるか否かを判定し、不自然に見える場合にはその旨をユーザに通知しても良い。

例えば、図７において、瞳領域Ｐ_R、Ｐ_Lの中心Ｃ_R、Ｃ_Lが共に、それぞれの目領域Ｅ_R、Ｅ_Lの中心よりも外側にあるとすれば、左右それぞれの目線が離れ、互いに外側を見ているようで不自然に見える。このような画像が生成されるのを防ぐため、目線判定部２３０ｄは、瞳領域Ｐ_R、Ｐ_Lの中心Ｃ_R、Ｃ_Lから目領域Ｅ_R、Ｅ_Lの両端までの距離Ｌ_R(OUT)、Ｌ_R(IN)、Ｌ_L(IN)、Ｌ_L(OUT)を取得し、次式（３）及び（４）を用いて判定を行う。
Ｌ_R(OUT)／（Ｌ_R(OUT)＋Ｌ_R(IN)）＜０．５ …（３）
Ｌ_L(OUT)／（Ｌ_L(OUT)＋Ｌ_L(IN)）＜０．５ …（４）

編集後の瞳領域の位置が式（３）及び（４）を共に満たす場合、不自然な画像となる。そこで、上式（３）及び（４）を満たすような編集がなされた場合、目線編集処理部２３０は、編集された顔に合成される顔検出枠の表示属性を変更したり、警告メッセージを表示部２６に表示したりする。

（変形例１−４）
上記実施の形態１においては、画像内の顔の目線を正面に向けることとしたが、目線を正面以外の方向に向けても良い。
この場合、目線のマニュアル編集モードにおいては、編集対象の顔において、タッチ操作により瞳領域Ｐ_R（又はＰ_L）を所望の位置に移動させれば良い。

また、目線の自動又は一括編集モードにおいては、例えば、図９に示す画像Ｇ１において、目線がユーザ所望の方向を向いた顔（例えば、目線を右方向に向けた顔Ｆ₀₁）をタッチにより選択すると、他の全ての顔（例えば、顔Ｆ₀₂〜Ｆ₀₅）が選択された顔と同じ方向に目線が向くように瞳領域を編集しても良い。この場合、選択されなかった顔における瞳領域の中心と目領域の両端との距離の比率が、選択された顔における瞳領域の中心と目領域の両端との距離の比率と等しくなるように、瞳領域を編集すれば良い。

（変形例１−５）
実施の形態１においては、画像に合成される顔検出枠の表示属性を異ならせることにより、目線の判定結果をユーザに通知したが、これ以外にも、様々な手段により目線の判定結果をユーザに通知することとしても良い。例えば、目線が正面を向いていないと判定された顔に対して警告マークを合成して表示したり、白目の部分を着色して印象付ける警告表示をしても良い。

（変形例１−６）
実施の形態１においては、目領域における瞳領域の水平方向における位置に基づいて、被写体像の目線が正面を向いているか否かを判定したが、水平方向と共に、水平方向と直交する方向（以下、上下方向という）における瞳領域の位置に基づいて、目線の向きを判定するようにしても良い。この場合、水平方向のよそ見だけでなく、上下方向のよそ見を判別することができる。また、上下方向によそ見している目線を編集する際には、瞳領域を目領域の上下方向における略中央の位置に移動させれば良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１９は、実施の形態２に係る撮像装置が備える目線編集処理部の構成を示すブロック図である。図１９に示すように、目線編集処理部２３０−２は、図３に示す目線編集処理部２３０に対して、警告表示合成部２３０ｈをさらに備える。

なお、実施の形態２に係る撮像装置全体の構成については、図１及び図２に示すカメラ１と同様である。また、実施の形態２に係る撮像装置の全体の動作及び再生動作については、図４及び図５に示すものと同様である。

図２０は、実施の形態２に係る撮像装置のライブビュー表示動作（図４のステップＳ０６）を示すフローチャートである。
まず、ステップＳ３０１において、画像処理回路２２９は、撮像素子２２１から出力された画像信号を取り込む。

続くステップＳ３０２において、画像処理回路２２９は、取り込んだ画像信号に対して所定の画像処理を施し、一定の微小な時間間隔で連続的に再生される表示用の画像データを生成する。
ステップＳ３０３において、顔検出部２３０ａは、画像処理が施された各画像から顔を検出し、検出した顔に対応する顔範囲情報を生成する。

顔検出の結果、画像から１つ以上の顔が検出された場合（ステップＳ３０４：Ｙｅｓ）、目領域検出部２３０ｂは、顔範囲情報に基づいて、各顔から目領域及び瞳領域を検出し、目領域情報を生成する（ステップＳ３０５）。

ステップＳ３０６において、目線判定部２３０ｄは、目領域情報に基づいて、各顔の目線が正面を向いているか否かの判定を行う。なお、目線の判定方法の詳細は、ステップＳ２０５と同様である。

ステップＳ３０７において、顔検出枠合成部２３０ｅは、目線の判定結果に応じた表示属性を有する顔検出枠（図８参照）を生成し、画像に合成する。なお、顔検出枠合成部２３０ｅは、目線判定部２３０ｄの判定結果に応じた警告表示を画像に合成する警告表示合成手段としても作用する。

目線の判定の結果、目線が正面から外れている（よそ見している）顔があった場合（ステップＳ３０８：Ｙｅｓ）、警告表示合成部２３０ｈは、よそ見している人がいる旨を警告する警告表示を生成し、画像に合成する（ステップＳ３０９）。その際に、警告表示合成部２３０ｈは、よそ見している人数を警告表示に含めても良い。具体的には、警告表示合成部２３０ｈは、例えば図９に示す警告表示エリアＭ内に表示するための「よそ見をしている人がｎ人います。」といった警告文を作成する。

ステップＳ３１０において、表示部２６は、顔表示枠及び警告表示が合成された画像をライブビュー画像として表示する。例えば図９に示す画像Ｇ１の場合、顔Ｆ₀₁、Ｆ₀₄、Ｆ₀₅の目線が正面から外れているため、これらの顔Ｆ₀₁、Ｆ₀₄、Ｆ₀₅に対応する顔検出枠ｂ₀₁、ｂ₀₄、ｂ₀₅は、よそ見を表す例えば破線（又は破線且つ赤色等）で表示される。また、画像Ｇ１右上の警告表示エリアＭには、よそ見している人が存在する旨の警告が表示される。この警告には、よそ見している人数ｎ（即ち、よそ見に対応する属性を有する顔検出枠の数。画像Ｇ１においてはｎ＝３）も含まれる。

一方、画像から顔が検出されなかった場合（ステップＳ３０４：Ｎｏ）、又は、よそ見している顔が検出されなかった場合（ステップＳ３０８：Ｎｏ）、動作はステップＳ３１０に移行する。

このようなライブビュー画像においては、被写体の目線の状態に応じて、警告表示の有無又は内容（例えば、メッセージエリアＭ内の警告文に記載された人数ｎ）が刻々と変化する。そのため、ユーザは、警告表示を参照し、警告表示が表示されなくなった（即ち、目線の外れた人がいなくなった）タイミング、又は、警告表示中のよそ見をしている人数ｎが少なくなったタイミングで、レリーズ釦１０を操作して撮像を行うことができる。また、警告表示においては、目線の外れた人数に応じて警告文の表示色を赤色や緑色等に変更しても良い。例えば、目線の外れた人数が２人以上のときは赤色、１人のときは緑色というように表示色を変化させると、ユーザは警告の内容（人数ｎ）を即座に把握することができ、レリーズ釦１０を適切なタイミングで操作することが可能となる。

（変形例２）
次に、変形例２について説明する。図２１は、変形例２に係る撮像装置が備える画像処理回路の構成を示すブロック図である。
図２１に示すように、変形例２に係る画像処理回路２２９−２は、目線編集処理部２３０−２に加えて、警告情報付加部２３０−３及び画像選択部２３０−４を更に備える。

警告情報付加部２３０−３は、ライブビュー画像に警告表示がなされているタイミングで第２レリーズスイッチがオンされた場合に、よそ見している人がいる旨の警告情報を、当該画像データに付加する。
画像選択部２３０−４は、操作釦群１３ａ〜１９による操作入力に従って、記録媒体２４５に記録されている画像データから、上記警告情報に基づいて画像データを選択する。

具体的には、画像選択部２３０−４は、撮像された画像を再生表示する際に、例えば、警告情報が付加された画像データのみを選択する。これに応じて、ビデオ信号出力回路２３３は、選択された画像データに対応する画像を、表示部２６に順次表示又は一覧表示する。図２２は、警告情報が付加された画像Ｇ１１〜Ｇ１４を一覧表示（インデックス表示）した例を示す模式図である。なお、このとき、画像Ｇ１１〜Ｇ１４において、よそ見していると判定された顔に対して合成された顔検出枠を表示しても良い。

この場合、ユーザは、目線の編集が必要な画像のみを観察することができるので、効率的に目線の編集作業を行うことができる。或いは、ユーザは、目線が外れている画像のみを容易に選択して削除等することができる。
また、この場合、全ての顔について目領域及び瞳領域の検出が既になされているので、目線編集処理を高速に行うことができる。

一方、画像選択部２３０−４に、警告表示が付加されていない画像データのみを選択させるようにしても良い。この場合、表示部２６には、警告情報が付加されていない（即ち、よそ見している人が検出されなかった）画像のみが、順次表示又は一覧表示される。図２３は、警告情報が付加されていない画像Ｇ２１〜Ｇ２４を一覧表示した例を示す模式図である。
この場合、ユーザは、目線の編集が不要な画像のみを効率的に観察することができる。

なお、上記実施の形態２及び変形例２においては、被写体の目線が正面を向いているか否かを判定したが、評価値Ｗの算出式や判定に用いられる閾値を変更することにより、被写体の目線が所望の方向を向いているか否かの判定を行うこともできる。

以上説明した実施の形態１及び２においては、撮像装置１をデジタルカメラとして説明したが、例えば一眼デジタルスチールカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮影機能を備えた各種電子機器に適用することができる。

１ 撮像装置（カメラ）
１０ レリーズ釦
１１ モードダイヤル
１２ タッチパネル
１３ａ 拡大釦
１３ｂ 縮小釦
１４ 再生釦
１５ メニュー釦
１６ 目線釦
１７ 編集釦
１８ 十字釦
１８ａ 上釦
１８ｂ 下釦
１８ｃ 左釦
１８ｄ 右釦
１９ 決定釦
２０ パワースイッチ
２６ 表示部
２９ アクセサリーポート
１００ 交換レンズ
１０１ 撮影光学系
１０１ａ、１０１ｂ 撮影レンズ
１０５ 光学位置検出機構
１０７ 光学系駆動機構
１０９ 絞り駆動機構
１１０ エンコーダ
１１１ レンズコントローラ
１１２ 距離環
２００ カメラ本体
２０３ シャッタ
２０５ 防塵フィルタ
２０７ 圧電素子
２０９ 赤外カットフィルタ
２１０ 光学的ローパスフィルタ
２１１ 防塵フィルタ駆動回路
２１３ シャッタ駆動機構
２１５ 気圧センサユニット
２２１ 撮像素子
２２３ 撮像素子駆動回路
２２５ 前処理回路
２２６ コントラストＡＦ回路
２２７ シーケンスコントローラ
２２９ 画像処理回路
２３０、２３０−２ 目線編集処理部
２３０ａ 顔検出部
２３０ｂ 目領域検出部
２３０ｃ 瞳位置算出部
２３０ｄ 目線判定部
２３０ｅ 顔検出枠合成部
２３０ｆ 顔選択部
２３０ｈ 警告表示合成部
２３０ｇ 瞳編集部
２３０−３ 警告情報付加部
２３０−４ 画像選択部
２３１ 圧縮伸張回路
２３３ ビデオ信号出力回路
２３５ 表示部駆動回路
２３７ ＳＤＲＡＭ制御回路
２３９ 入出力回路
２４１ 通信回路
２４３ 記録媒体制御回路
２４５ 記録媒体
２４７ フラッシュメモリ制御回路
２４９ フラッシュメモリ
２５３ スイッチ検知回路
２５９ 着脱検知スイッチ
２６１ データバス
２９０ 撮像素子ユニット
２９２ ブレ補正駆動機構
２９４ アクチュエータ駆動回路
２９７ ブレ検出部
２９７ａ 角速度センサ
２９７ｂ 角速度検出回路
３００ 通信接点

Claims (10)

1. 被写体の電子的な画像データに対応する画像を表示する表示手段と、
   前記画像から顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出手段と、
   前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、
   前記タッチパネルに対する前記瞳の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集手段と、
   前記瞳編集手段によって編集された画像データを記録する記録手段と、
   を備えることを特徴とする画像記録装置。
2. 被写体の電子的な画像データに対応する画像を表示する表示手段と、
   前記画像から顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出手段と、
   前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、
   前記タッチパネルに対する前記瞳の領域以外の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集手段と、
   前記瞳編集手段によって編集された画像データを記録する記録手段と、
   を備えることを特徴とする画像記録装置。
3. 前記瞳編集手段は、前記タッチパネルにより一方の瞳の領域を移動させる信号が入力された場合に、他方の瞳の領域を連動させて移動させることを特徴とする請求項１または２に記載の画像記録装置。
4. 前記瞳編集手段は、前記一方の瞳の領域に連動して前記他方の瞳の領域を移動させた後、前記タッチパネルにより前記他方の瞳の領域を移動させる信号が入力された場合に、前記一方の瞳の領域を連動させないで、前記他方の瞳の領域のみを移動させることを特徴とする請求項３に記載の画像記録装置。
5. 前記瞳編集手段は、前記瞳の領域を移動させた後、前記瞳の領域の上下に前記目の領域との隙間が生じた場合に、前記瞳の領域を拡大又は拡張することにより前記隙間を補間することを特徴とする請求項３または４に記載の画像記録装置。
6. 撮影レンズを介して被写体を撮像して電子的な画像データを取得する撮像手段と、
   撮影指示を行うレリーズ手段と、
   をさらに備え、
   前記記録手段は、前記レリーズ手段による撮影指示に従って撮影を行うことにより取得された画像に対応する画像データを記録すると共に、前記瞳編集手段によって編集された画像に対応する画像データを、元の画像データとは異なるファイル名で記録することを特徴とする請求項１〜５のいずれか１項に記載の画像記録装置。
7. 被写体の電子的な画像データに対応する画像を表示する表示手段と、前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、を備えた画像記録装置が実行する記録方法であって、
   前記画像から顔を検出する顔検出ステップと、
   前記顔検出ステップによって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出ステップと、
   前記タッチパネルに対する前記瞳の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集ステップと、
   前記瞳編集ステップによって編集された画像データを記録する記録ステップと、
   を含むことを特徴とする記録方法。
8. 被写体の電子的な画像データに対応する画像を表示する表示手段と、前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、を備えた画像記録装置に、
   前記画像から顔を検出する顔検出ステップと、
   前記顔検出ステップによって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出ステップと、
   前記タッチパネルに対する前記瞳の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集ステップと、
   前記瞳編集ステップによって編集された画像データを記録する記録ステップと、
   を実行させることを特徴とするプログラム。
9. 被写体の電子的な画像データに対応する画像を表示する表示手段と、前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、を備えた画像記録装置が実行する記録方法であって、
   前記画像から顔を検出する顔検出ステップと、
   前記顔検出ステップによって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出ステップと、
   前記タッチパネルに対する前記瞳の領域以外の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集ステップと、
   前記瞳編集ステップによって編集された画像データを記録する記録ステップと、
   を含むことを特徴とする記録方法。
10. 被写体の電子的な画像データに対応する画像を表示する表示手段と、前記表示手段上に重ねて設けられ、物体がタッチしたタッチ位置を検出し、このタッチ位置およびタッチの軌跡に応じた操作信号の入力を受け付けるタッチパネルと、を備えた画像記録装置に、
    前記画像から顔を検出する顔検出ステップと、
    前記顔検出ステップによって検出された顔の範囲から、目の領域及び瞳の領域を検出する目領域検出ステップと、
    前記タッチパネルに対する前記瞳の領域以外の領域へのタッチの軌跡に基づいて、前記瞳の領域の位置を移動させることを含む編集を行う瞳編集ステップと、
    前記瞳編集ステップによって編集された画像データを記録する記録ステップと、
    を実行させることを特徴とするプログラム。

Images