[go: up one dir, main page]

JP2013070164A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2013070164A
JP2013070164A JP2011206145A JP2011206145A JP2013070164A JP 2013070164 A JP2013070164 A JP 2013070164A JP 2011206145 A JP2011206145 A JP 2011206145A JP 2011206145 A JP2011206145 A JP 2011206145A JP 2013070164 A JP2013070164 A JP 2013070164A
Authority
JP
Japan
Prior art keywords
face
organ
size
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011206145A
Other languages
English (en)
Inventor
Atsuro Okazawa
淳郎 岡澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2011206145A priority Critical patent/JP2013070164A/ja
Priority to US13/612,266 priority patent/US8934040B2/en
Priority to CN201210390373.5A priority patent/CN103024265B/zh
Publication of JP2013070164A publication Critical patent/JP2013070164A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract


【課題】複雑な操作を必要とせずに、操作者の意図通りに領域を指定する。
【解決手段】
動画像中の画像から顔の大きさ及び位置を検出し、前記動画像の表示部に対向して設けられたタッチパネルへの押下位置、顔の位置と大きさ、及び顔の器官位置と大きさとから、押下位置で選択する画像が顔か顔の器官かを判断する。
【選択図】図5

Description

本発明は、画面上に表示された画像の一部の領域を指定する際に、簡単且つ意図通りに領域を指定することのできる技術に関する。
被写体が表示された画面上に備えられたタッチパネルに、操作者がタッチした位置を中心として画面に表示された画像データ上に追尾領域を設定する技術が特許文献1に記載されている。この特許文献1は、モードに応じて、タッチ指定された領域を追尾やフォーカス領域として設定する。この特許文献1では、タッチ指定された領域を認識し、追尾やフォーカスといった撮影機能と関連付けを行っている。
また、フォーカス領域を自動で設定する技術が、例えば特許文献2に記載されている。この特許文献2は、顔部の大きさからフォーカス領域の大きさを切り換えて設定する。また、顔検出した結果、顔がひとつだけであった場合に、更に目鼻口耳を検出したかどうかに応じて、フォーカス領域を顔の中心位置かまたは目の位置に自動で設定する。
特開2011−030008号公報 特開2010−092066号公報
しかしながら、上記のように操作者がタッチパネル上で画像の一部を指定する場合に、操作者の意図通りに指定できない場合がある。例えば、携帯機器のように表示画面が小さいと、操作者がパネル上の位置を正確に指定したつもりでもタッチした位置がずれてしまったり、意図したものと異なる領域を誤って判断されてしまう場合があった。また、操作者の意図通りに指定するためにモードを予め設定したりすると、余計な操作が必要となり、操作性を低下してしまう。
本発明の目的は、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供することにある。
本発明の画像処理装置は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有し、上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、を有する。
本発明の撮像方法は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、上記動画像中の画像から顔の有無を検出し、上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する。
本発明によれば、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供できる。
本発明に係る撮像装置の一実施の構成図 同装置における顔・器官検出部の構成図 同装置における指定位置判定部の構成図 同装置の背面図 同装置における静止画撮影フローチャート 同装置における被写体判断処理フローチャート 同装置における指示位置の表示例(1) 同装置における指示位置の表示例(2) 同装置における指示位置の表示例(3)
(第1の実施形態)
以下、本発明の一実施の形態について図面を参照して説明する。
図1は撮像装置の構成図を示す。撮像装置の装置本体1は、撮像光学系を構成するレンズ系2と、絞り3と、メカシャッター4と、撮像素子5とが設けられている。絞り3及びメカシャッター4は、それぞれ駆動部6の駆動によって動作する。レンズ系2は、フォーカスレンズ系、ズームレンズ系を含み、被写体7からの光学像を絞り3、メカシャッター4を
通して撮像素子5に集光する。この撮像素子5は、レンズ2からの被写体7の像を光電変換し、アナログの画像信号として出力する。この撮像素子5は、例えばCCDやCMOSセンサ等が用いられる。この撮像素子5の出力端子には、アナログ増幅器(A−AMP)8を介してアナログ/デジタル変換器(ADC)9が接続されている。A−AMP8は、撮像素子5から出力されたアナログ画像信号を増幅し、ADC9は、A−AMP8により増幅されたアナログ画像信号をデジタル画像信号に変換する。
装置本体1内には、CPU10が搭載され、このCPU10にバス11を介してADC9と、DRAM12と、ROM13と、フラッシュ(FLASH)メモリ14と、画像処理部15と、ビデオエンコーダ16とが接続されている。又、CPU10には、操作部17が接続されている。上記ビデオエンコーダ16には、ディスプレイ18として例えば内蔵の液晶ディスプレイ(LCD)に接続されている。
上記DRAM12には、ADC9から出力されるデジタル画像信号を一旦保存したり、画像処理部15によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データ等を保存する。
上記ROM13には、CPU10の撮像制御プログラム及び本装置の特徴である画像処理プログラムなどが保存されている。撮像制御プログラムは、CPU10に、撮像素子5から出力されたアナログ画像信号をA/D変換したデジタル画像信号を画像処理し、被写体7の動画をライブビュー画像としてディスプレイ18に表示させ、撮影時に静止画又は動画の画像データを取得してその静止画又は動画をディスプレイ18に表示させると共に、この静止画又は動画をFLASHメモリ14等に記録させる等の装置本体1内の撮影全般の制御を行う。
上記画像処理プログラムは、顔・器官検出部20に、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体7の顔部に対応する第1の画像領域を検出させる顔検出機能と、第1の画像領域から顔部内の少なくとも1つの器官に対応する第2の画像領域を検出させる器官検出機能と、複数の画像データ上での顔部の移動位置に倣って少なくとも1つの器官の画像データ上での画像位置を補正させる顔部補正機能とを実現させる。
この画像処理プログラムのうち顔検出機能は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも1つに関する情報を検出させる。
上記顔部補正機能は、被写体7の顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化、又は上下左右方向に対する傾きの変化のうちいずれか1つに関する情報に基づいて少なくとも1つの器官として眼部、口部又は鼻部の少なくとも座標位置を補正させる。
上記FLASHメモリ14は、画像処理部15にて処理された静止画の画像データ及び動画の画像データをインターフェース部40を介して記録用として保存する。このFLASHメモリ14は、例えば装置本体1に対して外付けのメモリカード、または撮像装置内に設けられた内蔵メモリ等である。
上記操作部17は、撮影者が操作する撮影または再生に関わる操作スイッチが接続され、これら操作スイッチの操作を検出する。具体的には、カメラの撮影モードを切り替える切り替えスイッチや、レリーズボタンの操作によって動作するレリーズスイッチなどを含む。またレリーズスイッチは、一般的な2段階スイッチになっている。つまり、レリーズスイッチは、半押されることで、第1レリーズスイッチがオンして焦点検出や測光を行い、フォーカスレンズの駆動により合焦状態になる。更に、レリーズボタンは、全押しされることで、第2レリーズスイッチがオンして露光が行われる。
上記画像処理部15は、撮像素子5から出力されてA/D変換されたデジタル画像信号を画像処理する。画像処理された画像データは、ビデオエンコーダ16を通して被写体7の動画をライブビュー画像としてディスプレイ18に表示される。
この画像処理部15は、ADC9から出力されるデジタル画像信号に対してライブビュー画像処理を行って撮像時刻の異なる連続した複数の画像データを生成する。
タッチ入力部19は、上記ディスプレイ18上に設けられたタッチパネルからなり、ディスプレイ18に表示された画像に対応した位置へのタッチ操作に応じた位置または動作を検出する。
指定位置判定部30は、検出されたタッチ位置またはタッチ動作、及びディスプレイ18の表示内容に基づいて、操作で指定された位置や動作を決定する。
図2は上記顔・器官検出部20のブロック構成図を示す。この顔・器官検出部20は、顔検出部200と、器官検出部210と、顔部補正部220とを有する。各々は、内部バス23に接続されている。
上記顔検出部200は、DRAM12に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体7における顔の有無と、顔部に対応する第1の画像領域を検出する。具体的には、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも1つに関する情報を検出する。
上記器官検出部210は、顔検出部200により検出される第1の画像領域から顔部内の少なくとも1つの器官、例えば眼部、口部又は鼻部に対応する第2の画像領域を検出する。
これら顔検出部200と器官検出部210とは、互いに非同期で動作する。
上記顔部補正部220は、顔検出部200により検出された複数の画像データ上での顔部の移動位置に追従して器官検出部により検出される少なくとも1つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正するもので、補正量算出部221と、器官情報補正部222とを有する。
このうち補正量算出部221は、顔検出部200により検出される複数の画像データ毎に顔部の座標位置を検出して当該複数の画像データ上での顔部の移動位置を追従してこれら画像データ上での顔部の移動量を算出し、この顔部の移動量を座標位置に対する補正量とする。
具体的に、上記補正量算出部221は、顔検出部200により検出される被写体としての人物の顔部の大きさの変化、水平方向への移動量、垂直方向への移動量、回転変化量、又は上下左右方向に対する傾きの変化量のうち少なくとも1つに関する量を複数の画像データ間の画像位置変化から算出し、これらの量をそれぞれ人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量の各情報として算出する。
上記器官情報補正部222は、補正量算出部221により算出された人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量のうち少なくとも1つの補正量を受け取り、当該補正量を用いて器官検出部210により検出される少なくとも1つの器官、例えば眼部、口部又は鼻部の画像データ上での位置を補正する。
又、器官情報補正部222は、補正量算出部221により算出された上記少なくとも1つの補正量を受け取り、当該補正量を用いて器官検出部210により検出される少なくとも1つの器官、例えば眼部、口部又は鼻部の画像データ上での大きさを補正する。
又、器官情報補正部222は、補正量算出部221により算出された人物の顔部の回転変化の補正量に基づいて器官検出部210により検出される眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置を補正する。
又、器官情報補正部222は、補正量算出部221により算出された被写体7の顔部の上下左右方向に対する傾きの変化を検出すると、顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化を用いた補正を実施しない。
画像処理部15は、顔部補正部220により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて、顔部、又は眼部、口部又は鼻部等の器官に対して画像処理、例えば眼部のコントラストを変更したり、フィルタ処理などの画像処理を行う。
又、CPU10は、顔部補正部220により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて被写体として人物を特定するための認証処理を行う。この認証処理では、予めROM13に保存された複数の人物の顔部の参照画像データと、顔部補正部220により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置と参照画像データの眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置とを対比して人物を特定するための認証処理を行う。
又、CPU10は、顔部補正部220により補正した少なくとも画像位置を含む画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う機能を有する。
図3は指定位置判定部30のブロック構成図を示す。この指定位置判定部30は、指定された対象とする顔/器官を判定する対象判定部300と、タッチパネル入力部19の操作により指定された位置の被写体を判定する被写体判定部310とを有する。この対象判定部300と被写体判定部310とは、バス11に接続されている。
上記対象判定部300は、顔・器官検出部20にて検出された顔/眼部の情報を受け取り、検出された顔または眼のうち対象となる顔または眼が何れであるかを判定する。
上記被写体判定部310は、タッチ入力部19で入力された位置または動作から、指定された被写体が、人物の顔付近であるか否かを判定する。そして、対象判定部300の判定結果を受けてタッチ入力部19の操作によって指定された画面上の被写体を推定し、表示画像に対応させて指定位置を決定する。
図4は、デジタルカメラの背面に設けられたディスプレイ18と、このディスプレイ18に対向させて設けられたタッチパネル、及び、操作部17の各種操作部材の配置を示す。
ディスプレイ18において、表示部4−1は、画像、撮影情報等を表示する。この表示部4−1上に、タッチパネル入力に感応する領域4−2が設けられている。AFエリア分割部4−3は、タッチパネル領域4−2のうちの一部の領域に対して設けられる。なお、AFエリア分割部4−3は、分割領域毎に合焦度合いを検出することが可能であり、通常は分割領域の表示はされない。
撮影時にAFが行われた場合には、AFエリア分割部4−3の分割された領域のうち、撮影シーンに応じて合焦領域が決定され、表示部4−1上に合焦領域4−4として枠表示される。また、撮影画像フレーム内に顔が存在する場合は、顔検出領域4−5が表示部4−1上に枠表示され撮影者に告知される。その他、操作部17の操作部材として、電源のON/OFFスイッチ4−7、レリーズボタン4−6が撮像装置1の上面に配置され、ズームスイッチ、メニューボタン、選択操作キー等からなる操作部4−8が撮像装置1の背面に配置される。
次に、上記の如く構成された撮像装置の動作について図5に示す撮像制御フローチャートに従って説明する。
CPU10は、ステップS1において、ライブビュー画像をディスプレイ18に表示する命令を発すると、撮像素子5は、レンズ2からの被写体7の像を光電変換し、アナログ画像信号として出力する。撮像素子5から出力されたアナログ画像信号は、A−AMP8により増幅され、ADC9によりデジタル画像信号に変換される。画像処理部15は、ADC9からのデジタル画像信号をバス11を通して入力し、このデジタル画像信号を画像処理し、被写体7のライブビュー画像としてディスプレイ18に表示する。
このとき、DRAM12には、ADC9から出力されるデジタル画像信号が一旦保存されたり、画像処理部15によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データが保存される。
CPU10は、ステップS2において、顔検出部200に対して顔検出の命令を発する。この顔検出部200は、DRAM12に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体7の顔部に対応する第1の画像領域を検出する。この場合、顔検出部200は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち、少なくとも1つに関する情報を検出する。
画像データにおける顔部の検出処理は、画像データの液晶ディスプレイへの表示終了直後から開始し、次のフレーム画像データの液晶ディスプレイへの表示終了の前に完了する。この画像データにおける顔部の検出処理により顔部の位置座標が検出される。そして、この画像データの顔部の検出処理の結果は、さらに次の画像データに顔部検出領域として表示することが出来る。
顔の検出は、顔の特徴を一般化かしたモデルパターンと画像内の領域毎のデータとを比較し、類似度の高い領域が存在するか否かを検出する。このとき、取得した画像について複数の大きさのモデルパターンを作成して類似度のマッチングを行うことで、想定する範囲の顔の大きさに対応したマッチングを行う。その結果から、顔の有無、位置、及び大きさを検出する。
ここで、顔部の移動量は、顔検出部200により検出される複数の画像データ毎に顔部の座標位置を検出し、これら座標位置の差分から顔部の移動量を算出する。
再び図5に戻り、ステップS3において、ステップS2における顔検出結果を基に、顔が検出されたと判定した場合はステップS4に移る。ステップS4では、ステップS2においてマッチングを行った領域と座標から得た類似度の高い領域を基いて、検出された顔の表示画面上での座標位置を設定する。
続いてステップS5に移り、ステップS4で設定した表示画面上の座標位置に顔枠を描画する。その後、ステップS6にて検出された顔領域から、眼を少なくとも含む顔の部位、即ち器官を検出する。
ステップS7において、顔検出部200により検出された画像領域から顔部内の少なくとも1つの器官、例えば眼部、口部又は鼻部に対応する画像領域を器官検出部210で検出する。この器官の検出は、顔部の検出結果から得られた顔部の位置座標に基づいて行われる。例えば、画像データの眼部等の器官の検出処理は、検出された顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の各特徴部の大きさ、形状、コントラスト、エッジ情報を画像データから検出する。そして、この検出結果から器官座標位置を取得する。
ステップS7の後、または、ステップS3において顔が検出されなかったと判定された場合はステップS8へ移り、タッチ入力部19に入力操作(押下)がされたかどうかを調べる。ここで、押下がされていないと判断したときは、ステップS2に戻る。一方、押下がされたと判断したときは、ステップS9に移り、操作者が選択しようとした被写体を判断する処理を行う。この被写体判断処理の詳細については後述するが、この処理によってタッチ入力部19を押下した位置とその近傍に表示された画像の特徴を基に、操作者の指定したい画像対象がどの画像部位なのかを判断する。そして、判断した画像部位に対応した領域をステップS10でAF合焦領域として決定する。そして、ステップS11でこのAF合焦領域内の被写体に合焦させるように駆動部6によってレンズ系2のフォーカスレンズを合焦点へ駆動し、ステップS12において静止画撮影処理を行い、撮影して得られた画像データをFLASH14に記録する。
図6は、図5における被写体判断処理のフローチャートを示す。まず、ステップT1において、ディスプレイ18の画像表示パネルの縦幅を取得する。この縦幅の値は、ROM13に予め記憶されている。次に、ステップT2において、ディスプレイ18の表示画像ピクセルに換算した平均的な指の大きさをROM13から読み出し、更にステップT3においてこの指の大きさの場合において押下位置であると見なせる許容オフセット量をROM13から読み出す。例えば、上記した平均的な指の大きさの1/2となる値をこの指の大きさの場合における許容オフセット量とする。
次に、ステップT4において、指とディスプレイ18に表示される顔または眼の大きさとの関係から、上記のオフセットが必要となる顔または眼の大きさを算出する。例えば、顔または眼の大きさが平均的な指の大きさの1.2倍以下となる大きさをオフセットが必要となる大きさとする。
ステップT5において、図4のステップS7にて検出された顔の大きさを読み込み、続いてステップT6で検出された眼部の瞳の大きさを読み込む。ここで、顔の大きさ、眼部の瞳の大きさは未図示の一次記憶メモリに記憶されている。
ステップT7では、タッチ入力部19の押下された領域を取得する。
ステップT8において、上記検出された瞳の大きさがAF可能な最小サイズ以上かどうかを判断する。ここで、AF可能な最小サイズは、AF合焦領域の単位領域の1/2以上の大きさとして設定する。そして、瞳の大きさがAF合焦可能な大きさであると判断した場合は、ステップT9に進み、更に瞳の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はAFは可能なものの、瞳の表示サイズが小さく正確に瞳の位置を押下できない場合を考慮し、ステップT10において瞳の大きさに上記オフセット量を加算した値を瞳の存在する領域として設定する。
一方、瞳の大きさが予め定めた閾値より大きい場合は正確に瞳の位置を押下できる状態であると考え、上記オフセット量を加味せずに瞳の存在する領域そのものを瞳の存在する領域として設定する。
次に、ステップT11において押下された座標が上記のようにして設定した瞳の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップT12において瞳領域を含むAF検出領域を合焦検出領域として設定する。
ステップT8で検出された瞳の大きさがAF合焦可能な最小サイズよりも小さいと判断された場合は、瞳に対してAFすることができない。よって、この場合は顔に対してAFすることを考慮する。
そこで、ステップT13では、ステップT5において取得した顔の大きさがAF合焦可能な最小サイズ以上かどうかを判断する。ここで、AF合焦可能な最小サイズとして所定のピクセルサイズを予め設定しておく。顔の大きさがAF合焦可能な大きさであると判断した場合は、ステップT14に進み、顔の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はAFは可能なものの、顔の表示サイズが小さく正確に顔の位置を押下できない場合を考慮し、ステップT15において顔の大きさに上記オフセット量を加算した値を顔の存在する領域として設定する。
一方、顔の大きさが予め定めた閾値より大きい場合は、正確に顔の位置を押下できる状態であると考え、上記オフセット量を加味せずに顔の存在する領域そのものを顔の存在する領域として設定する。
次に、ステップT16において押下された座標が上記のようにして設定した顔の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップT17において顔領域を含むAF検出領域を合焦検出領域として設定する。
ステップT13で検出された顔の大きさがAF合焦可能な最小サイズよりも小さいと判断された場合、またはステップT11で押下された座標が設定した顔の存在する領域内にないと判断された場合、或いは、ステップT16において押下された座標が設定した顔の存在する領域内にないと判断された場合は顔の表示サイズが小さく顔のみにAF合焦させることが難しいと推定する。よって、ステップT18において、顔領域を含む、より広い領域となるAF検出領域を合焦検出領域として設定する。
図7から図9は、ディスプレイ18に表示された撮影シーンの各種の例において図6の処理を実施した場合のAF合焦領域の設定を示している。
図7においては、人物の顔をアップで撮影しているシーンにおいて画面上で操作者が人物の右眼付近をタッチ入力部19の押下によって指定した例で、例えばポートレート撮影でよく見られるシーンである。
この例では顔が十分大きく図6の処理におけるステップT6の検出領域が枠7bとして表示され、さらにステップT9において瞳が所定値以下と判断され、T10における瞳の大きさにオフセット量を加えた領域を枠7aとして表示される。このため、同図の位置の押下に対して瞳を選択する操作であると判断され、ステップT12における瞳領域にかかるAF評価領域を合焦領域として設定する。
図8は、複数の人物の顔をアップで撮影しているシーンにおいて画面上で操作者が向かって左の人物付近をタッチ入力部19の押下によって指定した例で、例えばスナップ撮影で見られるシーンである。
この例では図6の処理におけるステップT6のうち、押下位置を含む検出領域が枠8aとして表示されている。さらにステップT13において顔が所定値以上と判断され、ステップT18における顔領域にかかるAF評価領域を合焦領域として設定する。
図9は、人物を小さく撮影しているシーンにおいて画面上で操作者が人物付近をタッチ入力部19の押下によって指定した例で、例えば風景撮影で見られるシーンである。
この例では顔が十分小さく図6の処理におけるステップT6の検出領域が枠9bとして表示され、さらにステップT13、T14において顔が所定値以下と判断され、且つ閾値以下であると判断された場合で、T15における顔の大きさにオフセット量を加えた領域を枠8aとして表示している。よって、図の位置の押下に対して顔を選択する操作であると判断され、ステップT17における顔領域にかかるAF評価領域を合焦領域として設定する。
なお、上記一実施の形態に限定されることなく、同様の効果を奏するものに適用が可能であることは勿論である。
例えば、撮像装置はデジタルカメラに限らず、撮影機能を有する装置、例えば携帯電話、ノートPC等にも本発明を適用できる。
また、顔部補正部220は、眼部、鼻部、口部等の器官の座標位置の補正と同様の方法で、例えば眼部、鼻部、口部等の輪郭線やあごの輪郭情報のような器官の形状特徴や輪郭特徴を検出して座標位置の補正を行ってもよい。器官の形状特徴や輪郭特徴の情報に基づく座標位置の補正を行うことは、器官の一部の情報を検出するので検出に要する演算時間等を短縮することが可能であり、処理を高速化することができる。
上記一実施の形態では、被写体として人物の顔部を撮像しているが、これに限らず、例えば動物であっても良い。
また、上記一実施の形態では、押下位置でAF合焦領域を選択しているが、これに限らず撮影に係る他の条件、例えば
測光領域、ホワイトバランス検出領域、追尾被写体指定領域、或いは主要被写体指定として用いてもよい。
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1:装置本体、2:レンズ系、3:絞り、4:メカシャッター、5:撮像素子、6:駆動部、7:被写体、8:アナログ増幅器(A−AMP)、9:アナログ/デジタル変換器(ADC)、10:CPU、11:バス、12:DRAM、13:ROM、14:フラッシュ(FLASH)メモリ、15:画像処理部、16:ビデオエンコーダ、17:操作部、18:ディスプレイ、20:顔検出部、21:器官検出部、22:顔部補正部、23:内部バス、22−1:補正量算出部、22−2:器官情報補正部。

Claims (7)

  1. 撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置であって、
    上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、
    上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、
    上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、
    を有することを特徴とする撮像装置。
  2. 上記指定画像判定部で指定された顔または器官を含む画像領域から、撮影に関するデータを検出するための領域を設定する領域設定部を更に有することを特徴とする請求項1に記載の撮像装置。
  3. 合焦検出領域設定部を更に有し、
    上記顔検出部で検出された顔の大きさおよび上記器官検出部で検出された器官の大きさが、自動合焦可能な合焦検出領域の最小サイズ以下であるか否かを判断し、その判断結果に応じて顔検出部の出力する顔座標位置および顔・器官検出部の出力する器官部位位置および操作位置を含む合焦判定領域のいずれか1つを合焦検出領域として設定することを特徴とする請求項1に記載の撮像装置。
  4. 上記指定画像判定部は、上記顔検出部で検出された顔が所定以上の大きさの場合には、上記顔・器官検出部で検出された器官の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定し、顔・器官検出部で検出された顔が所定よりも小さい場合には、上記顔・器官出部で検出された顔の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定することを特徴とする請求項1に記載の撮像装置。
  5. 上記指定画像判定部は、タッチパネル上の押下された領域に対応する画像を、顔・器官検出部の出力結果に応じて、拡大表示させることを特徴とする請求項1に記載の撮像装置。
  6. 上記指定画像判定部は、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以上で、且つ顔・器官検出部の出力結果が所定値より小さい場合に、タッチ操作された位置に係る領域が顔・器官位置か否かを判断する領域を拡大させ、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以下で且つ、顔・器官検出部の出力結果が所定ちより小さい場合に、タッチ操作された位置に係る領域が顔・期間位置か否かを判断する領域を拡大させることを特徴とする請求項1に記載の撮像装置。
  7. 撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、
    上記動画像中の画像から顔の有無を検出し、
    上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、
    上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する、ことを特徴とする撮像装置の撮像方法。
JP2011206145A 2011-09-21 2011-09-21 撮像装置及び撮像方法 Withdrawn JP2013070164A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011206145A JP2013070164A (ja) 2011-09-21 2011-09-21 撮像装置及び撮像方法
US13/612,266 US8934040B2 (en) 2011-09-21 2012-09-12 Imaging device capable of setting a focus detection region and imaging method for imaging device
CN201210390373.5A CN103024265B (zh) 2011-09-21 2012-09-19 摄像装置和摄像装置的摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011206145A JP2013070164A (ja) 2011-09-21 2011-09-21 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
JP2013070164A true JP2013070164A (ja) 2013-04-18

Family

ID=47880341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011206145A Withdrawn JP2013070164A (ja) 2011-09-21 2011-09-21 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US8934040B2 (ja)
JP (1) JP2013070164A (ja)
CN (1) CN103024265B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075771A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 電子機器およびその制御方法
JP2019074928A (ja) * 2017-10-16 2019-05-16 キヤノン株式会社 電子機器及びその制御方法
JP2020003666A (ja) * 2018-06-28 2020-01-09 キヤノン株式会社 電子機器及びその制御方法、プログラム、並びに記憶媒体
JP2020053720A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 電子機器および領域選択方法
US10652451B2 (en) 2018-05-14 2020-05-12 Canon Kabushiki Kaisha Image capture control apparatus and control method thereof
US10750081B2 (en) 2017-10-16 2020-08-18 Canon Kabushiki Kaisha Electronic apparatus and method for selecting an organ from an image
US10958825B2 (en) 2017-10-17 2021-03-23 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014117806A1 (en) * 2013-01-29 2014-08-07 Brainlab Ag Registration correction based on shift detection in image data
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
KR102111148B1 (ko) * 2013-05-02 2020-06-08 삼성전자주식회사 썸네일 이미지 생성 방법 및 그 전자 장치
EP3032307A4 (en) * 2013-09-24 2017-02-22 Sony Corporation Imaging device, imaging method and program
WO2016179808A1 (en) * 2015-05-13 2016-11-17 Xiaoou Tang An apparatus and a method for face parts and face detection
US11017474B1 (en) * 2016-01-29 2021-05-25 United Services Automobile Association (Usaa) Systems and methods for developing an automated life planner
CN109644239B (zh) * 2016-08-31 2020-12-15 佳能株式会社 摄像控制设备、显示控制设备及其控制方法和存储介质
CN107295252B (zh) 2017-06-16 2020-06-05 Oppo广东移动通信有限公司 对焦区域显示方法、装置及终端设备
JP2021144121A (ja) * 2020-03-11 2021-09-24 キヤノン株式会社 表示制御装置およびその制御方法、プログラム、並びに記憶媒体
CN111314621B (zh) * 2020-04-15 2022-05-27 维沃移动通信有限公司 一种拍照方法及电子设备
CN117097982B (zh) * 2023-10-17 2024-04-02 北京钧雷科技有限公司 目标检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298412B2 (en) 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP4759329B2 (ja) * 2005-06-23 2011-08-31 Hoya株式会社 オートフォーカス機能を有する撮影装置
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP2011030008A (ja) 2009-07-27 2011-02-10 Canon Inc 撮像装置
JP2010092066A (ja) 2009-12-07 2010-04-22 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101663226B1 (ko) * 2010-03-02 2016-10-06 삼성전자주식회사 디지털 영상 처리 장치 및 디지털 영상 처리 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019074928A (ja) * 2017-10-16 2019-05-16 キヤノン株式会社 電子機器及びその制御方法
US10750081B2 (en) 2017-10-16 2020-08-18 Canon Kabushiki Kaisha Electronic apparatus and method for selecting an organ from an image
US10911663B2 (en) 2017-10-16 2021-02-02 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same
JP2019075771A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 電子機器およびその制御方法
US10958825B2 (en) 2017-10-17 2021-03-23 Canon Kabushiki Kaisha Electronic apparatus and method for controlling the same
US10652451B2 (en) 2018-05-14 2020-05-12 Canon Kabushiki Kaisha Image capture control apparatus and control method thereof
JP2020003666A (ja) * 2018-06-28 2020-01-09 キヤノン株式会社 電子機器及びその制御方法、プログラム、並びに記憶媒体
US10771678B2 (en) 2018-06-28 2020-09-08 Canon Kabushiki Kaisha Autofocus control apparatus and method for selecting a target of a detected object
JP7049195B2 (ja) 2018-06-28 2022-04-06 キヤノン株式会社 電子機器及びその制御方法、プログラム、並びに記憶媒体
JP2020053720A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 電子機器および領域選択方法
JP7129294B2 (ja) 2018-09-21 2022-09-01 キヤノン株式会社 電子機器および領域選択方法
US11496670B2 (en) 2018-09-21 2022-11-08 Canon Kabushiki Kaisha Electronic device with display screen capable of reliable detection of a user selected displayed eye region in a scene to be captured, and region selection method

Also Published As

Publication number Publication date
CN103024265A (zh) 2013-04-03
CN103024265B (zh) 2016-07-06
US20130070142A1 (en) 2013-03-21
US8934040B2 (en) 2015-01-13

Similar Documents

Publication Publication Date Title
JP2013070164A (ja) 撮像装置及び撮像方法
JP4761146B2 (ja) 撮像装置及びそのプログラム
US10021307B2 (en) Processing apparatus for camera shake correction
US8373761B2 (en) Shake correcting apparatus and method thereof in digital photographing apparatus
JP4019200B2 (ja) 画像表示器付きカメラ
EP3544286B1 (en) Focusing method, device and storage medium
KR101788740B1 (ko) 피사체 검출 방법 및 장치와, 디지털 촬영 장치
JP2010226157A (ja) カメラおよび画像補正方法
KR20100027700A (ko) 촬영 방법 및 장치
US9451149B2 (en) Processing apparatus, processing method, and program
JP2011004151A (ja) 撮像装置及び撮像方法
JP2013183306A (ja) 撮像装置、撮像方法、及びプログラム
JP5233727B2 (ja) 電子カメラ
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
KR101797040B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2012222387A (ja) 撮像装置
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP6172973B2 (ja) 画像処理装置
US9456140B2 (en) Optimized image stabilization
WO2012147368A1 (ja) 撮影装置
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
US11381728B2 (en) Image capture apparatus and method for controlling the same
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法
JP5603671B2 (ja) 電子機器、撮像方法、及び画像変換プログラム
US20250008213A1 (en) Imaging device, control method for controlling imaging device, and storage medium

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202