JP6074954B2 - 合焦評価装置、撮像装置およびプログラム - Google Patents

Description

本発明は、合焦評価装置、撮像装置およびプログラムに関する。

従来から、光の色収差を利用してレンズの焦点位置ズレを検出し、検出結果に基づいて焦点調整を行って各色光のぼけを修正するオートフォーカス装置が知られている（一例として、特許文献１参照）。

特開平６−１３８３６２号公報

しかしながら、従来のオートフォーカス装置では、レンズの位置が合焦位置に対して光軸方向のどちらの方向にずれているかを検出することができず、合焦状態の判定精度が低かった。

本発明の一態様である合焦評価装置は、画像の合焦を判定する領域を複数のブロックに分割し、第１のブロックに隣接するとともにエッジを含むブロックである第２のブロックを選出し、選出された第２のブロックの第１色のエッジと第２色のエッジとのボケ幅の差を用いてそれぞれ合焦判定を行う第１の合焦判定部と、第１の合焦判定部による選出された第２のブロック毎の合焦判定に基づき領域における合焦を判定する第２の合焦判定部と、を備える。第１のブロックは、ブロック内での画素値の勾配が閾値未満であって、第２のブロックよりもブロック内での画素値の勾配が少ないブロックである。
本発明の他の態様である撮像装置は、撮像部と、上記の合焦評価装置と、を備える。
本発明の他の態様であるプログラムは、画像の合焦を判定する領域を複数のブロックに分割し、第１のブロックに隣接するとともにエッジを含むブロックである第２のブロックを選出し、選出された第２のブロックの第１色のエッジと第２色のエッジとのボケ幅の差を用いてそれぞれ合焦判定を行い、選出された第２のブロック毎の合焦判定に基づき領域における合焦を判定する、処理をコンピュータに実行させる。第１のブロックは、ブロック内での画素値の勾配が閾値未満であって、第２のブロックよりもブロック内での画素値の勾配が少ないブロックである。

本発明の一態様によれば、軸上色収差を利用して合焦状態をより高い精度で判定することができる。

第１実施形態の電子カメラの構成例を示す図 第１実施形態での電子カメラのＡＦ動作の例を示す流れ図 合焦評価領域の設定例を示す図 図３に対応するシーンでのブロックタイプの決定例を示す図 ２つの色成分でエッジの勾配が逆方向に傾斜している場合を示す図 （ａ）山状の構造の例を示す図、（ｂ）谷状の構造の例を示す図 （ａ）色補正前の状態を示す図、（ｂ）色補正後の状態を示す図 （ａ）〜（ｃ）ピント判定の概要を示す図 図４に対応するシーンでの評価対象ブロックの選出例を示す図 図９に対応するシーンでの合焦評価領域の合焦評価の例を示す図 第２実施形態の合焦評価装置の構成例を示す図 第２実施形態の合焦評価装置の動作例を示す流れ図

＜第１実施形態の説明＞
図１は、合焦評価装置および撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。

電子カメラ１１は、撮影光学系１２と、撮像部１３と、カメラマイコン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８、操作部１９は、それぞれカメラマイコン１４と接続されている。

撮影光学系１２は、ＡＦ（ＡｕｔｏＦｏｃｕｓ／自動焦点調整）のためのフォーカシングレンズや、ズームレンズを含む複数のレンズで構成される。図１では、簡単のため撮影光学系１２を１枚のレンズで表す。なお、撮影光学系１２は、電子カメラ１１の本体に対して交換可能であってもよい。

撮像部１３は、撮影光学系１２によって結像された被写体像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。そして、撮像部１３は、撮像によって得られた画像信号をカメラマイコン１４に出力する。

ここで、撮像部１３の撮像素子の各画素には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子の各画素は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像部１３は、撮像時にカラーの画像を取得できる。

また、電子カメラ１１の撮影モードにおいて、撮像部１３は、ユーザの撮影指示に応じて、不揮発性の記録媒体への記録を伴う記録用の静止画像を撮影する。また、撮像部１３は、静止画像の撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を撮影する。

カメラマイコン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、撮影モードにおいて、ユーザの撮影指示に応じて、撮像部１３に記録用の静止画像を撮影させる。また、カメラマイコン１４は、撮像部１３から取得した画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色変換、輪郭強調などの画像処理を施す。

さらに、カメラマイコン１４は、プログラムの実行により、領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５として機能する（領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５の動作については後述する）。

第１メモリ１５は、画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、カメラマイコン１４の実行するプログラムや、各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。

記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２６を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２６に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２６は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２６の一例としてメモリカードを図示する。

表示部１８は、各種画像を表示する表示装置（液晶モニタや有機ＥＬモニタなど）である。例えば、表示部１８は、カメラマイコン１４の制御により、スルー画像の動画表示（ビューファインダ表示）や、静止画像の再生表示を行う。

操作部１９は、ユーザの各種操作を受け付ける複数のスイッチ（例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなど）を含んでいる。

以下、第１実施形態での電子カメラのＡＦ動作の例を説明する。

本実施形態において、カメラマイコン１４は、撮像部１３からスルー画像の入力が開始されると、ＡＦ処理を実行して、スルー画像の表示中に継続して焦点調節を行う。これにより、電子カメラ１１は、スルー画像の表示中に常時ＡＦ制御を行う。

撮像部１３から取得されるフレームがＲＧＢ表色系で表されるカラー画像である場合、ＲＧＢ各色成分での軸上色収差の違いにより各色成分の光軸上の合焦位置は異なる。光軸上の合焦位置の前後において、エッジ領域の各色成分でボケ幅ｗの大小関係が逆転するという点に着目すると、２色間でのエッジのボケ幅ｗの差（Δｗ）に基づいて現在の合焦状態を判定できることが分かる。そして、現在のＡＦレンズの位置が合焦位置から光軸方向のどちらの方向にずれているかを判定すれば、電子カメラ１１がＡＦ制御を実行できる。

ここで、一般的な電子カメラの光学系や撮像素子の場合、上述した各色成分のボケ幅は数画素から数十画素単位の広がりを持つのに対して、２色間のボケ幅の差はその１０分の１から１００分の１程度しかない。つまり、画素単位でしか行えないボケ幅の測定誤差に対して上記のボケ幅の差は小さいため、直接ボケ幅の測定結果からボケ幅の差Δｗを精度良く求めることは困難である。このため、本実施形態の電子カメラは、以下の手法により、合焦状態の判定を行う。

図２は、第１実施形態での電子カメラのＡＦ動作の例を示す流れ図である。図２の処理は、撮影モードの起動に応じてカメラマイコン１４によって開始される。

ここで、図２の説明では、Ｒ、Ｇ間で軸上色収差があることを前提として、色差Ｒ−Ｇでのボケ幅の差Δｗ_Ｒ−Ｇを求める例を中心に説明する。色差Ｒ−Ｇから算出したΔｗ_Ｒ−Ｇは、前ピン側で正の値となり、後ピン側で負の値となるものとする。なお、前ピンと後ピンで正負の関係が逆になる場合には、色差Ｇ−Ｒから算出したΔｗ_Ｇ−Ｒを用いればよい。なお、Ｒ、Ｂ間や、Ｇ、Ｂ間においても同様の方法で判定を行うことができることはいうまでもない。

ステップ＃１０１：カメラマイコン１４は、撮像部１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。

また、撮影モードでのカメラマイコン１４は、スルー画像を表示部１８に動画表示させる。したがって、ユーザは、表示部１８のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。

ステップ＃１０２：カメラマイコン１４は、処理対象のカラー画像（スルー画像）を撮像部１３から取得する。そして、カメラマイコン１４は、処理対象のカラー画像に対して、ノイズ低減のための平滑化処理や、エッジの方向依存性を補正するための解像度補正などの前処理を実行する。なお、カメラマイコン１４は、処理対象のカラー画像のうち、＃１０２の前処理を後述の合焦評価領域にのみ部分的に施してもよい。

なお、本明細書では、カラー画像の座標（ｘ，ｙ）でのＲＧＢ画素値をＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とそれぞれ表記する。

ステップ＃１０３：領域設定部２１は、処理対象のカラー画像の一部に合焦評価を行う領域（合焦評価領域）を設定する。上記の合焦評価領域は、矩形状のブロックによって格子状に領域分割される。一例として、各々のブロックの画像サイズは、ＢＬＯＣＫ＿ＳＩＺＥ×ＢＬＯＣＫ＿ＳＩＺＥの画素数（例えば８×８画素）である。なお、図３に、合焦評価領域の設定例を示す。

ステップ＃１０４：エッジ検出部２２は、各ブロックについて画素の色成分ごとのエッジ（画像の勾配成分）をそれぞれ検出する。そして、エッジ検出部２２は、ブロック内での画素の勾配量に応じて、各ブロックをタイプ別に分類する。

ここで、ブロックの座標を（ｕ，ｖ）としたとき、注目するブロック（ｕ，ｖ）に含まれる画素の集合ＢＬは式（１）で表すことができる。

また、各画素のＲ成分の水平方向勾配（ｄｘＲ（ｘ，ｙ））および垂直方向勾配（ｄｙＲ（ｘ，ｙ））と、各画素のＧ成分の水平方向勾配（ｄｘＧ（ｘ，ｙ））および垂直方向勾配（ｄｙＧ（ｘ，ｙ））とは、式（２）で求めることができる。

また、ブロック内のＲ、Ｇ画素の平均値（Ｒ_{Ｂｌｏｃｋ}（ｕ，ｖ）、Ｇ_{Ｂｌｏｃｋ}（ｕ，ｖ））と、その水平方向勾配和（ｄｘＲ_{Ｂｌｏｃｋ}（ｕ，ｖ）、ｄｘＧ_{Ｂｌｏｃｋ}（ｕ，ｖ））および垂直方向勾配和（ｄｙＲ_{Ｂｌｏｃｋ}（ｕ，ｖ）、ｄｙＧ_{Ｂｌｏｃｋ}（ｕ，ｖ））とは、式（３）で求めることができる。

また、軸上色収差によりピントの前後を判定するためには、対比する２色の間でエッジの勾配が同じ方向に傾斜している必要がある（図８参照）。この条件は、各ブロックの勾配和について、水平方向、垂直方向それぞれで式（４）の関係が成り立つときに満足する。

一例として、＃１０４でのエッジ検出部２２は、各ブロックについて以下の（Ａ１）〜（Ａ５）の処理をそれぞれ実行することで、合焦評価領域内の各ブロックをタイプ別に分類すればよい。

（Ａ１）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＧＲＡＤＰＩＸＥＬ以上の水平方向の２色同方向勾配がある画素の集合（ＨＧＰ_Ｒ−Ｇ）を、式（５）により抽出する。そして、エッジ抽出部は、ＨＧＰ_Ｒ−Ｇの要素数（ｎＨＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ））を式（６）で求める。なお、本明細書において、ＴＨ＿ＧＲＡＤＰＩＸＥＬの値は、ノイズの誤検出を防止するために、画像に含まれうるノイズの振幅より大きくなるように設定される。

（Ａ２）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＧＲＡＤＰＩＸＥＬ以上の垂直方向の２色同方向勾配がある画素の集合（ＶＧＰ_Ｒ−Ｇ）を、式（７）により抽出する。そして、エッジ抽出部は、ＶＧＰ_Ｒ−Ｇの要素数（ｎＶＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ））を式（８）で求める。

（Ａ３）エッジ検出部２２は、注目するブロックにおいて、閾値ＴＨ＿ＦＬＡＴＰＩＸＥＬ以上の勾配がない画素の集合（ＦＰ_Ｒ−Ｇ）を、式（９）により抽出する。そして、エッジ抽出部は、ＦＰ_Ｒ−Ｇの要素数（ｎＦｌａｔＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ））を式（１０）で求める。なお、本明細書において、ＴＨ＿ＦＬＡＴＰＩＸＥＬの値は、画素値の振幅があってもコントラストがほぼ平坦とみなせる範囲で適宜設定される。

（Ａ４）エッジ検出部２２は、以下の（ｉ）〜（ｉｖ）の条件により、注目するブロック（ｕ，ｖ）のブロックタイプを決定する。

（ｉ）注目するブロック（ｕ，ｖ）が式（１１）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「水平エッジブロックＨＥＢＬ_Ｒ−Ｇ」とする。なお、本明細書において、「Ｎ_{Ｐｉｘｅｌ}」は、注目するブロックの全画素数を示す（Ｎ_{Ｐｉｘｅｌ}＝ＢＬＯＣＫ＿ＳＩＺＥ^２）。また、「ＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ」は、ブロック内の全画素に対して勾配のある画素の含有率を規定する係数を示す。

すなわち、注目するブロック（ｕ，ｖ）において、ブロック内の全画素に対するｎＨＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ以上であり、ブロック内の全画素に対するｎＶＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ未満であるとき、ブロックタイプが「水平エッジブロックＨＥＢＬ_Ｒ−Ｇ」に決定される。

（ｉｉ）注目するブロック（ｕ，ｖ）が式（１２）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「垂直エッジブロックＶＥＢＬ_Ｒ−Ｇ」とする。

すなわち、注目するブロック（ｕ，ｖ）において、ブロック内の全画素に対するｎＨＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ未満であり、ブロック内の全画素に対するｎＶＧｒａｄＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＥＤＧＥＢＬＯＣＫ以上であるとき、ブロックタイプが「垂直エッジブロックＶＥＢＬ_Ｒ−Ｇ」に決定される。

（ｉｉｉ）注目するブロック（ｕ，ｖ）が式（１３）を満たす場合、エッジ検出部２２は、注目するブロック（ｕ，ｖ）を「フラットブロックＦＢＬ_Ｒ−Ｇ」とする。なお、「ＲＡＴＩＯ＿ＦＬＡＴＢＬＯＣＫ」は、ブロック内の全画素に対して勾配のない画素の含有率を規定する係数を示す。

すなわち、注目するブロックがＨＥＢＬ_Ｒ−ＧおよびＶＥＢＬ_Ｒ−Ｇに属さず、ブロック内の全画素に対するｎＦｌａｔＰｉｘｅｌ_Ｒ−Ｇ（ｕ，ｖ）の比率がＲＡＴＩＯ＿ＦＬＡＴＢＬＯＣＫ以上であるとき、ブロックタイプが「フラットブロックＦＢＬ_Ｒ−Ｇ」に決定される。

（ｉｖ）注目するブロック（ｕ，ｖ）が上記の（ｉ）から（ｉｉｉ）のいずれにも該当しない場合、エッジ検出部２２はそのブロックを以後の処理対象から除外する。

（Ａ５）エッジ検出部２２は、注目するブロックを変更して上記の（Ａ１）〜（Ａ４）の処理を実行する。そして、エッジ検出部２２は、全ブロックのブロックタイプを決定するまで上記の動作を繰り返す。

図４は、図３に対応するシーンでのブロックタイプの決定例を示す。なお、図面において、「Ｈ」は水平エッジブロックを示し、「Ｖ」は垂直エッジブロックを示し、「Ｆ」はフラットブロックを示す。

ステップ＃１０５：ブロック選出部２３は、＃１０４で選別されたエッジブロック（水平エッジブロック、垂直エッジブロック）のうち、合焦評価に適用する評価対象ブロックを選出する。このとき、ブロック選出部２３は、隣接する評価対象ブロックの間でエッジが同じ方向に連続するときに、複数の評価対象ブロックをグループ化する。以下、評価対象ブロックを連続エッジブロックと称することもある。

一例として、水平方向エッジブロックから評価対象ブロックを選出する場合を説明する。ブロック選出部２３は、水平方向エッジブロックのうちで、以下の（条件１）から（条件５）をすべて満たし、水平方向（ｕ１，ｖ）から（ｕ２，ｖ）まで連続するエッジブロックを１つの評価対象ブロック（連続エッジブロック）とする。

（条件１）ブロック選出部２３は、軸上色収差がある２つの色成分について、エッジの勾配が同じ方向に傾斜しているエッジブロックを評価対象ブロックとして選出する。例えば、図５に示すように、２つの色成分でエッジの勾配が逆方向に傾斜している場合には、軸上色収差によるボケ幅の差を検出することが困難となるからである。具体的には、水平方向エッジブロックでの（条件１）の場合、以下の式（１４）を満たせばよい。

（条件２）ブロック選出部２３は、エッジの部分に凹凸の構造（細線・山・谷状の構造）が含まれるブロックを除外して評価対象ブロックを選出する。例えば、図６（ａ）のような山状の構造や、図６（ｂ）のような谷状の構造の場合、後述の色補正を正しく行うことができないためである。

上記のような構造を含む場合には、勾配絶対値の和と勾配和の絶対値とが一致しない。そのため、水平方向エッジブロックでの（条件２）の場合、以下の式（１５）、（１６）を満たせばよい。

（条件３）ブロック選出部２３は、水平方向エッジブロックのうち、エッジの勾配方向（水平方向）に隣接するブロックの少なくとも一方がフラットブロックであるものを評価対象ブロックとして選出する。上記条件を満たす場合には、後述の色補正が可能となるからである。

例えば、水平方向エッジブロックの場合、連続エッジブロックの水平方向に隣接する２つのブロック（ｕ１−１，ｖ）、（ｕ２＋１，ｖ）がそれぞれフラットブロックであればよい。そのため、水平方向エッジブロックでの（条件３）の場合、以下の式（１７）を満たせばよい。

（条件４）ブロック選出部２３は、エッジで生じるコントラストの差が２つの色成分ともに閾値ＴＨ＿ＣＯＮＴＲＡＳＴ以上となるブロックを評価対象ブロックとして選出する。コントラスト差が小さい場合には、軸上色収差によるエッジのボケ幅の検出が比較的困難となるためである。

例えば、水平方向エッジブロックでの（条件４）の場合、以下の式（１８）を満たせばよい。

（条件５）ブロック選出部２３は、エッジの長さ（連続エッジブロックの長さ）が閾値ＴＨ＿ＬＥＮＧＴＨ未満となるブロックを評価対象ブロックとして選出する。一般にエッジの長さは、エッジの尖鋭度の高さと反比例する関係にある。そのため、大ボケしすぎたエッジや、シャープでないエッジを除外することで判定精度を向上させることが可能となる。

例えば、水平方向エッジブロックでの（条件５）の場合、以下の式（１９）を満たせばよい。

上記の（条件１）〜（条件５）をまとめると、水平方向の連続エッジブロックの集合ＨＥＢＳ_Ｒ−Ｇが満たすべき条件は、式（２０）で表現できる。この場合の連続エッジブロックは、（ｕ１，ｖ）から（ｕ２，ｖ）まで水平方向に連続する。また、連続エッジブロックの水平方向に位置する２つのブロック（ｕ１−１，ｖ）、（ｕ２＋１，ｖ）はいずれもフラットブロックである。

また、上記の（条件１）〜（条件５）は、いずれも垂直方向の連続エッジブロックの集合ＶＥＢＳ_Ｒ−Ｇを選出する場合にも応用できる。垂直方向の連続エッジブロックの集合ＶＥＢＳ_Ｒ−Ｇが満たすべき条件は、式（２１）で表現できる。この場合の連続エッジブロックは、（ｕ，ｖ１）から（ｕ，ｖ２）まで垂直方向に連続する。また、連続エッジブロックの垂直方向に位置する２つのブロック（ｕ，ｖ１−１）、（ｕ，ｖ２＋１）はいずれもフラットブロックである。

また、＃１０５で定義された連続エッジブロックについて、連続エッジブロック内の画素（ｘ，ｙ）の集合をＰとする。このとき、Ｐは式（２２）で表される。

なお、図４に対応するシーンでの評価対象ブロックの選出例を図９に示す。図９の例では、評価対象ブロックとして選出されたエッジブロックを太線で示す。図９において、２つのフラットブロック（Ｆ）で水平方向に挟まれた水平エッジブロック（Ｈ）と、２つのフラットブロック（Ｆ）で垂直方向に挟まれた垂直エッジブロック（Ｖ）とが評価対象ブロックとなっている。

ステップ＃１０６：ピント判定部２４は、＃１０５で得た各々の連続エッジブロック（評価対象ブロック）に対してそれぞれ色補正を行う。

一例として、ピント判定部２４は、連続エッジブロック対してエッジの勾配方向に隣接する２つのフラットブロックの平均画素値を用いて、以下の式（２３）、（２４）でＦＬ_Ｒ，ＦＬ_ＧおよびＦＨ_Ｒ，ＦＨ_Ｇを求める。ここで、「ＦＬ」は低コントラスト側のフラットブロックを示し、「ＦＨ」は高コントラスト側のフラットブロックを示す。

次に、ピント判定部２４は、ＣＯＮＴ＿Ｌ，ＣＯＮＴ＿Ｈの間でＦＬ_Ｒ，ＦＬ_ＧおよびＦＨ_Ｒ，ＦＨ_Ｇがともに灰色となるように一次係数（ａ_Ｒ０，ａ_Ｒ１，ａ_Ｇ０，ａ_Ｇ１）を式（２５）で決定する。

図７は、＃１０６での色補正の概要を示す図である。例えば、図７（ａ）にて実線で示すＲ成分のエッジＲ（ｘ）および破線で示すＧ成分のエッジＧ（ｘ）は、図７（ｂ）に示すように、エッジ領域の両側でのコントラスト差が同じになるように色補正が行われる。

ステップ＃１０７：ピント判定部２４は、＃１０６で色補正された各々の連続エッジブロック（評価対象ブロック）において、軸上色収差がある２色間でのエッジのボケ幅の差Δｗをそれぞれ求める。一例として、ピント判定部２４は、以下の手法でΔｗを求めればよい。

ここで、上記の集合Ｅ_Ｒは、Ｒ（ｘ，ｙ）がＥｍｅａｎ_Ｒより小さい画素値の集合ＥＬ_Ｒと、Ｒ（ｘ，ｙ）がＥｍｅａｎ_Ｒより大きい画素値の集合ＥＨ_Ｒとに分類できる。また、上記の集合Ｅ_Ｇは、Ｇ（ｘ，ｙ）がＥｍｅａｎ_Ｇより小さい画素値の集合ＥＬ_Ｇと、Ｇ（ｘ，ｙ）がＥｍｅａｎ_Ｇより大きい画素値の集合ＥＨ_Ｇとに分類できる（式（３０））。

また、ＥＬ_Ｒ，ＥＬ_Ｇの和集合ＥＬ_Ｒ−Ｇと、ＥＨ_Ｒ，ＥＨ_Ｇの和集合ＥＨ_Ｒ−Ｇとは、式（３１）でそれぞれ定義できる。

ピント判定部２４は、集合ＥＬ_Ｒ−Ｇ，ＥＨ_Ｒ−Ｇの画素について、色差和ΔＡＬ_Ｒ−Ｇ，ΔＡＬ_Ｒ−Ｇを式（３２）でそれぞれ求める。そして、ピント判定部２４は、式（３３）で指標値Ｉ_Ｒ−Ｇを求める。

上記の指標値Ｉ_Ｒ−Ｇは、連続エッジブロック内における２色間でのエッジのボケ幅の差Δｗ_Ｒ−Ｇと、画素単位のエッジ数Ｎ_ｗに対して、Ｉ_Ｒ−Ｇ＝Δｗ_Ｒ−Ｇ×Ｎ_ｗの関係が成り立つ。そのため、ピント判定部２４は、Ｎ_ｗを概算してΔｗ_Ｒ−Ｇを求めることができる。

ステップ＃１０８：ピント判定部２４は、２色間でのエッジのボケ幅の差Δｗを用いて、評価対象ブロックごとにピント判定を行う。

本実施形態では、色差Ｒ−Ｇから算出したΔｗ_Ｒ−Ｇが前ピン側で正の値、後ピン側で負の値となる。そのため、＃１０８でのピント判定は、例えば以下のように行われる。

ここで、「ΔｗＡＦ_Ｒ−Ｇ」は合焦時のボケ幅を示す基準値である。ΔｗＡＦ_Ｒ−Ｇの値は、光学系の軸上色収差の特性、被写体の色、エッジの断面形状、カラー画像の補間方法、カメラのＡＦ手段などを考慮して適宜調整される。また、「ＴＨ＿ＦＯＣＵＳ１，ＴＨ＿ＦＯＣＵＳ２」は、それぞれ後ピン側、前ピン側でのボケ許容値を示すパラメータである。

図８は、上記のピント判定の概要を示す図である。例えば、色補正による正規化後のＲ成分のエッジＲ（ｘ）とＧ成分のエッジＧ（ｘ）とを考える。

後ピンの場合にはＲがＧよりもぼけるため、図８（ａ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間にはｗＲ＞ｗＧの関係が成り立つ。このため、Δｗ（＝ｗＲ−ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ１よりも大きい場合、ピント判定部２４は後ピンと判定する。

一方、前ピンの場合にはＧがＲよりもぼけるため、図８（ｃ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間にはｗＲ＜ｗＧの関係が成り立つ。このため、Δｗ（＝ｗＲ−ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ２よりも小さい場合、ピント判定部２４は前ピンと判定する。

なお、合焦時には、図８（ｂ）に示すように、Ｒ成分のエッジ長さｗＲとＧ成分のエッジ長さｗＧとの間には原則としてｗＲ＝ｗＧの関係が成り立つ。このため、ピント判定部２４は、Δｗ（＝ｗＲ−ｗＧ）が閾値ＴＨ＿ＦＯＣＵＳ２以上かつ閾値ＴＨ＿ＦＯＣＵＳ１以下である場合、ピント判定部２４は合焦状態であるため前ピンか後ピンかは不明であると判定する。

ステップ＃１０９：カメラマイコン１４は、異なるパラメータでピント判定をさらに行うか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）、カメラマイコン１４は、他の色成分（例えばＢ−Ｇ、Ｒ―Ｂ）について、＃１０４〜＃１０８と同様の処理でピント判定を実行する。あるいは、カメラマイコン１４は、ブロックサイズを変更して＃１０４〜＃１０８と同様の処理でピント判定を実行してもよい。

一方、上記要件を満たさない場合（ＮＯ側）、カメラマイコン１４は＃１０８に処理を移行させる。

ステップ＃１１０：合焦評価部２５は、各々の評価対象ブロックでのピント判定結果を統合して、合焦評価領域での被写体像の合焦状態を評価する。

合焦評価部２５は、各々の評価対象ブロックについて、色差（Ｒ−Ｇ、Ｂ−Ｇなど）、勾配方向（垂直・水平など）、ブロックサイズの設定毎の全判定結果（Ｎ_{Ｒｅｓｕｌｔ}個）に添字ｉで通し番号を与える（つまりｉの最大値は、判定結果の総数となる）。総合判定のためｉ番目の判定結果Ａ_ｉには、以下の値を代入する。

なお、上記の判定結果Ａ_ｉはピント判定値の一例であって、評価対象ブロックでのピントの判定結果を示すものである。

また、＃１１０での合焦評価部２５は、異なる色成分の組み合わせによるピント判定結果および異なるブロックサイズでのピント判定結果の少なくとも一方を重み付け加算して、合焦評価領域での被写体像の合焦状態を評価してもよい。以下、重み付け加算の例として（Ｂ１）〜（Ｂ７）の例を説明する。なお、以下に示す重み付け加算は、適宜組み合わせて行ってもよい。

（Ｂ１）：例えば、合焦評価部２５は、軸上色収差が大きくなる色成分間でのピント判定の結果に大きな重み係数を乗算してもよい。

（Ｂ２）：ブロックサイズ（すなわち個々のブロックの面積）が大きくなるほどピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、ブロックサイズの大きさに比例して重み係数の値を大きくしてもよい。

（Ｂ３）：ブロックに含まれるエッジのコントラストの差が大きいほど、ピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、エッジでのコントラストの差が大きいほど、評価対象ブロックでの重み係数の値を大きくしてもよい。

（Ｂ４）：ブロックに含まれるエッジのボケ幅が小さいほど、エッジが合焦に近い状態となっており、ピント判定の信頼性は相対的に高くなる。また、被写体輪郭が滑らかなグラデーションを持つと、エッジのボケ幅は大きく見えてピント判定の信頼性は相対的に低くなる。したがって、合焦評価部２５は、エッジの見かけのボケ幅が小さいほど、評価対象ブロックでの重み係数の値を大きくしてもよい。

（Ｂ５）：撮影光学系１２のズーム位置に応じて、軸上色収差の振る舞いはそれぞれ変化する。したがって、合焦評価部２５は、カラー画像を取得したときの撮影光学系のズーム位置に応じて、評価対象ブロックでの重み係数の値を決定してもよい。この場合、撮影光学系１２のズーム位置と重み係数との対応関係を示す係数テーブルを予め準備し、撮影光学系１２のズーム位置に応じて合焦評価部２５が係数テーブルから重み係数を読み出して決定すればよい。なお、電子カメラがレンズ交換式のカメラである場合、上記の係数テーブルは、個々の交換レンズでそれぞれ準備されることはいうまでもない。

（Ｂ６）：エッジのボケ幅の差を求めるときに、エッジが勾配方向の両側に隣接するフラットブロックの少なくとも片方が無彩色に近い部分から抽出されたものであれば、ピント判定の信頼性は相対的に高くなる。したがって、合焦評価部２５は、エッジの勾配方向に隣接するフラットブロックで２つの色成分の色差が閾値より低いときに、評価対象ブロックでの重み係数の値を大きくしてもよい。

（Ｂ７）：動きのある被写体については、ピント判定の信頼性は相対的に低くなる。例えば、スルー画像を用いて被写体の動きベクトルを算出している場合、合焦評価部２５は、評価対象ブロックでの被写体の動きベクトルが大きいほど、評価対象ブロックでの重み係数の値を小さくしてもよい。

なお、全てのピント判定の結果を均等に扱う場合には、重み係数ω_ｉを「１」にすればよい。

そして、合焦評価部２５は、合焦判定となった評価対象ブロックの総数Ａ_{ＯｎＦｏｃｕｓ}および判定結果の加重和Ａ_{ＴｏｔａｌＲｅｓｕｌｔ}とを用いて、評価対象ブロックの総合的な判定結果を式（３４）で求めればよい。なお、「ＴＨ＿Ｎ＿ＯＮＦＯＣＵＳ」は、合焦状態を示す閾値であり、「ＴＨ＿ＲＥＡＲＦＯＣＵＳ、ＴＨ＿ＦＲＯＮＴＦＯＣＵＳ」は、それぞれ後ピン状態、前ピン状態を示す閾値である。

その後、合焦評価部２５は、上記の評価対象ブロックの判定結果を用いて、合焦評価領域全体での合焦状態を判定する。一例として、合焦評価部２５は、評価対象ブロックの判定結果のうち最も数が多いものを合焦評価領域の合焦評価で採用すればよい。

図１０は、図９に対応するシーンでの合焦評価領域の合焦評価の例を示す図である。図１０において、前ピン、後ピン、合焦と判定された評価対象ブロックには、それぞれ「前」、「後」、「合」を表記する。図１０の例では、合焦評価領域内の評価対象ブロック（連続エッジブロック）の判定結果が後ピン：合焦：前ピンで１：１：３となっており、合焦評価領域全体は前ピンと判定されている。

ステップ＃１１１：カメラマイコン１４は、＃１１０で取得した合焦評価領域全体での判定結果に基づいて、Δｗを０に近づける方向にＡＦレンズを移動させる。以上で、図２の処理の説明を終了する。

以下、第１実施形態での作用効果を説明する。

第１実施形態の電子カメラ１１は、カラー画像の合焦評価領域のうち、ブロック内の画素の勾配量に基づいてブロックタイプを分類し（＃１０４）、合焦評価に適用する評価対象ブロックを選出する（＃１０５）。そして、電子カメラ１１は、評価単位ブロックでのエッジのボケ幅の差（Δｗ）を用いて評価単位ブロックごとにピント判定を行い（＃１０７、＃１０８）、このピント結果を統合して合焦評価領域の合焦状態を判定する（＃１１０）。

これにより、個々の評価対象ブロック単位でのピント判定を積み上げて合焦評価領域全体での合焦評価を行えるので、様々な色・コントラストのエッジが含まれるカラー画像の合焦状態を評価する場合にもより精度の高い合焦評価が可能となる。

また、第１実施形態での電子カメラ１１では、隣接する評価対象ブロックの間でエッジが同じ方向に連続するときに、複数の評価対象ブロックをグループ化する（＃１０４）。これにより、小面積の評価対象ブロックと、大面積の評価対象ブロックとを１度の処理で同時に合焦評価領域から抽出できるので、演算の効率が向上する。

＜変形例１＞
上記の実施形態の＃１０４において、エッジ検出部２２は、ブロックサイズ以下のスケールでの山・谷状構造の有無を考慮してブロックタイプの分類を行ってもよい。変形例１の場合、＃１０５の（条件２）と同様の考え方に基づいて、＃１０４の（ｉ）の判定では、エッジ検出部２２は式（１１）の代わりに式（３５）を適用すればよい。同様に、＃１０４の（ｉｉ）の判定では、エッジ検出部２２は式（１２）の代わりに式（３６）を適用すればよい。

かかる変形例１によれば、ブロックサイズ以下の画像構造の存在によってピント判定に悪影響を及ぼす領域を予め排除できるので、判定精度を向上させることができる。

＜変形例２＞
上記実施形態の＃１１０において、合焦評価部２５は、判定の順序を適宜変更してもよい。

一例として、合焦評価部２５は、評価対象ブロック単位で算出したボケ幅の差Δｗを加重平均した後に、ピント判定を行なう。そして、合焦評価部２５は、合焦評価領域内のＭ個の評価対象ブロックについて算出されたボケ幅の差をΔｗ_ｉとして、判定結果の重みα_ｉを設定する。変形例２の場合、ボケ幅の差を示すΔｗ_ｉがピント判定値となる。

また、判定結果の重みは連続エッジブロックの長さや隣接フラットブロック間のコントラスト差などにより与えても良いし、＃１１０で説明した上記の（Ｂ１）〜（Ｂ７）のいずれかを適用してもよい。なお、判定結果を全て均等に扱う場合はα_ｉ＝１とすればよい。

また、合焦評価領域内でのボケ幅の差の平均（Δｗ_ｍｅａｎ）は、式（３７）で求めることができる。

そして、合焦評価部２５は、ボケ幅の差の平均Δｗ_ｍｅａｎと閾値との比較によるピント判定の結果を、合焦評価領域の判定結果としてもよい。

＜第２実施形態の説明＞
図１１は、第２実施形態の合焦評価装置の構成例を示す図である。第２実施形態の合焦評価装置は、画像評価プログラムがインストールされたパーソナルコンピュータである。第２実施形態の例では、電子カメラで撮影されたカラー画像を合焦評価装置が読みこんで、画像評価プログラムによる後処理工程で画像の合焦評価を行う。

図１１に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部３２はカラー画像を取得する取得部として機能する。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータなどを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、画像評価プログラムの実行によって、第１実施形態の領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５として動作する。

メモリ３５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

また、図１２は、第２実施形態の合焦評価装置の動作例を示す流れ図である。図１２の＃２０１〜＃２０９の処理は、図２の＃１０２〜＃１１０の処理に対応するので重複説明を省略する。なお、＃２０１において、ＣＰＵ３４はデータ読込部３２から電子カメラで撮影されたカラー画像を取得するものとする。そして、＃２１０において、ＣＰＵ３４は、合焦評価に基づいて画像の良否判定を実行し、その結果をモニタ３９に表示する。なお、ＣＰＵ３４は、上記の画像の良否判定の結果に応じて、複数のカラー画像のうちから良好な画像を自動的に選別してもよい。かかる第２実施形態においても、上記の第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）上記実施形態では、エッジの勾配方向に隣接するブロックの両方がフラットブロックであるエッジブロックのみを評価対象ブロックとして扱っている。しかし、＃１０５でも記載しているように、エッジの勾配方向に隣接するブロックの一方がフラットブロックであれば、そのエッジブロックを評価対象ブロックとしてもよい。

（補足２）上記実施形態でのピント判定値に対する重み付けの例は、上記の（Ｂ１）〜（Ｂ７）の例に限定されるものではない。例えば、上記実施形態の＃１０５において、（条件２）を適用しない場合（すなわち、エッジの部分に凹凸の構造が含まれるブロックが評価対象ブロックから除外されない場合）、合焦評価部２５は、エッジの部分に凹凸の構造が含まれる評価対象ブロックでの重み係数の値を小さくしてもよい。

（補足３）上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて領域設定部２１、エッジ検出部２２、ブロック選出部２３、ピント判定部２４、合焦評価部２５の各機能をハードウエア的に実現してもかまわない。

（補足４）上記の第２実施形態では、電子カメラで撮影された画像を読み込む合焦評価装置の一例としてパーソナルコンピュータの場合を説明したが、例えば第２実施形態の合焦評価装置は、フォトビューアー、プリンタなどの他の電子機器であってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…カメラマイコン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２１…領域設定部、２２…エッジ検出部、２３…ブロック選出部、２４…ピント判定部、２５…合焦評価部、２６…記憶媒体、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (17)

1. 画像の合焦を判定する領域を複数のブロックに分割し、第１のブロックに隣接するとともにエッジを含むブロックである第２のブロックを選出し、選出された第２のブロックの第１色のエッジと第２色のエッジとのボケ幅の差を用いてそれぞれ合焦判定を行う第１の合焦判定部と、
   前記第１の合焦判定部による選出された第２のブロック毎の前記合焦判定に基づき前記領域における合焦を判定する第２の合焦判定部と、
   を備え、
   前記第１のブロックは、ブロック内での画素値の勾配が閾値未満であって、前記第２のブロックよりもブロック内での画素値の勾配が少ないブロックである合焦評価装置。
2. 請求項１に記載の合焦評価装置において、
   前記第１のブロックは、前記ブロック内の色毎に所定距離をおいた２画素の画素値を差分し、前記差分が第１の閾値未満となる画素のブロック内での比率を求めたときに、前記比率が第２の閾値以上となるブロックである合焦評価装置。
3. 請求項１または請求項２に記載の合焦評価装置において、
   前記エッジを含むブロックは、前記ブロック内の色毎に所定距離をおいた２画素の画素値を差分して前記画素間の勾配を求め、第１の方向の前記勾配と前記第１の方向に交差する第２の方向の前記勾配とを前記ブロック内でそれぞれ加算したときに、いずれかの方向の前記勾配の加算値が閾値以上となるブロックである合焦評価装置。
4. 請求項１から請求項３のいずれか１項に記載の合焦評価装置において、
   前記第１の合焦判定部は、エッジが連続する前記ブロックをグループ化して前記合焦判定を行う合焦評価装置。
5. 請求項１から請求項４のいずれか１項に記載の合焦評価装置において、
   前記第１の合焦判定部は、エッジの傾斜が２色成分について同じ方向であるブロックに前記合焦判定を行う合焦評価装置。
6. 請求項１から請求項５のいずれか１項に記載の合焦評価装置において、
   前記第１の合焦判定部は、エッジに凹凸の構造を含むブロックを前記合焦判定から除外する合焦評価装置。
7. 請求項６に記載の合焦評価装置において、
   前記凹凸の構造を含むブロックは、細線構造、山状構造、又は谷状構造の少なくともいずれか一つを含むブロックである合焦評価装置。
8. 請求項１から請求項７のいずれか１項に記載の合焦評価装置において、
   前記第１の合焦判定部は、エッジで生じるコントラストの差が閾値以上となるブロックに前記合焦判定を行う合焦評価装置。
9. 請求項１から請求項８のいずれか１項に記載の合焦評価装置において、
   前記第１の合焦判定部は、エッジの長さが閾値未満となるブロックに前記合焦判定を行う合焦評価装置。
10. 請求項１から請求項９のいずれか１項に記載の合焦評価装置において、
    前記第２の合焦判定部は、異なる色成分の組み合わせによる前記合焦判定の結果および異なるブロックサイズでの前記合焦判定の結果の少なくとも一方を重み付け加算して、前記領域における合焦を判定する合焦評価装置。
11. 請求項１０に記載の合焦評価装置において、
    前記第２の合焦判定部は、エッジでのコントラストの差が大きいほど、前記ブロックの重み付けの値を大きくする合焦評価装置。
12. 請求項１０に記載の合焦評価装置において、
    前記第２の合焦判定部は、エッジのボケ幅が小さいほど、前記ブロックの重み付けの値を大きくする合焦評価装置。
13. 請求項１０に記載の合焦評価装置において、
    前記第２の合焦判定部は、前記画像を取得したときの撮影光学系のズーム位置に応じて前記ブロックの重み付けの値を決定する合焦評価装置。
14. 請求項１０に記載の合焦評価装置において、
    前記第２の合焦判定部は、前記エッジの勾配方向に隣接する前記第１のブロックの少なくとも一方においてボケ幅の差を求める２つの色成分の色差が閾値より低いときに、前記ブロックの重み付けの値を大きくする合焦評価装置。
15. 請求項１０に記載の合焦評価装置において、
    前記第２の合焦判定部は、前記ブロックでの被写体の動きベクトルが大きいほど、前記ブロックの重み付けの値を小さくする合焦評価装置。
16. 撮像部と、
    請求項１から請求項１５のいずれか１項に記載の合焦評価装置と、
    を備える撮像装置。
17. 画像の合焦を判定する領域を複数のブロックに分割し、第１のブロックに隣接するとともにエッジを含むブロックである第２のブロックを選出し、選出された第２のブロックの第１色のエッジと第２色のエッジとのボケ幅の差を用いてそれぞれ合焦判定を行い、
    選出された第２のブロック毎の前記合焦判定に基づき前記領域における合焦を判定する、
    処理をコンピュータに実行させ、
    前記第１のブロックは、ブロック内での画素値の勾配が閾値未満であって、前記第２のブロックよりもブロック内での画素値の勾配が少ないブロックであるプログラム。
    

Images