JP6017641B1 - 撮像装置，信号処理方法，信号処理プログラム - Google Patents

Abstract

【課題】焦点検出用画素により生じ得る画質劣化を抑止し高画質の撮像結果を常に取得し得る撮像装置を提供する。【解決手段】被写体像を結像させる撮像光学系１１と、画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され撮像光学系により結像された被写体像を光電変換する撮像素子２１ａと、画像形成用画素からの出力信号と焦点検出用画素からの出力信号と焦点検出用画素の二次元上の画素位置情報とを用いて像高に応じた撮像光学系による口径食の影響の程度を推定する光学影響推定部３１１と、光学影響推定部による推定結果に応じて異なる内容の画像処理を実行する光学影響補正部３１２とを具備する。【選択図】図２

Description

この発明は、撮像面位相差検出方式の自動焦点検出処理を行なう撮像素子を備えた撮像装置と、この撮像装置において適用される信号処理方法、この信号処理方法が記述された信号処理プログラムに関するものである。

従来、撮像光学系により結像された光学像を、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）型イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、これにより取得された画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）として記憶媒体に記録すると共に、当該デジタル画像データに基いて静止画像又は動画像を表示する画像表示装置、例えば液晶表示（Liquid Crystal Display；ＬＣＤ）装置や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）表示装置等を備えて構成された撮像装置、例えばデジタルカメラやビデオカメラ等が一般に実用化され広く普及している。

この種の撮像装置においては、撮像動作を行なう際に、撮像光学系によって撮像素子の撮像面（受光面）に結像された撮像対象物の光学像の焦点状態を自動的に適切な状態となるように調節するための自動焦点調節機構を備えているものがある。そして、近年の撮像装置においては、例えば、撮像素子の一部の画素を焦点検出用画素として用いることによって位相差検出方式の焦点検出を撮像素子の撮像面上にて行なう撮像面位相差検出方式の自動焦点調節（ＡＦ；オートフォーカス）処理を行なう撮像素子を備えてた構成された撮像装置が種々提案され実用化されている。

一般に、上記撮像面位相差検出方式の自動焦点調節処理を行なう撮像素子を具備する撮像装置においては、その撮像面上に配置される複数の画素のうち焦点検出用の画素（以下、焦点検出用画素という）は、開口の一部が物理的に遮光されている。このことから、焦点検出用画素は、画像形成に用いるための画素、即ち上記焦点検出用画素以外の画素（以下、通常画素というものとする）と比較して取得し得る光量が少なくなる。そのために、焦点検出用画素を画像形成画素として用いる際には、当該焦点検出用画素によって取得された光量をゲインアップ等の処理を施すことで補正するいわゆるゲイン補正処理等を用いるような工夫が、例えば特開２０１４−１１６７２４号公報等によって種々提案されている。

上記特開２０１４−１１６７２４号公報等によって開示されている撮像装置においては、ゲイン補正処理を行う際に適用すべきゲイン量は、同一開口の焦点検出用画素に対し、光の入射角度によって変化する。したがって、入射角度の小さい画面中心部領域に位置する焦点検出用画素と、入射角度が大きくなる画面周辺領域に位置する焦点検出用画素とでは、それぞれに適用すべきゲイン量が異なることになる。

そのために、上記特開２０１４−１１６７２４号公報等に開示されている撮像装置においては、例えば、焦点検出用画素とその近隣の通常画素との比率演算を水平方向に沿って順次行ない、その比率演算結果によって、水平画素位置に応じて変化するゲイン量を求めるようにしている。そして、水平位置毎の比率演算結果を統計データとし、その統計データから画面中心部から画面周辺部にかけてのゲイン量の変化を示す近似式を算出して、その式（近似式）に基づいてゲイン補正処理を行なうといった工夫が開示されている。

しかしながら、例えば口径食の影響（によって周辺光量の低下）が見られる撮像光学系を使用した場合には、口径食の影響を受ける像高から比率の傾向が極端に変化することになってしまう。

そのために、上記特開２０１４−１１６７２４号公報等に開示されている手段、即ち統計データから求めた近似式に基づいてゲイン補正処理を行なう手段では、適用すべきゲイン量に誤差が生じてしまう可能性がある。

このような点を考慮して、例えば特開２０１４−１７４３５７号公報によって開示されている従来の撮像装置は、撮像光学系を含むレンズ鏡筒側に撮像光学系に関する各種の情報（以下、光学情報等と略記する）を予め記録しておき、カメラ本体側は装着されたレンズ鏡筒から上記光学情報等を取得することによって、装着されたレンズ鏡筒に適したゲイン補正処理を行なうようにしている。この場合において、カメラ本体とレンズ鏡筒との間は、それぞれに設けられた電気接点を介して上記光学情報等を含む各種の情報の伝達が行われるように構成されている。

特開２０１４−１１６７２４号公報 特開２０１４−１７４３５７号公報

ところが、上記特開２０１４−１７４３５７号公報によって開示されている手段においては、例えば上記光学情報等を持たないレンズ鏡筒、若しくは電気接点を具備していないレンズ鏡筒等がカメラ本体に装着された場合には、カメラ本体側は上記光学情報等を取得することができないことから、適切なゲイン補正処理を行なうことができないという問題点がある。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮像面位相差検出方式の自動焦点調節処理を行ない得る撮像素子を具備する撮像装置において、焦点検出用画素によって生じ得る画質劣化を抑止することができ、よって撮像動作時に使用する撮像光学系に依存することなく、良好で高画質な撮像結果としての画像を表す画像データを常に取得することができる撮像装置と、信号処理方法及び信号処理プログラムを提供することである。

上記目的を達成するために、本発明の一態様の撮像装置は、被写体像を結像させる撮像光学系と、画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され、上記撮像光学系により結像された被写体像を光電変換する撮像素子と、上記画像形成用画素からの出力信号と上記焦点検出用画素からの出力信号と上記焦点検出用画素の二次元上の画素位置情報とを用いて、像高に応じた上記撮像光学系による口径食の影響の程度を推定する光学影響推定部と、上記光学影響推定部による推定結果に応じて異なる内容の画像処理を実行する光学影響補正部と、を具備する。

本発明の一態様の信号処理方法は、画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され、撮像光学系により結像された被写体像を光電変換する撮像素子からの出力信号を処理する信号処理方法であって、上記画像形成用画素からの出力信号と上記焦点検出用画素からの出力信号と上記焦点検出用画素の２次元上の画素位置情報とを用いて、像高に応じた上記撮像光学系による口径食の影響の度合いを推定する光学影響推定処理と、前記光学影響推定処理によって推定される口径食の影響度合いに応じて内容の異なる画像処理を実行する光学影響補正処理と、を行なう。

本発明の一態様の信号処理プログラムは、画像形成用画素からの出力信号と、焦点検出用画素からの出力信号と、焦点検出用画素の２次元上の画素位置情報とを用いて、像高に応じた撮像光学系による口径食の影響の度合いを推定する光学影響推定ステップと、前記光学影響推定ステップによって推定される口径食の影響度合いに応じて内容の異なる画像処理を実行する光学影響補正ステップと、をコンピュータに実行させる。

本発明によれば、撮像面位相差検出方式の自動焦点調節処理を行ない得る撮像素子を具備する撮像装置において、焦点検出用画素によって生じ得る画質劣化を抑止することができ、よって撮像動作時に使用する撮像光学系に依存することなく、良好で高画質な撮像結果としての画像を表す画像データを常に取得することができる撮像装置と、信号処理方法及び信号処理プログラムを提供することができる。

本発明の一実施形態の撮像装置の全体的な構成を概略的に示すブロック構成図 図１の撮像装置における画像処理部の詳細構成を示すブロック構成図 図２の画像処理部における光学影響補正部の詳細構成を示すブロック構成図 図２の画像処理部における光学影響推定部の詳細構成を示すブロック構成図 図１の撮像装置におけるメインフローチャート 本発明の一実施形態の信号処理方法をコンピュータで実行する場合の一例を示すフローチャート

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識可能な程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、これら各図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率，各構成要素の相対的な位置関係等に関し、図示の形態のみに限定されるものではない。

なお、以下に説明する本発明の一実施形態の撮像装置は、撮像面位相差検出方式の自動焦点調節処理を行なう撮像素子を具備し、この撮像素子を用いて画像データ（静止画像,動画像）を取得し、取得した画像データを表示装置に表示し、記憶媒体に記憶し得るように構成された撮像装置である。

図１は、本発明の一実施形態の撮像装置の全体的な構成を概略的に示すブロック構成図である。なお、図１において、矢印付きの実線はデータの流れを示している。同様に、図１において、矢印付きの破線は制御信号の流れを示している。図２は、図１の撮像装置における画像処理部の詳細構成を示すブロック構成図である。図３は、図２の画像処理部における光学影響補正部の詳細構成を示すブロック構成図である。図４は、図２の画像処理部における光学影響推定部の詳細構成を示すブロック構成図である。

本実施形態の撮像装置１は、図１に示すように、撮像レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１ａを含む撮像部２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、制御回路部（ＣＰＵ；Central Processing Unit）２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、一時記憶部（ＤＲＡＭ；Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記憶媒体４５等を有して主に構成されている。

撮像レンズ１１は、撮像を所望する対象物（いわゆる被写体）からの光を透過させて撮像素子２１ａの撮像面（結像面）上に形成するための撮像光学系である。ここで、撮像光学系は、単一又は複数の光学レンズと、各光学レンズを保持する保持部材及びこれら保持部材のそれぞれを、所定のタイミングで所定量だけ光軸に沿う方向に移動させるための駆動機構及び駆動源等を含んで構成される構成ユニットである。当該撮像レンズ１１は、単焦点レンズでも、ズームレンズでも、いずれでも適用し得る。なお、本実施形態の撮像装置１に適用される撮像レンズ１１自体は、従来一般的な構成の撮像装置において適用されているものと同様のものが用いられるものとして、その詳細構成は省略する。

絞り１３は、上記撮像レンズ１１の光軸上に配置されている。絞り１３は、口径が可変となるように構成されている。絞り１３は、上記撮像レンズ１１を透過する被写体側からの光束の光量を調節する機構を有する構成ユニットである。その構成は、従来一般的な撮像装置に適用されているものと同様である。

メカシャッタ１５は、上記撮像レンズ１１の光軸上において、上記絞り１３の後方に配置され、絞り１３を通過してくる光束の光路を開閉自在とする機構を有する構成ユニットである。当該メカシャッタ１５は、その開放時間を調節することにより、撮像素子２１ａの撮像面（結像面）への被写体からの光束の入射時間（即ち撮像素子２１ａの露光時間）を調節する機能を有する。メカシャッタ１５の具体的な形態としては、例えば公知のフォーカルプレーンシャッタ若しくはレンズシャッタ等の形態のものが採用され得る。

駆動部１７は、制御回路部（以下、ＣＰＵという）２９からの制御信号に基づいて、撮像レンズ１１の焦点調節駆動や絞り１３の開口径制御駆動及びメカシャッタ１５の開閉制御駆動を行なう構成ユニットである。

操作部１９は、電源ボタン，レリーズボタン，再生ボタン，メニューボタンなどといった各種の操作部材及びタッチパネル等の各種の操作系の構成部材を総括して称する部位である。この操作部１９は、各種の複数の操作部材の操作状態を検知し、その検知結果を示す信号をＣＰＵ２９へと出力する電子回路をも有する。ここで、本実施形態の撮像装置１における操作部１９は、撮像装置１の撮像動作モードを選択するモード選択操作部材をも含む。

即ち、使用者（ユーザ）は、操作部１９に含まれる操作部材としての撮像モード選択操作部材、例えば操作ダイヤルを操作することにより、撮像装置１の撮像モードを静止画撮像モードと動画撮像モードとの何れか一方を選択することができる。ここで、静止画撮像モードは、静止画像を撮像するための撮像モードである。また、動画撮像モードは、動画像を撮像するための撮像モードである。なお、上述の例では、撮像モード選択操作部材として、ダイヤル操作部材を示しているが、この形態に限られることはなく、例えばメニュー画面上においてタッチパネルを操作することで撮像モードを選択し得るような形態であってもよい。

撮像部２１は、撮像素子２１ａを含んで構成される構成ユニットである。この撮像部２１は、上記撮像レンズ１１の光軸上であって、上記メカシャッタ１５の後方で、かつ上記撮像レンズ１１を透過した被写体光束が結像される結像面と、撮像素子２１ａの撮像面とが平行に一致するように配置されている。そして、撮像部２１は、撮像素子２１ａとこれを実装する電子回路基板等を含んで構成される。撮像部２１及び撮像素子２１ａは、撮像制御回路２３によって駆動制御される。

上記撮像素子２１ａは、画素を構成するフォトダイオードが水平方向及び垂直方向に二次元的に（マトリクス状に）配置して構成される電子部品である。この撮像素子２１ａは、上記撮像レンズ１１によって形成される被写体像を受けて光電変換する光電変換素子である。

ここで、本実施形態の撮像装置１に適用される撮像素子２１ａは、記録や表示のための画像を取得するための撮像画素、即ち画像を形成するための画像形成用画素（通常画素）と、所定の機能を実現するために設けられる機能画素とを有している。この場合において、上記機能画素は、撮像素子２１ａの有効画素領域のうちの一部の領域に配置されているか、若しくは有効画素領域において一定周期毎に配置されているものである。なお、上記機能画素としては、例えば位相差検出方式による焦点検出機能を実現するための焦点検出用画素（位相差検出画素ともいう）等がある。本実施形態における撮像素子２１ａは、機能画素として焦点検出用画素を有するものを想定している。

上記焦点検出用画素は、一部が遮光されたＯＢ領域（オプティカルブラック領域；遮光領域）を持つ形態の画素である。上記撮像素子２１ａにおいては、上記焦点検出用画素が、画像を形成するのに有効となる撮像面上の一部の領域若しくは当該撮像面上において撮像画素（通常画素）の中に一定の周期で配置されているものとする。

撮像素子２１ａを構成する上記フォトダイオードは、受光量に応じた電荷を生成する電子部品である。当該フォトダイオードによって発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。ここで、本実施形態の撮像装置１に適用される上記撮像素子２１ａは、複数の異なる電荷の読み出し方式を有しているものとしている。撮像素子２１ａに蓄積された電荷は、撮像制御回路２３からの制御信号にしたがって読み出される。

また、撮像素子２１ａにおける各画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している一般的な形態のものである。

撮像制御回路２３は、ＣＰＵ２９からの制御信号にしたがって上記撮像素子２１ａの読み出し方式を設定し、設定した読み出し方式にしたがって撮像素子２１ａからの画像信号の読み出しを制御する電子回路である。撮像素子２１ａからの画素データの読み出し方式は、撮像装置１の動作状態に応じて設定される。例えば、撮像素子２１ａからの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時等）には、画素データの読み出しを高速に行えるように複数の同色画素からの画素データを混合して読み出すか、若しくは特定の画素の画素データを間引いて読み出す処理が行われる。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時等）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する処理が行われる。

Ａ−ＡＭＰ２５は、撮像素子２１ａから出力された画像信号のアナログゲイン調整を行うアナログゲイン調整回路である。

ＡＤＣ２７は、アナログデジタル変換器である。ＡＤＣ２７は、上記Ａ−ＡＭＰ２５によってアナログゲイン調整された画像信号をデジタル形式の画像信号（画素データ）に変換する電子回路である。なお、以下の説明において、上記撮像素子２１ａによって取得される複数の画素データの集まりを撮像データというものとする。

ＣＰＵ２９は、ＲＯＭ４３に記憶されているプログラムにしたがって、撮像装置１の全体制御を行う電子回路である。

画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する電子回路である。画像処理部３１は、例えば静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を行って表示用画像データを生成する。このような画像処理部３１における詳細構成は、さらに後述する。

焦点検出回路３３は、上記撮像素子２１ａの上記焦点検出用画素（位相差検出画素）からの画素データを取得し、取得した画素データに基づいて公知の位相差検出処理を用いて撮像レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する電子回路である。ここで、デフォーカスとは、撮像レンズ１１の結像面の光軸方向におけるズレをいうものである。

ビデオエンコーダ３５は、画像処理部３１によって生成され、一時記憶部（以下、ＤＲＡＭという）４１に一時的に記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７へと出力する電子回路である。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示装置を含む構成ユニットであって、例えば撮像装置１の背面等に配置されている。この表示部３７は、ビデオエンコーダ３５から出力された表示用画像データを受けて対応する画像を表示画面上に表示する電子回路を含む構成ユニットである。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７，撮像制御回路２３，ＣＰＵ２９，画像処理部３１，焦点検出回路３３，ビデオエンコーダ３５，ＤＲＡＭ４１，ＲＯＭ４３，記憶媒体４５等に接続され、これらの各ブロックで発生した各種のデータが転送されるデータ伝送路である。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、撮像データ（画素データ）や記録用画像データ，表示用画像データのほか、ＣＰＵ２９における処理データ等といった各種のデータを一時的に記憶する一時記憶部である。なお、一時記憶用メモリとしては、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いることも可能である。

ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラムや当該撮像装置１における固有情報、例えば調整値等の各種のデータを予め記憶しておく記憶部である。

記憶媒体４５は、撮像装置１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記憶するための記憶回路を含めた構成ユニットである。

次に、上記画像処理部３１の詳細構成について、主に図２〜図４を用いて以下に説明する。上記画像処理部３１は、図２に示すように、光学影響推定部３１１と、光学影響補正部３１２と、ホワイトバランス（ＷＢ）補正処理部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ；ノイズリダクション）処理部３１９と、色再現処理部３２０とを有している。

なお、画像処理部３１を構成する各種構成部としては、上述した構成部のみに限らず、他の構成部も含まれる。当該画像処理部３１におけるその他の構成部としては、例えば圧縮伸張処理部等がある。しかしながら、上述の構成部以外のその他の構成部については、本発明に直接関連しない部分であるので、それらの図示は省略し、またその説明も省略する。

光学影響推定部３１１は、撮像素子２１ａによって取得された画像データに基づいて統計データを算出し、算出された上記統計データを用いて、口径食の影響の発生の有無と、影響が発生する場合にはその影響が顕著になる像高位置の検出を行なう回路部である。つまり、上記光学影響推定部３１１は、画像形成用画素からの出力信号と、焦点検出用画素からの出力信号と、焦点検出用画素の二次元上の画素位置情報とを用いて、像高に応じた撮像光学系による口径食の影響の程度を推定する回路部である。なお、上記光学影響推定部３１１の詳細は後述する（図３参照）。

光学影響補正部３１２は、上記光学影響推定部３１１によって求められた口径食の影響が発生する位置に応じて局所的な画像処理を行なう回路部である。なお、上記光学影響補正部３１２の詳細は後述する（図４参照）。

ホワイトバランス補正処理部（以下、ＷＢ補正処理部という）３１５は、撮像データの各色成分を所定のゲイン量で増幅することにより画像の色バランスを補正する回路部である。

同時化処理部３１６は、例えば撮像素子２１ａの色フィルタのベイヤ配列に対応して撮像素子２１ａを介して出力される撮像データにおいて、１つの画素が１つの色成分に対応している撮像データについて、１つの画素が複数の色成分に対応している画像データに変換する回路部である。

輝度特性変換部３１７は、上記同時化処理部３１６で生成された画像データの輝度特性を表示や記録に適するように変換する回路部である。

エッジ強調処理部３１８は、上記輝度特性変換部３１７からの出力データ（画像データ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、その結果を元の画像データに加算することによって、対象とする画像データにおけるエッジ（輪郭）成分を強調する回路部である。

ノイズ低減処理部（以下、ＮＲ処理部という）３１９は、コアリング処理等を用いて、上記エッジ強調処理部３１８からの出力データ（画像データ）におけるノイズ成分を除去する回路部である。

色再現処理部３２０は、画像の色再現を適切なものとするための各種の処理を行う回路部である。ここで行われる処理としては、例えばカラーマトリクス演算処理等がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理等である。この他に色再現処理部３２０では、例えば彩度・色相の補正処理等を行う。

ここで、上記光学影響推定部３１１及び上記光学影響補正部３１２について、図３，図４を用いてさらに詳しく説明する。

まず、上記光学影響推定部３１１は、図３に示すように、比率演算処理部３１１ａと、変化統計処理部３１１ｂ及び影響変化検知部３１１ｃからなる口径食影響判定部と、領域分割処理部３１１ｄとを有する。

比率演算処理部３１１ａは、焦点検出用画素（位相差検出画素）と撮像画素（通常画素）との比率演算を像高位置毎に算出する回路部である。ここで例えば、通常画素出力値＝ｎ、左開口の位相差画素出力値＝ｍとした場合の比率値は、
比率値＝ｍ／ｎ
となる。

上記比率演算処理部３１１ａによって算出された比率値は、後段の変化統計処理部３１１ｂにおいて、口径食影響が発生する像高位置を推定するための統計データとして利用される。なお、像高位置の比率値を統計データとして算出するのに際しては、焦点検出用画素の開口向き等の条件に応じて水平方向，垂直方向，斜め方向のいずれによってもよい。こうして上記比率演算処理部３１１ａにより算出された比率値のデータは、後段の口径食影響判定部の変化統計処理部３１１ｂへと出力される（図３参照）。

変化統計処理部３１１ｂは、上記比率演算処理部３１１ａにより算出された統計データ（像高位置毎の比率値のデータ）を用いて、像高に応じた変化傾向を統計的に分析し、像高変化に伴う比率値の傾向的な変化を算出する回路部である。

この変化統計処理部３１１ｂは、例えば、上記比率演算処理部３１１ａによって算出された比率値について、隣接水平画素同士の１次微分（比率値の差分）を算出する。当該変化統計処理部３１１ｂにて算出された１次微分値と水平画素位置データとを統計的に類似したグループで分類する。ここで、当該分類としては、例えばｋ−平均法（k-means clustering）等、公知の手段を用いる。

影響変化検知部３１１ｃは、上記変化統計処理部３１１ｂにおいて算出された像高変化に伴う比率値変化から変曲点を検出する回路部である。

この影響変化検知部３１１ｃは、上記変化統計処理部３１１ｂにおいて分類された領域（例えばグループＡ，Ｂ…）を観測し、口径食の影響の程度を判断する。例えば、グループＡにおけるｙ軸（比率値＝ｍ／ｎ）の平均値と、グループＢにおけるｙ軸（比率値＝ｍ／ｎ）の平均値との差分値を求め、その差分値が大きければ口径食の影響が高いと判断する。

領域分割処理部３１１ｄは、上記影響変化検知部３１１ｃにおいて検出された変曲点のデータを用いて、口径食影響が発生している像高位置を決定する回路部である。

この領域分割処理部３１１ｄは、上記変化統計処理部３１１ｂにおいて分類された領域毎の像高位置データから口径食影響の異なる領域を分割する。例えば、上記グループＡに属する統計データの中で最も端にあるデータの水平画素位置を境界として分割する。あるいは、上記グループＡのｘ軸（水平画素位置）の平均値と、その標準偏差範囲内を境界として分割するようにしてもよい。

次に、上記光学影響補正部３１２は、図４に示すように、領域適応ゲイン算出部３１２ａと、領域適応ゲイン補正部３１２ｂと、領域適応ノイズリダクション（ＮＲ）算出部３１２ｃ及び領域適応エッジ強調算出部３１２ｄからなる領域適応パラメータ算出処理部とを有する。

領域適応ゲイン算出部３１２ａは、上記光学影響推定部３１１（の領域分割処理部３１１ｄ）で求めたデータ、即ち口径食影響が発生している像高位置のデータを用いて、上記光学影響推定部３１１で分類した領域毎に補正すべきゲインのゲイン量を算出するために、領域毎の光量落ち傾向を示す式を算出する回路部である。この算出式は、周知の手段、例えば最小二乗法を用いた近似式を算出する方法で求める。即ち、領域毎に「ｙ＝ａ１ｘ＋ｂ１」の１次式を算出する。この場合においては補正対象によりｂ１を変更する。

画像形成を目的とした焦点検出用画素：
ｙ＝ａ１ｘ＋ｂ１（ｂ１は開口に起因する；位相差画素補正）
焦点検出を目的とした焦点検出用画素：
ｙ＝ａ１ｘ＋１．０（位相差ＡＦにおけるシェーディング補正）
画像形成を目的とした通常画素：
ｙ＝ａ１ｘ＋１．０（画像形成におけるシェーディング補正）。

領域適応ゲイン補正部３１２ｂは、上記領域適応ゲイン算出部３１２ａで求めた領域毎のゲイン量（近似式）に応じてゲイン補正をする回路部である。上記領域適応ゲイン算出部３１２ａで算出される値ｙは光量落ち量である。したがって、ゲイン補正は逆数を乗算すればよい。例えば、ｙ＝０．８の場合のゲイン量＝１．０／０．８＝１．２５となる。

領域適応ＮＲ算出部３１２ｃは、上記光学影響推定部３１１で求めた口径食影響が発生している像高位置のデータを用いて、領域毎に適用すべきノイズリダクション処理を決定する回路部である。例えば、前段でゲインを多くかけていた場合は、ノイズリダクションの効果を強くする等の処理を行なう。

領域適応エッジ強調算出部３１２ｄは、上記光学影響推定部３１１で求めた口径食影響が発生している像高位置のデータを用いて、領域毎に適用すべきエッジ強調処理を決定する回路部である。例えば、前段でゲインを多くかけ、ノイズリダクションも強くしていた場合は、エッジ強調も強くする等の処理を行なう。

即ち、領域適応パラメータ算出処理部（領域適応ＮＲ算出部３１２ｃ，領域適応エッジ強調算出部３１２ｄ）においては、上記領域適応ゲイン補正部３１２ｂにおけるゲイン補正のゲイン量（即ち、口径食影響度合い，程度）に応じて画像処理の内容を変更する。

具体的には、例えばゲイン量が大きい場合には、ノイズリダクション（ＮＲ）強度を強くしてノイズを落とし、エッジ強調度を高めるなどの処理を行う。

なお、領域適応パラメータ算出処理部においては、例えば、ゲイン量に応じて一定閾値毎にノイズリダクション（ＮＲ）強度及びエッジ強調度を確定してもよい。また、ゲイン量に応じた算出式を用いてもよい。

このように構成される本実施形態の撮像装置１における作用を、図５を用いて以下に説明する。図５は、図１の撮像装置におけるメインフローチャートである。

まず、本実施形態の撮像装置１が起動された状態にあり、かつ動画記録を実行するための動画記録モードが設定され、記録動作の待機状態にあるものとする。そして、任意のタイミングで、上記操作部１９に含まれるレリーズボタンが操作されて、所定のレリーズ信号が発生したものとする。

すると、図５のステップＳ１１において、ＣＰＵ２９は、操作部１９からの指示信号を受けて、駆動部１７を介して撮像レンズ１１，絞り１３，メカシャッタ１５等を駆動制御すると共に、撮像制御回路２３を介して撮像部２１を制御して動画記録動作制御を開始する。

続いて、ステップＳ１２において、ＣＰＵ２９は、撮像制御回路２３を介して撮像素子２１ａから画像信号の読み出しを制御する。こうして読み出された画像信号は、上述したように、Ａ−ＡＭＰ２５においてアナログゲイン調整が施され、ＡＤＣ２７においてアナログデジタル変換処理が施された後、ＤＲＡＭ４１に一時的に記憶される。

次に、ステップＳ１３において、ＣＰＵ２９は、画像処理部３１を制御して光学影響推定処理を実行する。ここで、光学影響推定処理は、上記画像処理部３１内の上記光学影響推定部３１１にて実行される信号処理である。

即ち、ＣＰＵ２９は、上記撮像部２１にて取得され、所定の信号処理が施された後、上記ＤＲＡＭ４１に一時記憶されている画像データを、バス３９を介して画像処理部３１へと入力させる。

画像処理部３１に入力された画像データは、上述したように、上記光学影響推定部３１１へと入力される。このとき、同画像データは、まず、比率演算処理部３１１ａに入力され、この比率演算処理部３１１ａにおいて、焦点検出用画素（位相差検出画素）と撮像画素（通常画素）との比率演算を像高位置毎に算出する。その算出結果（比率値データ；統計データ）は、変化統計処理部３１１ｂへと出力される。

これを受けて、変化統計処理部３１１ｂは、入力された統計データ（像高位置毎の比率値のデータ）を用いて、像高に応じた変化傾向を統計的に分析し、像高変化に伴う比率値の傾向的な変化を算出する。そして、その算出結果（像高変化に伴う比率値変化データ）は、影響変化検知部３１１ｃへと出力される。

これを受けて、影響変化検知部３１１ｃは、入力されたデータ（像高変化に伴う比率値変化のデータ）から変曲点を検出する。その算出結果（変曲点データ）は、領域分割処理部３１１ｄへと出力される。

これを受けて、領域分割処理部３１１ｄは、入力されたデータ（変曲点データ）を用いて口径食影響が発生している像高位置を決定する。こうして決定された像高位置データは、光学影響補正部３１２へと出力されて、図５のステップＳ１４の処理に進む。

次に、ステップＳ１４において、ＣＰＵ２９は、画像処理部３１を制御して光学影響補正処理を実行する。ここで、光学影響補正処理は、上記画像処理部３１内の上記光学影響補正部３１２にて実行される信号処理である。

上述したように、光学影響補正部３１２には、上記光学影響推定部３１１の領域分割処理部３１１ｄにて取得されたデータ（口径食影響が発生している像高位置データ）が入力されている。これを受けて、光学影響補正部３１２の領域適応ゲイン算出部３１２ａは、上記光学影響推定部３１１で分類した領域毎に補正すべきゲインのゲイン量を算出する。その算出結果は、領域適応ゲイン補正部３１２ｂへと出力される。

これを受けて、領域適応ゲイン補正部３１２ｂは、入力されたデータ（領域毎のゲイン量（近似式））に応じてゲイン補正処理を実行する。その処理結果は、領域適応パラメータ算出処理部（３１２ｃ，３１２ｄ）へと出力される。

これを受けて、領域適応ＮＲ算出部３１２ｃは、入力されたデータ（口径食影響が発生している像高位置データ）を用いて、領域毎に適用すべきノイズリダクション処理を決定する。

また、同様に、領域適応エッジ強調算出部３１２ｄは、入力されたデータ（口径食影響が発生している像高位置データ）を用いて、領域毎に適用すべきエッジ強調処理を決定する。

こうして、上記領域適応パラメータ算出処理部（３１２ｃ，３１２ｄ）にてＮＲ処理及びエッジ強調処理が施された後の画像データは、一旦ＤＲＡＭ４１へと出力され、ここに一時記憶される。その後、ステップＳ１５の処理に進む。

次にステップＳ１５において、ＣＰＵ２９は、焦点検出回路３３を制御して焦点検出処理を実行する。この焦点検出処理は、上記ＤＲＡＭ４１に一時記憶されている上記光学影響補正処理済みの画像データを用いて行なわれる。即ち、当該画像データのうち焦点検出用画素（位相差検出画素）の画素データを取得して、その取得した画素データに基づいて撮像レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。なお、この焦点検出処理自体は、公知の撮像面位相差検出処理である。その後、ステップＳ１６の処理に進む。

続いて、ステップＳ１６において、ＣＰＵ２９は、画像処理部３１を制御して所定の画像処理を実行する。ここで行われる画像処理は、例えばＷＢ補正処理部３１５によるホワイトバランス補正処理、同時化処理部３１６による同時化処理、輝度特性変換部３１７による輝度特性変換処理、エッジ強調処理部３１８によるエッジ強調処理、ＮＲ処理部３１９によるノイズリダクション処理、色再現処理部３２０による色再現処理などである。これらの画像処理が施された後、生成された画像データは、ＤＲＡＭ４１へと出力され、ここに一時記憶される。その後、ステップＳ１７の処理に進む。

ステップＳ１７において、ＣＰＵ２９は、画像処理部３１を制御して記録用画像データを生成し、これを記憶媒体４５に記憶させる記録処理を実行する。

続いて、ステップＳ１８において、ＣＰＵ２９は、操作部１９からの指示信号を監視して、動画記録の停止指示が発生しているか否かの確認を行なう。ここで、操作部１９から動画記録の停止指示が確認された場合には、一連の処理を終了する。また、操作部１９から動画記録の停止指示が確認されない場合には、上述のステップＳ１１の処理に戻り、以降の処理を繰り返す。

以上説明したように上記一実施形態の撮像装置１によれば、画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され、撮像光学系により結像された被写体像を光電変換する撮像素子を備えた撮像装置において、画像形成用画素（通常画素）からの出力信号と焦点検出用画素（位相差検出画素）からの出力信号との比率演算結果と、焦点検出用画素の二次元上の画素位置情報とに基づいて、像高に応じた撮像光学系による口径食の影響の程度（度合い）を、光学影響推定部３１１によって推定し、この光学影響推定部３１１による推定結果に応じて異なる内容の適切な画像処理、即ち、像高（画素位置）に応じて口径食の影響が異なるのに合わせて局所的な画像処理を光学影響補正部３１２によって実行するように構成している。

このような構成により、焦点検出用画素によって生じ得る画質劣化を抑止することができるので、撮像動作時に使用する撮像光学系に依存することなく、良好で高画質な撮像結果としての画像を表す画像データを常に取得することができる。

特に、撮像光学系の製造のばらつきにがあっても、また、電気接点を具備しないことから光学情報を取得し得ない撮像光学系であっても、撮像光学系による口径食の影響の程度（度合い）を推定することができるので、常に適切な光学影響補正処理を行うことが可能である。

なお、上述の一実施形態においては、撮像装置１のＣＰＵ２９が実行するプログラムにより行われる信号処理方法について例示しているが、この形態に限られることはない。例えば、一般的なコンピュータによって実行可能なプログラムとしても応用し得る。この場合において取り扱う画像データは、例えば一般的な撮像装置によって撮像され、当該プログラムが記憶されたコンピュータ等に対応する記録媒体に記録済みの画像データとなる。

図６は、本発明の一実施形態の信号処理方法をコンピュータで実行する場合の一例を示すフローチャートである。

まず始めに不図示のコンピュータにおいて、上記一実施形態の信号処理方法が記述されたプログラムが実行されたものとする。

すると、図６のステップＳ２１において、コンピュータの制御部は、撮影済み画像データが記録された記憶媒体（不図示）から所望の画像データに対応するＲＡＷ（未加工）データを読み込む。

続いて、ステップＳ２２において、コンピュータの制御部は、上述のステップＳ２１の処理にて読み込んだＲＡＷデータを、同コンピュータ内のワークメモリ（不図示）上に展開する。その後、ステップＳ１３の処理に進む。

そして、ステップＳ１３（光学影響推定処理），ステップＳ１４（光学影響補正処理），ステップＳ１５（焦点検出処理），ステップＳ１６（画像処理）の各処理を実行する。これらステップＳ１３〜Ｓ１６の各処理は、上述の一実施形態と全く同様の処理である（図５参照）。したがって、その詳細説明は省略する。

続いて、ステップＳ２７において、コンピュータの制御部は、上記ワークメモリ上に展開している画像データを記録用の画像データに変換する処理を行なう。

次いで、ステップＳ２８において、コンピュータの制御部は、上述のステップＳ２７の処理にて生成された記録用画像データを記憶媒体へと記録する処理を実行する。その後、一連の処理を終了する。

上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定可能であることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク，ＣＤ−ＲＯＭ等，不揮発性メモリ等の可搬媒体や、ハードディスク，揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供が可能なものである。利用者は、製品出荷後であっても、自ら通信ネットワーク，インターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作可能にすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、デジタルカメラ等の撮像機能に特化した電子機器である撮像機器に限られることはなく、撮像機能を備えたその他の形態の電子機器、例えば携帯電話，スマートフォン，電子手帳，電子辞書，携帯情報端末，パーソナルコンピュータ，タブレット型端末機器，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の音声記録再生機能付き電子機器に対し広く適用することができる。

さらに、撮像素子を用いて画像を取得し、その取得画像を表示装置に表示する機能を有する電子機器、例えば望遠鏡，双眼鏡，顕微鏡等の観察用機器に対しても同様に適用することができる。

１……撮像装置，
１１……撮像レンズ，
１３……絞り，
１５……メカシャッタ，
１７……駆動部，
１９……操作部，
２１……撮像部，
２１ａ……撮像素子，
２３……撮像制御回路，
２５……アナログゲイン調整回路（Ａ−ＡＭＰ），
２７……アナログデジタル変換器（ＡＤＣ），
２９……制御回路（ＣＰＵ），
３１……画像処理部，
３３……焦点検出回路，
３５……ビデオエンコーダ，
３７……表示部，
３９……バス，
４１……一時記憶部（ＤＲＡＭ），
４３……ＲＯＭ，
４５……記憶媒体，
３１１……光学影響推定部，
３１１ａ……比率演算処理部，
３１１ｂ……変化統計処理部，
３１１ｃ……影響変化検知部，
３１１ｄ……領域分割処理部，
３１２……光学影響補正部，
３１２ａ……領域適応ゲイン算出部，
３１２ｂ……領域適応ゲイン補正部，
３１２ｃ……領域適応ノイズリダクション（ＮＲ）算出部，
３１２ｄ……領域適応エッジ強調算出部，
３１５……ホワイトバランス（ＷＢ）補正処理部，
３１６……同時化処理部，
３１７……輝度特性変換部，
３１８……エッジ強調処理部，
３１９……ノイズ低減（ＮＲ；ノイズリダクション）処理部，
３２０……色再現処理部，

Claims (10)

1. 被写体像を結像させる撮像光学系と、
   画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され、上記撮像光学系により結像された被写体像を光電変換する撮像素子と、
   上記画像形成用画素からの出力信号と上記焦点検出用画素からの出力信号と上記焦点検出用画素の二次元上の画素位置情報とを用いて、像高に応じた上記撮像光学系による口径食の影響の程度を推定する光学影響推定部と、
   上記光学影響推定部による推定結果に応じて異なる内容の画像処理を実行する光学影響補正部と、
   を具備することを特徴とする撮像装置。
2. 上記光学影響推定部は、像高に応じた上記撮像光学系による口径食の影響の程度に応じて撮像領域内を複数の領域に分割する領域分割処理部を、さらに有し、
   上記光学影響補正部は、上記領域分割処理部によって分割された領域毎に異なる内容の画像処理を実行することを特徴とする請求項１に記載の撮像装置。
3. 上記光学影響推定部は、像高に応じた上記画像形成用画素からの出力信号と上記焦点検出用画素からの出力信号との比率計算を行う比率演算処理部と、
   上記比率演算処理部により算出された像高に応じた比率変化から口径食の影響の大きさを判定する口径食影響判定部と、
   を、さらに有することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 上記口径食影響判定部は、上記比率演算処理部により算出された像高に応じた比率変化が、近しい変化であるか否かを統計的に判断する変化統計処理部と、
   上記変化の傾向が異なる像高位置を口径食の影響が変化したと判断する影響変化検知部と、
   を、さらに有することを特徴とする請求項３に記載の撮像装置。
5. 上記光学影響補正部は、上記光学影響推定部の出力に応じて上記画像形成用画素と上記焦点検出用画素とに適用する各ゲイン量を、同程度の口径食影響の像高位置毎に、それぞれ算出する領域適応ゲイン算出部と、
   上記領域適応ゲイン算出部により算出された像高位置毎のゲイン量に応じてゲイン補正処理を行なう領域適応ゲイン補正部と、
   を、さらに有することを特徴とする請求項１又は請求項２に記載の撮像装置。
6. 上記光学影響補正部は、上記光学影響推定部の出力に応じて上記画像形成用画素及び上記焦点検出用画素の両者に適用する各画像処理パラメータを、同程度の口径食影響の像高位置毎に、それぞれ算出する領域適応パラメータ算出処理部を、
   を、さらに有することを特徴とする請求項１又は請求項２に記載の撮像装置。
7. 上記領域適応パラメータ算出処理部は、
   像高位置に応じたノイズリダクション処理のパラメータを算出する領域適応ノイズリダクション算出部と、
   像高位置に応じたエッジ強調処理のパラメータを算出する領域適応エッジ強調算出部と、
   を有することを特徴とする請求項６に記載の撮像装置。
8. 画像形成用画素をマトリクス状に配置した領域内の一部の画素を焦点検出用画素として配置され、撮像光学系により結像された被写体像を光電変換する撮像素子からの出力信号を処理する信号処理方法であって、
   上記画像形成用画素からの出力信号と上記焦点検出用画素からの出力信号と上記焦点検出用画素の２次元上の画素位置情報とを用いて、像高に応じた上記撮像光学系による口径食の影響の度合いを推定する光学影響推定処理と、
   前記光学影響推定処理によって推定される口径食の影響度合いに応じて内容の異なる画像処理を実行する光学影響補正処理と、
   を行なうことを特徴とする信号処理方法。
9. 像高に応じた口径食の影響の度合いに応じて撮像領域内を複数の領域に分割する領域分割処理を、さらに有し、
   前記領域分割処理によって分割された領域に応じて内容の異なる画像処理を実行することを特徴とする請求項８に記載の信号処理方法。
10. 画像形成用画素からの出力信号と、焦点検出用画素からの出力信号と、焦点検出用画素の２次元上の画素位置情報とを用いて、像高に応じた撮像光学系による口径食の影響の度合いを推定する光学影響推定ステップと、
    前記光学影響推定ステップによって推定される口径食の影響度合いに応じて内容の異なる画像処理を実行する光学影響補正ステップと、
    をコンピュータに実行させることを特徴とする信号処理プログラム。

Images