JP6351690B2 - 信号処理装置、信号処理方法、コンピュータプログラム、レンズユニット - Google Patents

Description

本発明は、レンズユニットの光学特性に起因する画像劣化を補正する技術に関するものである。

デジタルカメラ等の撮像装置が様々な用途に使用されており、撮像装置から出力される画像にはますますの高画質が求められている。画像の高画質化を妨げる一つの要因として、被写体像を結像するために用いられる撮像レンズの光学特性による画像劣化がある。画像劣化を引き起こす光学特性の例としては周辺減光、歪曲収差、倍率色収差などが挙げられる。これらの光学特性はレンズユニットの光学系により異なるが、レンズユニットの小型化が求められる近年、これら画像劣化の要因となる光学特性を完全に排除した光学系の実現は困難である。そのため、このような画像劣化を画像処理により補正する技術がある。

レンズの光学特性を画像から完全に抽出する事は非常に困難である為、このような画像処理による補正を精度良く行うためには、撮像装置内のメモリに、撮像光学系の光学特性を示すデータであって上記補正に用いる光学補正データを記憶させておく方法がある。特に、一眼レフデジタルカメラには、該カメラに装着可能な複数のレンズユニット（撮像光学系）の光学補正データを記憶させておく必要がある。さらに、同じ撮像光学系でも、焦点距離、撮影距離、絞り値等の光学パラメータによって光学特性が変化する。そのため、複数の光学パラメータに対応する光学補正データを撮像装置内のメモリに記憶させておき、撮影時の撮影条件に合致した補正値を補正データから算出する。

特許文献１には、画像の中心位置からの距離である像高と歪曲収差の関係を示す像高−歪曲収差曲線上における離散点となる歪曲収差データを保持し、歪曲収差データから生成した像高−歪曲収差の近似式から補正値を算出する方法が提案されている。

特開２００５−２８６４８２号公報

前述の通り、光学特性は焦点距離、撮影距離、絞り値等の光学パラメータによって変化する。撮影時に得られる全光学パラメータに対応した補正値を光学補正データとして保持する方法もある。しかしながら、それでは光学補正データのサイズが膨大になり、撮像装置や信号処理装置などに大容量のメモリが要求される。

また、上述の特許文献に開示された従来技術では焦点距離によって撮影可能範囲が異なる場合の光学補正データのサイズと補正精度に関する問題は解決されていない。

そこで本発明の目的は、高精度な補正を維持しつつも、光学補正データのサイズを抑える技術思想を提案することである。

上記目的を達成するために、本発明の一つの側面は、複数の第１の光学パラメータの情報と、複数の第２の光学パラメータの情報と、前記複数の第１の光学パラメータの情報と前記複数の第２の撮影条件の情報との組み合わせに基づく補正値とを有するデータを取得し、前記データを画像補正処理に用いる信号処理装置において、前記データは、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットの数を示す第１の情報と、前記第１の情報が示す数の前記複数の第２の光学パラメータの情報のセットと、を有する。

また、別の側面は、複数の第１の光学パラメータの情報と、複数の第２の光学パラメータの情報と、前記複数の第１の光学パラメータの情報と前記複数の第２の光学パラメータの情報との組み合わせに基づく補正値とを有するデータを撮像装置に送信するレンズユニットにおいて、前記データは、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットの数を示す第１の情報と、前記第１の情報が示す数の前記複数の第２の光学パラメータの情報のセットと、を有する。

本発明によれば、光学補正データのサイズを抑えて高精度な補正を行なう撮像装置を提供するができる。

本発明の第１の実施形態に係る撮像装置の構成図 光学補正データの例を示す図 撮影距離に対する光学特性と補正値の例を示す図 本発明の第１の実施形態に係る補正処理の流れを示す図 本発明の第１の実施形態に係る光学補正データを示す図 本発明の第１の実施形態に係る焦点距離に対する光学特性と補正値の例を示す図 本発明の第１の実施形態に係る撮影距離に対する光学特性と補正値の例を示す図 本発明の第１の実施形態に係る撮影距離分割点を示す図 本発明の第１の実施形態に係る補正値を示す図 本発明の第１の実施形態に係る補正値の演算方法を示す図 本発明の第１の実施形態に係る生成された補正値を示す図 本発明の第１の実施形態に係る補正結果を示す図 本発明の第２の実施形態に係る画像処理装置の構成図 本発明の第２の実施形態に係る補正処理の流れを示す図 本発明の第２の実施形態に係る光学補正データを特定するテーブル示す図

（実施例１）
以下、本発明を適用した第１の実施形態について説明する。

（撮像装置の基本構成の一例）
図１は、本発明の実施形態に係る撮像装置の基本構成の一例である。不図示の被写体はレンズユニット１０１の撮像光学系によりカメラ本体１００の中の撮像素子１０２に結像する。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体の距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。レンズユニット内記憶部１０１ｃは光学特性による画像劣化を画像処理によって補正する際に必要な光学補正データを保持する。

本撮像装置において撮像光学系１０１はカメラ本体１００に対して取り外し可能であり他の撮像光学系に交換可能である構造とする。撮像素子１０２では結像光が電気信号に変換されＡ／Ｄコンバータ１０３でデジタル信号に変換し、画像処理部１０４に入力される。画像処理部１０４は光学補正部１１１と所定の処理を行うその他画像処理部１１２から構成される。光学補正部１１１では撮像レンズの光学特性による画像劣化を画像処理によって補正する。また、その他画像処理部１１２では画素補間処理や輝度信号処理、色信号処理など一連の現像処理を行なう。

レンズユニット制御部１０６はレンズユニットの制御及びデータ通信を行なう。状態検知部１０７はレンズユニット制御部１０６を通じ、撮像光学系の焦点距離、撮影距離、絞り値等の撮影時情報を得る。また、レンズユニット制御部１０６はレンズユニット１０１内のレンズユニット内記憶部１０１ｃで保持する光学補正データを取得し、記憶部１０８に保存する。

光学補正部１１１は記憶部１０８に記録された光学補正データから、状態検知部１０７により取得した撮影時情報に対応する補正値を生成し、光学特性による画像劣化を補正する際に使用する。

画像処理部１０４で処理された出力画像を画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、光学補正処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、光学補正処理を行わない画像を表示しても良い。

一連の制御はシステムコントローラ１１０で行われ、レンズユニットの機械的な駆動はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。

（光学補正処理）
図４に示した本発明に係る撮像装置における光学補正処理の流れに沿い、光学補正処理の詳細を説明する。

（光学補正データの取得）
まず、光学補正処理に必要な光学補正データの取得（Ｓ２０１）を行なう。これは先述のとおりレンズユニット制御部１０６の制御により、レンズユニット内記憶部１０１ｃで保持された光学補正データをカメラ本体内の記憶部１０８に転送することで行なう。光学補正データを転送するタイミングはカメラの起動時やレンズユニット１０１がカメラ本体１００に装着されたときに行う。また、この補正処理実行の際には記憶部１０８に光学補正データが保持されているようにする。

レンズユニット内記憶部１０１ｃから記憶部１０８に転送される光学補正データの構造を図５に示す。光学補正データの構造は、ヘッダ領域（ａ）と補正値格納領域（ｂ）の２つからなる。

（ヘッダ領域（ａ）について）
ヘッダ領域（ａ）は、分割点数格納領域（ａ−１）と焦点距離別情報数格納領域（ａ−２）と分割点情報格納領域（ａ−３）を含んでいる。

撮影の際に得られる焦点距離、撮影距離、絞り値の全光学パラメータに対応した補正値を光学補正データに持たせるのではなく各光学パラメータを分割し離散的に選択し、対象の光学パラメータに応じた補正情報を光学補正データとして保持する。対象の光学パラメータに関する情報は分割点情報格納領域（ａ−３）で保持し、その光学パラメータに対応する補正値を補正値格納領域（ｂ）で保持する。

分割点数格納領域（ａ−１）は各パラメータを離散的に保持する点数を記録する領域である。

図６は焦点距離による周辺光量の変動特性の一例を像高１０ｍｍと１３ｍｍ部分について示し、さらに光学補正データで保持する補正値（分割点）の例を示した図である。図中の点線は光学特性である光量を示しており、プロットは光学補正データにおいて補正値を保持する点、さらに実線は補正値を線形補間した結果である。図における光量値は画像中心部分の光量を１００とした場合の値としている。この例では焦点距離による周辺光量の変動に追従するために、光学補正データで保持する補正値の焦点距離はｚ０〜ｚ４の５点としている。この場合、分割点数格納領域（ａ−１）の焦点距離分割点数ｚＮｕｍに５を格納する。このように光学パラメータに対する光学特性の変動に追従するために、光学特性に応じた分割点を設定し、光学補正データのヘッダ領域にはその分割点数を格納する領域を持たせる。こうすることで撮像装置に要求される補正精度に従って最小限の分割点数を設定することが可能である。

ここでは焦点距離を例に、分割点数について説明した。この点、撮影距離と絞りについても焦点距離と同様であり、各パラメータに対する光学特性に応じた分割点数を設定することができる。図５において撮影距離の分割点数は撮影距離分割点数ｄＮｕｍに格納され、絞りの分割点数は絞り分割点数ｆＮｕｍに格納される。

（各焦点距離分割位置における最短撮影距離の変動の例）
また、図７（ａ）は、各焦点距離分割位置における最短撮影距離が変動する場合の例を示した図である。ここで言う最短撮影距離とは、撮影可能な被写体距離の最小値を意味する。この例では焦点距離ｚ２で最短撮影距離は最大値ｙ１となり、焦点距離ｚ３で最短撮影距離は最小値ｙ０となる。このように焦点距離によって最短撮影距離が変動する場合は、焦点距離分割点に応じて撮影距離分割点を設定する。図８は焦点距離分割点ｚ０〜ｚ４のぞれぞれで撮影距離分割点を保持する場合の撮影距離値の例である。値は撮影距離（ｃｍ）の逆数とし０は無限遠を意味している。図８に示した分割点情報を光学補正データに保持する場合は、図５において焦点距離別情報数格納領域（ａ−２）の焦点距離別撮影距離情報数ｚｄＮｕｍに５を格納し、分割点情報格納領域（ａ−３）の撮影距離分割点情報ｄ［０］［０］からｄ［ｚｄＮｕｍ−１］［ｄＮｕｍ−１］に焦点距離に応じた撮影距離分割点の情報を格納する。

（撮影距離の逆数と所定の像高部分での光量の特性）
図７（ｂ）は、図７（ａ）の焦点距離ｚ２における撮影距離の逆数と像高１０ｍｍ部分の光量の特性と、さらに光学補正データで保持する分割点の例を示した図である。補正値を保持する撮影距離領域を実際撮影可能な範囲に限定することで、撮影距離に対する光量の特性に補正値が精度よく追従している様子が分かる。このように焦点距離により最短撮影距離が変動する場合は焦点距離毎に撮影距離の分割点を設定することで、光学特性に追従した補正値を光学補正データに持たせることができる。しかし、焦点距離による最短撮影距離の変動が小さい場合、もしくは最短撮影距離の変動の影響が無視できるような場合は、焦点距離毎に撮影距離の分割点を設定する必要はない。その場合は焦点距離別撮影距離情報数ｚｄＮｕｍに１を格納し、撮影距離分割点情報はｄ［０］［０］からｄ［０］［ｄＮｕｍ−１］のみ格納することになるので光学補正データのさらなるサイズ削減になる。

ここでは焦点距離毎に撮影距離分割点を設定することについて説明したが、焦点距離毎に絞りの分割点を設定することも同様に可能である。その場合は焦点距離別絞り情報数ｚｆＮｕｍと絞り分割点情報ｆ［０］［０］からｆ［ｚｆＮｕｍ−１］［ｆＮｕｍ−１］を使用することで対応する。

（別の分割点数の場合）
また図７（ｃ）は撮影距離の分割点数を４ではなく３にした場合の例である。このように光学特性に対する補正値の追従精度を考慮しながら、求められる補正精度内で分割点を削減し光学補正データサイズを削減することも可能である。この場合は撮影距離分割点数ｄＮｕｍに３を格納する。

（補正値格納領域（ｂ）について）
次に補正値格納領域（ｂ）について説明する。補正値格納領域（ｂ）では分割点情報格納領域（ａ−３）に格納された各光学パラメータのそれぞれの組み合わせに対応した補正値を補正情報として格納する。周辺減光に対する補正値の一例を図９に示す。点線は像高に対する光量の特性を示しており、離散的な像高に対する光量の値を補正値として保持箇所をプロットで示している。この離散的な像高に関する情報は、分割点数を分割点格納領域（ａ−１）の像高分割点数ｈＮｕｍに格納し、像高の値を分割点情報格納領域（ａ−３）の像高分割点情報ｈ［０］〜ｈ［ｈＮｕｍ−１］に格納する。図９で示した像高−補正値のセットを光学パラメータの組み合わせに対する１つの補正値とし、補正値格納領域（ｂ）ではこの補正値を分割点情報格納領域（ａ−３）に格納された各光学パラメータの分割点の全組み合わせに対して保持する。すなわち焦点距離分割点数ｚＮｕｍが５、撮影距離分割点数ｄＮｕｍが３、絞りの分割点数ｆＮｕｍが４の場合は６０個（５×３×４）の補正値を保持する。

補正値格納領域（ｂ）における各補正値の格納順序は予め定めておく必要がある。例えば、図５に示したように焦点距離、絞り、撮影距離の順番で優先順位を決め、各パラメータ値を昇順で保持する。このように補正値の格納順を予め定めておくことで、へッダ領域に格納された分割点数格納領域（ａ−１）、焦点距離別情報数格納領域（ａ−２）、分割点情報格納領域（ａ−３）の各情報を基に対象の補正値が記録された場所を特定することができる。

（歪曲収差や倍率色収差）
ここでは周辺減光に対する補正値について説明した。この点、歪曲収差や倍率色収差に対しても同形式の光学補正データを適用できる。図９に示した補正値の例において歪曲収差に対する補正値は縦軸を歪量とし、倍率色収差に対する補正値は縦軸を色収差量として考えれば良い。

以上、本発明における光学補正データについて説明した。光学パラメータ毎に分割点数の設定が可能であり、さらに焦点距離に応じた撮影距離と絞りの分割点の設定が可能なデータ構造とすることで、レンズユニットの光学特性に応じてデータサイズを必要最小限に抑えた高精度な光学補正データが実現できる。

（比較例）
光学補正データのサイズを削減する方法として、全光学パラメータに応じた補正値を持たせるのではなく各光学パラメータを離散的に選択し、選択した光学パラメータに応じた補正を光学補正データとして保持する方法が考えられる。この場合の光学補正データにおける補正値の持たせ方の例を図２に示す。この例では焦点距離のＷｉｄｅ端からＴｅｌｅ端までをｚ［０］〜ｚ［３］の４点に分割し離散的に保持しており、ｚ［０］がＷｉｄｅｅ端、ｚ［３］がＴｅｌｅ端の焦点距離を意味している。また同様に、絞りをｆ［０］〜ｆ［３］、撮影距離をｄ［０］〜ｄ［３］の４点に分割し離散的に保持している。図２に示すように光学補正データにおける補正値格納領域には、ヘッダ領域で定義した各パラメータの組み合わせに対応する補正値を順次保持している。そして、この補正値格納領域で保持する離散的な補正値を基に実際の撮影条件に合致した補正値を生成する。

このように補正値を離散的に持たせることで補正データのデータ削減は可能である。しかし、離散的に補正値を保持するために補正精度が低下し正しい補正ができない場合がある。図３は、焦点距離による周辺光量の変動特性の一例を像高１０ｍｍと１３ｍｍ部分について示している。点線は光学特性である光量を示しており、プロットは光学補正データにおける補正値を保持する点、さらに実線は補正値を線形補間した結果である。図における光量値は画像中心部分の光量を１００とした場合の値としている。光学補正データで保持する補正値の焦点距離はｚ０〜ｚ３の４点である。図３（ａ）から分かるように、焦点距離に対する光量の変動特性（点線）は像高１０ｍｍと１３ｍｍで大きく異なっている。そのためｚ０〜ｚ３の４点から生成した補正値は実際の光量と乖離が大きい部分がある。図３（ａ）の例では、ｚ０とｚ１の間の焦点距離で像高１０ｍｍ部分は実際の光量よりも補正値は少ない値となっている。この場合、実際よりも少ない光量として補正するため補正結果は過補正となる。

一方ｚ１とｚ２の間の焦点距離では像高１３ｍｍ部分で過補正になる。図３（ｂ）（ｃ）はそれぞれ焦点距離の分割位置ｚ０〜ｚ３を変更した場合の例である。分割位置を変更することで補正精度が向上する焦点距離領域もあるが、逆に精度が低下する領域もある。ここで示した例は、離散的に保持した補正値を線形補間により間の補正値を生成している。この点、近似多項式などを用いた他の補間方法を用いてもこのように焦点距離毎に光学特性が大きく異なる場合は、同様に補正精度は低下する。

精度を向上させるためには離散的に保持する光学パラメータの分割点数を増やせばよいものの、補正精度とデータサイズはトレードオフの関係にある。前述のとおり、特に一眼レフデジタルカメラには、ハードウェア資源上有効である。該カメラに装着可能な複数のレンズユニット（撮像光学系）の光学補正データを記憶させておく必要がある一方、レンズユニットひとつあたりの光学補正データのサイズを削減できるからである。

（撮影状態情報の取得）
次に、図４に示したように、光学補正データの取得（Ｓ２０１）の次に、撮像状態情報の取得（Ｓ２０２）を行なう。これは状態検知部１０７において光学補正に必要な光学パラメータである撮影時の焦点距離Ｚ、撮影距離Ｄ、絞りＦの情報を取得する。

（補正値の生成）
そして、撮影時の光学パラメータである焦点距離Ｚ、撮影距離Ｄ、絞りＦに対応する補正値を生成するために、光学補正データで保持する補正値の中から、撮影時の光学パラメータの近傍の補正値を抽出する（Ｓ２０３）。具体的には、光学補正データで保持する各光学パラメータの分割点情報ｚ［］、ｄ［］、ｆ［］の中から下記条件を満たすｎｚ、ｎｄ、ｎｆをそれぞれ検出する。
ｚ［ｎｚ］ ≦ Ｚ ＜ ｚ［ｎｚ＋１］ ・・・（式１）
（ただし、Ｚ ≧ ｚ［ｚＮｕｍ−１］の場合は、ｎｚをｚＮｕｍ−２とする。）
ｄ［ｎｄ］ ≦ １／Ｄ ＜ ｄ［ｎｄ＋１］ ・・・（式２）
（ただし、１／Ｄ ≧ ｄ［ｄＮｕｍ−１］の場合は、ｎｄをｄＮｕｍ−２とする。）
ｆ［ｎｆ］ ≦ Ｆ ＜ ｆ［ｎｆ＋１］ ・・・（式３）
（ただし、Ｆ ≧ ｆ［ｆＮｕｍ−１］の場合は、ｎｆをｆＮｕｍ−２とする。）

そして、光学補正データの補正値格納領域（ｂ）からｎｚ、ｎｄ、ｎｆによる下記８パターンの補正値Ｐを抽出する。
Ｐ［０］［０］［０］：（ｚ［ｎｚ］，ｄ［ｎｄ］，ｆ［ｎｆ］）に対応する補正値
Ｐ［０］［０］［１］：（ｚ［ｎｚ］，ｄ［ｎｄ］，ｆ［ｎｆ＋１］）に対応する補正値
Ｐ［０］［１］［０］：（ｚ［ｎｚ］，ｄ［ｎｄ＋１］，ｆ［ｎｆ］）に対応する補正値
Ｐ［０］［１］［１］：（ｚ［ｎｚ］，ｄ［ｎｄ＋１］，ｆ［ｎｆ＋１］）に対応する補正値
Ｐ［１］［０］［０］：（ｚ［ｎｚ＋１］，ｄ［ｎｄ］，ｆ［ｎｆ］）に対応する補正値
Ｐ［１］［０］［１］：（ｚ［ｎｚ＋１］，ｄ［ｎｄ］，ｆ［ｎｆ＋１］）に対応する補正値
Ｐ［１］［１］［０］：（ｚ［ｎｚ＋１］，ｄ［ｎｄ＋１］，ｆ［ｎｆ］）に対応する補正値
Ｐ［１］［１］［１］：（ｚ［ｎｚ＋１］，ｄ［ｎｄ＋１］，ｆ［ｎｆ＋１］）に対応する補正値

次に、抽出した上記８つの補正値から撮影時の撮影状態に対応した補正値を生成する（Ｓ２０４）。

生成方法は上記８つの補正値を補間することで行なうが、その一例として概略図を図１０に示す。焦点距離、撮影距離、絞りの三次元空間において、８つの補正値Ｐと生成する補正値Ｑを示している。Ｑの生成のために、まず焦点距離分割点ｚ［ｎｚ］における撮影時撮影距離Ｄと撮影時絞りＦに対応する補正値Ｑ１を下記のように生成する。
Ｑ１ ＝ Ｐ［０］［０］［０］×Ｓ×（１−Ｔ）
＋ Ｐ［０］［０］［１］×Ｓ×Ｔ
＋ Ｐ［０］［１］［０］×（１−Ｓ）×（１−Ｔ）
＋ Ｐ［０］［１］［１］×（１−Ｓ）×Ｔ ・・・（式４）

上式のＳおよびＴは図１０に示すようにＱ１から各補正値Ｐの位置関係に応じた重み係数である。

次に焦点距離分割点ｚ［ｎｚ＋１］における撮影時撮影距離Ｄと撮影時絞りＦに対応する補正値Ｑ２を下記のように生成する。
Ｑ２ ＝ Ｐ［１］［０］［０］×Ｕ×（１−Ｖ）
＋ Ｐ［１］［０］［１］×Ｕ×Ｖ
＋ Ｐ［１］［１］［０］×（１−Ｕ）×（１−Ｖ）
＋ Ｐ［１］［１］［１］×（１−Ｕ）×Ｖ ・・・（式５）

上式のＵおよびＶは図１０に示すようにＱ２から各補正値Ｐの位置関係に応じた重み係数である。

次にＱ１とＱ２を下記のように補間することで目的の補正値Ｑを生成する。
Ｑ ＝ Ｑ１×（１−Ｗ）＋Ｑ２×Ｗ ・・・（式６）

このように撮影時の光学パラメータの近傍の補正値から撮影時の補正値を生成することが出来る。なお、前述の通り補正値は図９に示すように複数の像高ｈ０〜ｈ４と各像高に対する補正値のセットであるため上記演算はそれぞれの像高ｈ０〜ｈ４で行なう。各像高における光学パラメータの近傍の補正値Ｐと生成した撮影時の補正値Ｑの関係は図１１（ａ）のようになる。

（光学補正）
次に生成された撮影の際の補正情報としての補正値を基に光学補正を行なう（Ｓ２０５）。生成された補正値は図１１（ｂ）に示すように像高ｈ０〜ｈ４における離散的な補正量であるため、この補正量を多項式で近似することで像高に対する補正曲線を得ることができる。

周辺減光を例に画像処理による補正方法を説明する。まず補正対象の画素において画像中心からの距離である像高を求め、生成した補正曲線から対象の像高の光量を得る。次に光量の逆数を求め、求めた逆数に応じたゲインを画素値に適用する。これらの処理を画像中の全画素の行なうことで周辺減光の補正ができる。図１２は本発明による周辺減光補正の効果を示した図である。それぞれの図は均一輝度である被写体を撮影した時の像高と撮影画像の明るさを画像中心の明るさを１００として示したものである。図１２（ａ）は光学系の特性により周辺減光が発生している状態である。画像処理による補正を行なう際に光学補正データの分割点数が足りずに光学特性を適切に追従できないと図１２（ｃ）〜（ｆ）に示すように、一部過補正や補正不足が発生し本来被写体のもつ明るさとは異なった不自然が画像になってしまう。これに対し本発明による撮像装置で補正を行なうと図１２（ｂ）のように全像高において明るさがほぼ１００となり、高精度な補正画像を得ることができる。

ここでは周辺減光の補正方法について説明した。その他の歪曲収差や倍率色収差補正について画像処理の詳細説明は割愛するが、像高に対する補正曲線を求めて補正する基本的な流れは同じである。

このように本発明による撮像装置により、光学補正データのサイズを必要最小限に抑え、高精度な補正を行なうことができる。光学補正データのサイズを抑えることでカメラ内で光学補正データを保持するメモリ容量を削減できる。またレンズユニットからカメラ内に光学補正データを転送する際に転送時間を抑えることができる。

以上、本発明の撮像装置に関する実施例を示したが、本発明の撮像装置は、その要旨の範囲内で種々の変形及び変更が可能である。

（実施例２）
以下、本発明を適用した第２の実施形態について説明する。

本実施形態は撮像装置により撮影された画像に対し、撮影に使用された光学系の光学特性による画像劣化を補正する画像処理装置に関するものである。

図１３は、本実施形態に係る画像処理装置を示した概略図である。

画像記録媒体１０９には撮像装置により撮影された画像が記録されている。画像処理部１０４は光学補正部１１１と所定の処理を行うその他画像処理部１１２から構成されており、画像記録媒体１０９に記録された画像に対する画像処理を行なう。光学補正部１１１では撮像レンズの光学特性による画像劣化を画像処理によって補正する。また、その他画像処理部１１２では画素補間処理や輝度信号処理、色信号処理などの画像処理を行なう。

記憶部１０８には光学特性による画像劣化を補正するための光学補正データが記録されている。本画像処理装置では複数の光学系により撮影された画像を補正対象にするため、記憶部１０８には複数の光学系における光学補正データがそれぞれファイル形式で記憶されている。

画像処理部１０４で処理された出力画像を画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５には、画像処理部１０４で処理された画像を表示する。

一連の制御はシステムコントローラ１１０で行われる。

図１４に示した本発明に係る画像処理装置における光学補正処理の流れに沿い、本発明に係る光学補正処理の詳細を説明する。

まず、光学補正処理に必要な光学補正データの選択（Ｓ３０１）を行なう。これは記憶部１０８に記憶された複数のレンズに対応する光学補正データの中から、補正対象の画像が撮影されたレンズの光学補正データを選択する。そのために画像処理装置の記憶部１０８は図１５で示す光学補正データ参照用のテーブルも保持する。このテーブルに従い補正対象画像で使用されたレンズの光学補正データの特定ができる。各レンズの光学補正データは第１の実施形態で示した光学補正データと同一の構成とする。

次に補正対象画像が撮影された時の撮像状態情報（焦点距離、撮影距離、絞り）を取得する（Ｓ３０２）。これは撮像時に情報が画像ファイルに記録されている場合はそれを読み込むことで取得する。画像ファイルに記録されていない場合は、不図示の入力部からユーザーによる情報入力で取得する。

以降の撮像状態近傍の補正値抽出（Ｓ３０３）、撮像状態に対応した補正値生成（Ｓ３０４）、補正（Ｓ３０５）は第１の実施形態におけるＳ２０３、Ｓ２０４、Ｓ２０５と同一の処理である。

このように画像処理装置における光学補正データを第１の実施形態で説明したものと同一の形式とすることで光学補正データのサイズを抑え、且つ高精度な補正を行なうことができる。具体的には、光学パラメータ毎に分割点数の設定が可能で、さらに焦点距離に応じた撮影距離と絞りの分割点の設定が可能なデータ構造とすることで、光学特性に応じてデータサイズを必要最小限に抑えた高精度な光学補正データが実現できる。データサイズを必要最小限に抑えることで像処理装置の記憶部１０８に必要なメモリ容量の削減が可能である。また、第１の実施形態の撮像装置における光学補正データと同一のものを使用することで、撮像装置と補正結果が完全に一致する画像処理装置の実現が可能である。

以上、本発明の画像処理装置に関する実施例を示したが、本画像処理装置の処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではなく、例えばＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。

１００ カメラ本体
１０１ レンズユニット
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０１ｃ レンズユニット内記憶部
１０２ 撮像素子
１０３ Ａ／Ｄコンバータ
１０４ 画像処理部
１０５ 表示部
１０６ レンズユニット制御部
１０７ 状態検知部
１０８ 記憶部
１０９ 画像記録媒体
１１０ システムコントローラ
１１１ 光学補正部
１１２ その他画像処理部

Claims (26)

1. 複数の第１の光学パラメータの情報と、複数の第２の光学パラメータの情報と、前記複数の第１の光学パラメータの情報と前記複数の第２の光学パラメータの情報との組み合わせに基づく補正値とを有するデータを取得し、前記データを画像補正処理に用いる信号処理装置において、
   前記データは、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットの数を示す第１の情報と、前記第１の情報が示す数の前記複数の第２の光学パラメータの情報のセットと、を有することを特徴とする信号処理装置。
2. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有していない場合には、前記第１の情報の示す数は１であり、
   各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合には、前記第１の情報の示す数は前記複数の第１の光学パラメータの情報の数に等しいことを特徴とする請求項１に記載の信号処理装置。
3. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合には、少なくともある第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットにおける第２の光学パラメータの情報の組み合わせが、他の第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットにおける第２の光学パラメータの情報の組み合わせとは異なることを特徴とする請求項２に記載の信号処理装置。
4. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有していない場合には、各第１の光学パラメータの情報のいずれに対しても、同じセットの前記複数の第２の光学パラメータの情報との組み合わせに基づいて補正値を有することを特徴とする請求項２又は請求項３に記載の信号処理装置。
5. 各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合の前記第１の光学パラメータの情報の数及び前記複数の第２の光学パラメータの数と、そうでない場合の前記第１の光学パラメータの情報の数及び前記複数の第２の光学パラメータの数とが同じである場合には、
   各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合と、そうでない場合とで、前記データが有する補正値の数が等しいことを特徴とする請求項２から請求項４のいずれか１項に記載の信号処理装置。
6. 前記データは、前記第１の光学パラメータの情報の数の情報と、前記第１の光学パラメータの情報それぞれに対応する第２の光学パラメータの情報の数の情報を有することを特徴とする請求項１から請求項５のいずれか１項に記載の信号処理装置。
7. 前記データは、前記複数の第１の光学パラメータの情報、前記複数の第２の光学パラメータの情報及び複数の第３の光学パラメータの情報との組み合わせに基づく補正値と、各第１の光学パラメータの情報に対する前記複数の第３の光学パラメータの情報のセットの数を示す第２の情報と、を有することを特徴とする請求項１から請求項６のいずれか１項に記載の信号処理装置。
8. 前記第１の光学パラメータの情報は焦点距離に関する情報であり、前記第２の光学パラメータの情報は撮影距離に関する情報及び絞り値に関する情報の少なくとも１つを含む情報であることを特徴とする請求項１から請求項７のいずれか１項に記載の信号処理装置。
9. 前記第１の光学パラメータの情報は焦点距離に関する情報であり、前記第２の光学パラメータの情報及び前記第３の光学パラメータの情報はそれぞれ撮影距離又は絞り値に関する情報であることを特徴とする請求項６に記載の信号処理装置。
10. 前記データは、像高に関する情報を有するとともに、前記補正値の情報を前記像高に関する情報ごとに有することを特徴とする請求項１から請求項９のいずれか１項に記載の信号処理装置。
11. 前記複数の第１の光学パラメータの情報及び前記複数の第２の光学パラメータの情報は、それぞれ離散的に構成されていることを特徴とする請求項１から請求項１０のいずれか１項に記載の信号処理装置。
12. 画像補正処理を行う処理手段を有し、前記処理手段は前記データが有する補正値を用いて画像補正処理を行うことを特徴とする請求項１から請求項１１のいずれか１項に記載の信号処理装置。
13. レンズユニットから情報を取得する取得手段を有し、
    前記データは前記取得手段がレンズユニットから取得することを特徴とする請求項１から請求項１２にいずれか１項に記載の信号処理装置。
14. 前記取得手段は、撮影時における前記第１の光学パラメータの情報及び前記第２の光学パラメータの情報をレンズユニットから取得することを特徴とする請求項１３に記載の信号処理装置。
15. 複数の第１の光学パラメータの情報と、複数の第２の光学パラメータの情報と、前記複数の第１の光学パラメータの情報と前記複数の第２の光学パラメータの情報との組み合わせに基づく補正値とを有するデータを取得する取得ステップと、前記データを用いて画像補正処理を行う処理ステップとを有する信号処理方法において、
    前記データは、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットの数を示す第１の情報と、前記第１の情報が示す数の前記複数の第２の光学パラメータの情報のセットと、を有することを特徴とする信号処理方法。
16. 請求項１５の信号処理方法の各ステップをコンピュータにより実行させるためのコンピュータプログラム。
17. 複数の第１の光学パラメータの情報と、複数の第２の光学パラメータの情報と、前記複数の第１の光学パラメータの情報と前記複数の第２の光学パラメータの情報との組み合わせに基づく補正値とを有するデータを撮像装置に送信するレンズユニットにおいて、
    前記データは、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットの数を示す第１の情報と、前記第１の情報が示す数の前記複数の第２の光学パラメータの情報のセットと、を有することを特徴とするレンズユニット。
18. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有していない場合には、前記第１の情報の示す数は１であり、
    各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合には、前記第１の情報の示す数は前記複数の第１の光学パラメータの情報の数に等しいことを特徴とする請求項１７に記載のレンズユニット。
19. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合には、少なくともある第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットにおける第２の光学パラメータの情報の組み合わせが、他の第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットにおける第２の光学パラメータの情報の組み合わせとは異なることを特徴とする請求項１８に記載のレンズユニット。
20. 前記データが、各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有していない場合には、各第１の光学パラメータの情報のいずれに対しても、同じセットの前記複数の第２の光学パラメータの情報との組み合わせに基づいて補正値を有することを特徴とする請求項１７又は請求項１８に記載のレンズユニット。
21. 各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合の前記第１の光学パラメータの情報の数及び前記複数の第２の光学パラメータの数と、そうでない場合の前記第１の光学パラメータの情報の数及び前記複数の第２の光学パラメータの数とが同じである場合には、
    各第１の光学パラメータの情報に対する前記複数の第２の光学パラメータの情報のセットを複数有している場合と、そうでない場合とで、前記データが有する補正値の数が等しいことを特徴とする請求項１８から請求項２０のいずれか１項に記載のレンズユニット。
22. 前記データは、前記第１の光学パラメータの情報の数の情報と、前記第１の光学パラメータの情報それぞれに対応する第２の光学パラメータの情報の数の情報を有することを特徴とする請求項１７から請求項２１のいずれか１項に記載のレンズユニット。
23. 前記データは、
    前記複数の第１の光学パラメータの情報、前記複数の第２の光学パラメータの情報及び複数の第３の光学パラメータの情報との組み合わせに基づく補正値と、各第１の光学パラメータの情報に対する前記複数の第３の光学パラメータの情報のセットの数を示す第２の情報と、を有することを特徴とする請求項１７から請求項２２のいずれか１項に記載のレンズユニット。
24. 前記第１の光学パラメータの情報は焦点距離に関する情報であり、前記第２の光学パラメータの情報は撮影距離に関する情報及び絞り値に関する情報の少なくとも１つを含む情報であることを特徴とする請求項１７から請求項２３のいずれか１項に記載のレンズユニット。
25. 前記第１の光学パラメータの情報は焦点距離に関する情報であり、前記第２の光学パラメータの情報及び前記第３の光学パラメータの情報はそれぞれ撮影距離又は絞り値に関する情報であることを特徴とする請求項２２に記載のレンズユニット。
26. 前記データは、像高に関する情報を有するとともに、前記補正値の情報を前記像高に関する情報ごとに有することを特徴とする請求項１７から請求項２５のいずれか１項に記載のレンズユニット。

Images