JP4536170B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、高解像度画像を得ることのできる撮像装置に関し、特に、被写体からの画像光を撮像手段に対して相対的に移動させて複数の画像を撮像して、それらを合成して１つの高解像度画像を得る撮像装置に関する。
【０００２】
【従来の技術】
近年、静止画像を撮像する撮像装置として、電子スチルカメラと称される静止画像用撮像装置が実用化されている。また、動画像を撮像する動画像用撮像装置として、家庭用ビデオカメラが実用化されている。これらの撮像装置では、被写体からの画像光を受光して画像を撮像する手段として、固体撮像素子を用いる。この固体撮像素子は、いわゆる２次元ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサである。この固体撮像素子では、２次元平面である結像面に、複数の受光領域が行列状に配置されている。
【０００３】
撮像装置は、被写体からの画像光を固体撮像素子の結像面上に結像させて、各受光領域に受光させる。画像光は、受光領域での光の受光量を示す電気信号に光電変換された後、画像信号として記録媒体に記録される。この画像信号を単独で表示装置に目視表示させると、撮像した静止画像となる。また、この画像信号を撮像した順に連続的に目視表示させると、撮像した動画像となる。
【０００４】
このような撮像装置において撮像された画像は、固体撮像素子の受光領域に対応した画素から構成される。すなわち、各撮像素子は、空間的に連続的に変化する画像光の光量を、空間サンプリング周波数でサンプリングしていることと等しい。この空間サンプリング周波数は、画素の配列周期の逆数である。これによって、画像光の光量変化は、画素単位で平滑化される。ゆえに、画素の数が多いほど画像の解像度が向上する。
【０００５】
画像の解像度を上げる手法として、イメージシフトを用いた固体撮像装置がある。イメージシフトとは、固体撮像素子に入射される画像光の受光位置を移動させる手法である。イメージシフトを用いた固体撮像装置では、被写体からの画像光の結像面における受光位置を異ならせて、複数回撮像する。このように撮像された画像を、像の受光位置が一致するように重ね合わせて、出力画像を生成する。
【０００６】
このイメージシフト機構を用いた固体撮像装置としては、特開昭６３−２８４９８０号公報に記載されたものが知られている。この固体撮像装置では、被写体からの光を集光する集光レンズと固体撮像素子との間に、光を透過する平行平板が介在される。平行平板は、光軸に対して垂直に配置された第１の状態と、視野の水平および垂直方向に対して４５度を成す斜め方向を軸として傾けられた第２の状態を取る。固体撮像素子では、平行平板が第１の状態にあるときに第１の画像を撮像し、その後平行平板を傾けて第２の状態における第２の画像を撮像する。
【０００７】
図３２は、出力画像の等価的な画素配列を示す図である。この出力画像はモノクロ画像である。また、この固体撮像素子の受光領域は、水平配列周期ＰＨ、および垂直配列周期ＰＶで行列状に配置されていおり、上記第１の画像，第２の画像は被写体からの光を互いに１／２画素ずつ斜め方向にずらして撮像されているものとする。このとき、上記２枚の画像が合成された出力画像において、画素は、水平方向配列周期（ＰＨ／２）、垂直方向配列周期（ＰＶ／２）で配列される。すなわち、画像全体として画素の数が４倍となる。図３２において、画素ｓ１は第１の状態で撮像された第１原画像から画素データが得られる実画素である。また画素ｓ２は、第２の状態で撮像された第２原画像から画素データが得られる実画素である。図３２では、実画素にハッチングを付して示す。これによって、出力画像では、各画素のデータが得られた実画素は市松状に配置される。
【０００８】
画素データを有しない画素（仮想画素）には、各配列方向に沿ってそれぞれ２つの実画素が隣接する。これら仮想画素の画素データは、例えば隣接する４つの実画素の画素データを平均した値を補間して得ることができる。このようにして、本従来技術の固体撮像装置では、固体撮像素子の受光領域の数の４倍の数の画素からなる高解像度画像を得ることができる。
【０００９】
上述した固体撮像装置では、イメージシフト処理を行い連続して撮像される２枚の原画像から、１枚の出力画像の画像信号を生成する。ゆえに、この装置では、２枚の原画像を撮像する際に、２枚の原画像間に光量差を生じさせないために、各露光時間が等しいことが望まれる。しかしながら、各露光時間が等しくした場合でも、蛍光灯のフリッカなどによって、２枚の原画像間に光量差が生じてしまうことがある。
【００１０】
このように２枚の原画像間に光量差が生じた場合には、本来画像光には現れない市松模様が、出力画像に現れてしまい、著しく画質が損なわれる問題点が生じる。図３３は、平坦な無地模様を撮像する場合に現れた市松模様の例を示す図である。図において各画素に記入している数字はその画素における画素データの値を示しており、第１の画像における画素ｓ１が画素データつまり光量が１００であるとしている。また、第２の画像における画素ｓ２は、本来画素データが１００であるところが、上述の現象により画素データ９０になり光量が低下しているものとする。このとき、隣接する４つの実画素の画素データを平均補間することで仮想画素の画像データを求めるものとすれば、画素データは９５と計算される。このように２枚の画像の間に光量差が生じた場合には、本来全ての画素の画素データが１００である無地模様であるところが、図３３のように市松模様が現れてしまう。
【００１１】
本出願人は先にこの問題点を解決する光量差補正手段を有する撮像装置を提案している（特願平８−２６７５５２号；発明の名称「撮像装置」）。以下に、本出願人がここで提案した光量差補正方法を説明する。
【００１２】
まず、一つの光量差補正方法（光量差補正方法１）を図３４から図３６に基づいて説明する。図３４は、第１の原画像を所定のブロックに分割した１つのブロックのヒストグラムを示し、図３５は、第２の原画像を所定のブロックに分割した１つのブロックのヒストグラムを示している。光量差補正手段は、２つの原画像の各ブロックに対応する画素の画素データの値（例えば８ビットで記録されている場合は０以上２５５以下の整数値を取る）の内、最小値、平均値、最大値をそれぞれ次のような方法で合わせることにより、２画面間での光量差の補正を行う。
【００１３】
ここで、第１の画像に対応した画素の画素データの最小値、平均値、最大値をそれぞれα、β、γとする。一方第２の画像に対応した画素の画素データの最小値、平均値、最大値をそれぞれδ、ε、ζとする。
【００１４】
そして、図３６に示すように、横軸に光量差補正前の第２の画像に対応した画素の画素データの値を、また縦軸に光量差補正後の第２の画像に対応した画素の画素データの値を取り、点η（δ，α）、点θ（ε，β）、点ι（ζ，γ）を取る。そして、上記の点η，θ，ιを直線で結んで射影を行い、第２の画像の画素の画素データの値δ、ε、ζを、それぞれ第１の画像の画素の画素データの値α、β、γに変換する。
【００１５】
上記の構成によれば、第２の画像の画素の画素データの所定の画素値（つまり、最小値、平均値、最大値）が、光量差補正手段によって第１の画像の所定の画素データの値にそれぞれ変換されるので、２枚の原画像間において所定の画素データの値同士が一致する。
【００１６】
これにより、２枚の原画像間の撮像光の光量差を補正することができ、上記の光量差に起因する出力画像の画質劣化を防止することができる。
【００１７】
また、上記提案においては、移動平均を求めることにより光量差補正を行う方法（光量差補正方法２）も示している。この光量差補正方法２は、光量差補正を行うべき第２画像のある画素において、この画素位置における２枚の原画像ごとに移動平均を求め、その移動平均の差、つまり光量差を求める。この光量差を第２画像のある画素の画素データに加算する。この作業を第２画像の各画素ごとに行うことにより光量差補正するものである。
【００１８】
また、上記提案では、各撮像を行う光量を検出するセンサーを別途設け、このセンサー出力から得られる各原画像の光量値に基づいて光量差補正を行う方法（光量差補正方法３）も示している。
【００１９】
【発明が解決しようとする課題】
上記した本出願人が提案した光量差補正方法１および２は、図３３のような無地模様、または光量変化の緩やかな模様では画質を劣化させることなく光量差補正を行うことができる。
【００２０】
しかしながら、光量差補正方法１では、ブロック毎に光量差補正を行うために、出力画像にブロックの境界が現れる（画像圧縮技術にて公知のブロック歪みに似たようなもの）という問題点がある。また、最小値、平均値、最大値の３つの光量に基づいて光量差補正を行っているため、この３つのパラメータの誤差による影響が大きい。例えば、第２原画像信号の最大値がノイズなどの影響により本来の光量よりも大きくなってしまった場合、光量差補正後の第２原画像信号は、第１原画像信号よりも暗くなってしまい、市松模様が残ったままになり、消滅しない。
【００２１】
また、光量差補正方法２では、エッジ部分で、偽エッジが発生してエッジが２重になったり、エッジ周辺部の光量差補正が十分に行われなくなるという問題が生じる。
【００２２】
また、光量を検出するセンサーを別途設ける光量差補正方法３は、原画像全体に対して画一的に光量差補正を行う。そのため、原画像の光軸部分、周辺部分などの領域によって光量差が異なる場合には、正しく光量差補正を行うことができない。特に、メカシャッターを用いて露光時間を制御する場合には、光軸周辺の露光時間は、周辺部の露光時間よりも長く、顕著に画質が劣化していまう。
【００２３】
本発明は、上記問題を解決するためになされたものであって、２枚の原画像間に光量差が生じ、また画像の部分的に光量が異なる場合でも、光量差補正により、出力画像の画質の劣化を防止することができる撮像装置を提供することを目的とする。
【００２４】
【課題を解決するための手段】
請求項１に記載の撮像装置は、被写体からの画像光を撮像して画像データを生成する撮像手段と、前記画像光に対して前記撮像手段を複数の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成した複数個の画像データを合成する画像合成手段と、を有する撮像装置において、前記複数個の画像データ間の光量差に基づいて発生する空間周波数成分を取り除く、フィルタからなる光量差補正手段を有してなることを特徴としている。
【００２５】
請求項２に記載の撮像装置は、被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除く、フィルタからなる光量差補正手段を有してなることを特徴としている。
【００２６】
ここで、ｖはイメージシフトにより撮像される画像数を表している。ｕは、１つの画像光から得る画像データの個数を表しており、例えば、色付きの画像光を赤青緑の３原色の画像信号で処理する場合にはｕ＝３であり、色付きの画像光を輝度信号と２種類の色差信号とで表す場合にもｕ＝３となる。
【００２７】
請求項３に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記画像合成手段による合成後、前記補間手段による補間前の画像データに対してフィルタリングを行うことを特徴としている。
【００２８】
請求項４に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記補間手段による補間後の画像データに対してフィルタリングを行うことを特徴としている。
【００２９】
請求項５に記載の撮像装置は、請求項１乃至請求項４に記載の撮像装置において、前記イメージシフト手段は、前記画像光に対して前記撮像手段を、第１位置と、該第１位置から水平方向方向に水平画素間隔の半分，垂直方向に垂直画素間隔の半分だけ移動させた第２位置に、相対的に移動させることを特徴としている。
【００３０】
請求項６に記載の撮像装置は、請求項１乃至請求項５のいずれかに記載の撮像装置において、前記光量差補正手段は、前記撮像手段が生成した複数個の画像データを合成した画像データの画素配列の基底帯域を通過帯域とする、２次元ローパスフィルタからなることを特徴としている。
【００３１】
請求項７に記載の撮像装置は、請求項１乃至請求項５に記載の撮像装置において、前記光量差補正手段は、前記イメージシフト手段による移動量をＸ画素（Ｘ＞０）としたときに、その移動方向に２×（Ｘ−ＩＮＴ（Ｘ））を周期とする空間周波数をカットオフ周波数とし、それ以下の空間周波数を通過帯域とする１次元ローパスフィルタであることを特徴としている。
【００３２】
但し、ここで、ＩＮＴ（ｙ）はｙを超えない最大の整数を表している。
【００３３】
請求項８に記載の撮像装置は、請求項１乃至請求項５に記載の撮像装置において、前記光量差補正手段が、前記撮像手段が生成した複数個の画像データを合成した画像データの画素配列の基底帯域の内の、水平方向の最高空間周波数成分と垂直方向の最高空間周波数成分を、少なくとも減衰させるフィルタからなることを特徴としている。
【００３４】
請求項９に記載の撮像装置は、請求項８に記載の撮像装置において、前記光量差補正手段が、前記基底帯域の水平方向での最高空間周波数をカットオフ周波数とする水平方向の１次元ローパスフィルタと、前記基底帯域の垂直方向での最高空間周波数をカットオフ周波数とする垂直方向の１次元ローパスフィルタと、が縦続接続されてなることを特徴としている。
【００３５】
【発明の実施の形態】
（第１実施の形態）
図１は、本実施の形態における撮像装置の構成を示している。本実施の形態における撮像装置は、同図に示すように、光学系１、固体撮像素子２、Ａ／Ｄ変換器（Analog to Digital Converter）３、画像メモリ４、ＬＰＦ５、駆動部６、同期信号発生部７、メモリ制御部８、信号処理部９、記録媒体１０を備えている。
【００３６】
被写体からの画像光は、光学系１の集光レンズで集光された後、撮像素子２の結像面上に結像される。撮像素子２の結像面には、複数の受光領域ＰＤが行列状に並べられる。
【００３７】
光学系１には、画像光を集光する集光レンズの他に、イメージシフト機構が含まれる。イメージシフト機構は、駆動部６により制御されて、あらかじめ定める時間毎に、結像面上の画像光の結像位置を第１および第２結像位置にそれぞれシフト移動させる。この動作をイメージシフト動作と称する。
【００３８】
撮像素子２は、予め定める露光時間だけ、光学系２からの画像光を各受光領域ＰＤに受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子２は、あらかじめ定める時間毎に、各受光領域ＰＤからの受光データを第１または第２原画像信号として、Ａ／Ｄ変換器３に導出する。なお、第１および第２原画像信号は、それぞれ画像光が第１および第２結像位置に結像されたときに、画像光を撮像して得られる画像信号である。各原画像信号は、各受光領域ＰＤでの受光量に対応する受光データからそれぞれ構成される。
【００３９】
Ａ／Ｄ変換器３は、撮像素子２からのアナログ信号である第１及び第２原画像信号をデジタル信号に変換して、画像メモリ４にストアする。
【００４０】
同期信号発生部７は、２つの原画像信号の撮像動作に対応する同期信号を発生させ、駆動部６およびメモリ制御部８に与える。駆動部６は、光学系１内のイメージシフト機構を用いて、イメージシフト動作を行う。これによって、撮像素子２では、各受光領域ＰＤが受光する画像光が、被写体の像の中で移動前の撮像光とずれる。メモリ制御部８（請求項における画像合成手段）は、受光データを結像位置の異なる２つの原画像信号毎に関連させて、画像メモリ４にストアする。
【００４１】
ローパスフィルタ（以下、ＬＰＦと云う）５（請求項における光量差補正手段）は、画像メモリ４からの原画像信号を入力し、それに対して後述する光量差補正を行った後、再び画像メモリ４にストアする。この際、画像メモリ４における光量差補正前の原画像信号は、光量差補正後の原画像信号に上書きされて、消去される。
【００４２】
画像メモリ４にストアされた光量差補正後の原画像信号は、信号処理部９（請求項における補間手段）に与えられる。信号処理部９は、２つの原画像信号から撮像から得られない画像データを補間により生成して（２つの原画像信号を合成したときにデータを有していない画素の画像データを生成して）、補間後の画像信号を出力画像の出力画像信号として、記録媒体１０にストアする。
【００４３】
次に、本実施の形態の撮像装置の具体的な例について説明する。図２は、撮像素子２の結像面の具体的な画素配列を示す平面図である。撮像素子２は、Ｎ×Ｍ個の受光領域ＰＤが、水平および垂直方向Ｈ，Ｖに沿って、配列周期ＰＨ，ＰＶで行列状に配列される。水平および垂直方向Ｈ，Ｖは、相互に直交する。ここで、ＰＤ（１，１），ＰＤ（２，２），ＰＤ（３，３），…を通る方向を第１斜め方向Ｕ１と称することにする。また、ＰＤ（１，３），ＰＤ（２，２），ＰＤ（３，１），…を通る方向を第２斜め方向Ｕ２と称することにする。さらに、第１および第２斜め方向Ｕ１，Ｕ２を総称するとき、およびいずれか一方の斜め方向を任意に選ぶときには、「斜め方向Ｕ 」と略称する。
【００４４】
この画素配列において、画像光に対する水平および垂直方向Ｈ，Ｖのサンプリング周波数ｆＨ，ｆＶは、水平および垂直方向Ｈ，Ｖの配列周期の逆数であり、以下の式で示される。
【００４５】
ｆＨ＝１／ＰＨ （１）
ｆＶ＝１／ＰＶ （２）
更に、以後、水平方向Ｈに沿って直線上に並べられる１群の構成要素を「行」と称する。同様に垂直方向Ｖに沿って直線上に並べられた１群の構成要素を「列」と称する。行列状に配列された１群の構成要素において、紙面上側から下側に向かって、各行を第１行，第２行，…，第Ｎ行とする。また紙面左側から右側に向かって各列を第１列，第２列，…，第Ｍ列とする。これら構成要素のうち、第ｎ行第ｍ列に属する単一の構成要素を表すとき、その構成要素を総称して示す参照符号と共に、符号（ｎ，ｍ）を付して示す。ｎ，ｍは１以上Ｎ，Ｍ以下の任意の整数である。図２では、受光領域ＰＤの配列パターンを４行３列の１２個の受光領域ＰＤ（１，１）〜ＰＤ（４，３）で代表させて表す。実際の撮像素子２の結像面では、図２に示す構造が、水平及び垂直方向Ｈ，Ｖに周期的に繰り返される。
【００４６】
図３は、画像光の第１および第２結像位置の位置関係を示す図である。第１結像位置Ａ１を基準にすると、第２結像位置Ｂ１は、第１結像位置Ａ１から、受光領域ＰＤの水平方向Ｈの配列周期ＰＨの半分の長さだけ、かつ垂直方向Ｖの配列周期ＰＶの半分の長さだけ、移動した位置である。
【００４７】
撮像素子２は、この第１および第２結像位置Ａ１，Ｂ１に画像光が結像されたときに、該画像光を撮像して、第１および第２原画像信号を得る。
【００４８】
図４は、上述した原画像を示す第１および第２原画像から構成される合成画像を表す図である。第１原画像の画素は、右下がりのハッチングをして表し、第２原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第１および第２原画像を重ね合わせて生成される。この合成動作は、画像メモリ４を用い、第１および第２原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第１および第２原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
【００４９】
第１原画像の画素に対応する合成画像の画素ｓは、添字（ｎ，ｍ）がｎおよびｍがともに奇数である。また、第２原画像の画素に対応する合成画像の画素ｓは、添字（ｎ，ｍ）がｎおよびｍがともに偶数である。以後、いずれかの原画像に対応し画素データを有する画素を、実画素と称する。
【００５０】
合成画像全体として、第１および第２原画像のいずれか一方に対応する画素を有する実画素は、市松状に配列される。水平および垂直方向Ｈ，Ｖに沿って隣接する２つの実画素の間には、画素データを有しない仮想画素がある。この仮想画素は、第１および第２原画像の画素に対応しない。仮想画素は、画素ｓの添字（ｎ，ｍ）がｎおよびｍがどちらか一方が偶数でありかつ他方が奇数である。
【００５１】
信号処理部９は、この仮想画素の画素データをその周囲の実画素の画素データから補間して代入して生成する。
【００５２】
この補間処理では、例えば線形補間法、またはキュービックコンボリューション補間法などが用いられる。線形補間法は、例えば合成画像において仮想画素の周囲の４つの実画素の画素データの平均値として、仮想画素の画素データを補間する補間手法である。キュービックコンボリューション補間法は、仮想画素の周囲１６個の実画素の画素データを用いて、仮想画素の画素データを補間する補間法である。
【００５３】
さらに、信号処理部９は、ガンマ補正を行う。陰極線管（ブラウン管）の電気−光電変換特性は、非直線性を持っている。このため、撮像装置の受光量と陰極線管の発光強度とが比例するように、受光量に対応する受光データを補正する。この補正をガンマ補正と称する。
【００５４】
出力画像の配列周期は、第１および第２原画像の画素配列と比較して、水平、垂直はいずれに関しても半分となる。ゆえに、第１および第２原画像の解像度を標準解像度とすると、出力画像の解像度は、各方向Ｈ，Ｖに関して標準解像度よりも高解像度となる。また、出力画像の斜め方向Ｕの画素の配列周期は、合成画像の配列周期の半分になる。しかし、出力画像信号は、合成画像信号を補間して得られる。このとき補間処理で増加した画素によって出力画像の画素の配列周期が合成画像よりも小さくなっても、解像度は合成画像と変わらない。ゆえに、出力画像の斜め方向Ｕの解像度は、画素の配列周期から得られるべき解像度よりも低下する。
【００５５】
次に、本発明の特徴部分である光量差補正を行うＬＰＦ５について、説明する。ＬＰＦ５は、２枚の原画像間に光量差がある場合に発生する市松模様を除去するために、実画素から構成された合成画像に対してローパスフィルタを施す。
【００５６】
図５は、ＬＰＦ５のローパス特性及び合成画像の基底帯域を空間周波数座標上に表した図である。基底帯域１１は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）となる。
（ｆＨ ， ０）
（ ０ ， ｆＶ）
（−ｆＨ， ０）
（ ０，−ｆＶ）
ここで、例えば（ｆＨ，０）は、水平方向の空間周波数ｆＨ、かつ垂直方向の空間周波数０である空間周波数を表す。２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトによるシフト量の２倍の周期となり、且つその方向はイメージシフトの方向に一致する。従って、その周波数成分は図５における点（ｆＨ，０），点（０，ｆＶ）を結ぶ境界線及び点（−ｆＨ，０），点（０，−ｆＶ）を結ぶ境界線上に存在する。このため、ＬＰＦ５は、この境界線上のゲインが零であることが望ましく、上記基底帯域１１を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために（画像がぼやけないために）、境界線を除く矩形領域内の領域では、ＬＰＦ５のゲインが１であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５は直線位相特性であることが望ましい。
【００５７】
上記のような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｒ１が上げられる。
【００５８】
【数１】

【００５９】
このローパスフィルタｒ１は、７行７列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素をｒ１（ｐ，ｑ）として表すと、このローパスフィルタｒ１により、合成画像を光量差補正する計算は、以下の式で計算される。
【００６０】
【数２】

【００６１】
ここで、ｓ（ｎ，ｍ）は、光量差補正前の合成画像の第ｎ行ｍ列の画素を表す。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の第ｎ行ｍ列の画素を表す。図４に示したように、仮想画素には画素データがない。式（４）の計算においては、仮想画素の画素データは、零として行う。ローパスフィルタｒ１よりも簡略化したローパスフィルタｒ２を、以下に示す。
【００６２】
【数３】

【００６３】
ローパスフィルタｒ２は、５行５列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ２（ｐ，ｑ）として表すとする。このローパスフィルタｒ２により、合成画像を光量差補正する計算は、以下の式で計算される。
【００６４】
【数４】

【００６５】
ローパスフィルタｒ２は、ローパスフィルタｒ１よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ２は、通過帯域１１のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【００６６】
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
【００６７】
【数５】

【００６８】
ローパスフィルタｒ３は、４行４列の行列として表される１次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ３（ｐ，ｑ）として表すとする。このローパスフィルタｒ３により、合成画像を光量差補正する計算は、以下の式で計算される。
【００６９】
【数６】

【００７０】
このローパスフィルタｒ３は、図３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。上記したように２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、図３に示したイメージシフト量を表す有向線分Ａ１Ｂ１の２倍を周期とする空間周波数Ｆｄと等しい。空間周波数Ｆｄは、その方向が第１斜め方向Ｕ１と等しく、この方向に以下の大きさの空間周波数である。
【００７１】
【数７】

【００７２】
ローパスフィルタｒ３は、上記した２次元ローパスフィルタと異なり、空間周波数Ｆｄを含む破線１２上のみをカットオフするように限定されている。このような第１斜め方向Ｕ１に対する１次元ローパスフィルタｒ３であっても、十分に光量差補正ができる。
【００７３】
さらに、さらに計算量を減らしたローパスフィルタを、以下に示す。
【００７４】
【数８】

【００７５】
ローパスフィルタｒ４は、３行３列の行列として表される１次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ４（ｐ，ｑ）として表すとする。このローパスフィルタｒ４により、合成画像を光量差補正する計算は、以下の式で計算される。
【００７６】
【数９】

【００７７】
このローパスフィルタｒ４は、図３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタｒ４は、ローパスフィルタｒ３よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ４は、通過帯域１１のゲインが破線１２に近付くにつれて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ３よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【００７８】
以上のように、本実施の形態の撮像装置によれば、光量差補正をローパスフィルタにより行うことにより、従来よりも簡単に処理することができ、また、各画素毎にローパス処理を行うため、２枚の原画像間の部分的な光量差をも的確に補正することができ、出力画像の劣化を防止することができる。
【００７９】
なお、本実施の形態では、▲１▼２つの原画像信号を合成して合成画像を生成した後、▲２▼その合成画像に対してローパスフィルタリングを施し、その後、▲３▼信号処理部９が仮想画素の画像データを補間により求めているが、処理順序はこれに限るものではなく、仮想画素の画像データを求めた後ローパスフィルタリングを施しても良いし（第５実施の形態参照）、また、ローパスフィルタリングと補間処理を同時に行っても良い。
【００８０】
また、ここでは、ＬＰＦ５としてｒ１〜ｒ４のローパスフィルタを用いる例について示したが、これに限るものではなく、例えば、第５実施の形態のように図５に示した基底帯域１１の対向する２頂点をそれぞれカットオフ周波数とする水平，垂直の２つの１次元ローパスフィルタを用いても良い。
【００８１】
（第２実施の形態）
本発明の第２実施の形態である撮像装置を以下に説明する。本実施の形態の撮像装置は、第１実施の形態の撮像装置と類似の構成を有している。このため、第１実施の形態と同一部分については同一符号を付し、詳細な説明を省略する。本実施の形態の撮像装置では、第１実施の形態と異なり、水平方向Ｈにイメージシフトを行う。
【００８２】
図６は、画像光の第１および第２結像位置の位置関係を示す図である。第１結像位置Ａ２を基準にすると、第２結像位置Ｂ２は、第１結像位置Ａ２から、受光領域ＰＤの水平方向Ｈの配列周期ＰＨの半分の長さ（ＰＨ／２）だけ移動した位置である。
【００８３】
撮像素子２は、この第１および第２結像位置Ａ２，Ｂ２に画像光が結像されたときに、該画像光を撮像して、第１および第２原画像信号を得る。
【００８４】
図７は、上述した原画像を示す第１および第２原画像から構成される合成画像を表す図である。第１原画像の画素は、右下がりのハッチングをして表し、第２原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第１および第２原画像を重ね合わせて生成される。この合成動作は、画像メモリ４を用い、第１および第２原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第１および第２原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
【００８５】
第１原画像の画素に対応する合成画像の画素ｓ（ｎ，ｍ）は、ｍが奇数である。また、第２原画像の画素に対応する合成画像の画素ｓ（ｎ，ｍ）はｍが偶数である。
【００８６】
合成画像全体として、第１および第２原画像のいずれか一方に対応する画素を有する実画素は、垂直縞状に配列される。また、第２実施例においては、合成画像と出力画像の画素構成は、同じになる。
【００８７】
信号処理部９は、ガンマ補正を行う。
【００８８】
出力画像の配列周期は、第１および第２原画像の画素配列と比較して、水平方向Ｈに関して半分となる。ゆえに、第１および第２原画像の解像度を標準解像度とすると、出力画像の解像度は、水平方向Ｈに関して標準解像度よりも高解像度となる。
【００８９】
ここで、第２実施の形態におけるＬＰＦ５について、説明する。ＬＰＦ５は、２枚の原画像間に光量差がある場合に発生する垂直縞模様を除去するために、合成画像に対してローパスフィルタを施す。図８は、合成画像の基底帯域及びＬＰＦ５のローパス特性を空間周波数座標上に表した図である。合成画像の基底帯域１３は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）となる。
（ ｆＨ， ｆＶ／２）
（−ｆＨ， ｆＶ／２）
（−ｆＨ，−ｆＶ／２）
（ ｆＨ，−ｆＶ／２）
２枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、（ｆＨ，ｆＶ／２），（ｆＨ，−ｆＶ／２）を結ぶ境界線及び（−ｆＨ，ｆＶ／２），（−ｆＨ，−ｆＶ／２）を結ぶ境界線上に存在する。従って、使用するＬＰＦ５は、この境界線上においてゲインがゼロであるものが望ましく、上記基底帯域１５を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｒ５が上げられる。
【００９０】
【数１０】

【００９１】
ローパスフィルタｒ５は、４行４列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ５（ｐ，ｑ）として表すとする。このローパスフィルタｒ５により、合成画像を光量差補正する計算は、以下の式で計算される。
【００９２】
【数１１】

【００９３】
ここで、ｓ（ｎ，ｍ）は、光量差補正前の合成画像の第ｎ行ｍ列の画素を表す。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の第ｎ行ｍ列の画素を表す。
【００９４】
ローパスフィルタｒ５よりも簡略化したローパスフィルタｒ６を、以下に示す。
【００９５】
【数１２】

【００９６】
ローパスフィルタｒ６は、３行３列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ６（ｐ，ｑ）として表すとする。このローパスフィルタｒ６により、合成画像を光量差補正する計算は、以下の式で計算される。
【００９７】
【数１３】

【００９８】
ローパスフィルタｒ６は、ローパスフィルタｒ５よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ６は、通過帯域１３のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ５よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【００９９】
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１００】
【数１４】

【０１０１】
ローパスフィルタｒ７は、行ベクトルとして表される１次元ローパスフィルタである。第ｑ要素は、ｒ７（ｑ）として表すとする。このローパスフィルタｒ７により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１０２】
【数１５】

【０１０３】
このローパスフィルタｒ７は、図６に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。２枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、図６に示したイメージシフト量を表す有向線分Ａ２Ｂ２の２倍を周期とする空間周波数Ｆｃ２と等しい。この空間周波数Ｆｃ２は、その方向が水平方向Ｈと等しく、この方向にｆＨの大きさの空間周波数である。
【０１０４】
ローパスフィルタｒ７は、上記した２次元ローパスフィルタと異なり、空間周波数Ｆｃ２を含む破線１４上をカットオフするように限定されている。このような水平方向Ｈに対する１次元ローパスフィルタｒ７であっても、十分に光量差補正ができる。
【０１０５】
さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１０６】
【数１６】

【０１０７】
ローパスフィルタｒ８は、行ベクトルとして表される１次元ローパスフィルタである。第ｑの要素は、ｒ８（ｑ）として表すとする。このローパスフィルタｒ８により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１０８】
【数１７】

【０１０９】
このローパスフィルタｒ８は、図６に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタｒ８は、ローパスフィルタｒ７よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ８は、通過帯域１３のゲインが破線１４に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ７よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１１０】
以上のように、本実施の形態の撮像装置によれば、光量差補正をローパスフィルタにより行うことにより、従来よりも簡単に処理することができ、また、各画素毎にローパス処理を行うため、２枚の原画像間の部分的な光量差をも的確に補正することができ、出力画像の劣化を防止することができる。
【０１１１】
（第３実施の形態）
本発明の第３実施の形態である撮像装置を以下に説明する。本実施の形態の撮像装置は、第１及び第２実施の形態の撮像装置と類似の構成を有しているため、同一部分には同一符号を付し、詳細な説明を省略する。本実施の形態の撮像装置では、第１及び第２実施の形態とは異なり、垂直方向Ｖにイメージシフトする。
【０１１２】
図９は、本実施の形態における画像光の第１および第２結像位置の位置関係を示す図である。第１結像位置Ａ３を基準にすると、第２結像位置Ｂ３は、第１結像位置Ａ３から、受光領域ＰＤの垂直方向Ｖの配列周期ＰＶの半分の長さだけ移動した位置である。
【０１１３】
撮像素子２は、この第１および第２結像位置Ａ３，Ｂ３に画像光が結像されたときに、画像光を撮像して、第１および第２原画像信号を得る。
【０１１４】
図１０は、上述した原画像を示す第１および第２原画像から構成される合成画像を表す図である。第１原画像の画素は、右下がりのハッチングをして表し、第２原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第１および第２原画像を重ね合わせて生成される。この合成動作は、画像メモリ４を用い、第１および第２原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第１および第２原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
【０１１５】
第１原画像の画素に対応する合成画像の画素ｓ（ｎ，ｍ）は、ｎが奇数である。また、第２原画像の画素に対応する合成画像の画素ｓ（ｎ，ｍ）はｎが偶数である。
【０１１６】
合成画像全体として、第１および第２原画像のいずれか一方に対応する画素を有する実画素は、水平縞状に配列される。また、第３実施の形態においては、合成画像と出力画像の画素構成は、同じになる。
【０１１７】
信号処理部９は、ガンマ補正を行う。
【０１１８】
出力画像の配列周期は、第１および第２原画像の画素配列と比較して、垂直方向Ｖに関して半分となる。ゆえに、第１および第２原画像の解像度を標準解像度とすると、出力画像の解像度は、垂直方向Ｖに関して標準解像度よりも高解像度となる。
【０１１９】
第３実施の形態におけるＬＰＦ５について、説明する。ＬＰＦ５は、２枚の原画像間に光量差がある場合に発生する水平縞模様を除去するために、合成画像に対してローパスフィルタを施す。図１１は、合成画像の基底帯域及びＬＰＦ５のローパス特性を空間周波数座標上に表した図である。合成画像の基底帯域１５は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）となる。
（ ｆＨ／２， ｆＶ）
（−ｆＨ／２， ｆＶ）
（−ｆＨ／２，−ｆＶ）
（ ｆＨ／２，−ｆＶ）
２枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、イメージシフトの方向にイメージシフト量の２倍を周期とするものである。したがって、点（ｆＨ／２，ｆＶ）と（−ｆＨ／２，ｆＶ）を結ぶ境界線及び点（−ｆＨ／２，−ｆＶ）と（ｆＨ／２，−ｆＶ）を結ぶ境界線上に存在する。従って、ＬＰＦ５は、この境界線上のゲインがゼロであることが望ましく、上記基底帯域１５を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｒ９が上げられる。
【０１２０】
【数１８】

【０１２１】
ローパスフィルタｒ９は、４行４列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ９（ｐ，ｑ）として表すとする。このローパスフィルタｒ９により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１２２】
【数１９】

【０１２３】
ここで、ｓ（ｎ，ｍ）は、光量差補正前の合成画像の第ｎ行ｍ列の画素を表す。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の第ｎ行ｍ列の画素を表す。
【０１２４】
ローパスフィルタｒ９よりも簡略化したローパスフィルタｒ１０を、以下に示す。
【０１２５】
【数２０】

【０１２６】
ローパスフィルタｒ１０は、３行３列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ１０（ｐ，ｑ）として表すとする。このローパスフィルタｒ１０により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１２７】
【数２１】

【０１２８】
ローパスフィルタｒ１０は、ローパスフィルタｒ９よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ１０は、通過帯域１５のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ９よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１２９】
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１３０】
【数２２】

【０１３１】
ローパスフィルタｒ１１は、列ベクトルとして表される１次元ローパスフィルタである。第ｐ要素は、ｒ１１（ｐ）として表すとする。このローパスフィルタｒ１１により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１３２】
【数２３】

【０１３３】
このローパスフィルタｒ１１は、図９に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。２枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、図９に示したイメージシフト量を表す有向線分Ａ３Ｂ３の２倍を周期とする空間周波数Ｆｃ３と等しい。空間周波数Ｆｃ３は、その方向が垂直方向Ｖと等しく、この方向にｆＶの大きさの空間周波数である。
【０１３４】
ローパスフィルタｒ１１は、上記した２次元ローパスフィルタと異なり、空間周波数Ｆｃ３を含む破線１６上をカットオフするように限定されている。このような垂直方向Ｖに対するローパスフィルタｒ１１であっても、十分に光量差補正ができる。
【０１３５】
さらに、さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１３６】
【数２４】

【０１３７】
ローパスフィルタｒ１２は、列ベクトルとして表される１次元ローパスフィルタである。第ｐ要素は、ｒ１２（ｐ）として表すとする。このローパスフィルタｒ１２により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１３８】
【数２５】

【０１３９】
このローパスフィルタｒ１２は、図９に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタｒ１２は、ローパスフィルタｒ１１よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ１２は、通過帯域１５のゲインが破線１６に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１１よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１４０】
本実施の形態においても、簡単な処理により２つの原画像間の光量差を補正することが可能となる。また、ローパスフィルタリングは各画素ごとに行われるため、画像間の光量差が部分的に生じている場合においてもその光量差補正を的確に実行でき、光量差に基づく画像の劣化を抑制することができる。
【０１４１】
（第４実施の形態）
上述した第１から第３実施の形態の撮像装置は、モノクロ画像を撮像する撮像装置であるとして説明したけれども、カラー画像を撮像するカラー撮像装置に関しても同様に光量差補正を行うことができる。例えば、カラー撮像装置には、単板方式および３板方式の撮像装置がある。単板方式の撮像装置では、撮像素子の光入射側に各受光領域で受光する光の波長を制限する色フィルタを設け、フィルタを通過した光を撮像させる。３板方式の撮像装置では、撮像光を色分解プリズムで赤青緑の３原色の単色画像光に分解して、各単色画像光を個別的に撮像素子で撮像する。従って、３板方式の撮像装置には、３つの撮像素子を設けている。
【０１４２】
ＬＰＦ５では、これらの手法で得られた各単色画像光の画像信号を例えば赤緑青の３原色それぞれの色調を示すベクトル量の信号として取り扱い（この場合、請求項２におけるｕ＝３）、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。または、カラーの画像信号から輝度信号と２種類の色差信号とを生成し（この場合、請求項２におけるｕ＝３）、輝度信号と色差信号とに対して個別的にローパスフィルタ処理を施す。これによって、カラー撮像装置においても、出力画像の光量差を補正することができる。
【０１４３】
上記のようにローパスフィルタ処理の施されたデータは信号処理部９により補間がなされた後、記録媒体１０に記録される。記録媒体に記録されるデータはＬＰＦ５により個別的に処理された個々の信号であっても良いし、また、それらが合成された信号であっても良い。
【０１４４】
本発明の第４実施の形態の単板方式のカラー撮像装置の具体例を以下に説明する。本実施の形態の撮像装置の構成要素の構造は、第１実施の形態の撮像装置と略等しいため、同一の構成要素には同一の符号を付して説明は省略する。
【０１４５】
図１２は、色フィルタの透過領域の色配列の基本配列パターン１７を示す図である。この基本配列パターン１７は、２行２列に配列される４つの透光領域Ｌから成る。このパターン１７は、緑の透光領域Ｌだけを２つ含み、赤および青の透光領域を１つずつ含む。この基本配列パターン１７において、透光領域Ｌ（１，１）、Ｌ（２，２）は、緑の透光領域Ｌである。透光領域Ｌ（１，２）は、赤の透光領域Ｌである。透光領域Ｌ（２，１）は、青の透光領域Ｌである。
【０１４６】
撮像素子２は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列、および該画素と受光データとの対応関係は、図１２の色フィルタの透光領域Ｌの配列と等価であり、各対応画素は、単一の色彩光の受光データを有する。
【０１４７】
上述の撮像装置の画像光の撮像動作は、第１実施の形態の画像光の撮像動作と類似し、光学系１、撮像素子２、Ａ／Ｄ変換器３、および画像メモリ４の挙動は、第１実施の形態と等しい。このとき、イメージシフトは、画像光の結像位置を、図１３に示すように、水平方向Ｈに間隔ＰＨだけ離れた第１および第２結像位置Ａ４、Ｂ４に移動させる。この第４実施の形態では、水平方向にイメージシフトすることにより、水平方向の解像度を向上させている。
【０１４８】
信号処理部９は、まず第１および第２原画像信号から合成画像信号を生成する。この合成画像は、Ｍ行Ｎ列に配列されるＭ×Ｎ個の対応画素からなる。合成画像の水平および垂直方向Ｈ，Ｖの画素の配列周期は、それぞれ周期ＰＨ，ＰＶである。各対応画素は、それぞれ異なる２種類の色彩光の受光データを有する。
【０１４９】
図１４は、上述の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン１８を示す図である。この基本配列パターン１８は、２行２列に配列される４つの画素からなる。画素Ｄ（１，１）、Ｄ（１，２）は、緑と赤との対応画素である。画素Ｄ（２，１）、Ｄ（２，２）は、緑と青との対応画素である。図１４では、緑と赤との対応画素には符号「Ｆａ」を記し、緑と青との対応画素には、符号「Ｆｂ」を記す。このことから、合成画像では、画素配列が原画像の画素配列と等しく、また全画素が緑の対応画素であることがわかる。また、奇数行の画素が赤の対応画素であり、偶数行には赤の対応画素はひとつもない仮想画素である。偶数行の画素が青の対応画素であり、奇数行には青の対応画素はひとつもない仮想画素である。各赤青緑ごとの個別の合成画像の配列を、図１５、図１６、図１７に示す。図１５は、赤の配列である。図１６は青の配列である。図１７は緑の配列である。第１原画像の画素は、右下がりのハッチングをして表し、第２原画像の画素は、右上がりのハッチングをして表す。
【０１５０】
次に本発明の特徴部分であるＬＰＦ５について、説明する。ＬＰＦ５は、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。図１８は、合成画像の赤または青の画素に関する基底帯域及びＬＰＦ５の特性を空間周波数座標上に表した図である。この基底帯域１９は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）となる。
（ ｆＨ／２， ｆＶ／４）
（−ｆＨ／２， ｆＶ／４）
（−ｆＨ／２，−ｆＶ／４）
（ ｆＨ／２，−ｆＶ／４）
２枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、イメージシフトの方向にイメージシフトのシフト量の２倍の周期のものである。したがって、点（ｆＨ／２，ｆＶ／４）と点（ｆＨ／２，−ｆＶ／４）を結ぶ境界線及び点（−ｆＨ／２，ｆＶ／４）と点（−ｆＨ／２，−ｆＶ／４）を結ぶ境界線上に存在する。このため、ＬＰＦ５は、この境界線上においてゲインがゼロであることが望ましく、上記基底帯域１５を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｒ１３が上げられる。
【０１５１】
【数２６】

【０１５２】
ローパスフィルタｒ１３は、７行４列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ１３（ｐ，ｑ）として表すとする。このローパスフィルタｒ１３により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１５３】
【数２７】

【０１５４】
ここで、ｓ（ｎ，ｍ）は、光量差補正前の合成画像の第ｎ行ｍ列の赤または青の画素を表す。図１５および図１６に示したように、仮想画素には画素データがない。式（４）の計算においては、仮想画素の画素データは、零として行う。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の第ｎ行ｍ列の赤または青の画素を表す。仮想画素であるｓ（ｎ，ｍ）を式（２８）で計算すると、光量差補正後の画素ｔ（ｎ，ｍ）の画素値は、零になる。従って、仮想画素の計算は、式（２８）に関して省略できる。
【０１５５】
ローパスフィルタｒ１３よりも簡略化したローパスフィルタｒ１４を、以下に示す。
【０１５６】
【数２８】

【０１５７】
ローパスフィルタｒ１４は、５行３列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ１４（ｐ，ｑ）として表すとする。このローパスフィルタｒ１４により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１５８】
【数２９】

【０１５９】
ローパスフィルタｒ１４は、ローパスフィルタｒ１３よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ１４は、通過帯域１９のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１３よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１６０】
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１６１】
【数３０】

【０１６２】
ローパスフィルタｒ１５は、行ベクトルとして表される１次元ローパスフィルタである。第ｑ要素は、ｒ１５（ｑ）として表すとする。このローパスフィルタｒ１５により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１６３】
【数３１】

【０１６４】
このローパスフィルタｒ１５は、図１３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。２枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、図１３に示したイメージシフト量を表す有向線分Ａ４Ｂ４の２倍を周期とする空間周波数Ｆｃ４と等しい。空間周波数Ｆｃ４は、その方向が水平方向Ｈと等しく、この方向にｆＨの大きさの空間周波数である。このローパスフィルタｒ１５は、上記した２次元ローパスフィルタと異なり、空間周波数Ｆｃ４を含む破線２０上をカットオフするように限定されている。このような水平方向Ｈに対するローパスフィルタｒ１５であっても、十分に光量差補正が行える。
【０１６５】
さらに、計算量を減らしたローパスフィルタを、以下に示す。
【０１６６】
【数３２】

【０１６７】
ローパスフィルタｒ１６は、行ベクトルとして表される１次元ローパスフィルタである。第ｑの要素は、ｒ１６（ｑ）として表すとする。このローパスフィルタｒ１６により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１６８】
【数３３】

【０１６９】
このローパスフィルタｒ１６は、図１３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタｒ１６は、ローパスフィルタｒ１５よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ１６は、通過帯域１９のゲインが破線２０に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１５よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１７０】
次に、合成画像の緑の画素に関して説明する。図１９は、緑の画素の基底帯域を示す空間周波数図である。ＬＰＦ５は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）を通過帯域２１とする。
（ ｆＨ／２， ｆＶ／２）
（−ｆＨ／２， ｆＶ／２）
（−ｆＨ／２，−ｆＶ／２）
（ ｆＨ／２，−ｆＶ／２）
２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトの方向にイメージシフトのシフト量の２倍の周期のものである。したがって、点（ｆＨ／２，ｆＶ／２）と点（ｆＨ／２，−ｆＶ／２）を結ぶ境界線及び点（−ｆＨ／２，ｆＶ／２）と点（−ｆＨ／２，−ｆＶ／２）を結ぶ境界線上に存在する。このため、ＬＰＦ５はこの境界線上においてゲインがゼロであることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｒ１７が上げられる。
【０１７１】
【数３４】

【０１７２】
ローパスフィルタｒ１７は、４行４列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ１７（ｐ，ｑ）として表すとする。このローパスフィルタｒ１７により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１７３】
【数３５】

【０１７４】
ここで、Ｇ（ｎ，ｍ）は、光量差補正前の合成画像の緑の第ｎ行ｍ列の画素を表す。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の緑の第ｎ行ｍ列の画素を表す。
【０１７５】
ローパスフィルタｒ１７よりも簡略化したローパスフィルタｒ１８を、以下に示す。
【０１７６】
【数３６】

【０１７７】
ローパスフィルタｒ１８は、３行３列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素は、ｒ１８（ｐ，ｑ）として表すとする。このローパスフィルタｒ１８により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１７８】
【数３７】

【０１７９】
ローパスフィルタｒ１８は、ローパスフィルタｒ１７よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ１８は、通過帯域２１のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１７よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１８０】
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１８１】
【数３８】

【０１８２】
ローパスフィルタｒ１９は、行ベクトルとして表される１次元ローパスフィルタである。第ｑ要素は、ｒ１９（ｑ）として表すとする。このローパスフィルタｒ１９により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１８３】
【数３９】

【０１８４】
このローパスフィルタｒ１９は、図１３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、図１３に示したイメージシフト量を表す有向線分Ａ４Ｂ４の２倍を周期とする空間周波数Ｆｃ４と等しい。空間周波数Ｆｃ４は、その方向が水平方向Ｈと等しく、この方向にｆＨの大きさの空間周波数である。
【０１８５】
このローパスフィルタｒ１９は、上記した２次元ローパスフィルタと異なり、空間周波数Ｆｃ４を含む破線２２上をカットオフするように限定されている。このような水平方向Ｈに対するローパスフィルタｒ１９であっても、十分に光量差補正ができる。
【０１８６】
さらに計算量を減らしたローパスフィルタを、以下に示す。
【０１８７】
【数４０】

【０１８８】
ローパスフィルタｒ２０は、行ベクトルとして表される１次元ローパスフィルタである。第ｑの要素は、ｒ２０（ｑ）として表すとする。このローパスフィルタｒ８により、合成画像を光量差補正する計算は、以下の式で計算される。
【０１８９】
【数４１】

【０１９０】
このローパスフィルタｒ２０は、図１３に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタｒ２０は、ローパスフィルタｒ１９よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタｒ２０は、通過帯域１１のゲインが破線２２に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｒ１９よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０１９１】
上述したように第４実施の形態の２枚の原画像間に光量差がある場合に発生する空間周波数Ｆｃ４は、水平方向の空間周波数である。しかし、図１７の緑の画素配列からわかるように光量差がある場合に発生する緑の画素は市松模様である。この市松模様を除去するローパスフィルタは、垂直方向の１次元ローパスフィルタでもよい。第４実施の形態は、水平方向の解像度を向上させる目的でイメージシフトを行うものであったので、水平方向にローパスフィルタを施すことは、この目的に反する。従って、垂直方向の１次元ローパスフィルタは、第４実施の形態にとって、より望ましい。
【０１９２】
また、ローパスフィルタは、各画素毎に施すので、画像のどの部分においても、また、部分毎に光量差が異なる場合でも、光量差補正することができる。
【０１９３】
なお、第２〜第４実施の形態では第１実施の形態と同様に、▲１▼２つの原画像信号を合成して合成画像を生成した後、▲２▼その合成画像に対してローパスフィルタリングを施し、その後、▲３▼信号処理部９が仮想画素の画像データを補間により求めているが、処理順序はこれに限るものではなく、仮想画素の画像データを求めた後（補間処理後）ローパスフィルタリングを施しても良いし（第５実施の形態参照）、また、ローパスフィルタリングと補間処理を同時に行っても良い。
【０１９４】
（第５実施の形態）
図２０は、本実施の形態における撮像装置の構成を示している。本実施の形態における撮像装置は、同図に示すように、光学系５１、固体撮像素子５２、Ａ／Ｄ変換器５３、画像メモリ５４、補間処理部５５、駆動部５６、同期信号発生部５７、メモリ制御部５８、ＬＰＦ５９、記録媒体６０を備えている。
【０１９５】
被写体からの画像光は、光学系５１の集光レンズで集光された後、撮像素子５２の結像面上に結像される。撮像素子５２の結像面には、複数の受光領域ＰＤが行列状に並べられる。
【０１９６】
光学系５１には、画像光を集光する集光レンズの他に、イメージシフト機構が含まれる。イメージシフト機構は、駆動部５６により制御されて、あらかじめ定める時間毎に、結像面上の画像光の結像位置を第１および第２結像位置にそれぞれシフト移動させる。
【０１９７】
撮像素子５２は、あらかじめ定める露光時間だけ、光学系５２からの画像光を各受光領域ＰＤに受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子５２は、あらかじめ定める時間毎に、各受光領域ＰＤからの受光データを第１または第２原画像信号として、Ａ／Ｄ変換器５３に導出する。
【０１９８】
Ａ／Ｄ変換器５３は、撮像素子５２からのアナログ信号である第１及び第２原画像信号をデジタル信号に変換して、画像メモリ５４にストアする。
【０１９９】
同期信号発生部５７は、２つの原画像信号の撮像動作に対応する同期信号を発生させ、駆動部５６およびメモリ制御部５８に与える。駆動部５６は、光学系１内のイメージシフト機構を用いて、イメージシフト動作を行う。これによって、撮像素子５２では、各受光領域ＰＤが受光する画像光が、被写体の像の中で移動前の撮像光とずれる。メモリ制御部５８は、受光データを結像位置の異なる２つの原画像信号毎に関連させて、画像メモリ５４にストアする。
【０２００】
補間処理部５５は、画像メモリ５４からの原画像信号を受信し、２つの原画像信号からは得られない画像データを補間により生成する。つまり、２つの原画像信号を合成したときにデータを有していない画素の画像データを補間により生成する。そして、補間後の画像信号を再び画像メモリ５４にストアする。なお、この画像メモリ４に記憶された原画像信号は、後述するＬＰＦ５９により画質補正され、補正後の信号に上書きされて消去される。
【０２０１】
ＬＰＦ５９は、２つの原画像信号の間の光量差及び補間処理により生じる画質の劣化を除去するためのローパスフィルタであり、原画像信号画像メモリ５４にストアされた補間処理後の原画像信号を受信して、画質補正（光量差補正及び補間補正）を行う。この画質補正後の信号は、出力画像信号として記録媒体６０にストアされる。
【０２０２】
次に、本実施の形態の撮像装置の具体的な例について説明する。ここでは、撮像素子５２の結像面の画素配列が図２に示す構造が、水平及び垂直方向Ｈ，Ｖに周期的に繰り返されたものとなっており、画像光の第１および第２結像位置の位置関係が図３に示す関係となっているものとする。ここで、第１結像位置Ａ１を基準にすると、第２結像位置Ｂ１は、第１結像位置Ａ１から、受光領域ＰＤの水平方向Ｈの配列周期ＰＨの半分の長さだけ、かつ垂直方向Ｖの配列周期ＰＶの半分の長さだけ、移動した位置である。
【０２０３】
撮像素子５２は、この第１および第２結像位置Ａ１，Ｂ１に画像光が結像されたときに、該画像光を撮像して、第１および第２原画像信号を得る。図４はそれらの合成画像を表す図である。第１原画像の画素は、右下がりのハッチングをして表し、第２原画像の画素は、右上がりのハッチングをして表している。ここでの動作は図１に示した第１の実施の形態の撮像装置と同様である。
【０２０４】
補間処理部５５は、上記合成画像におけるデータのない画素（仮想画素）の画素データを、その周囲の実画素の画素データから補間して、この仮想画素の画素データを代入して生成する。
【０２０５】
この補間処理では、例えば線形補間法、またはキュービックコンボリューション補間法などが用いられる。線形補間法は、例えば合成画像において仮想画素の周囲の４つの実画素の画素データの平均値として、仮想画素の画素データを補間する補間手法である。キュービックコンボリューション補間法は、仮想画素の周囲１６個の実画素の画素データを用いて、仮想画素の画素データを補間する補間法である。
【０２０６】
補間後の画像の配列周期は、第１および第２原画像の画素配列と比較して、水平、垂直はいずれに関しても半分となる。ゆえに、第１および第２原画像の解像度を標準解像度とすると、出力画像の解像度は、各方向Ｈ，Ｖに関して標準解像度よりも高解像度となる。また、出力画像の斜め方向Ｕの画素の配列周期は、合成画像の配列周期の半分になる。しかし、出力画像信号は、合成画像信号を補間して得られる。このとき補間処理で増加した画素によって出力画像の画素の配列周期が合成画像よりも小さくなっても、解像度は合成画像と変わらない。ゆえに、出力画像の斜め方向Ｕの解像度は、画素の配列周期から得られるべき解像度よりも低下する。
【０２０７】
次に、本実施の形態の特徴部分である光量差補正を行うＬＰＦ５９について、説明する。ＬＰＦ５９は、２枚の原画像間に光量差に起因する市松模様、及び、補間処理により発生する市松模様を除去するために、補間後の出力画像に対してローパスフィルタ処理を施す。
【０２０８】
図５は、ＬＰＦ５９のローパス特性および合成画像の基底帯域を空間周波数座標上に表した図である。基底帯域１１は、以下の４点を頂点とする矩形領域（図中、ハッチング領域）となる。
（ ｆＨ ， ０）
（ ０ ， ｆＶ）
（−ｆＨ ， ０）
（ ０ ，−ｆＶ）
ここで、例えば（ｆＨ，０）は、水平方向の空間周波数ｆＨ、かつ垂直方向の空間周波数０である空間周波数を表す。
【０２０９】
２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトによるシフト量の２倍の周期となり、かつその方向はイメージシフトの方向に一致する。これを図４を使って説明する。図４において、画素ｓ（１，１）を通るイメージシフト方向を考えると、ｓ（２，２）、ｓ（３，３）、ｓ（４，４）、ｓ（５，５）、ｓ（６，６）を通る斜め方向の画素列になる。このうち、第１原画像の画素に対応する合成画像の画素ｓは、ｓ（１，１）、ｓ（３，３）、ｓ（５，５）である。また、第２原画像の画素に対応する合成画像の画素ｓは、ｓ（２，２）、ｓ（４，４）、ｓ（６，６）である。すなわち、第１原画像の画素と第２原画像の画素が交互に配列されている。２枚の原画像間に光量差が生じた場合には、この斜め方向の画素列において２画素周期の空間周波数が発生することになる。この２画素周期の空間周波数は、方向が第１斜め方向Ｕ１と等しく、この方向に以下の大きさの空間周波数である。
【０２１０】
このように、第１斜め方向Ｕ１に関して１次元空間的に考えると、この２枚の原画像間に光量差がある場合に発生する空間周波数は、図５においてＦｄと等しい。Ｆｄは、２次元空間周波数として表せば（ｆＨ／２，ｆＶ／２）および（−ｆＨ／２，−ｆＶ／２）となる。この周波数成分Ｆｄは、図５における点（ｆＨ，０）、点（０，ｆＶ）を結ぶ境界線、および点（−ｆＨ，０）、点（０，−ｆＶ）を結ぶ境界線上に存在する。
【０２１１】
また、２枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、水平方向，垂直方向で考えると、図５においてＦｃと等しい。つまり、（ｆＨ，０）、（０，ｆＶ）、（−ｆＨ，０）、（０，−ｆＶ）の空間周波数となる。これを図２１、図２２を使って説明する。図２１は、（ｆＨ，０）または（−ｆＨ，０）の空間周波数を示す合成画像を表す図である。（ｆＨ，０）または（−ｆＨ，０）の空間周波数は、水平方向に周期ＰＨの縦縞である。図２１中では、黒い画素の列と、白い画素の列が交互に並んだ縦縞として表している。図２２は、（０，ｆＶ）または（０，−ｆＶ）の空間周波数を示す合成画像を表す図である。（０，ｆＶ）または（０，−ｆＶ）の空間周波数は、垂直方向に周期ＰＶの横縞である。図２２中では、黒い画素の行と、白い画素の行が交互に並んだ横縞として表している。図２１もしくは図２２のどちらにおいても、黒い画素は第１原画像の全ての画素を含み、白い画素は第２原画像の全ての画素を含んでいる。従って、２枚の原画像間に光量差がある場合に発生する空間周波数は、Ｆｃを含んでいる。また、その周波数成分Ｆｃは、図５における点（ｆＨ，０）、点（０，ｆＶ）を結ぶ境界線、および点（−ｆＨ，０）、点（０，−ｆＶ）を結ぶ境界線上に存在する。
【０２１２】
ＬＰＦ５９は、上記のような空間周波数をカットするものであり、１次元フィルタとして構成する場合は、ＬＰＦ５９の１次元フィルタ方向は第１斜め方向Ｕ１と等しく、周波数Ｆｄ上のゲインが零であることが望ましく、上記基底帯域１１を通過帯域とするものが望ましい。この場合のＬＰＦ５９は、空間周波数Ｆｄを含む破線１２上のみをカットオフするようになる。また、原画像が本来保持している周波数成分を減衰させないために（画像がぼやけないために）、境界線を除く矩形領域内の領域では、ＬＰＦ５９のゲインが１であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５９は直線位相特性であることが望ましい。
【０２１３】
ＬＰＦ５９を２次元フィルタとして構成する場合は、境界線１２上のゲインが零であることが望ましく、上記基底帯域１１を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために（画像がぼやけないために）、境界線を除く矩形領域内の領域では、ＬＰＦ５９のゲインが１であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５９は直線位相特性であることが望ましい。
【０２１４】
このような１次元フィルタや２次元フィルタとしては、第１の実施の形態で説明したローパスフィルタ（ｒ１〜ｒ４）を使用することができるが、ここでは、以下のようなローパスフィルタについて説明する。
【０２１５】
縞模様の原因となる空間周波数成分の内で最も目立つものは、基底帯域１１における水平，垂直方向の最大絶対値周波数成分であるＦｃである。そこで、２次元フィルタとして構成する場合、その周波数成分Ｆｃ上のゲインのみを零にするローパスフィルタを用いれば、縞模様は目立たなくなる。このようなローパスフィルタのローパス特性を図２３を使って説明する。ローパスフィルタは、図２３において破線６３および６４上のゲインが零であることが望ましく、破線６３および６４で囲まれた領域６５（図中、右下がりのハッチング領域、ただし基底帯域１１を含む）を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために（画像がぼやけないために）、境界線を除く矩形領域内の領域では、ＬＰＦ５９のゲインが１であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、ＬＰＦ５９は直線位相特性であることが望ましい。
【０２１６】
上記のような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタｍ１が適当である。
【０２１７】
【数４２】

【０２１８】
このローパスフィルタｍ１は、４行４列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素をｍ１（ｐ，ｑ）として表すと、このローパスフィルタｍ１により、合成画像を光量差補正する計算は、以下の式で計算される。
【０２１９】
【数４３】

【０２２０】
ここで、ｓ（ｎ，ｍ）は、光量差補正前の合成画像の第ｎ行ｍ列の画素を表す。また、ｔ（ｎ，ｍ）は、光量差補正後の合成画像の第ｎ行ｍ列の画素を表す。図４に示したように、仮想画素には画素データが無い。従って、ローパスフィルタｍ１の計算を行う前に、補間処理部５５により仮想画素の画素を補間により求めておく。
【０２２１】
ローパスフィルタｍ１よりも簡略化したローパスフィルタｍ２を、以下に示す。
【０２２２】
【数４４】

【０２２３】
ローパスフィルタｍ２は、３行３列の行列として表される２次元ローパスフィルタである。第ｐ行ｑ列の要素をｍ２（ｐ，ｑ）として表すと、このローパスフィルタｍ２により、合成画像を光量差補正する計算は、以下の式で計算される。
【０２２４】
【数４５】

【０２２５】
図４に示したように、仮想画素には画素データが無い。従って、ローパスフィルタｍ２の計算を行う前に、補間処理部５５により仮想画素の画素を補間により求めておく。
【０２２６】
ローパスフィルタｍ２は、ローパスフィルタｍ１よりも計算量が少なくて済む利点がある。しかし、ローパスフィルタｍ２は、通過帯域１５のゲインが境界線に近づくに連れて１よりも小さくなる傾向が強く、結果としてローパスフィルタｍ１よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
【０２２７】
また、２次元ローパスフィルタｍ１は、水平方向の１次元ローパスフィルタ（以下、水平ローパスフィルタと云う）ｍｈ１と垂直方向の１次元ローパスフィルタ（以下、垂直ローパスフィルタと云う）ｍｖ１とに分解できる。ｍｈ１は、行ベクトルとして表される１次元ローパスフィルタである。また、ｍｖ１は、列ベクトルとして表される１次元ローパスフィルタである。
【０２２８】
【数４６】

【０２２９】
水平ローパスフィルタｍｈ１と垂直ローパスフィルタｍｖ１により、合成画像を光量差補正する計算は、以下の式で計算される。
【０２３０】
【数４７】

【０２３１】
このように、水平ローパスフィルタｍｈ１と垂直ローパスフィルタｍｖ１を縦続形接続することにより、２次元ローパスフィルタｍ１を構成できるため、回路構成を簡略化できる。
【０２３２】
図２４は、この構成例を示すブロック図であり、垂直ローパスフィルタｍｖ１と水平ＬＰＦｍｈ１が縦続接続している。この縦続接続形回路には、合成画像の画素データを、ノンインターレースにより入力する事により、２次元ローパスフィルタ処理された画素データを出力できる。
【０２３３】
図２５は垂直ローパスフィルタｍｖ１の回路構成例を表し、図２６は水平ローパスフィルタｍｈ１の回路構成例を表す。どちらの回路も、３個の加算器、１個の５倍乗算器により計算できる。なお、１／８の割り算器は、３ビットシフトにより計算できる。また、５倍乗算器も、ビットシフトと加算器により構成することもできる（図２７参照）。
【０２３４】
一方、２次元ローパスフィルタｍ１をそのまま回路に構成したブロック図を図２８に示す。この図で、Ｄは１画素遅延素子、破線ブロックは、１水平遅延ラインを表す。従って、破線ブロック内の遅延ラインの遅延画素数は、出力画像の水平画素数より３画素少ない数となる。この回路の場合、１５個の加算器、２個の５倍乗算器により計算できる。縦続接続形に比べて、かなりの加算器が必要であることがわかる。
【０２３５】
また、２次元ローパスフィルタｍ２は、水平ローパスフィルタｍｈ２と垂直ローパスフィルタｍｖ２とに分解できる。ｍｈ２は、行ベクトルとして表される１次元ローパスフィルタである。また、ｍｖ２は、列ベクトルとして表される１次元ローパスフィルタである。
【０２３６】
【数４８】

【０２３７】
水平ローパスフィルタｍｈ２と垂直ローパスフィルタｍｖ２により、合成画像を光量差補正する計算は、以下の式で計算される。
【０２３８】
【数４９】

【０２３９】
このように、水平ローパスフィルタｍｈ２と垂直ローパスフィルタｍｖ２を縦続形接続することにより、２次元ローパスフィルタｍ２を構成できるため、回路構成を簡略化できる。
【０２４０】
また、本第５実施の形態によれば、画像に含まれる水平方向のエッジまたは垂直方向のエッジが的確に補正できる。図２９は、垂直方向のエッジを撮像した例を示している。画素ｓ（ｐ，ｑ）においてｑ≦３が黒レベルであり、ｑ≧４が白レベルであるような、ｑ＝３と４の間に垂直方向のエッジがある場合である。第１原画像においては、黒レベルは１０、白レベルは２００であったとする。つまり、ｓ（ｐ，１）＝１０、ｓ（ｐ，３）＝１０、ｓ（ｐ，５）＝２００であったとする。第２原画像においては、２原画像間に光量差が生じたため黒レベルは０、白レベルは１９０であったとする。つまり、ｓ（ｐ，２）＝０、ｓ（ｐ，４）＝１９０、ｓ（ｐ，６）＝１９０であったとする。図３０に各画素の画素値、および線形補間法により、仮想画素の画素データを計算した値を示す。本来は、垂直方向の直線上のエッジであったものが、ジグザグ状のエッジになっている。この画像に対して、式（４９）に基づく光量差補正処理を施すと、図３１のようになる。ジグザグ状のエッジであったものが、垂直方向のエッジに補正できている。また、水平方向のエッジについても同様に的確に補正ができる。
【０２４１】
また、本実施の形態によれば、補間処理後にローパスフィルタ処理を行っているため、補間処理により発生する画質の劣化、即ち、特定周波数成分の画像ムラの発生をも同時に補正することができる。これは、補間処理により発生する画像ムラの周波数成分が、通常、イメージシフト時の光量差に基づく周波数成分と一致するからである。
【０２４２】
ところで、ローパスフィルタ等のフィルタにおいては、カットしたい周波数成分でのゲインが０であり、その他の周波数成分のゲインが１であるような理想特性のフィルタを作成することは困難である。したがって、通常は、カットしたい周波数成分のゲインを０とすれば上記周波数成分近傍のゲインは１よりも低下してしまう。このため、本発明のように光量差により発生する縞模様に対応する周波数成分をカット（減衰）する場合、基底帯域中の周波数成分の一部を必然的に減衰させなければならなくなるが、本実施の形態ではフィルタによりカットする周波数成分を空間周波数座標に表した基底帯域の水平，垂直方向の頂点（水平軸，垂直軸上における絶対値が最大の周波数成分）としているため、第１〜第４実施の形態のように基底帯域の境界線をカットする場合よりも、減衰させなければならない周波数成分を減少できる。よって画質の劣化を抑制することが可能である。
【０２４３】
なお、本第５実施の形態では、▲１▼２つの原画像信号を合成して合成画像を生成した後、▲２▼その合成画像に対して補間処理部５５が仮想画素の画像データを補間により求めた後、▲３▼その補間画像に対してＬＰＦ５９がローパスフィルタリングを施しているが、処理順序はこれに限るものではなく、合成画像に対してローパスフィルタリングを施した後に、補間処理を施しても良い。したがって、第１の実施の形態で説明した図１の構成のＬＰＦ５として本実施の形態のＬＰＦ５９（ｍ１，ｍ２）を用いてもよい、この場合は、ＬＰＦ５９は、仮想画素の画素データは零として、ローパスフィルタリングを施せば良い。また、ローパスフィルタリングと補間処理を同時に行っても良い。
【０２４４】
また、上述した第５実施の形態では、モノクロ画像を撮像する撮像装置について説明したが、カラー画像を撮像するカラー撮像装置に関しても同様に光量差補正を行うことができる。
【０２４５】
例えば、カラー撮像装置には、単板方式および３板方式の撮像装置がある。単板方式の撮像装置では、撮像素子の光入射側に各受光領域で受光する光の波長を制限する色フィルタを設け、フィルタを通過した光を撮像させる。３板方式の撮像装置では、撮像光を色分解プリズムで赤青緑の３原色の単色画像光に分解して、各単色画像光を個別的に撮像素子で撮像する。従って、３板方式の撮像装置には、３つの撮像素子を設けている。
【０２４６】
ＬＰＦ５９では、これらの手法で得られた各単色画像光の画像信号を例えば赤青緑の３原色それぞれの色調を示すベクトル量の信号として取り扱い（この場合、請求項におけるｕ＝３）、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。または、カラーの画像信号から輝度信号と２種類の色差信号とを生成し（この場合、請求項におけるｕ＝３）、輝度信号と色差信号とに対して個別的にローパスフィルタ処理を施す。これによって、カラー撮像装置においても、出力画像の光量差を補正することができる。
【０２４７】
上記のようにローパスフィルタ処理の施されたデータは、記録媒体６０に記録される。記録媒体に記録されるデータはＬＰＦ５９により個別的に処理された個々の信号であっても良いし、また、それらが合成された信号であっても良い。
【０２４８】
なお、以上説明した第１〜第５実施の形態では、イメージシフトによりシフト量が水平方向あるいは垂直方向に対して１画素を超えないものであったが、シフト量が１画素を超える場合には、光量差によって出現する模様の周波数成分は、そのイメージシフト量の１画素未満の成分の２倍を周期とするものとなる。すなわち、イメージシフト量をＸとしたとき、２×（Ｘ−ＩＮＴ（Ｘ））を周期とするものとなる（但し、ＩＮＴ（ｙ）はｙを超えない最大の整数）。このため、使用するローパスフィルタとしては、上記周波数成分をカットすることのできるものを選択する必要がある。
【０２４９】
また、第１〜第５実施の形態では、２つの原画像により１つの合成画像を生成したが、本発明は更に多くの原画像から１つの合成画像を生成する場合にも適用できる。その場合、各原画像の配列を考慮し、光量差を打ち消すことのできるローパスフィルタを選択する必要がある。
【０２５０】
更に、第１〜第５実施の形態におけるローパスフィルタの代わりにバンドパスフィルタを使用することも可能である。
【０２５１】
【発明の効果】
以上のように本発明の撮像装置では、イメージシフト動作による複数の原画像信号間に生じる光量差を補正するフィルタを備えているため、光量差に基づく縞模様を抑制することができ、画質を向上できる。
【０２５２】
また、上記フィルタによるフィルタリングを、複数の原画像の合成後補間処理前に行うことにより、光量差補正（フィルタリング）における処理量を減らすことができ、高速処理が可能となる。
【０２５３】
また、上記フィルタによるフィルタリングを、複数の原画像の補間処理後に行うことにより、補間処理により発生する縞模様を、光量差により発生する縞模様と同時に抑制することが可能となり、画質を向上できる。また、水平または垂直方向のエッジを的確に補正することができる。
【０２５４】
また、イメージシフトの方向を斜め方向とすることで、少ないイメージシフト回数で高画質の画像を得ることができる。
【０２５５】
さらに、上記フィルタを、複数の原画像を合成した画像データの画素配列の基底帯域を通過帯域とする２次元ローパスフィルタ、または、イメージシフトの移動方向に上記基底帯域の境界線の周波数成分をカットオフ周波数とする１次元ローパスフィルタとすれば、光量差に基づく縞模様を確実に抑制できる。
【０２５６】
また、上記フィルタを、複数の原画像を合成した画像データの画素配列の基底帯域の水平，垂直方向での最高周波数成分を少なくともカットする（減衰する）フィルタとすれば、最も縞模様が目立つ部分の周波数成分をカットでき、且つ、上記基底帯域中の周波数成分を必要以上にカットしないように構成できる。
【０２５７】
さらに、上記フィルタを、複数の原画像を合成した画像データの画素配列の基底帯域の水平，垂直方向での最高周波数をカットオフ周波数とする水平方向１次元ローパスフィルタと垂直方向１次元ローパスフィルタが縦続接続したものとすれば、最も縞模様が目立つ部分の周波数成分をカットできるとともに、上記基底帯域中の周波数成分を必要以上にカットすることを抑制できるため、画質の向上が図れる。また、その回路構成を簡略化できる。
【図面の簡単な説明】
【図１】本発明の撮像装置の一構成例を示す概略ブロック図である。
【図２】撮像素子の結像面の具体的な画素配列を示す平面図である。
【図３】第１実施の形態の画像光の第１および第２結像位置の位置関係を示す図である。
【図４】第１実施の形態の第１および第２原画像から構成される合成画像を示す図である。
【図５】第１実施の形態の合成画像の基底帯域を示す空間周波数図である。
【図６】第２実施の形態の第１および第２結像位置の位置関係を示す図である。
【図７】第２実施の形態の第１および第２原画像から構成される合成画像を示す図である。
【図８】第２実施の形態の合成画像の基底帯域を示す空間周波数図である。
【図９】第３実施の形態の第１および第２結像位置の位置関係を示す図である。
【図１０】第３実施の形態の第１および第２原画像から構成される合成画像を示す図である。
【図１１】第３実施の形態の合成画像の基底帯域を示す空間周波数図である。
【図１２】第４実施の形態の色フィルタの透過領域の色配列の基本配列パターンを示す図である。
【図１３】第４実施の形態の第１および第２結像位置の位置関係を示す図である。
【図１４】第４実施の形態の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン１８を示す図である。
【図１５】第４実施の形態の合成画像の赤の画素の配列を示す図である。
【図１６】第４実施の形態の合成画像の青の画素の配列を示す図である。
【図１７】第４実施の形態の合成画像の緑の画素の配列を示す図である。
【図１８】第４実施の形態の赤または青の配列の場合の基底帯域を示す空間周波数図である。
【図１９】第４実施の形態の緑の配列の場合の基底帯域を示す空間周波数図である。
【図２０】第５実施の形態の一構成例を示す概略ブロック図である。
【図２１】光量差によって生じた縦縞を説明する空間周波数図である。
【図２２】光量差によって生じた横縞を説明する空間周波数図である。
【図２３】ＬＰＦ５９の通過帯域を示す空間周波数図である。
【図２４】第５実施の形態の縦続形接続により構成されたＬＰＦ５９を示す概略ブロック図である。
【図２５】第５実施の形態の垂直ローパスフィルタを示す概略ブロック図である。
【図２６】第５実施の形態の水平ローパスフィルタを示す概略ブロック図である。
【図２７】第５実施の形態のビットシフトと加算器により構成された５倍乗算器を示すブロック図である。
【図２８】第５実施の形態の２次元ローパスフィルタのブロック図である。
【図２９】垂直方向のエッジを撮像した場合の合成画像を示す図である。
【図３０】垂直方向のエッジを撮像した場合の補間後の画像を示す図である。
【図３１】垂直方向のエッジを撮像した場合の光量差補正後の画像を示す図である。
【図３２】イメージシフトの機構を説明する図である。
【図３３】光量差の発生を説明する図である。
【図３４】従来の光量差補正方法における第１の原画像のヒストグラムである。
【図３５】従来の光量差補正方法における第２の原画像のヒストグラムである。
【図３６】従来の光量差補正方法における画素データの変換を説明する図である。
【符号の説明】
１，５１ 光学系
２，５２ 撮像素子
３，５３ Ａ／Ｃ変換器
４，５４ 画像メモリ
５，５９ ＬＰＦ
６，５６ 駆動部
７，５７ 同期信号発生部
８，５８ メモリ制御部
９ 信号処理部
１０，６０ 記録媒体
５５ 補間処理部

Claims (11)

1. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記撮像手段が生成したｕ種類の画像データを合成した画像データの画素配列の基底帯域を通過帯域とし、水平方向の最高空間周波数成分と垂直方向の最高空間周波数成分とを、少なくとも減衰させる２次元フィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記画像合成手段による合成後、前記補間手段による補間前の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
2. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記撮像手段が生成したｕ種類の画像データを合成した画像データの画素配列の基底帯域を通過帯域とし、水平方向の最高空間周波数成分と垂直方向の最高空間周波数成分とを、少なくとも減衰させる２次元フィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記補間手段による補間後の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
3. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記イメージシフト手段による移動量をＸ画素分（Ｘ＞０）としたときに、その移動方向に２×（Ｘ−ＩＮＴ（Ｘ））を周期とする空間周波数をカットオフ周波数とし、それ以下の空間周波数を通過帯域とする１次元フィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記画像合成手段による合成後、前記補間手段による補間前の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
4. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記イメージシフト手段による移動量をＸ画素分（Ｘ＞０）としたときに、その移動方向に２×（Ｘ−ＩＮＴ（Ｘ））を周期とする空間周波数をカットオフ周波数とし、それ以下の空間周波数を通過帯域とする１次元フィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記補間手段による補間後の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
5. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記撮像手段が生成したｕ種類の画像データを合成した画像データの画素配列の基底帯域の内の、水平方向の最高空間周波数成分と垂直方向の最高空間周波数成分とを、少なくとも減衰させるフィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記画像合成手段による合成後、前記補間手段による補間前の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
6. 被写体からの色付きの画像光を撮像して、１画像光当たりｕ種類の画像データを生成する撮像手段と、前記画像光に対して前記撮像手段をｖ通り（ｖ≧２）の相対位置に移動させ、各相対位置において前記撮像手段に画像データを生成させるイメージシフト手段と、前記撮像手段が生成したｕ×ｖ個の画像データを画像データの種類毎に合成する画像合成手段と、を有する撮像装置において、
   前記ｖ通りの相対位置における画像データ間の光量差に基づいて発生する空間周波数成分を取り除くフィルタからなり、画像合成手段からの原画像信号を入力する光量差補正手段を有し、
   前記光量差補正手段は、前記撮像手段が生成したｕ種類の画像データを合成した画像データの画素配列の基底帯域の内の、水平方向の最高空間周波数成分と垂直方向の最高空間周波数成分とを、少なくとも減衰させるフィルタからなり、
   前記画像合成手段の合成によってデータを有することのできない画素のデータを、補間により求め追加する補間手段を有し、前記光量差補正手段は、前記補間手段による補間後の画像データに対してフィルタリングを行うことを特徴とする撮像装置。
7. 請求項１〜６の何れか１項に記載の撮像装置において、
   上記被写体からの色付きの画像光を、色フィルタを介して撮像しており、
   上記ｕは３であり、
   上記ｖは２であり、
   上記色フィルタの透過領域の基本配列パターンがベイヤー配列からなっていることを特徴とする撮像装置。
8. 請求項１〜７の何れか１項に記載の撮像装置において、前記イメージシフト手段は、前記画像光に対して前記撮像手段を、第１位置と、該第１位置から水平方向に水平画素間隔の半分、および垂直方向に垂直画素間隔の半分だけ移動させた第２位置とに、相対的に移動させることを特徴とする撮像装置。
9. 請求項７に記載の撮像装置において、
   前記イメージシフト手段は、前記画像光に対して前記撮像手段を、第１位置と、該第１位置から水平方向に水平画素間隔だけ移動させた第２位置とに、相対的に移動させることを特徴とする撮像装置。
10. 請求項７に記載の撮像装置において、
    前記イメージシフト手段は、前記画像光に対して前記撮像手段を、第１位置と、該第１位置から垂直方向に垂直画素間隔だけ移動させた第２位置とに、相対的に移動させることを特徴とする撮像装置。
11. 請求項５または６に記載の撮像装置において、前記光量差補正手段は、前記基底帯域の水平方向での最高空間周波数をカットオフ周波数とする水平方向の１次元ローパスフィルタと、前記基底帯域の垂直方向での最高空間周波数をカットオフ周波数とする垂直方向の１次元ローパスフィルタと、が縦続接続されてなることを特徴とする撮像装置。

Images