JP2017126954A - 画像処理装置、画像処理方法、及び、撮像装置 - Google Patents

Abstract

【課題】高精度な画像処理を可能にすることができるようにする。
【解決手段】画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する。本技術は、例えば、ビューイング用途やセンシング用途の画像を処理する画像処理装置に適用することができる。
【選択図】図３

Description

本技術は、画像処理装置、画像処理方法、及び、撮像装置に関し、特に、高精度な画像処理を可能にすることができるようにした画像処理装置、画像処理方法、及び、撮像装置に関する。

従来より、可視光による画像信号だけでなく、赤外光による画像信号を用いて画像処理を行う手法が提案されている（例えば、特許文献１参照）。

ここで、画像処理の分野では、実際には存在しない色が再現される偽色が知られている。特許文献１に提案されている手法においても、その原理上、偽色が発生することを避けることはできない。また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。

特開２０１１−２３３９８３号公報

ところで、偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えてしまうほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となることが想定される。そのため、偽色やアーチファクト等の発生を抑制するための高精度な画像処理を可能にするための技術が求められていた。

本技術はこのような状況に鑑みてなされたものであり、高精度な画像処理を可能にすることができるようにするものである。

本技術の第１の側面の画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える画像処理装置である。

本技術の第１の側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の第１の側面の画像処理方法は、上述した本技術の第１の側面の画素処理装置に対応する画像処理方法である。

本技術の第１の側面の画像処理装置及び画像処理方法においては、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。

本技術の第２の側面の撮像装置は、各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、前記色フィルタの非可視光側の分光特性に応じた投光波長の光を前記被写体に投光する投光部と、前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部とを備える撮像装置である。

本技術の第２の側面の撮像装置においては、被写体が撮像され、撮像素子の各色の非可視光側の分光特性が揃っている色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光が前記被写体に投光され、前記投光波長の光が前記被写体に投光されることで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。

本技術の第２の側面の撮像装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

本技術の第１の側面及び第２の側面によれば、高精度な画像処理を可能にすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

偽色の例を示す図である。 アーチファクトの例を示す図である。 本技術を適用した撮像装置の一実施の形態の構成を示す図である。 投光器により投光される光の投光波長の例を示す図である。 投光器により投光される光の投光タイミングを示すタイミングチャートである。 撮像素子の色フィルタ配列の例を示す図である。 撮像素子の色フィルタの分光特性の例を示す図である。 フル解像度画像生成部の第１の構成例を示す図である。 差分処理の概要を示す図である。 色フィルタ別感度ずれ補正処理の概要を示す図である。 フル解像度画像生成部の第２の構成例を示す図である。 フル解像度画像生成部の第３の構成例を示す図である。 従来の信号処理部の構成を示す図である。 図１３の輝度生成部による輝度生成方法を示す図である。 本技術の信号処理部の構成を示す図である。 本技術の画像処理の流れを説明するフローチャートである。 図１６のフル解像度画像生成処理の流れを説明するフローチャートである。 フル解像度画像におけるアーチファクト除去の例を示す図である。 フル解像度画像におけるアーチファクト除去の例を示す図である。 図１６の信号処理の流れを説明するフローチャートである。 撮像装置の第１の他の構成例を示す図である。 撮像装置の第２の他の構成例を示す図である。 撮像装置の第３の他の構成例を示す図である。 撮像装置の第４の他の構成例を示す図である。 撮像装置の第５の他の構成例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．偽色とアーチファクトの原理
２．システムの構成
（１）全体の構成
（２）投光器１０２の投光の動作
（３）撮像素子１０３の詳細な構成
（４）フル解像度画像生成部１０５の詳細な構成
（５）信号処理部１０６の詳細な構成
３．処理の流れ
４．変形例
５．コンピュータの構成

＜１．偽色とアーチファクトの原理＞

上述したように、所定の画像処理が施された画像に、実際には存在しない色が再現される偽色が発生する場合がある。図１は、偽色の例を示す図である。図１においては、枠Ａ，枠Ｂ，及び枠Ｃで囲まれた領域内に、実際には存在しない色が再現されている。

また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。図２は、アーチファクトの例を示す図である。図２においては、枠Ａで囲まれた領域内に、実際とは異なる模様が現れている。

このような偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えるほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となるため、偽色やアーチファクトの発生を抑制する必要がある。

そこで、本技術では、図１に示した偽色や、図２に示したアーチファクトの発生を抑制するための高精度な画像処理の手法を提案する。以下、本技術による偽色やアーチファクトの発生を抑制するための画像処理の手法について説明する。

＜２．システムの構成＞

（１）全体の構成

（撮像装置の構成例）
図３は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。

撮像装置１０は、例えば、デジタルスチルカメラやデジタルビデオカメラ、スマートフォン、携帯電話機、タブレット端末装置などの撮像機能を有する電子機器である。

図３において、撮像装置１０は、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。また、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６により、画像処理部１００が構成される。

制御部１０１は、撮像装置１０の各部の動作を制御する。また、制御部１０１は、投光器１０２による投光の動作と、撮像素子１０３による撮像の動作とを同期させるための同期信号を生成し、投光器１０２及び撮像素子１０３にそれぞれ出力する。

投光器１０２は、制御部１０１からの同期信号に従い、撮像素子１０３と同期して、各色フィルタの非可視光側の分光特性の揃っている波長（以下、投光波長という）帯の光を明滅投光する。この投光波長は、例えば、赤外光（IR光）の波長など、可視光とは別の波長帯（非可視光の波長帯）かならる。なお、投光器１０２による投光の動作の詳細については、図４及び図５を参照して後述する。

撮像素子１０３は、被写体から反射した光（反射光）を受光し、その光を電気信号に変換して、画像信号を生成する。撮像素子１０３としては、例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサを用いることができる。

この撮像素子１０３には、二次元格子状に配列される複数の画素に対応して、各色の色フィルタ１１１が設けられている。例えば、色フィルタ１１１には、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）及びＷ（White：白）の各色の色フィルタが二次元状に配列されている。撮像素子１０３においては、この色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じたＲ画素、Ｇ画素、Ｂ画素及びＷ画素が、二次元格子状に配列されることになる。

撮像素子１０３においては、これらの画素のそれぞれで光電変換したアナログの電気信号を、A/D(Analog to Digital)変換して、画素ごとにデジタル信号を画素信号として生成し、これらの画素信号を含む画像信号を生成する。

また、撮像素子１０３は、制御部１０１からの同期信号に従い、投光器１０２と同期して、撮像の動作を行う。ここで、投光器１０２は、非可視光の波長帯の光（例えば赤外光）を明滅投光しているので、撮像素子１０３では、投光器１０２が点灯しているときに得られる画像（以下、投光画像という）と、投光器１０２が消灯しているときに得られる画像（以下、非投光画像という）の画像信号が生成される。

撮像素子１０３においては、制御部１０１からの同期信号に従い、投光画像と非投光画像（の画像信号）が交互に生成され、順次、画像処理部１００（の遅延調整バッファ１０４）に出力される。なお、撮像素子１０３の詳細な構成については、図６及び図７を参照して後述する。

また、撮像素子１０３においては、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設ける必要はない。

画像処理部１００において、遅延調整バッファ１０４には、撮像素子１０３により生成された投光画像と非投光画像（の画像信号）が、順次書き込まれる。遅延調整バッファ１０４は、そこに書き込まれた投光画像と非投光画像の少なくとも一方を保持することで、同時に処理すべき投光画像と非投光画像の処理のタイミングを合わせる。

このようにしてタイミングが合わされた投光画像と非投光画像は、後段のフル解像度画像生成部１０５により同時に読み出される。また、同時に読み出される投光画像と非投光画像のうち、非投光画像が、信号処理部１０６に供給される。ただし、後述するように、非投光画像の代わりに、投光画像が、信号処理部１０６に供給されるようにしてもよい。

フル解像度画像生成部１０５は、遅延調整バッファ１０４から同時に読み出した投光画像と非投光画像を処理して、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度の画像（以下、フル解像度画像という）を生成し、信号処理部１０６に供給する。

ここで、フル解像度画像生成部１０５においては、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分をとることで、投光成分のみの画像が得られるので、この画像を、フル解像度画像とすることができる。すなわち、投光画像と非投光画像は、投光器１０２が、非可視光の波長帯域（例えば赤外光の帯域）で、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性の揃っている波長帯を投光波長として、光を明滅投光することで得られる画像であるため、フル解像度画像は、色フィルタ１１１における全ての色のフィルタを通過した光（赤外光）から得られる画素信号によって生成されることになる。

そして、このようにして生成されるフル解像度画像は、各色フィルタの色成分ごとの画像（例えば、Ｒ，Ｇ，Ｂ，Ｗの画素信号に応じた画像）と比べて、解像度の高い画像となる。なお、フル解像度画像生成部１０５の詳細な構成については、図８乃至図１２を参照して後述する。

信号処理部１０６には、遅延調整バッファ１０４から読み出される非投光画像と、フル解像度画像生成部１０５から出力されるフル解像度画像が同時に入力される。ここでは、フル解像度画像を生成するために用いられた非投光画像が、当該フル解像度画像と同時に入力されることになる。

信号処理部１０６は、フル解像度画像に基づいて、非投光画像を処理して、出力画像を生成し、後段の回路（不図示）に出力する。例えば、出力画像は、ビューイング用途の（高解像度化された）カラー画像とすることができる。

ここで、信号処理部１０６においては、非投光画像から得られる輝度画像（輝度信号）ではなく、フル解像度画像を用いることで、アーチファクトの発生を抑制することができる。また、信号処理部１０６では、フル解像度画像を用いて、非投光画像から得られる色画像に対する偽色の発生を抑制するための処理が行われる。したがって、信号処理部１０６から出力される出力画像は、偽色やアーチファクトの発生が抑制された画像となる。なお、信号処理部１０６の詳細な構成については、図１３乃至図１５を参照して後述する。

撮像装置１０は、以上のように構成される。

なお、図３の構成では、画像処理部１００が、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成されるとして説明したが、画像処理部１００を別装置として捉えるようにしてもよい。すなわち、画像処理部１００は、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６を有する画像処理装置とすることができる。ただし、この画像処理装置において、遅延調整バッファ１０４は必須ではなく、フル解像度画像生成部１０５に、同時に処理すべき投光画像と非投光画像が、所定のタイミングで入力されればよい。

次に、図４乃至図１５を参照して、図３の撮像装置１０を構成する各部の詳細な処理内容について説明する。

（２）投光器１０２の投光の動作

まず、図４及び図５を参照して、図３の投光器１０２による投光の動作について説明する。

（投光波長の例）
図４は、投光器１０２により投光される光（赤外光）の投光波長の例を示す図である。図４において、横軸は波長λ(ｎｍ)を表しており、図中の左側から右側に向かうにつれて、その値が大きくなる。また、縦軸は、撮像素子１０３の色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光透過率（％）（分光特性）を表している。

図４において、色フィルタ１１１のうち、Ｂフィルタは、短波長側の光を透過させる。ここで、短波長は、例えば、450〜500ｎｍや400〜500ｎｍ等の波長帯を表している。また、色フィルタ１１１のうち、Ｇフィルタは、中波長の光を透過させる。ここで、中波長は、例えば500〜600ｎｍ等の波長帯を表している。さらに、色フィルタ１１１のうち、Ｒフィルタは、長波長側の光を透過させる。ここで、長波長は、例えば、600〜650ｎｍや550〜650ｎｍなどの波長帯を表している。

また、色フィルタ１１１のうち、Ｗフィルタは、380〜650ｎｍ等の波長帯の光（可視光）を透過させる。一方で、色フィルタ１１１の各色のフィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）は、非可視光側、すなわち、可視光よりも波長の長い赤外光の850ｎｍ近辺での分光特性が類似している（図中の四角の枠Ａ）。すなわち、色フィルタ１１１においては、可視光以外の帯域（赤外光の帯域）で、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性が揃っている。

投光器１０２は、このような色フィルタ１１１の各色フィルタの分光特性に合わせて、投光波長として850ｎｍ近辺の波長帯の赤外光が投光されるようにする。例えば、投光器１０２は、非可視光の波長帯域の光を透過するフィルタ（例えばIRバンドパスフィルタ）により、分光特性が揃っている波長帯を生成し、さらに、その波長帯に絞った赤外光を投光することができる。なお、単に、フル解像度画像を得るだけの目的であれば、IRバンドパスフィルタは不要で、単に分光特性が揃っている波長に限定した光を投光すればよい。

（投光タイミングの例）
図５は、投光器１０２により投光される光（赤外光）の投光タイミングを示すタイミングチャートである。なお、図５において、時間の方向は、図中の左側から右側に向かう方向とされる。

図５には、図５Ａ乃至図５Ｃのタイミングチャートによって、３種類の投光タイミングを例示している。ただし、投光器１０２による投光のタイミングと、撮像素子１０３の露光のタイミングは、制御部１０１からの同期信号によって、同期しているものとする。

撮像素子１０３においては、時刻t1乃至時刻t5や、時刻t5乃至時刻t9などの1/30秒（33.3ミリ秒）の期間ごとに、露光期間と（電荷の）読み出し期間とが繰り返される。一方で、投光器１０２は、撮像素子１０３の露光のタイミングに一致するように、赤外光（投光波長の波長帯の光）を投光（明滅投光）する。

したがって、図５Ａ乃至図５Ｃのタイミングチャートにおいて、露光期間が、図中の白い部分（濃淡が付けられていない部分）で表され、読み出し期間が、図中の濃淡の部分で表されるとすれば、投光器１０２が赤外光を投光する期間（図中の「IR投光」に対応する斜線の領域）は、露光期間内に行われることになる。

このように、露光期間内に、赤外光を投光（明滅投光）することで、投光器１０２が点灯しているときの被写体と、投光器１０２が消灯しているときの被写体とが交互に撮像されることになる。ここで、投光器１０２の点灯（オン）と消灯（オフ）のタイムラグは可能な限り小さいほうが好ましいが、例えば、1/30秒（33.3ミリ秒）の間に、高速に、投光器１０２の点灯と消灯を行い、それぞれのタイミングで得られる信号を、異なるメモリ部（バッファ）に加算蓄積することにより、投光器１０２の点灯と消灯のタイムラグを微小に抑えることができる。

なお、複数の画素が二次元状に配列された撮像素子１０３においては、全画素同時に露光を開始し、全画素同時に露光を終了し、フォトダイオードに蓄積された電荷を、メモリ部や浮遊拡散領域へ順次転送することで、いわゆるグローバル露光が実現される。このグローバル露光により、全画素一致した露光期間による撮像が可能となって、いわゆるフォーカルプレーン歪みの発生を抑制することができる。

以上のように、投光器１０２による投光のタイミングと、撮像素子１０３による露光のタイミングとが同期することで、撮像素子１０３により、投光器１０２が点灯しているときに得られる投光画像（の画像信号）と、投光器１０２が消灯しているときに得られる非投光画像（の画像信号）とが交互に生成されることになる。

なお、図５のタイミングチャートに示した投光器１０２による投光のタイミングは一例であって、他のタイミングで、投光器１０２から赤外光が投光されるようにしてもよい。

（３）撮像素子１０３の詳細な構成

次に、図６及び図７を参照して、図３の撮像素子１０３のより詳細な構成について説明する。

（色フィルタの配列の例）
図６は、撮像素子１０３の色フィルタ１１１の各色フィルタの配列の例を示す図である。

色フィルタ１１１は、図６Ａ乃至図６Ｇに示すように、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタを少なくとも含み、さらにＷフィルタ又はIRフィルタを含めることも可能で、それらのフィルタが所定の規則に従い配列されている。なお、本実施の形態においては、色フィルタ１１１として、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタが配列されている場合を中心に説明している。

（Ａ）第１の色配列
図６Ａの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。

ここで、図７の各色フィルタ１１１の分光特性に示すように、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）では、各色成分の光が透過されるだけでなく、投光器１０２から投光される赤外光も透過されることになる。すなわち、上述したように、投光器１０２では、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性（図７）に合わせて、例えば850ｎｍ近辺の波長帯の赤外光が投光されるため、撮像素子１０３では、分光特性が揃っている各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）によって、投光器１０２からの赤外光を透過することが可能となる。

これにより、図６Ａの色フィルタ１１１において、Ｒフィルタを透過した光（赤色光と赤外光）から、ＲとIRの画素信号を得ることができる（図中の「R+IR」）。同様に、Ｇフィルタを透過した光（緑色光と赤外光）から、ＧとIRの画素信号を得ることができる（図中の「G+IR」）。

また、Ｂフィルタを透過した光（青色光と赤外光）から、ＢとIRの画素信号を得ることができる（図中の「B+IR」）。同様に、Ｗフィルタを透過した光（白色光と赤外光）から、ＷとIRの画素信号を得ることができる（図中の「W+IR」）。

このように、色フィルタ１１１として、図６Ａの配列を採用することで、撮像素子１０３では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。そして、この赤外光の成分の画素信号は、撮像素子１０３にて二次元状に配列された全ての画素から得られる画素信号であるため、この画素信号を含んで生成される画像信号は、高い解像度の画像とされる。

（Ｂ）第２の色配列
図６Ｂの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、Ｇフィルタ及びIRフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。

図６Ｂの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。ただし、IRフィルタでは、可視光は遮断され、投光器１０２からの赤外光のみが透過される。したがって、図６Ｂの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。

（Ｃ）第３の色配列
図６Ｃの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ、IRフィルタ、及び、Ｇフィルタからなる第２の行とが、交互に配列されている。また、図６Ｃの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、IRフィルタとＧフィルタとが交互に配列されている。

図６Ｃの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｃの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。

（Ｄ）第４の色配列
図６Ｄの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列されている。また、図６Ｄの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、ＷフィルタとＧフィルタとが交互に配列されている。

図６Ｄの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｄの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。

（Ｅ）第５の色配列
図６Ｅの色フィルタ１１１においては、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、全てがＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。

図６Ｅの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｅの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。

以上のように、撮像素子１０３においては、例えば、上述した第１の色配列乃至第５の色配列のいずれかの色配列を有する色フィルタ１１１を設けることで、色フィルタ１１１の各色に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。このとき、赤外光の成分の画素信号を含んで生成される画像信号は、高い解像度の画像とされる。

なお、上述した第１の色配列乃至第５の色配列で示した色配列は一例であって、色フィルタ１１１では、他の色配列を採用するようにしてもよい。ただし、色フィルタ１１１においては、各色のフィルタの可視光以外の帯域（赤外光の帯域）で、分光特性が揃っていることが（必須の）要件となるが、それ以外は、各色のフィルタの配列に、アルゴリズム上の制限はない。

（４）フル解像度画像生成部１０５の詳細な構成

次に、図８乃至図１２を参照して、図３のフル解像度画像生成部１０５の詳細な構成について説明する。ここでは、フル解像度画像を生成するフル解像度画像生成部１０５の一例として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明する。

（Ａ）第１の構成
図８は、フル解像度画像生成部１０５Ａの構成例を示す図である。

図８において、フル解像度画像生成部１０５Ａは、差分処理部１２１及び色フィルタ別感度ずれ補正部１２２から構成される。

フル解像度画像生成部１０５Ａにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、差分処理部１２１に入力される。差分処理部１２１は、投光画像（の分光成分）と、非投光画像（の分光成分）との差分を求めることで、環境光の影響を取り除いた投光画像（以下、ピュア投光画像という）を生成し、色フィルタ別感度ずれ補正部１２２に供給する。

ここで、図９Ａに示すように、投光画像は、撮像素子１０３（図３）の色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光（可視光の波長帯域の分光成分）から得られる画素信号と、非可視光側の赤外光（非可視光の波長帯域の分光成分）から得られる画素信号を用いて生成されることになる。また、非可視光側の赤外光には、投光器１０２から投光された赤外光の成分（図中の「投光IR」）だけでなく、環境光に含まれる赤外光の成分（図中の「環境IR」）が含まれている。

一方で、図９Ｂに示すように、非投光画像は、色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光から得られる画素信号と、非可視光側の赤外光から得られる画素信号を用いて生成されるが、投光器１０２からの赤外光が投光されていないため、非可視光側の赤外光には、環境光に含まれる赤外光の成分（図中の「環境IR」）のみが含まれることになる。

そして、図９Ａの投光画像（の分光成分）と、図９Ｂの非投光画像（の分光成分）との差分を求めれば、図９Ｃに示すように、ピュア投光画像（の分光成分）において、可視光側の各色成分の光は、打ち消される一方で、非可視光側の赤外光は、環境光に含まれる赤外光の成分が取り除かれて、投光器１０２から投光された赤外光の成分（図中の「投光IR」）のみからなる。

このように、差分処理を行うことで、環境光の影響を取り除くことができるが、これは、後段の色フィルタ別感度ずれ補正部１２２により実行される色フィルタ別感度ずれ補正処理において、環境光が、アーチファクトとして現れる場合があるため、このアーチファクトを除去することなどを目的としている。

図８の説明に戻り、色フィルタ別感度ずれ補正部１２２は、差分処理部１２１から供給されるピュア投光画像に対して、色フィルタ別感度ずれ補正処理を行う。色フィルタ別感度ずれ補正部１２２は、色フィルタ別感度ずれ補正処理の結果得られる画像を、フル解像度画像として、信号処理部１０６（図３）に出力する。

この色フィルタ別感度ずれ補正処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた各色成分の画素ごとの感度のずれを除去するために、色フィルタごとのゲイン処理が行われる。例えば、上述した図９Ｃのピュア投光画像（の分光成分）においては、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性がずれている場合があるので、これらの色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを、色フィルタ別ゲイン処理により補正することになる。すなわち、当該色フィルタ別ゲイン処理を実行することで、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を、同一（又は許容範囲内）の分光特性に合わせこむことができる。

例えば、図１０に示すように、色フィルタ別感度ずれ補正部１２２では、図１０Ａのピュア投光画像に対して、色フィルタ別感度ずれ補正処理の一例である色フィルタ別ゲイン処理を施すことで、図１０Ｂのピュア投光画像が得られる。図１０Ｂのピュア投光画像は、図１０Ａのピュア投光画像と比べて、色フィルタ別ゲイン処理により、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。

以上のように、フル解像度画像生成部１０５Ａにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、さらに、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれが補正されることで、フル解像度画像が生成される。

なお、差分処理部１２１により差分処理が実行されることで、環境光の影響を取り除き、ひいては、アーチファクトを除去することが可能となるが、例えば、環境光に対して、投光器１０２により投光される光（赤外光）が十分に明るいことが、ユースケース上担保できるのであれば、当該差分処理は不要となる。

ただし、通常、可視光以外の波長の光の投光を用いた光彩認証などのアプリケーションは、環境光が強力な屋外などで環境光の影響を受けて正しく動作できなくなるが、この差分処理を実行すれば、環境光が大きい場合でも、その影響を除去でき、環境光の影響を受けることなく、適切な動作を行うことができる。また、例えば、比較的画質を重視するアプリケーションを用いる場合などにおいては、環境光が強いときに、アーチファクトが生じるリスクは回避せざるをえないという事情があるため、当該差分処理を実行することが望ましい。

また、色フィルタ別感度ずれ補正部１２２により色フィルタ別感度ずれ補正処理が実行されることで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを補正することが可能となるが、例えば、色フィルタ１１１の各色フィルタの感度がずれていない理想的な状況を想定すれば、当然に当該補正処理は不要となる。ここで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度がずれないようにするためには、例えば、色フィルタ１１１の材料を限定することが想定されるが、利用可能なアプリケーションの範囲を極端に狭めないようにするために、色フィルタ１１１の材料を限定しない場合には、当該補正処理を実行することが望ましい。

（Ｂ）第２の構成
図１１は、フル解像度画像生成部１０５Ｂの構成例を示す図である。

図１１において、フル解像度画像生成部１０５Ｂは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、及び、残パターン除去フィルタ１２３から構成される。なお、図１１のフル解像度画像生成部１０５Ｂにおいて、図８のフル解像度画像生成部１０５Ａと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

すなわち、図１１のフル解像度画像生成部１０５Ｂにおいては、図８のフル解像度画像生成部１０５Ａと比べて、色フィルタ別感度ずれ補正部１２２の後段に、残パターン除去フィルタ１２３が、新たに設けられている。

この残パターン除去フィルタ１２３には、色フィルタ別感度ずれ補正部１２２から、色フィルタ別感度ずれ補正処理が施されたピュア投光画像が入力される。残パターン除去フィルタ１２３は、色フィルタ別感度ずれ補正後のピュア投光画像に対して、（わずかに）残ったパターン模様を除去するための残パターン除去処理をさらに実行する。

この残パターン除去処理では、色フィルタ別感度ずれ補正後のピュア投光画像に対して、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去されることになる。

以上のように、フル解像度画像生成部１０５Ｂにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。

なお、さらに画質に強いこだわりがあるアプリケーションを用いる場合などにおいては、上述した色フィルタ別感度ずれ補正処理に加えて、この残パターン除去処理を実行することが望ましい。

（Ｃ）第３の構成
図１２は、フル解像度画像生成部１０５Ｃの構成例を示す図である。

図１２において、フル解像度画像生成部１０５Ｃは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、残パターン除去フィルタ１２３、及び、位置ずれ補正処理部１２４から構成される。なお、図１２のフル解像度画像生成部１０５Ｃにおいて、図１１のフル解像度画像生成部１０５Ｂと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

すなわち、図１２のフル解像度画像生成部１０５Ｃにおいては、図１１のフル解像度画像生成部１０５Ｂと比べて、差分処理部１２１の前段に、位置ずれ補正処理部１２４が、新たに設けられている。

フル解像度画像生成部１０５Ｃにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、位置ずれ補正処理部１２４に入力される。位置ずれ補正処理部１２４は、遅延調整バッファ１０４から読み出された投光画像と非投光画像との位置ずれを補正し、差分処理部１２１に供給する。

この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対して、所定の領域からなるブロック単位でのマッチングを行い、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などを用いることで、投光画像と非投光画像の位置ずれが補正されることになる。

なお、このブロックマッチングで用いられるブロックの単位としては、公知の技術と比べて比較的限定した領域とすることができる。また、このブロックマッチングを用いた手法は、位置ずれ補正処理の一例であって、他の公知の技術を用いて、位置ずれ補正処理が行われるようにしてもよい。

以上のように、フル解像度画像生成部１０５Ｃにおいては、位置ずれ補正処理により、投光画像と非投光画像の位置ずれが補正された後に、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。

なお、位置ずれ補正処理部１２４により位置ずれ補正処理が実行されることで、投光画像と非投光画像との位置ずれを除去することが可能となるが、これは、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得するのが困難であるため、コストが許容される場合には、当該位置ずれ補正処理を実行することが望ましい。ただし、例えば、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得することができる場合などには、位置ずれ補正処理部１２４は、不要である。

以上、図３のフル解像度画像生成部１０５として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明したが、これらの構成は一例であって、投光画像と非投光画像を用いて、フル解像度画像（白黒画像）を生成可能な構成であれば、上述した構成以外の他の構成を採用するようにしてもよい。

（５）信号処理部１０６の詳細な構成

次に、図１３乃至図１５を参照して、図３の信号処理部１０６の詳細な構成について説明する。なお、ここでは、比較のため、図１３及び図１４を参照して、従来の信号処理部１０６Ｐについて説明した後に、図１５を参照して、本技術の信号処理部１０６（図３）について説明する。

（従来の構成）
図１３は、従来の信号処理部１０６Ｐの構成を示す図である。

図１３において、信号処理部１０６Ｐは、輝度生成部１３１、エッジ抽出部１３２、各色同時化部１３３、環境IR除去部１３４、エッジ合成部１３５、及び、カメラ信号処理部１３６から構成される。

信号処理部１０６Ｐにおいては、輝度画像（輝度信号）のエッジ成分を抽出するための上側のパスと、低周波成分となる色画像（画像信号）から、環境光に含まれる赤外光の成分（環境IR）を除去するための下側のパスとに分けられ、それぞれのパスに対して、前段から非投光画像が入力される。

上側のパスには、輝度生成部１３１とエッジ抽出部１３２が含まれる。輝度生成部１３１は、非投光画像に基づいて、輝度画像（輝度信号）を生成し、エッジ抽出部１３２に供給する。

ここで、図１４に示すように、撮像素子１０３においては、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）のうち、Ｗフィルタが市松模様状に配列されているものとする。この場合に、輝度生成部１３１は、Ｗフィルタに対応するＷ画素が存在する座標では、当該Ｗ画素から得られるＷ画素信号を用いる一方で、Ｗ画素が存在しない座標では、所定の補間処理を適用することで、Ｗ画素信号（輝度信号）を求める。

例えば、図１４において、３×３画素のうち、中心のＧ画素に注目すれば、当該Ｇ画素の座標では、上下左右方向に配列されたＷ画素（Ｗ_A画素、Ｗ_B画素、Ｗ_C画素、及び、Ｗ_D画素）から得られるＷ画素信号を用いて、例えば、下記の式（１）を演算することで、当該Ｇ画素の座標のＷ画素信号（輝度信号）が求められる。

Ｗ' ＝（Ｗ_A＋Ｗ_B＋Ｗ_C＋Ｗ_D）／４ ・・・（１）

なお、上述した式（１）は、補間処理の一例であり、例えば、画質をより向上させるために、注目画素の周囲のＷ画素からエッジ方向に並ぶ２つの画素を選択して、その平均値を求める手法などを用いるようにしてもよい。

また、ここでは、図１４に示した３×３画素の中心のＧ画素を一例に説明したが、Ｗ画素以外のＲ画素やＢ画素、他のＧ画素についても同様に、対象の画素の周辺のＷ画素のＷ画素信号を用いた所定の演算を行うことで、対象の画素に応じた座標のＷ画素信号（輝度信号）を求めることができる。このようにして生成される輝度画像（輝度信号）は、エッジ抽出部１３２に供給される。

図１３の説明に戻り、エッジ抽出部１３２は、輝度生成部１３１から供給される輝度画像（輝度信号）に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１３５に供給する。

一方で、下側のパスには、各色同時化部１３３と環境IR除去部１３４が含まれる。各色同時化部１３３は、非投光画像に基づいて、色フィルタ１１１の各色フィルタに対応する各色画素から得られる画素信号に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、環境IR除去部１３４に供給される。

環境IR除去部１３４は、各色同時化部１３３から供給される各色画像に対して、所定の演算（行列演算）を行うことで、各色画像から、環境光に含まれる赤外光の成分（環境IR）を除去する。赤外光の成分が除去された各色画像は、エッジ合成部１３５に供給される。

エッジ合成部１３５には、エッジ抽出部１３２からのエッジ情報と、環境IR除去部１３４からの（赤外光の成分が除去された）各色画像が入力される。エッジ合成部１３５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。

カメラ信号処理部１３６は、エッジ合成部１３５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。

従来の信号処理部１０６Ｐにおいては、以上のような信号処理が行われ、非投光画像から出力画像が生成されることになるが、輝度生成部１３１により輝度画像（輝度信号）が生成される際に、アーチファクトが発生する可能性がある。また、従来の信号処理部１０６Ｐにおいては、偽色を抑制するための処理が行われていないため、偽色が発生する可能性がある。一方で、本技術の信号処理部１０６では、偽色やアーチファクトの発生を抑制するための対策が施されている。次に、そのような対策が施された構成を有する本技術の信号処理部１０６について説明する。

（本技術の構成）
図１５は、本技術の信号処理部１０６（図３）の構成を示す図である。

図１５において、信号処理部１０６は、エッジ抽出部１４１、各色同時化部１４２、偽色抑制部１４３、非可視光成分除去部１４４、エッジ合成部１４５、及び、カメラ信号処理部１４６から構成される。

信号処理部１０６においては、フル解像度画像生成部１０５から入力されるフル解像度画像のエッジ成分を抽出するための上側のパスと、非投光画像から得られる各色画像（画像信号）に対して、偽色を抑制する処理と、非可視光の成分を除去する処理を行うための下側のパスとに分けられる。

上側のパスには、エッジ抽出部１４１が含まれる。エッジ抽出部１４１は、フル解像度画像に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１４５に供給する。

ここで、上述した従来の信号処理部１０６Ｐ（図１３）では、輝度生成部１３１により輝度画像（輝度信号）が生成される際にアーチファクトが発生する可能性があるが、本技術の信号処理部１０６（図１５）においては、輝度画像（輝度信号）の代わりに、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。

一方で、下側のパスには、各色同時化部１４２、偽色抑制部１４３、及び、非可視光成分除去部１４４が含まれる。各色同時化部１４２は、遅延調整バッファ１０４から読み出される非投光画像に基づいて、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、偽色抑制部１４３に供給される。

偽色抑制部１４３には、各色同時化部１４２からの各色画像と、フル解像度画像生成部１０５（図３）からのフル解像度画像が入力される。偽色抑制部１４３は、フル解像度画像を用いて各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。

ここで、偽色は、画素が間引かれることで、高周波成分が、低周波側に「折り返る」ことで発生するものである。したがって、各色画像では、「折り返り」が発生する場合がある。一方で、フル解像度画像は、全ての画素が揃っているため、「折り返り」が発生することはない。

偽色抑制処理では、フル解像度画像と各色画像の模様が類似しているという仮定を前提して、フル解像度画像を各色画像と同じように間引いて、各色画像で発生している「折り返り」と同一の「折り返り」をわざと発生させて、その折り返りの量を計測（推定）する。そして、偽色抑制処理では、計測（推定）された折り返りの量に応じて、各色画像で発生している「折り返り」を相殺することで、偽色の発生を抑制することが可能となる。

偽色抑制部１４３により処理された各色画像は、非可視光成分除去部１４４に供給される。非可視光成分除去部１４４は、各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、例えば、信号処理部１０６に、非投光画像が入力された場合、非可視光としては、環境光に含まれる赤外光があるので、各色画像に対して、所定の演算（行列演算）を行うことで、この環境光の赤外光の成分（環境IR）が除去される。非可視光成分除去処理によって非可視光の成分が除去された各色画像は、エッジ合成部１４５に供給される。

なお、非可視光成分除去部１４４により非可視光成分除去処理を行い、各色画像における非可視光の成分を除去する理由であるが、次の通りである。すなわち、上述したように、撮像素子１０３（図３）において、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設けることができないため、ここでは、信号処理によって非可視光成分が除去されるようにしている。

また、詳細は、図２５を参照して後述するが、信号処理部１０６には、非投光画像の代わりに、投光画像が入力される場合もあり、この場合の非可視光としては、環境光に含まれる赤外光のほかに、投光器１０２から投光された赤外光もあるので、この場合には、環境光の赤外光の成分（環境IR）と、投光された赤外光の成分（投光IR）が除去されることになる。

エッジ合成部１４５には、エッジ抽出部１４１からのエッジ情報と、非可視光成分除去部１４４からの（非可視光成分が除去された）各色画像が入力される。エッジ合成部１４５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。なお、エッジ合成部１４５の出力としては、例えば、RGBの画像信号や、ベイヤー配列の画像信号などとすることができる。

カメラ信号処理部１４６は、エッジ合成部１４５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。なお、信号処理部１０６においては、カメラ信号処理部１４６を含めない構成としてもよい。

以上のように、本技術の信号処理部１０６においては、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）を用いるのではなく、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。また、本技術の信号処理部１０６においては、偽色抑制部１４３によって、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて各色画像が処理されることで偽色抑制処理が行われるので、偽色の発生を抑制することができる。

なお、従来の輝度生成部１３１（図１３）による輝度生成処理において、フル解像度画像生成部１０５により生成されるフル解像度画像（ピュア投光画像）をガイドとして用いることで、アーチファクトの発生を抑制するようにしてもよい。

例えば、従来の輝度生成部１３１（図１３）においては、注目画素の周囲のＷ画素からエッジ方向に並ぶ画素を選択してフィルタをかけることにより、Ｗ画素が補間されるが、高周波成分の模様があると、エッジ方向が判定できなくなり、その結果としてアーチファクトを発生させてしまう場合がある。この場合において、Ｗ画素を補間する際のエッジ方向の検波用に、フル解像度画像を用いることで、正しいエッジ方向を求めることができる。このように、フル解像度画像を、いわばガイドとして用いてエッジ方向を求めて、Ｗ画素を補間することで、アーチファクトの発生を抑制し、画質を向上させることができる。

＜３．処理の流れ＞

（画像処理の流れ）
次に、図１６のフローチャートを参照して、図３の撮像装置１０により実行される画像処理の流れについて説明する。

ステップＳ１０１において、投光器１０２は、制御部１０１からの制御に従い、赤外光の投光のタイミングであるかどうかを判定する。

ステップＳ１０１において、赤外光の投光のタイミングであると判定された場合、処理は、ステップＳ１０２に進められる。ステップＳ１０２において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光を投光する。すなわち、この場合、投光器１０２による赤外光の投光がオンされる。

一方、ステップＳ１０１において、赤外光の投光のタイミングではないと判定された場合、処理は、ステップＳ１０３に進められる。ステップＳ１０３において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光の投光を停止する。すなわち、この場合、投光器１０２による赤外光の投光がオフされる。

すなわち、ステップＳ１０１の判定結果に応じて、投光器１０２がオン／オフされることで（Ｓ１０２，Ｓ１０３）、投光波長の波長帯の光が、投光器１０２から明滅投光されることになる。ステップＳ１０２又はステップＳ１０３の処理が終了すると、処理は、ステップＳ１０４に進められる。

ステップＳ１０４において、撮像素子１０３は、制御部１０１からの同期信号に従い、被写体の撮像を行う。ステップＳ１０５においては、ステップＳ１０４の処理で撮像された撮像画像が１フレーム目であるかどうかが判定される。

ステップＳ１０５において、撮像画像が１フレーム目であると判定された場合、すなわち、遅延調整バッファ１０４に、同時に処理すべき投光画像と非投光画像が保持されていないと判定された場合、処理は、ステップＳ１０６に進められる。ステップＳ１０６において、撮像素子１０３は、遅延調整バッファ１０４に、ステップＳ１０４の処理で撮像された撮像画像を上書きする。これにより、遅延調整バッファ１０４には、投光画像又は非投光画像のいずれか一方が保持される。

ステップＳ１０５の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。

そして、ステップＳ１０５において、撮像画像が１フレーム目ではないと判定された場合、処理は、ステップＳ１０７に進められる。この場合、遅延調整バッファ１０４には、ステップＳ１０４の処理で撮像された撮像画像が書き込まれ、同時に処理すべき投光画像と非投光画像が保持されていることになる。

ステップＳ１０７において、フル解像度画像生成部１０５は、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出す。

ステップＳ１０８において、フル解像度画像生成部１０５は、ステップＳ１０７の処理で読み出した投光画像と非投光画像を用いて、フル解像度画像生成処理を行う。このフル解像度画像生成処理では、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理などが行われることで、フル解像度画像が生成される。なお、このフル解像度画像生成処理の詳細な内容については、図１７のフローチャートを参照して後述する。

ステップＳ１０９において、信号処理部１０６は、ステップＳ１０８の処理で生成されたフル解像度画像を用いて、非投光画像（又は投光画像）を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から、出力画像が生成される。なお、この信号処理の詳細な内容については、図２０のフローチャートを参照して後述する。

ステップＳ１０９の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。そして、ステップＳ１１０において、処理を終了すると判定された場合、図１６の画像処理は終了される。

以上、画像処理の流れについて説明した。この画像処理においては、フル解像度画像生成処理（Ｓ１０８）によって、投光画像と非投光画像からフル解像度画像が生成され、信号処理（Ｓ１０９）によって、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。

すなわち、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生を抑制することができる。このように、図１６の画像処理においては、偽色やアーチファクトの発生を抑制するための高精度な画像処理が行われるため、画像（出力画像）を見たユーザに対して不快感を与えることはない。また、例えば、近年開発の進んでいるセンシング用途で、フル解像度画像を利用すれば、センシング性能の低下を抑制することができる。

（フル解像度画像生成処理の流れ）
ここで、図１７のフローチャートを参照して、図１６のステップＳ１０８の処理に対応するフル解像度画像生成処理の詳細な処理内容について説明する。

ステップＳ１２１において、位置ずれ補正処理部１２４は、ステップＳ１０７の処理（図１６）で遅延調整バッファ１０４から読み出された投光画像と非投光画像の位置ずれを補正する位置ずれ補正処理を行う。

この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対するブロック単位でのマッチングが行われ、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などが用いられることで、投光画像と非投光画像の位置ずれが補正される。

ステップＳ１２２において、差分処理部１２１は、ステップＳ１２１の処理で位置ずれが補正された投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理を行う。

この差分処理では、例えば、上述した図９に示したように、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求めることで、環境光の影響が取り除かれたピュア投光画像が生成される。

ステップＳ１２３において、色フィルタ別感度ずれ補正部１２２は、ステップＳ１２２の処理で生成されたピュア投光画像に対して、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）応じた各色成分の画素ごとの感度のずれを除去する色フィルタ別感度ずれ補正処理を行う。

この色フィルタ別感度ずれ補正処理では、例えば、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を同一（又は許容範囲内）の分光特性に合わせこむ色フィルタ別ゲイン処理が行われる。これにより、ピュア投光画像は、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。

ステップＳ１２４において、残パターン除去フィルタ１２３は、ステップＳ１２３の処理で補正されたピュア投光画像に対して、（わずかに）残ったパターンを除去する残パターン除去処理を行う。

この残パターン除去処理では、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去される。なお、ステップＳ１２４の処理が終了すると、処理は、図１６のステップＳ１０８に戻り、それ以降の処理が実行される。

以上、フル解像度画像生成処理の流れについて説明した。このフル解像度画像生成処理においては、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理が実行されることで、投光画像と非投光画像から、フル解像度画像が生成される。

図１８及び図１９には、図１７のフル解像度画像生成処理を実行することで、フル解像度画像として生成されるピュア投光画像の例を示している。なお、図１８及び図１９には、比較のため、従来の信号処理部１０６Ｐ（図１３）の輝度生成部１３１で生成される輝度画像（輝度信号）が図示されている。

図１８において、図１８Ａは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の多重の円における密度が高い側の半円には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１８Ｂは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の多重の円における密度が高い側の半円においても、正確な模様が現れている。

また、図１９において、図１９Ａは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の帯状に記された複数の線種からなる多数の線の一部には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１９Ｂは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の帯状に記された多数の線が、正確に現れている。

このように、従来の信号処理部１０６Ｐ（図１３）において、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）には、アーチファクトが発生していたが、本技術の信号処理部１０６においては、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）を用いてエッジ情報を抽出するため、アーチファクトの発生を抑制することができる。

なお、上述したように、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理は、フル解像度画像生成処理の一例であって、それらの処理の全てを実行する必要はなく、また、他の処理が行われるようにしてもよい。

（信号処理の流れ）
次に、図２０のフローチャートを参照して、図１６のステップＳ１０９の処理に対応する信号処理の詳細な処理内容について説明する。

ステップＳ１３１において、エッジ抽出部１４１は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像からエッジ情報を抽出するエッジ抽出処理を行う。このエッジ抽出処理では、フル解像度画像に対して、ハイパスフィルタ処理が施され、高周波成分のエッジが抽出されることで、エッジ情報が得られる。

ステップＳ１３２において、各色同時化部１４２は、ステップＳ１０７の処理（図１６）で読み出された非投光画像を用いて、各色同時化処理を行う。この各色同時化処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施すことで、低周波成分の各色画像が得られる。

ステップＳ１３３において、偽色抑制部１４３は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像を用いて、ステップＳ１３２の処理で得られる各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。例えば、この偽色抑制処理では、フル解像度画像を用いて、各色画像で生じる折り返りの量を推定し、その推定された折り返りの量に応じて、各色画像で生じている折り返りを相殺することで、偽色の発生を抑制する。

ステップＳ１３４において、非可視光成分除去部１４４は、ステップＳ１３３の処理で偽色の発生が抑制された各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、偽色の発生が抑制された各色画像に対して、所定の演算（行列演算）を行うことで、環境光に含まれる赤外光の成分（環境IR）が除去される。

ステップＳ１３５において、エッジ合成部１４５は、ステップＳ１３４の処理で非可視光成分が除去された各色画像の色成分（低周波成分）に、ステップＳ１３１の処理で抽出されたエッジ情報を合成するエッジ合成処理を行うことで、高解像度化された高解像度化画像（画像信号）を生成する。

ステップＳ１３６において、カメラ信号処理部１４６は、ステップＳ１３５の処理で得られた高解像度化画像（画像信号）に対するカメラ信号処理を行うことで、出力画像を生成する。このカメラ信号処理では、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などの一般的なカメラ信号処理が行われる。なお、ステップＳ１３６の処理が終了すると、処理は、図１６のステップＳ１０９に戻り、それ以降の処理が実行される。

以上、信号処理の流れについて説明した。この信号処理においては、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）や、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。ここでは、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）を行うことで、偽色の発生を抑制することができる。

＜４．変形例＞

ところで、上述した撮像装置１０は、図３に示した構成に限らず、他の構成を採用するようにしてもよい。そこで、次に、図２１乃至図２５を参照して、図３の撮像装置１０の変形例について説明する。

（Ａ）第１の他の構成
図２１は、撮像装置１０Ａの構成例を示す図である。なお、図２１の撮像装置１０Ａにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

図２１において、撮像装置１０Ａは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、及び、フル解像度画像生成部１０５から構成される。すなわち、図２１の撮像装置１０Ａにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５の後段に設けられていた信号処理部１０６が取り除かれている点が異なっている。

ここで、カラー画像を生成してビューイング用途に用いるのではなく、例えば、センシング用途での白黒画像（輝度画像）を生成するのであれば、信号処理部１０６による信号処理を行わずに、フル解像度画像（白黒画像）をそのまま出力すればよいので、撮像装置１０Ａにおいては、フル解像度画像生成部１０５により生成されるフル解像度画像が出力されるようにしている。

以上のように、撮像装置１０Ａにおいては、センシング用途で用いられる白黒画像（輝度画像）として、アーチファクトの発生が抑制されたフル解像度画像が出力されるようにすることで、センシング性能の低下を抑制することができる。なお、センシング用途でのフル解像度画像を生成する場合、投光器１０２において、投光波長に対するフィルタ（IRバンドパスフィルタ）は不要となる。

（Ｂ）第２の他の構成
図２２は、撮像装置１０Ｂの構成例を示す図である。なお、図２２の撮像装置１０Ｂにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

図２２において、撮像装置１０Ｂは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。

すなわち、図２２の撮像装置１０Ｂにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５が、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出すに際して、１枚の投光画像ではなく、２枚以上の投光画像が読み出される点が異なっている。フル解像度画像生成部１０５では、複数枚の投光画像を用いて投光画像の精度を上げることで、結果として、生成されるフル解像度画像の精度を向上させることができる。

フル解像度画像生成部１０５は、遅延調整バッファ１０４から読み出される、複数枚の投光画像と１枚の非投光画像を処理して、フル解像度画像を生成する。ここでは、例えば、複数枚の投光画像から平均的な投光画像を求めて、その平均的な投光画像（の分光成分）と非投光画像（の分光成分）との差分処理などを行うことで、フル解像度画像が生成される。

以上のように、撮像装置１０Ｂにおいては、複数枚の投光画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。なお、撮像装置１０Ｂにおいては、複数枚の投光画像を用いる場合の例を示したが、複数枚の非投光画像を用いてフル解像度画像が生成されるようにしてもよい。つまり、フル解像度画像が生成される際に用いられる投光画像と非投光画像の枚数は任意である。

（Ｃ）第３の他の構成
図２３は、撮像装置１０Ｃの構成例を示す図である。なお、図２３の撮像装置１０Ｃにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

図２３において、撮像装置１０Ｃは、図３の撮像装置１０と比べて、撮像素子１０３の代わりに、撮像素子１０３−１及び撮像素子１０３−２が設けられ、さらに、撮像素子１０３−２の光（反射光）の入射側に、IRカットフィルタ１１２が設けられる点が異なっている。また、撮像装置１０Ｃでは、フル解像度画像生成部１０５の前段に設けられていた遅延調整バッファ１０４が取り除かれている。

撮像素子１０３−１は、投光器１０２から投光される赤外光を含む光（反射光）から得られる投光画像を生成し、フル解像度画像生成部１０５に出力する。一方で、撮像素子１０３−２は、IRカットフィルタ１１２により赤外光がカットされた光（反射光）から得られる非投光画像を生成し、フル解像度画像生成部１０５に出力する。

フル解像度画像生成部１０５には、撮像素子１０３−１からの投光画像と、撮像素子１０３−２からの非投光画像が入力される。フル解像度画像生成部１０５は、異なる撮像素子１０３（１０３−１，１０３−２）から入力される投光画像と非投光画像を処理して、フル解像度画像を生成する。

以上のように、撮像装置１０Ｃにおいては、撮像素子１０３−１により生成される投光画像と、撮像素子１０３−２により生成される非投光画像が、同一のタイミングで、フル解像度画像生成部１０５に入力されるため、遅延調整バッファ１０４（図３）は不要となる。また、図３の撮像装置１０では、投光画像と非投光画像とが交互に生成されていたため、同時に処理される投光画像と非投光画像とのタイムラグを小さくする必要があったが、撮像装置１０Ｃでは、投光画像と非投光画像とが異なる撮像素子１０３（１０３−１，１０３−２）で生成されるため、フル解像度画像生成部１０５に入力される投光画像と非投光画像とを、高精度に同期させることができる。

（Ｄ）第４の他の構成
図２４は、撮像装置１０Ｄの構成例を示す図である。なお、図２４の撮像装置１０Ｄにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

図２４において、撮像装置１０Ｄは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。

すなわち、図２４の撮像装置１０Ｄにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５により生成されたフル解像度画像が、遅延調整バッファ１０４にフィードバックされる点が異なっている。フル解像度画像生成部１０５では、遅延調整バッファ１０４から（フィードバックされた）フル解像度画像を読み出して処理することで、それ以降に生成されるフル解像度画像の精度を向上させることができる。

以上のように、撮像装置１０Ｄにおいては、フィードバックされたフル解像度画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。

（Ｅ）第５の他の構成
図２５は、撮像装置１０Ｅの構成例を示す図である。なお、図２５の撮像装置１０Ｅにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。

図２５において、撮像装置１０Ｅは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。

すなわち、図２５の撮像装置１０Ｅにおいては、図３の撮像装置１０と比べて、信号処理部１０６に対して、非投光画像の代わりに、投光画像が入力される点が異なっている。信号処理部１０６は、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて、遅延調整バッファ１０４から読み出された投光画像を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と投光画像から、出力画像が生成される。

以上のように、撮像装置１０Ｅにおいては、信号処理部１０６によって、フル解像度画像と投光画像を用いた信号処理が行われ、偽色やアーチファクトの発生が抑制された出力画像が出力されることになる。ここでは、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生が抑制される。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生が抑制される。

（Ｆ）その他の構成
なお、図２１乃至図２５に示した撮像装置１０（図３）の変形例は一例であって、さらに他の構成を採用することもできる。例えば、投光器１０２と撮像素子１０３とは、制御部１０１からの同期信号に従い、同期して動作するが、撮像素子１０３において二次元格子状に配列される画素ごとに、投光器１０２から投光される光の波長を変えるようにしてもよい。この場合、画素ごとに、投光器１０２の点灯（オン）と消灯（オフ）を切り替えることができる。また、この場合には、色フィルタ１１１の各色フィルタ（例えば、Ｒ，Ｇ，Ｂ，Ｗフィルタ）の非可視光側の分光特性を揃えなくてもよい。

＜５．コンピュータの構成＞

上述した一連の処理（図１６の画像処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記憶されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

ここで、本明細書において、コンピュータ１０００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

なお、本技術は、以下のような構成をとることができる。

（１）
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
画像処理装置。
（２）
投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
（１）に記載の画像処理装置。
（３）
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
（２）に記載の画像処理装置。
（４）
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
（３）に記載の画像処理装置。
（５）
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
（４）に記載の画像処理装置。
（６）
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
（５）に記載の画像処理装置。
（７）
前記信号処理部は、
前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
ことで、偽色の発生を抑制する
（６）に記載の画像処理装置。
（８）
前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
（３）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
（８）に記載の画像処理装置。
（１０）
前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
（９）に記載の画像処理装置。
（１１）
前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
前記非可視光は、赤外光である
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記出力画像は、ビューイング用のカラー画像である
（４）に記載の画像処理装置。
（１４）
前記高解像度画像は、センシング用の白黒画像である
（１）に記載の画像処理装置。
（１５）
画像処理装置の画像処理方法において、
前記画像処理装置が、
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
ステップを含む画像処理方法。
（１６）
各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
を備える撮像装置。
（１７）
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
（１６）に記載の撮像装置。
（１８）
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
（１７）に記載の撮像装置。
（１９）
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
（１８）に記載の撮像装置。
（２０）
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
（１９）に記載の撮像装置。

１０，１０Ａ乃至１０Ｅ 撮像装置， １００ 画像処理部， １０１ 制御部， １０２ 投光器， １０３，１０３−１，１０３−２ 撮像素子， １０４ 遅延調整バッファ， １０５，１０５Ａ乃至１０５Ｃ フル解像度画像生成部， １０６ 信号処理部， １１１，１１１−１，１１１−２ 色フィルタ， １１２ IRカットフィルタ， １２１ 差分処理部， １２２ 色フィルタ別感度ずれ補正部， １２３ 残パターン除去フィルタ， １２４ 位置ずれ補正処理部， １４１ エッジ抽出部， １４２ 各色同時化部， １４３ 偽色抑制部， １４４ 非可視光成分除去部， １４５ エッジ合成部， １４６ カメラ信号処理部， １０００ コンピュータ， １００１ CPU

Claims (20)

1. 非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
   画像処理装置。
2. 投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
   請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
   請求項２に記載の画像処理装置。
4. 生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
   請求項３に記載の画像処理装置。
5. 前記信号処理部は、
   前記高解像度画像からエッジ情報を抽出し、
   前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
   前記色画像から非可視光の成分を除去し、
   非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
   ことで、前記出力画像を生成する
   請求項４に記載の画像処理装置。
6. 前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
   請求項５に記載の画像処理装置。
7. 前記信号処理部は、
   前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
   推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
   ことで、偽色の発生を抑制する
   請求項６に記載の画像処理装置。
8. 前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
   請求項３に記載の画像処理装置。
9. 前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
   請求項８に記載の画像処理装置。
10. 前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
    請求項９に記載の画像処理装置。
11. 前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
    請求項８に記載の画像処理装置。
12. 前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
    前記非可視光は、赤外光である
    請求項１に記載の画像処理装置。
13. 前記出力画像は、ビューイング用のカラー画像である
    請求項４に記載の画像処理装置。
14. 前記高解像度画像は、センシング用の白黒画像である
    請求項１に記載の画像処理装置。
15. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
    ステップを含む画像処理方法。
16. 各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
    前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
    前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
    を備える撮像装置。
17. 前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
    請求項１６に記載の撮像装置。
18. 生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
    請求項１７に記載の撮像装置。
19. 前記信号処理部は、
    前記高解像度画像からエッジ情報を抽出し、
    前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
    前記色画像から非可視光の成分を除去し、
    非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
    ことで、前記出力画像を生成する
    請求項１８に記載の撮像装置。
20. 前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
    請求項１９に記載の撮像装置。

Images