JP4466569B2 - カラー画像再生装置 - Google Patents

Description

本発明は、可視光の各原色をそれぞれ検出する可視光検出素子と、赤外線を含む電磁波を検出する赤外検出素子とにより検出される、１画素が複数の各周波数帯域成分から成るデジタル形式の画像データに基づいて、カラー画像を再生するカラー画像再生装置に関する。

下記の特許文献１に開示されている従来技術においては、ベイヤー配列の１ユニットを構成するＲＧＢＧ４画素のうちの１つのＧフィルタ（緑色光透過フィルタ）をＩＲフィルタ（赤外線透過フィルタ）に置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分けている。この時、ＲＧＢの３画素には赤外カットフィルタをかけている。
例えばこの様な方式に従えば、昼間などの比較的明るいときは第１のモードでＲＧＢの３画素を用いて画像再生処理を実施し、夜間などの比較的暗いときは第２のモードでＩＲの１画素を用いるようにすることにより、ソフトウェア的な切り替えだけで、明るい被写体での色再現性の向上と、暗い撮像環境における撮像感度の向上とを両立することができる。
特開２００５−６０６６

しかしながら、上記の従来技術においては、３原色の色フィルタと赤外フィルタとを再生モードにより切り替えて使用しているため、夜間などの周囲が暗い場合には、赤外線データ（赤外成分）のみに基づいた画像だけが生成され、その場合にはモノクロ画像しか表示することができない。

本発明は、上記の課題を解決するために成されたものであり、その目的は、１画素が複数の各周波数帯域成分から成るデジタル形式の画像データに基づいて、色情報と輝度情報とがそれぞれ何れも最適なカラー画像を再生することである。

上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、可視光の各原色をそれぞれ検出する可視光検出素子と赤外線を含む電磁波を検出する赤外検出素子とにより検出される、１画素が複数の各周波数帯域成分から成るデジタル形式の画像データに基づいてカラー画像を再生するカラー画像再生装置において、画像データから可視画像データを抽出する可視画像抽出手段と、画像データから赤外線含有画像データを抽出する赤外線含有画像抽出手段と、可視画像データまたは赤外線含有画像データから輝度情報を抽出する輝度情報抽出手段と、可視画像データに含まれる赤外成分を除去する赤外成分除去手段と、赤外成分除去後の可視画像データから色情報を抽出する色情報抽出手段と、輝度情報及び色情報を合成して疑似カラー画像を生成する疑似カラー画像生成手段と、画像を表示領域に表示する画像表示手段と、表示領域を、カラー画像を表示するカラー画像表示領域と、モノクロ画像を表示するモノクロ画像表示領域とに分割する表示領域分割定義手段と、を有し、画像表示手段は、カラー画像表示領域に、擬似カラー画像生成手段により生成された擬似カラー画像を表示し、モノクロ画像表示領域に、赤外線画像抽出手段により抽出された赤外成分のみを含む画像データに基づいてモノクロ画像を表示する手段であることを特徴とするカラー画像再生装置である。

ただし、上記の「再生」には、記録媒体上に一端記録された画像再生操作の他にも、撮像された画像データを画像表示装置の表示画面にリアルタイムで（生で）表示する際の画像処理操作をも含むものとする。

また、上記の可視画像データは、可視光の原色を含む画像データであるが、それらの各色成分データの中にはそれぞれ赤外成分が混在しているものとする。ただし、これらの可視画像データは、上記の赤外線含有画像データとは別のものであり、区別を要する。そして、上記の可視画像データに含まれる赤外成分を分離する目的で具備されるのが上記の赤外成分除去手段である。

また、上記の可視光の原色の選定は任意で良い。例えば可視光を３原色から生成する場合には、その３原色を赤色光、緑色光、青色光の３色から構成することができるが、可視光の各原色は、その他にも例えばこれらの各補色であるシアン、黄、マゼンダの３色から構成することもできる。また、前者の３原色（Ｒ，Ｇ，Ｂ）に例えばエメラルド（Ｅ）などの第４番目の原色を追加しても良いし、後者の３原色（ｃ，ｙ，ｍ）に例えば緑色光（Ｇ）などの第４番目の原色を追加しても良い。これらの原色の数を増すと、その分装置構成は幾らか複雑になるものの、より広範な色表現が可能となったり、ノイズや色変換等による色の劣化が生じ難い装置が構成できたりする。

また、上記の赤外線含有画像データは、赤色光、緑色光、青色光、及び赤外線を全て含む白色光から構成されるモノクロの画像データであっても良い。例えば、上記の可視光の原色が、赤色光、緑色光、青色光の３色から構成されており、かつ、これらの各３原色とも、上記の白色光と略同量の赤外線を含んでいる場合には、その白色光の輝度からその赤色光の輝度を差し引くことによって、赤色光の補色であるシアン（ｃ）の輝度を求めることができる。この補色の輝度の算出方法は、必ずしもこの様な単純な減算処理から構成しなくとも良いが、緑色光の補色であるマゼンダ（ｍ）や青色光の補色である黄色（ｙ）についても同様に求めることができる。
したがって、この様な方式にしたがって、上記の赤外成分除去手段を構成しても良い。また、この場合には、上記の方法で求められたシアン（ｃ），マゼンダ（ｍ），黄色（ｙ）の３原色で可視光の各原色を構成することができる。そして、赤外線を含んでいないこれらの３原色から所望の色情報を構成（抽出）することもできる。

また、例えば、上記の可視光の原色が、シアン（ｃ），マゼンダ（ｍ），黄色（ｙ）の３色から構成されており、かつ、これらの各３原色とも、上記の白色光と略同量の赤外線を含んでいる場合には、その白色光の輝度からそのシアン（ｃ）の輝度を差し引くことによって、シアン（ｃ）の補色である赤色光の輝度を求めることができる。この補色の輝度の算出方法は、マゼンダ（ｍ）の補色である緑色光や黄色（ｙ）の補色である青色光についても同じである。
したがって、この様な方式にしたがって、上記の赤外成分除去手段を構成しても良い。また、この場合には、上記の方法で求められた赤色光、緑色光、青色光の３原色で可視光の各原色を構成することができる。そして、赤外線を含んでいないこれらの３原色から所望の色情報を構成（抽出）することもできる。

また、上記の輝度情報は、必ずしも可視画像データまたは赤外線含有画像データの何れか一方のみから求める必要はない。
また、上記の色情報は、彩度と色相の２つのパラメータを用いて表現することが可能であるが、色情報を表現するパラメータの定義（：パラメータの選択様式）は任意で良い。即ち、本発明において用いる色空間としては、色情報と輝度情報とを直交分離できるものであれば、どの様な色空間を用いても良い。色情報と輝度情報とが直交分離される色空間としては、例えば周知のＨＳＶ空間やＹＩＱ空間などがある。

また、上記の画像データは、各波長帯域別に複数台のカメラを用いて取得したデータであっても良いし、例えば前述の従来技術などの様なカラーフィルタを具備した１台のカメラで取得したデータであっても良い。
そして、例えば、それぞれ赤外線を含んだ、赤、緑、青の可視光３原色と赤外線の４つの周波数帯域の各色（各周波数帯域）毎にカメラを合計４台設ける場合には、上記の赤外線含有画像抽出手段は、赤外線を検出する赤外線カメラが取得した画像データを選択するだけで良いが、この様な選択操作も「赤外線含有画像データを抽出する」操作であると考える。可視画像抽出手段が行う抽出操作についても同様である。

また、上記の疑似カラー画像は、可視光の各原色と赤外線の各波長帯域に渡ってそれぞれ各画像データが取得されている撮像対象領域の画像について再生するものであり、各波長帯域の各撮像対象領域が全て重なっている領域についてのみ上記の疑似カラー画像を完全に生成することができるものであるが、複数台のカメラを用いる場合に、それらの各撮像対象領域は、必ずしも各カメラ間で一致している必要はない。

また、必ずしも平面的な領域分割によって、用いるカラーフィルタや受光素子の各周波数帯域成分毎の区分けを実現する必要はない。例えば、立体的な積層構造を構成し、各周波数帯域成分毎にそれぞれ受光する受光層を分離して受光すれば、それらの各受光層の受光面積は、上記の領域分割を行う場合よりも格段に広くすることができる。

また、本発明の第２の手段は、上記の第１の手段の赤外成分除去手段によって、撮像手段で用いるカラーフィルタの透過特性と赤外線含有画像データに基づいて、上記の可視画像データに含まれる赤外成分を除去することである。
この様な赤外成分除去手段は、上記の可視画像データを処理する演算処理回路、或いはコンピュータとそのソフトウェアによって実現することができる。

また、本発明の第３の手段は、第１の手段において、赤外成分除去手段に代えて、可視光検出素子は、それぞれのカラーフィルタ及び赤外線カットフィルタを、透過させた光を検出する素子とし、輝度情報抽出手段は、赤外線含有画像データに基づいて輝度情報を抽出する手段であることを特徴とする。

ただし、この様な赤外線カットフィルタは、勿論、可視光の各原色に対応する上記の可視画像データを取得するための撮像装置に具備する。ただし、例えば１台の撮像装置だけを用いる場合には、撮像手段で用いるカラーフィルタの可視光の各原色に対応する領域のみに具備すれば良い。

また、本発明の第４の手段は、上記の第１または第２の手段において、上記の輝度情報抽出手段に、輝度情報の抽出元データを可視画像データまたは赤外線含有画像データの何れかから択一的に選択する抽出元選択手段を設けることである。
ただし、その選択基準は任意でよい。例えば、周辺環境が明るい場合には可視画像データから輝度情報を抽出し、周辺環境が暗い場合には赤外線含有画像データから輝度情報を抽出する様に切り替え制御しても良い。また、それらの選択をユーザーの選択操作などに委ねても良い。また、周辺環境の明暗判定処理は、季節や時間帯や気象情報や現在位置情報などから推定する様にしても良いし、或いは、照度センサなどを用いて判定しても良い。

また、本発明の第５の手段は、上記の第１乃至第３の何れか１つの手段において、上記の輝度情報抽出手段に、可視画像データから第１輝度情報を抽出する第１抽出手段と、赤外線含有画像データから第２輝度情報を抽出する第２抽出手段と、これらの第１輝度情報と第２輝度情報との加重平均値を上記の輝度情報として算出する加重平均演算手段とを設けることである。
ただし、その加重平均値を算出する際の第１輝度情報と第２輝度情報の各重み配分は、任意で良い。例えば、周辺環境が明るい場合には第１輝度情報を相対的に重くし、周辺環境が暗い場合には第２輝度情報を相対的に重くする様に可変制御しても良い。また、それらの選択をユーザーの選択操作などに委ねても良い。また、周辺環境の明暗判定処理は、季節や時間帯や気象情報や現在位置情報などから推定する様にしても良いし、或いは、照度センサなどを用いて判定しても良い。

以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。

以上の本発明の手段によって得られる効果は以下の通りである。
即ち、本発明の第１の手段によれば、上記の画像データを色情報と輝度情報によく分離し、それぞれを独立に処理した後に、それらの色情報と輝度情報を再び合成することができる。また、この時、上記の赤外線除去手段によって、可視画像データの赤外成分は除去されている。このため、本発明の第１の手段によれば、色情報に対する赤外成分の悪影響を目的の再生画像から効果的に排除することができ、これによって、目的の再生画像が過度に白っぽくなったり、或いは画一的な赤外線排除処理によって暗ら過ぎたりすることがなくなり、入力される上記の画像データに含まれる元来の色情報を適正に維持した上で、それらの色情報に対して更に、赤外成分をも適切に取り込んだ最適な輝度情報を与えることが可能となる。即ち、赤外成分によって色情報を歪めることなく、最も多くの輝度情報をもつより望ましい疑似カラー画像を再生表示することができる。
したがって、本発明の第１の手段によれば、１画素が複数の各周波数帯域成分から成るデジタル形式の画像データに基づいて、色情報と輝度情報とがそれぞれ何れも最適なカラー画像を再生することが可能となる。
また、本発明によれば、輝度情報を抽出する際の抽出元の画像データには、赤外成分が多く含まれているので、モノクロ画像表示領域とカラー画像表示領域との境界線上において、双方の画像の輝度の間に際立った差異が生じることがなくなる。したがって、本発明によれば、これら双方の画像表示領域の境界部分において、画像の明度の不連続性に関する違和感が顕著になることが未然に防止される。

また、本発明の第２の手段によれば、上記の可視画像データから論理的なデータ処理によって赤外成分を除去することができるので、撮像装置に赤外線カットフィルタを具備する必要がなくなる。或いは、赤外線カットフィルタを具備していない撮像装置を用いて取得または記録された画像データなどをも処理することができる。また、赤外線カットフィルタを使用すると撮像装置の感度が落ちるが、本発明の第２の手段によれば、その様な不具合をも払拭することができる。

また、本発明の第３の手段によれば、撮像装置の感度は幾らか落ちる場合が有り得るものの、上記の第１の手段と同等の作用・効果を得ることができ、更に、上記の第１の手段における赤外線除去手段に対して等価な代替手段を、上記の物理的な手段（赤外線カットフィルタ）により極めて簡潔に構成することができる。

また、本発明の第４の手段によれば、可視画像データまたは赤外線含有画像データの何れかから選択された、より相応しい抽出元データに基づいて上記の輝度情報を算出することができる。例えば、夜間などでは多量の可視光が得られ難い場合が多いので、赤外線含有画像データを選択することが望ましいことがある。

また、本発明の第５の手段によれば、周辺環境の明暗状態に連続的または段階的に対応させて上記の輝度情報を算出することができる。
例えば、第１輝度情報の重みをｗ１、第２輝度情報の重みをｗ２、その和（ｗ１＋ｗ２）を１とする時、晴天の日中ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０として、ｗ１を連続的または段階的に変更することによって、周辺環境の明暗状態によく適合した疑似カラー画像を生成することができる。ｗ１を段階的に変更する場合には、３段階以上の任意の段数でｗ１を変化させれば良い。
また、上記ではｗ１の変更範囲が１≧ｗ１≧０となる例を示したが、輝度情報に関するこれらの加重平均値の算出方法も任意で良い。

例えば特に上記の第４の手段において抽出元データとして赤外線含有画像データを選択した場合、または、上記の第５の手段において第１輝度情報の重み（ｗ１）を０とした場合などにおいては、これら双方の画像表示領域における各画像の輝度の間の差異を効果的に解消することができる。即ち、両領域間の特に境界付近において不連続な違和感を生じさせる明暗差を解消する効果を重視しつつ本発明を実施する際には、当該画像再生装置に用いる上記の第１乃至第５の手段に基づく本発明のカラー画像再生装置において、赤外成分またはそれを多く含む画像データに基づいて、上記の輝度情報を算定することがより望ましい。

例えば、車両に本発明の画像再生装置（上記の第６の手段）を搭載して、前方の映像を所定のディスプレイ装置上に表示する場合などには、可視光を含まない赤外線のみのヘッドライトと赤外線カメラを用いれば、ヘッドライトの所謂ハイビーム照射領域であっても、常時赤外線監視領域に設定することができる。このため、本発明の画像再生装置を車載する場合には、そのハイビーム照射領域（赤外線照射領域）の内、通常のヘッドライト照射領域から外れている領域（即ち、赤外線のみに依って監視される領域）を、上記の第６の手段のモノクロ画像表示領域に対応させると良い。

以下、本発明を具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。

図１に本実施例１で用いるカラーフィルタＦの平面構成図を示す。画素単位に配設される図中の赤色光透過フィルタＲ（画素フィルタ）は赤色光と赤外線を透過し、緑色光透過フィルタＧは緑色光と赤外線を透過し、青色光透過フィルタＢは青色光と赤外線を透過する。また、赤外線透過フィルタIrは赤外線のみを透過する。これらの各フィルタはそれぞれ一つの画素に対応している。図２に図１のカラーフィルタＦの各画素フィルタ（Ｒ，Ｇ，Ｂ，Ir）の透過特性を示す。この様なカラーフィルタＦは、通常、撮像装置のレンズと受光素子との間に挿入配置される。
以下、この様なカラーフィルタＦを用いて撮像された画像データを再生するための手段とそれらを動作させる手順について説明する。

図３は本実施例１のカラー画像再生装置１００の構成図である。このカラー画像再生装置１００では正確な色情報を得るために、ＲＧＢ成分（可視光成分）から赤外成分を除去する。ただし、図４の表示画面Σに例示される様に、最終的な再生画像においてカラー部分σ１とモノクロ部分σ２との境界γ付近で輝度差を生じさせないために、輝度情報は赤外成分を含むＲＧＢ成分から算出する。

図３の画像取得手段１１０は、４種類の画素フィルタ（Ｒ，Ｇ，Ｂ，Ir）を有する上記のカラーフィルタＦを用いて、赤色光、緑色光、青色光、及び赤外線の計４つの波長帯域に区分される画像データを取得する手段である。この画像取得手段１１０は、例えばカメラなどの様な、被写体から直接それらの画像データを得る撮像装置などであっても良いし、所定の形式の記録媒体から画像データを得るためのデータ読み取り装置などであっても良い。本実施例１では、この画像取得手段１１０は、レンズと受光素子との間に上記のカラーフィルタＦを有する撮像装置であるものと仮定する。

また、それ以降の制御ブロック１２０〜制御ブロック１７０などで図示される各手段は、コンピュータのソフトウェアにより実現可能なものであって、例えば制御プログラムや応用プログラムやそれらのサブルーチンや命令ステップや記録媒体上の光学的なデータなどによってそれぞれ具現されている。
ただし、これらの情報処理手段は、アナログ回路、デジタル回路などのハードウェア回路によって、少なくともそれらの一部分を具現することも勿論可能である。

次段の可視画像抽出手段１２０（図３）は、上記の画像取得手段１１０によって取得された画像データの中から可視光成分を透過する可視光透過フィルタ（画素フィルタＲ、Ｇ、Ｂ）に対応する各画素の各受光量を示す画素データのみを抽出する手段である。以下、この画素データのことを可視画像データと言う。
一方、この可視画像抽出手段１２０に対して並列に設けられた図３の赤外画像抽出手段１３０では、取得した画像データの中からIrのフィルタに対応する各画素の各受光量を示す画素データのみを抽出する。以下、この画素データのことを赤外画像データと言う。

次のモード切替手段１４０ａは、指定されたモードにしたがって、上記の画像データ（可視画像データ及び赤外画像データ）の内の何れか一方だけを選択する。例えば、可視光が受光され難い夜間には、赤外画像データを選択し、その他の場合には可視画像データを選択するなどすれば良い。このモード切替手段１４０ａは、次段の輝度情報抽出手段１４０が有する機能の一部を具体化した手段と考えて良い。
次段の輝度情報抽出手段１４０では、赤外成分を含む可視成分（ＲＧＢ) から輝度情報を抽出する。色情報抽出手段と同じく、ここでもＨＳＶなどの色空間を利用して輝度成分のみを抽出する。

また、図３の赤外成分除去手段１５０は、ＲＧＢの各フィルタで透過した赤外成分の量を推定して除去する手段である。この推定には赤外画像抽出手段で得た赤外画像データの画素値と、データベース１５０ａの情報を用いる。このデータベース１５０ａには、例えば図２の様な撮像装置のフィルタ特性や、可視光領域の各画素フィルタ（Ｒ，Ｇ，Ｂ）を透過する赤外成分の全透過量に対する比率など、赤外成分を除去するために必要となる情報が保持されている。

例えば、用いるカラーフィルタの透過特性が図２のグラフによって与えられる場合、赤色光に対応する受光素子における受光量から、赤外線に対応する受光素子における受光量を差し引いた差分値が、当該画素における赤色成分に関する真の（本来の）受光量であると考えることができる。
各色成分に関して、それぞれ真の（本来の）受光量を求める計算方式は、勿論、必ずしもこの様に単純であるとは限らない。それらは、個々のカラーフィルタの透過特性や、撮像環境における全体的な偏色傾向などにも依存し得る。しかしながら、この様な計算方式は、経験的に最適化することが十分に可能または容易である。

色情報抽出手段１６０は、赤外成分を除去した可視成分（即ち、赤外成分除去後の可視画像データ）から色情報を抽出するのに都合が良い様に、ＲＧＢ空間からＨＳＶ空間（またはＹＩＱ空間などの色空間）に画像データを変換する。ここではＨＳＶ空間を利用する方式が採用された例を仮定する。即ち、ＨＳＶ空間において各画素は色相、彩度、輝度（明度）の３軸で表現されるので、この色情報抽出手段１６０では、色情報である色相と彩度が抽出されて、次段の疑似カラー画像生成手段１７０へと渡される。

カラー画像再生装置１００の最終段の疑似カラー画像生成手段１７０では、前段（抽出手段１４０，１６０）で抽出された各画素の色情報と輝度情報を合成して擬似カラー画像を生成する。即ち、色情報抽出手段１６０で得た色相情報と彩度情報、および輝度情報抽出手段１４０で得た輝度情報を合わせてＲＧＢ空間へ逆変換することによって、擬似カラーを得ることができる。

以上にその構造と動作を示したカラー画像再生装置１００は、単独の装置として利用することができるものであるが、以下の様にして、モノクロ画像とカラー画像とを同時に１つの画面上に表示することができる画像再生装置２００の一部分として、上記のカラー画像再生装置１００を利用することもできる。
図４は、上記のカラー画像再生装置１００を備えた本実施例１の画像再生装置２００の構成図である。モノクロ画像生成手段２１０は、上記のカラー画像再生装置１００が備える赤外画像抽出手段１３０から、赤外画像データを入力して、モノクロ画像を生成する手段である。

画像表示手段２２０は、例えば液晶画面などから構成される表示画面Σに目的の画像を表示する手段であり、表示領域分割定義手段２３０を備えている。この表示領域分割定義手段２３０は、前述のカラー部分σ１とモノクロ部分σ２との境界γを表示画面Σ上に規定（定義）するものであり、図４の例では、この境界線よりも上側がモノクロ画像表示領域σ２として、その下側がカラー画像表示領域σ１として定義されている。
例えば、車両にこの様な画像再生装置２００を搭載した場合に、可視光を含まない赤外線のみのヘッドライトと赤外線カメラを用いれば、ヘッドライトの所謂ハイビーム照射領域であっても、常時赤外線監視領域に設定することができ、そのハイビーム照射領域（赤外線照射領域）の内、通常のヘッドライト照射領域から外れている領域（即ち、赤外線のみに依って監視される領域）を、モノクロ画像表示領域σ２に対応させると良い。

この場合、特に、図３のモード切替手段１４０ａにおいては、可視画像抽出手段１２０で得られる可視画像データを選択することがより望ましい。その場合には、幅広い周波数帯域に渡る高感度な輝度情報を採択することができると同時に、更にこの可視画像データは赤外成分を除去する前のデータであるから、画像表示領域σ１，σ２の間（特に境界γ付近）で輝度差が顕著に際立つこともない。

一方、赤外画像抽出手段１３０によって抽出された赤外画像データをモード切替手段１４０ａによって選択する場合には、境界γ付近において、輝度に関する連続的な画像を表示画面Σ上に再生することができる。ただし、この場合には、カラー画像表示領域σ１に再生される疑似カラー画像の感度については若干劣ることがある。

〔その他の変形例〕
本発明の実施形態は、上記の形態に限定されるものではなく、その他にも以下に例示される様な変形を行っても良い。この様な変形や応用によっても、本発明の作用に基づいて本発明の効果を得ることができる。
（変形例１）
例えば、上記の実施例１では、モード切替手段１４０ａを設けたが、輝度情報抽出手段１４０においては、可視画像抽出手段１２０から出力された可視画像データと赤外画像抽出手段１３０から出力された赤外画像データの内の何れか片方だけを固定的に用いる様にしても良い。
或いは、輝度情報抽出手段１４０において、可視画像データと赤外画像データの双方から各々輝度（即ち、本発明の第１輝度情報と第２輝度情報）を求め、それらを適当に加重平均した輝度値を、輝度情報抽出手段１４０の最終的な出力情報（所望の輝度情報）として、疑似カラー画像生成手段１７０に渡す様にしても良い。

例えば、第１輝度情報の重みをｗ１、第２輝度情報の重みをｗ２、その和（ｗ１＋ｗ２）を１とする時、晴天の日中ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０として、ｗ１を連続的または段階的に変更することによって、周辺環境の明暗状態によく適合した疑似カラー画像を生成することができる。ｗ１を段階的に変更する場合には、３段階以上の任意の段数でｗ１を変化させれば良い。

また、上記ではｗ１の変更範囲が１≧ｗ１≧０となる例を示したが、輝度情報に関するこれらの加重平均値の算出方法も任意で良い。例えば、輝度情報抽出手段１４０において、可視光（ＲＧＢ成分）と赤外線（Ir成分）との加重配分を一定に固定するのであれば、この場合、必ずしも各画像抽出手段１２０，１３０を経由せずとも、例えば画像取得手段１１０の出力データ（画像データ）から直接所望の輝度情報を簡単に決定することもできる。

（変形例２）
また、上記の実施例１では、図３の赤外成分除去手段１５０を用いたが、本発明における赤外成分除去手段は、物理的な赤外線カットフィルタを用いて実現しても良い（本発明の第３の手段）。この場合には、フィルタの特性に伴ってカメラ感度が幾らか低下する場合も生じ得るが、図３の赤外成分除去手段１５０やデータベース１５０ａを具備する必要がなくなるため、装置構成をより簡潔にすることができる。

（変形例３）
また、上記の実施例１では、１台の撮像装置に図１のカラーフィルタＦを設けたが、複数台のカメラを用いて、画像データを取得する様にしても良い。この場合には、各カメラに設けるべきフィルタは、画素単位に分割する必要がなくなる。或いは、１原色当りの受光面積を拡大することが可能となる。特に、各カメラ毎に１原色または赤外線のみの１周波数帯域成分だけを受光する場合、それぞれの各カメラについては、上記のＲ，Ｇ，Ｂ，Irの何れか１種類のフィルタ特性を持つ光学フィルタのみを設けるだけでよく、更に、カメラの台数が増える分、所望の再生画像の解像度の向上をも同時に図ることができる。

（変形例４）
また、１台のカメラだけで撮像する場合でも、必ずしも平面的な領域分割によって、用いるカラーフィルタや受光素子の各周波数帯域成分毎に受光領域を区分けする必要はない。例えば、各周波数帯域成分毎にそれぞれ分離された各受光層から成る立体的な積層構造を構成し、各受光層ごとにそれらの各周波数帯域成分をそれぞれ受光する受光素子構成を採用すれば、それらの各受光層の受光面積は、上記の領域分割を行う場合よりも格段に広くすることができる。そして、この様な構成によっても、所望の再生画像の解像度の向上を図ることができる。

（変形例５）
また、上記の実施例１では、図３の赤外画像抽出手段１３０によって、本願発明の赤外線含有画像の画像データを抽出しているが、この赤外線含有画像の画像データは、必ずしも赤外線のみを中心とした画像データである必要はない。したがって、例えば、この赤外線含有画像を構成する画像データは、赤色光と緑色光と青色光と赤外線の全周波数帯域を含む白色光のモノクロ画像の画像データであっても良い。

この場合、可視光の各原色を透過する色フィルタとして、シアン（ｃ），マゼンダ（ｍ），黄色（ｙ）の３色を個別にそれぞれ透過する３色フィルタを用いれば、これらの３色の各フィルタが何れもそれぞれ上記の白色光と略同量の赤外線を透過する場合には、赤色光の輝度は、上記の白色光の輝度からシアン（ｃ）の輝度を差し引いて求めることができる。また、緑色光や青色光の各輝度についても同様に求めることができる。
したがって、この様な減算処理を実行するデータ処理部によって、本願発明の赤外成分除去手段を構成しても良い。

実施例１で用いられるカラーフィルタＦの平面構成図 カラーフィルタＦの各画素フィルタの透過特性を例示するグラフ 実施例１のカラー画像再生装置１００の構成図 実施例１の画像再生装置２００の構成図

１００ ： カラー画像再生装置
１１０ ： 画像取得手段
１２０ ： 可視画像抽出手段
１３０ ： 赤外画像抽出手段
１４０ ： 輝度情報抽出手段
１５０ ： 赤外成分除去手段
１６０ ： 色情報抽出手段
１７０ ： 疑似カラー画像生成手段
２００ ： 画像再生装置
２１０ ： モノクロ画像生成手段
２２０ ： 画像表示手段
２３０ ： 表示領域分割定義手段

Claims (5)

1. 可視光の各原色をそれぞれ検出する可視光検出素子と赤外線を含む電磁波を検出する赤外検出素子とにより検出される、１画素が複数の各周波数帯域成分から成るデジタル形式の画像データに基づいてカラー画像を再生するカラー画像再生装置において、
   前記画像データから可視画像データを抽出する可視画像抽出手段と、
   前記画像データから赤外線含有画像データを抽出する赤外線含有画像抽出手段と、
   前記可視画像データまたは前記赤外線含有画像データから輝度情報を抽出する輝度情報抽出手段と、
   前記可視画像データに含まれる赤外成分を除去する赤外成分除去手段と、
   赤外成分除去後の可視画像データから色情報を抽出する色情報抽出手段と、
   前記輝度情報及び前記色情報を合成して疑似カラー画像を生成する疑似カラー画像生成手段と、
   画像を表示領域に表示する画像表示手段と、
   前記表示領域を、カラー画像を表示するカラー画像表示領域と、モノクロ画像を表示するモノクロ画像表示領域とに分割する表示領域分割定義手段と、
   を有し、
   前記画像表示手段は、前記カラー画像表示領域に、前記擬似カラー画像生成手段により生成された前記擬似カラー画像を表示し、前記モノクロ画像表示領域に、前記赤外線画像抽出手段により抽出された赤外成分のみを含む画像データに基づいてモノクロ画像を表示する手段である
   ことを特徴とするカラー画像再生装置。
2. 前記赤外成分除去手段は、撮像手段で用いるカラーフィルタの透過特性と前記赤外線含有画像データに基づいて、前記可視画像データに含まれる赤外成分を除去することを特徴とする請求項１に記載のカラー画像再生装置。
3. 前記赤外成分除去手段に代えて、可視光検出素子は、それぞれのカラーフィルタ及び赤外線カットフィルタを、透過させた光を検出する素子とし、
   前記輝度情報抽出手段は、前記赤外線含有画像データに基づいて輝度情報を抽出する手段である
   ことを特徴とする請求項１に記載のカラー画像再生装置。
4. 前記輝度情報抽出手段は、前記輝度情報の抽出元データを前記可視画像データまたは前記赤外線含有画像データの何れかから択一的に選択する抽出元選択手段を有する
   ことを特徴とする請求項１または請求項２に記載のカラー画像再生装置。
5. 前記輝度情報抽出手段は、
   前記可視画像データから第１輝度情報を抽出する第１抽出手段と、
   前記赤外線含有画像データから第２輝度情報を抽出する第２抽出手段と、
   前記第１輝度情報と前記第２輝度情報との加重平均値を前記輝度情報として算出する加重平均演算手段と
   を有する
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載のカラー画像再生装置。

Images