JP2011015087A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】可視光信号が微弱な環境においても可視カラー画像を出力する撮像装置を提供する。
【解決手段】撮像装置は、可視光を透過する複数種類の色フィルタ１１１、１１２、１１３および可視光を抑制し赤外光を透過するＩＲ透過フィルタ１１４を含む複数の色フィルタと、複数の色フィルタの何れか１つをそれぞれ搭載し、二次元状に配置された複数の受光素子と、複数の受光素子から、複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部と、複数種類の色信号に対する赤外信号の混合率を示す混合係数を用いて、複数種類の色信号と赤外信号とを混合し、輝度信号として出力する輝度計算部２２３と、複数種類の色信号および赤外信号を用いて複数の色成分信号を計算して出力する色差計算部２１５と、赤外信号の信号量に応じて混合係数を算出するｋ算出部２２２とを備える。
【選択図】図１

Description

本発明は、可視光と近赤外光を受光する撮像装置に関する。

近年、セキュリティ、ネットワーク、車載用途に昼間は可視光を光源としてカラー画像を撮像し、夜間は近赤外光を受光し、白黒画像を撮像する機能を有する昼夜兼用、またはデイナイトと称される撮像装置の需要が急速に高まりつつある。

従来技術においては、このデイナイト機能は、昼間の撮像においては、二次元に配置された受光素子上に異なる色のカラーフィルタが搭載されたMOSセンサーや電荷結合素子（CCD）等の固体撮像素子の前方に近赤外光を遮断するIRカットフィルタを配置することで、可視光カラー画像を撮像し、夜間の撮像においては前記IRカットフィルタをとりはずし、各画素の信号を全て輝度信号として用いることで白黒画像を撮像することで実現していた（特許文献１）。

上記第一の従来技術においては、IRカットフィルタを着脱する機械式切り替え装置が必要であるため、部品点数の増加に伴うコスト増、機械式部品の疲労による信頼性低下、そして突然昼夜を切り替え時の光学系と信号処理系のミスマッチ、例えば露光量ずれによる低品質画像出力期間の発生という課題があった。このような課題を解決するために第二の従来技術においては、光学系にIRカットフィルタを配置せず、異なる色フィルタを搭載した複数の可視光用受光素子と、少なくとも一つの近赤外光専用受光素子を用い、昼間は可視光用受光素子の信号に混入する近赤外光成分を専用受光素子で得られる純粋な近赤外光成分を差分することによって可視カラー画像を撮像し、夜間は全画素に入射する近赤外信号を輝度信号として白黒画像を撮像する方式が採用された（特許文献２）。このような方式によれば、昼と夜の撮像モードの切り替えを電子的に行えるため、機械式切り替え装置の切り替えのかかえる、コスト増、信頼性低下等の課題を解決する。

この第二の従来技術は、一旦夜間モードに切り替わると、常時近赤外光をもとにした輝度信号を形成し、白黒画像のみを出力する方式であるため、夜間モードにおいてカラー画像を得ることは不可能である。

また、特許文献３に、R+IRあるいはG+IRあるいはB+IRを外部光源で照明した被写体を撮像(モノクロCCD)することで、可視光と同時に透過したIR信号も使い輝度信号を向上させる電子内視鏡用光源装置と信号処理方法について記載されている。

米国特許第４３１６６５９号明細書 特開２００８−３５０９０号公報 特開２００１−１８９９２６号公報

しかし、例えば車載用のモニタカメラ等においては、夜間においても街灯や家屋からの漏れ光等を光源とする微弱な色信号成分が利用可能であり、このような画像を出力する撮像装置が強く望まれている。

本発明の目的は、上記第二の従来技術では実現できていない夜間モードにおけるカラー画像生成という課題を解決し、可視光信号が微弱な環境においてもカラー画像を出力する撮像装置および撮像方法を提供することにある。

上記課題を解決するために本発明の一形態における撮像装置は、少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、前記複数の色フィルタの何れか１つをそれぞれ搭載し、二次元状に配置された複数の受光素子と、前記複数の受光素子から、前記複数の色フィルタの可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部と、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、輝度信号として出力する輝度計算部と、前記複数種類の色信号および前記赤外信号を用いて複数の色成分信号を計算して出力する色成分計算部と、前記赤外信号の信号量に応じて前記混合係数を算出する係数算出部とを備える。

この構成によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。言い換えれば、輝度信号に占める赤外信号の割合を、赤外信号量に応じて調整可能にする。例えば、混合係数を小さくすれば（輝度信号に占める赤外信号の割合を小さくすれば）、色成分信号（例えば色差信号）が相対的に大きくなり、画像を白黒からカラーに近づけることができる。逆に、混合係数を大きくすれば（輝度信号に占める赤外信号の割合を大きくすれば）、色成分信号（例えば色差信号）が相対的に小さくなり画像をカラーから白黒に近づけることができる。このように、白黒画像、白黒に近いカラー画像、白黒とカラー画像の中間的な画像、カラーに近い白黒画像、カラー画像を混合係数に応じて生成することができる。

ここで、前記混合係数は３つ以上の多段階の値の何れかの値をとるようにしてもよい。
この構成によれば、混合係数はアナログ的に連続的に変化する場合と比べ、段階的に変化するので、混合係数の算出を容易にする。

ここで、前記色成分計算部は、前記輝度信号を用いて２つの色差信号を前記色成分信号として生成するようにしてもよい。

この構成によれば、輝度信号と２つの色差信号とからなるカラー画像を夜間でも昼間でも常に出力することができる。カラー画像は混合係数に応じてカラー化される。当然輝度信号だけを利用すれば白黒画像を昼間でも利用することができる。

ここで、前記係数算出部は、前記複数種類の色信号に対する前記赤外信号の信号量に応じて前記混合係数を算出するようにしてもよい。

この構成によれば、前記赤外信号の信号量のみから混合係数を算出する場合と比べて、より最適な混合係数を算出することができる。

ここで、前記複数種類の色フィルタは、第１の色の可視光および赤外光を透過する第１色フィルタと、第２の色の可視光および赤外光を透過する第２色フィルタと、第３の色の可視光および赤外光を透過する第３色フィルタとを含み、前記複数種類の色信号は、第１、第２および第３色フィルタに対応する第１、第２および第３色信号とを含み、前記輝度計算部は、前記第１、第２、第３色信号、および前記混合係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出するようにしてもよい。

この構成によれば、第１から第３色フィルタは可視光だけでなく赤外光も受光するので、赤外光による白黒画像の感度を格段に向上させることができる。

ここで、前記第１、第２、第３色信号および前記赤外信号はそれぞれ正規化された値を有し、前記混合係数は、−３から＋１の範囲内の値であってもよい。

この構成によれば、輝度信号の算出を簡単な計算により生成することができる。
ここで、前記輝度計算部は、さらに、前記混合係数が＋１のとき、前記第１、第２、第３色信号、および前記赤外信号のそれぞれを輝度信号として出力するようにしてもよい。

この構成によれば、カラー画像に比べて縦２倍横２倍の画素数を有する高解像度の白黒画像を生成することができる。

ここで、前記複数種類の色フィルタは、第１の色の可視光を透過し赤外光を抑制する第１色フィルタと、第２の色の可視光を透過し赤外光を抑制する第２色フィルタと、第３の色の可視光を透過し赤外光を抑制する第３色フィルタとを含み、前記複数種類の色信号は、第１、第２および第３色フィルタに対応する第１、第２および第３色信号とを含み、前記輝度計算部は、前記第１、第２、第３色信号、および前記係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出するようにしてもよい。

ここで、前記第１、第２、第３色信号および前記赤外信号はそれぞれ正規化された値を有し、前記混合係数は、０から＋１の範囲内の値であってもよい。

この構成によれば、輝度信号の計算式を単純化することができる。
ここで、前記撮像装置は、さらに、前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露光量を制御する露出制御部を備えるようにしてもよい。

ここで、前記露出制御部は、前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露出時間を決定し、当該露出時間前記複数の受光素子を露光するようにしてもよい。

この構成によれば、露出時間の調整により感度低下を防止することができる。
ここで、前記撮像装置は、さらに、赤外線を発光する赤外線光源と、前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する光源制御部とを備えるようにしてもよい。

この構成によれば、赤外線光源の発光量を制御することにより感度低下を防止することができる。

ここで、前記輝度計算部は、フレーム毎に前記混合係数を算出するようにしてもよい。
この構成によれば、フレーム毎に最適な混合係数を得ることができる。

ここで、前記輝度計算部は、交互に繰り返される第１所定数の連続フレームと第２所定数の連続フレームとに対して、前記第１所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第２所定数の連続フレームがカラー画像となるように前記混合係数を算出するようにしてもよい。

この構成によれば、白黒画像とカラー画像を交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。

ここで、前記輝度計算部は、１フレーム内の第１の領域が白黒画像となるように前記混合係数を計算し、１フレーム内の前記第１の領域と異なる第２の領域がカラー画像となるように前記混合係数を算出するようにしてよもよい。

この構成によれば、１フレーム内で白黒画像とカラー画像を生成するので、両者の長所をもつ画像をユーザに提供することができる。

ここで、前記色成分計算部は前記複数種類の色信号を用いて３つの原色信号を前記色成分信号として生成するようにしてもよい。

この構成によれば、輝度信号からなる白黒画像と、３つの原色信号からなるカラー画像とを同時に生成することができる。

ここで、前記輝度計算部は、さらに、前記赤外信号を抑制するためのダミー混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、ダミーの輝度信号を計算し、前記色成分計算部は、前記ダミーの輝度信号を用いて２つの色差信号を前記色成分信号として生成するようにしてもよい。

この構成によれば、混合係数が大きいときでも、色再現性のよい２つの色差信号を生成することができる。

ここで、前記撮像装置は、さらに、前記赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する色ゲイン決定部と、前記色ゲインに従って前記色成分計算部により算出された複数の色成分信号のゲインを調整するゲイン調整部とを備えるようにしてもよい。

この構成によれば、特定色による偽色の発生を防止することができる。ここで、偽色は例えば葉っぱが緑色に撮像されない等の現象をいう。

また、本発明の一形態における撮像方法は、少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、前記複数の色フィルタの何れか１つをそれぞれ搭載し、二次元状に配置された複数の受光素子とを備える固体撮像素子を用いて、輝度信号と色成分信号とからなる画像を生成する撮像方法であって、前記複数の受光素子から、前記複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出し、前記赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する。

この構成によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、カラー画像を出力することができる。

本願発明によれば、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することができる。例えば、可視光信号が微弱な環境の夜間モードにおいても可視カラー画像を出力する撮像装置を提供することが可能となる。

実施の形態１に係る撮像装置の主要な機能構成を示すブロック図である。 ｋ算出部２２２における混合係数算出処理の一例を示すフローチャートである。 ｋ算出部２２２における混合係数算出処理の一例を示すフローチャートである。 従来技術に画像の色度図である。 実施の形態１における画像の色度図である。 実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。 輝度計算部４２３の混合係数算出処理の一例を示すフローチャートである。 近赤外信号制御部２２１における色ゲインの決定処理を示すフローチャートである。 実施の形態３に係る撮像装置の主要な機能構成を示すブロック図である。 輝度計算部６２３の輝度信号算出処理の一例を示すフローチャートである。 本実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。 変形例に係る撮像装置の主要な機能構成を示すブロック図である。

以下、本発明に係る固体撮像装置の実施の形態について、デジタルスチルカメラを例にとり、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。

（実施の形態１）
まず、本発明の実施の形態に係る撮像装置の構成について説明する。本実施の形態では、固体撮像素子から、複数色の可視光に対応する複数種類の色信号および赤外信号を読み出し、赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する撮像装置について説明する。これにより、赤外信号の信号量に応じて前記混合係数を算出することにより、可視光信号が微弱であっても色成分信号を有効に残して、画像をカラー化することを可能にする。

図１は、実施の形態１に係る撮像装置の主要な機能構成を示すブロック図である。
図１に示されるように、本実施の形態に係る撮像装置１００は、撮像素子１０１と、信号処理部２０１と、撮像制御部３０１と、光源制御部４０１と、ＩＲ（赤外光）光源４１１と、レンズ５０１と、絞り５０２を備えている。信号処理部２０１は、レッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）の４画素を１単位とする単位画素１１５を有する撮像素子１０１に関して色信号と輝度信号からなる画像信号を処理する。

撮像素子１０１は、Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３、ＩＲ透過フィルタ１１４、垂直シフトレジスタ１２１、水平シフトレジスタ１２２、ノイズ除去回路１２３、出力アンプ１２４を備えている。

信号処理部２０１は、ＯＢ計算部２１１、ローパスフィルタ２１２、４×４行列演算部２１３、ホワイトバランス部２１４、色差計算部２１５、ゲイン調整部２１６、γ補正部２１７、近赤外信号制御部２２１、ｋ算出部２２２、輝度計算部２２３を備えている。

撮像制御部３０１は、露出時間制御部３１１、絞り制御部３１２を備えている。
Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３は、可視光（Ｒ、Ｇ、Ｂの何れか）と赤外光（ＩＲ）とを透過するフィルタとして３種類が備えられている。可視光を抑制し赤外光を透過する赤外透過フィルタとしてＩＲ透過フィルタ１１４は、可視光を抑制し赤外光を透過する赤外透過フィルタとして備えられている。４種類のフィルタに対応する４つの単位画素１１５は、カラー画像または白黒画像における１画素に対応する。

レンズ５０１は、入射した光を撮像素子１０１の撮像領域上に結像させる。
撮像素子１０１は、入射光を光電変換して色信号を生成するＭＯＳ型イメージセンサ等である。

信号処理部２０１は、撮像素子１０１から受け付けた４種類の画素信号に画像信号処理を施すＤＳＰ等である。

撮像素子１０１は、２次元配列された単位画素１１５の各行を垂直シフトレジスタ１２１により選択し、その行信号を水平シフトレジスタ１２２により選択して、単位画素１１５毎のカラー信号を出力アンプ１２４から出力する。垂直シフトレジスタ１２１、水平シフトレジスタ１２２および選択回路１２５は、複数の単位画素１１５から、複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部として機能する。

図１に示されるように、信号処理部２０１は、撮像素子１０１が出力する４種類の画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素信号を生成し、４つの単位画素１１５に１単位の近赤外（ＩＲ）信号を生成し、さらに、輝度信号と２つの色差信号とからなるカラー画像を生成する。輝度信号は単独では白黒画像を表す。

なお、撮像素子１０１が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の画像信号を生成するには、例えば、レッド（Ｒ）の場合は、可視光と非可視光のＲ＋ＩＲ透過フィルタ１１１を有する画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）から非可視光の帯域フィルタを有する画素の出力信号である近赤外（ＩＲ）を差し引くことでレッド（Ｒ）を導出して、レッド（Ｒ）を画像信号とすれば良い。

また、この画素構成を利用すれば、昼間では近赤外光成分を含んだ赤、緑、青の原信号からＩＲ画素のＩＲ信号成分を差分することで、赤、緑、青の各信号を得ることが出来る。このように、昼間であっても、機械式ＩＲカットフィルタが不要である。

一方、夜間では、全ての画素の信号を用いることで近赤外光の画像を得る。そのため、ＩＲ画像の解像度はＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素のＩＲ成分を用いるため、昼間でのＲＧＢ画像よりも高い。

Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３、またはＩＲ透過フィルタ１１４を持つ画素構成を容易に実現するために、フォトニック結晶カラーフィルタを撮像素子上に集積した。低屈折率と高屈折率の材料を交互に積層して得られる光学多層膜は、光が透過しない禁止帯が生じる。今回、光が透過する透過帯を近赤外光が透過するように設計し、ＩＲフィルタとして用いる。

Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３は、低屈折率と高屈折率の材料を交互にλ/4（λ：波長）の膜厚で積層された光学多層膜に、膜厚がλ/4とは異なる“欠陥層”を導入することで実現できる。この欠陥層により光学的な周期性に乱れが生じ、禁止帯の中に透過帯を生じさせることが出来る。欠陥層の膜厚を適切に設計することで、所望の波長帯域の透過帯を実現できる。すなわち、赤色光と近赤外光が透過するＲ＋ＩＲ画素、緑色光と近赤外光が透過するＧ＋ＩＲ画素、青色光と近赤外光が透過するＢ＋ＩＲ画素、および近赤外光のみが透過するＩＲ画素を有するカラーフィルタを容易に設計できる。Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３のそれぞれの欠陥層の膜厚を調整するだけで、赤色光と近赤外光、緑色光と近赤外光、青色光と近赤外光の透過帯が形成できる。

Ｒ＋ＩＲ透過フィルタ１１１、Ｇ＋ＩＲ透過フィルタ１１２、Ｂ＋ＩＲ透過フィルタ１１３、またはＩＲ透過フィルタ１１４を搭載した単位画素１１５の色信号を出力アンプ１２４で信号処理部２０１に出力する。信号処理部２０１は、入力された画像信号をＯＢ計算部２１１で暗電流などのオフセット除去を行う。色信号は続いてローパスフィルタ２１２でノイズ成分を除去される。

４×４行列演算部２１３は、Ｒ、Ｇ、Ｂ可視光の色信号を４×４行列演算部２１３で、比重をかけたＩＲ信号を各画素の原信号から差分して得る。比重係数は、近赤外光が消失するように調整している。つまり４×４行列演算部２１３は、（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号、ＩＲ信号に対して、４×４の行列演算を施すことによってＲＧＢの３信号を出力する。

ホワイトバランス部２１４は、通常の３原色と同様に、ホワイトバランスを行い３原色間の色補正を行う。さらに色差計算部２１５、ゲイン調整部２１６で信号処理を行う。最後にγ補正部２１７から出力された色信号は、輝度計算部２２３から出力された輝度信号と合わせて表示装置等に画像信号として出力される。

色差計算部２１５は、複数種類の色信号（つまりＲ、Ｇ、Ｂ）を用いて複数の色成分信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）を計算して出力する。

本実施の形態では、輝度信号を作成する演算において近赤外光のみを通過する色フィルタを搭載した受光素子から出力された信号が用いられている。輝度信号は、輝度信号＝（Ｒ＋ＩＲ）画素の輝度信号＋（Ｇ＋ＩＲ）画素の輝度信号＋（Ｂ＋ＩＲ）画素の輝度信号＋ｋ×（ＩＲ）画素の輝度信号で計算される。つまり、Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋＩＲで計算される。ここでｋは、（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ））信号に対するＩＲ信号の混合率を示す混合係数であり、あるいは、輝度信号Ｙに対するＩＲ信号の混合率を示す混合係数である。この場合、ｋは−３以上＋１以下の範囲内で定められる。

ｋ＝−３の場合、ＩＲ信号が完全に除去された輝度信号Ｙを得ることができる。これは昼モードでは撮像に適している。ｋ＝＋１の場合、ＩＲ信号の全部を含む輝度信号Ｙを得ることができる。これは白黒画像の生成に適している。ｋが−３から＋１の中間的な値のとき、カラー画像が生成され、ｋに応じてカラー化の程度が決まる。これは、夜モードでカラー化するのに適している。

ｋ算出部２２２は、ＩＲ信号の信号量に応じて混合係数を算出する。
輝度計算部２２３は、混合係数ｋを用いて、複数種類の色信号と前記赤外信号とを混合し、輝度信号Ｙとして出力する。

図２Ａは、ｋ算出部２２２における混合係数算出処理の一例を示すフローチャートである。同図において、Ａｖｅ（ＩＲ）は、１フレーム前のフレーム内のＩＲ信号の平均値、Ｔｈ１〜Ｔｈ４は、Ｔｈ１＞Ｔｈ２＞Ｔｈ３＞Ｔｈ４を満たすしきい値である。同図のようにｋ算出部２２２は、ＡＶＥ（ＩＲ）がしきい値Ｔｈ１より大きいとき混合係数ｋ＝ｋ１に設定し（Ｓ２１、Ｓ２２）、ＡＶＥ（ＩＲ）がしきい値Ｔｈ１以下かつしきい値Ｔｈ２より大きいとき混合係数ｋ＝ｋ２に設定し（Ｓ２３、Ｓ２４）、ＡＶＥ（ＩＲ）がしきい値Ｔｈ２以下かつしきい値Ｔｈ３より大きいとき混合係数ｋ＝ｋ３に設定し（Ｓ２５、Ｓ２６）、ＡＶＥ（ＩＲ）がしきい値Ｔｈ３以下かつしきい値Ｔｈ４より大きいとき混合係数ｋ＝ｋ４に設定し（Ｓ２７、Ｓ２８）、ＡＶＥ（ＩＲ）がしきい値Ｔｈ４以下のとき混合係数ｋ＝ｋ５に設定する（Ｓ２９）。ここで、ｋ１、ｋ２、ｋ３、ｋ４は、例えば、＋１、０、−１、−２、−３である。

このように、ｋ算出部２２２は、ＩＲ信号の信号量に応じて混合係数ｋを算出する。
さらに、演算に用いられる前記近赤外信号の成分量を（１フレーム毎に）所定の値に制御する近赤外信号制御部２２１を備えている。

近赤外信号制御部２２１が、輝度信号演算に用いられる近赤外信号の成分量に応じて、撮像制御部３０１を制御し、撮像素子１０１の露光量を所定の値に制御することが出来る。

撮像素子１０１の露光量を所定の値へ調整するため、近赤外信号制御部２２１が露出時間制御部３１１を制御し、露出時間を所定の値に調整する。

また撮像素子１０１の露光量を所定の値へ調整するため、近赤外信号制御部２２１が絞り制御部３１２を制御し、レンズ５０１の絞り５０２を調整することにより入射光量を所定の値に調整する。

また撮像素子１０１の露光量を所定の値へ調整するため、近赤外信号制御部２２１が光源制御部４０１を制御し、被写体に所定の近赤外光を照射するＩＲ光源４１１の照射量を調整する。

また、近赤外信号制御部２２１は、色信号成分に印加される近赤外信号成分の成分量をホワイトバランス部２１４の出力に応じてゲイン調整部２１６を制御し利得を調整する。特に、車載カメラやセキュリティカメラで要求される標識などの赤色の色再現性を得るために、赤色信号の利得を最大とするように近赤外信号成分の成分量を制御する。また、信号処理部２０１は、各受光素子の近赤外信号成分を除いた可視光成分のみからなる色再生信号を生成する工程と赤色信号成分に最大の利得を与えるよう制御する。

また、近赤外信号制御部２２１は、色再生信号の強度に応じて輝度信号に印加される近赤外光量の成分量を制御する。

また、信号処理部２０１は近赤外信号制御部２２１で輝度信号に印加される近赤外光量の成分量をフレーム毎に制御することにより、カラー画像フレームと近赤外光による輝度成分を主とする白黒画像フレームを最小１フレーム単位で切り替えることを特徴とする。

また、信号処理部２０１は近赤外信号制御部２２１で輝度信号に印加される近赤外光量の成分量を画素毎に制御することにより、同一フレーム内にカラー画像を出力する画素と近赤外光による輝度成分を主とする白黒画像を出力する画素を最小１画素単位で切り替えることを特徴とする。

したがって、本実施の形態１における撮像装置１００を用いると、デイナイトカメラ等、夜間に近赤外光を受光することで撮像する撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、図３Ｂに示す色信号処理を実施した画像の色度図に示すように可視カラー画像を出力する撮像装置を実現することができる。また、図３Ａは、従来技術における夜間モードの白黒画像（赤外線画像）の色度図を示す。

なお、上記の図２Ａではｋ算出部２２２が、ＩＲ信号の平均信号量に応じて混合係数ｋを算出する例を示したが、図２Ａの代わりに図２Ｂのようにしてもよい。図２Ｂでは、ｋ算出部２２２は、複数種類の色信号（Ｒ信号、Ｇ信号およびＢ信号）に対するＩＲ信号の平均信号量に応じて前記混合係数を算出する一例を示す。

図２ＢにおいてＡｖｅ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））は、１フレーム前のフレーム内の（Ｒ＋Ｇ＋Ｂ）信号に対するＩＲ信号の比の平均値、Ｔｈ１１〜Ｔｈ１４は、Ｔｈ１１＞Ｔｈ１２＞Ｔｈ１３＞Ｔｈ１４を満たすしきい値である。

図２Ｂにおいてｋ算出部２２２は、ＡＶＥ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））がしきい値Ｔｈ１１より大きいとき混合係数ｋ＝ｋ１１に設定し（Ｓ５１、Ｓ５２）、ＡＶＥ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））がしきい値Ｔｈ１１以下かつしきい値Ｔｈ１２より大きいとき混合係数ｋ＝ｋ２に設定し（Ｓ５３、Ｓ５４）、ＡＶＥ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））がしきい値Ｔｈ１２以下かつしきい値Ｔｈ１３より大きいとき混合係数ｋ＝ｋ１３に設定し（Ｓ５５、Ｓ５６）、ＡＶＥ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））がしきい値Ｔｈ１３以下かつしきい値Ｔｈ１４より大きいとき混合係数ｋ＝ｋ１４に設定し（Ｓ５７、Ｓ５８）、ＡＶＥ（ＩＲ／（Ｒ＋Ｇ＋Ｂ））がしきい値Ｔｈ１４以下のとき混合係数ｋ＝ｋ１５に設定する（Ｓ２９）。ここで、ｋ１１、ｋ１２、ｋ１３、ｋ１４は、例えば、＋１、０、−１、−２、−３である。

なお、図２Ａ、図２Ｂでは混合係数ｋが５段階の値を取り得る例を示したが、３段階以上であれば何段階であってもよいし、連続的な値としてもよい。

（実施の形態２）
本実施の形態では、第１に、輝度計算部が、さらに、赤外信号を抑制するためのダミー混合係数ｋｄを用いて、複数種類の色信号と前記赤外信号とを混合することによってダミーの輝度信号Ｙｄを計算し、色差計算部２１５が、ダミーの輝度信号Ｙｄを用いて２つの色差信号を前記色成分信号として生成する例について説明する。

第２に、輝度計算部が、交互に繰り返される第１所定数の連続フレームと第２所定数の連続フレームとに対して、前記第１所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第２所定数の連続フレームがカラー画像となるように前記混合係数を算出する構成について説明する。

第３に、近赤外信号制御部２２１が、赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定し、ゲイン調整部２１６が、色ゲインに従って２２１５により算出された複数の色成分信号のゲインを調整する例について説明する。

図４は、実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。同図は、図１と比較して、輝度計算部２２３の代わりに輝度計算部４２３を備える点が異なっている。以下、同じ点は説明を省略して、異なる点を中心に説明する。

輝度計算部４２３は、輝度計算部２２３の機能に加えて、ダミーの輝度信号Ｙｄを計算し、計算したダミーの輝度信号Ｙｄを輝度信号Ｙとして色差計算部２１５に供給する点が異なっている。ここで、ダミーの輝度信号は、ＩＲ信号が完全に抑圧された輝度信号であり、ｋ＝−３のときの輝度信号Ｙである。

これにより、色差計算部２１５は、混合係数が大きいときでも、ＩＲ信号が完全に抑圧された場合の色差信号を算出することになる。これにより、色再現性のよい２つの色差信号を生成することができる。

さらに、輝度計算部４２３は、輝度計算部２２３と比べてフレーム毎にｋを算出する点は同じであるが、前記第１所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第２所定数の連続フレームがカラー画像となるように前記混合係数を算出する点が異なっている。

図５Ａに輝度計算部４２３の混合係数算出処理の一例を示すフローチャートを示す。図５Ａにおいて、輝度計算部４２３は、ループ１において第１所定数の連続フレームに対して、図４Ａまたは図４Ｂと同様にｋを算出する（Ｓ５１〜Ｓ５３）。これにより第１所定数の連続フレームはカラー画像になる。

また、輝度計算部４２３は、ループ２において第２所定数の連続フレームに対して、ｋ＝１と決定する（Ｓ５４〜Ｓ５５）。これにより、第２所定数の連続フレームは白黒画像になる。

（第１所定数、第２所定数）は、ともに１以上の整数であり、例えば（１、１）、（１、２）、（２、１）等であってよい。

こうすれば、白黒画像とカラー画像を交互に生成するので、両者の長所をもつ画像をユーザに提供することができる。

近赤外信号制御部２２１が、実施の形態１と比べて、赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する機能が追加されている。

ゲイン調整部２１６が、色ゲインに従って２２１５により算出された複数の色成分信号のゲインを調整するように構成されている。

図５Ｂは、近赤外信号制御部２２１における色ゲインの決定処理を示すフローチャートである。

同図のように、近赤外信号制御部２２１は、ユーザ操作に基づく特定色の強調指示を外部から受け付け（Ｓ６１、Ｓ６３、Ｓ６５）、受け付けた色に対するゲインを相対的に増加させる処理を行う（Ｓ６２、Ｓ６４、Ｓ６６）。

こうすれば、特定色による偽色の発生を防止することができる。ここで、偽色は例えば葉っぱが緑色に撮像されない等の現象をいう。

なお、特定色の強調の代わりに特定色の抑制を行うようにしてもよい。この場合特定色のゲインを相対的に減少させればよい。

（実施の形態３）
本実施の形態では、白黒画像をカラー画像よりも高解像度で出力する撮像装置について説明する。

図６は、実施の形態３に係る撮像装置の主要な機能構成を示すブロック図である。同図は、図１と比較して、輝度計算部２２３の代わりに輝度計算部６２３を備える点が異なっている。以下、同じ点は説明を省略して、異なる点を中心に説明する。

輝度計算部６２３は、輝度計算部２２３の機能に加えて、混合係数ｋが＋１のとき、前記第１、第２、第３色信号（Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号）、およびＩＲ信号のそれぞれを輝度信号として出力する。

図７は輝度計算部６２３の輝度信号算出処理の一例を示すフローチャートである。同図のように、輝度計算部６２３は、輝度信号Ｙ（Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋＩＲ）を計算して色差計算部２１５に出力し（Ｓ７０）、ｋ算出部２２２によって算出されたｋ＝１である場合、Ｙを輝度信号として出力する（Ｓ７１、Ｓ７３）。一方、ｋ＝１でない場合、画素数４倍の白黒画像を生成（ｙ＝Ｒ＋ＩＲ、ｙ＝Ｇ＋ＩＲ、ｙ＝Ｂ＋ＩＲ、ｙ＝ＩＲ）し（Ｓ７３）、ｙを輝度信号として出力する（Ｓ７４）。

これにより、カラー画像に比べて縦２倍横２倍の画素数を有する高解像度の白黒画像を生成することができる。

（実施の形態４）
本実施形態では、実施の形態１の撮像装置の機能に加えて、前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する構成について説明する。

図８は、本実施の形態２に係る撮像装置の主要な機能構成を示すブロック図である。
図８に示されるように、本実施の形態に係る撮像装置１００は、撮像素子１０１と信号処理部２０１と撮像制御部３０１と、光源制御部４０１とＩＲ光源４１１と、レンズ５０１と絞り５０２を備えている。本実施の形態に係る信号処理方法は、レッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）の４画素を１単位とする単位画素１１５を有する撮像装置１００に関して色信号と輝度信号からなる画像信号を処理する。

以降、実施形態と異なる構成ならびに信号処理方法について記載する。
撮像素子１０１の露光量を所定の値へ調整するため、輝度計算部２２３は可視光強度に対応して光源制御部４０１を制御し、被写体に所定の近赤外光を照射するＩＲ光源４１１の照射量を調整する。

したがって、本実施の形態２における撮像装置１００を用いると、デイナイトカメラ等、夜間に近赤外光を受光することで撮像する撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、図２に示す色信号処理を実施した画像の色度図に示すように可視カラー画像を出力する撮像装置を実現することができる。

なお、図９に示すように、３つの原色信号を前記色成分信号として生成する撮像装置としてもよい。

こうすれば、輝度信号からなる白黒画像と、３つの原色信号からなるカラー画像とを同時に生成することができる。

本発明の撮像装置は、監視カメラ、ネットワークカメラ、車載カメラ、デジタルカメラ、携帯電話などに利用可能であり、これらの機器の夜間における撮像画像の画質向上を実現可能とする。

１００ 撮像装置
１０１ 撮像素子
１１１ Ｒ＋ＩＲ透過フィルタ
１１２ Ｇ＋ＩＲ透過フィルタ
１１３ Ｂ＋ＩＲ透過フィルタ
１１４ ＩＲ透過フィルタ
１１５ 単位画素
１２１ 垂直シフトレジスタ
１２２ 水平シフトレジスタ
１２３ ノイズ除去回路
１２４ 出力アンプ
２０１ 信号処理部
２１１ ＯＢ計算部
２１２ ローパスフィルタ
２１３ ４×４行列演算部
２１４ ホワイトバランス部
２１５ 色差計算部
２１６ ゲイン調整部
２１７ γ補正部
２２１ 近赤外信号制御部
２２２ ｋ算出部
２２３、４２３、６２３ 輝度計算部
３０１ 撮像制御部
３１１ 露出時間制御部
３１２ 絞り制御部
４０１ 光源制御部
４１１ ＩＲ光源
５０１ レンズ
５０２ 絞り

Claims (19)

1. 少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、
   前記複数の色フィルタの何れか１つをそれぞれ搭載し、二次元状に配置された複数の受光素子と、
   前記複数の受光素子から、前記複数の色フィルタの可視光に対応する複数種類の色信号、および赤外信号を読み出す読み出し部と、
   前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、輝度信号として出力する輝度計算部と、
   前記複数種類の色信号および前記赤外信号を用いて複数の色成分信号を計算して出力する色成分計算部と、
   前記赤外信号の信号量に応じて前記混合係数を算出する係数算出部と
   を備える撮像装置。
2. 前記混合係数は３つ以上の多段階の値の何れかの値をとる
   請求項１に記載の撮像装置。
3. 前記色成分計算部は、前記輝度信号を用いて２つの色差信号を前記色成分信号として生成する
   請求項２に記載の撮像装置。
4. 前記係数算出部は、前記複数種類の色信号に対する前記赤外信号の信号量に応じて前記混合係数を算出する
   請求項３に記載の撮像装置。
5. 前記複数種類の色フィルタは、第１の色の可視光および赤外光を透過する第１色フィルタと、第２の色の可視光および赤外光を透過する第２色フィルタと、第３の色の可視光および赤外光を透過する第３色フィルタとを含み、
   前記複数種類の色信号は、第１、第２および第３色フィルタに対応する第１、第２および第３色信号とを含み、
   前記輝度計算部は、前記第１、第２、第３色信号、および前記混合係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を算出する
   請求項３に記載の撮像装置。
6. 前記第１、第２、第３色信号および前記赤外信号はそれぞれ正規化された値を有し、
   前記混合係数は、−３から＋１の範囲内の値である
   請求項５に記載の撮像装置。
7. 前記輝度計算部は、さらに、前記混合係数が＋１のとき、前記第１、第２、第３色信号、および前記赤外信号のそれぞれを輝度信号として出力する
   請求項６に記載の撮像装置。
8. 前記複数種類の色フィルタは、第１の色の可視光を透過し赤外光を抑制する第１色フィルタと、第２の色の可視光を透過し赤外光を抑制する第２色フィルタと、第３の色の可視光を透過し赤外光を抑制する第３色フィルタとを含み、
   前記複数種類の色信号は、第１、第２および第３色フィルタに対応する第１、第２および第３色信号とを含み、
   前記輝度計算部は、前記第１、第２、第３色信号、および前記係数により重み付けされた前記赤外信号を加算することにより前記輝度信号を計算する
   請求項３に記載の撮像装置。
9. 前記第１、第２、第３色信号および前記赤外信号はそれぞれ正規化された値を有し、
   前記混合係数は、０から＋１の範囲内の値である
   請求項８に記載の撮像装置。
10. 前記撮像装置は、さらに、
    前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露光量を制御する露出制御部を備える
    請求項３に記載の撮像装置。
11. 前記露出制御部は、
    前記複数種類の色信号に対する前記赤外信号の信号量に応じて、前記複数の受光素子の露出時間を決定し、当該露出時間前記複数の受光素子を露光する
    請求項１０に記載の撮像装置。
12. 前記撮像装置は、さらに、
    赤外線を発光する赤外線光源と、
    前記複数種類の色信号の信号量と前記赤外信号の信号量の少なくとも一方に基づいて前記赤外線光源の発光量を制御する光源制御部とを備える
    請求項１に記載の撮像装置。
13. 前記輝度計算部は、フレーム毎に前記混合係数を算出する
    請求項２に記載の撮像装置。
14. 前記輝度計算部は、交互に繰り返される第１所定数の連続フレームと第２所定数の連続フレームとに対して、前記第１所定数の連続フレームが白黒画像となるように前記混合係数を算出し、前記第２所定数の連続フレームがカラー画像となるように前記混合係数を算出する
    請求項１３に記載の撮像装置。
15. 前記輝度計算部は、１フレーム内の第１の領域が白黒画像となるように前記混合係数を算出し、１フレーム内の前記第１の領域と異なる第２の領域がカラー画像となるように前記混合係数を算出する
    請求項２に記載の撮像装置。
16. 前記色成分計算部は前記複数種類の色信号を用いて３つの原色信号を前記色成分信号として生成する
    請求項２に記載の撮像装置。
17. 前記輝度計算部は、さらに、前記赤外信号を抑制するためのダミー混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、ダミーの輝度信号を計算し、
    前記色成分計算部は、前記ダミーの輝度信号を用いて２つの色差信号を前記色成分信号として生成する
    請求項２に記載の撮像装置。
18. 前記撮像装置は、さらに、
    前記赤外信号の信号量に応じて特定色を強調または抑制するための色ゲインを決定する色ゲイン決定部と、
    前記色ゲインに従って前記色成分計算部により算出された複数の色成分信号のゲインを調整するゲイン調整部と
    を備える請求項２に記載の撮像装置。
19. 少なくとも可視光を透過する複数種類の色フィルタ、および可視光を抑制し赤外光を透過する赤外透過フィルタを含む複数の色フィルタと、前記複数の色フィルタの何れか１つをそれぞれ搭載し、二次元状に配置された複数の受光素子とを備える固体撮像素子を用いて、輝度信号と色成分信号とからなる画像を生成する撮像方法であって、
    前記複数の受光素子から、前記複数色の可視光に対応する複数種類の色信号、および赤外信号を読み出し、
    前記赤外信号の信号量に応じて、前記複数種類の色信号に対する前記赤外信号の混合率を示す混合係数を算出し、
    前記混合係数を用いて、前記複数種類の色信号と前記赤外信号とを混合し、前記輝度信号として出力し、
    前記複数種類の色信号および前記赤外信号を用いて複数の前記色成分信号を計算して出力する
    撮像方法。

Images