JP6089872B2 - 画像補正装置、画像補正方法及び生体認証装置 - Google Patents

Description

本発明は、画像中の各画素の値を補正する画像補正装置、画像補正方法及びそのような画像補正装置または画像補正方法を利用する生体認証装置に関する。

近年、手または指の静脈のパターン、指紋または掌紋などの生体情報を表した生体画像に基づいて、装置またはシステムの利用者を認証する生体認証技術が開発されている。そのような生体認証技術を利用した生体認証装置では、例えば、生体情報撮像装置が、生体認証装置を使用しようとする利用者の生体情報を含む部位を撮影することにより、その生体情報を表す生体画像を取得する。そして生体認証装置は、その生体画像に表された利用者の生体情報である入力生体情報を、予め登録された登録利用者の生体画像に表された生体情報である登録生体情報と照合する。生体認証装置は、照合処理の結果に基づいて、入力生体情報と登録生体情報が一致すると判定した場合、その利用者を正当な権限を有する登録利用者として認証する。そして生体認証装置は、認証された利用者が生体認証装置が組み込まれた装置または生体認証装置と接続された他の装置を使用することを許可する。

生体情報が手のひらまたは指の静脈パターンである場合、照明光が手または指の内部に達する必要があるために、照明光源として、赤外ダイオードといった、近赤外光を発する発光素子が利用される。生体情報撮像装置は、被写体である手または指によって反射または散乱されたり、あるいは被写体を透過した照明光を検出して静脈パターンが写った画像を生成するために、近赤外光に感度を持つ検出素子が２次元状に配列されたイメージセンサを利用する。検出素子としては、例えば、charge-coupled device(CCD)またはComplementary Metal Oxide Semiconductor(CMOS)といった固体撮像素子が利用される。

しかし、近赤外光用のイメージセンサは、その用途が特殊で大量生産されないため、可視光用のイメージセンサよりも一般的に高価である。また、可視光用のイメージセンサであっても、CCD及びCMOSは、近赤外光にも感度を有する。そこで、可視光用のイメージセンサを静脈パターンを撮影するために利用できれば、生体情報撮像装置のコストを低減できる。しかし、CCD及びCMOSには、色を識別する機能は無いので、可視光用のイメージセンサ、特に、カラーイメージセンサでは、一般に、検出素子ごとに、特定の波長の光を通すカラーフィルタが設けられている。例えば、縦２×横２の検出素子を一組として、一方の対角線に沿った二つの検出素子に緑色に相当する波長の光を通すフィルタが配置される。そして他の二つの検出素子に、それぞれ、赤色に相当する波長の光を通すフィルタと青色に相当する波長の光を通すフィルタが配置される。このようなフィルタの配列は、ベイヤ配列と呼ばれる。

このような４個の検出素子を一組とするフィルタのうちの一つの緑色用のフィルタを、近赤外光用のフィルタに置換して、近赤外光を人体に照射したときの人体の内方を撮影対象とする撮像装置が提案されている（例えば、特許文献１を参照）。

特開２００５−１９１７４８号公報

しかしながら、特許文献１に記載の技術では、人体の内方、例えば、血管を撮影対象とする場合には、近赤外光用のフィルタが設けられた検出素子から得られた信号を用いて画像が生成される。そして、可視光用のカラーフィルタが設けられた検出素子から得られた信号は使用されない。そのため、人体の内方が撮影された画像の解像度は、イメージセンサ自身の解像度よりも低くなってしまう。

また、カラーフィルタも、近赤外光を透過する。しかし、フィルタによって近赤外光に対する透過率が異なる。そのため、カラーフィルタが設けられた検出素子に対応する画素から得られた信号も、近赤外光で照明された被写体の画像の生成に利用すると、画像上にフィルタのパターンが表れてしまう。画像上でフィルタのパターンが被写体と重畳していると、生体認証装置がその画像から被写体の特徴点を抽出する際に、フィルタのパターンにより輝度が変化する点を特徴点を誤検出するおそれがある。そのため、そのようなフィルタのパターンが画像上に表れることは好ましくない。また、カラーフィルタは、一般に、イメージセンサ本体に組み込まれているので、イメージセンサからカラーフィルタを取り外すことは困難である。

一つの側面では、本発明は、照明光に対する透過率が異なる複数のフィルタを有するイメージセンサを用いて撮影された画像に対して、その透過率の違いによる画素ごとの輝度差を補正できる画像補正装置を提供することを目的とする。

一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、画像を生成した撮像部が有するイメージセンサのうちで第１の透過特性を有する第１のフィルタが設けられた検出素子に対応する画像上の第１の画素の輝度値を補正係数を用いて補正した補正値と、第１の透過特性と異なる第２の透過特性を有する第２のフィルタが設けられた検出素子に対応する画像上の第２の画素の輝度値との距離が、第１の画素の輝度値と第２の画素の輝度値の距離よりも小さくなるように補正係数を算出する補正係数算出部と、補正係数を用いて第１の画素の輝度値を補正することにより、補正画像を生成する補正部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

照明光に対する透過率が異なる複数のフィルタを有するイメージセンサを用いて撮影された画像に対して、その透過率の違いによる画素ごとの輝度差を補正できる。

一つの実施形態による画像補正装置が組み込まれた生体認証装置の概略構成図である。 生体認証装置が有する生体情報撮像装置の概略平面図である。 処理部の機能ブロック図である。 ベイヤ配列を示す図である。 一様な被写体を近赤外光で照明して、生体情報撮像装置の撮像部がその被写体を撮影することにより得られる画像の模式図である。 画像補正処理を含む生体認証処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による画像補正装置及びそのような画像補正装置を有する生体認証装置について説明する。
この画像補正装置は、生体情報を含む部位に近赤外光を照明して、その部位をカラーフィルタを有するイメージセンサで撮影することにより生成された生体情報を表す生体画像上に表れるフィルタのパターンを打ち消すよう、生体画像を補正する。そのために、この画像補正装置は、互いに異なる透過特性を有するフィルタが設けられた検出素子に対応する隣接画素間の輝度値の差に基づいて、その差を最小化する補正係数を求める。そしてこの画像補正装置は、その補正係数によって何れかの透過特性を有するフィルタが設けられた検出素子に対応する画素の輝度値を補正する。

本実施形態では、生体情報は、手のひらの静脈パターンであるとする。しかし、生体情報は、手のひらの静脈パターン以外の生体情報、例えば、指の静脈パターンといった、近赤外光により照明されることで撮影可能な生体情報であればよい。

図１は、一つの実施形態による画像補正装置が組み込まれた生体認証装置の概略構成図である。図１に示されるように、生体認証装置１は、表示部２と、入力部３と、生体情報撮像装置４と、通信部５と、記憶部６と、処理部７とを有する。表示部２、入力部３及び生体情報撮像装置４は、通信部５、記憶部６及び処理部７が収容された筐体とは別個に設けられてもよい。あるいは、表示部２、入力部３、生体情報撮像装置４、通信部５、記憶部６及び処理部７は、いわゆるノート型パーソナルコンピュータまたはタブレット型端末のように、一つの筐体に収容されてもよい。

生体認証装置１は、生体情報撮像装置４により生成された、利用者の手のひらの静脈パターンを表す生体画像に対して、生体情報撮像装置４が有するイメージセンサのカラーフィルタによる輝度ムラを補正する画像補正処理を実行する。そして生体認証装置１は、画像補正処理が施された生体画像を用いて生体認証処理を実行する。生体認証装置１は、生体認証処理の結果、利用者を登録利用者の何れかとして認証した場合、生体認証装置１が実装されたコンピュータをその利用者が使用することを許可する。あるいは、生体認証装置１は、通信部５を介して、図示しない他の装置へ利用者が認証された旨を表す信号を送信して、その利用者が他の装置を使用することを許可する。

また生体認証装置１は、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体９にアクセスする記憶媒体アクセス装置８をさらに有してもよい。そして生体認証装置１は、例えば、記憶媒体アクセス装置８を介して、記憶媒体９に記憶された、処理部７上で実行される画像補正処理を含む生体認証用のコンピュータプログラムを読み込む。そして処理部７は、そのコンピュータプログラムに従って、生体情報撮像装置４により生成された生体画像を補正し、その補正された生体画像に基づいて生体認証処理を実行してもよい。

表示部２は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部２は、例えば、照合に用いられる部位（右手または左手）を示すメッセージ、または生体情報撮像装置４が適正な生体画像を取得可能な位置へ手を配置させるためのガイダンスメッセージを利用者に対して表示する。また表示部２は、処理部７により実行されたアプリケーションに関連する各種情報などを表示する。

入力部３は、例えば、キーボードと、マウスのようなポインティングデバイスとを有する。そして入力部３を介して利用者により入力されたコマンド、データ、利用者のユーザ名またはユーザ識別番号は、処理部７へ渡される。

生体情報撮像装置４は、利用者の手のひらの静脈パターンを表す生体画像を生成する。
図２は、生体情報撮像装置４の概略平面図である。生体情報撮像装置４は、撮像部１１と、近赤外光を発する複数の光源１２とを有する。撮像部１１及び各光源１２は、上端が開放された直方体状の筐体１３内に収容される。なお、筐体１３の側壁が、手を載置するためのガイドとなっていてもよい。あるいは、筐体１３とは別個に、筐体１３の開口部付近に手を載置させるためのガイドが設けられてもよい。また、筐体１３の上端には、撮像部１１及び各光源１２を保護するための板状の透明ガラスまたは透明プラスチックが配置されてもよい。

生体情報撮像装置４は、各光源１２からの光で、撮像部１１及び各光源１２と対向するように、生体情報撮像装置４の上方の筐体１３の開口部付近に載置された手を照明する。そして撮像部１１が、その照明された手を撮影することで、手のひらの静脈パターンが表された生体画像を生成する。

撮像部１１は、センサ面が上方を向くように、筐体１３の底部に配置される。撮像部１１は、近赤外光に感度を有する検出素子が２次元状に配置されたイメージセンサ（図示せず）と、筐体１３の上端の開口部全体が撮影範囲となるように、その撮影範囲内の像をイメージセンサ上に結像する結像光学系（図示せず）とを有する。なお、検出素子は、例えば、CCDまたはCMOSである。撮像部１１は、筐体１３の上端の開口部付近に手が載置された状態で、処理部７から撮影を指示する制御信号を受信すると、手のひらの静脈パターンが表された生体画像を生成し、その生体画像を処理部７へ出力する。

複数の光源１２のそれぞれは、撮像部１１の撮影範囲を照明するために、発光面を上方に向けて撮像部１１の周囲に配置される。また本実施形態では、各光源１２からの光が手の内部に達するように、各光源１２は、例えば、赤外発光ダイオードといった、赤外光を発する発光素子とすることができる。
本実施形態では、各光源１２は、手のひらの静脈パターンを撮影する間、常時点灯される。

通信部５は、通信ネットワーク（図示せず）に生体認証装置１を接続するための通信インターフェース回路を有する。そして通信部５は、処理部７から受け取った、利用者についての使用許可、あるいは認証結果を通信ネットワークを介して他の装置へ送信する。

記憶部６は、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そして記憶部６は、生体認証装置１で使用されるアプリケーションプログラム、少なくとも一人の登録利用者のユーザ名、ユーザ識別番号及び個人設定情報、各種のデータ等を記憶する。また記憶部６は、画像補正処理及び生体認証処理を実行するためのプログラムを記憶する。さらに記憶部６は、登録利用者それぞれについて、登録利用者の登録生体情報である左右何れかの手のひらの静脈パターンの特徴を表す照合用データを記憶する。この照合用データは、例えば、登録利用者の登録時または照合用データの更新時に生成された生体画像から抽出された静脈の端点または分岐点といった特徴的な構造を表す特徴点の位置または種別を含む。あるいは、照合用データは、登録利用者の登録時または照合用データの更新時に生成された生体画像そのもの、あるいはその生体画像の一部であってもよい。

処理部７は、画像補正装置の一例であり、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部７は、生体情報撮像装置４から取得した、その利用者の生体情報が表された生体画像に対して画像補正処理を実行するとともに、補正された生体画像を用いた生体認証処理を実行する。

図３は、処理部７の機能ブロック図である。処理部７は、補正係数算出部２１と、補正部２２と、照合部２３とを有する。補正係数算出部２１、補正部２２及び照合部２３は、例えば、処理部７が有するプロセッサ上で動作するコンピュータプログラムによって実現される機能モジュールである。

補正係数算出部２１及び補正部２２は、それぞれ、生体画像に対する画像補正処理の一部として、生体画像が取得される度に実行される。一方、照合部２３は、生体認証処理において実行される。

補正係数算出部２１は、特定の色のフィルタが設けられた検出素子に対応する生体画像上の第１の画素の輝度値を補正するための補正係数を、その第１の画素の輝度値及び他の色のフィルタが設けられた検出素子に対応する第２の画素の輝度値に基づいて算出する。具体的には、補正係数算出部２１は、第１の画素の輝度値を補正係数を用いて補正した補正値と、第２の画素の輝度値との距離が、第１の画素の輝度値と第２の画素の輝度値の距離よりも小さくなるように、補正係数を算出する。なお、本実施形態では、補正係数算出部２１は、二つの輝度値間の距離を、その二つの輝度値の差の絶対値により算出するが、これに限られず、二つの輝度値間の距離を、その二つの輝度値のユークリッド距離といった他の距離の指標を用いて算出してもよい。

本実施形態では、生体情報撮像装置４の撮像部１１が有するイメージセンサには、カラーフィルタが設けられている。図４は、ベイヤ配列に従って配置されたカラーフィルタ４００を示す図である。図４において、個々のブロックは、それぞれ、イメージセンサの一つの検出素子を表す。そして検出素子４０１及び検出素子４０２のように、'G1'、'G2'で表された検出素子には、緑色に相当する波長の光を透過するフィルタが設けられている。一方、検出素子４０３のように、'R'で表された検出素子には、赤色に相当する波長の光を透過するフィルタが設けられている。そして検出素子４０４のように、'B'で表された検出素子には、青色に相当する波長の光を透過するフィルタが設けられている。上述したように、緑色に相当する波長の光を透過するフィルタ、赤色に相当する波長の光を透過するフィルタ及び青色に相当する波長の光を透過するフィルタの近赤外光に対する透過率は、互いに異なっている。すなわち、各フィルタの透過特性は互いに異なっている。以下では、説明の便宜上、赤色に相当する波長の光を透過するフィルタをＲフィルタと呼ぶ。同様に、緑色に相当する波長の光を透過するフィルタをＧフィルタと呼び、青色に相当する波長の光を透過するフィルタをＢフィルタと呼ぶ。

図５は、一様な被写体を近赤外光で照明して、撮像部１１がその被写体を撮影することにより得られる画像の模式図である。各フィルタの近赤外光に対する透過率が異なるため、撮像部１１のイメージセンサにベイヤ配列のカラーフィルタが設けられていると、画像５００に示されるように、ベイヤ配列に応じた格子状のパターンが画像上に表れることになる。

ここで、撮像部１１のイメージセンサ全体に対して、各色ごとに、同じフィルタが使用されるので、フィルタの違いによる近赤外光の透過率の差は、生体情報撮像装置４により生成される画像全体で一定と考えられる。したがって、近赤外光に対して一様な被写体が写った画像において、何れかの色のフィルタが設けられた検出素子に対応する画素の輝度値を定数倍した値は、他の色のフィルタが設けられた検出素子に対応する画素の輝度値と等しくなる。
また、生体画像全体において、隣接画素間で、生体情報を含む部位の構造が大きく変化するところは少ない。そこで補正係数算出部２１は、生体画像全体で、異なるフィルタが付された検出素子に対応する隣接画素間の輝度差が最小化されるように、何れかのフィルタが付された検出素子に対応する画素の輝度値に乗じる補正係数を決定する。この補正係数を用いて一方の画素の輝度値を補正することにより、その隣接画素間における輝度差の絶対値は、フィルタの透過率の違いによる隣接画素間の輝度差の絶対値よりも小さくなる。

本実施形態では、補正係数算出部２１は、Ｒフィルタ及びＢフィルタのそれぞれについて、次式で得られる評価値E(α)が最小となるように、最小二乗法に従って補正係数を算出する。
ここでα_Rは、Ｒフィルタが設けられた検出素子に対応する画素に適用される補正係数である。またα_Bは、Ｂフィルタが設けられた検出素子に対応する画素に適用される補正係数である。補正係数α_Rを算出する場合、（１）式において、x_1,iは、例えば、ラスタスキャン順における、Ｒフィルタが設けられた検出素子に対応する画素の輝度値である。一方、x_2,iは、Ｒフィルタが設けられた検出素子に対応する画素に隣接する、Ｇフィルタが設けられた検出素子に対応する画素の輝度値である。なお、（１）式における画素の順序は、ラスタスキャン順以外の順序でもよい。図４に示されたフィルタ'G1'、'G2'は、一般に同じ波長透過特性を持つので、Ｒフィルタが設けられた検出素子に対応する画素に隣接する画素は、'G1'に相当する画素または'G2'に相当する画素の何れでもよい。同様に、補正係数α_Bを算出する場合、x_1,iは、Ｂフィルタが設けられた検出素子に対応する画素の輝度値であり、x_2,iは、Ｂフィルタが設けられた検出素子に対応する画素に隣接する、Ｇフィルタが設けられた検出素子に対応する画素の輝度値である。なお、Nは、イメージセンサ全体に含まれる、Ｒフィルタが設けられた検出素子の総数またはＢフィルタが設けられた検出素子の総数である。

補正係数算出部２１は、Ｒフィルタ及びＢフィルタのそれぞれについて、（１）式を補正係数αで偏微分することにより、次式に従って、評価値E(α)を最小にする補正係数αを算出できる。

なお、補正係数算出部２１は、Ｒフィルタが設けられた検出素子に対応する画素またはＢフィルタが設けられた検出素子に対応する画素の補正係数を算出する代わりに、Ｇフィルタが設けられた検出素子に対応する画素の補正係数を算出してもよい。ただし、ベイヤ配列では、Ｒフィルタが設けられた検出素子の数とＢフィルタが設けられた検出素子の数は、Ｇフィルタが設けられた検出素子の数の半分となる。そこで、補正係数算出部２１は、ＲフィルタまたはＢフィルタが設けられた検出素子に対応する画素についての補正係数を算出する。そして補正部２２がそれらの画素の輝度値を補正することで、Ｇフィルタが設けられた検出素子に対応する画素の輝度値を補正する場合よりも演算量を低減できる。
補正係数算出部２１は、Ｒフィルタ及びＢフィルタのそれぞれについての補正係数α_R、α_Bを補正部２２に渡す。

補正部２２は、補正係数α_R、α_Bを用いて生体画像を補正する。そのために、補正部２２は、Ｒフィルタが設けられた検出素子に対応する各画素について、その画素の輝度値に補正係数α_Rを乗じる。同様に、補正部２２は、Ｂフィルタが設けられた検出素子に対応する各画素について、その画素の輝度値に補正係数α_Bを乗じる。これにより、フィルタ間の近赤外光に対する透過率の差が補償された補正生体画像が生成される。
補正部２２は、補正生体画像を記憶部６に記憶する。

照合部２３は、記憶部６から補正生体画像を読み込み、その補正生体画像に基づいて利用者を認証するか否か判定する。

照合部２３は、補正生体画像から、その補正生体画像に写っている生体情報の特徴を表す照合用データを生成する。例えば、生体認証装置１がマニューシャマッチングにより照合処理を行う場合、照合部２３は、そのマニューシャマッチングで用いられる特徴点を補正生体画像から抽出する。そして照合部２３は、その特徴点の位置またはその特徴点の種類を照合用データとする。

そのために、照合部２３は、補正生体画像上で生体情報を含む部位が写っている被写体領域と、その部位が写っていない背景領域とを区別する。本実施形態では、生体情報を含む部位が写っている画素の輝度値は、生体情報が写っていない画素の輝度値よりも高い。そこで照合部２３は、例えば、被写体判定閾値以上の輝度値を持つ画素の集合を被写体領域とし、被写体判定閾値未満の輝度値を持つ画素の集合を背景領域とするよう、補正生体画像を２値化する。被写体判定閾値は、例えば、予め設定された固定値（例えば、150）、あるいは補正生体画像内の各画素の輝度値の平均値に設定される。

さらに、照合部２３は、被写体領域内で、静脈が写っている画素の集合である静脈領域と静脈が写っていない画素の集合である非静脈領域とを区別する。本実施形態では、静脈が写っている画素の輝度値は、静脈が写っていない画素の輝度値よりも低い。そこで照合部２３は、例えば、静脈判定閾値以下の輝度値を持つ画素の集合を静脈領域とし、静脈判定閾値より大きい輝度値を持つ画素の集合を非静脈領域とするよう、被写体領域を２値化する。静脈判定閾値は、例えば、予め設定された固定値（例えば、200）、あるいは被写体領域内の各画素の輝度値の平均値に設定される。

次に、照合部２３は、例えば、２値化された被写体領域上で静脈に相当する輝度値を持つ画素の集合に対して細線化処理を行って、静脈が細線化された細線化２値画像を生成する。そして照合部２３は、静脈の分岐点または端点の何れかに対応する複数のテンプレートを用いて細線化２値画像を走査することにより、何れかのテンプレートと一致するときの細線化２値画像上の位置を検出する。そして照合部２３は、検出された位置の中心画素を、特徴点として抽出する。

なお照合部２３は、静脈の端点及び分岐点を特徴点として求める公知の他の方法を用いて、補正生体画像から特徴点を抽出してもよい。また、照合部２３は、補正生体画像上で静脈パターンの特徴を表す他の特徴量を照合用データとして求めてもよい。例えば、照合部２３は、被写体領域を複数のブロックに分割し、ブロックごとの静脈本数を照合用データとして求めてもよい。

また、生体認証装置１がパターンマッチングにより照合処理を行う場合、照合部２３は、補正生体画像そのもの、あるいは被写体領域の外接矩形領域または内接矩形領域を補正生体画像から切り出して、照合用データとしてもよい。

一方、照合部２３は、入力部３からユーザ名またはユーザ識別番号を受け取る。そして照合部２３は、そのユーザ名またはユーザ識別番号に対応する登録利用者の照合用データを記憶部６から読み込む。そして照合部２３は、利用者の照合用データと、登録利用者の照合用データとを照合する。そして照合部２３は、照合処理の結果として、利用者の生体情報と登録利用者の生体情報間の類似度を算出する。

照合部２３は、マニューシャマッチングを用いる場合、静脈パターンについての登録利用者の照合用データに含まれる特徴点と、利用者の照合用データに含まれる特徴点との間で一致する特徴点の個数を求める。そして照合部２３は、その一致する個数を利用者の静脈パターンについて抽出された特徴点の個数で割ることにより、類似度を算出する。
あるいは、照合部２３は、パターンマッチングを用いる場合、生体画像と登録利用者の静脈パターンが写った生体画像間の相対的な位置を変えつつ、正規化相互相関値を算出する。そして照合部２３は、その正規化相互相関値の最大値を類似度とする。

照合部２３は、類似度が認証判定閾値以上となる場合、利用者の生体情報と、照合対象となった登録利用者の生体情報は一致すると判定する。そして照合部２３は、利用者を、その登録利用者として認証する。

一方、照合部２３は、類似度が認証判定閾値未満となる場合、利用者の生体情報と照合対象となった登録利用者の生体情報は一致しないと判定する。この場合には、照合部２３は、利用者を認証しない。そして処理部７は、表示部２に、認証結果を表す認証結果情報を表示させる。

認証判定閾値は、登録利用者本人が利用者である場合にのみ、照合部２３が認証に成功するような値に設定されることが好ましい。そして認証判定閾値は、登録利用者とは異なる他人が利用者である場合には、照合部２３が認証に失敗するような値に設定されることが好ましい。例えば、認証判定閾値は、類似度の取りうる最大値と最小値の差に0.7を乗じた値を、類似度の最小値に加えた値とすることができる。

図６は、画像補正処理を含む生体認証処理の動作フローチャートである。処理部７は、生体情報撮像装置４から生体画像を受け取る度に、生体認証処理を実行する。なお、この生体認証処理のうち、ステップＳ１０１の処理とステップＳ１０２の処理が画像補正処理に相当する。

補正係数算出部２１は、Ｒフィルタが設けられた検出素子に対応する画素の補正係数及びＢフィルタが設けられた検出素子に対応する画素の補正係数を算出する（ステップＳ１０１）。その際、補正係数算出部２１は、ＲフィルタまたはＢフィルタが付された検出素子に対応する画素の輝度値に補正係数を乗じた値と、その画素に隣接するＧフィルタが付された検出素子に対応する画素の輝度値の差が最小となるように補正係数を算出する。

補正部２２は、補正対象となるフィルタが付された各検出素子に対応する画素について、その画素の輝度値に得られた補正係数を乗じることにより、その画素の輝度値を補正する。これにより、補正部２２は、補正生体画像を生成する（ステップＳ１０２）。

照合部２３は、補正生体画像から被写体領域を抽出する（ステップＳ１０３）。そして照合部２３は、被写体領域から生体情報の特徴を表す照合用データを生成する（ステップＳ１０４）。照合部２３は、その照合用データと、入力部３を介して入力された識別情報により特定される登録利用者の照合用データとを照合することにより、利用者の生体情報と登録利用者の生体情報の類似度を算出する（ステップＳ１０５）。そして照合部２３は、その類似度が認証判定閾値以上か否か判定する（ステップＳ１０６）。
類似度が認証判定閾値以上であれば（ステップＳ１０６−Ｙｅｓ）、照合部２３は、その利用者を識別情報により特定される登録利用者として認証する（ステップＳ１０７）。一方、類似度が認証判定閾値未満であれば（ステップＳ１０６−Ｎｏ）、照合部２３は、その利用者を認証しない（ステップＳ１０８）。
ステップＳ１０７またはＳ１０８の後、処理部７は、生体認証処理を終了する。

以上に説明してきたように、画像補正装置を含む生体認証装置は、カラーフィルタを有するイメージセンサが生体画像の生成に利用される場合でも、近赤外光に対するフィルタ間の透過率の違いによる画素間の輝度差を補償できる。そのため、この生体認証装置は、生体画像上にカラーフィルタのパターンが表れることを抑制できる。またこの例では、生体認証装置は、生体情報撮像装置から生体画像が得られる度に、その生体画像に基づいて補正係数を算出し、その補正係数を用いて生体画像を補正するので、補正係数を事前に求めるためのキャリブレーション処理を必要としない。さらに、補正係数を予め記憶しておく必要がないので、不揮発性メモリの容量を削減できる。さらに、生体画像生成時の環境条件、例えば、温度または湿度に応じて、イメージセンサの各検出素子に設けられたフィルタの近赤外光に対する透過率が変化することがある。このような場合でも、本実施形態による生体認証装置は、生体画像が得られる度に、その生体画像に基づいて補正係数を算出するので、環境条件によるフィルタ特性の変化があっても、適切に生体画像を補正できる。
またこの生体認証装置は、輝度補正された生体画像を利用することで、近赤外光に対する透過率が異なるフィルタの配列による認証精度の低下を抑制できる。

なお、生体画像上の背景領域には、何も写らないために、背景領域内の各画素の輝度値は非常に低くなることがある。このような場合、そのような輝度値の低い画素では、フィルタの透過率よりも、電気的なノイズといった他の要因により輝度値が影響される。また、生体認証処理において使用されるのは、被写体領域である。そこで、補正係数算出部２１は、生体画像から被写体領域を抽出し、被写体領域に含まれる画素についてのみ、（１）式及び（２）式に従って補正係数α_R、α_Bを算出してもよい。これにより、補正係数算出部２１は、補正係数α_R、α_Bをより適切に決定できる。

また、補正係数算出部２１は、輝度値が飽和している画素も、フィルタによる透過率の差を適切に反映していない可能性があるので、補正係数の算出には利用しないことが好ましい。そこで補正係数算出部２１は、例えば、画素が取り得る輝度値の最大値（例えば、255）から所定のオフセット値（例えば、5〜10）を減じた値よりも高い輝度値を持つ画素を補正係数の算出から除外してもよい。
また、隣接画素間の輝度値差が大きい場合、その隣接画素間に、被写体中の構造物のエッジ（例えば、静脈とその周囲の境界）が存在する可能性がある。このような画素を補正係数の算出に利用すると、補正係数が適切に算出されない可能性がある。そこで補正係数算出部２１は、隣接画素間の輝度値の差の絶対値|x_1,j-x_2,j|が所定の閾値（例えば、20〜50）以上となる画素も補正係数の算出から除外してもよい。

さらに、他の変形例によれば、補正部２２は、生体画像から被写体領域を抽出し、抽出された被写体領域内に含まれる画素についてのみ、補正係数を用いて輝度値を補正してもよい。これにより、補正対象となる画素の数が少なくて済むので、画像補正処理の演算量も削減される。
なお、補正係数算出部２１及び補正部２２は、生体画像から被写体領域を抽出するために、例えば、照合部２３について説明した、被写体領域を抽出するための処理と同様の処理を行えばよい。また、補正係数算出部２１及び補正部２２の何れかが被写体領域を抽出した場合、照合部２３は、被写体領域抽出処理を再度実行しなくてもよい。

また、イメージセンサによっては、各画素の輝度値は、その画素に達した光の光量に比例する成分とバイアス成分との和によって表される。この場合、例えば、Ｒフィルタが設けられた検出素子に対応する画素の輝度値と、Ｇフィルタが設けられた検出素子に対応する画素の輝度値は、それぞれ、次式で表される。
ここで、a、bは、それぞれ、定数である。またxは、画素に達した光量を表し、x_R'、x_G'は、それぞれ、Ｒフィルタが設けられた検出素子に対応する画素の輝度値及びＧフィルタが設けられた検出素子に対応する画素の輝度値を表す。そしてγ_R、γ_Gは、それぞれ、Ｒフィルタの近赤外光に対する透過率及びＧフィルタの近赤外光に対する透過率である。なお、（３）式は、Ｂフィルタが設けられた検出素子に対応する画素の輝度値についても成立する。

この場合、ＲフィルタまたはＢフィルタが設けられた検出素子に対応する画素の輝度値と、その画素に隣接するＧフィルタが設けられた検出素子に対応する画素の輝度値との間には、次式が成立する。
ただし、α、βは補正係数である。そしてx_1,jは、ＲフィルタまたはＢフィルタが設けられた検出素子に対応する画素の輝度値であり、x_2,jは、その画素に隣接する、Ｇフィルタが設けられた検出素子に対応する画素の輝度値である。

（４）式が、生体画像に含まれる複数の画素について成り立つとすれば、（４）式は、次式のように表すことができる。
したがって、補正係数算出部２１は、Ｒフィルタ及びＢフィルタのそれぞれについて、次式に従って補正係数α、βを算出できる。
この場合、補正部２２は、Ｒフィルタが設けられた検出素子に対応する画素及びＢフィルタが設けられた検出素子に対応する画素のそれぞれについて、（４）式に従って補正後の輝度値を算出すればよい。得られた補正係数α、βを用いて補正されたＲフィルタまたはＢフィルタが付された検出素子に対応する画素の輝度値とＧフィルタが付された検出素子に対応する画素の輝度値の差の絶対値は、補正前のそれら画素間の輝度値の差の絶対値よりも小さくなる。

なお、生体情報撮像装置４が有するイメージセンサには、ベイヤ配列以外の配列パターンに従ってカラーフィルタが設けられていてもよい。この場合でも、補正係数算出部２１は、複数のカラーフィルタのうちの何れか一色に対応するフィルタが設けられた検出素子に対応する画像上の画素の輝度値をx_2,iとし、他の色のフィルタが設けられた検出素子に対応する画素の輝度値をx_1,iとすればよい。そして補正係数算出部２１は、（２）式または（６）式に従って補正係数を算出すればよい。さらに、x_1,iに相当する画素とx_2,iに相当する画素間の距離は、被写体の構造による影響を避けるため、近い方が好ましいが、これらの画素は互いに隣接していなくてもよい。

また、生体認証装置は、利用者が生体情報撮像装置４に対して生体情報を含む部位を適切に載置しなかった場合など、生体画像から生体情報の特徴的な部分が適切に抽出されず、その結果として生体認証に失敗することがある。このような場合、生体認証装置は、生体情報撮像装置４に再度利用者の生体情報を撮影させて生体画像を再生成し、その再生成された生体画像を用いて再度生体認証処理を実行することがある。そこで、記憶部６は、一旦算出された補正係数を一定期間（例えば、5分〜15分間）記憶し、記憶部６が補正係数を記憶している間に生成された生体画像については、処理部７は、記憶されている補正係数を用いてその生体画像を補正してもよい。これにより、処理部７は、生体画像が生成される度に補正係数を算出しなくてもよいので、演算量を低減できる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 生体認証装置
２ 表示部
３ 入力部
４ 生体情報撮像装置
５ 通信部
６ 記憶部
７ 処理部（画像補正装置）
８ 記憶媒体アクセス装置
９ 記憶媒体
１１ 撮像部
１２ 光源
１３ 筐体
２１ 補正係数算出部
２２ 補正部
２３ 照合部

Claims (8)

1. 画像を生成した撮像部が有するイメージセンサのうちで第１の透過特性を有する第１のフィルタが設けられた検出素子に対応する前記画像上の第１の画素の輝度値を補正係数を用いて補正した補正値と、前記第１の透過特性と異なる第２の透過特性を有する第２のフィルタが設けられた検出素子に対応する前記画像上の第２の画素の輝度値との距離が、前記第１の画素の輝度値と前記第２の画素の輝度値の距離よりも小さくなるように前記補正係数を算出する補正係数算出部と、
   前記補正係数を用いて前記第１の画素の輝度値を補正することにより、補正画像を生成する補正部と、
   を有し、
   前記補正係数算出部は、前記第１の画素と、当該第１の画素に対して所定の位置関係にある前記第２の画素との複数の組のそれぞれの前記第１の画素の輝度値及び前記第２の画素の輝度値と前記補正係数との関係式に従って、前記複数の組のそれぞれの前記補正値と前記第２の画素の輝度値の距離の和が減少するように、前記複数の組の前記第１の画素に対して共通する前記補正係数を算出する画像補正装置。
2. 前記補正係数算出部は、前記画像上で被写体が写っている被写体領域を抽出し、前記第１の画素及び前記第２の画素のうち、該被写体領域に含まれる第１の画素及び第２の画素に基づいて前記補正係数を算出する、請求項１に記載の画像補正装置。
3. 前記イメージセンサの各検出素子には、少なくとも赤色光と近赤外光を透過する前記第１のフィルタと、少なくとも緑色光と近赤外光とを透過する前記第２のフィルタと、少なくとも青色光と近赤外光とを透過する第３のフィルタの何れかが設けられており、
   前記補正係数算出部は、前記第３のフィルタを透過した近赤外光を検出した検出素子に対応する前記画像上の第３の画素の輝度値を第２の補正係数を用いて補正した補正値と、前記第２のフィルタを透過した近赤外光を検出した検出素子に対応する前記第２の画素の輝度値の距離が、前記第３の画素の輝度値と前記第２の画素の輝度値の距離よりも小さくなるように前記第２の補正係数を算出し、
   前記補正部は、前記補正係数を用いて前記第１の画素の輝度値を補正し、かつ前記第２の補正係数を用いて前記第３の画素の輝度値を補正することにより前記補正画像を生成する、請求項１または２に記載の画像補正装置。
4. 前記第１の画素に対して前記所定の位置関係にある前記第２の画素は、前記第１の画素に隣接する前記第２の画素である、請求項３に記載の画像補正装置。
5. 登録利用者の生体情報の特徴を表す登録照合用データを記憶する記憶部と、
   第１の透過特性を有する第１のフィルタが設けられた検出素子と前記第１の透過特性と異なる第２の透過特性を有する第２のフィルタが設けられた検出素子とを有するイメージセンサを有し、該イメージセンサによって利用者の生体情報を含む部位が表された生体画像を生成する生体情報撮像装置と、
   前記生体画像上の前記第１のフィルタが設けられた検出素子に対応する第１の画素の輝度値を補正係数を用いて補正した補正値と、前記第２のフィルタが設けられた検出素子に対応する第２の画素の輝度値との距離が前記第１の画素の輝度値と前記第２の画素の輝度値の距離よりも小さくなるように前記補正係数を算出する補正係数算出部と、
   前記補正係数を用いて前記第１の画素の輝度値を補正することにより、前記生体画像を補正する補正部と、
   前記補正された生体画像から前記利用者の生体情報の特徴を表す照合用データを生成し、該照合用データと前記登録照合用データとを照合することによって前記利用者を前記登録利用者として認証するか否かを判定する照合部と、
   を有し、
   前記補正係数算出部は、前記第１の画素と、当該第１の画素に対して所定の位置関係にある前記第２の画素との複数の組のそれぞれの前記第１の画素の輝度値及び前記第２の画素の輝度値と前記補正係数との関係式に従って、前記複数の組のそれぞれの前記補正値と前記第２の画素の輝度値の距離の和が減少するように、前記複数の組の前記第１の画素に対して共通する前記補正係数を算出する生体認証装置。
6. 画像を生成した撮像部が有するイメージセンサのうちで第１の透過特性を有する第１のフィルタが設けられた検出素子に対応する前記画像上の第１の画素の輝度値を補正係数を用いて補正した補正値と、前記第１の透過特性と異なる第２の透過特性を有する第２のフィルタが設けられた検出素子に対応する前記画像上の第２の画素の輝度値との距離が、前記第１の画素の輝度値と前記第２の画素の輝度値の距離よりも小さくなるように前記補正係数を算出し、
   前記補正係数を用いて前記第１の画素の輝度値を補正することにより、補正画像を生成する、
   ことを含み、
   前記補正係数を算出することは、前記第１の画素と、当該第１の画素に対して所定の位置関係にある前記第２の画素との複数の組のそれぞれの前記第１の画素の輝度値及び前記第２の画素の輝度値と前記補正係数との関係式に従って、前記複数の組のそれぞれの前記補正値と前記第２の画素の輝度値の距離の和が減少するように、前記複数の組の前記第１の画素に対して共通する前記補正係数を算出する画像補正方法。
7. 第１の透過率特性を有する第１のフィルタと第２の透過率特性を有する第２のフィルタとの組が複数配置されているイメージセンサを備える撮像装置であって、
   前記イメージセンサによって撮像された画像に含まれる画素のうち前記第１のフィルタを透過した光が撮像された第１の画素と、当該第１の画素に対して所定の位置関係にある、該画像に含まれる画素のうち前記第２のフィルタを透過した光が撮像された第２の画素との複数の組のそれぞれの前記第１の画素の輝度値及び前記第２の画素の輝度値と補正係数との関係式に従って、前記複数の組のそれぞれの前記第１の画素の輝度値と前記第２の画素の変更後の輝度値の距離の和が減少するように、前記複数の組の前記第２の画素に対して共通する前記補正係数を算出し、前記補正係数を用いて前記複数の組のそれぞれの前記第２の画素の輝度値を変更する補正部
   を備えることを特徴とする画像補正装置。
8. 第１の透過率特性を有する第１のフィルタと第２の透過率特性を有する第２のフィルタとの組が複数配置されているイメージセンサを備える撮像装置において、
   前記イメージセンサによって撮像された画像に含まれる画素のうち前記第１のフィルタを透過した光が撮像された第１の画素と、当該第１の画素に対して所定の位置関係にある、該画像に含まれる画素のうち前記第２のフィルタを透過した光が撮像された第２の画素との複数の組のそれぞれの前記第１の画素の輝度値及び前記第２の画素の輝度値と補正係数との関係式に従って、前記複数の組のそれぞれの前記第１の画素の輝度値と前記第２の画素の変更後の輝度値の距離の和が減少するように、前記複数の組の前記第２の画素に対して共通する前記補正係数を算出し、前記補正係数を用いて前記複数の組のそれぞれの前記第２の画素の輝度値を変更する
   ことを特徴とする画像補正方法。