JP4780088B2 - 顔画像撮像装置、顔画像撮像方法、及びそのプログラム - Google Patents

Description

本発明は、車両等の運転者の顔を撮像する顔画像撮像装置、顔画像撮像方法、及びそのプログラムに関する。

現在、車両運転者の脇見、居眠りなどの運転状態を検出する目的や、運転中の運転者の注視点を調べる目的で、運転者の顔を撮像する顔画像撮像装置が車両等に装備されている。
これらの装置には、近赤外ＬＥＤ（Light Emitting Diode）で運転者の顔を照らし、近赤外帯域に感度を持つカメラで、反射した光を検出し、運転者の顔画像を取得するものがある。これらの装置は、近赤外光を使用することによって、日中でも夜間でもカメラのモードを変えずに運転者の顔画像を取得することができる。

上記の近赤外光を使用した顔画像撮像装置が、眼部を検出するために運転者の顔を撮像する際に、眼鏡に周囲の景色が写り込むため、又、眼鏡表面及び裏面において照明光が反射することによって眼部の画像が白トビするため、眼部を安定して撮像できないという問題があった。

上記問題を解決するために、特許文献１では、照明を運転者の顔に対して反射板を介して角度をつけて間接的に照射することによって、眼鏡に周囲の景色が写り込むこと、又は、眼部の画像が白トビすることを防止する手法を提案している。
特開２００５−２４２４２８号公報

しかし、特許文献１の技術では、実際の車両内においては、反射板を設置するスペースを確保するのが困難である。
また、反射板によって照明光の光量が減衰するため、安定して顔画像を取得するためにはかなりの光量が必要となり、反射板を使って照明を行うことは、現実的ではない。
本発明は、上記問題点に鑑みてなされたもので、適切に照明を行うことによって安定して顔画像を得ることができる顔画像撮像装置、顔画像撮像方法、及びそのプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る顔画像撮像装置は、
対象者の顔を撮像する顔撮像手段と、
前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、
前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段と、
前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出手段と、
前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出手段が検出した領域内の輝度分布を測定する輝度分布測定手段と、
前記輝度分布測定手段が測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を増加させるように前記照明手段を制御する制御手段と、
を備えることを特徴とする。
例えば、前記顔撮像手段が撮像した前記対象者の顔の画像に含まれる眼の画像に基づいて、前記対象者の脇見または居眠りを判別する判別手段をさらに備えてもよい。
例えば、前記制御手段は、
前記近赤外光の光量を増加させても前記輝度分布に変化がない場合、前記近赤外光の光量の変更を停止してもよい。
例えば、前記顔画像撮像手段は、
前記対象者の顔を撮像する際、露光範囲内の明るさに基づいて露光量を調整してもよい。

例えば、前記制御手段は、
前記輝度分布に基づいて前記領域内の平均輝度値を算出し、算出した平均輝度値に基づいて前記近赤外光の光量を変更するように前記照明手段を制御してもよい。

例えば、前記制御手段は、
前記平均輝度値が所定の範囲外にあるか否かを判定し、
前記平均輝度値が所定の範囲外にあると判定した場合に、前記近赤外光の光量を変更するように前記照明手段を制御してもよい。

例えば、前記照明手段が照明する前記近赤外光の光量は、前記ＬＥＤに入力される電流値又はパルス発光によるデューティー比によって調節されてもよい。

例えば、前記顔画像撮像手段は、車両のステアリングコラム上面に設置されてもよい。

例えば、前記顔画像撮像手段は、車両のインストルメンタルパネル上面に設置されてもよい。

例えば、前記顔画像撮像手段は、車両のセンターコンソール上面に設置されてもよい。

例えば、前記顔画像撮像手段は、車両のルームミラー内部に設置されてもよい。

上記目的を達成するために、本発明の第２の観点に係る顔画像撮像方法は、
対象者の顔を撮像する顔撮像手段と、前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段とを備える装置が行う顔画像撮像方法であって、
前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出ステップと、
前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出ステップで検出した領域内の輝度分布を測定する輝度分布測定ステップと、
前記輝度分布測定ステップで測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を増加させるように前記照明手段を制御する制御ステップと、
を備えることを特徴とする。

上記目的を達成するために、本発明の第３の観点に係るプログラムは、
対象者の顔を撮像する顔撮像手段と、前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段とを備える装置が含むコンピュータを、
前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出手段、
前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出手段が検出した領域内の輝度分布を測定する輝度分布測定手段、
前記輝度分布測定手段が測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を変更するように前記照明手段を制御する制御手段、
として機能させることを特徴とする。

本発明によれば、適切に照明を行うことによって安定して顔画像を得ることができる。

以下、本発明の実施形態に係る顔画像撮像装置５０について説明する。

顔画像撮像装置５０は、図１に示すように、ドライバーの顔を撮影して顔画像を生成するカメラ１０と、ドライバーの顔を照明する照明光源１２と、ドライバーの眼が含まれる領域を検出し、検出した領域の輝度分布に基づいて照明光源１２を制御するコンピュータ１４と、コンピュータ１４に接続された表示装置１６と、バンドパスフィルタ１７とから構成される。

カメラ１０は例えばＣＣＤカメラ等から構成され、ドライバーの顔の階調画像を一定周期（例えば、１／３０秒）で取得し、出力する。カメラ１０から順次出力される顔画像は、ドライバーの顔（の画像）だけでなく、その背景（の画像）なども含む。

表示装置１６は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ１０が出力した顔画像等を表示する。

バンドパスフィルタ１７は、カメラ１０の光軸上に設置され、外部からの光をフィルタリングしてカメラ１０に近赤外領域の光を受光させる。

コンピュータ１４は、カメラ１０により取得された顔画像を処理して照明光源１２を制御する装置である。
コンピュータ１４は、図２に示すように、Ａ／Ｄ変換器２１と、画像メモリ２２と、ＲＯＭ（Read Only Memory）２３と、ＣＰＵ（Central Processing Unit）２４と、ＲＡＭ（Random Access Memory）２５と、表示制御装置２６と、光源制御装置２７と、設定メモリ２８と、操作装置２９と、から構成される。

Ａ／Ｄ（アナログ／ディジタル）変換器２１は、カメラ１０で撮影されたアナログ画像信号をディジタル信号に変換する。

画像メモリ２２は、カメラ１０により生成され、Ａ／Ｄ変換器２１でディジタル化された画像データを格納する。

ＲＯＭ２３は、ＣＰＵの動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。

ＣＰＵ２４は、コンピュータ１４全体を制御する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ１０により取得された一連の顔画像を処理して眼領域を検出し、眼領域の輝度分布に基づいて照明光源１２を制御する。

ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。

表示制御装置２６は、ＣＰＵ２４の制御のもと、映像データ等を表示装置１６が出力可能なデータ形式に変換し、表示装置１６に出力する。

光源制御装置２７は、照明光源１２の点灯・消灯・光量を制御する。また、光源制御装置２７は、電流値又はパルス発光によるデューティー値を変更することによって光量を制御する。

設定メモリ２８は、図４に示すような各種パラメータを予め格納する。各種パラメータは、ＣＰＵ２４が、ＲＡＭ２５に格納される顔画像から眼を検出する際に使用される。詳細は、後述する。

操作装置２９は、ユーザから操作情報を受け付け、操作に応じた操作信号をＣＰＵ２４に送出する。

次に、ＲＯＭ２３に格納される固定データの例を、図３を参照しながら説明する。まず、ＲＯＭ２３は、図３（ａ）に示すような、縦エッジ検出用ソーベルフィルタのオペレータを格納する。縦エッジ検出用ソーベルフィルタは、図３（ｃ）に示すような縦方向の濃淡差を強調するためのオペレータである。また、ＲＯＭ２３は、図３（ｂ）に示すような、横エッジ検出用ソーベルフィルタのオペレータを格納する。横エッジ検出用ソーベルフィルタは、図３（ｄ）に示すような横方向の濃淡差を強調するためのオペレータである。
ただし、前提として、顔画像を構成する各画素は、ＲＧＢの各色が８ビットの諧調を有するように設定されており、第０階調〜第２５５階調の２５６階調の内いずれかの諧調を有するものとする。第０階調は黒、第２５５階調は白である。

設定メモリ２８に格納される各種パラメータの例を、図４を参照しながら説明する。

先ず、眼領域設定パラメータａ，ｂは、検出された顔位置と鼻孔位置とから眼が存在すると推定される眼領域を算出するためのパラメータである。
上限閾値と下限閾値とは、眼領域の平均輝度値が適切であるか否かを判別するための閾値である。
照明光量初期値は、顔画像撮像装置５０が照明光源１２の点灯を開始するときの光量を決定するパラメータであり、夜間において標準運転ポジションで眼が安定して検出可能な最低光量から算出される。
照明光量設定値は、照明光源１２の光量を決定するパラメータである。顔画像撮像装置５０は、照明光量設定値に基づいて、光源制御装置２７を制御して照明光源１２に照明させる。

なお、設定メモリ２８に格納される各種パラメータは、ユーザによって変更可能である。

以下、上記構成を有する第１の実施形態に係る顔画像撮像装置５０の動作を説明する。

まず、図３〜７を参照して、顔画像撮像装置５０が、照明光源１２を制御する動作の概要を説明する。

顔画像撮像装置５０の電源が投入されると、ＣＰＵ２４は、設定メモリ２８より照明光量初期値を読み出し、照明光量設定値を照明光量初期値に設定する。次に、ＣＰＵ２４は、照明光量設定値の光量で照明光源１２の点灯を開始する。

カメラ１０は、図５（ａ）に示すような対象者の顔画像を所定周期（例えば、１／３０秒周期）で撮影して顔画像を出力する。出力された顔画像は画像メモリ２２に順次格納される。

次に、ＣＰＵ２４は、画像メモリ２２に格納されている顔画像を順次読み出し、以下の処理を行う。

先ず、ＣＰＵ２４は、縦エッジ検出用ソーベルフィルタ（図３（ａ））を用いて、読み出した顔画像を処理し、その顔画像の各画素の輝度値に基づいて顔の左右端を検出する。また、ＣＰＵ２４は、横エッジ検出用ソーベルフィルタ（図３（ｂ））を用いて、読み出した顔画像を処理し、その顔画像の各画素の輝度値に基づいて顔の上下端を検出する。

例えば、図５（ａ）に示す顔画像の場合、顔の左右端は、ｘ＝ｉ，ｊであり、上下端は、ｙ＝ｍ，ｎである。顔の左右端と上下端から、顔の位置が検出できる。ここで、顔の上端は、眉毛と頭の頂上との間にあり、顔の下端は、口と顎との間にあると仮定する。

ＣＰＵ２４は、ｉ≦ｘ≦ｊ，（ｍ＋ｎ）／２≦ｙ≦ｎの範囲から鼻孔の位置を検出する。具体的には、ＣＰＵ２４は、顔画像の上記の範囲内において所定の輝度値以下の画素が縦方向と横方向に３〜５画素分連続しているものを鼻孔として検出する。

ＣＰＵ２４は、設定メモリ２８に格納されているパラメータと検出した顔位置と鼻孔位置とに基づいて図５（ｂ）に示すような、眼が含まれると推定される眼領域を抽出する。図５（ａ）に示す図を用いて、具体的に説明すると、顔の左右端が、ｘ＝ｉ，ｊであり、上下端が、ｙ＝ｍ，ｎであり、鼻孔位置のｙ座標がｕである場合、図４に示されるような、設定メモリ２８に格納される眼領域設定パラメータａ，ｂを用いて、眼領域は、ｉ≦ｘ≦ｊ且つｖ≦ｙ≦ｗ（ただし、ｖ＝ｍ＋ｂ，ｗ＝ｕ−ａ）で表される。

ＣＰＵ２４は、図６に示すように、眼領域内の輝度分布を計測する。次に、ＣＰＵ２４は、計測した輝度分布より眼領域の平均輝度値を算出する。そして、ＣＰＵ２４は、図７に示すように、平均輝度値が所定の範囲外であれば、つまり、設定メモリ２８に格納されている下限閾値以下、又は上限閾値以上であれば、照明の光量を増加させる。また、平均輝度値が所定の範囲内であれば、そのときの光量を維持する。

ここで、四種類のパターンの輝度分布について説明する。
図６（ａ）に示すケース１は、照明光源１２による照明が弱すぎ、図７にしめすように、眼領域の平均輝度値が下限閾値より小さい場合である。この場合は、顔画像撮像装置５０は、光源制御装置２７を制御して光量を増加させる。
図６（ｂ）に示すケース２は、照明光源１２による照明が適切であり、図７に示すように、眼領域の平均輝度値が下限閾値より大きく、上限閾値より小さい場合である。この場合は、顔画像撮像装置５０は、その光量を維持する。
図６（ｃ）に示すケース３も又、照明光源１２による照明が適切であり、図７に示すように、眼領域の平均輝度値が下限閾値より大きく、上限閾値より小さい場合である。この場合は、顔画像撮像装置５０は、その光量を維持する。
図６（ｄ）に示すケース４は、周囲の環境が眼鏡に写りこんでいるために、図７に示すように、眼領域の平均輝度値が上限閾値より大きい場合である。この場合は、顔画像撮像装置５０は、眼鏡によって反射する光量よりも、眼鏡を透過して皮膚及び眼部によって反射する光量が大きくなるように光量を増加させる。このように光量を増加させることによって、図６（ｃ）に示すように、照明光源１２の光量が適切なものとなる。また、顔全体を明るく照らすことによって、カメラ露光範囲内の明るさを上昇させ、眼鏡によって反射している部分の明るさと顔全体との明るさの差を小さくすることによって、眼領域及び顔全体に対して適切な露光が得られ、写り込みのない眼部画像を得ることができる。
なお、眼鏡を掛けていない場合において照明が強すぎて眼領域の平均輝度値が上限閾値以上になることがないように照明光量初期値は低く設定される。

ここで、本発明の実施形態に係る顔画像撮像装置５０が行う顔画像撮像処理について図８に示すフローチャートを参照して詳細に説明する。

コンピュータ１４内のＣＰＵ２４は、周期的（例えば、１／３０秒毎）に図８のステップＳ４００〜Ｓ７００の処理を繰り返す。

先ず、顔画像撮像装置５０の電源が投入されると、ＣＰＵ２４は、設定メモリ２８より照明光量初期値を読み出す（ステップＳ１００）。

次に、ＣＰＵ２４は、照明光量設定値を照明光量初期値に設定する（ステップＳ２００）。

ＣＰＵ２４は、照明光量設定値の光量で照明光源１２の点灯を開始する（ステップＳ３００）。

ＣＰＵ２４は、後述する顔画像取得処理を行う（ステップＳ４００）。簡単に説明すると、ＣＰＵ２４は、ドライバーの顔画像を取り込み、縦エッジを強調した画像を生成する、また、横エッジを強調した画像を生成する。

ＣＰＵ２４は、後述する顔位置検出処理を行う（ステップＳ５００）。簡単に説明すると、ＣＰＵ２４は、上記の顔画像取得処理で生成した縦エッジを強調した画像を使用して顔の左右端を検出し、上記の顔画像取得処理で生成した横エッジを強調した画像を使用して顔の上下端を検出し、顔画像における顔の位置を検出する。

ＣＰＵ２４は、後述する眼領域抽出処理を行う（ステップＳ６００）。簡単に説明すると、ＣＰＵ２４は、上記の顔位置検出処理で検出した顔の位置を使用して顔画像中から眼領域を抽出する。

ＣＰＵ２４は、後述する照明光量調節処理を行い（ステップＳ７００）、処理をステップＳ４００に戻す。照明光量調節処理を簡単に説明すると、ＣＰＵ２４は、上記の眼領域抽出処理で抽出した眼領域の輝度分布を計測し、計測した輝度分布から輝度平均値を算出する。そして、ＣＰＵ２４は、算出した輝度平均値が所定の範囲外にある場合に照明光源１２の光量を増加させる。

このようにして、顔画像撮像処理によれば、顔画像を取得して、その画像から眼領域を抽出し、その輝度分布に基づいて照明光源１２の光量を調節することができる。

次に、顔画像撮像処理のステップＳ４００において行われる顔画像取得処理を説明する。簡単に説明すると、顔画像取得処理において、顔画像撮像装置５０は、ドライバーの顔画像を撮像し、ソーベルフィルタを使用してエッジ検出を行う。

以下、図９を参照して、顔画像取得処理（Ｓ４００）を詳細に説明する。

先ず、ＣＰＵ２４は、カメラ１０が撮影した対象者の顔画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納するキャプチャ処理を行う（ステップＳ４１０）。

次に、ＣＰＵ２４は、座標変換処理を行い、画像メモリ２２に格納した各顔画像の画素を後述するソーベルフィルタ処理実行可能な程度に間引く処理を行う（ステップＳ４２０）。

ＣＰＵ２４は、ＲＯＭ２３に格納されている縦エッジ検出用オペレータ（図３（ａ））を用いて座標変換後の顔画像を処理して、顔画像内の縦エッジを強調した画像を生成する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されている横エッジ検出用オペレータ（図３（ｂ））を用いて座標変換後の顔画像を処理して、顔画像内の横エッジを強調した画像を生成する（ステップＳ４３０）。

このようにして、顔画像取得処理によれば、撮像した顔画像の縦エッジを強調した画像と横エッジを強調した画像を生成することができる。

ここで、顔画像撮像処理のステップＳ５００において行われる顔位置検出処理を説明する。簡単に説明すると顔位置検出処理において、顔画像撮像装置５０は、顔画像取得処理において生成した縦エッジを強調した画像と横エッジを強調した画像を用いて顔画像における顔の位置を検出する。

以下、図１０を参照して、顔位置検出処理（Ｓ５００）を詳細に説明する。

先ず、ＣＰＵ２４は、後述する顔左右端検出処理を行い、顔画像取得処理において生成した縦エッジを強調した画像を用いて、顔画像における顔の左右端の位置を検出する（ステップＳ５１０）。

次に、ＣＰＵ２４は、後述する顔上下端検出処理を行い、顔画像取得処理において生成した横エッジを強調した画像を用いて、顔画像における顔の上下端の位置を検出すると（ステップＳ５２０）、顔位置検出処理を終了する。

このようにして、顔位置検出処理によれば、顔の左右端と上下端を検出することによって顔画像における顔の位置を検出することができる。

ここで、顔位置検出処理のステップＳ５１０において行われる顔左右端検出処理を説明する。簡単に説明すると顔左右端検出処理において、顔画像撮像装置５０は、顔画像取得処理において生成した縦エッジを強調した画像を用いて、顔画像における顔の左右端の位置を検出する。

以下、図１１を参照して、顔左右端検出処理（Ｓ５１０）を詳細に説明する。

先ず、ＣＰＵ２４は、縦エッジ検出用ソーベルフィルタを用いたソーベルフィルタ処理後の各画素の値を縦方向に投影してヒストグラムを作成する顔左右端検出用ヒストグラム作成処理を行う（ステップＳ５１１）。具体的に述べると、各座標の画素値を何段階かに分割し、ｘ値毎に最も多く各座標の画素値を取る段階を決定する。ｘ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。

ＣＰＵ２４は、ステップＳ５１１において作成したヒストグラムにおいて、ピークを取る点（以下、ピーク点）を抽出する（ステップＳ５１２）。

ＣＰＵ２４は、ステップＳ５１２において抽出したピーク点からそのヒストグラム値が閾値以上のものを顔の左右端候補として抽出する（ステップＳ５１３）。

ＣＰＵ２４は、ステップＳ５１３の処理の結果、顔の左右端の候補として、ヒストグラム値が閾値以上のピーク点が二つ抽出されたか否かを判別する（ステップＳ５１４）。

ヒストグラム値が閾値以上のピーク点が二つ抽出されたと判別すると（ステップＳ５１４；ＹＥＳ）、ＣＰＵ２４は、処理をステップＳ５１６に進め、抽出した二つのピーク点を取る位置を顔の左右端と決定する（ステップＳ５１６）。

ヒストグラム値が閾値以上の二つのピーク点が抽出されていないと判別すると（ステップＳ５１４；ＮＯ）、ＣＰＵ２４は、ピーク点から、二点の距離が人の顔幅として適切な間隔を有する二つのピーク点の組み合わせを抽出する（ステップＳ５１５）。

ＣＰＵ２４は、抽出した二つのピーク点を取る位置を顔の左右端と決定する（ステップＳ５１６）。

このようにして、顔左右端検出処理によれば、顔画像において顔の左右端を検出することができる。

ここで、顔位置検出処理のステップＳ５２０において行われる顔上下端検出処理を説明する。簡単に説明すると顔上下端検出処理において、顔画像撮像装置５０は、顔画像取得処理において生成した横エッジラインを強調した画像を用いて、顔画像における顔の上下端の位置を検出する。

以下、図１２を参照して、顔上下端検出処理（Ｓ５２０）を詳細に説明する。

先ず、ＣＰＵ２４は、横エッジ検出用ソーベルフィルタを用いたソーベルフィルタ処理後の各画素の値を横方向に投影してヒストグラムを作成する顔上下端検出用ヒストグラム作成処理を行う（ステップＳ５２１）。具体的に述べると、各座標の画素値を何段階かに分割し、ｙ値毎に最も多く各座標の画素値を取る段階を決定する。ｙ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。

ＣＰＵ２４は、ステップＳ５２１において作成したヒストグラムにおいて、ピークを取る点（以下、ピーク点）を抽出する（ステップＳ５２２）。

ＣＰＵ２４は、ステップＳ５２２において抽出したピーク点のヒストグラム値に基づいて各ピーク点を眼・眉・口等に対応付ける（ステップＳ５２３）。

ＣＰＵ２４は、ステップＳ５２３において眼・眉・口等に対応付けられた各ピーク点に基づいて、顔画像における顔の上下端の位置を算出する（ステップＳ５２４）。例えば、検出した眉から３画素分上の位置を顔の上端とし、検出した口から３画素分下の位置を顔の下端（口と顎の間）とする。

このようにして、顔上下端検出処理によれば、顔画像において顔の上下端の位置を算出することができる。

ここで、顔画像撮像処理のステップＳ６００において行われる眼領域抽出処理を説明する。簡単に説明すると、眼領域抽出処理において、顔画像撮像装置５０は、先ず、鼻孔の位置を検出する。次に、顔画像撮像装置５０は、顔位置検出処理で検出した顔の位置と本処理の始めに検出した鼻孔の位置とに基づいて眼が存在すると推定される特定の領域を抽出する。

以下、図１３を参照して眼領域抽出処理（Ｓ６００）を詳細に説明する。

先ず、ＣＰＵ２４は、顔位置検出処理で検出した顔の位置に基づく範囲を、顔画像から所定の輝度値以下の画素が縦方向に３〜５画素分連続している部分を検出する。また、ＣＰＵ２４は、顔位置検出処理で検出した顔の位置に基づく範囲を、顔画像から所定の輝度値以下の画素が横方向に３〜５画素分連続している部分を検出する。ＣＰＵ２４は、それらの重なる部分を鼻孔の位置として検出する（ステップＳ６１０）。

ＣＰＵ２４は、顔位置検出処理で検出した顔の位置と鼻孔の位置と眼領域設定パラメータとに基づいて、画像メモリ２２に格納した各顔画像から眼が存在すると推定される眼領域の画像を抽出する（ステップＳ６２０）。

このように、眼領域抽出処理によれば、眼が存在すると推定される領域を抽出することができる。

ここで、顔画像撮像処理のステップＳ７００において行われる照明光量調節処理を説明する。簡単に説明すると、顔画像撮像装置５０は、眼領域抽出処理で抽出した眼領域内の輝度分布を計測する。そして、顔画像撮像装置５０は、計測した輝度分布より眼領域の平均輝度値を算出し、平均輝度値が所定の範囲外であれば、照明の光量を増加させる。

以下、図１４を参照して、照明光量調節処理（Ｓ７００）を詳細に説明する。

先ず、ＣＰＵ２４は、眼領域抽出処理で抽出した眼領域内の輝度分布を計測する（ステップＳ７１０）。

ＣＰＵ２４は、ステップＳ７１０で計測した輝度分布より、眼領域の平均輝度値を算出する（ステップＳ７２０）。

ＣＰＵ２４は、ステップＳ７２０で算出した平均輝度値が設定メモリ２８に記憶されている、下限閾値以上、且つ、上限閾値以下であるか、つまり、所定の範囲以内であるか否かを判別する（ステップＳ７３０）。

所定の範囲以内であると判別すると（Ｓ７３０；ＹＥＳ）、ＣＰＵ２４は、照明光量調節処理を終了し、顔画像撮像処理に戻る。

所定の範囲以外であると判別すると（Ｓ７３０；ＮＯ）、ＣＰＵ２４は、光源制御装置２７を制御して照明光源１２の光量を増加させ（ステップＳ７４０）、照明光量調節処理を終了し、顔画像撮像処理に戻る。

このようにして、照明光量調節処理によれば、眼領域の輝度分布に基づいて照明の光量を最適なものにすることができる。

以上、本発明の実施形態における顔画像撮像装置５０は、撮像した顔画像より顔の位置を検出する。それから、顔画像撮像装置５０は、その顔の位置に基づいて眼が存在すると推定される領域を抽出し、抽出した領域の輝度分布を計測する。顔画像撮像装置５０は、計測した輝度分布から眼領域の平均輝度値を算出し、平均輝度値に基づいて照明光源１２の光量を増加させるか否かを判別する。よって、顔画像撮像装置５０は、最適な光量で照明を行うことができる。

なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。

上記実施形態では、顔画像撮像装置５０は、顔位置を検出する際に、ソーベルフィルタを使用したエッジ検出によって抽出したが、画像の濃度勾配を利用した濃度検出によって抽出してもよい。

また、上記実施形態では、顔位置検出処理（Ｓ５００）において、顔画像にソーベルフィルタ処理を施し、その画素値に基づいたヒストグラムから顔位置を検出した。しかし、応用例では、特開２００４−３１０３９６号公報に開示されているように、撮像画像を構成する各画素について時間微分し、さらに、この時間微分された画像を縦方向に投影してヒストグラムを作成し、エッジ抽出画像のヒストグラムと時間微分画像のヒストグラムとを合計して、合計したヒストグラムのピーク値の高いものを顔の両端として判別し、顔位置を検出するようにしてもよい。

また、顔位置検出処理（Ｓ５００）において、テンプレートマッチング法を用い、予め登録してある顔のテンプレートを顔画像にマッチングさせて、顔の位置を検出してもよい。

また、眼領域抽出処理と眼判別処理において、テンプレートマッチング法を用い、予め登録してある眼のテンプレートを顔画像にマッチングさせて、眼の位置を検出し、検出した眼の面積を算出し、その面積から眼の開閉を判別してもよい。

また、上記実施形態では、カメラが受光する光をフィルタリングするためにバンドパスフィルタを用いたが、カメラの感度によってはハイパスフィルタを用いてもよい。

また、上記実施形態では、顔画像撮像装置５０は、眼領域の平均輝度値に基づいて光量を増加させるか否かを判別したが、眼領域の所定の輝度の輝度頻度に基づいて光量を増加させるか否かを判別してもよい。また、眼領域の輝度分散に基づいて光量を増加させるか否かを判別してもよい。

また、光量を増加させても輝度分布に変化がみられない場合、又は、眼が検出できない場合に、顔画像撮像装置５０は、撮像対象が眼帯及び光線透過率が低いサングラスを着用していると判定して光量変更を停止するようにしてもよい。

また、眼領域の検出、輝度分布の計測、輝度平均値の算出、及び光量変更等は、左右の眼部に対して別々に行ってもよい。

また、本発明に係る顔画像撮像装置に、撮像した顔画像から運転者の状態、例えば、脇見、居眠り等を判別し、必要に応じて運転者に警報を発する機能を加えてもよい。この場合、ＣＰＵ２４は、カメラ１０が取得した顔領域の画像を解析して運転者が脇見運転や居眠り運転等の危険運転をしているか否かを判別し、危険運転をしている場合には、警報装置１８に警報を行わせる。
例えば、ＣＰＵ２４は、顔領域の画像を解析して、運転者の眼を判別し、眼の画像から、視線の方向を検出し、視線の方向と車両の正面方向とのずれが所定の値以上で、且つ、その状態が一定以上継続すれば、運転者が脇見運転を行っていると判別してもよい。
また、例えば、ＣＰＵ２４は、運転者の眼の画像から、眼の開閉を検出し、所定の時間以上、眼が閉じている状態を検出した場合に、運転者が脇見運転を行っていると判別してもよい。

なお、本発明に係る顔画像撮像装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、撮像装置と照明装置とを備えているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する顔画像撮像装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有するストレージに当該プログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで顔画像撮像装置を構成してもよい。

また、上述の機能を、ＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協働により実現する場合などには、アプリケーション部分のみを記録媒体やストレージに格納してもよい。

また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上のサーバに前記プログラムを格納し、ネットワークを介して前記プログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

本発明の実施形態に係る顔画像撮像装置の構成を示すブロック図である。 図１に示すコンピュータの構成を示すブロック図である。 ＲＯＭに格納されている各種データを説明するための図である。 設定メモリに格納されている各種データを説明するための図である。 本発明の実施形態に係る眼領域を検出する処理の概要を説明するための図である。 本発明の実施形態に係る照明光源を制御する処理の概要を説明するための図である。 本発明の実施形態に係る照明光源を制御する処理の概要を説明するための図である。 本発明の実施形態に係る顔画像撮像処理を説明するためのフローチャートである。 顔画像撮像処理における顔画像取得処理を説明するためのフローチャートである。 顔画像撮像処理における顔位置検出処理を説明するためのフローチャートである。 顔位置検出処理における顔左右端検出処理を説明するためのフローチャートである。 顔位置検出処理における顔上下端検出処理を説明するためのフローチャートである。 顔画像撮像処理における眼領域抽出処理を説明するためのフローチャートである。 顔画像撮像処理における照明光量調節処理を説明するためのフローチャートである。

符号の説明

１０ カメラ
１２ 照明光源
１４ コンピュータ
１６ 表示装置
１７ バンドパスフィルタ
２１ Ａ／Ｄ変換器
２２ 画像メモリ（顔画像記憶手段）
２３ ＲＯＭ
２４ ＣＰＵ（眼検出手段、眼開閉判別手段）
２５ ＲＡＭ
２６ 表示制御装置
２８ 設定メモリ
２９ 操作装置
５０ 顔画像撮像装置

Claims (13)

1. 対象者の顔を撮像する顔撮像手段と、
   前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、
   前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段と、
   前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出手段と、
   前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出手段が検出した領域内の輝度分布を測定する輝度分布測定手段と、
   前記輝度分布測定手段が測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を増加させるように前記照明手段を制御する制御手段と、
   を備えることを特徴とする顔画像撮像装置。
2. 前記顔撮像手段が撮像した前記対象者の顔の画像に含まれる眼の画像に基づいて、前記対象者の脇見または居眠りを判別する判別手段をさらに備える、
   ことを特徴とする請求項１に記載の顔画像撮像装置。
3. 前記制御手段は、
   前記近赤外光の光量を増加させても前記輝度分布に変化がない場合、前記近赤外光の光量の変更を停止する、
   ことを特徴とする請求項１または２に記載の顔画像撮像装置。
4. 前記顔画像撮像手段は、
   前記対象者の顔を撮像する際、露光範囲内の明るさに基づいて露光量を調整する、
   ことを特徴とする請求項１乃至３の何れかに記載の顔画像撮像装置。
5. 前記制御手段は、
   前記輝度分布に基づいて前記領域内の平均輝度値を算出し、算出した平均輝度値に基づいて前記近赤外光の光量を変更するように前記照明手段を制御する、
   ことを特徴とする請求項１乃至４の何れかに記載の顔画像撮像装置。
6. 前記制御手段は、
   前記平均輝度値が所定の範囲外にあるか否かを判定し、
   前記平均輝度値が所定の範囲外にあると判定した場合に、前記近赤外光の光量を変更するように前記照明手段を制御する、
   ことを特徴とする請求項５に記載の顔画像撮像装置。
7. 前記照明手段が照明する前記近赤外光の光量は、前記ＬＥＤに入力される電流値又はパルス発光によるデューティー比によって調節される、
   ことを特徴とする請求項１乃至６の何れかに記載の顔画像撮像装置。
8. 前記顔画像撮像手段は、車両のステアリングコラム上面に設置される、
   ことを特徴とする請求項１乃至７の何れかに記載の顔画像撮像装置。
9. 前記顔画像撮像手段は、車両のインストルメンタルパネル上面に設置される、
   ことを特徴とする請求項１乃至７の何れかに記載の顔画像撮像装置。
10. 前記顔画像撮像手段は、車両のセンターコンソール上面に設置される、
    ことを特徴とする請求項１乃至７の何れかに記載の顔画像撮像装置。
11. 前記顔画像撮像手段は、車両のルームミラー内部に設置される、
    ことを特徴とする請求項１乃至７の何れかに記載の顔画像撮像装置。
12. 対象者の顔を撮像する顔撮像手段と、前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段とを備える装置が行う顔画像撮像方法であって、
    前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出ステップと、
    前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出ステップで検出した領域内の輝度分布を測定する輝度分布測定ステップと、
    前記輝度分布測定ステップで測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を増加させるように前記照明手段を制御する制御ステップと、
    を備えることを特徴とする顔画像撮像方法。
13. 対象者の顔を撮像する顔撮像手段と、前記顔撮像手段が前記対象者の顔を撮像する光軸上に配置され、近赤外光を含む任意の長波長を透過する光学フィルタと、前記光学フィルタが透過する近赤外光を発光するＬＥＤ（Light Emitting Diode）を含み、前記ＬＥＤが出射する任意の光量の近赤外光で前記対象者の顔を照明する照明手段とを備える装置が含むコンピュータを、
    前記顔撮像手段が撮像した前記対象者の顔より眼部が含まれる領域を検出する眼部検出手段、
    前記顔撮像手段が撮像した前記対象者の顔の画像における、前記眼部検出手段が検出した領域内の輝度分布を測定する輝度分布測定手段、
    前記輝度分布測定手段が測定した輝度分布に基づいて前記領域内の平均輝度値を算出し、前記平均輝度値が上限閾値よりも大きいか否かを判定し、前記平均輝度値が上限閾値よりも大きいと判定した場合に、前記近赤外光の光量を変更するように前記照明手段を制御する制御手段、
    として機能させることを特徴とするプログラム。

Images