JP2004334786A - 状態検出装置及び状態検出システム - Google Patents
状態検出装置及び状態検出システム Download PDFInfo
- Publication number
- JP2004334786A JP2004334786A JP2003133469A JP2003133469A JP2004334786A JP 2004334786 A JP2004334786 A JP 2004334786A JP 2003133469 A JP2003133469 A JP 2003133469A JP 2003133469 A JP2003133469 A JP 2003133469A JP 2004334786 A JP2004334786 A JP 2004334786A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- detection
- face
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】費用面及び汎用性の面での向上を図ることが可能な状態検出装置を提供する。
【解決手段】画像処理部２２は、運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求める。そして、状態検出部２４は、求めたオプティカルフローから、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する。この際、状態検出部２４は、撮像画像中における運転者の身体の位置を特定することなく、検出対象を検出する。
【選択図】 図２
【解決手段】画像処理部２２は、運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求める。そして、状態検出部２４は、求めたオプティカルフローから、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する。この際、状態検出部２４は、撮像画像中における運転者の身体の位置を特定することなく、検出対象を検出する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、状態検出装置及び状態検出システムに関する。
【０００２】
【従来の技術】
従来、運転者の身体を撮像手段にて撮像し、得られた画像に基づいて運転者等の状態を検出する状態検出装置が知られている。
【０００３】
その１つとして、例えば、目の特徴に基づいて画像上における目の座標を検出し、目の縦幅の変化量から瞼の開閉を検出し、目を閉じている時間と頻度により運転者の覚醒度を検出して居眠りを検出する状態検出装置が知られている（例えば特許文献１参照）。
【０００４】
また、連続して得られた顔画像の差分画像を利用し、運転者の顔の向きを推定して脇見検出を行ったり、顔の動きが少なくなる状態を検出して運転者の意識低下を検出したりする状態検出装置が知られている（例えば特許文献２参照）。
【０００５】
また、車両の走行環境に基づいて運転者が見るべき領域を予測し、運転者の視線領域を検出して、この領域を運転者が見たか否かを検出する状態検出装置が知られている（例えば特許文献３参照）。なお、この装置は、運転者が見るべき領域を視認しなかった場合には、その旨を運転者に報知する機能も有している。
【０００６】
また、連続して得られた運転者の身体画像の差分画像を利用し、運転者の乗車姿勢を検出する状態検出装置が知られている（例えば特許文献４参照）。
【０００７】
また、あらかじめ作成した表情遷移マップを利用し、運転者の連続する顔画像から表情遷移を読み取り、運転者の覚醒レベルを検出する状態検出装置が知られている（例えば特許文献５参照）。
【０００８】
このように従来の装置では、それぞれ運転者等の状態を検出することが可能となっている。
【０００９】
【特許文献１】
特開平１０−４０３６１号公報
【００１０】
【特許文献２】
特開平１１−１６１７９８号公報
【００１１】
【特許文献３】
特開２００２−８３４００号公報
【００１２】
【特許文献４】
特開２０００−１１３１６４号公報
【００１３】
【特許文献５】
特開２００１−４３３４５号公報
【００１４】
【発明が解決しようとする課題】
上記状態検出装置では、検出したい状態に応じて最適な手法が選択されており、装置内には最適な手法を行う機器等が実装されている。具体的に、従来の状態検出装置は、検出したい状態に応じてそれぞれ画像処理方法が異なっている。このため、上記状態検出装置は、様々な状態のうち特定の状態しか検出できないことが多く、様々な状態を検出するためには、複数の画像処理方法を行う機器等を実装して装置を構成することとなる。
【００１５】
しかしながら、上記のように複数の画像処理を実行する場合、費用がかさばると共に、画像処理内容によっては同時実行が不可能となってしまう可能性がある。
【００１６】
【課題を解決するための手段】
本発明によれば、画像処理手段は、運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、状態検出手段は、画像処理手段により求められたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する。
【００１７】
【発明の効果】
本発明によれば、運転者の顔の向き、運転者の顔以外のものの撮像範囲への出入、運転者の有無については、いずれを検出対象とするとしてもオプティカルフローによる１つの画像処理方法を用いている。
【００１８】
故に、上記３つの運転者状態のうち１つを検出する装置を構成した場合、後に他の運転者状態を検出するように装置のグレードアップ等を図りたいときには、共通しない処理部分だけを組み込むようにすればよい。これにより、グレードアップ等に際し、全く異なる処理を行う装置を組み込む場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【００１９】
また、３つの運転者状態のうち、２つ以上を検出する場合には、画像処理方法が共通なので、異なる画像処理処理を行う装置を実装している場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【００２０】
従って、費用面及び汎用性の面での向上を図ることができる。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態においては、状態検出システムを車両に搭載した場合を例に説明する。また、以下の説明において、移動量とは移動速度と移動方向とを含むものとする。さらに、この移動量をオプティカルフローと称呼するものとする。
【００２２】
図１は、本発明の第１実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。なお、第１実施形態においては、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち少なくとも１つを検出対象として検出する状態検出システムを例に説明する。
【００２３】
同図に示すように、本実施形態の状態検出システム１は、運転者の顔の向き等を検出するものであり、撮像装置（撮像手段）１０と状態検出装置２０と制御装置（制御手段）３０を備えている。
【００２４】
撮像装置１０は、運転者が着座したときに運転者の身体が存する位置を撮像範囲内に含んでおり、この撮像範囲を時系列的に撮像するものである。具体的に撮像装置１０は、可視光を撮像するためのＣＣＤカメラやＣＭＯＳカメラ、近赤外光にて撮像するカメラ、及び人等の発する熱を遠赤外にて撮像するカメラ等の少なくとも１つから構成されている。
【００２５】
また、撮像装置１０は、例えば運転者の正面下方に設置され、運転者の頭部を含む画像を取得し、得られた撮像画像のデータをビデオ信号Ｓａとして状態検出装置２０に送出する。なお、撮像装置１０は、運転者の有無のみを検出対象とする場合、運転者の胴体などを撮像するようにされていてもよいが、以下において撮像装置１０は運転者の頭部を撮像するものとする。
【００２６】
状態検出装置２０は、撮像装置１０からの撮像画像のデータに基づいて、所定の処理を実行し、３つの運転者状態のうち少なくとも１つを検出するものである。
【００２７】
状態検出装置２０の詳細を図２に示す。図２は、図１に示した状態検出装置２０の詳細構成を示すブロック図である。
【００２８】
状態検出装置２０は、撮像装置１０からの撮像画像のデータであるビデオ信号Ｓａを入力する画像取得部（画像取得手段）２１を備えている。また、状態検出装置２０は、画像取得部２１により入力された撮像画像のデータを画像処理して、撮像画像間のオプティカルフローを求める画像処理部（画像処理手段）２２を有している。さらに、状態検出装置２０は、求めたオプティカルフローから運転者の動作を検出する動作検出部（動作検出手段）２３と、３つの運転者状態のうち少なくとも１つを検出する状態検出部２４とを具備している。さらには、状態検出装置２０は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する状態信号出力部（信号出力手段）２５を備えている。
【００２９】
また、制御装置３０は、状態信号出力部２５からの電気信号Ｓｂに基づいて、所定の処理、例えばシートベルト制御処理、エアバッグ制御処理、警報処理等を行うものである。
【００３０】
ここで、上記各部２１〜２５うち画像取得部２１及び画像処理部２２は、３つの運転者状態のうちいずれを検出するとしても、行う処理が共通している。次に、処理の共通部分である画像取得部２１及び画像処理部２２の基本動作、並びに動作検出部２３、状態検出部２４及び状態信号出力部２５の動作の概略を図３〜図８を参照して説明する。図３は、本実施形態に係る状態検出装置２０の動作の概略を示すデータフローダイヤグラムであり、図４は、本実施形態に係る状態検出装置２０の動作の概略を示す説明図である。
【００３１】
まず、撮像装置１０により運転者の顔を含む画像が撮像され（図４ａに示す画像）、その画像がビデオ信号Ｓａとして画像取得部２１に入力される。
【００３２】
撮像装置１０からのビデオ信号Ｓａを入力すると、画像取得部２１は、横幅３２０画素、縦幅２４０画素、１画素あたり８ｂｉｔ（２５６階調）の濃淡データを示す２次元のディジタルデータに変換する。変換後、画像取得部２１は、変換したデータを記憶領域に格納し、格納した撮像画像データを画像処理部２２に出力する。
【００３３】
画像処理部２２は、画像取得部２１からの撮像画像のデータに基づいて、撮像画像間のオプティカルフローを求める（図７ｂ）。この際、画像処理部２２は、領域データを入力し、この領域データにより定義される領域毎（演算領域毎）にオプティカルフローを求める。そして、画像処理部２２は、求めた各領域毎のオプティカルフローのデータを動作検出部２３に送出する。
【００３４】
ここで、上記領域及び領域データについて説明する。上記領域データとは、撮像画像中に領域を定めるための位置及び大きさを示すデータである。また、上記領域は、それぞれ異なる時刻にて取得された画像に対し、領域データに基づいて１又は複数設定されるものであり、具体的には以下の参照領域と探索領域とを示すものである。
【００３５】
図５は、参照領域及び探索領域の説明図である。なお、参照領域と探索領域とは、それぞれ時刻を異にする撮像画像に設定されるものであるが、図５においては、便宜上、幅ｗ画素，高さｈ画素の１つの画像上に表して説明する。
【００３６】
同図に示すように、参照領域は、特定の点Ｏを中心として設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、点Ｏを中心として設定される幅ｓｗ画素，高さｓｈ画素の領域である。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定される。
【００３７】
このように、これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。なお、ここでの参照領域及び探索領域は、運転者の顔の位置等に依存せず、予め定められた位置及び大きさで設定される。
【００３８】
また、参照領域は、規則的に配置されることが望ましい。図６は、撮像画像に規則的に配置される参照領域の説明図である。参照領域は、例えば図６（ａ）に示すように、撮像画像上の横方向に複数（例えば７つ）配置される。また、図６（ｂ）に示すように、参照領域は、撮像画像上に格子状に複数（例えば５行７列）配置される。さらには、図６（ｃ）に示すように、参照領域は、横方向に且つ格子状に複数（例えば３行５列に加え、さらに横方向に２つの計１７）配置されてもよい。
【００３９】
また、さらに参照領域は、カメラの位置、カメラの画角、及び撮像画像中における顔の占める割合等から、目、鼻又は口等の顔の部位の大きさ程度に固定的に設定されることが望ましい。
【００４０】
再度、図３及び図４を参照して説明する。オプティカルフローの算出後、動作検出部２３は、画像処理部２２により求められた各領域毎のオプティカルフローから運転者の動き、すなわち実動作パターンを求める（図４ｃ）。この際、動作検出部２３は、各領域グループ毎に実動作パターンを求める。そして、動作検出部２３は、求めた実動作パターンのデータを状態検出部２４に送出する。
【００４１】
上記領域グループについて説明する。領域グループとは、上記参照領域の少なくとも１つからなるものである。図７及び図８を参照して領域グループの例を説明する。図７及び図８は領域グループの説明図である。なお、図７及び図８においては参照領域が撮像画像上に格子状（５行７列）に配置された場合を例に説明する。
【００４２】
まず、図７に示すように、領域グループＡ１〜Ｉ１は、それぞれ９つの参照領域を含むようにされている。具体的に領域グループＡ１〜Ｉ１は３行３列分の参照領域を含み、領域グループＡ１は、１〜３行目の１〜３列目の参照領域を含んでいる。また、領域グループＢ１〜Ｄ１は、それぞれ１〜３行目の５〜７列目、３〜５行目の１〜３列目、３〜５行目の５〜７列目の参照領域を含んでいる。また、領域グループＥ１〜Ｆ１は、それぞれ１〜３行目の３〜５列目、３〜５行目の３〜５列目の参照領域を含んでいる。さらに、領域グループＧ１〜Ｉ１は、２〜４行目の２〜４列目、２〜４行目の４〜６列目、２〜４行目の３〜５列目の参照領域を含んでいる。
【００４３】
また、図８に示すように、領域グループＡ２〜Ｈ２のそれぞれが３〜５つの参照領域を含むようにしてもよい。この例の場合、領域グループＡ２は、１行目の１，２列目及び２行１列目の参照領域を含んでいる。また、領域グループＢ２〜Ｄ２は、それぞれ１行目の６，７列目及び２行７列目、４行目の１列目及び５行１，２列目、４行目の７列目及び５行６，７列目の参照領域を含んでいる。また、領域グループＥ２〜Ｆ２は、それぞれ１行目の２〜６列目、５行目の２〜６列目の参照領域を含んでいる。さらに、領域グループＧ２〜Ｈ２は、２〜４行目の１列目、２〜４行目の７列目の参照領域を含んでいる。
【００４４】
このように、領域グループは、少なくとも１つの参照領域を含む大きさで撮像画像に設定されるものである。そして、動作検出部２３は、領域グループ毎に実動作パターンを求めることとなる。
【００４５】
パターンの算出後、状態検出部２４は、実動作パターンと記憶動作パターンとに基づいて、３つの運転者状態のうち少なくとも１つをする。具体的に、状態検出部２４は、実動作パターンと予め記憶される複数の記憶動作パターンそれぞれとの相関を計算し、最も相関の高い記憶動作パターンを検出結果として得る（図７ｄ）。
【００４６】
ここで、複数の記憶動作パターンは、実際の運転者の動きに基づいて予め得られる特徴量からなるものであり、状態検出部２４の内部に設けられた記憶部（パターン記憶手段）２４ａに記憶されている。状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出し、これら記憶動作パターンと求めた実動作パターンとを比較していく。そして、状態検出部２４は、比較により得られた検出結果を状態信号出力部２５に出力する。
【００４７】
状態信号出力部２５は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する。そして、電気信号Ｓｂを受けた制御装置３０は、その信号に基づいて各種動作を行うこととなる。
【００４８】
次に、図９〜図１５を参照して、第１実施形態に係る状態検出装置２０の動作を詳細に説明する。
【００４９】
図９は、図２に示した画像処理部２２の動作を示すフローチャートである。
【００５０】
まず、画像処理部２２は、画像取得部２１から撮像画像のデータであるビデオ信号Ｓａを入力する。そして、画像処理部２２は、画像取得部２１からの撮像画像にスムージングフィルタを適応し、所定の式にて画素値を変換する（ＳＴ１０）。ここで、スムージングフィルタは、以下に示す５行５列からなるフィルタである。
【００５１】
【数１】
所定の式は、以下に示すものである。
【００５２】
【数２】
なお、ｄ（ｘ，ｙ）は、撮像画像内の任意位置の画素値であり、ｄ’（ｘ，ｙ）は変換後の画素値である。
【００５３】
その後、画像処理部２２は、現在の撮像画像の探索領域内から、前回の撮像画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）、すなわちオプティカルフローを算出する（ＳＴ１１）。具体的には、画像処理部２２は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部２２は、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出し、オプティカルフローとする。
【００５４】
ここで、ステップＳＴ１１について詳細に説明する。上述したように、撮像画像上には予め複数の参照領域が設定されている。また、探索領域は各参照領域を取り囲むように設定される。また、参照領域と探索領域とは時間を異にして設定される。具体的には、図１０に示すように、参照領域は時刻ｔにおいて設定され、探索領域は時刻ｔ後の時刻（ｔ＋１）において設定される。
【００５５】
図１０は、図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。ステップＳＴ１１の処理において、画像処理部２２は、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。そして、画像処理部２２は、探索領域内の所定箇所に候補領域を設定し、設定した候補領域と参照領域とを比較等して類似度を求める。次に、画像処理部２２は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００５６】
その後、画像処理部２２は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００５７】
【数３】
上式においては、参照領域の濃淡データをＴとし、候補領域の濃淡データをＳとしている。また、ｘｄは、探索領域内のＸ座標値を示し、ｙｄは、探索領域内のＹ座標値を示している。
【００５８】
以上から、画像処理部２２は、類似度が最大となる位置Ｓを定め、点Ｓと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として取得し、これをオプティカルフローとする。
【００５９】
再度、図９を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部２２は、類似度の範囲が閾値以上か否かを判断する（ＳＴ１２）。
【００６０】
ここでの判断を図１１を参照して説明する。図１１は、図９に示すステップＳＴ１２の処理の説明図である。画像処理部２２は、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。そして、画像処理部２２は、得られた類似度の分散を求める。
【００６１】
例えば、図１１に示すように、各箇所における類似度を変化量として表した場合、変化量Ｃ１では分散値が小さく、分散の範囲が狭いと言える。一方、変化量Ｃ２では変化量Ｃ１よりも分散値が大きく、分散の範囲も大きいと言える。
【００６２】
ここで、分散の範囲が狭い場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｓの検出が不正確になりやすい。このため、図９のステップＳＴ１２の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００６３】
再度、図９を参照して説明する。類似度の範囲が閾値以上であると判断した場合（ＳＴ１３：ＹＥＳ）、画像処理部２２は、参照領域を有効な領域とし、ｆｄに「１」を代入する（ＳＴ１３）。そして、処理はステップＳＴ１５に移行する。
【００６４】
一方、類似度の範囲が閾値以上でないと判断した場合（ＳＴ１２：ＮＯ）、画像処理部２２は、参照領域を無効な領域とし、ｆｄに「０」を代入する（ＳＴ１４）。そして、処理はステップＳＴ１５に移行する。このように、画像処理部２２は、類似度（特徴量の１つ）の変化量と、予め設定される閾値とを比較することにより、オプティカルフローの計算に用いるか否かを判断している。
【００６５】
ステップＳＴ１５において、画像処理部２２は、領域の数だけ上記のステップＳＴ１１〜ＳＴ１４を行ったか否かを判断する（ＳＴ１５）。すなわち、画像処理部２２は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００６６】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１１に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ１１〜ＳＴ１４の処理を繰り返すこととなる。
【００６７】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ１５：ＹＥＳ）、画像処理部２２は、各参照領域毎のオプティカルフローのデータを動作検出部２３に送信する。その後、画像処理部２２による処理は終了する。
【００６８】
なお、以上の図９に示した画像処理部２２の動作は、３つの運転者状態のうちいずれを検出する場合であっても共通している。
【００６９】
ここで、３つの運転者状態のそれぞれにおけるオプティカルフローの例を説明する。図１２は、運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、図１３は、運転者の有無を検出する場合のオプティカルフローの例を示す説明図である。また、図１４〜図１６は、運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図である。なお、図１４は、運転者が目付近に手を移動させたときのオプティカルフローの例を示しており、図１５は、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示している。また、図１６は、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示している。
【００７０】
まず、図１２を参照して説明する。時刻ｔにおいて運転者は前方を視認している（図１２（ａ））。その後、時刻（ｔ＋１）において、運転者は交差点の確認等を行うべく、顔を左方に向ける。このとき、オプティカルフローが検出される（図１２（ｂ））。ここで、画像中の四角で表示されている領域は、参照領域であり、各参照領域から伸びる線分は、各部位の移動量、すなわちオプティカルフローを示している。
【００７１】
その後、時刻（ｔ＋２）において、運転者は顔をさらに左方に向ける。このときも同様に、オプティカルフローが検出される（図１２（ｃ））。そして、時刻（ｔ＋３）において運転者は顔を左上方に向けると、同様にオプティカルフローが検出される（図１２（ｄ））。
【００７２】
なお、図１２中において、参照領域を示す四角枠が実線にて図示されているものは、図９のステップＳＴ１２にて「ＮＯ」と判断され、無効領域とされた参照領域であり、四角枠が破線にて図示されているものは、図９のステップＳＴ１２にて「ＹＥＳ」と判断され、有効領域とされた参照領域である。これは、以下の図１３〜図１６においても同様とする。
【００７３】
次に、図１３を参照して説明する。まず、運転者の乗車前の状態において画像内の物体等には当然に動きが見られず、オプティカルフローは検出されない。また、参照領域の多くが無効領域となっている（図１３（ａ））。その後、運転者が乗車し始めると、運転者の動きが検出されてオプティカルフローが算出される。また、この際に、参照領域の一部が有効領域となる（図１３（ｂ））。その後、運転者は乗車を完了する。このとき、運転者は一端静止状態となるため、オプティカルフローの検出量は少なくなるが、運転者は完全には停止することができず僅かながら動くため、参照領域の殆どが有効領域となる（図１３（ｃ））。
【００７４】
なお、図１３においては、オプティカルフローが非常に僅かしか検出されなかった場合、参照領域から伸びる線分の図示を省略している。これは、以下の図１４〜図１６についても同様とする。
【００７５】
次に、図１４を参照して説明する。まず、時刻ｔにおいて運転者は前方を視認している（図１４（ａ））。その後、時刻（ｔ＋１）において、運転者は手を目付近に移動させる。このとき、撮像画像の一部にオプティカルフローが検出される（図１４（ｂ））。その後、時刻（ｔ＋２）においては、運転者の手の動きは殆どなく、オプティカルフローの検出量は少なくなる（図１４（ｃ））。
【００７６】
次に、図１５を参照して説明する。まず、時刻ｔにおいて運転者は、前方を視認している状態から、道路マップ等を見ようとして一端視線を落とす。このとき、僅かながら顔自体も下方へ移動するため、僅かにオプティカルフローが検出される（図１５（ａ））。その後、時刻（ｔ＋１）において、運転者は道路マップ等を持ち上げる。このとき、撮像画像の中央のやや下方にオプティカルフローが検出される（図１５（ｂ））。その後、時刻（ｔ＋２）において運転者は、道路マップ等を注視し、動きが殆どなくなる。このため、オプティカルフローの検出量は少なくなる（図１５（ｃ））。
【００７７】
次に、図１６を参照して説明する。まず、時刻ｔにおいて運転者は直進道路を運転している（図１６（ａ））。その後、時刻（ｔ＋１）において、運転者は右折動作を行う。このとき、撮像範囲内にハンドルのスポーク部が進入し、オプティカルフローが検出される（図１６（ｂ））。その後、時刻（ｔ＋２）において、運転者がさらに右折方向へハンドルを切ると、さらにオプティカルフローが検出される（図１６（ｃ））。
【００７８】
なお、オプティカルフローの計算方法は本実施形態の他に、八木信行監修， ”ディジタル映像処理”， 映像情報メディア学会編， ｐｐ．１２９−１３９， ２０００， オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００７９】
次に、動作検出部２３の処理を説明する。図１７は、図２に示した動作検出部２３の動作を示すフローチャートである。なお、以下に説明する動作検出部２３による処理は、運転者の有無を検出する場合には実行されないこととなる。
【００８０】
また、図１７に示す処理では、検出対象が運転者の顔の向きである場合と、運転者の顔以外のものの撮像範囲内への出入である場合とでは、領域グループの設定が異なっている。
【００８１】
まず、領域グループの相違について説明する。検出対象が運転者の顔の向きである場合、領域グループは、図７に示したように設定される。すなわち、９つの領域グループＡ１〜Ｉ１のそれぞれが３行３列の９つの参照領域を含むように設定される。
【００８２】
一方、検出対象が運転者の顔以外のものの撮像範囲内への出入である場合、領域グループは、図８に示したように設定される。すなわち、８つの領域グループＡ２〜Ｈ２のそれぞれが３〜５つの参照領域を含むように設定される。
【００８３】
ここで、領域グループの設定方法が異なるのには、以下の理由がある。すなわち、運転者の顔の向きを検出する場合には、運転者の顔の位置が画像上のどの位置に移動しても動きをとらえる必要がある。このため、画像全体に領域グループを設定することが望ましくなる。一方、運転者の顔以外のものの撮像範囲内への出入を検出する場合には、出入に特化して検出すればよく、画像の中心部に領域グループを設定する必要がなくなる。
【００８４】
このように、本実施形態では、検出対象に応じて領域グループの設定を異ならせ、それぞれ好適に検出できるようにしている。
【００８５】
次に、以上のような領域グループの相違を前提として、図１７のフローチャートを説明する。
【００８６】
まず、動作検出部２３は、複数の領域グループのうち処理の対象となるものを選択し、さらに、そのグループ内の参照領域のうちいずれか１つを選択する。
【００８７】
そして、動作検出部２３は、選択した領域グループについて、画像内の物体の移動量に関する数値ｘｍ，ｙｍ，ｃを「０」に初期化する（ＳＴ２０）。その後、動作検出部２３は、選択した参照領域が有効領域であるか否か、すなわちｆｄが「１」であるか否かを判断する（ＳＴ２１）。
【００８８】
ｆｄが「１」であると判断した場合（ＳＴ２１：ＹＥＳ）、動作検出部２３は、移動量であるオプティカルフローを積算する（ＳＴ２２）。具体的に、動作検出部２３は、「ｘｍ」を「ｘｍ＋ｘｄ」とし、「ｙｍ」を「ｙｍ＋ｙｄ」とし、「ｃ」を「ｃ＋１」とする。そして、処理はステップＳＴ２３に移行する。
【００８９】
一方、ｆｄが「１」でないと判断した場合（ＳＴ２１：ＮＯ）、動作検出部２３は、移動量であるオプティカルフローを積算することなく、処理はステップＳＴ２３に移行する。
【００９０】
ステップＳＴ２３において、動作検出部２３は、選択した領域グループ内のすべての参照領域について処理したか否かを判断する（ＳＴ２３）。いずれかの参照領域について処理をしてないと判断した場合（ＳＴ２３：ＮＯ）、処理はステップＳＴ２１に戻り、上記ステップＳＴ２１，ＳＴ２２を繰り返すこととなる。すなわち、動作検出部２３は、すべての参照領域について有効領域か否かを判断し、有効領域である場合には、移動量を積算するという処理を行っていく。
【００９１】
そして、順次移動量の積算等が行われ、すべての参照領域について処理した場合（ＳＴ２３：ＹＥＳ）、動作検出部２３は、ｃが「０」であるか否かを判断する（ＳＴ２４）。
【００９２】
「ｃ」が「０」であると判断した場合（ＳＴ２４：ＹＥＳ）、処理はステップＳＴ２６に移行する。一方、「ｃ」が「０」でないと判断した場合（ＳＴ２４：ＮＯ）、動作検出部２３は、積算した「ｘｍ」「ｙｍ」についての平均を求める（ＳＴ２５）。すなわち、動作検出部２３は、「ｘｍ＝ｘｍ／ｃ」及び「ｙｍ＝ｙｍ／ｃ」を実行し、平均の移動量を求める。
【００９３】
ここで、平均の移動量は、例えば前述の図１２に示すようなものである。図１２において平均移動量は、各画像（（ａ）を除く）の右下に矢印で示されている。なお、平均の移動量は、領域グループ毎に求められるものであるが、図１２では説明の便宜上、全体画像の平均の移動量を示すものとする。また、ここで示す平均の移動量は、顔の平均の移動量を示している。すなわち、顔の向きを検出対象としている場合の平均の移動量である。
【００９４】
再度、図１７を参照して説明する。動作検出部２３は、上記のような平均移動量の算出後、求めた平均移動量について、移動平均値（ａｘ，ａｙ）（動き量）を求める（ＳＴ２６）。移動平均を求める範囲は任意に定められており、例えば、動作検出部２３は、図１２（ｂ）、（ｃ）及び（ｄ）に示した平均移動量（矢印の大きさに相当）の平均を求めるなどする。
【００９５】
その後、動作検出部２３は、平均移動量の移動平均値（ａｘ，ａｙ）を積算する（ＳＴ２７）。具体的に、動作検出部２３は、「ｓｘ」を「ｓｘ＋ａｘ」とし、「ｓｙ」を「ｓｙ＋ａｙ」とする。
【００９６】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）の移動平均値（ｃｘ，ｃｙ）を求める（ＳＴ２８）。この移動平均を求める範囲についても任意に定められている。
【００９７】
そして、動作検出部２３は、積算値（ｓｘ，ｓｙ）と積算値の移動平均（ｃｘ，ｃｙ）の差から移動位置（ｖｘ，ｖｙ）を得る（ＳＴ２９）。具体的に、動作検出部２３は、「ｖｘ」を「ｓｘ−ｃｘ」とし、「ｖｙ」を「ｓｙ−ｃｙ」とする。
【００９８】
その後、動作検出部２３は、移動位置（ｖｘ，ｖｙ）をバッファに格納し、以前に求められていた一定時間分の移動位置（ｖｘ，ｖｙ）と現在の移動位置（ｖｘ，ｖｙ）とを現在の実動作パターンとする（ＳＴ３０）。
【００９９】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）が閾値以上であるか否かを判断する（ＳＴ３１）。積算値（ｓｘ，ｓｙ）が閾値以上でないと判断した場合（ＳＴ３１：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１００】
一方、積算値（ｓｘ，ｓｙ）が閾値以上であると判断した場合（ＳＴ３１：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であるか否かを判断する（ＳＴ３２）。積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下でないと判断した場合（ＳＴ３２：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０１】
一方、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であると判断した場合（ＳＴ３２：ＹＥＳ）、動作検出部２３は、平均移動量の移動平均値が閾値以下であるか否かを判断する（ＳＴ３３）。平均移動量の移動平均値が閾値以下でないと判断した場合（ＳＴ３３：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０２】
一方、平均移動量の移動平均値が閾値以下であると判断した場合（ＳＴ３３：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）を「０」に初期化する（ＳＴ３４）。そして、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０３】
なお、上記ステップＳＴ３１〜ＳＴ３４の処理は、以下の理由で行っている。
【０１０４】
例えば、運転者がシートに着座した場合、運転者の顔は撮像範囲の中心に位置するとは限らない。このため、撮像範囲内において運転者の顔位置の左右の範囲が等しくならなかった場合、運転者が顔を左右に動かすことにより、左右の範囲の差に起因して誤差が発生し、これが積算値（ｓｘ，ｓｙ）として累積されてしまう。また、種々の理由により誤差が累積されてしまう場合もある。そして、徐々に誤差が積算値（ｓｘ，ｓｙ）として累積されてしまうと、顔の向きの検出や顔以外のものの撮像範囲内への出入の検出に支障をきたしてしまう。
【０１０５】
そこで、上記ステップＳＴ３１にて、積算値（ｓｘ，ｓｙ）が閾値以上か否かを判断し、閾値以上の場合に積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。このように、所定の条件に基づいて積算値を初期化することにより、好適に検出対象を検出するようにしている。
【０１０６】
ただし、現に運転者が顔の向きを変えている段階や顔以外のものが撮像範囲内への出入している段階において積算値（ｓｘ，ｓｙ）を「０」に初期化してしまうと、初期化することによって逆に検出対象の検出に支障をきたしてしまう。そこで、ステップＳＴ３２及びＳＴ３３において、顔が動いていない状態や顔以外のものが撮像範囲内に出入していない状態であることを検出している。すなわち、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であり、且つ平均移動量の移動平均値が閾値以下であるという所定の条件に基づいて、積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【０１０７】
ステップＳＴ３５では、すべての領域グループについて処理したか否かが判断される（ＳＴ３５）。いずれかの領域グループについて処理をしてないと判断した場合（ＳＴ３５：ＮＯ）、処理は再度ステップＳＴ２０に戻り、同様の処理を行っていくこととなる。一方、すべての領域グループについて処理したと判断した場合（ＳＴ３５：ＹＥＳ）、動作検出部２３は領域グループ毎の実動作パターンデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１０８】
ここで、上記動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）のデータ、すなわち実動作パターンの例を図１８を参照して説明する。図１８は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【０１０９】
なお、図１８において、縦軸は移動位置を示しており、横軸は時刻を示している。また、図１８では、画像横方向（Ｘ方向）における移動位置のみを示し、画像縦方向（Ｙ方向）における移動位置は省略するものとする。さらに、図１８では、運転者が前方を視認している状態から、顔を左に向け、この後に、再度前方を視認する場合に所定の領域グループにて得られる実動作パターンの例を示している。
【０１１０】
同図に示すように、まず、運転者が車両前方を注視している場合（時刻３５０〜４１０の期間）、移動位置は、「０」付近となっている。
【０１１１】
次に、運転者が確認動作をして顔を左に向けた場合（時刻４１０〜４３０の期間）、移動位置が「−４５〜−４８」画素程度を示す。その後、しばらく間、運転者が左を向いているままの状態でいる場合（時刻４３０〜５６０の期間）、移動位置は「−４５〜−４８」画素程度を維持する。
【０１１２】
そして、運転者が再度車両前方に顔を向けると（時刻５６０〜５８０の期間）、移動位置が「０」付近に復帰する。その後、運転者が車両前方を注視し続けると（時刻５８０〜６５０の期間）、移動位置は「０」付近を維持し続ける。
【０１１３】
このように、動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）は、運転者の顔の向きを表し、この移動位置を時間経過的にとらえることで、実動作パターンＰ１が検出されることとなる。
【０１１４】
また、実動作パターンの他の例を図１９を参照して説明する。図１９は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【０１１５】
なお、図１９において、横軸は画像横方向（Ｘ方向）における移動位置を示しており、縦軸は画像縦方向（Ｙ方向）における移動位置を示している。さらに、図１９に示す実動作パターンは、図１６に示すようにハンドル操作した場合に、所定の領域グループにおいて得られる例を示している。
【０１１６】
図１６に示すように、ハンドルのスポーク部は、撮像画像上においてＸ軸及びＹ軸に負の方向に移動している。このため、時間経過的に得られたハンドルの移動位置（ｖｘ，ｖｙ）、すなわち、実動作パターンＰ２は、図１９に示すようにＸ軸及びＹ軸に負の方向に移動を示すものとなる。なお、ハンドルを左方向に切った場合には、上記と逆になり、図１９に示す実動作パターンＰ２を原点（０，０）に対してほぼ点対称としたパターンが得られることとなる。
【０１１７】
次に、検出対象が運転者の有無である場合の動作検出部２３による動作を説明する。検出対象が運転者の有無である場合、動作検出部２３は、上記図１７の処理を行わず、全参照領域のうち図９のステップＳＴ１２において「ＹＥＳ」と判断された参照領域の数を、時間経過的に求めて実動作パターンを得る。すなわち、全参照領域のうち有効領域であるものの数をカウントして実動作パターンを得る。
【０１１８】
図１３を参照して説明したように、運転者の乗車前の状態から乗車最中の状態を経て乗車完了に至るまでの間に、有効領域の数は徐々に増加する傾向がある。動作検出部２３は、この傾向を実動作パターンとして得る。
【０１１９】
図２０は、検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。なお、図２０において、縦軸は有効領域数を示し、横軸は時刻を示している。
【０１２０】
まず、運転者の乗車前の状態（時刻３５１４０〜３５１６４の期間）において有効領域数は５以下で安定している。その後、運転者が乗車し始めると、有効領域数は増加し始める（時刻３５１６４〜３５２０４の期間）。このとき、有効領域数は、６以上１５未満となる。そして、乗車完了の状態（時刻３５２０４〜３５２５０の期間）では、有効領域数はさらに増加し、１５以上となる。
【０１２１】
検出対象が運転者の有無である場合、動作検出部２３は、以上のような有効領域数の変化を実動作パターンＰ３として取得することとなる。なお、検出対象が運転者の顔の向きである場合と同様に（図１７のステップＳＴ３０のように）、動作検出部２３は、有効領域数を一定時間分だけ記憶するようにしている。このため、実際に得られる実動作パターンＰ３は、図２０に示すように時刻３５１４０〜３５２５０まで連続的でなくともよい。すなわち、実動作パターンＰ３は、時刻３５１８０〜３５２００といったように、図２０に示す有効領域数の増加変化のうち一部であってもよい。
【０１２２】
そして、実動作パターンが得られると、動作検出部２３は実動作パターンＰ３のデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１２３】
次に、図２に示した状態検出部２４の動作を説明する。図２１は、図２に示した状態検出部２４の動作を示すフローチャートである。
【０１２４】
同図に示すように、状態検出部２４は、まず、各領域グループのうちいずれか１つを選択する。そして、状態検出部２４は、選択したいずれか１つについて、図１１のステップＳＴ３０にて得られた実動作パターンＰと、記憶部２４ａに予め記憶される複数の記憶動作パターンＤそれぞれとの相関を求める（ＳＴ４０）。
【０１２５】
相関を求める方法としては、例えば数３と同様にして求めたり、フーリエ変換やウェブレット変換により周波数解析した情報を用いて求めたりする。
【０１２６】
ここで具体的に、実動作パターンＰ及び記憶動作パターンＤは、
【数４】
となっている。なお、上記「ｓｔａｔｅ ｃｏｄｅ」とは運転者の状態を表す状態コードである。また、「ｄａｔａ」は、検出対象が運転者の顔以外のもの撮像範囲内への出入、及び顔の向きである場合、図１７のステップＳＴ３０にて求められた移動位置（ｖｘ，ｖｙ）を示すものとなる。また、検出対象が運転者の有無である場合、「ｄａｔａ」は有効領域の数を示すものとなる。
【０１２７】
その後、状態検出部２４は、複数の記憶動作パターンのうち、最も相関の高い記憶動作パターンを検出する（ＳＴ４１）。検出後、状態検出部２４は、検出された記憶動作パターンが示す状態を、運転者の状態として検出する（ＳＴ４２）。すなわち、状態検出部２４は、相関が最も高い記憶動作パターンＤが示す顔の向きの状態等を検出結果とする。そして、状態検出部２４は、この検出結果を状態信号出力部２５に出力する。
【０１２８】
この後、状態検出部２４は、各領域グループのうち選択した１つ以外のものについても同様の処理を行い、検出結果を状態信号出力部２５に出力する。
【０１２９】
なお、上記では領域グループ毎の実動作パターンと記憶動作パターンを比較し、それぞれの検出結果を得ているが、それぞれの検出結果を総合的に判断して、１の結果を得るようにしてもよい。この場合、各領域グループの検出結果を状態信号出力部２５に順次出力するのではなく、総合的に判断した結果のみを出力するようにする。
【０１３０】
また、検出対象が運転者の有無である場合、領域グループが設定されないことから上記処理は繰り返されることがない。すなわち、状態検出部２４は、ステップＳＴ４０〜ＳＴ４２の処理を一度行い、得られた検出結果を状態信号出力部２５に出力することとなる。
【０１３１】
そして、この後に状態信号出力部２５は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する。
【０１３２】
以上から明らかなように、本実施形態では、図９に示す画像処理が３つの運転者状態のいずれを検出する場合であっても、共通した処理が行われている。また、予め設定した参照領域についてオプティカルフローを求めていることから、従来のように、顔の位置を特定することなく検出が行われている。
【０１３３】
このようにして、本実施形態に係る状態検出装置２０では、画像処理部２２は撮像画像間のオプティカルフローを求めている。このオプティカルフローを求める方法では、画像内の何らかの物体に動きがあったときに、その動きを検出することができる。このため、検出対象が何であろうと、動きに基づいて求めることが可能なものであれば、検出対象毎に個別に設定した画像処理方法を用いる必要がなくなっている。
【０１３４】
このため、例えば、動きに基づいて求めることが可能な運転者の顔の向き、運転者の顔以外のものの撮像範囲への出入、運転者の有無については、このオプティカルフローによる１つの画像処理方法を用いればよいこととなる。
【０１３５】
故に、上記３つの運転者状態のうち１つを検出する装置を構成した場合、後に他の運転者状態を検出するように装置のグレードアップ等を図りたいときには、共通しない処理部分だけを組み込むようにすればよい。これにより、グレードアップ等に際し、全く異なる処理を行う装置を組み込む場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３６】
また、３つの運転者状態のうち、２つ以上を検出する場合には、画像処理方法が共通なので、１の画像処理方法にて複数の運転者の状態を検出することができることとなる。これにより、異なる処理を行う装置を実装している場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３７】
従って、費用面及び汎用性の面での向上を図ることができる。
【０１３８】
また、状態信号出力部２５が状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力するので、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１３９】
さらに、撮像画像に対して所定の位置と大きさとで定められる１又は複数の演算領域毎にオプティカルフローを求め、少なくとも１つの演算領域からなる領域グループ毎に、オプティカルフローから求まる実動作パターンを求めている。そして、求められた実動作パターンと予め記憶される記憶動作パターンとに基づいて、顔の向きを検出している。このため、例えば、顔が撮像画像の隅にしか存在しないような場合であっても、その隅の領域グループについては実動作パターンが正確に得られることとなる。よって、画像の隅に顔の一部しか存在しない場合等に、実動作パターンが正確に得られないという事態を回避することができる。
【０１４０】
従って、利便性を向上させることができる。
【０１４１】
また、オプティカルフローの計算結果から空間的、時間経過的に実動作パターンを検出している。つまり、例えば空間的に左右方向等の動きを求め、且つ時間的に現在から過去に遡った運転者の動きを求めていることとなる。すなわち、瞬間的なオプティカルフローにより実動作パターンを求めないようにし、ノイズ等による影響を軽減させることができる。
【０１４２】
また、従来では、撮像等して得られた特徴量を基準として運転者の状態等を検出している。このため、従来では、運転開始時には基準を得るために特徴量を取得する必要がある。故に、運転開始時には状態等が検出できないこととなる。ところが、本実施形態では、撮像等して特徴量を得るのではなく、実際に運転者の動きに基づいて予め得られる特徴量を記憶している。このため、運転開始時であっても運転者の状態等を検出することができる。さらに、この特徴量である記憶動作パターンを用いて比較処理を行う場合にも、同様の効果が得られる。
【０１４３】
また、１又は複数の参照領域のうち少なくとも１つは、撮像画像における顔の占める割合に基づいて、顔の特定部位の大きさに設定している。このため、大き過ぎる参照領域を設定して計算量が増大していしまうことを防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定して特徴的な部位がない領域となることを防ぐことができる。
【０１４４】
また、顔の動きに基づく移動平均値（動き量）を積算し、積算値に基づいて顔の動きを求めると共に、積算値を所定の条件に基づいて初期化している。このため、例えば運転者が顔を左右に動かすなどすることにより積算値として累積されてしまう誤差を初期化して、好適に運転者状態を検出することができる。
【０１４５】
また、１又は複数の演算領域それぞれは、各探索領域内にて算出された特徴量（類似度）の変化量（分散値）と予め設定した閾値とが比較されることにより、各領域をオプティカルフローの計算に用いるか否かが判断される。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。
【０１４６】
また、本実施形態に係る状態検出システム１では、費用面及び汎用性の面での向上を図ることができる。さらには、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１４７】
なお、本実施形態において、画像処理部２２による処理は、いずれの検出対象を検出する場合であっても、すべて同じであったが、全く同じである必要はない。すなわち、オプティカルフローを求める画像処理に影響を与えない程度であれば多少の変更があっても構わない。
【０１４８】
また、本実施形態では車両走行中に運転者の有無の判別を行うことで、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。
【０１４９】
また、図１６及び図１９にハンドルのスポーク部が撮像範囲内に進入した場合の例を説明したが、この場合には、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１５０】
次に、本発明の第２実施形態を説明する。なお、第２実施形態では、主に第１実施形態との相違点について説明することとする。
【０１５１】
第２実施形態に係る状態検出システム１ａ及び状態検出装置２０ａは、３つの運転者状態のうち少なくとも２つを検出対象としている。また、第２実施形態に係る状態検出部２４は、実行する処理の内容が第１実施形態のものと相違する。
【０１５２】
以下、相違する処理内容について説明する。まず、第２実施形態の状態検出装置２０ａは、第１実施形態にて説明した３つの運転者状態のうち２つ以上を検出可能としており、それぞれの検出結果を制御装置３０に送出するように構成されている。
【０１５３】
具体的に、動作検出部２３は、検出対象とする２つ以上の運転者状態のうちのいずれか１つについて、実動作パターンを求め、このデータを状態検出部２４に送出する。その後、動作検出部２３は、残りの運転者状態について再度実動作パターンを求め、このデータを状態検出部２４に送出する。なお、この動作は、並行して行われてもよい。
【０１５４】
そして、状態検出部２４は、入力した実動作パターンのデータに基づいて、第１実施形態にて説明したように、検出を行う。その後、状態検出部２４は、検出結果を状態信号出力部２５に送出する。
【０１５５】
そして、状態信号出力部２５は、第１実施形態にて説明したように、検出結果を電気信号Ｓｂに変換して制御装置３０に出力する。
【０１５６】
また、第２実施形態に係る状態検出部２４は、検出結果に基づいて動作検出部２３に抑止信号を送出する機能を有している。
【０１５７】
図２２は、状態検出部２４が行う抑止制御処理を示すフローチャートである。まず、状態検出部２４は、検出結果を得ると、その運転者状態の検出結果が所定の結果であるか否かを判断する（ＳＴ５０）。そして、所定の結果であると判断した場合（ＳＴ５０：ＹＥＳ）、状態検出部２４は、抑止信号を動作検出部２３に送信する（ＳＴ５１）。これにより、動作検出部２３は、検出した運転者状態以外の運転者状態についての検出を抑止する。
【０１５８】
例えば、運転者の手が目付近にある場合には、運転者が車内にいないということはなく、このような場合に状態検出部２４は、運転者の有無の検出を抑止する信号を送信する。また、運転者の手が目付近にある場合には、運転者は顔の向きを変え難い傾向があるため、このような場合には、運転者の顔の向きの検出を抑止する信号を送信する。このように、１つの運転者状態の検出結果によると、他の運転者状態についての検出を行う必要がない場合などに、その検出を抑止している。これにより、本装置２は、他の運転者状態の検出について誤検出してしまうことを防止している。
【０１５９】
また、この間に動作検出部２３及び状態検出部２４は、既に検出結果を得た運転者状態について再度の検出を実行している。そして、その再度の検出による結果が所定の結果であるか否かを判断する（ＳＴ５２）。すなわち、所定の結果が継続しているか否かを判断している。
【０１６０】
所定の結果が継続していると判断した場合（ＳＴ５２：ＹＥＳ）、継続しなくなったと判断するまでこの処理を繰り返すこととなる。一方、所定の結果が継続しなくなったと判断した場合（ＳＴ５２：ＮＯ）、状態検出部２４は、抑止を解除する解除信号を動作検出部２３に送信する（ＳＴ５３）。すなわち、ステップＳＴ５１に実行した抑止を解除することとなる。
【０１６１】
そして、処理は終了する。ところで、ステップＳＴ５０において、所定の結果でないと判断した場合（ＳＴ５０：ＮＯ）、同様に処理は終了する。
【０１６２】
このようにして、本実施形態に係る状態検出装置２０ａでは、第１実施形態と同様に、費用面及び汎用性の面での向上を図ることができる。さらに、或る運転者状態の検出結果に基づいて他の運転者状態の検出を抑止するので、他の運転者状態について誤検出してしまうことを防止することができる。
【０１６３】
また、第１実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０１６４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０１６５】
さらに、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０１６６】
さらには、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０１６７】
なお、本実施形態においても、オプティカルフローを求める画像処理を行っていれば、他の処理は多少の変更があっても構わない。また、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。さらに、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１６８】
また、本実施形態においては、３つの運転者状態のうち少なくとも２つを検出対象としていればよいため、検出対象は２つであっても３つであっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の運転者状態の検出を抑止するので、３つのうち２つの検出結果に基づいて、残り１つの運転者状態の検出を抑止するようにしてもよい。また、１つの検出結果に基づいて、残り２つの運転者状態の検出を抑止するようにしてもよい。
【０１６９】
次に、本発明の第３実施形態を説明する。なお、第３実施形態では、主に第２実施形態との相違点について説明することとする。
【０１７０】
第３実施形態に係る状態検出システム１ｂ及び状態検出装置２０ｂは、３つの運転者状態と、３つの身体状態とのうち少なくとも２つを検出対象としている。なお、３つの身体状態とは、運転者の瞼の開閉、運転者の口の開閉、及び運転者の表情変化を指すものである。
【０１７１】
この身体状態の検出では、実行する処理が上記した運転者状態の検出と概ね一致している。但し、身体状態の検出については、瞼、口及び表情という微細な変化を正確にとらえる必要があるため、撮像画像中から顔の目や口等の位置を特定することが必要となるる。
【０１７２】
次に、瞼の開閉、口の開閉及び表情変化を検出する際の状態検出装置２０ｂの動作を説明する。
【０１７３】
瞼の開閉を検出する場合、画像処理部２２は、目の位置を特定する。具体的には、特開平５−６０５１５号公報や特開２０００−１４２１６４号公報に記載されるようにして、撮像画像中における目の座標位置を特定するようにすればよい。
【０１７４】
そして、目の位置を特定後、画像処理部２２は、撮像画像中の目の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１７５】
図２３は、瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２３（ａ）に示すように、画像処理部２２は、両目を覆うように４行１６列の参照領域を設定する。そして、図２３（ｂ）に示すように、２つの領域グループＡ３，Ｂ３を設定する。これら領域グループは、左右の目それぞれに対して設定されるものであり、具体的には４行８列の参照領域を含んで設定される。
【０１７６】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１７７】
このように、参照領域は、第２実施形態では予め定められた位置に設定されるのに対し、第３実施形態では特定した目の位置に設定される。すなわち、第３実施形態は、目の位置の特定処理、及び参照領域の設定処理という点で第２実施形態と相違している。なお、この相違は、瞼の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１７８】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作パターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１７９】
ここで、瞼の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２４は、瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１８０】
まず、図２４（ａ）に示すように、時刻ｔにおいて運転者の目は開いている状態となっている。その後、時刻（ｔ＋１）において運転者が目を閉じ始める。このとき、図２４（ｂ）に示すように、運転者の瞼の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。
【０１８１】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２４（ｃ）に示すように、運転者の目付近には画像縦方向にオプティカルフローが検出される。なお、画像横方向（Ｘ方向）については、時刻ｔ〜（ｔ＋２）を通じて、オプティカルフローがあまり検出されない。
【０１８２】
図２５は、瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２５では、運転者が目を閉じ、その後目を開けるまでに得られるパターンを示している。
【０１８３】
運転者が目を閉じる動作を行う場合、図２４に示すように画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。このため、得られる実動作パターンＰ４，Ｐ５（以下、瞼の開閉を検出する場合に得られる実動作パターンを瞼動作パターンＰ４，Ｐ５という）は、図２５に示すようになる。
【０１８４】
具体的に説明すると、画像縦方向についての瞼動作パターンＰ４は以下のようになっている。まず、運転者が目を開いている状態（時刻１７８〜１８６の期間）では、移動位置が「０」付近となっている。その後、運転者が目を閉じ始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「６〜８」画素まで上昇する（時刻１８６〜１９０の期間）。
【０１８５】
そして、運転者が目を閉じ続けている状態（時刻１９０〜２１６の期間）では、移動位置は「６〜８」画素を維持し続ける。その後、運転者が目を開け始めると、移動位置は次第に減少する（時刻２１６〜２３７の期間）。
【０１８６】
一方、瞼のオプティカルフローは、画像横方向に余り検出されていない。このため、画像横方向についての瞼動作パターンＰ５は、時刻１７８〜１８６の期間においてほぼ同じ値を維持し続ける。
【０１８７】
上記のような瞼動作パターンＰ４，Ｐ５が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、瞼動作パターンＰ４と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、画像縦方向に所定の移動を示した後に所定の移動分復帰を示した場合のパターンを記憶している。このため、状態検出部２４は、瞼動作パターンＰ４と、画像縦方向に所定の移動を示した後に所定の移動分復帰を示す記憶動作パターンとの相関が最も高かった場合に運転者の瞬きを検出することとなる。
【０１８８】
その後、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。また、記憶部２４ａは、目の開動作、閉動作の記憶動作パターンを記憶しており、閉動作から開動作までの時間に基づいて長い間目を閉じているなども検出することができる。
【０１８９】
なお、従来では、何らかの検出対象を検出する場合、２以上の手法（例えば濃淡値データに基づく手法や差分画像の基づく手法）により、検出対象を検出するように装置を構成していることが多い。そして、これら２以上の手法のうちいずれか１つの手法により検出対象を検出すれば、他の手法により検出対象が検出されなくとも検出有りと判断している。このように、従来では、１の手法により検出を行った場合の検出ミスを補完する目的で、２以上の手法を組み合わせて検出対象を検出することが行われている。
【０１９０】
ところで、上記組み合わせにおいては、全く異なる手法を２以上組み合わせた方が、同様の手法を２以上組み合わせるよりも検出精度が高くなる傾向にある。すなわち、例えば２以上の手法すべてが濃淡値データに基づき検出対象を検出している場合、濃淡値データそのものが上手く検出されていないときにはすべての手法によって検出ミスが発生してしまう可能性があるからである。
【０１９１】
本実施形態においては、オプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとして検出精度の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０１９２】
次に、口の開閉について説明する。口の開閉を検出する場合、画像処理部２２は、口の位置を特定する。口の位置の特定に際しては、まず、上記のように目の座標を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における口の座標位置を特定する。さらに、画像処理部２２は、口の位置を特定すると、次に、上唇と下唇との位置を特定する。この上唇と下唇との位置は、例えば、画像横方向に伸びる濃淡値の低い領域（即ち、口を閉じたときにできる上唇と下唇との境目）を基準に特定される。
【０１９３】
そして、上唇と下唇の位置を特定後、画像処理部２２は、撮像画像中の口の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１９４】
図２６は、口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２６（ａ）に示すように、画像処理部２２は、両唇を覆うように４行８列の参照領域を設定する。そして、図２６（ｂ）に示すように、２つの領域グループＡ４，Ｂ４を設定する。これら領域グループは、上唇及び下唇のそれぞれに対して設定されるものであり、具体的には２行８列の参照領域を含んで設定される。
【０１９５】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１９６】
このように、参照領域は、特定した口の位置に設定される。なお、第２実施形態との相違点である口の位置の特定処理、及び参照領域の設定処理は、口の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１９７】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１９８】
ここで、口の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２７は、口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１９９】
まず、図２７（ａ）に示すように、時刻ｔにおいて運転者の口は閉じている状態となっている。その後、時刻（ｔ＋１）において運転者が口を開け始める。このとき、図２７（ｂ）に示すように、運転者の下唇の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。一方、画像横方向（Ｘ方向）については、オプティカルフローがあまり検出されない。また、上唇については、画像縦方向にも横方向にもオプティカルフローが検出されない。
【０２００】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２７（ｃ）に示すように、運転者の下唇の部分には画像縦方向だけにオプティカルフローが検出される。一方、上唇にはオプティカルフローが検出されない。
【０２０１】
図２８は、口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２８では、運転者が口を開け、その後口を閉じるまでに得られるパターンを示している。
【０２０２】
運転者が口を開ける動作を行う場合、図２７に示したように、下唇については画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。また、上唇については画像縦方向及び横方向の双方で、オプティカルフローがあまり検出されない。
【０２０３】
このため、得られる実状態パターンＰ６〜Ｐ９は、図２８に示すようになる。なお、以下において、口の開閉を検出する場合に下唇について得られる実動作パターンを下唇動作パターンＰ６，Ｐ７とする。また、上唇について得られる実動作パターンを上唇動作パターンＰ８，Ｐ９とする。
【０２０４】
図２８に示すパターンＰ６〜Ｐ９を具体的に説明する。まず、画像縦方向についての下唇動作パターンＰ６については、運転者が口を閉じている状態（時刻６６０〜６７５の期間）において移動位置が「０」付近となっている。その後、運転者が口を開け始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「３０」画素付近まで上昇する（時刻６７５〜７００の期間）。
【０２０５】
そして、運転者が口と開き続けている状態（時刻７００〜７１０の期間）では、移動位置は「３０」画素付近を維持し続ける。その後、運転者が口を閉じ始めると、移動位置は次第に減少する（時刻７１０〜７１６の期間）。そして、運転者が口を閉じると（時刻７１０〜７３４の期間）、移動位置は「５」画素付近を維持し続ける。ここで、移動位置は「５」画素付近となっているのは、誤差分が検出されたためである。
【０２０６】
一方、画像横方向についての下唇動作パターンＰ７は、画像横方向にオプティカルフローがあまり検出されないことから、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。また、上唇の動作パターンＰ８，Ｐ９も同様に、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。
【０２０７】
上記のような上唇及び下唇動作パターンＰ６〜Ｐ９が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示した場合のパターンを記憶している。このため、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９とと、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示す記憶動作パターンとの相関が最も高かった場合に運転者の運転者の口の開動作又は閉動作を検出することとなる。
【０２０８】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。なお、口の開閉を検出する場合では、記憶動作パターンとして「ａ」「ｉ」「ｕ」「ｅ」「ｏ」の発音時のデータを記憶部２４ａに記憶させておくことにより、発音の推定装置等に応用することができる。すなわち、音声入力のナビゲーション装置等に応用が可能である。
【０２０９】
また、記憶動作パターンとしてあくびの際の口の動きのデータを記憶部２４ａに記憶させておくことにより、あくび検出の装置等に応用することができる。さらには、あくび検出することにより、運転者の覚醒度の評価や居眠検出装置等に応用することもできる。
【０２１０】
なお、上記口の開閉の検出は、比較的精度の高いものとなっている。これは、本実施形態が上唇と下唇のそれぞれの動きを検出ことに起因している。例えば、口の動き全体を捕らえて口の開閉を検出する場合、運転者が顔を多少上下に動かしたときには、口の開閉なのか顔の上下動作なのか区別が付きにくくなってしまう。
【０２１１】
ところが、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くということに着目し、この動きを検出して口の開閉を判断している。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２１２】
次に、表情の変化について説明する。表情の変化を検出する場合、画像処理部２２は、顔の位置を特定する。そして、顔の目や鼻等の位置を特定する。この特定に際しては、まず、目の座標位置を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における鼻、口、頬、眉等の顔の各部位の座標位置を特定する。
【０２１３】
そして、顔の各部位を特定後、画像処理部２２は、撮像画像中の顔全体に参照領域を設定すると共に、顔の各部位毎に複数の参照領域を含んだ領域グループを設定する。
【０２１４】
図２９は、表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２９（ａ）に示すように、画像処理部２２は、顔全体を覆うように１４行１６列の参照領域を設定する。
【０２１５】
そして、図２９（ｂ）に示すように、１１の領域グループＡ５〜Ｋ５を設定する。詳細には、領域グループＡ５〜Ｄ５は、右眉、左眉、右目及び左目位置に対して設定されるものであり、具体的にはそれぞれ３行８列の参照領域を含んで設定される。また、領域グループＥ５，Ｇ５，Ｉ５，Ｊ５は、右頬、左頬、右顎及び左顎位置に対して設定されるものであり、具体的にはそれぞれ４行４列の参照領域を含んで設定される。
【０２１６】
さらに、領域グループＦ５，Ｈ５，Ｋ５は、鼻、上唇及び下唇位置に対して設定されるものであり、具体的には３行８列、１行８列、４行４列の参照領域を含んで設定される。
【０２１７】
そして、画像処理部２２は、参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０２１８】
このように、参照領域は、顔の各部位の位置に設定される。なお、顔の表情検出において第２実施形態との相違点は、運転者状態の検出に影響を与え、運転者状態の検出ができなくなる程のものではない。
【０２１９】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０２２０】
ここで、表情の変化を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図３０は、表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図である。また、図３１は、図３０に示したオプティカルフローを簡略化して示す説明図である。なお、図３０及び図３１においては、運転者が眉をひそめる動作をする場合のオプティカルフローを示している。
【０２２１】
まず、図３０（ａ）に示すように、時刻ｔにおいて運転者の表情は通常の状態となっている。その後、時刻（ｔ＋１）において運転者が眉をひそめ始める。このとき、図３０（ｂ）に示すように、眉及び目付近にオプティカルフローが検出される。 そして、時刻（ｔ＋２）において運転者が眉をひそめると、図３０（ｃ）に示すように、オプティカルフローが検出されなくなる。
【０２２２】
時刻ｔ〜（ｔ＋２）までの様子を図３１に示す。同図に示すように、運転者が眉をひそめる動作を行うと、眉の位置はやや画像縦方向に移動する傾向がある。また、目にも僅かな動きが見られる。
【０２２３】
図３２は、表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図３２では、図３０及び図３１にて示した眉をひそめる動作をしたときに得られるパターンを示している。
【０２２４】
図３０及び図３１からの明らかなように、運転者が眉をひそめる動作を行う場合、眉及び目付近にオプティカルフローが検出される。このため、得られる実動作パターンは、図３２に示すようになる。
【０２２５】
図３２に示すように、時刻ｔ〜（ｔ＋２）を通じて、眉及び目にオプティカルフローが得られることから、これらの移動位置にそれぞれ変化が見られる。これに対し、眉及び目以外の顔部位については殆ど変化が見られない。
【０２２６】
上記のような顔の特徴部位毎に実動作パターンが得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、顔の特徴部位毎に実動作パターンと、記憶部２４ａに記憶される記憶動作パターンとに基づいて、運転者の表情を検出することとなる。
【０２２７】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。
【０２２８】
ここで、表情の変化についての記憶動作パターンを各表情毎に記憶させておくことが望ましい。この場合、種々の表情を検出することが可能となる。このため、例えば、従来では区別することが困難である笑っている状態と目を細めている状態との判別が可能となる。
【０２２９】
なお、本実施形態では、表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行うため、より有用なものとなっている。例えば、運転者が眉をひそめる動作を行った場合には、制御装置３０にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置３０にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができるため、非常に有用なものとなっている。
【０２３０】
ここで、表情を認識するのみの装置は、特開平４−３４２０７８号公報に開示されている。本実施形態では、この従来技術と同様の方法にて表情を検出することもできる。
【０２３１】
以上が身体状態の検出の説明である。また、第３実施形態においては、第２実施形態と同様に、検出した結果に基づいて、他の運転者状態又は／及び身体状態についての検出を抑止する機能を有している。このため、状態検出部２４は、まず、画像処理部２２により求められたオプティカルフローから、検出対象のうち少なくとも１つの状態を検出する。そして、その結果に基づいて、抑止信号の送出の可否を判定し、条件を満たしていれば抑止信号を動作検出部２３に送出することとなる。
【０２３２】
つまり、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象とし、この検出対象のうち少なくとも１つの状態を検出し、検出した結果に基づいて、他の状態以外の状態についての検出を抑止することとなる。
【０２３３】
これにより、第２実施形態と同様に他の状態の検出について誤検出していしまうことを防止している。
【０２３４】
このようにして、第３実施形態に係る状態検出装置２０ｂでは、第２実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２３５】
また、第２実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２３６】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２３７】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２３８】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２３９】
また、本実施形態に係る状態検出装置２０ｂでは、瞼動作のパターンが画像縦方向に所定の移動を示した後に、所定の移動分復帰を示した場合に、運転者の瞬きが検出されている。このように、本実施形態ではオプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２４０】
また、口の開閉の検出は、比較的精度の高いものとなっている。すなわち、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くという動作に着目し、この動きを検出して口の開閉を判断している。このため、顔を上下させたときと口の開閉との区別が明確となっている。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２４１】
また、顔の特徴部位である目や鼻等の実動作パターンと、予め記憶される記憶動作パターンとに基づいて、運転者の表情を検出している。また、本実施形態では、この表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行っている。このため、例えば運転者が眉をひそめる動作を行った場合には、制御装置にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
【０２４２】
なお、本実施形態では、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象としていればよいため、３つ以上であっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の状態の検出を抑止するので、６つのうち３つの検出結果に基づいて、残り２つの状態の検出を抑止するようにしてもよい。また、検出結果の数、及び検出を抑止する状態の数は、これに限らず、適宜変更することができる。
【０２４３】
次に本発明の第４実施形態を説明する。第４実施形態では、第３実施形態の構成に加えて、新たに車両状態検出手段と環境情報検出手段とを備えている。以下、第４実施形態について説明する。
【０２４４】
図３３は、第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。同図に示すように、状態検出システム１ｃは、車両の状態を検出する車両状態検出手段４０と、車両の周囲環境を検出する環境情報検出手段５０とを備えている。
【０２４５】
具体的に車両状態検出手段４０は、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態を１つ以上検出するものである。
【０２４６】
環境情報検出手段５０は、ＧＰＳやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【０２４７】
また、環境情報検出手段５０は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの１つ以上から構成されて、車両周辺の情報を検出するものである。この構成により、環境情報検出手段５０は、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出する。
【０２４８】
さらに、環境情報検出手段５０は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものでもある。
【０２４９】
また、状態検出装置２０ｃは、車両状態検出手段４０からの信号Ｓｃと、環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態（運転者状態、身体状態）を変更する機能を有している。
【０２５０】
例えば、状態検出装置２０ｃは、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Ｓｄに基づいて、運転者の顔の向きを検出対象とする。
【０２５１】
また、状態検出装置２０ｃは、車速が設定速度以下であるという車両の状態信号Ｓｃに基づいて、渋滞を判断し、運転者が眠気を感じているか等を検出すべく、表情の変化を検出対象とする。
【０２５２】
このようにして、本実施形態に係る状態検出装置２０ｃによれば、第３実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２５３】
また、第３実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２５４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２５５】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２５６】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２５７】
また、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。さらに、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２５８】
また、比較的精度の高い口の開動作及び閉動作の検出が可能となっており、さらには、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
さらに、車両状態検出手段４０からの信号Ｓｃ、及び環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態を変更する。このため、各状態・環境に応じて適切な運転者・身体状態を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【図２】図１に示した状態検出装置２０の詳細構成を示すブロック図である。
【図３】本実施形態に係る状態検出装置２０の動作の概略を示すデータフローダイヤグラムである。
【図４】本実施形態に係る状態検出装置２０の動作の概略を示す説明図である。
【図５】参照領域及び探索領域の説明図である。
【図６】撮像画像に規則的に配置される参照領域の説明図であり、（ａ）は参照領域を画像横方向に配置したときの例を示し、（ｂ）は参照領域を格子状に配置したときの例を示し、（ｃ）は参照領域を画像横方向且つ格子状に配置したときの例を示している。
【図７】領域グループの説明図であり、顔の向きを検出する場合の例を示している。
【図８】領域グループの説明図であり、運転者の顔以外のものの撮像範囲内屁への出入を検出する場合の例を示している。
【図９】図２に示した画像処理部２２の動作を示すフローチャートである。
【図１０】図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図１１】図９に示すステップＳＴ１２の処理の説明図である。
【図１２】運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。
【図１３】運転者の有無を検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は乗車前におけるオプティカルフローの例を示し、（ｂ）は乗車最中におけるオプティカルフローの例を示し、（ｃ）は乗車完了後におけるオプティカルフローの例を示している。
【図１４】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が目付近に手を移動させたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１５】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１６】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１７】図２に示した動作検出部２３の動作を示すフローチャートである。
【図１８】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【図１９】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【図２０】検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。
【図２１】図２に示した状態検出部２４の動作を示すフローチャートである。
【図２２】状態検出部２４が行う抑止制御処理を示すフローチャートである。
【図２３】瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２４】瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２５】瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２６】口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２７】口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２８】口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２９】表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図３０】表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図３１】図３０に示したオプティカルフローを簡略化して示す説明図である。
【図３２】表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。
【図３３】第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【符号の説明】
１〜１ｃ…状態検出システム
１０…撮像装置
２０〜２０ｃ…状態検出装置
２１…画像取得部（画像取得手段）
２２…画像処理部（画像処理手段）
２３…動作検出部（動作検出手段）
２４…状態検出部（状態検出手段）
２４ａ…記憶部（パターン記憶手段）
２５…状態信号出力部（信号出力手段）
３０…制御装置（制御手段）
４０…車両状態検出手段
５０…環境情報検出手段
Ａ〜Ｋ…領域グループ
Ｃ１，Ｃ２…変化量
Ｄ…記憶動作パターン
Ｐ…実動作パターン
Ｐ４，Ｐ５…瞼動作パターン
Ｐ６，Ｐ７…下唇動作パターン
Ｐ８，Ｐ９…上唇動作パターン
Ｓａ…ビデオ信号
Ｓｂ…電気信号
Ｓｃ…状態信号
Ｓｄ…環境信号
【発明の属する技術分野】
本発明は、状態検出装置及び状態検出システムに関する。
【０００２】
【従来の技術】
従来、運転者の身体を撮像手段にて撮像し、得られた画像に基づいて運転者等の状態を検出する状態検出装置が知られている。
【０００３】
その１つとして、例えば、目の特徴に基づいて画像上における目の座標を検出し、目の縦幅の変化量から瞼の開閉を検出し、目を閉じている時間と頻度により運転者の覚醒度を検出して居眠りを検出する状態検出装置が知られている（例えば特許文献１参照）。
【０００４】
また、連続して得られた顔画像の差分画像を利用し、運転者の顔の向きを推定して脇見検出を行ったり、顔の動きが少なくなる状態を検出して運転者の意識低下を検出したりする状態検出装置が知られている（例えば特許文献２参照）。
【０００５】
また、車両の走行環境に基づいて運転者が見るべき領域を予測し、運転者の視線領域を検出して、この領域を運転者が見たか否かを検出する状態検出装置が知られている（例えば特許文献３参照）。なお、この装置は、運転者が見るべき領域を視認しなかった場合には、その旨を運転者に報知する機能も有している。
【０００６】
また、連続して得られた運転者の身体画像の差分画像を利用し、運転者の乗車姿勢を検出する状態検出装置が知られている（例えば特許文献４参照）。
【０００７】
また、あらかじめ作成した表情遷移マップを利用し、運転者の連続する顔画像から表情遷移を読み取り、運転者の覚醒レベルを検出する状態検出装置が知られている（例えば特許文献５参照）。
【０００８】
このように従来の装置では、それぞれ運転者等の状態を検出することが可能となっている。
【０００９】
【特許文献１】
特開平１０−４０３６１号公報
【００１０】
【特許文献２】
特開平１１−１６１７９８号公報
【００１１】
【特許文献３】
特開２００２−８３４００号公報
【００１２】
【特許文献４】
特開２０００−１１３１６４号公報
【００１３】
【特許文献５】
特開２００１−４３３４５号公報
【００１４】
【発明が解決しようとする課題】
上記状態検出装置では、検出したい状態に応じて最適な手法が選択されており、装置内には最適な手法を行う機器等が実装されている。具体的に、従来の状態検出装置は、検出したい状態に応じてそれぞれ画像処理方法が異なっている。このため、上記状態検出装置は、様々な状態のうち特定の状態しか検出できないことが多く、様々な状態を検出するためには、複数の画像処理方法を行う機器等を実装して装置を構成することとなる。
【００１５】
しかしながら、上記のように複数の画像処理を実行する場合、費用がかさばると共に、画像処理内容によっては同時実行が不可能となってしまう可能性がある。
【００１６】
【課題を解決するための手段】
本発明によれば、画像処理手段は、運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、状態検出手段は、画像処理手段により求められたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する。
【００１７】
【発明の効果】
本発明によれば、運転者の顔の向き、運転者の顔以外のものの撮像範囲への出入、運転者の有無については、いずれを検出対象とするとしてもオプティカルフローによる１つの画像処理方法を用いている。
【００１８】
故に、上記３つの運転者状態のうち１つを検出する装置を構成した場合、後に他の運転者状態を検出するように装置のグレードアップ等を図りたいときには、共通しない処理部分だけを組み込むようにすればよい。これにより、グレードアップ等に際し、全く異なる処理を行う装置を組み込む場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【００１９】
また、３つの運転者状態のうち、２つ以上を検出する場合には、画像処理方法が共通なので、異なる画像処理処理を行う装置を実装している場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【００２０】
従って、費用面及び汎用性の面での向上を図ることができる。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態においては、状態検出システムを車両に搭載した場合を例に説明する。また、以下の説明において、移動量とは移動速度と移動方向とを含むものとする。さらに、この移動量をオプティカルフローと称呼するものとする。
【００２２】
図１は、本発明の第１実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。なお、第１実施形態においては、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち少なくとも１つを検出対象として検出する状態検出システムを例に説明する。
【００２３】
同図に示すように、本実施形態の状態検出システム１は、運転者の顔の向き等を検出するものであり、撮像装置（撮像手段）１０と状態検出装置２０と制御装置（制御手段）３０を備えている。
【００２４】
撮像装置１０は、運転者が着座したときに運転者の身体が存する位置を撮像範囲内に含んでおり、この撮像範囲を時系列的に撮像するものである。具体的に撮像装置１０は、可視光を撮像するためのＣＣＤカメラやＣＭＯＳカメラ、近赤外光にて撮像するカメラ、及び人等の発する熱を遠赤外にて撮像するカメラ等の少なくとも１つから構成されている。
【００２５】
また、撮像装置１０は、例えば運転者の正面下方に設置され、運転者の頭部を含む画像を取得し、得られた撮像画像のデータをビデオ信号Ｓａとして状態検出装置２０に送出する。なお、撮像装置１０は、運転者の有無のみを検出対象とする場合、運転者の胴体などを撮像するようにされていてもよいが、以下において撮像装置１０は運転者の頭部を撮像するものとする。
【００２６】
状態検出装置２０は、撮像装置１０からの撮像画像のデータに基づいて、所定の処理を実行し、３つの運転者状態のうち少なくとも１つを検出するものである。
【００２７】
状態検出装置２０の詳細を図２に示す。図２は、図１に示した状態検出装置２０の詳細構成を示すブロック図である。
【００２８】
状態検出装置２０は、撮像装置１０からの撮像画像のデータであるビデオ信号Ｓａを入力する画像取得部（画像取得手段）２１を備えている。また、状態検出装置２０は、画像取得部２１により入力された撮像画像のデータを画像処理して、撮像画像間のオプティカルフローを求める画像処理部（画像処理手段）２２を有している。さらに、状態検出装置２０は、求めたオプティカルフローから運転者の動作を検出する動作検出部（動作検出手段）２３と、３つの運転者状態のうち少なくとも１つを検出する状態検出部２４とを具備している。さらには、状態検出装置２０は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する状態信号出力部（信号出力手段）２５を備えている。
【００２９】
また、制御装置３０は、状態信号出力部２５からの電気信号Ｓｂに基づいて、所定の処理、例えばシートベルト制御処理、エアバッグ制御処理、警報処理等を行うものである。
【００３０】
ここで、上記各部２１〜２５うち画像取得部２１及び画像処理部２２は、３つの運転者状態のうちいずれを検出するとしても、行う処理が共通している。次に、処理の共通部分である画像取得部２１及び画像処理部２２の基本動作、並びに動作検出部２３、状態検出部２４及び状態信号出力部２５の動作の概略を図３〜図８を参照して説明する。図３は、本実施形態に係る状態検出装置２０の動作の概略を示すデータフローダイヤグラムであり、図４は、本実施形態に係る状態検出装置２０の動作の概略を示す説明図である。
【００３１】
まず、撮像装置１０により運転者の顔を含む画像が撮像され（図４ａに示す画像）、その画像がビデオ信号Ｓａとして画像取得部２１に入力される。
【００３２】
撮像装置１０からのビデオ信号Ｓａを入力すると、画像取得部２１は、横幅３２０画素、縦幅２４０画素、１画素あたり８ｂｉｔ（２５６階調）の濃淡データを示す２次元のディジタルデータに変換する。変換後、画像取得部２１は、変換したデータを記憶領域に格納し、格納した撮像画像データを画像処理部２２に出力する。
【００３３】
画像処理部２２は、画像取得部２１からの撮像画像のデータに基づいて、撮像画像間のオプティカルフローを求める（図７ｂ）。この際、画像処理部２２は、領域データを入力し、この領域データにより定義される領域毎（演算領域毎）にオプティカルフローを求める。そして、画像処理部２２は、求めた各領域毎のオプティカルフローのデータを動作検出部２３に送出する。
【００３４】
ここで、上記領域及び領域データについて説明する。上記領域データとは、撮像画像中に領域を定めるための位置及び大きさを示すデータである。また、上記領域は、それぞれ異なる時刻にて取得された画像に対し、領域データに基づいて１又は複数設定されるものであり、具体的には以下の参照領域と探索領域とを示すものである。
【００３５】
図５は、参照領域及び探索領域の説明図である。なお、参照領域と探索領域とは、それぞれ時刻を異にする撮像画像に設定されるものであるが、図５においては、便宜上、幅ｗ画素，高さｈ画素の１つの画像上に表して説明する。
【００３６】
同図に示すように、参照領域は、特定の点Ｏを中心として設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、点Ｏを中心として設定される幅ｓｗ画素，高さｓｈ画素の領域である。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定される。
【００３７】
このように、これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。なお、ここでの参照領域及び探索領域は、運転者の顔の位置等に依存せず、予め定められた位置及び大きさで設定される。
【００３８】
また、参照領域は、規則的に配置されることが望ましい。図６は、撮像画像に規則的に配置される参照領域の説明図である。参照領域は、例えば図６（ａ）に示すように、撮像画像上の横方向に複数（例えば７つ）配置される。また、図６（ｂ）に示すように、参照領域は、撮像画像上に格子状に複数（例えば５行７列）配置される。さらには、図６（ｃ）に示すように、参照領域は、横方向に且つ格子状に複数（例えば３行５列に加え、さらに横方向に２つの計１７）配置されてもよい。
【００３９】
また、さらに参照領域は、カメラの位置、カメラの画角、及び撮像画像中における顔の占める割合等から、目、鼻又は口等の顔の部位の大きさ程度に固定的に設定されることが望ましい。
【００４０】
再度、図３及び図４を参照して説明する。オプティカルフローの算出後、動作検出部２３は、画像処理部２２により求められた各領域毎のオプティカルフローから運転者の動き、すなわち実動作パターンを求める（図４ｃ）。この際、動作検出部２３は、各領域グループ毎に実動作パターンを求める。そして、動作検出部２３は、求めた実動作パターンのデータを状態検出部２４に送出する。
【００４１】
上記領域グループについて説明する。領域グループとは、上記参照領域の少なくとも１つからなるものである。図７及び図８を参照して領域グループの例を説明する。図７及び図８は領域グループの説明図である。なお、図７及び図８においては参照領域が撮像画像上に格子状（５行７列）に配置された場合を例に説明する。
【００４２】
まず、図７に示すように、領域グループＡ１〜Ｉ１は、それぞれ９つの参照領域を含むようにされている。具体的に領域グループＡ１〜Ｉ１は３行３列分の参照領域を含み、領域グループＡ１は、１〜３行目の１〜３列目の参照領域を含んでいる。また、領域グループＢ１〜Ｄ１は、それぞれ１〜３行目の５〜７列目、３〜５行目の１〜３列目、３〜５行目の５〜７列目の参照領域を含んでいる。また、領域グループＥ１〜Ｆ１は、それぞれ１〜３行目の３〜５列目、３〜５行目の３〜５列目の参照領域を含んでいる。さらに、領域グループＧ１〜Ｉ１は、２〜４行目の２〜４列目、２〜４行目の４〜６列目、２〜４行目の３〜５列目の参照領域を含んでいる。
【００４３】
また、図８に示すように、領域グループＡ２〜Ｈ２のそれぞれが３〜５つの参照領域を含むようにしてもよい。この例の場合、領域グループＡ２は、１行目の１，２列目及び２行１列目の参照領域を含んでいる。また、領域グループＢ２〜Ｄ２は、それぞれ１行目の６，７列目及び２行７列目、４行目の１列目及び５行１，２列目、４行目の７列目及び５行６，７列目の参照領域を含んでいる。また、領域グループＥ２〜Ｆ２は、それぞれ１行目の２〜６列目、５行目の２〜６列目の参照領域を含んでいる。さらに、領域グループＧ２〜Ｈ２は、２〜４行目の１列目、２〜４行目の７列目の参照領域を含んでいる。
【００４４】
このように、領域グループは、少なくとも１つの参照領域を含む大きさで撮像画像に設定されるものである。そして、動作検出部２３は、領域グループ毎に実動作パターンを求めることとなる。
【００４５】
パターンの算出後、状態検出部２４は、実動作パターンと記憶動作パターンとに基づいて、３つの運転者状態のうち少なくとも１つをする。具体的に、状態検出部２４は、実動作パターンと予め記憶される複数の記憶動作パターンそれぞれとの相関を計算し、最も相関の高い記憶動作パターンを検出結果として得る（図７ｄ）。
【００４６】
ここで、複数の記憶動作パターンは、実際の運転者の動きに基づいて予め得られる特徴量からなるものであり、状態検出部２４の内部に設けられた記憶部（パターン記憶手段）２４ａに記憶されている。状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出し、これら記憶動作パターンと求めた実動作パターンとを比較していく。そして、状態検出部２４は、比較により得られた検出結果を状態信号出力部２５に出力する。
【００４７】
状態信号出力部２５は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する。そして、電気信号Ｓｂを受けた制御装置３０は、その信号に基づいて各種動作を行うこととなる。
【００４８】
次に、図９〜図１５を参照して、第１実施形態に係る状態検出装置２０の動作を詳細に説明する。
【００４９】
図９は、図２に示した画像処理部２２の動作を示すフローチャートである。
【００５０】
まず、画像処理部２２は、画像取得部２１から撮像画像のデータであるビデオ信号Ｓａを入力する。そして、画像処理部２２は、画像取得部２１からの撮像画像にスムージングフィルタを適応し、所定の式にて画素値を変換する（ＳＴ１０）。ここで、スムージングフィルタは、以下に示す５行５列からなるフィルタである。
【００５１】
【数１】
【００５２】
【数２】
【００５３】
その後、画像処理部２２は、現在の撮像画像の探索領域内から、前回の撮像画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）、すなわちオプティカルフローを算出する（ＳＴ１１）。具体的には、画像処理部２２は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部２２は、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出し、オプティカルフローとする。
【００５４】
ここで、ステップＳＴ１１について詳細に説明する。上述したように、撮像画像上には予め複数の参照領域が設定されている。また、探索領域は各参照領域を取り囲むように設定される。また、参照領域と探索領域とは時間を異にして設定される。具体的には、図１０に示すように、参照領域は時刻ｔにおいて設定され、探索領域は時刻ｔ後の時刻（ｔ＋１）において設定される。
【００５５】
図１０は、図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。ステップＳＴ１１の処理において、画像処理部２２は、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。そして、画像処理部２２は、探索領域内の所定箇所に候補領域を設定し、設定した候補領域と参照領域とを比較等して類似度を求める。次に、画像処理部２２は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００５６】
その後、画像処理部２２は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００５７】
【数３】
【００５８】
以上から、画像処理部２２は、類似度が最大となる位置Ｓを定め、点Ｓと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として取得し、これをオプティカルフローとする。
【００５９】
再度、図９を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部２２は、類似度の範囲が閾値以上か否かを判断する（ＳＴ１２）。
【００６０】
ここでの判断を図１１を参照して説明する。図１１は、図９に示すステップＳＴ１２の処理の説明図である。画像処理部２２は、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。そして、画像処理部２２は、得られた類似度の分散を求める。
【００６１】
例えば、図１１に示すように、各箇所における類似度を変化量として表した場合、変化量Ｃ１では分散値が小さく、分散の範囲が狭いと言える。一方、変化量Ｃ２では変化量Ｃ１よりも分散値が大きく、分散の範囲も大きいと言える。
【００６２】
ここで、分散の範囲が狭い場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｓの検出が不正確になりやすい。このため、図９のステップＳＴ１２の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００６３】
再度、図９を参照して説明する。類似度の範囲が閾値以上であると判断した場合（ＳＴ１３：ＹＥＳ）、画像処理部２２は、参照領域を有効な領域とし、ｆｄに「１」を代入する（ＳＴ１３）。そして、処理はステップＳＴ１５に移行する。
【００６４】
一方、類似度の範囲が閾値以上でないと判断した場合（ＳＴ１２：ＮＯ）、画像処理部２２は、参照領域を無効な領域とし、ｆｄに「０」を代入する（ＳＴ１４）。そして、処理はステップＳＴ１５に移行する。このように、画像処理部２２は、類似度（特徴量の１つ）の変化量と、予め設定される閾値とを比較することにより、オプティカルフローの計算に用いるか否かを判断している。
【００６５】
ステップＳＴ１５において、画像処理部２２は、領域の数だけ上記のステップＳＴ１１〜ＳＴ１４を行ったか否かを判断する（ＳＴ１５）。すなわち、画像処理部２２は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００６６】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１１に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ１１〜ＳＴ１４の処理を繰り返すこととなる。
【００６７】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ１５：ＹＥＳ）、画像処理部２２は、各参照領域毎のオプティカルフローのデータを動作検出部２３に送信する。その後、画像処理部２２による処理は終了する。
【００６８】
なお、以上の図９に示した画像処理部２２の動作は、３つの運転者状態のうちいずれを検出する場合であっても共通している。
【００６９】
ここで、３つの運転者状態のそれぞれにおけるオプティカルフローの例を説明する。図１２は、運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、図１３は、運転者の有無を検出する場合のオプティカルフローの例を示す説明図である。また、図１４〜図１６は、運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図である。なお、図１４は、運転者が目付近に手を移動させたときのオプティカルフローの例を示しており、図１５は、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示している。また、図１６は、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示している。
【００７０】
まず、図１２を参照して説明する。時刻ｔにおいて運転者は前方を視認している（図１２（ａ））。その後、時刻（ｔ＋１）において、運転者は交差点の確認等を行うべく、顔を左方に向ける。このとき、オプティカルフローが検出される（図１２（ｂ））。ここで、画像中の四角で表示されている領域は、参照領域であり、各参照領域から伸びる線分は、各部位の移動量、すなわちオプティカルフローを示している。
【００７１】
その後、時刻（ｔ＋２）において、運転者は顔をさらに左方に向ける。このときも同様に、オプティカルフローが検出される（図１２（ｃ））。そして、時刻（ｔ＋３）において運転者は顔を左上方に向けると、同様にオプティカルフローが検出される（図１２（ｄ））。
【００７２】
なお、図１２中において、参照領域を示す四角枠が実線にて図示されているものは、図９のステップＳＴ１２にて「ＮＯ」と判断され、無効領域とされた参照領域であり、四角枠が破線にて図示されているものは、図９のステップＳＴ１２にて「ＹＥＳ」と判断され、有効領域とされた参照領域である。これは、以下の図１３〜図１６においても同様とする。
【００７３】
次に、図１３を参照して説明する。まず、運転者の乗車前の状態において画像内の物体等には当然に動きが見られず、オプティカルフローは検出されない。また、参照領域の多くが無効領域となっている（図１３（ａ））。その後、運転者が乗車し始めると、運転者の動きが検出されてオプティカルフローが算出される。また、この際に、参照領域の一部が有効領域となる（図１３（ｂ））。その後、運転者は乗車を完了する。このとき、運転者は一端静止状態となるため、オプティカルフローの検出量は少なくなるが、運転者は完全には停止することができず僅かながら動くため、参照領域の殆どが有効領域となる（図１３（ｃ））。
【００７４】
なお、図１３においては、オプティカルフローが非常に僅かしか検出されなかった場合、参照領域から伸びる線分の図示を省略している。これは、以下の図１４〜図１６についても同様とする。
【００７５】
次に、図１４を参照して説明する。まず、時刻ｔにおいて運転者は前方を視認している（図１４（ａ））。その後、時刻（ｔ＋１）において、運転者は手を目付近に移動させる。このとき、撮像画像の一部にオプティカルフローが検出される（図１４（ｂ））。その後、時刻（ｔ＋２）においては、運転者の手の動きは殆どなく、オプティカルフローの検出量は少なくなる（図１４（ｃ））。
【００７６】
次に、図１５を参照して説明する。まず、時刻ｔにおいて運転者は、前方を視認している状態から、道路マップ等を見ようとして一端視線を落とす。このとき、僅かながら顔自体も下方へ移動するため、僅かにオプティカルフローが検出される（図１５（ａ））。その後、時刻（ｔ＋１）において、運転者は道路マップ等を持ち上げる。このとき、撮像画像の中央のやや下方にオプティカルフローが検出される（図１５（ｂ））。その後、時刻（ｔ＋２）において運転者は、道路マップ等を注視し、動きが殆どなくなる。このため、オプティカルフローの検出量は少なくなる（図１５（ｃ））。
【００７７】
次に、図１６を参照して説明する。まず、時刻ｔにおいて運転者は直進道路を運転している（図１６（ａ））。その後、時刻（ｔ＋１）において、運転者は右折動作を行う。このとき、撮像範囲内にハンドルのスポーク部が進入し、オプティカルフローが検出される（図１６（ｂ））。その後、時刻（ｔ＋２）において、運転者がさらに右折方向へハンドルを切ると、さらにオプティカルフローが検出される（図１６（ｃ））。
【００７８】
なお、オプティカルフローの計算方法は本実施形態の他に、八木信行監修， ”ディジタル映像処理”， 映像情報メディア学会編， ｐｐ．１２９−１３９， ２０００， オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００７９】
次に、動作検出部２３の処理を説明する。図１７は、図２に示した動作検出部２３の動作を示すフローチャートである。なお、以下に説明する動作検出部２３による処理は、運転者の有無を検出する場合には実行されないこととなる。
【００８０】
また、図１７に示す処理では、検出対象が運転者の顔の向きである場合と、運転者の顔以外のものの撮像範囲内への出入である場合とでは、領域グループの設定が異なっている。
【００８１】
まず、領域グループの相違について説明する。検出対象が運転者の顔の向きである場合、領域グループは、図７に示したように設定される。すなわち、９つの領域グループＡ１〜Ｉ１のそれぞれが３行３列の９つの参照領域を含むように設定される。
【００８２】
一方、検出対象が運転者の顔以外のものの撮像範囲内への出入である場合、領域グループは、図８に示したように設定される。すなわち、８つの領域グループＡ２〜Ｈ２のそれぞれが３〜５つの参照領域を含むように設定される。
【００８３】
ここで、領域グループの設定方法が異なるのには、以下の理由がある。すなわち、運転者の顔の向きを検出する場合には、運転者の顔の位置が画像上のどの位置に移動しても動きをとらえる必要がある。このため、画像全体に領域グループを設定することが望ましくなる。一方、運転者の顔以外のものの撮像範囲内への出入を検出する場合には、出入に特化して検出すればよく、画像の中心部に領域グループを設定する必要がなくなる。
【００８４】
このように、本実施形態では、検出対象に応じて領域グループの設定を異ならせ、それぞれ好適に検出できるようにしている。
【００８５】
次に、以上のような領域グループの相違を前提として、図１７のフローチャートを説明する。
【００８６】
まず、動作検出部２３は、複数の領域グループのうち処理の対象となるものを選択し、さらに、そのグループ内の参照領域のうちいずれか１つを選択する。
【００８７】
そして、動作検出部２３は、選択した領域グループについて、画像内の物体の移動量に関する数値ｘｍ，ｙｍ，ｃを「０」に初期化する（ＳＴ２０）。その後、動作検出部２３は、選択した参照領域が有効領域であるか否か、すなわちｆｄが「１」であるか否かを判断する（ＳＴ２１）。
【００８８】
ｆｄが「１」であると判断した場合（ＳＴ２１：ＹＥＳ）、動作検出部２３は、移動量であるオプティカルフローを積算する（ＳＴ２２）。具体的に、動作検出部２３は、「ｘｍ」を「ｘｍ＋ｘｄ」とし、「ｙｍ」を「ｙｍ＋ｙｄ」とし、「ｃ」を「ｃ＋１」とする。そして、処理はステップＳＴ２３に移行する。
【００８９】
一方、ｆｄが「１」でないと判断した場合（ＳＴ２１：ＮＯ）、動作検出部２３は、移動量であるオプティカルフローを積算することなく、処理はステップＳＴ２３に移行する。
【００９０】
ステップＳＴ２３において、動作検出部２３は、選択した領域グループ内のすべての参照領域について処理したか否かを判断する（ＳＴ２３）。いずれかの参照領域について処理をしてないと判断した場合（ＳＴ２３：ＮＯ）、処理はステップＳＴ２１に戻り、上記ステップＳＴ２１，ＳＴ２２を繰り返すこととなる。すなわち、動作検出部２３は、すべての参照領域について有効領域か否かを判断し、有効領域である場合には、移動量を積算するという処理を行っていく。
【００９１】
そして、順次移動量の積算等が行われ、すべての参照領域について処理した場合（ＳＴ２３：ＹＥＳ）、動作検出部２３は、ｃが「０」であるか否かを判断する（ＳＴ２４）。
【００９２】
「ｃ」が「０」であると判断した場合（ＳＴ２４：ＹＥＳ）、処理はステップＳＴ２６に移行する。一方、「ｃ」が「０」でないと判断した場合（ＳＴ２４：ＮＯ）、動作検出部２３は、積算した「ｘｍ」「ｙｍ」についての平均を求める（ＳＴ２５）。すなわち、動作検出部２３は、「ｘｍ＝ｘｍ／ｃ」及び「ｙｍ＝ｙｍ／ｃ」を実行し、平均の移動量を求める。
【００９３】
ここで、平均の移動量は、例えば前述の図１２に示すようなものである。図１２において平均移動量は、各画像（（ａ）を除く）の右下に矢印で示されている。なお、平均の移動量は、領域グループ毎に求められるものであるが、図１２では説明の便宜上、全体画像の平均の移動量を示すものとする。また、ここで示す平均の移動量は、顔の平均の移動量を示している。すなわち、顔の向きを検出対象としている場合の平均の移動量である。
【００９４】
再度、図１７を参照して説明する。動作検出部２３は、上記のような平均移動量の算出後、求めた平均移動量について、移動平均値（ａｘ，ａｙ）（動き量）を求める（ＳＴ２６）。移動平均を求める範囲は任意に定められており、例えば、動作検出部２３は、図１２（ｂ）、（ｃ）及び（ｄ）に示した平均移動量（矢印の大きさに相当）の平均を求めるなどする。
【００９５】
その後、動作検出部２３は、平均移動量の移動平均値（ａｘ，ａｙ）を積算する（ＳＴ２７）。具体的に、動作検出部２３は、「ｓｘ」を「ｓｘ＋ａｘ」とし、「ｓｙ」を「ｓｙ＋ａｙ」とする。
【００９６】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）の移動平均値（ｃｘ，ｃｙ）を求める（ＳＴ２８）。この移動平均を求める範囲についても任意に定められている。
【００９７】
そして、動作検出部２３は、積算値（ｓｘ，ｓｙ）と積算値の移動平均（ｃｘ，ｃｙ）の差から移動位置（ｖｘ，ｖｙ）を得る（ＳＴ２９）。具体的に、動作検出部２３は、「ｖｘ」を「ｓｘ−ｃｘ」とし、「ｖｙ」を「ｓｙ−ｃｙ」とする。
【００９８】
その後、動作検出部２３は、移動位置（ｖｘ，ｖｙ）をバッファに格納し、以前に求められていた一定時間分の移動位置（ｖｘ，ｖｙ）と現在の移動位置（ｖｘ，ｖｙ）とを現在の実動作パターンとする（ＳＴ３０）。
【００９９】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）が閾値以上であるか否かを判断する（ＳＴ３１）。積算値（ｓｘ，ｓｙ）が閾値以上でないと判断した場合（ＳＴ３１：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１００】
一方、積算値（ｓｘ，ｓｙ）が閾値以上であると判断した場合（ＳＴ３１：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であるか否かを判断する（ＳＴ３２）。積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下でないと判断した場合（ＳＴ３２：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０１】
一方、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であると判断した場合（ＳＴ３２：ＹＥＳ）、動作検出部２３は、平均移動量の移動平均値が閾値以下であるか否かを判断する（ＳＴ３３）。平均移動量の移動平均値が閾値以下でないと判断した場合（ＳＴ３３：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０２】
一方、平均移動量の移動平均値が閾値以下であると判断した場合（ＳＴ３３：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）を「０」に初期化する（ＳＴ３４）。そして、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０３】
なお、上記ステップＳＴ３１〜ＳＴ３４の処理は、以下の理由で行っている。
【０１０４】
例えば、運転者がシートに着座した場合、運転者の顔は撮像範囲の中心に位置するとは限らない。このため、撮像範囲内において運転者の顔位置の左右の範囲が等しくならなかった場合、運転者が顔を左右に動かすことにより、左右の範囲の差に起因して誤差が発生し、これが積算値（ｓｘ，ｓｙ）として累積されてしまう。また、種々の理由により誤差が累積されてしまう場合もある。そして、徐々に誤差が積算値（ｓｘ，ｓｙ）として累積されてしまうと、顔の向きの検出や顔以外のものの撮像範囲内への出入の検出に支障をきたしてしまう。
【０１０５】
そこで、上記ステップＳＴ３１にて、積算値（ｓｘ，ｓｙ）が閾値以上か否かを判断し、閾値以上の場合に積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。このように、所定の条件に基づいて積算値を初期化することにより、好適に検出対象を検出するようにしている。
【０１０６】
ただし、現に運転者が顔の向きを変えている段階や顔以外のものが撮像範囲内への出入している段階において積算値（ｓｘ，ｓｙ）を「０」に初期化してしまうと、初期化することによって逆に検出対象の検出に支障をきたしてしまう。そこで、ステップＳＴ３２及びＳＴ３３において、顔が動いていない状態や顔以外のものが撮像範囲内に出入していない状態であることを検出している。すなわち、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であり、且つ平均移動量の移動平均値が閾値以下であるという所定の条件に基づいて、積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【０１０７】
ステップＳＴ３５では、すべての領域グループについて処理したか否かが判断される（ＳＴ３５）。いずれかの領域グループについて処理をしてないと判断した場合（ＳＴ３５：ＮＯ）、処理は再度ステップＳＴ２０に戻り、同様の処理を行っていくこととなる。一方、すべての領域グループについて処理したと判断した場合（ＳＴ３５：ＹＥＳ）、動作検出部２３は領域グループ毎の実動作パターンデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１０８】
ここで、上記動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）のデータ、すなわち実動作パターンの例を図１８を参照して説明する。図１８は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【０１０９】
なお、図１８において、縦軸は移動位置を示しており、横軸は時刻を示している。また、図１８では、画像横方向（Ｘ方向）における移動位置のみを示し、画像縦方向（Ｙ方向）における移動位置は省略するものとする。さらに、図１８では、運転者が前方を視認している状態から、顔を左に向け、この後に、再度前方を視認する場合に所定の領域グループにて得られる実動作パターンの例を示している。
【０１１０】
同図に示すように、まず、運転者が車両前方を注視している場合（時刻３５０〜４１０の期間）、移動位置は、「０」付近となっている。
【０１１１】
次に、運転者が確認動作をして顔を左に向けた場合（時刻４１０〜４３０の期間）、移動位置が「−４５〜−４８」画素程度を示す。その後、しばらく間、運転者が左を向いているままの状態でいる場合（時刻４３０〜５６０の期間）、移動位置は「−４５〜−４８」画素程度を維持する。
【０１１２】
そして、運転者が再度車両前方に顔を向けると（時刻５６０〜５８０の期間）、移動位置が「０」付近に復帰する。その後、運転者が車両前方を注視し続けると（時刻５８０〜６５０の期間）、移動位置は「０」付近を維持し続ける。
【０１１３】
このように、動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）は、運転者の顔の向きを表し、この移動位置を時間経過的にとらえることで、実動作パターンＰ１が検出されることとなる。
【０１１４】
また、実動作パターンの他の例を図１９を参照して説明する。図１９は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【０１１５】
なお、図１９において、横軸は画像横方向（Ｘ方向）における移動位置を示しており、縦軸は画像縦方向（Ｙ方向）における移動位置を示している。さらに、図１９に示す実動作パターンは、図１６に示すようにハンドル操作した場合に、所定の領域グループにおいて得られる例を示している。
【０１１６】
図１６に示すように、ハンドルのスポーク部は、撮像画像上においてＸ軸及びＹ軸に負の方向に移動している。このため、時間経過的に得られたハンドルの移動位置（ｖｘ，ｖｙ）、すなわち、実動作パターンＰ２は、図１９に示すようにＸ軸及びＹ軸に負の方向に移動を示すものとなる。なお、ハンドルを左方向に切った場合には、上記と逆になり、図１９に示す実動作パターンＰ２を原点（０，０）に対してほぼ点対称としたパターンが得られることとなる。
【０１１７】
次に、検出対象が運転者の有無である場合の動作検出部２３による動作を説明する。検出対象が運転者の有無である場合、動作検出部２３は、上記図１７の処理を行わず、全参照領域のうち図９のステップＳＴ１２において「ＹＥＳ」と判断された参照領域の数を、時間経過的に求めて実動作パターンを得る。すなわち、全参照領域のうち有効領域であるものの数をカウントして実動作パターンを得る。
【０１１８】
図１３を参照して説明したように、運転者の乗車前の状態から乗車最中の状態を経て乗車完了に至るまでの間に、有効領域の数は徐々に増加する傾向がある。動作検出部２３は、この傾向を実動作パターンとして得る。
【０１１９】
図２０は、検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。なお、図２０において、縦軸は有効領域数を示し、横軸は時刻を示している。
【０１２０】
まず、運転者の乗車前の状態（時刻３５１４０〜３５１６４の期間）において有効領域数は５以下で安定している。その後、運転者が乗車し始めると、有効領域数は増加し始める（時刻３５１６４〜３５２０４の期間）。このとき、有効領域数は、６以上１５未満となる。そして、乗車完了の状態（時刻３５２０４〜３５２５０の期間）では、有効領域数はさらに増加し、１５以上となる。
【０１２１】
検出対象が運転者の有無である場合、動作検出部２３は、以上のような有効領域数の変化を実動作パターンＰ３として取得することとなる。なお、検出対象が運転者の顔の向きである場合と同様に（図１７のステップＳＴ３０のように）、動作検出部２３は、有効領域数を一定時間分だけ記憶するようにしている。このため、実際に得られる実動作パターンＰ３は、図２０に示すように時刻３５１４０〜３５２５０まで連続的でなくともよい。すなわち、実動作パターンＰ３は、時刻３５１８０〜３５２００といったように、図２０に示す有効領域数の増加変化のうち一部であってもよい。
【０１２２】
そして、実動作パターンが得られると、動作検出部２３は実動作パターンＰ３のデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１２３】
次に、図２に示した状態検出部２４の動作を説明する。図２１は、図２に示した状態検出部２４の動作を示すフローチャートである。
【０１２４】
同図に示すように、状態検出部２４は、まず、各領域グループのうちいずれか１つを選択する。そして、状態検出部２４は、選択したいずれか１つについて、図１１のステップＳＴ３０にて得られた実動作パターンＰと、記憶部２４ａに予め記憶される複数の記憶動作パターンＤそれぞれとの相関を求める（ＳＴ４０）。
【０１２５】
相関を求める方法としては、例えば数３と同様にして求めたり、フーリエ変換やウェブレット変換により周波数解析した情報を用いて求めたりする。
【０１２６】
ここで具体的に、実動作パターンＰ及び記憶動作パターンＤは、
【数４】
【０１２７】
その後、状態検出部２４は、複数の記憶動作パターンのうち、最も相関の高い記憶動作パターンを検出する（ＳＴ４１）。検出後、状態検出部２４は、検出された記憶動作パターンが示す状態を、運転者の状態として検出する（ＳＴ４２）。すなわち、状態検出部２４は、相関が最も高い記憶動作パターンＤが示す顔の向きの状態等を検出結果とする。そして、状態検出部２４は、この検出結果を状態信号出力部２５に出力する。
【０１２８】
この後、状態検出部２４は、各領域グループのうち選択した１つ以外のものについても同様の処理を行い、検出結果を状態信号出力部２５に出力する。
【０１２９】
なお、上記では領域グループ毎の実動作パターンと記憶動作パターンを比較し、それぞれの検出結果を得ているが、それぞれの検出結果を総合的に判断して、１の結果を得るようにしてもよい。この場合、各領域グループの検出結果を状態信号出力部２５に順次出力するのではなく、総合的に判断した結果のみを出力するようにする。
【０１３０】
また、検出対象が運転者の有無である場合、領域グループが設定されないことから上記処理は繰り返されることがない。すなわち、状態検出部２４は、ステップＳＴ４０〜ＳＴ４２の処理を一度行い、得られた検出結果を状態信号出力部２５に出力することとなる。
【０１３１】
そして、この後に状態信号出力部２５は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する。
【０１３２】
以上から明らかなように、本実施形態では、図９に示す画像処理が３つの運転者状態のいずれを検出する場合であっても、共通した処理が行われている。また、予め設定した参照領域についてオプティカルフローを求めていることから、従来のように、顔の位置を特定することなく検出が行われている。
【０１３３】
このようにして、本実施形態に係る状態検出装置２０では、画像処理部２２は撮像画像間のオプティカルフローを求めている。このオプティカルフローを求める方法では、画像内の何らかの物体に動きがあったときに、その動きを検出することができる。このため、検出対象が何であろうと、動きに基づいて求めることが可能なものであれば、検出対象毎に個別に設定した画像処理方法を用いる必要がなくなっている。
【０１３４】
このため、例えば、動きに基づいて求めることが可能な運転者の顔の向き、運転者の顔以外のものの撮像範囲への出入、運転者の有無については、このオプティカルフローによる１つの画像処理方法を用いればよいこととなる。
【０１３５】
故に、上記３つの運転者状態のうち１つを検出する装置を構成した場合、後に他の運転者状態を検出するように装置のグレードアップ等を図りたいときには、共通しない処理部分だけを組み込むようにすればよい。これにより、グレードアップ等に際し、全く異なる処理を行う装置を組み込む場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３６】
また、３つの運転者状態のうち、２つ以上を検出する場合には、画像処理方法が共通なので、１の画像処理方法にて複数の運転者の状態を検出することができることとなる。これにより、異なる処理を行う装置を実装している場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３７】
従って、費用面及び汎用性の面での向上を図ることができる。
【０１３８】
また、状態信号出力部２５が状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力するので、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１３９】
さらに、撮像画像に対して所定の位置と大きさとで定められる１又は複数の演算領域毎にオプティカルフローを求め、少なくとも１つの演算領域からなる領域グループ毎に、オプティカルフローから求まる実動作パターンを求めている。そして、求められた実動作パターンと予め記憶される記憶動作パターンとに基づいて、顔の向きを検出している。このため、例えば、顔が撮像画像の隅にしか存在しないような場合であっても、その隅の領域グループについては実動作パターンが正確に得られることとなる。よって、画像の隅に顔の一部しか存在しない場合等に、実動作パターンが正確に得られないという事態を回避することができる。
【０１４０】
従って、利便性を向上させることができる。
【０１４１】
また、オプティカルフローの計算結果から空間的、時間経過的に実動作パターンを検出している。つまり、例えば空間的に左右方向等の動きを求め、且つ時間的に現在から過去に遡った運転者の動きを求めていることとなる。すなわち、瞬間的なオプティカルフローにより実動作パターンを求めないようにし、ノイズ等による影響を軽減させることができる。
【０１４２】
また、従来では、撮像等して得られた特徴量を基準として運転者の状態等を検出している。このため、従来では、運転開始時には基準を得るために特徴量を取得する必要がある。故に、運転開始時には状態等が検出できないこととなる。ところが、本実施形態では、撮像等して特徴量を得るのではなく、実際に運転者の動きに基づいて予め得られる特徴量を記憶している。このため、運転開始時であっても運転者の状態等を検出することができる。さらに、この特徴量である記憶動作パターンを用いて比較処理を行う場合にも、同様の効果が得られる。
【０１４３】
また、１又は複数の参照領域のうち少なくとも１つは、撮像画像における顔の占める割合に基づいて、顔の特定部位の大きさに設定している。このため、大き過ぎる参照領域を設定して計算量が増大していしまうことを防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定して特徴的な部位がない領域となることを防ぐことができる。
【０１４４】
また、顔の動きに基づく移動平均値（動き量）を積算し、積算値に基づいて顔の動きを求めると共に、積算値を所定の条件に基づいて初期化している。このため、例えば運転者が顔を左右に動かすなどすることにより積算値として累積されてしまう誤差を初期化して、好適に運転者状態を検出することができる。
【０１４５】
また、１又は複数の演算領域それぞれは、各探索領域内にて算出された特徴量（類似度）の変化量（分散値）と予め設定した閾値とが比較されることにより、各領域をオプティカルフローの計算に用いるか否かが判断される。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。
【０１４６】
また、本実施形態に係る状態検出システム１では、費用面及び汎用性の面での向上を図ることができる。さらには、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１４７】
なお、本実施形態において、画像処理部２２による処理は、いずれの検出対象を検出する場合であっても、すべて同じであったが、全く同じである必要はない。すなわち、オプティカルフローを求める画像処理に影響を与えない程度であれば多少の変更があっても構わない。
【０１４８】
また、本実施形態では車両走行中に運転者の有無の判別を行うことで、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。
【０１４９】
また、図１６及び図１９にハンドルのスポーク部が撮像範囲内に進入した場合の例を説明したが、この場合には、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１５０】
次に、本発明の第２実施形態を説明する。なお、第２実施形態では、主に第１実施形態との相違点について説明することとする。
【０１５１】
第２実施形態に係る状態検出システム１ａ及び状態検出装置２０ａは、３つの運転者状態のうち少なくとも２つを検出対象としている。また、第２実施形態に係る状態検出部２４は、実行する処理の内容が第１実施形態のものと相違する。
【０１５２】
以下、相違する処理内容について説明する。まず、第２実施形態の状態検出装置２０ａは、第１実施形態にて説明した３つの運転者状態のうち２つ以上を検出可能としており、それぞれの検出結果を制御装置３０に送出するように構成されている。
【０１５３】
具体的に、動作検出部２３は、検出対象とする２つ以上の運転者状態のうちのいずれか１つについて、実動作パターンを求め、このデータを状態検出部２４に送出する。その後、動作検出部２３は、残りの運転者状態について再度実動作パターンを求め、このデータを状態検出部２４に送出する。なお、この動作は、並行して行われてもよい。
【０１５４】
そして、状態検出部２４は、入力した実動作パターンのデータに基づいて、第１実施形態にて説明したように、検出を行う。その後、状態検出部２４は、検出結果を状態信号出力部２５に送出する。
【０１５５】
そして、状態信号出力部２５は、第１実施形態にて説明したように、検出結果を電気信号Ｓｂに変換して制御装置３０に出力する。
【０１５６】
また、第２実施形態に係る状態検出部２４は、検出結果に基づいて動作検出部２３に抑止信号を送出する機能を有している。
【０１５７】
図２２は、状態検出部２４が行う抑止制御処理を示すフローチャートである。まず、状態検出部２４は、検出結果を得ると、その運転者状態の検出結果が所定の結果であるか否かを判断する（ＳＴ５０）。そして、所定の結果であると判断した場合（ＳＴ５０：ＹＥＳ）、状態検出部２４は、抑止信号を動作検出部２３に送信する（ＳＴ５１）。これにより、動作検出部２３は、検出した運転者状態以外の運転者状態についての検出を抑止する。
【０１５８】
例えば、運転者の手が目付近にある場合には、運転者が車内にいないということはなく、このような場合に状態検出部２４は、運転者の有無の検出を抑止する信号を送信する。また、運転者の手が目付近にある場合には、運転者は顔の向きを変え難い傾向があるため、このような場合には、運転者の顔の向きの検出を抑止する信号を送信する。このように、１つの運転者状態の検出結果によると、他の運転者状態についての検出を行う必要がない場合などに、その検出を抑止している。これにより、本装置２は、他の運転者状態の検出について誤検出してしまうことを防止している。
【０１５９】
また、この間に動作検出部２３及び状態検出部２４は、既に検出結果を得た運転者状態について再度の検出を実行している。そして、その再度の検出による結果が所定の結果であるか否かを判断する（ＳＴ５２）。すなわち、所定の結果が継続しているか否かを判断している。
【０１６０】
所定の結果が継続していると判断した場合（ＳＴ５２：ＹＥＳ）、継続しなくなったと判断するまでこの処理を繰り返すこととなる。一方、所定の結果が継続しなくなったと判断した場合（ＳＴ５２：ＮＯ）、状態検出部２４は、抑止を解除する解除信号を動作検出部２３に送信する（ＳＴ５３）。すなわち、ステップＳＴ５１に実行した抑止を解除することとなる。
【０１６１】
そして、処理は終了する。ところで、ステップＳＴ５０において、所定の結果でないと判断した場合（ＳＴ５０：ＮＯ）、同様に処理は終了する。
【０１６２】
このようにして、本実施形態に係る状態検出装置２０ａでは、第１実施形態と同様に、費用面及び汎用性の面での向上を図ることができる。さらに、或る運転者状態の検出結果に基づいて他の運転者状態の検出を抑止するので、他の運転者状態について誤検出してしまうことを防止することができる。
【０１６３】
また、第１実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０１６４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０１６５】
さらに、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０１６６】
さらには、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０１６７】
なお、本実施形態においても、オプティカルフローを求める画像処理を行っていれば、他の処理は多少の変更があっても構わない。また、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。さらに、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１６８】
また、本実施形態においては、３つの運転者状態のうち少なくとも２つを検出対象としていればよいため、検出対象は２つであっても３つであっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の運転者状態の検出を抑止するので、３つのうち２つの検出結果に基づいて、残り１つの運転者状態の検出を抑止するようにしてもよい。また、１つの検出結果に基づいて、残り２つの運転者状態の検出を抑止するようにしてもよい。
【０１６９】
次に、本発明の第３実施形態を説明する。なお、第３実施形態では、主に第２実施形態との相違点について説明することとする。
【０１７０】
第３実施形態に係る状態検出システム１ｂ及び状態検出装置２０ｂは、３つの運転者状態と、３つの身体状態とのうち少なくとも２つを検出対象としている。なお、３つの身体状態とは、運転者の瞼の開閉、運転者の口の開閉、及び運転者の表情変化を指すものである。
【０１７１】
この身体状態の検出では、実行する処理が上記した運転者状態の検出と概ね一致している。但し、身体状態の検出については、瞼、口及び表情という微細な変化を正確にとらえる必要があるため、撮像画像中から顔の目や口等の位置を特定することが必要となるる。
【０１７２】
次に、瞼の開閉、口の開閉及び表情変化を検出する際の状態検出装置２０ｂの動作を説明する。
【０１７３】
瞼の開閉を検出する場合、画像処理部２２は、目の位置を特定する。具体的には、特開平５−６０５１５号公報や特開２０００−１４２１６４号公報に記載されるようにして、撮像画像中における目の座標位置を特定するようにすればよい。
【０１７４】
そして、目の位置を特定後、画像処理部２２は、撮像画像中の目の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１７５】
図２３は、瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２３（ａ）に示すように、画像処理部２２は、両目を覆うように４行１６列の参照領域を設定する。そして、図２３（ｂ）に示すように、２つの領域グループＡ３，Ｂ３を設定する。これら領域グループは、左右の目それぞれに対して設定されるものであり、具体的には４行８列の参照領域を含んで設定される。
【０１７６】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１７７】
このように、参照領域は、第２実施形態では予め定められた位置に設定されるのに対し、第３実施形態では特定した目の位置に設定される。すなわち、第３実施形態は、目の位置の特定処理、及び参照領域の設定処理という点で第２実施形態と相違している。なお、この相違は、瞼の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１７８】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作パターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１７９】
ここで、瞼の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２４は、瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１８０】
まず、図２４（ａ）に示すように、時刻ｔにおいて運転者の目は開いている状態となっている。その後、時刻（ｔ＋１）において運転者が目を閉じ始める。このとき、図２４（ｂ）に示すように、運転者の瞼の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。
【０１８１】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２４（ｃ）に示すように、運転者の目付近には画像縦方向にオプティカルフローが検出される。なお、画像横方向（Ｘ方向）については、時刻ｔ〜（ｔ＋２）を通じて、オプティカルフローがあまり検出されない。
【０１８２】
図２５は、瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２５では、運転者が目を閉じ、その後目を開けるまでに得られるパターンを示している。
【０１８３】
運転者が目を閉じる動作を行う場合、図２４に示すように画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。このため、得られる実動作パターンＰ４，Ｐ５（以下、瞼の開閉を検出する場合に得られる実動作パターンを瞼動作パターンＰ４，Ｐ５という）は、図２５に示すようになる。
【０１８４】
具体的に説明すると、画像縦方向についての瞼動作パターンＰ４は以下のようになっている。まず、運転者が目を開いている状態（時刻１７８〜１８６の期間）では、移動位置が「０」付近となっている。その後、運転者が目を閉じ始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「６〜８」画素まで上昇する（時刻１８６〜１９０の期間）。
【０１８５】
そして、運転者が目を閉じ続けている状態（時刻１９０〜２１６の期間）では、移動位置は「６〜８」画素を維持し続ける。その後、運転者が目を開け始めると、移動位置は次第に減少する（時刻２１６〜２３７の期間）。
【０１８６】
一方、瞼のオプティカルフローは、画像横方向に余り検出されていない。このため、画像横方向についての瞼動作パターンＰ５は、時刻１７８〜１８６の期間においてほぼ同じ値を維持し続ける。
【０１８７】
上記のような瞼動作パターンＰ４，Ｐ５が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、瞼動作パターンＰ４と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、画像縦方向に所定の移動を示した後に所定の移動分復帰を示した場合のパターンを記憶している。このため、状態検出部２４は、瞼動作パターンＰ４と、画像縦方向に所定の移動を示した後に所定の移動分復帰を示す記憶動作パターンとの相関が最も高かった場合に運転者の瞬きを検出することとなる。
【０１８８】
その後、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。また、記憶部２４ａは、目の開動作、閉動作の記憶動作パターンを記憶しており、閉動作から開動作までの時間に基づいて長い間目を閉じているなども検出することができる。
【０１８９】
なお、従来では、何らかの検出対象を検出する場合、２以上の手法（例えば濃淡値データに基づく手法や差分画像の基づく手法）により、検出対象を検出するように装置を構成していることが多い。そして、これら２以上の手法のうちいずれか１つの手法により検出対象を検出すれば、他の手法により検出対象が検出されなくとも検出有りと判断している。このように、従来では、１の手法により検出を行った場合の検出ミスを補完する目的で、２以上の手法を組み合わせて検出対象を検出することが行われている。
【０１９０】
ところで、上記組み合わせにおいては、全く異なる手法を２以上組み合わせた方が、同様の手法を２以上組み合わせるよりも検出精度が高くなる傾向にある。すなわち、例えば２以上の手法すべてが濃淡値データに基づき検出対象を検出している場合、濃淡値データそのものが上手く検出されていないときにはすべての手法によって検出ミスが発生してしまう可能性があるからである。
【０１９１】
本実施形態においては、オプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとして検出精度の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０１９２】
次に、口の開閉について説明する。口の開閉を検出する場合、画像処理部２２は、口の位置を特定する。口の位置の特定に際しては、まず、上記のように目の座標を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における口の座標位置を特定する。さらに、画像処理部２２は、口の位置を特定すると、次に、上唇と下唇との位置を特定する。この上唇と下唇との位置は、例えば、画像横方向に伸びる濃淡値の低い領域（即ち、口を閉じたときにできる上唇と下唇との境目）を基準に特定される。
【０１９３】
そして、上唇と下唇の位置を特定後、画像処理部２２は、撮像画像中の口の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１９４】
図２６は、口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２６（ａ）に示すように、画像処理部２２は、両唇を覆うように４行８列の参照領域を設定する。そして、図２６（ｂ）に示すように、２つの領域グループＡ４，Ｂ４を設定する。これら領域グループは、上唇及び下唇のそれぞれに対して設定されるものであり、具体的には２行８列の参照領域を含んで設定される。
【０１９５】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１９６】
このように、参照領域は、特定した口の位置に設定される。なお、第２実施形態との相違点である口の位置の特定処理、及び参照領域の設定処理は、口の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１９７】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１９８】
ここで、口の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２７は、口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１９９】
まず、図２７（ａ）に示すように、時刻ｔにおいて運転者の口は閉じている状態となっている。その後、時刻（ｔ＋１）において運転者が口を開け始める。このとき、図２７（ｂ）に示すように、運転者の下唇の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。一方、画像横方向（Ｘ方向）については、オプティカルフローがあまり検出されない。また、上唇については、画像縦方向にも横方向にもオプティカルフローが検出されない。
【０２００】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２７（ｃ）に示すように、運転者の下唇の部分には画像縦方向だけにオプティカルフローが検出される。一方、上唇にはオプティカルフローが検出されない。
【０２０１】
図２８は、口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２８では、運転者が口を開け、その後口を閉じるまでに得られるパターンを示している。
【０２０２】
運転者が口を開ける動作を行う場合、図２７に示したように、下唇については画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。また、上唇については画像縦方向及び横方向の双方で、オプティカルフローがあまり検出されない。
【０２０３】
このため、得られる実状態パターンＰ６〜Ｐ９は、図２８に示すようになる。なお、以下において、口の開閉を検出する場合に下唇について得られる実動作パターンを下唇動作パターンＰ６，Ｐ７とする。また、上唇について得られる実動作パターンを上唇動作パターンＰ８，Ｐ９とする。
【０２０４】
図２８に示すパターンＰ６〜Ｐ９を具体的に説明する。まず、画像縦方向についての下唇動作パターンＰ６については、運転者が口を閉じている状態（時刻６６０〜６７５の期間）において移動位置が「０」付近となっている。その後、運転者が口を開け始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「３０」画素付近まで上昇する（時刻６７５〜７００の期間）。
【０２０５】
そして、運転者が口と開き続けている状態（時刻７００〜７１０の期間）では、移動位置は「３０」画素付近を維持し続ける。その後、運転者が口を閉じ始めると、移動位置は次第に減少する（時刻７１０〜７１６の期間）。そして、運転者が口を閉じると（時刻７１０〜７３４の期間）、移動位置は「５」画素付近を維持し続ける。ここで、移動位置は「５」画素付近となっているのは、誤差分が検出されたためである。
【０２０６】
一方、画像横方向についての下唇動作パターンＰ７は、画像横方向にオプティカルフローがあまり検出されないことから、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。また、上唇の動作パターンＰ８，Ｐ９も同様に、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。
【０２０７】
上記のような上唇及び下唇動作パターンＰ６〜Ｐ９が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示した場合のパターンを記憶している。このため、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９とと、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示す記憶動作パターンとの相関が最も高かった場合に運転者の運転者の口の開動作又は閉動作を検出することとなる。
【０２０８】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。なお、口の開閉を検出する場合では、記憶動作パターンとして「ａ」「ｉ」「ｕ」「ｅ」「ｏ」の発音時のデータを記憶部２４ａに記憶させておくことにより、発音の推定装置等に応用することができる。すなわち、音声入力のナビゲーション装置等に応用が可能である。
【０２０９】
また、記憶動作パターンとしてあくびの際の口の動きのデータを記憶部２４ａに記憶させておくことにより、あくび検出の装置等に応用することができる。さらには、あくび検出することにより、運転者の覚醒度の評価や居眠検出装置等に応用することもできる。
【０２１０】
なお、上記口の開閉の検出は、比較的精度の高いものとなっている。これは、本実施形態が上唇と下唇のそれぞれの動きを検出ことに起因している。例えば、口の動き全体を捕らえて口の開閉を検出する場合、運転者が顔を多少上下に動かしたときには、口の開閉なのか顔の上下動作なのか区別が付きにくくなってしまう。
【０２１１】
ところが、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くということに着目し、この動きを検出して口の開閉を判断している。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２１２】
次に、表情の変化について説明する。表情の変化を検出する場合、画像処理部２２は、顔の位置を特定する。そして、顔の目や鼻等の位置を特定する。この特定に際しては、まず、目の座標位置を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における鼻、口、頬、眉等の顔の各部位の座標位置を特定する。
【０２１３】
そして、顔の各部位を特定後、画像処理部２２は、撮像画像中の顔全体に参照領域を設定すると共に、顔の各部位毎に複数の参照領域を含んだ領域グループを設定する。
【０２１４】
図２９は、表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２９（ａ）に示すように、画像処理部２２は、顔全体を覆うように１４行１６列の参照領域を設定する。
【０２１５】
そして、図２９（ｂ）に示すように、１１の領域グループＡ５〜Ｋ５を設定する。詳細には、領域グループＡ５〜Ｄ５は、右眉、左眉、右目及び左目位置に対して設定されるものであり、具体的にはそれぞれ３行８列の参照領域を含んで設定される。また、領域グループＥ５，Ｇ５，Ｉ５，Ｊ５は、右頬、左頬、右顎及び左顎位置に対して設定されるものであり、具体的にはそれぞれ４行４列の参照領域を含んで設定される。
【０２１６】
さらに、領域グループＦ５，Ｈ５，Ｋ５は、鼻、上唇及び下唇位置に対して設定されるものであり、具体的には３行８列、１行８列、４行４列の参照領域を含んで設定される。
【０２１７】
そして、画像処理部２２は、参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０２１８】
このように、参照領域は、顔の各部位の位置に設定される。なお、顔の表情検出において第２実施形態との相違点は、運転者状態の検出に影響を与え、運転者状態の検出ができなくなる程のものではない。
【０２１９】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０２２０】
ここで、表情の変化を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図３０は、表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図である。また、図３１は、図３０に示したオプティカルフローを簡略化して示す説明図である。なお、図３０及び図３１においては、運転者が眉をひそめる動作をする場合のオプティカルフローを示している。
【０２２１】
まず、図３０（ａ）に示すように、時刻ｔにおいて運転者の表情は通常の状態となっている。その後、時刻（ｔ＋１）において運転者が眉をひそめ始める。このとき、図３０（ｂ）に示すように、眉及び目付近にオプティカルフローが検出される。 そして、時刻（ｔ＋２）において運転者が眉をひそめると、図３０（ｃ）に示すように、オプティカルフローが検出されなくなる。
【０２２２】
時刻ｔ〜（ｔ＋２）までの様子を図３１に示す。同図に示すように、運転者が眉をひそめる動作を行うと、眉の位置はやや画像縦方向に移動する傾向がある。また、目にも僅かな動きが見られる。
【０２２３】
図３２は、表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図３２では、図３０及び図３１にて示した眉をひそめる動作をしたときに得られるパターンを示している。
【０２２４】
図３０及び図３１からの明らかなように、運転者が眉をひそめる動作を行う場合、眉及び目付近にオプティカルフローが検出される。このため、得られる実動作パターンは、図３２に示すようになる。
【０２２５】
図３２に示すように、時刻ｔ〜（ｔ＋２）を通じて、眉及び目にオプティカルフローが得られることから、これらの移動位置にそれぞれ変化が見られる。これに対し、眉及び目以外の顔部位については殆ど変化が見られない。
【０２２６】
上記のような顔の特徴部位毎に実動作パターンが得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、顔の特徴部位毎に実動作パターンと、記憶部２４ａに記憶される記憶動作パターンとに基づいて、運転者の表情を検出することとなる。
【０２２７】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。
【０２２８】
ここで、表情の変化についての記憶動作パターンを各表情毎に記憶させておくことが望ましい。この場合、種々の表情を検出することが可能となる。このため、例えば、従来では区別することが困難である笑っている状態と目を細めている状態との判別が可能となる。
【０２２９】
なお、本実施形態では、表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行うため、より有用なものとなっている。例えば、運転者が眉をひそめる動作を行った場合には、制御装置３０にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置３０にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができるため、非常に有用なものとなっている。
【０２３０】
ここで、表情を認識するのみの装置は、特開平４−３４２０７８号公報に開示されている。本実施形態では、この従来技術と同様の方法にて表情を検出することもできる。
【０２３１】
以上が身体状態の検出の説明である。また、第３実施形態においては、第２実施形態と同様に、検出した結果に基づいて、他の運転者状態又は／及び身体状態についての検出を抑止する機能を有している。このため、状態検出部２４は、まず、画像処理部２２により求められたオプティカルフローから、検出対象のうち少なくとも１つの状態を検出する。そして、その結果に基づいて、抑止信号の送出の可否を判定し、条件を満たしていれば抑止信号を動作検出部２３に送出することとなる。
【０２３２】
つまり、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象とし、この検出対象のうち少なくとも１つの状態を検出し、検出した結果に基づいて、他の状態以外の状態についての検出を抑止することとなる。
【０２３３】
これにより、第２実施形態と同様に他の状態の検出について誤検出していしまうことを防止している。
【０２３４】
このようにして、第３実施形態に係る状態検出装置２０ｂでは、第２実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２３５】
また、第２実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２３６】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２３７】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２３８】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２３９】
また、本実施形態に係る状態検出装置２０ｂでは、瞼動作のパターンが画像縦方向に所定の移動を示した後に、所定の移動分復帰を示した場合に、運転者の瞬きが検出されている。このように、本実施形態ではオプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２４０】
また、口の開閉の検出は、比較的精度の高いものとなっている。すなわち、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くという動作に着目し、この動きを検出して口の開閉を判断している。このため、顔を上下させたときと口の開閉との区別が明確となっている。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２４１】
また、顔の特徴部位である目や鼻等の実動作パターンと、予め記憶される記憶動作パターンとに基づいて、運転者の表情を検出している。また、本実施形態では、この表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行っている。このため、例えば運転者が眉をひそめる動作を行った場合には、制御装置にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
【０２４２】
なお、本実施形態では、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象としていればよいため、３つ以上であっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の状態の検出を抑止するので、６つのうち３つの検出結果に基づいて、残り２つの状態の検出を抑止するようにしてもよい。また、検出結果の数、及び検出を抑止する状態の数は、これに限らず、適宜変更することができる。
【０２４３】
次に本発明の第４実施形態を説明する。第４実施形態では、第３実施形態の構成に加えて、新たに車両状態検出手段と環境情報検出手段とを備えている。以下、第４実施形態について説明する。
【０２４４】
図３３は、第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。同図に示すように、状態検出システム１ｃは、車両の状態を検出する車両状態検出手段４０と、車両の周囲環境を検出する環境情報検出手段５０とを備えている。
【０２４５】
具体的に車両状態検出手段４０は、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態を１つ以上検出するものである。
【０２４６】
環境情報検出手段５０は、ＧＰＳやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【０２４７】
また、環境情報検出手段５０は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの１つ以上から構成されて、車両周辺の情報を検出するものである。この構成により、環境情報検出手段５０は、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出する。
【０２４８】
さらに、環境情報検出手段５０は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものでもある。
【０２４９】
また、状態検出装置２０ｃは、車両状態検出手段４０からの信号Ｓｃと、環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態（運転者状態、身体状態）を変更する機能を有している。
【０２５０】
例えば、状態検出装置２０ｃは、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Ｓｄに基づいて、運転者の顔の向きを検出対象とする。
【０２５１】
また、状態検出装置２０ｃは、車速が設定速度以下であるという車両の状態信号Ｓｃに基づいて、渋滞を判断し、運転者が眠気を感じているか等を検出すべく、表情の変化を検出対象とする。
【０２５２】
このようにして、本実施形態に係る状態検出装置２０ｃによれば、第３実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２５３】
また、第３実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２５４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２５５】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２５６】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２５７】
また、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。さらに、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２５８】
また、比較的精度の高い口の開動作及び閉動作の検出が可能となっており、さらには、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
さらに、車両状態検出手段４０からの信号Ｓｃ、及び環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態を変更する。このため、各状態・環境に応じて適切な運転者・身体状態を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【図２】図１に示した状態検出装置２０の詳細構成を示すブロック図である。
【図３】本実施形態に係る状態検出装置２０の動作の概略を示すデータフローダイヤグラムである。
【図４】本実施形態に係る状態検出装置２０の動作の概略を示す説明図である。
【図５】参照領域及び探索領域の説明図である。
【図６】撮像画像に規則的に配置される参照領域の説明図であり、（ａ）は参照領域を画像横方向に配置したときの例を示し、（ｂ）は参照領域を格子状に配置したときの例を示し、（ｃ）は参照領域を画像横方向且つ格子状に配置したときの例を示している。
【図７】領域グループの説明図であり、顔の向きを検出する場合の例を示している。
【図８】領域グループの説明図であり、運転者の顔以外のものの撮像範囲内屁への出入を検出する場合の例を示している。
【図９】図２に示した画像処理部２２の動作を示すフローチャートである。
【図１０】図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図１１】図９に示すステップＳＴ１２の処理の説明図である。
【図１２】運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。
【図１３】運転者の有無を検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は乗車前におけるオプティカルフローの例を示し、（ｂ）は乗車最中におけるオプティカルフローの例を示し、（ｃ）は乗車完了後におけるオプティカルフローの例を示している。
【図１４】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が目付近に手を移動させたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１５】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１６】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１７】図２に示した動作検出部２３の動作を示すフローチャートである。
【図１８】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【図１９】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【図２０】検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。
【図２１】図２に示した状態検出部２４の動作を示すフローチャートである。
【図２２】状態検出部２４が行う抑止制御処理を示すフローチャートである。
【図２３】瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２４】瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２５】瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２６】口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２７】口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２８】口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２９】表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図３０】表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図３１】図３０に示したオプティカルフローを簡略化して示す説明図である。
【図３２】表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。
【図３３】第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【符号の説明】
１〜１ｃ…状態検出システム
１０…撮像装置
２０〜２０ｃ…状態検出装置
２１…画像取得部（画像取得手段）
２２…画像処理部（画像処理手段）
２３…動作検出部（動作検出手段）
２４…状態検出部（状態検出手段）
２４ａ…記憶部（パターン記憶手段）
２５…状態信号出力部（信号出力手段）
３０…制御装置（制御手段）
４０…車両状態検出手段
５０…環境情報検出手段
Ａ〜Ｋ…領域グループ
Ｃ１，Ｃ２…変化量
Ｄ…記憶動作パターン
Ｐ…実動作パターン
Ｐ４，Ｐ５…瞼動作パターン
Ｐ６，Ｐ７…下唇動作パターン
Ｐ８，Ｐ９…上唇動作パターン
Ｓａ…ビデオ信号
Ｓｂ…電気信号
Ｓｃ…状態信号
Ｓｄ…環境信号
Claims (18)
- 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求める画像処理手段と、
前記画像処理手段により求められたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する状態検出手段と、
を備えることを特徴とする状態検出装置。 - 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルローを求める画像処理手段と、
運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち少なくとも２つを検出対象とし、前記画像処理手段により求められたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、前記検出対象のうち少なくとも１つの運転者状態を検出する状態検出手段と、を備え、
前記状態検出手段は、少なくとも１つの運転者状態に関する検出結果に基づいて、前記検出対象のうち検出した少なくとも１つの運転者状態以外の運転者状態についての検出を抑止する
ことを特徴とする状態検出装置。 - 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルローを求める画像処理手段と、
運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つ運転者状態と、運転者の瞼の開閉、運転者の口の開閉、及び運転者の表情変化の３つの身体状態とのうち、少なくとも２つを検出対象とし、運転者状態について撮像画像中における運転者の身体の位置を特定することなく、身体状態について撮像画像中における運転者の身体及び身体の特定部位の少なくとも一方の位置を特定して、前記画像処理手段により求められたオプティカルフローから、前記検出対象のうち少なくとも１つの状態を検出する状態検出手段と、を備え、
前記状態検出手段は、少なくとも１つの状態に関する検出結果に基づいて、前記検出対象のうち検出した少なくとも１つの状態以外の状態についての検出を抑止する
ことを特徴とする状態検出装置。 - 運転者が着座したときに運転者の身体としての顔が存する位置を時系列的に撮像して得られた撮像画像を入力する画像取得手段と、
前記画像処理手段により求められたオプティカルフローから顔の動作を検出する動作検出手段と、
前記状態検出手段からの検出結果を電気信号に変換して外部に出力する信号出力手段と、をさらに備え、
前記画像処理手段は、前記画像取得手段により入力された撮像画像に対して所定の位置と大きさとで定められる１又は複数の演算領域毎にオプティカルフローを求め、
前記動作検出手段は、少なくとも１つの演算領域からなる領域グループ毎に、前記画像処理手段により求められたオプティカルフローから求まる実動作パターンを求め、
前記状態検出手段は、前記動作検出手段により求められた実動作パターンと予め記憶される記憶動作パターンとに基づいて、前記検出対象のうち少なくとも１つを検出する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の状態検出装置。 - 前記状態検出手段は、前記画像処理手段が求めるオプティカルフローから空間的、時間経過的に実動作パターンを求めることを特徴とする請求項４に記載の状態検出装置。
- 前記記憶動作パターンを予め記憶するパターン記憶手段をさらに備え、
前記パターン記憶手段は、前記記憶動作パターンとして、実際の運転者の動きに基づいて得られる特徴量を記憶していることを特徴とする請求項４又は請求項５のいずれかに記載の状態検出装置。 - 前記画像処理手段は、撮像画像における顔の占める割合に基づいて、前記１又は複数の演算領域のうち少なくとも１つを所定の顔部位の大きさに設定することを特徴とする請求項４〜請求項６のいずれか１項に記載の状態検出装置。
- 前記動作検出手段は、顔の動きに基づく動き量を積算し、積算値に基づいて実動作パターンを求めると共に、前記積算値を所定の条件に基づいて初期化することを特徴とする請求項４〜請求項７のいずれか１項に記載の状態検出装置。
- 前記状態検出手段は、前記検出対象のうち少なくとも１つを検出するに当たり、実動作パターンと予め記憶される複数の記憶動作パターンそれぞれとの相関を計算し、最も相関の高い記憶動作パターンを検出結果として得ることを特徴とする請求項４〜請求項８のいずれか１項に記載の状態検出装置。
- 前記状態検出手段は、前記動作検出手段により求められた実動作パターンとしての瞼動作のパターンが、画像縦方向に所定の移動を示した後に所定の移動分復帰を示した場合に、運転者の瞬きを検出することを特徴とする請求項４〜請求項９のいずれか１項に記載の状態検出装置。
- 前記状態検出手段は、前記動作検出手段により求められた実動作パターンとしての上唇動作のパターンがほぼ静止状態を示し、下唇動作のパターンが画像縦方向に所定の動きを示した場合に、運転者の口が開動作又は閉動作したと検出することを特徴とする請求項４〜請求項１０のいずれか１項に記載の状態検出装置。
- 前記動作検出手段は、顔の特徴部位毎に実動作パターンを求め、
前記状態検出手段は、前記動作検出手段により求められた特徴部位毎の実動作パターンと、予め記憶される記憶動作パターンとに基づいて、運転者の表情を検出することを特徴とする請求項４〜請求項１１のいずれか１項に記載の状態検出装置。 - 前記画像処理手段は、前記１又は複数の演算領域それぞれにて算出された特徴量の変化量と、予め設定される閾値とを比較することにより、オプティカルフローの計算に用いるか否かを判断することを特徴とする請求項４〜請求項１２のいずれか１項に記載の状態検出装置。
- 車両の状態を検出する車両状態検出手段からの信号と、車両の周囲環境を検出する環境情報検出手段からの信号との少なくとも一方に基づいて、前記検出対象のうち少なくとも１つを他の状態に変更することを特徴とする請求項１〜請求項１３のいずれか１項に記載の状態検出装置。
- 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、求めたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、運転者の顔の向きと、運転者の顔以外のものの撮像範囲内への出入と、及び運転者の有無との３つの運転者状態のうち、少なくとも１つを検出対象として検出することを特徴とする状態検出装置。
- 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、運転者の顔の向きと、運転者の顔以外のものの撮像範囲内への出入と、運転者の有無との３つの運転者状態のうち、少なくとも２つを検出対象とし、求めたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、前記検出対象のうち少なくとも１つの運転者状態を検出し、検出した少なくとも１つの運転者状態に関する検出結果に基づいて、検出した少なくとも１つの運転者状態以外の運転者状態についての検出を抑止することを特徴とする状態検出装置。
- 運転者が着座したときに運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、
運転者の顔の向きと、運転者の顔以外のものの撮像範囲内への出入と、及び運転者の有無との３つの運転者状態、及び運転者の瞼の開閉と、運転者の口の開閉と、及び運転者の表情変化との３つの身体状態とのうち、少なくとも２つを検出対象とし、運転者状態について撮像画像中における運転者の身体の位置を特定することなく、身体状態について撮像画像中における運転者の身体及び身体の特定部位の少なくとも一方の位置を特定して、求めたオプティカルフローから、前記検出対象のうち少なくとも１つの状態を検出し、
検出した少なくとも１つの状態に関する検出結果に基づいて、検出対象のうち検出した状態以外の状態についての検出を抑止する
ことを特徴とする状態検出装置。 - 運転者が着座したときに運転者の身体が存する位置を撮像範囲内に含む撮像手段と、
前記撮像手段よって時系列的に撮像された撮像画像に基づき、撮像画像間のオプティカルフローを求める画像処理手段と、
前記画像処理手段により求められたオプティカルフローから、撮像画像中における運転者の身体の位置を特定することなく、運転者の顔の向き、運転者の顔以外のものの撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する状態検出手段と、
前記状態検出手段からの検出結果を電気信号に変換して外部に出力する信号出力手段と、
前記信号出力手段からの電気信号に基づいて、所定の処理を行う制御手段と、
を備えることを特徴とする状態検出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133469A JP4325271B2 (ja) | 2003-05-12 | 2003-05-12 | 状態検出装置及び状態検出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133469A JP4325271B2 (ja) | 2003-05-12 | 2003-05-12 | 状態検出装置及び状態検出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004334786A true JP2004334786A (ja) | 2004-11-25 |
| JP4325271B2 JP4325271B2 (ja) | 2009-09-02 |
Family
ID=33508000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003133469A Expired - Fee Related JP4325271B2 (ja) | 2003-05-12 | 2003-05-12 | 状態検出装置及び状態検出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4325271B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004348429A (ja) * | 2003-05-22 | 2004-12-09 | Hitachi Information Technology Co Ltd | 端末装置及び端末装置の制御プログラム |
| JP2007086880A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両用情報提供装置 |
| JP2008140266A (ja) * | 2006-12-04 | 2008-06-19 | Toyota Motor Corp | 状態推定装置 |
| JP2008171107A (ja) * | 2007-01-10 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 顔状況判定処理装置および撮像装置 |
| JP2008171108A (ja) * | 2007-01-10 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 顔状況判定処理装置および撮像装置 |
| WO2016038784A1 (ja) * | 2014-09-11 | 2016-03-17 | 株式会社デンソー | ドライバ状態判定装置 |
| JP2018086135A (ja) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | 運転支援システム |
| WO2018163493A1 (ja) * | 2017-03-09 | 2018-09-13 | オムロン株式会社 | 監視装置、方法、及びプログラム |
| JP2019083019A (ja) * | 2018-11-28 | 2019-05-30 | 株式会社デンソー | ドライバ状態判定装置 |
| CN110088761A (zh) * | 2016-12-20 | 2019-08-02 | 三菱电机株式会社 | 车载图像认证装置 |
| CN111311963A (zh) * | 2014-06-23 | 2020-06-19 | 株式会社电装 | 驾驶员的驾驶不能状态检测装置 |
| WO2021178385A1 (en) * | 2020-03-02 | 2021-09-10 | Strong Force Intellectual Capital, Llc | Intelligent transportation systems including digital twin interface for a passenger vehicle |
| CN113553938A (zh) * | 2021-07-19 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| US12154391B2 (en) | 2018-09-30 | 2024-11-26 | Strong Force Tp Portfolio 2022, Llc | Intelligent transportation systems including digital twin interface for a passenger vehicle |
-
2003
- 2003-05-12 JP JP2003133469A patent/JP4325271B2/ja not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004348429A (ja) * | 2003-05-22 | 2004-12-09 | Hitachi Information Technology Co Ltd | 端末装置及び端末装置の制御プログラム |
| JP2007086880A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両用情報提供装置 |
| JP4534925B2 (ja) * | 2005-09-20 | 2010-09-01 | 株式会社デンソー | 車両用情報提供装置 |
| JP2008140266A (ja) * | 2006-12-04 | 2008-06-19 | Toyota Motor Corp | 状態推定装置 |
| JP2008171107A (ja) * | 2007-01-10 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 顔状況判定処理装置および撮像装置 |
| JP2008171108A (ja) * | 2007-01-10 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 顔状況判定処理装置および撮像装置 |
| CN111311963B (zh) * | 2014-06-23 | 2024-05-07 | 株式会社电装 | 驾驶员的驾驶不能状态检测装置 |
| CN111311963A (zh) * | 2014-06-23 | 2020-06-19 | 株式会社电装 | 驾驶员的驾驶不能状态检测装置 |
| JP2016057944A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社デンソー | ドライバ状態判定装置 |
| WO2016038784A1 (ja) * | 2014-09-11 | 2016-03-17 | 株式会社デンソー | ドライバ状態判定装置 |
| US10165971B2 (en) | 2014-09-11 | 2019-01-01 | Denso Corporation | Driver state determination apparatus |
| JP2018086135A (ja) * | 2016-11-29 | 2018-06-07 | マツダ株式会社 | 運転支援システム |
| CN110088761B (zh) * | 2016-12-20 | 2023-11-14 | 三菱电机株式会社 | 图像认证装置、图像认证方法及汽车 |
| CN110088761A (zh) * | 2016-12-20 | 2019-08-02 | 三菱电机株式会社 | 车载图像认证装置 |
| JP2018151683A (ja) * | 2017-03-09 | 2018-09-27 | オムロン株式会社 | 監視装置、方法、及びプログラム |
| WO2018163493A1 (ja) * | 2017-03-09 | 2018-09-13 | オムロン株式会社 | 監視装置、方法、及びプログラム |
| US12154391B2 (en) | 2018-09-30 | 2024-11-26 | Strong Force Tp Portfolio 2022, Llc | Intelligent transportation systems including digital twin interface for a passenger vehicle |
| US12169987B2 (en) | 2018-09-30 | 2024-12-17 | Strong Force Tp Portfolio 2022, Llc | Intelligent transportation systems including digital twin interface for a passenger vehicle |
| JP2019083019A (ja) * | 2018-11-28 | 2019-05-30 | 株式会社デンソー | ドライバ状態判定装置 |
| WO2021178385A1 (en) * | 2020-03-02 | 2021-09-10 | Strong Force Intellectual Capital, Llc | Intelligent transportation systems including digital twin interface for a passenger vehicle |
| CN113553938A (zh) * | 2021-07-19 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| CN113553938B (zh) * | 2021-07-19 | 2024-05-14 | 黑芝麻智能科技(上海)有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4325271B2 (ja) | 2009-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7110359B2 (ja) | ビデオチューブを使用した行動認識方法 | |
| CN106463065B (zh) | 驾驶员的驾驶不能状态检测装置 | |
| JP2022140519A (ja) | プログラム、ヘルメット着用判定システム、ヘルメット着用判定方法 | |
| US20170143253A1 (en) | Device, method and computer program for detecting momentary sleep | |
| US11804048B2 (en) | Recognizing the movement intention of a pedestrian from camera images | |
| WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| JP4692344B2 (ja) | 画像認識装置 | |
| JP4325271B2 (ja) | 状態検出装置及び状態検出システム | |
| JP4708124B2 (ja) | 画像処理装置 | |
| EP2860665A2 (en) | Face detection apparatus, and face detection method | |
| JP7240910B2 (ja) | 乗員観察装置 | |
| JP2007310805A (ja) | 物体認識装置 | |
| US20190141264A1 (en) | Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof | |
| US11077814B2 (en) | Occupant eye(s) observation device | |
| Hariri et al. | Vision based smart in-car camera system for driver yawning detection | |
| JP2005018655A (ja) | 運転者行動推定装置 | |
| KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| JP4123077B2 (ja) | 運転者状態検出装置 | |
| US10945651B2 (en) | Arousal level determination device | |
| JP4281405B2 (ja) | 確認動作検出装置及び警報システム | |
| WO2021024905A1 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
| JP2005014853A (ja) | 運転者三次元挙動検出装置 | |
| JP7230710B2 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム | |
| JP7318352B2 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム | |
| US20230107819A1 (en) | Seat Occupancy Classification System for a Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090601 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |