JP6683185B2 - 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムに関する。

近年、カメラで撮影された運転者の顔画像から運転者の顔の向きや視線の方向を検出し、該検出した運転者の顔の向きや視線の方向などに基づいて、車両走行時の運転者の状態を判定する技術が提案されている。

例えば、特許文献１には、カメラで撮影された運転者の顔画像から求めた眼球中心位置と瞳孔中心位置とに基づいて運転者の視線の方向を検出する技術が開示されている。また、特許文献２には、カメラで撮影された運転者の顔画像から顔の中央線を決定し、該中央線から顔の輪郭位置までの距離に基づき、正面方向をゼロ度としたときの左右方向への顔向き度を検出する技術が開示されている。

［発明が解決しようとする課題］
上記特許文献１、２に開示されている運転者の顔の向きや視線の方向を検出する技術は、装置側で予め設定された正面方向を基準として、運転者の顔の向きや視線の方向を推定している。ところが、運転者が車両の進行方向の正面を見ている場合でも運転者の顔の向き、例えば、上下の向き、左右の向き、左右の傾き度合には個人差がある。また、同じ運転者であっても、運転環境などによって車両の進行方向の正面を見ている状態での顔の向きが変化していることもある。

上記特許文献１、２に開示されている従来の技術では、車両の進行方向の正面に対する運転者の顔の向きの個人差が考慮されていないため、前記運転者の顔の向きを精度良く検出できないという課題があった。

特開２００７−６８９１７号公報 特開２００９−２３２９４５号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、車両の運転者の顔の向きの検出精度を向上させることができる情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムを提供することを目的としている。

上記目的を達成するために本開示に係る情報処理装置（１）は、
車両の運転者の顔を含む画像を取得する画像取得部と、
該画像取得部により取得された前記画像から前記運転者の顔の向きを検出する検出部と、
前記車両の走行状態に関する情報を取得する情報取得部と、
該情報取得部により取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する第１判定部と、
該第１判定部により前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定部とを備えていることを特徴としている。

上記情報処理装置（１）によれば、前記第１判定部により前記特定の走行状態にあるかが判定され、前記基準決定部により前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者にとっての顔の向きの基準が決定される。したがって、前記運転者の顔の向きの個人差に対応した前記基準を決定することができ、該基準を用いることで、前記運転者の顔の向きの検出精度を向上させることが可能となる。

また本開示に係る情報処理装置（２）は、上記情報処理装置（１）において、
前記第１判定部により前記特定の走行状態にあると判定されているときの前記運転者の顔の向きの変化を判定する第２判定部を備え、
前記基準決定部が、前記第２判定部により前記運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、前記基準を決定することを特徴としている。

上記情報処理装置（２）によれば、前記特定の走行状態にあり、かつ前記運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、前記基準が決定される。したがって、前記基準の精度を高めることができる。

また本開示に係る情報処理装置（３）は、上記情報処理装置（１）又は（２）において、前記基準決定部で決定された前記基準を用い、前記画像から前記基準に対する前記運転者の顔の向きを算出する算出部を備えていることを特徴としている。

上記情報処理装置（３）によれば、前記基準決定部で決定された前記基準を用いることで、前記運転者の顔の向き、例えば、前記基準からのずれを算出することができ、前記運転者の顔の向きの検出精度を高めることができる。

また本開示に係る情報処理装置（４）は、上記情報処理装置（３）において、前記算出部で算出された、前記基準に対する前記運転者の顔の向きに基づいて、所定の処理を行う処理部を備えていることを特徴としている。

上記情報処理装置（４）によれば、前記処理部により、前記算出部で算出された、前記基準に対する前記運転者の顔の向きに基づいて、所定の処理を行うことが可能となる。前記所定の処理は、例えば、前記運転者の脇見を判定する処理でもよいし、前記運転者の集中度や疲労度などの意識状態を判定する処理でもよい。また、前記算出部で算出された前記運転者の顔の向きに関する情報を車載機器に送信する処理などでもよい。

また本開示に係る情報処理装置（５）は、上記情報処理装置（４）において、前記処理部により処理された結果を前記運転者へ報知する報知部を備えていることを特徴としている。

上記情報処理装置（５）によれば、前記報知部によって、前記処理部で処理された結果を前記運転者へ報知することが可能となる。

また本開示に係る情報処理装置（６）は、上記情報処理装置（３）〜（５）のいずれかにおいて、前記基準決定部で決定された前記基準を記憶する基準記憶部を備え、
前記算出部が、前記基準記憶部から読み出した前記基準を用いることで、前記画像から前記基準に対する前記運転者の顔の向きを算出することを特徴としている。

上記情報処理装置（６）によれば、前記基準記憶部から前記基準を読み出して、前記運転者の顔の向きを算出することができるので、前記基準決定部による前記基準を決定するための処理負担を減らすことができる。

また本開示に係る情報処理装置（７）は、上記情報処理装置（３）〜（６）のいずれかにおいて、前記基準決定部で決定された前記基準を変更する基準変更部を備えていることを特徴としている。

上記情報処理装置（７）によれば、前記基準変更部により前記基準を変更することが可能となるので、前記基準を適正に維持することができ、精度の高い顔の向きの検出を継続的に行うことができる。

また本開示に係る情報処理装置（８）は、上記情報処理装置（７）において、前記基準変更部が、前記算出部で算出された、前記基準に対する前記運転者の顔の向きと、前記基準との差が所定範囲内である状態で継続している場合に、前記差が小さくなるように前記基準を補正することを特徴としている。

上記情報処理装置（８）によれば、長時間の運転や運転環境の変化などにより、前記運転者の顔の向きが無意識のうちに少しずつ変化した場合であっても、前記基準を適切に補正することができるので、精度の高い顔の向きの検出を継続的に行うことができる。

また本開示に係る情報処理装置（９）は、上記情報処理装置（１）〜（８）のいずれかにおいて、前記特定の走行状態が、前記車両が直進している走行状態であることを特徴としている。

上記情報処理装置（９）によれば、前記車両が直進している走行状態における、前記運転者の顔の向きに基づいて、前記基準が決定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の顔の向きを前記基準にすることができる。

また本開示に係る情報処理装置（１０）は、上記情報処理装置（１）〜（８）のいずれかにおいて、前記情報取得部が、少なくとも前記車両の車速情報と、前記車両の操舵情報とを取得し、
前記第１判定部が、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定することを特徴としている。

上記情報処理装置（１０）によれば、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の顔の向きに基づいて、前記基準を決定することができる。

また本開示に係る情報処理装置（１１）は、上記情報処理装置（１）〜（８）のいずれかにおいて、前記情報取得部が、少なくとも前記車両の加減速情報、及び前記車両の傾斜情報のうちのいずれかを取得し、
前記第１判定部が、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合を、前記特定の走行状態から除外することを特徴としている。

上記情報処理装置（１１）によれば、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合は、前記運転者の顔が揺れたりして、顔の向きが変化する可能性があるため、このような状況下で前記基準が決定されることを防止できる。

また本開示に係る情報処理装置（１２）は、上記情報処理装置（１）〜（８）のいずれかにおいて、前記情報取得部が、前記車両の位置情報と、前記車両の周辺の地図情報とを取得するものであり、
前記第１判定部が、前記車両が直線道路を移動している場合、前記車両が特定の走行状態にあると判定することを特徴としている。

上記情報処理装置（１２）によれば、前記車両の位置情報と、前記車両の周辺の地図情報とに基づいて、前記車両が直線道路を移動していると判定された場合に、前記車両が特定の走行状態にあると判定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の顔の向きに基づいて、前記基準を決定することができる。

また本開示に係る情報処理装置（１３）は、上記情報処理装置（１）〜（１２）のいずれかにおいて、前記運転者を識別する識別部を備え、前記基準決定部が、前記識別部で識別された運転者毎に、前記基準を決定することを特徴としている。

上記情報処理装置（１３）によれば、前記識別部により前記運転者が識別され、該識別された運転者毎に、前記基準を決定することができるので、前記運転者が異なる場合でも、運転者毎に精度の高い顔の向きの検出を行うことが可能となる。

また本開示に係る運転者モニタリングシステムは、上記情報処理装置（１）〜（１３）のいずれかと、前記画像取得部で取得される前記運転者の顔を含む画像を撮像する少なくとも１つのカメラとを備えていることを特徴としている。

上記運転者モニタリングシステムによれば、上記情報処理装置のいずれかの効果を得ることができる運転者モニタリングシステムを安価に実現することができる。

また本開示に係る情報処理方法は、車両の運転者の顔を含む画像を取得する画像取得ステップと、
該画像取得ステップにより取得された前記画像から前記運転者の顔の向きを検出する検出ステップと、
前記車両の走行状態に関する情報を取得する情報取得ステップと、
該情報取得ステップにより取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する判定ステップと、
該判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定ステップとを含むステップを実行させることを特徴としている。

上記情報処理方法によれば、前記判定ステップにより前記特定の走行状態にあるかが判定され、前記基準決定ステップにより前記特定の走行状態にあると判定されているときときの前記運転者の顔の向きに基づいて、前記運転者にとっての顔の向きの基準が決定される。したがって、前記基準を前記運転者の顔の向きの個人差に対応させた形で決定することができ、前記基準を用いることで、前記運転者の顔の向きの検出精度を向上させることが可能となる。

また本開示に係る情報処理プログラムは、少なくとも１つのコンピュータに、
車両の運転者の顔を含む画像を取得する画像取得ステップと、
該画像取得ステップにより取得された前記画像から前記運転者の顔の向きを検出する検出ステップと、
前記車両の走行状態に関する情報を取得する情報取得ステップと、
該情報取得ステップにより取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する判定ステップと、
該判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定ステップとを実行させることを特徴としている。

上記情報処理プログラムによれば、前記少なくとも１つのコンピュータに、上記各ステップを実行させることにより、前記運転者の顔の向きの個人差に対応した前記基準を決定させることができ、前記基準を用いることで、前記運転者の顔の向きの検出精度を向上させることが可能な情報処理装置を実現できる。

実施の形態に係る情報処理装置を含む運転者モニタリングシステムの適用例を示す概略図である。 実施の形態に係る運転者モニタリングシステムを備えた車載システムの構成例を示すブロック図である。 実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態に係る情報処理装置における制御ユニットの行う基準決定処理動作の一例を示すフローチャートである。 実施の形態に係る情報処理装置における制御ユニットの行う顔の向き検出処理動作の一例を示すフローチャートである。 実施の形態に係る情報処理装置における制御ユニットの行うモニタリング処理動作の一例を示すフローチャートである。 実施の形態に係る情報処理装置における制御ユニットの行う基準変更処理動作の一例を示すフローチャートである。

以下、本発明に係る情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムの実施の形態を図面に基づいて説明する。

［適用例］
図１は、実施の形態に係る情報処理装置を含む運転者モニタリングシステムの適用例を示す概略図である。
運転者モニタリングシステム１は、車両２の運転者Ｄの状態を把握するための情報処理を行う情報処理装置１０と、運転者Ｄの顔を含む画像を撮像するカメラ２０とを含んで構成されている。

情報処理装置１０は、車両２に搭載されている車載機器３に接続され、車載機器３から車両２の走行状態に関する各種情報を取得できるとともに、車載機器３に対して制御信号などを出力できる。情報処理装置１０は、制御ユニット、記憶ユニット、入出力インターフェースなどが電気的に接続されて構成されている。

車載機器３には、車両２の動力源、操舵機構、制動機構などを制御する各種の制御装置の他、車両２の各種情報を提示する提示装置、車外と通信する通信装置、車両２の状態や車外の状態を検出する各種のセンサなどが含まれてもよい。また、車載機器３は、車載ネットワーク、例えば、ＣＡＮ(Controller Area Network)で相互に通信可能に構成されていてもよい。

前記制御装置には、車両２の加減速、操舵、及び制動のうちのいずれかの運転操作を自動で制御して、運転者の運転操作を支援する運転支援制御装置が含まれてよい。また、前記制御装置には、車両２の加減速、操舵、及び制動のうちの複数又は全ての運転操作を自動で制御する自動運転制御装置が含まれてよい。前記提示装置には、ナビゲーション装置、報知装置、各種のユーザインターフェースが含まれてもよい。また、情報処理装置１０が、車載機器３の一部に組み込まれてもよい。

カメラ２０は、運転者Ｄを撮像する装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んでもよい。前記光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。前記制御部は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、画像処理回路などを含んで構成されている。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。カメラ２０は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、カメラ２０で撮像された画像のデータが情報処理装置１０へ出力されるようになっている。

カメラ２０の数は、１台でもよいし、２台以上であってもよい。また、カメラ２０は、情報処理装置１０と別体（別筐体）で構成してもよいし、情報処理装置１０と一体（同一筐体）で構成してもよい。カメラ２０は、単眼カメラでもよいし、ステレオカメラであってもよい。

カメラ２０の車室内での設置位置は、少なくとも運転者Ｄの顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ハンドル部分、ハンドルコラム部分、メーターパネル部分、ルームミラー近傍位置、Ａピラー部分、又はナビゲーション装置などに設置してもよい。また、カメラ２０の仕様（画角や画素数（縦×横）など）及び位置姿勢（取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がカメラ２０又は情報処理装置１０に記憶されてもよい。

情報処理装置１０は、車両２の運転者Ｄの状態を把握するための情報処理の一つとして、運転者Ｄの顔の向きを把握する処理を実行する。そして、情報処理装置１０の特徴の一つは、運転者Ｄの顔の向きを把握する処理を行うときに用いる、運転者Ｄの顔の向きの基準を決定する処理にある。

背景技術の欄に記載したように、運転者が車両の進行方向の正面を見ている状態でも運転者の顔の向き、例えば、上下の向き、左右の向き、左右の傾き度合には個人差がある。また、同じ運転者であっても、運転環境などによって車両の進行方向の正面を見ている状態での顔の向きが変化していることもある。

そこで、情報処理装置１０では、運転者の顔の向きを把握する処理を行う場合に、前記顔の向きの個人差等があったとしても、高い精度で顔の向きの検出が行えるように、運転者Ｄにとっての顔の向きの基準を決定する。情報処理装置１０は、運転者Ｄの顔の向きの基準を用いることで、運転者の顔の向きの検出精度を高めようとするものである。

具体的には、情報処理装置１０は、カメラ２０で撮像された画像を取得し、該取得した画像から運転者の顔の向きを検出する。また、情報処理装置１０は、車載機器３から車両２の走行状態に関する情報を取得し、車両２が特定の走行状態にあるか否かを判定する処理を行う。

運転者Ｄの顔の向きには、例えば、画像例２１に示すように、運転者Ｄの顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ（Pitch）角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー(Yaw)角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール(Roll)角のうち、少なくとも１つが含まれている。

車両２の走行状態に関する情報には、例えば、車載機器３から取得する車両２の速度情報や操舵情報が含まれている。これら情報は、後述されている「車両情報」の一例である。この車両情報は、例えば、ＣＡＮで接続された車載機器３から取得したデータであってもよい。また、前記特定の走行状態は、例えば、車両２の車速が所定の車速域にあり、かつ非操舵状態にある走行状態、換言すれば、車両２が直進している走行状態とすることができる。

次に、情報処理装置１０が、車両２が特定の走行状態にあると判定されているときの運転者Ｄの顔の向きに基づいて、運転者Ｄにとっての顔の向きの基準を決定する処理を実行する。具体例として、例えば、情報処理装置１０が、車両２が特定の走行状態にあるときの運転者Ｄの顔の向きの変化を判定し、運転者Ｄの顔の向きの変化がないと判定されている状態にあるときの運転者の顔の向きに基づいて、運転者Ｄの顔の向きの基準を決定する処理を実行してもよい。

前記顔の向きの基準には、例えば、車両２が特定の走行状態にあり、かつ運転者Ｄの顔の向きの変化がないと判定されている状態にあるときの、１以上の画像から検出された運転者の顔の向きを示す上記ピッチ、ヨー、ロール角のうち、少なくとも１つの値、これらの平均値又は最頻値などの値を、前記基準を示す値（基準値）として用いてもよい。

本実施の形態では、情報処理装置１０が、カメラ２０から運転者Ｄの画像を取得し、取得した画像から運転者Ｄの顔の向きを検出するとともに、車両２の走行状態に関する情報を取得し、取得した前記情報に基づいて、車両２が特定の走行状態にあるか否かを判定する。

さらに情報処理装置１０が、車両２が特定の走行状態にあるときの運転者の顔の向きの変化を判定し、運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、該運転者の顔の向きの基準を決定する。したがって、運転者Ｄの顔の向きの個人差に対応した前記顔の向きの基準を決定することができ、決定した前記顔の向きの基準を用いることで、運転者により異なる顔の向きの個人差の影響を受けることなく、運転者Ｄの顔の向きの検出精度を高めることができる。

また、従来行われていた一般的なカメラのキャリブレーションの方法は、所定のスイッチなどを運転者に注視させて、前記スイッチと運転者との位置関係を取得し、取得した位置関係からキャリブレーションを行う方法である。そのため、運転者が意識的に何らかの操作や注視を行わなければならず、手間がかかり煩わしいものであったが、本実施の形態では、運転者が意識することなく、顔の向きの基準が決定されるので、使い勝手も向上させることができる。

［構成例］
図２は、実施の形態に係る運転者モニタリングシステムが搭載された車載システムの一例を示すブロック図である。
車載システム４は、運転者モニタリングシステム１と、自動運転制御装置３０とを含んで構成されている。運転者モニタリングシステム１は、上記したように情報処理装置１０と、カメラ２０とを含んで構成されている。情報処理装置１０のハードウェア構成については後述する。なお、本実施の形態では車載システム４に自動運転システムを適用した一例について説明するが、適用可能なシステムはこれに限定されない。

自動運転制御装置３０は、車両２の加減速、操舵、及び制動を含む走行制御のうちの少なくとも一部又は全ての運転操作をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを切り替える構成を備えてもよい。
自動運転とは、例えば、運転者が運転操作を行うことなく、自動運転制御装置３０の行う制御によって車両２を自動で走行させる運転のことである。前記自動運転は、米国自動車技術会（SAE）が提示している自動運転レベルにおけるレベル１（ドライバ支援）、レベル２（部分的自動運転）、レベル３（条件付自動運転）、レベル４（高度自動運転）、及びレベル５（完全自動運転）のうちのいずれのレベルであってもよい。また、手動運転とは、運転者が運転操作を行う主体となって車両２を走行させる運転のことである。

車載システム４には、運転者モニタリングシステム１、及び自動運転制御装置３０の他、自動運転と手動運転の各種制御に必要なセンサや制御装置などが含まれている。例えば、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、報知装置３７、始動スイッチ３８、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などが含まれている。これら各種センサや制御装置が通信ライン５０を介して電気的に接続されている。

また、車両２には、エンジンやモーターなどの動力源であるパワーユニット５１、運転者が操舵するハンドル５２を備えた操舵装置５３が装備されている。

自動運転制御装置３０は、車両２の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、入出力部などを備えた電子制御ユニットで構成されている。前記制御部は、１つ以上のハードウェアプロセッサを含み、前記記憶部に記憶されているプログラムを読み出して、各種の車両制御を実行する。

自動運転制御装置３０は、情報処理装置１０の他、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、周辺監視センサ３９、ＧＰＳ（Global Positioning System）受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などに接続されている。自動運転制御装置３０は、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両２の自動操舵、自動速度調整、自動制動などの自動運転制御を行う。

また、自動運転制御装置３０は、予め定められた条件を満たした場合、自動運転を終了してもよい。例えば、自動運転制御装置３０は、自動運転中の車両２が予め定められた自動運転の終了地点に到達したと判定した場合、運転者の姿勢が手動運転可能な姿勢になったと判断した場合に自動運転を終了してもよい。また、自動運転制御装置３０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル５２、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。

操舵センサ３１は、ハンドル５２に対する操舵量を検出するセンサであり、例えば、車両２のステアリングシャフトに設けられ、運転者によりハンドル５２に与えられる操舵トルク又はハンドル５２の操舵角を検出する。操舵センサ３１で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置３０と操舵制御装置３４の少なくとも一方へ出力される。

アクセルペダルセンサ３２は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサであり、例えばアクセルペダルのシャフト部分に設けられる。アクセルペダルセンサ３２で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置３０と動力源制御装置３５の少なくとも一方へ出力される。

ブレーキペダルセンサ３３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ３３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置３０と制動制御装置３６の少なくとも一方へ出力される。

操舵制御装置３４は、車両２の操舵装置（例えば、電動パワーステアリング装置）５３を制御する電子制御ユニットである。操舵制御装置３４は、車両２の操舵トルクをコントロールするモーターを駆動させることにより、車両２の操舵トルクを制御する。また、自動運転モードでは、操舵制御装置３４は、自動運転制御装置３０からの制御信号に応じて操舵トルクを制御する。

動力源制御装置３５は、パワーユニット５１を制御する電子制御ユニットである。動力源制御装置３５は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両２の駆動力を制御する。また、自動運転モードでは、動力源制御装置３５は、自動運転制御装置３０からの制御信号に応じて車両２の駆動力を制御する。

制動制御装置３６は、車両２のブレーキシステムを制御する電子制御ユニットである。制動制御装置３６は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両２の車輪へ付与する制動力を制御する。また、自動運転モードでは、動力源制御装置３５は、自動運転制御装置３０からの制御信号に応じて車輪への制動力を制御する。

報知装置３７は、運転者に対して所定の情報を伝えたり、知らせたりするための装置である。報知装置３７、例えば、各種案内又は警告などを音又は音声で出力する音声出力部、各種案内又は警告を文字又は図形で表示したり、ランプを点灯表示したりする表示出力部、或いは運転席又はハンドルなどを振動させたりする振動通知部（いずれも図示せず）などを含んで構成されてよい。報知装置３７は、例えば、情報処理装置１０や自動運転制御装置３０などから出力された制御信号に基づいて動作する。

始動スイッチ３８は、パワーユニット５１を始動及び停止させるためのスイッチであり、エンジンを始動させるイグニッションスイッチや走行用モーターを始動させるパワースイッチなどで構成されている。始動スイッチ３８の操作信号が、情報処理装置１０や自動運転制御装置３０に入力されてもよい。

周辺監視センサ３９は、車両２の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などを含めてよい。周辺監視センサ３９は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含んでよい。周辺監視センサ３９で検出された対象物の検出データが自動運転制御装置３０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

ＧＰＳ受信機４０は、図示しないアンテナを介して人工衛星からのＧＰＳ信号を受信し、受信したＧＰＳ信号に基づいて自車位置を割り出す処理（ＧＰＳ航法）を行う装置である。ＧＰＳ受信機４０で、割り出された自車位置を示す位置情報が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方へ出力される。なお、車両２の自車位置を検出する装置は、ＧＰＳ受信機４０に限定されるものではなく、例えば、ＧＰＳの他、日本の準天頂衛星、ロシアのグロナス（GLONASS）、欧州のガリレオ（Galileo）,中国のコンパス（Compass）等の他の衛星測位システムに対応した装置であってもよい。

ジャイロセンサ４１は、車両２の回転角速度（ヨーレート）を検出するセンサである。ジャイロセンサ４１で検出された回転角速度信号が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方へ出力される。

車速センサ４２は、車両２の速度を検出するセンサであり、例えば、車輪やドライブシャフトなどに設けて車輪の回転速度を検出する車輪速センサなどで構成されている。車速センサ４２で検出された速度を示す車速情報、例えば、車速を割り出すためのパルス信号が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方へ出力される。

ナビゲーション装置４３は、ＧＰＳ受信機４０などで計測された車両２の位置情報と地図データベース（図示せず）の地図情報とに基づいて、車両２が走行する道路や車線を割り出し、車両２の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置４３で求められた、車両２の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置３０へ出力されてもよい。走行予定経路の情報には、自動運転区間の開始地点や終了地点、自動運転の開始予告地点や終了予告地点などの自動運転の切り替え制御に関連する情報も含まれてもよい。ナビゲーション装置４３は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部などを含んで構成されている。

通信装置４４は、無線通信網、例えば、携帯電話網、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）、ＤＳＲＣ（Dedicated Short Range Communications）（登録商標）などの通信網を介して各種の情報を取得する装置である。通信装置４４は、車々間通信機能や路車間通信機能を備えてもよい。例えば、道路脇に設けられた路側送受信機、例えば光ビーコン、ＩＴＳ（Intelligent Transport Systems）スポット（登録商標）などとの路車間通信により、車両２の進路上の道路環境情報（車線規制情報など）を取得してもよい。また、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得してもよい。

図３は、実施の形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。
情報処理装置１０は、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。

入出力Ｉ／Ｆ１１は、カメラ２０、自動運転制御装置３０、報知装置３７などに接続され、これら外部機器との間で信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。

制御ユニット１２は、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆを含んで構成され、さらに、算出部１２ｇ、処理部１２ｈ、基準変更部１２ｉを含んで構成してもよい。制御ユニット１２は、Central Processing Unit（ＣＰＵ）、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。

記憶ユニット１３は、画像記憶部１３ａ、顔の向き記憶部１３ｂ、パラメータ記憶部１３ｃ、基準記憶部１３ｄ、及びプログラム記憶部１３ｅを含んで構成されている。記憶ユニット１３は、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶可能な１つ以上の記憶装置で構成されている。なお、ＲＡＭ及びＲＯＭを制御ユニット１２に含んで構成してもよい。

画像記憶部１３ａには、画像取得部１２ａによりカメラ２０から取得された運転者の画像が記憶される。
顔の向き記憶部１３ｂには、検出部１２ｂで検出された各画像の運転者の顔の向きに関する情報が、画像記憶部１３ａに記憶される各画像と対応付けて記憶される。
パラメータ記憶部１３ｃには、第２判定部１２ｅでの判定に用いられる、顔の向きの閾値などの各種パラメータが記憶されている。
基準記憶部１３ｄには、基準決定部１２ｆで決定された運転者の顔の向きの基準に関する情報、例えば、基準を示す値（基準値）などが記憶される。
プログラム記憶部１３ｅには、制御ユニット１２の各部で実行される情報処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。

制御ユニット１２は、記憶ユニット１３に各種データを記憶する処理を行う。また、制御ユニット１２は、記憶ユニット１３に記憶された各種データや各種プログラムを読み出し、これらプログラムを実行する。制御ユニット１２が記憶ユニット１３と協働して、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆの動作、さらには、算出部１２ｇ、処理部１２ｈ、及び基準変更部１２ｉの動作が実現される。

画像取得部１２ａは、所定のフレームレートで撮像された運転者の画像をカメラ２０から取得する処理を行い、カメラ２０から取得した画像を画像記憶部１３ａに記憶する処理などを行う。

検出部１２ｂは、画像記憶部１３ａに記憶された画像を毎フレーム、又は所定間隔のフレーム毎に読み出し、該画像から運転者の顔の向きを検出する処理を行い、検出した運転者の顔の向きに関する情報を、当該画像と対応付けて顔の向き記憶部１３ｂに記憶する処理を行う。
運転者の顔の向きに関する情報には、画像処理により検出された運転者の顔の向きを示す角度、例えば、上記したヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度の情報を含んでもよい。また、運転者の顔の向きに関する情報には、目、鼻、口、眉などの顔の各器官の位置に関する情報、例えば、顔の各器官の代表的又は特徴的な位置を示す特徴点に関する情報を含んでもよい。

情報取得部１２ｃは、自動運転制御装置３０を介して車両２の走行状態に関する情報を取得する処理を行い、取得した前記情報を第１判定部１２ｄに出力する。情報取得部１２ｃの処理と、画像取得部１２ａの処理との先後は問わない、これら処置を並行して行ってもよい。なお、情報取得部１２ｃは、自動運転制御装置３０を介さずに、車載システム４の各部から前記情報を取得するようにしてもよい。

走行状態に関する情報には、少なくとも車両２の車速情報と、車両２の操舵情報とが含まれる。車速情報には、車速センサ４２で検出された車速情報などが含まれる。操舵情報には、操舵センサ３１で検出された操舵角や操舵トルク、又はジャイロセンサ４１で検出された回転角速度などが含まれる。

また、情報取得部１２ｃは、車両２の加減速情報や車両２の傾斜情報を取得してもよい。加減速情報には、例えば、アクセルペダルセンサ３２やブレーキペダルセンサ３３で検出されたペダルの踏込み量、動力源制御装置３５から出力される駆動制御信号、又は制動制御装置３６から出力される制動制御信号などの情報が含まれる。車両２の傾斜情報には、車両２に設けられた傾斜センサ（図示せず）で検出された傾斜情報、又はナビゲーション装置４３で割り出された自車位置の道路の傾斜情報などが含まれる。

また、情報取得部１２ｃは、車両２の位置情報と、車両２の周辺の地図情報とを取得してもよい。これら情報には、例えば、ナビゲーション装置４３で割り出された自車位置と、該自車位置の周辺の地図情報などが含まれる。

さらに、情報取得部１２ｃは、車両２の周辺、特に進行方向に存在する他車両や人などの監視対象物に関する情報を取得してもよい。これら情報には、例えば、周辺監視センサ３９で検出された、対象物の種類や対象物までの距離に関する情報などが含まれる。

第１判定部１２ｄは、情報取得部１２ｃで取得した、走行状態に関する情報に基づいて、車両２が特定の走行状態にあるか否かを判定する処理を行い、判定結果を第２判定部１２ｅに出力する。前記特定の走行状態には、運転者の顔の向きの変化が少ない、すなわち顔姿勢が安定していると推定される走行状態、例えば、車両２が直進している走行状態が含まれる。

より具体的には、車両２が特定の走行状態にある場合には、車両２の車速が所定の速度域にあり、かつ非操舵状態にある場合が含まれる。非操舵状態とは、ハンドル５２の操舵が実質的になされていない状態である。例えば、操舵センサ３１で検出された操舵角が０°に近い、狭い範囲内にある場合、又は操舵トルクが０Ｎ・ｍに近い、狭い範囲内にある場合などである。また、前記所定の速度域は、特に限定されないが、中速度（４０ｋｍ／ｈ）以上であることが好ましい。低速度のときは、車間距離が狭い場合や道路が狭い場合など、運転者の顔姿勢が安定しない状況が想定されるためである。

また、第１判定部１２ｄは、車両２の位置情報と、車両２の周辺の地図情報とから車両２が直線道路を移動している場合、車両２が特定の走行状態にあると判定してもよい。前記直線道路は、例えば、平坦な直線道路である。前記平坦か否かは、前記地図情報に含まれる道路の勾配情報に基づいて判定すればよい。

また、第１判定部１２ｄは、車両２が所定の加速又は減速の状態にある場合、或いは車両２が所定の傾斜姿勢にある場合を、特定の走行状態から除外してもよい。所定の加速又は減速の状態には、急加速や急減速の状態が含まれる。所定の傾斜姿勢には、所定勾配以上の坂道を走行しているときの傾斜姿勢が含まれる。これらの場合を特定の走行状態から除外する理由は、運転者の顔姿勢が安定せず、顔の向きの変化が生じやすい状況が想定されるからである。

また、第１判定部１２ｄは、周辺監視センサ３９で検出された、他車両との距離が、車間距離が狭くなっていることを示す所定値以下の場合、車両２が特定の走行状態にはないと判定してもよい。その理由は、車間距離が狭い状態においては、運転者の顔姿勢が安定しない状況が想定されるからである。

第２判定部１２ｅは、第１判定部１２ｄで判定された特定の走行状態にあるときの運転者の顔の向きの変化を判定する処理を行い、判定結果を基準決定部１２ｆに出力する。例えば、運転者の顔の向きの変化がないと推定できる状態にあるか否かを判定する処理を行う。具体的には、顔の向き記憶部１３ｂから当該画像に対応する運転者の顔の向きの情報を読み出し、読み出した運転者の顔の向きが所定の範囲（例えば、車両の進行方向に対する正面とみなせる範囲）内にあり、かつ、直前の画像での運転者の顔の向きとの差が所定の閾値（顔の向きが変化していないと推定できる範囲）内であるか否かを判定する処理を行ってもよい。前記所定の範囲や前記所定の閾値など、判定に必要なパラメータは、パラメータ記憶部１３ｃから読み出される。

基準決定部１２ｆは、運転者の顔の向きの変化がないと判定されているときの運転者の顔の向きに基づいて、運転者の顔の向きの基準を決定する処理を行い、決定した前記顔の向きの基準に関する情報を基準記憶部１３ｄに記憶する処理を行う。

具体的には、まず、第２判定部１２ｅで判定された、運転者の顔の向きの変化がないと推定できる状態が所定期間以上継続しているか否かを判定する。すなわち、第２判定部１２ｅから、運転者の顔の向きの変化がないと推定できる状態にあることを示す判定結果（すなわち画像毎の判定結果）を所定期間（所定フレーム数でもよい）以上継続して取得したか否かを判定する。

所定期間以上継続して取得したと判断すれば、次に、顔の向き記憶部１３ｂから前記所定期間に取得した画像に対応する運転者の顔の向きの情報を読み出し、読み出した運転者の顔の向きの情報を用いて基準値を決定する。

運転者の顔の向きの基準を示す基準値は、運転者の顔の向きを示す角度情報、例えば、上記したヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度の平均値でもよいし、最頻値でもよい。また、顔の各器官の位置を示す特徴点の位置の平均値や最頻値を含んでもよい。

上記した検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、基準決定部１２ｆ、及び顔の向き記憶部１３ｂが協働して、運転者の顔の向きの基準を決定する処理を実行する。
一方、算出部１２ｇ、処理部１２ｈ、及び基準記憶部１３ｄが協働して、運転者の状態を把握（モニタリング）する処理を実行する。

算出部１２ｇは、基準決定部１２ｆで決定された顔の向きの基準を基準記憶部１３ｄから読み出し、顔の向きの基準を用い、画像取得部１２ａで取得した画像から、顔の向きの基準に対する運転者の顔の向き（例えば、基準値からのずれなど）を算出する処理を行い、算出結果を処理部１２ｈに出力する。

処理部１２ｈは、算出部１２ｇで算出された、顔の向きの基準に対する運転者の顔の向き（例えば、基準値からのずれ）に基づいて、所定の処理を行う。
所定の処理は、例えば、脇見状態にあるか否かの判定処理を行って、脇見状態にある場合（例えば、左右方向の顔の向きが基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理でもよいし、報知処理を行うことなく、脇見状態にある顔の向きの情報を記憶ユニット１３に記憶する処理や、自動運転制御装置３０に出力する処理でもよい。

また、処理部１２ｈは、集中度や疲労度（眠気などを含む）の判定処理を行って、集中度が低下し、又は疲労度が高い場合（例えば、下方向の顔の向きが基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理を行ってもよい。また、処理部１２ｈは、報知処理に代えて、又は報知処理とともに、集中度が低下し、又は疲労度が高い状態になっている顔の向きの情報を記憶ユニット１３に記憶する処理を行ってもよい。また、処理部１２ｈは、脇見状態の判定などは行わずに、算出部１２ｇで算出された顔の向きの情報を記憶ユニット１３に記憶する処理を行ってもよい。

また、所定の処理は、自動運転モードから手動運転モードへの切り替え時において、運転者が手動運転への引き継ぎが可能な状態にあるか否かの判定処理を行って、引き継ぎが可能な状態にあると判定した場合（例えば、基準値からの顔の向きのずれが、手動運転に適切な所定範囲内である場合）、自動運転制御装置３０に、手動運転への切り替えを許可する信号を出力する処理でもよい。

基準変更部１２ｉは、基準決定部１２ｆで決定された顔の向きの基準、例えば、基準値を変更する処理を行い、変更した基準値を基準記憶部１３ｄに記憶する処理を行う。
例えば、特定の走行状態（例えば、直進している走行状態）であるときに、算出部１２ｇで算出された前記運転者の顔の向きと、前記顔の向きの基準との差が所定範囲内である状態（例えば、基準値から一定の方向に顔の向きがずれているが、脇見ほどずれていない状態）で一定期間又は断続的に継続している場合に、前記差が小さくなるように前記顔の向きの基準を変更、例えば補正してもよい。また、基準変更部１２ｉが行う処理には、運転者が変わった場合に、顔の向きの基準を変更する処理も含まれる。

［動作例］
図４は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う基準決定処理動作の一例を示すフローチャートである。本処理動作は、例えば、車両２の始動スイッチ３８がＯＮされた後、一定期間のみ実行されてもよいし、カメラ２０が起動されている間、常時実行されてもよい。

まずステップＳ１では、制御ユニット１２が、運転者の顔の向きを検出する処理を行う。カメラ２０では、毎秒所定フレーム数の画像が撮像される。制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行してもよい。

図５は、制御ユニット１２が実行する、ステップＳ１の検出処理動作の一例を示したフローチャートである。まず、ステップＳ１１において、制御ユニット１２が、カメラ２０で撮像された画像を取得し、次のステップＳ１２では、制御ユニット１２が、取得された画像から運転者の顔（例えば、顔の領域）を検出する処理を行い、その後ステップＳ１３に進む。

制御ユニット１２が実行する、画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量とし、顔をおおまかにとらえるような識別器を階層構造の最初の方に配置し、顔の細部をとらえるような識別器を階層構造の深い位置に配置した階層的な検出器を用いることで、画像から顔の領域を探索する処理を高速に実行することが可能となる。

ステップＳ１３では、制御ユニット１２が、ステップＳ１２で検出された顔の領域から、目、鼻、口、眉などの顔器官の位置や形状を検出する処理を行う。画像中の顔の領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、３次元顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。３次元の顔形状モデルは、顔の各器官の特徴点に対応するノードによって構成される。この手法によれば、カメラ２０の設置位置や画像中の顔の向きなどに関わらず、正確に顔の各器官の位置と形状を検出することが可能となる。画像中の人の顔に３次元顔形状モデルをフィッティングさせる技術として、例えば、特開２００７−２４９２８０号公報に記載された技術を適用することができるが、これに限定されるものではない。

制御ユニット１２が、３次元顔形状モデルを画像中の運転者の顔にフィッティングさせる処理の一例を説明する。３次元顔形状モデルは、顔を正面から見たときの左右水平方向の軸をＸ軸、上下垂直方向の軸をＹ軸、奥行き（前後）方向の軸をＺ軸とした場合の、Ｘ軸回りの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、Ｚ軸回りの回転（ロール）、拡大縮小などの複数のパラメータを有しており、これらパラメータを用いることで、３次元顔形状モデルの形状を変形させることが可能となっている。

また、予め行われた誤差相関学習によって、誤差推定行列（変換行列）が取得されている。前記誤差推定行列は、３次元顔形状モデルの各器官の特徴点が誤った位置（検出すべき各器官の特徴的と異なる位置）に配置されたときにどの方向に修正すべきかの相関関係についての学習結果であり、多変量回帰を用いて、特徴点での特徴量から上記パラメータの変化分へ変換するための行列である。

まず、制御ユニット１２は、顔の検出結果から、その顔の位置、向き、大きさに対して適切な位置に３次元顔形状モデルを初期配置する。次に、初期位置における各特徴点の位置を求め、各特徴点での特徴量を計算する。次に、各特徴点での特徴量を、誤差推定行列に入力し、正解位置近傍への形状変化パラメータの変化分（誤差推定量）を求める。そして、現在位置での３次元顔形状モデルの形状変化パラメータに、上記誤差推定量を加算し、正解モデルパラメータの推定値を取得する。次に、取得した正解モデルパラメータが正常範囲内であり、処理が収束したか否かを判断する。処理が収束していないと判断すれば、取得した正解モデルパラメータに基づいて作成した新たな３次元顔形状モデルの各特徴点の特徴量を取得して処理を繰り返す。一方、処理が収束したと判断すれば、正解位置近傍への３次元顔形状モデルの配置を完了する。制御ユニット１２が行うこれら処理により３次元顔形状モデルが画像上の正解位置近傍へ高速にフィッティングされ、正解位置にフィッティングされた３次元顔形状モデルから顔の各器官の位置や形状を算出する。

次のステップＳ１４では、制御ユニット１２が、ステップＳ１３で求めた顔の各器官の位置や形状のデータに基づいて、運転者の顔の向きを検出する。例えば、上記正解位置近傍に配置された３次元顔形状モデルのパラメータに含まれている、上下回転（Ｘ軸回り）のピッチ角、左右回転（Ｙ軸回り）のヨー角、及び全体回転（Ｚ軸回り）のロール角のうちの少なくとも１つを運転者の顔の向きに関する情報として検出してもよい。

ステップＳ１５では、制御ユニット１２が、ステップＳ１４で検出した運転者の顔の向きに関する情報を当該画像と対応付けて顔の向き記憶部１３ｂに記憶してその後処理を終え、次の画像に対する顔の向きの検出処理を繰り返す。

図４に示すステップＳ２では、制御ユニット１２が、車両２の走行状態に関する情報（以下、車両情報ともいう）を取得する処理を行う。なお、ステップＳ１の処理とステップＳ２の処理との先後は問わない。また、ステップＳ１の処理とステップＳ２の処理とを並行して行ってもよい。
車両情報には、例えば、少なくとも車両２の速度情報と操舵情報とが含まれる。また、車両情報として、車両２の加減速情報や車両２の傾斜情報を取得してもよい。また、車両２の位置情報や車両２の周辺の地図情報を取得してもよい。さらに、車両２の周辺、特に進行方向に存在する他車両や人などの監視対象物に関する情報を取得してもよい。なお、車両情報は、自動運転制御装置３０を介して取得してもよいし、車載システム４の各部から直接取得してもよい。

次のステップＳ３では、制御ユニット１２が、ステップＳ２で取得した車両情報に基づいて、車両２が特定の走行状態にあるか否かを判定する処理を行う。特定の走行状態には、例えば、車両２が直進している走行状態が含まれる。

ステップＳ３において、制御ユニット１２が、特定の走行状態にあると判定した場合、例えば、車両２の速度情報及び操舵情報に基づいて、車両２の車速が所定の速度域（例えば、中速度以上）であり、かつ非操舵状態（実質的に操舵されていない状態）であると判定した場合、または、車両２の位置情報と車両２の周辺の地図情報とに基づいて、車両２が直線道路を移動していると判定した場合、ステップＳ４に進む。

一方ステップＳ３において、制御ユニット１２が、特定の走行状態にはないと判定した場合、例えば、車両２の車速が所定の速度域にない（例えば、低速度域にある）、又は操舵状態にあると判定した場合、急加速や急減速がなされた状態にあると判定した場合、所定勾配以上の坂道を走行している場合、或いは他車両との距離が所定値以下になって車間距離が狭くなった状態と判定した場合、その後処理を終える。

ステップＳ４では、制御ユニット１２が、車両２が特定の走行状態にあるときの運転者の顔（頭部でもよい）の向きの変化を判定する処理を行う。例えば、ステップＳ１で検出した運転者の顔の向きの情報を用いて、運転者の顔の向きの変化がないと推定できる状態にあるか否かを判定する処理を行う。具体的には、顔の向き記憶部１３ｂから当該画像に対応する運転者の顔の向きの情報を読み出し、読み出した運転者の顔の向きが所定の範囲（例えば、車両２の進行方向に対する正面とみなせる範囲）内にあり、かつ、直前の画像での運転者の顔の向きとの差が所定の閾値（顔の向きがほぼ変化していないと推定できる範囲）内であるか否かを判定する処理を行う。

ステップＳ４において、制御ユニット１２が、運転者の顔の向きの変化がないと推定できる状態ではない、すなわち、顔がある程度以上動いていると判定した場合は、その後処理を終える一方、運転者の顔の向きの変化がないと推定できる状態にあると判定した場合はステップＳ５に進む。

ステップＳ５では、制御ユニット１２が、車両２が特定の走行状態であり、かつ運転者の顔の向きの変化がないと推定できる状態が所定期間継続しているか否かを判定する。ステップＳ５において、所定期間継続していると判定した場合はステップＳ６に進む一方、所定期間継続していないと判定した場合は、その後処理を終える。所定期間継続しているか否かは、例えば、運転者の顔の向きの変化がないと推定できる状態の画像が検出されてからの時間をカウントして、前記推定できる状態が所定時間（例えば、１０秒前後の時間）経過したかを判定してもよい。または、運転者の顔の向きの変化がないと推定できる状態の画像のフレーム数をカウントして、前記推定できる状態の画像が所定フレーム数（例えば、１０秒前後の時間で取得できるフレーム数）になったか否かを判定してもよい。

ステップＳ６では、制御ユニット１２が、運転者の顔の向きの基準を決定する処理を行い、その後ステップＳ７に進む。具体的には、顔の向き記憶部１３ｂから前記所定期間に取得した各画像の運転者の顔の向きに関する情報を読み出し、前記各画像の運転者の顔の向きに関する情報を用いて基準を決定する。顔の向きの基準の決定方法は、前記各画像の運転者の顔の向きの平均値を基準値としてもよいし、前記各画像の運転者の顔の向きの最頻値を基準値としてもよい。運転者の顔の向きの基準は、運転者の顔の向きを示す角度情報、例えば、上記したヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度情報の平均値でもよいし、最頻値でもよい。また、顔の各器官の位置に関する平均値や最頻値を含んでもよい。

ステップＳ７では、制御ユニット１２が、ステップＳ６で決定した顔の向きの基準に関する情報を基準記憶部１３ｄに記憶する処理を行い、その後処理を終える。基準記憶部１３ｄには、顔の向きの基準（基準値）とともに、日時データ、運転環境データ（例えば、車外照度データ）などの付加情報も併せて記憶してもよい。

また、別の実施の形態では、制御ユニット１２に、運転者を識別する識別部（図示せず）を設け、該識別部で識別された運転者毎に、顔の向きの基準を決定してもよい。前記識別部は、画像を用いた顔認証処理により運転者を識別するものでもよいし、スイッチなどの操作部を介して、運転者を設定又は選択するものでもよい。

例えば、上記ステップＳ１の顔の向き検出処理において、制御ユニット１２が、画像から運転者の顔を検出した後（ステップＳ１２）、運転者の顔認証処理を行い、新規の運転者であるか、登録済みの運転者であるかを判断し、新規の運転者である場合は、その後ステップＳ２からＳ６の処理を行い、ステップＳ７において、運転者の顔認証情報とともに、顔の向きの基準に関する情報を基準記憶部１３ｄに記憶する処理を行う。一方、登録済みの運転者である場合は、基準記憶部１３ｄに顔の向きの基準が記憶されているので、その後処理を終えるようにしてもよい。

また、基準記憶部１３ｄには、運転者一人につき、一つの顔の向きの基準を記憶してもよいし、複数の顔の向きの基準を記憶してもよい。例えば、車両２の走行速度域（中速度域、高速度域）に応じて、各速度域の顔の向きの基準を決定して記憶してもよい。また、車両２のヘッドライトのオン／オフ（昼と夜）に応じて、それぞれの顔の向きの基準を決定して記憶してもよい。このように、運転者が正面を向いているときの顔の向きが微妙に変化することが推定される、車両２の走行状態に応じて、それぞれの顔の向きの基準を決定して記憶してもよい。

次に情報処理装置１０の制御ユニット１２が行う運転者状態の把握（モニタリング）処理について説明する。
図６は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う運転者のモニタリング処理動作の一例を示すフローチャートである。カメラ２０では、毎秒所定フレーム数の画像が撮像されるようになっており、制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行してもよい。

まずステップＳ２１では、制御ユニット１２が、運転者の顔の向きを検出する処理を行う。当該運転者の顔の向きの検出処理は、図５で示したステップＳ１１〜Ｓ１５と同様の処理を行ってもよく、ここではその説明を省略する。

ステップＳ２１で運転者の顔の向きの検出処理を行った後、ステップＳ２２に進む。ステップＳ２２では、制御ユニット１２が、基準記憶部１３ｄから顔の向きの基準を読み出し、ステップＳ２１で検出した運転者の顔の向きと前記顔の向きの基準とのずれ（例えば、基準値からのずれ）を算出する処理を行い、ステップＳ２３に進む。
顔の向きの基準には、例えば、ヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度が基準値として含まれている。これら基準値と、ステップＳ２１で検出した運転者の顔の向き（ヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度）との角度差を演算し、該演算した角度差を前記基準値からのずれとしてもよい。

なお、基準記憶部１３ｄに、車両２の走行状態に応じた複数の顔の向きの基準が記憶されている場合、ステップＳ２１で顔の向き検出処理を行った後、ステップＳ２２に代えて、車両情報を取得して、車両２の走行状態を判定し、該判定した走行状態に対応した、顔の向きの基準を基準記憶部１３ｄから読み出し、前記顔の向きの基準からのずれを算出する処理を行うようにしてもよい。

ステップＳ２３では、制御ユニット１２が、ステップＳ２２で算出した、基準値からのずれ（例えば、ヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度差）が、第１の範囲（例えば、所定の角度差）を超えている状態か否かを判定する。

前記第１の範囲は、モニタリングの目的に応じて様々な範囲に設定することが可能である。例えば、脇見状態にあるか否かの判定を行う場合は、第１の範囲（脇見判定角度）として、左右方向（ヨー角）を少なくとも含む所定の角度範囲を設定してもよい。
運転の集中度や疲労度（眠気などを含む）を判定する場合は、第１の範囲（集中・疲労度判定角度）として、上下方向（ピッチ角）を少なくとも含む所定の角度範囲を設定してもよい。
自動運転モードから手動運転モードへの切り替え可能な姿勢であるか否かの判定を行う場合は、第１の範囲（引継判定角度）として、左右方向（ヨー角）と上下方向（ピッチ角）とを少なくとも含む所定の角度範囲を設定してもよい。

ステップＳ２３において、前記基準値からのずれが、第１の範囲を超えていると判断すればステップＳ２４に進む。ステップＳ２４では、制御ユニット１２が、第１の範囲を超えている状態が、所定期間継続しているか否かを判定する。所定期間には、モニタリングの目的に応じて適切な期間（時間をカウントしてもよいし、画像のフレーム数をカウントしてもよい）を設定すればよい。

ステップＳ２４において、第１の範囲を超えている状態が所定期間継続していないと判断すれば、その後処理を終える一方、所定時間継続していると判断すればステップＳ２５に進む。

ステップＳ２５では、制御ユニット１２が、報知装置３７に報知信号を出力し、その後処理を終える。報知信号は、モニタリングの目的に応じた報知処理を報知装置３７で実行させるための信号である。

報知装置３７では、情報処理装置１０からの報知信号に基づいて、所定の報知処理を行う。報知処理は、音や音声による報知でもよいし、光による報知でもよいし、表示による報知でもよいし、ハンドル５２や座席の振動による報知でもよく、さまざまな報知形態を適用可能である。

モニタリングの目的が脇見状態の判定である場合は、例えば、運転者に脇見状態にあることを知らせる、又は脇見をやめて正面を向くように促すための報知を行ってもよい。また、モニタリングの目的が運転の集中度や疲労度の判定である場合は、例えば、運転者に集中度が低下していることや疲労度が高い状態にあることを報知してもよい。また、モニタリングの目的が自動運転モードから手動運転モードへの切替を許可する判定である場合は、例えば、適切な運転姿勢をとることを促すための報知を行ってもよい。

なお、ステップＳ２３、Ｓ２４、Ｓ２５の処理は必須ではなく、ステップＳ２２で算出された、基準値からのずれに関する情報を記憶ユニット１３に記憶する処理に置き換えてもよい。
また、ステップＳ２５の処理の代わりに、Ｓ２３、２４での判定情報（ずれが第１の範囲外であり、かつ所定期間継続していることを表す情報やその時の顔の向きに関する情報）を記憶ユニット１３に記憶する処理を行ってもよい。または、ステップＳ２５の処理の代わりに、自動運転制御装置３０に、ステップＳ２３、Ｓ２４での判定情報を出力する処理を行ってもよい。

また、ステップＳ２３において、前記基準値からのずれが第１の範囲を超えていないと判断すれば、ステップＳ２６の基準値変更処理に進む。ステップＳ２６の基準値変更処理については、図７に示すフローチャートを用いて説明する。なお、ステップＳ２６の基準変更処理は必須ではなく、別の実施の形態では、基準値変更処理を行うことなく、その後処理を終えるようにしてもよい。

図７は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う基準値変更処理動作の一例を示すフローチャートである。
まずステップＳ３１では、制御ユニット１２が、ステップＳ２２で算出した、顔の向きの基準（基準値）からのずれが、該基準値の示す方向（正面）を見ているとみなす第２の範囲を超えているか否か（第２の範囲外か否か）を判断する。なお、第２の範囲は、顔の向きを示すヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度範囲情報を含んでよい。また、第２の範囲は第１の範囲より狭い角度範囲であり、例えば、顔の向きの基準から±５度の角度範囲に設定してもよい。

ステップＳ３１において、顔の向きの基準（基準値）からのずれが、第２の範囲を超えていない、換言すれば、運転者の顔が、前記基準値の示す方向（正面とみなす方向）を向いていると判断すれば、その後処理を終える。一方、ステップＳ３１において、顔の向きの基準（基準値）からのずれが第２の範囲を超えている（顔の向きが正面とみなす方向から少しずれている状態）と判断すればステップＳ３２に進む。

ステップＳ３２では、制御ユニット１２が、ステップＳ２３で算出された基準値からのずれを示す情報（すなわち、第１の範囲内にあり、かつ第２の範囲を超えている状態のずれ情報）を、当該画像の顔の向きの検出情報に紐付けて、顔の向き記憶部１３ｂに記憶し、ステップＳ３３に進む。なお、別の実施の形態では、ステップＳ３２の前に、車両２が特定の走行状態にあるか否かを判断し（図４のステップＳ３と同様の処理を行い）、特定の走行状態にある場合、ステップＳ３２の処理に進むようにしてもよい。係る構成により基準値を変更する場合の条件を一定にすることが可能となる。

ステップＳ３３では、制御ユニット１２が、顔の向き記憶部１３ｂから、前記ずれ情報が紐付けされた画像の顔の向きの検出情報を読み出し、基準値からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出されたか否かを判断する。すなわち、運転者の顔の向きが、基準値の示す正面から一定の方向に少しだけずれている状態（脇見状態というほどではない状態）が頻発しているか否かを判断する。

ステップＳ３３において、基準値からのずれが一定の方向を示している画像が、所定の頻度で検出されていないと判断すれば、その後処理を終える一方、所定の頻度で検出されたと判断すれば、ステップＳ３４に進む。

ステップＳ３４では、制御ユニット１２が、顔の向きの基準を変更する処理を行う。例えば、前記一定の方向にずれている顔の向きの状態が、運転者の顔の向きの正面であると判断されやすくなるように、基準値を変更する処理を行い、その後ステップＳ３５に進む。具体的には、基準値からの顔の向きのずれが、例えば下向きに３°程度生じていた場合、顔の向きの基準値を下向きに３°下げる、又は３°に近づくように（ずれが小さくなるように）変更する。

ステップＳ３５では、制御ユニット１２が、ステップＳ３４で変更した基準値を、基準記憶部１３ｄに記憶して、その後処理を終える。
このような、基準値の変更を行うことにより、例えば、長時間の運転や運転環境の変化（天候の変化や時間帯）などで姿勢が変化し、運転者の顔の正面の向きが無意識に変化した場合であっても、その状態における運転者の顔の正面を、顔の向きの基準に設定することができ、顔の向きの検出精度を向上させることができる。

［作用・効果］
上記実施の形態に係る情報処理装置１０によれば、第１判定部１２ｄにより車両２が特定の走行状態にあるか否かが判定され、第２判定部１２ｅにより前記特定の走行状態にあるときの運転者の顔の向きの変化が判定される。そして、基準決定部１２ｆにより運転者の顔の向きの変化がないと判定されているときの運転者の顔の向きに基づいて、運転者の顔の向きの基準が決定され、算出部１２ｇにより、前記顔の向きの基準を用いることで、運転者の顔の向きが算出される。

したがって、運転者の顔の向きの個人差に対応した前記顔の向きの基準を決定することができ、該顔の向きの基準を用いることで、制御ユニット１２に処理負荷をかけることなく、前記運転者の顔の向きの検出精度を向上させることができる。

また、基準記憶部１３ｄから顔の向きの基準を読み出して、運転者の顔の向きを算出することができるので、基準決定部１２ｆによる顔の向きの基準を決定するための処理負担を減らすことができる。
また、処理部１２ｈにより、算出部１２ｇで算出された運転者の顔の向きに基づいて、各種の処理を実行することが可能となる。
また、基準変更部１２ｉにより基準決定部１２ｆで決定された顔の向きの基準を変更することが可能となるので、前記基準を適正に維持することができ、常に精度の高い顔の向きの検出を行うことができる。

上記実施の形態に係る運転者モニタリングシステム１によれば、情報処理装置１０と、カメラ２０とを備えているので、情報処理装置１０の種々の効果を得ることができる運転者モニタリングシステムを安価に実現することができる。
なお上記実施の形態では、運転者モニタリングシステム１を車両２に適用した場合について説明したが、車両以外の他の乗り物に適用してもよい。

以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
例えば、上記実施の形態では、運転者の顔の向きを検出するように構成されているが、情報処理装置が、運転者の顔の向きに代えて、又は顔の向きとともに、運転者の視線方向を検出し、該視線方向の基準を決定し、該基準を用いて、運転者の視線方向を算出するように構成してもよい。

［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得部（１２ａ）と、
画像取得部（１２ａ）により取得された画像（２１）から運転者（Ｄ）の顔の向きを検出する検出部（１２ｂ）と、
車両（２）の走行状態に関する情報を取得する情報取得部（１２ｃ）と、
情報取得部（１２ｃ）により取得された前記情報に基づいて、車両（２）が特定の走行状態にあるかを判定する第１判定部（１２ｄ）と、
第１判定部（１２ｄ）により前記特定の走行状態にあると判定されているときの運転者（Ｄ）の顔の向きに基づいて、運転者（Ｄ）の顔の向きの基準を決定する基準決定部１２ｆとを備えていることを特徴とする情報処理装置（１０）。

（付記２）
情報処理装置（１０）と、
画像取得部（１２ａ）で取得される運転者（Ｄ）の顔を含む画像（２１）を撮像する少なくとも１つのカメラ（２０）とを備えていることを特徴とする運転者モニタリングシステム（１）。

（付記３）
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得ステップ（Ｓ１１）と、
画像取得ステップ（Ｓ１１）により取得された画像（２１）から運転者（Ｄ）の顔の向きを検出する検出ステップ（Ｓ１４）と、
車両（２）の走行状態に関する情報を取得する情報取得ステップ（Ｓ２）と、
情報取得ステップ（Ｓ２）により取得された前記情報に基づいて、車両（２）が特定の走行状態にあるかを判定する判定ステップ（Ｓ３）と、
判定ステップ（Ｓ３）により前記特定の走行状態にあると判定されているときの運転者（Ｄ）の顔の向きに基づいて、運転者（Ｄ）の顔の向きの基準を決定する基準決定ステップ（Ｓ６）とを含むステップを実行させることを特徴とする情報処理方法。

（付記４）
少なくとも１つのコンピュータ（１２）に、
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得ステップ（Ｓ１１）と、
画像取得ステップ（Ｓ１１）により取得された画像（２１）から運転者（Ｄ）の顔の向きを検出する検出ステップ（Ｓ１４）と、
車両（２）の走行状態に関する情報を取得する情報取得ステップ（Ｓ２）と、
情報取得ステップ（Ｓ２）により取得された前記情報に基づいて、車両（２）が特定の走行状態にあるかを判定する判定ステップ（Ｓ３）と、
判定ステップ（Ｓ３）により前記特定の走行状態にあると判定されているときの運転者（Ｄ）の顔の向きに基づいて、運転者（Ｄ）の顔の向きの基準を決定する基準決定ステップ（Ｓ６）とを実行させることを特徴とする情報処理プログラム。

１ 運転者モニタリングシステム
２ 車両
３ 車載機器
４ 車載システム
１０ 情報処理装置
１１ 入出力Ｉ／Ｆ
１２ 制御ユニット
１２ａ 画像取得部
１２ｂ 検出部
１２ｃ 情報取得部
１２ｄ 第１判定部
１２ｅ 第２判定部
１２ｆ 基準決定部
１２ｇ 算出部
１２ｈ 処理部
１２ｉ 基準変更部
１３ 記憶ユニット
１３ａ 画像記憶部
１３ｂ 顔の向き記憶部
１３ｃ パラメータ記憶部
１３ｄ 基準記憶部
１３ｅ プログラム記憶部
２０ カメラ
３０ 自動運転制御装置
３１ 操舵センサ
３２ アクセルペダルセンサ
３３ ブレーキペダルセンサ
３４ 操舵制御装置
３５ 動力源制御装置
３６ 制動制御装置
３７ 報知装置
３８ 始動スイッチ
３９ 周辺監視センサ
４０ ＧＰＳ受信機
４１ ジャイロセンサ
４２ 車速センサ
４３ ナビゲーション装置
４４ 通信装置
５０ 通信ライン
５１ パワーユニット
５２ ハンドル
５３ 操舵装置

Claims (15)

1. 車両の運転者の顔を含む画像を取得する画像取得部と、
   該画像取得部により取得された前記画像から前記運転者の顔の向きを検出する検出部と、
   前記車両の走行状態に関する情報を取得する情報取得部と、
   該情報取得部により取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する第１判定部と、
   該第１判定部により前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定部と、
   前記第１判定部により前記特定の走行状態にあると判定されているときの前記運転者の顔の向きの変化を判定する第２判定部とを備え、
   前記基準決定部が、前記第２判定部により前記運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、前記基準を決定することを特徴とする情報処理装置。
2. 前記基準決定部で決定された前記基準を用い、前記画像から前記基準に対する前記運転者の顔の向きを算出する算出部を備えていることを特徴とする請求項１記載の情報処理装置。
3. 前記算出部で算出された、前記基準に対する前記運転者の顔の向きに基づいて、所定の処理を行う処理部を備えていることを特徴とする請求項２記載の情報処理装置。
4. 前記処理部により処理された結果を前記運転者へ報知する報知部を備えていることを特徴とする請求項３記載の情報処理装置。
5. 前記基準決定部で決定された前記基準を記憶する基準記憶部を備え、
   前記算出部が、前記基準記憶部から読み出した前記基準を用いることで、前記画像から前記基準に対する前記運転者の顔の向きを算出することを特徴とする請求項２〜４のいずれかの項に記載の情報処理装置。
6. 前記基準決定部で決定された前記基準を変更する基準変更部を備えていることを特徴とする請求項２〜５のいずれかの項に記載の情報処理装置。
7. 前記基準変更部が、
   前記算出部で算出された、前記基準に対する前記運転者の顔の向きと、前記基準との差が所定範囲内である状態で継続している場合に、前記差が小さくなるように前記基準を補正することを特徴とする請求項６記載の情報処理装置。
8. 前記特定の走行状態が、前記車両が直進している走行状態であることを特徴とする請求項１〜７のいずれかの項に記載の情報処理装置。
9. 前記情報取得部が、少なくとも前記車両の車速情報と、前記車両の操舵情報とを取得し、
   前記第１判定部が、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定することを特徴とする請求項１〜７のいずれかの項に記載の情報処理装置。
10. 前記情報取得部が、少なくとも前記車両の加減速情報、及び前記車両の傾斜情報のうちのいずれかを取得し、
    前記第１判定部が、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合を、前記特定の走行状態から除外することを特徴とすることを特徴とする請求項１〜７のいずれかの項に記載の情報処理装置。
11. 前記情報取得部が、前記車両の位置情報と、前記車両の周辺の地図情報とを取得するものであり、
    前記第１判定部が、前記車両が直線道路を移動している場合、前記車両が特定の走行状態にあると判定することを特徴とする請求項１〜７のいずれかの項に記載の情報処理装置。
12. 前記運転者を識別する識別部を備え、
    前記基準決定部が、前記識別部で識別された運転者毎に、前記基準を決定することを特徴とする請求項１〜１１のいずれかの項に記載の情報処理装置。
13. 請求項１〜１２のいずれかの項に記載の情報処理装置と、
    前記画像取得部で取得される前記運転者の顔を含む画像を撮像する少なくとも１つのカメラとを備えていることを特徴とする運転者モニタリングシステム。
14. 車両の運転者の顔を含む画像を取得する画像取得ステップと、
    該画像取得ステップにより取得された前記画像から前記運転者の顔の向きを検出する検出ステップと、
    前記車両の走行状態に関する情報を取得する情報取得ステップと、
    該情報取得ステップにより取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する第１判定ステップと、
    該第１判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定ステップと、
    前記第１判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きの変化を判定する第２判定ステップとを含むステップを実行させ、
    前記基準決定ステップが、前記第２判定ステップにより前記運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、前記基準を決定することを特徴とする情報処理方法。
15. 少なくとも１つのコンピュータに、
    車両の運転者の顔を含む画像を取得する画像取得ステップと、
    該画像取得ステップにより取得された前記画像から前記運転者の顔の向きを検出する検出ステップと、
    前記車両の走行状態に関する情報を取得する情報取得ステップと、
    該情報取得ステップにより取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する第１判定ステップと、
    該第１判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きに基づいて、前記運転者の顔の向きの基準を決定する基準決定ステップと、
    前記第１判定ステップにより前記特定の走行状態にあると判定されているときの前記運転者の顔の向きの変化を判定する第２判定ステップとを含むステップを実行させ、
    前記基準決定ステップが、前記第２判定ステップにより前記運転者の顔の向きの変化がないと判定されているときの前記運転者の顔の向きに基づいて、前記基準を決定することを特徴とする情報処理プログラム。

Images