JP6699831B2 - 運転意識推定装置 - Google Patents

Description

本発明は、運転意識推定装置に関する。

従来、運転者の状況を考慮するシステムに関する技術文献として、特開２０１６−１５１３７号公報が知られている。この公報には、自律走行を確実に継続できる残り時間であるリードタイムと、運転者が自動運転に介入（手動運転に対応）するまでのリアクションタイムを算出する車両用自律走行システムが示されている。このシステムでは、リードタイムとリアクションタイムとの差分であるコンフォートタイムがゼロになったとき、運転者に対する警告などの対応措置を行う。

特開２０１６−１５１３７号公報

しかしながら、上述した従来のシステムでは、運転者の運転意識について適切な考慮がされていない。このため、従来のシステムでは、運転者の運転意識が高いときでも、コンフォートタイムがゼロになると警告などの対応措置が行われるため、運転者に煩わしさを感じさせるおそれがある。一方で、従来のシステムでは、運転者の運転意識が低いときであっても、コンフォートタイムがゼロにならないと対応措置が行われないため、運転者による手動運転の対応に遅れが生じるおそれがある。

そこで、本技術分野では、運転者の運転意識に関する運転構え度を推定して運転者へ注意喚起を適切に行うことができる運転意識推定装置を提供することが望まれている。

上記課題を解決するため、本発明の一態様に係る運転意識推定装置は、車両の運転者を撮像した運転者画像を取得する運転者画像取得部と、車両の周囲の走行環境を認識する走行環境認識部と、運転者画像及び走行環境に基づいて、走行環境に対する運転者の反応から運転者の運転意識に関する運転構え度を推定する運転構え度推定部と、走行環境に基づいて、走行環境から運転者に求められる運転構え度に対する指標である走行環境要求度を推定する走行環境要求度推定部と、運転構え度と走行環境要求度との比較結果に基づいて、運転者へ車両の運転に関する注意喚起を実行する注意喚起部と、運転構え度と走行環境要求度との比較結果を余裕度として算出する余裕度算出部と、を備え、車両は複数の自動運転レベルを切り替えて自動運転可能であり、注意喚起部は、余裕度が余裕度閾値未満の場合に注意喚起を実行し、余裕度閾値は、車両における自動運転レベルが高いほど小さい値となる。

本発明の一態様に係る運転意識推定装置によれば、車両の運転意識の高い運転者は運転意識の低い運転者と比べて車両の周囲の走行環境に対する反応が異なると考えられるため、走行環境に対する運転者の反応から運転者の運転意識に関する運転構え度を適切に推定することができる。従って、この運転意識推定装置では、適切に推定された運転構え度を走行環境から運転者に求められる走行環境要求度と比較した比較結果に基づいて注意喚起を行うことで、運転者の運転意識を考慮して運転者へ車両の運転に関する注意喚起を適切に行うことができる。

上記の一態様に係る運転意識推定装置において、運転構え度推定部は、運転者画像及び走行環境に基づいて運転者が車両の走行する道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数を算出し、サッカード回数に基づいて運転構え度を推定してもよい。
この運転意識推定装置では、運転意識の高い運転者は車両の走行する道路の延在方向に顔を向けると共に道路の延在方向の状況を視認するために眼球のサッカード回数が多くなると考えられることから、運転者が道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数に基づいて運転構え度を適切に推定することができる。

本発明の他の態様に係る運転意識推定装置は、車両の運転者を撮像した運転者画像を取得する運転者画像取得部と、車両の周囲の走行環境を認識する走行環境認識部と、車両の走行の状態を認識する車両状態認識部と、運転者画像及び車両状態に基づいて、車両状態に対する運転者の反応から運転者の運転意識に関する運転構え度を推定する運転構え度推定部と、走行環境に基づいて、走行環境から運転者に求められる運転構え度に対する指標である走行環境要求度を推定する走行環境要求度推定部と、運転構え度と走行環境要求度との比較結果に基づいて、運転者へ車両の運転に関する注意喚起を実行する注意喚起部と、運転構え度と走行環境要求度との比較結果を余裕度として算出する余裕度算出部と、を備え、車両は複数の自動運転レベルを切り替えて自動運転可能であり、注意喚起部は、余裕度が余裕度閾値未満の場合に注意喚起を実行し、余裕度閾値は、車両における自動運転レベルが高いほど小さい値となる。

本発明の他の態様に係る運転意識推定装置によれば、車両の運転意識の高い運転者は運転意識の低い運転者と比べて車両の車両状態に対する反応が異なると考えられるため、車両状態に対する運転者の反応から運転者の運転意識に関する運転構え度を適切に推定することができる。従って、この運転意識推定装置では、適切に推定された運転構え度を走行環境から運転者に求められる走行環境要求度と比較した比較結果に基づいて注意喚起を行うことで、運転者の運転意識を考慮して運転者へ車両の運転に関する注意喚起を適切に行うことができる。

上記の他の態様に係る運転意識推定装置において、車両状態認識部は、車両状態として車両の前後加速度を認識し、運転構え度推定部は、運転者画像及び車両の前後加速度に基づいて、車両の前後加速度に対する前記運転者の頭部ピッチ角から運転構え度を推定してもよい。
この運転意識推定装置によれば、運転意識の高い運転者は車両の前後加速度の変化を予測して身構えることで頭部ピッチ角が小さくなると考えられるので、車両の前後加速度に対する頭部ピッチ角に基づいて運転構え度を適切に推定することができる。

上記の一態様又は他の態様に係る運転意識推定装置において、運転構え度と走行環境要求度との比較結果を余裕度として算出する余裕度算出部を更に備え、注意喚起部は、余裕度が余裕度閾値未満の場合に注意喚起を実行してもよい。
この運転意識推定装置によれば、運転構え度と走行環境要求度との比較結果を余裕度として算出することで、一つの指標を用いて注意喚起の実行を判断することができる。

上記の一態様又は他の態様に係る運転意識推定装置において、車両は自動運転を実行する自動運転ＥＣＵを備えており、自動運転ＥＣＵが自動運転を終了するときに、運転構え度と走行環境要求度との比較結果に基づいて、運転者が手動運転可能な状況であるか否かを判定する手動運転可否判定部を更に備えてもよい。
この運転意識推定装置によれば、運転構え度を走行環境要求度と比較した比較結果に基づいて運転者が手動運転可能な状況であるか否かを判定するので、運転者の運転意識を考慮して運転者が手動運転可能な状況であるか否かを適切に判定することができる。

以上説明したように、本発明の種々の態様によれば、運転者の運転意識に関する運転構え度を推定して運転者へ注意喚起を適切に行うことができる。

本実施形態に係る運転意識推定装置を示すブロック図である。 運転意識推定装置の注意喚起処理を示すフローチャートである。 運転意識推定装置の手動運転可否判定処理を示すフローチャートである。 （ａ）運転構え度の推定の一例を示すフローチャートである。（ｂ）運転構え度の推定の他の例を示すフローチャートである。 （ａ）走行環境要求度の推定の一例を示すフローチャートである。（ｂ）走行環境要求度の推定の他の例を示すフローチャートである。 自動運転レベル２の場合における余裕度の時間変化の例を示すグラフである。 自動運転レベル３の場合における余裕度の時間変化の例を示すグラフである。 変形例に係る運転意識推定装置を示すブロック図である。 １分間の１回あたりの連続脇見時間の度数分布を示すグラフである。 （ａ）車両のレーンチェンジのシーンを示す平面図である。（ｂ）車両の合流車線への合流のシーンを示す平面図である。 運転構え度及び走行環境要求度と判定結果との関係性を示すグラフである。

以下、本発明の実施形態について図面を参照して説明する。

図１に示す本実施形態に係る運転意識推定装置１００は、運転者の運転意識に関する運転構え度の推定を行う装置である。運転意識推定装置１００は、運転構え度を用いて運転者に対する注意喚起の要否などの判定を行う。運転意識及び運転構え度について後述する。なお、運転意識推定装置１００は、車両の自動運転を実行する自動運転システムの一部を構成していてもよい。

[運転意識推定装置の構成]
以下、本実施形態に係る運転意識推定装置１００の構成について説明する。図１に示すように、運転意識推定装置１００は、装置を統括的に管理するＥＣＵ[Electronic Control Unit]２０を備えている。

ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ２０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ２０は、複数の電子制御ユニットから構成されていてもよい。

ＥＣＵ２０には、ドライバモニタカメラ１、外部センサ２、内部センサ３、ＧＰＳ[Global Positioning System]受信部４、地図データベース５、ＨＭＩ６が接続されている。また、ＥＣＵ２０は、自動運転ＥＣＵ７と接続されている。

ドライバモニタカメラ１は、車両のステアリングコラムのカバー上で運転者の正面の位置に設けられ、運転者の頭部を撮像する。ドライバモニタカメラ１は、運転者を複数方向から撮像するため、複数個設けられていてもよい。ドライバモニタカメラ１は、運転者を撮像した運転者画像をＥＣＵ２０へ送信する。

外部センサ２は、車両の周辺環境を検出する検出機器である。外部センサ２は、カメラ、レーダー［Radar］又はライダー［LIDAR：LaserImaging Detection and Ranging］を含む。カメラは、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。カメラは、車両の背面及び側面に設けられていてもよい。カメラは、車両周囲の撮像情報をＥＣＵ２０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。

内部センサ３は、車両の車両状態を検出する検出機器である。内部センサ３は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、車両の速度を検出する検出器である。車速センサとしては、例えば、車両の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報（車輪速情報）をＥＣＵ２０に送信する。

加速度センサは、車両の加速度を検出する検出器である。加速度センサは、例えば、車両の前後方向の加速度を検出する前後加速度センサと、車両の横加速度を検出する横加速度センサとを含んでいる。加速度センサは、例えば、車両の加速度情報をＥＣＵ２０に送信する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した車両のヨーレート情報をＥＣＵ２０へ送信する。

ＧＰＳ受信部４は、３個以上のＧＰＳ衛星から信号を受信することにより、車両の位置（例えば車両の緯度及び経度）を測定する。ＧＰＳ受信部４は、測定した車両の位置情報をＥＣＵ２０へ送信する。なお、運転意識推定装置１００は、ＧＰＳに代えて、外部センサ２の検出結果と地図情報を用いたＳＬＡＭ［Simultaneous Localization and Mapping］技術により車両の位置情報を取得してもよい。

地図データベース５は、地図情報を記憶するデータベースである。地図データベース５は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、道路の幅情報、道路の高さ情報、交差点及び分岐点の位置情報、及び建物の位置情報などが含まれる。なお、地図データベース５は、車両と通信可能な管理センター等の施設のコンピュータに記憶されていてもよい。

ＨＭＩ６は、運転意識推定装置１００と運転者との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ６は、例えば、車両のディスプレイ及びスピーカを備えている。ＨＭＩ６は、ＥＣＵ２０からの制御信号に応じて、ディスプレイの画像出力及びスピーカからの音声出力を行う。ＨＭＩ６は、ＨＵＤ［Head Up Display］を備えていてもよい。

自動運転ＥＣＵ７は、車両に搭載され、車両の自動運転を実行するための電子制御ユニットである。自動運転とは、運転者が運転操作をすることなく、自動で車両を走行させる車両制御である。ＳＡＥ［Society of Automotive Engineers］Ｊ３０１６には、自動運転の度合いに応じて自動運転レベル０〜自動運転レベル４が定められている。

自動運転ＥＣＵ７は、ＧＰＳ受信部４の車両の位置情報、地図データベース５の地図情報、後述する車両の走行環境及び車両状態に基づいて、予め設定された目的ルートに沿った走行計画を生成する。目的ルートは、運転者又は周知のナビゲーションシステムによって設定される。自動運転ＥＣＵ７は、走行計画に沿って自動運転を実行する。自動運転ＥＣＵ７は、車両のアクチュエータ（エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータなど）に制御信号を送信することで自動運転を実行する。自動運転ＥＣＵ７は、周知の手法により走行計画を生成すると共に自動運転を実行する。

自動運転ＥＣＵ７は、予め設定された自動運転の終了条件が満たされた場合、運転意識推定装置１００のＥＣＵ２０に自動運転の終了の信号を送信する。一方、自動運転ＥＣＵ７は、ＥＣＵ２０から手動運転移行の信号を受信した場合、自動運転を終了して車両を手動運転に移行させる。手動運転とは、運転者が主体となって運転者の運転操作により車両を走行させる状態である。自動運転ＥＣＵ７は、ＥＣＵ２０から緊急退避の信号を受信した場合、緊急退避を実行する。緊急退避とは、道路の路肩などのスペースに車両を自動で退避させる車両制御である。自動運転ＥＣＵ７は、周知の手法により、緊急退避を実行する。

次に、ＥＣＵ２０の機能的構成について説明する。なお、以下に説明するＥＣＵ２０の機能の一部は、車両と通信可能な管理センターなどの施設のコンピュータ及び／又は自動運転ＥＣＵ７において実行される態様であってもよい。また、ＥＣＵ２０は、自動運転ＥＣＵ７と一体であってもよい。

ＥＣＵ２０は、運転者画像取得部２１、走行環境認識部２２、車両状態認識部２３、頭部状態認識部２４、運転構え度推定部２５、走行環境要求度推定部２６、余裕度算出部２７、注意喚起部２８、及び手動運転可否判定部２９を備えている。

運転者画像取得部２１は、ドライバモニタカメラ１から運転者画像を取得する。運転者画像取得部２１は、ドライバモニタカメラ１が複数のカメラを有する場合には、各カメラの運転者画像を関連付けて取得する。

走行環境認識部２２は、車両の周囲の走行環境を認識する。走行環境認識部２２は、外部センサ２の検出結果、ＧＰＳ受信部４の位置情報、地図データベース５の地図情報、及び自動運転ＥＣＵ７の走行計画に関する情報に基づいて、走行環境を認識する。走行環境認識部２２は、周知の手法により車両の周囲の走行環境を認識する。走行環境には、車両の周囲の障害物の状況及び車両の走行シーンが含まれる。

走行環境認識部２２は、外部センサ２の検出結果に基づいて、車両の周囲の障害物の状況を認識する。車両の周囲の障害物の状況には、車両に対する障害物の位置、車両に対する障害物の相対速度、車両に対する障害物の移動方向などが含まれる。障害物には、他車両、歩行者、自転車などの移動障害物、ガードレール、壁、建物、駐車車両などの静止障害物が含まれる。

走行環境認識部２２は、車両の周囲の障害物の状況として、車両の前方を走行する先行車と車両との衝突余裕時間（Time To Collision ：TTC）の算出を行う。衝突余裕時間は、先行車と車両との車間距離を先行車と車両との相対速度で除して求められる。走行環境認識部２２は、車両の周囲の障害物の状況として、先行車と車両との車間時間（Time Headway :THW）を算出してもよい。車間時間は、先行車と車両との車間距離を車両の車速で除して求められる。

走行環境認識部２２は、ＧＰＳ受信部４の位置情報及び地図データベース５の地図情報に基づいて、車両の走行シーンを認識する。車両の走行シーンには、車両が直線路を走行する状況、車両がカーブを走行する状況、車両が合流車線に合流する状況、車両が交差点を通過する状況などがある。なお、走行環境認識部２２は、車両の位置情報及び地図情報と、車両の方向指示器の点灯状況とに基づいて、車両の走行シーンとして車両がレーンチェンジする状況を認識してもよい。車両がレーンチェンジする状況の認識は、周知の手法により行うことができる。走行環境認識部２２は、自動運転ＥＣＵ７からの情報提供に基づいて、車両の走行シーンを認識してもよい。

走行環境認識部２２は、カメラによる車両前方の撮像画像に基づいて、周知の白線認識技術により、車両の走行する道路（車線）の延在方向を走行環境として認識する。道路の延在方向とは、車両から道路が延びていく方向である。走行環境認識部２２は、例えば、道路の延在方向が車両の正面方向であるか左方向であるか右方向であるか認識する。なお、走行環境認識部２２は、車両の位置情報及び地図情報に基づいて、道路の延在方向を認識してもよい。すなわち、車両が走行する道路形状が直線形状であれば車両の正面方向が道路の延在方向となる。道路形状が左カーブであれば車両の左方向が道路の延在方向となる。道路形状が右カーブであれば車両の右方向が道路の延在方向となる。

また、走行環境認識部２２は、位置情報及び地図情報に基づいて、走行環境として車両の走行する道路の状況（道路の曲率、道路の形状、道路の幅など）を認識する。なお、走行環境認識部２２は、外部センサ２の検出結果に基づいて、カメラの撮像画像などから道路の状況を認識してもよい。

車両状態認識部２３は、内部センサ３の検出結果に基づいて、走行中の車両の状態を認識する。車両状態には、車両の車速、車両の加速度、車両のヨーレートが含まれる。具体的に、車両状態認識部２３は、車速センサの車速情報に基づいて、車両の車速を認識する。車両状態認識部２３は、加速度センサの加速度情報に基づいて、車両の加速度（前後加速度及び横加速度）を認識する。車両状態認識部２３は、ヨーレートセンサのヨーレート情報に基づいて、車両のヨーレートを認識する。

頭部状態認識部２４は、運転者画像取得部２１の取得した運転者画像に基づいて、運転者の頭部の状態を認識する。運転者の頭部の状態には、運転者の顔の向き及び運転者の眼の状態などが含まれる。運転者の眼の状態には、運転者の視線及び運転者の眼球のサッカードなどが含まれる。運転者の眼の状態に、瞬目頻度、閉眼速度、閉眼状態（上まぶたの位置）などを含めてもよい。頭部状態認識部２４は、周知の画像処理の手法により、運転者の顔の向き及び運転者の眼の状態を認識する。

運転者の頭部の状態には、運転者の頭部ピッチ角及び頭部ロール角が含まれる。頭部ピッチ角とは、運転者の頭部における車幅方向軸（車両の車幅方向に延びる軸）の周りの回転角度である。頭部ロール角とは、運転者の頭部における車両前後方向軸（車両の前後方向に延びる軸）の周りの回転角度である。頭部ピッチ角及び頭部ロール角は、例えば車両の上下方向に延びる軸（垂直軸）を基準（ゼロ点）として計測される。頭部状態認識部２４は、周知の画像処理の手法により、運転者の頭部ピッチ角、頭部ロール角、頭部ヨー角などの運転者の頭部の状態を認識する。運転者の頭部の状態には、頭部ヨー角が含まれてもよい。頭部ヨー角とは、車両の上下方向軸（車両の上下方向に延びる軸）の周りの回転角度である。この場合、頭部状態認識部２４は、頭部ピッチ角、頭部ロール角、及び頭部ヨー角から運転者の顔の向きを認識することができる。

運転構え度推定部２５は、運転者の運転意識に関する運転構え度を推定する。運転意識とは、運転者が車を操縦する時の、認知、予測、判断、操作を含む心的活動の総称である。運転構え度とは、運転者の運転意識の高さを示す度合いであり、運転者の運転に対する準備のレベルである。

運転構え度推定部２５は、走行環境に対する運転者の反応から運転構え度を推定する。運転構え度推定部２５は、運転構え度の初期値を持っていてもよい。

運転構え度推定部２５は、走行環境認識部２２が走行環境として認識した車両の走行する道路の延在方向と、頭部状態認識部２４が運転者画像から認識した運転者の顔の向きに基づいて、運転者が車両の走行する道路の延在方向を向いているか否かを判定する。運転構え度推定部２５は、運転者が道路の延在方向を向いていると判定した場合、頭部状態認識部２４が認識した運転者の眼球のサッカードに基づいて、運転者が道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数（以下、サッカード回数とする）を算出する。

運転構え度推定部２５は、走行環境に対する運転者の反応としてサッカード回数に基づいて運転構え度を推定する。運転意識の高い運転者は、車両の走行する道路の延在方向に顔を向けると共に道路の延在方向の状況を視認するために眼球のサッカード回数が多くなると考えられる。このため、運転構え度推定部２５は、サッカード回数がサッカード閾値以上である場合、サッカード回数がサッカード閾値未満である場合と比べて、運転構え度を大きい値として推定する。サッカード閾値は、予め設定された値である。運転構え度の値の基準となるサッカード閾値は複数設けられていてもよい。以後に説明する閾値についても同様である。

運転構え度推定部２５は、走行環境認識部２２が走行環境として認識した車両の走行する道路の曲率と、頭部状態認識部２４が運転者画像から認識した運転者の頭部ロール角に基づいて、道路の曲率に対する頭部ロール角を算出する。運転構え度推定部２５は、所定時間毎に頭部ロール角を算出する。運転構え度推定部２５は、走行環境に対する運転者の反応として、道路の曲率に対する頭部ロール角に基づいて運転構え度を推定する。運転意識の高い運転者は、道路の曲率に応じて運転者に加わる遠心力に対して身構えているため、運転意識の低い運転者と比べて頭部ロール角が小さくなると考えられる。このため、運転構え度推定部２５は、同じ道路の曲率に対する頭部ロール角が頭部ロール角閾値未満の場合に、頭部ロール角が頭部ロール角閾値以上の場合と比べて、運転構え度を大きい値として推定する。頭部ロール角閾値は、道路の曲率に応じて値が予め設定された閾値である。なお、運転構え度推定部２５は、必ずしも道路の曲率及び頭部ロール角に基づいて運転構え度を推定する必要はない。

また、運転構え度推定部２５は、車両状態に対する運転者の反応から運転構え度を推定する。

運転構え度推定部２５は、車両状態認識部２３が車両状態として認識した車両の前後加速度と、頭部状態認識部２４が運転者画像から認識した運転者の頭部ピッチ角に基づいて、車両の前後加速度に対する頭部ピッチ角を算出する。運転構え度推定部２５は、例えば、所定時間毎における車両の前後加速度（絶対値の最大値）に対する頭部ピッチ角（絶対値の最大値）を算出する。

運転構え度推定部２５は、車両状態に対する運転者の反応として、車両の前後加速度に対する頭部ピッチ角に基づいて運転構え度を推定する。運転意識の高い運転者は、車両の走行する状況（発進、加速、減速、停止）を予測し、前後加速度の変化に対して身構えているため、運転意識の低い運転者と比べて頭部ピッチ角が小さくなると考えられる。このため、運転構え度推定部２５は、前後加速度に対する頭部ピッチ角が頭部ピッチ角閾値未満の場合に、同じ前後加速度に対する頭部ピッチ角が頭部ピッチ角閾値以上の場合と比べて、運転構え度を大きい値として推定する。頭部ピッチ角閾値は、車両の前後加速度に応じて値が予め設定された閾値である。

運転構え度推定部２５は、車両状態認識部２３が車両状態として認識した車両のヨーレートと、頭部状態認識部２４が運転者画像から認識した運転者の頭部ロール角に基づいて、車両のヨーレートに対する頭部ロール角を算出する。運転構え度推定部２５は、所定時間毎におけるヨーレート（絶対値の最大値）と頭部ロール角（絶対値の最大値）を算出する。

運転構え度推定部２５は、車両状態に対する運転者の反応として、ヨーレートに対する頭部ロール角に基づき運転構え度を推定する。運転意識の高い運転者は、車両の走行する状況（カーブ、右左折）を予測し、車両のヨーレート（遠心力の発生）に対して身構えているため、運転意識の低い運転者と比べて頭部ロール角が小さくなると考えられる。このため、運転構え度推定部２５は、ヨーレートに対する頭部ロール角が第２頭部ロール角閾値未満の場合に、同じヨーレートに対する頭部ロール角が第２頭部ロール角閾値以上の場合と比べて、運転構え度を大きい値として推定する。第２頭部ロール角閾値は、ヨーレートに応じた値が予め設定された閾値である。なお、運転構え度推定部２５は、必ずしヨーレート及び頭部ロール角に基づいて運転構え度を推定する必要はない。

また、運転構え度推定部２５は、走行環境に対する運転者の反応のみに基づいて運転構え度を推定してもよく、車両状態に対する運転者の反応のみに基づいて運転構え度を推定してもよい。ＥＣＵ２０は、走行環境に対する運転者の反応のみに基づいて運転構え度を推定する場合、車両状態認識部２３を必ずしも備える必要はない。

走行環境要求度推定部２６は、走行環境要求度を推定する。走行環境要求度とは、走行環境から運転者に求められる運転構え度に対する指標である。走行環境要求度推定部２６は、走行環境認識部２２の認識した走行環境に基づいて、走行環境要求度を推定する。走行環境要求度推定部２６は、走行環境要求度の初期値を持っていてもよい。初期値は、車両の車速に比例して大きくなるように設定されてもよい。

走行環境要求度推定部２６は、走行環境認識部２２が走行環境として認識した先行車と車両との衝突余裕時間に基づいて、走行環境要求度を推定する。走行環境要求度推定部２６は、先行車と車両との衝突余裕時間がＴＴＣ閾値未満である場合、衝突余裕時間がＴＴＣ閾値以上である場合と比べて、走行環境要求度を大きい値として推定する。ＴＴＣ閾値は予め設定された閾値である。なお、衝突余裕時間に代えて車間時間を用いてもよい。

走行環境要求度推定部２６は、走行環境認識部２２が走行環境として認識した車両の走行する道路の曲率に基づいて、走行環境要求度を推定する。走行環境要求度推定部２６は、車両の走行する道路の曲率がカーブ閾値以上である場合、道路の曲率がカーブ閾値未満である場合と比べて、走行環境要求度を大きい値として推定する。カーブ閾値は、予め設定された閾値である。

余裕度算出部２７は、運転構え度と走行環境要求度の比較結果である余裕度を算出する。余裕度は、例えば、運転構え度と走行環境要求度の差分を走行環境要求度で除した値として算出することができる。余裕度は、運転構え度と走行環境要求度の差分の値であってもよい。余裕度は、運転構え度より走行環境要求度の方が大きい場合（走行環境に対して運転者の運転意識が低いと推定される場合）には、負の値となる。

注意喚起部２８は、余裕度算出部２７の算出した余裕度が余裕度閾値未満の場合に、運転者へ車両の運転に関する注意喚起を実行する。余裕度閾値は、走行環境要求度に対して運転構え度が十分であるか否かを判断する基準となるように予め設定された閾値である。余裕度閾値は、基本的に正の値として設定される。注意喚起部２８は、車両が手動運転中の場合と自動運転中の場合とで、異なる値の余裕度閾値を用いる。車両が手動運転中の場合の余裕度閾値は、車両が自動運転中の場合の余裕度閾値より大きい値である。また、注意喚起部２８は、自動運転ＥＣＵ７が異なる自動運転レベルに対応した自動運転を実行可能である場合、実行中の自動運転レベルに応じて異なる値の余裕度閾値を用いる。注意喚起部２８は、実行中の自動運転レベルが高いほど小さい値の余裕度閾値を用いる。

注意喚起部２８は、余裕度が余裕度閾値以上になるように（運転構え度が十分に増加するように）運転者に対する注意喚起を行う。注意喚起部２８は、ＨＭＩ６に制御信号を送信することで、ディスプレイへの画像表示及び／又はスピーカからの音声出力により運転者へ注意喚起を行う。なお、注意喚起部２８は、運転席に振動機構が備えられている場合、振動により運転者に注意喚起を行ってもよい。

手動運転可否判定部２９は、自動運転ＥＣＵ７から自動運転の終了の信号を受信した場合（自動運転ＥＣＵ７が車両の自動運転を終了するとき）、運転者が手動運転可能な状況であるか否かを判定する。手動運転可否判定部２９は、余裕度が手動運転移行閾値以上である場合、運転者が手動運転可能な状況であると判定する。手動運転可否判定部２９は、余裕度が手動運転移行閾値未満である場合、運転者が手動運転可能な状況ではないと判定する。手動運転移行閾値は、運転者が手動運転可能な状況であるか否かを判断する基準となるように予め設定された閾値である。

手動運転可否判定部２９は、運転者が手動運転可能な状況であると判定した場合、手動運転移行の信号を自動運転ＥＣＵ７に送信する。自動運転ＥＣＵ７は、周知の手法により手動運転への移行処理を行う。注意喚起部２８は、手動運転可否判定部２９により運転者が手動運転可能な状況であると判定された場合、運転者に手動運転移行の注意喚起を行う。手動運転移行の注意喚起とは、ディスプレイへの画像表示及び／又はスピーカからの音声出力により運転者に手動運転へ移行することを伝える注意喚起である。手動運転移行の注意喚起は、車両の運転に関する注意喚起である。

一方、注意喚起部２８は、手動運転可否判定部２９により運転者が手動運転可能な状況ではないと判定された場合、運転者へ車両の運転に関する注意喚起を行う。注意喚起部２８は、運転者が手動運転可能な状況であると判定されるように、運転者の運転構え度を増加させる注意喚起を行う。注意喚起部２８は、運転者が手動運転可能な状況であると判定されるか、時間経過により手動運転可否判定部２９が判定を終了するまで、運転者へ注意喚起を行う。

手動運転可否判定部２９は、運転者が手動運転可能な状況ではないと判定した場合、予め設定された猶予時間の間、手動運転可否の判定を繰り返す。猶予時間は、周知の手法により、自動運転ＥＣＵ７において設定される。手動運転可否判定部２９は、運転者が手動運転可能な状況であると判定した場合、判定を終了して手動運転移行の信号を自動運転ＥＣＵ７に送信する。手動運転可否判定部２９は、猶予時間が経過しても運転者が手動運転可能な状況であると判定できない場合、緊急退避の信号を自動運転ＥＣＵ７に送信する。自動運転ＥＣＵ７は、ＥＣＵ２０から緊急退避の信号を受信した場合、車両を自動で道路の路肩などに退避させる緊急退避を実行する。

［運転意識推定装置の注意喚起処理］
次に、本実施形態に係る運転意識推定装置１００の注意喚起処理について図２を参照して説明する。図２は、運転意識推定装置１００の注意喚起処理を示すフローチャートである。図２に示すフローチャートは、車両が走行中である場合に実行される。

図２に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ１０において、運転構え度推定部２５による運転構え度の推定を行う。運転構え度推定部２５は、走行環境に対する運転者の反応及び車両状態に対する運転者の反応に基づいて運転構え度を推定する。

Ｓ１２において、ＥＣＵ２０は、走行環境要求度推定部２６による走行環境要求度の推定を行う。走行環境要求度推定部２６は、走行環境認識部２２の認識した走行環境に基づいて、走行環境要求度を推定する。なお、Ｓ１０とＳ１２は順番が逆であってもよく同時に行われてもよい。

Ｓ１４において、ＥＣＵ２０は、余裕度算出部２７による余裕度の算出を行う。余裕度算出部２７は、運転構え度と走行環境要求度の比較結果である余裕度を算出する。

Ｓ１６において、ＥＣＵ２０は、注意喚起部２８により余裕度が余裕度閾値未満であるか否かを判定する。余裕度閾値は、車両が手動運転中の場合と自動運転中の場合とで異なる値が用いられる。ＥＣＵ２０は、余裕度が余裕度閾値未満ではない（Ｓ１６：ＮＯ）と判定した場合、今回の注意喚起処理を終了する。その後、ＥＣＵ２０は、所定時間の経過後にＳ１０から処理を繰り返す。ＥＣＵ２０は、余裕度が余裕度閾値未満である（Ｓ１６：ＹＥＳ）と判定した場合、Ｓ１８に移行する。

Ｓ１８において、ＥＣＵ２０は、注意喚起部２８により運転者へ車両の運転に関する注意喚起を実行する。注意喚起部２８は、ＨＭＩ６に制御信号を送信することで、余裕度が余裕度閾値以上になるようにディスプレイへの画像表示及び／又はスピーカからの音声出力による注意喚起を行う。その後、ＥＣＵ２０は、今回の注意喚起処理を終了する。ＥＣＵ２０は、所定時間の経過後にＳ１０から処理を繰り返す。なお、ＥＣＵ２０は、次に説明する手動運転可否判定処理を実行する場合、注意喚起処理を中断する。

［運転意識推定装置の手動運転可否判定処理］
続いて、本実施形態に係る運転意識推定装置１００の手動運転可否判定処理について図３を参照して説明する。図３は、運転意識推定装置１００の手動運転可否判定処理を示すフローチャートである。図３に示すフローチャートは、自動運転ＥＣＵ７から自動運転の終了の信号を受信した場合に実行される。

図３に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ２０として、運転構え度推定部２５による運転構え度の推定を行う。Ｓ２０〜Ｓ２４の処理は、図２に示すＳ１０〜Ｓ１４の処理と同様であるため詳細な説明を省略する。

Ｓ２２において、ＥＣＵ２０は、走行環境要求度推定部２６による走行環境要求度の推定を行う。Ｓ２４においてＥＣＵ２０は、余裕度算出部２７による余裕度の算出を行う。

Ｓ２６において、ＥＣＵ２０は、手動運転可否判定部２９により余裕度が手動運転移行閾値未満であるか否かを判定する。ＥＣＵ２０は、余裕度が手動運転移行閾値未満ではないと判定した場合（Ｓ２６：ＮＯ）、運転者が手動運転可能な状況であるとしてＳ２８に移行する。ＥＣＵ２０は、余裕度が手動運転移行閾値未満であると判定した場合（Ｓ２６：ＹＥＳ）、運転者が手動運転可能な状況ではないとしてＳ３２に移行する。

Ｓ２８において、ＥＣＵ２０は、注意喚起部２８により運転者に手動運転移行の注意喚起を行う。注意喚起部２８は、ディスプレイへの画像表示及び／又はスピーカからの音声出力により運転者に手動運転へ移行することを伝える注意喚起を行う。その後、Ｓ３０において、ＥＣＵ２０は、手動運転可否判定部２９から自動運転ＥＣＵ７に手動運転移行の信号を自動運転ＥＣＵ７へ送信して手動運転可否判定処理を終了する。

一方、Ｓ３２において、ＥＣＵ２０は、注意喚起部２８により運転者へ車両の運転に関する注意喚起を行う。注意喚起部２８は、運転者が手動運転可能な状況であると判定されるように、運転者の運転構え度を増加させる注意喚起を行う。その後、ＥＣＵ２０は、所定時間の経過後、再びＳ２０から処理を繰り返す。

なお、ＥＣＵ２０は、予め設定された猶予時間が経過しても手動運転可否判定部２９により運転者が手動運転可能な状況であると判定されない場合には、自動運転ＥＣＵ７に緊急退避の信号を送信して手動運転可否判定処理を終了する。

［運転意識推定装置の運転構え度の推定処理］
以下、運転構え度の推定処理について説明する。図４（ａ）は、運転構え度の推定の一例を示すフローチャートである。図４（ａ）に示すフローチャートは、運転構え度の推定が行われるときに実行される。

図４（ａ）に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ４０において、走行環境認識部２２により車両の走行する道路の延在方向を走行環境として認識する。走行環境認識部２２は、カメラの撮像した車両前方の画像に基づいて、道路の延在方向を認識する。

Ｓ４２において、ＥＣＵ２０は、頭部状態認識部２４により運転者の顔の向きを認識する。頭部状態認識部２４は、運転者画像に基づいて、運転者の顔の向きを認識する。

Ｓ４４において、ＥＣＵ２０は、運転構え度推定部２５により運転者が道路の延在方向を向いているか否かを判定する。運転構え度推定部２５は、走行環境認識部２２が走行環境として認識した車両の走行する道路の延在方向と、頭部状態認識部２４が運転者画像から認識した運転者の顔の向きに基づいて、上記判定を行う。ＥＣＵ２０は、運転者が道路の延在方向を向いていないと判定された場合（Ｓ４４：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、運転構え度の推定が完了していない場合、所定時間の経過後に再びＳ４０から処理を行う。ＥＣＵ２０は、運転者が道路の延在方向を向いていると判定された場合（Ｓ４４：ＹＥＳ）、Ｓ４６に移行する。

Ｓ４６において、ＥＣＵ２０は、運転構え度推定部２５により運転者の眼球のサッカード回数を算出する。運転構え度推定部２５は、頭部状態認識部２４が認識した運転者の眼球のサッカードに基づいて、運転者が道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数を算出する。

Ｓ４８において、ＥＣＵ２０は、運転構え度推定部２５によりサッカード回数がサッカード閾値以上であるか否かを判定する。ＥＣＵ２０は、サッカード回数がサッカード閾値以上ではないと判定した場合（Ｓ４８：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、運転構え度の推定が完了していない場合、所定時間の経過後に再びＳ４０から処理を行う。ＥＣＵ２０は、サッカード回数がサッカード閾値以上であると判定した場合（Ｓ４８：ＹＥＳ）、Ｓ５０に移行する。

Ｓ５０において、ＥＣＵ２０は、運転構え度推定部２５により運転構え度を推定する。運転構え度推定部２５は、Ｓ４８がＮＯの場合と比べて、運転構え度を大きい値として推定する。

図４（ｂ）は、運転構え度の推定の他の例を示すフローチャートである。図４（ｂ）に示すフローチャートは、運転構え度の推定が行われるときに実行される。

図４（ｂ）に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ６０において、運転構え度推定部２５により車両の前後加速度に対する頭部ピッチ角を算出する。運転構え度推定部２５は、車両状態認識部２３が車両状態として認識した車両の前後加速度と、頭部状態認識部２４が運転者画像から認識した運転者の頭部ピッチ角に基づいて、車両の前後加速度に対する頭部ピッチ角を算出する。運転構え度推定部２５は、例えば、所定時間毎における前後加速度（絶対値の最大値）と頭部ピッチ角（絶対値の最大値）を算出する。

Ｓ６２において、ＥＣＵ２０は、運転構え度推定部２５により前後加速度に対する頭部ピッチ角が頭部ピッチ角閾値未満であるか否かを判定する。ＥＣＵ２０は、前後加速度に対する頭部ピッチ角が頭部ピッチ角閾値未満ではないと判定された場合（Ｓ６２：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、運転構え度の推定が完了していない場合、所定時間の経過後に再びＳ６０から処理を行う。ＥＣＵ２０は、前後加速度に対する頭部ピッチ角が頭部ピッチ角閾値未満であると判定された場合（Ｓ６２：ＹＥＳ）、Ｓ６４に移行する。

Ｓ６４において、ＥＣＵ２０は、運転構え度推定部２５により運転構え度を推定する。運転構え度推定部２５は、Ｓ６２がＮＯの場合と比べて、運転構え度を大きい値として推定する。

［運転意識推定装置の走行環境要求度の推定処理］
以下、運転意識推定装置１００の走行環境要求度の推定処理について説明する。図５（ａ）は、走行環境要求度の推定の一例を示すフローチャートである。図５（ａ）に示すフローチャートは、走行環境要求度の推定が行われるときに実行される。

図５（ａ）に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ７０として、走行環境認識部２２により先行車が存在するか否かを判定する。走行環境認識部２２は、外部センサ２の検出結果に基づいて、先行車が存在するか否かを判定する。ＥＣＵ２０は、先行車が存在しないと判定された場合（Ｓ７０：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、走行環境要求度の推定が完了していない場合、所定時間の経過後に再びＳ７０から処理を行う。ＥＣＵ２０は、先行車が存在すると判定された場合（Ｓ７０：ＹＥＳ）、Ｓ７２に移行する。

Ｓ７２において、ＥＣＵ２０は、走行環境認識部２２により車両と先行車との衝突余裕時間を出する。走行環境認識部２２は、外部センサ２の検出結果に基づいて衝突余裕時間を算出する。

Ｓ７４において、ＥＣＵ２０は、走行環境要求度推定部２６により、車両と先行車との衝突余裕時間がＴＴＣ閾値未満であるか否かを判定する。ＥＣＵ２０は、衝突余裕時間がＴＴＣ閾値未満ではない判定された場合（Ｓ７４：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、走行環境要求度の推定が完了していない場合、所定時間の経過後に再びＳ７０から処理を行う。ＥＣＵ２０は、衝突余裕時間がＴＴＣ閾値未満であると判定された場合（Ｓ７４：ＹＥＳ）、Ｓ７６に移行する。

Ｓ７６において、ＥＣＵ２０は、走行環境要求度推定部２６により走行環境要求度を推定する。走行環境要求度推定部２６は、Ｓ７４がＮＯの場合と比べて、走行環境要求度を大きい値として推定する。

図５（ｂ）は、走行環境要求度の推定の他の例を示すフローチャートである。図５（ｂ）に示すフローチャートは、走行環境要求度の推定が行われるときに実行される。

図５（ｂ）に示すように、運転意識推定装置１００のＥＣＵ２０は、Ｓ８０として、走行環境認識部２２により走行環境として道路曲率の認識を行う。走行環境認識部２２は、車両の位置情報及び地図情報に基づいて、車両の走行する道路曲率を認識する。

Ｓ８２として、ＥＣＵ２０は、走行環境要求度推定部２６により道路曲率がカーブ閾値以上であるか否かを判定する。ＥＣＵ２０は、道路曲率がカーブ閾値以上ではないと判定された場合（Ｓ８２：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２０は、走行環境要求度の推定が完了していない場合、所定時間の経過後に再びＳ８０から処理を行う。ＥＣＵ２０は、道路曲率がカーブ閾値以上であると判定された場合（Ｓ８２：ＹＥＳ）、Ｓ８４に移行する。

Ｓ８４において、ＥＣＵ２０は、走行環境要求度推定部２６により走行環境要求度を推定する。走行環境要求度推定部２６は、Ｓ８２がＮＯの場合と比べて、走行環境要求度を大きい値として推定する。

［運転意識推定装置の作用効果］
以上説明した本実施形態に係る運転意識推定装置１００によれば、車両の運転意識の高い運転者は運転意識の低い運転者と比べて車両の周囲の走行環境に対する反応が異なると考えられるため、走行環境に対する運転者の反応から運転者の運転意識に関する運転構え度を適切に推定することができる。従って、この運転意識推定装置では、適切に推定された運転構え度を走行環境から運転者に求められる走行環境要求度と比較した比較結果に基づいて注意喚起を行うことで、運転者の運転意識を考慮して運転者へ車両の運転に関する注意喚起を適切に行うことができる。

同様に、運転意識推定装置１００によれば、車両の運転意識の高い運転者は運転意識の低い運転者と比べて車両の車両状態に対する反応が異なると考えられるため、車両状態に対する運転者の反応から運転者の運転意識に関する運転構え度を適切に推定することができる。従って、この運転意識推定装置では、適切に推定された運転構え度を走行環境から運転者に求められる走行環境要求度と比較した比較結果に基づいて注意喚起を行うことで、運転者の運転意識を考慮して運転者へ車両の運転に関する注意喚起を適切に行うことができる。

また、運転意識推定装置１００では、運転者が車両の走行する道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数に基づいて運転構え度を推定する。従って、運転意識推定装置１００では、運転意識の高い運転者は車両の走行する道路の延在方向に顔を向けると共に道路の延在方向の状況を視認するために眼球のサッカード回数が多くなると考えられることから、運転者が道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数に基づいて運転構え度を適切に推定することができる。

また、運転意識推定装置１００では、車両の前後加速度に対する運転者の頭部ピッチ角に基づいて運転構え度を推定する。従って、運転意識推定装置１００では、運転意識の高い運転者は車両の前後加速度の変化を予測して身構えることで頭部ピッチ角が小さくなると考えられるので、車両の前後加速度に対する頭部ピッチ角に基づいて運転構え度を適切に推定することができる。

また、運転意識推定装置１００では、運転構え度と走行環境要求度との比較結果を余裕度として算出し、余裕度が余裕度閾値未満の場合に注意喚起を実行する。従って、運転意識推定装置１００によれば、運転構え度と走行環境要求度との比較結果を余裕度として算出することで、一つの指標を用いて注意喚起の実行を判断することができる。

また、運転意識推定装置１００では、自動運転ＥＣＵが自動運転を終了するときに、運転構え度と走行環境要求度との比較結果に基づいて、運転者が手動運転可能な状況であるか否かを判定する。従って、運転意識推定装置１００では、運転構え度を走行環境要求度と比較した比較結果に基づいて運転者が手動運転可能な状況であるか否かを判定するので、運転者の運転意識を考慮して運転者が手動運転可能な状況であるか否かを適切に判定することができる。

ここで、図６は、自動運転レベル２の場合における余裕度の時間変化の例を示すグラフである。縦軸を余裕度、横軸を時間として示す。図６では、車両の運転状態が手動運転の状態からスタートし、時間Ｔ１において自動運転が開始され、時間Ｔ２において自動運転が終了して手動運転に移行している状況が示されている。図６に、余裕度の時間変化を破線で示す。

図６に示す状況において、手動運転中の運転者は、余裕度が手動運転移行閾値より高い状態でスタートし、自動運転に切り換わると手動運転移行閾値未満まで低下している。このため、運転意識推定装置１００は、自動運転が終了して手動運転に移行するとき、運転者へ注意喚起を実行する。運転意識推定装置１００は、注意喚起により運転者の運転構え度が増加して余裕度が手動運転移行閾値以上となると、手動運転移行の信号を自動運転ＥＣＵ７に送信して手動運転への移行が行われる。なお、運転意識推定装置１００は、自動運転中に、運転者の余裕度が自動運転レベル２の余裕度閾値未満となった場合には、運転者へ注意喚起が行われる。運転意識推定装置１００は、自動運転中に、運転者の余裕度が前方監視能力限界の余裕度閾値未満となった場合には、運転者の余裕度が自動運転レベル２の余裕度閾値未満となった場合と比べて、音声出力の音量などをより強くした刺激の強い注意喚起を行う。

図７は、自動運転レベル３の場合における余裕度の時間変化の例を示すグラフである。縦軸を余裕度、横軸を時間として示す。図７では、車両の運転状態が手動運転の状態からスタートし、時間Ｔ１０において自動運転が開始され、時間Ｔ１１において自動運転の終了が判断されて時間Ｔ１２まで自動運転を完全に終了しない猶予時間が設けられる。その後、時間Ｔ１２から手動運転に移行する。図７に、余裕度の時間変化を実線で示す。

図７に示す状況において、手動運転中の運転者は、余裕度が手動運転移行閾値より高い状態でスタートし、自動運転に切り換わると手動運転移行閾値未満まで低下している。このため、運転意識推定装置１００は、自動運転が完全に終了する前の猶予時間において、運転者へ注意喚起を実行する。運転意識推定装置１００は、注意喚起により運転者の運転構え度が増加して余裕度が手動運転移行閾値以上となると、手動運転移行の信号を自動運転ＥＣＵ７に送信して手動運転への移行が行われる。なお、図７に示す状況では、自動運転レベル３の自動運転が実行されていることから、自動運転中に余裕度が自動運転レベル２の余裕度閾値未満になっても注意喚起は行われない。運転意識推定装置１００は、自動運転中に余裕度が自動運転レベル３の余裕度閾値未満になった場合、運転者へ注意喚起を行う。なお、図６、図７において、走行環境要求度を一定とした場合には、余裕度を運転構え度に置き換えることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

［変形例］
次に、本発明の変形例に係る運転意識推定装置２００について図面を参照して説明する。図８は、変形例に係る運転意識推定装置２００を示すブロック図である。図８に示すように、運転意識推定装置２００は、上述した実施形態と比べて、シート圧センサ８、グリップ圧センサ９、心電センサ１０、通信部１１を更に備えている。なお、運転意識推定装置２００は、シート圧センサ８、グリップ圧センサ９、心電センサ１０、通信部１１の全てを必ずしも備える必要はない。

シート圧センサ８は、運転席のシート圧を検出する検出器である。シート圧センサ８は、運転席のシート下部に設けられた複数のセンサから構成され、運転者の運転席に対する荷重分布をシート圧として検出できる。シート圧センサ８は、検出したシート圧情報をＥＣＵ２０に送信する。

グリップ圧センサ９は、車両のステアリングホイールに設けられ、運転者によるステアリングホイールのグリップ圧を検出する検出器である。グリップ圧センサ９は、圧力分布（手の指同士の隙間距離）を計測する機能を備えていてもよい。グリップ圧センサ９は、検出したグリップ圧情報をＥＣＵ２０に送信する。

心電センサ１０は、車両のステアリングホイールに設けられ、ステアリングホイールを握る運転者の心電を計測するための検出器である。心電センサ１０は、ステアリングホイールの左側と右側にそれぞれ埋め込まれ、ステアリングホイールを握る手を通じて運転者の心電を計測するための電極を有する。心電センサ１０は、検出した運転者の心電情報をＥＣＵ２０に送信する。なお、心電センサ１０は、運転者の手から脈波を計測するための脈波計測用の光センサを有していてもよい。

通信部１１は、運転者の身につけている各種のウェアラブルデバイスと無線通信を行う。ウェアラブルデバイスには、運転者の腕に付けられた腕時計型デバイス、運転者の顔に掛けられた眼鏡型デバイスなどが含まれる。ウェアラブルデバイスは、運転者の心電、運転者の筋電、運転者の脳波などの身体情報を取得している。通信部１１は、無線通信によりウェアラブルデバイスから得た運転者の身体情報をＥＣＵ２０に送信する。

続いて、運転意識推定装置２００のＥＣＵ３０の機能的構成について説明する。ＥＣＵ３０は、上述した実施形態と比べて、身体状態認識部３５を更に備えている。また、頭部状態認識部３４、運転構え度推定部３６、及び走行環境要求度推定部３７が追加の機能を備えている。

頭部状態認識部３４は、運転者画像に基づいて、運転者の脇見を認識する。脇見には、スマートフォン等の情報端末を運転者が見ているようなよそ見の状態も含まれる。また、頭部状態認識部３４は、運転者の顔の向きから、交差点などにおける左右の確認をしているか否かを判定してもよい。頭部状態認識部３４は、運転者の顔の向きから、レーンチェンジなどにおける隣接車線の後方の確認をしているか否かを判定してもよい。

また、頭部状態認識部３４は、通信部１１を介して運転者の身につけているウェアラブルデバイス（例えば眼鏡型のウェアラブルデバイス）から運転者の脳波の情報を取得した場合、運転者の頭部の状態として運転者の脳波を認識してもよい。頭部状態認識部２４は、脳波としてΓ波、β波、α波、θ波などを認識する。

身体状態認識部３５は、運転者画像取得部２１の取得した運転者画像に基づいて、運転者の身体状態を認識する。運転者の身体状態には、背筋を伸ばしてステアリングホイールを握る運転姿勢の状態、ステアリングホイールから手を離した手放し状態、運転席のシートに深くもたれかかった休息姿勢の状態、一時交差点などで身を乗り出して左右を確認する姿勢の状態などが含まれる。身体状態認識部３５は、周知の画像処理の手法により、運転者の身体状態を認識する。

また、身体状態認識部３５は、運転者画像に加えてシート圧センサ８のシート圧情報に基づいて、運転者の身体状態を認識してもよい。身体状態認識部３５は、シート圧情報と運転者の身体状態とを予め関連付けたマップデータを利用して、シート圧情報から運転者の身体状態を認識する。身体状態認識部３５は、運転者画像とシート圧情報の両方に基づいて、運転者の身体状態を認識してもよい。

身体状態認識部３５は、運転者画像及びシート圧情報に基づいて、運転者の身体がこわばり状態であるか否かを判定してもよい。こわばり状態とは、狭路の走行時などにおいて緊張により運転者の身体の微小な動きが減少した状態である。身体状態認識部３５は、こわばり状態であるか否かの判定基準となる運転者の個人情報を記憶していてもよい。

また、身体状態認識部３５は、グリップ圧センサ９のグリップ圧情報に基づいて、運転者の身体状態として運転者によるステアリングホイールのグリップ圧を認識してもよい。身体状態認識部３５は、グリップ圧センサ９が圧力分布を計測する機能を備えている場合、運転者は緊張すると手の指同士の隙間距離が小さくなることから、グリップ圧情報に基づいて手の指同士の隙間距離を認識する。なお、身体状態認識部３５は、車両のアームレストに圧力センサが設けられている場合には、運転者によるアームレストへの押圧力を運転者の身体状態として認識してもよい。

身体状態認識部３５は、心電センサ１０の心電情報に基づいて、運転者の身体状態として運転者の心拍数のバラツキを認識してもよい。身体状態認識部３５は、例えば、ＣＶＲＲ［Coefficient of Variation of R-R intervals：心電図Ｒ−Ｒ間隔変動係数］として心拍数のバラツキを認識する。ＣＶＲＲは以下の式から求められる。
ＣＶＲＲ＝（Ｒ−Ｒ間隔の標準偏差／Ｒ−Ｒ間隔の平均値）×１００

身体状態認識部３５は、通信部１１を介して運転者の身につけているウェアラブルデバイス（例えば腕時計型のウェアラブルデバイス）から運転者の筋電の情報を取得した場合、運転者の身体状態として運転者の筋電を認識してもよい。なお、ＥＣＵ２０は、必ずしも身体状態認識部３５を有する必要はない。

運転構え度推定部３６は、身体状態認識部３５の認識した運転者の身体状態に基づいて、運転構え度を推定する。運転構え度推定部３６は、運転者が背筋を伸ばしてステアリングホイールを握る運転姿勢の状態である場合、運転者がステアリングホイールから手を離した手放し状態又は運転席のシートに深くもたれかかった休息姿勢の状態である場合と比べて、運転構え度を大きい値として推定する。

運転構え度推定部３６は、走行環境認識部２２の認識した走行環境と、身体状態認識部３５の認識した運転者の身体状態とに基づいて、走行環境に対する運転者の反応から運転構え度を推定する。運転構え度推定部３６は、車両が交差点に進入する走行シーン（走行環境）である場合に、運転者が身を乗り出して左右を確認する姿勢をとったときには、運転者は走行環境に対して運転意識を持って反応していると考えられることから、運転者が身を乗り出さない場合と比べて、運転構え度を大きい値として推定する。

ここで、運転構え度推定部３６は、車両の走行環境が、道路幅が所定値以下の狭路を車両が走行している走行環境、高さが所定値以上の高所を車両が走行している走行環境、車両の前後の車間距離が所定値以下の走行環境など運転者に緊張を与えると考えられる所定の走行環境に含まれるか否かを判定してもよい。このような所定の走行環境を緊張走行環境とする。なお、走行環境認識部２２が緊張走行環境であるか否かを判定してもよい。

運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者の身体がこわばり状態であると判定したときには、運転者は走行環境に対して運転意識を持って反応していると考えられることから、運転者がこわばり状態であると判定しないときと比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、走行環境と運転者のステアリングホイールのグリップ圧に基づいて、運転構え度を推定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者のステアリングホイールのグリップ圧がグリップ圧閾値以上であるとき、運転者は走行環境に対して運転意識を持って反応していると考えられることから、グリップ圧閾値未満であるときと比べて運転構え度を大きい値として推定してもよい。グリップ圧閾値は予め設定された値である。

なお、運転構え度推定部３６は、グリップ圧に加えて手の指同士の隙間距離を用いて判定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者の手の指同士の隙間距離が隙間閾値未満であるとき、指同士の隙間距離が隙間閾値以上であるときと比べて、運転構え度を大きい値として推定してもよい。また、グリップ圧に代えてグリップ圧の単位時間変化を用いてもよい。運転者は走行環境を認識して緊張した場合、グリップ圧の単位時間変化が小さくなると考えられる。

同様に、運転構え度推定部３６は、走行環境と運転者のアームレストへの押圧力に基づいて、運転構え度を推定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者のアームレストへの押圧力が押圧力閾値以上であるとき、押圧力閾値未満である場合と比べて、運転構え度を大きい値として推定してもよい。

また、運転構え度推定部３６は、走行環境とＣＶＲＲ（心拍数のバラツキ）に基づいて、運転構え度を推定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者のＣＶＲＲがＣＶＲＲ閾値未満であるとき、運転者が走行環境を認識して緊張により心拍数のバラツキが少なくなったと考えられるため、ＣＶＲＲがＣＶＲＲ閾値以上であるときと比べて、運転構え度を大きい値として推定してもよい。

なお、人間が緊張すると、心拍数のバラツキの高周波成分（０.１５＝０.４Ｈｚ）ＨＦのパワーが減少し、低周波成分（０.０５〜０.１５Ｈｚ）ＬＦのパワーが増加することが知られている。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、ＨＦがＨＦ閾値未満かつＬＦがＬＦ閾値以上になったとき、ＨＦがＨＦ閾値未満にならないとき又はＬＦがＬＦ閾値以上にならないときと比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、走行環境と筋電に基づいて、運転構え度を推定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、筋電の振幅量が筋電閾値以上であるとき、運転者が走行環境を認識して筋電が反応していると考えられることから、筋電の振幅量が筋電閾値未満であるときと比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、上腕から前腕の拮抗筋（例えば、上腕二頭筋及び上腕三頭筋）の筋電の出力が拮抗筋閾値以上であるとき、運転者が走行環境を認識して筋電が反応していると考えられることから、当該筋電の出力が拮抗筋閾値未満であるときと比べて、運転構え度を大きい値として推定してもよい。腕ではなく下肢の拮抗筋（例えば、脛骨筋及びはいふく筋）についても同様に運転構え度の推定に用いることができる。

運転構え度推定部３６は、走行環境と頭部状態認識部３４の認識した脳波に基づいて、運転構え度を推定してもよい。運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者のα波がα閾値未満であるとき、運転者が走行環境を認識して脳波が反応していると考えられることから、運転者のα波がα閾値以上である場合と比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、車両の走行環境が緊張走行環境である場合において、運転者のβ波がβ閾値以上であるとき、運転者が走行環境を認識して脳波が反応していると考えられることから、運転者のβ波がβ閾値未満である場合と比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、車両がレーンチェンジ又は合流の走行シーン（走行環境）である場合、運転者のθ波がθ閾値以上であるとき、運転者が走行環境を認識して脳波が反応（集中力向上）していると考えられることから、運転者のθ波がθ閾値未満である場合と比べて、運転構え度を大きい値として推定してもよい。

ここで、ＥＣＵ２０は、特定の走行環境（赤信号の発見、先行車のブレーキランプの点灯、割込車両の発見、急な歩行者の出現など）に対応する運転者の個人の脳波パターンを記憶していてもよい。運転構え度推定部３６は、走行環境認識部２２が認識した走行環境に対応する運転者の脳波パターンを認識したとき、運転者が走行環境を認識して脳波が反応していると考えられることから、当該脳波パターンを認識しないときと比べて、運転構え度を大きい値として推定してもよい。脳波パターンの認識は周知の手法により行うことができる。なお、脳波としては視覚の事象関連電位、眼球停留関連電位を用いることができる。

また、運転構え度推定部３６は、車両が交差点に進入する走行シーンである場合に、頭部状態認識部３４により運転者が顔を左右に向けて左右の確認をしていると判定されたときには、運転者は走行環境に対して運転意識を持って反応していると考えられることから、運転者が左右を確認しないときと比べて、運転構え度を大きい値として推定してもよい。

運転構え度推定部３６は、車両がレーンチェンジ又は合流を行う車両の走行シーンである場合に、頭部状態認識部３４により運転者が顔を振り向いて隣接車線の後方の確認をしていると判定されたときには、運転者は走行環境に対して運転意識を持って反応していると考えられることから、運転者が後方を確認しない場合と比べて、運転構え度を大きい値として推定してもよい。

その他、運転構え度推定部３６は、頭部状態認識部３４の認識した運転者の脇見に基づいて、運転者の連続脇見時間から運転構え度を推定してもよい。図９は、１分間の１回あたりの連続脇見時間の度数分布を示すグラフである。図９の縦軸は度数、横軸は時間（秒）である。一般的に運転者の連続脇見時間は図９に示すような傾向を示す。このため、図９に示すグラフにおける累積頻度５０％タイル（平均値）より、連続脇見時間の度数の変化が大きい累積頻度８０％タイルを用いることで運転構え度の推定精度が向上する。運転構え度推定部３６は、連続脇見時間の累積頻度８０％タイルの度数の逆数と所定の係数を掛けた値を運転構え度の推定に利用してもよい。

また、運転構え度推定部３６は、運転者による情報端末（スマートフォンなど）の操作を認識した場合、運転者による情報端末の操作を認識しない場合と比べて、運転構え度を小さい値として推定してもよい。運転構え度推定部３６は、車両の走行する道路の延在方向の変化（例えば正面方向、左方向、右方向の何れかの方向から他の方向に変化）に反応して運転者が道路の延在方向に追従して所定時間以内に顔の向きを道路の延在方向へ合わせた場合、運転者が顔の向きを合わせない場合と比べて、運転構え度を大きい値として推定してもよい。

また、運転構え度推定部３６は、ＨＭＩ６を通じて、道路標識の内容、先行車のナンバーを運転者に質問し、運転者の回答が合っている場合に、回答が合っていない場合と比べて、運転構え度を大きい値として推定してもよい。

走行環境要求度推定部３７は、走行環境と車両状態の両方から走行環境要求度を推定してもよい。図１０（ａ）は、車両のレーンチェンジの走行シーンを示す平面図である。図１０（ａ）において、車両（自車両）Ｍ、車両Ｍの走行する走行車線Ｒ１、隣接車線Ｒ２、隣接車線Ｒ２を走行する他車両Ｎ１及び他車両Ｎ２、他車両Ｎ１及び他車両Ｎ２の車間距離Ｌ１を示す。車両Ｍは、他車両Ｎ１及び他車両Ｎ２の間にレーンチェンジを行おうとしている。この状況において、走行環境要求度推定部３７は、以下の式（１）で走行環境要求度を推定してもよい。
走行環境要求度＝定数γ１×√（（他車両Ｎ２の車速−車両Ｍの車速）^2 ）＋定数γ2×１／（他車両Ｎ１とＮ２の車間距離Ｌ１ ）…（１）

図１０（ｂ）は、車両の合流車線への合流の走行シーンを示す平面図である。図１０（ｂ）に、車両Ｍから合流部終端までの距離Ｌｓ、他車両Ｎ１及び他車両Ｎ２の車間距離Ｌ２を示す。車両Ｍは、他車両Ｎ１及び他車両Ｎ２の間に合流しようとしている。この状況において、走行環境要求度推定部３７は、以下の式（２）で走行環境要求度を推定してもよい。
走行環境要求度＝（定数δ１×√（（他車両Ｎ２の車速−車両Ｍの車速）＾２）＋定数δ２×１／（他車両Ｎ１とＮ２の車間距離Ｌ２））×定数δ３（１／（距離Ｌｓ／車両Ｍの車速））…（２）

その他、走行環境要求度推定部３７は、車両の周囲の障害物の状況に基づいて、走行環境要求度を推定してもよい。すなわち、走行環境要求度推定部３７は、以下の式（３）で走行環境要求度を推定することができる。
走行環境要求度＝定数ε1×（１／障害物と車両との縦方向ＴＴＣ）×定数ε２×（１/障害物と車両との横方向距離）×定数ε３（障害物の横方向速度）…（３）
なお、縦方向とは車両の前後方向、横方向は車両の車幅方向を意味する。

走行環境要求度推定部３７は、通信部１１などを通じた交通情報管理センターなどとの無線通信により、車両の位置する区域（例えば地図上に設定された２００ｍ×２００ｍの区域）における歩行者（自転車を含む）の密度情報を取得した場合、密度情報に基づいて走行環境要求度を推定してもよい。走行環境要求度推定部３７は、周知の手法により、密度情報から車両の位置する区域における歩行者遭遇予測値を算出し、歩行者遭遇予測値に定数を乗じた値を走行環境要求度としてもよい。

また、走行環境要求度推定部３７は、先行車と車両の衝突余裕時間を用いて、衝突余裕時間の逆数に定数を乗じた値を走行環境要求度として推定してもよい。走行環境要求度推定部３７は、所定時間毎の車両のヨーレートの最大値に定数を乗じた値を走行環境要求度として推定してもよい。走行環境要求度推定部３７は、所定時間毎の車両の操舵角速度の最大値に定数を乗じた値を走行環境要求度として推定してもよい。

走行環境要求度推定部３７は、複数の走行環境が重なる場合（カーブ走行＋障害物など）、上述の手法で算出された値を加算することで総合的な走行環境要求度を推定してもよい。

以上説明した変形例に係る運転意識推定装置２００によれば、様々な方法で運転構え度及び走行環境要求度を推定することで、推定精度を向上させることができる。

その他、上述した運転意識推定装置１００，２００は、必ずしも余裕度を演算する必要はない。運転意識推定装置１００，２００は、運転構え度及び走行環境要求度の比較結果に基づいて注意喚起を実行してもよい。同様に、運転意識推定装置１００，２００は、運転構え度及び走行環境要求度の比較結果に基づいて、運転者が手動運転可能な状況であるか否かを判定してもよい。

図１１は、運転構え度及び走行環境要求度と判定結果との関係性を示すグラフである。縦軸は運転構え度、横軸は走行環境要求度である。図１１に、手動運転移行境界線、自動運転レベル２境界線、自動運転レベル３境界線を示す。手動運転移行境界線は、余裕度を用いた図７における手動運転移行閾値に対応する。自動運転レベル２境界線は、図７における自動運転レベル２の余裕度閾値に対応する。自動運転レベル２境界線は、図７における自動運転レベル３の余裕度閾値に対応する。Ｄ１は、手動運転移行境界線より運転構え度が大きい領域である。Ｄ２は、手動運転移行境界線と自動運転レベル２境界線の間の領域である。Ｄ３は、自動運転レベル２境界線と自動運転レベル３境界線の間の領域である。

注意喚起部２８は、例えば、予め設定された図１１に示す関係性を利用することで、余裕度を用いることなく、運転構え度及び走行環境要求度の比較結果から注意喚起を実行することができる。注意喚起部２８は、自動運転レベル２の車両の自動運転が実行されている場合、推定された運転構え度及び走行環境要求度を図１１にプロットするとＤ３又はＤ４の領域にプロットした点が含まれるとき、注意喚起を実行する。注意喚起部２８は、自動運転レベル３の車両の自動運転が実行されている場合、推定された運転構え度及び走行環境要求度を図１１にプロットするとＤ４の領域にプロットした点が含まれるとき、注意喚起を実行する。

手動運転可否判定部２９は、推定された運転構え度及び走行環境要求度を図１１にプロットするとＤ１の領域にプロットした点が含まれるとき、運転者が手動運転可能な状況であると判定する。手動運転可否判定部２９は、推定された運転構え度及び走行環境要求度を図１１にプロットするとＤ２〜Ｄ４の領域にプロットした点が含まれるとき、運転者が手動運転可能な状況ではないと判定する。

また、上述した運転意識推定装置１００，２００のＥＣＵ２０，３０は、必ずしも自動運転ＥＣＵ７と接続されている必要はない。本発明は、自動運転を実行しない車両に対しても適用することができる。

１…ドライバモニタカメラ、２…外部センサ、３…内部センサ、４…ＧＰＳ受信部、５…地図データベース、７…自動運転ＥＣＵ、８…シート圧センサ、９…グリップ圧センサ、１０…心電センサ、１１…通信部、２０，３０…ＥＣＵ、２１…運転者画像取得部、２２…走行環境認識部、２３…車両状態認識部、２４，３４…頭部状態認識部、２５，３６…運転構え度推定部、２６，３７…走行環境要求度推定部、２７…余裕度算出部、２８…注意喚起部、２９…手動運転可否判定部、３５…身体状態認識部、１００，２００…運転意識推定装置。

Claims (5)

1. 車両の運転者を撮像した運転者画像を取得する運転者画像取得部と、
   前記車両の周囲の走行環境を認識する走行環境認識部と、
   前記運転者画像及び前記走行環境に基づいて、前記走行環境に対する前記運転者の反応から前記運転者の運転意識に関する運転構え度を推定する運転構え度推定部と、
   前記走行環境に基づいて、前記走行環境から前記運転者に求められる前記運転構え度に対する指標である走行環境要求度を推定する走行環境要求度推定部と、
   前記運転構え度と前記走行環境要求度との比較結果に基づいて、前記運転者へ前記車両の運転に関する注意喚起を実行する注意喚起部と、
   前記運転構え度と前記走行環境要求度との比較結果を余裕度として算出する余裕度算出部と、
   を備え、
   前記車両は複数の自動運転レベルを切り替えて自動運転可能であり、
   前記注意喚起部は、前記余裕度が余裕度閾値未満の場合に前記注意喚起を実行し、
   前記余裕度閾値は、前記車両における前記自動運転レベルが高いほど小さい値となる、運転意識推定装置。
2. 前記運転構え度推定部は、前記運転者画像及び前記走行環境に基づいて前記運転者が前記車両の走行する道路の延在方向を向いている間における所定時間当たりの眼球のサッカード回数を算出し、前記サッカード回数に基づいて前記運転構え度を推定する、請求項１に記載の運転意識推定装置。
3. 車両の運転者を撮像した運転者画像を取得する運転者画像取得部と、
   前記車両の周囲の走行環境を認識する走行環境認識部と、
   前記車両の走行の状態を認識する車両状態認識部と、
   前記運転者画像及び前記車両状態に基づいて、前記車両状態に対する前記運転者の反応から前記運転者の運転意識に関する運転構え度を推定する運転構え度推定部と、
   前記走行環境に基づいて、前記走行環境から前記運転者に求められる前記運転構え度に対する指標である走行環境要求度を推定する走行環境要求度推定部と、
   前記運転構え度と前記走行環境要求度との比較結果に基づいて、前記運転者へ前記車両の運転に関する注意喚起を実行する注意喚起部と、
   前記運転構え度と前記走行環境要求度との比較結果を余裕度として算出する余裕度算出部と、
   を備え、
   前記車両は複数の自動運転レベルを切り替えて自動運転可能であり、
   前記注意喚起部は、前記余裕度が余裕度閾値未満の場合に前記注意喚起を実行し、
   前記余裕度閾値は、前記車両における前記自動運転レベルが高いほど小さい値となる、運転意識推定装置。
4. 前記車両状態認識部は、前記車両状態として前記車両の前後加速度を認識し、
   前記運転構え度推定部は、前記運転者画像及び前記車両の前後加速度に基づいて、前記車両の前後加速度に対する前記運転者の頭部ピッチ角から前記運転構え度を推定する、請求項３に記載の運転意識推定装置。
5. 前記車両は自動運転を実行する自動運転ＥＣＵを備えており、
   前記自動運転ＥＣＵが自動運転を終了するときに、前記運転構え度と前記走行環境要求度との比較結果に基づいて、前記運転者が手動運転可能な状況であるか否かを判定する手動運転可否判定部を更に備える、請求項１〜４のうち何れか一項に記載の運転意識推定装置。

Images