JP6598141B2

JP6598141B2 - 認知時機推定装置及び認知時機推定方法

Info

Publication number: JP6598141B2
Application number: JP2017220578A
Authority: JP
Inventors: 由佳峯岸; 圭一富井; 靖崇梶原; 孝宏栃岡
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2017-11-16
Filing date: 2017-11-16
Publication date: 2019-10-30
Anticipated expiration: 2037-11-16
Also published as: DE102018008973B4; US10713511B2; CN109795504A; DE102018008973A8; DE102018008973A1; CN109795504B; US20190147276A1; JP2019091329A

Description

本発明は、認知時機推定装置に関し、特に、適切な時機に運転者に情報を提示するために、車両の運転シーンに基づいて運転者の認知行動の時機を推定する認知時機推定装置及び認知時機推定方法に関する。

特開２０１３−２５０６６３号公報（特許文献１）には、運転シーン認識装置が記載されている。この運転シーン認識装置においては、運転者による操作や、車両の挙動を検出し、これらの情報の微分値に相当する微分値情報が検出される。さらに、これら運転者による操作や車両の挙動の情報、及びそれらの微分値情報に基づいて、車両の状態に対応する記号列が生成され、この記号列を分節化したドライビングワードの並びから運転シーンが認識されている。また、特許文献１記載の運転シーン認識装置では、検出された運転者の操作や車両挙動に基づいて、例えば、運転者が車線変更を開始しようとしている運転シーンや、車両を駐車しようとしている運転シーンを認識している。さらに、認識されたこれらの運転シーンにおいて、自動的に変更先車線の後方の状況を画像表示したり、自動的に駐車支援システムをオンにしたりして、運転が支援される。

特開２０１３−２５０６６３号公報

しかしながら、特許文献１記載の運転シーン認識装置では、車両における運転シーンの区切りを十分な精度で推定することができず、適切な時機に運転者に情報を提示することができないという問題がある。即ち、車両を運転している運転者に提示すべき情報は多数存在し、これら多くの情報が全て表示されていると、運転者は表示されている情報の中から今現在の運転状況において必要な情報を選び出して認識しなければならない。多くの情報の中から必要な情報を選び出して認識する作業は極めて繁雑であり、運転者の混乱を招く原因ともなるので、情報が提示されていたとしても運転者はこれを十分に活用することができない。これに対し、多数の情報の中から、運転者による認知行動の時機に合わせて必要な情報を提示することにより、運転者は提示された情報を容易に認識することが可能となり、運転行動に情報を十分に活用することが可能になる。

従って、本発明は、適切な時機に運転者に情報を提示すべく、運転者の認知行動の時機を十分正確に推定することができる認知時機推定装置及び認知時機推定方法を提供することを目的としている。

上述した課題を解決するために、本発明は、適切な時機に運転者に情報を提示するために、車両の運転シーンに基づいて運転者の認知行動の時機を推定する認知時機推定装置であって、運転者の運転操作に関する情報、又は車両が走行する走行経路に関する情報を取得する走行情報取得手段と、この走行情報取得手段が取得した情報に基づいて、車両の運転シーンの区切りを推定する運転シーン推定手段と、運転者の眼の動きを検出する運転者情報検出手段と、運転者の認知行動の時機を推定する認知時機推定手段と、を有し、認知時機推定手段は、運転者情報検出手段が検出した運転者の眼の動きに基づいて、運転シーン推定手段が推定した運転シーンの区切りが、運転者が運転シーンの区切りとして意識している運転シーンの区切りであるか否かを判断し、運転者が意識している運転シーンの区切りに基づいて、運転者の認知行動の時機を推定することを特徴としている。

このように構成された本発明においては、走行情報取得手段が、運転者の運転操作に関する情報、又は車両が走行する走行経路に関する情報を取得し、この情報に基づいて、運転シーン推定手段により走行中の車両の運転シーンの区切りが推定される。一方、運転者情報検出手段は運転者の眼の動きを検出する。認知時機推定手段は、運転シーン推定手段によって推定された運転シーンの区切りと、運転者情報検出手段によって検出された運転者の眼の動きに基づいて、運転者の認知行動の時機を推定する。

車両を運転している運転者は、周囲の道路状況等に常に一定の注意を向けているのではなく、１つの運転シーンに対する運転行動を開始する少し前に、車両の周辺交通環境等を認知し、これに基づいて次の運転シーンにおける運転計画を立てて運転行動を行っているものと考えられる。従って、運転中における運転シーンの区切りの近辺においてみられる、運転者による認知行動の時機に合わせて適切な情報を提示することにより、運転者は提示された情報に注意を向け易く、情報を十分に活用することが可能になる。しかしながら、本件発明者の研究によれば、運転者による認知行動は、運転シーンの区切り毎に常に現れるのではなく、運転者の個性や、習熟度によって認知行動を行う時機が異なっており、運転者の認知行動の時機を特定することは困難である。

本件発明者は、更に研究を進めた結果、運転者が認知行動を行っている場合には、運転シーンの区切りと運転者の眼の動きの間に一定の関係があることが明らかとなった。上記のように構成された本発明によれば、認知時機推定手段は、運転シーン推定手段によって推定された運転シーンの区切りと、運転者情報検出手段によって検出された運転者の眼の動きに基づいて運転者の認知行動の時機を推定するので、運転者の認知行動の時機を十分正確に推定することができる。これにより、運転者が注意を向けた時機に必要な情報を提示することが可能になり、運転者は提示された情報を十分に活用することができる。

本発明において、好ましくは、認知時機推定手段は、運転シーン推定手段によって運転シーンの区切りが推定されている時点以前の所定時間以内に、運転者情報検出手段によって運転者の所定量以上の視線の動き、又は運転者のまばたきが検出された場合に、その運転シーンの区切りにおいて運転者の認知行動が行われたと推定する。

本件発明者の研究により、車両の運転者は、現在の運転シーンから次の運転シーンに移行する直前に、次の運転シーンにおける道路状況等を把握するための認知行動を行い、次の運転シーンの計画を立てながら運転を続けていることが明らかとなってきた。そして、このように次の運転シーンにおける道路状況等を把握する際に、運転者は或る程度大きく視線を動かしたり、まばたきをしたりすることが明らかとなった。上記のように構成された本発明によれば、運転シーンの区切りが推定されている時点以前の所定時間以内に、運転者の所定量以上の視線の動き、又はまばたきが検出された場合に、その運転シーンの区切りにおいて運転者の認知行動が行われたと推定するので、運転者の認知行動を正確に推定することができる。

本発明において、好ましくは、さらに、運転者に情報を提示する情報提示装置を有し、この情報提示装置は、認知時機推定手段によって運転者の認知行動が行われると推定されている運転シーンの区切りの所定時間前に、次の運転シーンに対応した情報を運転者に提示する。

このように構成された本発明によれば、認知行動が行われると推定されている運転シーンの区切りの所定時間前に次の運転シーンに対応した情報が提示されるので、運転者は認知行動を行う際に、適時に次の運転シーンに関する情報を取得することができ、提示された情報を有効に活用することができる。これにより、運転者は、次の運転シーンにおける運転計画を立てやすくなり、運転者の負担を軽減することができる。

また、本発明は、適切な時機に運転者に情報を提示するために、車両の運転シーンに基づいて運転者の認知行動の時機を推定する認知時機推定方法であって、運転者の運転操作に関する情報、又は車両が走行する走行経路に関する情報を取得する走行情報取得ステップと、この走行情報取得ステップにおいて取得された情報に基づいて、走行中の車両の運転シーンの区切りを推定する運転シーン推定ステップと、運転者の眼の動きを検出する運転者情報検出ステップと、運転者情報検出ステップにおいて検出された運転者の眼の動きに基づいて、運転シーン推定ステップにおいて推定された運転シーンの区切りが、運転者が運転シーンの区切りとして意識している運転シーンの区切りであるか否かを判断し、運転者が意識している運転シーンの区切りに基づいて、運転者の認知行動の時機を推定する認知時機推定ステップと、を有することを特徴としている。

本発明の認知時機推定装置及び認知時機推定方法によれば、適切な時機に運転者に情報を提示すべく、運転者の認知行動の時機を十分正確に推定することができる。

車両を運転している運転者の運転リソースの投入量を概念的に示す図である。本発明の実施形態による認知時機推定装置の概略構成を示すブロック図である。本発明の実施形態の認知時機推定装置を使用して走行する走行経路の一例を示す図である。本発明の実施形態の認知時機推定装置による処理を示すフローチャートである。図３に示す走行経路において推定される認知行動の時機の一例を示す図である。

次に、添付図面を参照して、本発明の実施形態による認知時機推定装置、及び認知時機推定方法を説明する。
図１は、車両を運転している運転者の運転リソースの投入量を概念的に示す図である。

図１の実線に示すように、或る程度習熟した運転者は、車両の運転中、常に一定の運転リソースを投入しているのではなく、運転シーンに応じて必要な時機に運転リソースを集中的に投入し、それ以外のときは運転リソースの投入量が少なくなることが知られている。即ち、運転者は、車両の運転中、周辺交通環境を或る程度先まで見通して運転計画を立て、この計画に沿って車両を走行させた後、再び先方の周辺交通環境を見通して運転計画を立てることを繰り返しながら運転を継続している。運転者の注意力（運転リソース）は、この運転計画を立てる際に集中的に投入され、運転計画に沿って走行している際には運転リソースの投入量が少なくなる。即ち、運転者は運転計画を立てる際に、多くの運転リソースを投入して認知行動を行い、次の運転シーンにおける周辺交通環境に関する情報を集中的に取得する。これに対して、運転の初心者等では、図１の破線に示すように、常に最高レベルに近い運転リソースを投入してしまう傾向があり、長時間運転を継続すると、極度に疲労が蓄積する場合がある。或いは、図１の一点鎖線に示すように、常に運転リソースの投入量が少ない運転者では、十分に安全な運転をできない可能性がある。

このように、或る程度習熟した運転者が投入する運転リソースは、走行中、運転シーンの所定の区切りごとにピーク値を持つが、ピーク値が現れる運転シーンの区切りは運転者毎に異なっており、運転者の個性や、運転の習熟度、運転している走行経路に対する慣れ等に依存するものと考えられる。例えば、習熟度の高い運転者や、慣れた走行経路を運転している運転者の場合には、周辺交通環境を遠方まで一時に把握することができるので、運転リソースのピーク値が現れる間隔が長くなる傾向があると考えられる。

一方、運転者に周辺交通環境に関する情報を提示して運転のサポートを行うとすれば、運転者が多くの運転リソースを投入して認知行動を行い、次の運転シーンに関する情報を収集しようとしている時機（タイミング）にこれを提示するのが効果的であると考えられる。運転者が次の運転シーンに関する情報を収集すべく認知行動を行っている時機に、次の運転シーンに関する情報を提示することにより、運転者は情報を容易に受け入れ、十分に活用することができる。本実施形態の認知時機推定装置及び認知時機推定方法は、このような、運転者が多くの運転リソースを投入して認知行動を行っている時機を、十分正確に推定することを目的とするものである。

次に、図２乃至図５を参照して、本発明の実施形態による認知時機推定装置及び認知時機推定方法の構成及び作用を説明する。
図２は、本発明の実施形態による認知時機推定装置の概略構成を示すブロック図である。図３は、本実施形態の認知時機推定装置を使用して走行する走行経路の一例を示す図である。図４は、本実施形態の認知時機推定装置による処理を示すフローチャートである。図５は、図３に示す走行経路において推定される認知行動の時機の一例を示す図である。

図２に示すように、本実施形態の認知時機推定装置は、車両に搭載された車両コントローラ１に内蔵されている。即ち、車両コントローラ１は、マイクロプロセッサ、メモリ、インターフェイス回路、及びこれらを作動させるソフトウェア等（以上、図示せず）により構成されているが、本実施形態の認知時機推定装置２は、これらが作動する機能の一部として実現されている。また、認知時機推定装置２は、走行情報取得手段４と、運転シーン推定手段６と、運転者情報検出手段８と、認知時機推定手段１０によって実現されている。

また、車両コントローラ１には、カーナビゲーションシステム１２、通信装置１４、ドライバモニタカメラ１６、運転操作センサ１８、及び情報提示装置であるディスプレイ２０が接続されている。
カーナビゲーションシステム１２は、ナビゲーション情報として、車両周辺の地図データや、運転者が設定した目的地までの経路情報を車両コントローラ１に送るように構成されている。

通信装置１４は、ＧＰＳ衛星からの電波の受信等、一般的な電波の送受信の他、車車間通信により、運転中の車両の近くを走行する車両、近くに駐停車している車両からの電波を受信し、周辺に存在する車両の情報を取得できるように構成されている。また、通信装置１４は、路車間通信により、車両の周辺に居る歩行者等の情報も取得できるように構成されている。

ドライバモニタカメラ１６は、車両の運転席で運転している運転者の頭部等を前方から撮影するように構成されている。ドライバモニタカメラ１６から送られた画像データは、車両コントローラ１において画像解析され、運転者の状態が検出されるようになっている。

運転操作センサ１８は、運転者の車両に対する操作を検出するように構成されたセンサであり、このようなセンサとして、操蛇角センサ、アクセルペダルセンサ、ブレーキペダルセンサ等がある。各センサからの信号は、車両コントローラ１に入力され、運転者による車両の運転操作が解析される。

ディスプレイ２０は、車両の運転席から視認可能な位置に配置された表示装置であり、運転者に提示すべき情報が表示されるように構成されている。また、ディスプレイ２０は、カーナビゲーションシステム１２の一部を構成するものであっても良く、タッチパネルを備えることにより、情報入力装置を兼ねたものであっても良い。

次に、図３乃至図５を参照して、本発明の実施形態による認知時機推定装置２の作用を説明する。
まず、図３に示すように、自宅Ｈに居る運転者は、車両のカーナビゲーションシステム１２を使用して、目的地Ｐに至る走行経路を入力する。入力された走行経路に関する情報は、認知時機推定装置２に備えられた走行情報取得手段４によって取得される。

次に、認知時機推定装置２に備えられた運転シーン推定手段６は、走行情報取得手段４によって取得された情報に基づいて、車両の運転シーンの区切りを推定する。図３に示す例においては、運転シーン推定手段６は、運転シーンとして、自宅Ｈから交差点Ｃ１を左折する前までの運転シーンａ、交差点Ｃ１を左折した後、交差点Ｃ２を通過する前までの運転シーンｂ、交差点Ｃ２を通過した後、交差点Ｃ３を左折するまでの運転シーンｃ、交差点Ｃ３を左折した後、カーブＢに進入する前までの運転シーンｄ、カーブＢに進入した後、カーブＢが終了するまでの運転シーンｅ、カーブＢが終了した後、交差点Ｃ４を左折する前までの運転シーンｆ、及び、交差点Ｃ４を左折した後、目的地に到着するまでの運転シーンｇの７つの運転シーンを抽出する。しかしながら、運転者が意識する運転シーン（一連の運転操作）には個人差があり、全ての運転者が、運転シーン推定手段６が抽出した個々の運転シーンに移行する直前に認知行動を行い、運転計画を立てるものではない。

次に、図４及び図５を参照して、車両が図３の走行経路を走行した場合における本発明の実施形態による認知時機推定装置２の作用、及び認知時機推定方法を説明する。

まず、運転者が車両に備えられたカーナビゲーションシステム１２を操作して、図３に示す走行経路（目的地）を設定すると、図４のステップＳ１において走行情報取得ステップとして、設定された走行経路の地図データが、認知時機推定装置２の走行情報取得手段４によって取得される。

次に、ステップＳ２において、運転者が設定した走行経路は、過去に走行した履歴があるか否かが判断される。走行履歴がない場合にはステップＳ３に進み、走行履歴がある場合にはステップＳ８に進む。

過去に走行履歴がない場合には、ステップＳ３において、認知時機推定装置２の運転シーン推定手段６は、運転シーン推定ステップとして、走行経路から運転シーンの区切りを推定する。図３に示す例においては、運転シーン推定手段６は、走行経路に基づいて上述した運転シーンａ乃至ｇを推定する。さらに、運転シーン推定手段６は、或る運転シーンから次の運転シーンに移行することが想定される時点よりも所定時間前の時点を、運転者が認知行動を行う時機である基準認知時機として設定する。このように、過去に走行履歴がない経路を走行する場合には、運転者が認知行動を行う可能性がある時機を基準認知時機として仮設定する。好ましくは、基準認知時機は、運転シーンの移行が想定される時点よりも約１．５秒乃至約１秒前の時点に設定する。

即ち、図５に破線で示すように、運転シーン推定手段６は、走行経路における運転シーンａ乃至ｇの区切りを、図５の時刻ｔ₃、ｔ₆、ｔ₉、ｔ₁₂、ｔ₁₅、及びｔ₁₈に設定し、これらの時刻の所定の認知準備時間Ｔｒ前の時点を基準認知時機ｔ₁、ｔ₄、ｔ₇、ｔ₁₀、ｔ₁₃、及びｔ₁₆として仮設定する。

次に、運転者が車両の運転を開始すると、車両に搭載されたドライバモニタカメラ１６が、運転者情報検出ステップとして、運転者の頭部の画像を所定の時間間隔で撮影する。撮影された画像のデータは順次車両コントローラ１に送られ、認知時機推定装置２の運転者情報検出手段８は、画像データを画像解析して、運転者の視線の動き、及びまばたきの有無を検出する。画像解析により運転者の眼の動きである所定量以上の視線の動き、又はまばたきが検出されると、運転者情報検出手段８は、図５の下段に示すように所定のパルス信号を発生する。なお、運転者の視線の動きには、運転者が眼球を動かすことによる眼の動き、及び運転者が頭部を動かすことによる眼の動きが含まれる。図５に示す例では、時刻ｔ₂とｔ₃の間、時刻ｔ₃とｔ₄の間等において、運転者の眼の動きが検出され、パルス信号が発生している。

さらに、運転者が車両を走行させ、運転シーンａから運転シーンｂへの移行が想定される時刻ｔ₃の所定の認知準備時間Ｔｒ（約１秒〜約１．５秒）前である時刻ｔ₁になると、認知時機推定装置２はディスプレイ２０に信号を送り、次の運転シーンである運転シーンｂに対応した情報を表示する。なお、運転シーンａから運転シーンｂへの移行時刻は、カーナビゲーションシステム１２を介して得られる車両の位置情報、車両の走行速度から推定することができる。このように推定された時刻の認知準備時間Ｔｒ前に次の運転シーンに対応した情報が表示される。

ここで、運転シーンｂに対応した情報とは、運転シーンｂにおいて走行することが予定されている走行区間に駐停車されている車両の情報、歩行者の情報、その走行区間において行われている道路工事の情報等である。これらの情報は、車車間通信又は路車間通信を介して通信装置１４から得たり、カーナビゲーションシステム１２を介して得ることができる。なお、このようにしてディスプレイ２０に表示される次の運転シーンに対応した情報は車両の走行に関係した情報であり、道路沿いにある飲食店や、コンビニエンスストアに関する情報等、運転者や乗員の嗜好に関わる情報は含まれない。

次に、図４のステップＳ５においては、運転シーンａと運転シーンｂの間の区切りにおいて、運転者が認知行動を行っているか否かが、運転者情報検出手段８の出力信号に基づいて推定される。即ち、認知時機推定装置２の認知時機推定手段１０は、認知時機推定ステップとして、運転シーン推定手段６によって推定された運転シーンの区切りと、運転者情報検出手段８によって検出された運転者の眼の動きに基づいて、運転者の認知行動の時機を推定する。

本実施形態においては、運転シーン推定手段６によって運転シーンの区切りが推定されている時点以前の所定の認知行動時間Ｔｓ以内に、運転者情報検出手段８によって運転者の眼の動きが検出された場合に、その運転シーンの区切りにおいて運転者の認知行動が行われたと推定される。好ましくは、所定の認知行動時間Ｔｓは、認知準備時間Ｔｒよりも短い、約０．５秒乃至約１秒に設定する。

図５に示す例においては、時刻ｔ₃以前の所定の認知行動時間Ｔｓ以内（時刻ｔ₂とｔ₃の間）に、運転者情報検出手段８によって運転者の眼の動きが検出されているので、運転シーンａと運転シーンｂの間の区切りにおいて、運転者の認知行動が行われたものと推定される。
次いで、図４のステップＳ６においては、運転シーンａと運転シーンｂの間の区切りにおいて、運転者が認知行動を行ったことが記憶される。

さらに、ステップＳ７においては、ステップＳ６において処理された運転シーンの区切りが、運転シーン推定手段６によって推定されている最後の運転シーンに関するものであるか否かが判断される。最後の運転シーンである場合には、図４に示すフローチャートの１回の処理が終了する。最後の運転シーンでない場合には、ステップＳ４に戻り、ステップＳ３において設定された次の基準認知タイミングに関する処理が実行される。このようにして、設定されている走行経路の最後の運転シーンまで同様の処理が繰り返される。

図５に示す例では、運転シーンｂと運転シーンｃの間の区切りの時刻ｔ₆よりも認知準備時間Ｔｒ前の時刻ｔ₄において、次の運転シーンである運転シーンｃに対応した情報が表示されている。しかしながら、時刻ｔ₆以前の認知行動時間Ｔｓ以内（時刻ｔ₅とｔ₆の間）に、運転者情報検出手段８によって運転者の眼の動きが検出されていないので、運転シーンｂと運転シーンｃの間の区切りにおいて、運転者の認知行動は行われていないものと推定されている。即ち、図５に示す例では、運転者は、運転シーン推定手段６によって推定された運転シーンｂと運転シーンｃを単一の運転シーンとして意識しており、運転シーンｂに移行する直前に、運転シーンｃに関する認知行動をも行っているものと考えられる。

なお、運転シーンｂにおいて、時刻ｔ₃とｔ₄の間に運転者の眼の動きが検出されているが、この運転者の眼の動きは、運転シーンの間の区切りの近傍で（直前に）行われたものではないので、運転者による認知行動は行われていないと判断されている。このように、運転者の眼の動きと運転シーンの間の区切りの間の関係に基づいて運転者の認知行動の有無を推定することにより、運転者による脇見等の、認知行動とは関係のない視線の動きやまばたきを排除することができる。

同様に、運転シーンｃと運転シーンｄの間の区切りの時刻ｔ₉において、運転者の認知行動が行われていると推定され、運転シーンｄと運転シーンｅの間の区切りの時刻ｔ₁₂において、運転者の認知行動が行われていると推定され、運転シーンｅと運転シーンｆの間の区切りの時刻ｔ₁₅において、運転者の認知行動が行われていると推定され、運転シーンｆと運転シーンｇの間の区切りの時刻ｔ₁₈において、運転者の認知行動が行われていると推定されている。このように、認知時機推定装置２は、図３に示す自宅Ｈから目的地Ｐの間の走行経路において、図５に示すように、その間の＊印を付した各運転シーンの区切りの直前に運転者が認知行動を行っていると推定し、これが車両コントローラ１のメモリ（図示せず）に記憶される。

一方、図４に示すフローチャートのステップＳ２において、設定された走行経路に対する走行履歴があると判断された場合には、ステップＳ８に進む。ステップＳ８においては、同一の走行経路を以前走行したときに記憶された、運転者による認知行動の時機がメモリ（図示せず）から読み込まれる。

次に、ステップＳ９においては、運転者が意識している運転シーンの区切り（図５において＊印を付した区切り）の認知準備時間Ｔｒ前に、次の運転シーンに対応した情報がディスプレイ２０に表示される。図５に示す例においては、運転者が意識している運転シーンａと運転シーンｂの間の区切り（時刻ｔ₃）よりも認知準備時間Ｔｒ前の時刻ｔ₁において、運転者が単一の運転シーンであると認識している運転シーンｂ及びｃに関する情報がディスプレイ２０に表示される。運転者は時刻ｔ₁頃において運転シーンｂ及びｃに対する認知行動を行い、この間の運転計画を立てていると考えられる。このため、運転者は適時に次の運転シーンに対応した情報を取得することができ、ディスプレイ２０に表示された情報を十分に活用することができる。

なお、図４に示すフローチャートのステップＳ８以下において実行される処理における各運転シーンの区切りの時刻は、現在走行中の車両がその区切りに到達すると推定される時刻であり、以前実行されたステップＳ３以下の処理における時刻と同じにはならない。

一方、運転シーンｂと運転シーンｃの間の区切り（時刻ｔ₆）において、運転者が認知行動を行っていないことが記憶されているので、その直前の時刻ｔ₄においては、ディスプレイ２０への情報の表示は実行されない。以後、認知時機推定装置２は、時刻ｔ₇において運転シーンｄ及びｅに対応する情報の表示を行い、時刻ｔ₁₃において運転シーンｆに対応する情報の表示を行い、時刻ｔ₁₆において運転シーンｇに対応する情報の表示を行って、図４に示すフローチャートの１回の処理が終了する。

本発明の実施形態の認知時機推定装置２によれば、認知時機推定手段１０は、運転シーン推定手段６によって推定された運転シーンの区切り（図３）と、運転者情報検出手段８によって検出された運転者の眼の動きに基づいて運転者の認知行動の時機を推定する（図５において＊印を付した区切り）ので、運転者の認知行動の時機を十分正確に推定することができる。これにより、運転者が注意を向けた時機に必要な情報を提示することが可能になり、運転者は提示された情報を十分に活用することができる。

また、本実施形態の認知時機推定装置２によれば、運転シーンの区切りが推定されている時点（図５の時刻ｔ₃、ｔ₆、ｔ₉、ｔ₁₂、ｔ₁₅、及びｔ₁₈）以前の所定時間（Ｔｓ）以内に、運転者の所定量以上の視線の動き、又はまばたきが検出された場合に、その運転シーンの区切り（図５の時刻ｔ₃、ｔ₉、ｔ₁₅、及びｔ₁₈）において運転者の認知行動が行われたと推定するので、運転者の認知行動を正確に推定することができる。

さらに、本実施形態の認知時機推定装置２によれば、認知行動が行われると推定されている運転シーンの区切り（図５の時刻ｔ₃、ｔ₉、ｔ₁₅、及びｔ₁₈）の所定時間前（Ｔｒ）に次の運転シーンに対応した情報が提示されるので、運転者は認知行動を行う際に、適時に次の運転シーンに関する情報を取得することができ、提示された情報を有効に活用することができる。

以上、本発明の好ましい実施形態を説明したが、上述した実施形態に種々の変更を加えることができる。特に、上述した実施形態においては、走行情報取得手段は、カーナビゲーションシステムに入力された走行経路を取得し、この情報に基づいて運転シーン推定手段が運転シーンの区切りを推定していたが、走行情報取得手段が運転操作センサに関する情報を取得するように本発明を構成することもできる。即ち、操蛇角センサ、アクセルペダルセンサ等の運転操作センサによる検出データを走行情報取得手段が取得し、このデータに基づいて運転シーン推定手段が運転シーンの区切りを推定するように本発明を構成することもできる。或いは、入力された走行経路の情報及び運転操作センサの情報の両方を使用して、運転シーンの区切りを推定するように本発明を構成することもできる。

また、上述した実施形態においては、情報提示装置としてディスプレイが備えられ、次の運転シーンに対応した情報がディスプレイに表示されていたが、情報提示装置として、スピーカ等の音声発生装置を備えるように本発明を構成することもできる。さらに、上述した実施形態においては、認知時機推定装置の機能は、全て、車両に搭載された車両コントローラのマイクロプロセッサ等により実現されていたが、認知時機推定装置の機能の少なくとも一部が、車両コントローラとの間で情報通信可能なサーバー上で実行されるように本発明を構成することもできる。

１車両コントローラ
２認知時機推定装置
４走行情報取得手段
６運転シーン推定手段
８運転者情報検出手段
１０認知時機推定手段
１２カーナビゲーションシステム
１４通信装置
１６ドライバモニタカメラ
１８運転操作センサ
２０ディスプレイ（情報提示装置）

Claims

適切な時機に運転者に情報を提示するために、車両の運転シーンに基づいて運転者の認知行動の時機を推定する認知時機推定装置であって、
運転者の運転操作に関する情報、又は車両が走行する走行経路に関する情報を取得する走行情報取得手段と、
この走行情報取得手段が取得した情報に基づいて、車両の運転シーンの区切りを推定する運転シーン推定手段と、
運転者の眼の動きを検出する運転者情報検出手段と、
運転者の認知行動の時機を推定する認知時機推定手段と、を有し、
上記認知時機推定手段は、上記運転者情報検出手段が検出した運転者の眼の動きに基づいて、上記運転シーン推定手段が推定した運転シーンの区切りが、運転者が運転シーンの区切りとして意識している運転シーンの区切りであるか否かを判断し、運転者が意識している運転シーンの区切りに基づいて、運転者の認知行動の時機を推定することを特徴とする認知時機推定装置。
上記認知時機推定手段は、上記運転シーン推定手段によって運転シーンの区切りが推定されている時点以前の所定時間以内に、上記運転者情報検出手段によって運転者の所定量以上の視線の動き、又は運転者のまばたきが検出された場合に、その運転シーンの区切りにおいて運転者の認知行動が行われたと推定する請求項１記載の認知時機推定装置。
さらに、運転者に情報を提示する情報提示装置を有し、この情報提示装置は、上記認知時機推定手段によって運転者の認知行動が行われると推定されている運転シーンの区切りの所定時間前に、次の運転シーンに対応した情報を運転者に提示する請求項１又は２に記載の認知時機推定装置。
適切な時機に運転者に情報を提示するために、車両の運転シーンに基づいて運転者の認知行動の時機を推定する認知時機推定方法であって、
運転者の運転操作に関する情報、又は車両が走行する走行経路に関する情報を取得する走行情報取得ステップと、
この走行情報取得ステップにおいて取得された情報に基づいて、走行中の車両の運転シーンの区切りを推定する運転シーン推定ステップと、
運転者の眼の動きを検出する運転者情報検出ステップと、
上記運転者情報検出ステップにおいて検出された運転者の眼の動きに基づいて、上記運転シーン推定ステップにおいて推定された運転シーンの区切りが、運転者が運転シーンの区切りとして意識している運転シーンの区切りであるか否かを判断し、運転者が意識している運転シーンの区切りに基づいて、運転者の認知行動の時機を推定する認知時機推定ステップと、
を有することを特徴とする車両における認知時機推定方法。