JP2019079083A - 運転支援装置 - Google Patents

Abstract

【課題】一例として、乗員の運転支援装置に対する話しかけにくさを低減する。【解決手段】実施形態にかかる運転支援装置は、車内を撮像する撮像装置の撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出する視線検出部と、視線検出部が、乗員の視線が、車内に設置された発光装置を向いていることを検出した場合に、発光装置の発光の態様を変化させる発光制御部と、を備える。【選択図】図４

Description

本発明の実施形態は、運転支援装置に関する。

従来、乗員の音声による命令を認識する運転支援装置の技術が知られている。また、乗員を撮像した画像から乗員の発話の有無を判断し、発話していると判断した場合にのみ、音声認識を行う運転支援装置が知られている。

特開平１１−３５２９８７号公報

しかしながら、従来は、乗員が命令のために音声を発する際、運転支援装置に対して「話しかけにくさ」を感じる場合があった。

本発明の実施形態にかかる運転支援装置は、一例として、車内を撮像する撮像装置の撮像画像に含まれる乗員の顔画像から、乗員の視線の向きを検出する視線検出部と、視線検出部が乗員の視線が車内に設置された発光装置を向いていることを検出した場合に、発光装置の発光の態様を変化させる発光制御部と、を備える。よって、実施形態にかかる運転支援装置によれば、発光装置を乗員の視線に対して応答するように動作させるため、一例としては、乗員の運転支援装置に対する話しかけにくさを低減することができる。

上記運転支援装置では、一例として、発光制御部は、視線検出部が乗員の視線が発光装置を向いていることを検出した場合に、乗員がいる方向に発光するよう、発光装置を制御する。よって、実施形態にかかる運転支援装置によれば、一例としては、乗員に対して、視線を検出していることをより明確に示すことができる。

上記運転支援装置は、一例として、乗員の発話を検出する発話検出部、をさらに備え、発光制御部は、発話検出部が乗員の発話を検出した場合に、発話をした乗員がいる方向に発光するよう、発光装置を制御する。よって、実施形態にかかる運転支援装置によれば、一例としては、乗員に対して、発話を検出していることをより明確に示すことができる。

上記運転支援装置では、一例として、発光制御部は、視線検出部が１人の乗員の視線が発光装置を向いていることを検出した場合と、視線検出部が複数の乗員の視線が発光装置を向いていることを検出した場合とでは、異なる態様で発光装置を発光させる。よって、実施形態にかかる運転支援装置によれば、発光装置を複数の乗員の視線に対してそれぞれ応答するように動作させるため、一例としては、各乗員の運転支援装置に対する話しかけにくさを低減することができる。

上記運転支援装置では、一例として、発光制御部は、発光装置が設置された車両が自動運転制御されている場合と、車両が手動運転されている場合とでは、異なる態様で発光装置を発光させる。よって、実施形態にかかる運転支援装置によれば、一例としては、車両が自動運転制御中であるか否かを乗員が容易に確認することができる。

図１は、実施形態１にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、実施形態１にかかる撮像装置の配置の一例を示す図である。 図３は、実施形態１にかかる運転支援システムのハードウェア構成の一例を示す図である。 図４は、実施形態１にかかるＥＣＵが有する機能の一例を示すブロック図である。 図５は、実施形態１にかかる撮像画像の一例を示す図である。 図６は、実施形態１にかかる発光装置の発光の態様の一例を示す図である。 図７は、実施形態１にかかる発光装置の制御処理の手順の一例を示すフローチャートである。 図８は、変形例１にかかる発光装置の発光の態様の一例を示す図である。 図９は、実施形態２にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。 図１０は、実施形態２にかかる撮像画像の一例を示す図である。 図１１は、実施形態２にかかる発光装置の発光の態様の一例を示す図である。 図１２は、実施形態２にかかる発光装置の発光の態様の他の一例を示す図である。 図１３は、実施形態２にかかる発光装置の制御処理の手順の一例を示すフローチャートである。 図１４は、実施形態３にかかるＥＣＵが有する機能の一例を示すブロック図である。 図１５は、実施形態３にかかる発光装置の制御処理の手順の一例を示すフローチャートである。

（実施形態１）
本実施形態においては、車両に搭載した発光装置を、乗員の視線が向けられた場合に発光するように運転支援装置が制御することにより、乗員が命令のために音声を発する際に感じる運転支援装置に対する話しかけにくさを低減する。以下、本実施形態の運転支援装置を車両１に搭載した例を挙げて説明する。

図１は、本実施形態にかかる車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関自動車であってもよいし、電気自動車や燃料電池自動車、ハイブリッド自動車等であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。

また、図１に例示されるように、車両１は、例えば、四輪自動車であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒとを有する。これら４つの車輪３は、いずれも転舵可能に構成されうる。車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席４０ａ（運転席）に臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。

操舵部４は、例えば、ダッシュボード１２から突出したステアリングホイール（ハンドル）である。また、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。また、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７は、これらに限定されるものではない。

また、車両１の車内には、発光装置３０が設置される。本実施形態においては、発光装置３０は、車室２ａ内のダッシュボード１２上に設置される。発光装置３０は、発光の態様を変更可能である。より詳細には、発光装置３０は、例えば、ドーム形状のカバー内に、複数のＬＥＤ（light emitting diode）を備え、ＬＥＤを点灯させることにより、様々な形状の発光部を表示する。また、発光装置３０は、光の色を変更することができる。発光装置３０は、後述するＥＣＵ（electronic control unit）により制御される。本実施形態における発光装置３０の設置位置は一例であり、これに限定されるものではない。また、発光装置３０の構成はこれに限定されるものではなく、液晶パネル等を用いても良い。

また、車室２ａ内には、モニタ装置１１が設けられている。モニタ装置１１は、表示装置（図３に図示）や、音声出力装置（図３に図示）が設けられている。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。また、表示装置は、例えば、タッチパネル等、透明な操作入力部（図３に図示）で覆われている。

また、車体２の天井には、音声入力部２４が設けられている。音声入力部２４は例えばマイクであり、車室２ａ内の乗員の音声を入力可能である。図１に示す音声入力部２４の設置位置は一例であり、これに限定されるものではない。

また、操舵部４とダッシュボード１２とを接続するハンドルコラム（図２に図示）には、車両１の車内を撮像する撮像装置１５が設置されている。この撮像装置１５は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。

図２は、本実施形態にかかる撮像装置１５の配置の一例を示す図である。本実施形態においては、撮像装置１５は、ハンドルコラム４１に設置されている。撮像装置１５は、座席４０ａに着座する乗員４２ａの顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置１５は、車両１の車内を撮像し、撮像により得た画像データである撮像画像を、後述するＥＣＵへ順次出力する。また、本実施形態における運転者は、車両１の乗員のうち、操舵部４に面した座席４０ａに着座している乗員４２ａのことをいう。車両１が自動運転制御中である場合等、運転者は、必ずしも車両１の運転制御を行っていなくとも良い。

図３は、本実施形態にかかる運転支援システム１０のハードウェア構成の一例を示す図である。図３に示すように、車両１に搭載された運転支援システム１０では、ＥＣＵ１４や、モニタ装置１１、発光装置３０等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、操舵システム１３、音声入力部２４等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成される。なお、音声入力部２４は車内ネットワーク２３を介さずに、直接ＥＣＵ１４と接続する構成を採用しても良い。

ＥＣＵ１４は、発光装置３０の発光の態様を制御する。また、ＥＣＵ１４は、撮像装置１５から撮像画像を取得する。また、ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御する。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、音声入力部２４等の検出結果、ならびに、操作入力部８ｃ等の指示信号（制御信号、操作信号、入力信号、データ）を受け取る。ＥＣＵ１４は、本実施形態における運転支援装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像装置１５で得られた画像データを用いた画像処理や、表示装置８ａで表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置８ｂで出力される音声データの処理を実行する。

また、操舵システム１３は、少なくとも２つの車輪３を操舵する。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。

また、ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂとを有する。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。

上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、本実施形態にかかるＥＣＵ１４が有する機能の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、記憶部１４０と、取得部１４１と、視線検出部１４２と、発話検出部１４３と、発光制御部１４４と、音声認識モード切替部１４５と、音声認識部１４６とを備える。

取得部１４１と、視線検出部１４２と、発話検出部１４３と、発光制御部１４４と、音声認識モード切替部１４５と、音声認識部１４６との各構成は、ＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。

記憶部１４０は、音声認識モードの設定値を記憶する。音声認識モードの設定値は、音声による命令の入力を受け付ける音声認識機能の感度の設定値である。音声認識モードの設定値は、例えば、“低”、“中”、“高”の３段階とする。後述の音声認識部１４６は、記憶部１４０に記憶された音声認識モードの設定値に応じて、乗員の音声認識を実行する。本実施形態における音声認識モードの設定値は一例であり、これに限定されるものではない。また、記憶部１４０は、例えば、ＳＳＤ１４ｆ等の記憶装置によって構成される。

取得部１４１は、撮像装置１５から撮像画像を取得する。

視線検出部１４２は、取得部１４１が取得した撮像画像に含まれる乗員４２ａの顔画像から、乗員４２ａの視線の向きを検出する。

より詳細には、視線検出部１４２は、例えば、撮像画像から、乗員４２ａの顔の向き、目の位置、および目が向いている方向などを特定して、乗員４２ａの視線の向きを検出する。また、視線検出部１４２は、検出した乗員４２ａの視線が、発光装置３０を向いているか否かを判断する。撮像画像における乗員４２ａの視線がいずれの向きである場合に発光装置３０を向いていると判断するかは、予め登録されるものとする。例えば、撮像装置１５の撮像範囲と、発光装置３０の位置関係は、予め記憶部１４０に登録されても良い。また、視線検出部１４２は、検出した乗員４２ａの視線が、予め記憶された発光装置３０を向いているか否かを判断する。なお、視線検出部１４２による視線の向きの検出の手法はこれに限定されるものではなく、他の公知の手法を採用しても良い。

図５は、本実施形態にかかる撮像画像６０の一例を示す図である。視線検出部１４２は、撮像画像６０に含まれる乗員４２ａの顔画像から、乗員４２ａの視線Ｄ１を検出する。本実施形態においては、視線検出部１４２は、乗員４２ａの視線Ｄ１が撮像画像６０の斜め左下を向く場合に、乗員４２ａの視線Ｄ１が、発光装置３０を向いていると判断する。乗員４２ａと発光装置３０との位置関係は一例であり、これに限定されるものではない。

図４に戻り、発話検出部１４３は、乗員４２ａの発話を検出する。より詳細には、本実施形態の発話検出部１４３は、取得部１４１が取得した撮像画像６０に含まれる乗員４２ａの顔画像から、乗員４２ａの口の動作を検出することによって、乗員４２ａが発話をしたことを検出する。一般に、車内にはラジオの音等の雑音が存在するが、発話検出部１４３は、撮像画像６０から乗員４２ａの口の動作を検出するため、雑音等を乗員４２ａの発話と誤検出することを抑制できる。このため、本実施形態の発話検出部１４３は、乗員４２ａが発話をしたことを高精度に検出することができる。

また、本実施形態においては、発光装置３０が車内に設置されているため、発話の際に乗員４２ａの顔が発光装置３０に向けられやすくなる。このため、乗員４２ａの顔が撮像装置１５に撮像されやすくなり、発話検出部１４３は、乗員４２ａの発話をより高精度に検出することができる。

発光制御部１４４は、乗員の視線に基づいて、発光装置３０の発光の態様を変化させる。より詳細には、本実施形態の発光制御部１４４は、視線検出部１４２が乗員４２ａの視線が発光装置３０を向いていることを検出した場合に、発光装置３０の発光の態様を変化させる。また、発光制御部１４４は、発話検出部１４３が乗員４２ａの発話を検出した場合に、乗員４２ａがいる方向に発光するよう、発光装置３０を制御する。

図６は、本実施形態にかかる発光装置３０の発光の態様の一例を示す図である。図６に示す例では、発光装置３０は、円形の発光部３０１ａを発光させ、他の場所は消灯している。本実施形態においては、乗員４２ａが発光装置３０に視線Ｄ１を向けたことが検出されず、かつ、乗員４２ａの発話も検出されていない状態においては、発光装置３０は消灯状態であるものとする。

発光制御部１４４は、視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、乗員４２ａがいる方向に、青色に発光する円形の発光部３０１ａを表示するよう、発光装置３０を制御する。乗員４２ａがいる方向は、予め登録されているものとする。例えば、発光装置３０が設置される位置と、乗員４２ａが着座する座席４０ａとの位置関係が、予め記憶部１４０に登録されても良い。

また、発光制御部１４４は、さらに、乗員４２ａの発話が検出された場合に、乗員４２ａがいる方向に、オレンジ色に発光する円形の発光部３０１ａを表示するよう、発光装置３０を制御する。発光部３０１ａの形状、および色は一例であり、これに限定されるものではない。

発光制御部１４４が、乗員４２ａの視線Ｄ１と発話とに基づいて、発光装置３０の発光の態様を変化させることにより、発光装置３０は、乗員４２ａの視線Ｄ１と発話とに対して応答するように動作する。このように発光装置３０が動作することで、乗員４２ａが音声による命令の入力をする際に話しかけにくさを感じることを低減することができる。

図４に戻り、音声認識モード切替部１４５は、乗員４２ａの視線Ｄ１または発話に基づいて、音声認識モードの設定値を切り替える。また、本実施形態においては、乗員４２ａの視線Ｄ１が発光装置３０に向けられず、乗員４２ａが発話をしていない場合には、記憶部１４０に記憶された音声認識モードの設定値は“低”であるものとする。

より詳細には、音声認識モード切替部１４５は、視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“中”に変更する。本実施形態においては、乗員４２ａが視線Ｄ１を発光装置３０に向けている場合は、乗員４２ａが音声による命令の入力をする意図があるものとする。例えば、予め、乗員４２ａに対して、音声による命令の入力の際には発光装置３０を見るように案内をしておいても良い。また、音声認識モード切替部１４５は、発話検出部１４３が乗員４２ａの発話を検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“高”に変更する。

音声認識部１４６は、音声入力部２４に入力された音声に対して音声認識処理を行い、命令の内容を特定する。より詳細には、音声認識部１４６は、記憶部１４０に記憶された音声認識モードの設定値が高いほど、音声認識の感度を上げるものとする。例えば、音声認識部１４６は、音声認識モードの設定値が高いほど、入力された音が雑音ではなく、乗員４２ａの音声による命令である可能性が高いものとして、高精度に単語の切り出しの処理を行う。音声認識部１４６は、音声認識モードの設定値によって、入力された音声から、乗員４２ａの命令が含まれている可能性が高い区間を特定することができるため、より高精度に音声認識をすることができる。また、音声認識部１４６は、ＥＣＵ１４が起動している間は常に音声認識処理を実行しているものとする。なお、音声認識の手法はこれに限定されるものではなく、他の公知の手法を採用することができる。

次に、以上のように構成された本実施形態のＥＣＵ１４における発光装置３０の制御処理について説明する。図７は、本実施形態にかかる発光装置３０の制御処理の手順の一例を示すフローチャートである。このフローチャートの処理は、ＥＣＵ１４が起動している間、繰り返し実行されるものとする。

取得部１４１は、撮像装置１５から撮像画像６０を取得する（Ｓ１）。次に、視線検出部１４２は、取得部１４１が取得した撮像画像６０に含まれる乗員４２ａの顔画像から、乗員４２ａの視線Ｄ１の向きを検出する。視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合（Ｓ２“Ｙｅｓ”）、発光制御部１４４は、乗員４２ａがいる方向に、青色に発光する発光部３０１ａを表示するよう、発光装置３０を制御する（Ｓ３）。

また、音声認識モード切替部１４５は、視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“中”に変更する（Ｓ４）。

そして、発話検出部１４３は、取得部１４１が取得した撮像画像６０に含まれる乗員４２ａの顔画像から、乗員４２ａの口の動作を検出することによって、乗員４２ａが発話をしたか否かを判断する。発話検出部１４３が乗員４２ａの発話を検出した場合（Ｓ５“Ｙｅｓ”）、発光制御部１４４は、乗員４２ａがいる方向に、オレンジ色に発光する発光部３０１ａを表示するよう、発光装置３０を制御する（Ｓ６）。

また、音声認識モード切替部１４５は、発話検出部１４３が乗員４２ａの発話を検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“高”に変更する（Ｓ７）。

視線検出部１４２が撮像画像６０から乗員４２ａの視線が発光装置３０を向いていることを検出しなかった場合（Ｓ２“Ｎｏ”）、Ｓ３、Ｓ４の処理は実行されず、Ｓ５の処理に進む。また、発話検出部１４３が撮像画像６０から乗員４２ａの発話を検出しなかった場合（Ｓ５“Ｎｏ”）、Ｓ６、Ｓ７の処理は実行されず、このフローチャートの処理は終了する。

このように、本実施形態のＥＣＵ１４によれば、発光制御部１４４が、視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、発光装置３０の発光の態様を変化させるため、発光装置３０が乗員４２ａの視線Ｄ１に対して応答するように動作する。このため、本実施形態のＥＣＵ１４によれば、乗員４２ａのＥＣＵ１４への話しかけにくさを低減することができる。

また、本実施形態のＥＣＵ１４によれば、発光制御部１４４が、視線検出部１４２が、乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、乗員４２ａがいる方向に発光するよう、発光装置３０を制御するため、乗員４２ａに対して、視線Ｄ１を検出していることをより明確に示すことができる。

発光制御部１４４は、発話検出部１４３が乗員４２ａの発話を検出した場合に、乗員４２ａがいる方向に発光するよう、発光装置３０を制御する。よって、本実施形態のＥＣＵ１４によれば、乗員４２ａに対して、発話を検出していることを明確に示すことができる。

また、発光装置３０が乗員４２ａがいる方向に発光することにより、乗員４２ａに対して、発光装置３０が乗員４２ａを見ている、または認識しているように感じさせるように演出をすることができる。また、発光装置３０が乗員４２ａの視線Ｄ１等に反応して、乗員４２ａがいる方向に発光することにより、動物らしさのある反応を表現して、無機質さを和らげることができる。

（変形例１）
実施形態１では、発光装置３０には１つの発光部３０１ａが表示されるものとしたが、発光装置３０の発光の態様はこれに限定されるものではない。図８は、本変形例にかかる発光装置３０の発光の態様の一例を示す図である。図８に示すように、発光制御部１４４は、乗員４２ａが発光装置３０に視線Ｄ１を向けたことが検出された場合、または、乗員４２ａの発話が検出された場合に、乗員４２ａがいる方向に、青色に発光する２つの円形の発光部３０１ｄおよび発光部３０１ｅを表示するよう、発光装置３０を制御しても良い。本変形例の構成を採用した場合、発光部３０１ｄ，３０１ｅが発光装置３０の目のような形状となるため、乗員４２ａの視線Ｄ１または音声に対して応答していることを乗員４２ａにより強く感じさせやすくなる。

また、図８に示す発光の態様に限らず、発光制御部１４４は、発光部が発光装置３０の縁に沿って周回して移動するように制御しても良いし、発光装置３０全体が発光や点滅をするように制御しても良い。また、実施形態１では、乗員４２ａが発光装置３０に視線Ｄ１を向けたことが検出されず、かつ、乗員４２ａの発話も検出されていない状態においては発光装置３０は発光していないものとしたが、視線Ｄ１や発話が検出されていない場合も発光装置３０が発光していても良い。

（変形例２）
実施形態１では、発光制御部１４４は、乗員４２ａの視線Ｄ１および発話に基づいて発光装置３０の発光の態様を変更しているが、視線Ｄ１のみに基づいて発光の態様を変更しても良い。本変形例の構成を採用する場合は、図７に示したフローチャートのＳ１〜Ｓ４の処理が実行され、Ｓ５〜Ｓ７の処理は実行されないものとする。

（変形例３）
実施形態１では、乗員４２ａの発話が検出された場合、乗員４２ａの視線Ｄ１が発光装置３０に向けられているか否かに関わらず音声認識モードの設定値が“高”に設定されるものとしたが、乗員４２ａの視線Ｄ１が発光装置３０に向けられている場合に、音声認識モードの設定値がより高く設定されるものとしても良い。より詳細には、音声認識モード切替部１４５は、乗員４２ａの視線Ｄ１が発光装置３０に向けられておらず、かつ、乗員４２ａの発話が検出された場合よりも、乗員４２ａの視線Ｄ１が発光装置３０に向けられ、かつ、乗員４２ａの発話が検出された場合に、音声認識モードの設定値を高く設定しても良い。本変形例の構成を採用する場合、乗員４２ａが音声による命令の入力の意図をもって発話している場合に、音声認識の感度をより高くすることができる。

（変形例４）
実施形態１では、発話検出部１４３は、撮像画像６０から乗員４２ａの発話を検出していたが、音声によって乗員４２ａの発話を検出しても良い。例えば、発話検出部１４３は、音声入力部２４から入力された音声から音源の方向を推定し、乗員４２ａがいる方向からの音声であれば乗員４２ａが発話していると判断しても良い。

（変形例５）
実施形態１のＥＣＵ１４では、乗員４２ａの視線Ｄ１または発話に基づいて音声認識モードの設定値を変更していたが、乗員者４２ａの視線Ｄ１または発話に基づいて音声認識機能の“オン”、“オフ”を切り替える構成を採用しても良い。例えば、乗員４２ａが発光装置３０に視線Ｄ１を向けたことが検出されず、かつ、乗員４２ａの発話も検出されていない状態においては音声認識機能はオフ状態、つまり音声入力を受け付けない状態であっても良い。そして、乗員４２ａが発光装置３０に視線Ｄ１を向けたことが検出された場合、または、乗員４２ａの発話が検出された場合に、音声認識機能がオン状態、つまり音声入力を受け付ける状態になるものとしても良い。

（実施形態２）
実施形態１では、運転者である乗員４２ａの視線Ｄ１または発話に応じて発光装置３０の発光の態様が変化していた。本実施形態においては、ＥＣＵ１４は、運転者だけではなく、他の乗員の視線や発話によっても、発光装置３０の発光の態様を変化させる。

図９は、本実施形態にかかる車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。本実施形態の車両１においては、実施形態１の撮像装置１５の代わりに、撮像装置１０１５が設けられている。撮像装置１０１５は、広角カメラであり、車両１内の運転席、助手席、後部座席に着座している各乗員の顔が撮像範囲に含まれるように設定されている。

図１０は、本実施形態にかかる撮像画像１０６０の一例を示す図である。図１０に示すように、撮像画像１０６０には、座席４０ａ〜４０ｃに着座した乗員４２ａ〜４２ｄの顔画像が含まれる。座席４０ａ〜４０ｃを特に区別しない場合には単に座席４０という。以下、乗員４２ａ〜４２ｄを特に区別しない場合には単に乗員４２という。図１０に示す乗員４２の数は一例であり、これに限定されるものではない。

本実施形態においては、図９に示すように、撮像装置１０１５は、車両１のモニタ装置１１の上部に設けられる。図９に示す撮像装置１０１５の設置位置は一例であり、これに限定されるものではない。例えば、撮像装置１０１５は、ダッシュボード１２の上に設置されても良い。

また、本実施形態のＥＣＵ１４は、撮像装置１０１５から撮像画像を取得する。車両１の他の構成については、図１および図２で説明した実施形態１の構成と同様である。なお、車両１は、実施形態１の撮像装置１５と、撮像装置１０１５と、の両方を備える構成を採用しても良い。

また、本実施形態のＥＣＵ１４は、実施形態１と同様に、記憶部１４０と、取得部１４１と、視線検出部１４２と、発話検出部１４３と、発光制御部１４４と、音声認識モード切替部１４５と、音声認識部１４６と、を備える。

本実施形態の記憶部１４０と、取得部１４１と、音声認識モード切替部１４５と、音声認識部１４６とは、実施形態１と同様の機能を有する。

本実施形態の視線検出部１４２は、取得部１４１が取得した撮像画像１０６０に含まれる乗員４２の顔画像から、乗員４２の視線の向きを検出する。本実施形態においては、視線検出部１４２は、撮像画像１０６０に複数の乗員４２の顔画像が含まれる場合に、複数の乗員４２のそれぞれの視線の向きを検出する。視線検出部１４２は、検出した複数の乗員４２のそれぞれの視線が、発光装置３０を向いているか否かを判断する。

図１０に示す撮像画像１０６０の例では、視線検出部１４２は、乗員４２ａの視線Ｄ１と、乗員４２ｂの視線Ｄ２とが発光装置３０を向いていると判断する。以下、視線Ｄ１と視線Ｄ２とを特に区別しない場合は、視線Ｄという。

本実施形態の発話検出部１４３は、取得部１４１が取得した撮像画像１０６０に含まれる乗員４２の顔画像から、乗員４２の口の動作を検出することによって、乗員４２が発話をしたことを検出する。本実施形態においては、撮像画像１０６０に複数の乗員４２の顔画像が含まれる場合に、発話検出部１４３は、複数の乗員４２のそれぞれの発話を検出する。

本実施形態の発光制御部１４４は、実施形態１の機能に加えて、視線検出部１４２が１人の乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合と、視線検出部１４２が複数の乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合とでは、異なる態様で発光装置３０を発光させる。

より詳細には、発光制御部１４４は、視線検出部１４２が１人の乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合、当該乗員４２がいる方向に発光するよう、発光装置３０を制御する。また、発光制御部１４４は、２人の乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合、当該２人の乗員４２がいるそれぞれの方向に発光するよう、発光装置３０を制御する。また、発光制御部１４４は、視線検出部１４２が３人以上の視線Ｄが発光装置３０を向いていることを検出した場合、円環状の発光部を表示するよう、発光装置３０を制御する。

また、本実施形態の発光制御部１４４は、発話検出部１４３が１人の乗員４２の発話を検出した場合と、発話検出部１４３が複数の乗員４２の発話を検出した場合とでは、異なる態様で発光装置３０を発光させる。より詳細には、発光制御部１４４は、発話検出部１４３が１人の乗員４２の発話を検出した場合、当該乗員４２がいる方向に発光するよう、発光装置３０を制御する。また、発光制御部１４４は、発話検出部１４３が２人の乗員４２の発話を検出した場合、当該２人の乗員４２がいるそれぞれの方向に発光するよう、発光装置３０を制御する。また、発光制御部１４４は、発話検出部１４３が３人以上の乗員４２の発話を検出した場合、円環状の発光部を表示するよう、発光装置３０を制御する。

図１１は、本実施形態にかかる発光装置３０の発光の態様の一例を示す図である。本実施形態の発光制御部１４４は、実施形態１と同様に、視線検出部１４２が乗員４２ａの視線Ｄ１が発光装置３０を向いていることを検出した場合に、乗員４２ａがいる方向に、青色に発光する円形の発光部３０１ａを表示するよう、発光装置３０を制御する。本実施形態の発光制御部１４４は、さらに、視線検出部１４２が乗員４２ｂの視線Ｄ２が発光装置３０を向いていることを検出した場合に、乗員４２ｂがいる方向に、青色に発光する円形の発光部３０１ｂを表示するよう、発光装置３０を制御する。

また、図１２は、本実施形態にかかる発光装置３０の発光の態様の他の一例を示す図である。図１２に示す例では、視線検出部１４２が乗員４２ａ〜４２ｄの視線Ｄ１〜Ｄ４が発光装置３０を向いていることを検出しているものとする。このような場合、本実施形態の発光制御部１４４は、発光装置３０の縁に沿って青色に発光する円環状の発光部３０１ｃを表示するよう、発光装置３０を制御する。また、発話検出部１４３が乗員４２の発話を検出した場合、発光制御部１４４は、検出された発話者の人数に応じて、オレンジ色の発光部３０１ａ〜３０１ｃを表示するよう、発光装置３０を制御する。

発光制御部１４４が、各乗員４２の視線Ｄと発話とに基づいて、発光装置３０の発光の態様を変化させることにより、発光装置３０は、各乗員４２の視線Ｄと発話とに対して、それぞれ応答するように動作する。なお、図１１および図１２に示す発光部３０１ａ〜３０１ｃの形状、および色は一例であり、これに限定されるものではない。以下、発光部３０１ａ〜３０１ｃを特に区別しない場合には、発光部３０１という。

次に、以上のように構成された本実施形態のＥＣＵ１４における発光装置３０の制御処理について説明する。図１３は、本実施形態にかかる発光装置３０の制御処理の手順の一例を示すフローチャートである。

取得部１４１は、撮像装置１０１５から撮像画像１０６０を取得する（Ｓ２１）。

次に、視線検出部１４２は、取得部１４１が取得した撮像画像１０６０に含まれる乗員４２の顔画像から、それぞれの乗員４２の視線Ｄの向きを検出する。視線検出部１４２が何れかの乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合（Ｓ２２“Ｙｅｓ”）、かつ、発光装置３０を向いている視線の数が１人分である場合（Ｓ２３“Ｙｅｓ”）、発光制御部１４４は、視線Ｄを発光装置３０に向けている乗員４２がいる方向に、青色に発光する発光部３０１を１つ表示するよう、発光装置３０を制御する（Ｓ２４）。

また、視線検出部１４２が検出した発光装置３０を向いている視線の数が２人分である場合（Ｓ２３“Ｎｏ”、Ｓ２５“Ｙｅｓ”）、発光制御部１４４は、視線Ｄを発光装置３０に向けている２人の乗員４２がいる２つの方向に、青色に発光する発光部３０１をそれぞれ１つずつ表示するよう、発光装置３０を制御する（Ｓ２６）。

また、視線検出部１４２が検出した発光装置３０を向いている視線の数が３人分以上である場合（Ｓ２５“Ｎｏ”）、発光制御部１４４は、青色の円環状の発光部３０１ｃを表示するよう、発光装置３０を制御する（Ｓ２７）。

また、音声認識モード切替部１４５は、視線検出部１４２が何れかの乗員４２の視線Ｄが発光装置３０を向いていることを検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“中”に変更する（Ｓ２８）。

また、視線検出部１４２が何れの乗員４２の視線Ｄが発光装置３０を向いていることも検出しなかった場合（Ｓ２２“Ｎｏ”）、Ｓ２３〜Ｓ２８の処理は実行されず、Ｓ２９の処理に進む。

次に、発話検出部１４３は、取得部１４１が取得した撮像画像１０６０に含まれる乗員４２の顔画像から、乗員４２の口の動作を検出することによって、乗員４２が発話をしたか否かを判断する。発話検出部１４３が何れかの乗員４２の発話を検出した場合（Ｓ２９“Ｙｅｓ”）、かつ、発話が検出された乗員４２が１人である場合（Ｓ３０“Ｙｅｓ”）、発光制御部１４４は、発話が検出された乗員４２がいる方向に、オレンジ色に発光する発光部３０１を表示するよう、発光装置３０を制御する（Ｓ３１）。

また、発話が検出された乗員４２が２人である場合（Ｓ３０“Ｎｏ”、Ｓ３２“Ｙｅｓ”）、発光制御部１４４は、発話が検出された２人の乗員４２がいる２つの方向に、オレンジ色に発光する発光部３０１をそれぞれ表示するよう、発光装置３０を制御する（Ｓ３３）。

また、発話が検出された乗員４２が３人以上である場合（Ｓ３２“Ｎｏ”）、発光制御部１４４は、オレンジ色の円環状の発光部３０１ｃを表示するよう、発光装置３０を制御する（Ｓ３４）。

また、音声認識モード切替部１４５は、発話検出部１４３が何れかの乗員４２の発話を検出した場合に、記憶部１４０に記憶された音声認識モードの設定値を“高”に変更する（Ｓ３５）。

また、発話検出部１４３が何れの乗員４２の発話も検出しなかった場合（Ｓ２９“Ｎｏ”）、Ｓ３０〜Ｓ３５の処理は実行されず、このフローチャートの処理は終了する。

このように、本実施形態のＥＣＵ１４によれば、発光制御部１４４は、発光装置３０を向いている乗員４２の視線Ｄの数によって異なる態様で発光装置３０を発光させるため、発光装置３０が、複数の乗員４２の視線Ｄに対してそれぞれ応答するように動作する。このため、本実施形態のＥＣＵ１４によれば、各乗員４２が感じる話しかけにくさを低減することができる。

（変形例６）
実施形態２のＥＣＵ１４では、ダッシュボード１２中央のモニタ装置１１に設置された撮像装置１０１５によって、車両１の乗員４２が撮像されたが、撮像装置１０１５の設置位置はこれに限定されるものではない。例えば、各座席４０ａ〜４０ｃに着座した乗員４２ａ〜４２ｄに面する位置に、それぞれ撮像装置が１台ずつ設置されても良い。

（変形例７）
また、実施形態２においては、発光装置３０に視線Ｄを向けている乗員４２が３人以上の場合、または発話している乗員４２が３人以上の場合は発光装置３０は円環状の発光部３０１ｃを表示するものとしたが、発光の態様はこれに限定されるものではない。例えば、乗員４２の人数に関わらず、各乗員４２のいる方向に円形の発光部３０１がそれぞれ表示されても良い。

（実施形態３）
本実施形態においては、ＥＣＵ１４は、車両１が自動運転制御中であるか、手動運転中であるかに応じて、発光装置３０の発光の態様を変化させる。

図１４は、本実施形態にかかるＥＣＵ１４が有する機能の一例を示すブロック図である。図１４に示すように、ＥＣＵ１４は、記憶部１１４０と、取得部１４１と、視線検出部１４２と、発話検出部１４３と、発光制御部１１４４と、音声認識モード切替部１４５と、音声認識部１４６と、運転制御部１４７と、を備える。

本実施形態の取得部１４１と、視線検出部１４２と、発話検出部１４３と、音声認識モード切替部１４５と、音声認識部１４６とは、実施形態１と同様の機能を有する。

本実施形態の記憶部１１４０は、音声認識モードの設定値と、自動運転フラグとを記憶する。音声認識モードの設定値は、実施形態１と同様である。

自動運転フラグは、車両１が自動運転制御中であるか、手動運転中であるかを示すフラグである。例えば、車両１が自動運転制御中である場合には自動運転フラグは“１”、車両１が手動運転中である場合には自動運転フラグは“０”となる。本実施形態において、自動運転制御は、後述の運転制御部１４７によって車両１の操舵、加速、制動が制御されることをいう。なお、車両１が自動運転制御中であるか否かを判断する手法は、自動運転フラグに限定されるものではない。

運転制御部１４７は、車両１の自動運転制御を実行する。より詳細には、運転制御部１４７は、操舵システム１３、ブレーキシステム１８、加速操作部５等を制御することにより、車両１を運転する。運転制御部１４７は、例えば、乗員４２ａが操作入力部８ｃから自動運転制御の開始の操作を行った場合に自動運転制御を開始し、自動運転制御の終了の操作を行った場合に自動運転制御を終了する。また、運転制御部１４７は、自動運転制御中に、音声によって行先の指示や、停止の指示等が入力された場合、当該指示に従って車両１を制御する。

また、運転制御部１４７は、自動運転制御を開始する場合に、記憶部１１４０の自動運転フラグを“１”と設定する。また、運転制御部１４７は、自動運転制御を終了する場合に、記憶部１１４０の自動運転フラグを“０”に設定する。自動運転制御の形式、および、自動運転制御の開始または終了の条件は、これらに限定されるものではない。

また、運転制御部１４７は、他の機能と同様に、ＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、運転制御部１４７は、ハードウェア回路で実現するように構成されても良い。

本実施形態の発光制御部１１４４は、車両１が自動運転制御されている場合と、車両１が手動運転されている場合とでは、異なる態様で発光装置３０を発光させる。より詳細には、発光制御部１１４４は、記憶部１１４０に記憶された自動運転フラグが“１”の場合と、“０”の場合とでは、発光装置３０を異なる色で発光させる。例えば、発光制御部１１４４は、記憶部１１４０に記憶された自動運転フラグが“１”の場合に、発光装置３０の全体を黄色に発光させる。また、発光制御部１１４４は、記憶部１１４０に記憶された自動運転フラグが“０”の場合に、発光装置３０の全体を緑色に発光させる。発光制御部１１４４が発光装置３０の発光の態様を変化させることで、乗員４２は、車両１が自動運転制御中であるか否かを容易に確認することができる。

本実施形態における車両１が自動運転制御中であるか否かの判断の手法は一例であり、発光制御部１１４４は、他の手法によって車両１の制御状態を判断しても良い。また、本実施形態における発光装置３０の発光の態様は一例であり、これに限定されるものではない。

次に、以上のように構成された本実施形態のＥＣＵ１４における発光装置３０の制御処理について説明する。図１５は、本実施形態にかかる発光装置３０の制御処理の手順の一例を示すフローチャートである。

本実施形態の発光制御部１１４４は、記憶部１１４０に記憶された自動運転フラグを参照し、車両１が自動運転制御中であるか否かを判断する（Ｓ４１）。

自動運転フラグが“１”の場合、つまり、車両１が自動運転制御中である場合（Ｓ４１“Ｙｅｓ”）、発光制御部１１４４は、発光装置３０を黄色に発光させる（Ｓ４２）。

また、自動運転フラグが“０”の場合、つまり、車両１が自動運転制御中ではない場合（Ｓ４１“Ｎｏ”）、発光制御部１１４４は、発光装置３０を緑色に発光させる（Ｓ４３）。

その後の、Ｓ１の撮像画像６０の取得の処理からＳ７の音声認識モードを“高”に設定する処理までは、実施形態１と同様である。

このように、本実施形態のＥＣＵ１４では、車両１が自動運転制御されている場合と、車両１が手動運転されている場合とでは、異なる態様で発光装置３０を発光させるため、車両１が自動運転制御中であるか否かを乗員４２が容易に確認することができる。

このため、本実施形態のＥＣＵ１４によれば、車両１が手動運転中である場合に、自動運転制御向けの音声命令を乗員４２が誤入力することを低減することができる。また、本実施形態のＥＣＵ１４によれば、車両１が自動運転制御中である場合に、手動運転向けの音声命令を乗員４２が誤入力することを低減することができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、１０…運転支援システム、１４…ＥＣＵ、１５…撮像装置、２４…音声入力部、３０…発光装置、４０，４０ａ〜４０ｃ…座席、４２，４２ａ〜４２ｄ…乗員、６０，１０６０…撮像画像、１４０，１１４０…記憶部、１４１…取得部、１４２…視線検出部、１４３…発話検出部、１４４，１１４４…発光制御部、１４５…音声認識モード切替部、１４６…音声認識部、１４７…運転制御部、３０１，３０１ａ〜３０１ｅ…発光部、Ｄ，Ｄ１〜Ｄ４…視線。

Claims (5)

1. 車内を撮像する撮像装置の撮像画像に含まれる乗員の顔画像から、前記乗員の視線の向きを検出する視線検出部と、
   前記視線検出部が前記乗員の視線が前記車内に設置された発光装置を向いていることを検出した場合に、前記発光装置の発光の態様を変化させる発光制御部と、
   を備えた運転支援装置。
2. 前記発光制御部は、前記視線検出部が前記乗員の視線が前記発光装置を向いていることを検出した場合に、前記乗員がいる方向に発光するよう、前記発光装置を制御する、
   請求項１に記載の運転支援装置。
3. 前記乗員の発話を検出する発話検出部、をさらに備え、
   前記発光制御部は、前記発話検出部が前記乗員の発話を検出した場合に、発話をした前記乗員がいる方向に発光するよう、前記発光装置を制御する、
   請求項１または２に記載の運転支援装置。
4. 前記発光制御部は、前記視線検出部が１人の前記乗員の視線が前記発光装置を向いていることを検出した場合と、前記視線検出部が複数の前記乗員の視線が前記発光装置を向いていることを検出した場合とでは、異なる態様で前記発光装置を発光させる、
   請求項１から３のいずれか１項に記載の運転支援装置。
5. 前記発光制御部は、前記発光装置が設置された車両が自動運転制御されている場合と、前記車両が手動運転されている場合とでは、異なる態様で前記発光装置を発光させる、
   請求項１から４のいずれか１項に記載の運転支援装置。

Images