JP7091807B2 - 情報提供システムおよび情報提供方法 - Google Patents

Description

本発明は、車両の乗員に情報を提供する情報提供システムおよび情報提供方法に関する。

特許文献１には、ユーザの発話を把握して応答を行う応答生成サーバが開示されている。この応答生成サーバは、ユーザが発話した発話情報と過去３回分の発話の履歴情報とをユーザ端末から取得し、発話情報に対する応答を生成するための情報をＡＰＩサーバに要求し、ＡＰＩサーバから受信した情報を用いて応答情報を生成する。

特開２０１３－２０５５２３号公報

車両の乗員に対して情報を提供する場合に、現在の乗車状況に全く関係ない情報が提供されるより、現在の乗車状況に応じた情報が提供されることが好ましい。

本発明の目的は、乗車状況に応じた情報を乗員に提供する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報提供システムは、車載された車両用センサの検出結果を取得する検出情報取得部と、車両用センサの検出結果をもとに生成された乗員情報を保持する乗員情報データベースと、車両用センサの検出結果から取得された乗員に関する情報が乗員情報データベースに保持される乗員情報に適合した場合に、乗員情報に応じた提供情報を乗員に対して出力させる出力制御部と、を備える。乗員情報データベースは、過去の乗車時に取得したイベント情報を乗員毎に乗員情報に関連付けて保持する。出力制御部は、車両用センサの検出結果から取得された現在の乗員と、過去の乗車時の乗員とが一致する場合に、過去の乗車時のイベント情報を出力させる

この態様によると、乗員情報データベースに保持される乗員情報に応じた提供情報が出力されるため、乗員に効果的な情報を提供できる。また、車両用センサの検出結果から取得された乗員に関する情報が乗員情報データベースに保持される乗員情報に適合した場合に提供情報を出力できる。

検出情報取得部は、車両用センサに含まれるマイクから乗員の発話を取得し、乗員情報データベースは、乗員の発話をもとに生成された乗員情報を保持してもよい。これにより、乗員情報を収集しやすくなる。

乗員情報データベースは、乗員の発話ワードを肯定的か否定的か分類して保持してもよい。これにより、乗員の嗜好を示す情報を保持できる。

乗員情報データベースは、乗員毎に乗員情報を保持してもよい。これにより、車両に乗車した乗員に応じた提供情報を出力できる。

乗員情報データベースは、乗員情報として乗員毎の乗車情報を保持し、出力制御部は、現在の乗員と過去の乗員とが一致する場合に、一致した過去の乗車時に取得した情報を提供情報として出力させてもよい。

乗員情報データベースは、過去の乗車時のイベント情報を乗員に関連付けて保持し、出力制御部は、車両用センサの検出から取得される現在の状況と過去のイベント情報との一致度合いが所定値以上である場合に、過去の乗車時のイベント情報を出力させてもよい。

本発明の別の態様は、情報提供方法である。この方法は、車載された車両用センサの検出結果を取得するステップと、車両用センサの検出結果をもとに生成された乗員情報を乗員情報データベースが保持するステップと、車両用センサの検出結果から取得された乗員に関する情報が乗員情報データベースに保持される乗員情報に適合した場合に、乗員情報に応じた提供情報を乗員に対して出力させるステップと、を含む。乗員情報データベースは、過去の乗車時に取得したイベント情報を乗員毎に乗員情報に関連付けて保持する。出力させるステップでは、車両用センサの検出結果から取得された現在の乗員と、過去の乗車時の乗員とが一致する場合に、過去の乗車時のイベント情報を出力させる

この態様によると、保持される乗員情報に応じた提供情報が出力されるため、乗員に効果的な情報を提供できる。また、車両用センサの検出結果から取得された乗員に関する情報が、保持される乗員情報に適合した場合に提供情報を出力できる。

本発明によれば、乗車状況に応じた情報を乗員に提供する技術を提供できる。

実施例の情報提供システムについて説明するための図である。 情報提供システムの機能構成について説明するための図である。 乗員情報データベースに保持される情報について説明するための図である。 出力制御部により出力される提供情報について説明するための図である。 乗員情報を生成する処理について説明するためのフローチャートである。 乗員に提供情報を出力する処理について説明するためのフローチャートである。

図１は、実施例の情報提供システムについて説明するための図である。この情報提供システムは、車両１８に搭載された車載装置１２と、車載装置１２とネットワークを介して情報を送受信可能なサーバ装置１０とにより構成される。

運転者が車両１８を運転しているときに、車載装置１２は、車両１８の位置情報およびセンサ検出情報を周期的にサーバ装置１０に送信する。図１では、車両１８の周辺に対象物２０が位置している。車両１８の乗員は、過去の運転時に対象物２０を見て「対象物２０が新しく開いている」と発話したことがあり、その発話情報を車載装置１２が取得している。発話情報には、発話時刻、発話時の位置情報、発話時に乗車している各乗員の情報が含まれる。また、車載装置１２は、運転者の独り言など乗員による意図しない発話を取得してもよい。車載装置１２は、発話情報と、車両の走行状況を示す走行情報をサーバ装置１０に送信する。

サーバ装置１０は、乗員の発話情報および走行情報をもとに乗員情報データベースを生成する。乗員の発話情報から、乗員が嗜好するワードを取得でき、走行情報から乗員の行動履歴を取得できる。また、サーバ装置１０は、車両１８の検出情報および位置情報を受け取り、その車両１８の状況に応じて乗員情報データベースに保持される乗員情報を用いた提供情報を出力することを決定する。例えば、サーバ装置１０は、車両１８が対象物２０の近くを走行しているときに、乗員が対象物２０について会話していた情報をもとに提供情報を生成して車載装置１２に送信する。車載装置１２は、提供情報をサーバ装置１０から受け取ると、ディスプレイや音声で提供情報を運転者に出力する。

このように、サーバ装置１０が生成した乗員情報データベースをもとに、乗員に提供情報を出力することで、乗員が関心を持つ情報を提供できる。

図２は、情報提供システム１の機能構成について説明するための図である。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

サーバ装置１０は、受取部２２、乗員情報生成部２４、乗員情報データベース２６および出力決定部２８を有する。車載装置１２は、検出情報取得部３０、位置情報取得部３２、提供情報取得部３４および出力制御部３６を有する。

車両用センサ１４は、マイク４０、車内カメラ４２および車外カメラ４４を有する。マイク４０は、車内音を検出するように設けられ、乗員の発話を含む音を電気信号に変換して、その信号を検出情報取得部３０に送る。

車内カメラ４２は、車内を撮像し、車内撮像画像を検出情報取得部３０に送る。車内撮像画像により、車内の乗員を特定することが可能である。車外カメラ４４は、車両周辺を撮像し、車外撮像画像を検出情報取得部３０に送る。車外撮像画像によって乗員が出向いた地点の情報を取得できる。マイク４０、車内カメラ４２および車外カメラ４４の検出結果には、いずれも日時がわかるようにタイムスタンプが付される。

出力部１６は、スピーカやディスプレイであって、出力制御部３６の制御により乗員に音声や画像で情報を出力する。

車載装置１２の検出情報取得部３０は、車載された車両用センサ１４の検出結果として車内音情報、車内撮像画像および車外撮像画像を取得し、サーバ装置１０の受取部２２に周期的に送る。位置情報取得部３２は、車両の位置情報を取得し、サーバ装置１０の受取部２２に周期的に送る。検出情報取得部３０は、ＧＰＳ（Global Positioning System）を用いて車両位置情報を取得し、例えばナビゲーション装置から車両位置情報を取得する。

提供情報取得部３４は、サーバ装置１０から提供情報を取得する。出力制御部３６は、出力部１６を制御して、提供情報取得部３４により取得された提供情報を音声または画像で乗員に提供する。また、出力制御部３６は、乗員の発話を認識してその発話に対する応答を出力させてもよい。例えば、出力制御部３６は、エージェントキャラクタを表示させて、エージェントキャラクタが乗員と対話するように制御してよい。出力制御部３６は、乗員のトリガ語句の発話を契機としてエージェントキャラクタと乗員のセッションを実行する。

サーバ装置１０の受取部２２は、受け取った車内音情報、車内撮像画像および車外撮像画像を乗員情報生成部２４および出力決定部２８に送る。

乗員情報生成部２４は車内音情報、車内撮像画像および車外撮像画像にもとづいて乗員情報を生成する。乗員情報データベース２６は、車両用センサ１４の検出結果をもとに生成された乗員情報を保持する。ここで、乗員情報について図３を参照しつつ説明する。

図３は、乗員情報データベース２６に保持される情報について説明するための図である。図３（ａ）に示すように、乗員情報データベース２６は、乗員ＩＤに関連付けて、乗員の識別情報、乗車情報、発話情報およびイベント情報を保持する。

乗員情報データベース２６は、乗員の識別情報を用いて乗員を特定し、乗員情報データベース２６は、乗員毎に乗員情報を保持する。乗員の識別情報は、車内撮像画像を解析して顔認識処理をするための特徴量や、声紋判定処理をするための特徴量である。乗員の識別情報は、定期的に更新されてよい。乗員情報生成部２４は、顔認識処理または声紋判定処理などを用いて乗員を特定する。乗員情報生成部２４は、乗員が特定できない場合、新たな乗員として乗員ＩＤおよび識別情報を生成し、乗員情報データベース２６に保持させる。

乗車情報は、乗員が乗車した日時および降車地点を含む。また、乗車情報には、同乗した乗員ＩＤが含まれてよく、走行経路情報が含まれてよい。乗車情報は、車両の位置情報をもとに生成される。乗車情報によって乗員の乗車履歴が保持され、過去の乗車時の情報を参照できる。

発話情報は、乗員により発話された発話ワードおよびその発話時刻を含む。乗員情報生成部２４は、マイク４０で検出した音情報から乗員毎の発話を抽出し、抽出した発話ワードを乗員情報データベース２６に保持させる。検出される発話には、乗員が意図していない発話、つまり乗員の独り言が含まれる。乗員が意図していない発話は、乗員の独り言である。乗員による意図しない発話は、乗員が車載装置１２に対してトリガ語句の発話なく、セッション要求をしていない場合に取得される。

乗員情報生成部２４は、抽出した発話ワードを肯定的であるか、否定的であるか分類して乗員情報データベース２６に保持させる。発話ワードが肯定的であるか否定的であるかの分類を発話ワードの前後の言葉によって判定する。例えば、乗員の発話として「カレー食べたい」、「カレーが好き」などと検出された場合、乗員情報生成部２４は、「カレー」に「食べたい」や「好き」という肯定的な言葉が掛かっているため、乗員が「カレー」について肯定的に発話したと判定して、「カレー」を乗員が肯定的な感情を持つ発話ワードとして乗員情報データベース２６に保持させる。

イベント情報は、乗員の乗車時に発生したイベントを示すもので、イベントの発生日時およびイベントＩＤを含む。過去のイベント情報、つまりダイアリーを乗員に示すことで、乗員を楽しませることができる。イベント情報は、乗員から肯定的な発話ワードを検出した場合に乗員が好んだ状況として記録されてよく、自宅から所定距離以上に離れた場合に日常と異なる状況として記録されてよく、特別な状況であると検出された場合に記録される。

図３（ｂ）は、図３（ａ）に示す乗員情報に含まれるイベント情報を示す。乗員情報データベース２６が乗員のイベント情報を保持することで、将来的にダイアリーとして読み出して乗員に提供することができる。乗員情報データベース２６は、イベントＩＤに関連付けて、乗員情報、画像情報、発話情報および位置情報を保持する。乗員情報は、イベント発生時に乗車していた乗員ＩＤを含む。

画像情報は、イベント発生時に撮像された車外撮像画像および／または車内撮像画像を含む。画像情報により、乗員に過去のイベント発生時の状況を見せることができる。

発話情報は、イベント発生時に検出された乗員の発話ワードを含む。発話ワードにより、現在の乗員の発話と、過去のイベントとを関連付けることができ、現在の状況と似ている過去のイベントを抽出することができる。位置情報は、イベント発生時の位置を示す。このように、乗員情報データベース２６は、乗員毎に嗜好や行動履歴を示す情報を保持する。

図２に戻る。出力決定部２８は、車両用センサの検出結果が所定の出力条件を満たした場合に、乗員情報に応じた提供情報を出力することを決定し、提供情報を生成して提供情報取得部３４に送る。所定の出力条件は、車両用センサ１４の検出結果から取得された乗員に関する情報が乗員情報データベース２６に保持される乗員情報に適合する場合に満たされる。車両用センサ１４の検出結果から取得された乗員に関する情報は、特定された乗員情報、乗員の位置情報、現在の時間情報および発話を含む。

出力決定部２８は、現在の車両状況と過去の車両状況の一致度合いが所定値以上である場合に、一致する過去の乗車時のイベント情報を提供情報として出力することを決定する。出力決定部２８は、車両用センサ１４の検出された現在の乗員に関する情報と、乗員情報データベース２６に保持される過去の乗員情報との一致度合いにより、提供情報の出力を決定する。車両用センサ１４の検出結果から取得した乗員情報、車両の位置情報、時間情報および発話のいずれかが、過去のイベント情報に示す乗員情報、位置情報、時間情報および発話に適合する場合に出力決定部２８は、適合する過去のイベント情報を提供情報として出力することを決定する。

現在の乗員と過去の乗員とが一致する場合に、出力決定部２８は、一致した過去の乗車時に取得したイベント情報を提供情報として出力することを決定してよい。つまり、現在の乗員とイベント情報に示す乗員とが一致する場合に、出力決定部２８は、そのイベント情報を出力することを決定する。乗員情報データベース２６が乗員毎に乗員情報を保持しているため、イベント情報の出力条件に乗員が一致することを含めることができる。これにより、同じ乗員で過去に行ったドライブなどの情報を提供して、乗員を楽しませることができる。

現在の乗員と過去の乗員とが一致し、かつ、乗員が一致するイベント情報に示す日時と現在の日時が合う場合に、出力決定部２８は、一致したイベント情報を提供情報として出力することを決定してよい。例えば、同じ乗員で去年の同じ日に取得したイベント情報を提供することで、乗員を楽しませることができる。

検出結果から取得した乗員情報、車両の位置情報、時間情報および発話と、イベント情報に示す乗員情報、位置情報、時間情報および発話とが複数一致する場合に、出力決定部２８は、一致したイベント情報を提供情報として出力することを決定してよい。

また、乗員からの要求を受け付けると所定の出力条件が満たされ、出力決定部２８は、その要求に対する応答を提供情報として乗員情報データベース２６の乗員情報をもとに生成する。乗員からの要求は、例えば情報検索であり、出力決定部２８は、検索結果を生成する場合に、乗員情報データベース２６に保持される発話情報を参照し、肯定的な発話ワードに関連するワードの優先順位が高くなるように検索結果を生成する。例えば、乗員が飲食店を検索した場合、肯定的な発話ワードとして「カレー」が乗員情報データベース２６に保持されていると、出力決定部２８は、カレーを出す飲食店を検索結果の上位に配置したり、近くにあるカレーの飲食店を薦める検索結果を生成する。これにより、乗員の嗜好に応じた効果的な情報を提供できる。

肯定的な発話ワードは、発話回数および発話時刻を含む発話履歴にもとづいて出力の優先順位が設定される。発話ワードの発話回数が多く、発話時刻が新しいほど、出力されやすくなる。

図４は、出力制御部３６により出力される提供情報について説明するための図である。図４では、出力部１６であるディスプレイに表示される画像を示す。図４（ａ）には、現在の複数の乗員、時間情報および発話が、イベント情報に示す乗員情報、時間情報、発話情報に合ったため、そのイベント情報がテキストで出力されている。

図４（ｂ）には、現在の複数の乗員および車両の位置情報が、イベント情報に示す乗員情報および位置情報に適合したため、そのイベント情報がテキストと画像で出力されている。このように、全く現在の状況と関連しないイベント情報を乗員に提供する場合と比べて、所定の出力条件を満たした場合に過去のイベント情報を出力することで、乗員がイベント情報の出力に違和感を持つことを抑えることができる。

図５は、乗員情報を生成する処理について説明するためのフローチャートである。乗員情報を生成する処理は、例えば１日毎に実行されてよい。車載装置１２の検出情報取得部３０は、車両用センサ１４の検出結果として、車内音情報、車内撮像画像および車外撮像画像を取得する（Ｓ１０）。サーバ装置１０の乗員情報生成部２４は、車載装置１２から受け取った車両用センサ１４の検出結果を解析する（Ｓ１２）。

乗員情報データベース２６は、図３（ａ）に示すように、解析結果に含まれる乗員の識別情報、乗車情報および発話情報を記憶する（Ｓ１４）。乗員情報生成部２４は、所定のイベント発生条件を満たすか判定し（Ｓ１６）、イベント発生条件を満たさなければ（Ｓ１６のＮ）、本処理を終える。

乗員情報生成部２４は、乗員情報生成部２４が通常と異なる乗車状況を検出した場合、運転者の肯定的な発話を検出した場合に、イベント発生条件を満たしたと判定し（Ｓ１６のＹ）、イベント情報を生成して乗員情報データベース２６に記憶し（Ｓ１８）、本処理を終える。このように乗員情報が蓄積される。

図６は、乗員に提供情報を出力する処理について説明するためのフローチャートである。乗員に提供情報を出力する処理は、リアルタイムで実行されるように乗員情報を生成する処理より短い所定周期で実行されてよい。

車載装置１２の検出情報取得部３０は、現在の車両用センサ１４の検出結果として、車内音情報、車内撮像画像および車外撮像画像を取得する（Ｓ２０）。サーバ装置１０の出力決定部２８は、車載装置１２から受け取った車両用センサ１４の検出結果を解析し（Ｓ２２）、所定の出力条件を満たすか判定する（Ｓ２４）。出力決定部２８は、イベント情報に含まれる乗員情報、画像情報、発話情報および位置情報と、現在の車両用センサ１４の検出結果とにもとづいて所定の出力条件を満たすか判定し、過去のイベント情報に示される車両状況と、現在の車両状況との一致度合いが高ければ出力条件を満たすと判定する。出力決定部２８が所定の出力条件を満たさないと判定すれば（Ｓ２４のＮ）、本処理を終える。

出力決定部２８が所定の出力条件を満たすと判定した場合（Ｓ２４のＹ）、出力条件に一致した過去のイベント情報を出力することを決定し、過去のイベント情報を車載装置１２に送信する。車載装置１２の出力制御部３６は、取得した過去のイベント情報を提供情報として出力させる（Ｓ２６）。所定の出力条件を満たした場合に過去のイベント情報を出力することで、無関係のイベント情報を出力する場合と比べて、乗員がイベント情報の出力に違和感を持つことを抑え、乗員を楽しませることができる。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、情報提供システム１がサーバ装置１０および車載装置１２により構成され、サーバ装置１０の出力決定部２８が車載装置１２に設けられてよく、乗員情報生成部２４および乗員情報データベース２６が車載装置１２に設けられてもよい

１ 情報提供システム、 １０ サーバ装置、 １２ 車載装置、 １４ 車両用センサ、 １６ 出力部、 １８ 車両、 ２０ 対象物、 ２２ 受取部、 ２４ 乗員情報生成部、 ２６ 乗員情報データベース、 ２８ 出力決定部、 ３０ 検出情報取得部、 ３２ 位置情報取得部、 ３４ 提供情報取得部、 ３６ 出力制御部、 ４０ マイク、 ４２ 車内カメラ、 ４４ 車外カメラ。

Claims (9)

1. 車両用センサの検出結果を取得する検出情報取得部と、
   過去の車両用センサの検出結果をもとに生成された乗員情報を保持する乗員情報データベースと、
   車両用センサの検出結果から取得された乗員に関する情報が前記乗員情報データベースに保持される乗員情報に適合した場合に、乗員情報に応じた提供情報を乗員に対して出力させる出力制御部と、を備え、
   前記乗員情報データベースは、過去の乗車時に取得したイベント情報を乗員毎に乗員情報に関連付けて保持し、
   前記出力制御部は、車両用センサの検出結果から取得された現在の乗員と、過去の乗車時の乗員とが一致する場合に、過去の乗車時のイベント情報を出力させることを特徴とする情報提供システム。
2. 前記検出情報取得部は、車両用センサに含まれるマイクから乗員の発話を取得し、
   前記乗員情報データベースは、乗員の発話をもとに生成された乗員情報を保持することを特徴とする請求項１に記載の情報提供システム。
3. 前記乗員情報データベースは、乗員の発話ワードを肯定的か否定的か分類して保持することを特徴とする請求項２に記載の情報提供システム。
4. 前記乗員情報データベースは、乗員毎に乗員情報を保持することを特徴とする請求項１から３のいずれかに記載の情報提供システム。
5. 前記乗員情報データベースは、乗員情報として乗員毎の乗車情報を保持し、
   前記出力制御部は、現在の乗員と過去の乗員とが一致する場合に、一致した過去の乗車時に取得した情報を提供情報として出力させることを特徴とする請求項４に記載の情報提供システム。
6. 前記出力制御部は、車両用センサの検出結果から取得される現在の状況と過去のイベント情報との一致度合いが所定値以上である場合に、過去の乗車時のイベント情報を出力させることを特徴とする請求項１から５のいずれかに記載の情報提供システム。
7. 前記出力制御部は、車両用センサの検出結果から取得した発話が、過去のイベント情報に示す発話に適合する場合には、適合する過去のイベント情報を出力させることを特徴とする請求項１から６のいずれかに記載の情報提供システム。
8. 前記出力制御部は、車両用センサの検出結果から取得された現在の乗員と、過去の乗車時の乗員とが一致し、かつ、乗員が一致するイベント情報に示す日時と現在の日時が合う場合に、一致したイベント情報を出力させることを特徴とする請求項１から７のいずれかに記載の情報提供システム。
9. 車載された車両用センサの検出結果を取得するステップと、
   車両用センサの検出結果をもとに生成された乗員情報を乗員情報データベースが保持するステップと、
   車両用センサの検出結果から取得された乗員に関する情報が、保持される乗員情報に適合した場合に、乗員情報に応じた提供情報を乗員に対して出力させるステップと、を含み、
   前記乗員情報データベースは、過去の乗車時に取得したイベント情報を乗員毎に乗員情報に関連付けて保持し、
   前記出力させるステップでは、車両用センサの検出結果から取得された現在の乗員と、過去の乗車時の乗員とが一致する場合に、過去の乗車時のイベント情報を出力させることを特徴とする情報提供方法。

Images