JP6466385B2 - サービス提供装置、サービス提供方法およびサービス提供プログラム - Google Patents

Description

本発明は、車内の乗員に種々のサービスを提供可能なサービス提供装置、サービス提供方法およびサービス提供プログラムに関する。

この種の装置として、従来、車内のマイクにより収集された乗員の会話の内容と乗員の構成とに基づいて、乗員の行動目的を推定し、この行動目的に基づいて乗員に対し推奨するサービスを決定し、決定したサービスを提供するようにした装置が知られている（例えば特許文献１参照）。

特開２０１２−１３３５３０号公報

しかしながら、上記特許文献１記載の装置のように、会話の内容に基づいて提供するサービスを決定したのでは、例えば会話していない乗員等、乗員によっては、提供されたサービスを不快と感じるおそれがあり、車内の乗員全体に対し高い満足度を与えることが難しい。

本発明の一態様であるサービス提供装置は、複数人からなる車内の乗員の存否を検出する乗員検出部と、乗員の顔の画像を取得する画像取得部と、画像取得部により取得された乗員の顔の画像に基づいて、乗員検出部により検出された各々の乗員の個人感情を推定する個人感情推定部と、個人感情推定部により推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する全体感情推定部と、各々の乗員の発話内容を特定する発話特定部と、全体感情推定部により推定された全体感情に基づいて、発話特定部により特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定するサービス決定部と、サービス決定部により決定されたサービスを提供するための指令を出力する指令出力部と、を備える。

本発明の他の態様であるサービス提供方法は、乗員検出部により、複数人からなる車内の乗員の存否を検出し、画像取得部により、乗員の顔の画像を取得し、コンピュータにより、画像取得部により取得された乗員の顔の画像に基づいて、乗員検出部により検出された各々の乗員の個人感情を推定し、コンピュータにより、推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定し、コンピュータにより、各々の乗員の発話内容を特定し、コンピュータにより、推定された全体感情に基づいて、特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定し、コンピュータにより、決定されたサービスを提供するための指令を出力する。

本発明のさらなる他の態様であるサービス提供プログラムは、乗員の顔の画像に基づいて、複数人からなる車内の乗員の各々の個人感情を推定する手順と、推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する手順と、各々の乗員の発話内容を特定する手順と、推定された全体感情に基づいて、特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定する手順と、決定されたサービスを提供するための指令を出力する手順と、をコンピュータに実行させる。

本発明によれば、各々の乗員の個人感情から推定された乗員全体の感情に基づいて乗員全体に提供するサービスを決定するので、会話していない乗員等を含む車内の乗員全体に対し高い満足度を与えることができる。

本発明の実施形態に係るサービス提供装置の概略構成を示すブロック図。 図１のサービス提供装置に含まれる処理装置で実行される処理の一例を示すフローチャート。 図１の変形例を示す図。

以下、図１〜図３を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係るサービス提供装置１００の概略構成を示すブロック図である。このサービス提供装置１００は、車内の乗員に種々のサービスを提供することが可能な装置であり、例えば車両に搭載されるナビゲーション装置をベースとして構成される。

図１に示すように、サービス提供装置１００は処理装置１を有する。処理装置１には、入力部２と、ＧＰＳ受信部３と、センサ群４と、記憶部５と、無線装置６と、マイク７と、スピーカ８と、ディスプレイ９と、駆動部１０とがそれぞれ接続される。

入力部２は、乗員（運転者など）により操作される各種スイッチを含む。なお、ディスプレイ９の表示画面上にタッチパネルを設け、タッチパネルを入力部２として構成することもできる。処理装置１には、入力部２の操作に応じた各種指令や情報が入力される。

ＧＰＳ受信部３は、ＧＰＳ衛星から測位信号を受信して車両の現在位置を測定する。ＧＰＳ受信部３からの信号は、処理装置１に入力される。

センサ群４は、カメラ４１と、着座センサ４２とを含む。カメラ４１は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、乗員の顔を含む上半身を撮像する。カメラ４１は、全ての乗員の表情や姿勢を撮像可能なように、乗車位置（シート位置）に対応して複数設けられる。着座センサ４２は、各シートに配置された圧力センサであり、着座センサ４２の検出値により、各シートの乗員の有無を判別できる。したがって、着座センサ４２の検出値により、車内の乗員の人数を検出するとともに、乗員の体格や性別、年齢（大人か子供か等）などを判別できる。センサ群４からの信号は、処理装置１に入力される。

記憶部５は、地図情報が記憶された地図データベース５１と、各種の話題が記憶された話題データベース５２と、音楽が記憶された音楽データベース５３とを有する。地図データベース５１には、道路地図データや施設データなどを含む地図情報が記憶される。話題データベース５２には、交通情報、天気、時事ネタ等の話題や食べ物、趣味、旅行、仕事、家族に関する話題など、乗員同士の会話に登場すると予想される種々の話題が記憶される。音楽データベース５３には、洋楽、邦楽、ジャズ、クラシック等、種々のジャンルの音楽が記憶される。処理装置１は、記憶部５に記憶された情報を必要に応じて読み込む。

無線装置６は、携帯電話網やインターネット回線等の無線公衆回線との間で通信を行う。車内に存在するスマートフォン等の携帯端末との間で短距離無線通信を行うこともできる。無線装置６を介して、外部のサーバ等から送信された話題データや音楽データなどを定期的に取り込み、記憶部５に記憶された情報を更新することもできる。入力部２を介してデータの取り込みが指令される度に、無線装置６を介して話題データや音楽データなどを取り込み、記憶部５に記憶された情報を更新することもできる。

マイク７は、乗員の発話した音声を取得する。マイク７からの音声信号は、例えばＡ／Ｄ変換器を介し音声データとして処理装置１に入力される。マイク７は、狭指向性を有し、方向によって音声を取得する感度が異なる。マイク７は、乗員の乗車位置に対応して車内に複数設置され、これにより各乗員の発話の有無を特定することができる。

スピーカ８は、処理装置１からの指令により、記憶部５に記憶された地図情報、話題、音楽等を内容とした音声を出力する。スピーカ８は、入力部２やマイク７を介して乗員から音声出力の要求があったとき、その要求に応答して音声を提供する。スピーカ８は、乗員からの音声出力の要求がなくても、処理装置１からの指令により自動的に音声を提供することもできる。

ディスプレイ９は、目的地設定に関する情報、目的地までの経路案内情報、および経路上の現在位置情報等を表示する。ディスプレイ９の表示内容は、処理装置１により制御される。

駆動部１０は、乗員の快適性に影響を与える装置を駆動するアクチュエータの総称である。駆動部１０は、例えば空調装置のモータやコンプレッサと、窓やサンルーフを開閉するためのモータとを含む。

処理装置１は、ＣＰＵ，ＲＯＭ，ＲＡＭその他の周辺回路を有する演算処理装置を含むコンピュータにより構成される。処理装置１は、機能的構成として、発話特定部１１と、個人感情推定部１２と、全体感情推定部１３と、サービス決定部１４と、指令出力部１５とを有する。

発話特定部１１は、マイク７を介して入力された音声信号に基づいて、各乗員の発話の有無を判定するとともに発話内容を特定する。より具体的には、発話特定部１１は、着座センサ４２からの信号に基づいて乗員の着座位置を特定し、着座位置に対応するマイク７から音声信号が入力されたか否かを判定することにより各乗員の発話の有無を判定する。さらに、発話特定部１１は、記憶部５の辞書データベース（不図示）に登録された単語を参照することで、マイク７を介して入力された音声信号を認識し、これにより発話内容を特定する。

個人感情推定部１２は、カメラ４１からの画像信号に基づいて、各乗員の表情（口角等）から各乗員の感情（個人感情）を推定する。例えばPlutchikの感情の和を用いて、乗員の感情を８つの基本感情（期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り）と、隣り合う２つの感情の組み合わせによる応用感情とに分類する。個人感情は、カメラ４１からの画像信号だけでなく、マイク７からの音声信号も考慮して推定する。すなわち、発話内容や乗員の発話した音声のアクセントや発音等も考慮し、乗員の感情を、感情の輪のいずれかのパターンに当てはめる。

個人感情推定部１２は、感情の輪への当てはめに応じて個人感情を数値化する。例えば喜びなどの好ましい感情（正の感情）をプラスの値で、悲しみなどの好ましからぬ感情（負の感情）をマイナスの値で表す。この場合、例えば感情が強いほど（感情の輪の内側に行くほど）、感情を表す値（絶対値）を大きくする。カメラ４１からの画像信号により各乗員に動きがあるか否かを判定し、動いていないときにその乗員は睡眠中であると判定することもできる。このとき、個人感情推定部１２は、睡眠中の乗員の個人感情を例えば０とする。

全体感情推定部１３は、個人感情推定部１２で推定された各々の乗員の個人感情に基づいて、乗員全体の感情（全体感情）、すなわち車内全体の雰囲気を推定する。より具体的には、個人感情推定部１２により数値化された個人感情の総和を、着座センサ４２により検出された乗員の人数で除算する。これにより平均的な個人感情を全体感情として数値化して求めることができる。全体感情の値αが大きいほど、正の感情が強く、車内が盛り上がっている。

サービス決定部１４は、全体感情推定部１３により推定された全体感情に基づいて、乗員全体に提供するサービスを決定する。例えば、全体感情の値αが０より大きい所定値α１以上であって、発話特定部１１により発話内容が特定されたとき、車内全体が共通の話題で盛り上がっていると想定される。このときサービス決定部１４は、話題データベース５２を参照し、発話内容に含まれるキーワードから話題を特定する。そして、話題データベース５２に記憶されたその話題に対応した多数の情報の中から、全体感情を考慮して最適な情報を選択し、これを乗員に音声で提供すべきサービス（音声情報サービス）として決定する。なお、地図データベース５１から現在位置またはその近傍の施設の情報を取得し、発話特定部１１により特定された発話内容と関連し、または発話内容とは無関係に、この施設情報を音声で提供するサービスとして決定することもできる。

一方、全体感情の値αが所定値α１未満であるとき、例えば乗員同士の会話がなく、全体感情の値αが０であるときは、各乗員は黙って車窓からの風景を楽しんでいる、あるいは携帯端末機器の操作等、何らかの行為に集中している、あるいは寝ていると想定される。このときサービス決定部１４は、音楽データベース５３を参照し、車内の静かな状況に対応した音楽を選択し、これを乗員に提供すべきサービス（音楽サービス）として決定する。なお、地図データベース５１からの情報により自車の周囲の環境を把握し、環境に合った音楽を選択することもできる。天候や時刻に応じて音楽を選択することもできる。発話内容が特定されたときに、発話内容に応じた音楽を選択し、これを提供すべき音楽サービスとして決定してもよい。駆動部１０の駆動によって得られる動作（例えば空調装置の作動等）を、提供すべきサービスとして決定してもよい。

指令出力部１５は、サービス決定部１４により決定されたサービスを乗員に提供するための指令を、対象機器に出力する。例えば、サービス決定部１４で音声情報サービスを提供するように決定されると、その音声情報に対応した音声データを生成し、これをＤ／Ａ変換器を介してスピーカ８に出力する。サービス決定部１４で音楽サービスを提供するように決定されると、対応する音楽データを音楽データベース５３から読み込んで、スピーカ８に出力する。空調装置の作動等がサービスとして決定されたときは、指令出力部１５は駆動部１０に制御信号を出力する。

図２は、予め処理装置１のＲＯＭに記憶されたプログラムに従って処理装置１のＣＰＵで実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、所定周期で繰り返し実行される。

まず、ステップＳ１で、着座センサ４２からの信号により各シートにおける乗員の有無を判別する。次いで、ステップＳ２で、カメラ４１からの信号に基づき各乗員の個人感情を推定する。推定した個人感情は、複数に分類された感情の輪のいずれかのパターンに当てはめられ、数値化される。次いで、ステップＳ３で、各乗員の個人感情に基づいて全体感情を推定する。すなわち、数値化した各乗員の個人感情を加算して得た感情の総和を、着座センサ４２によって検出された乗員の人数で除算して全体感情の値αを算出する。

次いで、ステップＳ４で、全体感情の値αが所定値α１以上であるか否かを判定する。車内の乗員同士で会話がなされ、正の感情が高まっている状態では、全体感情の値αが所定値α１以上となり、ステップＳ４で肯定されてステップＳ５に進む。ステップＳ５では、乗員に提供すべきサービスとして音声情報サービスを選択する。すなわち、発話特定部１１により特定された発話内容に含まれるキーワードから話題を特定するとともに、その話題に対応した音声による情報を、提供するサービスとして決定する。次いで、ステップＳ６で、音声情報サービスを乗員に提供するため、スピーカ８に制御信号を出力する。

一方、ステップＳ４で否定されるとステップＳ７に進む。ステップＳ７では、乗員に提供すべきサービスとして音楽サービスを選択する。すなわち、この場合には車内の乗員同士で会話がないために、全体感情の値αが所定値α１未満となったと考えられる。このため、車内の静かな環境に合った音楽を流すように音楽サービスを選択する。次いで、ステップＳ８で、音楽サービスを乗員に提供するため、スピーカ８に制御信号を出力する。

本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）サービス提供装置１００は、複数人からなる車内の乗員の存否を検出する着座センサ４２と、カメラ４１からの信号に基づき、着座センサ４２により検出された各々の乗員の個人感情を推定する個人感情推定部１２と、個人感情推定部１２により推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する全体感情推定部１３と、全体感情推定部１３により推定された全体感情に基づいて、乗員全体に提供するサービスを決定するサービス決定部１４と、サービス決定部１４により決定されたサービスを提供するための指令を出力する指令出力部１５と、を備える（図１）。このように乗員全体の感情に基づいて乗員に提供するサービスを決定するため、乗員全体に対し高い満足度を与えることができる。

（２）個人感情推定部１２は、各々の乗員の個人感情を数値化して推定し、全体感情推定部１３は、個人感情推定部１２により数値化された個人感情の総和を、着座センサ４２により検出された全乗員の人数で除算することにより、全体感情を数値化して推定する。このように全体感情を数値化することで、全体感情を定量的に評価することができ、乗員全体に提供する最適なサービスを容易に決定することができる。

（３）サービス提供装置１００は、乗員の動きを検出するカメラ４１を備え、個人感情推定部１２は、カメラ４１により検出された乗員の動きに基づいて個人感情を推定する。すなわち、例えば動きのない睡眠中の乗員の個人感情を０とする。これにより睡眠中の乗員の個人感情を評価することができ、全体感情を良好に推定することができる。

（４）マイク７から入力された音声信号に基づき、各々の乗員の発話内容を特定する発話特定部１１をさらに備え、サービス決定部１４は、全体感情推定部１３により推定された全体感情に基づいて、発話特定部１１により特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定する（ステップＳ５，ステップＳ７）。これにより音声情報サービスや音楽サービス等、乗員全体の感情にとって最適と思われるサービスを提供することができる。すなわち、車内が盛り上がった雰囲気のときには、その盛り上がりを継続するような話題を提供し、車内が静かな雰囲気のときには、静けさに見合った音楽を提供することができる。このため、車内の雰囲気が安定し、運転者は落ち着いた精神状態で車を運転することができる。

（５）サービス決定部１４は、発話特定部１１により発話内容が特定されないとき、音楽サービスを乗員全体に提供するサービスとして選択する（ステップＳ７）。これにより複数の乗員がいるにも拘らず車内がシーンとなるのを防ぎ、運転者を含め、乗員全体をリラックスさせることができる。

本発明は、上記実施形態に限らず種々の形態に変形することができる。上記実施形態（図１）では、カーナビゲーション装置をベースとしてサービス提供装置１００を構成したが、サービス提供装置の構成はこれに限らない。図３は、図１の変形例を示す図である。図３では、図１の記憶部５に記憶されたデータベース５１〜５３の少なくとも一部がサーバ１０２に記憶され、音声対話装置１０１は無線装置６（図１）および無線通信網、インターネット網、電話回線網などの通信ネットワーク１０３を介してサーバ１０２から各種情報を取得するように構成される。音声対話装置１０１の少なくとも一部の機能を、運転者が携帯する携帯無線端末１０４によって実現することもできる。例えば通信ネットワーク１０３を介して携帯無線端末１０４からサーバ１０２に位置情報を送信するようにしてもよい。

上記実施形態では、着座センサ４２により乗員の存否を検出したが、カメラ４１等、他の乗員検出部を用いて複数人からなる車内の乗員の存否を検出するようにしてもよい。上記実施形態では、カメラ４１により各乗員の表情を検出するとともに、そのカメラ４１からの画像に基づき個人感情推定部１２が個人感情を推定するようにしたが、他の機器で乗員の感情を検出し、これに基づき乗員の感情を推定してもよく、個人感情推定部の構成は上述したものに限らない。上記実施形態では、カメラ４１からの画像により乗員の動きを検出するようにしたが、動き検出部の構成はこれに限らない。上記実施形態では、個人感情を感情の輪によって分類されたパターンに当てはめて数値化するようにしたが、他の分類された感情のパターンに当てはめて数値化するようにしてもよい。

上記実施形態では、全体感情推定部１３で、個人感情推定部１２により数値化された個人感情の総和を全乗員の人数で除算することにより全体感情を数値化するようにしたが、個人感情推定部により推定された各乗員の個人感情に基づいて全体感情を推定するのであれば、全体感情推定部の構成はいかなるものでもよい。上記実施形態（図２）では、サービス決定部１４が、全体感情の値αが所定値α１以上のとき音声情報サービスを、所定値α１未満のとき音楽サービスを、それぞれを乗員に提供するサービスとして決定したが、全体感情に基づいて乗員全体に提供するサービスを決定するのであれば、サービス決定部の構成はいかなるものでもよい。例えば駆動部１０の駆動を含む複数のサービスの中から、提供すべきサービスを決定してもよい。

サービス提供方法に関し、複数人からなる車内の乗員の存否を検出し、検出された各々の乗員の個人感情を推定し、推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定し、推定された全体感情に基づいて、乗員全体に提供するサービスを決定し、決定されたサービスを提供するための指令を出力するのであれば、他の構成はいかなるものでもよい。

複数人からなる車内の乗員の各々の個人感情を推定する手順と、推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する手順と、推定された全体感情に基づいて、乗員全体に提供するサービスを決定する手順と、決定されたサービスを提供するための指令を出力する手順とを含むのであれば、処理装置１で実行される処理は図２に示したものに限らない。したがって、これらの手順をコンピュータに実行させるサービス提供プログラムの構成も上述したものに限らない。上記実施形態では、サービス提供プログラムを処理装置１内に格納したが、フラッシュメモリ等の外部記憶媒体に格納してもよい。通信ネットワーク１０３を介してサービス提供プログラムを取得することもできる。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ 処理装置、４ センサ群、５ 記憶部、７ マイク、８ スピーカ、１１ 発話特定部、１２ 個人感情推定部、１３ 全体感情推定部、１４ サービス決定部、１５ 指令出力部、４１ カメラ、４２ 着座センサ、１００ サービス提供装置

Claims (7)

1. 複数人からなる車内の乗員の存否を検出する乗員検出部と、
   乗員の顔の画像を取得する画像取得部と、
   前記画像取得部により取得された乗員の顔の画像に基づいて、前記乗員検出部により検出された各々の乗員の個人感情を推定する個人感情推定部と、
   前記個人感情推定部により推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する全体感情推定部と、
   各々の乗員の発話内容を特定する発話特定部と、
   前記全体感情推定部により推定された全体感情に基づいて、前記発話特定部により特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定するサービス決定部と、
   前記サービス決定部により決定されたサービスを提供するための指令を出力する指令出力部と、を備えることを特徴とするサービス提供装置。
2. 請求項１に記載のサービス提供装置において、
   前記個人感情推定部は、各々の乗員の個人感情を数値化して推定し、
   前記全体感情推定部は、前記個人感情推定部により数値化された個人感情の総和を、前記乗員検出部により検出された全乗員の人数で除算することにより、全体感情を数値化して推定することを特徴とするサービス提供装置。
3. 請求項１または２に記載のサービス提供装置において、
   乗員の動きを検出する動き検出部をさらに備え、
   前記個人感情推定部は、前記動き検出部により検出された乗員の動きに基づいて個人感情を推定することを特徴とするサービス提供装置。
4. 請求項３に記載のサービス提供装置において、
   前記個人感情推定部は、前記動き検出部により検出された乗員の動きに基づいて乗員が睡眠中であると判定する場合には、その乗員の個人感情を０として数値化することを特徴とするサービス提供装置。
5. 請求項１〜４のいずれか１項に記載のサービス提供装置において、
   前記サービス決定部は、前記発話特定部により発話内容が特定されないとき、前記音楽サービスを乗員全体に提供するサービスとして決定することを特徴とするサービス提供装置。
6. 乗員検出部により、複数人からなる車内の乗員の存否を検出し、
   画像取得部により、乗員の顔の画像を取得し、
   コンピュータにより、前記画像取得部により取得された乗員の顔の画像に基づいて、前記乗員検出部により検出された各々の乗員の個人感情を推定し、
   コンピュータにより、推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定し、
   コンピュータにより、各々の乗員の発話内容を特定し、
   コンピュータにより、推定された全体感情に基づいて、特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定し、
   コンピュータにより、決定されたサービスを提供するための指令を出力することを含むことを特徴とするサービス提供方法。
7. 乗員の顔の画像に基づいて、複数人からなる車内の乗員の各々の個人感情を推定する手順と、
   推定された各々の乗員の個人感情に基づいて、乗員全体の感情である全体感情を推定する手順と、
   各々の乗員の発話内容を特定する手順と、
   推定された全体感情に基づいて、特定された発話内容に関連する情報を音声で提供する音声情報サービスと、音楽を提供する音楽サービスと、を含む複数のサービスの中から、乗員全体に提供するサービスを決定する手順と、
   決定されたサービスを提供するための指令を出力する手順と、をコンピュータに実行させるためのサービス提供プログラム。

Images