JP2006317573A

JP2006317573A - 情報端末

Info

Publication number: JP2006317573A
Application number: JP2005138252A
Authority: JP
Inventors: Toshihiro Kujirai; 俊宏鯨井; Takahisa Tomota; 孝久友田; Tetsuo Shinagawa; 哲夫品川
Original assignee: Xanavi Informatics Corp
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2005-05-11
Filing date: 2005-05-11
Publication date: 2006-11-24

Abstract

【課題】
本発明は、ユーザとの音声対話によってユーザに情報を取得する情報端末を提供する。
【解決手段】
ユーザの音声をコマンドとして認識し、認識したコマンドに基づいた情報を提供する情報端末において、ユーザの指示によってトーク信号を出力するトーク信号部と、ユーザの発声した音声をコマンドとして認識する音声認識部と、情報端末の周囲の環境に関する環境情報を取得する環境情報取得部と、認識したコマンド及び取得した環境情報からユーザが意図する情報を推定する推定部と、情報端末の処理を制御する制御部と、を備え、制御部は、トーク信号の受信を契機として、音声認識部が認識したユーザのコマンドが得られたか否かを判定し、当該コマンドが得られない場合に、環境情報取得部が取得した環境情報を用いて推定部が推定した情報をユーザに提供する。
【選択図】図１

Description

本発明は、ユーザとの音声対話によってユーザに情報を取得する情報端末に関するものである。

現在のカーナビゲーションシステムなどの車載情報端末は、ＤＶＤやＨＤＤなどの大容量記憶媒体に、店舗情報や施設情報などの大量の情報を保持している。さらに、無線通信を用いてサーバからこれらの情報を取得することができる。

一般的な情報検索装置においては、ユーザがキーワードや分類名などを入力・選択することで、大量の情報の中から必要な情報を絞り込む操作を行う方法が用いられる。車載情報端末においても、停車中はこの方法は有効であるため、ユーザがソフトウェアキーボードを利用したキーワード入力や、分類をメニュー画面で選択する方法を用いた情報検索インタフェースが採用されている。一方、走行時は、音声認識システムを利用し、ユーザがキーワードや分類名を音声入力することにより、ハンズフリー／アイズフリーで必要な情報を取り出すシステムが開発されている。

また、一般的なウェブの検索エンジンと異なり、ユーザが必要とする情報は、ユーザがどこを走っているか、渋滞が発生しているか、などの周囲状況によって大きく影響を受けることが考えられる。そのため、ユーザの車両が走行している付近や、これから走行する予定の経路上の店舗情報、施設情報に限定して情報を提供することで、ユーザの利便性を高める方法も知られている（特許文献１参照。）。

また、ユーザの音声コマンドによる情報の推定方法には、ベイジアンネットワークを用いることができる。ベイジアンネットワークとはグラフ後続を持つ確率モデルの一つであり、不確実性を含む事象の予測や合理的な意志決定、観測結果から原因を探る障害診断などに利用することができる（非特許文献１参照。）。
特開平１１−５１６６６号公報本村陽一、"ベイジアンネットワーク：入門からヒューマンモデリングへの応用まで"、［online］、産業技術総合研究所、［平成１７年４月１日検索］、インターネット＜URL：http://staff.aist.go.jp/y.motomura/paper/BSJ0403.pdf＞

しかし、ユーザが必要とする情報を推定する方式の改良によって推定の精度が高くなったとしても、ユーザがその情報を知りたいと思うタイミングを正確に推定することは困難である。

例えば、渋滞が発生した場合、渋滞情報は、ユーザがその状況で必要とする情報の種別の推定値として適切であると言える。しかし、ユーザが既に別の手段で渋滞情報を知っている場合や、はじめから渋滞を覚悟している場合など、あらためて渋滞の距離や時間を知らされることはユーザにとって嬉しいことではない。

また、車両の位置情報やユーザの購買履歴に基づいて付近の店舗情報を提供するサービスを行うこともできる。この場合、情報を提供する店舗側はできる限り高い頻度で情報を提供したいが、ユーザはこのような情報が頻繁に提供されることをわずらわしいと感じる可能性がある。

さらに、定期的にユーザに提供すべき情報や実行すべき操作を推定してユーザに提供する方法もあるが、ある状況である情報が必要とされる可能性が非常に高いと推定された場合でも、実際にはユーザがそのタイミングでは情報を欲していないというミスマッチが起こり得るので、これも同様にユーザは情報が提供されることをわずらわしいと感じる可能性がある。

このような問題から、現在では情報端末からの押し付け型の情報提供は車載情報端末向けには普及しておらず、従来技術でも述べたようにユーザの操作によって提供する情報を特定する方式が一般的である。

ここで問題となるのは、音声認識を入力手段として用いる場合、ユーザが適切な音声コマンドを思いつけず何も発声しなかった場合、間違った音声コマンドを発声した場合、又は、周囲雑音をシステムがユーザ発声と間違えて認識処理した場合など、認識結果が全く得られない。このような状況では、従来のシステムでは単にユーザに再発声を促すだけであり、ユーザは何度も音声を発するなど、利便性が低くなっていた。

本発明は、ユーザの音声をコマンドとして認識し、認識したコマンドに基づいた情報を提供する情報端末において、ユーザの指示によってトーク信号を出力するトーク信号部と、ユーザの発声した音声をコマンドとして認識する音声認識部と、情報端末の周囲の環境に関する環境情報を取得する環境情報取得部と、認識したコマンド及び取得した環境情報からユーザが意図する情報を推定する推定部と、情報端末の処理を制御する制御部と、を備え、制御部は、トーク信号の受信を契機として、音声認識部が認識したユーザのコマンドが得られたか否かを判定し、当該コマンドが得られない場合に、環境情報取得部が取得した環境情報を用いて推定部が推定した情報をユーザに提供することを特徴とする。

本発明によると、ユーザが、適切な音声コマンドを思いつけず何も発声しなかった場合や、システムが想定していない発声をしてしまった場合でも、ユーザの操作を無駄にせず、状況に応じてユーザが必要としている可能性の高い情報を提供できる。これによって、利便性の高いユーザインタフェースを提供することができる。

さらに、ユーザ意図を推定するのは、ユーザがトークボタンを押した場合に限られるため、ユーザは、不必要な情報を押し付けられることがないという利点がある。

以下に本発明の実施例について、図面を参照して説明する。

図１は、本発明の第１の実施例の情報端末の構成を表したブロック図である。

情報端末１００は、自動車等の車両に設置される。そして、ユーザの音声による音声コマンドによる指示を受け付け、その音声コマンドを認識し、認識結果に対応する情報を合成音声又はディスプレイへの表示によって応答する。

この情報端末１００は、システム制御部１０１、ＧＰＳ受信機１０２、自律航法センサ１０３、交通情報受信機１０４、ディスプレイ１０５、音声出力装置１０６、ハードディスク（ＨＤＤ）１０９、マイク１１０、トークボタン１１１、ＧＵＩ操作部１１２、ＡＶ装置１１３、路面センサ１１６、発汗センサ１１７、メモリ１１８、インタフェース１１９等によって構成される。

システム制御部１０１は、情報端末１００の処理を実行する。システム制御部１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、データバスなどから構成される。

ＧＰＳ受信機１０２は、図示しない複数のＧＰＳ衛星からの信号を受信して、車両の現在位置を算出する装置である。

自律航法センサ１０３は、ジャイロを備えており、このジャイロからの情報及び車両からインタフェース１１９を介して取得した車速パルスを利用して、車両の現在位置と車両の向きとを推定する装置である。

交通情報受信機１０４は、ビーコンやＦＭ放送波によって搬送される交通情報信号を受信する装置である。

ディスプレイ１０５は、地図情報、車両の位置情報、交通情報等をユーザに表示する装置である。ディスプレイ１０５は、例えば液晶ディスプレイ装置によって構成される。

音声出力装置１０６は、システム制御部１０１の指示によって、合成音声をユーザに応答する。例えば、走行中のルート案内を合成音声によってユーザに伝える。

ハードディスク装置（ＨＤＤ）１０９はデジタルデータを格納する記憶媒体である。このＨＤＤ１０９は、地図情報を保存する。

マイク１１０は、ユーザの発声する音声コマンドを集音するための装置である。このマイク１１０は、車両に複数備えられ、複数のマイクが取得した音声の到達時間の差から、音声を発したのが運転席のユーザであるか助手席のユーザであるかを判断できる。

トークボタン１１１は、音声認識部１１４に音声認識処理の実行を指示するトーク信号を発生させる。具体的には、ユーザがトークボタン１１１を押した後に、音声コマンドを発声する。システム制御部１０１は、トークボタン押下によるトーク信号の受信を契機として、音声認識部１１４に音声コマンドの認識処理を実行させる。これによって、ユーザが音声コマンドを発するタイミングを知ることができ、例えば走行中の騒音環境の中でも雑音による誤認識を防ぎ、良好な音声認識性能を得ることができる。

このトークボタン１１１は、例えば車両のハンドルに取り付けたスイッチによって構成される。なお、ユーザが発話することをシステム制御部１０１に通知するトーク信号を発生するための手段であればどのようなものでもよい。

例えば、音声コマンドを発声する前に、特定のキーワードを発声することによって、トークボタンの代わりとしてもよい。この場合、音声認識部１１４が常時、特定のキーワードのみを待ち受けており（特定語彙ワードスポット）、音声認識部１１４が特定のキーワードを検出したことによって、システム制御部１０１にトーク信号を送信する。すなわち、ユーザが特定のキーワードを発声することが、トークボタン１１１を押すことに相当する。

ＧＵＩ操作部１１２は、ユーザが音声コマンド以外の方法で情報端末を操作するための装置であり、リモコンや、タッチパネル、ボタンなどで構成される。

ＡＶ装置１１３は、ＣＤプレイヤ、ＭＤプレイヤ、ＤＶＤプレイヤやこれらの複合型プレイヤ、ラジオチューナ、テレビチューナ、アンプなどから構成される。これらの再生結果として、音声は音声出力装置１０６から出力され、映像はディスプレイ１０５に表示される。

路面センサ１１６は、走行中の路面の状態（乾燥、湿潤、水膜、積雪、凍結）を検出するセンサであり、路面センサ１１６は、例えば、可視画像式センサ、レーザレーダ式センサ、光ファイバ式センサなどを用いる。

発汗センサ１１７は、ハンドルに取り付けられ、運転中のユーザの発汗を検出して、ユーザの緊張度を測定する。

インタフェース（Ｉ／Ｆ）１１９は、車両の各種センサに接続され、車速パルス、ハンドブレーキ信号、エンジン始動信号等の各種情報を取得する。

メモリ１１８には、経路探索部１０７、地図情報読込部１０８、音声認識部１１４及び意図推定部１１５が格納される。これら各部はシステム制御部１０１によって実行されるプログラムである。

経路探索部１０７は、ユーザの指示等によって設定された目的地への経路を、ＨＤＤ１０９に格納されている地図情報から探索する。

地図情報読込部１０８は、ＨＤＤ１０９に格納されている地図情報をメモリ１１８に読み出す。そして、ＧＰＳ受信機１０２が受信した情報から計算した位置情報、自律航法センサ１０３が得た位置情報及び読み出した地図情報を用いてマップマッチングを実行し、車両の現在位置を推定する。そして、ディスプレイ１０５に推定した自車位置の周辺の地図及び自車を現すシンボルを表示する。

音声認識部１１４は、マイク１１０によって集音された音声コマンドを、音声コマンドに対応するテキスト又は記号を認識結果として得る。より具体的には、音声認識部１１４が保持する音声モデルと入力された音声コマンドとの類似度を算出し、類似度が高いものを認識結果とする。そして、認識結果とその類似度とを出力する。

意図推定部１１５は、ＧＰＳ受信機１０２及び自律航法センサ１０３によって計算された位置情報、交通情報受信機１０４によって受信された交通状況、路面センサ１１６によって検出された路面の状況、インタフェース１１９から受信した車両の情報等から、ユーザが必要とする情報又は希望する操作内容を推定する。

図２は、本発明の第１の実施例の情報端末１０１の音声対話処理のフローチャートである。

このフローチャートは、ユーザがトークボタン１１１を押して音声コマンドを発声したときに、情報端末１００が、その音声コマンドを認識してどのような応答をするかの処理を示す。

まず、ユーザはトークボタン１１１を押して、情報端末１００に音声コマンドの発声を予告する。このトークボタン１１１の押下によって、システム制御部１０１にトーク信号が送信される。

システム制御部１０１は、トークボタン１１１からのトーク信号を受信すると（Ｓ１００１）、ユーザに発声を促すための質問内容を生成する（Ｓ１００２）。このとき、すなわちトークボタン１１１が押された直後に生成する質問内容は、例えば「何でしょう？」、「音声コマンドをどうぞ」のような短い音声、又は、「ピッ」という短い信号音等が適している。

システム制御部１０１は、生成した質問内容を音声出力装置１０６に指示する。音声出力装置１０６がこの質問内容を音声として出力する（Ｓ１００３）。なお、このとき、同時にディスプレイ１０５に質問内容をテキストとして表示してもよい。

ユーザは、この質問内容の出力に応えて音声コマンドを発声する（Ｓ１００４）。マイク１１０は、発声された音声コマンドを集音してＡ／Ｄ変換する。Ａ／Ｄ変換された音声コマンドは音声認識部１１４に送られる。音声認識部１１４は、この音声コマンドを音声認識処理することによって認識結果を得る（Ｓ１００５）。

なお、この音声認識処理の結果は、ユーザの発声した音声コマンドに対応したテキストや記号が音声認識結果として得られる場合と、ユーザの発声に対応したテキストや記号が音声認識結果として得られない場合の二通りがある。

後者の場合は、例えば、ユーザがトークボタン１１１を押した後、一定時間何も発声しなかった場合（タイムアウト）、ユーザが発声した音声が、音声認識部１１４が想定していない音声であった場合、又は、ユーザがトークボタン１１１を押した後、周囲の雑音がマイク１１０によって集音され、音声認識部１１４がこの雑音をユーザの発声と間違えて音声認識処理をした場合等に起きる。このような場合は、音声認識部１１４が保持する音声モデルと入力された音声との類似度が低くなり、認識結果が得られない。

システム制御部１０１は、Ｓ１００５の処理の結果、音声処理結果が得られたか否かを判定する（Ｓ１００６）。音声認識結果が得られた場合は、システム制御部１０１は、認識結果に含まれる情報を用いて、ユーザが必要とする情報や希望する操作の候補を絞り込む（Ｓ１００７）。音声認識結果が得られなかった場合は後述する。

次に、システム制御部１０１は、現在の環境情報を取得する。環境情報とは、ＧＰＳ受信機１０２、自律航法センサ１０３、交通情報受信機１０４、経路探索部１０７、地図情報読込部１０８、路面センサ１１６、発汗センサ１１７等の少なくとも１つから取得した情報である（Ｓ１００８）。環境情報は、車や運転者の状況等に関する情報であって、上記音声入力された情報とは異なる。

次に、意図推定部１１５は、Ｓ１００７によって絞り込まれた認識結果の範囲において、Ｓ１００８で取得した環境情報を元に、ユーザが必要とする情報又は希望する操作内容を推定する（Ｓ１００９）。この推定の具体的な方式は後述する。

意図推定部１１５は、この推定の結果、推定内容及び推定の信頼度を得る。そして、システム制御部１０１は、この推定の信頼度が予め定めた閾値以上であるか否かを判定する（Ｓ１０１０）。

信頼度が閾値よりも高い場合は、推定内容がユーザの意図と等しいと判断する。そこで、推定内容に係る情報をユーザに提供する（Ｓ１０１１）。具体的には、システム制御部１０１は、ディスプレイ１０５への表示又は音声出力装置１０６による音声出力によって、推定内容に係る情報を提示する。又は、推定した操作内容を実行し、操作内容を実行したことをユーザにディスプレイ１０５への表示又は音声出力装置１０６による音声出力によって知らせる。

一方、Ｓ１００６において、類似度が低く、認識結果が得られなかった場合について説明する。

従来の音声認識を用いたシステムでは、ユーザ発声の認識結果が得られなかった場合は音声認識失敗とみなす。そのため、ユーザに再度発声を求める質問内容を生成して、その質問内容を出力する。

これに対して、本発明では、認識結果が得られなかった場合には、環境情報を取得して（Ｓ１００８）、ユーザが必要とする情報又は希望する操作内容を、取得した環境情報を元に推定する（Ｓ１００９）。

前述したように、結果が得られない状況とは、（Ａ）ユーザがトークボタン１１１を押した後、一定時間何も発声しなかった場合、（Ｂ）ユーザがシステムが想定していない音声を発した場合、（Ｃ）ユーザがトークボタン１１１を押した後、周囲の雑音がマイク１１０によって集音され、音声認識部１１４がこの雑音をユーザの発声と間違えて音声認識処理をした場合、に分類できる。これはユーザ視点で考えると、トークボタン１１１を押したにもかかわらず適切な音声コマンドを思いつけなかった場合や、音声コマンドを発声しようとしたのに周囲雑音に妨害された場合に相当する。このときユーザは、トークボタン１１１を押下して、音声によって、何らかの情報を必要としている又は何らかの操作をしようとしていることは確実である。

従って、従来のシステムように、認識結果が得られなかった場合に再度発声を求めるよりも、ユーザ意図を推定する方が、ユーザに再度の発声を求めることがなくなり、ユーザの利便性が増す。特に、（Ａ）及び（Ｂ）の場合では、再度発声を求めても、ユーザは適切な音声コマンドを思いつけない可能性があるため、再度認識結果が得られない場合が発生する。これでは、情報端末１００の利便性が損なわれ、ユーザの満足度が低くなる。

そこで、Ｓ１００９において推定した情報をユーザに提供する（Ｓ１０１１）。すなわち、システム制御部１０１は、ディスプレイ１０５への表示又は音声出力装置１０６による音声出力によって、推定内容に係る情報を提示する。又は、推定した操作内容を実行し、操作内容を実行したことをユーザにディスプレイ１０５への表示又は音声出力装置１０６による音声出力によって知らせる。

このとき、ユーザに出力した推定内容又は操作内容は、必ずしも正しいとは限らない。そのため、ユーザに確認を求めたり、訂正の機会を与えることが必要である。

特に、意図推定部１１５がＳ１０１０において信頼度が低いと判定した場合は、ユーザに提供すべき情報や実行すべき操作は適切に推定できない。そこで、システム制御部１０１は、ユーザにさらなる情報を求める質問内容を生成する（Ｓ１００２）。生成した質問をディスプレイ１０５や音声出力装置１０６を通じてユーザに出力し（Ｓ１００３）、ユーザの発声を促す。

また、システム制御部１０１は、Ｓ１０１０において信頼度が高いと判定した場合は、まず、ユーザに情報を提供する（Ｓ１０１１）。そして、システム制御部１０１は、確認発声や訂正発声を促す質問内容を生成する（Ｓ１００２）。生成した質問をディスプレイ１０５や音声出力装置１０６を通じてユーザに出力し（Ｓ１００３）、ユーザの発声を促す。このときの質問内容は、例えば、「他に何かありますか？」や「この操作でよろしいですか？」のような内容とする。

これによって、情報端末１００は、ユーザの音声コマンドの認識結果が得られなかった場合には、環境情報を取得してユーザが必要とする情報又は希望する操作内容を推定してユーザに提示する。特に、この推定内容が間違っていた場合でも、ユーザは、再度トークボタン１１１を押す手間を省いて訂正発話ができ、ユーザの利便性が増す。さらに、ユーザにとっては、情報端末１００に要求するときは必ずトークボタン１１１を押して音声コマンドを発する。これによってユーザインタフェースの一貫性が保たれていることを直感的に把握でき、ユーザの利便性が高まる。

また、従来の、定期的にユーザに情報や操作を推定して提供する方法においては、ある状況である情報が必要とされる可能性が非常に高いと推定された場合でも、実際にはユーザがそのタイミングでは情報を欲していないというミスマッチが起こり得た。これに対して、本発明では、ユーザによるトークボタン１１１の押下を契機として、ユーザが情報が必要であるということが判った上で情報を推定するので、ユーザが情報を必要としているタイミングにて必要な情報が提供され、わずらわしさがなくなり、利便性が高まる。

図３は、本発明の情報端末１００とユーザとの対話の例の説明図である。

なお、「Ｓ」は情報端末１００からの音声出力による情報提示や質問を表し、「Ｕ」はユーザによる発話を表す。

図３（Ａ）の例は、まずユーザがトークボタン１１１を押下すると、トーク信号がシステム制御部１０１に送信される（Ｓ１００１）。システム制御部１０１はこれを受けて、応答のための質問内容を生成し（Ｓ１００２）、出力する（Ｓ１００３）。このときの質問内容は、ユーザに発声を促す「何でしょうか？」という音声とする。

このとき、ユーザが適切な音声コマンドを思いつかなかったため、トークボタン１１１押下後、無音が所定時間無音経過し、音声認識部１１４がタイムアウトと判定する。そのため、音声認識結果が得られない（Ｓ１００６）。そこで、環境情報を取得する（Ｓ１００８）。この図３の例では、交通情報受信機１０４が渋滞情報を取得している。また、ＧＰＳ受信機１０２の位置情報、自律航法センサ１０３の位置情報及び地図情報読込部１０８が得た地図情報をマッチングして得られた位置情報によって、ユーザが渋滞中の道路にいることが判明している。

この環境情報によって、意図推定部１１５は、ユーザが必要としている情報が渋滞情報であると推定する。そして、この推定内容の信頼度が所定の閾値よりも高いと判定する。

そこで、システム制御部１０１は、図３（Ａ）に示すように、渋滞情報をユーザに提供する。その後に、ユーザに確認発声や訂正発声を促す質問内容（「他に何かありますか」）を出力する。

ユーザは、トークボタン１１１押下時に必要としていた情報が渋滞情報であったため、その情報を得られたので、「いいえ」と返答し、情報端末１００との対話を終了する。

この例のように、ユーザは、適切な音声コマンドを思いつけなかった場合にも、必要としていた情報を得ることができる。

図３（Ｂ）の例は、図３（Ａ）の例と同様に、ユーザが適切な音声コマンドを思いつかなかったため、音声認識結果が得られない場合である。意図推定部１１５は、ユーザが必要としている情報が渋滞情報であることを推定する。システム制御部１０１は、この渋滞情報をユーザに提供する。その後に、ユーザに確認発声や訂正発声を促す質問内容（「他に何かありますか」）を出力する。

しかし、ユーザは、トークボタン１１１押下時に必要としていた情報と提供された情報とが異なることを認識する。そこで、必要とする情報である「抜け道情報」を返答する。

これを受けて、情報端末１００は絞り込み処理（Ｓ１００７）によってユーザの必要とする情報である抜け道情報を絞り込む。そして、抜け道情報の検索の応答をする。

この例のように、ユーザが適切な音声コマンドを思いつけず、さらに、環境情報により推定した情報がユーザの要求していた情報と異なっていた場合にも、ユーザが何度もトークボタン１１１を押下して音声を入力することなく、必要としていた情報を得ることができる。

図３（Ｃ）の例は、図３（Ａ）の例と同様に、ユーザが適切な音声コマンドを思いつかなかったため、音声認識結果が得られない場合である。意図推定部１１５は、ユーザが必要としている情報が渋滞情報であることを推定する。しかし、図３（Ｃ）の例は、この推定内容の信頼度が所定の閾値よりも低いと判定した場合である。

信頼度が低いと判定した場合は、システム制御部１０１は、ユーザにさらなる情報を求める質問内容を生成する。ここでは、ユーザが渋滞情報を知ろうとしているのかを確認するための「渋滞情報をお知りになりたいのでしょうか？」を出力する。

ユーザは、トークボタン１１１押下時に必要としていた情報は渋滞情報であるため、「はい」と応答する。システム制御部１０１は、これを受けて、絞り込み処理（Ｓ１００７）によって渋滞情報を絞り込み、環境情報より得た渋滞情報を提供する。

この例のように、ユーザが適切な音声コマンドを思いつけず、さらに、環境情報により推定した情報の信頼度が低い場合にも、ユーザが何度もトークボタン１１１を押下して音声を入力することなく、必要としていた情報を得ることができる。

図３（Ｄ）の例は、ユーザが適切な音声コマンドを思いつかなかったため、音声認識部１１４では音声認識が難しい自然発話をした場合の例である。

ユーザがトークボタン１１１を押下した後、システム制御部１０１は、「何でしょうか？」と応答する。ここで、ユーザが「この渋滞をどの位で抜けられる？」と、音声コマンドではない発話をする。この発話は音声認識部１１４では音声認識が難しい自然発話であるため、音声認識結果が得られない（Ｓ１００６）。そこで、システム制御部１０１は、環境情報を取得する（Ｓ１００８）。意図推定部１１５は、ユーザが必要としている情報が渋滞情報であることを推定する。しかし、図３（Ｄ）の例は、この推定内容の信頼度が所定の閾値よりも低いと判定した場合である。

ユーザは、トークボタン１１１押下時に意図していた質問内容は渋滞情報であるため、「はい」と応答する。システム制御部１０１は、これを受けて、絞り込み処理（Ｓ１００７）によって渋滞情報を絞り込み、環境情報より得た渋滞情報を提供する。

この例のように、ユーザが適切な音声コマンドを思いつけず音声認識が難しい自然発話をし、さらに、環境情報により推定した情報の信頼度が低い場合にも、ユーザが何度もトークボタン１１１を押下して音声を入力することなく、必要としていた情報を得ることができる。

図３（Ｅ）の例は、ユーザが適切な音声コマンドを思いつかなかったため、音声認識部１１４では音声認識が難しい自然発話をした場合の例である。

図３（Ｄ）の例と同様に、ユーザが「この渋滞をどの位で抜けられる？」と、音声コマンドではない発話をする。この発話は音声認識部１１４では音声認識が難しい自然発話であるため、音声認識結果が得られない（Ｓ１００６）。そこで、システム制御部１０１は、環境情報を取得する（Ｓ１００８）。意図推定部１１５は、ユーザが必要としている情報が渋滞情報であることを推定する。この信頼度が低いと判定した場合は、ユーザに提供すべき情報や実行すべき操作が適切に推定できない。そこで、システム制御部１０１は、ユーザにさらなる情報を求める質問内容を生成する。ここでは、ユーザが渋滞情報を知ろうとしているのかを確認するために「渋滞情報をお知りになりたいのでしょうか？」を出力する。

しかし、ユーザは、トークボタン１１１押下時に必要としていた情報と提供された情報が異なることを認識する。そこで、「いいえ」と応答する。

これを受けて、システム制御部１０１は、渋滞情報を除外した絞り込み処理（Ｓ１００７）を実行する。この結果、到着時間情報が推定され、これをユーザに提供する。このとき、ユーザに確認発声や訂正発声を促す内容を付加して出力する。

ユーザは、トークボタン１１１押下時に意図していた質問内容は到着時間情報であるため、「はい」と応答する。システム制御部１０１は、これを受けて、環境情報より得た到着時間情報を提供する。

図４は環境情報の例を示す説明図である。

この図４に例示する環境情報は、ユーザが必要とする情報又は希望する操作内容に影響を与えるものである。システム制御部１０１は、この環境情報を取得して、ユーザの要求する情報を推定する。

（１）乃至（６）の環境情報は、ＧＰＳ受信機１０２が受信した位置情報の変化、ＨＤＤ１０９に格納されている地図情報及び交通情報受信機１０４が受信した誘導情報から、システム制御部１０１がマッチングして判断する。

渋滞中であるか否か（７）は、ＧＰＳ受信機１０２が受信した位置情報及び交通情報受信機１０４が受信したＶＩＣＳの渋滞情報のマッチングした結果と車速の短時間履歴とによってシステム制御部１０１が判断する。

走行中であるか否か（８）は、車速の短時間履歴又はサイドブレーキ信号によって判断する。

長時間運転か否か（９）は、エンジン始動から現在までの経過時間と、予め設定した閾値とをシステム制御部１０１が比較して判断する。

汗をかいているか否か（１０）は、ハンドルに設置されている発汗センサ１１７からの信号によって判断する。

現在再生中のＣＤが既に１回再生済みであるか否か（１１）は、システム制御部１０１が、ＡＶ装置１１３のＣＤ再生装置からリピート信号によって判断する。

ご飯時であるか否か（１２）は、システム制御部１０１に内蔵された時計から現在時刻を取得して判断する。

路面の状態（１３）は、路面センサ１１６からの信号によって判断する。

音声コマンドを発したのはドライバーであるか否か（１４）は、システム制御部１０１が、複数のマイク１１０の音声の到来方向を推定して判断する。

システム制御部１０１は、これらの環境情報を、それぞれの条件の取りうる値に対する確率分布として表す。

例えば、（１１）の条件は、取りうる値は真／偽の２値であり、かつ、真／偽の判断は確実にできる。従って、（１１）の条件が真である確率をＰ１１（真）、偽である確率をＰ１１（偽）とすると、それらの値は、
Ｐ１１（真）＝１、Ｐ１１（偽）＝０
又は、
Ｐ１１（真）＝０、Ｐ１１（偽）＝１
のどちらかとなる。

一方、（１４）の条件は、外部の雑音の影響などによって音源方向推定の精度が落ちる場合がある。そのため、システム制御部１０１は、マイク１１０に備えられている複数のマイクから取得した情報に基づいて、システム制御部１０１が推定した音源方向の信頼度をＰ１４（真）の値とする。

また、（１３）の条件は、取りうる値が２値ではない。このような場合は、システム制御部１０１は、それぞれの取りうる値に関しての確率を環境情報の値とする。具体的には、路面センサ１１６から取得した情報から、Ｐ１３（乾燥）、Ｐ１３（湿潤）、Ｐ１３（水膜）、Ｐ１３（積雪）、Ｐ１３（凍結）とする。

図５は、ユーザが必要とする情報又は希望する操作内容の推定値の一例を示す説明図である。

システム制御部１０１は、このような推定値を予め持っている。そして、図４のような環境情報の取得値から、推定値の近似度を算出する。

なお、提供可能な情報全て又は可能な操作全てを推定値とすることは、図４の環境情報の各条件との対応付けがうまくいかなくなる。そのため、想定されうるユーザ意図を絞って推定値とすることが好ましい。

次に、推定の方法を説明する。

システム制御部１０１は、図２のＳ１００８で取得した環境情報と、ユーザの発声した音声コマンドの認識結果とを用いて、図５に示すユーザが必要とする情報又は希望する操作内容を推定する。この推定にはベイジアンネットワークを用いることができる。

図６は、ベイジアンネットワークを用いた推定方法の説明図である。

システム制御部１０１は、図２のＳ１００８で取得した環境情報と、ユーザの発声した音声コマンドの認識結果とを条件とする。そしてこれらの条件全てを親ノードとし、ユーザが必要とする情報又は希望する操作の内容の種別を確率変数とするユーザの意図を子ノードとする。

このベイジアンネットワークの条件付確率表は、経験則による考察から作成する。以下に、経験則から条件付確率表を作成する方式の一実施例を説明する。

図７は、経験則によって作成されるベイジアンネットワークの確率変数の一例の説明図である。

これは、図５に例示したユーザの意図（１）及び（２）に関して、それぞれの条件がこれらのユーザ意図を生起させる可能性を考慮して、予め作成され、情報端末１００に格納される。

例えば、渋滞中であるか否か（７）の条件の真偽値が「真」である場合に、自車の位置が有料道路上であって、かつ料金所から遠い場合は、ユーザの意図は渋滞情報を必要としている可能性が高くなる。また、自車の位置が一般道路上であって、交差点付近である場合は、ユーザの意図は抜け道情報を必要としている可能性が高くなる。

このようにして、ユーザが必要とする情報又は希望する操作内容を推定する。

このように、各条件が取りうる値の組み合わせ全てに対して、その条件の組み合わせにおいてユーザが渋滞情報を必要とする確率や、抜け道情報を必要とする確率を適当に決めればよい。

一方、どのような条件の取りうる値の組み合わせで、どのような情報提供の要求や、操作の要求が行われたかに関する実際のデータから、上記資料に記載されている方法により条件付確率表を推定する方法でベイジアンネットワークを完成させることもできる。

以上のように本発明の第１の実施例の情報端末１００は、ユーザがトークボタン１１１を押下したことを契機として、ユーザの音声コマンドを解析し、音声コマンドに対応する情報を提供する。このとき、ユーザの音声コマンドの解析結果が得られなかった場合は、環境情報を取得して、ユーザが必要とする情報又は希望する操作内容を推定して、推定内容を提供する。このようにすることによって、ユーザは、何度もトークボタン１１０を押し何度も音声コマンドを発することなく必要とする情報又は希望する操作内容を得られるので、ユーザの利便性が向上する。

次に、本発明の第２の実施例について説明する。

前述した第１の実施例では、ユーザがトークボタンを押下し、ユーザの音声コマンドを受け付けた後、ユーザの意図を推定した。これに対して、第２の実施例では、ユーザがトークボタンを押下した後にユーザの意図を推定し、ユーザに情報を提供する。その後、ユーザの音声コマンドを受け付ける。

図８は、本発明の第２の実施の情報端末１００の音声対話処理のフローチャートである。

システム制御部１０１は、トークボタン１１１からのトーク信号を受信すると（Ｓ１００１）、現在の環境情報を、ＧＰＳ受信機１０２、自律航法センサ１０３、交通情報受信機１０４、経路探索部１０７、地図情報読込部１０８、路面センサ１１６、発汗センサ１１７等から取得する（Ｓ１００８）。そして、ユーザが必要とする情報又は希望する操作内容を、取得した環境情報を元に推定する（Ｓ１００９）。

意図推定部１１５は、この推定処理の結果、推定内容及び推定の信頼度を得る。そして、この推定の信頼度が、予め定めた閾値以上であるか否かを判定する（Ｓ１０１０）。

信頼度が閾値よりも高い場合は、推定内容がユーザの意図と等しいと判断する。そこで、推定内容に係る情報をユーザに提供する（Ｓ１０１１）。具体的には、システム制御部１０１は、ディスプレイ１０５への表示又は音声出力装置１０６による音声出力をして、その情報を提示する。また、システム制御部１０１は、推定した操作内容を実行し、操作内容を実行したことをユーザにディスプレイ１０５への表示又は音声出力装置１０６による音声出力によって知らせる。

一方、意図推定部１１５が、Ｓ１０１０において信頼度が低いと判定した場合は、システム制御部１０１は、ユーザにさらなる情報を求める質問内容を生成する（Ｓ１００２）。生成した質問をディスプレイ１０５や音声出力装置１０６を通じてユーザに出力し（Ｓ１００３）、ユーザの発声を促す。

次に、ユーザが発した音声コマンドは（Ｓ１００４）、音声認識部１１４によって音声認識処理することによって認識結果が得られる（Ｓ１００５）。

次に、音声認識部１１４は、Ｓ１００５の処理の結果、音声処理結果が得られたか否かを判定する（Ｓ１００６）。音声認識結果が得られた場合は、音声認識部１１４は、認識結果に含まれる情報を用いて、ユーザが必要とする情報又は希望する操作内容の候補の絞り込みを実行する（Ｓ１００７）。

従って、Ｓ１００９の推定結果がユーザの意図と同じであった場合は、ユーザはトークボタン１１１を押すだけで必要とする情報を得たり、希望する操作が実行できたりするという利点が得られる。

また、第１の実施例（図２）と同様に、推定結果が正しくなかった場合は、Ｓ１００２、Ｓ１００３のステップによって、ユーザは訂正発声や、本当に必要としている情報、操作に関する発話を行う機会が与えられる。

図９は、第２の実施例の情報端末１００とユーザとの対話の例の説明図である。

図９（Ａ）の例は、まずユーザがトークボタン１１１を押下すると、トーク信号がシステム制御部１０１に送信される（Ｓ１００１）。システム制御部１０１はこれを受けて、環境情報を取得する（Ｓ１００８）。なお、この図９の例では、経路探索部１０７が保持する経路情報と、ＧＰＳ受信機１０２からの位置情報、自律航法センサ１０３からの位置情報、と地図情報読込部１０８から得られた地図情報をマッチングして得られた位置情報によって、ユーザが高速道路を走行中であり、間もなく料金所に差し掛かることが判明する。

この環境情報によって、意図推定部１１５は、ユーザが必要としている情報が高速道路料金情報であることを推定する。そして、この推定内容の信頼度は所定の閾値よりも高くなっている。

そこで、システム制御部１０１は、図９（Ａ）に示すように、高速道路料金情報をユーザに提供する。その後に、ユーザに確認発声や訂正発声を促す質問内容（「他に何かありますか」）を出力する。

このときユーザは、トークボタン１１１押下時に意図していた質問内容と同等の情報を得られたので、「いいえ」と返答し、情報端末１００との対話を終了する。

この例のように、ユーザはトークボタン１１１を押した時点で、意図した質問内容と同等の結果を得ることができる。

一方、図９（Ｂ）の例は、図９（Ａ）の例と同様に、ユーザがトークボタン１１１を押下した後、システム制御部１０１は、高速道路料金情報をユーザに提供する。その後に、ユーザに確認発声や訂正発声を促す質問内容（「他に何かありますか」）を出力する。

このときユーザは、トークボタン１１１押下時に意図していた質問内容とは異なる情報を提供されたため、必要な情報である「近くのコンビニ」と返答する。これを受けてシステム制御部１０１は、絞り込に処理（Ｓ１０１０）によって、ユーザの意図を特定し、取得した環境情報（Ｓ１００８）を元に、近くのコンビニ情報を特定する（Ｓ１００８）。この情報をユーザに提供する（Ｓ１０１１）。

この図９（Ｂ）の場合は、最初に提供した高速料金の情報はユーザにとって必要な情報であったかどうかは判明しない。しかし、必要であった場合、従来のシステムではこれらの二つの情報を取得するためには、ユーザは最低でも２回（「高速料金」「近くのコンビニ」）の音声コマンド発声をする必要があったが、本発明のシステムにおいては、発声数を減らすことができており、利便性が向上している。

以上のように本発明の第２の実施例の情報端末１００は、ユーザがトークボタン１１１を押下したことを契機として、環境情報を取得し、ユーザが必要とする情報又は希望する操作内容を推定して、推定内容を提供する。このようにすることによって、ユーザは、音声コマンドを発することなく必要とする情報又は希望する操作内容を得られるので、ユーザの利便性が向上する。

また、提供された情報が必要とする情報又は希望する操作内容したものでなかった場合にも、ユーザは、さらに音声コマンドを発声するので、ユーザの意図がより絞りやすくなり、推定の精度が向上する。このようにすることによって、ユーザが何度もトークボタンを押し何度も音声コマンドを発することなく意図する情報を得られるので、ユーザの利便性が向上する。

本発明は、カーナビゲーションシステムなどの車載情報端末に適用し、利便性の高いユーザインタフェースを提供できる。

本発明の第１の実施例の情報端末の構成を表すブロック図である。本発明の第１の実施例の音声対話処理のフローチャートである。本発明の第１の実施例の情報端末とユーザとの対話の例の説明図である。本発明の第１の実施例の環境情報の例を示す説明図である。本発明の第１の実施例のユーザが必要とする情報又は希望する操作内容の推定値の一例を示す説明図である。本発明の第１の実施例のベイジアンネットワークを用いた推定方法の説明図である。本発明の第１の実施例のベイジアンネットワークの確率変数の一例の説明図である。本発明の第１の実施例の音声対話処理のフローチャートである。本発明の第２の実施例の情報端末とユーザとの対話の例の説明図である。

符号の説明

１００情報端末
１０１システム制御部
１０２ＧＰＳ受信機
１０３自律航法センサ
１０４交通情報受信機
１０５ディスプレイ
１０６音声出力装置
１０７経路探索部
１０８地図情報読込部
１０９ハードディスク（ＨＤＤ）
１１０マイク
１１１トークボタン
１１２ＧＵＩ操作部
１１３ＡＶ装置
１１４音声認識部
１１５意図推定部
１１６路面センサ
１１７発汗センサ
１１８メモリ
１１９インタフェース

Claims

ユーザの音声をコマンドとして認識し、認識したコマンドに基づいた情報を提供する情報端末において、
ユーザの指示によってトーク信号を出力するトーク信号部と、
ユーザの発声した音声をコマンドとして認識する音声認識部と、
情報端末の周囲の環境に関する環境情報を取得する環境情報取得部と、
前記認識したコマンド及び前記取得した環境情報からユーザが意図する情報を推定する推定部と、
情報端末の処理を制御する制御部と、
を備え、
前記制御部は、
前記トーク信号の受信を契機として、前記音声認識部が認識したユーザのコマンドが得られたか否かを判定し、
当該コマンドが得られない場合に、前記環境情報取得部が取得した環境情報を用いて前記推定部が推定した情報をユーザに提供することを特徴とする情報端末。
ユーザの音声をコマンドとして認識し、認識したコマンドに基づいた情報を提供する情報端末において、
ユーザの指示によってトーク信号を出力するトーク信号部と、
ユーザの発声した音声をコマンドとして認識する音声認識部と、
情報端末の周囲の環境に関する環境情報を取得する環境情報取得部と、
前記認識したコマンド及び前記取得した環境情報からユーザが意図する情報を推定する推定部と、
情報端末の処理を制御する制御部と、
を備え、
前記制御部は、
前記トーク信号の受信を契機として、
前記環境情報取得部が取得した環境情報を用いて前記推定部が推定した情報を、ユーザに提供し、ユーザの発声に基づく前記音声認識部が認識したコマンドを取得することを特徴とする情報端末。
前記制御部は、前記音声認識部が認識したユーザの発声と前記音声認識部の保持する音声モデルとの類似度が低い場合に、コマンドを取得できないと判定する請求項１に記載の情報端末。
前記制御部は、前記音声認識部が認識したコマンドを取得した場合に、前記環境情報取得部が取得した環境情報を用いてユーザのコマンドに対応する情報を選択し、当該選択された情報をユーザに提供することを特徴とする請求項１に記載の情報端末。
前記制御部は、前記音声認識部が認識したコマンドを取得した後、前記推定内容に基づいてユーザのコマンドに対応する情報を選択し、当該選択された情報をユーザに提供することを特徴とする請求項２に記載の情報端末。
前記制御部は、前記推定部が推定した情報に、質問を付加してユーザに提示することを特徴とする請求項１又は２に記載の情報端末。
前記制御部は、前記推定部が推定した情報の信頼度が所定の閾値よりも低い場合は、ユーザにさらなる情報を求める質問を出力することを特徴とする請求項１又は２に記載の情報端末。
車両に備えられ、
ＧＰＳ衛星からの電波を受信するＧＰＳ受信部と、
ジャイロを備え前記ジャイロによって車両の方向及び加速度を取得する自律航法センサ部と、
地図情報を記憶する地図情報記憶部と、
車両の位置を算出する位置算出部と、
を備え、
前記位置算出部は、前記ＧＰＳ受信部が受信した電波及び自律航法センサの取得した情報に基づいて、前記車両の地図上の位置を算出し、
前記環境情報取得部は、前記制御部が算出した前記車両の位置を環境情報として取得することを特徴とする請求項１又は２に記載の情報端末。