JP3892302B2

JP3892302B2 - 音声対話方法および装置

Info

Publication number: JP3892302B2
Application number: JP2002004552A
Authority: JP
Inventors: 利光蓑輪
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-01-11
Filing date: 2002-01-11
Publication date: 2007-03-14
Anticipated expiration: 2022-01-11
Also published as: JP2003208196A

Description

【０００１】
【発明の属する技術分野】
本発明は、音声認識や音声合成を使用した音声対話の方法およびその装置に関する。
【０００２】
【従来の技術】
従来、ユーザの発話中に相づちを打ってユーザとの対話を円滑に進める方法は特開平１１−７５０９３号公報に記載されたものがある。
【０００３】
図１９は、従来の音声対話方法の動作例を示す。
【０００４】
この従来の音声対話方法では、例えば、会議室の予約で「月曜日のですね午後２時なんですが」の入力発話１３２１に対し、音声認識の処理により「えっと」１３４１、「どよう」１３４２、「げつよう」１３３１、「び」１３３２、、、の認識の中間結果を応答生成部（図示せず）に入力して、途中応答が必要かの判断をし、必要なものに対し、ここでは予約の条件となる「月曜」、「午後二時」の各音声認識に対し途中応答信号を生成し、途中応答発話「ハイ」１３５５、１３５６を行っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の音声対話方法においては、途中の音声認識の信頼度が低い場合でも相づちをうつだけで、ユーザの発話が終了するまで音声認識の結果がわからない場合があり、ユーザとの対話の効率に問題を有していた。
【０００６】
本発明は、このような従来の問題を解決するためになされたもので、ユーザの途中発話の認識の信頼度が低い場合にはユーザの発話途中であってもユーザに即座に訂正発話を要求するようにしたり、逆にユーザの発話が終わった後の確認応答で、誤認識の疑いの高い部分については確認のための合成音声の話速を遅くし、かつ語尾を伸長してユーザの訂正発話を誘発しやすくしたりして、ユーザとの対話の効率を高めることができる音声対話方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明の第１の局面は、音声対話方法であって、ユーザの音声の認識結果に基づく前記ユーザへの返答の中で、前記認識結果に自信が持てない部分を自信が持てる部分よりゆっくりと復唱し、かつ語尾を伸ばす。
【０００８】
また、音声対話方法は、ユーザの訂正発声を誘発する言葉を該復唱にさらに入れても構わない。
【０００９】
本発明の第２の局面は、音声対話装置であって、ユーザの音声を認識する手段と、前記音声の認識結果に基づき前記ユーザへの返答文を生成する手段と、前記返答文を音声化するときに前記認識結果が低かった単語部分の話速を他より遅くする話速設定手段と、前記単語部分の語尾を伸長する語尾伸長手段と、前記単語部分につき話速設定されかつ語尾が伸長された返答文を音声合成する音声合成手段とを備える。
【００１０】
また、音声対話装置は、訂正発声誘発のための音声を挿入する手段をさらに備えていても構わない。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１２】
図１は、本発明の第１の実施形態の音声対話方法のフローチャートを示す。
【００１３】
図１に示すように、この第１の実施形態の音声対話方法は、まず、ユーザへのレスポンスの音声出力を開始し１０１、ユーザからの何らかの発声に対する認識結果のレスポンス（復唱）を装置がテキスト音声合成や音声編集合成によって行っている間に、誤認識を発見したユーザがレスポンス音声の出力中にユーザから新たな音声入力があったとき１０２、訂正発声を行うと装置は即座にレスポンス音声出力を中断し１０３、この新たな訂正発声に対し認識処理を行いキーワードを抽出する１０４。連続音声認識によってユーザが発声したと推定される単語列が抽出され、ユーザの訂正発声の前に行っていたレスポンス音声のもとになるレスポンスの文の単語列とキーワードが比較される。不一致のキーワードが見つかると、このキーワードから前の単語列は削除され、「ああ」とか「えっ」などの間投詞付与し１０６、付与した間投詞を先頭にした新たなレスポンス文が作成させる。次に、このレスポンスをテキスト音声合成や音声編集合成によって読み上げられる。以後、このような動作が続けられる。ユーザからの訂正発声がないと、この一連の対話処理は終了する。
【００１４】
この対話の様子は、例えば図１３に示す本発明の第１の実施形態の音声対話方法の対話例のようになる。すなわち、ユーザからの「大崎駅東口まで行って」という音声を認識処理し、「大阪駅東口に行って」と誤認識した装置は、行き先を告げる文パターンの行き先部分を「大阪駅東口」に設定し、このレスポンス文の音声合成出力を始める。しかし、「大阪駅」と聞いたユーザが即座に「違うよ、大崎駅だよ」と訂正すると、装置は先ほどの訂正発声を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードの行き先になりうる「大崎駅」を抽出する。そして、先ほどのレスポンス文の「大阪駅」を「大崎駅」に置き換え、その前の「行き先は」を削除し、驚きを表現する間投詞「ああ」を先頭に挿入して効果的なレスポンス文を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。この例では、誤認識がなくなったためユーザが「そう」と、肯定的な発声をして終わっている。
【００１５】
以上のように本発明の第１の実施形態によれば、装置がユーザの音声を認識し、その認識結果に基づいてユーザへのレスポンスをしている最中にユーザからの訂正発声を受付け、この訂正発声の認識結果に基づき返答内容を一部変更した上で返答を再開するようにしたものであり、誤認識の訂正発声が即座に可能になり、その新たな認識結果もユーザには即座にレスポンスから判断できるようにしたため、ユーザとの対話の効率を高めることができる。
【００１６】
図２は、本発明の第２の実施形態の音声対話方法のフローチャートを示す。
【００１７】
図２に示すように、この第２の実施形態の音声対話方法は、まず、ユーザの音声の認識を開始し２０１、ユーザからの何らかの発声に対する認識処理の結果、連続音声認識によって最終的に文（単語列）が推定されるが、連続音声認識の最中には、数１０ｍｓｅｃ毎に入力音声と単語仮説（候補となりうる単語）との照合がビタビアルゴリズムなどを利用して行われ、入力音声の時間軸と単語仮説の時間軸によって形成される２次元空間上のノード毎に最上位単語がスコア（尤度）とともに残されてゆく。一般的には、そのノードのその時点までの累積スコアが残されるが、この発明では、単語毎の尤度が必要なため、推定単語候補とともに、その尤度も記憶する２０２。ユーザ発話が終了すると、累積スコアが最小となる単語列パスがバックトラック処理によって抽出される２０３。このように、ユーザ発声に対する推定単語列が、各単語の尤度とともに明らかになる。装置は、レスポンスのための音声出力を開始し２０５、この尤度と予め設定してあった閾値を比較し、閾値より低いものは誤認識している可能性が高いと判断する。
【００１８】
このような単語は、ユーザに確認させ、訂正発声をさせたいが、わざわざ「○○でよろしいですか」と確認のレスポンスを行っていては効率の良い対話にならない。そこで、推定した単語列をレスポンスする際に、誤認識している可能性が高いと判断された単語は、わざとゆっくりした話速（３モーラ／秒程度）で音声合成出力を行わせ、読み上げ速度を遅くし２０６、ユーザの注意を喚起するとともに、ユーザが訂正発声を即座にしやすいようにする。そして、ユーザからの訂正発声があったら２０７、この訂正発声に対しても同様の処理を行う。もちろん、誤認識がなければユーザからの訂正発声がないので対話は終了する。
【００１９】
この対話の様子は、図１４に示す本発明の第２の実施形態の音声対話方法の対話例のようになる。すなわち、ユーザからの「大崎駅東口まで行って」という発声を認識処理し、「西口」と誤認識した装置は、この尤度が低いため、誤認識の可能性が高いと判断し、レスポンス文を合成する際に「西口」をわざとゆっくりした話速で出力する。急に話速が変わって注意を喚起されたユーザは、「西口」と聞き、即座に「違うよ、東口だ」と訂正すると、装置はレスポンスの音声合成出力を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードの行き先になりうる「東口」を抽出する。そして、レスポンス文「ああ、東口ですね」を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。この例では、誤認識がなくなったためユーザが「そう」と、肯定的な発声をしたあと、全体のレスポンス文「行き先を大崎駅東口にします」を合成する。
【００２０】
以上のように本発明の第２の実施形態によれば、ユーザの音声を認識し、その認識結果に基づくユーザへの返答の中で、認識結果に自信が持てない部分はゆっくりと復唱し、ユーザの訂正発声を誘発するようにしたため、ユーザが訂正発話をしやすくなり、ユーザとの対話の効率を高めることができる。
【００２１】
図３は、本発明の第３の実施形態の音声対話方法のフローチャートを示す。
【００２２】
図３に示すように、この第３の実施形態の音声対話方法は、まず、ユーザの音声の認識を開始し２０１、ユーザからの何らかの発声に対する認識処理の結果、連続音声認識によって最終的に文（単語列）が推定されるが、連続音声認識の最中には、数１０ｍｓｅｃ毎に入力音声と単語仮説（候補となりうる単語）との照合がビタビアルゴリズムなどを利用して行われ、入力音声の時間軸と単語仮説の時間軸によって形成される２次元空間上のノード毎に最上位単語がスコア（尤度）とともに残されてゆく。一般的には、そのノードのその時点までの累積スコアが残されるが、この発明では、単語毎の尤度が必要なため、推定単語候補とともに、その尤度も記憶する２０２。ユーザ発話が終了すると、累積スコアが最小となる単語列パスがバックトラック処理によって抽出される２０３。このように、ユーザ発声に対する推定単語列が、各単語の尤度とともに明らかに。装置は、レスポンスのための音声出力を開始し２０５、この尤度と予め設定してあった閾値を比較し、閾値より低いものは誤認識している可能性が高いと判断する。
【００２３】
このような単語は、ユーザに確認させ、訂正発声をさせたいが、わざわざ「○○でよろしいですか」と確認のレスポンスを行っていては効率の良い対話にならない。そこで、推定した単語列をレスポンスする際に、誤認識している可能性が高いと判断された単語は、わざとゆっくりした話速で音声合成出力を行わせ、さらにユーザの注意を喚起するために語尾を延ばしたり２０６ａ、語尾にポーズを挿入したり、語尾でわざと「えーと」などの言いよどみを入れて２０６ｂ、自然に時間をかせぎ、ユーザが訂正発声をしやすいようにする。そして、ユーザからの訂正発声があったら２０７、この訂正発声に対しても同様の処理を行う。もちろん、誤認識がなければユーザからの訂正発声がないので対話は終了する。
【００２４】
図１５は、本発明の第３の実施形態の音声対話方法の対話例（ａ）、（ｂ）を示す。
【００２５】
この対話の様子は、例えば図１５の対話例（ａ）ようになり、すなわち、ユーザからの「大崎駅東口まで行って」という発声を認識処理し、「西口」と誤認識した装置は、この尤度が低いため、誤認識の可能性が高いと判断し、レスポンス文を合成する際に「ニシグチ」をわざとゆっくりした話速で出力するとともに最終音節のチを延ばして合成する。急に話速が変わって注意を喚起されたユーザは、「西口ー」と聞き、この合成音声が終了する前に「違うよ、東口だ」と訂正できる。すると、装置はレスポンスの音声出力を即座に中止し、ユーザからの訂正発声を認識処理し、その単語列からキーワードである行先になりうる「東口」を抽出する。そして、レスポンス文「ああ、東口ですね」を作成する。次に、このレスポンス文を音声出力し、ユーザに認識結果を確認させる。
【００２６】
図１５の対話例（ｂ）では、西口の語尾に「えーと」という言いよどみを入れ、図１５の対話例（ａ）と同様の効果を出している。
【００２７】
以上のように本発明の第３の実施形態によれば、ユーザの音声を認識し、その認識結果に基づくユーザへの返答の中で、認識結果に自信が持てない部分はゆっくりと復唱し、語尾の最終音節伸長などで時間を稼ぐためユーザが訂正発声をしやすくなり、ユーザとの対話の効率を高めることができる。
【００２８】
図４は、本発明の第４の実施形態の音声対話方法のフローチャートを示す。
【００２９】
図４に示すように、この第４の実施形態の音声対話方法は、まず、ユーザの発話を１０ｍｓｅｃ〜３０ｍｓｅｃ毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。認識辞書には第1番目になりうる単語の候補が入っており、これらの音声のフレーム毎の特徴量と入力音声のフレーム特徴量間の距離（スコア）が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも途中レスポンス文を選択し、音声合成でユーザに訂正発声を要求する。この途中レスポンス文は、最上位単語のスコアによって変えることが効果的である。
【００３０】
表1に途中レスポンス文の例を示す。
【００３１】
【表１】

【００３２】
表１に示すように、例えば、最上位候補単語のスコアが低いときは、ユーザに丁寧な再発声を促すため、丁寧に「すみません。もう一度おっしゃって下さい。」と途中レスポンスをするが、スコアがやや低いときは、「はあ」と簡単に再発声を促す。また、スコアが普通の場合は認識できている可能性が高いので何もレスポンスせず、明らかにスコアが高い場合は確信を持てるため、「はい」と相づちをうち、ユーザとの対話の自然性を上げるようにする。ある単語との照合が終わると、想定されている単語列規則(文法)にしたがって、認識辞書は、次に来るべき単語の入った認識辞書に更新され、入力音声の認識処理が継続される。単語照合に失敗し訂正発話を要求した場合には、単語辞書更新はせず、再入力された音声の認識処理を行う。このようにユーザの音声入力が終わるまで単語照合が行われ、最終的には各ステップで最上位となった単語の時系列が文として出力される。
【００３３】
例えば、図１６に示す本発明の第４の実施形態の音声対話方法の対話例のように「あのね」に対してはスコアが高く、「あのね」の後にポーズがあるため「はい」と相づちを打つだけであるが、「待ち合わせ場所は」に対してはスコアが低いため「はあ」と訂正発話を要求している。このようにして「待ち合わせ場所は渋谷」という認識結果を得る。
【００３４】
以上のように本発明の第４の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行い、認識結果に自信が持てないときにはユーザの発声の最中でも即座にユーザに再発声を要請するようにしたことにより、誤認識した部分に対しユーザが即座に訂正発声をしやすくすることができる。
【００３５】
図５は、本発明の第５の実施形態の音声対話方法のフローチャートを示す。
【００３６】
図５に示すように、この第５の実施形態の音声対話方法は、まず、ユーザの発話を１０ｍｓｅｃ〜３０ｍｓｅｃ毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。認識辞書には第1番目になりうる単語の候補が入っており、これら音声のフレーム毎の特徴量と入力音声のフレーム特徴量間の距離（スコア）が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも途中レスポンス文を作成し、音声合成でユーザに訂正発声を要求する。この際、訂正要求文に装置が推定した認識結果を入れるようにする。このようにすることにより、ユーザは自分の発声のし方がどのような問題を持つかを知ることができ、訂正発声をより的確にすることができる。ある単語との照合が終わると、想定されている単語列規則(文法)にしたがって、認識辞書は、次に来るべき単語の入った認識辞書に更新され、入力音声の認識処理が継続される。単語照合に失敗し訂正発話を要求した場合には、単語辞書更新はせず、再入力された音声の認識処理を行う。このようにユーザの音声入力が終わるまで単語照合が行われ、最終的には各ステップで最上位となった単語の時系列が文として出力される。
【００３７】
例えば、図１７に示す本発明の第５の実施形態の音声対話方法の対話例のように「あのね」に対してはスコアが高く、「あのね」の後にポーズがあるため「はい」と相づちを打つだけであるが、「待ち合わせ場所は」に対しては誤認識して「打ち合わせ場所」と認識しているが、スコアが低いため「打ち合わせ場所ですか」と訂正発話を要求している。このようにしてユーザに「待ち合わせだよ」という訂正発声を促している。
【００３８】
以上のように本発明の第５の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行い、認識結果に自信が持てないときにはユーザの発声の最中でもスコアの低い単語を挿入した訂正要求を発して、即座にユーザに再発声を促すようにしたことにより、誤認識した部分に対しユーザが即座に訂正発声をしやすくすることができる。
【００３９】
図６は、本発明の第６の実施形態の音声対話方法のフローチャートを示す。
【００４０】
図６に示すように、この第６の実施形態の音声対話方法は、まず、ユーザの発話を１０ｍｓｅｃ〜３０ｍｓｅｃ毎のフレームバッファに順次格納しつつ、そのフレームデータの特徴量を抽出し、フレームデータの音響分析を行う６０１。毎回、当該フレームの数フレーム前までのデータの音声のある部分とない部分の平均エネルギー比を計算してＳＮ比を算出する。次にＳＮ比が十分に高い場合は６０２、そのまま音声認識処理に移るが６０５、ＳＮ比が十分に高くない場合は６０２、予め保持してある騒音データと入力データとを比較し６０３、類似性を算出し、最も近い騒音を推定する。次に推定された騒音の種類をユーザに告げて再発声を要求する６０４。このようにすることにより、ユーザに騒音源を止めたり、騒音源がなくなってから再発声をさせることで、より認識しやすい状況を作り出すことができる。
【００４１】
例えば、図１８に示す本発明の第６の実施形態の音声対話方法の対話例のように「あのね」と「月曜の」に対してはスコアが高く、「あのね」については、その後にポーズがあるため「はい」と相づちを打つが、「待ち合わせ場所は」に対しては騒音が混入し、ＳＮ比が低くなるため、入力騒音と保持した複数の騒音データを比較し、航空機騒音と推定している。したがって、「うわ、飛行機みたいな音がうるさい」と言ってから訂正発話「もう一度言ってよ」を要求している。このようにしてユーザに音声認識の妨げとなる騒音を指摘してから訂正発声を促している。
【００４２】
以上のように本発明の第６の実施の形態によれば、ユーザの音声以外の周囲騒音がユーザの音声に混入し、このためにユーザ音声の認識結果に自信が持てなくなった場合には、その騒音の種類を推定し、ユーザの発話に割り込み、周囲騒音の種類をユーザに伝え、この騒音が原因で認識が困難になったことを伝えるようにしたものであり、誤認識の原因をユーザが取り除けるようにすることができる。
【００４３】
図７は、本発明の第７の実施形態の音声対話装置のブロック図を示す。
【００４４】
図７に示すように、この第７の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段１１で認識し、その結果に対する認識結果のレスポンス（復唱）を行っている最中に、新たにユーザから訂正発声が入ると、音声認識手段１１はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段１２によって即座に中止させる。次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段１３によって抽出され、レスポンス文選択手段１４によって、レスポンス用文パターンデータベース１５から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。多くの場合、ユーザには前の発声に対する復唱のための文パターンと一致し、復唱の文の一部を変更しているように見える。このレスポンス文は音声合成手段１６に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段１８が音声合成出力制御手段１７に指令を出すことによって決められる。すなわち、ユーザ心理モデル計算手段１８は、当該訂正発声入力までに訂正発声が続いているようだとユーザが苛々している可能性が高いと判断し、ユーザ発声から0.3秒以内に「えーと」など、兎に角なんらかの発声をするが、まだ対話をし始めたばかりの段階では、レスポンス文が生成されるまで1秒を最長として待ち時間を設けるようにする。このようにしてユーザはいつでも訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【００４５】
以上のように本発明の第７の実施形態によれば、ユーザの音声を認識する音声認識手段の認識結果に基づいてユーザへの返答文を選定する手段と、この返答文を音声化する音声合成手段と、前記返答の最中であってもユーザの訂正発声を認識する音声認識手段と、ユーザの訂正発声が検知された場合に音声合成を中止する手段と、この訂正発声の認識結果に基づき返答内容を修正する手段と、この修正した返答の合成音声をユーザ心理モデルに基づく適切なタイミングで出力する手段を備えるようにしたものであり、ユーザが心理的な負荷なしに訂正発話をし、その結果をすぐに確認することができる。
【００４６】
図８は、本発明の第８の実施形態の音声対話装置のブロック図を示す。
【００４７】
図８に示すように、この第８の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段２１で認識し、その結果に対する認識結果のレスポンス（復唱）を行う際に、話速設定手段２９は、スコアの低かった単語だけ、故意に遅い話速（３モーラ／秒程度）で合成するよう音声合成手段２６に指令を出す。このようにしてユーザに誤認識している可能性の高い部分を判りやすく提示する。これに対し、ユーザから訂正発声が入ると、音声認識手段２１はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段２２によって即座に中止させる。次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段２３によって抽出され、レスポンス文選択手段２４によって、レスポンス用文パターンデータベース２５から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。このレスポンス文は音声合成手段２６に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段２８が音声合成出力制御手段２７に指令を出すことによって決められる。このようにしてユーザは誤認識している可能性の高い部分を知って、すぐに訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【００４８】
以上のように本発明の第８の実施形態によれば、ユーザの音声を認識する音声認識手段の認識結果に基づいてユーザへの返答文を選定する手段と、この返答文を音声化する音声合成手段と、前記返答の最中であってもユーザの訂正発声を認識する音声認識手段と、ユーザの訂正発声が検知された場合に音声合成を中止する手段と、この訂正発声の認識結果に基づき返答内容を修正する手段と、この修正した返答の合成音声をユーザ心理モデルに基づく適切なタイミングで出力する手段を備えるようにしたため、ユーザが心理的な負荷なしに訂正発話をし、その結果をすぐに確認することができる。
【００４９】
図９は、本発明の第９の実施形態の音声対話装置のブロック図を示す。
【００５０】
図９に示すように、この第９の実施形態の音声対話装置は、まず、ユーザからの何らかの発声を音声認識手段３１で認識し、その結果に対する認識結果のレスポンス（復唱）を行う際に、話速設定手段３９は、スコアの低かった単語だけ、故意に遅い話速（３モーラ／秒程度）で合成するよう音声合成手段３６に指令を出す。さらに、語尾伸長手段３０は、当該単語の語尾を故意に伸長する（この部分は、ポーズ挿入手段３０ａとして当該単語の直後にポーズ（スコアが低いほど長くなる）を挿入したり、訂正発話誘発手段３０ｂとして「えーと」などの迷いを表現して、訂正発話を誘発する語を挿入してもよい）このようにしてユーザに誤認識している可能性の高い部分を判りやすく提示する。これに対し、ユーザから訂正発声が入ると、音声認識手段３１はこれを即座に認識するとともに、現在出力していたレスポンスを音声合成出力中止手段３２によって即座に中止させる。
【００５１】
次に、訂正発声を認識した結果として単語列が推定されるが、その中からキーワードがレスポンス文生成手段３３によって抽出され、レスポンス文選択手段３４によって、レスポンス用文パターンデータベース３５から選択されていたレスポンス文パターンに候補単語列を埋め込んでレスポンス文を作成する。このレスポンス文は音声合成手段３６に渡され、合成音声となるが、その出力タイミングは、ユーザ心理モデル計算手段３８が音声合成出力制御手段３７に指令を出すことによって決められる。このようにしてユーザは誤認識している可能性の高い部分を知って、すぐに訂正発声をすることができ、かつ、その認識結果をすぐに確認することができる。
【００５２】
以上のように本発明の第９の実施形態によれば、認識の信頼度の低かった単語は他より発話を遅くすることに加え、この単語の語尾を伸長するか、または認識結果の信頼度に応じたポーズ長を挿入するか、または「えーと」などの訂正発声誘発のための音声を挿入する手段を備えるようにしたため、さらにユーザの訂正発声をしやすくすることができる。
【００５３】
図１０は、本発明の第１０の実施形態の音声対話装置のブロック図を示す。
【００５４】
図１０に示すように、この第１０の実施形態の音声対話装置は、まず、ユーザの発話が音声認識手段４１によって１０ｍｓｅｃ〜３０ｍｓｅｃ毎にフレームバッファに順次格納されつつ、特徴量抽出が行われる。認識辞書４９には第１番目になりうる単語の候補が入っており、音声認識手段４１によって、逐次これらの音声のフレーム毎に特徴量と入力音声のフレーム特徴量間の距離（スコア）が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも再発声文選択手段４４によって再発要求文パターンデータベース４５から適切な再発声要求文が選択される。再発声文生成手段４３は、この選択された再発声要求文を音声合成手段４６に渡し音声合成し、ユーザに訂正発声を要求する。このため、ユーザは装置がどの単語を認識できなかったかを即座に知ることができる。
【００５５】
以上のように本発明の第１０の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行う手段と、この部分的な認識結果の信頼度を判断する手段と、この信頼度を使ってユーザに再発声を要請するか否かを判断する手段と、ユーザに再発声をうながすための文を選定する手段と、この文を音声化する音声合成手段とを備えるようにしたため、誤認識した部分に対しユーザは即座に訂正発声を行うことができる。
【００５６】
図１１は、本発明の第１１の実施形態の音声対話装置のブロック図を示す。
【００５７】
図１１に示すように、この第１１の実施形態の音声対話装置は、まず、ユーザの発話が音声認識手段５１によって１０ｍｓｅｃ〜３０ｍｓｅｃ毎にフレームバッファに順次格納されつつ、特徴量抽出が行われる。認識辞書５９には第１番目になりうる単語の候補が入っており、音声認識手段５１によって、逐次これらの音声のフレーム毎に特徴量と入力音声のフレーム特徴量間の距離（スコア）が計算され、ビタビアルゴリズムなどで最適なフレーム対応が明らかにされる。フレーム番号が進むたびに累積した累積スコアにもとづく足切りが実施され、候補単語が絞られていくのが一般的である。例えば上位数単語との照合が終了した段階で、最上位単語のスコアが予め定められた閾値より低いと、どの単語をも最終候補とすることはできず、ユーザがまだ発声している最中でも再発声文選択手段５４によって再発要求文パターンデータベース５５から適切な再発声要求文が選択される。再発声文生成手段５３は、この選択された再発声要求文に音声認識手段５１から得た単語候補を埋め込み、これを音声合成手段５６に渡し、音声合成し、ユーザに訂正発声を要求する。このため、ユーザは装置が認識できたのか、またはどのように誤認識したかを即座に知ることができる。
【００５８】
以上のように本発明の第１１の実施形態によれば、ユーザが発声している最中に逐次、音声認識処理を行う手段と、この部分的な認識結果の信頼度を判断する手段と、この信頼度を使ってユーザに再発声を要請するか否かを判断する手段と、認識結果を利用してユーザに再発声を誘発するための文を生成する手段と、この文を音声化する音声合成手段と、この合成音声を適切なタイミングで出力する手段を備えるようにしたため、ユーザの発声終了以前に誤認識を修正しやすいくすることができる。
【００５９】
図１２は、本発明の第１２の実施形態の音声対話装置のブロック図を示す。
【００６０】
図１２に示すように、この第１２の実施形態の音声対話装置は、まず、音響分析手段６１によってユーザの発話を１０ｍｓｅｃ〜３０ｍｓｅｃ毎にフレームバッファに順次格納しつつ、そのフレームデータの特徴量抽出を行う。騒音判別手段６８は毎回、当該フレームの数フレーム前までのデータの音声のある部分とない部分の平均エネルギー比を計算してＳＮ比を算出する。
【００６１】
次にＳＮ比が十分に高い場合はそのまま認識処理に移るが、ＳＮ比が低く、音声認識手段６２の出力するスコアも低いときは、騒音判別手段６８は予め保持してある騒音データベース６９と入力データの類似性を算出し、最も近い騒音を推定する。推定された騒音の種類を音声合成手段６６によってユーザに告げて再発声を要求する。このようにすることにより、ユーザに騒音源を止めたり、騒音源がなくなってから再発声をさせることで、より認識しやすい状況を作り出すことができる。
【００６２】
以上のように本発明の第１２の実施形態によれば、ユーザの音声とそれ以外の音源からの入力を識別する手段と、予め定められた種類の音源と入力を比較する手段と、ユーザが発声している最中に逐次、音声認識を行う手段と、常時その認識結果の信頼度を監視する手段と、この信頼度が低くなったときに原因を説明する文を生成する手段と、生成された文を音声化する音声合成手段を備えるようにしたため、ユーザが誤認識の原因と取り除きやすくすることができる。
【００６３】
【発明の効果】
以上、本発明は、ユーザの発話の認識結果の信頼度が低い場合にはユーザの発話途中であっても装置側からユーザに即座に訂正発話を要求するようにしたり、逆にユーザの発話が終わった後の確認応答で、誤認識の疑いの高い部分については確認のための合成音声の話速を遅くし、かつ語尾を伸長してユーザの訂正発話を誘発しやすくしたりして、ユーザとの対話の効率を高めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の音声対話方法のフローチャートを示す図
【図２】本発明の第２の実施形態の音声対話方法のフローチャートを示す図
【図３】本発明の第３の実施形態の音声対話方法のフローチャートを示す図
【図４】本発明の第４の実施形態の音声対話方法のフローチャートを示す図
【図５】本発明の第５の実施形態の音声対話方法のフローチャートを示す図
【図６】本発明の第６の実施形態の音声対話方法のフローチャートを示す図
【図７】本発明の第７の実施形態の音声対話装置のブロック図
【図８】本発明の第８の実施形態の音声対話装置のブロック図
【図９】本発明の第９の実施形態の音声対話装置のブロック図
【図１０】本発明の第１０の実施形態の音声対話装置のブロック図
【図１１】本発明の第１１の実施形態の音声対話装置のブロック図
【図１２】本発明の第１２の実施形態の音声対話装置のブロック図
【図１３】本発明の第１の実施形態の音声対話方法の対話例を示す図
【図１４】本発明の第２の実施形態の音声対話方法の対話例を示す図
【図１５】本発明の第３の実施形態の音声対話方法の対話例を示す図
【図１６】本発明の第４の実施形態の音声対話方法の対話例を示す図
【図１７】本発明の第５の実施形態の音声対話方法の対話例を示す図
【図１８】本発明の第６の実施形態の音声対話方法の対話例を示す図
【図１９】従来の音声対話方法の動作例を示す図
【符号の説明】
１１、２１、３１、４１、５１、６２音声認識手段
１２、２２、３２音声合成出力中止手段
１３、２３、３３レスポンス文生成手段
１４、２４、３４レスポンス文選択手段
１５、２５、３５レスポンス用文パターンデータベース
１６、２６、３６、４６、５６、６６音声合成手段
１７、２７、３７音声合成出力制御手段
１８、２８、３８ユーザ心理モデル計算手段
２９、３９話速設定手段
３０語尾伸長手段
３０ａポーズ挿入手段
３０ｂ訂正発話誘発手段
４９、５９認識辞書
４４、５４再発声文選択手段
４３、５３再発声文生成手段
４５、５５再発要求文パターンデータベース
６１音響分析手段
６８騒音判別手段
６９騒音データベース

Claims

ユーザの音声の認識結果に基づく前記ユーザへの返答の中で、前記認識結果に自信が持てない部分を自信が持てる部分よりゆっくりと復唱し、かつ語尾を伸ばす、音声対話方法。
前記ユーザの訂正発声を誘発する言葉を入れる、請求項１に記載の音声対話方法。
ユーザの音声を認識する手段と、前記音声の認識結果に基づき前記ユーザへの返答文を生成する手段と、前記返答文を音声化するときに前記認識結果が低かった単語部分の話速を他より遅くする話速設定手段と、前記単語部分の語尾を伸長する語尾伸長手段と、前記単語部分につき話速設定されかつ語尾が伸長された返答文を音声合成する音声合成手段とを備えた、音声対話装置。
訂正発声誘発のための音声を挿入する手段をさらに備えた、請求項３に記載の音声対話装置。