JPWO2011121884A1 - 外国語会話支援装置、そのコンピュータプログラムおよびデータ処理方法 - Google Patents

Abstract

外国語の発話を音声データとして音声入力手段(２０１)が入力する。入力された音声データを音声認識手段(２０２)が音声認識する。音声データの認識結果を結果表示手段(２０３)が表示する。表示された認識結果に対する一般ユーザからの支援要求を支援要求受付手段(２０４)が受け付ける。受け付けられた支援要求に対応した応答意図を応答意図推定手段(２０５)が決定する。決定された応答意図に対応した応答文を応答文生成手段(２０６)が生成する。生成された応答文を外国語で結果表示手段(２０３)が出力する。従って、外国語の発話の音声認識された認識結果に対する一般ユーザの支援要求を、その外国語の応答文として出力することができる。これにより、外国語の発話の認識結果に対応した外国語の応答文を一般ユーザの意図に即してスムーズに生成することができる外国語会話支援装置を提供する。

Description

本発明は、外国語の会話を支援する外国語会話支援装置、そのコンピュータプログラムおよびデータ処理方法、に関する。

近年、様々な面でグローバル化が進み、電話やテレビ会議などの音声通信において、外国語を用いて外国語話者と会話を行う機会が増加している。それとともに外国語の習得についても力が入れられているが、バイリンガルほど外国語話者の発話を聞き取ることができるレベルの話者の数は少ないのが現状である。

そうした中、外国語話者の発話を音声認識技術を用いて認識しその結果を表示する、またはさらに自動翻訳技術を用いて認識結果を翻訳して表示することで、聞き取り能力が十分でない一般ユーザが外国語話者の発話内容を理解することを支援する装置が特許文献１に開示されている。

図８に示すように、この外国語会話支援装置１００は、音声入力手段１０１と、音声認識手段１０２と、結果表示手段１０３と、を備える。このような構成を有する外国語会話支援装置１００はつぎのように動作する。

すなわち、音声入力手段１０１は音声通信手段(図示せず)を通して得られる外国語話者の発話を音声データとして取り込み、音声認識手段１０２は音声データを入力として音声認識を行い、その音声認識結果を結果表示手段１０３が出力する(特許文献１)。

特開平０１−０８８８７５号公報

しかし、現状の音声認識手段には認識誤りが含まれているため、一般ユーザの聞き取れなかった部分の音声認識結果が正しいとは限らない。従って、認識結果が理解不能な文となり相手に聞き直したい場合や、認識結果が本当に正しいかを外国語話者に確認したい場合がしばしばある。

しかし、外国語の聞き取り能力が高くない一般ユーザの場合、このような不測の事態に対してすぐに適切な応答文を思いつくことができず会話が中断してしまうという課題がある。

また、聞き取れなかった原因が周囲の雑音であったり、外国語話者の発話速度が速すぎたりした時に、つぎの発声からはより聞き取りやすい発声を促すために、その原因について指摘する場合についても同様である。

本発明は上述のような課題に鑑みてなされたものであり、外国語の発話の認識結果に対応した外国語の応答文を一般ユーザの意図に即してスムーズに生成することができる外国語会話支援装置、そのコンピュータプログラムおよびデータ処理方法、を提供するものである。

本発明の外国語会話支援装置は、外国語の発話を音声データとして入力する音声入力手段と、入力された音声データを音声認識する音声認識手段と、音声データの認識結果を表示する結果表示手段と、表示された認識結果に対する一般ユーザからの支援要求を受け付ける要求受付手段と、受け付けられた支援要求に対応した応答意図を決定する意図推定手段と、決定された応答意図に対応した応答文を生成する応答文生成手段と、生成された応答文を外国語で出力する応答出力手段と、を有する。

本発明のコンピュータプログラムは、外国語の発話を音声データとして入力する音声入力処理と、入力された音声データを音声認識する音声認識処理と、音声データの認識結果を表示する結果出力処理と、表示された認識結果に対する一般ユーザからの支援要求を受け付ける要求受付処理と、受け付けられた支援要求に対応した応答意図を決定する意図推定処理と、決定された応答意図に対応した応答文を生成する応答文生成処理と、生成された応答文を外国語で出力する応答出力処理と、を外国語会話支援装置に実行させる。

本発明のデータ処理方法は、外国語の発話を音声データとして入力する音声入力動作と、入力された音声データを音声認識する音声認識動作と、音声データの認識結果を表示する結果出力動作と、表示された認識結果に対する一般ユーザからの支援要求を受け付ける要求受付動作と、受け付けられた支援要求に対応した応答意図を決定する意図推定動作と、決定された応答意図に対応した応答文を生成する応答文生成動作と、生成された応答文を外国語で出力する応答出力動作と、を有する。

なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および動作を順番に記載してあるが、その記載の順番は複数の処理および複数の動作を実行する順番を限定するものではない。

また、本発明で云う外国語会話支援装置は、コンピュータプログラムを読み取って対応する処理動作を実行できるように、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（Interface）ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、これらの組み合わせ、等として実施することができる。

本発明の外国語会話支援装置では、外国語の発話を音声データとして音声入力手段が入力する。入力された音声データを音声認識手段が音声認識する。音声データの認識結果を結果表示手段が表示する。表示された認識結果に対する一般ユーザからの支援要求を要求受付手段が受け付ける。受け付けられた支援要求に対応した応答意図を意図推定手段が決定する。決定された応答意図に対応した応答文を応答文生成手段が生成する。生成された応答文を外国語で応答出力手段が出力する。従って、外国語の発話の音声認識された認識結果に対する一般ユーザの支援要求を、その外国語の応答文として出力することができる。

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。

本発明の実施の形態の外国語会話支援装置の論理構造を示す模式的なブロック図である。 外国語会話支援装置のデータ処理方法を示すフローチャートである。 外国語会話支援装置のデータ処理方法を示すフローチャートである。 外国語会話支援装置の表示画像を示す模式的な正面図である。 外国語会話支援装置の表示画像を示す模式的な正面図である。 外国語会話支援装置の表示画像を示す模式的な正面図である。 外国語会話支援装置の表示画像を示す模式的な正面図である。 一従来例の外国語会話支援装置の論理構造を示す模式的なブロック図である。

本発明の実施の一形態を図１ないし図３を参照して以下に説明する。ただし、本実施の形態に関して前述した一従来例と同一の部分は、同一の名称を使用して詳細な説明は省略する。

つぎに、発明を実施するための最良の形態について図面を参照して詳細に説明する。図１を参照すると、本発明の実施の形態の外国語会話支援装置２００は、外国語の発話を音声データとして入力する音声入力手段２０１と、入力された音声データを音声認識する音声認識手段２０２と、音声データの認識結果を表示する結果表示手段２０３と、表示された認識結果に対する一般ユーザからの支援要求を受け付ける支援要求受付手段２０４と、受け付けられた支援要求に対応した応答意図を決定する応答意図推定手段２０５と、決定された応答意図に対応した応答文を生成する応答文生成手段２０６と、生成された応答文を外国語で出力する応答出力手段である結果表示手段２０３と、を有する。

応答文生成手段２０６は、応答意図と認識結果とに対応した応答文を生成する。支援要求受付手段２０４は、複数の応答意図候補を選定自在に提示し、応答意図推定手段２０５は、提示された複数の応答意図候補の選定に対応して応答意図を決定する。

上述のような外国語会話支援装置２００は、マイクロフォンやデータ通信ユニットなどの音声入力手段２０１や、ディスプレイユニットなどの結果表示手段２０３をハードウェアとして有するコンピュータ装置からなり、実装されているコンピュータプログラムに対応して上述のような各種手段が各種機能として論理的に実現される。

このようなコンピュータプログラムは、外国語の発話を音声データとして入力する音声入力処理と、入力された音声データを音声認識する音声認識処理と、音声データの認識結果を表示する結果出力処理と、表示された認識結果に対する一般ユーザからの支援要求を受け付ける要求受付処理と、受け付けられた支援要求に対応した応答意図を決定する意図推定処理と、決定された応答意図に対応した応答文を生成する応答文生成処理と、生成された応答文を外国語で出力する応答出力処理と、を外国語会話支援装置２００に実行させるように記述されている。

つぎに、図２および図３のフローチャートを参照して、本実施の形態の外国語会話支援装置２００のデータ処理方法を説明する。まず、図２に示すように、ステップＳ１において、音声入力手段２０１によって音声通信手段(図示せず)などを通して得られる外国語話者の発話を音声データとして入力する。

つぎに、ステップＳ２において、音声認識手段２０２によって、入力された音声データを音声認識し、その音声認識結果を出力する。つぎに、ステップＳ３において、結果表示手段２０３によって、音声認識結果を画面表示または合成音声などの形で出力し一般ユーザに知らせる。つぎに、ステップＳ１に戻り、つぎの入力音声を待つ。

また、図３に示すように、別のスレッドにて、まず、ステップＳ４において、支援要求受付手段２０４によって、一般ユーザからの支援要求を受け付ける。つぎに、ステップＳ５において、応答意図推定手段２０５によって、応答意図の候補を提示し、一般ユーザに応答意図を選択させる。

つぎに、ステップＳ６において、応答文生成手段２０６によって、選択された応答意図と応答文要求時においての最終出力の音声認識結果や認識時のスコアといった音声認識情報を用いて、一般ユーザの意図に即した適切な応答文を生成する。このような応答文の生成は、例えば、対話プログラムなどの既存のアルゴリズムを応用することで実現される。

つぎに、ステップＳ７において、結果表示手段２０３によって、生成された応答文を表示または音声合成などの形で出力し、一般ユーザに知らせる。つぎに、ステップＳ４に戻り、つぎの応答文要求を待つ。

本実施の形態では、上述のように一般ユーザが簡単に入力できる支援要求受付手段２０４と応答意図推定手段２０５を備えるため、外国語の応答文を一般ユーザの意図に即し、かつスムーズに生成することができる。従って、従来装置よりもスムーズな外国語会話を一般ユーザが行えるように外国語会話支援を行うことが可能である。

さらに、一般ユーザが相手の発話の聞き取りにくい発話や、音声認識手段２０２が誤りやすい発話に対して、その原因を外国語話者に簡単に伝えやすくなるため、その後の外国語会話のスムーズさも向上させることが可能である。

［第一の実施例］
つぎに、具体的な第一の実施例を用いて本発明を説明する。本実施例では、図４に示すように、支援要求受付手段２０４として、支援要求ボタンを結果表示手段２０３としての画面上の一部分に配置し、タッチパネルによる選択を行うことで一般ユーザからの支援要求を受け付ける。

支援要求を受け付けると応答意図推定手段２０５は、図５に示すように、下記の応答意図候補を画面上に表示する。例えば、応答意図候補は「再発声の要求」、「認識結果を用いた発話確認」、「聞き取り誤り原因の伝達」の三種類とする。

「再発声の要求」は一般ユーザが認識結果に誤りが含まれると感じた場合に、認識結果の一部または全体の再発声を促す場合、「認識結果を用いた発話確認」は一般ユーザが認識結果が正解かどうか分からない場合などに外国語話者に認識結果が正しいかどうかを確認する場合、「聞き取り誤り原因の伝達」は周囲の雑音や外国語話者の早口などによって、一般ユーザが聞き取れない、または音声認識手段２０２が正しく認識できない時に原因を外国語話者に伝えたい場合、にそれぞれ選択される。

応答文生成手段２０６は、応答意図推定手段２０５で選択された応答意図に従って応答文を生成する。まず、聞き取り誤りの範囲または音声認識誤りの範囲を推定する。音声認識時に信頼度を計算しておき、信頼度が一定の閾値以下の単語の範囲を聞き取り誤りの範囲または音声認識誤りの範囲と推定する。

選択された応答意図が「再発声の要求」の場合、誤り範囲に入りそうな単語の属性を誤り範囲の前後から推定する。ここで云う属性とは時間、場所、理由、金額といった対応する外国語の疑問詞（それぞれ、"When", "Where", "Why", "How much"）を有するものである。

例えば、ＣＲＦ（Conditional Random Fields）といった学習手法を用いて事前に各属性の出現確率を学習しておくことにより、誤り範囲部分に最も入りやすい属性を推定する。

推定した疑問詞を用いて、疑問文を生成することで、相手に推定された誤り範囲を問い直す応答文を生成することができる。選択された応答意図が「認識結果を用いた発話確認」の場合は、推定された誤り範囲を問い直すＹｅｓ／Ｎｏ疑問文を生成する。

選択された応答意図が「聞き取り誤りの伝達」の場合、音声認識時に得られる状況検知情報を用いる。状況検知情報とは、例えば"音量が大きすぎる"、"雑音が大きすぎる"といった聞き誤りや認識誤りを引き起こす環境要因を検知するための情報のことで、それぞれパワー、ＳＮＲ(Signal-to-Noise Ratio)を計算することで定量的に求められる。

推定された誤り範囲において、これらの値が閾値を越えていた場合、閾値を越えている環境要因があったことを、外国語話者に伝える応答文を提示する。応答文は各状況検知情報についてあらかじめ定めておけばよい。

図６に示すように、結果表示手段２０３は、応答文生成手段２０６が生成した応答文を画面上に出力する。

本実施例では、誤り範囲の属性や状況検知情報について例示を行ったが、それぞれは例示したもの以外の属性、情報を使ってもよい。また、結果表示手段については、音声認識結果だけでなく翻訳結果を表示してもよいし、その翻訳結果を音声合成して出力してもよい。

［第二の実施例］
第二の実施例としては、支援要求受付手段２０４は、結果表示手段２０３であるタッチパネル上に表示される音声認識結果の一部を選択することで実装される。一般ユーザが聞き直したい部分の単語を続けてタッチすることで応答文要求を受け付ける（図７）。

なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では外国語会話支援装置２００の各部がコンピュータプログラムにより各種機能として論理的に実現されることを例示した。しかし、このような各部の各々を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。

この出願は、２０１０年０３月３０日に出願された日本出願特願２０１０−０７６７７６号を基礎とする優先権を主張し、その開示の全てを、ここに取り込む。

Claims (10)

1. 外国語の発話を音声データとして入力する音声入力手段と、
   入力された前記音声データを音声認識する音声認識手段と、
   前記音声データの認識結果を表示する結果表示手段と、
   表示された前記認識結果に対する一般ユーザからの支援要求を受け付ける要求受付手段と、
   受け付けられた前記支援要求に対応した応答意図を決定する意図推定手段と、
   決定された前記応答意図に対応した応答文を生成する応答文生成手段と、
   生成された前記応答文を前記外国語で出力する応答出力手段と、
   を有する外国語会話支援装置。
2. 前記応答文生成手段は、前記応答意図と前記認識結果とに対応した前記応答文を生成する請求項１に記載の外国語会話支援装置。
3. 前記要求受付手段は、複数の応答意図候補を選定自在に提示し、
   前記意図推定手段は、提示された複数の前記応答意図候補の選定に対応して前記応答意図を決定する請求項１または２に記載の外国語会話支援装置。
4. 前記要求受付手段は、前記応答意図候補として少なくとも再発声の要求を提示し、
   前記応答文生成手段は、前記再発声の要求の選定に対応して前記発話の再発声を要求する前記応答文を生成する請求項３に記載の外国語会話支援装置。
5. 前記応答文生成手段は、前記再発声の要求の選定に対応して誤り範囲に入りそうな単語の属性を誤り範囲の前後から推定して前記応答文を生成する請求項４に記載の外国語会話支援装置。
6. 前記要求受付手段は、表示される前記認識結果に対して前記一般ユーザに入力される認識誤り推定範囲を受け付ける請求項１ないし５の何れか一項に記載の外国語会話支援装置。
7. 前記要求受付手段は、前記応答意図候補として少なくとも聞き取り誤り原因の伝達を提示し、
   前記応答文生成手段は、前記聞き取り誤り原因の伝達の選定に対応して前記原因を修正した前記発話の再発声を要求する前記応答文を生成する請求項３ないし６の何れか一項に記載の外国語会話支援装置。
8. 前記要求受付手段は、前記応答意図候補として少なくとも前記認識結果を用いた発話確認を提示し、
   前記応答文生成手段は、前記発話確認の選定に対応して前記認識結果の正否を問い直す疑問文として前記応答文を生成する請求項３ないし７の何れか一項に記載の外国語会話支援装置。
9. 外国語の発話を音声データとして入力する音声入力処理と、
   入力された前記音声データを音声認識する音声認識処理と、
   前記音声データの認識結果を表示する結果出力処理と、
   表示された前記認識結果に対する一般ユーザからの支援要求を受け付ける要求受付処理と、
   受け付けられた前記支援要求に対応した応答意図を決定する意図推定処理と、
   決定された前記応答意図に対応した応答文を生成する応答文生成処理と、
   生成された前記応答文を前記外国語で出力する応答出力処理と、
   を外国語会話支援装置に実行させるコンピュータプログラム。
10. 外国語の発話を音声データとして入力する音声入力動作と、
    入力された前記音声データを音声認識する音声認識動作と、
    前記音声データの認識結果を表示する結果出力動作と、
    表示された前記認識結果に対する一般ユーザからの支援要求を受け付ける要求受付動作と、
    受け付けられた前記支援要求に対応した応答意図を決定する意図推定動作と、
    決定された前記応答意図に対応した応答文を生成する応答文生成動作と、
    生成された前記応答文を前記外国語で出力する応答出力動作と、
    を有する外国語会話支援装置のデータ処理方法。

Images