JP2019215449A - 会話補助装置、会話補助方法及びプログラム - Google Patents

Abstract

【課題】共通語となる言語に対する習熟度が異なる人の間でも、無理なく円滑な会話によるコミュニケーションを実現すること。【解決手段】発話者の発話速度を取得し、発話内容の音声認識を行なう音声認識部１４と、取得された発話速度と基準となる発話速度との比較結果に基づいて、音声認識結果の一部を加工し、加工された音声認識結果の文字テキスト映像を発話者の通信端末ＴＭへの映像に重畳して送信する通話音声処理部１２とを備える。【選択図】 図１

Description

本発明は、会話補助装置、会話補助方法及びプログラムに関する。

遠隔地間での異文化交流が増加し、テレビ電話等の映像会話による母語話者（Ｎａｔｉｖｅ Ｓｐｅａｋｅｒ：以下「ＮＳ」と称する）と、非母語話者（Ｎｏｎ−Ｎａｔｉｖｅ Ｓｐｅａｋｅｒ：以下「ＮＮＳ」と称する）とのコミュニケーションの機会が増えている。

ＮＳが話す母国語に不慣れなＮＮＳにとっては、コミュニケーションに参加することが困難となる大きな理由の１つとして、ＮＳの会話速度が速く、会話の聞き取りができないことが挙げられる。このような場合、ＮＳがＮＮＳの存在を認識した上で、意図的にゆっくりとしゃべることが、正常な会話を成立させる上では効果的であるが、ＮＳにとっても、自分自身が日常と異なる速度で話すように制御することが難しい場合がある。

このような状況に対して、ＮＳの会話速度を伸長して、ゆっくりとした聞き取り易い音声を生成し、ＮＮＳに伝える技術（非特許文献１）や、ＮＳの会話中のキーワードをＮＮＳに表示して伝えるようにした技術（非特許文献２）などが提案されている。

前者の、ゆっくりとした聞き取り易い音声を生成してＮＮＳに伝える技術では、ＮＮＳがゆっくりと聞き取ることはできるものの、ＮＳが会話を終了するタイミングに比して、ＮＮＳが会話の聞き取りを終了するタイミングが遅れることとなるため、ＮＮＳが返答するタイミングが図れず、円滑な会話が成立しないという不具合を生じる。

また後者の、キーワードをＮＮＳに表示して伝えるようにした技術では、ＮＮＳが聞き取りと表示される文字情報の双方に意識を向ける必要があり、加えて、ＮＳが会話を終了してからキーワードが表示により出力されるまでのタイムラグから、やはり円滑なコミュニケーションがとり難い、という不具合を生じる。

小山内一樹、徳永弘子、武川直樹、斉藤博人、"話速変換会話における映像音声の同期・非同期再生条件の比較検討−話者が伝える宛先指定の強さは変化するのか−"２０１７／４、ｐｐ．１。 塙裕美、宋暁宇、井上智雄、"母語話者の文字入力による非母語者との会話支援−母語話者による会話中のテキスト入力が音声会話に与える影響−"２０１６／５、ｐｐ．１４０。

前述した如く、共通語となる言語に対する習熟度が異なる人の間では、円滑に会話を行なうことが困難であった。

本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、共通語となる言語に対する習熟度が異なる人の間でも、無理なく円滑な会話によるコミュニケーションを実現することが可能な会話補助装置、会話補助方法及びプログラムを提供することにある。

本発明の一態様は、発話者の発話速度を取得する速度取得部と、前記発話者の発話内容を音声認識する音声認識部と、前記速度取得部により取得された発話速度と、基準となる発話速度との比較結果に基づいて、前記音声認識部により得られた認識結果の一部を加工する加工部と、前記加工部により加工された音声認識結果を前記発話者に提示させる提示部と、を備える。

本発明の一態様によれば、発話音声の認識結果を、例えば加工前の発話内容と加工後の発話内容とで「韻」を揃えながらも、適宜加工を施すことで、意図的に発話内容を異ならせたものでありながら、あたかも発話者の発話速度が速すぎるか、あるいは滑舌が悪いことで、システムが誤認識したかのような印象を与えることができ、これにより発話者に対し自然に発話速度を抑えるよう促すことが可能となる。
従って、共通語となる言語に対する習熟度が異なる人の間でも、無理なく円滑な会話によるコミュニケーションを実現することが可能となる。

本発明の一実施形態に係る通話システム全体の構成を示す図。 同実施形態に係る発話者への表示内容を決定する処理内容を示すフローチャート。

以下、本発明を、インターネット接続されたサーバ装置を仲介してのテレビ電話機能による通話システムに適用した場合の一実施形態を例にとって図面を参照して詳細に説明する。

図１は、この発明の位置実施形態に係る会話補助装置を備えた通話システム全体の構成を示す図である。同図において、２人の通話者がそれぞれ所持する通信端末ＴＭ，ＴＭが、ネットワークＮＷを介して、会話補助装置としての通話補助サーバＳＶと接続される。

通信端末ＴＭは、例えばスマートフォンやフューチャフォン、タブレット端末。パーソナルコンピュータ等、通話可能な通信端末であり、事前にインストールしていたプリケーションプログラムに基づいた通話機能を実行する。ネットワークＮＷは、基地局やインターネット等を含む。

通話補助サーバＳＶは、通話時にテレビ電話機能による通信端末ＴＭ，ＴＭ間の映像と音声の送受を制御するとともに、特に発話者側へは発話された音声から音声認識処理を実行し、その認識結果に基づいた文字テキストを映像化して、発話者への映像上に重畳して送信する。

通話補助サーバＳＶは、入出力制御部１１、通話音声処理部１２、通話音声ログ更新部１３、音声認識部１４、通話音声ログデータベース（ＤＢ）１５、及び音声認識結果データベース（ＤＢ）１６を有する。
これらの各機能部のうち、入出力制御部１１、通話音声処理部１２、通話音声ログ更新部１３および音声認識部１４は、いずれも例えば図示しないプログラムメモリに格納されたプログラムを、通話補助サーバＳＶが備えるプロセッサに実行させることにより実現される。
また、通話音声ログデータベース（ＤＢ）１５、及び音声認識結果データベース（ＤＢ）１６は、例えばＨＤＤ（Hard Disk Device）またはＳＳＤ（Solid State Device）等の随時書き込みおよび読み出しが可能な不揮発性のメモリに設けられる。

入出力制御部１１は、ネットワークＮＷと通話音声処理部１２、通話音声ログ更新部１３、及び音声認識部１４との間の各種データ等の転送を制御する。

通話音声処理部１２は、通話音声ログ更新部１３及び音声認識部１４を用い、総合的に通話継続中の音声に関する各種処理を実行する。

通話音声ログ更新部１３は、ネットワークＮＷを介して通信端末ＴＭ，ＴＭ間でやり取りされる通話の音声を、話者の識別情報及び時刻情報と関連付けて、通話音声ログデータベース１５に随時一定時間分だけ蓄積して更新記憶させる。

音声認識部１４は、通話音声処理部１２の制御の下に、通話音声ログデータベース１５に記憶される通話音声を読み出させて音声認識処理を実行し、その認識結果を音声認識結果データベース１６に蓄積して更新記憶させる。

次に前記一実施形態の動作について説明する。
なお、通信端末ＴＭ，ＴＭ間でのテレビ電話機能による通話の開始時には、通話で使用する共通語となる言語でＮＳとなる側のユーザが操作する通信端末ＴＭにおいて、例えばユーザによるマニュアル操作に応じて、後述する発話補助の字幕映像を重畳した表示を行なうものとする。

また、前述したようなＮＳとなる側のユーザによるマニュアル操作ではなく、通話中の発話速度の比較により、両者間の発話速度の差が一定の閾値を超えて著しく異なる場合に、より発話速度の速い側をＮＳのユーザであるものと自動的に判定して、判定した側の通信端末ＴＭで発話補助の字幕表示を行なうよう設定しても良い。

通話補助サーバＳＶにおいては、通信端末ＴＭ，ＴＭ間での通話に際して、前述した如く、通話でやり取りされる音声のデータを入出力得制御部１１、通話音声処理部１２を介して通話音声ログ更新部１３が随時、話者の識別情報及び時刻情報と関連付けて、通話音声ログデータベース１５に蓄積して更新記憶させている。

この通話音声ログ更新部１３での更新記憶の動作と平行して、通話音声処理部１２は、特にＮＳとして設定された話者の音声データを用い、図２に示すような発話者に対する処理を実行する。

図２は、発話者に対して発話補助の表示を行なう際に表示内容を決定するための処理内容を示すフローチャートである。
通話音声処理部１２は、通話音声ログ更新部１３により通話音声ログデータベース１５に記憶している最新のＮＳの発話者の音声データを読み出させて音声認識部１４に転送させ、その発話速度を計測させた上で（ステップＳ１０１）、音声認識処理を実行させる（ステップＳ１０２）。

通話音声処理部１２は、前記ステップＳ１０１で計測した発話速度を、予め設定されている、基準となる発話速度と比較した上で、その比較結果に応じた音声認識結果の発話者に対する提示を実行する（ステップＳ１１０）。

具体的には、まず、計測した発話速度が、基準となる発話速度より速いか否かを判断する（ステップＳ１１１）。

計測した発話速度が、基準となる発話速度と同じか、または基準となる発話速度より遅いと判断した場合（ステップＳ１１１のＮＯ）、特にＮＳである発話者に対してそれより発話速度を下げるように促す必要はないものとして、前記音声認識処理により得た認識結果の文字テキストをそのまま加工せずに表示対象として決定する（ステップＳ１１２）。

また前記ステップＳ１１１において、計測した発話速度が、基準となる発話速度より速いと判断した場合（ステップＳ１１１のＹＥＳ）、通話音声処理部１２では、ＮＳである発話者に対してそれより発話速度を下げるように促す必要が生じることになる。

したがって、通話音声処理部１２は、次にその程度を認識するべく、計測した発話速度が、基準となる発話速度に応じた閾値、例えば基準となる発話速度に「１」より大きい一定の定数「１．５」を乗じた積による発話速度より大きいか否かにより、基準となる発話速度との差が大きいか否かを判断する（ステップＳ１１３）。

計測した発話速度が、基準となる発話速度よりは大きいが、当該閾値以下であり、基準となる発話速度との差はそれほど大きいものではないと判断した場合（ステップＳ１１３のＮＯ）、通話音声処理部１２では音声認識部１４により音声認識した結果となる一連の文字テキストに対し、助詞の認識結果を意図的に違えた内容を表示対象として決定する（ステップＳ１１４）。

この場合、認識結果を違える前の助詞と違えた後の助詞とで「韻」を揃えるようにすることで、意図的に内容を違えたものでありながら、あたかも発話者の発話速度が速すぎるか、あるいは滑舌が悪いことでシステムが誤認識したかのような印象を与えることができ、発話者にきわめて自然に発話速度を抑えるよう暗に促すことができる。

また前記ステップＳ１１３において、計測した発話速度が、基準となる発話速度から算出した閾値より大きく、基準となる発話速度との差が大きいと判断した場合（ステップＳ１１３のＹＥＳ）、通話音声処理部１２では音声認識部１４により音声認識した結果となる一連の文字テキストに対し、助詞のみならず単語部分に関しても認識結果を意図的に違えた内容を表示対象として決定する（ステップＳ１１５）。

この場合も、認識結果を違える前の助詞、単語と、違えた後の助詞、単語とで双方の「韻」をそれぞれ揃えるようにすることで、意図的に内容を違えたものでありながら、あたかも発話者の発話速度が速すぎるか、あるいは滑舌が悪いことでシステムが誤認識したかのような印象を与えることができ、発話者にきわめて自然に発話速度を抑えるよう暗に促すことができる。

こうして発話者に提示する音声認識の表示対象の決定を行なうと、以上で図２の処理を終了する。

通話音声処理部１２では、前記ステップＳ１１２，Ｓ１１４，Ｓ１１５のいずれかにおいて表示対象として決定した音声認識結果の文字テキストを、適切と考えられる発話速度に従って字幕として映像データ化した上で、発話者の通信端末ＴＭで表示する、通話相手を示す映像データ中の端部、例えば下端側に重畳合成した映像データを作成し、発話者の通信端末ＴＭに送信して表示させる。

ここで、文字テキストを字幕として映像データ化する際に用いられる、適切な発話速度としては、例えばモーラ（拍）数に基づいた単位が考えられる。すなわち、モーラ数とは、音韻論上、一定の時間的な長さを持った音の文節単位とされている。例えば、外国人が日本語を聞き取る場合においては、モーラ数「５」程度が適切であると考えられている。

なお前記実施形態では、発話者の発話速度が基準となる発話速度よりもやや大きいと判断した場合に、音声認識結果中の助詞を違った内容に加工するものとして説明したが、本発明は加工対象としての品詞を限定するものではなく、その時点で共通語とされている言語にいて、発話者に対して、違和感なく自然に発話速度を抑えてもらうように促すことができるよう、部分的に異なる認識結果を提示できれば良い。

以上詳述した如く本実施形態によれば、認識結果を加工する前の助詞、単語と、加工した後の助詞、単語とで、例えば「韻」をそれぞれ揃えながら、適宜加工を施すようにすることで、意図的に内容を違えたものでありながら、あたかも発話者の発話速度が速すぎるか、あるいは滑舌が悪いことでシステムが誤認識したかのような印象を与えることができ、発話者にきわめて自然に発話速度を抑えるよう暗に促すことができる。したがって、共通語となる言語に対する習熟度が異なる人の間でも、無理なく円滑な会話によるコミュニケーションを実現することが可能となる。

また前記実施形態では、発話者の発話速度が、基準となる発話速度より大きかった場合に、それら速度の差を複数段階に分けて判断し、その度合いに応じて、音声認識の結果に対する加工の程度を複数段階に分けるようにしたので、発話者に対して提示する音声認識結果が、発話速度が遅くなる程に、発話した内容に近い音声認識の結果が提示されることになり、きわめて自然に、発話者に対してゆっくりと話すように促すことができる。

加えて前記実施形態では、加工の程度を複数段階に分けるに当たって、音声認識結果を構成する品詞に応じて加工を施すものとしたので、音声認識の結果に対して加工を施す際の装置側の処理負担を軽減して効率的に動作を継続できる。

なお前記実施形態では、インターネット接続されたサーバ装置を仲介して、２個の通信端末間でテレビ電話機能による通話を行なう場合について説明したが、本発明はそのような構成に限らず、例えばグループビデオチャットのように多人数間で映像と音声とをやり取りするシステム等にも適用することが可能である。

さらに、ネットワークに接続されたサーバ装置ではなく、各通信端末の装置内に事前にインストールしているアプリケーションプログラムにより、発話者に対する発話した音声認識の結果の提示を一部加工して実現するものとしても良い。その場合、発話者が有する通信端末の装置内で処理することができる。

その他、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１１…入出力制御部、１２…通話音声処理部、１３…通話音声ログ更新部、１４…音声認識部、１５…通話音声ログデータベース（ＤＢ）、１６…音声認識結果データベース（ＤＢ）、ＮＷ…ネットワーク、ＳＶ…通話補助サーバ、ＴＭ…通信端末

Claims (5)

1. 発話者の発話速度を取得する速度取得部と、
   前記発話者の発話内容を音声認識する音声認識部と、
   前記速度取得部により取得された発話速度と、基準となる発話速度との比較結果に基づいて、前記音声認識部により得られた認識結果の一部を加工する加工部と、
   前記加工部により加工された音声認識結果を前記発話者に提示させる提示部と、
   を備える会話補助装置。
2. 前記加工部は、前記速度取得部で取得した発話速度が、基準となる発話速度より速い場合に、それら速度の差の度合いに応じて、前記音声認識部で得た認識結果に対する加工の程度を複数段階に分けて加工する、請求項１記載の会話補助装置。
3. 前記加工部は、前記認識結果に対する加工の程度を品詞に応じた複数段階に分けて加工する、請求項２記載の会話補助装置。
4. 発話者の発話速度を取得する速度取得工程と、
   前記発話者の発話内容を音声認識する音声認識工程と、
   前記速度取得工程により取得された発話速度と、基準となる発話速度との比較結果に基づいて、前記音声認識工程により得られた認識結果の一部を加工する加工工程と、
   前記加工工程により加工された音声認識結果を前記発話者に提示させる提示工程と、
   を有する会話補助方法。
5. 請求項１乃至３いずれかに記載の会話補助装置が備える各部の処理を、前記会話補助装置のプロセッサに実行させるプログラム。