JP7332518B2 - 会話支援装置、会話支援システム、会話支援方法およびプログラム - Google Patents

Description

本発明は、会話支援装置、会話支援システム、会話支援方法およびプログラムに関する。

従来から、会議など複数人間で行われる会話において、聴覚障がい者を支援するための会話支援システムが提案されている。かかる会話支援システムは、会話において発話された音声に対して音声認識によりテキストに変換し、変換した画面に表示する。例えば、特許文献１に記載の会議支援システムは、会議の参加者が使用する端末と会議支援装置とを有する。会議支援装置は、発言内容を取得し、発言内容のテキスト情報に代名詞が含まれる場合に代名詞に対応する言葉を推定し、テキスト情報と推定された代名詞に対応する言葉とを端末に送信する。端末は、発言内容のテキスト情報と代名詞に対応する言葉を表示する。会議支援装置は自装置のモニタにも端末装置と同様の表示を行う。聴覚障がい者は、発言内容や代名詞に対応する言葉を示すテキスト読んで会議参加者の発言を理解する。

会議支援装置は、発言がなされるたびに音声から変換されたテキストをモニタに表示させ、既に表示させたテキストの位置を移動させる処理を繰り返す。他方、端末は、聴覚障がい者により入力されたテキストを会議支援装置に送信し、会議支援装置は、端末から入力されたテキストをモニタに表示させる。そのため、聴覚障がい者は表示されたテキストを見る他の参加者に自己の意思を伝達することができる。聴覚障がい者は、会話において質問したいと考えるとき、質問事項を示すテキストを端末に入力させる。端末は、入力されたテキストを会議支援装置に送信し、会議支援装置は、端末から入力されるテキストをモニタに表示する。

特開２０１８－１７０７４３号公報

しかしながら、特許文献１に記載の会議支援システムでは、他の参加者により順次発話がなされると、発言内容を示すテキストの表示位置が移動し、新たな発言内容のテキストを追加するとともに、表示されていたテキストの一部がモニタの表示領域から消去される。移動するテキストには、聴覚障がい者が入力したテキストも含まれる。入力したテキストが質問事項を示す場合には、質問への回答がないまま、その移動によりモニタの表示領域から消失してしまうおそれがある。そのため、質問事項を他の参加者に継続的に認識させるため、聴覚障がい者には再度のテキスト入力が強いられることがある。他方、他の参加者の発話を遮ってまで質問への回答を要求することは、聴覚障がい者に対して心理的な抵抗感を与えかねない。聴覚障がい者はテキスト入力以外の手段（例えば、音声による発話）を用いて他の参加者に意思を表示すること自体が困難なことがある。

本発明の課題の一つは、会話を妨げずに特定の発言内容をより確実に認識させることができる会話支援装置、会話支援システム、会話支援方法およびプログラムを提供することである。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識部と、表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理部と、を備える会話支援装置である。

（２）本発明のその他の態様は、（１）の会話支援装置であって、前記表示処理部は、前記固定テキストを他の前記表示テキストよりも優先して表示させてもよい。

（３）本発明のその他の態様は、（１）または（２）の会話支援装置であって、前記音声データの特性を示す特性パラメータをフレームごとに算出し、前記特性パラメータに基づいて無音区間と音声区間を定め、前記無音区間が所定時間以上継続した後に、開始した音声区間から、次に前記所定時間以上継続する無音区間の開始までの区間を発話区間として定める音声分析部を備え、前記表示処理部は、前記発話区間ごとに前記発話テキストを前記表示部に表示させ、前記表示部に表示させた前記発話区間のいずれかの区間における表示テキストを前記固定テキストとして特定してもよい。

（４）本発明のその他の態様は、（３）の会話支援装置であって、前記表示処理部は、前記音声データを取得した収音部を示す表示を前記発話テキストと対応付けて表示させてもよい。

（５）本発明のその他の態様は、（１）から（４）のいずれかの会話支援装置であって、前記表示処理部は、操作に応じて前記固定テキストの表示位置の固定に対する解除が指示されるとき、前記固定テキストの表示位置の固定を解除してもよい。

（６）本発明のその他の態様は、（５）の会話支援装置であって、前記表示処理部は、操作に応じて表示位置の固定が指示される区間における表示テキストを前記固定テキストとして複製し、前記固定テキストの表示位置の固定を解除するとき、当該固定テキストを消去してもよい。

（７）本発明のその他の態様は、（１）から（６）のいずれかの会話支援装置と、端末装置を備える会話支援システムであって、前記端末装置は、前記操作を受け付ける操作部と、前記操作を前記会話支援装置に送信する通信部と、を備える会話支援システムであってもよい。

（８）本発明のその他の態様は、会話支援装置における会話支援方法であって、音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識ステップと、表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理ステップと、を有する会話支援方法である。

（９）本発明のその他の態様は、会話支援装置のコンピュータに、会話支援装置のコンピュータに、音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識手順と、表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理手順と、を実行させるためのプログラムである。

本発明の（１）、（７）、（８）または（９）の態様によれば、利用者の操作に応じて取得された第２テキストの表示位置が所定の表示位置に固定される。そのため、新たな発言内容を示すテキストが取得されても、他の表示テキストのように表示位置が移動しないため、会話を妨げずに固定テキストで示される発言内容を会話の参加者（例えば、聴覚障がい者）に対してより確実に認識させることができる。

（２）の態様によれば、表示画面に接した参加者に、他の表示テキストよりも容易に固定テキストに注目させることができる。そのため、固定テキストで示される発言内容を会話の参加者に対してより確実に認識させることができる。

（３）の態様によれば、参加者がなした発話区間ごとに、その発言内容を示す表示テキストが表示され、固定テキストが特定される。そのため、発話区間に区切らずに表示テキストを表示させる場合よりも、表示テキストに接した参加者は表示テキストが示す発言内容の理解や、会話における個々の発言の特定が容易となる。

（４）の態様によれば、表示に接した利用者は、発言内容を示す第１テキストの変換元の音声データを取得元となる機器、またはその機器を主に用いる利用者を直感的に把握することができる。

（５）の態様によれば、固定テキストの表示位置の固定が解除されるので、他の参加者に対して固定テキストに対する注目を解除させ、もとの議題への復帰または他の議題への変更を促すことができる。

（６）の態様によれば、固定テキストとして指示される区間の表示テキストも、他の表示テキストと同様に新たな表示テキストの追加に応じて移動させるので、固定テキストを表示テキストとして再配置するための処理を省略することができる。

本実施形態に係る会話支援システムの構成例を示すブロック図である。 本実施形態に係る表示画面の一例を示す図である。 本実施形態に係る表示画面の他の例を示す図である。 本実施形態に係る会話支援処理の例を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。まず、本実施形態に係る会話支援システムＳ１の構成例について説明する。図１は、本実施形態に係る会話支援システムＳ１の構成例を示すブロック図である。会話支援システムＳ１は、会話支援装置１００と、端末装置２００と、を含んで構成される。

会話支援システムＳ１は、２人以上の参加者が参加する会話において用いられる。参加者には、発話と音声の受聴の一方または両方に不自由な者（以下、「障がい者」と呼ぶ）が１名以上含まれていてもよい。障がい者は、個々に端末装置２００の操作部２７０を操作して、発言内容を示すテキスト（以下、「第２テキスト」）を会話支援装置１００に入力してもよい。発話および音声の受聴に困難を伴わない者（以下、「健常者」と呼ぶ）は、個々に収音部１６０または収音部を備える機器（例えば、端末装置２００）を用い、発話した音声を会話支援装置１００に入力してもよい。会話支援装置１００は、入力された音声を示す音声データに対して公知の音声認識処理を行い、音声による発言内容を示すテキスト（以下、「第１テキスト」）に変換する。会話支援装置１００は、変換により得られた第１テキストと端末装置２００から得られた第２テキストのいずれかのテキストが取得されるたびに、取得されるテキストを表示部１８０に表示させる。障がい者は、表示されるテキスト（以下、「表示テキスト」）を読むことで会話における発言内容を理解することができる。

但し、会話支援装置１００は、既に表示させた表示テキストの位置を所定方向（例えば、上方）に移動させ、表示部１８０の表示領域のうち移動により生じた空き領域に新たな表示テキストを表示させ、表示領域外に移動した表示テキストを消去する（スクロール）。障がい者は、端末装置２００の操作部２７０を操作し、表示位置の固定と、表示テキストのうち表示位置を固定する区間を会話支援装置１００に指示することができる。その区間は、他の参加者の発言内容を示す第１テキストとなりうる。会話支援装置１００は、表示位置の固定が指示されるとき、指示された区間の表示テキストを表示部１８０の表示領域のうち所定の表示位置に固定して表示させる（ピン止め）。そのため、他の参加者の発言により表示テキストが順次表示されても、障がい者により指示された区間の表示テキストを表示位置が固定されたまま表示が維持される。よって、健常者を含む他の参加者に対して指示された区間の表示テキストの発言内容をより確実に認識させることができる。

また、表示テキストの表示位置が固定されているとき、障がい者は、端末装置２００の操作部２７０を操作し、その表示位置の固定の解除を会話支援装置１００に指示することができる。会話支援装置１００は、表示位置の固定の解除が指示されるとき、表示位置が固定された表示テキストを消去する（ピン止め解除）。そのため、障がい者は任意のタイミング、例えば、障がい者が表示位置を指示した区間の表示テキストに示す質問に対する回答として、より新たな表示テキストが表示されるときに解除することができる。よって、他の参加者に対して表示位置を固定した表示テキストに対して必要以上に意識させずに済む。

図１に示す会話支援システムＳ１は、１個の会話支援装置１００と１個の端末装置２００を備えるが、これには限らない。端末装置２００の数は、２個以上になることもありうるし、０個の場合もありうる。会話支援装置１００、端末装置２００は、それぞれ図１に示す例では、親機、子機としての機能を有する。

なお、本願では、「会話」とは２人以上の参加者間での意思疎通のことを意味し、音声を用いた意思疎通に限られず、テキストなどの、その他の種別の情報媒体を用いた意思疎通も含まれる。会話には、２人以上の参加者間で自発的または任意になされる意思疎通に限られず、会議、発表会、講演会、式典のように特定の参加者（例えば、司会者）が他の参加者の発言を統制する形態での意思疎通も含まれる。また、「発言」とは言語を用いて意思を伝達することを意味し、音声を発して意思を伝達することに限らず、テキストなど、その他の種別の情報媒体を用いて意思を伝達することも含まれる。

（会話支援装置）
次に、本実施形態に係る会話支援装置１００の構成例について説明する。会話支援装置１００は、制御部１１０と、記憶部１３０と、入出力部１５０と、を含んで構成される。制御部１１０は、各種の演算処理を行うことにより、会話支援装置１００の機能を実現し、その機能を制御する。制御部１１０は、専用の部材により実現されてもよいが、プロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶媒体を備えてもよい。プロセッサは、予めＲＯＭに記憶された所定のプログラムを読み出し、読み出したプログラムをＲＡＭに展開して、ＲＡＭの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行して制御部１１０の機能を実現する。実現される機能には、後述する各部の機能が含まれうる。以下の説明では、プログラムに記述された命令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などである。

制御部１１０は、音声分析部１１２、音声認識部１１４、テキスト取得部１１８、テキスト処理部１２０、議事録作成部１２２、表示処理部１２４、表示制御情報取得部１２６およびモード制御部１２８を含んで構成される。

音声分析部１１２には、収音部１６０から入出力部１５０を経由して音声データが入力される。音声分析部１１２は、入力された音声データについて所定の長さのフレームごとに音声特徴量を算出する。音声特徴量は、そのフレームにおける音声の音響的な特徴を示す特性パラメータで表される。算出される音声特徴量は、例えば、パワー、零交差数（Number of Zero-Crossings）、メル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficients）などである。そのうち、パワーとゼロ交差数は、発話状態の判定に用いられる。ＭＦＣＣは、音声認識に用いられる。１フレームの期間は、例えば、１０ｍｓ～５０ｍｓである。

音声分析部１１２は、算出した音声特徴量に基づいてフレームごと発話状態を判定する。音声分析部１１２は、公知の音声区間検出処理（ＶＡＤ：Voice Activity Detection）を行い、その時点での処理対象のフレーム（以下、「現フレーム」）が音声区間であるか否かを判定する。音声分析部１１２は、例えば、パワーが所定のパワーの下限よりも大きく、かつ、零交差数が所定の範囲内（例えば、１秒当たり３００～１０００回）であるフレームを発話区間として判定し、それ以外のフレームを非音声区間と判定する。そして、音声分析部１１２は、現フレームの直前のフレーム（以下、「前フレーム」）が非音声区間であったが、新たに現フレームを音声区間として判定する場合、その現フレームの発話状態を発話開始として判定する。発話状態が発話開始と判定されたフレームを「発話開始フレーム」と呼ぶ。音声分析部１１２は、前フレームが音声区間であったが、新たに現フレームを非音声区間として判定する場合、前フレームの発話状態を発話終了として判定する。発話状態が発話終了と判定されたフレームを「発話終了フレーム」と呼ぶ。音声分析部１１２は、発話開始フレームから次に発話終了フレームとなる一連の区間を１つの発話区間として判定する。１つの発話区間は、概ね１回の発話に相当する。音声分析部１１２は、判定した発話区間ごとに算出した音声特徴量を音声認識部１１４に順次出力する。なお、入力される音声データに収音識別情報が付加されている場合には、その収音識別情報を音声特徴量に付加して音声認識部１１４に出力してもよい。収音識別情報は、個々の収音部１６０を識別するための識別情報（例えば、Ｍｉｃ ＩＤ：Microphone Identifier）である。

音声認識部１１４は、音声分析部１１２から発話区間ごとに入力される音声特徴量に対して予め記憶部１３０に記憶させておいた音声認識モデルを用いて音声認識処理を行う。音声認識モデルは、音響モデルと言語モデルを含む。音響モデルは、音声特徴量から１つまたは複数の音素からなる音素列を定めるために用いられる。音響モデルは、例えば、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）である。言語モデルは、音素列から構成される語句を用いるために用いられる。言語モデルは、例えば、ｎ－グラム（n-gram）である。音声認識部１１４は、入力される音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。音声認識部１１４は、認識結果として発話内容を構成する語句を示すテキストを示す第１テキスト情報をテキスト処理部１２０に出力する。即ち、第１テキスト情報は、収音された音声の発話内容を示す発話テキスト（以下、「第１テキスト」）を示す情報である。

なお、入力される音声特徴量に収音識別情報が付加されている場合には、その収音識別情報を第１テキスト情報に付加してテキスト処理部に出力してもよい。また、音声認識部１１４は、入力される音声特徴量に対して公知の話者認識処理を行って話者を特定してもよい。音声認識部１１４は、特定した話者を示す話者識別情報（話者ＩＤ）を音声特徴量に付加してテキスト処理部１２０に出力してもよい。話者ＩＤは、個々の話者を識別するための識別情報である。

テキスト取得部１１８は、端末装置２００から通信部１４０を用いてテキスト情報を受信する。操作信号を受信する。テキスト取得部１１８は、取得したテキスト情報を第２テキスト情報としてテキスト処理部１２０に出力する。第２テキスト情報は、端末装置２００の操作部２７０への操作に応じて入力され、主に会話への参加者との意思疎通を目的とし、入力者の発言内容を表すテキストを示す。なお、テキスト取得部１１８は、後述する端末装置２００の制御部２１０と同様な手法を用いて、操作部１７０から入出力部１５０を用いて入力される操作信号に基づいてテキスト情報を受け付けてもよい。なお、本願では、制御部１１０の各部における処理に用いられる、端末装置２００から受信した操作信号と操作部１７０から入力される操作信号を、「取得した操作信号」または単に「操作信号」と総称することがある。テキスト取得部１１８は、操作信号の取得元である操作部１７０と端末装置２００のいずれかの機器を識別するための機器識別情報を第２テキスト情報に付加してテキスト処理部１２０に出力してもよい。また、「収音識別情報」、「話者識別情報」および「機器識別情報」を「取得元識別情報」と総称することがある。

テキスト処理部１２０は、音声認識部１１４から入力される第１テキスト情報が示す第１テキストと、テキスト取得部１１８から入力される第２テキスト情報が示す第２テキストのそれぞれを表示部１８０に表示させるテキスト（以下、「表示テキスト」）として取得する。テキスト処理部１２０は、取得した表示テキストに対して表示または保存のために所定の処理を行う。テキスト処理部１２０は、例えば、第１テキストに対して公知の形態素解析を行い、第１テキストを１または複数の単語に区分し、単語ごとの品詞を特定する。テキスト処理部１２０は、特定した品詞が間投詞である単語、所定期間（例えば、１０～６０秒）内に繰り返し発言された単語など、発言内容に対して実質的に寄与しない単語を示すテキストを第１テキストから削除してもよい。

また、テキスト処理部１２０は、音声認識部１１４から入力される第１テキスト情報とテキスト取得部１１８から入力される第２テキスト情報のそれぞれについて、個々の発言を識別するための発言識別情報を生成し、生成した発言識別情報を、その発言に係る表示テキストを示す表示テキスト情報に付加してもよい。テキスト処理部１２０は、例えば、一連の会話開始後においてテキスト処理部１２０に第１テキスト情報または第２テキスト情報が入力される順序を発言識別情報として生成してもよい。テキスト処理部１２０は、表示テキスト情報を議事録作成部１２２と表示処理部１２４に出力する。なお、音声認識部１１４から入力される第１テキスト情報またはテキスト取得部１１８から入力される第２テキスト情報に取得元識別情報が付加されている場合には、テキスト処理部１２０は、その取得元識別情報を表示テキスト情報に付加して議事録作成部１２２と表示処理部１２４に出力してもよい。

議事録作成部１２２は、テキスト処理部１２０から入力される表示テキスト情報を順次記憶部１３０に記憶する。記憶部１３０には、記憶された個々の表示テキスト情報が順次累積して議事録情報として形成される。議事録作成部１２２は、テキスト処理部１２０から表示テキスト情報が入力される日時を示す日時情報を表示テキスト情報と関連付けて記憶部１３０に記憶してもよい。表示テキスト情報に取得元識別情報が付加されている場合には、議事録作成部１２２は、日時情報に代えて、または日時情報とともに取得元識別情報と表示テキスト情報と関連付けて記憶部１３０に記憶してもよい。また、表示テキスト情報に発言識別情報が付加されている場合には、議事録作成部１２２は、日時情報または取得元識別情報に代えて、または日時情報または取得元識別情報とともに発言識別情報と表示テキスト情報を関連付けて記憶部１３０に記憶してもよい。

表示処理部１２４は、テキスト処理部１２０から入力される表示テキスト情報が示す表示テキストを表示部１８０に表示させるための表示画面データを生成する。表示処理部１２４は、予め記憶部１３０に記憶させた表示画面テンプレートを読み出し、表示処理部１２４は、表示画面テンプレートのうち表示テキストを表示させるために予め設定された所定のテキスト表示領域に新たに入力される表示テキストを割り当てて表示画面を更新する。テキスト表示領域にさらに新たな表示テキストを割り当てる領域がなくなるとき、表示処理部１２４は、テキスト処理部１２０から表示テキスト情報が新たに入力されるごとに、テキスト表示領域において表示テキストを所定方向（例えば、垂直方向）にスクロールすることにより表示画面を更新する。スクロールにおいて、表示処理部１２４は、既にテキスト表示領域に割り当てた既表示の表示テキストの表示領域を所定の方向に移動させ、表示テキストが割り当てられていない空き領域を確保する。空き領域は、テキスト表示領域のうち表示テキストの移動方向とは逆方向の一端に接して設けられる。表示処理部１２４は、確保される空き領域の大きさが、新たな表示テキストの表示に要する表示領域の大きさと等しくなるように、既表示の表示テキストの移動量を定める。表示処理部１２４は、確保した空き領域に新たな表示テキストを割り当てるとともに、移動によりテキスト表示領域外に配置された既表示の表示テキストを消去する。

表示処理部１２４は、表示画面の表示中に表示制御情報取得部１２６から固定指示情報が入力されるとき、固定指示情報で指示される既表示の表示テキスト、つまり、テキスト表示領域に割り当てられた表示テキストの一部の区間を特定する。固定指示情報は、表示位置の固定を指示し、対象とする表示テキストの区間を示す制御情報である。表示位置を位置の固定対象とする区間は、固定指示情報に含まれる発言識別情報を用いて発言区間ごとに特定されてもよい。表示処理部１２４は、特定した区間内の表示テキストを表示画面内の所定の表示位置に配置された固定表示領域に固定テキストとして割り当てることにより表示画面を更新する。表示処理部１２４は、固定表示領域に割り当てた固定テキストに対してはスクロールの対象とせず、表示位置を固定する。

表示処理部１２４は、固定テキストの表示中に表示制御情報取得部１２６から固定解除情報が入力されるとき、固定テキストの表示位置の固定を解除する。固定解除情報は、固定テキストに対する表示位置の固定の解除を指示する制御情報である。表示処理部１２４は、表示位置の固定を解除する際、固定テキストを表示画面から消去する。

表示処理部１２４は、表示画面の表示中に表示制御情報取得部１２６からテキスト削除情報が入力されるとき、テキスト表示領域に割り当てた表示テキストの一部の区間を特定し、特定した区間内の表示テキストを消去してもよい。テキスト削除情報は、表示テキストの消去と、その対象とする表示テキストの区間を指示する制御情報である。対象とする区間は、テキスト削除情報に含まれる発言識別情報を用いて特定されてもよい。表示処理部１２４は、テキスト表示領域のうち、表示テキストを消去した領域に、より新しい他の表示テキストを移動させることにより表示画面を更新する（テキスト詰め）。

表示処理部１２４は、表示画面を更新する都度、更新した表示画面を示す表示画面データを表示部１８０に入出力部１５０を経由して出力する。また、表示処理部１２４は、通信部１４０を用いて表示画面データを端末装置２００に送信する。よって、表示処理部１２４は、自装置の表示部１８０と端末装置２００の表示部２８０に更新した表示画面を表示させることができる。なお、自装置の表示部１８０に表示させる表示画面には、操作領域が含まれてもよい。操作領域には、図３に例示されるように自装置の操作や動作状況の表示のための各種の画面部品が配置される。

表示制御情報取得部１２６は、端末装置２００から表示画面の表示を制御するための表示制御情報を受信する。表示制御情報取得部１２６は、端末装置２００の制御部２１０と同様の手法（後述）を用いて、入出力部１５０を経由して入力される操作信号に基づいて表示制御信号を生成してもよい。表示制御情報取得部１２６は、取得した表示制御情報を表示処理部１２４に出力する。抽出される表示制御信号には、上記の固定指示情報、固定解除情報、テキスト削除情報のいずれかが含まれうる。

表示制御情報取得部１２６は、抽出した表示制御情報を議事録作成部１２２に出力してもよい。議事録作成部１２２は、表示制御情報取得部１２６から入力される表示制御情報のうち固定指示情報で指示される表示テキストの区間を特定し、特定した区間内の表示テキストを示す表示テキスト情報と対応付けて固定指示情報を記憶部１３０に記憶する。議事録作成部１２２は、表示制御情報取得部１２６から入力される表示制御情報のうち固定解除情報を、その固定指示情報で指示される固定テキストを特定し、特定した固定テキストを表示テキストとして示す表示テキスト情報と対応付けて固定解除情報を記憶部１３０に記憶する。よって、議事録情報には、表示位置の固定ならびにその固定の解除が指示された区間の表示テキストの情報を含めて記録される。

モード制御部１２８は、取得した操作信号に基づいて会話支援装置１００の動作モードを制御する。モード制御部１２８は、動作モードとして、会話支援装置１００が提供可能とする機能の要否またはそれらの組み合わせを設定可能とする。モード制御部１２８は、取得操作信号からモード設定に関するモード設定情報を抽出し、抽出したモード設定情報で指示される動作モードを指示するためのモード制御情報を各部に出力する。

モード制御部１２８は、例えば、動作開始、動作終了、議事録作成の要否、録音の要否、などを制御可能とする。抽出されるモード設定情報が動作開始を示す場合、モード制御部１２８は、動作開始を示すモード制御情報を制御部１１０の各部に出力する。制御部１１０の各部は、モード制御部１２８から動作開始を示すモード制御情報が入力されるとき、自部に所定の処理を開始する。抽出されるモード設定情報が動作終了を示す場合、モード制御部１２８は、動作終了を示すモード制御情報を制御部１１０の各部に出力する。制御部１１０の各部は、モード制御部１２８から動作終了を示すモード制御情報が入力されるとき、自部に所定の処理を終了する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部１２８は、議事録作成を示すモード制御情報を議事録作成部１２２に出力する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部１２８は、議事録作成を示すモード制御情報を議事録作成部１２２に出力する。議事録作成部１２２は、モード制御部１２８から議事録作成要を示すモード制御情報が入力されるとき、議事録作成部１２２は、テキスト処理部１２０から入力される表示テキスト情報の記憶部１３０への記憶を開始する。よって、議事録の作成が開始される。抽出されるモード設定情報が議事録作成否を示す場合、モード制御部１２８は、議事録作成否を示すモード制御情報を議事録作成部１２２に出力する。議事録作成部１２２は、モード制御部１２８から議事録作成否を示すモード制御情報が入力されるとき、議事録作成部１２２は、テキスト処理部１２０から入力される表示テキスト情報の記憶部１３０への記憶を停止する。よって、議事録の作成が停止される。

記憶部１３０は、制御部１１０における処理に用いられる各種のデータ、制御部１１０が取得した各種のデータを記憶する。記憶部１３０は、例えば、上記のＲＯＭ、ＲＡＭなどの記憶媒体を含んで構成される。

通信部１４０は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部１４０は、例えば、通信インタフェースを含んで構成される。所定の通信方式は、例えば、ＩＥＥＥ８０２．１１、４Ｇ（4^th Generation Mobile Communication System；第４世代移動通信システム）、５Ｇ（5^th Generation Mobile Communication System；第５世代移動通信システム）などのいずれの規格で規定された方式であってもよい。

入出力部１５０は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを無線または有線で入力および出力可能とする。所定の入出力方式は、例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４などのいずれの規格で規定された方式であってもよい。入出力部１５０は、例えば、入出力インタフェースを含んで構成される。

収音部１６０は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部１１０に入出力部１５０を経由して出力する。収音部１６０は、マイクロホンを備える。収音部１６０の数は、１個に限られず、２個以上であってもよい。収音部１６０は、例えば、可搬型のワイヤレスマイクロホンであってもよい。ワイヤレスマイクロホンは、主に個々の所持者の発話音声を収音する。

操作部１７０は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部１１０に入出力部１５０を経由して出力する。操作部１７０は、タッチセンサ、マウス、キーボードなどの汎用の入力デバイスを備えてもよいし、ボタン、つまみ、ダイヤルなどの専用の部材を備えてもよい。

表示部１８０は、制御部１１０から入力される表示画面データなどの表示データに基づく表示情報、例えば、図２や図３に例示される表示画面を表示する。表示部１８０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ：Organic Electro-luminescence Display）など、いずれの方式のディスプレイであってもよい。なお、表示部１８０をなすディスプレイの表示領域は、操作部１７０をなすタッチセンサの検出領域を重畳して一体化した単一のタッチパネルとして構成されてもよい。

（端末装置）
次に、本実施形態に係る端末装置２００の構成例について説明する。端末装置２００は、制御部２１０と、記憶部２３０と、通信部２４０と、入出力部２５０と、操作部２７０と、表示部２８０と、を含んで構成される。

制御部２１０は、各種の演算処理を行うことにより、端末装置２００の機能を実現し、その機能を制御する。制御部２１０は、専用の部材により実現されてもよいが、プロセッサと、ＲＯＭ、ＲＡＭなどの記憶媒体を備えてもよい。プロセッサは、予めＲＯＭに記憶された所定の制御プログラムを読み出し、読み出したプログラムをＲＡＭに展開して、ＲＡＭの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行することにより、制御部２１０の機能を実現する。

制御部２１０は、通信部２４０を用いて会話支援装置１００から表示画面データを受信し、受信した表示画面データを表示部２８０に出力する。表示部２８０は、制御部２１０から入力される表示画面データに基づいて表示画面を表示する。制御部２１０は、表示画面の表示中に、操作部２７０から文字を示す操作信号を受け付け、受け付けた１以上の文字で構成されるテキストを示すテキスト情報を会話支援装置１００に通信部２４０を用いて送信する（テキスト入力）。この段階で受け付けられたテキストは、上記の第２テキストに相当する。

制御部２１０は、表示画面のテキスト表示領域内に割り当てられた表示テキストのうち、操作部２７０から入力される操作信号で指示される一部の区間を特定し、操作信号により表示位置の固定が指示されるとき、特定した区間を対象として表示位置の固定を示す固定指示情報を生成する（ピン止め指示）。制御部２１０は、通信部２４０を用いて生成した固定指示情報を会話支援装置１００に送信する。

制御部２１０は、表示画面に割り当てられた固定テキストが、操作部２７０から入力される操作信号で指示されるとき、その固定テキストに対する表示位置の固定の解除を示す固定解除情報を生成する（ピン止め解除）。制御部２１０は、通信部２４０を用いて生成した固定解除情報を会話支援装置１００に送信する。

制御部２１０は、表示画面のテキスト表示領域内に割り当てられた表示テキストのうち、操作部２７０から入力される操作信号で指示される一部の区間を特定し、操作信号により削除が指示されるとき、特定した区間を対象として表示テキストの削除を示すテキスト削除情報を生成する（テキスト削除）。制御部２１０は、通信部２４０を用いて生成したテキスト削除情報を会話支援装置１００に送信する。

記憶部２３０は、制御部２１０における処理に用いられる各種のデータ、制御部２１０が取得した各種のデータを記憶する。記憶部２３０は、ＲＯＭ、ＲＡＭなどの記憶媒体を含んで構成される。

通信部２４０は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部２４０は、例えば、通信インタフェースを含んで構成される。

入出力部２５０は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを入力および出力可能とする。入出力部２５０は、例えば、入出力インタフェースを含んで構成される。

収音部２６０は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部２１０に入出力部２５０を経由して出力する。収音部２６０は、マイクロホンを備える。収音部２６０により取得された音声データは、通信部２４０を経由して会話支援装置１００に送信され、会話支援装置において音声認識処理がなされてもよい。

操作部２７０は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部２１０に入出力部２５０を経由して出力する。操作部２７０は、入力デバイスを備える。

表示部２８０は、制御部１１０から入力される表示画面データなどの表示データに基づく表示情報を表示する。表示部２８０は、ディスプレイを備える。なお、表示部２８０をなすディスプレイは、操作部２７０をなすタッチセンサと一体化して単一のタッチパネルとして構成されてもよい。

（表示例）
次に、本実施形態に係る表示画面の例について説明する。図２は、本実施形態に係る表示画面の一例を示す図である。図２に例示される表示画面は端末装置２００の表示部２８０に表示されうる。さらに操作領域（後述）を含む表示画面は、会話支援装置１００の表示部１８０に表示されうる。図２に例示される表示画面には発言ごとの表示テキストがそれぞれ表示枠（吹き出し）内に表示される。但し、図２に例示される表示画面には固定テキストは表示されていない。

図２に例示される表示画面には、テキスト表示領域ｔｄ０１、テキスト入力欄ｍｉ１１、送信ボタンｂｓ１１、手書きボタンｈｗ１１およびピン留めボタンｐｎ１１が配置されている。テキスト表示領域ｔｄ０１は、表示画面の大部分（例えば、面積比で半分以上）の領域を占める。テキスト表示領域ｔｄ０１には、個々の発言ごとに取得元識別表示および表示枠のセットが配置される。会話支援装置１００の表示処理部１２４は、表示画面を更新する際、表示テキスト情報が取得されるごとに、表示テキスト情報に付加された取得元識別情報に対応する取得元識別表示とその表示テキスト情報で示される表示テキストを配置した表示枠をテキスト表示領域内の各行に配置する。表示処理部１２４は、個々の表示枠の左上端に日時情報と右上端に削除ボタンを配置する。テキスト表示領域ｔｄ０１が取得元識別表示と表示枠のセットで満たされた後に新たな表示テキスト情報を取得するとき、表示処理部１２４は、既に配置された取得元識別表示と表示枠のセットを所定の方向（例えば、上方）に移動させ、テキスト表示領域ｔｄ０１の移動方向に対して末尾（例えば、下方）に生じる空き領域に新たな表示テキストが配置された表示枠と、その表示テキストに係る取得元識別表示のセットを配置する（スクロール）。表示処理部１２４は、テキスト表示領域ｔｄ０１外に移動した取得元識別表示と表示枠のセットを消去する。

取得元識別表示は、個々の発言の取得元を示す表示である。図２に示す例では、デバイス表示ｄｐ０１、収音部表示ｍｋ１１～ｍｋ１３が、それぞれ機器ｄｅｖ０１、マイクロホンＭｉｃ０１～Ｍｉｃ０３を取得元として示す取得元識別表示に相当する。ｄｅｖ０１は、第２テキストの取得元となる機器として端末装置２００を示す略称である。Ｍｉｃ０１～Ｍｉｃ０３は、それぞれマイクロホンＭｉｃ０１～Ｍｉｃ０３をそれぞれ示す略称である。表示処理部１２４は、自部に入力される第１テキスト情報と第２テキスト情報のそれぞれから取得元識別情報を抽出し、抽出した取得元識別情報で示される取得元を特定する。表示処理部１２４は、特定した取得元を示す文字を含めて取得元識別表示を生成する。表示処理部１２４は、取得元識別表示には、文字とともに、または文字に代えて個々の取得元を特定するための記号もしくは図形を含めてもよい。表示処理部１２４は、取得元識別表示に取得元に応じて異なる態様を設定し、その態様で表示させてもよい。取得元識別表示の態様は、例えば、背景の色、濃度、表示パターン（塗りつぶし、網掛けなど）、形状などのいずれであってもよい。

表示枠ｍｐ１１～ｍｐ１４は、個々の発言の表示テキストが配置される枠である。個々の表示枠の左上端、右上端には、それぞれ日時情報、削除ボタンが配置されている。日時情報は、表示枠内に配置された表示テキストが取得された日時を示す。削除ボタンｂｄ１１～ｂｄ１４は、その押下により、それぞれ対応づけて配置される表示枠ｍｐ１１～ｍｐ１４と取得元識別情報の削除を指示するためのボタンである。本願では、「押下」とは、ボタンなどの画面部品を指示すること、その画面部品の表示領域内の位置を指示すること、または、その位置を示す操作信号を取得すること、との意味を含む。例えば、削除ボタンｂｄ１２の押下が検出されるとき、表示処理部１２４は、収音部表示ｍｋ１２と表示枠ｍｐ１２を消去し、表示枠ｍｐ１２に付随した日時情報「１７：２２ ０４」および削除ボタンｂｄ１２を消去する。より具体的には、制御部２１０は、操作部２７０から受信した操作信号で指示された位置を表示領域内に含む削除ボタンを特定し、削除ボタンに対応する表示テキストを含む表示枠および取得元表示の消去を示すテキスト削除情報を生成し、会話支援装置１００の表示制御情報取得部１２６に送信する。表示制御情報取得部１２６は、端末装置２００から受信したテキスト削除情報を表示処理部１２４に出力する。表示処理部１２４は、表示制御情報取得部１２６からのテキスト削除情報で指示される表示枠と取得元表示を消去し、表示枠に付随した日時情報と削除ボタンを消去することにより表示画面を更新する。

テキスト入力欄ｍｉ１１は、テキストの入力を受け付けるための欄である。制御部２１０は、操作部２７０から入力される操作信号で指示される文字を特定し、特定した文字をテキスト入力欄ｍｉ１１内に順次配置する。テキスト入力欄ｍｉ１１の大きさの範囲内で一度に受け付け可能とする文字数が制限される。この文字数は、一回の発話をなす典型的な文字数、単語数などの範囲（例えば、日本語の全角文字３０～１００文字以内）に基づいて予め定めておいてもよい。

送信ボタンｂｓ１１は、押下によりテキスト入力欄ｍｉ１１に配置された文字で構成されるテキストの送信を指示するためのボタンである。制御部２１０は、操作部２７０から入力される操作信号で送信ボタンｂｓ１１が指示されるとき、その時点でテキスト入力欄ｍｉ１１に配置されたテキストを示すテキスト情報を会話支援装置１００のテキスト取得部１１８に送信する。

手書きボタンｈｗ１１は、押下により手書き入力を指示するためのボタンである。制御部２１０は、操作部２７０から入力される操作信号で手書きボタンｈｗ１１が指示されるとき、予め記憶部２３０に記憶させた手書き入力画面データを読み出し、表示部２８０に出力する。表示部２８０は、制御部２１０から入力された手書き入力画面データに基づいて手書き入力画面（図示せず）を表示する。制御部２１０は、操作部２７０から入力される操作信号で手書き入力画面内の位置を逐次に特定し、特定した位置の軌跡で構成される曲線を示す手書き入力情報を会話支援装置１００に送信する。会話支援装置１００の表示処理部１２４は、端末装置２００から手書き入力情報を受信するとき、表示画面内の所定の位置に手書き表示領域を設定する。手書き表示領域は、テキスト表示領域の範囲内でもよいし、その範囲外であってもよい。表示処理部１２４は、設定した手書き表示領域内に手書き入力情報が示す曲線を配置することにより、表示画面を更新する。

ピン留めボタンｐｎ１１は、テキスト表示領域ｔｄ０１内に表示された表示テキストのうち、その直前に指定される区間内の表示テキストの表示位置を、押下により所定の位置に固定することを指示するためのボタンである。図２に示す例では、表示位置の固定対象とする区間は、表示枠により指定可能とする。より具体的には、制御部２１０は、操作部２７０から入力される操作信号で示される位置を表示領域内に含む表示枠を、表示位置の固定対象とする表示テキストを配置した表示枠として定めることができる。制御部２１０は、その直後に、操作部２７０からピン留めボタンｐｎ１１を示す操作信号が入力されるとき、特定した表示テキストを対象として表示位置の固定を指示するための固定表示情報を生成し、生成した固定表示情報を会話支援装置１００に送信する。会話支援装置１００の表示処理部１２４は、固定表示情報で指示される表示テキストを固定テキストとして所定の固定表示領域ｆｄ０１（図３）に配置する。例えば、表示枠ｍｐ１３が指示された直後に、ピン留めボタンｐｎ１１を押下して、表示枠ｍｐ１３に配置された表示テキスト「このテキストを書き換えます」の表示位置が所定の位置に固定される。表示枠ｍｐ１４が指示された直後に、ピン留めボタンｐｎ１１を押下して、表示枠ｍｐ１４に配置された表示テキスト「この部分もう一度お願いします」の表示位置が所定の位置に固定される。なお、会話支援装置１００の表示処理部１２４は、固定テキストを所定の表示位置に配置する際、ピン留めボタンｐｎ１１に代えて、ピン留め解除ボタンｐｎ１２（図３）を配置して、表示画面を更新してもよい。これにより、一度に表示される固定テキストの数が１個に制限される。また、表示処理部１２４は、固定テキストを表示画面に表示させている場合には、表示制御情報取得部１２６から入力される固定指示情報を棄却してもよい。

表示処理部１２４は、テキスト処理部１２０から新たに入力される表示テキスト情報が、第２テキスト情報に基づく表示テキスト情報であって、その表示テキスト情報が示す表示テキストを対象として示す固定指示情報が表示制御情報取得部１２６から入力されることがある。つまり、制御部１１０としては、第２テキスト情報と同時に固定指示情報が取得される。その場合には、表示処理部１２４は、その表示テキストを固定テキストとして含む表示枠を固定表示領域に割り当ててもよい。表示処理部１２４は、その表示テキストを含む表示枠をテキスト表示領域に割り当てて表示画面を更新してもよいし、その表示テキストをテキスト表示領域に割り当てずに表示画面を更新してもよい。テキスト表示領域に割り当てない場合には、表示処理部１２４は、テキスト表示領域に既に割り当てた表示テキストの位置を移動（スクロール）しない。利用者がテキスト入力とピン留めを同時に指示するため、表示画面にはピン留め送信ボタンがさらに表示されてもよい。端末装置２００の制御部２１０は、操作部２７０からピン留め送信ボタンを指示する操作信号が入力されるとき、既に受け付けたテキストを示すテキスト情報と、そのテキストを対象として示す固定指示情報を会話支援装置１００に送信する。

表示処理部１２４は、固定テキストを他の表示テキストよりも優先して表示させてもよい。例えば、表示処理部１２４は、固定テキストの表示態様を表示テキストよりも目立つ表示態様を設定する。より目立つ態様とは、文字の太さが太いこと、装飾を付加すること、大きさが大きいこと、表示枠内の背景とのコントラストが高いこと、彩度が高いこと、表示位置が垂直方向により高い位置にあること、などのいずれか、または、それらの任意の組み合わせでありうる。表示処理部１２４は、固定表示領域の表示枠の一部または全部の領域を、テキスト表示領域の表示枠の一部（例えば、テキスト表示領域の最上部に配置された表示枠の一部）と重なる領域に設定してもよい。表示処理部１２４は、重なる領域において、固定表示領域の表示枠（固定テキストを含む）を表示させ、テキスト表示領域の一部に表示される表示枠（表示テキストを含む）を表示させない。

次に、本実施形態に係る表示画面の他の例について説明する。図３は、本実施形態に係る表示画面の一例を示す図である。図２に例示される表示画面には発言ごとの表示テキストの他、固定テキストが表示されている。以下、図２に示す例との差異点を主として説明する。

図３に例示される表示画面には、テキスト表示領域ｔｄ０１、テキスト入力欄ｍｉ１１、送信ボタンｂｓ１１および手書きボタンｈｗ１１が配置され、ピン留めボタンｐｎ１１（図２）に代えてピン留め解除ボタンｐｎ１２が配置される。また、当該表示画面には、さらに固定表示領域ｆｄ０１と操作領域ｆｗ０１が配置される。図３に例示される表示画面は、会話支援装置１００の表示部１８０に表示されうる。当該表示画面のうち、操作領域ｆｗ０１を除く部分については、端末装置２００の表示部２８０にも表示されうる。

固定表示領域ｆｄ０１は、表示画面のうち固定テキストを表示させる領域である。図３に示す例では、テキスト表示領域ｔｄ０１と同じ列において、その上部に割り当てられている。固定表示領域ｆｄ０１には、デバイス表示ｄｐ０１と表示枠ｐｐ０１が、その順序で一行に並置される。表示枠ｐｐ０１には、固定テキストが配置されている。表示枠ｐｐ０１の左上、右上には、それぞれ日時情報とピンマークｐｎ０１が配置されている。表示テキストから固定テキストが特定されるとき、表示処理部１２４は、固定テキストを示す表示テキスト情報に付加された取得元識別情報に対応する取得元識別表示とその表示テキスト情報で示される表示テキストを配置した表示枠を固定表示領域ｆｄ０１に配置する。表示処理部１２４は、表示枠の左上端に日時情報と右上端にピンマークを配置する。

ピンマークｐｎ０１は、先端が尖った形状を有し、基端と先端がそれぞれ表示枠ｐｐ０１の外部、内部に属する位置ならびに方向に配置される。ピンマークｐｎ０１は、その終点で指示される表示枠ｐｐ０１に配置された固定テキストの表示位置が固定されていることを示す標識である。

ピン留め解除ボタンｐｎ１２は、固定テキストの表示位置の固定の解除を、押下により指示するためのボタンである。より具体的には、端末装置２００の制御部２１０は、操作部２７０からピン留め解除ボタンｐｎ１２を示す操作信号が入力されるとき、固定テキストの表示位置の固定の解除を指示するための固定解除情報を生成し、生成した固定解除情報を会話支援装置１００に送信する。会話支援装置１００の表示処理部１２４は、表示制御情報取得部１２６から固定解除情報が入力されるとき、固定表示領域ｆｄ０１に配置した取得元識別表示、表示枠、表示枠に付随した時刻情報およびピン留めボタンを消去する。なお、固定テキストとして特定した区間内の表示テキストを消去した場合には、表示処理部１２４は、その表示テキストを示す表示テキスト情報に付加された発言識別情報に基づいて、その発言の順序を特定する。表示処理部１２４は、特定した順序に応じた位置に、その表示テキストを含む表示枠と、その表示テキストに係る取得元識別表示のセットを再配置する。但し、表示位置が固定された期間における会話の進行により、その位置がテキスト表示領域ｔｄ０１の範囲外となる場合がある。その場合には、表示処理部１２４は、その表示枠と、その表示テキストに係る取得元識別表示は、テキスト表示領域ｔｄ０１内に配置されないため表示画面には表れない。なお、会話支援装置１００の表示処理部１２４は、固定テキストの表示位置の固定を解除する際、ピン留め解除ボタンｐｎ１２に代えて、ピン留めボタンｐｎ１１（図２）を配置して、表示画面を更新してもよい。これにより、再度、表示テキストの表示位置の固定が指示されうる。また、表示処理部１２４は、固定テキストを表示画面に表示させている場合には、表示制御情報取得部１２６から入力される固定解除情報を棄却してもよい。なお、表示処理部１２４は、固定テキストの表示に係る固定指示情報の取得元となる機器と同一の機器（例えば、端末装置２００）から取得される固定解除情報を採用し、それ以外の機器から取得される固定解除情報を棄却してもよい。これにより、表示位置の固定を指示した参加者以外の参加者による固定の解除を回避することができる。そこで、表示制御情報取得部１２６は、通信部１４０から入力される固定指示情報もしくは固定解除情報を、取得元の機器識別情報に付加して表示処理部１２４に出力する。同様に、表示制御情報取得部１２６は、入出力部１５０から入力される操作信号から取得される固定指示情報もしくは固定解除情報を、その操作信号の取得元の機器識別情報に付加して表示処理部１２４に出力する。

なお、ピンマークｐｎ０１は、ボタンとして機能させてもよい。端末装置２００の制御部２１０は、ピンマークｐｎ０１が操作により指示されるときに、固定テキストの表示位置の固定を解除してもよい。ここで、制御部２１０は、固定テキストを表示させ、操作部２７０からピンマークｐｎ０１を示す操作信号が入力されるとき、固定テキストの表示位置の固定の解除を指示するための固定解除情報を生成し、生成した固定解除情報を会話支援装置１００に送信すればよい。その場合には、ピン留め解除ボタンｐｎ１２は省略されてもよい。

操作領域ｆｗ０１は、会話支援装置１００に対する操作や動作状況の表示のための各種の画面部品が配置される表示領域である。操作領域ｆｗ０１には開始ボタンｂｓ０１、終了ボタンｂｓ０２、質問表示ｂｓ０３、設定ボタンｂｓ０４、機器表示ｄｖ０１、収音部表示ｍｃ０１、機能ボタン群ｆｎ０１が配置される。

開始ボタンｂｓ０１は、押下により動作開始、つまり、会話支援処理（図４）の開始を指示するためのボタンである。

終了ボタンｂｓ０２は、押下により動作終了、つまり、会話支援処理（図４）の終了を指示するためのボタンである。

質問表示ｂｓ０３は、その時点でいずれかの参加者が質問中であることを示す表示である。会話支援装置１００の表示処理部１２４は、固定テキストを所定の位置に固定して表示させているとき、質問表示ｂｓ０３を操作領域ｆｗ０１内に配置することで表示させ、それ以外のときに質問表示ｂｓ０３を表示させなくてもよい。これにより、固定テキストが質問内容を示すことを参加者に意識させることができる。

設定ボタンｂｓ０４は、押下により設定画面を表示させるためのボタンである。モード制御部１２８は、設定画面の表示中に、取得される操作信号に応じて会話支援装置１００の動作に係る各種のパラメータを設定可能とする。

機器表示ｄｖ０１は、第１テキスト情報が取得される機器を示す表示である。図３に示す例では、ｄｅｖ０１で指示される端末装置２００が第１テキスト情報の取得元として示される。表示処理部１２４は、通信部１４０または入出力部１５０から入力される機器識別情報で示される機器を、第１テキスト情報その他のデータを取得可能とする機器として特定することができる。通信部１４０、入出力部１５０は、それぞれ自部と接続された機器を特定し、特定した機器を示す機器識別情報を取得することができる。なお、モード制御部１２８は、機器表示ｄｖ０１の一態様として特定した機器ごとに機器ボタンを設定し、機器ボタンへの押下により、押下された機器ボタンに対応する機器からの各種データの入力の有無を設定可能としてもよい。

収音部表示ｍｃ０１は、音声データが取得される収音部を示す表示である、図３に示す例では、Ｍｉｃ０１、Ｍｉｃ０２でそれぞれ指示される収音部１６０が示される。表示処理部１２４は、入出力部１５０から入力される機器識別情報で示される収音部１６０を取得可能とする機器として特定することができる。入出力部１５０は、自部と接続された収音部１６０を特定し、特定した収音部１６０を示す機器識別情報を取得することができる。なお、モード制御部１２８は、収音部表示ｍｃ０１の一態様として特定した収音部１６０ごとに収音部ボタンとして機能させ、収音部ボタンへの押下により、押下された収音部ボタンに対応する収音部１６０からの音声データの入力の有無を設定可能としてもよい。

機能ボタン群ｆｎ０１は、押下により、その機能を指示するためのボタンの集合である。図３に示す例では、機能ボタン群ｆｎ０１には、全会話録音ボタン、削除文録音ボタンおよび議事録ボタンが含まれる。

全会話録音ボタンは、押下により全会話録音ボタンを指示するためのボタンである。全会話録音とは動作中に行われた会話における音声データを全て記録することである。例えば、モード制御部１２８は、全会話録音ボタンを示す操作信号が入力されるとき、全会話録音を示すモード制御情報を議事録作成部１２２に出力する。議事録作成部１２２は、収音部１６０から入力される音声データを議事録情報と対応付けて記憶部１３０に記憶する。議事録作成部１２２は、入力される音声データと、その音声データに基づいて生成された表示テキストと対応付けて記憶部１３０に記憶してもよい。音声分析部１１２は発話ごとの音声特徴量とその発話に係る音声データを対応付けて音声認識部１１４に出力する。音声認識部１１４は、発話ごとの第１テキスト情報とその発話に係る音声データを対応付けてテキスト処理部１２０に出力する。そして、テキスト処理部１２０は、発話ごとの第１テキスト情報に基づく表示テキスト情報と、その発話に係る音声データを対応付けて議事録作成部１２２に出力する。

削除文録音ボタンは、押下により削除文録音を指示するためのボタンである。削除文録音とは、削除されたテキストで発言内容を示す音声の音声データを記録することである。例えば、モード制御部１２８は、削除文録音ボタンを示す操作信号が入力されるとき、削除文録音を示すモード制御情報を議事録作成部１２２に出力する。また、表示制御情報取得部１２６は、取得した操作信号からテキスト削除情報を抽出するとき、抽出したテキスト削除情報を議事録作成部１２２にも出力する。議事録作成部１２２は、モード制御部１２８から削除文録音を示すモード制御情報が入力されるとき削除文録音を行う。即ち、議事録作成部１２２は、上記のように発話ごとに表示テキスト情報と音声データを記憶部１３０に対応付けて記憶する。そして、表示制御情報取得部１２６から入力されるテキスト削除情報で指示される表示テキスト情報を消去し、消去する表示テキスト情報に対応する音声データは消去せずに記憶部１３０に記憶したままとする。

議事録ボタンは、押下により議事録作成を指示するためのボタンである。例えば、モード制御部１２８は、議事録ボタンを示す操作信号が入力されるとき、議事録作成を示すモード制御情報を議事録作成部１２２に出力する。議事録作成部１２２は、モード制御部１２８から議事録作成を示すモード制御情報が入力されるとき、上述したように議事録情報を生成する。

（会話支援処理）
次に、本実施形態に係る会話支援処理の例について説明する。図４は、本実施形態に係る会話支援処理の例を示すフローチャートである。但し、端末装置２００からテキスト入力が行われ、入力されたテキストが表示テキストとしてスクロールの対象となり、さらに固定テキストとしてピン留め表示およびピン留め解除の対象となる場合を例にする。なお、次の説明では、特に断らない限り、取得元識別表示、時刻表示、削除ボタンおよびピンマークは、それぞれ対応する表示枠に従って表示または消去されることを仮定し、その説明を省略する。

（ステップＳ１０２）収音部１６０は、会話の参加者の音声を収音し、収音した音声を示す音声データを音声分析部１１２に出力する。音声分析部１１２には、収音部１６０から音声データが入力され（音声入力）、入力された音声データから発話区間を特定し、特定した発話区間ごとに音声データから解析された音声特徴量を音声認識部１１４に出力する。

（ステップＳ１０４）音声認識部１１４は、音声分析部１１２から入力される発話区間ごとの音声特徴量に対して音声認識処理を行い、発言内容を示す第１テキストに変換する。（テキスト変換）

（ステップＳ１０６）会話支援装置１００の表示処理部１２４は、表示画面のテキスト表示領域に既に割り当てた表示テキストを含む表示枠を所定方向に移動させる。（表示テキストスクロール）表示処理部１２４は、テキスト表示領域外に移動した表示テキストの表示枠を消去するとともに、テキスト表示領域のうち移動により生じた空き領域に変換された第１テキストを表示テキストとして含む表示枠を割り当て、その表示テキストを表示画面内に表示させる。

（ステップＳ１０８）端末装置２００の制御部２１０は、入力される操作信号によりテキスト表示領域に配置された表示枠のうちいずれか１つの表示枠を特定する。（対象テキスト指定）例えば、自部が受け付けた最新のテキストを表示位置の固定対象とする表示テキストとして含む表示枠が特定されうる。

（ステップＳ１１０）制御部２１０は、入力される操作信号で表示画面のピン留めボタンが指示されるとき（ピン留めボタン押下）、特定した表示枠内の区間の表示テキストを表示位置の固定対象として示す固定指示情報を会話支援装置１００に送信する。会話支援装置１００の表示制御情報取得部１２６は、端末装置２００から受信した固定指示情報を表示処理部１２４に出力する。

（ステップＳ１１２）会話支援装置１００の表示処理部１２４は、表示制御情報取得部１２６から入力される固定指示情報で指示される表示テキストを特定し、特定した表示テキストを固定テキストとして採用し、採用した固定テキストを含む表示枠を表示画面内の固定表示領域に割り当てる（ピン留め表示）。ここで、音声データに基づく第１テキスト、操作信号に基づく第２テキストのいずれも、表示位置が固定される固定テキストとなりうる。

（ステップＳ１１４）会話支援装置１００の表示処理部１２４は、表示制御情報取得部１２６からの固定解除情報の入力を待ち受ける。（ピン留め解除指示）固定解除情報が入力されるとき（ステップＳ１１４ ＹＥＳ）、表示処理部１２４は、ステップＳ１１６の処理に進む。）固定解除情報が入力されないとき（ステップＳ１１４ ＮＯ）、表示処理部１２４は、ステップＳ１１４の処理を繰り返す。他方、端末装置２００の制御部２１０は、入力される操作信号で表示画面のピン留め解除ボタンが指示（押下）されるとき、固定テキストに対する表示位置の固定の解除を示す固定解除情報を会話支援装置１００に送信する。会話支援装置１００の表示制御情報取得部１２６から受信した固定解除情報を表示処理部１２４に出力する。

（ステップＳ１１６）会話支援装置１００の表示処理部１２４は、固定テキストを含む表示枠を固定表示領域から消去する。（ピン留め解除）

（ステップＳ１１８）表示処理部１２４は、新たな表示テキスト情報がテキスト処理部１２０から入力されるごとに、テキスト表示領域に既に割り当てた表示テキストを含む表示枠を移動させ、移動により生じた空き領域に入力されたテキスト情報で示される表示テキストを含む表示枠を割り当てる。移動の対象となる表示テキストには固定テキストとして指示されたテキストも含まれる。（対象テキストスクロール）

なお、ステップＳ１１２において、会話支援装置１００の表示処理部１２４は、固定テキストとして採用した表示テキストを含む表示枠をテキスト表示領域において維持してもよいし、消去してもよい。その表示枠を維持する場合には、表示位置の固定対象となる区間の表示テキストが固定テキストとして複製（コピー）され、その表示テキストもテキスト表示領域に残される。そのため、ステップＳ１１８の処理が開始される前であっても、固定テキストの複製元となる表示テキストも移動の対象となりうる。他方、その表示枠を消去する場合には、ステップＳ１１８の処理に進む際、表示処理部１２４は、固定テキストとして採用していた表示テキストを含む表示枠をテキスト表示領域に再配置する。

表示処理部１２４は、その表示枠の位置を、例えば、その表示テキスト（以下、「再配置テキスト」）が取得された順序に対応した位置として、再配置テキストの直前の表示テキストの表示枠と、再配置テキストの直後の表示テキストの表示枠の間に定める。表示処理部１２４は、その再配置テキストを示す表示テキスト情報に付加された発言識別情報に基づいて特定することができる。再配置するための表示領域を確保するため、表示処理部１２４は、再配置テキストよりも前に取得された表示テキストのそれぞれの表示枠を所定の方向に移動させ、テキスト表示領域の範囲外に移動した表示枠を消去する。但し、定めた再配置テキストの表示枠の位置がテキスト表示領域外となる場合には、表示処理部１２４は、その表示枠をテキスト表示領域内に割り当て、表示画面に含めて表示させなくてもよい。

なお、表示処理部１２４は、再配置テキストの表示枠の位置を、その時点における最新の表示テキストの表示枠と同様に、テキスト表示領域の末尾となる位置に定め、定めた位置にその表示枠を配置してもよい。その場合には、表示処理部１２４は、その時点においてテキスト表示領域に既に割り当てた表示テキストを含む表示枠を移動させ、移動後の位置がテキスト表示領域外となる表示枠を消去する。これにより、最新の表示テキストと、固定テキストとして表示させた表示テキストとが隣接して表示される。例えば、固定テキストに現れた質問に対する回答が最新の表示テキストとして表示される。よって、両者の関連性を利用者に対して直感的に理解させることができる。

以上に説明したように、本実施形態に係る会話支援装置１００は、音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識部１１４を備える。また、会話支援装置１００は、表示部１８０に表示させた表示テキストの位置を移動させ、発話テキストを移動により生じる空き領域に表示テキストとして表示させ、操作に応じて表示位置の固定が指示される区間における表示テキストを固定テキストとして所定の表示位置に固定して表示部１８０に表示させる表示処理部１２４と、を備える。この構成により、参加者の操作に応じて指示された表示テキストの表示位置が所定の表示位置に固定される。そのため、新たな発言内容を示すテキストが取得されても、他の表示テキストのように表示位置が移動しないため、会話を妨げずに固定テキストで示される発言内容を会話の参加者（例えば、聴覚障がい者）に対してより確実に認識させることができる。

また、表示処理部１２４は、固定テキストを他の表示テキストよりも優先して表示させてもよい。この構成によれば、表示画面に接した参加者に、他の表示テキストよりも容易に固定テキストに注目させることができる。そのため、固定テキストで示される発言内容を会話の参加者に対してより確実に認識させることができる。

また、会話支援装置１００は、音声データの特性を示す特性パラメータをフレームごとに算出し、特性パラメータに基づいて無音区間と音声区間を定め、無音区間が所定時間以上継続した後に、開始した音声区間から、次に前記所定時間以上継続する無音区間の開始までの区間を発話区間として定める音声分析部１１２を備えてもよい。また、表示処理部１２４は、発話区間ごとに表示テキストとして表示部１８０に表示させ、表示部１８０に表示させた発話区間のいずれかの区間における表示テキストを固定テキストとして特定すてもよい。この構成によれば、参加者がなした発話区間ごとに、その発言内容を示す表示テキストが表示され、固定テキストが特定される。そのため、発話区間に区切らずに表示テキストを表示させる場合よりも、表示テキストに接した参加者は表示テキストが示す発言内容の理解や、会話における個々の発言の特定が容易となる。

また、表示処理部１２４は、音声データを取得した収音部１６０、２６０または端末装置２００を示す表示（例えば、収音部表示）を第１テキストと対応付けて表示させてもよい。この構成によれば、表示に接した利用者は、発言内容を示す第１テキストの変換元の音声データを取得元となる機器、またはその機器を主に用いる利用者を直感的に把握することができる。

また、表示処理部１２４は、操作に応じて固定テキストの表示位置の固定に対する解除が指示されるとき、固定テキストの表示位置の固定を解除してもよい。この構成によれば、固定テキストの表示位置の固定が解除されるので、他の参加者に対して固定テキストに対する注目を解除させ、もとの議題への復帰または他の議題への変更を促すことができる。

また、表示処理部は、操作に応じて表示位置の固定が指示される区間における表示テキストを固定テキストとして複製し、固定テキストの表示位置の固定を解除するとき、当該固定テキストを消去してもよい。この構成によれば、固定テキストとして指示される区間の表示テキストも、他の表示テキストと同様に新たな表示テキストの追加に応じて移動させるので、固定テキストを表示テキストとして再配置するための処理を省略することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、収音部１６０、操作部１７０、表示部１８０は、会話支援装置１００と必ずしも一体化されていなくてよく、それらのいずれかまたは組み合わせは、無線または有線で各種のデータを送受信可能に接続できれば、会話支援装置１００と別体であってもよい。

音声分析部１１２は、収音部１６０に代え、または収音部１６０とともに、端末装置２００の収音部２６０から音声データを取得してもよい。

テキスト取得部１１８は、端末装置２００の操作部２７０に代え、自装置の操作部１７０から入力される操作信号に基づく第２テキスト情報を取得してもよい。

テキスト取得部１１８が端末装置２００から第２テキスト情報を取得しない場合には、端末装置２００に表示画面データを送信しなくてもよい。

また、表示テキストを囲む表示枠の形状は、図２、図３に例示される吹き出しに限られず、表示テキストを収容できれば、楕円、長方形、平行四辺形、雲形などいずれの形状であってもよい。また、個々の表示枠の水平方向の幅と垂直方向の高さは一定値に統一されてもよい。その場合、新たな表示テキストの割り当ての際における垂直方向の移動量は、垂直方向の高さと、互いに隣接する表示枠間の間隔の等しくなる。表示テキストは、表示枠内に収容して表示されずに、発話ごとに改行して表示されてもよい。その他、表示画面内を構成するボタンや入力欄などの各表示要素の位置、大きさは任意であり、それらの一部が省略されてもよいし、図２、図３に例示されていない表示要素が含まれてもよい。また、表示画面に付される文言や表示要素の名称は、本願の実施形態の趣旨を逸脱しない限り、任意に設定可能である。

１００…会話支援装置、１１０…制御部、１１２…音声分析部、１１４…音声認識部、１１８…テキスト取得部、１２０…テキスト処理部、１２２…議事録作成部、１２４…表示処理部、１２６…表示制御情報取得部、１２８…モード制御部、１３０…記憶部、１４０…通信部、１５０…入出力部、１６０…収音部、１７０…操作部、１８０…表示部、２００…端末装置、２１０…制御部、２３０…記憶部、２４０…通信部、２５０…入出力部、２６０…収音部、２７０…操作部、２８０…表示部

Claims (9)

1. 音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識部と、
   表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、
   操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理部と、
   を備える会話支援装置。
2. 前記表示処理部は、
   前記固定テキストを他の前記表示テキストよりも優先して表示させる
   請求項１に記載の会話支援装置。
3. 前記音声データの特性を示す特性パラメータをフレームごとに算出し、前記特性パラメータに基づいて無音区間と音声区間を定め、前記無音区間が所定時間以上継続した後に、開始した音声区間から、次に前記所定時間以上継続する無音区間の開始までの区間を発話区間として定める音声分析部を備え、
   前記表示処理部は、前記発話区間ごとに前記発話テキストを前記表示部に表示させ、
   前記表示部に表示させた前記発話区間のいずれかの区間における表示テキストを前記固定テキストとして特定する
   請求項１または請求項２に記載の会話支援装置。
4. 前記表示処理部は、前記音声データを取得した収音部を示す表示を前記発話テキストと対応付けて表示させる
   請求項３に記載の会話支援装置。
5. 前記表示処理部は、
   操作に応じて前記固定テキストが指示されるとき、前記固定テキストの表示位置の固定を解除する
   請求項１から請求項４のいずれか一項に記載の会話支援装置。
6. 前記表示処理部は、
   操作に応じて表示位置の固定が指示される区間における表示テキストを前記固定テキストとして複製し、
   前記固定テキストの表示位置の固定を解除するとき、当該固定テキストを消去する
   請求項５に記載の会話支援装置。
7. 請求項１から請求項６のいずれか一項に記載の会話支援装置と、端末装置を備える会話支援システムであって、
   前記端末装置は、
   前記操作を受け付ける操作部と、
   前記操作を前記会話支援装置に送信する通信部と、を備える
   会話支援システム。
8. 会話支援装置における会話支援方法であって、
   音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識ステップと、
   表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、
   操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理ステップと、
   を有する会話支援方法。
9. 会話支援装置のコンピュータに、
   音声データに対して音声認識を行い、発言内容を示すテキストである発話テキストを生成する音声認識手順と、
   表示部に表示させた表示テキストの位置を移動させ、前記発話テキストを前記移動により生じる空き領域に表示テキストとして表示させ、
   操作に応じて表示位置の固定が指示される区間における前記表示テキストを固定テキストとして所定の表示位置に固定して前記表示部に表示させる表示処理手順と、
   を実行させるためのプログラム。

Images