JP2019153099A - 会議支援システム及び会議支援プログラム - Google Patents

Abstract

【課題】複数の拠点間で通信を介して行う通信会議において、会議時のリアルタイム処理に影響を与えずに、会議後の分析に適した高品質なデータを収集、保存する。【解決手段】エッジサーバー２０等に組み込まれる会議支援システム（３０）は、少なくとも一つの形態（音声等）の情報の履歴データに対し、発信元の拠点を識別する識別情報を含むタグを付加するタグ付手段と、タグ付手段によりタグが付加された発信元が異なるデータ毎に、統合する情報源の拠点を採択する採択手段と、採択手段により採択された情報源の保存データを時系列に統合して一つの形態の統合履歴データを作成し保存する統合手段と、を備える。基本的には情報源の拠点を発信元の拠点とする。【選択図】図１

Description

本発明は、会議支援システム及び会議支援プログラムに関する。

映像、音声等を送受信する通信会議システムで音声をテキスト化して表示するシステムは会議の内容を理解するのに役立っている。聞き取りにくい音声の補助やコミュニケーションミスを防ぐため内容理解を目的として使用されている。特に海外と会議を行う時は語学力不足を補う点でも効果がある。昨今はリモートワークなども増えて、国内の会議室と会議室で行っていた会議範囲からＷｅｂ会議など会議の形態が増え、スマートフォンやタブレットなどの通信端末も選択肢が増えたため、通信会議システムは安定したネットワークの下だけでなく、あらゆる環境、あらゆるデバイスと繋いで行われることになってきた。
また、ＡＩなどの発展により会議の情報を一括して保存し、分析を行い、次回以降の会議に役立てるような会議支援システムも現実的になり、会議自体の生産性の向上を目指す取り組みが進んでいる。
特許文献１には、会議内容に関して処理を受領、抽出、解析を行い、会議のメタデータを作成し、レポートに含めることが記載されている。

特開２０１７−９１５３６号公報

こういった通信会議技術の背景の中で、会議として実現しなければいけない点が２点ある。
１点目は会議の場での会議がスムーズに進行する事である。映像、音声、文字など途切れずに会議が成立する事が望まれる。音声はネットワーク環境によって質の変化が大きくなり聞き手側では劣化してしまうこともあり話者がいる場所でテキスト化することが求められるが、一方で処理能力の低い端末を利用したテキスト変換などの処理を多く行うと端末側の負荷が大きくなり会議自体のリアルタイム性が失われてしまう場合もあり、最適な場所で処理を実施する必要がある。
２点目としては、会議後の分析の事を考えると、分析に使用するデータの質が高いことが望まれる。聞き取りづらい音声やそのデータを用いたテキスト化した文書を使用しても良い分析はできない。
リアルタイム性を重視するとデータの質が低下し、分析に利用できないし、最適なデータを取ろうとすると会議のリアルタイム性が確保できないというどちらかを優先させるとどちらかが成り立たない問題がある。

特許文献１には、解析を目的として処理を段階的に行い、特にリアルタイム処理と後処理という考え方で処理を分けている点が見受けられるが、処理に求められる優先事項が異なるためデータの扱い方に課題がある。リアルタイム処理はリアルタイム性を確保する必要があるが、後処理は、分析結果の精度を高めるため、より高品質なデータを元にした分析が必要であるため、どちらかを優先させるとどちらかの処理精度が下がってしまうことになる。

本発明は以上の従来技術における問題に鑑みてなされたものであって、複数の拠点間で通信を介して行う通信会議において、会議時のリアルタイム処理に影響を与えずに、会議後の分析に適した高品質なデータを収集、保存し、ひいては会議内容の分析精度を向上することを課題とする。

以上の課題を解決するための請求項１記載の発明は、複数の拠点間で情報を通信して行う通信会議を支援する会議支援システムであって、
少なくとも一つの形態の前記情報の履歴データに対し、発信元の拠点を識別する識別情報を含むタグを付加するタグ付手段と、
前記タグ付手段によりタグが付加された発信元が異なるデータ毎に、統合する情報源の拠点を採択する採択手段と、
前記採択手段により採択された情報源の保存データを時系列に統合して前記一つの形態の統合履歴データを作成し保存する統合手段と、を備える会議支援システムである。

請求項２記載の発明は、前記複数の拠点から履歴データを収集するサーバーを有し、当該サーバーに前記タグ付手段、前記採択手段及び統合手段が実装される請求項１に記載の会議支援システムである。

請求項３記載の発明は、前記サーバーはいずれかの拠点に備わるエッジサーバーであって、前記統合履歴データに基づく会議内容の分析手段を備える請求項２に記載の会議支援システムである。

請求項４記載の発明は、前記タグ付手段が対象とする履歴データの一次保存先は、前記サーバー又は他の記憶装置であって、他の記憶装置の場合は、当該他の記憶装置から前記サーバーが当該他の記憶装置に記憶されている履歴データを収集する請求項２又は請求項３に記載の会議支援システムである。

請求項５記載の発明は、前記情報を第１の形態から第２の形態の変換する変換手段を備え、
前記タグ付手段は、前記第１の形態及び／又は前記第２の形態の履歴データに対しタグを付加し、前記統合手段は、前記第１の形態及び／又は前記第２の形態の統合履歴データを作成し保存する請求項１から請求項４のうちいずれか一に記載の会議支援システムである。

請求項６記載の発明は、前記第１の形態が音声で、前記第２の形態がテキストである請求項５に記載の会議支援システムである。

請求項７記載の発明は、前記タグ付手段は、前記第２の形態であるテキストに変換する際に当該テキストに発言単位で前記タグを付加する請求項５に記載の会議支援システムである。

請求項８記載の発明は、前記第１の形態である音声を前記第２の形態であるテキストに変換する前記変換手段は、当該音声の収集元である話者側拠点に備わる装置、他の聞き手側拠点に備わる装置のうち、装置の処理能力、通信状態を鑑み、変換精度の最適な拠点の装置のものを適用する請求項６又は請求項７に記載の会議支援システムである。

請求項９記載の発明は、前記タグ付手段の実装装置に前記変換手段も実装され、同装置に音声履歴データを収集した後これをテキスト変換する請求項６又は請求項７に記載の会議支援システムである。

請求項１０記載の発明は、前記第１の形態は音声、画像、映像又はテキストである請求項５に記載の会議支援システムである。

請求項１１記載の発明は、前記第２の形態はテキストの全文、翻訳若しくはそれらの抜粋、音声、画像又は映像である請求項５に記載の会議支援システムである。

請求項１２記載の発明は、前記タグ付手段が対象とする履歴データを、会議中又は会議後において部分的に逐次又はまとめて一時に収集する請求項１から請求項１１のうちいずれか一に記載の会議支援システムである。

請求項１３記載の発明は、前記収集のタイミングは、予め決められたタイミング又は環境により判断されるタイミングとされる請求項１２に記載の会議支援システムである。

請求項１４記載の発明は、前記情報源の拠点を前記発信元の拠点とする請求項１から請求項１３のうちいずれか一に記載の会議支援システムである。

請求項１５記載の発明は、前記タグ付手段が対象とする履歴データの形態が音声とされ、前記タグ付手段は各発言音声の入力マイクの識別により前記発信元の拠点を識別して前記タグを付加する請求項１から請求項１４のうちいずれか一に記載の会議支援システムである。

請求項１６記載の発明は、前記統合手段による統合を、会議中又は会議後において部分的に逐次又はまとめて一時に実行する請求項１から請求項１５のうちいずれか一に記載の会議支援システムである。

請求項１７記載の発明は、前記統合のタイミングは、予め決められたタイミング又は環境により判断されるタイミングとされる請求項１６に記載の会議支援システムである。

請求項１８記載の発明は、前記タグ付手段は、少なくとも一つの拠点から収取した履歴データに対し、前記タグを付加する請求項１から請求項１７のうちいずれか一に記載の会議支援システムである。

請求項１９記載の発明は、請求項１から請求項１８のうちいずれか一に記載の会議支援システムとしてコンピューターを機能させるための会議支援プログラムである。

本発明によれば、複数の拠点間で通信を介して行う通信会議において、会議時のリアルタイム処理に影響を与えずに、会議後の分析に適した高品質なデータを収集、保存し、ひいては会議内容の分析精度を向上することができる。

本発明の一実施形態に係る会議支援システムが支援するＴＶ会議システムの概要を示す模式図である。 本発明の一実施形態に係る会議支援システムの主要部を示す機能ブロック図である。 本発明の一実施形態に係る会議支援システムによる会議開始から会議ログ収集までの処理を示すフローチャートである。 本発明の一実施形態に係る会議支援システムによるタグ付けから統合履歴データ作成までの処理を示すフローチャートである。 本発明の一実施形態に係る会議支援システムによって統合される各拠点の履歴データ（ログ）と、統合履歴データの模式図である。

以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。

図１に示すように拠点Ａの会議室で２名、拠点Ｂの会議室で３名、拠点Ｃの社外のオープンスペースで１名の会議を想定する。拠点Ａがホストとなり、拠点Ａ，Ｂは会議室にあるＴＶ会議システムから社内ネットワークを介してＴＶ会議に繋げている。拠点Ｃはスマートフォンで公衆回線を利用して会議システムに繋ぎ会議に参加している。拠点Ａの通信端末１１、拠点Ｂの通信端末１２、及び拠点Ｃの通信端末１３は、それぞれ映像表示装置、スピーカー、カメラ、マイク、キーボード、マウス等の情報の出入力装置を備える。通信端末１１、通信端末１２、通信端末１３のそれぞれは、情報（映像、音声、キー入力のテキスト、画像ファイル、文書ファイル等）を入力し、他の端末に送信し、他の端末はそれを出力する。これにより、複数の拠点Ａ，Ｂ，Ｃ間で情報を通信して行う通信会議が実施される。

拠点Ａに（エッジ）サーバー２０があり、サーバー２０にホスト用会議支援システム３０が組み込まれている（会議支援プログラムがインストールされている）。図２に示すように会議支援システム３０は会議支援処理部４０と会議分析処理部５０から成り立ち、会議支援処理部４０には、会議の音声をテキスト化する音声テキスト変換部（変換手段）４１と、会議の状態を取得し、どの拠点でテキスト変換を実行するか判断する処理判断部４２と、各拠点の会議ログをサーバー２０に集める会議ログ収集部４３とが含まれる。
また、会議分析処理部５０は、収集した会議ログを一つに統合する会議ログ統合部（タグ付手段、採択手段、統合手段）５１と、会議後に会議ログから会議を分析する会議ログ分析部（分析手段）５２とからなる。
クライアント用会議支援システムは、ホストからの命令を受けて会議支援を実施するシステムで、会議ログの収集を行い、場合によって音声テキスト変換を行う事が出来、事前に会議を行う端末１２，１３にアプリケーションがインストールされて機能する。

図３、図４に処理のフローチャートを示す。
会議開始時に各拠点は会議ログの取得（履歴データの蓄積）を開始し（Ｓ１）、会議支援処理部４０の処理判断部４２は各拠点会議の状態（ネットワークのスピード、拠点の処理装置の能力）を確認する（Ｓ２）。
ＴＶ会議システムを利用している場合は音声テキスト変換処理をその拠点内で行って（例えば拠点ＢについてＳ３→Ｓ４の場合に相当）、音声とほぼ同時にテキストを各地に配信する。
ＰＣやタブレット、スマートフォンから繋いでいる場合はネットワーク状況についてＷｉ−Ｆｉ環境か３Ｇ，４Ｇ通信かのネットワーク状況とその時の通信速度を確認し、また、装置の処理能力を確認し、タイムラグが発生しないように拠点Ａと拠点Ｃのどちらで処理を行うかを判断する（Ｓ３）。また、処理負荷を減らすために拠点Ｃは自らテキスト変換処理を拒否し、相手側（拠点Ａ）に託すこともできる（Ｓ３→Ｓ５）。すなわち、第１の形態である音声を第２の形態であるテキストに変換する変換手段は、当該音声の収集元である話者側拠点（Ｃ）に備わる装置、他の聞き手側拠点（Ａ，Ｂ）に備わる装置のうち、装置の処理能力、通信状態を鑑み、変換精度の最適な拠点の装置のものを適用する。

ここでは、会議ログは会議中の音声とこのテキスト情報を含む例、すなわち、第１の形態としての音声の履歴データと第２の形態としてのテキストの履歴データを含む例で説明するが、会議ログはこれに限らず、会議の映像、画像、議事録、それらを翻訳や編集したものも該当する。第１の形態の情報としては少なくとも音声、画像、映像又はテキストが該当する。第２の形態の情報としては少なくともテキストの全文、翻訳若しくはそれらの抜粋（要約）、音声、画像又は映像が該当する。

会議終了後（Ｓ６でＹＥＳ）、会議ログ収集部４３はそれぞれの拠点で保存しておいた会議ログ（履歴データ）を拠点Ａのサーバー２０に収集する（Ｓ７）。拠点Ｃからの収集は拠点ＣがＷｉ−Ｆｉ環境にある時に実行する。環境によって、会議中に同時に収集しても良いし、拠点ごとに収集タイミングを変えて構わない。タグ付手段が対象とする履歴データを、会議中又は会議後において部分的に逐次又はまとめて一時に収集すればよい。その収集のタイミングは、予め決められたタイミングでもよいし、その都度環境により判断されるタイミングとしてもよい。

図５をも参照する。
全ての拠点の履歴データが揃ったときに会議ログ統合部５１は統合作業を実施する。会議ログ統合部５１のタグ付手段は、まず拠点Ａの音声履歴データ１００に対し、各発言音声に話者の拠点タグ（発信元の拠点を識別する識別情報を含むタグ）Ｔをつけていく（Ｓ８）。タグＴのつけ方として、どの拠点からの発言かを残しているテキストデータを参考にしても良い、すなわち、第２の形態であるテキストに変換する際に当該テキストに発言単位でタグを付加しておいて、これを利用してもよい。
また、音声の録音時に端末マイクからの音声か会議相手からの音声かを区別して保存する方法でも良い。すなわち、タグ付手段が対象とする履歴データの形態が音声とされ、タグ付手段は各発言音声の入力マイクの識別により発信元の拠点を識別してタグを付加する方法である。

ここでは、会議ログ統合部５１の採択手段は、タグ付手段によりタグが付加された発信元が異なるデータ毎に、統合する情報源の拠点を発信元の拠点とする採択を行う。
会議ログ統合部５１の統合手段は、拠点Ａで蓄積作成された音声履歴データ１００の内、拠点ＢのタグＴ（Ｂ）がついた部分１０２，１０５，１０８を拠点Ｂの音声履歴データ２０１，２０２，２０３と置き換える。また会議ログ統合部５１の統合手段は、拠点ＣのタグＴ（Ｃ）がついた部分１０３，１０６を拠点Ｃの音声履歴データ３０１，３０２と置き換え、拠点ＡのタグＴ（Ａ）がついた部分をそのまま残し、全ての音声が話者の拠点で取得したデータになるように置き換えて（Ｓ９−Ｓ１１）、１ファイル（統合履歴データ４００）に統合する（Ｓ１２）。会議ログ分析部５２は、統合したファイル４００を使用し、必要な時に分析を実施する。

以上の統合作業も、会議中又は会議後において部分的に逐次又はまとめて一時に実行すればよく、統合のタイミングは、予め決められたタイミングでもよいし、その都度環境により判断されるタイミングとしてもよい。

音声はそれぞれの拠点で取得したものに置き換える例（すなわち、情報源＝発信元とする場合）を説明したが、取得したログ（履歴データ）のうち状態の良い物を使用する方法も可能である。
全ての拠点でそれぞれログ（履歴データ）を取得して統合する例を説明したが、ゲスト参加で同じシステムを有していない社外のお客様との会議の場合は全ての拠点からの会議ログを集めることは行わず、その場合はホストの拠点のログを使用しても良いし、取得した音声の中で一番状態の良い物を判断しても良い（拠点Ｃがタグ付けされたデータを拠点Ａから収集する場合など）。また、同じ拠点内の別の方法で取得した音声、画像、テキストデータを収集、統合しても良い。
統合時にタグ付けの参考となるテキストの質が悪いと判断された時は再度質の良い音声情報を用いてテキスト化をし直しても良い。その場合、本実施形態ではタグ付手段の実装装置であるサーバー２０に変換手段（４１）も実装されているので、同装置２０に音声履歴データを収集した後これを変換手段（４１）がテキスト変換する。

ここまで音声履歴データを収集、統合する例を示したが、画像や映像、テキストデータの収集、統合を実施しても良い。音声の統合履歴データとテキストの統合履歴データとをセットで作成、保存してもよい。
テキスト化したデータは会議の全体を含む必要はなく、冒頭の余談や翻訳前か後の言葉、重複する説明は省くこともできる。
別例として、海外拠点との打ち合わせの場合などＴＶ会議を使用していても設備やネットワークの状態が悪い場合はＴＶ会議システムでもテキスト変換は処理判断部４２に判断させて処理場所を決定する。
会議の形態は全てＷｅｂ会議でも良い。また、ＴＶ会議の例を使って流れを説明したが、音声のみの通信会議でも良い。

１１ 通信端末
１２ 通信端末
１３ 通信端末
２０ サーバー
３０ 会議支援システム
１００ 音声履歴データ
２００ 音声履歴データ
３００ 音声履歴データ
４００ 統合履歴データ
Ａ，Ｂ，Ｃ 拠点
Ｔ タグ

Claims (19)

1. 複数の拠点間で情報を通信して行う通信会議を支援する会議支援システムであって、
   少なくとも一つの形態の前記情報の履歴データに対し、発信元の拠点を識別する識別情報を含むタグを付加するタグ付手段と、
   前記タグ付手段によりタグが付加された発信元が異なるデータ毎に、統合する情報源の拠点を採択する採択手段と、
   前記採択手段により採択された情報源の保存データを時系列に統合して前記一つの形態の統合履歴データを作成し保存する統合手段と、を備える会議支援システム。
2. 前記複数の拠点から履歴データを収集するサーバーを有し、当該サーバーに前記タグ付手段、前記採択手段及び統合手段が実装される請求項１に記載の会議支援システム。
3. 前記サーバーはいずれかの拠点に備わるエッジサーバーであって、前記統合履歴データに基づく会議内容の分析手段を備える請求項２に記載の会議支援システム。
4. 前記タグ付手段が対象とする履歴データの一次保存先は、前記サーバー又は他の記憶装置であって、他の記憶装置の場合は、当該他の記憶装置から前記サーバーが当該他の記憶装置に記憶されている履歴データを収集する請求項２又は請求項３に記載の会議支援システム。
5. 前記情報を第１の形態から第２の形態の変換する変換手段を備え、
   前記タグ付手段は、前記第１の形態及び／又は前記第２の形態の履歴データに対しタグを付加し、前記統合手段は、前記第１の形態及び／又は前記第２の形態の統合履歴データを作成し保存する請求項１から請求項４のうちいずれか一に記載の会議支援システム。
6. 前記第１の形態が音声で、前記第２の形態がテキストである請求項５に記載の会議支援システム。
7. 前記タグ付手段は、前記第２の形態であるテキストに変換する際に当該テキストに発言単位で前記タグを付加する請求項５に記載の会議支援システム。
8. 前記第１の形態である音声を前記第２の形態であるテキストに変換する前記変換手段は、当該音声の収集元である話者側拠点に備わる装置、他の聞き手側拠点に備わる装置のうち、装置の処理能力、通信状態を鑑み、変換精度の最適な拠点の装置のものを適用する請求項６又は請求項７に記載の会議支援システム。
9. 前記タグ付手段の実装装置に前記変換手段も実装され、同装置に音声履歴データを収集した後これをテキスト変換する請求項６又は請求項７に記載の会議支援システム。
10. 前記第１の形態は音声、画像、映像又はテキストである請求項５に記載の会議支援システム。
11. 前記第２の形態はテキストの全文、翻訳若しくはそれらの抜粋、音声、画像又は映像である請求項５に記載の会議支援システム。
12. 前記タグ付手段が対象とする履歴データを、会議中又は会議後において部分的に逐次又はまとめて一時に収集する請求項１から請求項１１のうちいずれか一に記載の会議支援システム。
13. 前記収集のタイミングは、予め決められたタイミング又は環境により判断されるタイミングとされる請求項１２に記載の会議支援システム。
14. 前記情報源の拠点を前記発信元の拠点とする請求項１から請求項１３のうちいずれか一に記載の会議支援システム。
15. 前記タグ付手段が対象とする履歴データの形態が音声とされ、前記タグ付手段は各発言音声の入力マイクの識別により前記発信元の拠点を識別して前記タグを付加する請求項１から請求項１４のうちいずれか一に記載の会議支援システム。
16. 前記統合手段による統合を、会議中又は会議後において部分的に逐次又はまとめて一時に実行する請求項１から請求項１５のうちいずれか一に記載の会議支援システム。
17. 前記統合のタイミングは、予め決められたタイミング又は環境により判断されるタイミングとされる請求項１６に記載の会議支援システム。
18. 前記タグ付手段は、少なくとも一つの拠点から収取した履歴データに対し、前記タグを付加する請求項１から請求項１７のうちいずれか一に記載の会議支援システム。
19. 請求項１から請求項１８のうちいずれか一に記載の会議支援システムとしてコンピューターを機能させるための会議支援プログラム。

Images