JP2024029642A - 情報処理装置、表示方法、プログラム - Google Patents

Abstract

【課題】領域ごとの使用頻度に基づいてテキストデータの表示領域を決定する技術を提供すること。【解決手段】本発明は、情報処理システムと通信可能な情報処理装置であって、オブジェクトをディスプレイに表示する表示制御部と、デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信する通信部と、前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域１５０を決定する表示領域決定部と、前記表示領域に前記テキストデータを表示するテキスト表示部と、を有する。【選択図】図１

Description

本発明は、情報処理装置、表示方法、及びプログラムに関する。

タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画した手書きデータを表示する電子黒板などの情報処理装置が知られている。また、会議の参加者の発話を音声認識によりテキストデータに変換し、テキストデータを使用して議事録を作成する技術が知られている。

音声をテキストデータに変換してリアルタイムに表示する技術が知られている（例えば、特許文献１参照。）。特許文献１には、画面表示を共有する共有領域の指定を受け付け、入力された音声を音声認識でテキストデータに変換し、共有領域内の画面データとテキストデータとを表示する技術が開示されている。

しかしながら、従来の技術では、領域ごとの使用頻度に基づいてテキストデータの表示領域が決定されていないという問題がある。例えば、テキストデータを表示するために表示領域が固定されると手書きデータなどの入力領域が狭くなり、操作性が低下する。また、情報処理装置が入力領域にテキストデータを単に重ねて表示すると、手書きデータ等がテキストデータで隠れるので操作性が低下する。

本発明は、上記課題に鑑み、領域ごとの使用頻度に基づいてテキストデータの表示領域を決定する技術を提供することを目的とする。

本発明は、情報処理システムと通信可能な情報処理装置であって、オブジェクトをディスプレイに表示する表示制御部と、デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信する通信部と、前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域を決定する表示領域決定部と、前記表示領域に前記テキストデータを表示するテキスト表示部と、を有する。

領域ごとの使用頻度に基づいてテキストデータの表示領域を決定する技術を提供することができる。

ユーザーが発言した音声から変換されたテキストデータを電子黒板が、オブジェクトと共に表示する処理を説明する図である。 遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。 記録情報作成システムの構成例を示す図である。 情報処理システム及び端末装置のハードウェア構成例を示す図である。 ミーティングデバイスのハードウェア構成例を示す図である。 ミーティングデバイスの撮像範囲を説明する図である。 パノラマ画像と話者画像の切り出しを説明する図である。 電子黒板の一例のハードウェア構成図である。 記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。 情報記憶部が記憶している動画記録情報の一例を示す図である。 コミュニケーション管理部が管理する会議情報の一例を示す図である。 対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。 記録情報記憶部に記憶されている記録情報とオブジェクト情報の一例を示す図である。 記録情報の一部であるテキストデータの構造を説明する図である。 電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。 機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。 オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。 記録情報作成システムがミーティングデバイスと電子黒板を対応付ける処理を説明するシーケンス図の一例である。 矩形領域、及び更新数を説明する図である。 ウィンドウごとの更新数の合計方法を説明する図である。 矩形領域に設定された更新数とウィンドウ内の合計更新数の一例を示す図である。 文字サイズの決定表の一例を示す図である。 電子黒板が有する余白を説明する図である。 会議で記録情報とオブジェクト情報が保存される処理を説明するシーケンス図の一例である。 電子黒板が表示領域を決定する処理を説明するフローチャート図の一例である。 表示領域決定部が矩形領域の更新数を更新する処理を説明するフローチャート図の一例である。 表示領域決定部が合計更新数に基づいて、表示領域を決定する処理を説明するフローチャート図の一例である。 テキスト表示部が表示領域にテキストデータを表示する処理を説明するフローチャート図の一例である。 オブジェクトの種類によって変更される更新数の加算ポイントの一例を示す図である。 表示領域決定部が矩形領域の更新数をオブジェクトの種類に応じて更新する処理を説明するフローチャート図の一例である。 表示領域の移動を説明する図である。

以下、本発明を実施するための形態の一例として、情報処理装置と情報処理装置が行う表示方法について説明する。

＜テキストデータの表示の概略＞
図１は、ユーザーが発言した音声から変換されたテキストデータを電子黒板２が、オブジェクトと共に表示する処理を説明する図である。

(1) ユーザーが発言した音声は、ミーティングデバイス６０と端末装置１０を経由して、リアルタイムに情報処理システム５０に送信される。

(2) 情報処理システム５０は、音声を無音区間や文字数でなどで区切りながら、音声をテキストデータに変換する。情報処理システム５０は、ミーティングデバイス６０と対応付けられた電子黒板２にテキストデータを送信する。

(3) テキストデータを受信した電子黒板２は、主に以下の２つの方法でテキストデータ１５３をディスプレイに表示する。
(i) 電子黒板２はテキストデータをディスプレイ４８０の未使用領域１５１に表示する。未使用領域１５１には、オブジェクトが表示されていないので、ユーザーはオブジェクトがテキストデータ１５３で隠れたり、テキストデータ１５３がオブジェクトで隠れたりすることなく、オブジェクトとテキストデータを視認できる。
(ii) 未使用領域１５１が存在しない場合、電子黒板２は使用頻度が低い領域を決定し、該領域をテキストデータ１５３の表示領域１５０に決定する。表示領域１５０は、議論の対象となっていないオブジェクトが表示されている可能性が高く、オブジェクトがテキストデータ１５３で隠れても影響が少ない。

このように、本実施形態の記録情報作成システムは、未使用領域１５１か又は直近で利用されている頻度が小さい表示領域１５０にテキストデータを表示するので、電子黒板２の使い勝手を低下させにくい。

＜用語について＞
会議とは、会合して評議することをいう。会議は、コンベンション、集会、集まり、ミーティング、評議、発表会、プレゼンテーション、コンファレンス、談合、会談、合議、話合い、セミナー等と呼ばれてもよい。

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、電子黒板は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に１つ以上の文字を含む文字列（文字コード）であり、数字、記号なども含む。テキストを文字列という場合がある。

デバイスとは、例えば会議などで音声を収録する機能を有する装置である。デバイスは音声データを直接又は間接に情報処理システムに送信する。デバイスはカメラにより周囲の画像を生成する機能を有していてもよい。本実施形態では、ミーティングデバイス６０という用語で説明される。

ディスプレイの領域の使用頻度とは、領域にオブジェクトが入力又は表示される頻度である。使用頻度は現在に近い時間帯の使用頻度であることが好ましい。

＜遠隔会議における議事録の作成方法の一例＞
図２を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図２は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図２に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。

本実施形態の記録情報作成システム１００は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。

(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。

(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス６０が行う場合がある。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

電子黒板２は、電子ペン４９０や指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ、ＰＤＡ、ゲーム機等でもよい。

電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。

＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ１３０、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ（登録商標）等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。

ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。

図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、及び、コード解析部２２、を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。

音声取得部１５は、遠隔会議アプリ４２が遠隔会議において受信した音声データを遠隔会議アプリ４２から取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。

デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。

音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

コード解析部２２は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。

図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

・保存先は、ストレージサービスシステム７０において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。

＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、オブジェクト情報記憶部５００４が構築される。これらのうち、オブジェクト情報記憶部５００４については電子黒板２において説明する。

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

画面生成部５３は、情報記録アプリ４１が表示する情報を提供する。画面の構成は情報記録アプリ４１が有しているので、画面生成部５３は、情報記録アプリ４１のコンテンツをＸＭＬ等で端末装置１０に提供する。端末装置１０がＷｅｂアプリを実行する場合、画面生成部５３は、Ｗｅｂアプリが表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部５００１に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力された手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

・参加者の項目は、会議の参加者である。

・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。

・開始日時の項目は、会議が開始される予定の日時である。

・終了日時の項目は、会議が終了する予定の日時である。

・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。

・電子黒板情報の項目は、会議で使用された電子黒板２の識別情報である。

・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の識別情報である。

・閲覧権限の項目は、会議の開催者が予め会議情報を登録する際又は開催後に閲覧権限をもつユーザーとして登録したユーザーＩＤである。例えば、会議ごとに、参加者のみ、参加者＋任意のユーザー名、又は、任意のユーザー名などが会議情報に登録される。登録されたユーザー以外が検索した場合、検索部５８は検索に適合しても当該会議の記録情報及びオブジェクト情報に関する検索結果を提供しない。

図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。

録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。

図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまでこの対応付け情報が保持される。

＜＜ストレージサービスシステム＞＞
ストレージサービスシステム７０は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部７００１には、記録情報（結合画像動画、テキストデータ）及びオブジェクト情報が保存されている。

図１３は、記録情報記憶部７００１に記憶されている記録情報とオブジェクト情報を示す。図１３に示すように、記録情報である結合画像動画とテキストデータ、及び、オブジェクト情報が会議ＩＤに対応付けて保存されている。結合画像動画には合成された音声が含まれており、テキストデータは合成後の音声データが音声認識により変換されたものである。オブジェクト情報は後述する電子黒板２に入力された手書きデータなどのオブジェクトに関する情報である。記録情報とオブジェクト情報は会議ＩＤと対応付けられているので、会議情報とも対応付けられている。

図１４は、記録情報の一部であるテキストデータの構造を説明する図である。図１４に示すように、テキストデータは、ＩＤ、time、認識結果文字列、音声データ、拠点識別情報、話者ＩＤの項目が対応付けられている。

・ＩＤは自拠点音声と他拠点音声が所定の規則で分割された場合に採番される識別情報である。所定の規則は、ミーティングデバイス６０（及び音声認識サービスシステム８０の少なくとも一方）に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間又は文字数で強制的に区切る、形態素解析により検出した一文ずつ区切る、などである。

・timeは、録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textが発言された時刻（標準時における時刻）も分かる。

・認識結果文字列は分割された合成音声が音声認識で変換されたテキストデータの一部である。合成音声は、認識結果文字列の変換元となった音声データである。

・音声データは、拠点の判断後に自拠点音声と他拠点音声が合成された合成音声（分割済み）である。

・拠点識別情報は、自拠点音声の音圧と他拠点音声の音圧に基づいて判断された、音声データが発言された拠点の識別情報である。拠点識別情報は、例えば１が自拠点、２が他拠点を表す。

・話者ＩＤは、認識結果文字列を発言した話者を示すユーザーＩＤである。ユーザーＩＤによりどの参加者が発言したかも特定できる。会議中に話者を識別する方法はいくつか知られている。識別する方法は、例えば、予め各社員が声紋を登録しておく方法、ミーティングデバイス６０が話者の方向を検出しているので、その方向の参加者を顔認識する方法など、どのような方法でもよい。話者ごとにマイクが用意される会場ではどのマイクが集音したかで話者が特定される。

このように、テキストデータ（ここでは認識結果文字列）が話者ＩＤと対応付けられているので、参加者名でテキストデータが検索された場合、検索部５８が話者ＩＤを検索して、当該参加者が発言したテキストデータが特定される。

＜＜電子黒板＞＞
図１５は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、認証部３７、操作受付部３８、表示領域決定部３９、及び、テキスト表示部４０を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

表示制御部３４は手書きデータやユーザーが操作するためのメニューなどをディスプレイに表示する。

データ記録部３３は、電子黒板２に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、図形、及び、ＰＣの画面などの画像、ファイル等はオブジェクトとして扱われる。

通信部３６はＷＩ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。ユーザーが設定したものでもよい。

認証部３７は、電子黒板２のユーザーを認証する。認証方法は認証部５２と同様でよい。また、認証部３７は認証部５２に認証を依頼してもよい。

操作受付部３８は、電子黒板２に対し、表示されるメニューやボタンなどに対するユーザーの操作を受け付ける。

表示領域決定部３９は、ディスプレイ４８０において、音声から変換されたテキストデータを表示する表示領域１５０の位置とサイズを決定する。表示領域決定部３９は、オブジェクトが入力された矩形領域の更新数を、時間的に後に入力されるほど大きくする。

テキスト表示部４０は、表示領域決定部３９が決定した表示領域１５０に、音声から変換されたテキストデータを表示する。テキスト表示部４０は、表示領域１５０の上から下、又は、下から上に、テキストデータをスクロールしたり、所定時間の経過で消去したりする。

また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。

図１６は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

図１７は、オブジェクト情報記憶部３００２に保存されているオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。遠隔会議の開催時に他の拠点に電子黒板２が配置されている場合、オブジェクト情報が共有される。

・会議ＩＤの項目は、情報処理システム５０から通知された会議の識別情報が設定される。

・オブジェクトＩＤの項目は、オブジェクトを識別する識別情報が設定される。

・種別の項目は、オブジェクトの種類が設定され、手書きデータ、図形、画像、等がある。手書きはストロークデータ（座標点列）である。図形は、三角や四角などの幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＴＩ/ＦＦなどの画像データである。いずれのオブジェクトも、データ本体がオブジェクトＩＤに対応付けられて保存されている。手書きデータが文字認識によりテキストに変換されてもよい。

・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。

・座標の項目は、電子黒板２の所定の原点を基準とするオブジェクトの位置が設定される。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。

・サイズの項目は、オブジェクトの外接矩形の幅と高さが設定される。

・筆記者ＩＤの項目は、オブジェクトを入力したユーザーのユーザーＩＤである。ユーザーは電子黒板２の使用を開始する前に電子黒板２にログインする。ログインによりユーザーＩＤが特定される。例えば、同時には一人のユーザーのみが電子黒板２に入力する場合、最後にログインしたユーザーのユーザーＩＤがオブジェクトに対応付けられる。同時に複数のユーザーが電子黒板２に入力する場合、電子ペンとユーザーＩＤが対応付けられるとよい。例えばユーザーがログインした順番に、電子ペンのＩＤとユーザーＩＤとが対応付けられ、ユーザーが入力に使用した電子ペンにより、オブジェクトを入力したユーザーＩＤが特定される。筆記者ＩＤの項目に複数のユーザーＩＤが登録されているのは、１つの手書きデータが複数のストロークを有し、それぞれを異なるユーザーが手書きしたためである。なお、本実施形態では、筆記者ＩＤは、情報処理システム５０側で付与されてもよいし、電子黒板２が付与してもよい。

・タイムスタンプの項目は、オブジェクトの入力が開始された時刻が設定される。タイムスタンプはオブジェクトの入力が終了した時刻でもよい。手書きデータのタイムスタンプは、ストロークとストロークの間の時間により区切られた際の、最初のストローク又は最後のストロークが入力された時刻である。タイムスタンプは、絶対時刻でも会議が始まってから（電子黒板の電源ＯＮから）の経過時間でもよい。

＜動作又は処理＞
図１８は、記録情報作成システム１００がミーティングデバイス６０と電子黒板２を対応付ける処理を説明するシーケンス図である。会議に参加するユーザーがミーティングデバイス６０と電子黒板２を同じ会議で使用して会議に参加しようとしている。

S1：会議で使用する会議室に配置された電子黒板２は、電源オンにより予め設定されている情報処理システム５０と通信し、自機の機器識別情報を指定して会議への対応付けが可能である旨を登録する。情報処理システム５０は、電子黒板２のＩＰアドレスも把握する。

S2：また、会議で使用する会議室に配置された電子黒板２のコード生成部３５は、自機の機器識別情報、及び、機器識別情報である旨が符号化された二次元コードを生成し、表示制御部３４が表示する。二次元コードには更に電子黒板２が他機を認証するためのパスワードが含まれてもよい。

S3：ユーザーが端末装置１０とミーティングデバイス６０を持って電子黒板２が設置されている会議室に入室し、端末装置１０とミーティングデバイス６０をＵＳＢケーブルで接続する。ミーティングデバイス６０はＵＳＢケーブルの電力供給により、又は、電源オンにより起動する。これにより、ミーティングデバイス６０はスタンバイ状態になる。また、ユーザーは端末装置１０の情報記録アプリ４１を起動する。情報記録アプリ４１がミーティングデバイス６０と通信を開始することで、ミーティングデバイス６０が撮像と集音を開始する。ミーティングデバイス６０のパノラマ画像作成部６２が二次元コードを含む周囲を撮像したパノラマ画像（画像データ）を作成する。

S4：ミーティングデバイス６０の端末通信部６１は、パノラマ画像を端末装置１０に送信する。

S5：端末装置１０のデバイス通信部１６はパノラマ画像を受信し、コード解析部２２がパノラマ画像の中から電子黒板２が表示している二次元コードを検出する。コード解析部２２は、二次元コードを復号し、会議で使用可能な機器である旨が埋め込まれていると判断すると、二次元コードから電子黒板２の機器識別情報を取得する。なお、二次元コードの解析はミーティングデバイス６０が行ってもよい。

S6：情報記録アプリ４１の通信部１１は、電子黒板２の機器識別情報を指定して会議への登録要求を情報処理システム５０へ送信する。通信部１１は、更に、ミーティングデバイス６０の機器識別情報を情報処理システム５０に送信する。情報処理システム５０は、端末装置１０のＩＰアドレスを把握する。

S7：情報処理システム５０の通信部５１は、会議への登録要求（機器識別情報）を受信すると、コミュニケーション管理部５４が会議ＩＤを発行する。情報記録アプリ４１が会議一覧画面等から会議の選択を受け付けている場合、通信部５１は会議ＩＤを機器識別情報に添付するので、コミュニケーション管理部５４は会議ＩＤを発行しない。

S8：そして機器管理部５５は、電子黒板２とミーティングデバイス６０の機器識別情報、及び、会議ＩＤとを対応付けて、対応付け情報記憶部５００３に保存する。

S9,S10：情報処理システム５０の通信部５１は、端末装置１０と電子黒板２に、会議ＩＤを通知する。端末装置１０の通信部１１は会議ＩＤを受信して保存しておく。同様に、電子黒板２の通信部３６は会議ＩＤを受信すると、これを保存しておく。なお、端末装置１０は会議への登録要求の応答として会議ＩＤ又は機器識別情報の少なくとも一方を受信する。電子黒板２と情報処理システム５０は、情報処理システム５０から電子黒板２へのプッシュ型の通信を可能にするWebSocket等の双方向通信方式で通信してもよい。

電子黒板２と端末装置１０が同じ会議ＩＤを有するので、電子黒板２とミーティングデバイス６０が会議に対応付けられる。以降、端末装置１０は送信するデータに会議ＩＤ又はミーティングデバイス６０の機器識別情報の少なくとも一方を、電子黒板２は送信するデータに会議ＩＤ又は機器識別情報の少なくとも一方を添付する。本実施形態では会議ＩＤが通信に添付されるが、機器識別情報又はミーティングデバイス６０の機器識別情報が通信に添付されても、情報処理システム５０が対応付け情報により会議ＩＤを特定できる。

＜電子黒板におけるテキストの表示領域の位置の決定＞
図１９～図２１を参照しながら、電子黒板２におけるテキストデータの表示領域１５０の決定方法を説明する。図１９は、矩形領域、及び更新数を説明する図である。図１９（ａ）は、電子黒板２のディスプレイ４８０を格子状に区切った各矩形領域４を示す。矩形領域４をいくつか連結した領域がテキストの表示領域１５０となる。表示領域１５０のサイズを３つくらいのテキストデータを収容できるサイズとして想定すると、１つの矩形領域４のサイズは、テキストデータが二～五文字くらい入るサイズが想定されるが、矩形領域４のサイズはディスプレイ４８０の画素数などに応じて設計されるものとする。また、ユーザーが矩形領域４のサイズを設定できてもよい。表示領域１５０よりも小さい矩形領域４が表示領域１５０の決定に使用されるのは、表示領域１５０のサイズを可変とするためである。

表示領域決定部３９は、電子ペン４９０や指のディスプレイ４８０に対するペンダウンからペンアップまでの座標を検知し、座標が通過した矩形領域４に、更新数を設定する。更新数は、全ての矩形領域４の中で最も大きい更新数に対し１ポイント加算した値となる。

図１９（ｂ）は、更新数の設定を説明する図である。ユーザーがストローク１２０を手書きした。図１９（ｂ）に示すように１２個の矩形領域４をストローク１２０が通過している。図１９（ｂ）では、座標（２，４）の矩形領域４から座標（５，４）の矩形領域４までストローク１２０が通過した。表示領域決定部３９は、矩形領域４ごとに更新数を管理する。ストローク１２０が検出されると、全ての矩形領域４が有する更新数のうち最も大きい更新数に１ポイントを加算して、ストロークが検出された矩形領域４に設定する。

図１９（ｃ）は、ストローク１２０により各矩形領域４に設定された更新数を示す。座標（２，４）の前に更新数が設定された矩形領域４がないので、座標（２，４）の更新数が「１」となる。ストローク１２０が追加した順に更新数が１ポイントずつ大きくなり、座標（５，４）の更新数が「１２」となる。このように更新数を管理することで、矩形領域４がいつ使用されたのかを管理する（矩形領域４にストロークが手書きされた時刻を管理する）必要がない。

仮に、次にストロークが検出された場合、ストロークが通過した矩形領域４の更新数は「１３」である。このように更新数が管理されると、更新数が小さい矩形領域４は現在ではあまり利用されていない、すなわち、使用頻度が低頻度であると判断できる。

なお、ユーザーが消しゴム機能でストロークを消去した場合、該ストロークがあった矩形領域４の更新数はゼロになる。ストロークがないため未使用領域となるからである。

図２０は、ウィンドウ１３０ごとの更新数の合計方法を説明する図である。表示領域決定部３９は、ウィンドウ１３０ごとに更新数を合計し、合計更新数が最も小さいウィンドウ１３０を表示領域１５０に決定する。図２０に示すように、表示領域決定部３９は、
「第一の領域数Ｎ（高さ方向の矩形領域４の領域数）×第二の領域数Ｍ（幅方向の矩形領域４の領域数）個」
の矩形領域４を１つのウィンドウ１３０とみなす。ウィンドウ１３０は、テキストデータを最低でも３つ程度、配置できるように決定されている。図２０ではＮ＝２、Ｍ＝３であるが、一例に過ぎない。また、表示領域決定部３９はウィンドウ１３０を徐々に大きくし、３つのテキストデータ分よりも大きい表示領域１５０を設定できるように処理する。電子黒板２は、表示領域１５０内に表示されるテキストデータの数を多くすることができ、一覧性が向上する。

表示領域決定部３９は、ウィンドウ１３０内の各矩形領域４の更新数の合計を、矩形領域４を１つずつずらしながら算出する。図２０（ａ）に示すように、表示領域決定部３９は、ディスプレイ４８０の左上のコーナーから始めて、右方向に１矩形領域分、ウィンドウ１３０をスライドし、ウィンドウ１３０内の矩形領域４の更新数の合計（合計更新数）を算出する。図２０（ｂ）に示すように、ウィンドウ１３０がディスプレイ４８０の右端まで到達すると、表示領域決定部３９は１矩形領域分、ウィンドウ１３０を下げて、ディスプレイ４８０の左端からスライドを再開する（図２０（ｃ））。これを、ウィンドウ１３０がディスプレイ４８０の右下コーナーに到達するまで繰り返す。

ただし、実際には、表示領域決定部３９は、ストロークが検出された矩形領域４を含むウィンドウ１３０のみで合計更新数を算出すればよい。

図２１は、矩形領域４に設定された更新数とウィンドウ１３０内の合計更新数の一例を示す。例えば、ウィンドウ１３０ａの合計更新数は７、ウィンドウ１３０ｂの合計更新数は１４、ウィンドウ１３０ｃの合計更新数は０、である。表示領域決定部３９は、使用頻度が最も小さいウィンドウ１３０を表示領域１５０に決定する。図２１の場合は、ウィンドウ１３０ｃが表示領域に決定されるが、合計更新数が０のウィンドウ１３０が複数ある場合、表示領域決定部３９は、ＮとＭを交互に１つ大きくして、合計更新数の算出を行う。こうすることで、表示領域決定部３９は、表示領域１５０のサイズを大きくできる。

なお、ユーザーが表示領域１５０を指定することもできる。例えば、ユーザーが表示領域１５０を指定するためのメニューを選択し、電子ペン４９０や指で領域を指定する。ユーザーが表示領域１５０を指定した場合、この表示領域１５０が優先して使用される。ユーザーは自分が設定した表示領域１５０を移動することも、表示領域決定部３９が決定した表示領域１５０を移動することもできる。

＜文字サイズの決定＞
テキスト表示部４０は、テキストデータが表示領域１５０に入りきるようにテキストデータの文字サイズを決定することが好ましい。図２２は、文字サイズの決定表の一例である。図２２では、表示領域１５０のサイズ（縦横の画素数）が閾値以上（２００ピクセル以上）か、閾値未満（２００ピクセル未満）かによって、異なる文字サイズが設定されている。表示領域１５０のサイズは１つの矩形領域４のサイズと上記のＮとＭによって決まる。

なお、テキスト表示部４０は、単に表示領域１５０のサイズに応じて文字サイズを決定するのでなく、表示領域１５０のサイズとテキストデータの文字数とにより文字サイズを決定してもよい。この場合、表示領域１５０のサイズとテキストデータの文字数に文字サイズが対応付けられている。

＜余白を利用したテキストデータの表示＞
図２３を参照し、ディスプレイ４８０に余白がある場合のテキストデータの表示について説明する。図２３は、電子黒板２が有する余白１６０を説明する図である。電子黒板２はオブジェクトを配置できるオブジェクト領域１６２が有限であるが、オブジェクト領域１６２の外部に別の余白１６０が存在する場合がある。余白とはディスプレイ４８０において何も記載できない部分であり無地のまま残っている部分である。

例えば、図２３では、９：１６のオブジェクト領域１６２に対し、ディスプレイ４８０の縦横比が４：３であるような場合、余白１６０が生じる。このような余白１６０があり、テキストデータが３つ程度入る最小限の表示領域１５０のサイズを満たす場合、表示領域決定部３９は余白１６０にテキストデータ１６１を表示すると判断する。

一般に、電子黒板２ではディスプレイ４８０を最大限、オブジェクト領域１６２に使用するため、余白１６０が存在しない場合が多い。しかし、ＰＣなどが電子黒板２と同様の機能をアプリケーションで実現する場合、ユーザーがオブジェクト領域１６２を設定できるので、余白１６０が生じる場合がある。

＜動作手順＞
会議の開始からテキストデータの表示までの流れをシーケンス図やフローチャート図を使用して説明する。

まず、図２４を参照して、会議の開始から終了までの流れを説明する。図２４は、会議で記録情報とオブジェクト情報が保存される処理を説明するシーケンス図である。図１８で説明したように、予め電子黒板２とミーティングデバイス６０とが対応付け情報記憶部５００３で対応付けられている。

S21：ユーザーが端末装置１０の情報記録アプリ４１を操作して会議開始を指示する。例えば、ユーザーは会議情報のリストから会議を選択してよい。なお、ユーザーは別途、遠隔会議アプリ４２を操作して他の拠点との遠隔会議を開始してもよいし、遠隔会議はしなくてもよい。

S22：端末装置１０の操作受付部１２は会議開始を受け付け、通信部１１が会議ＩＤを指定して会議開始を情報処理システム５０に送信する。

S23：次に、ユーザーが電子黒板２に対し、会議を指定して会議参加を指示する。図１８の処理の後はステップS23の処理は省略してよい。

S24：これにより、電子黒板２の通信部３６が電子黒板２の機器識別情報と会議ＩＤを指定して会議参加を情報処理システム５０に送信する。

S25：会議開始に応じて情報記録アプリ４１のデバイス通信部１６は、記録開始をミーティングデバイス６０に要求する。

S26：ミーティングデバイス６０の端末通信部６１は録画開始要求を受信し、パノラマ画像作成部６２がパノラマ画像の作成を開始し、話者画像作成部６３が話者画像の作成を開始する。また、集音部６４が周囲の音声を集音する。なお、遠隔会議が開催された場合は音声の合成が行われるが、音声の合成はミーティングデバイス６０又は端末装置１０のどちらで行われてもよい。

S27：端末通信部６１はパノラマ画像と話者画像及び集音した音声データを端末装置１０に送信する。端末装置１０のデバイス通信部１６はパノラマ画像と話者画像及び集音した音声データを受信する。録画制御部１７は、パノラマ画像と話者画像及び集音した音声データを合成したり、更に遠隔会議アプリ４２の映像を合成したりして結合画像動画を生成する。表示制御部１３は結合画像動画を表示する。

S28：端末装置１０の通信部１１はリアルタイムに音声データの認識を情報処理システム５０に要求する。リアルタイムとは、最大の遅延時間が保証されていることをいう。なお、ミーティングデバイス６０が直接、音声データを情報処理システム５０に送信してもよい。

S29：情報処理システム５０の通信部５１は音声データを受信すると、テキスト変換部５６が音声データをテキストデータに変換する。

S30：情報処理システム５０の通信部５１は、ミーティングデバイス６０と会議ＩＤで対応付けられている電子黒板２にテキストデータを送信する。

S31：電子黒板２の通信部３６はテキストデータを受信して、表示領域決定部３９が表示領域１５０を決定する。テキスト表示部４０が表示領域１５０にテキストデータを表示する。この表示に関する処理については図２５～図２７にて詳細に説明する。

S32：ユーザーが電子黒板２にストロークなどのオブジェクトを入力する。描画データ生成部３２がストロークを生成し、表示制御部３４がディスプレイ４８０に表示する。データ記録部３３は、オブジェクト情報を生成する。

S33：電子黒板２の通信部３６はストロークデータなどのオブジェクト情報を情報処理システム５０に送信する。通信部３６は会議終了後にまとめてオブジェクト情報を送信してもよい。情報処理システム５０の通信部５１はオブジェクト情報を受信し、オブジェクト情報記憶部５００４に時系列に保存する。

S34：会議が終了すると、ユーザーが端末装置１０の情報記録アプリ４１を操作して会議終了を指示する。

S35：端末装置１０の操作受付部１２は会議終了を受け付け、通信部１１が会議ＩＤを指定して会議終了を情報処理システム５０に送信する。会議終了に応じて通信部１１は、会議ＩＤと共に結合画像動画を情報処理システム５０に送信する。

S36：情報処理システム５０の通信部５１は結合画像動画を受信し、通信部５１は、ストレージサービスシステム７０に記録情報（結合画像動画、テキストデータ）、及び、オブジェクト情報を保存する。

S37：会議終了に応じて情報記録アプリ４１のデバイス通信部１６は、記録停止をミーティングデバイス６０に要求する。録画制御部１７は録画を停止するが、パノラマ画像と話者画像及び集音した音声データは継続して情報記録アプリ４１が受信する場合がある。

S38：ユーザーが電子黒板２に対し、会議終了を指示する。これにより、電子黒板２はオブジェクト情報を情報処理システム５０に送信しなくなる。

＜表示領域の決定＞
図２５は、電子黒板２が表示領域１５０を決定する処理を説明するフローチャート図の一例である。図２５の処理は、例えばストロークの書き込みが検出されるごとに実行される。

接触位置検出部３１は、電子ペン４９０又は指のディスプレイ４８０への接触を検出する（Ｓ１０１）。

接触を検出した場合、表示領域決定部３９は、ストロークが通過した矩形領域４の更新数を更新し、この矩形領域４を含むウィンドウ１３０ごとに合計更新数を算出する（Ｓ１０２）。

表示領域決定部３９は合計更新数に基づいて表示領域１５０を決定する（Ｓ１０３）。ステップＳ１０２，Ｓ１０３の処理の詳細を図２６、図２７にて説明する。

図２６は、表示領域決定部３９が矩形領域４の更新数を更新する処理を説明するフローチャート図である。図２６の処理は矩形領域４ごとに実行される。

矩形領域４へのオブジェクトの入力を検出した場合（Ｓ１１１のＹｅｓ）、表示領域決定部３９は全ての矩形領域に設定された更新数のうち、現在、最も大きい更新数を決定する（Ｓ１１２）。

そして、表示領域決定部３９は、オブジェクトが入力された矩形領域４の更新数を、最も大きい更新数＋１ポイントに更新する（Ｓ１１３）。表示領域決定部３９は以上の処理を、矩形領域４ごとに行う。

図２７は、表示領域決定部３９が合計更新数に基づいて、表示領域１５０を決定する処理を説明するフローチャート図である。

表示領域決定部３９は図２６にて説明したように、ストロークが検出された矩形領域４の更新数を更新する（Ｓ２０１）。表示領域決定部３９は、それまでに最も大きい更新数に１ポイントを加算して、ストロークが検出された矩形領域４に設定する処理を、ストロークが検出された各矩形領域４に繰り返す。

次に、表示領域決定部３９は予め設定されている最低のウィンドウサイズＮ，Ｍを設定する（Ｓ２０２）。

表示領域決定部３９は、設定されたウィンドウサイズで、各ウィンドウ１３０の合計更新数を算出する（Ｓ２０３）。合計更新数の算出は、更新数が更新された矩形領域４を含むウィンドウ１３０のみでよい。

次に、表示領域決定部３９は、合計更新数がゼロのウィンドウ１３０が１つ以上あるか否か判断する（Ｓ２０４）。

ステップＳ２０４の判断がＹｅｓの場合、ウィンドウサイズを大きくできる可能性があるので、表示領域決定部３９はＮ又はＭを１つ大きくし（Ｓ２０５）、ステップＳ２０３から処理を行う。表示領域決定部３９は、Ｎを先に大きくした場合は、次のステップＳ２０５でＭを１つ大きくすることで、交互にＮとＭを大きくする。また、表示領域１５０が不要に大きくなることを抑制するため、Ｎ及びＭには最大値が設定されていてよい。

ステップＳ２０４の判断がＮｏの場合、表示領域決定部３９はＮとＭが最小値のままか否か判断する（Ｓ２０６）。

ＮとＭが最小値のままの場合（Ｓ２０６のＹｅｓ）、ステップＳ２０４で合計更新数がゼロのウィンドウ１３０があったと１回も判断されていないので、表示領域決定部３９は各ウィンドウ１３０のうち合計更新数が最も小さいウィンドウ１３０を表示領域１５０に決定する（Ｓ２０７）。合計更新数が同じウィンドウ１３０が複数ある場合、表示領域決定部３９は例えば最も高い位置のウィンドウ１３０、右端、又は、左端のウィンドウ１３０を表示領域１５０に決定する。

ＮとＭが最小値のままでない場合（Ｓ２０６のＮｏ）、ステップＳ２０４で合計更新数がゼロのウィンドウ１３０があったと１回は判断されているので、表示領域決定部３９は、最後に合計更新数がゼロのウィンドウ１３０があったと判断されたＮとＭにおいて、合計更新数がゼロであったウィンドウ１３０を表示領域に決定する（Ｓ２０８）。合計更新数がゼロのウィンドウ１３０が複数ある場合、表示領域決定部３９は例えば最も高い位置のウィンドウ１３０、右端、又は、左端のウィンドウ１３０を表示領域１５０に決定する。

＜テキストデータの表示＞
図２８は、テキスト表示部４０が表示領域１５０にテキストデータを表示する処理を説明するフローチャート図である。

電子黒板２の通信部３６は、情報処理システム５０からテキストデータを随時、受信する（Ｓ３０１）。

テキスト表示部４０は、表示領域決定部３９が決定した表示領域１５０の位置を取得する（Ｓ３０２）。

テキスト表示部４０は、図２２の文字サイズの決定表を参照し、表示領域１５０のサイズに応じてテキストデータの文字サイズを決定する（Ｓ３０３）。

テキスト表示部４０は、表示領域１５０にテキストデータを表示する（Ｓ３０４）。テキスト表示部４０は、表示領域１５０の上方から下方に、又は、下方から上方に、順にテキストデータを配置する。表示領域１５０に空きがない場合、テキスト表示部４０は、表示中のテキストデータのうち最も古いものをスクロールアウトし、残りのテキストデータをスクロールさせ、新しいテキストデータを表示領域１５０に表示する。テキスト表示部４０は、図１に示したように吹き出しでテキストデータを表示する必要はなく、各テキストデータを隙間なく表示してよい。

また、表示領域１５０に表示してから所定時間が経過したテキストデータがある場合（Ｓ３０５のＹｅｓ）、テキスト表示部４０は該テキストデータを消去する（Ｓ３０６）。こうすることで、古いテキストデータが残ることを抑制できる。

＜更新数に加算されるポイントの重み付け＞
ストロークが検出された矩形領域４には、それまでで最も大きい更新数に１ポイントが加算された更新数が設定されると説明したが、更新数に加算される加算ポイントはオブジェクトの種類によって変更されてよい。

図２９は、オブジェクトの種類によって変更される更新数の加算ポイントの一例を示す。図２９ではディスプレイ４８０にスタンプ１６５が表示されている。スタンプとは、決まった文字や記号などが簡単な操作で表示される図形やアイコンである。例えば「済」「承認」「ＡＩ」など、会議でよく使用される文字や記号がスタンプ１６５として用意されている。スタンプ１６５は、会議内容を伝えるものではないため、常時、視認可能である必要性が低い。そこで、表示領域決定部３９はスタンプ１６５が入力された場合、更新数の加算ポイントをストロークよりも小さくする。例えばスタンプ１６５が入力された矩形領域４への更新数の加算ポイントは「０.５」とする。こうすることで、スタンプ１６５が表示された領域にテキストデータを表示しやすくなる。

また、電子黒板２はＰＣ４７０が表示する画面を画像１６６として表示可能である。画像１６６は静止画の場合と動画の場合があるが、静止画の場合を説明する。画像１６６にテキストデータを重畳することを検討すると、重要な情報が少ない領域が好ましい。例えば、空間周波数が閾値未満の領域は平坦な画像であり情報量が少ないことが知られている。空間周波数とは、縞模様のような空間的な周期的構造における、単位長さ当たりに含まれる構造の繰り返し数である。空間周波数はＤＣＴ（Discrete Cosine Transform）や二次元画像のフーリエ変換等により算出される。

そこで、表示領域決定部３９は、画像１６６が入力された場合、空間周波数を矩形領域４ごとに算出し、空間周波数が閾値未満か否か判断する。表示領域決定部３９は、空間周波数が閾値未満の場合、閾値以上の場合よりも更新数の加算ポイントを小さくする。例えば、空間周波数が閾値未満の場合、更新数の加算ポイントは「０.５」、空間周波数が閾値以上の場合、更新数の加算ポイントは「２．０」とする。すなわち、画像１６６の場合、加算ポイントは、画像１６６の空間周波数が閾値未満の矩形領域４でストロークデータよりも小さく、閾値以上の矩形領域４でストロークデータよりも大きい。

図２９では、空のように情報量が少ない領域で更新数が小さくなるので、情報量が少ない領域にテキストデータを表示しやすくなる。また、画像１６６は比較的広い範囲を占めるが、画像にテキストデータを重畳して表示しやすい。

画像１６６が動画の場合、表示領域決定部３９は、画像の変化に基づいて加算ポイントを変更する。表示領域決定部３９は、動画のフレーム間の差分を算出して、差分が閾値未満であれば小さい加算ポイント（画像は次々に入力されるのでゼロ又はゼロに近い値でよい）を更新数に加算し、差分が閾値以上であればより大きい加算ポイント（１などでよい）を更新数に加算する。

図３０は、表示領域決定部３９が矩形領域４の更新数をオブジェクトの種類に応じて更新する処理を説明するフローチャート図である。図３０の処理は矩形領域４ごとに実行される。

矩形領域４へのオブジェクトの入力を検出した場合（Ｓ１２１のＹｅｓ）、表示領域決定部３９は全ての矩形領域に設定された更新数のうち、現在、最も大きい更新数を決定する（Ｓ１２２）。

表示領域決定部３９は、入力されたオブジェクトの種類を判断する（Ｓ１２３）。

そして、表示領域決定部３９は、オブジェクトが入力された矩形領域４の更新数を、最も大きい更新数＋オブジェクトの種類に応じたポイントに更新する（Ｓ１２４）。表示領域決定部３９は以上の処理を、矩形領域４ごとに行う。

なお、画像１６６のように、矩形領域４にほぼ同時にオブジェクトが入力される場合、表示領域決定部３９は矩形領域４を入力順に処理しなくてよい。この場合、表示領域決定部３９は、最も大きい更新数は画像１６６と重なる全ての矩形領域４について同じ値とし、例えば画像１６６の入力の直前に、全ての矩形領域４に設定された更新数のうち、最も大きい更新数を使用する。

＜表示領域の移動＞
図３１を参照して表示領域１５０の移動について説明する。図３１は表示領域１５０の移動を説明する図である。表示領域決定部３９が決定した表示領域１５０は、テキストデータが継続的に表示されている場合が多く、ユーザーがストローク等を手書きすることは少ない。しかし、そもそも表示領域１５０は、使用頻度が低い領域なので、ユーザーが再度、利用する可能性もある。例えば、ユーザーがオブジェクト１７１を消しゴム機能で消去した。この場合、オブジェクト１７１と重なっていた矩形領域４の更新数はゼロになる。

次に、図３１（ｂ）に示すように、ユーザーがオブジェクト１７１と重なっていた矩形領域４に手書きデータ１７２を手書きすると、更新数が他の領域よりも高くなる可能性がある。表示領域決定部３９はストロークの検出の度に表示領域１５０を決定するので、手書きデータ１７２を検出すると、新たな表示領域１５０を即座に設定できる。なお、テキストデータの方が手書きデータ１７２よりも手前に表示されるので、手書きデータ１７２の全体をユーザーが見えない場合もある。ユーザーが表示領域１５０に手書きした場合、テキスト表示部４０がテキストデータを半透明にしてもよい。

図３１（ｃ）では、表示領域１５０がディスプレイ４８０の左上に移動している。このように、ユーザーは表示領域１５０のストロークを消去して手書きすることもでき、手書きにより表示領域１５０を移動させることができる。

なお、ユーザーは手書きする以外にも、表示領域１５０の長押しやメニュー操作により、表示領域１５０を任意の場所に移動できる。

表示領域決定部３９が表示領域１５０の場所を移動する場合、元の表示領域１５０を削除してから新しい場所に表示領域１５０を表示してよい。あるいは、表示領域決定部３９は、元の表示領域１５０を残したまま、新しい場所に表示領域１５０を表示し、新しいテキストデータから表示してもよい。元の表示領域１５０は所定時間の経過により消去される。

＜主な効果＞
以上説明したように、本実施形態の電子黒板２は、未使用領域か又は直近で利用されている頻度が小さい表示領域１５０にテキストデータを表示するので、電子黒板２の使い勝手を低下させにくい。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、電子黒板２が表示領域１５０を決定し、テキストデータを表示したが、アプリケーションの実行により電子黒板２と同等の機能を有する端末装置１０が表示領域１５０を決定し、テキストデータを表示することができる。端末装置１０は、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、電子黒板２の専用機と同様、ユーザーが手書きすることができる。端末装置１０はタッチパネルを有していてもよいし、有していなくてもよい。ユーザーはキーボードから文字を入力でき、マウスでストロークを入力することもできる。

また、本実施形態では、電子黒板２が単体で表示領域１５０を決定し、テキストデータを表示したが、電子黒板２と情報処理システム５０がＷｅｂアプリを実行してもよい。電子黒板２ではＷｅｂブラウザが実行され、電子黒板２は情報処理システム５０が送信するＷｅｂアプリを実行することで電子黒板２の機能を実現する。電子黒板２に手書きされたストロークデータは情報処理システム５０に送信される。この場合、表示領域１５０の決定は、情報処理システム５０が行ってもよいし、電子黒板２が行ってもよい。

また、ミーティングデバイス６０により取得された音声のテキストデータへの変換を電子黒板２が行ってもよい。

また、他の拠点と電子黒板２が通信して表示するオブジェクトを共有する場合、各電子黒板２が表示領域１５０を決定する。表示されるオブジェクトが同じなので、各拠点の電子黒板２がそれぞれ同じ位置に表示領域１５０を決定する。ただし、他の拠点のユーザーが任意に矩形領域４のサイズ、ＮやＭの数を設定した場合、表示領域１５０の位置やサイズが同じでない場合も生じうる。１つの電子黒板２が決定した表示領域１５０の位置を他の電子黒板２に共有してもよい。

また、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。

また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。

また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。

また、図９、図１５などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

更に、情報処理システム５０は、開示された処理ステップ、例えば図１８,図２４を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、１つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。

＜請求項に関する付記＞
[請求項１]
情報処理システムと通信可能な情報処理装置であって、
オブジェクトをディスプレイに表示する表示制御部と、
デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信する通信部と、
前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域を決定する表示領域決定部と、
前記表示領域に前記テキストデータを表示するテキスト表示部と、
を有する情報処理装置。
[請求項２]
前記表示領域決定部は、すでに前記オブジェクトが表示されている前記領域を前記表示領域に決定する請求項１に記載の情報処理装置。
[請求項３]
前記表示領域決定部は、前記領域の前記使用頻度を前記領域にオブジェクトが入力された場合に更新される更新数で管理し、
前記オブジェクトが入力された前記領域の前記更新数を、時間的に後に入力されるほど大きくし、前記更新数に基づいて前記使用頻度を判断する請求項１又は２に記載の情報処理装置。
[請求項４]
前記表示領域決定部は、高さ方向に第一の領域数、幅方向に第二の領域数を有するウィンドウに含まれる前記領域の更新数を合計する処理を、オブジェクトが入力された前記領域を含む前記ウィンドウで行い、
前記更新数の合計が最も小さい、前記ウィンドウを前記表示領域に決定する請求項３に記載の情報処理装置。
[請求項５]
前記表示領域決定部は、最も大きい更新数を有する前記領域の更新数にポイントを加算することで、前記オブジェクトが入力された前記領域の前記更新数を更新し、
前記オブジェクトの種別によって前記ポイントを変更する請求項４に記載の情報処理装置。
[請求項６]
前記オブジェクトの種別がストロークデータの場合、前記ポイントは、前記オブジェクトの種別がスタンプの場合よりも大きい請求項５に記載の情報処理装置。
[請求項７]
前記オブジェクトの種別が画像の場合、前記ポイントは、前記画像の空間周波数が閾値未満の領域でストロークデータよりも小さく、前記画像の空間周波数が閾値以上の領域でストロークデータよりも大きい請求項５又は６に記載の情報処理装置。
[請求項８]
前記更新数の合計がゼロの前記ウィンドウがあった場合、前記表示領域決定部は、前記第一の領域数又は前記第二の領域数を大きし、前記ウィンドウに含まれる前記領域の更新数を合計する処理を、オブジェクトが入力された前記領域を含む前記ウィンドウで行い、
前記更新数の合計が最も小さい、前記ウィンドウを前記表示領域に決定する請求項４～７のいずれか１項に記載の情報処理装置。
[請求項９]
前記テキスト表示部は、前記第一の領域数又は前記第二の領域数で定まる前記表示領域のサイズに応じて前記テキストデータのサイズを変更する請求項８に記載の情報処理装置。
[請求項１０]
前記表示領域決定部は、前記ディスプレイに前記オブジェクトが表示されない余白がある場合、前記余白を前記表示領域に決定する請求項１～９のいずれか１項に記載の情報処理装置。

１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
７０ ストレージサービスシステム
１００ 記録情報作成システム

特開2010－154089号公報

Claims (12)

1. 情報処理システムと通信可能な情報処理装置であって、
   オブジェクトをディスプレイに表示する表示制御部と、
   デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信する通信部と、
   前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域を決定する表示領域決定部と、
   前記表示領域に前記テキストデータを表示するテキスト表示部と、
   を有する情報処理装置。
2. 前記表示領域決定部は、すでに前記オブジェクトが表示されている前記領域を前記表示領域に決定する請求項１に記載の情報処理装置。
3. 前記表示領域決定部は、前記領域の前記使用頻度を前記領域にオブジェクトが入力された場合に更新される更新数で管理し、
   前記オブジェクトが入力された前記領域の前記更新数を、時間的に後に入力されるほど大きくし、前記更新数に基づいて前記使用頻度を判断する請求項２に記載の情報処理装置。
4. 前記表示領域決定部は、高さ方向に第一の領域数、幅方向に第二の領域数を有するウィンドウに含まれる前記領域の更新数を合計する処理を、オブジェクトが入力された前記領域を含む前記ウィンドウで行い、
   前記更新数の合計が最も小さい、前記ウィンドウを前記表示領域に決定する請求項３に記載の情報処理装置。
5. 前記表示領域決定部は、最も大きい更新数を有する前記領域の更新数にポイントを加算することで、前記オブジェクトが入力された前記領域の前記更新数を更新し、
   前記オブジェクトの種別によって前記ポイントを変更する請求項４に記載の情報処理装置。
6. 前記オブジェクトの種別がストロークデータの場合、前記ポイントは、前記オブジェクトの種別がスタンプの場合よりも大きい請求項５に記載の情報処理装置。
7. 前記オブジェクトの種別が画像の場合、前記ポイントは、前記画像の空間周波数が閾値未満の領域でストロークデータよりも小さく、前記画像の空間周波数が閾値以上の領域でストロークデータよりも大きい請求項５又は６に記載の情報処理装置。
8. 前記更新数の合計がゼロの前記ウィンドウがあった場合、前記表示領域決定部は、前記第一の領域数又は前記第二の領域数を大きし、前記ウィンドウに含まれる前記領域の更新数を合計する処理を、オブジェクトが入力された前記領域を含む前記ウィンドウで行い、
   前記更新数の合計が最も小さい、前記ウィンドウを前記表示領域に決定する請求項４に記載の情報処理装置。
9. 前記テキスト表示部は、前記第一の領域数又は前記第二の領域数で定まる前記表示領域のサイズに応じて前記テキストデータのサイズを変更する請求項８に記載の情報処理装置。
10. 前記表示領域決定部は、前記ディスプレイに前記オブジェクトが表示されない余白がある場合、前記余白を前記表示領域に決定する請求項１に記載の情報処理装置。
11. 情報処理システムと通信可能な情報処理装置が行う表示方法であって、
    オブジェクトをディスプレイに表示するステップと、
    デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信するステップと、
    前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域を決定するステップと、
    前記表示領域に前記テキストデータを表示するステップと、
    を有する表示方法。
12. 情報処理システムと通信可能な情報処理装置を、
    オブジェクトをディスプレイに表示する表示制御部と、
    デバイスにより取得された音声から変換されたテキストデータを前記情報処理システムから受信する通信部と、
    前記ディスプレイの領域ごとの使用頻度に基づいて、前記テキストデータを表示する表示領域を決定する表示領域決定部と、
    前記表示領域に前記テキストデータを表示するテキスト表示部、
    として機能させるためのプログラム。

Images