JP6051549B2 - 通信制御システム、制御装置、プログラムおよび電子情報ボード - Google Patents

Description

本発明は、通信制御システム、制御装置、プログラムおよび電子情報ボードに関する。

液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜６０インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が市場に出ている。これらの製品はパソコンを接続することによって、接続したパソコンの表示部に表示された映像を大きく映すことができる。電子情報ボードは、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。

例えば、特許文献１には、ホワイトボードの画面を遠隔地の会議参加者と共有する目的で、ストロークと作業画面とを別々に共有する遠隔会議方法が開示されている。

また、電子情報ボードに搭載されたタッチパネル機能を用いて、マウス操作の替わりに、映像が映されている画面を直接タッチすることにより、画面を表示しているパソコンを操作する、「タッチパネルを介したパソコン操作機能」が提供されている。さらに、接続したパソコン上で動かす、電子黒板アプリケーションソフトウエアがこれらの機器と一緒に提供されている。このアプリケーションソフトウエアは、黒板の役割をする画面を提供しその上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書きを重畳して描く機能など、「タッチパネルを介した手書機能」が提供されている。

このような手書き機能を持つ電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じ書き込みを含む画面内容を記録することができる。その結果、会議終了時に画面内容を直ぐに検討でき、画面内容を再利用することで効率的に結論などをまとめることが期待できる。

また、近年のネットワークの高速化、クラウドサービスの普及に伴い、これら電子情報ボードを使って遠隔会議を行う事例も増えてきた。その際、例えば既存の遠隔会議ソフトを使うことによりＰＣの画面を遠隔地の表示画面に表示することができ、これにより、遠隔地の参加者と画面を共有することができる。これにより、従来のＴＶ会議に加えて、ホワイトボードへの書き込みや投影しているＰＣの画面をリアルタイムに遠隔地の参加者と共有することができ、遠隔会議でありながらフェイスツーフェイスの会議のように、より活発な議論ができる。

このような機能を有する電子情報ボードを利用した遠隔会議において重要なことは、会議室に持ち込んだＰＣの画面をディスプレイやプロジェクタで表示し、その映像をすばやく遠隔地の表示画面に表示し、画面上の情報を遠隔地の参加者と共有することである。

しかし、特許文献１の技術では、会議室に持ち込んだＰＣを事前の準備なく簡便に自動で遠隔地の参加者と共有することは難しい。一般に、今までの電子情報ボードを利用した遠隔会議では、ＰＣに予め専用ソフトをインストールしてＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルとＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）ケーブルの両方を接続する必要があり、準備が非常にわずらわしいという課題があった。また、ＰＣの画面全体を共有するため、共有する必要のない画面が遠隔地の表示画面に映ってしまう、という課題があった。

これら課題は、電子情報ボードが先生等固定の者の教育用途の利用であって、据え置き型の遠隔会議システムを利用する場合はそれほど問題にならない。しかし、企業の会議等では、会議室を利用する人は毎回異なり、また、会議の効率化のためすぐに開始したいという利用者側のニーズに対して、既存の遠隔会議システムでは対処できていなかった。

上記課題に対して、本発明の目的とするところは、第１の制御装置に接続された機器の表示部に表示される画像データを、ネットワークに接続された第２の制御装置に簡便に自動で表示させる通信制御システム、制御装置およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、
第１の制御装置と第２の制御装置とがネットワークにより接続された通信制御システムであって、
前記第１の制御装置は、
前記第１の制御装置に、ディスプレイケーブルにより機器が接続されたことを検知する検知部と、
前記機器が表示部を備える場合、前記機器から前記表示部に表示される画像データを取得する画像処理部と、
前記機器の接続を検知した場合、前記第２の制御装置との間でデータを通信するためのセッションを確立し、該セッションの確立後、該セッションを利用して前記取得した画像データを送信する第１の通信制御部と、を備え、
前記第２の制御装置は、
前記送信された画像データを受信する第２の通信制御部と、
前記第２の通信制御部により受信された画像データに基づき、前記機器の前記表示部に表示される画像データを、前記第２の制御装置に接続された表示装置に出力する表示制御部と、を備える
ことを特徴とする通信制御システムが提供される。

以上説明したように、本発明によれば、第１の制御装置に接続された機器の表示部に表示される画像データを、ネットワークに接続された第２の制御装置に簡便に自動で表示させることができる。

一実施形態に係る通信制御システムの全体構成図。 一実施形態に係る通信制御システムの機能構成図。 一実施形態に係るサーバーの機能構成図。 一実施形態に係る第１の制御装置の動作を示したフローチャート。 一実施形態に係る第２の制御装置の動作を示したフローチャート 一実施形態に係るサーバーの動作を示したフローチャート。 一実施形態に係る通信制御システムのシーケンス図。 一実施形態に係る通信制御システムにおいてセッションを確立するときのシーケンス図。 一実施形態に係る通信制御システムにおいてセッションを更新するときのシーケンス図。 一実施形態に係る通信制御システムにおいてセッションを終了するときのシーケンス図。 変形例に係る通信制御システムの全体構成図。

以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本発明の一実施形態に係る通信制御システムでは、コントローラを備えた電子情報ボードを用意し、コントローラにノート型ＰＣを接続すると、その接続を認識したコントローラが自動的に遠隔地の機器と画像情報の共有を開始することを特徴とする。具体的には、図１の第１及び第２の制御装置の一例がコントローラであり、第１及び第２の表示装置の一例が電子情報ボードであり、第１のＰＣがたとえば会議参加者（ユーザー）が会議室に持ち込んだＰＣであり、第２のＰＣがたとえば遠隔地の会議参加者（ユーザー）が遠隔地の会議室に持ち込んだＰＣである。

このように会議室にコントローラを備えた電子情報ボードを用意し、コントローラにノート型ＰＣを接続すると、接続を認識したコントローラが自動的に遠隔地に配置された特定の機器と画像の共有を開始し、ノート型ＰＣの画面をキャプチャして遠隔地に送信する。

このようにして、本実施形態に係る通信制御システムでは、電子情報ボードを用いた遠隔会議システムにおいて、コントローラは自動的に遠隔地の特定の機器との画像情報の共有を制御する。これにより、電子情報ボードを用いた遠隔会議システムにおいて、ノート型ＰＣ画面の直感的な共有を遠隔会議システムの参加者に提供することができる。以下、本実施形態に係る通信制御システムについて詳細に説明する。

［通信制御システムの全体構成］
まず、本発明の一実施形態に係る通信制御システムの全体構成について、図１を参照しながら説明する。図１は、本発明の一実施形態に係る通信制御システムの全体構成図である。本実施形態に係る通信制御システム１では、第１の制御装置１０と第２の制御装置２０と画像共有サーバー３０とがネットワーク４０により接続されている。

第１の制御装置１０は、第１のノート型ＰＣ５０と第１の表示装置７０とに接続されている。第１のノート型ＰＣ５０としては、会議の参加者が会議室に持ち込んだノート型ＰＣが想定される。第１のノート型ＰＣ５０が第１の制御装置１０に接続されると、第１のノート型ＰＣ５０の画面が第１の表示装置７０に表示され、会議に用いられる。

一方、第２の制御装置２０は、第１の制御装置１０の遠隔地に設置されている。第２の制御装置２０は、第２のノート型ＰＣ６０と第２の表示装置８０とに接続されている。第２のノート型ＰＣ６０としては、会議の参加者が会議室に持ち込んだノート型ＰＣが想定される。

画像共有サーバー３０は、第１の制御装置１０と第２の制御装置２０との通信及び画面の共有を制御し、スムーズに遠隔会議が進行するように管理する。

通信制御システム１の利用方法としては、以上の電子情報ボードを利用した遠隔会議システムが挙げられる。本実施形態に係る電子情報ボードは、ディスプレイとコントローラとを有する。ディスプレイは図１の第１及び第２の表示装置の一例であり、コントローラは図１の第１及び第２の制御装置の一例である。通常、制御装置としてのコントローラはディスプレイの背面等に配置してあり、ユーザーからはディスプレイとコントローラとが一体として動作しているように見える。

第１及び第２の表示装置７０，８０にタッチパネルディスプレイ等を用いると、第１及び第２の表示装置７０，８０のタッチ面に手書きすることができる。第１及び第２の表示装置７０，８０にはプロジェクタを用いてもよい。

第１及び第２の制御装置１０，２０に接続された第１及び第２のＰＣ５０，６０は、第１及び第２の制御装置１０，２０に接続される機器の一例である。

第１及び第２の表示装置７０，８０と第１及び第２の制御装置１０，２０とは、ディスプレイケーブル等で接続されており、第１の制御装置１０や第２の制御装置２０に接続された機器（ここでは、ＰＣ）の画面が第１の表示装置７０や第２の表示装置８０に表示される。また、第１及び第２の制御装置１０，２０はネットワーク４０に接続されており、他の図示しない制御装置や画像共有サーバーと通信を行うことができる。さらに、第１及び第２の制御装置１０，２０は映像入力ボード等のハードウエアを有しており、ＶＧＡケーブル等で接続されたノート型ＰＣ等の映像入力を受け取って、ノート型ＰＣ等の画面を自らの画面上に表示したり、映像入力からノート型ＰＣ等の画面の画像を構成（キャプチャー）したりすることができる。

第１及び第２のＰＣ５０，６０は、通常のノート型ＰＣの機能を有していれば十分であり、他の機能を有している必要はない。会議室に持ち込むのは特殊な機能を有しないノート型ＰＣの場合がほとんどだからである。

本実施形態では、第１及び第２の制御装置１０，２０に接続される機器としてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、情報携帯端末ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、携帯型音楽プレーヤ等の画像フレームを供給可能な表示部付き電子機器を採用することができる。

本実施形態では、図１の紙面左側を第１のＰＣ画面の画像データを送信する側とし、紙面右側を第１のＰＣ画面の画像データを受信する側として説明する。逆に右側を送信側、左側を受信した場合には、単に機能構成が逆になるだけでその他の構成及び動作は同じである。

本実施形態では紙面左側の装置を送信側のデバイス、紙面右側の装置を受信側のデバイスとして説明するが、第１の制御装置１０及び第２の制御装置２０はそれぞれが送信端末にも受信端末にもなるＰ２Ｐ型の構成とすることができる。一の制御装置が通信可能な情報処理装置は、サーバーでもよく、他の制御装置でもよいことになる。

［通信制御システムの機能構成］
次に、本実施形態に係る通信制御システムの機能構成について、図２及び図３を参照しながら説明する。図２は、本実施形態に係る通信制御システムのうち第１の制御装置１０と第２の制御装置２０との機能構成を示す。図３は、本実施形態に係る通信制御システムのうち画像共有サーバー３０の機能構成を示す。

［第１の制御装置１０の機能構成］
まず、本実施形態では映像の送信側として機能する第１の制御装置１０の機能構成について説明する。第１のＰＣ５０は映像出力部等で構成され、第１のＰＣ５０をＶＧＡケーブル等のディスプレイケーブルで第１の制御装置１０に接続すると、映像出力部が画面を第１の制御装置１０に出力する。

第１の制御装置１０は、第１のＰＣ５０の表示部（画面）に表示される画像データを取得する。第１の制御装置１０は、映像入力部１１、映像処理部１２、画面形成部１５、映像出力部１６、第１の通信制御部１３、通信部１４を有する。

映像入力部１１は、第１のＰＣ５０からの映像出力を受信し、映像処理部１２は受信した映像データを処理する。映像処理部１２は、機器の表示部に表示される画像データを取得し、該取得した画像データを表示するように制御する画像処理部の一例である。映像処理部１２は、必要ならば第１のＰＣ５０の画面をアプリケーションウィンドウに表示する。

ウィンドウへの表示は画面形成部１５により実行される。ここで画面形成部１５とは、第１の制御装置１０の画面を構成するモジュールであり、ＯＳのウィンドウマネージャー等が該当する。第１の制御装置１０の画面は映像出力部１６により第１の表示装置７０に出力される。また、映像処理部１２は、第１のＰＣ５０の接続を検知するとそれを第１の通信制御部１３に通知する。映像処理部１２は、第１のＰＣ５０画面の画像データの取得を検知するとそれも第１の通信制御部１３に通知する。

第１の通信制御部１３は、呼制御部１３ａ、検知部１３ｂ、画像キャプチャ部１３ｃ、フレーム生成部１３ｄ、フレーム送信部１３ｅを有する。第１の通信制御部１３の検知部１３ｂは、第１の制御装置１０から第１のＰＣ５０の接続通知を受ける。これに応じて、呼制御部１３ａは、第１のＰＣ５０の画面に写された映像を送信するために画像共有サーバー３０との間でデータを通信するためのセッションを確立する。セッションを確立すると、画像キャプチャ部１３ｃは、映像処理部１２の機能を用いて第１のＰＣ５０の画面をキャプチャする。フレーム生成部１３ｄは送信データとして画像からフレームを生成する。フレーム送信部１３ｅは、通信部１４の機能を用いて画像共有サーバー３０に生成された画像のフレームを送信する。フレーム生成部１３ｄは取得した画像データを圧縮してフレームを生成し送信データとしてもよい。なお、映像処理部１２及び検知部１３ｂは、第１のＰＣ５０の接続を検知する機能、及び第１の制御装置１０に接続された第１のＰＣ５０の表示部に表示される画像データの取得を検知する機能を有する検知部の一例である。第１の表示装置７０は、映像入力部７１を備え、第１のＰＣ５０の画面を入力し、表示する。

［第２の制御装置２０の機能構成］
次に、本実施形態では画像の受信側として機能する第２の制御装置２０の機能構成について説明する。第２の制御装置２０は、通信部２１、第２の通信制御部２２、画面形成部２３、映像出力部２４を有する。第２の通信制御部２２は、呼制御部２２ａ、画像表示部２２ｂ、フレーム展開部２２ｃ、フレーム受信部２２ｄを有する。

画像共有サーバー３０が画像を受信するためのセッションの確立を要求すると、通信部２１はこの要求を受信し、呼制御部２２ａは、これに応じてセッションを確立する。フレーム受信部２２ｄは、セッションを確立すると通信部２１を通してフレームを受信する。フレーム展開部２２ｃは、受信した、例えば圧縮されたフレームを伸張して画像を取り出す。画像表示部２２ｂは、その画像をウィンドウに表示する。画面形成部２３は、受信された画像のウィンドウへの表示のための画像形成を行う。第１の制御装置１０から送信された第１のＰＣ５０画面の画像データは映像出力部２４により第２の表示装置８０に出力される。第２の表示装置８０は映像入力部８１を備え、第２の制御装置２０からの画像データを入力し、表示する。映像出力部２４は、第１の制御装置１０から送信され、第２の通信制御部２２により受信された画像データを第２の制御装置２０に表示するように制御する表示制御部の一例である。

［画像共有サーバーの機能構成］
次に、本実施形態に係る画像共有サーバー３０の機能構成について説明する。図３は、本実施形態に係る画像共有サーバー３０の機能構成を示す。

画像共有サーバー３０は、通信部３１、呼制御部３２、フレーム受信部３３、フレーム処理部３４、フレーム送信部３５を有する。呼制御部３２は第２の制御装置２０との間でセッションを確立する。ＰＣ画像送信セッションの場合、フレーム受信部３３がフレームを受信し、そのフレームはフレーム処理部３４により適当に処理される。ここで、ＰＣ画像受信セッションが確立されている場合は、適当に処理されたフレームが第２の制御装置２０に転送される。

フレームの適当な処理の一例としては、画像共有サーバー４０と第２の制御装置２０との間の帯域や遅延、フレームの圧縮方法、各制御装置の能力等を勘案してフレームを転送に適したフレームに変換する処理をいう。例えば、送信された画像が差分画像であった場合、フレーム処理部３４は、前フレーム等のデータを用いて通常の画像に復元したりする。また、画像共有サーバー３０と第２の制御装置２０との間の帯域が狭く、第２の制御装置２０の解像度が小さい場合、フレーム処理部３４は、フレームに含まれる画像のサイズを縮小する。フレーム処理部３４は、その他、受信側のディスプレイのサイズや形状に応じて画像データの向きを変えてもよい。

画像共有サーバー３０は、ＰＣ画像受信側の第２の制御装置２０が複数ある場合に特に効果を発揮する。ＰＣ画像送信側の第１の制御装置１０は１度だけデータを送信すればよいからである。

なお、呼制御部３２の機能は、第１の制御装置１０とデータ通信のためのセッションを確立し、該セッションに第１のセッション識別情報を与える第１のセッション確立手段と、第２の制御装置２０とデータ通信のためのセッションを確立し、該セッションに第２のセッション識別情報を与える第２のセッション確立手段とを実行するための機能の一例である。

フレーム受信部３３の機能は、第１のセッション識別情報が与えられた第１のセッションが確立している場合、第１の制御装置１０から送信された、前記取得した画像データを受信する受信手段を実行するための機能の一例である。

フレーム送信部３５の機能は、第２のセッション識別情報が与えられた第２のセッションが確立している場合、前記取得した画像データを第２の制御装置２０へ送信する送信手段を実行するための機能の一例である。

フレーム処理部３４で行う適当な処理は、所定の画像情報を用いて前記取得した画像データを変換する処理手段の機能の一例である。この場合、所定の画像情報とは、第２の制御装置２０側の表示装置に表示する際の形式に変換するための前述したフレームの圧縮方法等の画像情報であり、前記受信手段によって受信される。送信手段は、所定の画像情報に基づきフレーム処理部３４により変換された変換後の画像データを第２の制御装置２０に送信する。

このように、第１のセッション確立手段と第２のセッション確立手段と送信手段と受信手段と処理手段とは、ネットワーク４０により第１の制御装置１０と第２の制御装置２０とに接続された画像共有サーバー３０が有する機能として画像共有サーバー３０によって実行されてもよい。

また、第１のセッション確立手段にて与えられる第１のセッション識別情報及び第２のセッション確立手段にて与えられる第２のセッション識別情報は各セッションを識別するためのＩＤ等であり、セッションが確立されるたびに乱数から生成されるようにしてもよい。

画像共有サーバー３０は、このようにして各セッションに付与されたセッション識別情報に基づきセッションを管理する。その他、画像共有サーバー３０は、第１の制御装置１０と第２の制御装置２０とがグループ化されたグループ識別情報を予め記憶している。第１の制御装置１０及び第２の制御装置２０もまたグループ識別情報を予め記憶してもよい。各セッションに付与されたセッション識別情報は、セッション毎に生成しなくてもグループ識別情報をそのまま割り付けることもできる。本実施形態の場合には、グループ識別情報として、第１の制御装置１０と第２の制御装置２０とに共通の会議ＩＤが予め付与されている。また、本実施形態の場合には、第１のセッション識別情報と第２のセッション識別情報とは各セッションを確立する際に会議ＩＤとは別に各セッションＩＤとして生成され、付与される。

［第１の制御装置の動作］
次に、本実施形態に係る第１の制御装置の動作について、図４を参照しながら説明する。図４は、本実施形態に係る第１の制御装置１０の動作を示したフローチャートである。本実施形態に係る通信制御システム１にて実行される遠隔会議処理の送信側の処理である。

遠隔会議が開始され、第１の制御装置１０に第１のＰＣ５０が接続されると、自動的に第１のＰＣ５０の画面の画像データ（映像データ）は画像共有サーバー３０に転送される。

具体的には、第１の制御装置１０の映像処理部１２はＰＣ接続イベント（接続イベント信号）を検知し、第１の通信制御部１３はＰＣ接続イベントを受信する（ステップＳ１００）。検知部１３ｂは、このイベント受信のタイミングで第１のＰＣ５０が接続されたと判定し（ステップＳ１０２でＹｅｓ）、呼制御部１３ａは自動的に画像共有サーバー３０との間でＰＣ画像送信セッション（ＰＣ画像送信セッションＡとする）を確立する（ステップＳ１０４）。そして、画像キャプチャ部１３ｃは、映像処理部１２から第１のＰＣ５０の画像を取得（キャプチャ）する（ステップＳ１０８）。次に、フレーム生成部１３ｄは送信データとしてフレームを生成し（ステップＳ１１０）、フレーム送信部１３ｅは、そのフレームを送信する（ステップＳ１１２）。

ステップＳ１０８〜Ｓ１１２の処理は、第１のＰＣ５０が接続されていると判定される限り継続され（ステップＳ１０６）、独立したスレッドで実行される。ここでフレームの生成とは、キャプチャしたＰＣ画面（ここでは第１のＰＣの画面上に表示された画像）を送信に適した形式に変換する作業を言う。フレームにはフレームの番号、画像のサイズ、画像の圧縮フォーマット等の情報、及び、圧縮された画像データが含まれる。画像データの圧縮は、ＪＰＥＧ、ＰＮＧ等により圧縮するほか、前フレームの画像データとの差分を取ること等によっても実現できる。

映像処理部１２よりＰＣ切断イベント（切断イベント信号）を受信した場合、検知部１３ｂは、第１のＰＣ５０が切断されたと判定し（ステップＳ１０６、Ｓ１１４）、フレーム送信部１３ｅはフレームの送信を終了し（ステップＳ１１６）、呼制御部１３ａはＰＣ画面送信セッションＡを終了し、本処理を終了する。なお、ステップＳ１１４で第１のＰＣ５０が切断されていない場合には、ステップＳ１００に戻る。

［第２の制御装置の動作］
次に、本実施形態に係る第２の制御装置の動作について、図５を参照しながら説明する。図５は、本実施形態に係る第２の制御装置２０の動作を示したフローチャートである。本実施形態に係る通信制御システム１にて実行される遠隔会議処理の受信側の処理である。

遠隔会議が開始されている場合、第２の制御装置２０は画像共有サーバー３０からセッション確立の要求を受け、第１のＰＣ５０の画面を受信して表示する。

具体的には、第２の制御装置２０の通信部２１が画像共有サーバー３０からＰＣ画面受信セッションの確立要求を受信したとき、第２の通信制御部２２がレスポンスを返すことによりＰＣ画面受信セッション（ＰＣ画像受信セッションＢとする）が確立され、ＰＣ画面受信セッションＢが開始される（ステップＳ２００）。

次に、第２の制御装置２０の通信部２１は、画像共有サーバー３０からフレームを受信する（ステップＳ２０２）。フレーム展開部２２ｃは、受信したフレームを展開（伸張）してＰＣ画像を取り出し（ステップＳ２０４）、画面形成部２３がウィンドウに表示する（ステップＳ２０６）。これにより、第１のＰＣ５０の画面上に表示されている映像が、第２の表示装置８０に表示されるように制御される。このフレーム受信処理は、セッションＢが終了するまで又は第２の制御装置２０に第２のＰＣ６０が接続され、第２の制御装置２０によるＰＣ画面送信セッションに変更されるまで継続される。セッションＢが終了する場合としては、例えば画像共有サーバー３０からセッションＢの終了が要求されるか、ユーザーから遠隔会議の停止が要求されるか等が挙げられる。

［画像共有サーバー３０の動作］
次に、本実施形態に係る画像共有サーバー３０の動作について、図６を参照しながら説明する。図６は、本実施形態に係る画像共有サーバー３０の動作を示したフローチャートである。本実施形態では、遠隔会議処理の送信側から受け取ったデータを受信側へ転送する処理である。

呼制御部３２が、第１の制御装置１０と画像共有サーバー３０との間でＰＣ画面送信セッションＡを確立すると（ステップＳ３００）、フレーム受信部３３は、第１の制御装置１０からフレームを受信する（ステップＳ３０２）。フレーム処理部３４は、フレームに上述した適当な処理を行う（ステップＳ３０４）。

次に、呼制御部３２が、第２の制御装置２０と画像共有サーバー３０との間でＰＣ画像受信セッションＢが確立されていると判定した場合（ステップＳ３０６）、フレーム送信部３５は、適当な処理を施したフレームを第２の制御装置２０に転送する（ステップＳ３０８）。

フレームに施す適当な処理としては、フレームに関する画像が差分画像であるならば、前画像等から画像を復元する。復元した画像はさらに適切な方法で圧縮し直し、第２の制御装置２０に送信する。また、フレームに関する画像が差分画像でなくても、第２の制御装置２０が特定の解像度の画像しか処理できない場合は、それに合わせて画像サイズを縮小する処理が必要である。また、画像共有サーバー３０と第２の制御装置２０の間のネットワーク帯域が狭い場合は、画像サイズを縮小したり、圧縮フォーマットを変更したりする等により圧縮率を高める等の処理が必要である。

［通信制御システムのシーケンス］
次に、本実施形態に係る通信制御システム１全体のシーケンスについて、図７を参照しながら説明する。図７は、第１の制御装置１０、画像共有サーバー３０、第２の制御装置２０の各装置間の通信を表すシーケンス図である。

（通信の接続）
最初にＰＣの接続と通信の確立及びフレームの送信について説明する（図７（１）〜（８））。第１の制御装置１０に第１のＰＣ５０が接続されると、第１の制御装置１０と画像共有サーバー３０との間でセッションＡを確立し（図７の（１）、（３））、フレーム１，２を送信する（図７の（５）、（７））。

画像共有サーバー３０は、画像送信セッションＡが確立された場合、対向の第２の制御装置２０と画像受信セッションＢを確立し（図７の（２）、（４））、フレーム１，２を転送する（図７の（６）、（８））。

セッションの確立（更新）のために、第１及び第２の制御装置１０，２０と画像共有サーバー３０間でセッション情報が交換される。セッション情報には、誰が何をどのように送信しているのか等が示されており、例えば、第１の制御装置１０と画像共有サーバー３０との間で画像送信セッションＡを確立する場合、セッションＩＤ、第１の制御装置１０がＰＣ画像を送信する旨の記述、及び、第１の制御装置１０のＩＰアドレス・ポート番号等の通信情報が示されている。セッションＩＤは遠隔会議ＩＤ等を設定し、同じグループのメンバが同じ遠隔会議に参加できるようにする。

また、フレームの転送において、第１及び第２の制御装置１０，２０と画像共有サーバー３０は、それぞれのセッションのセッション情報に基づき通信の確立や画像の圧縮・展開（伸張）等を行う。すなわち、第１及び第２の制御装置１０，２０と画像共有サーバー３０は、それぞれのセッションのセッション情報に基づきその動作を変更する。

（セッションＡの確立）
第１の制御装置１０に第１のＰＣ５０が接続された場合、第１の制御装置１０から画像共有サーバー３０へセッション開始リクエストが送信され、セッションが確立される。

なお、第１の制御装置１０、及び、第２の制御装置２０は画像共有サーバー３０のＩＰアドレスとポート番号を予め知っており、また、第１の制御装置１０と第２の制御装置２０は遠隔会議ＩＤを共有しているものとする。第１の制御装置１０と第２の制御装置２０はここではセッションＩＤを共有しなくてもよいが、セッションＩＤを遠隔会議ＩＤと同じ値とすることにより、セッションＩＤを共有することもできる。ＩＤの共有方法は手動で設定する、別途会議管理サーバー等を利用する、などの方法が考えられる。

（具体例）
図８は、一実施形態に係る通信制御システム１においてセッションを確立する際に装置間で受け渡されるセッション情報の一例を示した図である。第１の制御装置１０に第１のＰＣ５０が接続されると、自動的に第１の制御装置１０から画像共有サーバー３０にセッションＡの開始要求が送信される（図８（１））。そのとき、予め装置間で共有している遠隔会議ＩＤの「１２３４５」が第１の制御装置１０から画像共有サーバー３０に送信される。これにより、同じグループに属する者のみ遠隔会議に参加できるようにする。遠隔会議ＩＤは同じグループに属するかを識別するためのグループ識別情報の一例である。

また、セッションＩＤには、このセッション確立に当たって乱数生成された数値「６６」が送信される。この数値はセッションＡを識別するための識別情報となる。前述の通りセッションＩＤは遠隔会議ＩＤと同じであってもよい。

図８（１）に示したその他のセッション情報は、例えばＲＦＣ ３２６１やＲＦＣ ３２６４の通信プロトコルに従う。「通信プロトコル＝ＴＣＰ、送信者＝第1の制御装置」と情報が規定されている場合、ＴＣＰプロトコルに基づき第１の制御装置ＩＤで識別可能な装置がサーバーと通信が可能であり、第１の制御装置がデータを送信することを示す。

図８（１）セッションの開始要求に応じて、画像共有サーバー３０から第１の制御装置１０にセッションの開始レスポンス（ＯＫ）が送信される（図８（３））。このときにも予め装置間で共有している遠隔会議ＩＤの「１２３４５」及びセッションＩＤの「６６」が画像共有サーバー３０から第１の制御装置１０に送信される。これにより、同じグループに属する者の遠隔会議への参加のためのセッション確立であることが確認できる。

図８（３）に示したその他のセッション情報は、図８（１）と同様にＴＣＰプロトコルに基づき第１の制御装置ＩＤで識別可能な装置との間にて通信可能であることを示す。

（セッションＢの確立）
図８（１）のセッションＡの開始要求に対して、画像共有サーバー３０と第２の制御装置２０との間でセッションＢが確立される。具体的には、画像共有サーバー３０から第２の制御装置２０へセッションＢの開始要求が送信される（図８（２））。そのとき、予め装置間で共有している遠隔会議ＩＤの「１２３４５」が送信される。これにより、同じグループに属する者のみ遠隔会議に参加できるようにする。

また、セッションＩＤには、このセッション確立に当たって乱数生成された数値「９６」が送信される。この数値はセッションＢを識別するための識別情報となる。前述の通りセッションＩＤは遠隔会議ＩＤと同じであってもよい。

図８（２）に示したその他のセッション情報は、例えばＲＦＣ ３２６１やＲＦＣ ３２６４の通信プロトコルに従う。「通信プロトコル＝ＴＣＰ、送信者＝画面共有サーバー」と情報が規定されている場合、ＴＣＰプロトコルに基づきサーバーが第１の制御装置ＩＤで識別可能な装置と通信が可能であり、サーバーがデータを送信することを示す。

図８（２）のセッションの開始要求に応じて、第２の制御装置２０から画像共有サーバー３０にセッションＢの開始レスポンス（送信ＯＫ）が送信される（図８（４））。このときにも遠隔会議ＩＤの「１２３４５」及びセッションＩＤの「９６」が送信される。これにより、同じグループに属する者の遠隔会議への参加のためのセッション確立であることが確認できる。

図８（４）に示したその他のセッション情報は、ＴＣＰプロトコルに基づき第１の制御装置ＩＤで識別可能な装置との間にて一方向（受信のみ）の通信が可能であることを示す。

（通信の切断）
次に、最初にＰＣの切断と通信の更新について説明する。第１の制御装置１０から第１のＰＣ５０が切断されると、第１の制御装置１０は、その旨を記述したセッション情報をセッション更新リクエストとして送信する（図７の（９））。画像共有サーバー３０はセッション更新リクエストに対するレスポンスを返す前に、第２の制御装置２０にセッション更新リストを送信し、セッションを更新する（図７の（１０））。これにより、第２の制御装置２０はフレーム受信を停止する（図７の（１２））。一方、第１の制御装置１０はレスポンスを受信すると、フレームの送信を停止する（図７の（１１））。

なお、第２の制御装置２０に第１のＰＣ５０が接続された場合は、第２の制御装置２０が、セッション更新リクエストを送信し（図７の（１３））、画像共有サーバー３０がセッションの更新レスポンスを返信する（図７の（１５））。画像共有サーバー３０はセッション更新リクエストを第１の制御装置１０に送信し（図７の（１４））、第１の制御装置１０がセッションの更新レスポンスを返信する（図７の（１６））。これにより、第２の制御装置２０から画像共有サーバー３０にフレームが送信され、画像共有サーバー３０が第１の制御装置１０にフレームを転送できるようになる。

（具体例）
図９は、一実施形態に係る通信制御システム１においてセッションを切断する際に装置間で受け渡されるセッション情報の一例を示した図である。第１の制御装置１０に第１のＰＣ５０が切断されると、自動的に、第１の制御装置１０から画像共有サーバー３０にセッションＡの更新要求が送信される（図９の（９））。そのとき、遠隔会議ＩＤの「１２３４５」及びセッションＡであることを示すセッションＩＤ「６６」が送信される。

その他のセッション情報は、例えばＲＦＣ ３２６１やＲＦＣ ３２６４の通信プロトコルに従うが、「通信プロトコル＝ＴＣＰ、送信者＝なし」と示されているのは、通信接続（ｃｏｎｎｅｃｔｉｏｎ）が更新され、フレームの送受信を停止する状態を示す。

図９（９）セッションの更新要求に応じて、画像共有サーバー３０から第１の制御装置１０にセッションの更新レスポンス（送信停止ＯＫ）が送信される（図９の（１１））。このときにも遠隔会議ＩＤの「１２３４５」、セッションＩＤの「６６」及びセッションＡの接続先情報として第１の制御装置ＩＤが送信される。図９（１１）に示したその他のセッション情報は、図９（９）と同様であるため説明は省略する。

図９（９）のセッションの更新要求に対して、画像共有サーバー３０と第２の制御装置２０との間でセッションＢが更新される。具体的には、画像共有サーバー３０から第２の制御装置２０へセッションＢの更新要求が送信される（図９の（１０））。そのとき、遠隔会議ＩＤの「１２３４５」及びセッションＢであることを示すセッションＩＤ「９６」が送信される。

その他のセッション情報は、例えばＲＦＣ ３２６１やＲＦＣ ３２６４の通信プロトコルに従うが、「通信プロトコル＝ＴＣＰ、送信者＝なし」と示されているのは、通信接続（ｃｏｎｎｅｃｔｉｏｎ）が更新され、フレームの送受信を停止する状態を示す。

図９（１０）のセッションＢの更新に応じて、第２の制御装置２０から画像共有サーバー３０にセッションＢの更新レスポンス（送信停止ＯＫ）が送信される（図９の（１２））。このときにも遠隔会議ＩＤの「１２３４５」、セッションＩＤの「９６」及びセッションＢの接続先情報として第２の制御装置ＩＤが送信される。図９（１２）に示したその他のセッション情報は図９（１０）と同様であるため説明は省略する。

（通信の終了）
最後に、各制御装置がセッションを終了することでＰＣ画面共有が終了する。

（具体例）
図１０は、一実施形態に係る通信制御システム１においてセッションを終了する際に装置間で受け渡されるセッション情報の一例を示した図である。第１の制御装置１０から画像共有サーバー３０にセッションＡの終了要求が送信されると（図１０の（２１））、これに応じて、画像共有サーバー３０から第１の制御装置１０にセッションＡの終了レスポンス（送信終了ＯＫ）が送信される（図１０の（２３））。

また、図１０の（２１）に応じて、画像共有サーバー３０から第２の制御装置２０にセッションＢの終了要求が送信されると（図１０の（２２））、これに応じて、第２の制御装置２０から画像共有サーバー３０にセッションＢの終了レスポンス（送信終了ＯＫ）が送信される（図１０の（２４））。

［変形例／通信制御システムの全体構成］
次に、本発明の変形例に係る通信制御システム１の全体構成について、図１１を参照しながら説明する。図１１は、本発明の変形例に係る通信制御システムの全体構成図である。

電子情報ボードが１対１の場合、通信制御システム１は、画像共有サーバーを使用せずに実現することができる。この場合、図１１の変形例に係る通信制御システム１に示したように、制御装置が画像共有サーバーを経由しないで直接セッション開始（更新）リクエストを対向の制御装置に送信する。セッション確立後も直接対向の制御装置にフレームを送信する。

電子情報ボードが１対多の場合も同様に、画像共有サーバーを使用せずに実現することができる。この場合はある特定の電子情報ボードの制御装置が画像共有サーバーとして機能する。全ての電子情報ボードの制御装置は、前記電子情報ボードが画像共有サーバーとして機能することを事前に手動で設定されているか、別途、会議管理サーバー等を備えられていた場合、会議管理サーバーにどの電子情報ボードが画像共有サーバーとして動作しているのかを問い合わせる、といった方法が考えられる。

以上に説明したように、本発明の一実施形態及びその変形例に係る通信制御システムによれば、第１の制御装置に接続された機器の表示部に表示される画像データを、ネットワークに接続された第２の制御装置に簡便に自動で表示させることができる。これにより、ユーザーの操作性をより向上させることができる。

なお、本発明の一実施形態及びその変形例に係る通信制御システムにおいて、呼制御は、例えば、Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ（ＳＩＰ）、Ｅｘｔｅｎｓｉｂｌｅ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｐｒｏｔｏｃｏｌ（ＸＭＰＰ）等の通信プロトコルを用いて行うことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

なお、本発明の第１の制御装置、第２の制御装置及びサーバーは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が図示しない記憶部に格納されたプログラムに従って動作することによって実現されうる。このプログラムは、記憶媒体に格納して提供され、図示しないドライバを介して記憶部に読み込まれるものであってもよく、また、図示しないネットワークからダウンロードされて記憶部に格納されるものであってもよい。また、上記各部の機能を実現するために、ＣＰＵに代えてＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が用いられてもよい。記憶部は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現されうる。また、本発明の第１の制御装置、第２の制御装置及びサーバーの各機能は、ソフトウエアを用いて動作することにより実現されてもよく、ハードウエアを用いて動作することにより実現されてもよい。

１ 通信制御システム
１０ 第１の制御装置
１２ 映像処理部
１３ 第１の通信制御部
１３ａ 呼制御部
１３ｂ 検知部
１３ｃ 画像キャプチャ部
１３ｄ フレーム生成部
１３ｅ フレーム送信部
１４ 通信部
１５ 画像形成部
２０ 第２の制御装置
２１ 通信部
２２ 第２の通信制御部
２２ａ 呼制御部
２２ｂ 画像表示部
２２ｃ フレーム展開部
２２ｅ フレーム受信部
２３ 画像形成部
３０ 画像共有サーバー
４０ ネットワーク
５０ 第１のＰＣ
６０ 第２のＰＣ
７０ 第１の表示装置
８０ 第２の表示装置

特開２００９−２３０５７９号公報

Claims (12)

1. 第１の制御装置と第２の制御装置とがネットワークにより接続された通信制御システムであって、
   前記第１の制御装置は、
   前記第１の制御装置に、ディスプレイケーブルにより機器が接続されたことを検知する検知部と、
   前記機器が表示部を備える場合、前記機器から前記表示部に表示される画像データを取得する画像処理部と、
   前記機器の接続を検知した場合、前記第２の制御装置との間でデータを通信するためのセッションを確立し、該セッションの確立後、該セッションを利用して前記取得した画像データを送信する第１の通信制御部と、を備え、
   前記第２の制御装置は、
   前記送信された画像データを受信する第２の通信制御部と、
   前記第２の通信制御部により受信された画像データに基づき、前記機器の前記表示部に表示される画像データを、前記第２の制御装置に接続された表示装置に出力する表示制御部と、を備える
   ことを特徴とする通信制御システム。
2. 前記第１の通信制御部は、前記第１の制御装置から前記機器が切断されると、前記画像データの送信を終了することを特徴とする請求項１に記載の通信制御システム。
3. 前記第１の通信制御部は、前記取得した画像データを圧縮してフレームを生成し、該フレームを前記セッションを利用して送信し、
   前記第２の通信制御部は、受信した前記フレームの圧縮された画像データを伸張することを特徴とする請求項１または２に記載の通信制御システム。
4. 前記第１の制御装置とデータ通信のためのセッションを確立し、該セッションに第１のセッション識別情報を与える第１のセッション確立手段と、
   前記第２の制御装置とデータ通信のためのセッションを確立し、該セッションに第２のセッション識別情報を与える第２のセッション確立手段と、
   前記第１のセッション識別情報が与えられた第１のセッションが確立している場合、前記第１の制御装置から送信された前記取得した画像データを受信する受信手段と、
   前記第２のセッション識別情報が与えられた第２のセッションが確立している場合、前記取得した画像データを前記第２の制御装置へ送信する送信手段と、を更に備えることを特徴とする請求項３に記載の通信制御システム。
5. 前記受信手段は、前記画像データとともに該画像データを前記表示装置に表示する際の形式に変換するための画像情報を受信し、
   前記画像情報を用いて前記受信した画像データを変換する処理手段を更に備え、
   前記送信手段は、変換後の前記画像データを前記第２の制御装置に送信することを特徴とする請求項４に記載の通信制御システム。
6. 前記第１のセッション確立手段と、前記第２のセッション確立手段と、前記送信手段と、前記受信手段と、前記処理手段とは、ネットワークにより前記第１の制御装置と前記第２の制御装置とに接続されたサーバーが有する機能として該サーバーにより実行されることを特徴とする請求項５に記載の通信制御システム。
7. 前記検知部は、前記第１の制御装置に接続されていた前記機器から画像データが送信されなくなったことを検知し、
   前記第１の通信制御部は、前記機器から画像データが送信されなくなったことを検知した場合、前記第２の制御装置と関連付けられたセッションの更新を要求し、
   前記第２の通信制御部は、前記第１の制御装置と関連付けられたセッションを更新することを特徴とする請求項１〜６のいずれか一項に記載の通信制御システム。
8. 前記検知部は、前記第１の制御装置に接続されていた前記機器から画像データが送信されなくなったことを検知し、
   前記第１の通信制御部は、前記機器から画像データが送信されなくなったことを検知した場合、前記第１のセッション識別情報にて特定されるセッションの更新を要求し、
   前記第１のセッション確立手段は、前記第１のセッション識別情報にて特定されるセッションを更新し、
   前記第２のセッション確立手段は、前記第２のセッション識別情報にて特定されるセッションの更新を要求し、
   前記第２の通信制御部は、記第２のセッション識別情報にて特定されるセッションを更新し、
   前記第１の通信制御部は、画像データの送信を停止することを特徴とする請求項４〜６のいずれか一項に記載の通信制御システム。
9. 前記第１の制御装置と前記第２の制御装置とは、グループ識別情報によりグループ化され、
   前記第１の通信制御部は、前記機器の接続を検知した場合、前記グループ識別情報により特定される前記第２の制御装置との間でデータを通信するためのセッションを確立することを特徴とする請求項１〜８のいずれか一項に記載の通信制御システム。
10. 情報処理装置とネットワークにより接続された制御装置であって、
    前記制御装置に、ディスプレイケーブルにより機器が接続されたことを検知する検知部と、
    前記機器が表示部を備える場合、前記機器から前記表示部に表示される画像データを取得する画像処理部と、
    前記機器の接続を検知した場合、前記情報処理装置との間でデータを通信するためのセッションを確立し、該セッションの確立後、該セッションを利用して前記取得した画像データを送信する第１の通信制御部と、を備える
    ことを特徴とする制御装置。
11. 情報処理装置とネットワークにより接続された制御装置から送信された画像データを表示させるためのプログラムであって、
    前記制御装置に、ディスプレイケーブルにより機器が接続されたことを検知する処理と、
    前記機器が表示部を備える場合、前記機器から前記表示部に表示される画像データを取得する処理と、
    前記機器の接続を検知した場合、前記情報処理装置との間でデータを通信するためのセッションを確立する処理と、
    前記セッションの確立後、該セッションを利用して前記取得した画像データを送信する処理と、
    をコンピュータに実行させるためのプログラム。
12. 情報処理装置とネットワークにより接続された電子情報ボードであって、
    前記電子情報ボードに、ディスプレイケーブルにより機器が接続されたことを検知する検知部と、
    前記機器が表示部を備える場合、前記機器から前記表示部に表示される画像データを取得する画像処理部と、
    前記機器の接続を検知した場合、前記情報処理装置との間でデータを通信するためのセッションを確立し、該セッションの確立後、該セッションを利用して前記取得した画像データを送信する第１の通信制御部と、を備える
    ことを特徴とする電子情報ボード。

Images