JP5849673B2 - 電子情報ボード装置 - Google Patents

Description

本発明は、大型のディスプレイと座標検出部とを備えた電子情報ボード装置の制御技術に関する。

液晶パネルやプラズマディスプレイ等の大型のディスプレイと、ペンや指が画面に触れた位置（座標）を検出するタッチパネル等の座標検出部と、外部のパーソナルコンピュータ等の端末装置に対するインタフェースとを備えた電子情報ボード装置が市販されるに至っている。

この種の電子情報ボード装置は、
・接続された端末装置の画面を拡大して表示する機能
・ペンや指の動きにより端末装置を操作する機能
・ネットワーク上のサーバにあるコンテンツを拡大して表示する機能
・ペンや指の動きによりホワイトボードや黒板のように手書き入力を行う機能
等を備えている。

接続した端末装置の画面を大きく映すことができ、会議室等において複数人が閲覧できるため、プレゼンテーション等に用いられることが多い。また、画面が明るいことから、壁面に画面を投影するプロジェクタのように部屋を暗くする必要がなく、手元の資料の閲覧やメモ取り等と画面表示とを併用できる利点がある。

更に、映し出されている画面に、端末装置のマウスやキーボードの操作の代わりに、画面に直接タッチすることで、表示内容を出力している端末装置を操作することが可能であることから、端末装置から離れたディスプレイのそばでプレゼンテーションと操作を一人で行うことが容易となる。

ところで、この種の電子情報ボード装置では、ディスプレイの大型化が相当進んできており、ＰＣ画面をそのまま表示してタッチパネルから入力操作をすると、対応箇所の操作のために手を伸ばして操作する等の大きな動作が必要になり、操作が面倒になってきている。小柄な人や車椅子に乗った人が操作する場合、アプリケーションの操作ボタン等が画面上端にあると、手を伸ばしても届かない場合がある。また、小柄な人や車椅子に乗った人に限らず、手の届く高さであっても、立ち位置の反対側に操作ボタン等がある場合、画面を横切って操作しなければならず、円滑なプレゼンテーションの妨げとなる。

特許文献１には、同様の問題を解決するために、表示画面を縮小して操作しやすい大きさにしたタッチパネル部を別に設ける旨が開示されている。しかしながら、大型の表示画面とは別に操作用にタッチパネルを設けるにはそれなりのコストが必要になる。また、操作用のタッチパネルの面積が小さいと縮尺の関係から操作ボタンやボタン間隔も小さくなるために操作が難しくなる。更に、操作性を確保するために大き目のタッチパネルを用意するのも製造原価を更に上げる要因にもなり難しい。そのため、表示コンテンツを記録しているノートパソコン等をそばにおいて利用している場合もある。また、最近はサーバ上にあるデータを参照したり、リモート操作で自席のＰＣのコンテンツを表示したりする場合もあるので、この方法はいつも有効であるとは限らない。

一方、大型のタッチパネル部の一部を利用して、画面上に縮小表示を重ねる方法をとることもできる。しかし、せっかくの大型表示パネルの一部が操作のために使用されてしまい、大きな表示画面を有効に利用することができない。特に、プレゼンテーション等では、できるだけ多くの表示面積を確保したいため、操作のための必要面積は小さくしたい。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、アプリケーションの必要な操作を大きな動作を要することなく行えるとともに、本来の表示内容への影響を少なくして表示画面を有効に利用することのできる電子情報ボード装置を提供することにある。

上記の課題を解決するため、本発明にあっては、画像を表示する表示手段と、表示画面への物体の接触座標を検出する座標検出手段と、外部の装置とのインタフェース手段とを備えた電子情報ボード装置であって、前記外部の装置から入力する画像を解析して操作領域を抽出する手段と、抽出した操作領域を再構成して前記表示画面の所定位置に表示する手段と、元の操作領域と再構成した操作領域の表示領域の座標を関連付ける手段と、前記再構成した操作領域の表示領域の座標に対する操作を元の操作領域の座標に対する操作に変換して前記外部の装置に送信する手段とを備えるようにしている。

本発明の電子情報ボード装置にあっては、アプリケーションの必要な操作を大きな動作を要することなく行えるとともに、本来の表示内容への影響を少なくして表示画面を有効に利用することができる。

電子情報ボード装置の構成例を示す図である。 電子情報ボード装置の外観例を示す図（その１）である。 電子情報ボード装置の外観例を示す図（その２）である。 画像解析支援情報の例を示す図である。 再構成操作領域画像管理テーブルの例を示す図である。 座標変換テーブルの例を示す図である。 設定情報の例を示す図である。 実施形態の処理例を示すフローチャート（その１）である。 再構成操作領域の表示例を示す図（その１）である。 再構成操作領域の表示例を示す図（その２）である。 実施形態の処理例を示すフローチャート（その２）である。 実施形態の処理例を示すフローチャート（その３）である。 再構成操作領域へのタッチとそれ以外の場所へのタッチの違いを示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は電子情報ボード装置１の構成例を示す図である。

図１において、電子情報ボード装置１は、プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、操作ボタン１０５と、グラフィックスボード１０６と、ディスプレイ１０７と、座標検出部１０８と、ネットワークインタフェース１０９と、外部機器接続インタフェース１１０とを含んで構成される。

プロセッサ１０１は、電子情報ボード装置１が実行する処理を演算する装置（制御部）であり、ＰＥＮＴＩＵＭ（登録商標）やＡｔｈｌｏｎ等のＣＰＵやＭＰＵなどの種々のプロセッサを採用することができる。

ＲＯＭ１０２は、ＢＩＯＳ等のブートプログラムなどが保存される不揮発性メモリである。

ＲＡＭ１０３は、プロセッサ１０１でプログラムを実行するための実行空間を提供する揮発性メモリもしくは不揮発性メモリである。プロセッサ１０１は、ＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述されたプログラムを展開して実行することにより、後述する各機能手段を電子情報ボード装置１上に実現する。

ＨＤＤ１０４は、大容量の不揮発性メモリであり、電子情報ボード装置１のシステム全体を制御するＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ＩＴＲＯＮ、μＩＴＲＯＮなどの種々のＯＳが保存される。また、ＨＤＤ１０４には、グラフィックスボード１０６やディスプレイ１０７、座標検出部１０８等のデバイスドライバ、主たる処理のプログラムなどの様々なデータが保存される。主たる処理のプログラムは、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納してインストールすることができるとともに、ネットワークを介してインストールすることができる。

操作ボタン１０５は、電子情報ボード装置１の筐体の外面に設けられた、ユーザによる操作が可能なハードウェアによるボタンである。

グラフィックスボード１０６は、ディスプレイ１０７に描画する描画データを処理する装置であり、画像イメージを保持するＶＲＡＭやディスプレイ１０７の接続端子を含んで構成される。

ディスプレイ１０７は、グラフィックスボード１０６が生成した描画データを描画する表示装置である。

座標検出部１０８は、ペンや指等の物体が接触または接近したことを検知する検知装置である。座標検出部１０８として、物体が接触することによって変化する静電容量を検知する静電容量センサを備えたタッチパネルや、物体の接触圧を検知する圧力センサを備えたタッチパネルを採用することができる。また、ディスプレイ１０７の面に平行に照射された１方向の光または縦方向および横方向の２方向の光が遮断されたことを検知して、物体がディスプレイ１０７に接近または接触したことを検知する光学検知装置を採用することができる。

ネットワークインタフェース１０９は、外部ネットワークと接続するインタフェースであり、ＬＡＮケーブルコネクタやモジュラーケーブルコネクタ等の物理インタフェースである。

外部機器接続インタフェース１１０は、ＰＣ等の端末装置２を電子情報ボード装置１に接続するためのインタフェースであり、ＶＧＡ入力コネクタやＵＳＢポート等の物理インタフェースである。外部機器接続インタフェース１１０には複数の端末装置２を接続することができる。なお、端末装置２をＷｉＦｉ等の無線により電子情報ボード装置１と接続してもよい。

図２は電子情報ボード装置１の外観例を示す図である。

図２において、電子情報ボード装置１は、本体部１１と脚部１２により構成されている。本体部１１の前面にはディスプレイ１０７と座標検出部１０８が設けられ、本体部１１の両サイドには操作ボタン１０５が設けられている。

図３は電子情報ボード装置１の他の外観例を示す図であり、本体部１１の片サイドにのみ操作ボタン１０５が設けられたものである。

図４〜図７は本実施形態における主要な処理に用いられるデータを示す図である。

図４はアプリケーション画面内からの操作ボタン等の抽出を行うための参照用画像を保持する画像解析支援情報の例を示す図である。画像解析支援情報は、複数の画像情報を含んでいる。各画像情報は、利用が想定されるアプリケーションの画面に含まれる操作ボタン等の画像である。なお、画像情報毎に画面上の探索領域座標を持たせることもできる。

図５はアプリケーション画面から操作ボタン等を抽出して再構成した再構成操作領域の各アイテムを管理する再構成操作領域画像管理テーブルの例を示す図である。再構成操作領域画像管理テーブルは、「アイテムＩＤ」「画像情報」等の項目を含んでいる。「アイテムＩＤ」は、再構成操作領域を構成する、操作ボタン等に対応するアイテムを識別する情報である。「画像情報」は、当該アイテムの画像データである。なお、各アイテムは、機能の異なる個々の操作ボタン等の各々に対応付けてもよいし、隣接する複数の操作ボタン等をまとめたものに対応付けてもよい。「画像情報」は、元の操作ボタン等の画像と同じ大きさでもよいし、縮小したものでもよい。また、予め用意された別の画像に置き換えてもよい。

図６は再構成操作領域の各アイテムがタッチされた場合にＰＣ画面座標に変換するための座標変換テーブルの例を示す図である。座標変換テーブルは、「アイテムＩＤ」「電子ボード画面座標」「対象ＰＣ」「ＰＣ画面座標」等の項目を含んでいる。「アイテムＩＤ」は、再構成操作領域を構成する、操作ボタン等に対応するアイテムを識別する情報である。「電子ボード画面座標」は、当該アイテムの電子ボード画面上の領域を示す座標である。「対象ＰＣ」は、表示されているアプリケーションが動作している、マウスイベントを送信する対象となる端末装置２を識別する情報である。「ＰＣ画面座標」は、当該アイテムの端末装置２の画面上の領域を示す座標である。

なお、図６（ａ）は、ＰＣ画面上で上端にある横長のアイテムと下端にある横長のアイテムを、電子ボード画面の下端の右側に縮小して積み重ねて表示した場合に対応している。また、図６（ｂ）は、ＰＣ画面上で上端の右側に隣接する４個のアイテムを、電子ボード画面の下端の右側に縮小して積み重ねて表示した場合に対応している。

図７は再構成操作領域の表示パターンを定める、利用者による設定情報の例を示す図である。項目として、「縮小率」「表示上下位置」「表示左右位置」「表示配列」等がある。「縮小率」は、ＰＣ画面から抽出した操作ボタン等の画像を縮小する比率である。「表示上下位置」は、再構成操作領域の電子ボード画面上の上下の表示位置である。「上」「中央」「下」等のように大まかに指定してもよいし、一端からの距離やパーセンテージを指定するようにしてもよい。「表示左右位置」は、再構成操作領域の電子ボード画面上の左右の表示位置である。「左」「中央」「右」等のように大まかに指定してもよいし、一端からの距離やパーセンテージを指定するようにしてもよい。「表示配列」は、再構成操作領域の各アイテムの配列方法であり、「縦積み」「横並べ」等の指定が可能である。

＜動作＞
図８は上記の実施形態の処理例を示すフローチャートであり、操作ボタン１０５等の操作により再構成操作領域の再構成が指示された場合の処理例を示している。

図８において、制御部（プロセッサ１０１）は、操作ボタン１０５等の操作により再構成操作領域の再構成が指示されることで処理を開始すると（ステップＳ１０１）、再構成操作領域画像管理テーブル（図５）と座標管理テーブル（図６）の内容をクリアする（ステップＳ１０２）。

次いで、制御部は、ＰＣ等の端末装置２からの画像（映像）を静止画像として取り込む（ステップＳ１０３）。

次いで、制御部は、静止画像の上端→下端→左端→右端の順に処理を繰り返す（ステップＳ１０４〜Ｓ１１１）。なお、画像解析支援情報（図４）の画像情報毎に画面上の探索領域座標を有している場合には、上端→下端→左端→右端というように探索領域を区別せず、個々の画像情報毎の探索領域に対して処理を行なうことができる。

上記の繰り返し処理の中で、先ず、制御部は、画像解析支援情報から一の画像情報（初回は先頭の画像情報、次回は次の画像情報）を取得する（ステップＳ１０５）。

次いで、制御部は、画像解析支援情報に画像情報がないかどうか判断する（ステップＳ１０６）。

画像解析支援情報に画像情報がないと判断した場合（ステップＳ１０６のＹｅｓ）、次の繰り返し処理（ステップＳ１１１、Ｓ１０４）に移行する。

画像解析支援情報に画像情報があると判断した場合（ステップＳ１０６のＮｏ）、制御部は、静止画像の端部（上端、下端、左端、右端）から所定範囲内に画像解析支援情報から取得した画像情報が存在するかパターンマッチにより探索する（ステップＳ１０７）。具体的には、静止画像を所定幅の短冊領域に分割し、その短冊領域内で画像情報の基準位置（画像の左上端等）を１ピクセルずつ移動して領域内をスキャンし、画像の一致を判断する。なお、再構成操作領域の再構成の指示が操作ボタン１０５の方向キーにより行なわれる場合、どの方向の方向キーを押したかによって再構成する際の探索領域を変える（上方向キーが押された場合には画面の上端のみを探索、下方向キーが押された場合には画面の下端のみを探索、右方向キーが押された場合には画面の右端のみを探索、左方向キーが押された場合には画面の左端のみを探索）ようにしてもよい。

次いで、制御部は、静止画像に画像解析支援情報から取得した画像情報が存在したか否か判断する（ステップＳ１０８）。

静止画像に画像解析支援情報から取得した画像情報が存在しなかったと判断した場合（ステップＳ１０８のＮｏ）、次の画像情報の取得（ステップＳ１０５）に戻る。

静止画像に画像解析支援情報から取得した画像情報が存在したと判断した場合（ステップＳ１０８のＹｅｓ）、制御部は、検出した画像を所定の縮小率（図７）で縮小した画像を生成し、再構成操作領域画像管理テーブル（図５）にアイテムＩＤを付して設定する（ステップＳ１０９）。

次いで、制御部は、検出した画像に対応するアイテムＩＤと電子ボード画面座標とＰＣ画面座標と対象ＰＣを座標変換テーブル（図６）に設定し（ステップＳ１１０）、次の画像情報の取得（ステップＳ１０５）に戻る。ここで、電子ボード画面座標は、設定情報（図７）の表示上下位置、表示左右位置および表示配列に従って決定する。ＰＣ画面座標は、画像を検出した元の座標である。なお、利用者の立ち位置を検出して、立ち位置に近い側に再構成操作領域を表示するようにすることができる。例えば、筐体の両サイドに操作ボタン１０５が設けられている場合には、どちらのサイドのボタンが押されたかにより、利用者の立ち位置を推測することができる。遠赤外線による人体センサ等により利用者の立ち位置を検出してもよい。

静止画像の端部（上端、下端、左端、右端）についての繰り返し処理が終了した場合（ステップＳ１１１の後）、制御部は、再構成操作領域画像管理テーブルと座標変換テーブルに基づいて再構成操作領域をディスプレイ１０７に表示し（ステップＳ１１２）、処理を終了する（ステップＳ１１３）。

図９（ａ）は端末装置２から送られてきた元の画像を示しており、図９（ｂ）は、上端のボタン群を含むバーが再構成操作領域Ｐとして同じサイズで画面の下端に表示された状態を示している。また、図１０（ａ）は、上端のボタン群を含むバーが縮小されて画面の下端左に再構成操作領域Ｐとして表示された状態を示している。また、図１０（ｂ）は、上端のボタン群を構成する各ボタンが同じサイズで縦積みに配列し直されて画面の左端中央に再構成操作領域Ｐとして表示された状態を示している。

図１１は操作ボタン１０５の方向キーの操作により再構成操作領域の表示位置を変更する場合の処理例を示している。

図１１において、制御部は、方向キーの操作により処理を開始すると（ステップＳ１２１）、方向キーの示す方向に位置する画面端部から座標変換テーブルの電子ボード画面座標の最短距離を算出する（ステップＳ１２２）。

次いで、制御部は、算出した最短距離が０か否か判断する（ステップＳ１２３）。

最短距離が０であると判断した場合（ステップＳ１２３のＹｅｓ）、制御部は、ビープ音等によるエラー警告を行い（ステップＳ１２４）、処理を終了する（ステップＳ１３０）。

最短距離が０でないと判断した場合（ステップＳ１２３のＮｏ）、制御部は、方向キーの操作回数および単位移動量から移動量を算出する（ステップＳ１２５）。

次いで、制御部は、移動量が端部との間の最短距離よりも小さいか否か判断する（ステップＳ１２６）。

移動量が最短距離よりも小さくないと判断した場合（ステップＳ１２６のＮｏ）、移動量を最短距離に設定する（ステップＳ１２７）。移動量が最短距離よりも小さいと判断した場合（ステップＳ１２６のＹｅｓ）、なにもしない。

次いで、制御部は、座標変換テーブルの電子ボード画面座標を移動量分だけ修正して更新する（ステップＳ１２８）。

次いで、制御部は、再構成操作領域画像管理テーブルと更新後の座標変換テーブルに基づいて再構成操作領域を再表示し（ステップＳ１２９）、処理を終了する（ステップＳ１３０）。

図１２は座標検出部１０８でタッチパネルの操作が行なわれた場合の処理例を示している。

図１２において、制御部は、タッチパネルが操作されたことで処理を開始すると（ステップＳ１３１）、タッチパネルの検出座標が座標変換テーブルの電子ボード画面座標に含まれるか否か判断する（ステップＳ１３２）。

タッチパネルの検出座標が座標変換テーブルの電子ボード画面座標に含まれると判断した場合（ステップＳ１３２のＹｅｓ）、制御部は、座標変換テーブルからＰＣ画面座標を取得し、電子ボード画面座標内におけるタッチ位置に対応するＰＣ画面の座標を算出する（ステップＳ１３３）。

また、タッチパネルの検出座標が座標変換テーブルの電子ボード画面座標に含まれないと判断した場合（ステップＳ１３２のＮｏ）、制御部は、電子ボードのタッチ位置に対応するＰＣ画面の座標を算出する（ステップＳ１３４）。

そして、制御部は、算出した座標を伴い、端末装置２にタッチの態様（タッチしたまま、タッチして離す、タッチして離すを２回連続等）に応じたマウスイベント（マウスダウン、シングルクリック、ダブルクリック等）を送信し（ステップＳ１３５）、処理を終了する（ステップＳ１３６）。

図１３は再構成操作領域へのタッチとそれ以外の場所へのタッチの違いを示す図である。すなわち、再構成操作領域Ｐ上の点Ｔ１にタッチした場合には、ＰＣ画面の対応する操作ボタン等にタッチしたことになる。また、再構成操作領域Ｐ以外の点Ｔ２にタッチした場合には、ＰＣ画面内の相対的に対応する位置をタッチしたことになる。

＜総括＞
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ 電子情報ボード装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ 操作ボタン
１０６ グラフィックスボード
１０７ ディスプレイ
１０８ 座標検出部
１０９ ネットワークインタフェース
１１０ 外部機器接続インタフェース
１１ 本体部
１２ 脚部
２ 端末装置

特許第４２４４０７５号公報

Claims (3)

1. 画像を表示する表示手段と、表示画面への物体の接触座標を検出する座標検出手段と、外部の装置とのインタフェース手段とを備えた電子情報ボード装置であって、
   前記外部の装置から入力する画像を解析して操作領域を抽出する手段と、
   抽出した操作領域を再構成して前記表示画面の所定位置に表示する手段と、
   元の操作領域と再構成した操作領域の表示領域の座標を関連付ける手段と、
   前記再構成した操作領域の表示領域の座標に対する操作を元の操作領域の座標に対する操作に変換して前記外部の装置に送信する手段と
   を備えたことを特徴とする電子情報ボード装置。
2. 請求項１に記載の電子情報ボード装置において、
   前記抽出した操作領域が横方向に並んで配置された操作ボタンである場合に、当該操作ボタンを縦方向に積み重ねて表示する
   ことを特徴とする電子情報ボード装置。
3. 請求項１または２のいずれか一項に記載の電子情報ボード装置において、
   前記再構成した操作領域の表示位置の変更を受け付ける手段と、
   受け付けた表示位置の移動量に応じて前記再構成した操作領域の表示領域の座標を変更する手段と
   を備えたことを特徴とする電子情報ボード装置。

Images