JP5938638B2 - インタラクティブプレゼンシステム - Google Patents

Description

本発明は、プロジェクタを用いたインタラクティブプレゼンシステムに関する。

近年、プレゼンテーションに用いる機器として、プロジェクタが広く普及している。情報端末装置とプロジェクタを映像出力端子に代表されるＶＧＡケーブルなどで接続するだけで情報端末装置の表示画面を投射画像領域に拡大投射でき、操作用リモコンを用いればページ送りや画面切換えなどの操作を行うことができる。近年、さらに、より多様なインタラクティブな操作が行えるプレゼンテーション機器の登場が望まれている。このような要望に応えるべく、投射画像領域内に表示したメニュー画面の位置に操作コマンドを割り当てておき、メニュー画面の領域内の任意の位置を指示棒で指示することで、その位置に対応したコマンドを実行するシステムが開発されている（例えば特許文献１）。図１８は、従来のインタラクティブプレゼンシステムの構成図である。２５は任意の画像を拡大投射可能とするプロジェクタ、２６は任意の撮像領域を撮像可能とする撮像装置、２７はパソコンなどに代表される情報端末装置、２８は指示棒に代表される発信手段である。また、２９はプロジェクタ２５から投射される投射画像領域、３０は撮像装置２６の撮像領域を示す。上記システムの動作原理を簡単に説明する。まず、プロジェクタの投射画像領域内に任意のパターン画像（メニュー画面）を表示する。発表者はこのパターン画像内の任意の位置を指示棒によって指示する。それを予め投射画像領域全体を撮像範囲と設定し、投射画像領域の位置に焦点を合わせておいた認識カメラで撮像する。情報端末装置は認識カメラから受信した画像データにおいて特定の位置に焦点が合っているか否かを解析し、焦点が合っていないと判断された位置を位置情報として認識する。その位置情報に予め対応付けておいた操作コマンドを実行することでインタラクティブな操作が可能になる。

特開２００３−７６４９５号公報 特開２００８−１１６７０６号公報 特開２００７−１７２３０３号公報 特開２００７−１３３０６号公報

しかしながら、従来のインタラクティブプレゼンシステムでは、投射画像領域内のメニュー画面を指示してインタラクティブな操作を行うシーンにおいて、投射画像領域が大画面である場合、画面上に発表者の指示が届かない領域が存在する。この場合、特に、画面上部での操作が困難である。また、発表者が身長の低い子供である場合は、投射画像領域が大画面でなくても投射画像領域上のメニュー画面に発表者の指示が届かないということがある。

さらに、メニュー画面を投射画像領域内に表示して操作を行う場合、そのメニュー画面がコンテンツの一部分を覆ってしまうことを避けるために、メニュー画面の領域を確保する必要があるが、その場合、プレゼンテーションのコンテンツを表示する領域が狭くなってしまうという課題がある。

そこで、本発明ではプロジェクタの投射画像領域外に操作領域を設け、発表者が指示手段により、その操作領域内の任意の位置を指示した場合、その位置に対応付けておいた操作コマンドを実行する機能を備えたインタラクティブプレゼンシステムを提供することを目的とする。

上記目的を達成するために、本発明のインタラクティブプレゼンシステムは、任意の画像を撮像する撮像手段と、前記撮像手段により撮像された画像データから指示の位置情報を算出する画像解析手段と、前記画像解析手段で算出された位置情報を入力とすると共に任意の入力手段から入力される情報に基づいて動作する制御手段と、前記制御手段により前記画像解析手段が算出した位置情報を格納する記憶手段と、画像表示手段と、前記画像表示手段からの出力を拡大投射する投射手段と、を備え、前記制御手段は、前記入力手段より入力される情報に基づいて初期化を行う初期化段階において、前記指示の位置を任意のコマンドの境界位置とし所定のコマンドを割当てて前記記憶手段に格納し、前記初期化段階の後、前記指示の位置と前記初期化段階で前記記憶手段に格納された前記境界位置とを比較して、前記指示の位置情報に対応した前記所定のコマンドを実行し、前記撮像手段の撮像領域は、前記投射手段の投射画像領域と前記投射画像領域外とを含み、前記記憶手段に格納された前記境界位置は前記投射画像領域外にあることを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記制御手段により制御される任意のパターン画像を発生するパターン発生手段を備え、前記制御手段は、前記初期化段階において、前記投射手段によって拡大投射される領域を特定可能とする初期化パターン画像を前記パターン発生手段から出力させることにより、前記撮像手段により撮像される領域と前記投射手段により投射される領域との位置座標相関関係を前記画像解析手段が算出した位置情報により把握することを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記撮像手段と、前記画像解析手段と、前記画像解析手段が算出した位置情報を通信する第１の通信手段と、を備える撮像装置と、前記制御手段と、前記記憶手段と、前記制御手段により制御される任意のパターン画像を発生するパターン発生手段と、前記パターン発生手段の出力を入力とする前記画像表示手段と、前記第１の通信手段と通信を行い前記制御手段に前記位置情報の出力を行う第２の通信手段と、を備える情報端末装置とを備えており、前記位置情報は座標データのみであることを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記撮像装置を備えたプロジェクタと、前記情報端末装置と、を備えていることを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記制御手段により制御される任意のパターン画像を発生するパターン発生手段を備え、前記制御手段は、前記初期化段階において、前記記憶手段に格納された任意のコマンドの前記境界位置を明確化する画像パターンを前記パターン発生手段から出力させ、前記制御手段から出力される主画像と前記パターン発生手段から発生される前記画像パターンとを重畳する画像重畳手段を備えたことを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、任意の指示信号を発信する発信手段を備え、前記撮像手段は、前記発信手段から発信される指示信号を検出するとともに前記任意の画像を撮像し、前記画像解析手段は、前記指示の位置情報として、前記画像データから前記発信手段により発信された指示信号の位置情報を算出することを特徴とするものである。

また、本発明のインタラクティブプレゼンシステムは、投射画像に関する指示をインタラクティブな操作により行うインタラクティブプレゼンシステムであって、前記投射画像の領域と前記投射画像の領域の外とを含む撮像領域に亘って任意の画像を撮像する撮像手段と、前記撮像手段により撮像された画像データから指示の位置情報を算出する画像解析手段と、前記画像解析手段で算出された位置情報を入力とすると共に任意の入力手段から入力される情報に基づいて動作する制御手段と、前記制御手段により前記画像解析手段が算出した位置情報を格納する記憶手段と、画像表示手段と、前記画像表示手段からの出力を拡大投射する投射手段と、を備えており、前記制御手段は、前記入力手段より入力される情報に基づいて初期化を行う初期化段階において、前記撮像領域における前記投射画像の領域の外に設定される操作領域を規定する任意のコマンドの境界位置を、前記操作領域に所定のコマンドを割当てた状態に前記記憶手段に格納し、前記撮像手段を介して取得した前記指示の位置と前記初期化段階で前記記憶手段に格納された前記境界位置とを比較して、前記指示の位置情報に対応した前記所定のコマンドを実行することを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記制御手段により制御される任意のパターン画像を発生するパターン発生手段と、前記制御手段から出力される前記投射画像の領域に投射する画像と前記パターン発生手段から発生される前記パターン画像とを重畳する画像重畳手段とを備え、前記画像表示手段は前記画像重畳手段の出力を入力とし、前記制御手段は、前記初期化段階の後、前記初期化段階において前記記憶手段に格納された前記境界位置のためのマーカー画像を前記パターン画像として前記パターン発生手段に発生させて前記画像重畳手段に入力させることを特徴とするものである。

また、このインタラクティブプレゼンシステムにおいて、前記制御手段は、前記初期化段階において、前記撮像手段に、前記撮像領域における前記投射画像の領域の外に配置した第１の領域パターンを含む画像を撮像させ、撮像画像に含まれる前記第１の領域パターンを検出して、前記操作領域としての、前記境界位置を規定する境界領域パターンに設定するとともに前記境界領域パターン内に前記所定のコマンドを割当てて前記記憶手段に格納することを特徴とするものである。

以上のように本発明のインタラクティブプレゼンシステムによれば、指示した任意の位置をシステムに認識させ、操作領域の境界座標設定を行うことにより、投射画像領域外の任意の位置に操作領域を持たせることが可能になり、発表者が操作領域内の任意の位置を指示することで位置に対応した操作コマンドの実行を可能とする優れた効果が得られる。これにより、投射画像領域が大画面である場合でも発表者に合わせて初期化段階で境界位置を設定しておくことで発表者の指示が届かないという課題を解決できる。さらに、投射画像領域が大画面でない場合にも指示が届かない身長の低い子供であっても初期化段階で境界位置を低く設定しておくことで同様の課題を解決できる。

また、メニュー画面を投写画像領域内に表示しておく必要がなくなるため、プレゼンテーションのコンテンツの一部分を覆ってしまうという課題をも解決できる。

本発明の実施の形態１におけるインタラクティブプレゼンシステムの構成図 同実施の形態１における情報端末装置の内部ブロック図 同実施の形態１における境界座標設定画面の一例を示す図 同実施の形態１における境界座標設定システムの動作を説明するためのフローチャート 同実施の形態１における画像表示手段の出力画像の一例を示す図 同実施の形態１における通信手段を備えた撮像装置と情報端末装置の内部ブロック図 同実施の形態１における通信手段を備えたプロジェクタと情報端末装置の内部ブロック図 本発明の実施の形態２におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャート 同実施の形態２におけるパターン発生手段の初期化パターン画像の一例を示す図 同実施の形態２における画像重畳手段を備えた情報端末装置の内部ブロック図 同実施の形態２におけるパターン発生手段の境界マーカー画像の一例を示す図 同実施の形態２における座標領域確認システムの動作を説明するためのフローチャート 同実施の形態２におけるインタラクティブ機能（描画）の動作の一例を示す図 本発明の実施の形態３におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャート 同実施の形態３におけるパターン発生手段の境界領域パターンの一例を示す図 本発明の実施の形態４におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャート 同実施の形態４におけるパターン発生手段の境界領域パターンの一例を示す図 従来におけるインタラクティブプレゼンシステムの構成図

以下、本発明の実施の形態について、図１から図１７を用いて説明する。

（実施の形態１）
図１は本発明の実施の形態１におけるインタラクティブプレゼンシステムの構成図である。

図１において、１は任意の画像を拡大投射可能とするプロジェクタ、２は任意の撮像領域を撮像可能とする撮像装置、３はパソコンなどに代表される情報端末装置、４は指示棒に代表される発信手段である。また、５はプロジェクタ１から投射される投射画像領域、６は撮像装置２の撮像領域を示す。

図２は、情報端末装置３の内部構成図である。図２において、９は、撮像装置２から送信された画像データを解析する画像解析手段、１１は、画像解析手段９で解析された結果を格納する記憶手段、１２は、任意の画像パターンを発生するパターン発生手段、１３は、画像表示手段、１４は、キーボードやマウスに代表される入力手段、１０は、パターン発生手段１２及び画像表示手段１３を制御する制御手段である。

以上のように構成されたインタラクティブプレゼンシステムについて、図３及び図４を用いてその動作を以下に説明する。

図３における破線の位置を境界線として、その境界線より指示棒４にて上を指示した場合が情報端末装置３のエンターキーの操作領域であり、下を指示した場合が情報端末装置３のバックスペースキーの操作領域と設定する例を図４の動作を説明するためのフローチャートを用いて説明する。

まず、境界位置を設定するため、発表者は入力手段１４から情報端末装置３を操作して設定開始指示を行う（ステップＳ１）。ステップＳ１にて設定開始信号を受信した制御手段１０は、パターン発生手段１２及び画像表示手段１３を制御し、パターン発生手段１２から発生する画像パターンを画像表示手段１３を介してプロジェクタ１から投射する。例えば、図３に示すような「上下境界位置を指定下さい」といった境界座標設定画面を投射画像領域５に投射する（ステップＳ２）。

次に、発表者は指示棒４にて任意の位置上で指示信号を発信する（ステップＳ３）。ここで指示信号としては指示棒４に付属される任意のボタンを押下したときのみ発光される赤外線が望ましい。例えば、９５０ｎｍの波長で発光する赤外線を指示信号として用いた場合、撮像装置２には９５０ｎｍ前後の波長のみを検知可能とするバンドパスフィルタを搭載することにより、プロジェクタ１から通常投射される可視光と前記指示信号とを間違えずに容易に検出することが可能となる。プロジェクタ１は一般的に水銀灯ランプが使用されているため、プロジェクタ１から投射される光には赤外線が含まれて、その光を指示信号と誤認識する可能性がある。そこで、プロジェクタ１から投射される光から赤外線成分を除去するために、赤外線カットフィルタをプロジェクタ１に内蔵することにより、より確実に撮像装置２は指示信号を検知可能となる。勿論、指示信号として一定の閾値より明るい輝度で発光するレーザ光を用いる方法もある。この場合は、設定された輝度値より明るい信号を指示信号として認識することになる。また、特定の形状や特定の色を指示信号として認識させることでも同様の効果を得る。

ステップＳ３において、指示信号を検知した撮像装置２はその撮像画像を画像解析手段９に送信する。画像解析手段９において、送信された撮像画像より発表者が指示した境界座標を演算する（ステップＳ４）。ステップＳ４における境界座標の演算手段としては、撮像装置２が撮像可能な撮像領域６は予め決められているため、例えば、図３に示すように、左上座標を原点とし、垂直方向に３００ポイント、水平方向に４００ポイントと設定することが可能である。この撮像領域６に対してステップＳ３で検出された指示信号がどの座標に存在するかを把握することが可能である。図３において、垂直方向に２００ポイントの位置に指示信号が存在している場合、画像解析手段９は、その２００ポイントという座標を記憶手段１１に格納する（ステップＳ５）。ステップＳ５において、発表者が指示棒４から指示信号を発光する場合、その指示信号の座標は一定ではなく、ある範囲で上下左右にぶれる。この場合、画像解析手段９は、一定時間内での指示座標の平均値を記憶手段１１に格納することにより、発表者が意図した座標位置を記憶手段１１に格納可能となる。所望の座標位置を確定した後、発表者は図３に示すような終了コマンドを入力手段１４から情報端末装置３に対して実行することにより、操作領域の境界座標設定が完了する（ステップＳ６）。図３に示した例の場合、破線より上の領域、即ち、垂直座標で０から２００ポイントの領域は情報端末装置３のエンターキーの操作を指示する場合の領域であり、２００ポイントを超える領域は情報端末装置３のバックスペースキーの操作を指示する場合の領域として制御手段１０の検知が可能となる。

ステップＳ６において、操作領域の境界座標設定が完了した後に、発表者が指示棒４より所定の指示信号を発光すると（ステップＳ７）、撮像装置２を介して画像解析手段９はその指示信号の座標を検出する（ステップＳ８）。ステップＳ８で検出された座標と記憶手段１１に格納された座標とを比較することで、制御手段１０は指示信号がエンターキーを指しているのかバックスペースキーを指しているのかを容易に判断することが可能となる。その検出結果に従って制御手段１０は所定のコマンドを実行する（ステップＳ９）。

例えば、ステップＳ８において、検出された指示信号の座標が垂直方向で１７０ポイントである場合、記憶手段１１に格納された境界位置座標２００ポイントに対して小さい値であるため、制御手段１０はエンターキーを操作する。情報端末装置３にてあるプレゼンソフトのスライドショーを実行している場合、この操作はページ送り動作に相当する。一般的に、情報端末装置３とプロジェクタ１から投射される投射画像領域５を映し出す投射画像領域との距離は開いており、発表者が投射画像領域の側に立ってプレゼンテーションを行う場合、情報端末装置３を発表者が直接操作することが困難である。情報端末装置３を操作する人を別に準備される場合が多いが、この場合においても、発表者が情報端末装置３を操作する人に対してページを送るタイミングをいちいち指示する必要が出てくる。しかしながら、本発明の構成によれば、発表者は自らのタイミングでページの送り戻しが自由に行え、所望のスタイルでのプレゼンテーションが可能となる。

しかしながら、発表者が指示する指示信号は必ずしも一定値を指すことはなく、ある程度の上下振動が生じ、そのため、２００ポイント前後を発表者が指示した場合、プロジェクタ１から投射されるスライドのページ送りとページ戻しが連続で行われ、非常に見づらいプレゼンテーションとなる可能性がある。そこで、制御手段１０は記憶手段１１に格納された境界位置座標の前後５％（図３の例では１５ポイント、即ち垂直座標では１８５ポイントから２１５ポイントの間の領域）を無効領域と設定することにより、前記不具合を容易に回避することができる。

図３の例において、上下境界位置の指定を示したが、勿論、左右境界位置を指定しても同様な効果が得られる。また、上下左右を分割することにより４つの操作領域を与えることが可能となる。また、ステップＳ２において、図５に示すような画像をパターン発生手段１２から画像表示手段１３を介して表示させることにより、発表者は各(1)から(4)の領域に対して任意のコマンドを設定することが可能となる。例えば、図５において、(1)の領域は水平座標０から２００ポイントまでで且つ垂直座標が０から１５０までの領域であるとする。発表者が(1)の領域を設定ボタンを押下することにより設定し、その後、選択メニューの中からＥＮＴＥＲを選択することによって、(1)の領域内に指示信号が検知された場合はエンターキーが実行されることになる。このようなメニュー画面を情報端末装置３から出力することにより、発表者は自由に各領域に対して操作コマンドを割り当てることが可能となる。勿論、図５に示したような情報端末装置３の操作コマンドだけではなく、プロジェクタ１や撮像装置２或いは周辺機器の操作コマンドを割り当てても同様の効果を得ることは言うまでもない。

また、図２において、撮像装置２から撮像された画像データを情報端末装置３に送信する構成となっているが、この場合、撮像装置２と情報端末装置３との間には特別な専用ケーブルが必要になる、或いはデータ容量が大きい画像データを送信するために、通信負荷が大きくなり、システム全体に負担をかけるという課題がある。図６の構成とすることにより、これらの課題は容易に解決可能となる。

図６において、１５は、任意の画像を撮像する撮像手段、１６は、撮像手段１５により撮像された画像をもとに演算を行う画像解析手段、１７は、イーサネット（登録商標）やＵＳＢに代表される第１の通信手段、１８は、第１の通信手段１７と任意のネットワーク網で通信を行う第２の通信手段である。

撮像装置２と情報端末装置３とが任意のネットワーク網で通信可能とした図６のようなシステムにおいて、画像解析手段１６が、撮像手段１５により撮像された画像データから指示信号を検出し（ステップＳ３）、前述の画像解析手段９と同様に所望の境界座標を認識し（ステップＳ４）、その座標データのみ第１の通信手段１７に伝送する。第１の通信手段１７と任意のネットワーク網で通信可能とした第２の通信手段１８は、受信した座標データを制御手段１０に送信することにより、所望の動作が可能となる。このように座標データのみをネットワーク網で伝送を行うため、汎用的なケーブルを使用しても通信負荷を抑えた状態での運用が可能となる効果が得られる。

また、図７のように、プロジェクタ１に撮像手段１５、画像解析手段１６、第１の通信手段１７を内蔵しても同様の効果を得ることは言うまでもない。図７において、１９は、画像表示手段１３から出力された画像データを拡大投射する投射手段である。

以上のように本実施の形態によれば、指示棒から発信される任意の指示信号を検出し、その指示信号の座標を演算することによって、情報端末装置３の操作を容易に実行することが可能となるため、情報端末装置３とプロジェクタから投射される映像を映し出す投射画像領域との距離が離れている場合においても、発表者が自在に情報端末装置３を操作することが可能となる効果が得られる。また、情報端末装置３の操作コマンド領域をプロジェクタから投射される投射画像に重畳する必要がないため、プロジェクタから投射される投射画像領域が発表者よりも高い位置に設置されていても、撮像装置２の撮像領域６の範囲内で境界座標を設定可能となるため、プロジェクタから投射される投射画像領域を全く気にする必要がないという効果も得られる。これにより、操作コマンド領域がプロジェクタから投射される画像に重畳されていて、投射画像領域が高すぎて届かずに操作ができないという従来の課題を容易に解決可能となる。

（実施の形態２）
図８は本発明の実施の形態２におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャートである。

まず、発表者はプロジェクタ１から投射される投射画像領域５が撮像装置２の撮像領域６に対し、どの位置に存在するかを把握するための初期化命令を入力手段１４から情報端末装置３に対して行う（ステップＳ１０）。ステップＳ１０において初期化命令を受信した制御手段１０は、パターン発生手段１２に対して、図９に示す初期化パターン７を画像表示手段１３を介してプロジェクタ１から投射する（ステップＳ１１）。図９において、初期化パターン７として、プロジェクタ１の投射画像領域５の四隅に十字キャラクタを４個配置した例を示す。なお、その数量が４個でなくても、或いはパターン発生手段１２から投射される画像の形状が十字キャラクタでなくても同様の効果を得ることは言うまでもない。

ステップＳ１１の後に発表者は指示棒４を使用して、その先端部を初期化パターン７の中央部の位置で指示信号を発信する（ステップＳ１２）。その指示信号を撮像装置２を介して画像解析手段９にて検知し、その解析結果より所望の投射画像領域５を認識可能となる（ステップＳ１３）。例えば、パターン発生手段１２から発生する初期化パターン７の中心座標を各コーナより１０％内側に配置すると決めた場合、撮像装置２の撮像領域６を基準として図９の例のように、左上の原点座標が、水平２０ポイント、垂直２０ポイントとすると、実際にプロジェクタ１から投射される投射画像領域５のサイズは、
水平：３００ポイント−２０ポイント＝２８０ポイント
垂直：２３０ポイント−２０ポイント＝２１０ポイント
となる。ここで、ステップＳ１２により、初期化パターン７の指示信号を検知した画像解析手段９の座標が、
左上：水平４８ポイント、垂直４１ポイント
左下：水平４８ポイント、垂直２０９ポイント
右上：水平２７２ポイント、垂直４１ポイント
右下：水平２７２ポイント、垂直２０９ポイント
であった場合、原点座標は、水平は、
４８−（２７２−４８）／８＝２０ポイント
垂直は、
４１−（２０９−４１）／８＝２０ポイント
となり、このようにして、ステップＳ１３にて撮像装置２の撮像領域６を基準としたプロジェクタ１の投射画像領域５の原点座標である水平２０ポイント、垂直２０ポイントを導出可能となる。このような座標情報を記憶手段１１に格納する（ステップＳ１４）。その後、初期化画面終了することにより、撮像装置２の撮像領域６とプロジェクタ１の投射画像領域５の相関関係を情報端末装置３が把握することが可能となる（ステップＳ１５）。

このプロジェクタ１の投射画像領域５と撮像装置２の撮像領域６との相関関係を確実に取るためには、図７のようにプロジェクタ１に撮像手段１５と投射手段１９を同梱させていれば確実である。また、上述のような演算手法を採用することにより、投射手段１９にズームレンズを使用した場合においても、確実に相関座標を演算可能となる。

図８の動作を説明するためのフローチャートにて撮像装置２の撮像領域６とプロジェクタ１の投射画像領域５の相関関係が把握された状態で、図３に示すような境界座標設定を行い、境界座標として撮像装置２の撮像領域６の座標を基準として垂直方向で２００ポイントを発表者が設定した場合、その２００ポイントがプロジェクタ１から投射される画像領域のどの位置に相当するかを容易に把握可能となる。撮像装置２の撮像領域６とプロジェクタ１の投射画像領域５の相関関係が図９のようにある場合、上部から
（２００−２０）／２１０＝８５．７％
の位置に境界位置が存在することが分かる。即ち、情報端末装置３から出力される画像データのサイズがＸＧＡサイズ（水平１０２４ドット、垂直７６８ドット）である場合、この境界位置は上部から
７６８×８５．７％＝６５８ドット
の位置に存在することが分かる。

図１０において、上記境界位置座表を把握した制御手段１０は、パターン発生手段１２に対して、図１１に示すような境界マーカー８の画像を上部から６５８ドットの位置に出力する。制御手段１０から出力される主画像にその境界マーカー画像を画像重畳手段２０にて重畳し、画像表示手段１３を介してプロジェクタ１から投射する。

図１１に示すように、境界マーカー８をプロジェクタ１の投射画像領域５上に表示させることにより、発表者は容易に境界位置を把握することが可能となり、迷わずに確実に所望のコマンドを実行可能となる。境界マーカー８の形や大きさや色は発表者に任意に選択させる方式でも良い。また、色は当該位置に本来表示される色の補色を採用して、目立たせる方法もある。ディスプレイの表示色はＲＧＢの三原色であるため、例えば、該当位置の色の輝度レベルが、
赤色（Ｒ）＝２５５
緑色（Ｇ）＝２５５
青色（Ｂ）＝０
の黄色である場合、
赤色（Ｒ）＝０
緑色（Ｇ）＝０
青色（Ｂ）＝２５５
の青色とすることで、境界マーカー８を目立たせることが容易に可能となる。このように境界マーカー８をプロジェクタ１から投射することで、分割数を増やしても、発表者は迷うことなく、確実に情報端末装置３を操作可能となる。

また、図８の動作を説明するフローチャートにて、撮像装置２の撮像領域６とプロジェクタ１の投射画像領域５の相関関係が把握された状態であれば、図１２に示すように、ステップＳ８により指示信号が発信された座標を確認し、その座標がプロジェクタ１から投射される投射画像領域５の内部か否かを判定することが可能になる（ステップＳ１６）。例えば、図１１の例において、ステップＳ１６における指示信号が示した座標が、水平２５０ポイント、垂直２１５ポイントであった場合、制御手段１０は現在、プロジェクタ１の投射画像領域５の内部で指示信号が発信されていると認識するため、例えば、図１３に示すようなインタラクティブ機能を動作させることが可能になる。一般的に、インタラクティブ機能はプロジェクタ１から投射される画面上に任意の画像を重畳する機能であるが、図３に示した構成だと、任意の画像を重畳することはできずに常に指定した情報端末装置３の操作コマンドが実行されるという不具合がある。即ち、本構成を取ることにより、ステップＳ１６において、指示信号がプロジェクタ１の投射画像領域５の内部か外部かを判断することにより、所定のコマンドをステップＳ９で実行するのかステップＳ１７で実行するのかの区別が容易に可能となる。

以上のように本実施の形態によれば、撮像装置２の撮像領域６とプロジェクタの投射画像領域の相関関係を把握することにより、プロジェクタから投射される画像上に境界マーカーを重畳することが可能になり、発表者は容易に情報端末装置３の境界座標位置を把握することが可能となる効果を得る。また、同一の指示棒を使用してインタラクティブ機能などのアプリケーションソフトとの共用が可能となる。

（実施の形態３）
図１４は本発明の実施の形態３におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャート、図１５は同実施の形態３におけるパターン発生手段の境界領域パターン２１の一例を示す図である。図１５において、２１は、情報端末装置３上に表示される境界領域パターン、２２は、境界領域パターン２１を設定した場合の境界領域、２３は、撮像画像上に境界領域パターン２１を表示する位置を一意に決定するための表示座標である。

図１５における破線の正方形の形状を境界領域２２とし、その境界領域２２内を操作領域と設定する例を図１４の動作を説明するためのフローチャートを用いて説明する。

まず、発表者は情報端末装置３から境界領域２２を指定するため、発表者は入力手段１４から情報端末装置３を操作して撮像画像表示命令を行う（ステップＳ１７）。ステップＳ１７において撮像画像表示命令を受信した制御手段１０は、画像表示手段１３に対して撮像画像を取得し、画像表示手段１３を介して撮像画像を情報端末装置３に表示する。ステップＳ１７の後に表示座標の入力を入力手段１４から情報端末装置３に対して行う（ステップＳ１８）。ステップＳ１８において表示座標を受信した制御手段１０は、制御手段１０から出力される撮像画像の表示座標の位置を中心座標として図１５に示す境界領域パターン２１の画像を画像重畳手段２０にて重畳し、画像表示手段１３を介して情報端末装置３に表示する（ステップＳ１９）。

図１５において、境界領域パターン２１として、情報端末装置３に表示された正方形の境界領域パターン２１を配置した例を示すが、その数が複数でも、或いは形状が正方形でなくても、また、大きさが一意でなくでも同様の効果を得る。さらに、境界領域パターン２１の形状の中心の座標を表示座標２３とした例を示したが、必ずしも図形の中心の座標でなくてもよく、境界領域パターン２１の座標と領域内の一点の座標を記憶手段１１に格納しておけばよい。

なお、発表者が指示する指示信号はある程度の上下振動が行われる。特に複数設定した境界領域パターン２１が隣り合っている場合、複数のコマンドが交互に実行され、非常に見づらいプレゼンテーションとなる可能性がある。そこで、制御手段１０は記憶手段１１に格納された境界位置座標の前後５％を無効領域と設定することにより、前記不具合を容易に回避可能となる。複数の境界領域パターン２１が同じ領域を所持する場合は、操作コマンドの設定が不可能になるため、先に表示座標２４を設定した境界領域パターン２１の領域を他の境界領域パターン２１の無効領域とすることにより、前記不具合を容易に回避できる。

ステップＳ１９の後に発表者は表示座標の位置の決定命令を入力手段１４から情報端末装置３に対して行う（ステップＳ２０）。ステップＳ２０において決定命令を受信した制御手段１０は、この境界領域パターンの中心位置の座標とパターンの形状の座標を記憶手段１１に格納する（ステップＳ５）。これにより、ステップＳ８で検出された指示信号の座標と記憶手段１１に格納された境界領域２２の座標とを比較することで、指示信号がどのコマンドを指しているのかを容易に判断可能になり、その検出結果にしたがって制御手段１０は所定のコマンドを実行することが可能になる。プレゼンテーションを行う際には境界領域パターン２１は撮像装置２の撮像領域６内に実際に投射することはないため、撮像領域６上の目印となる物体や模様の位置に設定を行う、或いは、予め紙面などに印刷したメニュー画面などを壁に張り、その画面に合わせて境界領域パターン２１の位置設定を行うと発表者がより容易に境界領域２２を判断することができる。

本構成を取ることにより、境界領域パターン２１の位置を情報端末装置３上で容易に指定することができ、境界領域パターン２１の形状の境界領域２２を撮像装置２の撮像領域６の任意の位置に設定することができる。さらに、この境界領域パターン２１を様々な形状、大きさ、或いは、回転させた形状のものを用意しておくことで自由度の高い境界領域２２の設定が可能となる。今回は情報端末装置３上で境界領域２２の設定を行う一例を示したが、境界領域パターン２１の形状を事前に決定しておけば、発信手段で指示した位置を境界領域パターン２１の表示座標２３として設定することも可能である。

（実施の形態４）
図１６は本発明の実施の形態４におけるインタラクティブプレゼンシステムの動作を説明するためのフローチャート、図１７は同実施の形態４おけるパターン発生手段の境界領域パターン２１の一例図である。

２４は、撮像領域６内に存在する壁など貼られた模様や紙面に印刷された画像が境界領域パターン２１として検出された場合の検出パターンである。

図１７における実線の円の形状の検出パターンを境界領域２２として検出し、境界領域２２の中心座標を中心とする境界領域２２内を操作領域と設定する例を図１６の動作を説明するためのフローチャートを用いて説明する。

まず、発表者は情報端末装置３から境界領域２２を指定するため、発表者は入力手段１４から情報端末装置３を操作して撮像画像表示命令を行う（ステップＳ１７）。ステップＳ１７において撮像画像表示命令を受信した制御手段１０は、画像解析手段９に対して撮像画像を取得し、画像表示手段１３を介して撮像画像を情報端末装置３に表示する。ステップＳ１７の後に、発表者は境界領域パターン２１の検出命令を入力手段１４から情報端末装置３に対して行う（ステップＳ２１）。ステップＳ２１において検出命令を受信した制御手段１０は、画像解析手段９において、撮像画像内に存在する境界領域パターン２１を抽出する（ステップＳ２１）。

ステップＳ２１において、境界領域パターン２１と同じ形状と判断された検出パターン２４の境界領域２２の中心座標位置をパターンの中心座標として図１７に示す境界領域パターン２１の画像を画像重畳手段２０にて重畳し、画像表示手段１３を介して情報端末装置３に表示する（ステップＳ１９）。

図１７において、境界領域パターン２１として、情報端末装置３に表示された円の領域を配置した例を示すが、その数量が複数でも、或いは形状が円でなくても、また大きさが一意でなくでも同様の効果を得る。さらに、境界領域パターン２１の形状の中心の座標を中心座標とした例を示したが、境界領域パターン２１の座標と領域内の一点の座標を記憶手段１１に格納しておけばよい。

なお、発表者が指示する指示信号はある程度の上下振動が行われる。特に複数設定した境界領域パターン２１が隣合っている場合、複数のコマンドが交互に実行され、非常に見づらいプレゼンテーションとなる可能性がある。そこで、制御手段１０は記憶手段１１に格納された境界位置座標の前後５％を無効領域と設定することにより、前記不具合を容易に回避可能となる。複数の境界領域パターン２１が同じ領域を所持する場合は、操作コマンドの設定が不可能になるため、境界領域パターン２１に最も類似度が高い検出パターン２４の領域を無効領域と設定し、その領域内を他の領域の無効領域とすることにより、前記不具合を容易に回避できる。

ステップＳ１９の後に発表者は実際に境界領域２２として採用する境界領域パターン２１の選択を入力手段１４から情報端末装置３にして行う（ステップＳ２２）。ステップＳ２２の後に発表者は入力手段１４に選択した境界領域パターン２１における表示座標の位置の決定命令を入力手段１４から情報端末装置３に対して行う（ステップＳ２０）。ステップＳ２０において決定命令を受信した制御手段１０は、この境界領域パターン２１の中心位置の座標と境界領域パターン２１の形状の座標を記憶手段１１に格納する（ステップＳ５）。これにより、ステップＳ８で検出された指示信号の座標と記憶手段１１に格納された境界領域２２の座標とを比較することで、指示信号がどのコマンドを指しているのかを容易に判断可能になり、その検出結果にしたがって制御手段１０は所定のコマンドを実行することが可能になる。

本構成を取ることにより、境界領域パターン２１を撮像画像から検出し、実際に採用する境界領域パターン２１を情報端末装置３上で選択することで、境界領域パターン２１の形状の境界領域２２を自動的に設定することができる。さらに、この境界領域パターン２１を様々な形状、大きさ、或いは、回転させた形状のものを用意しておくことで自由度の高い境界領域２２の設定が可能となる。

本発明のインタラクティブプレゼンシステムによれば、投射領域外の領域を撮像手段で撮像し、指示した任意の位置をシステムに認識させ、操作領域の境界座標設定を行う手段を備えたことにより、投射画像領域外の任意の位置に操作領域を設定することが可能になる。これにより、投射画像領域が大画面である場合でも身長の低い子供といった発表者に合わせて初期化段階で境界位置を設定しておくことで発表者の指示が届かないという課題を解決できるという優れた効果を有し、プロジェクタを用いたインタラクティブプレゼンシステムにおける操作の問題を解決する手段において有用である。

１，２５ プロジェクタ
２，２６ 撮像装置
３，２７ 情報端末装置
４，２８ 指示棒
５，２９ 投射画像領域
６，３０ 撮像領域
７ 初期化パターン
８ 境界マーカー
９ 画像解析手段
１０ 制御手段
１１ 記憶手段
１２ パターン発生手段
１３ 画像表示手段
１４ 入力手段
１５ 撮像手段
１６ 画像解析手段
１７ 第１の通信手段
１８ 第２の通信手段
１９ 投射手段
２０ 画像重畳手段
２１ 境界領域パターン
２２ 境界領域
２３ 表示座標
２４ 検出パターン

Claims (9)

1. 任意の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像データから指示の位置情報を算出する画像解析手段と、
   前記画像解析手段で算出された位置情報を入力とすると共に任意の入力手段から入力される情報に基づいて動作する制御手段と、
   前記制御手段により前記画像解析手段が算出した位置情報を格納する記憶手段と、
   画像表示手段と、
   前記画像表示手段からの出力を拡大投射する投射手段と、を備え、
   前記制御手段は、前記入力手段より入力される情報に基づいて初期化を行う初期化段階において、前記指示の位置を任意のコマンドの境界位置とし所定のコマンドを割当てて前記記憶手段に格納し、前記初期化段階の後、前記指示の位置と前記初期化段階で前記記憶手段に格納された前記境界位置とを比較して、前記指示の位置情報に対応した前記所定のコマンドを実行し、
   前記撮像手段の撮像領域は、前記投射手段の投射画像領域と前記投射画像領域外とを含み、前記記憶手段に格納された前記境界位置は前記投射画像領域外にあることを特徴とするインタラクティブプレゼンシステム。
2. 前記制御手段により制御される任意のパターン画像を発生するパターン発生手段を備え、
   前記制御手段は、前記初期化段階において、
   前記投射手段によって拡大投射される領域を特定可能とする初期化パターン画像を前記パターン発生手段から出力させることにより、
   前記撮像手段により撮像される領域と前記投射手段により投射される領域との位置座標相関関係を前記画像解析手段が算出した位置情報により把握することを特徴とする請求項１記載のインタラクティブプレゼンシステム。
3. 前記撮像手段と、前記画像解析手段と、前記画像解析手段が算出した位置情報を通信する第１の通信手段と、を備える撮像装置と、
   前記制御手段と、前記記憶手段と、前記制御手段により制御される任意のパターン画像を発生するパターン発生手段と、前記パターン発生手段の出力を入力とする前記画像表示手段と、前記第１の通信手段と通信を行い前記制御手段に前記位置情報の出力を行う第２の通信手段と、を備える情報端末装置とを備えており、
   前記位置情報は座標データのみであることを特徴とする請求項１または２記載のインタラクティブプレゼンシステム。
4. 前記撮像装置を備えたプロジェクタと、
   前記情報端末装置と、を備えていることを特徴とする請求項３記載のインタラクティブプレゼンシステム。
5. 前記制御手段により制御される任意のパターン画像を発生するパターン発生手段を備え、
   前記制御手段は、前記初期化段階において、前記記憶手段に格納された任意のコマンドの前記境界位置を明確化する画像パターンを前記パターン発生手段から出力させ、
   前記制御手段から出力される主画像と前記パターン発生手段から発生される前記画像パターンとを重畳する画像重畳手段を備えたことを特徴とする請求項１記載のインタラクティブプレゼンシステム。
6. 任意の指示信号を発信する発信手段を備え、
   前記撮像手段は、前記発信手段から発信される指示信号を検出するとともに前記任意の画像を撮像し、
   前記画像解析手段は、前記指示の位置情報として、前記画像データから前記発信手段により発信された指示信号の位置情報を算出することを特徴とする請求項１から５までのいずれか１項に記載のインタラクティブプレゼンシステム。
7. 投射画像に関する指示をインタラクティブな操作により行うインタラクティブプレゼンシステムであって、
   前記投射画像の領域と前記投射画像の領域の外とを含む撮像領域に亘って任意の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像データから指示の位置情報を算出する画像解析手段と、
   前記画像解析手段で算出された位置情報を入力とすると共に任意の入力手段から入力される情報に基づいて動作する制御手段と、
   前記制御手段により前記画像解析手段が算出した位置情報を格納する記憶手段と、
   画像表示手段と、
   前記画像表示手段からの出力を拡大投射する投射手段と、を備えており、
   前記制御手段は、前記入力手段より入力される情報に基づいて初期化を行う初期化段階において、前記撮像領域における前記投射画像の領域の外に設定される操作領域を規定する任意のコマンドの境界位置を、前記操作領域に所定のコマンドを割当てた状態に前記記憶手段に格納し、前記撮像手段を介して取得した前記指示の位置と前記初期化段階で前記記憶手段に格納された前記境界位置とを比較して、前記指示の位置情報に対応した前記所定のコマンドを実行することを特徴とするインタラクティブプレゼンシステム。
8. 前記制御手段により制御される任意のパターン画像を発生するパターン発生手段と、
   前記制御手段から出力される前記投射画像の領域に投射する画像と前記パターン発生手段から発生される前記パターン画像とを重畳する画像重畳手段とを備え、
   前記画像表示手段は前記画像重畳手段の出力を入力とし、
   前記制御手段は、前記初期化段階の後、前記初期化段階において前記記憶手段に格納された前記境界位置のためのマーカー画像を前記パターン画像として前記パターン発生手段に発生させて前記画像重畳手段に入力させることを特徴とする請求項７に記載のインタラクティブプレゼンシステム。
9. 前記制御手段は、前記初期化段階において、前記撮像手段に、前記撮像領域における前記投射画像の領域の外に配置した第１の領域パターンを含む画像を撮像させ、撮像画像に含まれる前記第１の領域パターンを検出して、前記操作領域としての、前記境界位置を規定する境界領域パターンに設定するとともに前記境界領域パターン内に前記所定のコマンドを割当てて前記記憶手段に格納することを特徴とする請求項７に記載のインタラクティブプレゼンシステム。

Images