JP4513830B2

JP4513830B2 - 描画装置、及び描画方法

Info

Publication number: JP4513830B2
Application number: JP2007166923A
Authority: JP
Inventors: 純一暦本; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-25
Filing date: 2007-06-25
Publication date: 2010-07-28
Anticipated expiration: 2017-07-15
Also published as: JP2007323660A

Description

本発明は、インタラクティブな入出力が可能な表示システムを利用して描画を実現するための描画装置、及び描画方法に関するものである。

例えばコンピュータ装置などでは、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。そして、上記のようなインタラクティブな入出力が実現された環境のもとで、いわゆるドローやペインティングなどのソフトウェアを利用して、ユーザが行った所定の入力操作に従って線や図形などの描画を行うことが行われている。

例えば、上記のような描画の入力操作に用いる入力装置の１つとして、例えばタッチパネルやタブレットなどが広く知られている。タッチパネルは、パネル上に対して例えばユーザの指を接触させながら、任意の方向にスライド操作させるようにして、所要の操作を行うものである。また、タブレットは、専用のペンの先端をタブレットの操作面上に対して接触させながら動かすことで、このペン先の動きに対応した絵や文字などの画像がモニタ等に描画されるものである。

また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して図形や文字などの描画操作を行うようにされる。

また、「ビデオプレイス」といわれるインタラクティブな効果をねらった装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。

ところで、更に拡大されたインタラクティブな入出力環境のもとで描画を行おうとした場合、上記したようなこれまでの入力装置では次のような点で限界が見えてくる。
タッチパネルやタブレットを例に採った場合、ポインティングの操作は概して指又は専用のペン等に限定される。また、タッチパネルやタブレットの面上の空間での操作は行えず、操作面に対して指やペンなどの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルやタブレットは、その構造上比較的高価なので大型の操作パネルとしては好適でない。また、タッチパネルやタブレットに対する操作により得られる描画画像は、通常、タッチパネルやタブレット本体とは別体とされるモニタ装置などに対して表示されるので、その描画操作が間接的になる。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる点では、上記したタブレットと同様となる。

また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、この場合にも、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。

このように、これまでの入力装置ではインタラクティブな入出力環境を強化拡大したうえで、描画を行おうとした場合には様々な障害となる要因が存在する。

そこで、本発明は上記した課題を解決するため、光を透過する平面を有する描画装置であって、上記平面に画像情報を表示させる表示手段と、上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出するための検出手段と、上記操作体の形状の情報を記憶する記憶手段と、上記検出手段により検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、上記表示手段に表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と上記記憶手段の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手段とを有し、上記表示手段は、四角形の形状を有する画像を表示し、上記制御手段は、上記操作体による２点の投影画像の位置情報を１対の対角点の位置として認識し、上記１対の対角点のそれぞれに対応して検出された上記操作体の投影画像の形状に基づいて角度情報を認識し、この角度情報に基づいて対角を設定して四角形を描画する処理を制御する。

また、上記表示手段は、三角形の形状を有する画像を表示し、上記制御手段は、上記検出手段により検出された２点の投影画像の位置情報を三角形の一辺の両端の２点として認識すると共に、このときに上記三角形の一辺の両端の２点の投影画像の位置情報にそれぞれ対応して検出された上記操作体の形状に基づいて角度情報を認識し、上記三角形の一辺の両端の２点とされる投影画像の位置情報と、上記角度情報とに基づいて設定した一辺の両端の角度とに基づいて三角形を描画する処理を制御する。
また、上記表示手段は、楕円形の形状を有する画像を表示し、上記制御手段は、上記検出手段により検出された２点の投影画像の位置情報を楕円形の長径又は短径の両端として設定すると共に、このときに上記２点の投影画像の位置情報にそれぞれ対応して検出された上記操作体の投影画像の形状に基づいて楕円形の曲率を設定し、上記楕円形の長径又は短径の両端とされる２点の投影画像の位置情報と、上記曲率の設定情報とに基づいて楕円形を描画する処理を制御する。
また、上記表示手段は、曲線又は直線を有する画像を表示し、上記制御手段は、上記検出手段により検出された投影画像の位置情報を曲線又は直線としての描画画像上における位置指定情報として認識すると共に、このときに上記位置情報に対応して検出された上記操作体の投影画像の形状に基づいて方向情報を設定し、上記位置指定情報の移動位置及び上記方向情報の変化に基づいて、上記曲線又は直線について変形を行う描画処理を制御する。

さらに、光を透過する平面を有する描画装置における描画方法であって、上記平面に画像情報を表示する表示手順と、上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出する検出手順と、上記検出された上記操作体の投影画像の位置と動きに基づいて、上記表示手段に表示させる画像情報を制御する表示制御手順と、上記検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と記憶手段に記憶された操作体の形状の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手順とを実行し、上記表示手順は、四角形の形状を有する画像を表示し、上記制御手順は、上記操作体による２点の投影画像の位置情報を１対の対角点の位置として認識し、上記１対の対角点のそれぞれに対応して検出された上記操作体の投影画像の形状に基づいて角度情報を認識し、この角度情報に基づいて対角を設定して四角形を描画する処理を制御する。

以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化（この状態変化が検出画像情報として反映される）を与えることのできる物体であれば、操作を行うための操作体として成立するものである。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。従ってこれまでの説明のように、例えばユーザ自身の手や指を用いることによって描画操作を行うことが可能とされる。

また、半透明面に近い位置（例えば半透明面の前面の中空位置）で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行って描画図形を描いたり、半透明面に接近してくる物体を認識することにより、例え描画図形に対する何らかの編集処理を行わせるといったこともできることになる。

また、画像情報に基づいて操作情報を検出するので、操作体が画像変化として認識される限り、画像形状に基づいた操作情報の抽出、及び複数の操作情報の同時抽出が可能であるため、例えば両手の操作により図形の形状やサイズを決定するようにして描画を行うこと可能となり、また、操作体のサイズに応じて適宜異なる描画に関する処理動作を実行させることが可能になる。

また、本発明の半透明面は操作パネル及び表示パネルとして機能するため、ユーザの半透明面に対する指などの動きに追従するようにして描画表示を行うことが可能となり、直接的な描画操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになり、例えばこれまで説明したような操作方法を採る場合には特に有効となる。

このように本発明は、操作情報の入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な操作パネルとして大型化されたものを容易に提供できるようにすることで容易にインタラクティブな入出力環境が強化拡大され、この環境下で構築される描画システムとしても、これまでにはないような操作形態とこれに応答した表示形態を提供することが可能となるという効果を有している。

以下、本発明の実施の形態の情報入力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．描画装置の構成及び操作情報の検出動作＞
＜２．基本的な多角形の描画操作＞
＜３．四角形に関する描画＞
＜４．三角形に関する描画＞
＜５．楕円形に関する描画＞
＜６．線の変形＞
＜７．図形の移動操作例＞
＜８．図形の拡大／縮小操作例＞
＜９．ホワイトボード機能＞
＜１０．他の実施の形態としての描画装置の構成＞

＜１．描画装置の構成及び操作情報の検出方法＞
先ず、図１〜図６を参照して、本発明の実施の形態としての描画装置の構成例及び基本的な操作情報の検出動作について説明する。
図１は、本実施の形態としての描画装置の構成例を概念的に示している。この図に示す描画装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。

半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして当該描画装置１における操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。

ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。

プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。

制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
また、制御装置６と接続されるプリンタ２０は、後述するようにして半透明面２に対して表示される描画画像などを印刷出力するために設けられる。

図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。

画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。

入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。

しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。

データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
本実施の形態では、後述する各種描画動作を実現するための描画プログラムがデータベースメモリ１４に格納されることになる。

画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。

また、本実施の形態においては、制御装置６に対して画像の印刷を行うためのプリンタ２０を設けることができ、これに対応するため、制御装置６内においてはプリンタ制御部１９が設けられる。このプリンタ制御部１９は、当該制御装置６とプリンタ２０間との通信を行うために設けられるものであり、ＲＧＢ信号生成部１８から出力された画像データについて、実際に接続されたプリンタ２０による印刷が可能な形態のデータに変換してプリンタ２０に伝送するほか、プリンタ２０の各種動作を制御するための制御信号を出力する。この制御信号は例えばデータベース駆動部１４から送信される。また、プリンタ２０側から送信されてくるデータ信号をデータベース駆動部１４に伝送することにより、データベース駆動部１４ではプリンタ２０の動作状態を監視する。そして、その動作状態に応じて適宜所要の処理を実行するようにされる。

次に、上記構成による本実施の形態の描画装置１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像し、これにより得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。

上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。

なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該インタラクティブ表示システムの電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。

上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。

上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。

ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。

また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。

このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。

また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。

また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。

更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。

そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。

次に、上記構成による本実施の形態の描画装置１の一般的な操作例として、メニュー画面に関する操作方法例について説明する。
図５には、本実施の形態の描画装置１によりメニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、描画装置１の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。

これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該描画装置１に対して所望の動作を実行させたりすることになる。あるいは、当該描画装置１が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。

ここで、図６のフローチャートに、上記図５に示した操作例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現されるものである。

この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。

上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。

これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。

続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。

上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。

上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。

なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいてもこれを操作情報として認識可能である。

ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。

ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）

これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。

＜２．基本的な多角形の描画操作＞
図７に、本実施の形態の描画装置１による基本的な多角形の描画方法例を示す。
例えば、ユーザが半透明面２の前面においてある任意の位置を指さすようにして指定することにより、ここでは、図７（ａ）に示すように半透明面２のユーザに近い位置に対して描画用メニュー画面Ｍが表示されるものとする。なお、描画用メニュー画面Ｍは、先に図５により説明したようにしてユーザが半透明面２に接近したときに表示するようにしても構わないが、ここでは、描画作業時の利便性などを考慮して、ユーザが半透明面２に近接させた指などで位置指定を行うことで描画用メニュー画面Ｍが表示されるように規定している。従って、この指定操作は、例えばユーザの指先が図６において説明した「操作体」として認識されるように半透明面２に対して操作を行うようにすればよい。
この場合、図７（ａ）に示す描画用メニュー画面Ｍとしては、所定種類の図形（例えば線（直線又は曲線）、三角形、四角形、五角形・・・）を選択するための複数の項目が提示されているものとする。

ここで、例えばユーザが六角形を描画するための項目を選択してエンター操作（ここでは図５にて説明した操作に準ずるものとする）を行ったとする。これにより、次に説明するような操作によって任意の形状（及びサイズ）による六角形の描画を行うことが可能になる。
例えばユーザは、半透明面上に対して例えば自身の指などによって半透明面２上の任意の位置に対して、自分が描画したい形状の六角形の６つの頂点（ここでは「端点Ｐｅ」ということにする）を指定する。この際、端点Ｐｅの指定は１つずつ順に指定するようにしても構わないが、本実施の形態では前述のように同時に複数の操作情報を認識可能なので、例えば両手の指を利用して同時に２つの端点Ｐｅを指定することも可能である。また、端点の確定操作は例えば図５にて説明したエンター操作に準ずればよい。なお、端点Ｐｅの指定が確定されるごとにその指定位置に対して端点Ｐｅであることを示す何らかの指示表示が行われるようにすることが好ましい。
上記のようにして例えば６つの端点Ｐｅが指定されると、これらの端点Ｐｅを結ぶようにして直線が表示され、この結果、例えば図７（ｂ）に示すようにして六角形の描画が半透明面２に対して行われることになる。

上記図７にて説明した多角形の描画動作は、図８のフローチャートに示す処理動作により実現される。この処理動作は、制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納された描画プログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現される。

この図に示すルーチンにおいては、先ずステップＳ４０１において描画モードとしての所定の初期画面（例えば方眼を表示すること等が考えられる）が半透明面２に対して表示されるように制御を実行する。例えば初期画面としてのデータはデータベースメモリ１５における描画プログラム内のデータとして格納されており、この初期画面データに基づいて画像生成部１６により作成した画像データをプロジェクタ５により投影表示させるように、データベース駆動部１４が制御を実行することで実現される。

続くステップＳ４０２においては、半透明面２に対して近接している操作体（図６参照）が検出されたか否かについて判別を行っており、ここで操作体が検出されたのであればステップＳ４０３に進んで描画用メニュー画面（図形種類選択用）Ｍを表示させるための制御を実行する。これに対して、ステップＳ４０２において操作体が検出されないのであればステップＳ４１１に進み、描画用メニュー画面Ｍが現在表示中であればこの画面を消去してステップＳ４０１に戻る。なお、描画用メニュー画面Ｍが現在表示中でなければステップＳ４１１においては特に処理を実行せずにステップＳ４０１に戻るようにされる。

ステップＳ４０３において描画用メニュー画面Ｍを表示出力させた後は、ステップＳ４０４において、描画用メニュー画面Ｍ上に対して図形種類選択のための操作が検出か否かが判別される。このときの検出処理としては、例えば、図６のステップＳ３０４〜Ｓ３０６の処理に準ずればよい。
ステップＳ４０４において、図形種類選択のための項目に対する選択操作が検出されなかった場合にはステップＳ４０２に戻ることになるが、何らかの１つの項目が選択された場合にはステップＳ４０５に進み、選択された項目に対応する多角形（ｎ角形）についての描画モードを設定する。

続くステップＳ４０６においては、図７にて説明した端点Ｐｅの指定操作を待機しており、端点Ｐｅの指定操作があったと判別された場合にはステップＳ４０７に進んで、上記ステップＳ４０６において指定された端点Ｐｅの確定操作が行われたか否かについて判別を行う。ここでは、端点Ｐｅ指定操作の確定の判別は図６に示したステップＳ３０６の処理に準ずるものとする。
ステップＳ４０７において端点確定操作があったと判別された場合には、ステップＳ４０８に進んで、確定された端点Ｐｅの位置（座標）情報を保持してステップＳ４０９に進む。なお、ステップＳ４０８において、例えば確定された端点Ｐｅが対応する半透明面２上の位置に対して端点Ｐｅが指定されたことを示す投影表示がプロジェクタ５により行われるための処理を実行させることも考えられる。
ステップＳ４０９においては、これまで確定された端点Ｐｅの数がｎ個に達したか否かが判別され、未だ確定された端点Ｐｅの数がｎ個に満たないと判別された場合にはステップＳ４０６の処理に戻るが、確定された端点Ｐｅの数がｎ個に達したと判別された場合には、ステップＳ４１０に進む。

ステップＳ４１０においては、その位置（座標）情報が確定されたｎ個の端点Ｐｅに基づいて、これらｎ個の端点Ｐｅを結ぶようにして形成されるｎ角形の画像を生成（例えば画像生成部１６を利用する）し、このｎ角形の描画図形が半透明面２に対して投影表示されるようにするための制御を実行する。この際、半透明面２に対して表示されるｎ角形の描画図形は、実際にユーザが半透明面２に対してその位置を指定した端点Ｐｅを結ぶようにしてその見た目が表示されるように、その表示位置やサイズを設定することになる。

また、図９には、ユーザの指先による半透明面２に対する操作を、一般の描画プログラムアプリケーションにおけるペンツールとして用いる場合が示されている。つまり、ユーザが指先を半透明面２に近接させた状態で任意に半透明面２上で指先を動かせると、この指先の動きに従って半透明面２上に対して、線状の描画図形ＤＲが表示されることになる。
この描画動作の実現のための処理動作に関する詳しい説明は省略するが、制御部６のデータベース駆動部１４において、操作情報として逐次検出される指先の位置（座標）情報に基づいて、線状の描画図形ＤＲを形成するための処理を行うと共に、この線状の描画図形ＤＲが、ユーザの指先の移動位置に追随して描画されるように表示させるための表示制御を実行することで実現される。

＜３．四角形に関する描画＞
次に、本実施の形態の描画装置を利用して実現することのできる、四角形に関する描画動作について説明する。
図１０は、四角形の描画操作を示している。例えばユーザは、図１０に示すように両手の親指と人差し指とを開いて任意の指開き角度Ａｆｉｎ１（右手），Ａｆｉｎ２（左手）を形成して、半透明面２の前面の近接した位置に対してあてがうようにして配置する。このとき、描画装置１側においては、両手それぞれの親指と人差し指の付け根あたりの位置を描画すべき四角形の対角点Ｐｏａ１，Ｐｏａ２として認識する。また、両手の各上記指開き角度Ａｆｉｎは、上記対角点Ｐｏａ１，Ｐｏａ２を含む頂角の内角の大きさとして認識される。
例えば、この状態でユーザが一定時間以上、上記した両手の状態を維持したとすると、これがエンター（確定）操作として認識され、半透明面２に対して上記対角点Ｐｏａ１，Ｐｏａ２と、指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいてその形状及びサイズが決定される四角形の描画図形ＤＲが描画されることになる。このとき、半透明面２に対してユーザが指定したとされる対角点Ｐｏａ１，Ｐｏａ２の位置と、実際に半透明面２に表示される四角形の描画図形ＤＲの対角点が一致するようにされる。

例えば四角形を描画するモードが選択された場合には、図７に示すようにして端点Ｐｅを逐一指定する方法の他に、上記図１０のようにして四角形を描画することが可能とされる。このような描画方法が可能とされるのは、本実施の形態の描画装置において操作情報のもととなる情報が、画像情報（検出画像情報）であることから、１対の対角点を同時に認識可能であることと、手の形状自体の画像情報から、指開き角度Ａｆｉｎ１，Ａｆｉｎ２を四角形の頂角として検出可能であることに依る。

また、本実施の形態では、例えばユーザが自身の手などによって操作を行うことで、既に半透明面２に対して表示されている描画図形ＤＲに対して、移動、回転、拡大／縮小などを行うことが可能である。
図１１（ａ）には既に長方形の描画図形ＤＲが半透明面２に対して表示されている状態が示されている。ここで、例えば所定のメニュー画面などに対する指定操作によってユーザが描画図形の移動モードを選択したとする。この移動モードのもとで、例えば図１１（ａ）に示すように描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようなイメージでユーザが半透明面２に近接した位置で両手を配置したとする。そして、ほぼこの両手の位置関係を保ったまま、任意の方向に移動するように操作すると、図１１（ｂ）に示すように両手の動きに対角点Ｐｏａ１，Ｐｏａ２の位置が追従するようにして長方形の描画図形ＤＲが移動することになる。つまり、ユーザは半透明面２に表示された長方形の描画図形ＤＲをあたかも実際に掴むかのようなイメージで、図形の移動を行うことができる。

同様に、描画画像ＤＲを回転させたい場合には、所要のメニュー操作などによって回転モードとしたうえで、図１１（ｃ）に示すようにして長方形の描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようにして回転の操作を行うようにされる。
また、例えば拡大／縮小モードにおいては、長方形の描画図形ＤＲの対角点Ｐｏａ１，Ｐｏａ２をつかむようにして、その対角線方向に両手の距離を延ばしたり縮めるようにして操作を行うことで、図１１（ｄ）に示すように長方形の描画図形ＤＲの拡大／縮小が行えるように構成される。

続いて、上述した四角形に関する描画動作を実現するための処理動作について図１２〜図１５のフローチャートを参照して説明する。なお、これらの処理は、データベース駆動部１４がデータベースメモリ１５に格納された描画プログラムに従って所要の処理を実行することにより実現される。

図１２には、図１０に示した四角形の描画動作を実現するための処理動作が示されている。
例えば、四角形描画モードとされると、先ずステップＳ５０１において対角点Ｐｏａ１，Ｐｏａ２の指定操作を待機する。このためには、例えば、描画プログラムとして図１０に示すような親指と人差し指を開いたような手の形状を記憶させておき、検出画像情報において、このような手の形状とされる画像が２ヶ所検出され、例えばこの画像状態が所定時間以上保たれたときに、この手の形状における親指と人差し指の根本とされる位置（座標）を対角点Ｐｏａ１，Ｐｏａ２として検出するように構成すればよい、
ステップＳ５０１において対角点Ｐｏａ１，Ｐｏａ２が検出されると、ステップＳ５０２に進み、上記手の形状における親指と人差し指の開き具合から指開き角度Ａｆｉｎ１，Ａｆｉｎ２を検出する。これは、例えば画像情報として得られた親指と人差し指の延びた各方向に沿って２本の直線を仮想し、この２つの仮想直線により形成される角度を求めることにより指開き角度Ａｆｉｎ１，Ａｆｉｎ２の各々の検出が可能となる。

続くステップＳ５０３においては、指定された対角点Ｐｏａ１，Ｐｏａ２の位置（座標）と指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいて、画像生成部１６を利用して四角形の描画画像ＤＲの描画処理を実行する。この画像生成部１６で作成された描画画像ＤＲは、画像合成部１７、ＲＧＢ信号生成部１８を介することによって、プロジェクタ５に供給されることで、図１０に示したようにして半透明面２に対して表示が行われることになる。

図１３には、図１１（ａ）→図１１（ｂ）に示した移動モード時の処理動作が示されている。例えば所定のメニュー画面に対する操作などによって移動モードが設定されると、データベース駆動部１４は、ステップＳ６０１において対角点Ｐｏａ１，２の指定操作を待機する。つまり、現在表示中である四角形の描画画像ＤＲの対角点にほぼ一致するとされる座標位置に対して、操作体（ここではユーザの手となる）が検出されたか否かが判別される。
ここで、ユーザによる対角点Ｐｏａ１，２の指定操作があったことが判別されると、以降の対角点Ｐｏａ１，２の移動状態を監視し、ステップＳ６０２→Ｓ６０３の処理として、逐次、対角点Ｐｏａ１，２の移動に応じて、その移動方向情報Ｄｍｖと、移動量情報Ｑｍｖを検出する。そして、この移動方向情報Ｄｍｖと、移動量情報Ｑｍｖとに基づいて四角形の描画図形ＤＲについて移動が行われるように画像生成部１６において移動された図形の画像を生成すると共に、この画像が半透明面２に対して投影表示されるように制御を実行する。

続いて、図１４に回転モード時（図１１（ａ）→図１１（ｃ））の処理動作を示す。
四角形の描画画像ＤＲについての回転モード時においては、ステップＳ７０１において対角点Ｐｏａ１，２の指定操作を待機し、ここで、対角点Ｐｏａ１，２の指定操作があったことが判別されると、次のステップＳ７０２において、指定された対角点Ｐｏａ１，２の移動に応じて描画図形の回転角情報Ａｔｕｒを設定する。そして、続くステップＳ７０３において、上記ステップＳＳ７０２により求められた回転角情報Ａｔｕｒだけ回転された四角形の描画図形ＤＲの描画処理と、この回転された四角形の描画図形ＤＲをプロジェクタ５により半透明面２に対して投影表示するための制御を実行する。

図１５は、四角形の描画画像ＤＲについての拡大／縮小モード時（図１１（ａ）→図１１（ｄ））の処理動作を示している。
この場合も、先ずステップＳ８０１において対角点Ｐｏａ１，２の指定操作を待機しており、対角点Ｐｏａ１，２の指定操作があったことが判別されると、ステップＳ８０２に進んで対角点Ｐｏａ１，２の移動に応じて拡大／縮小率Ｒｔを設定する。そして、続くステップＳ８０３において、上記拡大／縮小率Ｒｔに基づいて拡大又は縮小した四角形の描画画像ＤＲを描画する処理と、この拡大又は縮小された描画画像を半透明面２に対して投影表示するための制御を行うようにされる。

＜４．三角形に関する描画＞
次に、本実施の形態の描画装置を利用して実現することのできる、三角形に関する描画動作について説明する。
図１６（ａ）には、本実施の形態としての三角形の描画操作例が示されている。
例えば、所定の操作によって三角形の描画モードとしたうえで、ユーザは、四角形の描画の場合と同様に、両手の親指と人差し指の間に所望の角度（指開き角度Ａｆｉｎ１，Ａｆｉｎ２）を与えると共に、この場合には、両手の親指と人差し指の付け根の位置が、例えば描画すべき三角形の底辺の両端（端点Ｐｅ１，Ｐｅ２）となるようにして、その両手を半透明面２上に配置する。
これにより、半透明面２上には図１６（ａ）に示すように、ユーザが指定した三角形の底辺の両端の位置と、ユーザが与えた指開き角度Ａｆｉｎ１，Ａｆｉｎ２により決定された三角形の底辺の両端の角度に従って得られる形状及びサイズによる三角形の描画画像ＤＲが描画されるようにして表示されることになる。

そして、例えば上記のようにして描画された三角形の描画画像ＤＲを移動、回転、又は拡大／縮小するようなときは、移動モード、回転モード、及び拡大／縮小モードのうちから適宜所望のモードを選択して設定したうえで、例えば、図１６（ｂ）に示すようにして、三角形の描画図形ＤＲの底辺の両端に相当する端点Ｐｅ１，Ｐｅ２を掴むようなイメージで、前述した四角形の描画図形ＤＲのときのようにして両手を半透明面２上で移動させるような操作を行うようにすればよい。

なお、図１６（ａ）（ｂ）により説明した三角形の描画モード時の処理、及び移動モード、回転モード、拡大／縮小モード時の処理動作は、先に図１２〜図１５に示した四角形の描画画像ＤＲについての処理に準ずることにより実現可能であることからここでは詳しい説明は省略するが、三角形の描画画像ＤＲについての処理時には、対角点Ｐｏａ１，２の代わりに、三角形の底辺の両端に対応する端点Ｐｅ１，Ｐｅ２の指定操作について検出を行うことになり、また、指開き角度Ａｆｉｎ１，Ａｆｉｎ２は三角形の底辺の両端の角の大きさとして扱われることになる。

＜５．楕円形に関する描画＞
図１７（ａ）には、本実施の形態における楕円形についての描画動作例が示されている。
楕円形を描画するのに当たっては、これまでの多角形の描画操作と同様に、両手の親指と人差し指の間に所望の指開き角度Ａｆｉｎ１，Ａｆｉｎ２を与えながら半透明面２上に配置するようにされるが、この場合には、両手の親指と人差し指の付け根の位置（端点Ｐｅ１，Ｐｅ２）は描画すべき楕円形の長径又は短径のの両端として認識されるものとする。また、上記指開き角度Ａｆｉｎ１，Ａｆｉｎ２は、描画すべき楕円形の曲率の情報として扱われるように処理が行われる。なお、上記端点Ｐｅ１，Ｐｅ２が、楕円形の長径又は短径の両端の何れとして設定されるのかについては、上記指開き角度Ａｆｉｎ１，Ａｆｉｎ２の角度に依るものとする。
そして、描画された楕円形の描画画像ＤＲを移動、回転、又は拡大／縮小するようなときは、これまでの多角形の場合と同様に、移動モード、回転モード、及び拡大／縮小モードのうちから所望のモードを選択し、図１７（ｂ）に示すようにして、楕円形の描画図形ＤＲの長径の端部とされる位置を端点Ｐｅ１，Ｐｅ２としてここを掴むようなイメージで両手を半透明面２上で移動させるような操作を行うようにされる。
なお、上記楕円形に関する描画、移動、回転、拡大／縮小モード時の処理も、図１２〜図１５に示した四角形の描画画像ＤＲについての処理に準ずることにより実現可能であり、この場合には、端点Ｐｅ１，Ｐｅ２を楕円形の長径の端部として扱うと共に、指開き角度Ａｆｉｎ１，Ａｆｉｎ２に基づいて設定した曲率に従って楕円形を描画することになる。

＜６．線の変形＞
これまでは、四角形、三角形などの多角形に関する描画処理及び曲線に関する描画処理を行う場合について説明したが、次に、本実施の形態の描画装置により曲線を変形する場合について説明する。
図１８には、曲線を変形させるための操作例が示されている。例えば図１８（ａ）に示すように曲線の描画図形ＤＲが表示されている状態で、所定の操作によって変形モードを設定したとする。そして、ユーザはこの図に示すように、例えば自身の手のひらを開くと共に指を閉じた状態で、曲線（描画図形ＤＲ）上の任意の位置に対応させて配置する。図１８（ａ）においては、両手のひらがほぼ曲線の描画図形ＤＲの両端に配置された状態が示されているが、この状態では、手のひらのほぼ中心位置が、端点Ｐｅとして認識されることになる。曲線の変形処理の場合、この端点Ｐｅは、曲線を変形させる際に基準となる移動位置を指定するポイントであり、変形後の曲線は必ず移動操作後の端点Ｐｅの位置を通過するものとされる。また、このときには、手の指が延びた方向に沿って仮想的に基準接線Ｌが設定される。
このとき、ユーザにとっては、半透明面２上に表示されている曲線（描画図形ＤＲ）の両端を掴んだようなイメージを持つことになる。

例えば、図１８（ａ）に示す状態から、ユーザはあたかも曲線（描画図形ＤＲ）を撓ませるようなイメージで自身の両手を図１８（ｂ）に示すようにして動かしたとする。この場合、手のひらのほぼ中心位置として認識される端点Ｐｅ，Ｐｅは、ユーザの手の動きに応じて移動するものとされ、また、基準接線Ｌ，Ｌも同様にユーザの手の動きに応じて変化することになる。
このようにして操作が行われると、半透明面２に対して表示される曲線は、ユーザの手の動きに追従するようにして撓むようにして変形されていくものとされる。

上記図１８に示す操作による曲線の変形処理のための処理動作について図１９のフローチャートを参照して説明する。この処理は、データベースメモリ１５に格納されたプログラムに基づいてデータベース駆動部１４が実行するものである。
曲線の変形処理モードにおいては、先ずステップＳ９０１において、操作体が検出されることを待機している。この場合の操作体の検出とは、例えば図１８に示すような指を閉じながら延ばした状態の手のひらの形状が検出画像情報として認識されることをいう。なお、たとえ上記のような状態の手のひらの形状が検出されたとしても、その検出位置が描画表示された曲線上にないような場合には、操作体としては認識しないものとする。また、手のひら形状であることの識別は、例えばデータベースメモリ１５に格納された手のひら形状を示すデータと、検出画像情報として得られた画像の形状との一致状態を識別するようにすればよい。
そして、ステップＳ９０１において操作体が検出された場合にはステップＳ９０２に進み、端点Ｐｅの位置Ｐｏｓを検出すると共に、検出された手のひら形状の指に沿った方向を識別することにより基準接線Ｌの傾きＧｒｄを算出する。

続いて、ステップＳ９０３においては、上記ステップＳ９０２において算出された端点Ｐｅの位置Ｐｏｓ及び基準接線Ｌの傾きＧｒｄに基づいて、曲線上（描画画像ＤＲ）に対して所定規則に従って設定された複数地点の法線を変更するための演算処理を実行する。
そして、ステップＳ９０４において、上記ステップＳ９０３により得られた演算結果に基づいて曲線を変形するための描画処理を実行すると共に、変形された曲線を図１８（ｂ）に示すようにして表示させるための制御を実行することになる。なお、この図には示さないが、例えば途中で所定のメニュー操作等を行えば曲線の変形処理モードを抜けることができるようにされている。

＜７．図形の移動操作例＞
また、本実施の形態の描画装置としては、次のようにして半透明面２に対して表示された画像や図形を移動させることも可能である。
図２０（ａ）には、一例として飛行機を描いた描画画像ＤＲが表示されている。なお、ここでの描画画像は特にユーザの操作により描画されたものに限定されず、例えば単にデータベースメモリ１５に格納されているサンプルのような画像データに基づいて表示されるものであっても構わない。
ここで、所定の操作によって表示画像の移動モードが設定されている状態で、例えば図２０（ａ）に示すように、半透明面２において描画画像ＤＲが表示されているほぼ正面位置にユーザ自身が近づき、ここから、図２０（ｂ）に示すように、ユーザ自身が半透明面２の前で移動したとする。この場合には、このユーザ自身の身体の画像を移動のための位置指定情報として扱うことにより、ユーザの半透明面２の前面での左右方向への動きに追従するようにして、描画画像ＤＲが移動するように表示されるものである。

＜８．図形の拡大／縮小操作例＞
また、本実施の形態においては、図２１（ａ）（ｂ）に示すような操作によっても図形の拡大／縮小を行わせることが可能である。
例えば図２１（ａ）には、ユーザが半透明面２の前で両腕を広げたり閉じたりする動作を行うことで、これに応答して半透明面２に対して表示された描画画像ＤＲが拡大又は縮小されるという操作形態が示されている。図２１（ｂ）には、ユーザが半透明面２に近づくと描画図形ＤＲが拡大表示され、遠ざかると描画図形ＤＲが逆に縮小されるという操作形態が示されている。
ここでは、フローチャートなどによる詳しい処理動作の説明は省略するが、図２１（ａ）の場合には、制御装置６において検出画像情報に基づいて人体の腕の開閉状態が認識可能なように構成し、この腕の開き方の度合いを拡大／縮小率に変換して画像処理を行うようにすればよい。また、図２１（ｂ）の場合であれば、前述のように半透明面２からの距離に応じて検出画像情報として得られる検出対象（ここでは人体とされる）の部分の画像レベルが変化することを利用して、この画像レベルの変化を拡大／縮小率に変換してやればよいことになる。
なお、図２１（ａ）（ｂ）において表示される画像も特にユーザが描画したものには限定されることなく、予め用意された画像データを利用して表示されたものであっても構わない。また、実際の利用形態としては、例えば地図などを表示させ、所定の操作によって拡大／縮小中心位置を決定した上で、上記図２１（ａ）（ｂ）の何れかに示すような操作を行うことにより、地図上における任意の領域を拡大／縮小表示させることなどが考えられる。

＜９．ホワイトボード機能＞
また、これまで説明してきた本実施の形態の描画装置を、例えば会議や教育などの現場や掲示板等として用いられるホワイトボードとして利用することが考えられるが、この場合には、次のような機能を与えることが考えられる。
図２２は、ホワイトボードの文字書き込み面として機能する半透明面２が示されている。なお、この図には示さないが、例えば半透明面２の背面側では図１に示した各装置が配置されているものとする。
図１に示した本実施の形態の描画装置の構成では、例えばデータベースメモリに格納されている画像データを利用して半透明面２に対する投影表示を行わせることが可能とされるが、図２２にはこのような機能を応用した利用例が示されている。
例えば、図２２（ａ）には、ユーザが半透明面に対して、例えば指や何らかのペン形状の物理対象等を用いてフリーハンドにより描画図形ＤＲを描いた状態が示されている。ここでは、フリーハンドではあるが描画図形ＤＲとして四角形が描かれたものとする。なお、フリーハンドでなくとも、先に図７や図１０に示した操作方法によって四角形を描画しても構わない。
この場合、制御装置６においてホワイトボードである半透明面２に対して四角形が描画されると認識した場合、半透明面２に対して所定の操作内容に従ったメニュー画面を表示するようにされている。これにより、四角形が描画された場合には、図２２（ｂ）に示すように所定内容のメニュー画面Ｍが表示されることになる。なお、このときには、例えばユーザ四角形の描画図形ＤＲを描画した位置に対応してメニュー画面Ｍが表示されるようにすることができる。また、メニュー画面Ｍが表示された段階では図２２（ａ）に示す描画図形ＤＲは消去されればよい。

図２３は、上記図２２に示したメニュー画面呼び出し動作を実現するための制御装置６の処理動作を示すフローチャートである。なお、この場合には、ホワイトボードの描画動作として、少なくとも図９により説明したように、ユーザがポインティングした位置に対応して線を描画することができるように構成されているものとする。
このルーチンにおいては、先ずステップＳ１００１において何らかの描画図形が描画されるのを待機しており、描画が行われたと判別されると、ステップＳ１００２において描画された図形の形状を識別することが行われる。そして続くステップＳ１００３において、識別された描画図形の形状がメニュー画面表示を呼び出すのに適合する四角形であるか否かが判別される。
なお、ここでは描画図形の四角形であるか否かを判別する単なる形状判別に加えて、例えばメニュー画面表示を呼び出すのには所定以上の面積を有する四角形が要求されるものと規定されているような場合には、描画図形が四角形であることとその面積が所定以上であることの２つの要件を満たした場合に肯定結果が得られるように構成されることになる。また、描画画像がフリーハンドにより描かれたものである場合には、厳密には四角形とはいえない場合のことのほうが多いが、ある程度の曲率による曲線や直線の屈曲率は直線として見なすように処理を実行することで、四角形として認識できるようにすればよい。
そして、ステップＳ１００３において肯定結果が得られたのであればステップＳ１００４に進み、所定のメニュー画面を表示させるための処理を実行する。この際、例えば表示制御として四角形の描画画像ＤＲが描かれた位置にほぼ対応するようにしてメニュー画面Ｍを表示させたり、更には、ある程度の所定範囲内であれば、四角形の描画画像ＤＲが描かれたサイズにほぼ対応するサイズによりメニュー画面を表示させるように構成することも可能である。

一般のホワイトボードでは、例えばマーカーペンなどにより文字や絵を描くと共に、白板ふきなどの道具を利用して既に描かれた文字や絵を消去することが行われているが、本実施の形態の描画装置をホワイトボードとして機能させる際には、次のようにして同様のことを行うことが可能である。

例えば、図２４（ａ）に示すように、ユーザが描画用ペンＰｅｎを利用してホワイトボード（半透明面２）上に文字等を書き込むような操作をしたとする。この場合、描画用ペンＰｅｎのペン先は、検出画像情報として画像による検出が行われたときに、その画像領域として予め設定されたしきい値よりも小さくなるようなサイズであるものとされる。そして、このような所定のしきい値よりも小さいとされる操作体が検出された場合には、この操作体により指定される位置に従って例えば線による描画を行っていくようにされる。これにより、描画用ペンＰｅｎのペン先の軌跡に従って、線状の描画画像として文字等が表示されることになる。図２４（ａ）では、ユーザが描画用ペンＰｅｎを用いたことにより、何らかの文字等が半透明面２上に書き込まれたかのようにして表示された状態を「〇〇〇〇〇〇〇」により表している。
なお、本実施の形態においては、赤外線を反射可能な物理対象であれば操作体の種類は問わないので、上記描画用ペンＰｅｎとしては単にペン形状を有するような個体であればよいことになる。従って、上記しきい値さえ満足すれば当然のこととして描画用ペンＰｅｎの代わりにユーザの指等を用いることも可能である。

そして、半透明面２（ホワイトボード）に対して描かれた内容を消去するには、例えば図２４（ｂ）に示すように、検出画像情報として検出されたときにその画像領域が所定のしきい値を越えるようなサイズの消去板Ｅｒを用意する。この消去板Ｅｒも、描画用ペンＰｅｎと同様に赤外線を反射可能で、かつ、上記しきい値を越えて画像として検出されるだけのサイズを有するような物理対象であればよい。従って、所定のしきい値さえ上回るサイズであれば、例えばユーザ自身の手のひらを消去板Ｅｒの代わりに用いてもよい。
そして、例えばユーザが消去板Ｅｒを用いて、半透明面２上をなぞるように動かしたとすると、消去板Ｅｒの軌跡となる領域においては、これまで描かれた文字や絵が消去され、所定の初期画像が表示されることになる。例えば、初期画像として非表示の状態が設定されていたのであれば、消去板Ｅｒでなぞられた半透明面２上の部分は非表示となる。また、例えば初期画像として地図などが表示され、その地図上に対してユーザにより描かれた文字や絵が表示されているような状態では、消去板Ｅｒでなぞった文字や絵が消去されて元の地図の画像が表示されることになる。

図２５は、上記図２４にて説明した操作を実現するための処理動作を示すフローチャートである。このルーチンにおいては、先ずステップＳ１１０１において操作体が検出されるのを待機しており、ここで操作体が検出されたのであれば、ステップＳ１１０２に進んで、上記操作体のサイズ（面積）Ｓが所定のしきい値ａよりも小さいか否かについて判別を行う。このしきい値ａは、描画用のポインタ（描画用ペンＰｅｎ又は指）としての操作体を検出するために設定された値とされる。そして、ステップＳ１１０２において肯定結果が得られた場合には、操作体は描画用のポインタであるとして、ステップＳ１１０３に進み、操作体の検出位置（座標）の移動に追随するようにして半透明面２の領域に対して描画が行われていくように処理を実行することになる。

これに対して、ステップＳ１１０２において否定結果が得られた場合には、ステップＳ１１０４において、操作体のサイズＳがしきい値ｂよりも大きいか否かについて判別が行われる。このしきい値ｂは、消去用のポインタ（消去板Ｅｒもしくは手のひらなど）としての操作体を検出するためのものとされる。ここで、否定結果が得られた場合にはこのルーチンを抜けることになるが、ステップＳ１１０２及びＳ１１０４にて否定結果が得られる場合とは、その操作体のサイズが描画用ポインタと消去用ポインタの何れのサイズにも該当しない場合であり、この場合には特に描画処理も消去処理も実行しないようにされる。ただし、しきい値ａ，ｂに同一の値が設定されていれば、検出された操作体は描画用ポインタか消去用ポインタの何れかとして必ず認識されることになる。
ステップＳ１１０４において肯定結果が得られた場合には、検出画像情報内において操作体が検出された領域については初期画像を表示するように制御を行う。つまり、見かけ上は消去用ポインタがなぞった半透明面２の部分において描画画像が表示されていれば、これが消去される代わりに初期画像が表示されることになる。

＜１０．他の実施の形態としての描画装置の構成＞
ところで、本実施の形態の描画装置としては、図１に示す構成から赤外線ＬＥＤパネル３を省略することも可能である。
たとえば、本発明に基づく描画装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、赤外線ＬＥＤパネル３を省略し、その代わりに自然光に含まれる赤外線光を操作情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。

そして、例えば半透明面２に対して何らかの操作が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。この場合、図２に示す制御装置６の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。

また、本実施の形態の描画装置としては、図１に示す構成において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６においては、ＬＥＤ駆動部１０（図１参照）の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。

このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。

なお、これまで説明してきた描画方法等により半透明面２に表示された描画図などの画像情報は、図２に示したプリンタ２０を利用して印刷出力することが可能とされている。

また、本発明に基づいて構成される描画装置において各種描画動作を実現するための操作方法及び制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法や制御処理方法等は他にも各種考えられるものである。また、図１においては音声出力系の図示は省略したが、本発明の実施の形態としての描画装置において、各種インタラクティブな応答を音声により行うことも考えられる。

本発明の実施の形態としての描画装置の構成例を示す概念図である。本実施の形態の描画装置に備えられる制御装置の内部構成を示す図である。基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。検出画像情報を生成するための処理動作を示すフローチャートである。本実施の形態の描画装置における基本的な操作例を示す説明図である。図５に示す操作を実現するための処理動作を示すフローチャートである。本実施の形態の描画装置における基本的な描画操作例を示す説明図である。図７に示す描画操作実現するための処理動作を示すフローチャートである。線についての描画操作を示す説明図である。本実施の形態の描画装置における四角形の描画操作を示す説明図である。四角形の描画画像についての編集のための操作例を示す説明図である。図１０に示す四角形描画モード時の処理動作を示すフローチャートである。図１１に示す四角形の描画画像についての移動モード時の処理動作を示すフローチャートである。図１１に示す四角形の描画画像についての回転モード時の処理動作を示すフローチャートである。図１１に示す四角形の描画画像についての拡大／縮小モード時の処理動作を示すフローチャートである。三角形についての描画及び編集操作を示す説明図である。楕円形についての描画及び編集操作を示す説明図である。曲線の変形操作例を示す説明図である。図１８に示す操作を実現するための処理動作を示すフローチャートである。表示画像の移動操作例を示す説明図である。表示画像の拡大／縮小操作例を示す説明図である。本発明の描画装置をホワイトボードとして機能させた場合の操作例を示す説明図である。図２２に示す操作を実現するための処理動作を示すフローチャートである。本発明の描画装置をホワイトボードとして機能させた場合の他の操作例を示す説明図である。図２４に示す操作を実現するための処理動作を示すフローチャートである。

符号の説明

１描画装置、２半透明面、３赤外線ＬＥＤパネル、４ＣＣＤカメラ、４Ａ第１ＣＣＤカメラ、４Ｂ第２ＣＣＤカメラ、５プロジェクタ、６制御装置、１０ＬＥＤ駆動部、１１画像入力部、１２入力画像処理部、１３しきい値制御部、１４データベース駆動部、１５データベースメモリ、１６画像生成部、１７画像合成部、１８ＲＧＢ信号生成部、Ｍメニュー画面、ＤＲ描画画像、Ｐｏａ１，Ｐｏａ２対角点、Ａｆｉｎ１，Ａｆｉｎ２指開き角度、Ｐｅ，Ｐｅ１，Ｐｅ２端点

Claims

光を透過する平面を有する描画装置であって、
上記平面に画像情報を表示させる表示手段と、
上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出するための検出手段と、
上記操作体の形状の情報を記憶する記憶手段と、
上記検出手段により検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、上記表示手段に表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と上記記憶手段の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手段と、
を有し、
上記表示手段は、四角形の形状を有する画像を表示し、
上記制御手段は、上記操作体による２点の投影画像の位置情報を１対の対角点の位置として認識し、上記１対の対角点のそれぞれに対応して検出された上記操作体の投影画像の形状に基づいて角度情報を認識し、この角度情報に基づいて対角を設定して四角形を描画する処理を制御する
描画装置。
光を透過する平面を有する描画装置であって、
上記平面に画像情報を表示させる表示手段と、
上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出するための検出手段と、
上記操作体の形状の情報を記憶する記憶手段と
上記検出手段により検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、上記表示手段に表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と上記記憶手段の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手段と、
を有し、
上記表示手段は、三角形の形状を有する画像を表示し、
上記制御手段は、上記検出手段により検出された２点の投影画像の位置情報を三角形の一辺の両端の２点として認識すると共に、このときに上記三角形の一辺の両端の２点の投影画像の位置情報にそれぞれ対応して検出された上記操作体の形状に基づいて角度情報を認識し、上記三角形の一辺の両端の２点とされる投影画像の位置情報と、上記角度情報とに基づいて設定した一辺の両端の角度とに基づいて三角形を描画する処理を制御する
描画装置。
光を透過する平面を有する描画装置であって、
上記平面に画像情報を表示させる表示手段と、
上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出するための検出手段と、
上記操作体の形状の情報を記憶する記憶手段と
上記検出手段により検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、上記表示手段に表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と上記記憶手段の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手段と、
を有し、
上記表示手段は、楕円形の形状を有する画像を表示し、
上記制御手段は、上記検出手段により検出された２点の投影画像の位置情報を楕円形の長径又は短径の両端として設定すると共に、このときに上記２点の投影画像の位置情報にそれぞれ対応して検出された上記操作体の投影画像の形状に基づいて楕円形の曲率を設定し、上記楕円形の長径又は短径の両端とされる２点の投影画像の位置情報と、上記曲率の設定情報とに基づいて楕円形を描画する処理を制御する
描画装置。
光を透過する平面を有する描画装置であって、
上記平面に画像情報を表示させる表示手段と、
上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出するための検出手段と、
上記操作体の形状の情報を記憶する記憶手段と
上記検出手段により検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、上記表示手段に表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と上記記憶手段の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手段と、
を有し、
上記表示手段は、曲線又は直線を有する画像を表示し、
上記制御手段は、上記検出手段により検出された投影画像の位置情報を曲線又は直線としての描画画像上における位置指定情報として認識すると共に、このときに上記位置情報に対応して検出された上記操作体の投影画像の形状に基づいて方向情報を設定し、上記位置指定情報の移動位置及び上記方向情報の変化に基づいて、上記曲線又は直線について変形を行う描画処理を制御する
描画装置。
光を透過する平面を有する描画装置における描画方法であって、
上記平面に画像情報を表示する表示手順と、
上記平面における操作体の反射光によって得られる複数の投影画像の位置、および上記操作体の反射光によって得られる投影画像の上記平面上における動き、および上記操作体の反射光によって得られる投影画像の形状、を検出する検出手順と、
上記検出された上記操作体の投影画像の位置と動きに基づいて、上記表示手段に表示させる画像情報を制御する表示制御手順と、
上記操作体の形状の情報を記憶し、
上記検出された上記操作体の投影画像の位置と投影画像の動きと投影画像の形状に基づいて、表示させる画像情報を制御するとともに、上記操作体により２点が同時に指定されているとき、検出された上記操作体の投影画像の形状と記憶手段に記憶された操作体の形状の情報を比較することによって上記操作体の投影画像の形状を特定して上記２点の位置を特定する制御手順と
を実行し、
上記表示手順は、四角形の形状を有する画像を表示し、
上記制御手順は、上記操作体による２点の投影画像の位置情報を１対の対角点の位置として認識し、上記１対の対角点のそれぞれに対応して検出された上記操作体の投影画像の形状に基づいて角度情報を認識し、この角度情報に基づいて対角を設定して四角形を描画する処理を制御する
描画方法。