JP2007257639A - 映像パターンを利用したポインティング入力装置、方法、およびシステム - Google Patents

Abstract

【課題】 ポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に存在するマウスポインタの動きを提供するポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法を提供する。
【解決手段】 認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する座標抽出部、および前記抽出された座標を送信する送信部を含むポインティング入力装置。
【選択図】図２

Description

本発明は、ポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法に関し、より詳しくはポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に存在するマウスポインタの動きを提供するポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法に関するものである。

ダイレクトポインティング入力装置（Ｄｉｒｅｃｔ Ｐｏｉｎｔｉｎｇ Ｄｅｖｉｃｅ）とは、デジタルＴＶのようなディスプレイ装置のディスプレイ領域を抽出し、そこから現在ポインティングされている地点に対して画面内における位置を検出して、ディスプレイ装置の画面に表示されるポインタの位置を制御することができる入力装置をいう。

ダイレクトポインティング入力装置はユーザによってポインティングされる地点にポインタが表示される絶対マッピング（Ｄｉｒｅｃｔ Ｍａｐｐｉｎｇ）方式を使用するため、マウス、キーパッドなどのような相対マッピング（Ｒｅｌａｔｉｖｅ Ｍａｐｐｉｎｇ）方式のポインティング入力装置に比べて、ポインタの位置をより迅速かつ簡単に操作することができ、遠隔でポインタの位置を制御することができるという長所がある。

特許文献１では、プロジェクタから投射されてスクリーン上に映された映像と、レーザポインタから投射されてスクリーン上に映されたレーザ映像との重なった映像をスクリーンを介して反射させてマウスレーザポインタの位置を決定することにより、一般的なレーザポインタの役割だけでなくマウスのような役割を行うことができるようにしたマウスレーザポインタの位置決定装置および方法を開示している。しかし、これは重なった映像に含まれているスクリーン上に映された映像とコンピュータの映像を比べた後、重なった映像におけるレーザ映像の位置を利用してマウスレーザポインタの位置を決定するため、映像比較のための多くの演算量が発生し得る。

したがって、ポインティング入力装置のポインタの動きに対応するように、ディスプレイ領域に存在するグラフィックオブジェクトの動きを制御したり効率的に選択し得る改善された発明の登場が要求される。
韓国公開特許第２００４−０２５９９２号公報

本発明は、ポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に表示されたマウスポインタの動きを提供してオブジェクトを選択することを目的とする。

また、本発明は複数のポインティング入力装置によって複数のマウスポインタを同時に制御し、これによって複数のオブジェクトを選択できるようにすることを目的とする。

本発明の目的は以上に言及した目的に制限されず、言及していないさらなる目的は下記によって当業者に明確に理解できるのである。

前記目的を達成するために、本発明の実施形態によるポインティング入力装置は、認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する座標抽出部、および前記抽出された座標を送信する送信部を含む。

本発明の実施形態によるポインタ制御装置は、ディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信する受信部と、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部、および前記絶対的な座標に前記マウスポインタを移動させるポインタ動作部を含む。

本発明の実施形態による映像パターン発生装置は、ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する映像パターン生成部、および前記映像パターンを出力する映像パターン出力部を含む。

本発明の実施形態によるポインティング入力方法は、（ａ）認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえるステップと、（ｂ）前記映像パターンの範囲を感知するステップと、（ｃ）前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するステップ、および（ｄ）前記抽出された座標を送信するステップを含む。

本発明の実施形態によるポインタ制御方法は、ディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信するステップと、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定するステップ、および前記絶対的な座標に前記マウスポインタを移動させるステップを含む。

本発明の実施形態による映像パターン発生方法は、ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成するステップ、および前記映像パターンを出力するステップを含む。

本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して前記ディスプレイ領域上に出力する映像パターン発生装置、および前記映像パターンを感知して前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置を含む。

本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置、および前記ポインティング入力装置から少なくとも１つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置を含む。

本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して前記ディスプレイ領域上に出力する映像パターン発生装置と、前記映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置、および前記ポインティング入力装置から少なくとも１つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置を含む。

その他、実施形態の具体的な事項は詳細な説明および図面に含まれている。

前述したように、本発明のポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法によれば、次のような効果が１つあるいはそれ以上ある。

第一に、ポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に表示されたマウスポインタの動きを提供することにより、ユーザが容易にマウスポインタによって選択されたグラフィックオブジェクトを制御できるようにするという長所がある。

第二に、複数のポインティング入力装置によって複数のマウスポインタが同時に制御されることにより、複数のユーザが異なるマウスポインタを利用して選択されたグラフィックオブジェクトを制御できるようにするという長所がある。

本発明の利点および特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。

以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。

図１は本発明の実施形態によるポインタとグラフィックオブジェクトの動きを示す概念図であって、ポインタ１３０の動きに応じてグラフィックオブジェクト１２０の動きを提供するためのシステムはポインティング入力装置２００、ポインタ制御装置４００、プロジェクタ９００およびディスプレイ装置１００を含んで構成される。

ポインタ制御装置４００はポインティング入力装置２００がディスプレイ領域１１０の範囲を判断し得るようにする映像パターン１１１，１１２，１１３，１１４、グラフィックオブジェクト１２０およびマウスポインタ１３０を生成する役割をする。

ここで、ポインタ制御装置４００として中央処理装置（ＣＰＵ）が内蔵された個人用コンピュータ（ＰＣ）が利用できる。これにより、ユーザはポインタ制御装置４００に連結されているマウス５９０を利用してマウスポインタ１３０の動きを制御し、マウス５９０に備えられているボタンを利用してドラッグ・アンド・ドロップでグラフィックオブジェクト１２０の動きを制御することもできる。

ユーザはポインティング入力装置２００を利用してディスプレイ領域１１０の所定地点をポインティングすることができるが、このとき、ポインティング入力装置２００はディスプレイ領域１１０の映像パターン１１１，１１２，１１３，１１４を利用してポインティングされた地点を認識できるようになる。

ここで、ポインティング入力装置２００は表示された映像パターン１１１，１１２，１１３，１１４を分析して映像パターン１１１，１１２，１１３，１１４の範囲を判断することができるが、これを利用して認識されたディスプレイ領域１１０上においてポインティングされた地点の座標を抽出することができる。また、ポインティング入力装置２００はディスプレイ領域１１０の実際の大きさを利用して、実際のディスプレイ領域１１０上においてポインティングされた地点の実際の座標を抽出することもできる。

ポインタ制御装置４００とポインティング入力装置２００は無線または有線で互いに通信するが、ポインティング入力装置２００は自身が抽出したポインティングされた地点の座標をポインタ制御装置４００に送信する。これにより、ポインタ制御装置４００は受信した座標を実際のディスプレイ領域の座標として変換する。このとき、ポインティング入力装置２００に備えられているボタンによる制御信号がポインタ制御装置４００に送信された場合、ポインタ制御装置４００はマウス５９０のボタン選択イベント（Ｂｕｔｔｏｎ Ｄｏｗｎ Ｅｖｅｎｔ）を発生させてグラフィックオブジェクト１２０に対するドラッグ・アンド・ドロップを行うこともできる。

例えば、ポインティング入力装置２００によってポインティングされた地点にグラフィックオブジェクト１２０が存在し、ユーザがポインティング入力装置２００に備えられているボタンを選択した状態でポインティング地点の位置を移動させれば、ポインティング入力装置２００は表示された映像パターン１１１，１１２，１１３，１１４を分析してその範囲を判断した後、ポインティングされた地点の認識されたディスプレイ領域上においてポインティングされた地点の座標を抽出する。そして、抽出された座標と選択されたボタンによる制御信号をポインタ制御装置４００に送信する。すなわち、移動中であるポインティング地点の座標とボタンの制御信号が持続的に送信される。

これにより、ポインタ制御装置４００は制御信号の受信によってマウスボタン選択イベントを発生させ、受信した座標をマウスポインタ１３０の実際の座標として変換させる。一般的に、マイクロソフト社のオペレーティングシステムのウィンドウズ（登録商標）およびマッキントッシュ社のオペレーティングシステムのマック（登録商標）の場合、マウス左側ボタン選択イベントが発生された状態でマウスポインタ１３０が移動すればドラッグを行うが、このように、ポインタ制御装置４００は実際の座標として変換された座標にマウスポインタ１３０を移動させてグラフィックオブジェクト１２０に対するドラッグを行うようになる。

ここで、グラフィックオブジェクト１２０の移動を例にあげているが、これは例示的なものに過ぎず、マウスポインタ１３０の相対的な座標およびボタンによる制御信号がポインタ制御装置４００に送信されることにより、描きおよびオブジェクト選択（複数のアイコンが表示された状態で一部アイコンを選択する場合）などの動作も行われ得る。

ポインタ制御装置４００によって生成されたグラフィックオブジェクト１２０およびマウスポインタ１３０などの映像はプロジェクタ９００に伝送され、プロジェクタ９００は受信した映像を出力する。すなわち、受信した映像に対する映写画面を出力する。また、プロジェクタ９００には映像パターン発生装置５００が備えられ得るが、映像パターン発生装置５００は可視光線、赤外線または紫外線で具現された映像パターン１１１，１１２，１１３，１１４を生成して出力する。

ディスプレイ装置１００はプロジェクタ９００から出力されたグラフィックオブジェクト１２０およびマウスポインタ１３０などの映写画面を表示し、映像パターン発生装置５００から出力された映像パターンを表示する。このとき、プロジェクタ９００によって映写画面が出力される場合、ディスプレイ装置１００はスクリーンとして代替されて入射光を反射する役割を行うことができる。

一方、ディスプレイ装置１００はプロジェクション方式で具現することもできるが、このとき、映像パターン発生装置５００はディスプレイ装置１００内に挿入され得る。すなわち、ディスプレイ装置１００内に挿入された映像パターン発生装置５００はプロジェクション画面を介して映像パターン１１１，１１２，１１３，１１４を透過させることにより、ポインティング入力装置２００によって映像パターン１１１，１１２，１１３，１１４が認識できるようにする。

図２は本発明の実施形態によるポインティング入力装置を示すブロック図であって、ポインティング入力装置２００は映像受信部２１０、座標抽出部２２０、ボタン部２３０および送信部２４０を含んで構成される。

映像受信部２１０は認識された大きさのディスプレイ領域上に表示された映像パターンを捕らえて映像パターンの範囲を感知する役割をする。このために、映像受信部２１０はカメラ部２１１および領域感知部２１２を含んで構成できる。

カメラ部２１１は認識された大きさのディスプレイ領域上に表示された映像パターンを捕らえる役割をする。前述したように、映像パターンは可視光線、赤外線または紫外線で具現できる。これにより、映像パターンが可視光線で具現された場合、カメラ部２１１は一般的なデジタルカメラの役割を行って映像パターンを捕らえることができる。一方、映像パターンが赤外線または紫外線の場合、カメラ部２１１は赤外線カメラまたは紫外線カメラの役割を行って映像パターンを捕らえることができる。

領域感知部２１２は映像パターンの範囲を感知する役割をする。例えば、映像パターンを構成する複数の部分映像がディスプレイ領域に配置されている場合、領域感知部２１２は部分映像の配置を利用して映像パターンの範囲を感知することができる。映像パターンの範囲を感知した後、領域感知部２１２は映像パターンの中心座標を感知することもできる。

座標抽出部２２０は映像パターンの中心を基準として、ディスプレイ領域内においてポインティングされた地点の座標を抽出する役割をする。すなわち、座標抽出部２２０は映像パターンの中心とポインティングされた地点の間の距離を抽出するものであって、実際に座標抽出部２２０によって抽出される座標は実際の映像パターンの大きさと認識された映像パターンの大きさの比率による座標であり得る。例えば、実際の映像パターンの大きさが１０×１０であり、認識された映像パターンの大きさが３０×３０であり、映像パターンの中心を基準としてポインティングされた地点の座標が（２０，１５）である場合、座標抽出部２２０によって抽出された座標は（２０×（１０／３０）、１５×（１０／３０）、すなわち（６．６７，５）になる。

このように抽出された座標は映像パターンの中心を基準として算出された座標であって、座標抽出部２２０はディスプレイ領域の実際の大きさを利用して実際のディスプレイ領域上におけるポインティングされた地点の座標を抽出することもできる。例えば、前記のような条件でディスプレイ領域の実際の大きさが１００×１００であり、映像パターンがディスプレイ領域の中心に配置されている場合、ポインティングされた地点の実際の座標は（５０＋６．６７，５０＋５）、すなわち（５６．６７，５５）になる。

座標抽出部２２０によって抽出された座標はディスプレイ領域上に表示されたマウスポインタの座標に対応することができる。すなわち、抽出された座標を受信したポインタ制御装置４００は該当座標にマウスポインタを位置させることができる。

ボタン部２３０はディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令を受信する役割をする。すなわち、ユーザはグラフィックオブジェクトを移動させたりアイコンなどを選択したり絵を描くために、ボタン部２３０に備えられているボタン（以下、第１ボタンという）を選択することができる。

また、ポインティング入力装置２００にはポインティングされた地点に光を放出する光送信部（図示せず）を備え、ボタン部２３０は光送信部によって光を放出させるボタン（以下、第２ボタンという）を備えることもできる。すなわち、ユーザは第２ボタンを利用してポインティングされた地点から光が反射されるようにしてポインティングされた地点を認識することができ、第１ボタンを利用して表示されたグラフィックオブジェクトを移動させることができる。

送信部２４０は第１ボタンによって生成された制御信号および座標抽出部２２０によって抽出された座標のうち少なくとも１つをポインタ制御装置４００に送信する役割をする。送信部２４０とポインタ制御装置４００の間の通信方式は、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ １３９４、直列通信（ｓｅｒｉａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ）および並列通信（ｐａｒａｌｌｅｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ）のような有線通信方式が使用でき、赤外線通信、ブルートゥース、ホームＲＦおよび無線ランのような無線通信方式が使用できる。

図３は本発明の実施形態による多様な形態の映像パターンを示す図面である。

映像パターン３１０，３２０，３３０，３４０は図３に示すように多様な形態で具現することもできる。すなわち、複数の部分映像で構成された映像パターン３１０，３２０を具現することもでき、四角状３３０または格子状３４０の１つの映像パターンを具現することもできる。

ここで、映像パターンがディスプレイ装置を介して表示される場合、実際ユーザに視覚的に伝えようとするグラフィックオブジェクトが映像パターンによって遮断されることもあるが、このために映像パターンは赤外線または紫外線で具現できるのは前述した通りである。

図４は本発明の実施形態によるポインタ制御装置を示すブロック図であって、ポインタ制御装置４００は映像パターン出力部４１０、座標決定部４２０、制御部４３０、受信部４４０、イベント発生部４５０、ポインタ動作部４６０および出力部４７０を含んで構成される。

映像パターン出力部４１０は映像パターンを出力する役割をする。すなわち、図３に示すように複数の部分映像で構成された映像パターンを生成することができ、四角状または格子状の映像パターンを生成することもできる。映像パターン出力部４１０は図１に示す映像パターン発生装置５００の役割を行う。一方、映像パターンはポインタ制御装置４００に備えられている映像パターン出力部４１０でない別途の映像パターン発生装置５００によって具現できる。

ここで、実際のディスプレイ領域の大きさおよび映像パターンの大きさはポインティング入力装置２００に送信されて、ポインティング入力装置２００がディスプレイ領域上においてポインティングされた地点の座標を感知できるようにする。映像パターン出力部４１０によって出力された映像パターンは可視光線、赤外線または紫外線で具現できる。

受信部４４０はディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信する役割をする。ここで、相対的な座標とは、映像パターンを中心とするマウスポインタの座標を意味する。また、受信部４４０はマウスポインタのボタン選択イベント発生のための制御信号を受信する役割をする。すなわち、受信部４４０はポインティング入力装置２００と通信して制御信号または座標を受信するものであって、受信部４４０とポインティング入力装置２００の間の通信方式は、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ １３９４、直列通信および並列通信のような有線通信方式が使用でき、赤外線通信、ブルートゥース、ホームＲＦおよび無線ランのような無線通信方式も使用できる。

座標決定部４２０は受信部４４０を介して受信されたマウスポインタの相対的な座標を参照してマウスポインタの絶対的な座標を決定する役割をする。例えば、映像パターンの中心とディスプレイ領域の中心が一致し、ディスプレイ領域の大きさが８００×６００であり、伝送された相対的な座標が（２０，１０）の場合、マウスポインタの絶対的な座標は（８００＋２００，６００＋１０）、すなわち（８２０，６１０）になる。

ここで、受信されたマウスポインタの相対的な座標は複数であり得るが、このとき、座標決定部４２０は複数の相対的な座標を各々絶対的な座標として決定することができる。

また、ディスプレイ領域の実際の大きさを感知しているポインティング入力装置２００から、受信部４４０はマウスポインタの絶対的な座標を受信することもできるが、このとき、座標決定部４２０は作業を行わないこともある。

イベント発生部４５０は制御信号が受信された場合、マウスのボタン選択イベントを発生させる役割をする。ここで、マウスのボタン選択イベントはグラフィックオブジェクトを移動させたり絵を描いたりアイコンなどを選択するために発生させるものであって、マイクロソフト社のウィンドウズ（登録商標）またはマッキントッシュ社のマックのようなオペレーティングシステムでグラフィックオブジェクトを移動させるために発生されるマウスボタンイベントを含む。

したがって、イベント発生部４５０によって発生されるイベントはマウスのボタン選択イベントに限定されるのではなく、グラフィックオブジェクトの移動などを行うために必要とするすべてのイベントを含む。

イベント発生部４５０によってイベントが発生され、座標決定部４２０によってマウスポインタの絶対的な座標が決定されることにより、ポインタ動作部４６０はマウスポインタを座標決定部４２０によって決定された絶対的な座標に移動させる。

出力部４７０はグラフィックオブジェクトなどに対する映像を出力し、マウスポインタの映像を出力する役割をする。出力された映像はプロジェクション方式のディスプレイ装置１００に直接伝送されて表示されたり、プロジェクタ９００に伝送されてプロジェクタ９００のスクリーンを介して表示され得る。

制御部４３０は映像パターン出力部４１０、座標決定部４２０、受信部４４０、イベント発生部４５０、ポインタ動作部４６０、出力部４７０およびポインタ制御装置４００の全般的な制御を行う。

制御部４３０は受信部４４０を介して制御信号の受信を確認することができるが、制御信号が受信された場合、イベント発生部４５０にマウスボタンの選択イベントを発生させ、座標決定部４２０にマウスポインタの絶対的な座標を抽出させることができる。

すなわち、制御信号が受信されない場合、制御部４３０はイベント発生部４５０にマウスボタンの選択イベントを発生しないようにし、座標決定部４２０にマウスポインタの絶対的な座標抽出に関する作業を行わないようにすることができる。

図５は本発明の実施形態による映像パターン発生装置を示す図面であって、映像パターン発生装置５００は映像パターン生成部５１０および映像パターン出力部５２０を含んで構成される。

映像パターン生成部５１０はディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する役割をする。前述したように、映像パターンは可視光線、赤外線または紫外線で具現できる。

映像パターン出力部５２０は映像パターン生成部５１０によって生成された映像パターンを出力する役割をする。前記映像パターンは多様な幾何学的な形態を有する格子板を利用してディスプレイ領域上に出力できるが、前記多様な幾何学的な形態については前記図３で説明したため、ここでは詳細な説明を省略する。

映像パターン発生装置５００はプロジェクタ９００などに挿入して運用したり、別途に運用することができる。また、ディスプレイ装置１００がプロジェクション方式の場合、映像パターン発生装置５００はディスプレイ装置１００内部に備えられて映像パターンを出力することもできる。

図６は本発明の実施形態によるポインティング入力装置の動作を示すフローチャートである。
ポインティング入力装置２００のカメラ部２１１はまず認識されたディスプレイ領域上に表示された映像パターンを捕らえる（Ｓ６１０）。ここで、映像パターンは可視光線、赤外線または紫外線で具現できるが、これにより、カメラ部２１１はデジタルカメラ、赤外線カメラまたは紫外線カメラの役割を行って映像パターンを捕らえることができる。

捕らえられた映像パターンは領域感知部２１２に伝送され、領域感知部２１２は伝送された映像パターンの範囲を感知する（Ｓ６２０）。

領域感知部２１２によって感知された映像パターンの範囲は座標抽出部２２０に伝送され、座標抽出部２２０は映像パターンの中心を基準として、ディスプレイ領域内においてポインティングされた地点の座標を抽出する（Ｓ６３０）。

このとき、ボタン部２３０はディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令が入力される（Ｓ６４０）。ユーザ命令が入力されることにより、これに対応する制御信号が生成されるが、このように生成された制御信号は送信部２４０に伝送される。

受信部２４０はボタン部２３０によって生成された制御信号および座標抽出部２２０によって抽出されたポインティングされた地点の座標のうち少なくとも１つをポインタ制御装置４００に送信する（Ｓ６５０）。

そして、ポインティングされた地点の相対的な座標を受信することにより、ポインタ制御装置４００は相対的な座標に対応する絶対的な座標にマウスポインタを移動させ、制御信号を受信することにより、グラフィックオブジェクトを移動させたり絵を描いたりアイコンなどのオブジェクトを選択する。

図７は本発明の実施形態によるポインタ制御装置の動作を示すフローチャートである。
マウスポインタを移動させるためにポインタ制御装置４００の映像パターン出力部４１０はまず映像パターンを出力する（Ｓ７１０）。

映像パターンは可視光線、赤外線または紫外線で具現できるが、映像パターン出力部４１０は一般的なデジタル映像出力手段、赤外線映像出力手段または紫外線映像出力手段などを利用して映像パターンを出力することができる。

ここで、映像パターンが別途の装置を介して出力される場合、映像パターン出力部４１０は映像パターンを出力しないこともある。

受信部４４０はディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信する（Ｓ７２０）。相対的な座標は座標決定部４２０に伝送されるが、これにより、座標決定部４２０は伝送された相対的な座標を利用してマウスポインタの絶対的な座標を決定する（Ｓ７３０）。そして、決定された絶対的な座標はポインタ動作部４６０に伝送され、ポインタ動作部はマウスポインタを絶対的な座標に移動させる（Ｓ７４０）。

このとき、制御部４３０は受信部４４０を介して制御信号の受信を確認する（Ｓ７５０）。制御信号が受信されれば、制御部４３０はイベント発生部４５０にイベント発生信号を伝送し、これにより、イベント発生部４５０はマウスのボタン選択イベントを発生する（Ｓ７６０）。

マウスのボタン選択イベントが発生し、マウスポインタの絶対的な位置が決定されることにより、出力部４７０はグラフィックオブジェクトなどの映像を出力する（Ｓ７７０）。すなわち、出力部４７０は移動するグラフィックオブジェクト、複数のアイコンのうち選択されたアイコンまたは絵などの映像を出力する。

図８は本発明の実施形態による映像パターン発生装置の動作を示すフローチャートである。
まず、映像パターン発生装置５００の映像パターン生成部５１０はディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する（Ｓ８１０）。そして、生成された映像パターンは映像パターン出力部５２０に伝送され、映像パターン出力部５２０は伝送された映像パターンを出力する（Ｓ８２０）。ここで、映像パターンは可視光線、赤外線または紫外線で具現できる。

一方、本発明の一実施例を適用すれば、複数のポインティング入力装置を利用して複数のユーザが同時にディスプレイ領域の各部分をポインティングする場合にも、それぞれユーザのポインティング位置を決定することができが、これについては図９ないし図１１を参照して説明する。

図９は複数のポインティング入力装置を利用してポインティング入力を行う概念を示す図面である。前記図９では複数のユーザが複数のポインティング入力装置２００＿１，２００＿２，２００＿３，２００＿ｎを利用してスクリーン９１０にポインティングしていることが分かる。この場合、それぞれのポインティング入力装置２００＿１，２００＿２，２００＿３，２００＿ｎがポインティングしているディスプレイ領域上に複数の基準マーク（ｒｅｆｅｒｅｎｃｉｎｇ ｍａｒｋ）を設定することにより、ポインティング地点の位置を検出できるようになる。

前記図１０はディスプレイ領域上に投射された複数の基準マークを示す図面である。前記基準マークは一次元または二次元バーコードのようなマークを利用することができるが、前記図１０を参照すれば、スクリーンの位置によって各々異なる形態の二次元バーコードが基準マークとして投射されていることが分かる。特定のポインティング入力装置に取り付けられたカメラ（例えば、赤外線カメラなど）で撮影された検出領域１０１０の中心１０１５を基準として最も近く位置した４つの基準マーク１０１１ないし１０１４を利用することにより、前記ポインティング入力装置２００がポインティングしている地点の座標を正確に検出することができる。具体的な具現例は図１１を参照して説明する。

前記図１１は２つのポインティング入力装置を利用して同時にポインティング地点を検出する過程を示す図面である。前記図１１を参照すれば、第１ユーザと第２ユーザが同時にスクリーンをポインティングする場合、第１ユーザのポインティング入力装置が検出する領域１１１０と第２ユーザのポインティング入力装置が検出する領域１１２０が異なるため、各々異なる基準マークを利用してポインティング地点の座標を検出するようになる。すなわち、第１ユーザのポインティング入力装置は自身のポインティング中心１１１５を基準として最も近く存在する４つの基準マーク１１１１，１１１２，１１１３，１１１４を利用して自身のポインティング地点の座標を検出し、第２ユーザのポインティング入力装置も自身のポインティング中心１１２５を基準として最も近く存在する４つの基準マーク１１２１，１１２２，１１２３，１１２４を利用して自身のポインティング地点の座標を独立的に検出するようになる。したがって、複数のユーザが同時にポインティングしても全部正確なポインティング地点を検出することができる。

一方、本発明のまた他の実施形態を適用すれば、他のユーザや事物によってディスプレイ領域の一部が遮断された場合にもポインティング地点の座標を効果的に検出することができる。これは図１２ないし図１５を参照して説明する。

図１２は他のユーザによってディスプレイ領域の一部が遮断された場合を示す図面であり、図１３はこれを拡大した図面である。

複数のユーザ環境でポインティングする実施形態で前述したように、ディスプレイ領域の位置によって異なる形態の基準マークを投射する。特定のポインティング入力装置に取り付けられたカメラ（例えば、赤外線カメラなど）で撮影された画面において４つの基準マークのうち一部のマークが前記図１３のように遮断されてポインティング地点の座標を検出できない場合には、前記ポインティング入力装置に取り付けられたカメラ（図示せず）または映像パターン発生装置５００で直接ズームインを行って新しい映像パターンを生成したり、またはズームアウトを行って新たに含まれる基準マークによってポインティング地点の座標を抽出することができる。このような過程を図１４ないし図１５を参照して具体的に説明する。

図１４はズームアウト機能を利用してポインティング地点の位置を検出する過程を示す図面である。前記図１４を参照すれば、ポインティング入力装置２００に取り付けられたカメラ（図示せず）が第１検出領域１４１０を検出しているうちに他のユーザによって遮断される場合、前記カメラはズームアウトを行って撮影範囲を拡張することにより、第２検出領域１４２０を検出するようになる。この場合、ポインティング入力装置２００のポインティング中心１４１５はズームアウトを前後にして変わらないことが分かる。さらに広くなった第２検出領域１４２０内部には前記ポインティング中心１４１５から最も近い４つの基準マーク１４２１ないし１４２４を認識することができ、これを利用して前記ポインティング入力装置２００がポインティングしている地点の座標を把握できるようになる。

図１５はズームイン機能を利用してポインティング地点の位置を検出する過程を示す図面である。前記図１５を参照すれば、ポインティング入力装置２００に取り付けられたカメラ（図示せず）が第１検出領域１５１０を検出しているうちに他のユーザによって遮断される場合、前記カメラはズームインを行って撮影範囲を縮小することにより、第２検出領域１５２０を検出するようになる。この場合、ポインティング入力装置２００のポインティング中心１５２５はズームインを前後にして変わらないことが分かる。ところで、ズームインの場合には、スクリーンに投射された既存の基準マーク以外に細かい間隔を有する基準点（ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ）１５３１をスクリーンに共に投射することにより、他のユーザによって遮断された基準マークを代替するようになる。既存の基準マークの間隔は予め定義されているため、ズームインによって前記カメラに撮影された基準マークが前記第２検出領域１５２０内部に１つ以上入れば（前記図１５では２つ（１５２１，１５２２）が入る）、前記基準マーク１５２１，１５２２に基づいてポインティング地点の座標を正確に把握することができる。このとき、カメラを再びズームインしてポインティング地点の座標の正確度を向上させることができる。

以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。

本発明の実施形態によるポインタとグラフィックオブジェクトの動きを示す概念図である。 本発明の実施形態によるポインティング入力装置を示すブロック図である。 本発明の実施形態による多様な形態の映像パターンを示す図である。 本発明の実施形態によるポインタ制御装置を示すブロック図である。 本発明の実施形態による映像パターン発生装置を示すブロック図である。 本発明の実施形態によるポインティング入力装置の動作を示すフローチャートである。 本発明の実施形態によるポインタ制御装置の動作を示すフローチャートである。 本発明の実施形態による映像パターン発生装置の動作を示すフローチャートである。 複数のポインティング入力装置を利用してポインティング入力を行う概念を示す図である。 ディスプレイ領域上に投射された複数の基準マークを示す図である。 ２つのポインティング入力装置を利用して同時にポインティング地点を検出する過程を示す図である。 他のユーザによってディスプレイ領域の一部が遮断された場合を示す図である。 図１２を拡大した図である。 ズームアウト機能を利用してポインティング地点の位置を検出する過程を示す図である。 ズームイン機能を利用してポインティング地点の位置を検出する過程を示す図である。

符号の説明

２１０ 映像受信部
２２０ 座標抽出部
２３０ ボタン部
２４０ 送信部

Claims (50)

1. 認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、
   前記感知された映像パターンの範囲の中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する座標抽出部と、
   前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部とを含むことを特徴とするポインティング入力装置。
2. 前記映像受信部は、可視光線、赤外線または紫外線で具現された前記映像パターンを捕らえることを特徴とする請求項１に記載のポインティング入力装置。
3. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出することを特徴とする請求項１に記載のポインティング入力装置。
4. 前記座標は、前記マウスポインタの座標に対応することを特徴とする請求項１に記載のポインティング入力装置。
5. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部をさらに含むことを特徴とする請求項１に記載のポインティング入力装置。
6. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信することを特徴とする請求項５記載のポインティング入力装置。
7. ディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信する受信部と、
   前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部と、
   前記絶対的な座標を利用して前記マウスポインタを移動させるポインタ動作部とを含むことを特徴とするポインタ制御装置。
8. 前記受信部は、前記マウスポインタを動作させるボタン選択イベント発生のための制御信号を受信することを特徴とする請求項７に記載のポインタ制御装置。
9. 前記ボタン選択イベントを発生させるイベント発生部をさらに含むことを特徴とする請求項８に記載のポインタ制御装置。
10. 前記ディスプレイ領域上の所定位置に前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを出力する映像パターン出力部をさらに含むことを特徴とする請求項７に記載のポインタ制御装置。
11. 前記映像パターンは、可視光線、赤外線または紫外線で具現されることを特徴とする請求項１０に記載のポインタ制御装置。
12. ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する映像パターン生成部と、
    前記映像パターンをディスプレイ領域上に出力する映像パターン出力部とを含むことを特徴とする映像パターン発生装置。
13. 前記映像パターンは、可視光線、赤外線または紫外線で具現されることを特徴とする請求項１２記載の映像パターン発生装置。
14. 前記映像パターン出力部は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力することを特徴とする請求項１２に記載の映像パターン発生装置。
15. （ａ）認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえるステップと、
    （ｂ）前記映像パターンの範囲を感知するステップと、
    （ｃ）前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するステップと、
    （ｄ）前記抽出された座標を送信するステップとを含むことを特徴とするポインティング入力方法。
16. 前記（ａ）ステップは、可視光線、赤外線または紫外線で具現された前記映像パターンを捕らえるステップを含むことを特徴とする請求項１５に記載のポインティング入力方法。
17. 前記（ｃ）ステップは、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出するステップを含むことを特徴とする請求項１５に記載のポインティング入力方法。
18. 前記座標は、前記ディスプレイ領域上に表示されたマウスポインタの座標に対応することを特徴とする請求項１５に記載のポインティング入力方法。
19. 前記ディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令を受信するステップをさらに含むことを特徴とする請求項１５に記載のポインティング入力方法。
20. 前記ユーザ命令に対する制御信号を送信するステップをさらに含むことを特徴とする請求項１９に記載のポインティング入力方法。
21. ディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信するステップと、
    前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定するステップと、
    前記絶対的な座標に前記マウスポインタを移動させるステップとを含むことを特徴とするポインタ制御方法。
22. 前記マウスポインタのボタン選択イベント発生のための制御信号を受信するステップをさらに含むことを特徴とする請求項２１に記載のポインタ制御方法。
23. 前記ボタン選択イベントを発生させるステップをさらに含むことを特徴とする請求項２１に記載のポインタ制御方法。
24. 前記ディスプレイ領域上の所定位置に前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを出力するステップをさらに含むことを特徴とする請求項２１に記載のポインタ制御方法。
25. 前記映像パターンは、可視光線、赤外線または紫外線で具現されることを特徴とする請求項２４に記載のポインタ制御方法。
26. ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成するステップと、
    前記映像パターンを出力するステップとを含むことを特徴とする映像パターン発生方法。
27. 前記映像パターンは、可視光線、赤外線または紫外線で具現されることを特徴とする請求項２６に記載の映像パターン発生方法。
28. 認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して、前記ディスプレイ領域上に出力する映像パターン発生装置と、
    前記映像パターンを感知して前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置とを含むことを特徴とするポインティング入力システム。
29. 前記ポインティング入力装置は、前記映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、前記感知された映像パターンの範囲の中心を基準として前記座標を抽出する座標抽出部、および前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部を含むことを特徴とする請求項２８に記載のポインティング入力システム。
30. 前記映像受信部は、可視光線、赤外線または紫外線で具現された前記映像パターンを捕らえることを特徴とする請求項２９に記載のポインティング入力システム。
31. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出することを特徴とする請求項２９に記載のポインティング入力システム。
32. 前記座標は、前記マウスポインタの座標に対応することを特徴とする請求項２９に記載のポインティング入力システム。
33. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部をさらに含むことを特徴とする請求項２９に記載のポインティング入力システム。
34. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信することを特徴とする請求項３３に記載のポインティング入力システム。
35. 前記映像パターン発生装置は、前記ポインタ制御装置によって生成された映像を受信して前記ディスプレイ領域上に投射するプロジェクタ装置に備えられることを特徴とする請求項２９に記載のポインティング入力システム。
36. 前記映像パターン発生装置は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力することを特徴とする請求項２８に記載のポインティング入力システム。
37. 認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置と、
    前記ポインティング入力装置から少なくとも１つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置とを含むことを特徴とするポインティング入力システム。
38. 前記ポインティング入力装置は、前記映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、前記感知された映像パターンの範囲の中心を基準として前記座標を抽出する座標抽出部、および前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部を含むことを特徴とする請求項３７に記載のポインティング入力システム。
39. 前記映像受信部は、可視光線、赤外線または紫外線で具現された前記映像パターンを捕らえることを特徴とする請求項３８に記載のポインティング入力システム。
40. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出することを特徴とする請求項３８に記載のポインティング入力システム。
41. 前記座標は、前記マウスポインタの座標に対応することを特徴とする請求項３８に記載のポインティング入力システム。
42. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部をさらに含むことを特徴とする請求項３８に記載のポインティング入力システム。
43. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信することを特徴とする請求項４２に記載のポインティング入力システム。
44. 前記ポインタ制御装置は、ディスプレイ領域上に表示された少なくとも１つ以上のマウスポインタの相対的な座標を受信する受信部と、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部、および前記絶対的な座標を利用して前記マウスポインタを移動させるポインタ動作部を含むことを特徴とする請求項３７に記載のポインティング入力システム。
45. 前記受信部は、前記マウスポインタを動作させるボタン選択イベント発生のための制御信号を受信することを特徴とする請求項４４に記載のポインティング入力システム。
46. 前記ボタン選択イベントを発生させるイベント発生部をさらに含むことを特徴とする請求項４５に記載のポインティング入力システム。
47. 前記ディスプレイ領域上の所定位置に前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを出力する映像パターン出力部をさらに含むことを特徴とする請求項４４に記載のポインティング入力システム。
48. 前記映像パターンは、可視光線、赤外線または紫外線で具現されることを特徴とする請求項４７に記載のポインタ制御装置。
49. 認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して、前記ディスプレイ領域上に出力する映像パターン発生装置と、
    前記映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置と、
    前記ポインティング入力装置から少なくとも１つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置とを含むことを特徴とするポインティング入力システム。
50. 前記映像パターン発生装置は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力することを特徴とする請求項４９に記載のポインティング入力システム。

Images