JP3958390B2 - 装置姿勢追跡方法 - Google Patents
装置姿勢追跡方法 Download PDFInfo
- Publication number
- JP3958390B2 JP3958390B2 JP26445496A JP26445496A JP3958390B2 JP 3958390 B2 JP3958390 B2 JP 3958390B2 JP 26445496 A JP26445496 A JP 26445496A JP 26445496 A JP26445496 A JP 26445496A JP 3958390 B2 JP3958390 B2 JP 3958390B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- array
- dimensional array
- cursor
- photosensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03543—Mice or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的には、装置の姿勢を追跡する方法およびシステムに関するもので、特に、ビデオ・ディスプレイのカーソルのような装置またはプロセスを制御するため装置の姿勢を追跡することに関するものである。
【０００２】
【従来の技術】
ビデオ・システムにおいて表示画面上に提示される情報と人がやりとりしなければならないアプリケーションがある。時には、人が表示画面から距離をおいている時にそのようなやりとりが発生することがある。詳細は後述するが、そのようなやりとりを実施する種々の形態の１つとして、遠隔地点から画面を制御する方法がある。やりとりには、表示画面メニューとして提示される選択肢を選択することや表示装置のキーボードを使用してテキストを「タイプ」することが含まれる。遠隔対話式ビデオ・システム(Remote Interactive Video Systemの頭文字をとって以下ＲＩＶＳと略称する)の例には、対話式テレビ(Interactive TVの頭文字をとって以下ＩＴＶと略称する)、テレビ型インターネット・ブラウザおよびビデオ会議室ビデオ・プロジェクタ等が含まれる。
【０００３】
ＲＩＶＳの１つの重要なコンポーネントは、画面上のカーソルを制御するための「ポインティング」デバイスである。ポインティング・デバイスは、マウス、トラック・ボールおよび図形タブレットがコンピュータのため実行する機能と同等の機能を果たす。しかし、ＲＩＶＳに関連するシステム環境は、一般的にコンピュータの操作において出会うことのないような困難さを示す。例えば、ＲＩＶＳオペレータは、一般的に、コンピュータ・オペレータと比較して制御する装置から一層遠隔の地点で操作を行う。別の例としては、ＲＩＶＳのオペレータは、例えばＩＴＶオペレータがリビング・ルームでテレビジョン受信機から離れて座っている場合のように設備が整っていない環境にいることが多い。多くの状況において、マウスのような既存のコンピュータ・ポインティング・デバイスを使用できる環境ではない。更に、ＲＩＶＳはキーボードを備えてないことが多いので、ポインティング・デバイスがテキスト入力の役割を果たすという余分な負荷を負わなければならない。
【０００４】
ＲＩＶＳのために多数の既知のポインティング・デバイスがある。大部分の既知のポインティング・デバイスは、若干のバリエーションはあるが基本的には手持式コントローラ上で４キー式カーソル・パッドを実装したものである。４キー式カーソル・パッドは、種々のメニュー選択を行うため画面カーソルを上下左右に移動させるように取り扱われる。そのようなインターフェースは、旧式なテキスト・インターフェースを使用したコンピュータ・キーボードのカーソル・キーをエミュレートする。しかし、これらのインターフェースは、一般的には、最近のグラフィック・ソフトウェア・インターフェースのために開発されたコンピュータ・マウスおよびその他のポインティング・デバイスに比較して動きが遅く反応が鈍い。
【０００５】
ＲＩＶＳ環境内のカーソル制御を改善する努力の１つとして、マウスおよびトラックボールという先進的コンピュータ・ポインティング・デバイスが応用された。１つの応用例では、ミニチュア・トラックボールがコントローラの上部に装備され、トラックボールは人の親指で操作される。トラックボール・コントローラは、カーソル・キーを使用した場合より速く、斜めの移動を実現する。あいにく、トラックボールは、カーソルの大幅な移動を行う場合、ストロークを繰り返す必要があり、一般的には親指制御はユーザの機敏な親指の動作を必要とする。例えば、表示画面上の円の中のカーソルを追跡することは難しい。ＩＴＶカーソル制御のためマウスを使用することは既に実施されている。マウスの利点は、それが、反応の速いすぐれたカーソル制御を提供する点である。問題は、オペレータにとって都合のよい、平らな操作面がない可能性があることである。
【０００６】
ＲＩＶＳポインティング技術における一層の改良は、コントローラを用いて単に身振りをすることによってカーソルの制御を可能にするデバイスの使用である。これらのデバイスは、コントローラの姿勢、すなわち、縦揺れ(pitch)、偏揺れ(yaw)、およびおそらく横揺れ(roll)を測定する。このようなアプローチの第１のカテゴリは、光ビームを使用して姿勢を測定するものである。PCT International Publication Number WO 95/19031には、固定された基本ユニットに相対する遠隔ユニットのポインティング方向を決定するシステムが記載されている。この固定された基本ユニットには、光ビームを発するための１つまたは複数の光源が含まれる。発射された光は、少なくとも１つのあらかじめ決められた方向に収束される。可動遠隔ユニットには収束された光を検出する光検出器が備えられる。可動遠隔ユニットの姿勢は、種々の方向から受け取られる光の強度を測定することによって決定される。
【０００７】
姿勢を測定するため発射された光を使用するカテゴリーの別の実施例は、赤外線信号がビデオ・ディスプレイの領域から放射される形態である。この場合、赤外線信号は散乱され、コントローラの４式フォトダイオード・アレイ上に照射される。４個のフォトダイオードの相対的信号振幅を使用して、ディスプレイから引かれる線に対するコントローラの相対的方向が決定される。このシステムに関する問題の１つは、システムが望ましくない強さの赤外線の洪水を部屋にまき散らし、近くにある(ＶＣＲコントローラのような)他の赤外線応用装置を誤動作させるかもしれない点である。第２の問題は、コントローラがビデオ・ディスプレイから離れている場合、散乱された赤外線信号の限られた伝逹範囲が、この姿勢測定システムの信頼性を損なわせることがある点である。
【０００８】
コントローラの姿勢を測定するデバイスの第２のカテゴリは、慣性航法原理が使われているものである。ジャイロスコープまたは符号化ジンバル式装置が、姿勢変化測定対象のコントローラに慣性系を確立する。次に、ビデオ・ディスプレイの上部に装着された小型ダイポール・アンテナへの無線周波伝送経路を介して、姿勢情報がビデオ・ディスプレイに伝送される。
【０００９】
第３のカテゴリは、第１のカテゴリに関連する。カーソル制御を提供する手持式物体が、その１つの表面上に装備される多数の光源を持つ。単一の電子カメラが、手持式物体上に装備された光源の像を捕捉するように向けられる。複数光源の像の位置が各カメラ像の形態で検出され、コンピュータを使用して、光を発する手持式物体の姿勢が決定される。そのような装置は、DeMenphon氏に付与の米国特許第5,338,059号に記述されている。
【００１０】
仮想現実(virtual reality)の分野にも、上述の分野に密接に関連した必要性が存在する。ゲーム、シミュレーションおよびその他の映像分野において、ユーザの頭またはその他の身体部分の姿勢を符号化することがしばしば必要とされる。多くのケースにおいて、頭の左右上下の揺れを符号化するシステムがＲＩＶＳコントローラに適用され、またその逆の場合もある。１つの既知の仮想現実システムでは、計器を取り付けたコンパスおよび重力計という手段によって揺れが符号化される。
【００１１】
既知のカーソル制御装置および姿勢決定システムがそれらの意図された目的のため適切に作動するとはいえ、それぞれ懸念または問題を持っている。操作が迅速にできなかったりまたは退屈であったり、あるいは特定の操作面を使用する必要がある。赤外線放射を含む装置およびシステムは、他の装置の動作に悪影響を及ぼすかもしれない。重力に基づく姿勢検知装置は、横方向の加速と傾きを識別することが困難で、従って制御を誤る可能性がある。この最後の問題は、ジャイロ安定化によって概念的には解決できるかもしれないが、コストおよび消費電力がこの解決策の魅力を失わせる。光検出を利用する既知のシステムは、ディスプレイ上に第２の仕掛けを追加することを必要とし、このためまた追加コストを必要とする。
【００１２】
【発明が解決しようとする課題】
従って、装置の姿勢を高い信頼度を持って追跡する方法およびシステムが必要とされる。また、そのような方法およびシステムは、画面カーソルを制御するために使用される場合または他の遠隔対話式映像アプリケーションにおいて使用される場合、コスト効率の高いものでなければならない。
【００１３】
【課題を解決するための手段】
光センサの２次元アレイ手段によって取得される連続した画像の相関関係が、該アレイが接続される装置の姿勢を追跡する基礎として使用される。本発明の好ましい実施形態において、上記装置は、ビデオ・セットの表示画面上でカーソルを取り扱うためのコントローラのような手持式部材である。連続する画像に共通の画像の特徴的部分の位置的相違を検出するため複数の画像の相関をとる処理段階に基づいて、本発明のシステムは、画像取得の時間的インターバルにおける傾きの変化を標示する姿勢信号を生成する。すなわち、姿勢信号は、光センサのアレイを備える装置の縦揺れ、偏揺れ、およびオプションとして横揺れによって決定される。取得される画像が制御されているもの（例えば画面カーソル）に関係づけられる必要がないので、本発明の上記装置は、制御プロセスの間、どの方向にも向くことができる。更に、装置の角度変位と制御されているものの動きの間に１対１の対応関係を設ける必要はない。例えばカーソル制御の範囲内でコントローラを任意の方向に向けることができるし、上下左右の揺れ角度とカーソル移動距離の関係はユーザによって調節可能である。
【００１４】
光センサの２次元アレイを使用して装置の姿勢を追跡するため基準フレームが取得される。基準フレームは記憶され、アレイの視界の範囲内で特徴的部分の第２の画像が取得される。第２の画像は標本画像と見なされ、２つの画像の視界は大部分重ね合わされるため、基準フレームと標本フレームは多数の共通の特徴的部分を含む。必須のものではないが、該装置は、公称上無限の焦点を提供する光学部品を含み、それによって、光センサのアレイに対し意図的にボケた画像を送る。画面カーソルを制御する装置の応用において、代表的な画像の特徴的部分には、窓、ランプ、家具および表示画面それ自体が含まれる。本発明のいかなる応用においても、相関の目的で固定された光の連続的画像を使用するため、１つまたは複数の静止光源を、画像が作成される環境の範囲内に特に追加することができる。そのような実施形態の１つにおいて、光源は赤外線エミッタであり、装置の姿勢を追跡するため、赤外線フィルタを用いた画像作成アレイ（光センサ・アレイまたはセンサ・アレイとも呼称する）が装置に備えられる。
【００１５】
基準フレームと標本フレームとの相関をとるステップは、概念的に、次の通りである。すなわち、フレームの１つが位置的に固定され、別のフレームが反復的にシフトされ、どのシフトされた位置が２つのフレームに共通の画像の特徴的部分の位置を合わせた状態に最も近いかを判定し、それによって、２つの画像を取得する特定の時間の間の時間的インターバルの間の縦揺れおよび偏揺れを判断することが可能となる。実際問題として、シフトはコンピュータの計算によって実行される。シフトはピクセル値のシフトであって、この場合ピクセル値の各々は特定の時間に特定の光センサで受け取られる光エネルギーを示す。相関は、最隣接ピクセル相関の場合のようにただ１つのピクセルの計算シフトに限定することも、あるいは、多数ピクセル計算シフトであることもできる。計算上さほど複雑でなく、オリジナルの位置および８つの計算シフトだけが必要であるにすぎないので、最隣接ピクセル相関プロセスが望ましい場合が多い。移動が１ピクセル長より小さい場合、補間が実行され、１ピクセル長より少ない角度変位が判別される。水平軸に対する装置の角度変位（すなわち縦揺れ）によって、上方または下方へ動かされている基準フレームのピクセル値が構成される。垂直軸に対する装置の角度変位（すなわち偏揺れ）によって、左方向または下方向へ動かされている基準フレームのピクセル値が構成される。システムは、縦揺れ、偏揺れおよびその組み合わせを検出する。本発明のシステムによって生成される姿勢信号は、そのような角度変位の検出に対応するものである。オプションとして横揺れもまた考慮に入れることができる。
【００１６】
姿勢信号が画面カーソルを制御するために生成されるアプリケーションにおいては、本装置は、好ましくは、カーソル制御信号の無線送信を行うための送信機を含む。例えば、信号は赤外線ビームの形で送信される。手持ち装置の縦揺れの変化が、画面カーソルの垂直方向の動きに変換され、一方装置の偏揺れ変化が画面カーソルを横方向に移動させる。この実施形態において、装置の垂直または水平の動きを画面カーソルの対応する垂直または水平の動きに変換するように、装置の動きを検出し利用することができる。
【００１７】
上記方法およびシステムの実施上の懸念の１つは、レンズ設計において曲線のひずみ（曲線型歪曲）として知られている現象の影響である。曲線のひずみは、また、糸巻き型(pin-cushion)、樽型(barrel)および遠近(perspective)ひずみとも呼ばれる。視界の外周部において、直線細部がそのようなひずみによって圧縮される。曲線のひずみは、（本発明での使用を考慮しているレンズのような）広い視界を持つ単体レンズにおいて特に顕著である。本発明において、視界は好ましくは約６４°であるので、曲線のひずみの発生は避けがたい。
【００１８】
好ましい実施形態において、アレイの光センサの寸法仕様は、曲線すなわち弓形の外周を持つアレイを定義するため可変的である。曲線のアレイの寸法は、レンズ・システムが誘引する曲線のひずみを補正するために必要な仕様にされる。光によって作成される像が曲線のひずみを特性化するように評価され、次に当該アレイがひずみを相殺するようにその形態を定められる。このようにして、光センサ・アレイ（以下、センサ・アレイとも呼称する）および光学部品の配置は、曲線のひずみの悪影響を減少させる。
【００１９】
本発明の利点は、信頼性が高くコスト効率のよい形態で装置姿勢を追跡することができる点にある。アレイを内包する装置が手持ち式装置であるアプリケーションについては、画面カーソルまたは同等機構の制御は、器用な手さばきを必要とすることなく経済的に達成される。更に、本装置は、その面を適切な方向に向けるような操作を必ずしも必要としない。
【００２０】
発明の課題を解決するための手段として、本発明は、装置に光センサの２次元アレイを配置するステップ、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップ、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップ、上記第１の画像を記憶するステップ、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップ、上記第１の画像と第２の像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップ、および上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップからなる装置の姿勢を追跡する方法を含む。
【００２１】
【発明の実施の形態】
図１に示されるように、手持ち式コントローラ装置１０は、画像データを取得し処理するためのＩＣパッケージ１２を含む。該パッケージの表面上に、光センサの２次元アレイ１６および処理回路１８を備えた光電子集積回路チップ１４が装着される。上記アレイおよび処理回路は、画像データの連続したフレームを取得することによって装置の姿勢を追跡することを可能にするために使用される。このようにして、水平軸２０に対する角度変位（すなわち縦揺れ）および垂直軸２２に対する角度変位（すなわち偏揺れ）が決定される。オプションとして、装置１０の縦方向軸２４に対する横揺れを監視することもできる本発明は、主として、例えばビデオ・ディスプレイの画面カーソルのような遠隔エレメントの制御を行うことに関連して記述される。しかしながら、装置に装備された光センサ・アレイによって形成される画像の相関をとる手段によって姿勢を追跡するアプローチは、画面カーソルまたは同等の機能を制御する以外の分野にも応用されることができる点は理解されるべきであろう。
【００２２】
センサ・アレイ１６および処理回路１８は、アレイの面が外側に向けられる形態で、コントローラ装置１０の前面に取り付けられる。レンズ２６は、図１に示されるように、アレイおよび回路を露出させるように部分的に切り出された形をしている。レンズは、ＩＣパッケージ１２に取り付けられる低コストのプラスチック・レンズでよい。レンズの焦点は名目上無限に設定される。レンズは周囲の環境領域にある画像をセンサ・アレイ１６に送る。姿勢を追跡するため環境内の多数の画像の特徴的部分を捕捉し姿勢追跡のためにそれらを使用することができるので、短焦点距離レンズが望ましい。画像品質要求はさほど厳しくなく、従って光学的構成に対する要求は緊要でない。実際には、画像は若干のボケが望ましいので、画像の空間周波数がアレイ・エレメントのサイズより粗くなるようにする。
【００２３】
環境の画像を作成するための視界の幅は、可能な限り視認可能な詳細を捕捉する要求と過度のひずみを回避する要求をバランスさせる問題である。６４°の視界は上記２つの要求の合理的な妥協を図るものである。図１の点線２８はセンサ・アレイ１６に関する視界を表す。本発明の姿勢追跡アプローチに対する曲線ひずみの悪影響を減少させるように、光学部品およびセンサ・アレイの配置を選択することが可能である。光学部品およびセンサ・アレイの配置の詳細は後述される。
【００２４】
コントローラ装置１０の上面に、カーソル制御キー３０およびリターン・キー３２が備えられる。操作の際、ビデオ・ディスプレイの画面カーソルは、制御キー３０を押すことによって捕捉できる。制御キーが押された場合、装置１０の角度変位がディスプレイ画面上のカーソルの動きに変換される。例えば、対話型テレビ・システムによって提示された映画のメニューから特定の映画を選択する際、キー３０を押し、本装置を左右上下に揺らすことによって、画面のカーソルが所望の映画にドラッグされる。次に、画面カーソルの制御をやめるため制御キー３０が解かれる。カーソルが所望のメニュー選択を示している場合、リターン・キー３２を押すことによって選択が起動される。代替形態として、コンピュータ・マウスの操作に類似した単一の選択キーを使用して、連続的カーソル制御を可能にすることもできる。
【００２５】
遠隔通信は、エミッタ３４を介して赤外線を用いた伝送によって提供される。赤外線の放射は当業界において周知のものである。カーソル制御のため、信号ベクトルが生成され送信される。データ・バイトをより短くすることによって赤外線通信チャネルの負荷を減らすため、信号ベクトルは増分値として送られる。信号ベクトルの伝送速度は、必要なカーソル応答を達成するために十分な速さでなければならないが、赤外線接続経路の限定的帯域幅の負担を制御されるセットに負わせる程速くなくてもよい。詳細は後述するが、本発明の１つの実施形態において、必要に応じて、４０ｍｓ(ミリ秒)毎に発信される１０ビット・ワードが伝送される。キー３０および３２のいずれも押されない場合伝送は発生しない。これは、カーソルに関連しない事象の間赤外線エミッタを他の機能のため使用することを可能にする。このように、コントローラ装置１０は、テレビ・チャンネルの変更のような他の事象を制御するキーを含むこともできる。
【００２６】
次に図１および図２を用いて説明すれば、制御クロック３６は、コントローラ装置１０に関する動作のタイミングを決定する。画像捕捉速度は、作像されるべき特徴的部分によって、少なくとも部分的に決定される。視界２８がＩＴＶシステムの操作にたずさわる人のリビング・ルームである場合、画像捕捉速度は、画像データが連続した画像の間の相関を可能にする程十分明瞭であることを保証できる十分な速さでなければならない。図２の回路は、５μｓの最小露出および５ｍｓの最大露出を示す露出制御３８を含む。電子的には、「露出時間」は、個々の光センサによって生成される電荷を、連続的に画像を捕捉する間の５ｍｓ間に積分することができるインターバルである。露出制御は手動で調節できるが、自動利得制御を確立するため画像相関器回路４２からのフィードバック・ライン４０を設けることが望ましい。従って、画像データが相関処理を実行するため整合性を保ちながら大きくなりすぎた場合でも、露出制御３８が光センサによる電荷を積分するためインターバルを増加させる。
【００２７】
上述のように、視界２８は約６４°であるように考慮される。３２×３２光センサからなるセンサ・アレイにおいて、１つのピクセルは、約２°の視界(６４°／３２ピクセル）を持つ。以下に記述の好ましい実施形態において、相関は最隣接ピクセル相関プロセスに限定される。これによって、コントローラ装置１０の動きに関する最大速度が規定される。好ましい実施形態において、最大速度は、連続して画像を捕捉する間に１ピクセル長を越えてはならない。画像データの１フレームが、相関器４２において５ｍｓ毎に取得されるべきであれば、最大速度は、秒当たり２００ピクセルである。各ピクセルの視界は２°であるので、最大速度は毎秒４００°である。
【００２８】
相関器４２の動作の詳細は後述される。相関器の基本機能は、画像データの最初のフレームにおけるピクセル値の配置を後続のフレームの同様の配置の位置と比較することである。センサ・アレイ１６は、３２×３２ピクセル値のフレームを取得するために使用される。最初に取得されるフレームは基準フレームと呼ばれる。最初の基準フレームは、図１におけるカーソル制御キー３０の押し下げとともに取得される。引き続き取得される、ピクセル値からなるフレームは、標本フレームと呼ばれ、基準フレームと比較してコントローラ装置１０の姿勢の変化を検出する。次に、新しい基準フレームが取得される。それぞれの相関計算の後、標本フレームを基準フレームとすることも可能である。代替的形態として、しきい値に達する毎に標本フレームを基準フレームとしてもよい。この場合、しきい値は、しきい時間でも、装置の動きに基づくしきい値でもよい。
【００２９】
相関の詳細は後述されるが、概念的には、相関プロセスは、位置的に基準フレームを固定して、標本フレームを基準フレームの上で透過的に種々の位置でシフトさせて２つのフレームの共通の特徴的部分の位置合せを検出するステップと見なされる。上記の相関プロセスは、図５に示される通りであり、図６に示されるピクセル・セルのようなセル・アレイによってその計算が実行される。
【００３０】
相関処理は、コントローラ装置１０の傾きのいかなる変化をも示す姿勢信号を生成する。図２に示されるように、相関器４２は、Ｘ軸に沿った変化が＋０.７５ピクセルで一方Ｙ軸に沿った変化が−０.３１ピクセルである信号を生成する。図１において、Ｘ軸に沿った正の運動は、視界２８が矢印４４の方向に動かされるような装置１０の角度変位の結果として示され、一方、Ｘ軸に沿った負の運動は、視界２８の変位成分が矢印４６によって示される方向にある場合のものである。Ｙ軸に関しては、姿勢信号の正の値が視界を矢印４８によって示される方向に回転させる装置１０の取り扱いを示し、一方、ΔＹの負の値が矢印５０によって示される方向への変位を示す。
【００３１】
相関器４２の動作に関する好ましいアプローチは、コントローラ装置１０の姿勢変化を追跡するため最隣接ピクセルのシフトを実行するものである。このアプローチは図４、図５および図６参照して詳述されるが、姿勢追跡は、代替的に、１ピクセルを越えるシフトを必要とする相関を使用して実施することも可能である。いずれのアプローチでも、端数のピクセル値を識別するため補間計算を実行することができる。画像相関における端数のピクセル値を識別するための補間計算は当業者には理解されるものであろう。
【００３２】
相関器４２からの出力は、カーソル制御の感度を増加させる乗算器５２で受け取られる。図２の実施形態において、乗算器は相関器からのΔＸおよびΔＹ値を２倍にする。次に、信号はアキュムレータ５４へ導かれる。「８による除算」回路５６がアキュムレータ５４の動作を指示する。アキュムレータ５４がモジュロ関数回路５８へ標本を出力する前に、８個の標本が乗算器５２から受け取られる。モジュロ関数回路の出力は、乗算器５２からの８個の標本の累積の整数部分である。上述のように、コントローラ装置１０は、赤外線エミッタ３４という手段によってカーソル制御信号を伝送する。赤外線伝送経路は、制限されたバンド幅を持つ。アキュムレータ５４の使用は、通信経路に関する要求を減少させる。
【００３３】
図２のアキュムレータ５４から出力される標本の例は、ΔＸ＝＋１５.２ピクセルおよびΔＹ＝−３.３ピクセルである。モジュロ関数回路５８は、パルス符号変調装置６０に整数のみを渡す。ΔＸ値およびΔＹ値の各々は５ビットに収納され、その４ビットは数値に関連し、残りはその数値の正負符号を表す。
【００３４】
モジュロ関数回路５８からパルス符号変調装置６０へ出力される値は整数値であるが、アキュムレータ５４からの標本の残余は残余回路６２へ導かれる。残余値は残余回路に保存され、アキュムレータ５４からの後続の値に加算される。
【００３５】
コンポーネントの残りの構成は、当業者に周知のものである。１０ビット・ワードがパルス符号変調装置６０から増幅器６４へ４０ｍｓ毎に出力される。このように、エミッタ３４からの赤外線伝送は毎秒２５ワードにすぎない。赤外線伝送は、ＲＩＶＳのようなディスプレイ・システムのセンサ６６によって受け取られる。赤外線センサ６６からの信号は、復調器６８によって復号され、ビデオ画面７２のカーソルを取り扱うためカーソル制御回路７０に送られる。単に例示の目的のためであるが、画面は６４×６４カーソル・アドレスを持ち、画面カーソルは、毎秒１５×２５＝３７５のアドレス状態を動くことができる。図１の視界２８が６４°である上述の例において、画面は０.１７秒（６４／３７５）で横切られる。
【００３６】
図２のコンポーネントの配置および相互作用によって、図１のコントローラ装置１０の姿勢の追跡に基づくカーソル制御が可能となる。コントローラ装置１０は、装置が存在する環境の画像の、明らかな動きを追跡することによって、装置の揺れを符号化する。エミッタ３４とセンサ６６の間の赤外線伝送経路を確立するため以外には、コントローラ装置１０が１つの方向を指し示すようにさせる必要はない。相関器４２については例外であるかもしれないが、図２の個々のコンポーネントは、当業者に容易に理解されるものであるから、詳細の説明は必要とされない。相関器４２の好ましい実施形態は以下に記述される。２次元センサ・アレイ１６および光学機構２６の好ましい構成もまた以下に記述される。
【００３７】
光センサ信号の列伝送
上述のように、図１および図２の実施形態は、３２列および３２行のセンサ・アレイ１６を含む。図３には、３２列の光センサの中の５列７４、７５、７６、７７およびと７８が示されている。また、３２行のうちの６行７９、８０、８１、８２、８３および８４も示されている(各光センサは図３においてＰ.Ｅ.と表示されている)。各列は別々の伝送増幅器８５に接続している。ある列の光センサは、読み取りスイッチ８６を閉じるため対応する伝送増幅器に接続される。図３の回路の動作において、２つの光センサが同時に同一伝送増幅器に接続されることはない。各伝送増幅器８５は、固定電圧源に接続される入力８７を含む。第２の入力８８は、伝送コンデンサ８９によって伝送増幅器の出力９０に接続される。
【００３８】
図３の回路の動作において、各伝送コンデンサ８９が第１行において光センサにおける光エネルギーに対応する電荷を受け取るように、光センサの第１行７９の読み取りスイッチ８６が閉じられる。このように、伝送増幅器８５および伝送コンデンサ８９は積分器としての役目を果たす。受け取られた電荷は、出力ライン９０を通して次の処理回路へ伝送される。第１行の読出しに続いて、第１行の読み取りスイッチが開かれ、伝送増幅器がリセットされる。次に、第２行８０の読み取りスイッチが、第２行の光センサから信号を伝送するため、閉じられる。光センサの各行が読み取られるまでプロセスは繰り返される。伝送増幅器８５の動作によって、光センサ信号は、行から行へという形態で後続の回路へ伝送される。
【００３９】
相関プロセス
図４は、装置の姿勢追跡のために相関処理を実行する手順を示している。要約すれば、相関は、連続フレームにおける作像された特徴的部分の位置を比較して、時間間隔の間におけるフレーム間の傾きの変化に関連した情報を作成する。最初のステップ２００で、基準フレームが取得される。上述のように、基準フレームの取得は、図１の装置１０の上面のカーソル制御キー３０の押し下げによって始動される。光センサからの信号の行毎の伝送は、アレイ１６における光センサの各々が読み取られるまで続く。基準フレームは、１,０２４個の（すなわち３２×３２＝１,０２４の）ピクセル値からなるフレームである。
【００４０】
コントローラ装置１０の姿勢追跡はコンピュータによる計算によって実行されるが、相関処理の概念は図４および図５を参照して説明することができる。基準フレーム２０２は、図示されているように例えばＴ形の画像化された特徴的部分２０４を持つ。画像の特徴的部分は、ＩＴＶシステムを操作している人の部屋の窓であることもある。一定時間(ｄｔ)経過後、図１ないし図３のセンサ・アレイを使用して、図５に示されるように、標本フレーム２０６が取得される。標本フレームの取得の際のコントローラ装置１０の視界２８の大部分は、基準フレーム２０２取得時点の視界と重ね合う。この結果、（例えば窓のような）画像化された特徴的部分２０４は、両方のフレームの範囲内に含まれる。装置の動きの持続時間ｄｔと速度は、共通の特徴的部分２０４が基準フレームから標本フレームへピクセル１個未満移動する程度であることが望ましい。図５において、特徴的部分は上方および右方へ１ピクセル分シフトしたように示されている。１ピクセル分のシフトは表示を単純化するためにのみ仮定されている。
【００４１】
図４において、基準フレーム取得ステップ２００の後、ステップ２０８で標本フレームが取得される。次に、計算ステップ２１０が実行される。相関ステップは、標本フレーム２０４および２つの最隣接ピクセル・セルのピクセル値の配置をシフトさせる動作である。シフト動作は、図５の２１２にその構成ピクセルが示されている８個の最隣接ピクセル・セルの各々について実行される。
【００４２】
図５の２１２を参照して説明すれば、シフト「０」は、標本フレーム２０６におけるピクセル値のシフトを含まず、シフト「１」は、上方および左方への斜めのシフトであり、シフト「２」は、標本フレームの上方へのシフトであり、その他も同様である。２１２の構成ピクセルで表現される基準フレームの８個のシフトは１度に発生するが、すべてのピクセル値のシフトは統一した様態をしている。このように、８個の、ピクセルがシフトした標本フレームが基準フレームと組み合わされ、複数位置フレームからなるフレーム・アレイ２１４が作成される。「位置０」と名付けられた位置フレームはシフトを含まず、従って、フレーム２０２および２０６の単なる組合せの結果である。
【００４３】
フレーム・アレイ２１４の中では、「位置７」が最も高い相関関係を持つ。相関の結果に基づいて、標本フレーム２０６のＴ形の特徴的部分２０４の位置は、以前に取得された基準フレーム２０２における同じ特徴的部分の位置に対して上方向および右方向へシフトしていると判断される。特徴的部分の動きは、図１において示されるように、左方向への矢印４４および下方向への矢印５０の動きによって示されるコントローラ装置１０の揺れの組合せの結果である。
【００４４】
他の相関手法も使用することができるが、「差の自乗和」相関は、許容できる手法である。図４および図５の実施形態に関して、それぞれ２１２からのオフセット値で形成される９つの相関係数(Ｃk ＝ Ｃ0, Ｃ1 ...Ｃ8)がある。
【００４５】
相関は、コントローラ装置１０の傾きを追跡するため連続して補足されるフレーム２０２および２０６の共通の特徴的部分２０４の位置を定めるために使用される。フレーム毎の角度変位を総和または積分することによって、画面カーソルを制御するための姿勢信号を生成することが可能となる。
【００４６】
ステップ２０８で取得された標本フレームに対して相関ステップ２１０が実行された後、基準フレームを維持すべきか、置き換えるべきかの判断がステップ２１６で行われる。実施形態によっては、基準フレームは置き換えられない。同一の基準フレームが後続の相関計算のために使用されるべき場合は、プロセスはステップ２０８へ戻り、新しい標本フレームが取得される。一方、基準フレームの置き換えが行われるアプリケーションに関しては、新しい標本フレームを取得するステップ２０８へ戻る前に、ステップ２１８で、以前に取得された標本フレームを新しい基準フレームとして使用する。
【００４７】
画面上のカーソルを移動させるプロセスを通して同一の基準フレームが使用されるべき場合、基準フレームの取得後共通の特徴的部分が１ピクセル長を越えて移動したことを検知したならば基準フレームをシフトさせることもできる。このように、基準フレームを装置の揺れに伴って動かすこともある。基準フレームを動かすプロセスは、高い相関的一致を実現するが、基準フレームが定期的に置き換えられないならば、発生する誤差が累積する。従って、好ましい実施形態では、このような「ランダム移動」誤差の増加に対し制約を設けるため、ステップ２１８が含まれる。
【００４８】
計算型セル
図６は、図５の２１２の最隣接ピクセルのシフトを実行し、図４の種々のステップを実行するために使用される個々のピクセル・セルすなわち計算型セル９４を示すブロック図である。しかし、当業者によって理解されるように、図４および図５に示される処理を実行するため他の回路を使用することは可能である。
【００４９】
図６中の計算型セル９４は、計算型セル・アレイの中の１つである。計算型セルと光センサの１対１の対応関係がある場合、図１ないし図３の実施形態は、１,０２４の計算型セルを持つ。基準フレームに関して、特定のセル９４に対応する光センサからのピクセル値がＲＥＦＤＡＴＡノード１４８に記憶され、一方、標本フレームのピクセル値はＮＮ(０)ノード１０８に記憶される。自乗差回路１４６のＮＮＩＮＰＵＴ入力１５０への信号接続を変更することによって、図５のフレーム・アレイ２１４を形成するためにシフトされた標本フレームが作成される。回路１４６の出力１５２は、コントローラ装置１０の姿勢を追跡するために他の１,０２３の計算型セルの出力と組み合わせられる。
【００５０】
ＷＲ(ｊ)信号の制御の下で電荷補充トランジスタ・スイッチ９８の手段によって、ライン９６において計算型セル９４に対応する光センサからイメージ・データＷＤＡＴＡ(ｉ)が受け取られる。ＷＲ(ｊ)信号がオフにされた後、新しいデータがコンデンサ１００に保持され、増幅器１０２によってバッファリングされる。１,０２４の計算型セルのアレイ全体において、ＣＤＡＴＡノード１０４のアレイは、プロセスのタイミングに従って、集合的に「基準フレーム」または「標本フレーム」と見なされる。制御入力ＣＤＯＵＴ１０６は、ＣＤＡＴＡ信号、比較データを選択するか、または、最隣接出力ノードＮＮ(０)１０８のためにＲＥＦＯＵＴを選択する。
【００５１】
最隣接入力ＮＮ(０)ないしＮＮ(８) １１０、１１２、１１４、１１６、１１８、１２０、１２２、１２４および１２６は、ライン１２８上のスイッチ制御信号Ｓ(０)ないしＳ(８)によって、別々に選択される。ＮＮ(０)ないしＮＮ(８)入力１１０−１２６は、図５のデータ・セル・マップ２１２に従う最隣接セルの出力である。スイッチ制御信号は、図示されていないが、計算型セル・アレイの外部にある４−９符号化器によって生成される。符号化器への４ビット入力が最隣接アドレスとして解釈され、００００(０)から１０００(８)までのバイナリ値を形成する。
【００５２】
最隣接入力ノード１３０は、ＲＥＦＬＤ１３２をパルス化することによってサンプルが採取され、それによって、ノードＲＥＦＨ１３４上にＮＮＩＮＰＵＴが記憶される。同様に、ＲＥＦＳＥＴ１４０をパルス化することによって、ＲＥＦＤＡＴＡ１３６のサンプルがとられＲＥＦＳＨ１３８上に記憶される。
【００５３】
テストのため、ＲＯＷＴＳＴＢ１４２がオンにされ、ＮＮ(０)信号がＴＥＳＴ出力１４４へ送られる。計算型セル・アレイにおいて、セルの行の各セルからのＴＥＳＴ信号が、各列の共通垂直バスへ接続し、計算型セル・アレイの底部においてマルチプレックスされ、チップから送り出される。計算型セル・アレイの左辺に沿った標準的復号器が、テストのための特定行の選択を可能にする。しかし、テスト機構は本発明にとって不可欠なものではない。
【００５４】
各計算型セル９４は、相関値を決定する回路１４６を持つ。第１の入力１４８は基準データをＲＥＦＤＡＴＡノード１３６から受け取る。第２の入力１５０は、ライン１２８においてスイッチ制御信号によって選択される適切な最隣接入力ＮＮＩＮＰＵＴを提供する。相関セルの出力１５２は電流である。計算型セル・アレイ中の相関出力のすべては、追跡回路１５４の単一の総和レジスタに合計される。総和レジスタに対して生成される電圧は図４の相関値として参照される。
【００５５】
図６の実施形態において、回路１４６は、自乗差計算に基づくものである。計算型セル９４は、計算型セル・アレイの基本設計を修正することなく、製品に対応した相関を提供するように修正することは可能である。制御入力Ｓ(０)−Ｓ(８)、ＲＥＦＬＤ、ＲＥＦＳＦＴおよびＣＤＯＵＴは、標本フレームが計算型セル・アレイの範囲内ですべて同様に取り扱われ、シフトされるように、計算型セル・アレイ全体にわたる共通値である。
【００５６】
図５の２１４によって表された関係は単一計算型セルおよび計算型セル・アレイ全体に関するものであることを理解することは重要である。画像の位置０は画像の現在位置を指す。画像が位置０から位置１へ移動するということは、計算型セル・アレイの計算型セルのすべての画像データが、左および上にある隣接セへ移動されることを表す。すなわち、動きは計算型セル・アレイの中の１つの計算型セルに関するものであるとともに、計算型セル・アレイの中のあらゆる計算型セルに関するものである。
【００５７】
計算型セル・アレイの機能は、画像取得、基準画像ロード、相関計算および基準画像移 動という４つの基本的動作の観点から説明できる。画像取得は、各計算型セル９４のＷＤＡＴＡライン９６を経由して新しい画像データをロードすることを意味する。本発明の実施形態においては、５０ｍｓ毎にピクセル値の新しいフレームが、センサ・アレイから列伝送増幅器を経由して取得される。新しい基準画像をロードするプロセスは、「フレーム転送」と呼ばれる。後述される計算型セル・アレイの動作は、フレーム転送信号(ＦＴＢ)を観察しそれと同期化することによってフレーム転送プロセスと調整される。新しい標本画像の妥当性は、ＦＴＢ信号の下降エッジによって示される。５８乃至６３段落に記述の動作はＦＴＢがオンとなっていない時にのみ適正である。
【００５８】
画像相関を計算することができるようになる前に、ピクセル値の基準フレームをロードすることが必要である。基準フレームをロードするためには、計算型セル・アレイのＣＤＡＴＡノード１０４における電圧のすべてがＲＥＦＨノード１３４へ転送されなければならない。これは、ＣＤＯＵＴ１０６およびＳ(０)を高レベルに設定して、ライン１３２上でＲＥＦＬＤ信号をパルス化することによって達成される。基準フレームも、また、Ｓ(０)の代わりにＳ(１)−Ｓ(８)入力の中の１つをオンにすることによって別の最隣接位置からロードされる。増幅器１５６は、ＲＥＦＤＡＴＡノード１３６からの信号をＲＥＦＨノード１３４に対してバッファリングする。計算型セル・アレイの範囲内のＲＥＦＤＡＴＡノード１３６の２次元アレイは集合的に基準フレームを意味する。
【００５９】
基準フレームがロードされた後、計算型セル・アレイは相関を計算する準備ができている。ピクセル値の基準フレームおよび後続の標本フレームの間の相関は、最隣接アドレスを所望の値にセットし、姿勢追跡回路１５４の総和レジスタに発生する電圧を記録することによって、計算される。基準フレームが取得された位置から１ピクセル距離センサ・アレイが移動した時、高い相関が最隣接位置の１つに検出される。図５において、そのような相関はフレーム・アレイ２１４の位置７にあるものとして検出される。端数ピクセルの動きは、２次元相関空間において補間を行うことによって決定することができる。
【００６０】
基準フレームと基準フレームの間の相関はＣＤＯＵＴ１０６を低レベルに設定し、ＲＥＦＳＦＴ１４０をパルス化することによって計算されることができる点注意する必要がある。これによって、最隣接入力は標本フレームでなくむしろ基準フレームから行われるようになる。
【００６１】
図４のステップ２１８において基準フレームが置き換えられた。しかし、最隣接セルを越えて参照できることを許容することによって、同一の基準フレームを複数回のピクセルの動きに使用することは可能である。装置の傾きの変化が視界を１ピクセル以上の距離シフトさせたことを検出すると、基準フレームは、計算型セル・アレイの範囲内の新しい位置にシフトされる。新しい位置へのシフトは、装置の傾きの変化によって指示される。新しい位置における基準フレームによって、最隣接相関が、移動された基準フレームと新たに取得された標本フレームの間の相関になる。基準フレームのピクセル値を新しい位置に移動することによって、姿勢追跡の正確度について妥協することなく、計算型セル間の接続が最低限に維持される。
【００６２】
基準フレームの移動は計算型セル・アレイの個々の計算型セルの範囲内で達成される。図６の計算型セル９４を参照して説明すれば、最初のステップは、ＲＥＦＳＦＴ１４０を高レベルでパルス化してＲＥＦＳＨ１３８においてＲＥＦＤＡＴＡ信号１３６を標本採取して保持する。第３のバッファ増幅器１５８がＲＥＦＳＨ信号を用いてＲＥＦＯＵＴ１６０を駆動する。ＣＤＯＵＴ１０６は低レベルに駆動され、そのためＲＥＦＯＵＴ１６０がＮＮ(０)ノード１０８において計算型セル９４の出力となることができる。
【００６３】
次に、最隣接アドレスが、スイッチ制御信号ライン１２８から適切なＳ(０)−Ｓ(８)入力を選択するように設定される。例えば、図５のＴ形の特徴的部分２０４が、基準フレーム２０２が取得された時点から標本フレーム２０６が取得される時間までに右上方へ移動したことが検出されると、基準フレームを構成するピクセル値が、セルごとに、右上方へシフトされなければならない。Ｓ(０)−Ｓ(８)信号がセル入力ＮＮＩＮＰＵＴ１３０のアドレスを切り換えるので、図５の２１２の中の位置０から位置７へピクセル値が移動することが可能となるように、Ｓ(７)は高レベルにされなければならない。このことは計算型セル・アレイの各計算型セルにおいて起こる。ＲＥＦＯＵＴ１６０が該当する隣接セルのＮＮＩＮＰＵＴ１３０上に定まると、ＲＥＦＬＤ１３２が高レベルにされ、移動された基準値がＲＥＦＨ１３４において標本採取され保持される。この動作が計算型セル・アレイの計算型セルの各々において発生した後、計算型セル・アレイは再び相関を計算する準備ができる。
【００６４】
センサ／光学部品配置
本発明のもう一つの側面は、レンズ設計技術において周知の「曲線のひずみ」の悪影響を減少させる機器の配置である。このひずみは、ピンクッション、軸および透視ひずみとも呼ばれる。ひずみは、視界の外周において直線の細部を圧縮する。
【００６５】
曲線のひずみは、視界の広い単体レンズについて顕著である。図１のレンズ２６はそのようなレンズである。ひずみのために、特徴的部分が視界を横切るに際に、特徴的部分の見かけの形状が変化するので、ひずみは問題である。特性の明白な形状の変化は、図４ないし図６を参照して記述した相関をとるプロセスに悪影響を及ぼす。
【００６６】
図７は、ひずみのない光学部品で３２×３２ピクセル・アレイ２２０上へ画像化されたＴ形の特徴的部分を示す。そのような光学部品を使用すれば、特徴的部分の形状は、ピクセル・アレイ全体にわたって変化せず、従って、高品質の相関および揺れの追跡が可能とされる。
【００６７】
一方、図８は、単体レンズを使用してピクセル・アレイ２２２上へ作像された同一の特徴的部分を示す。特徴的部分がレンズの光軸から離れる程ひずみが増加することが観察される。図９は、図５の相関処理を実行するため特徴的部分が計算型セル・アレイによって解読される仕方を示す。図９のアレイ２２４の各ピクセルは、図６で示されたような計算型セル９４の１つを表す。明らかに、計算型セル・アレイの範囲内で位置を変える毎に、特徴的部分の形状が変わる。これは、相関の質および装置姿勢の追跡の正確度を低減させる。同様に、特徴的部分の動きが位置とともに変わり、更に装置姿勢の追跡の正確性を低下させる。例えば、大きく軸をはずれた動きの細部は、同一の動きが軸上で起きた場合より少ない動きとして測定されるであろう。その結果、システムの姿勢追跡の正確性は低下する。悪影響は、多数のピクセルにわたって基準画像を適用しないことによって少なくすることはできるかもしれないが、基準フレームを通常より頻繁に「リセットする」オプションによって、増分誤差の数が増加し、追跡の不正確性が増す。
【００６８】
図１０には、レンズのひずみに合致するように構成された光センサの２次元アレイ２２６が示されている。すなわち、曲線のひずみの誘引に関するレンズ・システムの特徴が判断され、光センサの２次元アレイはひずみを補正するように構成されている。図１０において、３つの異なる位置のＴ形の特徴的部分が曲線アレイに投影されている。特徴的部分の画像はなお歪んでいるが、ひずみによって画像はピクセル内にうまくおさまっていることが認められる。このように、各特徴的部分は、計算型セル・アレイ・レベルで直線をなすように見える。すなわち、図１０で示されるように、隅の画像２２８はセンサ・レベルで歪んでいるが、図１１の計算型セル・アレイにおいて、その隅の画像２３０はひずみのない「Ｔ」として認識される。
【００６９】
以下に光センサ・アレイ要素の曲線様態を確認する方法を記述する。概念的には、その方法は、直線の（曲線ではない）セルの３２×３２アレイを（１平方フィートの大きさに）拡大投射することから始まる。次に、選択したレンズを使用してこの３２×３２アレイの像を作成する。この小さく曲線的像はレンズのひずみを捕捉し、理想的なアレイ形態を求めるための合理的な近似を表す。このプロセスによって、どのような視界を持つレンズを用いても正確に作像を行うことができ、位置航法のような多くの応用分野に適用される。しかし、本発明のポインティング・デバイスの分野では、距離でなく角度を変換することが目的である。狭い視界のレンズの場合、光軸から離れて動くほど、角度は一層圧縮される傾向がある。
【００７０】
球形のセグメントが前述の平らなアレイの代わりに使用されるように設計を変更することによって、この望ましくない角度圧縮は避けられる。球形のセグメントの中心は、ほぼレンズの節点の位置に重ね合わされる。セグメントは、緯度および経度共に２度の間隔で線引きされる。球形セグメント上に形成された各セグメントは、作像され変換されると、アレイ・セルの輪郭であるとみなされる。曲線アレイを生成するこの方法は、実際、コンピュータによる放射線追跡を使用して最もうまく実施される。多数の市販の光学設計プログラムが当業者にとって利用可能でありまたよく知られている。
【００７１】
曲線アレイの利点の１つは、像がセンサ・アレイの軸からどれほど離れているかに関係なく、それが一層正確な自己相関を提供する点である。第２の利点は、距離が正しいもので圧縮されてないため、像がセンサ・アレイ上で投影された位置に関係なく、大幅な動きに対する姿勢追跡が正確である点である。曲線のアレイの利点のそれぞれが正確な追跡に貢献する。相関がより強くしかもノイズが少ないため、各移動区間の終端点を測定する正確性は一層高い。更に、より長い区間において像を追跡することができるので、基準フレームをリセットする頻度が減らされ、累積される再リセット化誤差が少なくなる。最後に、曲線アレイは軸外れの移動を圧縮しないので、距離測定の正確性も増加する。
【００７２】
本発明には、例として次のような実施様態が含まれる。
（１）装置の姿勢を追跡する方法であって、上記装置に光センサの２次元アレイを配置するステップと、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップと、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップと、上記第１の画像を記憶するステップと、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップと、上記第１の画像と第２の画像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップと、上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップと、を含む装置姿勢追跡方法。
（２）上記姿勢信号に応答して、表示画面上のカーソル位置を制御するステップを更に含む、上記（１）に記載の装置姿勢追跡方法。
（３）上記カーソル位置を制御するステップが、上記装置から遠隔受信機へ無線形態で上記姿勢信号を伝送することを含む、上記（２）に記載の装置姿勢追跡方法。
（４）光センサの２次元アレイを配置する上記ステップが、手持ち式部材に上記アレイを取り付けるステップである、上記（１）に記載の装置姿勢追跡方法。
（５）上記第１の画像を取得するステップが、傾きの上記変化を決定するため一連の標本フレームと比較を行う基準フレームを規定するステップを含む、上記（１）に記載の装置姿勢追跡方法。
（６）上記光センサの焦点が公称上無限である、上記（１）に記載の装置姿勢追跡方法。
（７）上記第１の画像を取得するステップおよび第２の画像を取得するステップが、上記表示画面が存在する環境領域の画像のデータを形成するステップである、上記（３）に記載の装置姿勢追跡方法。
（８）定期的に標本画像を取得し、各標本画像を既に取得した画像に相関させ、上記標本画像の範囲内の共通の特徴的部分の位置的相違を検出するステップを更に含む、上記（７）に記載の装置姿勢追跡方法。
【００７３】
（９）姿勢を追跡するシステムであって、格納装置と、特徴的部分の画像を形成するため上記格納装置に配置された光センサの２次元アレイと、各々が特定の時間に特定の光センサにおいて受け取られる光エネルギーを示す複数ピクセル値からなる基準フレームを記憶するため、上記アレイに接続された記憶手段と、上記アレイおよび上記記憶手段に接続され、上記特定時間の後に上記アレイにおいて受け取られる光エネルギーに応答して、上記基準フレームの上記ピクセル値の配置と少なくとも１つの標本フレームのピクセル値との相関をとる相関手段と、上記相関手段による相関関係の検出に応答して、上記基準フレームの上記ピクセル値に対する上記少なくとも１つの標本フレームのピクセル値の上下左右の揺れすなわち上記格納装置の上下左右の揺れを表す姿勢信号を生成する計算手段と、を備える姿勢追跡システム。
（１０）上記格納装置が手持ち式である、上記（９）に記載の姿勢追跡システム。
（１１）ビデオ・ディスプレイと、上記ビデオ・ディスプレイのカーソルを取り扱うカーソル制御信号を形成するため上記姿勢信号を受け取る復調器手段と、を更に備える上記（１０）に記載の姿勢追跡システム。
（１２）上記カーソル制御信号を上記ビデオ・ディスプレイに無線送信する送信手段を更に備える、上記（１１）に記載の姿勢追跡システム。
（１３）公称無限の焦点距離を持つ光学手段を備え、上記光学手段によって誘引されるひずみを補正するために選択される曲線を持った弓形の辺を上記アレイが持つ、上記（９）に記載の姿勢追跡システム。
【００７４】
（１４）ビデオ・ディスプレイのカーソルの動きを制御する方法であって、光センサの２次元アレイを持つ手持ち式装置を準備するステップと、上記装置が存在する環境領域に対する上記装置の動きを追跡するステップと、を含み、装置の動きを追跡する上記ステップが、大部分が重ね合う上記アレイの視界の複数の画像を定期的に形成するサブステップと、第１の画像を基準画像として記憶するサブステップと、連続した画像の範囲内の上記領域の特徴的部分の位置的変化が計算上認識されるように上記複数の画像の相関をとるサブステップと、上記位置的変化の認識に対応するカーソル制御信号を形成するサブステップと、上記カーソル制御信号を上記ビデオ・ディスプレイに送信するサブステップとを含む、方法。
（１５）相関させる上記サブステップが、上記手持ち式装置の上下左右の揺れを示す姿勢信号を形成することを含む、上記（１４）に記載の方法。
（１６）上記カーソル制御信号を送信するサブステップが、上記信号を無線形式で上記ビデオ・ディスプレイに送信することを含む、上記（１４）に記載の方法。
【００７５】
（１７）センサおよび光学機器の配置機構であって、光センサのアレイと、上記アレイによって像を作成するために必要な焦点を提供するレンズ・システムとを備え、上記レンズ・システムが上記アレイに像の曲線的ひずみを誘引する特徴を持ち、上記アレイが、上記曲線のひずみの補正を行うため、弓形の辺を含む形状を持つ、配置機構。
（１８）上記光センサが、複数の行および複数の列に配置され、上記光センサが上記アレイに関する光軸を規定するように組み合わされ、隣接列が弓形境界によって間隔をあけられ、上記光軸から離れるほど上記弓形境界の曲率半径が増大する、上記（１７）に記載の配置機構。
（１９）隣接行が第２の弓形境界によって間隔をあけられ、上記光軸から離れるほど上記第２の弓形境界の曲率半径が増大する、上記（１８）に記載の配置機構。
【００７６】
【発明の効果】
本発明は、装置の姿勢を高い信頼度を持って追跡するシステムおよび方法を実現し、また、特に画面カーソルを制御するアプリケーションまたはその他の遠隔対話式映像アプリケーションにおいて、コスト効率のすぐれた装置姿勢追跡システムおよび方法を利用できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に従って装置の姿勢追跡を可能にする手持ち式装置の透視図である。
【図２】本発明に従って画面カーソルを制御するコンポーネントのブロック図である。
【図３】光センサ・アレイおよび図２の相関器の伝送増幅器のブロック図である。
【図４】本発明に従って連続した像を相関させるプロセスの流れ図である。
【図５】図４のプロセスの概念図である。
【図６】図４のプロセスを実行するためのセル・アレイの計算型セルの実施形態を示すブロック図である。
【図７】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図８】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図９】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１０】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１１】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【符号の説明】
１０ 手持ち式コントローラ装置
１２ ＩＣパッケージ１２
１４ 光電子集積回路チップ
１６ 光センサの２次元アレイ
１８ 処理回路
２０ 水平軸
２２ 垂直軸
２４ 縦方向軸
２６ レンズ
２８ 視界
３０ カーソル制御キー
３２ リターン・キー
３４ エミッタ
３６ 制御クロック
３８ 露出制御回路
４２ 相関器
５２ 乗算器
５４ アキュムレータ
５６ 除算器
５８ モジュロ回路
６０ パルス符号変調器
６４ 増幅器
６６ 赤外線センサ
６８ 復調器
７０ カーソル制御回路
７２ 表示画面
７４、７５、７６、７７、７８ 光センサ列
７９、８０、８１、８２、８３、８４ 光センサ行
８５ 伝送増幅器
８６ 読み取りスイッチ
８７、８８ 入力
８９ 伝送コンデンサ
９０ 出力
９８ 電荷補充トランジスタ・スイッチ
１００ コンデンサ
１０２、１５６、１５８ 増幅器
１４６ 相関値決定回路
１５４ 追跡回路
２０２ 基準フレーム
２０４ Ｔ型特性
２０６ 標本フレーム
２１２ 位置０から位置７
２１４ 最隣接位置
２２０、２２２、２２４、２２６、２３２ ２次元ピクセル・アレイ
２２８、２３０ 隅のＴ型特性
【発明の属する技術分野】
本発明は、一般的には、装置の姿勢を追跡する方法およびシステムに関するもので、特に、ビデオ・ディスプレイのカーソルのような装置またはプロセスを制御するため装置の姿勢を追跡することに関するものである。
【０００２】
【従来の技術】
ビデオ・システムにおいて表示画面上に提示される情報と人がやりとりしなければならないアプリケーションがある。時には、人が表示画面から距離をおいている時にそのようなやりとりが発生することがある。詳細は後述するが、そのようなやりとりを実施する種々の形態の１つとして、遠隔地点から画面を制御する方法がある。やりとりには、表示画面メニューとして提示される選択肢を選択することや表示装置のキーボードを使用してテキストを「タイプ」することが含まれる。遠隔対話式ビデオ・システム(Remote Interactive Video Systemの頭文字をとって以下ＲＩＶＳと略称する)の例には、対話式テレビ(Interactive TVの頭文字をとって以下ＩＴＶと略称する)、テレビ型インターネット・ブラウザおよびビデオ会議室ビデオ・プロジェクタ等が含まれる。
【０００３】
ＲＩＶＳの１つの重要なコンポーネントは、画面上のカーソルを制御するための「ポインティング」デバイスである。ポインティング・デバイスは、マウス、トラック・ボールおよび図形タブレットがコンピュータのため実行する機能と同等の機能を果たす。しかし、ＲＩＶＳに関連するシステム環境は、一般的にコンピュータの操作において出会うことのないような困難さを示す。例えば、ＲＩＶＳオペレータは、一般的に、コンピュータ・オペレータと比較して制御する装置から一層遠隔の地点で操作を行う。別の例としては、ＲＩＶＳのオペレータは、例えばＩＴＶオペレータがリビング・ルームでテレビジョン受信機から離れて座っている場合のように設備が整っていない環境にいることが多い。多くの状況において、マウスのような既存のコンピュータ・ポインティング・デバイスを使用できる環境ではない。更に、ＲＩＶＳはキーボードを備えてないことが多いので、ポインティング・デバイスがテキスト入力の役割を果たすという余分な負荷を負わなければならない。
【０００４】
ＲＩＶＳのために多数の既知のポインティング・デバイスがある。大部分の既知のポインティング・デバイスは、若干のバリエーションはあるが基本的には手持式コントローラ上で４キー式カーソル・パッドを実装したものである。４キー式カーソル・パッドは、種々のメニュー選択を行うため画面カーソルを上下左右に移動させるように取り扱われる。そのようなインターフェースは、旧式なテキスト・インターフェースを使用したコンピュータ・キーボードのカーソル・キーをエミュレートする。しかし、これらのインターフェースは、一般的には、最近のグラフィック・ソフトウェア・インターフェースのために開発されたコンピュータ・マウスおよびその他のポインティング・デバイスに比較して動きが遅く反応が鈍い。
【０００５】
ＲＩＶＳ環境内のカーソル制御を改善する努力の１つとして、マウスおよびトラックボールという先進的コンピュータ・ポインティング・デバイスが応用された。１つの応用例では、ミニチュア・トラックボールがコントローラの上部に装備され、トラックボールは人の親指で操作される。トラックボール・コントローラは、カーソル・キーを使用した場合より速く、斜めの移動を実現する。あいにく、トラックボールは、カーソルの大幅な移動を行う場合、ストロークを繰り返す必要があり、一般的には親指制御はユーザの機敏な親指の動作を必要とする。例えば、表示画面上の円の中のカーソルを追跡することは難しい。ＩＴＶカーソル制御のためマウスを使用することは既に実施されている。マウスの利点は、それが、反応の速いすぐれたカーソル制御を提供する点である。問題は、オペレータにとって都合のよい、平らな操作面がない可能性があることである。
【０００６】
ＲＩＶＳポインティング技術における一層の改良は、コントローラを用いて単に身振りをすることによってカーソルの制御を可能にするデバイスの使用である。これらのデバイスは、コントローラの姿勢、すなわち、縦揺れ(pitch)、偏揺れ(yaw)、およびおそらく横揺れ(roll)を測定する。このようなアプローチの第１のカテゴリは、光ビームを使用して姿勢を測定するものである。PCT International Publication Number WO 95/19031には、固定された基本ユニットに相対する遠隔ユニットのポインティング方向を決定するシステムが記載されている。この固定された基本ユニットには、光ビームを発するための１つまたは複数の光源が含まれる。発射された光は、少なくとも１つのあらかじめ決められた方向に収束される。可動遠隔ユニットには収束された光を検出する光検出器が備えられる。可動遠隔ユニットの姿勢は、種々の方向から受け取られる光の強度を測定することによって決定される。
【０００７】
姿勢を測定するため発射された光を使用するカテゴリーの別の実施例は、赤外線信号がビデオ・ディスプレイの領域から放射される形態である。この場合、赤外線信号は散乱され、コントローラの４式フォトダイオード・アレイ上に照射される。４個のフォトダイオードの相対的信号振幅を使用して、ディスプレイから引かれる線に対するコントローラの相対的方向が決定される。このシステムに関する問題の１つは、システムが望ましくない強さの赤外線の洪水を部屋にまき散らし、近くにある(ＶＣＲコントローラのような)他の赤外線応用装置を誤動作させるかもしれない点である。第２の問題は、コントローラがビデオ・ディスプレイから離れている場合、散乱された赤外線信号の限られた伝逹範囲が、この姿勢測定システムの信頼性を損なわせることがある点である。
【０００８】
コントローラの姿勢を測定するデバイスの第２のカテゴリは、慣性航法原理が使われているものである。ジャイロスコープまたは符号化ジンバル式装置が、姿勢変化測定対象のコントローラに慣性系を確立する。次に、ビデオ・ディスプレイの上部に装着された小型ダイポール・アンテナへの無線周波伝送経路を介して、姿勢情報がビデオ・ディスプレイに伝送される。
【０００９】
第３のカテゴリは、第１のカテゴリに関連する。カーソル制御を提供する手持式物体が、その１つの表面上に装備される多数の光源を持つ。単一の電子カメラが、手持式物体上に装備された光源の像を捕捉するように向けられる。複数光源の像の位置が各カメラ像の形態で検出され、コンピュータを使用して、光を発する手持式物体の姿勢が決定される。そのような装置は、DeMenphon氏に付与の米国特許第5,338,059号に記述されている。
【００１０】
仮想現実(virtual reality)の分野にも、上述の分野に密接に関連した必要性が存在する。ゲーム、シミュレーションおよびその他の映像分野において、ユーザの頭またはその他の身体部分の姿勢を符号化することがしばしば必要とされる。多くのケースにおいて、頭の左右上下の揺れを符号化するシステムがＲＩＶＳコントローラに適用され、またその逆の場合もある。１つの既知の仮想現実システムでは、計器を取り付けたコンパスおよび重力計という手段によって揺れが符号化される。
【００１１】
既知のカーソル制御装置および姿勢決定システムがそれらの意図された目的のため適切に作動するとはいえ、それぞれ懸念または問題を持っている。操作が迅速にできなかったりまたは退屈であったり、あるいは特定の操作面を使用する必要がある。赤外線放射を含む装置およびシステムは、他の装置の動作に悪影響を及ぼすかもしれない。重力に基づく姿勢検知装置は、横方向の加速と傾きを識別することが困難で、従って制御を誤る可能性がある。この最後の問題は、ジャイロ安定化によって概念的には解決できるかもしれないが、コストおよび消費電力がこの解決策の魅力を失わせる。光検出を利用する既知のシステムは、ディスプレイ上に第２の仕掛けを追加することを必要とし、このためまた追加コストを必要とする。
【００１２】
【発明が解決しようとする課題】
従って、装置の姿勢を高い信頼度を持って追跡する方法およびシステムが必要とされる。また、そのような方法およびシステムは、画面カーソルを制御するために使用される場合または他の遠隔対話式映像アプリケーションにおいて使用される場合、コスト効率の高いものでなければならない。
【００１３】
【課題を解決するための手段】
光センサの２次元アレイ手段によって取得される連続した画像の相関関係が、該アレイが接続される装置の姿勢を追跡する基礎として使用される。本発明の好ましい実施形態において、上記装置は、ビデオ・セットの表示画面上でカーソルを取り扱うためのコントローラのような手持式部材である。連続する画像に共通の画像の特徴的部分の位置的相違を検出するため複数の画像の相関をとる処理段階に基づいて、本発明のシステムは、画像取得の時間的インターバルにおける傾きの変化を標示する姿勢信号を生成する。すなわち、姿勢信号は、光センサのアレイを備える装置の縦揺れ、偏揺れ、およびオプションとして横揺れによって決定される。取得される画像が制御されているもの（例えば画面カーソル）に関係づけられる必要がないので、本発明の上記装置は、制御プロセスの間、どの方向にも向くことができる。更に、装置の角度変位と制御されているものの動きの間に１対１の対応関係を設ける必要はない。例えばカーソル制御の範囲内でコントローラを任意の方向に向けることができるし、上下左右の揺れ角度とカーソル移動距離の関係はユーザによって調節可能である。
【００１４】
光センサの２次元アレイを使用して装置の姿勢を追跡するため基準フレームが取得される。基準フレームは記憶され、アレイの視界の範囲内で特徴的部分の第２の画像が取得される。第２の画像は標本画像と見なされ、２つの画像の視界は大部分重ね合わされるため、基準フレームと標本フレームは多数の共通の特徴的部分を含む。必須のものではないが、該装置は、公称上無限の焦点を提供する光学部品を含み、それによって、光センサのアレイに対し意図的にボケた画像を送る。画面カーソルを制御する装置の応用において、代表的な画像の特徴的部分には、窓、ランプ、家具および表示画面それ自体が含まれる。本発明のいかなる応用においても、相関の目的で固定された光の連続的画像を使用するため、１つまたは複数の静止光源を、画像が作成される環境の範囲内に特に追加することができる。そのような実施形態の１つにおいて、光源は赤外線エミッタであり、装置の姿勢を追跡するため、赤外線フィルタを用いた画像作成アレイ（光センサ・アレイまたはセンサ・アレイとも呼称する）が装置に備えられる。
【００１５】
基準フレームと標本フレームとの相関をとるステップは、概念的に、次の通りである。すなわち、フレームの１つが位置的に固定され、別のフレームが反復的にシフトされ、どのシフトされた位置が２つのフレームに共通の画像の特徴的部分の位置を合わせた状態に最も近いかを判定し、それによって、２つの画像を取得する特定の時間の間の時間的インターバルの間の縦揺れおよび偏揺れを判断することが可能となる。実際問題として、シフトはコンピュータの計算によって実行される。シフトはピクセル値のシフトであって、この場合ピクセル値の各々は特定の時間に特定の光センサで受け取られる光エネルギーを示す。相関は、最隣接ピクセル相関の場合のようにただ１つのピクセルの計算シフトに限定することも、あるいは、多数ピクセル計算シフトであることもできる。計算上さほど複雑でなく、オリジナルの位置および８つの計算シフトだけが必要であるにすぎないので、最隣接ピクセル相関プロセスが望ましい場合が多い。移動が１ピクセル長より小さい場合、補間が実行され、１ピクセル長より少ない角度変位が判別される。水平軸に対する装置の角度変位（すなわち縦揺れ）によって、上方または下方へ動かされている基準フレームのピクセル値が構成される。垂直軸に対する装置の角度変位（すなわち偏揺れ）によって、左方向または下方向へ動かされている基準フレームのピクセル値が構成される。システムは、縦揺れ、偏揺れおよびその組み合わせを検出する。本発明のシステムによって生成される姿勢信号は、そのような角度変位の検出に対応するものである。オプションとして横揺れもまた考慮に入れることができる。
【００１６】
姿勢信号が画面カーソルを制御するために生成されるアプリケーションにおいては、本装置は、好ましくは、カーソル制御信号の無線送信を行うための送信機を含む。例えば、信号は赤外線ビームの形で送信される。手持ち装置の縦揺れの変化が、画面カーソルの垂直方向の動きに変換され、一方装置の偏揺れ変化が画面カーソルを横方向に移動させる。この実施形態において、装置の垂直または水平の動きを画面カーソルの対応する垂直または水平の動きに変換するように、装置の動きを検出し利用することができる。
【００１７】
上記方法およびシステムの実施上の懸念の１つは、レンズ設計において曲線のひずみ（曲線型歪曲）として知られている現象の影響である。曲線のひずみは、また、糸巻き型(pin-cushion)、樽型(barrel)および遠近(perspective)ひずみとも呼ばれる。視界の外周部において、直線細部がそのようなひずみによって圧縮される。曲線のひずみは、（本発明での使用を考慮しているレンズのような）広い視界を持つ単体レンズにおいて特に顕著である。本発明において、視界は好ましくは約６４°であるので、曲線のひずみの発生は避けがたい。
【００１８】
好ましい実施形態において、アレイの光センサの寸法仕様は、曲線すなわち弓形の外周を持つアレイを定義するため可変的である。曲線のアレイの寸法は、レンズ・システムが誘引する曲線のひずみを補正するために必要な仕様にされる。光によって作成される像が曲線のひずみを特性化するように評価され、次に当該アレイがひずみを相殺するようにその形態を定められる。このようにして、光センサ・アレイ（以下、センサ・アレイとも呼称する）および光学部品の配置は、曲線のひずみの悪影響を減少させる。
【００１９】
本発明の利点は、信頼性が高くコスト効率のよい形態で装置姿勢を追跡することができる点にある。アレイを内包する装置が手持ち式装置であるアプリケーションについては、画面カーソルまたは同等機構の制御は、器用な手さばきを必要とすることなく経済的に達成される。更に、本装置は、その面を適切な方向に向けるような操作を必ずしも必要としない。
【００２０】
発明の課題を解決するための手段として、本発明は、装置に光センサの２次元アレイを配置するステップ、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップ、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップ、上記第１の画像を記憶するステップ、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップ、上記第１の画像と第２の像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップ、および上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップからなる装置の姿勢を追跡する方法を含む。
【００２１】
【発明の実施の形態】
図１に示されるように、手持ち式コントローラ装置１０は、画像データを取得し処理するためのＩＣパッケージ１２を含む。該パッケージの表面上に、光センサの２次元アレイ１６および処理回路１８を備えた光電子集積回路チップ１４が装着される。上記アレイおよび処理回路は、画像データの連続したフレームを取得することによって装置の姿勢を追跡することを可能にするために使用される。このようにして、水平軸２０に対する角度変位（すなわち縦揺れ）および垂直軸２２に対する角度変位（すなわち偏揺れ）が決定される。オプションとして、装置１０の縦方向軸２４に対する横揺れを監視することもできる本発明は、主として、例えばビデオ・ディスプレイの画面カーソルのような遠隔エレメントの制御を行うことに関連して記述される。しかしながら、装置に装備された光センサ・アレイによって形成される画像の相関をとる手段によって姿勢を追跡するアプローチは、画面カーソルまたは同等の機能を制御する以外の分野にも応用されることができる点は理解されるべきであろう。
【００２２】
センサ・アレイ１６および処理回路１８は、アレイの面が外側に向けられる形態で、コントローラ装置１０の前面に取り付けられる。レンズ２６は、図１に示されるように、アレイおよび回路を露出させるように部分的に切り出された形をしている。レンズは、ＩＣパッケージ１２に取り付けられる低コストのプラスチック・レンズでよい。レンズの焦点は名目上無限に設定される。レンズは周囲の環境領域にある画像をセンサ・アレイ１６に送る。姿勢を追跡するため環境内の多数の画像の特徴的部分を捕捉し姿勢追跡のためにそれらを使用することができるので、短焦点距離レンズが望ましい。画像品質要求はさほど厳しくなく、従って光学的構成に対する要求は緊要でない。実際には、画像は若干のボケが望ましいので、画像の空間周波数がアレイ・エレメントのサイズより粗くなるようにする。
【００２３】
環境の画像を作成するための視界の幅は、可能な限り視認可能な詳細を捕捉する要求と過度のひずみを回避する要求をバランスさせる問題である。６４°の視界は上記２つの要求の合理的な妥協を図るものである。図１の点線２８はセンサ・アレイ１６に関する視界を表す。本発明の姿勢追跡アプローチに対する曲線ひずみの悪影響を減少させるように、光学部品およびセンサ・アレイの配置を選択することが可能である。光学部品およびセンサ・アレイの配置の詳細は後述される。
【００２４】
コントローラ装置１０の上面に、カーソル制御キー３０およびリターン・キー３２が備えられる。操作の際、ビデオ・ディスプレイの画面カーソルは、制御キー３０を押すことによって捕捉できる。制御キーが押された場合、装置１０の角度変位がディスプレイ画面上のカーソルの動きに変換される。例えば、対話型テレビ・システムによって提示された映画のメニューから特定の映画を選択する際、キー３０を押し、本装置を左右上下に揺らすことによって、画面のカーソルが所望の映画にドラッグされる。次に、画面カーソルの制御をやめるため制御キー３０が解かれる。カーソルが所望のメニュー選択を示している場合、リターン・キー３２を押すことによって選択が起動される。代替形態として、コンピュータ・マウスの操作に類似した単一の選択キーを使用して、連続的カーソル制御を可能にすることもできる。
【００２５】
遠隔通信は、エミッタ３４を介して赤外線を用いた伝送によって提供される。赤外線の放射は当業界において周知のものである。カーソル制御のため、信号ベクトルが生成され送信される。データ・バイトをより短くすることによって赤外線通信チャネルの負荷を減らすため、信号ベクトルは増分値として送られる。信号ベクトルの伝送速度は、必要なカーソル応答を達成するために十分な速さでなければならないが、赤外線接続経路の限定的帯域幅の負担を制御されるセットに負わせる程速くなくてもよい。詳細は後述するが、本発明の１つの実施形態において、必要に応じて、４０ｍｓ(ミリ秒)毎に発信される１０ビット・ワードが伝送される。キー３０および３２のいずれも押されない場合伝送は発生しない。これは、カーソルに関連しない事象の間赤外線エミッタを他の機能のため使用することを可能にする。このように、コントローラ装置１０は、テレビ・チャンネルの変更のような他の事象を制御するキーを含むこともできる。
【００２６】
次に図１および図２を用いて説明すれば、制御クロック３６は、コントローラ装置１０に関する動作のタイミングを決定する。画像捕捉速度は、作像されるべき特徴的部分によって、少なくとも部分的に決定される。視界２８がＩＴＶシステムの操作にたずさわる人のリビング・ルームである場合、画像捕捉速度は、画像データが連続した画像の間の相関を可能にする程十分明瞭であることを保証できる十分な速さでなければならない。図２の回路は、５μｓの最小露出および５ｍｓの最大露出を示す露出制御３８を含む。電子的には、「露出時間」は、個々の光センサによって生成される電荷を、連続的に画像を捕捉する間の５ｍｓ間に積分することができるインターバルである。露出制御は手動で調節できるが、自動利得制御を確立するため画像相関器回路４２からのフィードバック・ライン４０を設けることが望ましい。従って、画像データが相関処理を実行するため整合性を保ちながら大きくなりすぎた場合でも、露出制御３８が光センサによる電荷を積分するためインターバルを増加させる。
【００２７】
上述のように、視界２８は約６４°であるように考慮される。３２×３２光センサからなるセンサ・アレイにおいて、１つのピクセルは、約２°の視界(６４°／３２ピクセル）を持つ。以下に記述の好ましい実施形態において、相関は最隣接ピクセル相関プロセスに限定される。これによって、コントローラ装置１０の動きに関する最大速度が規定される。好ましい実施形態において、最大速度は、連続して画像を捕捉する間に１ピクセル長を越えてはならない。画像データの１フレームが、相関器４２において５ｍｓ毎に取得されるべきであれば、最大速度は、秒当たり２００ピクセルである。各ピクセルの視界は２°であるので、最大速度は毎秒４００°である。
【００２８】
相関器４２の動作の詳細は後述される。相関器の基本機能は、画像データの最初のフレームにおけるピクセル値の配置を後続のフレームの同様の配置の位置と比較することである。センサ・アレイ１６は、３２×３２ピクセル値のフレームを取得するために使用される。最初に取得されるフレームは基準フレームと呼ばれる。最初の基準フレームは、図１におけるカーソル制御キー３０の押し下げとともに取得される。引き続き取得される、ピクセル値からなるフレームは、標本フレームと呼ばれ、基準フレームと比較してコントローラ装置１０の姿勢の変化を検出する。次に、新しい基準フレームが取得される。それぞれの相関計算の後、標本フレームを基準フレームとすることも可能である。代替的形態として、しきい値に達する毎に標本フレームを基準フレームとしてもよい。この場合、しきい値は、しきい時間でも、装置の動きに基づくしきい値でもよい。
【００２９】
相関の詳細は後述されるが、概念的には、相関プロセスは、位置的に基準フレームを固定して、標本フレームを基準フレームの上で透過的に種々の位置でシフトさせて２つのフレームの共通の特徴的部分の位置合せを検出するステップと見なされる。上記の相関プロセスは、図５に示される通りであり、図６に示されるピクセル・セルのようなセル・アレイによってその計算が実行される。
【００３０】
相関処理は、コントローラ装置１０の傾きのいかなる変化をも示す姿勢信号を生成する。図２に示されるように、相関器４２は、Ｘ軸に沿った変化が＋０.７５ピクセルで一方Ｙ軸に沿った変化が−０.３１ピクセルである信号を生成する。図１において、Ｘ軸に沿った正の運動は、視界２８が矢印４４の方向に動かされるような装置１０の角度変位の結果として示され、一方、Ｘ軸に沿った負の運動は、視界２８の変位成分が矢印４６によって示される方向にある場合のものである。Ｙ軸に関しては、姿勢信号の正の値が視界を矢印４８によって示される方向に回転させる装置１０の取り扱いを示し、一方、ΔＹの負の値が矢印５０によって示される方向への変位を示す。
【００３１】
相関器４２の動作に関する好ましいアプローチは、コントローラ装置１０の姿勢変化を追跡するため最隣接ピクセルのシフトを実行するものである。このアプローチは図４、図５および図６参照して詳述されるが、姿勢追跡は、代替的に、１ピクセルを越えるシフトを必要とする相関を使用して実施することも可能である。いずれのアプローチでも、端数のピクセル値を識別するため補間計算を実行することができる。画像相関における端数のピクセル値を識別するための補間計算は当業者には理解されるものであろう。
【００３２】
相関器４２からの出力は、カーソル制御の感度を増加させる乗算器５２で受け取られる。図２の実施形態において、乗算器は相関器からのΔＸおよびΔＹ値を２倍にする。次に、信号はアキュムレータ５４へ導かれる。「８による除算」回路５６がアキュムレータ５４の動作を指示する。アキュムレータ５４がモジュロ関数回路５８へ標本を出力する前に、８個の標本が乗算器５２から受け取られる。モジュロ関数回路の出力は、乗算器５２からの８個の標本の累積の整数部分である。上述のように、コントローラ装置１０は、赤外線エミッタ３４という手段によってカーソル制御信号を伝送する。赤外線伝送経路は、制限されたバンド幅を持つ。アキュムレータ５４の使用は、通信経路に関する要求を減少させる。
【００３３】
図２のアキュムレータ５４から出力される標本の例は、ΔＸ＝＋１５.２ピクセルおよびΔＹ＝−３.３ピクセルである。モジュロ関数回路５８は、パルス符号変調装置６０に整数のみを渡す。ΔＸ値およびΔＹ値の各々は５ビットに収納され、その４ビットは数値に関連し、残りはその数値の正負符号を表す。
【００３４】
モジュロ関数回路５８からパルス符号変調装置６０へ出力される値は整数値であるが、アキュムレータ５４からの標本の残余は残余回路６２へ導かれる。残余値は残余回路に保存され、アキュムレータ５４からの後続の値に加算される。
【００３５】
コンポーネントの残りの構成は、当業者に周知のものである。１０ビット・ワードがパルス符号変調装置６０から増幅器６４へ４０ｍｓ毎に出力される。このように、エミッタ３４からの赤外線伝送は毎秒２５ワードにすぎない。赤外線伝送は、ＲＩＶＳのようなディスプレイ・システムのセンサ６６によって受け取られる。赤外線センサ６６からの信号は、復調器６８によって復号され、ビデオ画面７２のカーソルを取り扱うためカーソル制御回路７０に送られる。単に例示の目的のためであるが、画面は６４×６４カーソル・アドレスを持ち、画面カーソルは、毎秒１５×２５＝３７５のアドレス状態を動くことができる。図１の視界２８が６４°である上述の例において、画面は０.１７秒（６４／３７５）で横切られる。
【００３６】
図２のコンポーネントの配置および相互作用によって、図１のコントローラ装置１０の姿勢の追跡に基づくカーソル制御が可能となる。コントローラ装置１０は、装置が存在する環境の画像の、明らかな動きを追跡することによって、装置の揺れを符号化する。エミッタ３４とセンサ６６の間の赤外線伝送経路を確立するため以外には、コントローラ装置１０が１つの方向を指し示すようにさせる必要はない。相関器４２については例外であるかもしれないが、図２の個々のコンポーネントは、当業者に容易に理解されるものであるから、詳細の説明は必要とされない。相関器４２の好ましい実施形態は以下に記述される。２次元センサ・アレイ１６および光学機構２６の好ましい構成もまた以下に記述される。
【００３７】
光センサ信号の列伝送
上述のように、図１および図２の実施形態は、３２列および３２行のセンサ・アレイ１６を含む。図３には、３２列の光センサの中の５列７４、７５、７６、７７およびと７８が示されている。また、３２行のうちの６行７９、８０、８１、８２、８３および８４も示されている(各光センサは図３においてＰ.Ｅ.と表示されている)。各列は別々の伝送増幅器８５に接続している。ある列の光センサは、読み取りスイッチ８６を閉じるため対応する伝送増幅器に接続される。図３の回路の動作において、２つの光センサが同時に同一伝送増幅器に接続されることはない。各伝送増幅器８５は、固定電圧源に接続される入力８７を含む。第２の入力８８は、伝送コンデンサ８９によって伝送増幅器の出力９０に接続される。
【００３８】
図３の回路の動作において、各伝送コンデンサ８９が第１行において光センサにおける光エネルギーに対応する電荷を受け取るように、光センサの第１行７９の読み取りスイッチ８６が閉じられる。このように、伝送増幅器８５および伝送コンデンサ８９は積分器としての役目を果たす。受け取られた電荷は、出力ライン９０を通して次の処理回路へ伝送される。第１行の読出しに続いて、第１行の読み取りスイッチが開かれ、伝送増幅器がリセットされる。次に、第２行８０の読み取りスイッチが、第２行の光センサから信号を伝送するため、閉じられる。光センサの各行が読み取られるまでプロセスは繰り返される。伝送増幅器８５の動作によって、光センサ信号は、行から行へという形態で後続の回路へ伝送される。
【００３９】
相関プロセス
図４は、装置の姿勢追跡のために相関処理を実行する手順を示している。要約すれば、相関は、連続フレームにおける作像された特徴的部分の位置を比較して、時間間隔の間におけるフレーム間の傾きの変化に関連した情報を作成する。最初のステップ２００で、基準フレームが取得される。上述のように、基準フレームの取得は、図１の装置１０の上面のカーソル制御キー３０の押し下げによって始動される。光センサからの信号の行毎の伝送は、アレイ１６における光センサの各々が読み取られるまで続く。基準フレームは、１,０２４個の（すなわち３２×３２＝１,０２４の）ピクセル値からなるフレームである。
【００４０】
コントローラ装置１０の姿勢追跡はコンピュータによる計算によって実行されるが、相関処理の概念は図４および図５を参照して説明することができる。基準フレーム２０２は、図示されているように例えばＴ形の画像化された特徴的部分２０４を持つ。画像の特徴的部分は、ＩＴＶシステムを操作している人の部屋の窓であることもある。一定時間(ｄｔ)経過後、図１ないし図３のセンサ・アレイを使用して、図５に示されるように、標本フレーム２０６が取得される。標本フレームの取得の際のコントローラ装置１０の視界２８の大部分は、基準フレーム２０２取得時点の視界と重ね合う。この結果、（例えば窓のような）画像化された特徴的部分２０４は、両方のフレームの範囲内に含まれる。装置の動きの持続時間ｄｔと速度は、共通の特徴的部分２０４が基準フレームから標本フレームへピクセル１個未満移動する程度であることが望ましい。図５において、特徴的部分は上方および右方へ１ピクセル分シフトしたように示されている。１ピクセル分のシフトは表示を単純化するためにのみ仮定されている。
【００４１】
図４において、基準フレーム取得ステップ２００の後、ステップ２０８で標本フレームが取得される。次に、計算ステップ２１０が実行される。相関ステップは、標本フレーム２０４および２つの最隣接ピクセル・セルのピクセル値の配置をシフトさせる動作である。シフト動作は、図５の２１２にその構成ピクセルが示されている８個の最隣接ピクセル・セルの各々について実行される。
【００４２】
図５の２１２を参照して説明すれば、シフト「０」は、標本フレーム２０６におけるピクセル値のシフトを含まず、シフト「１」は、上方および左方への斜めのシフトであり、シフト「２」は、標本フレームの上方へのシフトであり、その他も同様である。２１２の構成ピクセルで表現される基準フレームの８個のシフトは１度に発生するが、すべてのピクセル値のシフトは統一した様態をしている。このように、８個の、ピクセルがシフトした標本フレームが基準フレームと組み合わされ、複数位置フレームからなるフレーム・アレイ２１４が作成される。「位置０」と名付けられた位置フレームはシフトを含まず、従って、フレーム２０２および２０６の単なる組合せの結果である。
【００４３】
フレーム・アレイ２１４の中では、「位置７」が最も高い相関関係を持つ。相関の結果に基づいて、標本フレーム２０６のＴ形の特徴的部分２０４の位置は、以前に取得された基準フレーム２０２における同じ特徴的部分の位置に対して上方向および右方向へシフトしていると判断される。特徴的部分の動きは、図１において示されるように、左方向への矢印４４および下方向への矢印５０の動きによって示されるコントローラ装置１０の揺れの組合せの結果である。
【００４４】
他の相関手法も使用することができるが、「差の自乗和」相関は、許容できる手法である。図４および図５の実施形態に関して、それぞれ２１２からのオフセット値で形成される９つの相関係数(Ｃk ＝ Ｃ0, Ｃ1 ...Ｃ8)がある。
【００４５】
相関は、コントローラ装置１０の傾きを追跡するため連続して補足されるフレーム２０２および２０６の共通の特徴的部分２０４の位置を定めるために使用される。フレーム毎の角度変位を総和または積分することによって、画面カーソルを制御するための姿勢信号を生成することが可能となる。
【００４６】
ステップ２０８で取得された標本フレームに対して相関ステップ２１０が実行された後、基準フレームを維持すべきか、置き換えるべきかの判断がステップ２１６で行われる。実施形態によっては、基準フレームは置き換えられない。同一の基準フレームが後続の相関計算のために使用されるべき場合は、プロセスはステップ２０８へ戻り、新しい標本フレームが取得される。一方、基準フレームの置き換えが行われるアプリケーションに関しては、新しい標本フレームを取得するステップ２０８へ戻る前に、ステップ２１８で、以前に取得された標本フレームを新しい基準フレームとして使用する。
【００４７】
画面上のカーソルを移動させるプロセスを通して同一の基準フレームが使用されるべき場合、基準フレームの取得後共通の特徴的部分が１ピクセル長を越えて移動したことを検知したならば基準フレームをシフトさせることもできる。このように、基準フレームを装置の揺れに伴って動かすこともある。基準フレームを動かすプロセスは、高い相関的一致を実現するが、基準フレームが定期的に置き換えられないならば、発生する誤差が累積する。従って、好ましい実施形態では、このような「ランダム移動」誤差の増加に対し制約を設けるため、ステップ２１８が含まれる。
【００４８】
計算型セル
図６は、図５の２１２の最隣接ピクセルのシフトを実行し、図４の種々のステップを実行するために使用される個々のピクセル・セルすなわち計算型セル９４を示すブロック図である。しかし、当業者によって理解されるように、図４および図５に示される処理を実行するため他の回路を使用することは可能である。
【００４９】
図６中の計算型セル９４は、計算型セル・アレイの中の１つである。計算型セルと光センサの１対１の対応関係がある場合、図１ないし図３の実施形態は、１,０２４の計算型セルを持つ。基準フレームに関して、特定のセル９４に対応する光センサからのピクセル値がＲＥＦＤＡＴＡノード１４８に記憶され、一方、標本フレームのピクセル値はＮＮ(０)ノード１０８に記憶される。自乗差回路１４６のＮＮＩＮＰＵＴ入力１５０への信号接続を変更することによって、図５のフレーム・アレイ２１４を形成するためにシフトされた標本フレームが作成される。回路１４６の出力１５２は、コントローラ装置１０の姿勢を追跡するために他の１,０２３の計算型セルの出力と組み合わせられる。
【００５０】
ＷＲ(ｊ)信号の制御の下で電荷補充トランジスタ・スイッチ９８の手段によって、ライン９６において計算型セル９４に対応する光センサからイメージ・データＷＤＡＴＡ(ｉ)が受け取られる。ＷＲ(ｊ)信号がオフにされた後、新しいデータがコンデンサ１００に保持され、増幅器１０２によってバッファリングされる。１,０２４の計算型セルのアレイ全体において、ＣＤＡＴＡノード１０４のアレイは、プロセスのタイミングに従って、集合的に「基準フレーム」または「標本フレーム」と見なされる。制御入力ＣＤＯＵＴ１０６は、ＣＤＡＴＡ信号、比較データを選択するか、または、最隣接出力ノードＮＮ(０)１０８のためにＲＥＦＯＵＴを選択する。
【００５１】
最隣接入力ＮＮ(０)ないしＮＮ(８) １１０、１１２、１１４、１１６、１１８、１２０、１２２、１２４および１２６は、ライン１２８上のスイッチ制御信号Ｓ(０)ないしＳ(８)によって、別々に選択される。ＮＮ(０)ないしＮＮ(８)入力１１０−１２６は、図５のデータ・セル・マップ２１２に従う最隣接セルの出力である。スイッチ制御信号は、図示されていないが、計算型セル・アレイの外部にある４−９符号化器によって生成される。符号化器への４ビット入力が最隣接アドレスとして解釈され、００００(０)から１０００(８)までのバイナリ値を形成する。
【００５２】
最隣接入力ノード１３０は、ＲＥＦＬＤ１３２をパルス化することによってサンプルが採取され、それによって、ノードＲＥＦＨ１３４上にＮＮＩＮＰＵＴが記憶される。同様に、ＲＥＦＳＥＴ１４０をパルス化することによって、ＲＥＦＤＡＴＡ１３６のサンプルがとられＲＥＦＳＨ１３８上に記憶される。
【００５３】
テストのため、ＲＯＷＴＳＴＢ１４２がオンにされ、ＮＮ(０)信号がＴＥＳＴ出力１４４へ送られる。計算型セル・アレイにおいて、セルの行の各セルからのＴＥＳＴ信号が、各列の共通垂直バスへ接続し、計算型セル・アレイの底部においてマルチプレックスされ、チップから送り出される。計算型セル・アレイの左辺に沿った標準的復号器が、テストのための特定行の選択を可能にする。しかし、テスト機構は本発明にとって不可欠なものではない。
【００５４】
各計算型セル９４は、相関値を決定する回路１４６を持つ。第１の入力１４８は基準データをＲＥＦＤＡＴＡノード１３６から受け取る。第２の入力１５０は、ライン１２８においてスイッチ制御信号によって選択される適切な最隣接入力ＮＮＩＮＰＵＴを提供する。相関セルの出力１５２は電流である。計算型セル・アレイ中の相関出力のすべては、追跡回路１５４の単一の総和レジスタに合計される。総和レジスタに対して生成される電圧は図４の相関値として参照される。
【００５５】
図６の実施形態において、回路１４６は、自乗差計算に基づくものである。計算型セル９４は、計算型セル・アレイの基本設計を修正することなく、製品に対応した相関を提供するように修正することは可能である。制御入力Ｓ(０)−Ｓ(８)、ＲＥＦＬＤ、ＲＥＦＳＦＴおよびＣＤＯＵＴは、標本フレームが計算型セル・アレイの範囲内ですべて同様に取り扱われ、シフトされるように、計算型セル・アレイ全体にわたる共通値である。
【００５６】
図５の２１４によって表された関係は単一計算型セルおよび計算型セル・アレイ全体に関するものであることを理解することは重要である。画像の位置０は画像の現在位置を指す。画像が位置０から位置１へ移動するということは、計算型セル・アレイの計算型セルのすべての画像データが、左および上にある隣接セへ移動されることを表す。すなわち、動きは計算型セル・アレイの中の１つの計算型セルに関するものであるとともに、計算型セル・アレイの中のあらゆる計算型セルに関するものである。
【００５７】
計算型セル・アレイの機能は、画像取得、基準画像ロード、相関計算および基準画像移 動という４つの基本的動作の観点から説明できる。画像取得は、各計算型セル９４のＷＤＡＴＡライン９６を経由して新しい画像データをロードすることを意味する。本発明の実施形態においては、５０ｍｓ毎にピクセル値の新しいフレームが、センサ・アレイから列伝送増幅器を経由して取得される。新しい基準画像をロードするプロセスは、「フレーム転送」と呼ばれる。後述される計算型セル・アレイの動作は、フレーム転送信号(ＦＴＢ)を観察しそれと同期化することによってフレーム転送プロセスと調整される。新しい標本画像の妥当性は、ＦＴＢ信号の下降エッジによって示される。５８乃至６３段落に記述の動作はＦＴＢがオンとなっていない時にのみ適正である。
【００５８】
画像相関を計算することができるようになる前に、ピクセル値の基準フレームをロードすることが必要である。基準フレームをロードするためには、計算型セル・アレイのＣＤＡＴＡノード１０４における電圧のすべてがＲＥＦＨノード１３４へ転送されなければならない。これは、ＣＤＯＵＴ１０６およびＳ(０)を高レベルに設定して、ライン１３２上でＲＥＦＬＤ信号をパルス化することによって達成される。基準フレームも、また、Ｓ(０)の代わりにＳ(１)−Ｓ(８)入力の中の１つをオンにすることによって別の最隣接位置からロードされる。増幅器１５６は、ＲＥＦＤＡＴＡノード１３６からの信号をＲＥＦＨノード１３４に対してバッファリングする。計算型セル・アレイの範囲内のＲＥＦＤＡＴＡノード１３６の２次元アレイは集合的に基準フレームを意味する。
【００５９】
基準フレームがロードされた後、計算型セル・アレイは相関を計算する準備ができている。ピクセル値の基準フレームおよび後続の標本フレームの間の相関は、最隣接アドレスを所望の値にセットし、姿勢追跡回路１５４の総和レジスタに発生する電圧を記録することによって、計算される。基準フレームが取得された位置から１ピクセル距離センサ・アレイが移動した時、高い相関が最隣接位置の１つに検出される。図５において、そのような相関はフレーム・アレイ２１４の位置７にあるものとして検出される。端数ピクセルの動きは、２次元相関空間において補間を行うことによって決定することができる。
【００６０】
基準フレームと基準フレームの間の相関はＣＤＯＵＴ１０６を低レベルに設定し、ＲＥＦＳＦＴ１４０をパルス化することによって計算されることができる点注意する必要がある。これによって、最隣接入力は標本フレームでなくむしろ基準フレームから行われるようになる。
【００６１】
図４のステップ２１８において基準フレームが置き換えられた。しかし、最隣接セルを越えて参照できることを許容することによって、同一の基準フレームを複数回のピクセルの動きに使用することは可能である。装置の傾きの変化が視界を１ピクセル以上の距離シフトさせたことを検出すると、基準フレームは、計算型セル・アレイの範囲内の新しい位置にシフトされる。新しい位置へのシフトは、装置の傾きの変化によって指示される。新しい位置における基準フレームによって、最隣接相関が、移動された基準フレームと新たに取得された標本フレームの間の相関になる。基準フレームのピクセル値を新しい位置に移動することによって、姿勢追跡の正確度について妥協することなく、計算型セル間の接続が最低限に維持される。
【００６２】
基準フレームの移動は計算型セル・アレイの個々の計算型セルの範囲内で達成される。図６の計算型セル９４を参照して説明すれば、最初のステップは、ＲＥＦＳＦＴ１４０を高レベルでパルス化してＲＥＦＳＨ１３８においてＲＥＦＤＡＴＡ信号１３６を標本採取して保持する。第３のバッファ増幅器１５８がＲＥＦＳＨ信号を用いてＲＥＦＯＵＴ１６０を駆動する。ＣＤＯＵＴ１０６は低レベルに駆動され、そのためＲＥＦＯＵＴ１６０がＮＮ(０)ノード１０８において計算型セル９４の出力となることができる。
【００６３】
次に、最隣接アドレスが、スイッチ制御信号ライン１２８から適切なＳ(０)−Ｓ(８)入力を選択するように設定される。例えば、図５のＴ形の特徴的部分２０４が、基準フレーム２０２が取得された時点から標本フレーム２０６が取得される時間までに右上方へ移動したことが検出されると、基準フレームを構成するピクセル値が、セルごとに、右上方へシフトされなければならない。Ｓ(０)−Ｓ(８)信号がセル入力ＮＮＩＮＰＵＴ１３０のアドレスを切り換えるので、図５の２１２の中の位置０から位置７へピクセル値が移動することが可能となるように、Ｓ(７)は高レベルにされなければならない。このことは計算型セル・アレイの各計算型セルにおいて起こる。ＲＥＦＯＵＴ１６０が該当する隣接セルのＮＮＩＮＰＵＴ１３０上に定まると、ＲＥＦＬＤ１３２が高レベルにされ、移動された基準値がＲＥＦＨ１３４において標本採取され保持される。この動作が計算型セル・アレイの計算型セルの各々において発生した後、計算型セル・アレイは再び相関を計算する準備ができる。
【００６４】
センサ／光学部品配置
本発明のもう一つの側面は、レンズ設計技術において周知の「曲線のひずみ」の悪影響を減少させる機器の配置である。このひずみは、ピンクッション、軸および透視ひずみとも呼ばれる。ひずみは、視界の外周において直線の細部を圧縮する。
【００６５】
曲線のひずみは、視界の広い単体レンズについて顕著である。図１のレンズ２６はそのようなレンズである。ひずみのために、特徴的部分が視界を横切るに際に、特徴的部分の見かけの形状が変化するので、ひずみは問題である。特性の明白な形状の変化は、図４ないし図６を参照して記述した相関をとるプロセスに悪影響を及ぼす。
【００６６】
図７は、ひずみのない光学部品で３２×３２ピクセル・アレイ２２０上へ画像化されたＴ形の特徴的部分を示す。そのような光学部品を使用すれば、特徴的部分の形状は、ピクセル・アレイ全体にわたって変化せず、従って、高品質の相関および揺れの追跡が可能とされる。
【００６７】
一方、図８は、単体レンズを使用してピクセル・アレイ２２２上へ作像された同一の特徴的部分を示す。特徴的部分がレンズの光軸から離れる程ひずみが増加することが観察される。図９は、図５の相関処理を実行するため特徴的部分が計算型セル・アレイによって解読される仕方を示す。図９のアレイ２２４の各ピクセルは、図６で示されたような計算型セル９４の１つを表す。明らかに、計算型セル・アレイの範囲内で位置を変える毎に、特徴的部分の形状が変わる。これは、相関の質および装置姿勢の追跡の正確度を低減させる。同様に、特徴的部分の動きが位置とともに変わり、更に装置姿勢の追跡の正確性を低下させる。例えば、大きく軸をはずれた動きの細部は、同一の動きが軸上で起きた場合より少ない動きとして測定されるであろう。その結果、システムの姿勢追跡の正確性は低下する。悪影響は、多数のピクセルにわたって基準画像を適用しないことによって少なくすることはできるかもしれないが、基準フレームを通常より頻繁に「リセットする」オプションによって、増分誤差の数が増加し、追跡の不正確性が増す。
【００６８】
図１０には、レンズのひずみに合致するように構成された光センサの２次元アレイ２２６が示されている。すなわち、曲線のひずみの誘引に関するレンズ・システムの特徴が判断され、光センサの２次元アレイはひずみを補正するように構成されている。図１０において、３つの異なる位置のＴ形の特徴的部分が曲線アレイに投影されている。特徴的部分の画像はなお歪んでいるが、ひずみによって画像はピクセル内にうまくおさまっていることが認められる。このように、各特徴的部分は、計算型セル・アレイ・レベルで直線をなすように見える。すなわち、図１０で示されるように、隅の画像２２８はセンサ・レベルで歪んでいるが、図１１の計算型セル・アレイにおいて、その隅の画像２３０はひずみのない「Ｔ」として認識される。
【００６９】
以下に光センサ・アレイ要素の曲線様態を確認する方法を記述する。概念的には、その方法は、直線の（曲線ではない）セルの３２×３２アレイを（１平方フィートの大きさに）拡大投射することから始まる。次に、選択したレンズを使用してこの３２×３２アレイの像を作成する。この小さく曲線的像はレンズのひずみを捕捉し、理想的なアレイ形態を求めるための合理的な近似を表す。このプロセスによって、どのような視界を持つレンズを用いても正確に作像を行うことができ、位置航法のような多くの応用分野に適用される。しかし、本発明のポインティング・デバイスの分野では、距離でなく角度を変換することが目的である。狭い視界のレンズの場合、光軸から離れて動くほど、角度は一層圧縮される傾向がある。
【００７０】
球形のセグメントが前述の平らなアレイの代わりに使用されるように設計を変更することによって、この望ましくない角度圧縮は避けられる。球形のセグメントの中心は、ほぼレンズの節点の位置に重ね合わされる。セグメントは、緯度および経度共に２度の間隔で線引きされる。球形セグメント上に形成された各セグメントは、作像され変換されると、アレイ・セルの輪郭であるとみなされる。曲線アレイを生成するこの方法は、実際、コンピュータによる放射線追跡を使用して最もうまく実施される。多数の市販の光学設計プログラムが当業者にとって利用可能でありまたよく知られている。
【００７１】
曲線アレイの利点の１つは、像がセンサ・アレイの軸からどれほど離れているかに関係なく、それが一層正確な自己相関を提供する点である。第２の利点は、距離が正しいもので圧縮されてないため、像がセンサ・アレイ上で投影された位置に関係なく、大幅な動きに対する姿勢追跡が正確である点である。曲線のアレイの利点のそれぞれが正確な追跡に貢献する。相関がより強くしかもノイズが少ないため、各移動区間の終端点を測定する正確性は一層高い。更に、より長い区間において像を追跡することができるので、基準フレームをリセットする頻度が減らされ、累積される再リセット化誤差が少なくなる。最後に、曲線アレイは軸外れの移動を圧縮しないので、距離測定の正確性も増加する。
【００７２】
本発明には、例として次のような実施様態が含まれる。
（１）装置の姿勢を追跡する方法であって、上記装置に光センサの２次元アレイを配置するステップと、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップと、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップと、上記第１の画像を記憶するステップと、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップと、上記第１の画像と第２の画像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップと、上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップと、を含む装置姿勢追跡方法。
（２）上記姿勢信号に応答して、表示画面上のカーソル位置を制御するステップを更に含む、上記（１）に記載の装置姿勢追跡方法。
（３）上記カーソル位置を制御するステップが、上記装置から遠隔受信機へ無線形態で上記姿勢信号を伝送することを含む、上記（２）に記載の装置姿勢追跡方法。
（４）光センサの２次元アレイを配置する上記ステップが、手持ち式部材に上記アレイを取り付けるステップである、上記（１）に記載の装置姿勢追跡方法。
（５）上記第１の画像を取得するステップが、傾きの上記変化を決定するため一連の標本フレームと比較を行う基準フレームを規定するステップを含む、上記（１）に記載の装置姿勢追跡方法。
（６）上記光センサの焦点が公称上無限である、上記（１）に記載の装置姿勢追跡方法。
（７）上記第１の画像を取得するステップおよび第２の画像を取得するステップが、上記表示画面が存在する環境領域の画像のデータを形成するステップである、上記（３）に記載の装置姿勢追跡方法。
（８）定期的に標本画像を取得し、各標本画像を既に取得した画像に相関させ、上記標本画像の範囲内の共通の特徴的部分の位置的相違を検出するステップを更に含む、上記（７）に記載の装置姿勢追跡方法。
【００７３】
（９）姿勢を追跡するシステムであって、格納装置と、特徴的部分の画像を形成するため上記格納装置に配置された光センサの２次元アレイと、各々が特定の時間に特定の光センサにおいて受け取られる光エネルギーを示す複数ピクセル値からなる基準フレームを記憶するため、上記アレイに接続された記憶手段と、上記アレイおよび上記記憶手段に接続され、上記特定時間の後に上記アレイにおいて受け取られる光エネルギーに応答して、上記基準フレームの上記ピクセル値の配置と少なくとも１つの標本フレームのピクセル値との相関をとる相関手段と、上記相関手段による相関関係の検出に応答して、上記基準フレームの上記ピクセル値に対する上記少なくとも１つの標本フレームのピクセル値の上下左右の揺れすなわち上記格納装置の上下左右の揺れを表す姿勢信号を生成する計算手段と、を備える姿勢追跡システム。
（１０）上記格納装置が手持ち式である、上記（９）に記載の姿勢追跡システム。
（１１）ビデオ・ディスプレイと、上記ビデオ・ディスプレイのカーソルを取り扱うカーソル制御信号を形成するため上記姿勢信号を受け取る復調器手段と、を更に備える上記（１０）に記載の姿勢追跡システム。
（１２）上記カーソル制御信号を上記ビデオ・ディスプレイに無線送信する送信手段を更に備える、上記（１１）に記載の姿勢追跡システム。
（１３）公称無限の焦点距離を持つ光学手段を備え、上記光学手段によって誘引されるひずみを補正するために選択される曲線を持った弓形の辺を上記アレイが持つ、上記（９）に記載の姿勢追跡システム。
【００７４】
（１４）ビデオ・ディスプレイのカーソルの動きを制御する方法であって、光センサの２次元アレイを持つ手持ち式装置を準備するステップと、上記装置が存在する環境領域に対する上記装置の動きを追跡するステップと、を含み、装置の動きを追跡する上記ステップが、大部分が重ね合う上記アレイの視界の複数の画像を定期的に形成するサブステップと、第１の画像を基準画像として記憶するサブステップと、連続した画像の範囲内の上記領域の特徴的部分の位置的変化が計算上認識されるように上記複数の画像の相関をとるサブステップと、上記位置的変化の認識に対応するカーソル制御信号を形成するサブステップと、上記カーソル制御信号を上記ビデオ・ディスプレイに送信するサブステップとを含む、方法。
（１５）相関させる上記サブステップが、上記手持ち式装置の上下左右の揺れを示す姿勢信号を形成することを含む、上記（１４）に記載の方法。
（１６）上記カーソル制御信号を送信するサブステップが、上記信号を無線形式で上記ビデオ・ディスプレイに送信することを含む、上記（１４）に記載の方法。
【００７５】
（１７）センサおよび光学機器の配置機構であって、光センサのアレイと、上記アレイによって像を作成するために必要な焦点を提供するレンズ・システムとを備え、上記レンズ・システムが上記アレイに像の曲線的ひずみを誘引する特徴を持ち、上記アレイが、上記曲線のひずみの補正を行うため、弓形の辺を含む形状を持つ、配置機構。
（１８）上記光センサが、複数の行および複数の列に配置され、上記光センサが上記アレイに関する光軸を規定するように組み合わされ、隣接列が弓形境界によって間隔をあけられ、上記光軸から離れるほど上記弓形境界の曲率半径が増大する、上記（１７）に記載の配置機構。
（１９）隣接行が第２の弓形境界によって間隔をあけられ、上記光軸から離れるほど上記第２の弓形境界の曲率半径が増大する、上記（１８）に記載の配置機構。
【００７６】
【発明の効果】
本発明は、装置の姿勢を高い信頼度を持って追跡するシステムおよび方法を実現し、また、特に画面カーソルを制御するアプリケーションまたはその他の遠隔対話式映像アプリケーションにおいて、コスト効率のすぐれた装置姿勢追跡システムおよび方法を利用できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に従って装置の姿勢追跡を可能にする手持ち式装置の透視図である。
【図２】本発明に従って画面カーソルを制御するコンポーネントのブロック図である。
【図３】光センサ・アレイおよび図２の相関器の伝送増幅器のブロック図である。
【図４】本発明に従って連続した像を相関させるプロセスの流れ図である。
【図５】図４のプロセスの概念図である。
【図６】図４のプロセスを実行するためのセル・アレイの計算型セルの実施形態を示すブロック図である。
【図７】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図８】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図９】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１０】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１１】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【符号の説明】
１０ 手持ち式コントローラ装置
１２ ＩＣパッケージ１２
１４ 光電子集積回路チップ
１６ 光センサの２次元アレイ
１８ 処理回路
２０ 水平軸
２２ 垂直軸
２４ 縦方向軸
２６ レンズ
２８ 視界
３０ カーソル制御キー
３２ リターン・キー
３４ エミッタ
３６ 制御クロック
３８ 露出制御回路
４２ 相関器
５２ 乗算器
５４ アキュムレータ
５６ 除算器
５８ モジュロ回路
６０ パルス符号変調器
６４ 増幅器
６６ 赤外線センサ
６８ 復調器
７０ カーソル制御回路
７２ 表示画面
７４、７５、７６、７７、７８ 光センサ列
７９、８０、８１、８２、８３、８４ 光センサ行
８５ 伝送増幅器
８６ 読み取りスイッチ
８７、８８ 入力
８９ 伝送コンデンサ
９０ 出力
９８ 電荷補充トランジスタ・スイッチ
１００ コンデンサ
１０２、１５６、１５８ 増幅器
１４６ 相関値決定回路
１５４ 追跡回路
２０２ 基準フレーム
２０４ Ｔ型特性
２０６ 標本フレーム
２１２ 位置０から位置７
２１４ 最隣接位置
２２０、２２２、２２４、２２６、２３２ ２次元ピクセル・アレイ
２２８、２３０ 隅のＴ型特性
Claims (12)
- 装置の姿勢を追跡することにより表示画面への入力を制御する方法であって、上記装置に光センサの２次元アレイを配置するステップと、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップと、上記２次元アレイを活用して上記アレイの視界の範囲内で特徴的部分の第１の画像を取得するステップと、上記第１の画像を記憶するステップと、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記２次元アレイの視界の範囲内で、第２の画像が上記第１の画像と共通の特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップと、上記第１の画像と第２の画像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップと、上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップと、当該姿勢信号を上記装置から表示画面に関連する遠隔受信機へ伝送するステップと、を含み、
上記光学的手段は、上記２次元アレイによる画像形成のための焦点を提供するレンズ系を備え、上記レンズ系は、上記２次元アレイに、画像の曲線型歪曲を誘引する性質を備え、上記２次元アレイは、上記曲線型歪曲を補償する形状を備え、上記補償を行うために弓形の辺を備える、方法。 - 入力制御ステップが、上記姿勢信号に応答して、表示画面上のカーソル位置を制御するステップを含む、請求項１に記載の方法。
- 上記装置から遠隔受信機へ無線形態で上記姿勢信号を伝送することによって上記カーソル位置が制御される、請求項２に記載の方法。
- 光センサの２次元アレイを配置する上記ステップが、手持ち式部材に上記アレイを取り付けるステップである、請求項１から３のいずれか一項に記載の方法。
- 上記第１の画像を取得するステップおよび第２の画像を取得するステップが、上記表示画面が存在する環境領域の画像のデータを形成するステップである、請求項１から４のいずれか一項に記載の方法。
- 定期的に標本画像を取得し、各標本画像と既に取得した画像との相関をとり、上記標本画像の範囲内の共通の特徴的部分の位置的相違を検出するステップを更に含む、請求項１から５のいずれか一項に記載の方法。
- 上記光センサが、複数の行および複数の列に配置され、上記光センサが上記２次元アレイに関する光軸を規定するように組み合わされ、隣接列および隣接行が弓形の境界によって間隔をあけられている、請求項１から６のいずれか一項に記載の方法。
- 姿勢を追跡し表示画面に姿勢情報を伝送するシステムであって、格納装置と、特徴的部分の画像を形成するため上記格納装置に配置された光センサの２次元アレイと、特徴的部分の画像を上記２次元アレイ上に投射する光学的手段と、各々が特定の時間に特定の光センサにおいて受け取られる光エネルギーを示す複数ピクセル値からなる基準フレームを記憶するため、上記アレイに接続された記憶手段と、上記アレイおよび上記記憶手段に接続され、上記基準フレームの上記ピクセル値の配置と、上記特定時間の後に上記アレイにおいて受け取られる光エネルギーに応答して形成されるピクセル値の少なくとも１つの標本フレームと、の相関をとる相関器と、上記相関器による相関関係の検出に応答して、上記基準フレームの上記ピクセル値に対する上記少なくとも１つの標本フレームのピクセル値の縦揺れおよび偏揺れすなわち上記格納装置の縦揺れおよび偏揺れを表す姿勢信号を生成する計算手段と、姿勢信号を、表示画面の入力部を構成する遠隔受信機へ供給する手段と、を備え、
上記光学的手段は、上記２次元アレイによる画像形成のための焦点を提供するレンズ系を備え、上記レンズ系は、上記２次元アレイに、画像の曲線型歪曲を誘引する性質を備え、上記２次元アレイは、上記曲線型歪曲を補償する形状を備え、上記補償を行うために弓形の辺を備える、システム。 - 上記受信機からの上記姿勢信号が、表示画面上のカーソルを制御するように構成される請求項８に記載のシステム。
- 上記受信機からの上記姿勢信号を受け取るように接続され、表示画面上のカーソルを動かすカーソル制御信号を形成する復調器をさらに含む請求項９に記載のシステム。
- 上記格納装置が手持ち式である、請求項８から１０のいずれか一項に記載のシステム。
- 上記光センサが、複数の行および複数の列に配置され、上記光センサが上記２次元アレイに関する光軸を規定するように組み合わされ、隣接列および隣接行が弓形境界によって間隔をあけられている、請求項８から１１のいずれか一項に記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/540,355 US5786804A (en) | 1995-10-06 | 1995-10-06 | Method and system for tracking attitude |
| US540,355 | 1995-10-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09134250A JPH09134250A (ja) | 1997-05-20 |
| JP3958390B2 true JP3958390B2 (ja) | 2007-08-15 |
Family
ID=24155098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26445496A Expired - Fee Related JP3958390B2 (ja) | 1995-10-06 | 1996-10-04 | 装置姿勢追跡方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (5) | US5786804A (ja) |
| EP (1) | EP0767443B1 (ja) |
| JP (1) | JP3958390B2 (ja) |
| DE (1) | DE69620531T2 (ja) |
Families Citing this family (310)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7387253B1 (en) * | 1996-09-03 | 2008-06-17 | Hand Held Products, Inc. | Optical reader system comprising local host processor and optical reader |
| US5786804A (en) * | 1995-10-06 | 1998-07-28 | Hewlett-Packard Company | Method and system for tracking attitude |
| US6950094B2 (en) * | 1998-03-30 | 2005-09-27 | Agilent Technologies, Inc | Seeing eye mouse for a computer system |
| US6104380A (en) * | 1997-04-14 | 2000-08-15 | Ricoh Company, Ltd. | Direct pointing apparatus for digital displays |
| US6256016B1 (en) | 1997-06-05 | 2001-07-03 | Logitech, Inc. | Optical detection system, device, and method utilizing optical matching |
| US7808479B1 (en) | 2003-09-02 | 2010-10-05 | Apple Inc. | Ambidextrous mouse |
| US6618078B1 (en) * | 1998-04-17 | 2003-09-09 | Hewlett-Packard Development Company, L.P. | Digital camera capable of printing captured images in various sizes |
| US6906699B1 (en) * | 1998-04-30 | 2005-06-14 | C Technologies Ab | Input unit, method for using the same and input system |
| US5994710A (en) * | 1998-04-30 | 1999-11-30 | Hewlett-Packard Company | Scanning mouse for a computer system |
| JP3841132B2 (ja) * | 1998-06-01 | 2006-11-01 | 株式会社ソニー・コンピュータエンタテインメント | 入力位置検出装置及びエンタテインメントシステム |
| US7002552B1 (en) * | 1999-04-06 | 2006-02-21 | Microsoft Corporation | Computer input device with digit support and natural position actuators |
| WO2000016187A1 (en) * | 1998-09-14 | 2000-03-23 | Microsoft Corporation | Input device with forward/backward control |
| EP1005156A1 (en) * | 1998-11-26 | 2000-05-31 | STMicroelectronics S.r.l. | Wireless pointing device for remote cursor control |
| JP2000214992A (ja) | 1999-01-21 | 2000-08-04 | Mitsubishi Electric Corp | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 |
| JP4176230B2 (ja) | 1999-03-19 | 2008-11-05 | 株式会社ルネサステクノロジ | 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN1175345C (zh) | 1999-03-31 | 2004-11-10 | 皇家菲利浦电子有限公司 | 用于显示装置的遥控器 |
| WO2001003296A1 (de) * | 1999-07-02 | 2001-01-11 | Vlg Virtual Laser Systems Gmbh | Interaktives steuer- und eingabesystem für elektronische geräte |
| JP2001091218A (ja) * | 1999-09-14 | 2001-04-06 | Mitsubishi Electric Inf Technol Center America Inc | ３次元運動検知装置及び３次元運動検知方法 |
| US6455840B1 (en) | 1999-10-28 | 2002-09-24 | Hewlett-Packard Company | Predictive and pulsed illumination of a surface in a micro-texture navigation technique |
| US7187412B1 (en) | 2000-01-18 | 2007-03-06 | Hewlett-Packard Development Company, L.P. | Pointing device for digital camera display |
| US6563101B1 (en) * | 2000-01-19 | 2003-05-13 | Barclay J. Tullis | Non-rectilinear sensor arrays for tracking an image |
| US6536907B1 (en) * | 2000-02-08 | 2003-03-25 | Hewlett-Packard Development Company, L.P. | Aberration compensation in image projection displays |
| US6618038B1 (en) | 2000-06-02 | 2003-09-09 | Hewlett-Packard Development Company, Lp. | Pointing device having rotational sensing mechanisms |
| GB2364226A (en) * | 2000-06-30 | 2002-01-16 | Nokia Corp | Method of selecting an object by controlling an on screen pointer |
| US7161578B1 (en) | 2000-08-02 | 2007-01-09 | Logitech Europe S.A. | Universal presentation device |
| US6650320B1 (en) * | 2000-08-16 | 2003-11-18 | International Business Machines Corporation | Digital pen using visible image and autocorrelation of substrate pattern |
| CN1466713A (zh) * | 2000-08-29 | 2004-01-07 | ŷķ����ʽ���� | 位置指示装置 |
| US6781570B1 (en) | 2000-11-09 | 2004-08-24 | Logitech Europe S.A. | Wireless optical input device |
| JP3548713B2 (ja) * | 2000-12-08 | 2004-07-28 | ホシデン株式会社 | イメージセンサマウス |
| US20070018970A1 (en) * | 2000-12-22 | 2007-01-25 | Logitech Europe S.A. | Optical slider for input devices |
| JP2002196877A (ja) * | 2000-12-25 | 2002-07-12 | Hitachi Ltd | イメージセンサを用いた電子機器 |
| EP1717728B1 (en) * | 2001-01-22 | 2010-09-01 | Hand Held Products, Inc. | Optical reader having partial frame operating mode |
| US7268924B2 (en) | 2001-01-22 | 2007-09-11 | Hand Held Products, Inc. | Optical reader having reduced parameter determination delay |
| US6637658B2 (en) | 2001-01-22 | 2003-10-28 | Welch Allyn, Inc. | Optical reader having partial frame operating mode |
| US7270273B2 (en) * | 2001-01-22 | 2007-09-18 | Hand Held Products, Inc. | Optical reader having partial frame operating mode |
| US6977645B2 (en) | 2001-03-16 | 2005-12-20 | Agilent Technologies, Inc. | Portable electronic device with mouse-like capabilities |
| US6621483B2 (en) * | 2001-03-16 | 2003-09-16 | Agilent Technologies, Inc. | Optical screen pointing device with inertial properties |
| US7184026B2 (en) * | 2001-03-19 | 2007-02-27 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Impedance sensing screen pointing device |
| US6677929B2 (en) | 2001-03-21 | 2004-01-13 | Agilent Technologies, Inc. | Optical pseudo trackball controls the operation of an appliance or machine |
| US7061468B2 (en) * | 2001-04-10 | 2006-06-13 | Logitech Europe S.A. | Hybrid presentation controller and computer input device |
| US6603111B2 (en) * | 2001-04-30 | 2003-08-05 | Agilent Technologies, Inc. | Image filters and source of illumination for optical navigation upon arbitrary surfaces are selected according to analysis of correlation during navigation |
| US7333083B1 (en) | 2001-05-10 | 2008-02-19 | Logitech Europe S.A. | Optical based performance improvement for an optical illumination configuration |
| US6809723B2 (en) | 2001-05-14 | 2004-10-26 | Agilent Technologies, Inc. | Pushbutton optical screen pointing device |
| US6795056B2 (en) | 2001-07-24 | 2004-09-21 | Agilent Technologies, Inc. | System and method for reducing power consumption in an optical screen pointing device |
| US6823077B2 (en) * | 2001-07-30 | 2004-11-23 | Agilent Technologies, Inc. | Simplified interpolation for an optical navigation system that correlates images of one bit resolution |
| US6847353B1 (en) | 2001-07-31 | 2005-01-25 | Logitech Europe S.A. | Multiple sensor device and method |
| DE10139878A1 (de) * | 2001-08-10 | 2003-03-06 | Eckart Uhlmann | Einrichtung zur Erfassung der Relativposition zweier zueinander bewegbarer Körper |
| US7126585B2 (en) * | 2001-08-17 | 2006-10-24 | Jeffery Davis | One chip USB optical mouse sensor solution |
| TW530489B (en) * | 2001-09-11 | 2003-05-01 | Pixart Imaging Inc | Moving distance detection method of image sensor |
| US6657184B2 (en) | 2001-10-23 | 2003-12-02 | Agilent Technologies, Inc. | Optical navigation upon grainy surfaces using multiple navigation sensors |
| US6770863B2 (en) | 2001-10-26 | 2004-08-03 | Agilent Technologies, Inc. | Apparatus and method for three-dimensional relative movement sensing |
| TW529309B (en) | 2001-10-31 | 2003-04-21 | Pixart Imaging Inc | Displacement measuring method of image sensor |
| US6697052B2 (en) * | 2001-11-02 | 2004-02-24 | Lite-On Semiconductor Corp. | Optical mouse chip with silicon retina structure |
| US6859199B2 (en) | 2001-11-06 | 2005-02-22 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse using feature extraction |
| US7042439B2 (en) * | 2001-11-06 | 2006-05-09 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse |
| US6765555B2 (en) | 2001-11-07 | 2004-07-20 | Omnivision Technologies, Inc. | Passive optical mouse using image sensor with optional dual mode capability |
| US7583293B2 (en) * | 2001-12-06 | 2009-09-01 | Aptina Imaging Corporation | Apparatus and method for generating multi-image scenes with a camera |
| WO2003056505A1 (en) * | 2001-12-21 | 2003-07-10 | British Telecommunications Public Limited Company | Device and method for calculating a location on a display |
| US20030141433A1 (en) * | 2002-01-31 | 2003-07-31 | Gordon Gary B. | Solid state image sensor array for correcting curvilinear distortion of a camera lens system and method for fabricating the image sensor array |
| JP4054585B2 (ja) * | 2002-02-18 | 2008-02-27 | キヤノン株式会社 | 情報処理装置および方法 |
| US20030160758A1 (en) * | 2002-02-26 | 2003-08-28 | A-Man Hung | Optical tracking device for computers |
| US6788875B1 (en) | 2002-04-08 | 2004-09-07 | Logitech Europe S.A. | Suspension system for use in an optical displacement detection system |
| US6974947B2 (en) * | 2002-04-08 | 2005-12-13 | Agilent Technologies, Inc. | Apparatus and method for sensing rotation based on multiple sets of movement data |
| DE10316208A1 (de) * | 2002-04-12 | 2003-11-20 | Samsung Electro Mech | Navigationssystem und Navigationsverfahren |
| US7131751B1 (en) | 2002-04-12 | 2006-11-07 | Logitech, Inc. | Attachment system for use in an optical illumination system |
| US20030201951A1 (en) * | 2002-04-25 | 2003-10-30 | Unity Opto Technology Co., Ltd. | Wireless optic mouse |
| US7203911B2 (en) * | 2002-05-13 | 2007-04-10 | Microsoft Corporation | Altering a display on a viewing device based upon a user proximity to the viewing device |
| SE523297C2 (sv) * | 2002-05-28 | 2004-04-06 | Perific Ab | En anordning för att inmata styrsignaler till en perifer enhet och ett system som inkluderar en sådan anordning |
| DE10226644A1 (de) * | 2002-06-14 | 2003-12-24 | Siemens Ag | Eingabegerät für eine Datenverarbeitungsanlage |
| US7045763B2 (en) * | 2002-06-28 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Object-recognition lock |
| US7656393B2 (en) | 2005-03-04 | 2010-02-02 | Apple Inc. | Electronic device having display and surrounding touch sensitive bezel for user interface and control |
| US11275405B2 (en) | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
| CA2496463A1 (en) * | 2002-08-23 | 2004-03-04 | Pfizer Products Inc. | Apparatus for dispensing articles |
| US7358963B2 (en) | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
| KR100622404B1 (ko) * | 2002-10-23 | 2006-09-13 | 주식회사 애트랩 | 광 이미지 검출기 및 이를 채택하는 광 마우스 |
| US6924812B2 (en) * | 2002-12-24 | 2005-08-02 | Intel Corporation | Method and apparatus for reading texture data from a cache |
| US6995748B2 (en) * | 2003-01-07 | 2006-02-07 | Agilent Technologies, Inc. | Apparatus for controlling a screen pointer with a frame rate based on velocity |
| US7295186B2 (en) * | 2003-01-14 | 2007-11-13 | Avago Technologies Ecbuip (Singapore) Pte Ltd | Apparatus for controlling a screen pointer that distinguishes between ambient light and light from its light source |
| US7126582B2 (en) * | 2003-03-07 | 2006-10-24 | Osborn John J | Absolute coordinate, single user-interface element pointing device |
| US7164782B2 (en) * | 2003-04-18 | 2007-01-16 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for time-space multiplexing in finger-imaging applications |
| US7274808B2 (en) * | 2003-04-18 | 2007-09-25 | Avago Technologies Ecbu Ip (Singapore)Pte Ltd | Imaging system and apparatus for combining finger recognition and finger navigation |
| US7158659B2 (en) * | 2003-04-18 | 2007-01-02 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for multiplexing illumination in combined finger recognition and finger navigation module |
| US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
| US20040227954A1 (en) * | 2003-05-16 | 2004-11-18 | Tong Xie | Interferometer based navigation device |
| US7116427B2 (en) | 2003-10-30 | 2006-10-03 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Low power consumption, broad navigability optical mouse |
| US7321359B2 (en) * | 2003-07-30 | 2008-01-22 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and device for optical navigation |
| US20040239630A1 (en) * | 2003-05-30 | 2004-12-02 | Ramakrishna Kakarala | Feedback to users of optical navigation devices on non-navigable surfaces |
| US6927759B2 (en) * | 2003-06-06 | 2005-08-09 | Unity Opto Technology Co., Ltd. | Optical mouse with uniform light projection |
| US7161586B2 (en) * | 2003-07-01 | 2007-01-09 | Em Microelectronic-Marin Sa | Method of operating an optical motion sensing device and optical motion sensing device implementing this method |
| US7161585B2 (en) * | 2003-07-01 | 2007-01-09 | Em Microelectronic-Marin Sa | Displacement data post-processing and reporting in an optical pointing device |
| US20050012022A1 (en) * | 2003-07-17 | 2005-01-20 | Kye Systems Corp. | Optical input device with variable illumination for detecting movement on working surfaces having different optical characteristics |
| US6934037B2 (en) * | 2003-10-06 | 2005-08-23 | Agilent Technologies, Inc. | System and method for optical navigation using a projected fringe technique |
| US20050024690A1 (en) * | 2003-07-31 | 2005-02-03 | Picciotto Carl E. | Pen with tag reader and navigation system |
| US7227531B2 (en) * | 2003-08-15 | 2007-06-05 | Microsoft Corporation | Data input device for tracking and detecting lift-off from a tracking surface by a reflected laser speckle pattern |
| US7161582B2 (en) * | 2003-08-29 | 2007-01-09 | Microsoft Corporation | Data input device for tracking and detecting lift-off from a tracking surface by a reflected laser speckle pattern |
| US7359041B2 (en) * | 2003-09-04 | 2008-04-15 | Avago Technologies Ecbu Ip Pte Ltd | Method and system for optically tracking a target using a triangulation technique |
| US7423227B2 (en) * | 2003-09-04 | 2008-09-09 | Avago Technologies Ecbu Ip Pte Ltd | Apparatus for optical navigation |
| US20050057510A1 (en) * | 2003-09-16 | 2005-03-17 | Baines Donald A. | Scanning optical mouse |
| EP1517119B1 (en) * | 2003-09-22 | 2008-04-09 | Xitact S.A. | Optical device for determining the longitudinal and angular position of a rotationally symmetrical apparatus |
| TWI244044B (en) * | 2003-09-26 | 2005-11-21 | Sunplus Technology Co Ltd | Method and device for controlling dynamic image capturing rate of an optical mouse |
| US7444005B2 (en) * | 2003-11-04 | 2008-10-28 | Becton, Dickinson And Company | Apparatus and method for using optical mouse engine to determine speed, direction, position of scanned device and to obtain quantitative or qualitative data from same |
| US7110100B2 (en) * | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
| US7382935B2 (en) * | 2003-11-07 | 2008-06-03 | Avago Technologies Ecbu Ip Pte Ltd | Homogeneous and plain surface detection in optical navigation systems |
| EP1531386A1 (en) * | 2003-11-11 | 2005-05-18 | STMicroelectronics Limited | Optical pointing device |
| US7167162B2 (en) * | 2003-12-12 | 2007-01-23 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Apparatus and method for controlling a screen pointer |
| SE0303370D0 (sv) | 2003-12-16 | 2003-12-16 | Anoto Ab | Method, apparatus, computer program and storage medium for recording a movement of a user unit |
| US7394454B2 (en) * | 2004-01-21 | 2008-07-01 | Microsoft Corporation | Data input device and method for detecting lift-off from a tracking surface by electrical impedance measurement |
| TW200525437A (en) * | 2004-01-28 | 2005-08-01 | Sunplus Technology Co Ltd | Device using pulse width modulation to control light source of optical mouse |
| TWI237201B (en) * | 2004-02-03 | 2005-08-01 | Benq Corp | Signal input apparatus |
| US7221356B2 (en) * | 2004-02-26 | 2007-05-22 | Microsoft Corporation | Data input device and method for detecting an off-surface condition by a laser speckle size characteristic |
| US7613329B2 (en) * | 2004-03-08 | 2009-11-03 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Apparatus for controlling the position of a screen pointer that detects defective pixels |
| US7023536B2 (en) * | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
| EP1574825A1 (en) * | 2004-03-12 | 2005-09-14 | Xitact S.A. | Device for determining the longitudinal and angular position of a rotationally symmetrical apparatus |
| US7474297B2 (en) * | 2004-03-22 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. | Contaminant-resistant optical mouse and cradle |
| US7446756B2 (en) * | 2004-03-22 | 2008-11-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination |
| US7242466B2 (en) * | 2004-03-31 | 2007-07-10 | Microsoft Corporation | Remote pointing system, device, and methods for identifying absolute position and relative movement on an encoded surface by remote optical method |
| US8325140B2 (en) | 2004-04-20 | 2012-12-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Illumination spot alignment |
| TWI240214B (en) * | 2004-05-18 | 2005-09-21 | Sunplus Technology Co Ltd | Optimized correlation matching method and system for determining track behavior |
| US7042575B2 (en) * | 2004-05-21 | 2006-05-09 | Silicon Light Machines Corporation | Speckle sizing and sensor dimensions in optical positioning device |
| US7773070B2 (en) | 2004-05-21 | 2010-08-10 | Cypress Semiconductor Corporation | Optical positioning device using telecentric imaging |
| US7268341B2 (en) | 2004-05-21 | 2007-09-11 | Silicon Light Machines Corporation | Optical position sensing device including interlaced groups of photosensitive elements |
| US20050259097A1 (en) * | 2004-05-21 | 2005-11-24 | Silicon Light Machines Corporation | Optical positioning device using different combinations of interlaced photosensitive elements |
| US20050259078A1 (en) * | 2004-05-21 | 2005-11-24 | Silicon Light Machines Corporation | Optical positioning device with multi-row detector array |
| US7285766B2 (en) * | 2004-05-21 | 2007-10-23 | Silicon Light Machines Corporation | Optical positioning device having shaped illumination |
| US20050258346A1 (en) * | 2004-05-21 | 2005-11-24 | Silicon Light Machines Corporation | Optical positioning device resistant to speckle fading |
| US7339575B2 (en) | 2004-05-25 | 2008-03-04 | Avago Technologies Ecbu Ip Pte Ltd | Optical pointing device with variable focus |
| US7420542B2 (en) * | 2004-05-25 | 2008-09-02 | Avago Technologies Ecbu Ip Pte Ltd | Apparatus for capturing and analyzing light and method embodied therein |
| EP1600848A1 (en) * | 2004-05-28 | 2005-11-30 | Siemens Aktiengesellschaft | A method and program for selecting an input symbol, and a device for the same |
| WO2005121937A2 (en) * | 2004-06-07 | 2005-12-22 | Koninklijke Philips Electronics N.V. | Spatial interaction system |
| TWI240207B (en) * | 2004-06-11 | 2005-09-21 | Sunplus Technology Co Ltd | Method and system for real-time determining abnormality of pixel values for captured image |
| US7315013B2 (en) * | 2004-06-17 | 2008-01-01 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd. | Optical navigation using one-dimensional correlation |
| US7113270B2 (en) * | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
| US8532338B2 (en) * | 2004-07-06 | 2013-09-10 | Hewlett-Packard Development Company, L.P. | System and method for compensating for motion blur in optical navigation |
| US20060023970A1 (en) * | 2004-07-29 | 2006-02-02 | Chinlee Wang | Optical tracking sensor method |
| US7057148B2 (en) * | 2004-07-29 | 2006-06-06 | Ami Semiconductor, Inc. | Optical tracking sensor method |
| US7521719B2 (en) * | 2004-08-13 | 2009-04-21 | Paul Steven Schranz | Light emitting and image sensing device and apparatus |
| FI20045300L (fi) | 2004-08-17 | 2006-02-18 | Nokia Corp | Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
| US7423633B2 (en) * | 2004-09-01 | 2008-09-09 | Avago Technologies Ec Buip Pte Ltd | Apparatus for controlling the position of a screen pointer with low sensitivity to fixed pattern noise |
| US7166831B2 (en) * | 2004-09-01 | 2007-01-23 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical mouse with replaceable contaminant barrier |
| KR100620950B1 (ko) * | 2004-09-14 | 2006-09-19 | 주식회사 애트랩 | 광 마우스 및 이 장치의 제어 방법 |
| US7732752B2 (en) * | 2004-09-30 | 2010-06-08 | Logitech Europe S.A. | Continuous base beneath optical sensor and optical homodyning system |
| FR2876470B1 (fr) * | 2004-10-12 | 2006-12-22 | Eastman Kodak Co | Procede de controle d'affichage utilisant un equipement portable a capteur d'images |
| US7602141B2 (en) * | 2004-10-15 | 2009-10-13 | Lifesize Communications, Inc. | Battery operated speakerphone and charging stand |
| US8842186B2 (en) * | 2004-10-25 | 2014-09-23 | I-Interactive Llc | Control system and method employing identification of a displayed image |
| US8760522B2 (en) | 2005-10-21 | 2014-06-24 | I-Interactive Llc | Multi-directional remote control system and method |
| US8456534B2 (en) * | 2004-10-25 | 2013-06-04 | I-Interactive Llc | Multi-directional remote control system and method |
| US20060086712A1 (en) * | 2004-10-25 | 2006-04-27 | Feldmeier David C | Safety device for flat irons based on optical motion detection |
| US20060094331A1 (en) * | 2004-10-28 | 2006-05-04 | Feldmeier David C | Toy that reacts in response to information from a motion sensor |
| US7138620B2 (en) * | 2004-10-29 | 2006-11-21 | Silicon Light Machines Corporation | Two-dimensional motion sensor |
| US7248345B2 (en) * | 2004-11-12 | 2007-07-24 | Silicon Light Machines Corporation | Signal processing method for use with an optical navigation system |
| WO2006068746A2 (en) | 2004-11-19 | 2006-06-29 | Silicon Light Machines Corporation | Dense multi-axis array for motion sensing |
| US8026897B2 (en) * | 2004-11-22 | 2011-09-27 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Cursor motion control of a pointing device |
| WO2006060798A2 (en) * | 2004-12-02 | 2006-06-08 | Silicon Light Machines Corporation | Signal processing method for optical sensors |
| US7379049B2 (en) | 2004-12-13 | 2008-05-27 | Avago Technologies Ecbu Ip Pte Ltd | Apparatus for controlling the position of a screen pointer based on projection data |
| US7282694B2 (en) * | 2004-12-15 | 2007-10-16 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | Optical navigation system having a ring pixel array |
| US7619612B2 (en) * | 2004-12-20 | 2009-11-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Pointing device with light source for providing visible light through a moveable puck |
| US20060149425A1 (en) * | 2004-12-22 | 2006-07-06 | Davis Raymond A | Motion sensor system |
| US7114383B2 (en) * | 2005-01-07 | 2006-10-03 | Bridgestone Firestone North American Tire, Llc | Method and apparatus for monitoring tire performance |
| US20060169021A1 (en) * | 2005-01-28 | 2006-08-03 | Silverstein D A | Method and apparatus for calibration of a motion sensing device in a portable apparatus |
| US8081159B2 (en) * | 2005-02-24 | 2011-12-20 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Programmable lift response for an optical navigation device |
| US20060209015A1 (en) * | 2005-03-18 | 2006-09-21 | Feldmeier David C | Optical navigation system |
| US7119323B1 (en) * | 2005-03-18 | 2006-10-10 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Error corrected optical navigation system |
| US20060215720A1 (en) * | 2005-03-24 | 2006-09-28 | Corzine Scott W | Quantum cascade laser with grating formed by a periodic variation in doping |
| EP1866871A4 (en) * | 2005-03-30 | 2012-01-04 | Worcester Polytech Inst | THREE-DIMENSIONAL FREEHAND ULTRASOUND DIAGNOSIS IMAGING WITH SENSORS FOR DETERMINING THE POSITION AND ANGLE |
| US20060232550A1 (en) * | 2005-04-15 | 2006-10-19 | Buckner Nathan C | Integrated mouse in remote control |
| US20060238508A1 (en) * | 2005-04-22 | 2006-10-26 | Tong Xie | Optical location measuring system |
| US20060248210A1 (en) * | 2005-05-02 | 2006-11-02 | Lifesize Communications, Inc. | Controlling video display mode in a video conferencing system |
| US7656428B2 (en) * | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
| US7399953B2 (en) * | 2005-05-06 | 2008-07-15 | Avago Technologies Ecbu Ip Pte Ltd | Light source control in optical pointing device |
| US7626393B2 (en) * | 2005-05-06 | 2009-12-01 | Halliburton Energy Services, Inc. | Apparatus and method for measuring movement of a downhole tool |
| US20060256086A1 (en) * | 2005-05-12 | 2006-11-16 | Tong Xie | Integrated optical mouse |
| CN101185054B (zh) * | 2005-05-31 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 用于控制设备的方法 |
| US7710397B2 (en) * | 2005-06-03 | 2010-05-04 | Apple Inc. | Mouse with improved input mechanisms using touch sensors |
| KR101108438B1 (ko) | 2005-06-29 | 2012-02-08 | 레이저 유에스에이 리미티드 | 광학센서에 있어서 시계심도 조절방법 및 시스템 |
| US7898524B2 (en) | 2005-06-30 | 2011-03-01 | Logitech Europe S.A. | Optical displacement detection over varied surfaces |
| US20070023997A1 (en) | 2005-07-28 | 2007-02-01 | Ertel John P | System and method for optically detecting media feeding malfunctions in an image forming apparatus |
| US20070032318A1 (en) * | 2005-08-04 | 2007-02-08 | Nishimura Ken A | Motion sensor in sporting equipment |
| US7522746B2 (en) * | 2005-08-12 | 2009-04-21 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Object tracking using optical correlation and feedback |
| US20070040108A1 (en) * | 2005-08-16 | 2007-02-22 | Wenstrand John S | Optical sensor light switch |
| US7399954B2 (en) * | 2005-08-16 | 2008-07-15 | Avago Technologies Ecbu Ip Pte Ltd | System and method for an optical navigation device configured to generate navigation information through an optically transparent layer and to have skating functionality |
| US7763875B2 (en) * | 2005-09-07 | 2010-07-27 | Romanov Nikolai L | System and method for sensing position utilizing an uncalibrated surface |
| US7598979B2 (en) * | 2005-09-21 | 2009-10-06 | Aptina Imaging Corporation | Imaging device with blur reduction system including a primary array and at least one navigation array |
| US20070076082A1 (en) * | 2005-09-30 | 2007-04-05 | Lexmark International, Inc. | Methods and apparatuses for measuring print area using hand-held printer |
| US7500732B2 (en) * | 2005-09-30 | 2009-03-10 | Lexmark International, Inc. | Maintenance and docking station for a hand-held printer |
| US8203343B1 (en) | 2005-10-12 | 2012-06-19 | Seektech, Inc. | Reconfigurable portable locator employing multiple sensor array having flexible nested orthogonal antennas |
| US20070085832A1 (en) * | 2005-10-17 | 2007-04-19 | Ertel John P | Reducing dust contamination in optical mice |
| US20070109271A1 (en) * | 2005-11-14 | 2007-05-17 | Phison Electronics Corp. | [a portable storage device with handwritten input device] |
| US7735951B2 (en) * | 2005-11-15 | 2010-06-15 | Lexmark International, Inc. | Alignment method for hand-operated printer |
| US20070120937A1 (en) * | 2005-11-30 | 2007-05-31 | Lexmark International, Inc. | System and method for hand-held printing |
| TW200722835A (en) * | 2005-12-09 | 2007-06-16 | Ind Tech Res Inst | Polymer dispersed liquid crystal emulsion and polymer dispersed liquid crystal composite film |
| US7567235B2 (en) | 2005-12-12 | 2009-07-28 | Cypress Semiconductor Corporation | Self-aligning optical sensor package |
| US8471191B2 (en) * | 2005-12-16 | 2013-06-25 | Cypress Semiconductor Corporation | Optical navigation system having a filter-window to seal an enclosure thereof |
| US7765251B2 (en) * | 2005-12-16 | 2010-07-27 | Cypress Semiconductor Corporation | Signal averaging circuit and method for sample averaging |
| US7524051B2 (en) * | 2005-12-20 | 2009-04-28 | Lexmark International, Inc. | Hand-operated printer having a user interface |
| US7737948B2 (en) * | 2005-12-20 | 2010-06-15 | Cypress Semiconductor Corporation | Speckle navigation system |
| US7399129B2 (en) * | 2005-12-20 | 2008-07-15 | Lexmark International, Inc. | User interface for a hand-operated printer |
| US7810504B2 (en) * | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
| US8077147B2 (en) | 2005-12-30 | 2011-12-13 | Apple Inc. | Mouse with optical sensing surface |
| US7298460B2 (en) * | 2006-01-03 | 2007-11-20 | Silicon Light Machines Corporation | Method for determining motion using a velocity predictor |
| US20070171275A1 (en) * | 2006-01-24 | 2007-07-26 | Kenoyer Michael L | Three Dimensional Videoconferencing |
| US8120638B2 (en) * | 2006-01-24 | 2012-02-21 | Lifesize Communications, Inc. | Speech to text conversion in a videoconference |
| US8125508B2 (en) * | 2006-01-24 | 2012-02-28 | Lifesize Communications, Inc. | Sharing participant information in a videoconference |
| JP4895352B2 (ja) * | 2006-02-07 | 2012-03-14 | 任天堂株式会社 | 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法 |
| US20070181785A1 (en) * | 2006-02-09 | 2007-08-09 | Helbing Rene P | Compact optical navigation module and microlens array therefore |
| US7884801B1 (en) | 2006-02-16 | 2011-02-08 | Cypress Semiconductor Corporation | Circuit and method for determining motion with redundant comb-arrays |
| US7593833B2 (en) * | 2006-03-03 | 2009-09-22 | At&T Intellectual Property I, L.P. | System and method for determining performance of network lines |
| US7557338B2 (en) * | 2006-03-14 | 2009-07-07 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Electronic device with integrated optical navigation module and microlens array therefore |
| CN101405685A (zh) * | 2006-03-15 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 具有滚动检测的遥控指向技术 |
| US7297912B1 (en) | 2006-03-27 | 2007-11-20 | Silicon Light Machines Corporation | Circuit and method for reducing power consumption in an optical navigation system having redundant arrays |
| US7721609B2 (en) | 2006-03-31 | 2010-05-25 | Cypress Semiconductor Corporation | Method and apparatus for sensing the force with which a button is pressed |
| US7809035B2 (en) * | 2006-03-31 | 2010-10-05 | Cypress Semiconductor Corporation | Eye-safe laser navigation sensor |
| US20070237561A1 (en) * | 2006-04-11 | 2007-10-11 | Lexmark International Inc. | Methods and apparatuses for sensing a print area using a hand-held printer |
| US7976387B2 (en) * | 2006-04-11 | 2011-07-12 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Free-standing input device |
| US8036428B2 (en) * | 2006-04-28 | 2011-10-11 | Pixart Imaging Inc. | Method and apparatus for detecting motion of image in optical navigator |
| TWI311275B (en) * | 2006-05-04 | 2009-06-21 | Sunplus Technology Co Ltd | Apparatus and method for cursor control |
| US7748839B2 (en) * | 2006-05-09 | 2010-07-06 | Lexmark International, Inc. | Handheld printing with reference indicia |
| US7682017B2 (en) * | 2006-05-10 | 2010-03-23 | Lexmark International, Inc. | Handheld printer minimizing printing defects |
| US7492445B1 (en) | 2006-06-05 | 2009-02-17 | Cypress Semiconductor Corporation | Method and apparatus for robust velocity prediction |
| US7755604B2 (en) | 2006-06-19 | 2010-07-13 | Cypress Semiconductor Corporation | Optical navigation sensor with tracking and lift detection for optically transparent contact surfaces |
| US7787145B2 (en) * | 2006-06-29 | 2010-08-31 | Lexmark International, Inc. | Methods for improving print quality in a hand-held printer |
| CN100485593C (zh) * | 2006-06-30 | 2009-05-06 | 凌阳科技股份有限公司 | 一种光标控制装置与方法、及其应用的便携式电子装置 |
| US7728816B2 (en) * | 2006-07-10 | 2010-06-01 | Cypress Semiconductor Corporation | Optical navigation sensor with variable tracking resolution |
| US20080030534A1 (en) * | 2006-08-02 | 2008-02-07 | Adam Jude Ahne | Hand Held Micro-fluid Ejection Devices Configured to Eject Fluid without Referential Position Information and Method of Ejecting Fluid |
| US7442916B2 (en) * | 2006-08-25 | 2008-10-28 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Lift detection adapted for navigation on a transparent structure |
| US20080079956A1 (en) * | 2006-09-21 | 2008-04-03 | Mahesan Chelvayohan | Hand-Held Printer Having An Integrated Digital Camera Scanner |
| US20080075513A1 (en) * | 2006-09-26 | 2008-03-27 | Douglas Laurence Robertson | Methods for a Maintenance Algorithm in Hand Held Printers |
| US7938531B2 (en) | 2006-09-27 | 2011-05-10 | Lexmark International, Inc. | Methods and apparatus for handheld printing with optical positioning |
| US7748840B2 (en) * | 2006-09-27 | 2010-07-06 | Lexmark International, Inc. | Methods and apparatus for handheld printing with optical positioning |
| US7918519B2 (en) | 2006-09-27 | 2011-04-05 | Lexmark International, Inc. | Methods and apparatus for handheld printing with optical positioning |
| US7742514B1 (en) | 2006-10-31 | 2010-06-22 | Cypress Semiconductor Corporation | Laser navigation sensor |
| US7566858B2 (en) * | 2006-11-07 | 2009-07-28 | Apple Inc. | Remote control systems that can distinguish stray light sources |
| US8072429B2 (en) * | 2006-12-22 | 2011-12-06 | Cypress Semiconductor Corporation | Multi-axial touch-sensor device with multi-touch resolution |
| US9052759B2 (en) * | 2007-04-11 | 2015-06-09 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Dynamically reconfigurable pixel array for optical navigation |
| US7567341B2 (en) * | 2006-12-29 | 2009-07-28 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical navigation device adapted for navigation on a transparent structure |
| US7965278B2 (en) * | 2006-12-29 | 2011-06-21 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical navigation device adapted for navigation on a transparent plate |
| EP1950957A2 (en) | 2007-01-23 | 2008-07-30 | Funai Electric Co., Ltd. | Image display system |
| US7808483B2 (en) * | 2007-02-06 | 2010-10-05 | Aaron Grunberger | System, device, and method for extending a stroke of a computer pointing device |
| US7938532B2 (en) | 2007-02-16 | 2011-05-10 | Lexmark International, Inc. | Hand held printer with vertical misalignment correction |
| JP5108330B2 (ja) * | 2007-02-26 | 2012-12-26 | アバゴ・テクノロジーズ・イーシービーユー・アイピー（シンガポール）プライベート・リミテッド | ポインティングデバイス |
| US8285475B2 (en) | 2007-03-02 | 2012-10-09 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Combined beacon and scene navigation system |
| US20080219737A1 (en) * | 2007-03-07 | 2008-09-11 | Michael David Stilz | Hand Held Printer Having A Doppler Position Sensor |
| US20080231600A1 (en) | 2007-03-23 | 2008-09-25 | Smith George E | Near-Normal Incidence Optical Mouse Illumination System with Prism |
| US7933166B2 (en) * | 2007-04-09 | 2011-04-26 | Schlumberger Technology Corporation | Autonomous depth control for wellbore equipment |
| US20080262484A1 (en) * | 2007-04-23 | 2008-10-23 | Nlight Photonics Corporation | Motion-controlled laser surface treatment apparatus |
| US8102365B2 (en) * | 2007-05-14 | 2012-01-24 | Apple Inc. | Remote control systems that can distinguish stray light sources |
| US8081162B2 (en) * | 2007-05-16 | 2011-12-20 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical navigation device with surface and free space navigation |
| US9097909B2 (en) * | 2007-06-21 | 2015-08-04 | The Johns Hopkins University | Manipulation device for navigating virtual microscopy slides/digital images and methods related thereto |
| US20080316295A1 (en) * | 2007-06-22 | 2008-12-25 | King Keith C | Virtual decoders |
| US8092006B2 (en) | 2007-06-22 | 2012-01-10 | Lexmark International, Inc. | Handheld printer configuration |
| US8314774B1 (en) | 2007-07-09 | 2012-11-20 | Cypress Semiconductor Corporation | Method and apparatus for quasi-3D tracking using 2D optical motion sensors |
| US8139100B2 (en) | 2007-07-13 | 2012-03-20 | Lifesize Communications, Inc. | Virtual multiway scaler compensation |
| US8263921B2 (en) | 2007-08-06 | 2012-09-11 | Cypress Semiconductor Corporation | Processing methods for speckle-based motion sensing |
| US20090040286A1 (en) * | 2007-08-08 | 2009-02-12 | Tan Theresa Joy L | Print scheduling in handheld printers |
| US20090046064A1 (en) * | 2007-08-17 | 2009-02-19 | Microsoft Corporation | Pointing device for control of a graphical display or application |
| US7952721B2 (en) * | 2007-08-30 | 2011-05-31 | Microstrain, Inc. | Optical linear and rotation displacement sensor |
| CN101398711A (zh) * | 2007-09-29 | 2009-04-01 | 玴荣科技股份有限公司 | 手持摄影机的光标定位方法 |
| WO2009051563A1 (en) * | 2007-10-19 | 2009-04-23 | Razer (Asia-Pacific) Pte Ltd | Unintended displacement identification and correction method and system |
| US20090102793A1 (en) * | 2007-10-22 | 2009-04-23 | Microsoft Corporation | Optical mouse |
| US7973768B2 (en) | 2007-11-16 | 2011-07-05 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Optical navigation device with consolidated processing for surface and free space navigation |
| US8847888B2 (en) * | 2007-12-18 | 2014-09-30 | Microsoft Corporation | Optical mouse with limited wavelength optics |
| US20090160772A1 (en) * | 2007-12-20 | 2009-06-25 | Microsoft Corporation | Diffuse optics in an optical mouse |
| US20090160773A1 (en) * | 2007-12-20 | 2009-06-25 | Microsoft Corporation | Optical mouse |
| US8259069B1 (en) | 2008-01-11 | 2012-09-04 | Cypress Semiconductor Corporation | Speckle-based optical navigation on curved tracking surface |
| US8031176B1 (en) | 2008-01-22 | 2011-10-04 | Cypress Semiconductor Corporation | Optical navigation system using a single-package motion sensor |
| EP2255158A4 (en) * | 2008-03-10 | 2014-01-22 | Timothy Webster | DETECTION OF THE POSITION OF A PISTON IN A HYDRAULIC SPINDLE USING A PHOTOGRAPHIC IMAGE SENSOR |
| US8238639B2 (en) | 2008-04-09 | 2012-08-07 | Cognex Corporation | Method and system for dynamic feature detection |
| CN101566886B (zh) * | 2008-04-21 | 2012-09-26 | 原相科技股份有限公司 | 光学指示装置 |
| US7978477B2 (en) * | 2008-05-09 | 2011-07-12 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Dual-channel optical navigation device |
| US7905567B2 (en) * | 2008-05-16 | 2011-03-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Closed-loop printing registration systems, devices, components and methods |
| US8232966B2 (en) * | 2008-06-03 | 2012-07-31 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Multiple input optical navigation system |
| CN101320301A (zh) * | 2008-07-18 | 2008-12-10 | 郑国书 | 一种鼠标 |
| DE102008049846A1 (de) | 2008-09-30 | 2010-04-01 | Carl Zeiss Meditec Ag | Anordnung und Verfahren zur schnellen Messung einer Augenbewegung |
| DE102008049881A1 (de) | 2008-09-30 | 2010-04-01 | Carl Zeiss Meditec Ag | Anordnung und Verfahren zur Messung einer Augenbewegung, insbesondere einer Bewegung des Augenhintergrunds |
| JP5512682B2 (ja) * | 2008-09-30 | 2014-06-04 | カール ツアイス メディテック アクチエンゲゼルシャフト | 眼球運動、特に眼底の運動の測定装置および測定方法 |
| US8541727B1 (en) | 2008-09-30 | 2013-09-24 | Cypress Semiconductor Corporation | Signal monitoring and control system for an optical navigation sensor |
| US7723659B1 (en) | 2008-10-10 | 2010-05-25 | Cypress Semiconductor Corporation | System and method for screening semiconductor lasers |
| US20100110160A1 (en) * | 2008-10-30 | 2010-05-06 | Brandt Matthew K | Videoconferencing Community with Live Images |
| US8217334B1 (en) | 2008-12-24 | 2012-07-10 | Cypress Semiconductor Corporation | Optical navigation sensor including a spatial frequency filter |
| US8315434B2 (en) * | 2009-01-06 | 2012-11-20 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Absolute tracking in a sub-pixel range |
| US8643695B2 (en) * | 2009-03-04 | 2014-02-04 | Lifesize Communications, Inc. | Videoconferencing endpoint extension |
| US8456510B2 (en) * | 2009-03-04 | 2013-06-04 | Lifesize Communications, Inc. | Virtual distributed multipoint control unit |
| US8711096B1 (en) | 2009-03-27 | 2014-04-29 | Cypress Semiconductor Corporation | Dual protocol input device |
| US9703398B2 (en) * | 2009-06-16 | 2017-07-11 | Microsoft Technology Licensing, Llc | Pointing device using proximity sensing |
| US8154438B1 (en) * | 2009-09-08 | 2012-04-10 | The United States Of America As Represented By The Secretary Of The Navy | Registration of latitude/longitude coordinates using range detection sensors and digital nautical charts |
| US8350891B2 (en) * | 2009-11-16 | 2013-01-08 | Lifesize Communications, Inc. | Determining a videoconference layout based on numbers of participants |
| US8672763B2 (en) | 2009-11-20 | 2014-03-18 | Sony Computer Entertainment Inc. | Controller for interfacing with a computing program using position, orientation, or motion |
| US8687060B1 (en) | 2009-12-28 | 2014-04-01 | Cognex Corporation | System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system |
| EP2531952B1 (en) * | 2010-02-01 | 2018-08-08 | VITO NV (Vlaamse Instelling voor Technologisch Onderzoek NV) | System and method for 2d occupancy sensing |
| US9030405B2 (en) | 2011-02-04 | 2015-05-12 | Invensense, Inc. | High fidelity remote controller device for digital living room |
| WO2012173640A1 (en) | 2011-06-16 | 2012-12-20 | Cypress Semiconductor Corporaton | An optical navigation module with capacitive sensor |
| RU2502754C2 (ru) * | 2011-07-20 | 2013-12-27 | Общество с ограниченной ответственностью "Научно-технический центр "Кама" | Резиновая смесь |
| US9324159B2 (en) | 2011-07-26 | 2016-04-26 | Nanyang Technological University | Method and system for tracking motion of a device |
| US8902302B2 (en) | 2011-09-16 | 2014-12-02 | Emerson Electric Co. | Method and apparatus for surveying with a feature location |
| US8896553B1 (en) | 2011-11-30 | 2014-11-25 | Cypress Semiconductor Corporation | Hybrid sensor module |
| US10426692B2 (en) | 2012-08-06 | 2019-10-01 | Koninklijke Philips N.V. | Skin treatment apparatus and method for the same |
| US8797611B2 (en) | 2012-12-12 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Illumination assembly |
| JP2014203212A (ja) * | 2013-04-03 | 2014-10-27 | 船井電機株式会社 | 入力装置及び入力方法 |
| CN104122541B (zh) | 2013-04-28 | 2016-08-17 | 意法半导体研发(深圳)有限公司 | 具有互连层的接近检测器设备及相关方法 |
| EP2811318B1 (de) * | 2013-06-05 | 2015-07-22 | Sick Ag | Optoelektronischer Sensor |
| CN104347644B (zh) | 2013-07-25 | 2018-06-19 | 意法半导体研发(深圳)有限公司 | 具有透镜组件的图像检测器及相关方法 |
| US9562955B2 (en) | 2014-01-20 | 2017-02-07 | Qualcomm Incorporated | Methods and apparatus for magnetic field strength measurement |
| US9715286B2 (en) | 2014-01-28 | 2017-07-25 | Solid Art Labs, Inc. | Hand-controllable signal-generating devices and systems |
| EP3108318B1 (en) | 2014-09-30 | 2019-07-10 | SZ DJI Technology Co., Ltd. | System and method for data recording and analysis |
| US10382012B2 (en) * | 2015-01-26 | 2019-08-13 | Pixart Imaging Inc. | Navigation device and track smoothing method thereof |
| EP3516486B1 (en) | 2016-09-23 | 2021-04-07 | Razer (Asia-Pacific) Pte Ltd. | Input devices and methods for providing an input to a computing system |
| TWI592838B (zh) | 2017-01-10 | 2017-07-21 | Univ Nat Central | System and method for measuring screen resolution associated with mouse movement speed, recording media and computer program product |
| WO2018157384A1 (en) * | 2017-03-03 | 2018-09-07 | Microsoft Technology Licensing, Llc. | Pointing device and manufacturing method thereof |
| US11029765B1 (en) * | 2020-06-03 | 2021-06-08 | Pixart Imaging Inc. | Lift detection method for mouse and apparatus thereof |
| EP4379114A1 (de) | 2022-11-29 | 2024-06-05 | Textech Struve GmbH | Vorrichtung zum erfassen der weglänge beim fadeneinlauf wenigstens eines einzelfadens einer fadenschar an einer textilmaschine |
| DE102023113055A1 (de) | 2023-05-17 | 2024-11-21 | Alexander Binzel Schweisstechnik Gmbh & Co. Kg | Verfahren und Vorrichtung zum berührungslosen Bestimmen der Vorschubgeschwindigkeit eines in seiner Längsrichtung bewegten länglichen Gegenstandes |
Family Cites Families (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3575505A (en) | 1968-07-30 | 1971-04-20 | Eastman Kodak Co | Automatic bias control |
| US3942022A (en) | 1974-10-25 | 1976-03-02 | Itek Corporation | Rapid response correlation type image motion sensor |
| CA1091756A (en) | 1975-10-14 | 1980-12-16 | Eastman Kodak Company | Electrophotographic apparatus having compensation for changes in sensitometric properties of photoconductors |
| US4270143A (en) | 1978-12-20 | 1981-05-26 | General Electric Company | Cross-correlation video tracker and method |
| FR2504673A1 (fr) | 1981-04-27 | 1982-10-29 | Thomson Csf | Indicateur cartographique a enregistrement sur film photographique |
| US4364035A (en) | 1981-05-18 | 1982-12-14 | Kirsch Steven T | Electro-optical mouse |
| US4390873A (en) | 1981-05-18 | 1983-06-28 | Kirsch Steven T | Electronic mouse |
| US4546347A (en) | 1981-05-18 | 1985-10-08 | Mouse Systems Corporation | Detector for electro-optical mouse |
| US4521772A (en) | 1981-08-28 | 1985-06-04 | Xerox Corporation | Cursor control device |
| US4578674A (en) | 1983-04-20 | 1986-03-25 | International Business Machines Corporation | Method and apparatus for wireless cursor position control |
| US4631400A (en) | 1984-01-20 | 1986-12-23 | California Institute Of Technology | Correlating optical motion detector |
| US4799055A (en) | 1984-04-26 | 1989-01-17 | Symbolics Inc. | Optical Mouse |
| US4794384A (en) | 1984-09-27 | 1988-12-27 | Xerox Corporation | Optical translator device |
| US4723297A (en) | 1984-09-27 | 1988-02-02 | Siemens Aktiengesellschaft | Method for automatic correction of character skew in the acquisition of a text original in the form of digital scan results |
| JPS6194134A (ja) | 1984-10-13 | 1986-05-13 | Naretsuji:Kk | 無線マウス装置 |
| US4656721A (en) | 1984-11-19 | 1987-04-14 | R. D. Werner Co., Inc. | Apparatus and methods for making rail-to-rung joints for ladders and joints for other structural elements |
| US5023922A (en) | 1985-06-07 | 1991-06-11 | Soricon Corporation | Optical character reader |
| US4857903A (en) | 1986-05-06 | 1989-08-15 | Summagraphics Corporation | Electro-optical mouse with improved resolution for compensation of optical distortion |
| US4751505A (en) | 1986-06-23 | 1988-06-14 | Xerox Corporation | Optical mouse |
| US4797544A (en) | 1986-07-23 | 1989-01-10 | Montgomery James R | Optical scanner including position sensors |
| US5576529A (en) * | 1986-08-08 | 1996-11-19 | Norand Technology Corporation | Hand-held optically readable information set reader focus with operation over a range of distances |
| US4970557A (en) | 1987-09-02 | 1990-11-13 | Sharp Kabushiki Kaisha | Electrophotographic apparatus controlling image quality according to condition of deterioration |
| US5363120A (en) * | 1987-10-14 | 1994-11-08 | Wang Laboratories, Inc. | Computer input device using orientation sensor |
| JP2668937B2 (ja) | 1988-05-16 | 1997-10-27 | 富士ゼロックス株式会社 | 位置指定装置 |
| EP0355172B1 (de) * | 1988-08-06 | 1994-07-20 | Deutsche ITT Industries GmbH | Fernbedienungssystem |
| US4920260A (en) * | 1988-08-30 | 1990-04-24 | Msc Technologies, Inc. | Detector system for optical mouse |
| US5841121A (en) * | 1988-08-31 | 1998-11-24 | Norand Technology Corporation | Hand-held optically readable character set reader having automatic focus control for operation over a range of distances |
| US4951214A (en) | 1988-11-18 | 1990-08-21 | Texas Instruments Incorporated | Method for passively determining the relative position of a moving observer with respect to a stationary object |
| US5045843B1 (en) * | 1988-12-06 | 1996-07-16 | Selectech Ltd | Optical pointing device |
| US5089712A (en) | 1989-06-08 | 1992-02-18 | Hewlett-Packard Company | Sheet advancement control system detecting fiber pattern of sheet |
| GB2239575B (en) * | 1989-10-17 | 1994-07-27 | Mitsubishi Electric Corp | Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus |
| US5355146A (en) | 1990-03-05 | 1994-10-11 | Bmc Micro-Industries Ltd. | Multi-directional hand scanner and mouse |
| JP2803307B2 (ja) | 1990-04-03 | 1998-09-24 | 富士ゼロックス株式会社 | スペックルパターンの移動検出方法及びこれを用いた位置指定装置 |
| JPH04253220A (ja) | 1991-01-30 | 1992-09-09 | Sharp Corp | 座標検出装置 |
| US5185673A (en) | 1991-06-12 | 1993-02-09 | Hewlett-Packard Company | Automated image calibration |
| US5418546A (en) * | 1991-08-20 | 1995-05-23 | Mitsubishi Denki Kabushiki Kaisha | Visual display system and exposure control apparatus |
| US5149980A (en) | 1991-11-01 | 1992-09-22 | Hewlett-Packard Company | Substrate advance measurement system using cross-correlation of light sensor array signals |
| JPH05281820A (ja) | 1992-03-31 | 1993-10-29 | Minolta Camera Co Ltd | 画像形成装置 |
| US5517211A (en) | 1992-05-14 | 1996-05-14 | Kwang-Chien; Fong | Optical signal detector for an electro-optical mouse |
| DE69326714T2 (de) * | 1992-05-26 | 2000-03-09 | United Parcel Service Of America, Inc. | Kameralesevorrichtung für verschiedene Kodes |
| US5272503A (en) | 1992-09-02 | 1993-12-21 | Xerox Corporation | Replaceable sub-assemblies for electrostatographic reproducing machines |
| DE69329005T2 (de) * | 1992-10-26 | 2001-03-22 | Sun Microsystems Inc | Fernbedienungs- und Zeigegerät |
| US5793357A (en) | 1992-11-14 | 1998-08-11 | Ivey; Peter Anthony | Device and method for determining movement of a surface |
| US5479011A (en) * | 1992-12-18 | 1995-12-26 | Spectra-Physics Scanning Systems, Inc. | Variable focus optical system for data reading |
| US5388059A (en) * | 1992-12-30 | 1995-02-07 | University Of Maryland | Computer vision system for accurate monitoring of object pose |
| US5497150A (en) | 1993-04-05 | 1996-03-05 | Smk Corporation | Image scanner |
| IT1264225B1 (it) * | 1993-09-24 | 1996-09-23 | Sintecna S R L | Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi |
| US5456256A (en) * | 1993-11-04 | 1995-10-10 | Ultra-Scan Corporation | High resolution ultrasonic imaging apparatus and method |
| US5574479A (en) * | 1994-01-07 | 1996-11-12 | Selectech, Ltd. | Optical system for determining the roll orientation of a remote unit relative to a base unit |
| US5504319A (en) * | 1994-02-09 | 1996-04-02 | Symbol Technologies, Inc. | Method and system for bar code acquisition |
| JPH07303290A (ja) | 1994-05-02 | 1995-11-14 | Wacom Co Ltd | 情報入力装置 |
| JP3473988B2 (ja) | 1994-05-20 | 2003-12-08 | 株式会社ワコム | 情報入力装置 |
| US5530455A (en) | 1994-08-10 | 1996-06-25 | Mouse Systems Corporation | Roller mouse for implementing scrolling in windows applications |
| US5491540A (en) | 1994-12-22 | 1996-02-13 | Hewlett-Packard Company | Replacement part with integral memory for usage and calibration data |
| US5686720A (en) | 1995-03-02 | 1997-11-11 | Hewlett Packard Company | Method and device for achieving high contrast surface illumination |
| US5578813A (en) | 1995-03-02 | 1996-11-26 | Allen; Ross R. | Freehand image scanning device which compensates for non-linear movement |
| JPH08292830A (ja) * | 1995-04-24 | 1996-11-05 | Wacom Co Ltd | 位置指示器 |
| JP3109981B2 (ja) | 1995-06-30 | 2000-11-20 | キヤノン株式会社 | 画像形成装置 |
| US5894302A (en) * | 1995-08-28 | 1999-04-13 | Contour Design, Inc. | Ergonomic housing for a computer mouse |
| US5786804A (en) * | 1995-10-06 | 1998-07-28 | Hewlett-Packard Company | Method and system for tracking attitude |
| US5729008A (en) * | 1996-01-25 | 1998-03-17 | Hewlett-Packard Company | Method and device for tracking relative movement by correlating signals from an array of photoelements |
| US6003773A (en) * | 1996-03-01 | 1999-12-21 | Intermec Ip Corp. | Tablet style indicia reader with system for handling multiple indicia |
| US5749019A (en) | 1996-09-09 | 1998-05-05 | Xerox Corporation | Look up table to control non-linear xerographic process |
| JP2809215B2 (ja) * | 1996-09-26 | 1998-10-08 | 日本電気株式会社 | 固体撮像カメラ |
| US6014161A (en) | 1997-01-31 | 2000-01-11 | Hewlett-Packard Company | Closed loop compensation for gray scale printing devices |
| US5936612A (en) * | 1997-05-30 | 1999-08-10 | Wang; Yanqing | Computer input device and method for 3-D direct manipulation of graphic objects |
| US6618093B1 (en) * | 1998-01-15 | 2003-09-09 | Chauncey F. Levy | Distortion-free imaging device having curved photosensor |
| US6172354B1 (en) * | 1998-01-28 | 2001-01-09 | Microsoft Corporation | Operator input device |
| US5994710A (en) * | 1998-04-30 | 1999-11-30 | Hewlett-Packard Company | Scanning mouse for a computer system |
-
1995
- 1995-10-06 US US08/540,355 patent/US5786804A/en not_active Expired - Lifetime
-
1996
- 1996-09-18 EP EP96306771A patent/EP0767443B1/en not_active Expired - Lifetime
- 1996-09-18 DE DE69620531T patent/DE69620531T2/de not_active Expired - Lifetime
- 1996-10-04 JP JP26445496A patent/JP3958390B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-11 US US09/022,097 patent/US6175357B1/en not_active Expired - Lifetime
- 1998-03-30 US US09/052,046 patent/US6281882B1/en not_active Expired - Lifetime
-
2001
- 2001-01-02 US US09/753,805 patent/US6433780B1/en not_active Expired - Lifetime
-
2004
- 2004-12-02 US US11/001,713 patent/USRE40410E1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69620531T2 (de) | 2002-10-02 |
| US6281882B1 (en) | 2001-08-28 |
| EP0767443A3 (en) | 1997-11-05 |
| US5786804A (en) | 1998-07-28 |
| US6175357B1 (en) | 2001-01-16 |
| DE69620531D1 (de) | 2002-05-16 |
| JPH09134250A (ja) | 1997-05-20 |
| EP0767443A2 (en) | 1997-04-09 |
| USRE40410E1 (en) | 2008-07-01 |
| EP0767443B1 (en) | 2002-04-10 |
| US20020093486A1 (en) | 2002-07-18 |
| US6433780B1 (en) | 2002-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3958390B2 (ja) | 装置姿勢追跡方法 | |
| US6489945B1 (en) | Method and system for tracking attitude | |
| CN100510931C (zh) | 图像捕获设备 | |
| US7145596B2 (en) | Method of and apparatus for composing a series of partial images into one image based upon a calculated amount of overlap | |
| US20200280691A1 (en) | Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly | |
| US9024876B2 (en) | Absolute and relative positioning sensor fusion in an interactive display system | |
| US7284866B2 (en) | Stabilized image projecting device | |
| US9407837B2 (en) | Depth sensor using modulated light projector and image sensor with color and IR sensing | |
| US6710767B1 (en) | Coordinate input apparatus | |
| US8169550B2 (en) | Cursor control method and apparatus | |
| US8421750B2 (en) | Pointing device, data processing device, and data processing system | |
| WO2002052496A2 (en) | Computer vision-based wireless pointing system | |
| US6229601B1 (en) | Coordinate input apparatus and method, and storage medium | |
| CN111954790A (zh) | 用于3d感测的装置和方法 | |
| US10326894B1 (en) | Self stabilizing projector | |
| KR20190086464A (ko) | 깊이 매핑 | |
| WO2014062906A1 (en) | Motion compensation in an interactive display system | |
| US20230023198A1 (en) | Image-capturing device, image-capturing apparatus and method of acquiring distance image | |
| US6828956B2 (en) | Coordinate input apparatus, coordinate input system, coordinate input method, and pointer | |
| KR102464094B1 (ko) | 이중 라이다 센서 구조의 모션 트래킹 장치 | |
| KR102207256B1 (ko) | 화상 표시 장치 및 그의 포인팅 방법 | |
| JP7079833B2 (ja) | 携帯情報端末 | |
| JP2002351612A (ja) | 座標入力装置及びその制御方法、プログラム | |
| JP2680331B2 (ja) | 宇宙航行体の補捉追尾装置 | |
| JP2015122053A (ja) | ポインティング装置、ポインティング方法、プログラム及び画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070405 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070510 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |