[go: up one dir, main page]

JP3419050B2 - 入力装置 - Google Patents

入力装置

Info

Publication number
JP3419050B2
JP3419050B2 JP29069993A JP29069993A JP3419050B2 JP 3419050 B2 JP3419050 B2 JP 3419050B2 JP 29069993 A JP29069993 A JP 29069993A JP 29069993 A JP29069993 A JP 29069993A JP 3419050 B2 JP3419050 B2 JP 3419050B2
Authority
JP
Japan
Prior art keywords
image
computer device
output
mouse
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29069993A
Other languages
English (en)
Other versions
JPH07141101A (ja
Inventor
則行 井浦
善道 工藤
健志 市毛
直樹 山本
宅哉 今出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP29069993A priority Critical patent/JP3419050B2/ja
Priority to US08/343,962 priority patent/US5617312A/en
Publication of JPH07141101A publication Critical patent/JPH07141101A/ja
Application granted granted Critical
Publication of JP3419050B2 publication Critical patent/JP3419050B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、コンピュータ機器への
入力装置に係り、特に、ビデオカメラを用いコンピュー
タ機器と人間とのインタフェイスを良好に行なうための
画像を用いた入力装置に関する。
【０００２】
【従来の技術】パーソナルコンピュータ（以下ＰＣと呼
ぶ）やワークステーション（以下ＷＳと呼ぶ）またはゲ
ーム機器等において、人間とこれらの機器とのインタフ
ェイスつまり入力装置としては、マウス，キーボード，
トラックボール，ジョイスティック等があげられが、最
近は、ＰＣやＷＳへの入力手段としてマウスを用いるこ
とが多くなっている。
【０００３】マウスを用いたＰＣやＷＳの操作例とし
て、アイコン（ｉｃｏｎ；ディスプレイ上に表示される
特定の処理や指令等を象徴化した絵文字などの領域）を
クリックする操作（対象を指定するためマウスの所定ボ
タンをプッシュする操作）があり、アイコンをクリック
する場合には、まず現在画面上に置かれているカーソル
の位置を所望のアイコンのある位置まで移動させる必要
がある。そこで、人間は右手にマウスを持ち机等の平面
の上でマウスを移動させる。このときマウスは、移動量
を垂直方向の移動量と水平方向の移動量に分解し、垂直
／水平の各々の移動量をＰＣやＷＳに出力する。そし
て、画面上のカーソルの位置は、マウスから与えられる
垂直／水平の移動量に応じて移動する。
【０００４】
【発明が解決しようとする課題】しかし、以下に示す問
題から、マウスを代表とする上記した入力装置は、必ず
しも完全な入力装置とはいえない。 マウス等を代表とする入力装置を用いるということ
は、人間の意志を直接コンピュータ機器に認識させるの
ではない。つまり人間の意志は、マウス等の入力機器を
通して間接的にコンピュータ機器に伝わるので、完全な
マン／マシンインタフェイスであるとは言えない。 マウスを用いる時、机上にマウスを操作するに十分な
スペースが必要である。ところが、コンピュータ機器を
人間が操作する時には、操作に必要な資料や書類を机上
に展開していることが多く、マウスを使用するために、
これらを避けてそれ相応のスペースを机上に確保しなけ
ればならない。
【０００５】一方、最近では画像取り込み機能を有する
ＰＣやＷＳが数多く市販されており、中にはビデオカメ
ラを装備した製品すらある。よって今後、ＰＣやＷＳ等
のコンピュータ機器とビデオカメラとの関係は、より一
層深いものになっていくと思われる。しかし、現在のＰ
ＣやＷＳ等のコンピュータ機器は、ビデオカメラから出
力される映像信号を、単なる画像データとして取り扱っ
ているに過ぎないのが現状である。
【０００６】本発明は上記の点に鑑みなされたもので、
その目的とするところは、コンピュータ機器において従
来用いられているマウス等の入力機器を操作することな
く（入力操作用のツールを手動操作することなく）、画
像抽出機能を有するビデオカメラを用いることによっ
て、人間の意志を直接コンピュータ機器に認識させ得
る、操作性の良い入力システムを提供することにある。
【０００７】
【課題を解決するための手段】本発明による画像を用い
た入力システムは、上記した目的を達成するため、画像
データを生成出力するビデオカメラをマウス等の入力装
置の代わりに用いる。そして、ビデオカメラは、人間の
手や手に持った特定の物体、または体の一部分等の任意
の部位が存在する位置を画像抽出の手段を用いて判定
し、その位置情報をコンピュータ機器に出力するよう
に、構成される。
【０００８】
【作用】上記ビデオカメラを用いた入力動作は、従来の
マウス等の入力装置を用いた場合と異なり、見掛け上で
はあるが、人間の意志を直接コンピュータ機器に認識さ
せることが出来る。また、マウス等の入力装置の代わり
のビデオカメラを、ＰＣやＷＳと一体化、若しくはディ
スプレイ上に設置等すれば、机上に余計な物を置く必要
が無くなる。
【０００９】
【実施例】以下、本発明の各実施例を図を用いて説明す
る。図１は本発明の第１実施例に係る画像を用いた入力
システムの構成図である。図１において、１０１はレン
ズ、１０２は撮像素子、１０３はアンプ、１０４はＡ／
Ｄ変換器、１０５は映像信号処理回路、１０６は画像抽
出回路、１０７はマイクロコンピュータ、１０８は上記
１０１から１０７までを有する撮像装置とＰＣやＷＳ等
とを接続するための通信線、１０９はＰＣやＷＳ等のコ
ンピュータ機器である。
【００１０】上記１０１から１０７までを有する撮像装
置とコンピュータ機器１０９とを接続し、実際に使用す
る場合の構成図を図２に示す。図２において、２０１は
上記１０１から１０７までを有する撮像装置、２０２は
コンピュータ機器１０９のディスプレイ、２０３はディ
スプレイ２０２上にあるアイコン、２０４はディスプレ
イ２０２上にあるカーソル、２０５はコンピュータ機器
１０９のキーボード、２０６はコンピュータ機器１０９
を操作する人間（オペレータ）である。
【００１１】ここで、本実施例におけるＰＣやＷＳ等の
コンピュータ機器１０９の操作手法を説明する前に、従
来のマウスを用いてアイコンをクリックする操作を、図
３によって説明する。
【００１２】図３は、一般的なＰＣの構成を示すブロッ
ク図である。同図は、図２と共通する部分があるので、
共通部分には同じ番号を付け、異なる部分のみ説明す
る。図３において３０１はマウスである。アイコン２０
３をクリックする場合には、まずカーソル２０４の位置
をアイコン２０３のある位置まで移動させる必要があ
る。 そこで、人間２０６は右手にマウス３０１を持
ち、机等の平面の上でマウス３０１を移動させる。この
時マウス３０１は、移動量を垂直方向の移動量と水平方
向の移動量に分解し、垂直／水平の各々の移動量をコン
ピュータ機器１０９に出力する。カーソル２０４の位置
は、マウス３０１から与えられる垂直／水平の移動量に
応じて移動する。以上の動作でカーソル２０４を所望の
アイコン２０３上に移動させた後、マウス３０１のクリ
ックボタンを押し、アイコン２０３をクリックする。
【００１３】次に、マウスの代わりに撮像装置を用いて
所望するアイコン上にカーソルを移動させる操作、及び
これに引き続いて行われる、アイコンをクリックする操
作を説明する。上記した通りに、カーソル２０４を動か
すには、コンピュータ機器１０９に垂直／水平の各々の
移動量を与えなければならない。本発明では、コンピュ
ータ機器１０９に垂直／水平の各々の移動量を与える手
段として、撮像装置２０１を用いている。
【００１４】以下、本発明の第１実施例における撮像装
置２０１の動作を説明する。レンズ１０１を通して撮像
素子１０２に入射した光は、撮像素子１０２で光電変換
される。このとき、撮像装置２０１は、人間２０６を撮
像している事とする。撮像素子１０２で光電変換された
信号は、アンプ１０３で増幅され、Ａ／Ｄ変換器１０４
に入力される。Ａ／Ｄ変換器１０４は、入力されたアナ
ログ信号をディジタル信号に変換し、変換したディジタ
ル信号を映像信号処理回路１０５に出力する。映像信号
処理回路１０５に入力された信号は、γ補正等の公知の
処理を施され、映像信号に変換される。映像信号処理回
路１０５で変換された映像信号は、画像抽出回路１０６
に出力される。画像抽出回路１０６は、例えば、あらか
じめ設定してあるデータを基に人間２０６の手の部分を
抽出する（なお、このような画像抽出手法は、例えば、
１９９３年テレビジョン学会年次大会講演予稿集９３頁
〜９４頁に記載の「逐次成長法による画像抽出の一検
討」に示されているので、必要とあれば参照された
い）。ここで、上記のあらかじめ設定してあるデータと
は、輝度情報や色彩情報や形状情報等を指し、何れかに
よって人間２０６の手の部分を表す数値のことである。
また、図示していないが、撮像装置２０１は上記データ
を記憶保持する手段を有し、このデータは任意に書換え
が可能とされている。
【００１５】図４は、撮像装置２０１が撮像した画面の
１例を表す図であり、同図において、４０１は代表ポイ
ントである。また図５は、図４中の抽出物体である人間
２０６の手の部分の拡大図であり、同図において、５０
１は抽出物体の重心、５０２は抽出物体の先端である。
【００１６】図５に示した本例においては、画像抽出回
路１０６は、抽出した人間２０６の手の部分から（手指
を全て開いた状態の手の部分から）、代表ポイント４０
１を決定し、その垂直及び水平座標をマイクロコンピュ
ータ１０７に出力する。上記代表ポイント４０１は、抽
出した人間２０６の手の部分の重心５０１や先端５０２
等、抽出部分中の任意の１ヶ所を選択する。また、ここ
でいう垂直座標とは、画面の上から何ライン目に代表ポ
イント４０１があるかを指し、水平座標とは、画面の左
から何画素目に代表ポイント４０１があるかを指してい
る。いま仮に、図４，図５に示す位置に人間２０６の手
の部分があり、手の部分の重心５０１が代表ポイント４
０１とされている場合には、代表ポイント４０１の垂直
座標は「Ｎ＋４」、水平座標は「Ｍ＋２」となる。な
お、上記垂直及び水平座標は、ライン数や画素にかかわ
らず画面を縦横任意の数に分割して表わすようにしても
良い。
【００１７】画像抽出回路１０６は、上記したようにし
て抽出した人間２０６の手の代表ポイント４０１の座標
を、マイクロコンピュータ１０７に出力する。マイクロ
コンピュータ１０７は、画像抽出回路１０６が一つ前に
出力した位置座標と現在出力した位置座標との差分を演
算し、移動量をコンピュータ機器１０９が認識できる信
号フォーマット、つまり、マウス３０１が出力する信号
フォーマットと同様の信号フォーマットに変換する。
【００１８】なお、マイクロコンピュータ１０７は、マ
ウス３０１が位置座標を直接出力する機器であった場合
には、画像抽出回路１０６が出力する位置座標を、上記
信号フォーマットに直接変換しても良い。
【００１９】図示していないがマイクロコンピュータ１
０７は、入出力ポートを有しており、この入出力ポート
に接続された信号線１０８を介して、コンピュータ機器
１０９に、マウスの出力する信号フォーマットと同様の
信号フォーマットで位置情報（移動量または位置座標の
情報）を出力する。これによって、コンピュータ機器１
０９は、入力された位置情報に基づきカーソル２０４を
所定の場所へ移動させる。
【００２０】しかし、撮像装置２０１は、人間２０６と
対面しているため、人間２０６との左右関係が逆になっ
てしまう。そこで、マイクロコンピュータ１０７は、画
像抽出回路１０６から与えられる位置座標のうち、水平
方向の座標を反転させてコンピュータ機器１０９に出力
する。なお、マイクロコンピュータ１０７が行なう左右
反転処理動作は、コンピュータ機器１０９で行なっても
良い。
【００２１】上記したような手法で、所望のアイコン２
０３上にカーソル２０４を移動させたら、アイコン２０
３を選択する事をコンピュータ機器１０９に認識させる
ため、クリックの操作を行う。本実施例では図示してい
ないが、例えば、キーボード２０５にマウス３０１のク
リックキーと同じ働きをするキーを具備させ、そのキー
を押すことでクリック動作を行なわせるようになってい
る。
【００２２】このクリック動作のための操作は、撮像装
置２０１によって行わせることも可能で、例えば、所望
のアイコン２０３上にカーソル２０４を移動させた後、
前記したカーソル２０４移動用の抽出画像（ここでは、
人間２０６の開いた手）以外に、アイコンクリック（指
定アイコンの確定）を表わす特定画像、例えばカーソル
２０４移動用以外の握った形の手等々を、撮像装置２０
１の画像抽出回路１０６で抽出・識別させることによっ
て、マイクロコンピュータ１０７からクリック操作を示
す信号をコンピュータ機器１０９に出力させることもで
きる。
【００２３】なお、本実施例においては図１に示した様
に、撮像装置２０１の映像信号処理回路１０５は、ディ
ジタル映像信号をコンピュータ機器１０９に出力可能と
なっていて、したがって撮像装置２０１は、一般的な画
像データ供給ソースの一つとも用いることが可能なよう
に構成されている。
【００２４】以上のように本実施例によれば、マウス等
の入力機器を介すること無く、直接人間がコンピュータ
機器に命令を入力することが出来る。
【００２５】次に、本発明の第２実施例を説明する。図
６は本発明の第２実施例に係る画像を用いた入力システ
ムの構成図である。同図は、図１と共通する部分があ
り、同じ動作をするものには同じ番号を付け、その説明
は重複を避けるため省略する。図６において、６０１は
画像抽出回路、６０２はマイクロコンピュータ、６０３
は、１０１から１０５及び６０１から６０２までを有す
る撮像装置に撮像される目的で、画像抽出回路６０１が
抽出可能な物体である。
【００２６】１０１から１０５及び６０１から６０２ま
でを有する撮像装置とコンピュータ機器１０９とを接続
し、実際に使用する場合の構成図を図７に示す。図７に
おいて、７０１は１０１から１０５及び６０１から６０
２までを有する撮像装置、７０２はコンピュータ機器１
０９のディスプレイ、７０３はディスプレイ７０２上に
あるアイコン、７０４はディスプレイ７０２上にあるカ
ーソル、７０５はコンピュータ機器１０９のキーボー
ド、７０６はコンピュータ機器１０９を操作する人間で
ある。
【００２７】また、上記物体６０３の具体例を図８に示
す。同図において、８０１は発光素子、８０２は発光素
子８０１の明滅を制御するスイッチである。なお、本実
施例における物体６０３には、筆記具としての機能も具
備されている。そして、物体６０３は、図７に示したと
おり人間７０６が手に持つようになっている。
【００２８】続いて、本実施例によるアイコン上にカー
ソルを移動させる操作、及びこれに引き続いて行われ
る、アイコンをクリックする操作について説明する。
【００２９】図９の（ａ）は、撮像装置７０１が撮像し
た画面を表す図であり、同図において９０１は代表ポイ
ントである。また、図９の（ｂ）は、図９の（ａ）中の
抽出物体である物体６０３部分の拡大図である。
【００３０】画像抽出回路６０１は、抽出した物体６０
３の部分から、代表ポイント９０１を決定し、その垂直
及び水平座標をマイクロコンピュータ６０２に出力す
る。本実施例では、代表ポイント９０１は、抽出した物
体６０３部分の先端が選択される。また、ここでいう垂
直及び水平座標とは、前述の第１実施例と同様のもので
ある。
【００３１】画像抽出回路６０１は、抽出した物体６０
３の代表ポイント９０１の座標を、マイクロコンピュー
タ６０２に出力する。マイクロコンピュータ６０２は、
画像抽出回路６０１が一つ前に出力した位置座標と現在
出力した位置座標との差分を演算し、移動量をコンピュ
ータ機器１０９が認識できる信号フォーマット、つまり
マウス３０１が出力する信号フォーマットと同様の信号
フォーマットに変換する。なお先にも述べたように、マ
イクロコンピュータ６０２は、マウス３０１が位置座標
を直接出力する機器であった場合には、画像抽出回路６
０１が出力する位置座標を、上記信号フォーマットに直
接変換しても良い。
【００３２】前記第１実施例と同様に、図示していない
がマイクロコンピュータ６０２は、入出力ポートを有し
ており、この入出力ポートに接続された信号線１０８を
介して、コンピュータ機器１０９に、マウスの出力する
信号フォーマットと同様の信号フォーマットで位置情報
（移動量または位置座標の情報）を出力する。これによ
って、コンピュータ機器１０９は、入力された位置情報
に基づきカーソル７０４を所定の場所へ移動させる。し
かし、撮像装置７０１は、人間７０６と対面しているた
め、人間７０６との左右関係が逆になってしまう。そこ
で本実施例でも、マイクロコンピュータ６０２は、画像
抽出回路６０１から与えられる位置座標のうち、水平方
向の座標を反転させてコンピュータ機器１０９に出力す
る（このマイクロコンピュータ６０２が行なう左右反転
処理動作は、コンピュータ機器１０９で行なっても良
い）。
【００３３】上記した動作で、所望するアイコン７０３
上にカーソル７０４を移動させたら、アイコン７０３を
選択する事をコンピュータ機器１０９に認識させるた
め、クリックの操作を行う。以下、クリックの動作を説
明する。
【００３４】上記した様に画像抽出回路６０１は、物体
６０３を抽出し、物体６０３の撮像画面中における位置
を算出する機能を有するが、もう一つの機能として、物
体６０１の有する発光素子８０１から出力される光を認
識する機能も有する。画像抽出回路６０１は、物体６０
３の画面中における位置を出力し、また、上記光が撮像
画面中に存在するとき、何らかの信号をマイクロコンピ
ュータ６０２に出力する。マイクロコンピュータ６０２
は、画像抽出回路６０１から入力される上記信号をコン
ピュータ機器１０９が認識できる信号フォーマット、つ
まりマウス３０１が、そのクリックボタンを押されたと
きに出力する信号と等価の信号フォーマットに変換す
る。そして、マイクロコンピュータ６０２の入出力ポー
トに接続された信号線１０８を介して、コンピュータ機
器１０９に上記クリック操作を示す信号を出力する。
【００３５】なお、本実施例においても図６に示した様
に、撮像装置７０１の映像信号処理回路１０５は、ディ
ジタル映像信号をコンピュータ機器１０９に出力可能と
なっていて、したがって撮像装置７０１は、一般的な画
像データ供給ソースの一つとも用いることが可能なよう
に構成されている。
【００３６】以上のように本実施例においても、前述の
第１実施例と同様、マウス等の入力機器を介すること無
く、直接人間がコンピュータ機器に命令を入力すること
が出来る。
【００３７】次に、本発明の第３実施例を説明する。図
１０は本発明の第３実施例に係る画像を用いた入力シス
テムの構成図である。同図は、図１と共通する部分があ
り、同じ動作をするものには同じ番号を付け、その説明
は重複を避けるため省略する。図１０において、１００
１は人間、１００２はゲーム機器、１００３は画像抽出
回路、１００４はマイクロコンピュータである。
【００３８】１０１から１０５及び１００３から１００
４までを有する撮像装置とゲーム機器１００２とを接続
し、実際に使用する場合の構成図を図１１に示す。図１
１において、１１０１は１０１から１０５及び１００３
から１００４までを有する撮像装置、１１０２はテレビ
画面、１１０３はテレビ画面１１０２上のキャラクタで
ある。本実施例は、ゲーム機器において、キャラクタを
動かす場合に適用される。
【００３９】まず、本実施例の動作説明に先立ち、従来
のゲーム機器の操作について説明する。図１２は、従来
のゲーム機器のコントローラの１例である。同図におい
て、１２０１は方向選択ボタン、１２０２はＡボタン、
１２０３はＢボタンである。従来のゲーム機器は、キャ
ラクタを動かす為にコントローラを操作する。例えば、
キャラクタにパンチの動作をさせる場合には、コントロ
ーラのＡボタン１２０２を押す。つまり、パンチすると
いう意志を、Ａボタン１２０２を押すことでゲーム機器
１００２に認識させる。このときのキャラクタの動作
は、誰が行なっても全く同じに行なわれる。したがっ
て、ゲームの上手下手は、いかにＡボタン１２０２など
をタイミング良く押すかで決まる。
【００４０】次に、本実施例においてキャラクタにパン
チの動作を行なわせる動作を説明する。図１３は、撮像
装置１１０１が撮像した画面である。同図において、１
３０１は頭、１３０２は手、１３０３は足、１３０４は
頭検出エリア、１３０５は手検出エリア、１３０６は足
検出エリアである。画像抽出回路１００３は、図１３に
示す撮像画面中から、頭１３０１と手１３０２及び足１
３０３を抽出し、各々の先端を代表ポイントにして、画
面中の代表ポイントの位置座標をマイクロコンピュータ
１００４に出力する。マイクロコンピュータ１００４
は、画像抽出回路１００３から与えられる各々の位置座
標から、手１３０２の代表ポイントの存在する位置が、
手検出エリア１３０５中に有るか無いかを判定する。こ
の時、手１３０２の代表ポイントが手検出エリア１３０
５の外にある場合は、キャラクタ１１０３の手も下がっ
た状態（初期状態）である。その後、手１３０２の代表
ポイントが手検出エリア１３０５の中に入ったら（人間
１００１がパンチの動作をしたら）、マイクロコンピュ
ータ１００４は、パンチの動作をゲーム機器１００２に
認識させるために、ゲーム機器１００２が認識できる信
号フォーマット、つまりＡボタン１２０２が押されたと
きに従来のコントローラが出力する信号と同様の信号フ
ォーマットに変換し、ゲーム機器１００２に出力する。
これにより、ゲーム機器１００２は、入力された信号に
基づきキャラクタ１１０３にパンチの動作を行なわせ
る。
【００４１】ここで本実施例では、パンチの動作のみを
代表して説明をしたが、上記方法を応用すれば、キッ
ク，ジャンプ，しゃがみ込む等といった動作をキャラク
タ１１０３に行なわせる事が可能であり、実際に自分の
体を動かしてキャラクタ１１０３の動きをコントロール
しているので、よりリアリティーの有るゲームシステム
を構築する事ができる。
【００４２】
【発明の効果】以上のように本発明によれば、コンピュ
ータ機器等を用いたシステムにおいて、従来用いられて
いるマウス等の入力機器を介すること無く（入力操作用
のツールを手動操作することなく）、人間の意志をコン
ピュータ機器に認識させることができ、人間にとって操
作性に優れた入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る入力システムの構成
を示すブロック図である。
【図２】本発明の第１実施例に係る機器の構成等を示す
説明図である。
【図３】従来のアイコンのクリック手法を示す説明図で
ある。
【図４】本発明の第１実施例によって得られる撮像画像
の１例を示す説明図である。
【図５】図５の撮像画像の要部拡大図である。
【図６】本発明の第２実施例に係る入力システムの構成
を示すブロック図である。
【図７】本発明の第２実施例に係る機器の構成等を示す
説明図である。
【図８】本発明の第２実施例で用いられる抽出物体の具
体例を示す説明図である。
【図９】本発明の第２実施例によって得られる撮像画像
の１例を示す説明図である。
【図１０】本発明の第３実施例に係る入力システムの構
成を示すブロック図である。
【図１１】本発明の第３実施例に係る機器の構成等を示
す説明図である。
【図１２】従来のゲーム機器の入力操作用のコントロー
ラの具体例を示す説明図である。
【図１３】本発明の第３実施例によって得られる撮像画
像の１例を示す説明図である。
【符号の説明】
１０１ レンズ １０２ 撮像素子 １０３ アンプ １０４ Ａ／Ｄ変換器 １０５ 映像信号処理回路 １０６ 画像抽出回路 １０７ マイクロコンピュータ １０８ 通信線 １０９ コンピュータ機器 ２０１ 撮像装置 ２０２ ディスプレイ ２０３ アイコン ２０４ カーソル ２０５ キーボード ２０６ 人間 ３０１ マウス ４０１ 代表ポイント ５０１ 重心 ５０２ 先端 ６０１ 画像抽出回路 ６０２ マイクロコンピュータ ６０３ 物体 ７０１ 撮像装置 ７０２ ディスプレイ ７０３ アイコン ７０４ カーソル ７０５ キーボード ７０６ 人間 ８０１ 発光素子 ８０２ スイッチ ９０１ 代表ポイント １００１ 人間 １００２ ゲーム機器 １００３ 画像抽出回路 １００４ マイクロコンピュータ １１０１ 撮像装置 １１０２ テレビ画面 １１０３ キャラクタ １２０１ 方向選択ボタン １２０２ Ａボタン １２０３ Ｂボタン １３０１ 頭 １３０２ 手 １３０３ 足 １３０４ 頭検出エリア １３０５ 手検出エリア １３０６ 足検出エリア
───────────────────────────────────────────────────── フロントページの続き (72)発明者 市毛 健志 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 山本 直樹 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (72)発明者 今出 宅哉 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所 映像メディア研究 所内 (56)参考文献 特開 平４−123121（ＪＰ，Ａ) 特開 平２−132510（ＪＰ，Ａ) 特開 平６−301475（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/03 - 3/033

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】 コンピュータ機器と接続可能な入力装置
    であって、 物体を撮像し映像信号を生成する撮像手段と、該撮像手
    段より出力される映像信号中より任意の物体を抽出する
    画像抽出手段と、該画像抽出手段で抽出した物体の位置
    情報を出力する通信手段とを有し、上記物体は、上記画像抽出手段で抽出可能な任意の光を
    出力し、 上記画像抽出手段は、上記物体の位置情報を演算すると
    共に、上記物体から出力される任意の光の有無を判定
    し、その情報を上記物体の位置情報と共に上記通信手段
    を介して上記コンピュータ機器に出力し、 上記通信手段より出力される位置情報と任意の光の有無
    を示す情報とによって上記コンピュータ機器を制御する
    ことを特徴とする画像を用いた入力装置。
  2. 【請求項２】 コンピュータ機器と接続可能な入力装置
    であって、 物体を撮像し映像信号を生成する撮像手段と、該撮像手
    段より出力される映像信号中より任意の物体を抽出する
    画像抽出手段と、該画像抽出手段で抽出した信号の移動
    量を算出する演算手段と、該演算手段で計算された移動
    量を出力する通信手段とを有し、上記物体は、上記画像抽出手段で抽出可能な任意の光を
    出力し、 上記画像抽出手段は、上記物体の位置情報を演算すると
    共に、上記物体から出力される任意の光の有無を判定
    し、その情報を上記物体の位置情報と共に上記演算手段
    に出力し、上記演算手段で計算された物体の移動量と上
    記物体から出力される任意の光の有無を示す情報とを通
    信手段を介して上記コンピュータ機器に出力し、 上記通信手段より出力される移動量情報と任意の光の有
    無を示す情報とによって基づき上記コンピュータ機器を
    制御することを特徴とする画像を用いた入力装置。
JP29069993A 1993-11-19 1993-11-19 入力装置 Expired - Fee Related JP3419050B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29069993A JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置
US08/343,962 US5617312A (en) 1993-11-19 1994-11-18 Computer system that enters control information by means of video camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29069993A JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置

Publications (2)

Publication Number Publication Date
JPH07141101A JPH07141101A (ja) 1995-06-02
JP3419050B2 true JP3419050B2 (ja) 2003-06-23

Family

ID=17759373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29069993A Expired - Fee Related JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置

Country Status (2)

Country Link
US (1) US5617312A (ja)
JP (1) JP3419050B2 (ja)

Families Citing this family (350)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
IL112513A (en) * 1995-02-01 1999-05-09 Ald Advanced Logistics Dev Ltd System and method for failure reporting and collection
US6950094B2 (en) * 1998-03-30 2005-09-27 Agilent Technologies, Inc Seeing eye mouse for a computer system
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置
US5944530A (en) 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
JP3311259B2 (ja) * 1996-11-29 2002-08-05 キヤノン株式会社 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
KR100278358B1 (ko) * 1997-06-03 2001-01-15 윤종용 카메라 장착장치를 갖는 휴대용 컴퓨터
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP3471201B2 (ja) 1997-09-05 2003-12-02 株式会社東芝 撮像モジュール、および撮像装置
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
WO1999035633A2 (en) * 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
WO1999039302A1 (en) * 1998-01-28 1999-08-05 California Institute Of Technology Camera-based handwriting tracking
US6172354B1 (en) 1998-01-28 2001-01-09 Microsoft Corporation Operator input device
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6531692B1 (en) 1999-03-22 2003-03-11 Microsoft Corporation Optical coupling assembly for image sensing operator input device
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6538645B1 (en) * 2000-10-26 2003-03-25 Sunplus Technology Co., Ltd. Computer input system utilizing a camera to sense point source
KR20020087938A (ko) * 2000-12-27 2002-11-23 엔티티 도꼬모 인코퍼레이티드 수기 데이터 입력 장치 및 방법 및 개인 인증 장치 및방법
US6704447B2 (en) * 2001-02-21 2004-03-09 Justsystem Corporation Method and apparatus for using illumination from a display for computer vision based user interfaces and biometric authentication
US8306635B2 (en) 2001-03-07 2012-11-06 Motion Games, Llc Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
KR100511044B1 (ko) * 2001-12-26 2005-08-30 이문기 카메라를 이용한 포인팅장치
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) * 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US20060036947A1 (en) * 2004-08-10 2006-02-16 Jelley Kevin W User interface controller method and apparatus for a handheld electronic device
JP4481996B2 (ja) * 2004-10-21 2010-06-16 パイオニア株式会社 処理装置及び処理プログラム
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
JP2007080187A (ja) * 2005-09-16 2007-03-29 Tokai Rika Co Ltd 操作入力装置
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
WO2007089198A1 (en) * 2006-02-01 2007-08-09 Tobii Technology Ab Generation of graphical feedback in a computer system
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
JP5089078B2 (ja) * 2006-05-02 2012-12-05 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
JP4513830B2 (ja) * 2007-06-25 2010-07-28 ソニー株式会社 描画装置、及び描画方法
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
CA2697856A1 (en) * 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US20090166684A1 (en) * 2007-12-26 2009-07-02 3Dv Systems Ltd. Photogate cmos pixel for 3d cameras having reduced intra-pixel cross talk
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090278816A1 (en) * 2008-05-06 2009-11-12 Next Holdings Limited Systems and Methods For Resolving Multitouch Scenarios Using Software Filters
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
JP4720874B2 (ja) 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
CN101751771B (zh) * 2008-12-09 2012-09-05 联想(北京)有限公司 红外控制装置和方法
US8681321B2 (en) * 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8732623B2 (en) * 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8509479B2 (en) * 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8264536B2 (en) * 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8508919B2 (en) * 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8330134B2 (en) * 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8428340B2 (en) * 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8760571B2 (en) * 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110083108A1 (en) * 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) * 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
CN101783865A (zh) * 2010-02-26 2010-07-21 中山大学 基于数字机顶盒智能化鼠标控制方法及数字机顶盒
US8655069B2 (en) * 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US9789392B1 (en) * 2010-07-09 2017-10-17 Open Invention Network Llc Action or position triggers in a game play mode
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8963836B2 (en) * 2010-09-17 2015-02-24 Tencent Technology (Shenzhen) Company Limited Method and system for gesture-based human-machine interaction and computer-readable medium thereof
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
JP5551675B2 (ja) * 2011-11-30 2014-07-16 株式会社ソニー・コンピュータエンタテインメント ゲーム装置および仮想オブジェクト制御方法
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP6018707B2 (ja) 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9654763B2 (en) * 2013-04-02 2017-05-16 Htc Corporation Controlling method of detecting image-capturing gesture
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
CN104199548B (zh) * 2014-08-29 2017-08-25 福州瑞芯微电子股份有限公司 一种三维人机交互操作装置、系统及方法
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
DE102019215953A1 (de) * 2019-10-16 2021-04-22 E.G.O. Elektro-Gerätebau GmbH Bediensystem für ein Elektrohaushaltsgerät und Bedienverfahren zur Bedienung eines Elektrohaushaltsgeräts

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891630A (en) * 1988-04-22 1990-01-02 Friedman Mark B Computer vision system with improved object orientation technique
JPH0317696A (ja) * 1989-06-14 1991-01-25 Fujitsu Ltd カーソル制御装置
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5347371A (en) * 1990-11-29 1994-09-13 Hitachi, Ltd. Video camera with extraction unit for extracting specific portion of video signal
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JPH05183811A (ja) * 1992-01-06 1993-07-23 Nippon Telegr & Teleph Corp <Ntt> テレビ電話機
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision

Also Published As

Publication number Publication date
US5617312A (en) 1997-04-01
JPH07141101A (ja) 1995-06-02

Similar Documents

Publication Publication Date Title
JP3419050B2 (ja) 入力装置
US7215322B2 (en) Input devices for augmented reality applications
JP3909554B2 (ja) プレゼンテーション制御システム及びその制御方法
US6594616B2 (en) System and method for providing a mobile input device
JP3114813B2 (ja) 情報入力方法
EP2352112B1 (en) Remote control system for electronic device and remote control method thereof
WO2019033957A1 (zh) 交互位置确定方法、系统、存储介质和智能终端
US20140145941A1 (en) Computer vision gesture based control of a device
CN103092432A (zh) 人机交互操作指令的触发控制方法和系统及激光发射装置
JPH0844490A (ja) インターフェイス装置
JP2000298544A (ja) 入出力装置と入出力方法
JP2001128057A (ja) カメラ制御用ユーザインタフェースシステム
US20140053115A1 (en) Computer vision gesture based control of a device
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP3608940B2 (ja) 映像探索表示方法及び映像探索表示装置
CN107257506A (zh) 多画面特效加载方法和装置
CN106155533B (zh) 一种信息处理方法和投影设备
JP2008186441A (ja) 画像処理装置及び画像処理システム
KR100858138B1 (ko) 원격 포인팅 장치를 이용한 제어 시스템
JPH07160412A (ja) 指示位置検出方法
JP2003099196A (ja) 会議等支援用画像投影装置
JP2005148555A (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
CN101876870A (zh) 显示终端和操作显示画面的方法
JP3132021B2 (ja) 座標入力装置
JPH08315118A (ja) マンマシン・インターフェース

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees