JP2013008360A - 制御機器として用いられる運動制御子 - Google Patents

Abstract

【課題】タブレット端末等に最適化されたアプリケーションを、空間的に離れた場所から遠隔操作可能なシステムの提供。
【解決手段】運動制御器１０１は、あらかじめ定義された制御機器から入力を取るために前もって構成された既存の電子機器（別名、被制御機器１０４）を制御するために用いられる。運動制御器１０１からの入力は、その後被制御機器１０４に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、被制御機器上で動作するアプリケーションの再構成を伴わずに、被制御機器の挙動を変化させるかまたはそれに応答させる。
【選択図】図１

Description

本発明の背景
発明の分野
本発明は、概して、電子機器用の人間−機械インターフェースの領域に関係しており、より具体的には：
１）接触画面機器からの信号を交換または修正するための、運動感知器、ジョイスティック、ボタン、およびカメラ由来の信号の変換に関係しており、
２）最初に別の機器からの入力を受信するように提供または設計される機器に、使用者入力の代替の技術を提供することに関係しており、かつ、
３）文脈識別子に基づく、当該機器上で動作する既存の機器またはアプリケーションまたはモジュール用の、一組の習慣的な信号および指令への代替の入力信号の変換の構成、再構成、および動的選択に関係している。

関連技術の記載
人間−機械対話の産業上の設計において、使用者インターフェースは、人間および機械の間における対話が起こる空間である。人間−機械対話の目標は、所望の結果を産生する方法で機械を操作することを容易に、効率的に、かつ楽しくする使用者インターフェースを産生することである。これは、概して、操作者が所望の出力を実現するために最小の入力を提供する必要があることと、また、機械が人間に対する非所望の出力を最小化することと、を意味する。実用的な使用者インターフェースを作成する際に適用可能な設計考慮は、人間工学および心理学等の訓練に関係しているかまたは伴う。

接触画面は、これまで設計された中で最も成功した人間−機械インターフェースのうちの１つであり、多くの電子機器上でほとんど一般に見られる。それらは、コンピュータ、タブレット、およびスマートフォン等の機器内に存在している。接触画面は、当該接触画面の表示領域内で接触の存在および位置を検出することができる電子視覚表示器である。当該用語は、概して、指または手で機器の表示器に接触することを指す。接触画面機器は、スタイラス等の、他の受動物体を感知することもできる。

いくつかのアプリケーションでは、下記の感知器：
１）加速度計
２）ジャイロスコープ
３）電子コンパスつまり磁力計
４）ボタン
５）ジョイスティック
６）マイクロフォン
および送信器：
１）発光ダイオード
２）無線通信機器
の組み合わせを含む、手持ち型で運動感知型の制御器の使用を通じて、接触画面機器を制御することが望まれる。

接触画面被制御機器を大画面のテレビジョンに接続し、寝椅子にいながらにしてその機能の一部または全部を制御することが望ましいことがあり、一方で、当該機器のグラフィックス出力が当該大画面上に表示される。この場合では、当該機器との望ましい対話は、当該機器の接触画面でないが、代替の（非接触画面）入力機器である。しかしながら、当該被制御機器上で動作するモジュール（例えば、ソフトウェア・コンポーネント）は、それらの機能を制御するために、接触表面様信号（または、接触表面様信号に習慣的に由来する信号）を受信する必要があることがある。

概要
本節は、本開示のいくつかの態様を要約し、いくつかの好適な実施形態を簡潔に導入する。本節内ならびに本記載の要約書または表題内での単純化または省略が、本節、要約書、および表題の目的を不明瞭にすることを避けるために行われることがある。このような単純化または省略は、本開示の範囲を制限するように意図されていない。

概して言えば、本発明は、あらかじめ定義された制御機器から入力を取るために前もって構成された既存の電子機器（別名、被制御機器）用の入力／制御機器として、運動感知型機器（制御器）を用いるための技術を記載している。当該入力機器からの信号は、あらかじめ定義された制御機器とは異なる形態にある。本発明の１つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するように設計された。こうした被制御機器の例としては、大型表示器に電子的に接続することができるスマートフォンおよびタブレットＰＣが挙げられるが、それらに限定されない。運動制御器からの入力は、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、被制御機器上で動作するアプリケーションの再構成を伴わずに、被制御機器の挙動を変化させるかまたはそれに応答させる。

本発明の別の態様によれば、運動制御器からの信号は、その一部または全部が運動制御器内に封入された慣性感知器から生成される感知器信号を含む。当該信号は、接触画面機器からの信号と実質的に同様のいくつかの信号を含む一組の制御信号に変換され、その後被制御機器を制御する。実施に応じて、当該制御信号は、被制御機器に対する運動制御器の並進位置および角度位置、および運動制御器との使用者による一連の対話を含むことがある。１つの場合では、当該制御信号は、（同じ使用者または異なる使用者により用いられる）他の運動制御器からの出力信号を含むことがある。

方法、機器の一部の装置、または指定された機器内で実行されるソフトウェア・モジュールとして、本発明を実施することができる。１つの実施形態によれば、本発明は、被制御機器の運動に基づく制御のためのシステムであり、前記システムは、運動感知型機器の運動に応答する感知器信号を生成する複数の感知器を含む運動感知型機器であって、前記感知器信号は、６自由度で前記運動感知型機器の位置および配向を推定するのに十分である、運動感知型機器と、接触画面機器からの接触画面入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションと、前記運動感知型機器からの第１組の信号を第２組の信号のいくつかに変換することにより、前記運動感知型機器が前記被制御機器上で前記少なくとも１つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第２組の信号は、前記接触画面機器からの前記接触画面入力信号と実質的に同様のいくつかの信号を含み、前記第１組の信号は前記感知器信号を含む、処理ユニットと、を備える。

別の実施形態によれば、本発明は、被制御機器の運動に基づく制御のための方法であり、前記方法は、運動感知型機器内の感知器から第１組の感知器信号を受信することであって、前記感知器信号は、６自由度で前記運動感知型機器の位置および配向を推定するのに十分であることと、固定基準枠を提供する二次感知器から第２組の感知器信号を受信することと、第１組の信号および第２組の信号から、前記固定基準枠に対する前記運動感知型機器の照準位置を決定することと、変換から一組の制御信号を生成して前記被制御機器を制御することであって、前記変換は、前記制御信号のうち少なくともいくつかを、前記被制御機器を制御するために提供された、あらかじめ定義された機器からの入力信号と実質的に同様に変換するように構成されることと、を備える。

本発明の目的、利点、および恩恵の１つは、代替の機器（例えば、運動制御器）が、最初にあらかじめ定義された機器（例えば、接触画面機器）と働いているように設計された被制御機器を制御することを可能にすることである。

本開示の他の目的、利点、および恩恵は、添付図面と合わせられる際に、好適な実施形態の以下の詳細な記載からより明白になるだろう。

図の簡潔な記載
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、添付の請求の範囲、および添付図面に関してより良好に理解されるようになるだろう。

運動制御器、表示器、および１つ以上の接触表面機器が例解される本発明の一実施形態による、ある構成にある様々なコンポーネントを示す。 接触表面入力機器の２つの例を示す。 コンポーネントを接続する異なる方法を用いる、本発明の代替の一実施形態を示す。 コンポーネントを接続する異なる方法を用いる、本発明のなお別の代替の実施形態を示す。 コンポーネントの一部を用いる、本発明のさらに別の代替の実施形態を示す。 本発明の範囲内における信号の流れを明示する流れ図を示す。 同じ入力信号がなぜ文脈依存的に変換される必要があることがあるかについての動機付けの一例を示す。 機能ブロック線図を示す。 制御機器（例えば、運動感知型機器）が、被制御機器と対話するためにどのように用いられているかという流れ図つまり工程９００を示し、そこで、当該制御機器からの信号は、当該被制御機器にとって容認可能な信号に対応付けられる。 ２Ｄ平面上の一組の連続する点への３Ｄ空間内の運動制御器の追跡の例示的な投影を示し、そこで、当該２Ｄ平面は被制御機器の表示画面を表す。

本発明の詳細な記載
本発明の詳細な記載は、手順、ステップ、論理ブロック、処理、および、データ処理機器の操作に直接的または間接的に似ている他の記号表現の点から概ね提示されている。こうした処理の記載および表現は、典型的には、彼らの作業の実体を他の当業者に最も効果的に伝えるために、当業者により用いられる。数多くの具体的な詳細が、本発明の完全な理解を提供するために明記されている。しかしながら、こうした具体的な詳細なしに本発明を実施することができることは、当業者にとって自明になるだろう。他の例では、周知の方法、手順、コンポーネント、および回路系は、本発明の態様を不必要に不明瞭にすることを避けるために、詳細には記載されていない。

本明細書における「１つの実施形態」または「一実施形態」への言及は、当該実施形態に関連して記載されている特定の特徴、構造、または特性を、本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書内の様々な箇所における「１つの実施形態では」という句の出現は、必ずしも全て同じ実施形態に言及しておらず、他の実施形態を相互に除く別個のまたは代替の実施形態でもない。さらに、本発明の１つ以上の実施形態を表す工程の流れ図または線図におけるブロックの順序は、任意の特定の順序を固有に示さず、また本発明においていかなる限定も含蓄しない。

下記の記載における数多くの箇所で、動作感知器に対して言及が行われることになる。本明細書における動作感知器としては、加速度計、ジャイロスコープ、および電子コンパス（磁力計）、または動作感知器の組み合わせが挙げられるが、それらに限定されない。

（使用者）入力機器は、使用者が別の機器の機能を対話的に制御することを可能にする制御機器である。当該制御機器のいくつかの一般的な例としては、マウス、キーボード、ジョイスティック、接触感知型表面、（Ｗｉｉ Ｒｅｍｏｔｅ（商標）、またはＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅの制御器、およびエアマウス等の）運動制御器、およびテレビジョン制御器が挙げられる。映像カメラおよびマイクロフォン等の受動型感知器も、使用者入力機器の例である。

使用者からの行動の結果として、被制御機器の挙動の変化を引き起こすために、信号が使用者入力機器から被制御機器へ送信される。被制御機器の多くの例がある。いくつかの一般的な例としては、映像ゲーム・システム、テレビジョン、デジタル映像記録器（ＤＶＲ）、ＤＶＤ再生機、映像カセット記録器、個人用コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、家庭用音声システム、携帯電話、スマートフォン、個人用音楽再生機、グラフィックス表示器、および投影グラフィックス・システムが挙げられる。一般的に、こうした被制御機器は、入力機器から信号を受信するか、または、当該入力機器から受信された信号を間接的に処理または変換するモジュール（例えば、ソフトウェア・モジュール）を動作させる。このようなソフトウェア・コンポーネントのいくつかの例としては、アプリケーション、ゲーム、オペレーティング・システム、ドライバ、ファームウェア、カーネル、使用者インターフェース（ＡＰＩ）等が挙げられる。こうしたソフトウェア・コンポーネントは、特定の種類の信号を「傾聴」しかつそれに応答するように構成される。広範には、こうした信号を下記のどちらかとしてカテゴリ化することができる：

１）ある種類の入力機器を表し、いくつかの例としては、
ａ．「マウス様」機器（例えば、コンピュータ・マウス）から生じる「マウス様」信号と、
ｂ．「キーボード様」機器（例えば、遠隔キーボードまたは被表示キーボード）から生じる「キーボード様」信号と、
ｃ．「接触表面様」機器（例えば、接触パッド）から生じる「接触表面様」信号と、
が挙げられる。

より広範には、こうした機器を種類によりカテゴリ化し、特定の種類の信号を傾聴しかつそれに応答するように設計することができる。このようにして、当該機器が「マウス様」であり、かつその後「マウス様」ボタン押下および位置信号の変化を提供することがそれを通じて示される、（ＵＳＢＳ １．１等の）通信プロトコルを実装することにより、トラックボール等の機器をマウスの代わりに用いることができる。

２）より高水準の信号、つまり、特定の種類の制御要求または制御事象を表す信号を表す。いくつかの例としては、
ａ．「次のスライド［要求された］」、
ｂ．「スクロール・アップ［要求された］」、
ｃ．「ズーム・イン［要求された］」、
が挙げられる。

使用者による行動の結果として、被制御機器の挙動の変化を引き起こすために、信号が使用者入力機器から被制御機器へ送信される。一般的に、こうした抽象的な信号は、多種多様の考えられる入力機器を考慮する必要から解放されるアプリケーション・プログラマの都合を考えて提供される。このようにして、（「ドライバ」等の）ソフトウェア・コンポーネントの実装により、新たな（先験的に未知の）カテゴリの入力信号を当該ソフトウェア・コンポーネントにより要求される「被傾聴」信号に提供する、新たな代替の入力機器からの信号を対応付けることが可能である。このようにして、当該提供は、考えられる源から受信された信号を出力し、その後、既存のアプリケーションを制御するために当該信号を用いるソフトウェア・コンポーネントを書きかつインストールするために、オペレーティング・システムの製造者またはＡＰＩの開発者により行われる。

しかしながら、こうした既存のモデルは、我々の問題を満足のいくように解決しない。アプリケーションは、通常、特定の種類（例えば、「接触表面様」）の信号を「傾聴」するように書かれる。例えば、Ａｎｄｒｏｉｄのオペレーティング・システムの場合では、それのために書かれてきた多くのアプリケーションがある。現在、大多数のＡｎｄｒｏｉｄの機器は、使用者入力の主要な形態として接触画面を用い、アプリケーション（および他のソフトウェア・コンポーネント）は、度々、特に接触表面様信号を「傾聴」するように書かれる。

運動感知型の機器または制御器等の、新たな非「接触表面様」入力機器を用いて、被制御機器の全ての接触表面機能を制御することを望む場合には、克服しなければならない実用上の問題がある：

１．多くのソフトウェア・コンポーネントは、特に「接触表面様」信号を「傾聴」しかつそれに応答するように書かれる。同様に、「接触表面様」信号を同様に要求（または「傾聴」）する、（オペレーティング・システム、ドライバ、ＡＰＩ等…のような）追加のソフトウェア・コンポーネントにより間接的に生成される「ズーム・イン」または「スクロール・ダウン」の信号等の、より高水準の信号を「傾聴」するようにソフトウェア・コンポーネントを書くことができる。受容可能でかつ要求される入力の種類を、
ａ．その設計、
ｂ．コンパイラの使用を通じる手段、または、
ｃ．１つ以上の追加のソフトウェア・コンポーネント（例えば、ドライバ、オペレーティング・システム、ＡＰＩ）に対するその依存を通じる手段、
を含む様々な手段により、既存のソフトウェア・コンポーネントに連結することができる。

こうした入力機器は「接触表面様」機器でなく、「接触表面様」信号を容易に提供することもできない。具体的には、１つの実施形態によれば、入力機器内の感知器の何れも、接触表面様信号を直接的または明白に提供しない。従って、接触表面様入力機器に代わるそれらの適用および使用は、容易に実施または想到されない。

本発明の１つの態様は、入力機器からの感知器信号の接触表面様信号への変換に関係している。接触表面様信号は、２Ｄ表面上に２Ｄ座標を表す情報を包含する。１つの実施形態では、本発明者は、グラフィックス表示器上に示されている項目を直接的に照準するために入力機器を用い、（当該機器および当該グラフィックス表示器の主軸の交点である）被照準位置を推定する。被照準位置のこのような推定は、「ドリフト・フリー」の「ダウン・ザ・バレル」照準と称される。使用者が、（グラフィックスのマウス・ポインタ、十字線、またはカーソル等の）グラフィックスフィードバックの必要なく、表示器上の位置および配向と手持ち型機器の配向の位置を直接的に相関させることができるために、ドリフト・フリーのダウン・ザ・バレル照準信号は「接触表面様」信号の適切な源である。

本発明の目的、恩恵、および利点のいくつかとしては、下記のものが挙げられる：

ａ．マウス様機器の場合では、マウス様機器が２Ｄ平面内の線速度の尺度を提供するが、２Ｄ平面上の絶対位置を提供しない際に、マウスは「ダウン・ザ・バレル」照準信号を提供することはできない。加えて、マウスは、「マウス様信号」を傾聴するアプリケーションにより受信される「マウス様信号」を提供する。このような「マウス様信号」の源を、「接触表面様」信号を傾聴するソフトウェアと共に直接的に用いることはできない。さらに、使用者は、グラフィックスフィードバック（例えば、マウス・ポインタ）の使用なしに、マウスの物理的位置をグラフィックス表示器上の位置と確実に相関させることはできない。

ｂ．グラフィックスフィードバックの必要性に付言すると、マウス様機器（マウス信号の源を提供する機器）も２Ｄ値の単一ストリームの源である点において異なるものの、多重接触表面は２Ｄ値の多重ストリームを生成することができる。本発明の１つの態様は、多重接触様信号を提供するように本発明において企図されている制御機器の使用である。

ｃ．エアマウスの場合では、平面上の一点が、角度位置の相対尺度を得るために、ジャイロスコープからの経時的な角度配向信号の統合を通じて決定される。この尺度は、その後２Ｄ平面上の一点に変換される。この手法の欠点は、
ｉ．計算された配向信号が、ある開始配向に対してのみ測定されることと、
ｉｉ．絶対尺度を得るために観測された相対尺度の統合が、経時的に増加する誤差（推定計算誤差として知られている人為結果）を被ることと、
である。

入力機器の配向の測定等の初期較正ステップの後に、当該機器がグラフィックス表示器に照準される間に、ダウン・ザ・バレル照準を提供することが初期に可能であることがある。しかしながら、経時的に、上記の欠点が原因で、推定計算誤差（つまり「ドリフト」）の蓄積、または（レイリング（「頭打ち」）、検尺誤差、非線形性、または相殺誤差等の）機器感知器の他の制限は、当該機器の計算された配向がその実際の配向と最終的に誤整列していることがあることを意味する。こうした欠点は、ジャイロスコープ・エアマウス機器を、グラフィックスフィードバックの必要なく「ドリフト・フリー」の「ダウン・ザ・バレル照準」を望む適用に不適切にする。１つの実施形態では、入力機器は、固定基準に対する連続的な再較正による制限を克服するように構成される。１つの実施形態では、当該固定基準は電子コンパスである。別の実施形態では、当該固定基準は外部カメラである。さらに、運動感知型機器がマウス様信号を提供することができることがあることが既に想到されているものの、このような機器が、「マウス様」信号とは定性的に異なる（例えば、２Ｄ速度）、（数ある属性の中でも、２Ｄ表面上の絶対位置を表す）使用可能な「接触表面様」信号を提供することができることは以前には想到されていない。「接触表面様」信号は、「マウス様」信号により共有されない追加の特性を有する。こうした追加の特性としては、一組の点に沿う経路を追跡することを、順々にそうした点に個別に接触することを区別する能力、ならびに、同時にいくつかの機器上の多数の点に接触する能力（別名、多重接触）が挙げられる。

ｄ．運動感知型のＷｉｉ Ｒｅｍｏｔｅの制御器の場合では、不安定な形態のダウン・ザ・バレル照準が実現される。しかしながら、そうするために、当該機器は、グラフィックス表示器の近くの赤外線ＬＥＤの位置を検出する赤外線感知型カメラを包含する。本明細書に記載されているように、本発明の１つの実施形態は、当該表示器において持ち型の機器またはＬＥＤ内でのカメラの使用を必要としない。

ｅ．運動感知型のＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅ（商標）の制御器の場合では、
ｉ．当該機器は、当該機器を局在させるために、当該制御器の端部上の外部に装着されたカメラおよび大きく内部に照明された色付き玉を使用し、かつ、
ｉｉ．当該機器は、接触表面様信号でなく、運動制御器様信号を傾聴しかつそれに応答するソフトウェア・コンポーネント（例えば、映像ゲーム）に、運動制御器様信号を提供する。「接触表面様」信号を主に傾聴するソフトウェア・コンポーネントに、「接触表面様」信号を提供する機器の既知の使用は全くなかった。

ｆ．Ｚｅｅｍｏｔｅ（商標）等の、ジョイスティックおよびボタンを包含する外部ゲーム制御器の例は、接触画面機器上で動作するソフトウェア・コンポーネントを制御するために既に用いられている。しかしながら、ゲーム制御器機器からの信号は、接触画面信号の代わりには用いられないが、それよりも、ジョイスティック様、ゲーム制御器様、または方向パッド様の信号として供給され、かつ、そうした種類の信号を明示的に傾聴するソフトウェア・コンポーネントの一部によってのみ使用可能である。対照的に、本発明の１つの態様は、接触表面様信号を傾聴するソフトウェア・コンポーネントの機能の全てを制御するために用いることができる、接触表面信号の代替の源を提供する能力である。

本発明の別の態様は、接触表面を交換するためのジョイスティック信号およびボタン信号の変換に関する。接触表面は、一般的にグラフィックス表示器の全面にオーバーレイされる。接触の位置は非常に重要であり、グラフィックス表示器の枠に対する被接触位置の関連付けも同様である。代替の入力機器の場合では、グラフィックス表示器上のどこに行動が起こることになるのか、または起こったのかを示すための、使用者に対する視覚フィードバックが欠落していることがあり、代替の入力機器からの信号を受信し、それをグラフィックスに提示する機器およびアプリケーションの、オペレーティング・システムにおける提供もないことがある。

本発明のさらに別の態様は、表示器上の代替の入力機器の被照準位置のグラフィックス提示である。この態様は、
ａ．（接触表面様信号でなく、マウス様信号の源の視覚化である）マウス様信号からのカーソルのグラフィックス表示器と、
ｂ．（代替の入力機器でなく、実際の接触感知型表面から実際に生じる、接触表面様信号の視覚化である）接触感知型表面の被接触位置のグラフィックス表示器と、
ｃ．（その信号が接触表面様信号を交換するために変換されない機器である）他の種類の運動制御器、ジョイスティック、またはボタンの信号のグラフィックス表示器と、
とは異なる。

どの変換がどの文脈に適用されるべきかという知識なしに、多数の文脈（例えば、家庭用画面、表示画面の設定、ゲーム、オペレーティング・システムの機能等）用の入力として適切に働く、新たな入力機器からの信号の単一変換が全くないことがある。１つのソフトウェア・コンポーネントについては、グラフィックス画面上ボタンの押下を模擬するように特定の位置における表面の接触を模擬する接触表面様信号を引き起こすために、ジョイスティックを用いることを望むことがある。異なるソフトウェア・コンポーネントについては、接触表面の上方行程の信号を模擬する時系列の接触表面様信号の生成により画面上リストのスクローリングを引き起こすように、ジョイスティック信号を変換することができる。どちらの場合でも、一方の場合に対する、他方の場合の文脈における当該信号の送信は、非所望の効果をもたらすことがある。

本発明のさらに別の態様は、代替の入力機器からの信号の変換の選択を、文脈識別子に基づいて動的に決定することができることである。例えば、使用者インターフェースＡＰＩは、接触表面様信号を受信し、その信号をより高水準の信号に変換することができる。当該変換に関係する規則が存在することがある：「その表示器内の位置Ｙに配置されることを指定するグラフィックスインターフェース構成Ｘがロードされ、当該ボタンの境界内にある接触表面信号が受信されている場合に、その時『ボタンが押下された』信号をアプリケーションに送信する」。

上記段落からの「ＸおよびＹ」は、接触表面信号の異なる種類の信号への変換が適用される文脈である。これは、
１．当該変換が、信号（非接触表面様）または代替の入力機器信号から１つまたは複数の接触表面様信号へのものである点と、
２．この例における変換の選択は動的ではないが、アプリケーションＸを据えられる（例えば、アプリケーションＸの作者により当該アプリケーションと共に配布され、それにコンパイルされるかまたはそれにより提供され、あるいはその中に設計される）点と、
において、本発明とは異なる。

より広範には、本発明のこの態様は、
１．変換される信号が接触表面様信号でなく、かつ特に代替の入力機器から生じ、接触表面様信号の源でない点と、
２．当該文脈の一部が、代替の入力機器の存在を（黙示的または明示的に）識別している点と、
３．変換された信号が、接触表面からの信号を交換するために用いられ、その後、接触表面様信号を傾聴するように構成されたソフトウェア・コンポーネントに提供される点と、
４．被制御ソフトウェア・コンポーネントが、構成可能性のためにいかなる既存の準備も有する必要がない点と、
において、ある種類からの別の種類への変換に関する関連技術とは異なる。

本発明のさらに別の態様は、（例えば、アプリケーション、使用者インターフェースＡＰＩ、またはオペレーティング・システムにより）信号の変換を文脈に基づいて選択し、このようなもののための既存の準備の有無にかかわらず適用することができることである。すなわち、ソフトウェア・コンポーネントを入力変換の動的構成を許可するように設計または再設計するための要件が全くないということである。この特性により、本発明の１つの実施形態を全てのアプリケーションに普遍的に適用することが、当該アプリケーションの何れの修正も伴わずに可能になる。これは、先行技術が動的に再構成可能でない点において、先行技術とは異なる。

概して言えば、本発明は、既存の電子機器、異なる形態で入力を取るために前もって構成されたその被制御機器用の入力機器として運動制御器を用いるための技術を記載している。入力機器からの信号は、制御機器とは異なる形態にある。本発明の１つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するように設計された。運動制御器からの入力は、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、制御機器の挙動を変化させるかまたはそれに応答させる。

ここで図面を参照すると、図１は、本発明の一実施形態による例示的な構成１００を示す。この実施形態における主要なコンポーネントは、制御機器１０１および被制御機器１０２を含む。制御機器１０１は、その中に封入された運動感知器、および、ボタン感知器、ジョイスティック感知器、ＬＥＤ、およびマイクロフォン入力の任意の組み合わせに由来する信号を提供する。こうした信号は、大型表示器１０３および接触表面入力機器１０４を含むいくつかの要素から成ることがある、被制御機器１０２を制御するように解釈される。例示的な制御機器は、専用制御器、スマートフォン、または他の手持ち型計算機器（例えば、ｉＰｈｏｎｅ）であってよい。例示的な被制御機器は、テレビジョン、ゲーム機、またはアプリケーションを制御するために用いられる計算機器（例えば、テレビジョンに接続されるスマートフォンまたはタブレット）であってよい。

１つの実施形態では、制御機器１０１は、運動感知器（図示せず）、および、ここで彼または彼女の居間内に示され、寝椅子１１０上に快適に座っている、使用者１０９により手持ちされることを目的とする本体内に収容される１つ以上のＬＥＤを含む。この目的のために、１つの実施形態では、制御機器１０１は、通信機器および自己内蔵型電源も包含する。この通信機器は、１つの実施形態ではＢｌｕｅｔｏｏｔｈ（登録商標）の無線機器であるが、代替の実施形態では赤外線通信機器または任意の他の形態の無線通信機器に置き換えることができるだろう。１つの実施形態では、再充電可能電池が電源として用いられる。

別の実施形態では、制御機器１０１上にあるカメラおよび運動感知器を考慮して、制御機器１０１上にある１つ以上のＬＥＤまたは他の点光源と共に、制御機器１０１に取り付けられない外部カメラに由来する信号により、制御機器１０１の運動信号を交換または補完することができる。

制御機器１０１は、様々な実施形態を記載する際に、相互交換可能に運動制御器と称されることもある。１つの実施形態では、被制御機器１０２は、少なくとも接触感知型入力機器（例えば、接触画面）または接触表面様入力機器信号と通信するか、またはそれにより制御されるいくつかのモジュール（例えば、ソフトウェア・コンポーネント）を実行するように構成された電子機器である。接触感知型入力機器としては、グラフィックス表示器の全面に抵抗性または容量性の接触パネルが挙げられる。２つの例が図２に示されており、接触画面２０１およびタブレット・コンピュータ２０２を有するスマートフォンである。接触表面様信号は、２Ｄ平面の少なくとも被接触位置または被接触点もしくは領域を記述する信号である。

ボタン感知器、キーボードまたはキーパッドの入力、ジョイスティック感知器、カメラまたは映像部の入力、マイクロフォン入力、または運動感知器の任意の組み合わせにより、被制御機器１０２を追加的に制御することができる。１つの実施形態では、被制御機器１０２は、ＨＤＭＩケーブル等のケーブル１０５を用いて表示器１０３に直接的に取り付けられた、少なくとも１つの接触表面入力機器１０４と共に、テレビジョン、コンピュータ監視器、または投影表示機器等の大型表示器１０３を含む。図３に示されている別の実施形態３００では、被制御機器３０２は、表示器１０３と関連し、かつその表示器１０３の処理器に有線で接続されたドッキング・ステーション内に配置された接触表面機器３０４を含む。

図４に示されているなお別の代替の実施形態４００では、被制御機器４００は、表示器に物理的に取り付けられたか、またはその中に組み込まれた受信器／送信器４０５との無線通信で表示器４０３と通信する接触表面機器４０４を含む。

図２、３、および４に示されている実施形態のそれぞれでは、映像信号が接触画面機器から表示機器へ送信される。図５に示されている別の実施形態５００では、被制御機器５０２は接触画面を有しないが、依然として接触表面様信号により制御可能なアプリケーションを動作させる。この場合では、（接触画面様でない）その信号を、そうしたアプリケーションを制御するために使用可能な接触画面信号に変換することにより、アプリケーションを制御する方法として制御機器を用いることができる。

図６は、制御が、制御機器６０１を用いてこの制御を可能にするために、どのように本発明の１つの実施形態を流れるかを明示する。被制御機器は、プログラムまたはソフトウェア・モジュールを動作させる性能を有する、１つ以上の処理ユニット６０４を含む。１つまたは複数の処理ユニットは、表示機器、または接触画面入力機器、またはその両方の中で見つかることがある。好適な一実施形態では、処理ユニットは接触画面入力機器内に位置する。別の実施形態では、表示機器は、処理ユニットおよび被制御ソフトウェア・コンポーネントを包含するテレビジョンである。

図６に示されているように、制御機器６０１からの信号は、被制御機器６０１内で動作するソフトウェア・コンポーネント６０５を制御するために用いられる。当該ソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を傾聴するように構成される。例としては、
−接触画面様信号
−ボタン様信号
−ジョイスティック様信号
−（例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の）テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。

各場合において、信号の源は未知であることがあるが、被制御機器内で動作するソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を「傾聴」するか、またはそうでなければそれにより制御されるように構成される。本明細書にて用いられているように、「Ｘ様」である信号は、あたかもその機器が入力機器Ｘにより制御されるが、必ずしも機器Ｘから生じていないかのようにソフトウェア・コンポーネントを動作させる機器の挙動変化を引き起こすソフトウェア・コンポーネントにより受信される信号と称される。

本発明の１つの態様は、
−示されたカテゴリの物理的機器がない場合に、かつ／または、
−示されたカテゴリの物理的機器に加えて、かつ／または、
−示されたカテゴリの物理的機器の代替の機構として、
１つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。

一例として、本発明の１つの実施形態では、本発明は、被制御機器上で動作する複数のソフトウェア・コンポーネントの遠隔制御を可能にし、そこで、接触画面が主要な入力源であり、当該ソフトウェア・コンポーネントが当該接触画面または接触表面様信号により制御可能である。

（接触表面様でない）その信号６０７を、そうしたソフトウェア・コンポーネントを制御するために使用可能な接触表面様信号６０８に変換することにより、そうしたソフトウェア・コンポーネントを制御する方法として制御機器を用いることができる。好適な一実施形態では、この変換はソフトウェア・モジュール６０６により行われ、入力変換器と称され、接触画面入力機器内にある処理ユニット内で動作する。

別の実施形態では、入力変換器６０６が信号に対して追加の変換を行うことができる。変換は、具体的には、被制御機器内で動作するソフトウェア・コンポーネントおよびアプリケーションを制御するために使用可能な種類の出力信号への、（いくつかの実施形態では、外部カメラに部分的に由来する信号を含むが、被制御機器からの信号を依然として要求する）制御機器６０１に直接的または間接的に由来する入力信号に関係している。

実施に応じて、多種多様の変換が、制御機器から利用可能な入力信号のカテゴリ、および、被制御機器内のソフトウェア・コンポーネントが応答する信号のカテゴリにとって可能かつ適切である。例示的な変換としては、
−制御機器からのジョイスティック信号を、１つまたは複数の「ページアップ」信号に変換すること、
−制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った（ことによると、もしあれば、被制御機器の慣性からの入力を交換した）後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−そうした接触表面様信号が、図７に７０４にて示されているもの等の、画面上指向性制御器の接触を模擬する場合、
−異なるジョイスティックの方向が、異なる接触表面の位置の模擬を結果的にもたらす場合、
−そうした接触表面様信号が、接触表面の行程を模擬する一連の接触信号である場合、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に（例えば、「下へ」（口頭）を接触表面の模擬された下方のスワイプに）変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に（例えば、「ホーム」（口頭）をＨＯＭＥ＿ＢＵＴＴＯＮ＿ＰＲＥＳＳＥＤ＿ＳＩＧＮＡＬに）変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
が挙げられる。

上記の場合の多くにおいて、制御機器からの入力信号は、被制御機器の信号を交換または修正するように変換される。当該変換は、全ての場合において、他の物理的機器によるソフトウェア・コンポーネントの制御を妨げず、そこでそれらが存在することがある（６１０等）が、代わりに、制御機器によるソフトウェア・コンポーネントの遠隔制御を可能にすることがある。このような代替の制御器を用いる使用者の望みを示す何らかの事象を検出することにより、当該遠隔制御を初期に可能にすることができる。考えられる事象の例としては、
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。

別の実施形態では、当該変換は制御機器上で起こり、その出力信号は被制御機器へ直接的に送信される。好適な一実施形態では、当該被制御機器はネットワーク有効テレビジョンであり、インターネット源から受信される映像を受信しかつ示すか、あるいは、ゲームまたは他のネットワーク化アプリケーションを動作させることができる機器である。図１に示されている好適な実施形態では、接触感知型入力機器１０４の画面の画像が表示器１０３上に示される。その後、使用者１０９は、接触画面機器について対応する２Ｄ位置を指定するために、運動制御器１０１を画面に向ける。こうした位置の選択は、制御機器の「ダウン・ザ・バレル」照準１０６に対応する。

本発明の１つの実施形態は、運動制御器からの感知器信号を、上記に記載されているように用いられる際に、接触表面様信号に変換するための方法である。そのグラフィックス表示器は、（カーソル等の）画面上要素として「被照準位置」を示す。当該被照準位置は、運動機器からの運動信号の２Ｄ平面上の点への変換による運動機器の運動を辿る。

制御器の運動信号を画面上の位置に変換するためのいくつかの方法がある。１つの実施形態では、本発明者は、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されているようなレイ・キャスティング法を用いる。「ダウン・ザ・バレル」照準を適切に実現するためには、２つの主な種類の情報が必要とされる。第一に、世界枠内にある制御器の正確な絶対配向が得られ、そこで、当該世界枠が地球および磁北の重力場の方向に対して定義される。第二に、表示器に対する制御器の基準枠からの対応付けが定義される。この対応付けは、制御器に関する表示器の相対位置、ならびに世界枠に対する表示器の相対回転を含む。この第２組の情報を、初期の設定較正段階をもって得ることができる。これをするための１つの方法は、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されており、そこで、使用者は、対応付けを確定するために、制御器で表示画面上の多数の位置を照準する。

１つの実施形態では、当該制御機器は、少なくとも３つの直交加速度計示度、３つの直交ジャイロスコープ示度、および、地球の重力ベクトルに直交する少なくとも１つの測定結果を有するコンパス示度に対応する感知器信号を生成する。制御器が静止している際に、その配向の３つの成分のうち２つを、本出願により参照により組み込まれる、米国特許第７，９５３，２４６号に記載されているような加速度計を用いて、重力ベクトルの方向を測定することにより計算することができる。第３の成分は、重力ベクトルの周りにおける回転であり、コンパスから直接的に測定することができる。その配向のこうした直接的な測定結果は、常に利用可能であることになるとは限らず、そのため、ジャイロスコープ感知器は、経時的に３つの軸のそれぞれの周りにおける角速度の正確な測定結果を提供することが理解される。重力およびコンパスからの推定値の間における経時的な配向の変化を計算するために、こうした速度を積分することができる。ジャイロスコープ示度の累積積分は、ある期間にわたり、ドリフトとして知られる誤差を蓄積することになることが留意される。配向の正確な「ダウン・ザ・バレル」推定値を保つためには、重力およびコンパスから利用可能な直接推定値に向かって戻るように配向を定期的に調節することが必要であることになる。実際には、重力およびコンパス示度は、ジャイロスコープ示度よりも低い精度および多くの雑音を有する傾向があり、その配向のそれらの推定においてより少ない正確性を結果的にもたらすが、経時的に蓄積される誤差つまりドリフトを受けない。配向の最も良好な推定値を得るためには、こうした２つの種類のデータを混合することが必要である。この混合を扱うための単純な方法は、重力およびコンパス推定値に向かって少しずつ動かすことにより、その補正値を積分された配向に平滑化することである。カルマン・フィルタ、および、雑音のある信号をフィルタリングしかつ組み合わせるための他の既知の方法を含む、より複雑な方法が、実施者にとって利用可能である。

代替的には、三軸コンパスが制御機器内に存在している場合に、配向の全ての３つの成分をコンパスから計算することができる。別の実施形態では、少なくとも３つの直交示度を有するコンパスがジャイロスコープの代わりに用いられる。十分に正確なコンパスについては、世界枠内の制御器の配向の直接推定値としてその示度を用いることができる。使用者が照準しようとする際に微小振動するカーソルを経験することを防ぐために、多数の示度の出力を平滑化（平均化）することにより、その配向における誤差を低減することができる。

さらに別の実施形態では、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１３／１０５，８６３号に記載されているように、表示器に対する定義された関係にある外部カメラ、およびそのカメラに対して可視の制御器上にある光源の使用をもって、制御器に対する表示器の配向および相対位置の両方を連帯的に得てかつ経時的に更新することができる。

制御器の配向および相対位置を所与として、レイ・キャスティングは、制御器にて生じかつ表示器とその配向に沿って整列した光線間の交点を見つける簡単な操作を提供する。１つの実施形態では、より限られた感知器のみが利用可能である際に、相対照準が「ダウン・ザ・バレル」照準の代わりに用いられる。この実施形態では、運動制御器からのジャイロスコープ示度が、被照準位置を生成するために画面上のカーソルの位置における相対変化に直接的に対応付けされ、加速度計、コンパス感知器、ＬＥＤ、または外部カメラを有する必要性を除去する。

次に、我々は、１つの実施形態により接触表面様信号を生成するために、こうした２Ｄ交点、被照準位置を、制御機器からの他の信号（例えば、行動信号）とどのように組み合わせるかを記載する。

下記に記載されている操作モードの詳細は、それらの応用において制限的ではなく例解的であるように意図されている。ボタンを押さえることが記載されている場合には、トリガーを押下すること、あるいは、接触、光、または容量性の感知器を覆うこと等の同様の方法を、代わりに用いることができる。軸の周りにおける回転が記載されている場合には、入力機器を与えられた使用者にとってより快適または自然であるように感じられれば、軸または回転方向の異なる選択を用いることができる。

一般性の損失なしに、ボタンＡおよびボタンＢと標記された、運動機器上の少なくとも２つのボタンの存在を想定しよう。単一接触選択：機器を安定して保持することにより、被照準位置にて接触表面の接触および解放を模擬する信号が生成される間に、運動機器上のボタンＡを押下および解放する。単一接触ドラッグ：運動機器上でボタンＡを押下し、続いて制御器を動かしかつ／または回転させ、最後に、ボタンを開放することにより、ボタンが最初に押下された際の被照準位置にて接触−押下を模擬する一連の信号、その後、ボタンが解放され、続く接触−解放まで計算された被照準位置を通じるドラッグが生成される。

二重接触ドラッグ：運動機器上のボタンＢを押下し、続いて制御器を動かしかつ／または回転させ、最後に、ボタンを開放することにより、ボタンが最初に押下された際の被照準位置にて定位置との定常接触を模擬する一連の二重信号、ならびに、ボタンが解放され、続く両方の位置についての接触−解放まで計算された被照準位置を通じるドラッグが生成される。この機能性は、表示器上でズーム・インまたはアウトすること、または画像を回転させること等の、接触表面機器におけるいくつかの一般的な使用を可能にするのに十分な多重接触信号を模擬する、使用者のための単純な１ボタン法を可能にする。

より複雑な多重接触対話については、下記に詳述されているように、任意数の同時の被照準位置および行程を模擬するために、使用者が２つのボタンの順序を用いることを必要とする、代替のモードを可能にすることができるだろう。

多重接触選択：運動機器上のボタンＢを押下することにより、被照準位置の座標が保存される。追加の回数ボタンＢを押下することにより、追加の被照準位置が保存されることになる。その後、単一接触選択のために後でボタンＡを押下することにより、保存された被照準位置ならびにボタンＡが押下された時の被照準位置のそれぞれに対応する多重接触事象が生成されることになる。

多重接触ドラッグ：単一接触ドラッグ事象で終わることにより、２つ以上の一連の信号が同時に生成されることになることを除いては、多重接触選択について記載されているとおりである：
１）単一接触ドラッグの場合でのような模擬接触信号、および、
２）ボタンＢが押下された際の１つまたは複数の以前の場所からの、１つまたは複数の保存された被照準位置のそれぞれに対する定位置との、第２組の模擬接触信号。

多重接触多重ドラッグ：時系列のデータが、ボタンＢが押さえられる間の被照準位置について保存されることを除いては、上記の多重接触ドラッグについて記載されているとおりである。その後、保存された時系列は、２つ以上の一連の信号を同時に生成するように、ボタンＡが押さえられる間の現在の被照準位置と組み合わされる：
１）単一接触ドラッグの場合でのような模擬接触信号、および、
２）Ｂボタンが押下された間からの保存された被照準位置の順序に対応する、第２組の模擬接触信号。

代替の一実施形態は、多数の被照準位置を同時に生成するために多数の制御器を用い、その後、多重接触選択およびドラッグ信号を直接的に生成するように、こうした位置を組み合わせることができる。

１つの実施形態では、表示機器上の被照準位置は、接触表面信号を生成する際に、接触表面入力機器上のその対応する位置に戻って対応付けられる。接触画面機器を有しない実施形態については、表示器上の２Ｄ被照準位置が、ソフトウェア・コンポーネント用の接触様信号を生成するために直接的に用いられる。プログラムとの使用者の対話の追加の変換および方法は、下記のいくつかの一部を含む代替の実施形態にて用いられることになる：

ボタンが押さえられる間のグラフィックスオーバーレイおよび解放時の選択：ボタンを押下および押さえることにより、表示器オーバーレイ・ソフトウェア・コンポーネント６０９により生成および表示される、様々なグラフィックス要素（ボタン、リスト、テキスト、ボックス等…）の出現が引き起こされる。ボタンの解放時には、被照準位置にて表される任意のグラフィックス要素がその機能を起動され、グラフィックスオーバーレイが消滅する。

音量制御：制御機器上のボタンを押下および押さえることにより、音量変更モードが入力される。制御器の先端を（上から見て、見下ろす際に）右に回転させることにより、音量が増加する。制御器の先端を（上から見て、見下ろす際に）左に回転させることにより、音量が減少する。

左および右にスクロールする：制御機器上のボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の水平運動（すなわち、上から見た際の、制御器の先端の左／右運動）により、グラフィックス要素の水平運動が引き起こされる。

上および下にスクロールする：ボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の垂直運動（すなわち、側面から見た際の、制御器の先端の上／下運動）により、グラフィックス要素の垂直運動が引き起こされる。

身振り制御：使用者が認識可能な種類の運動をする場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、ソフトウェアの事象または要求について対応する模擬信号を生成することができる。

接触に対する身振り制御：使用者が認識可能な種類の運動をする場合に、あらかじめ定義された一連の被照準位置に対応する一連の接触表面信号を生成することができる。アプリケーション、または、使用者による以前の一連の生成された接触信号のどちらかにより、当該一連の位置を定義することができるだろう。例えば、使用者は、上記に詳述されている単一接触法または多重接触法のうち１つを用いて一連の被照準位置を指定し、その後、その一連が一例の運動と同様の運動、またはそれらが提供する一組の運動と関連するように指定することができるだろう。

音声制御：使用者が認識可能な可聴信号を起こす場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、対応する模擬されたソフトウェアの事象または要求の信号を生成することができる。

音声量制御：被制御機器の出力音量を制御するために、使用者からの音声入力の音量を用いる。例えば、その２つのデシベル水準を整合させることを決定することができるだろう。

テキスト入力に対する音声：被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供するか、またはそれを交換するための、制御機器からの音声信号の変換。１つの実施形態では、当該変換が、Ｓｐｅｅｄ ＡＰＩに対するＧｏｏｇｌｅ Ａｎｄｒｏｉｄのテキストのように、Ｓｐｅｅｃｈ ＡＰＩに対する既存のテキストを用いて実施される。

キーボード様入力に対する運動：被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供する接触入力を提供または交換するための、制御機器からの運動制御信号の変換。１つの実施形態では、当該変換は、ボタン信号および運動信号から、画面上キーボード上に示されるキーの選択を模擬する接触表面様信号へのものである。

テキスト入力に対する運動：別の実施形態では、当該変換は、選択された単語の要素を表す画面上記号に被照準位置を通すことによる、ボタン信号および運動信号から、単語の描画を模擬する接触表面様信号へのものである。曖昧性解消法が必要とされる。その好適な実施形態では、我々は、Ｓｗｙｐｅ等の、既存のソフトウェア・コンポーネントに依存する。

本発明の別の態様は、制御機器からの信号の、プロファイルに基づく被制御機器上のソフトウェア・コンポーネントに提供される信号への変換の動的選択を含み、そこで：
−プロファイルが文脈および変換を含み、
−文脈が、その中で当該変換が適用されるべきである識別可能な状況であり、
−変換が、上記に記載されているとおりである。

図７は、なぜ変換の動的対応付けが望まれることになるだろうかという、動機付けの一例を示す。被制御機器および制御機器７０１の同一の設定、およびジョイスティックを上に押すことに対応する使用者からの同一の信号７０２を伴う、２つの場合を考慮されたい。動作するアプリケーションがゲーム７０３である場合には、その所望の対応付けは、画面上の仮想ゲームパッドに対応する位置における単一接触７０４に対応する、一連の接触信号であることがあるものの、動作するプログラムがアドレス帳７０５である場合には、その所望の出力は、名前のリストをスクロールするための垂直上方行程７０６であることがある。

プロファイルは、指定された文脈内の変換の動的適用をさらに表す。すなわち、その文脈が適用される場合に、被制御機器から感知器信号を取り、変換を適用し、結果として生じる信号を被制御機器上で動作するソフトウェア・コンポーネントに提供するということである。

当該文脈の例としては、下記のものが挙げられるが、それらに限定されない：

−識別されたグラフィックス使用者インターフェース要素（ウィンドウ、画面、ボックス、ボタン、スライダ等…）の状態
プロファイルの例：
ＩＦ（スクロール・バー要素が現在表示されている） ＴＨＥＮ 制御機器からのジョイスティック信号を、スクロール・アップまたはスクロール・ダウンを引き起こす接触表面信号に変換する。

−活動中のソフトウェアの処理
プロファイルの例：
ＩＦ（フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している） ＴＨＥＮ 運動感知器信号を、ズーム・インまたはズーム・アウトを引き起こす接触表面信号に変換する。
または、
ＩＦ（フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している） ＴＨＥＮ 運動感知器信号を、ズーム・インまたはズーム・アウトを明示的に表す接触高水準信号に変換する。
ＩＦ（何らかのゲームが現在動作している） ＴＨＥＮ （制御機器からの運動信号を、被制御機器の模擬運動信号に）変換する。

−制御機器の検出
プロファイルの例：
ＩＦ（制御機器が検出されかつ任意の他の状態である） ＴＨＥＮ 前方の押しを表す制御機器のジョイスティック信号を、上方行程を模擬する接触表面信号に変換する。

制御機器の任意の運動の検出：
プロファイルの例：
ＩＦ（制御機器の運動が検出された）
ＴＨＥＮ（ＡをＢに変換する）
ＩＦ（制御機器の運動が検出されかつ他の文脈が検出された）
ＴＨＥＮ（ＡをＢに変換する）

ＩＦ（テキスト入力用の表示グラフィックス要素が選択される）
ＴＨＥＮ 制御機器からの音声信号をテキスト入力に変換する。
ＩＦ（制御機器が垂直配向にて保持される）
ＴＨＥＮ 制御機器からの音声信号をテキスト入力に変換する。

１つの実施形態では、プロファイルはプログラミング・コードとして実装され、それを（ことによると、編集ステップおよび結合ステップの後に）、被制御機器または制御機器上で実行することができる。

その好適な実施形態では、プロファイルはコンピュータ・データとして表され、同様に、容易に、データベースに保存、複製、編集、修正、入力されるか、または電子的に送信される。この場合では、当該プロファイルの機能は、当該プロファイルをロードすることができる追加のソフトウェア・コンポーネント６１１により実行される。図８は、機能ブロック線図を示す。

本発明の１つの実施形態によれば、図９は、制御機器（例えば、運動感知型機器）が、被制御機器と対話するためにどのように用いられているかという流れ図つまり工程９００を示し、そこで、当該制御機器からの信号は、当該被制御機器にとって容認可能な信号に対応付けられる。上記に記載されているように、当該対応付けまたは変換をプロファイルに従って行うことができる。実施に応じて、ソフトウェアまたはソフトウェアおよびハードウェアの組み合わせにおいて、工程９００を実施することができる。

９０２において、工程９００は、制御機器（例えば、ｉＰｈｏｎｅ）が被制御機器（例えば、スマートＴＶ）と通信することができるかどうかを確認する。ＷｉＦＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線等の、多くの方法の１つにおいて当該通信を行うことができる。その目的は、制御機器からの信号を被制御機器により受信することができることを保証することである。工程９００は、制御機器からの信号を被制御機器により受信することができる際に進むことができる。９０４において、制御機器の使用者は制御機器をあちこちに動かす。上記に記載されているように、制御機器は一組の感知器を含み、それらのうち少なくともいくつかは運動信号を生成する慣性感知器である。９０６において、制御機器は、制御機器の配向の測定値等について較正され、一方で、当該機器は被制御機器の表示器に照準される。従って、ダウン・ザ・バレル照準を提供することが初期に可能である。

感知器信号は変換により変換される。実施に応じて、当該変換を異なる方法で実施することができ、そのいくつかは上記に記載されてきた。当該変換のための機能のうち１つは、感知器信号を（行動信号と共に）、被制御機器がそのために設計される制御信号と実質的に同様に変換することである。例えば、当該被制御機器は、接触画面機器からの制御信号により制御されるか、または接触画面機器からの入力信号を受信するように設計される。感知器信号の一部または全部を、接触画面機器からの制御信号と実質的に同様に変換するように、当該変換を１つの実施形態において設計することができる。結果として、被制御機器を制御するために制御機器を用いることができる。

表示器にかなり正確に照準するために、表示器の２Ｄ表面上の制御機器の絶対位置が、基準枠に対して（例えば、表示器に対して）９１０にて計算される。その一方で、制御機器は他の信号を生成することもできる。典型的には、９１２において命令および入力を受信するように、制御機器を使用者と連動させることができる。当該機器は、行動を起動する１つ以上のキーまたはボタンを含むこともある。従って、制御機器内の感知器からの感知器信号の他に、９１４において制御機器からのものであることもある行動信号がある。９０８と同様に、当該行動信号は、被制御機器が９１６において受容することができる行動信号と実質的に同様に変換される。１つの実施形態では、感知器信号および行動信号の両方は、使用者がどのように被制御機器を制御することを望むかに応じて、同時に被制御機器に送信される。９１０からの照準位置と共に、行動信号は９１８において被制御機器に挙動変化を引き起こすことができる。

例えば、使用者は少数の項目を有するメニューをスクロールする必要があり、そこで、当該メニューは被制御機器上に表示される。従って、どの項目が照準されているかを決定するために、表示器上の制御機器の照準位置を決定することが必要である。制御機器上の行動（例えば、クリック）により、制御機器が、被制御機器により受容可能な行動に変換されることになる行動信号を発信する。その決定された位置をもって、被制御機器は、メニュー内のどの項目が選択されており、かつ起動されることになるかを決定するように構成される。

図１０は、２Ｄ平面上の一組の連続する点への３Ｄ空間内の運動制御器の追跡の例示的な投影を示し、そこで、当該２Ｄ平面は被制御機器の表示画面を表す。本発明の一態様は、インターネットを介して被制御機器にプロファイルをダウンロードする能力である。本発明の別の態様は、
−当該機器の解放の後に、
−新たな文脈の検出に続いて（新たなプロファイルは、新たなソフトウェア・コンポーネントに提供される入力の変換を構成するように動的にダウンロードされる）、
被制御機器上にプロファイルをロードする能力である。

本発明の別の態様は、プロファイルを作成または構成する能力である。考えられる作成者としては、制御機器の製造者、オペレーティング・システムの製造者、および被制御機器の使用者が挙げられる。プロファイルを作成または構成するための考えられる方法としては、ソフトウェアの生成、またはグラフィックスインターフェースの使用を通じることが挙げられる。本発明の別の態様は、使用者がカスタマイズされたプロファイルを共有する能力である。その好適な実施形態では、当該共有は遠隔データベースへのインターネット接続を介して起こる。別の実施形態では、使用者はウェブサイトまたは他のネットワーク位置からプロファイルをダウンロードする。別の実施形態では、使用者はネットワーキング・プロトコルを通じて互いに直接的にプロファイルを共有する。

本発明の１つの態様は、制御機器の配向に基づく使用者入力の方法の動的変更である。一例として、レーシング・ゲーム・アプリケーションを制御するための、本発明の考えられる使用を考慮されたい。当該レーシング・ゲームは、車両の操向および加速を引き起こす任意の運動信号、および同様に、表示器上のグラフィックス要素を選択する接触表面様信号により制御される、被制御機器のソフトウェア・コンポーネントである。制御機器がグラフィックス表示器に向かって照準している際に、その入力方法は、制御機器の運動信号およびボタン信号の接触表面様信号への変換による、画面上のグラフィックス要素の選択を可能にする照準インターフェースである。制御機器が表示器に垂直に保持される際に、その入力方法は、制御機器の運動信号が運動信号に変換されるように、（新たな情報を動的に選択することにより）変更される。

本発明の１つの態様は、制御機器の信号の異なる種類の変換を、制御機器の配向に基づいて適用することができることである。

本発明の１つの態様は、制御機器の信号の異なる種類の変換を、被制御機器、別の外部機器、カメラ、または表示器の位置に対する制御機器の配向に基づいて適用することができることである。

本発明の１つの態様は、運動信号の異なる変換が、制御機器が表示器、制御機器、またはカメラの右に照準するように配向される場合よりも、表示器の左に照準するように配向される場合に起こることがあることである。

本発明の１つの態様は、制御機器の信号の異なる変換をいつ適用するかを決定する文脈情報としての、制御機器の配向の使用である。

本発明の上記の記載は、制御機器からの信号の、被制御機器上で動作するソフトウェア・コンポーネントへの変換に注目してきた。ソフトウェア・コンポーネントからの出力を、使用者にそれらを表示する前に追加的に変更することが望ましいことがある。カーソルまたは追加のボタン等の入力フィードバック情報を含む、グラフィックスオーバーレイを加えるための随意のコンポーネントが、６０９において図６に示された。いくつかの被制御機器については、新たな制御器を与えられる使用者経験を改善するために、出力データの追加の情報を用いることができるだろう。グラフィックスデータの追加の変換の例としては、（ボタン、スライダ、またはメニュー等の）追加の表示された制御子を、表示器の未使用部分に加えることが挙げられる。縦表示モードにおけるスマートフォン等の機器から生じるグラフィックスデータについては、出力接触表面信号において用いられる被照準点を生成するために、追加の領域を使用者に提供するために用いることができるテレビジョン画面または監視器等の表示器内に、大きい未使用領域があることがある。加えて、グラフィックス要素を、接触感知型機器の出力から除去し、かつ（主表示器の側面等に対する）新たな構成内に配置するか、または完全に除去するかのどちらかをすることができるだろう。画面の底部に仮想ゲームパッドを有するゲーム・アプリケーションを考慮されたい。入力制御器がジョイスティックを有する場合には、使用者に仮想ジョイパッドを表示する必要性が全くないことがあり、使用者にとってより明瞭な画像を作り、一方で、制御機器の入力ジョイスティック信号を、最初の接触表面機器上の制御子の位置に対応する接触表面信号に対応付けることを依然として可能にする。

本発明は、好ましくはソフトウェアにより実施されるが、ハードウェアまたはハードウェアおよびソフトウェアの組み合わせにおいて実施することもできる。本発明を、コンピュータ可読媒体上のコンピュータ可読コードとして具現することもできる。当該コンピュータ可読媒体は、その後コンピュータ・システムにより読み取ることができるデータを保存することができる任意のデータ記憶機器である。当該コンピュータ可読媒体の例としては、読み取り専用メモリ、ランダム・アクセス・メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光学式データ記憶機器、および搬送波が挙げられる。当該コンピュータ可読媒体を、当該コンピュータ可読コードが配布されるように保存および実行されるように、ネットワーク結合型コンピュータ・システムを通じて配布することもできる。

本発明は、ある程度の具体性をもって十分に詳細に記載されてきた。本実施形態の開示がほんの一例として行われてきたことと、特許請求されているとおりの本発明の精神および範囲から逸脱することなく、部品の配列および組み合わせにおける数多くの変更に頼ることができることとが、当業者に理解される。従って、本発明の範囲は、先の実施形態の記載ではなく、添付の請求の範囲により定義される。

Claims (15)

1. 被制御機器の運動に基づく制御のためのシステムであって、前記システムは、
   運動感知型機器の運動に応答する感知器信号を生成する複数の感知器を含む前記運動感知型機器であって、前記感知器信号は、６自由度で前記運動感知型機器の位置および配向を推定するのに十分である、運動感知型機器と、
   接触画面機器からの接触画面入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションと、
   前記運動感知型機器からの第１組の信号を第２組の信号のいくつかに変換することにより、前記運動感知型機器が前記被制御機器上で前記少なくとも１つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第２組の信号は、前記接触画面機器からの前記接触画面入力信号と実質的に同様のいくつかの信号を含み、前記第１組の信号は前記感知器信号を含む、処理ユニットと、
   を備える、システム。
2. 前記運動感知型機器からの第１組の信号を第２組の信号のいくつかに変換することが、非接触表面様信号である前記第１組の信号から、接触表面様信号である前記第２組の信号の前記いくつかへの変換を含み、前記変換が、前記接触画面機器からの前記接触画面入力信号のうち少なくともいくつかを増強または交換する操作を含む、請求項１に記載のシステム。
3. 前記第２組の信号が、前記接触画面機器により制御されるように構成された前記被制御機器の１つ以上の機能を制御するために用いられ、前記被制御機器が、その上に前記少なくとも１つのアプリケーションが表示されている表示器を含む、請求項２に記載のシステム。
4. 前記第１組の信号が、前記接触画面機器内で遠隔で受信され、前記被制御機器の挙動が、前記接触画面機器を介して前記運動感知型機器により制御される、請求項１に記載のシステム。
5. 被制御機器の運動に基づく制御のための方法であり、前記方法は、
   運動感知型機器内で、前記運動感知型機器の運動に応答する一組の感知器信号を生成することであって、前記感知器信号は、前記運動感知型機器内に封入された複数の感知器からのものであり、かつ６自由度で前記運動感知型機器の位置および配向を推定するのに十分であることと、
   前記運動感知型機器からの第１組の信号を第２組の信号のいくつかに変換して、前記被制御機器内で少なくとも１つのアプリケーションを制御することであって、前記第２組の信号は、接触画面機器からの接触画面入力信号と実質的に同様のいくつかの信号を含み、前記第１組の信号は前記感知器信号を含み、かつ、前記被制御機器は、前記接触画面機器からの前記接触画面入力信号に応答するように設計されることと、
   を備える、方法。
6. 前記運動感知型機器からの第１組の信号を第２組の信号のいくつかに変換することが、非接触表面様信号である前記第１組の信号から、接触表面様信号である前記第２組の信号の前記いくつかへの変換を含み、前記変換が、前記接触画面機器の前記接触画面入力信号のうち少なくともいくつかを増強または交換する操作を含む、請求項５に記載の方法。
7. 前記第２組の信号が、前記接触画面機器により制御されるように構成された前記被制御機器の１つ以上の機能を制御するために用いられる、請求項６に記載の方法。
8. 前記第１組の信号が、前記接触画面機器内で遠隔で受信され、前記被制御機器の挙動が、前記接触画面機器を介して前記運動感知型機器により制御される、請求項５に記載の方法。
9. 前記被制御機器が、表示器および処理ユニットを含み、かつ、前記第１組の信号が、前記第２組の信号に変換されるように前記被制御機器内で遠隔で受信され、前記表示器が、テレビジョン、監視器、投影グラフィックス・システム、および表示器を有する計算機器のうち１つである、請求項５に記載の方法。
10. 前記第２組の信号が、前記運動感知型機器との使用者による多重接触対話からの一連の信号を含む、請求項５に記載の方法。
11. 前記接触画面機器が、タブレット、スマートフォン、および接触画面入力要素を有する電子機器のうち１つである、請求項１０に記載の方法。
12. 被制御機器の運動に基づく制御のための方法であって、前記方法は、
    運動感知型機器内の感知器から第１組の感知器信号を受信することであって、前記感知器信号は、６自由度で前記運動感知型機器の位置および配向を推定するのに十分であることと、
    固定基準枠を提供する二次感知器から第２組の感知器信号を受信することと、
    第１組の信号および第２組の信号から、前記固定基準枠に対する前記運動感知型機器の照準位置を決定することと、
    変換から一組の制御信号を生成して前記被制御機器を制御することであって、前記変換は、前記制御信号のうち少なくともいくつかを、前記被制御機器を制御するために提供された、あらかじめ定義された機器からの入力信号と実質的に同様に変換するように構成されることと、
    を備える、方法。
13. 前記二次感知器が、前記被制御機器の表示器に対して配置された外部感知器である、請求項１２に記載の方法。
14. 前記外部感知器が、ＬＥＤ感知器、磁力計、またはカメラである、請求項１３に記載の方法。
15. 前記被制御機器の表示器上の対応する位置に、前記運動感知型機器の照準位置を対応付けることをさらに備え、かつ、前記運動感知型機器の照準位置を決定することは、
    前記第２組の信号に対する前記運動感知型機器の推定された位置および配向を補正することと、
    前記固定基準枠に対する前記運動感知型機器の補正された推定された位置および配向から、前記運動感知型機器の照準位置を導き出すことと、
    を備える、請求項１２に記載の方法。
    

Images