JP2021131396A - レーダ対応センサフュージョン - Google Patents

Abstract

【課題】センサベースアプリケーションの性能を、レーダ対応センサフュージョンにより改善する。【解決手段】デバイスのレーダ放射要素を介してレーダフィールドを提供することと、前記デバイスのレーダ受信要素を介して、前記レーダフィールドにおけるターゲットに対応する１つ以上の反射信号を受信することと、レーダデータを提供するよう前記１つ以上の反射信号を変換することと、前記ターゲットの物理的特徴を示すレーダ特徴を前記レーダデータから抽出することと、前記物理的特徴に関連付けられる追加的なセンサデータを提供するよう、前記レーダ特徴に基づいて前記デバイスのセンサをアクティベートすることと、前記レーダ特徴を向上するために前記追加的なセンサデータにより前記レーダ特徴を増強することと、向上された前記レーダ特徴を前記センサベースアプリケーションに提供することとを含む、コンピュータによって実現される方法。【選択図】図５

Description

優先権
この出願は、２０１５年１０月６日に出願された米国仮特許出願連続番号第６２／２３７，９７５号への優先権を請求しており、米国仮特許出願連続番号第６２／２３７，９７５号の開示は本願明細書において全文、参照により援用される。

背景
多くのコンピューティングデバイスおよび電子デバイスは、デバイスの周囲に基づいてシームレスかつ直観的なユーザ体験を提供するためにセンサを含む。たとえば、デバイスは、加速度計がデバイスの動きを示すことに応答してスリープ状態を終了し得、または、デバイスのタッチスクリーンは、近接センサがユーザの顔への接近を示すことに応答して無効化され得る。しかしながら、これらのセンサのほとんどは、精度、レンジまたは機能が制限されており、デバイスの周囲の粗い変化または大きな変化のみを感知可能である。したがって、正確なセンサ入力がなければ、デバイスはしばしば、異なるタイプのユーザインタラクションを推論するか、または、ユーザが存在するのかどうかについても推論することになる。これは、誤ったユーザ入力、ユーザの誤った検出または非検出、および、ユーザのフラストレーションにつながる。

上記のコンテキストにおけるセンサの不正確性の例は、ユーザに関連していない動き（たとえば動いている車両）を加速度計が感知することに応答して間違ってスリープ状態を終了し、ユーザがデバイスを間違って保持して近接センサを部分的に遮ることに応答してタッチスクリーンを無効化するデバイスを含む。そのような場合、デバイスのバッテリは誤った電力状態遷移により消耗され得るとともに、ユーザが自身の手を移動させるまで、タッチスクリーンを介するユーザ入力が中断される。これらは、デバイスとのユーザのインタラクティブな体験を中断し得るセンサ不正確性のいくつかの例である。

概要
この開示は、レーダ対応センサフュージョン（radar-enabled sensor fusion）のため
の装置および技術を記載する。いくつかの実施形態において、レーダフィールドが提供され、当該レーダフィールドにおけるターゲットに対応する反射信号が受信される。反射信号はレーダデータを提供するために変換され、当該レーダデータからは、ターゲットの物理的特徴を示すレーダ特徴が抽出される。物理的特徴に関連付けられる追加的なセンサデータを提供するよう、レーダ特徴に基づいてセンサがアクティベートされる。その後、レーダ特徴は、たとえばレーダ特徴の精度または分解能を増加させることによって、レーダ特徴を向上させるために追加的なセンサデータで増強される。これにより、向上されたレーダ特徴に依存するセンサベースアプリケーションの性能が改善され得る。

他の局面において、デバイスのレーダセンサは、対象のスペースについてレーダデータを得るためにアクティベートされる。３次元（３Ｄ）レーダ特徴がレーダデータから抽出され、位置データがセンサから受信される。位置データに基づいて、スペースについての３Ｄランドマークのセットを生成するよう３Ｄレーダ特徴の空間関係が決定される。当該３Ｄランドマークのセットは、既知の３Ｄコンテキストモデルと比較され、当該３Ｄランドマークとマッチする３Ｄコンテキストモデルを識別する。当該マッチする３Ｄコンテキ
ストモデルに基づいて、当該スペースについてのコンテキストが抽出され、デバイスのコンテキストセッティングを構成するために使用される。

この概要は、詳細な説明においてさらに説明されるレーダ対応センサフュージョンに関して簡素化された概念を紹介するように提供されている。この概要は、特許請求される主題の必須の特徴を識別するようには意図されておらず、また、特許請求される主題の範囲を決定する際に使用されることも意図されていない。

レーダ対応センサフュージョンの実施形態は添付の図面を参照して記載される。同様の特徴およびコンポーネントを参照するために、図面の全体にわたって同じ番号が使用される。

レーダセンサと付加的なセンサとを有するコンピューティングデバイスを含む例示的な環境を示す図である。 図１に示されるセンサの例示的なタイプおよび構成を示す図である。 図１に示されるレーダセンサの例示的な実現例と、対応するレーダフィールドとを示す図である。 図１に示されるレーダセンサの別の例示的な実現例と、透過するレーダフィールドとを示す図である。 レーダ対応センサフュージョンを実現することができるコンポーネントの構成の例を示す図である。 追加的なセンサデータによりレーダデータを増強するための例示的な方法を示す図である。 向上されたレーダ特徴によるモーション追跡の実現例の例を示す図である。 １つ以上の実施形態に従った、低電力センサフュージョンのための例示的な方法を示す図である。 センサフュージョンエンジンを含むスマートテレビジョンによって実現される低電力センサフュージョンの例を示す図である。 相補的なセンサデータによりレーダ特徴を照合するための例示的な方法を示す図である。 対象のスペースについてコンテキストモデルを生成するための例示的な方法を示す図である。 １つ以上の実施形態に従った、コンテキストによりマッピングされる部屋の例を示す図である。 スペースに関連付けられるコンテキストに基づいてコンテキストセッティングを構成するための例示的な方法を示す図である。 変更されるスペースのコンテキストに応答してコンテキストセッティングを変更する例示的な方法を示す図である。 コンテキストの変化に応答してコンピューティングデバイスのコンテキストセッティングを変更する例を示す図である。 レーダ対応センサフュージョンの技術が実現され得る例示的なコンピューティングシステムを示す図である。

詳細な説明
概略
従来のセンサ技術はしばしば、所与のタイプのセンサに関連付けられる固有の欠点により制限されるとともに不正確である。たとえば、加速度計によって提供されるデータによってモーションが感知され得るが、加速度計データは当該モーションの源を決定するには
有用ではない場合がある。他の場合においては、近接センサは、ある対象との接近を検出するのに十分なデータを提供し得るが、当該対象の識別性は接近データから決定可能でない場合がある。したがって、従来のセンサは、ユーザに対するデバイスの関係を含む、デバイスの周囲の不正確または不完全な感知につながり得る欠点または盲点を有する。

本願明細書において、レーダ対応センサフュージョンを実現する装置および技術が記載される。いくつかの実施形態では、各センサのそれぞれの欠点を軽減するために、センサのそれぞれの強みがレーダと組み合わせられる。たとえば、ユーザの顔の表面レーダ特徴が、赤緑青（ＲＧＢ）カメラの像と組み合わされて、顔認識アプリケーションの精度が改善され得る。他の場合において、速いモーションを追跡することができるレーダモーション特徴が、空間情報をキャプチャすることに優れているＲＧＢセンサの像と組み合わされ、これにより、速い空間動作を検出することができるアプリケーションが提供される。

さらに別の場合において、レーダ表面特徴は、デバイスの環境（たとえば部屋またはスペース）のマッピングを可能にするよう、加速度計からの方位または方向情報により増強され得る。そのような場合において、デバイスは、デバイスが動作しているコンテキストを学習または検出し得、これにより、デバイスのさまざまなコンテキスト特徴およびセッティングを可能にする。これらは、レーダが、本願明細書において記載されるセンサフュージョンまたはコンテキスト感知のために活用され得る態様のほんのいくつかの例である。以下の議論ではまず、動作環境を説明し、次いで、この環境において使用され得る技術を説明し、最後に例示的なシステムを説明する。

動作環境
図１は、レーダ対応センサフュージョンが有効化され得るコンピューティングデバイスを示す。コンピューティングデバイス１０２は、スマートグラス１０２−１、スマートウォッチ１０２−２、スマートフォン１０２−３、タブレット１０２−４、ラップトップコンピュータ１０２−５、および、ゲームシステム１０２−６といったさまざまな非限定的な例示的なデバイスを有することが示されているが、ホームオートメーションおよび制御システム、エンターテイメントシステム、音声システム、他の家電製品、セキュリティシステム、ネットブック、自動車、スマート機器、ならびに、ｅ−リーダといった他のデバイスが使用されてもよい。なお、コンピューティングデバイス１０２は、ウェアラブルであり得るか、非ウェアラブルであるが携帯可能であり得るか、または、相対的に携帯不可能（たとえばデスクトップおよび電気製品）であり得る。

コンピューティングデバイス１０２は、１つ以上のコンピュータプロセッサ１０４と、メモリ媒体および記憶媒体を含むコンピュータ読取可能媒体１０６とを含む。コンピュータ読取可能媒体１０６上のコンピュータ読取可能命令として具現化されるアプリケーションおよび／またはオペレーティングシステム（図示せず）は、本願明細書において記載される機能のうちのいくつかを提供するよう、プロセッサ１０４によって実行され得る。コンピュータ読取可能媒体１０６はさらに、以下に記載されるセンサベースアプリケーション１０８、センサフュージョンエンジン１１０およびコンテキストマネージャ１１２を含む。

コンピューティングデバイス１０２はさらに、有線ネットワーク、無線ネットワーク、または光学ネットワークを介してデータを通信するための１つ以上のネットワークインターフェイス１１４と、ディスプレイ１１６とを含み得る。ネットワークインターフェイス１１４は、ローカルエリアネットワーク（ＬＡＮ： local-area-network）、ワイヤレス
ローカルエリアネットワーク（ＷＬＡＮ： wireless local-area-network）、パーソナルエリアネットワーク（ＰＡＮ： personal-area-network）、ワイドエリアネットワーク（ＷＡＮ：wide-area-network）、イントラネット、インターネット、ピアツーピアネット
ワーク、ポイントツーポイントネットワーク、および、メッシュネットワークなどを介してデータを通信し得る。ディスプレイ１１６は、コンピューティングデバイス１０２に一体化され得るか、または、たとえばゲームシステム１０２−６といったコンピューティングデバイス１０２に関連付けられ得る。

コンピューティングデバイス１０２は、コンピューティングデバイス１０２が動作する環境のさまざまな特性、変動、刺激または特徴をコンピューティングデバイス１０２が感知することを可能にする１つ以上のセンサ１１８を含む。たとえば、センサ１１８は、さまざまなモーションセンサ、光センサ、音響センサおよび磁気センサを含み得る。代替的または付加的には、センサ１１８は、コンピューティングデバイス１０２のユーザとのインタラクションを可能にするか、または、コンピューティングデバイス１０２のユーザからの入力を受信する。センサ１１８の使用および実現例は変動し得、以下に記載される。

コンピューティングデバイス１０２はさらに、レーダセンサ１２０に関連付けられ得るか、または、レーダセンサ１２０を含み得る。レーダセンサ１２０は、無線周波数（ＲＦ）またはレーダ信号の送信および受信を通じて無線でターゲットを検出する機能を表わす。レーダセンサ１２０は、システム、および／または、システムオンチップ（ＳｏＣ）もしくはセンサオンチップといったようなコンピューティングデバイス１０２内に埋め込まれるレーダ対応コンポーネントとして実現され得る。しかしながら、レーダセンサ１２０は、１つ以上の集積回路（ＩＣ）、埋め込まれたプロセッサ命令を有するか、もしくは、プロセッサ命令が格納されたメモリにアクセスするように構成されるプロセッサ、埋め込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント回路基板アセンブリ、または、その任意の組み合わせといったように任意の他の好適な態様で実現することができるということが認識されるべきである。ここで、レーダセンサ１２０は、コンピューティングデバイス１０２の環境においてさまざまなタイプのターゲットを無線で検出するために提携して使用され得るレーダ放射要素１２２、アンテナ１２４およびデジタル信号プロセッサ１２６を含む。

一般に、レーダ放射要素１２２は、レーダフィールドを提供するように構成される。いくつかの場合では、レーダフィールドは、１つ以上のターゲット対象に少なくとも部分的に反射するように構成される。いくつかの場合では、ターゲット対象は、コンピューティングデバイス１０２の環境に存在するデバイスユーザまたは他の人々を含む。他の場合では、ターゲット対象は、手のモーション、呼吸速度、または、他の生理学的特徴といったユーザの身体的特徴を含む。レーダフィールドはさらに、織物または他の障害物を透過し、人間の組織で反射するように構成され得る。これらの織物または障害物は、木材、ガラス、プラスチック、綿、ウール、ナイロンおよび同様の繊維などを含み得、人の手のような人間の組織にて反射する。

レーダ放射要素１２２によって提供されるレーダフィールドは、０または１ミリメートル〜１．５メートルといった小さなサイズであり得るか、または、１〜３０メートルといった中間サイズであり得る。これらのサイズは単に議論目的であり、レーダフィールドの任意の他の好適なサイズまたはレンジが使用され得るということが認識されるべきである。たとえば、レーダフィールドが中間サイズを有する場合、レーダセンサ１２０は、体、腕または脚の動きによって引き起こされる人間の組織からの反射に基づいて大きな身体ジェスチャを提供するよう、レーダフィールドの反射を受信および処理するように構成され得る。

いくつかの局面において、レーダフィールドは、レーダセンサ１２０がマイクロジェスチャのようなより小さくより正確なジェスチャを検出することを可能にするように構成され得る。例示的な中間サイズのレーダフィールドは、ユーザがジェスチャを行って、カウ
チからテレビを制御したり、部屋に亘ってステレオからの歌またはボリュームを変更したり、オーブンまたはオーブンタイマー（ここでは近いフィールドが有用である）をオフしたり、部屋でライトをオンまたはオフしたりなどを行うレーダフィールドを含む。レーダセンサ１２０またはそのエミッタは、連続的に変調された放射線、超広帯域放射線、または、サブミリメートル周波数放射線を放射するように構成され得る。

アンテナ１２４は、レーダセンサ１２０のＲＦ信号を送受信する。いくつかの場合において、レーダ放射要素１２２は、レーダフィールドを送信するためにアンテナ１２４に結合され得る。当業者であれば認識するであろうように、これは、送信の場合には電気信号を電磁波に変換し、受信の場合にはその反対を行うことにより達成される。レーダセンサ１２０は、任意の好適な構成において、１つのアンテナまたは任意の好適な数のアンテナのアレイを含み得る。たとえば、これらのアンテナ１２４のいずれかは、ダイポールアンテナ、パラボラアンテナ、ヘリカルアンテナ、平面アンテナ、逆Ｆアンテナ、および、モノポールアンテナなどとして構成され得る。いくつかの実施形態において、アンテナ１２４は、オンチップで（たとえばＳｏＣの一部として）構成または形成され、他の実施形態において、アンテナ１２４は、レーダセンサ１２０に取り付けられるか、または、レーダセンサ１２０に含まれる別個のコンポーネント、金属、誘電体、ハードウェアなどである。

第１のアンテナ１２４は、単一目的（たとえば、第１のアンテナが信号の送信に向けられ得、第２のアンテナ１２４が信号の受信に向けられ得る）であり得るか、または、多目的（たとえば、アンテナが信号の送受信に向けられる）であり得る。したがって、いくつかの実施形態はさまざまなアンテナの組み合わせを利用しており、その例としては、受信のために構成される４つの単一目的のアンテナと組み合わせて送信のために構成される２つの単一目的のアンテナを利用する実施形態がある。アンテナ１２４の配置、サイズおよび／または形状は、本願明細書においてさらに記載されるように、環境に関する情報をキャプチャするように設計されるパターンまたはスキームといった特定の送信パターンまたはダイバーシティスキームを向上させるように選ばれ得る。

いくつかの場合において、アンテナ１２４は、異なるチャネル、異なる無線周波数、および、異なる距離にてレーダセンサ１２０が、ターゲット対象に向けられた信号をまとめて送受信することを可能にする距離だけ物理的に互いに分離され得る。いくつかの場合において、アンテナ１２４は、三角測量技術をサポートするために空間的に分散され、別の場合において、アンテナはビームフォーミング技術をサポートするために配列される。示されていないが、各アンテナは、送信のための出力信号と、キャプチャおよび分析のための入力信号とを物理的にルーティングおよび管理するそれぞれのトランシーバパスに対応し得る。

デジタル信号プロセッサ１２６（（ＤＳＰ）またはデジタル信号処理コンポーネント）は一般に、信号をデジタルでキャプチャおよび処理することに関係する動作を表わす。たとえば、デジタル信号プロセッサ１２６は、アンテナ１２４によって受信されるアナログＲＦ信号をサンプリングして、ＲＦ信号を表わすレーダデータ（たとえばデジタルサンプル）を生成し、次いで、このレーダデータを処理して、ターゲット対象に関する情報を抽出する。いくつかの場合において、デジタル信号プロセッサ１２６は、レーダデータに対して変換を実行して、ターゲットの特性、位置または力学を示すレーダ特徴を提供する。付加的または代替的には、デジタル信号プロセッサ１２６は、特定のダイバーシティまたはビームフォーミングスキームを形成するように複数の信号を構成するといったように、レーダ放射要素１２２および／またはアンテナ１２４によって生成および送信される信号の構成を制御する。

いくつかの場合において、デジタル信号プロセッサ１２６は、たとえばセンサベースアプリケーション１０８、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２を通じて、ＲＦ信号の送信パラメータ（たとえば周波数チャネル、電力レベルなど）を制御する入力構成パラメータを受信する。次いで、デジタル信号プロセッサ１２６は、入力構成パラメータに基づいてＲＦ信号を修正する。しばしば、デジタル信号プロセッサ１２６の信号処理機能は、センサベースアプリケーション１０８またはアプリケーションプログラミングインターフェイス（ＡＰＩ： application programming interface）を介してアクセス可能および／または構成可能である信号処理機能またはアルゴリズムのライブラリに含まれる。デジタル信号プロセッサ１２６は、ハードウェア、ソフトウェア、ファームウェア、または、その任意の組み合わせで実現され得る。

図２は、一般的に２００において、レーダ対応センサフュージョンの実施形態を実現するために使用され得る例示的なタイプおよび構成のセンサ１１８を示す。これらのセンサ１１８は、コンピューティングデバイス１０２が動作する環境のさまざまな特性、変動、刺激または特徴をコンピューティングデバイス１０２が感知することを可能にする。センサ１１８によって提供されるデータは、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２のようなコンピューティングデバイスの他のエンティティに対してアクセス可能である。図示されていないが、センサ１１８はさらに、グローバルポジショニングモジュール、マイクロエレクトロメカニカルシステム（ＭＥＭＳ： micro-electromechanical system）、および、抵抗性タッチセンサなどを含み得る。代替的または付
加的には、センサ１１８は、コンピューティングデバイス１０２のユーザとのインタラクションを可能にするか、または、コンピューティングデバイス１０２のユーザからの入力を受信する。そのような場合において、センサ１１８は、圧電センサ、タッチセンサ、または、ハードウェアスイッチ（たとえばキーボード、スナップドームまたはダイヤルパッド）に関連付けられる入力感知ロジックなどを含み得る。

この特定の例では、センサ１１８は加速度計２０２およびジャイロスコープ２０４を含む。モーションを感知するＭＥＭＳまたはグローバルポジショニングシステム（ＧＰＳ）（図示せず）のようなこれらおよび他のモーションセンサおよび位置センサは、コンピューティングデバイス１０２の動きまたは方位を感知するように構成される。加速度計２０２またはジャイロスコープ２０４は、１次元、２次元、３次元、多軸および組み合わされた多軸などといったように、任意の好適な局面においてデバイスの動きまたは方位を感知し得る。付加的または代替的には、ＧＰＳのような位置センサは、コンピューティングデバイス１０２の移動した距離、移動速度、または、絶対もしくは相対的な位置を示し得る。いくつかの実施形態において、加速度計２０２またはジャイロスコープ２０４は、ユーザが特定の態様でコンピューティングデバイス１０２を移動する際に行われるジェスチャ入力（たとえば一連の位置および方位変化）をコンピューティングデバイス１０２が感知することを可能にする。

コンピューティングデバイス１０２はさらに、ホール効果センサ２０６および磁力計２０８を含む。図示されていないが、コンピューティングデバイス１０２はさらに、磁気ダイオード、磁気トランジスタ、および、磁気感知ＭＥＭＳなどを含み得る。これらの磁界ベースのセンサは、コンピューティングデバイス１０２のまわりの磁界特徴を感知するように構成される。たとえば、磁力計２０８は、磁界強度、磁界方向または磁界方位における変化を感知し得る。いくつかの実施形態では、コンピューティングデバイス１０２は、磁界ベースのセンサから受信される入力に基づいてユーザまたは別のデバイスとの接近を判断する。

コンピューティングデバイス１０２の温度センサ２１０は、デバイスの筐体の温度、または、デバイスの環境の環境温度を感知し得る。示されていないが、温度センサ２１０は
さらに、水分レベルが決定されることを可能にする湿度センサと共に実現され得る。いくつかの場合において、温度センサは、コンピューティングデバイス１０２を保持、装着、または携帯しているユーザの体温を感知し得る。付加的または代替的には、コンピューティングデバイスは、温度を遠隔で感知し得るか、または、対象との物理接触なしで感知し得る赤外線熱センサを含み得る。

コンピューティングデバイス１０２はさらに１つ以上の音響センサ２１２を含む。音響センサは、コンピューティングデバイス１０２が動作する環境の音を監視するように構成されるマイクロフォンまたは音波センサとして実現され得る。音響センサ２１２は、ユーザの音声入力を受信することができ、当該音声入力は次いで、コンピューティングデバイス１０２のＤＳＰまたはプロセッサによって処理され得る。音響センサ２１２によってキャプチャされる音は、ピッチ、音色、高調波、音の大きさ、リズム、およびエンベロープ特性（たとえば、アタック、サステイン、ディケイ）などといった任意の好適な成分について分析または測定され得る。いくつかの実施形態では、コンピューティングデバイス１０２は、音響センサ２１２から受信されるデータに基づいてユーザを識別または区別する。

容量センサ２１４は、コンピューティングデバイス１０２がキャパシタンスの変化を感知することを可能にする。いくつかの場合において、容量センサ２１４は、タッチ入力を受信し得るか、または、ユーザとの接近を決定し得るタッチセンサとして構成される。他の場合では、容量センサ２１４は、コンピューティングデバイス１０２の筐体に接近している材料の特性を感知するように構成される。たとえば、容量センサ２１４は、表面（たとえばテーブルまたは机）、ユーザの身体、または、ユーザの衣類（たとえば衣類ポケットまたはスリーブ）に対するデバイスの接近を示すデータを提供し得る。付加的または代替的には、容量センサは、タッチ入力が受信されるコンピューティングデバイス１０２のタッチスクリーンまたは他の入力センサとして構成され得る。

コンピューティングデバイス１０２はさらに、対象との接近を感知する近接センサ２１６を含み得る。近接センサは、容量センサまたは赤外線（ＩＲ）センサのような任意の好適なタイプのセンサにより実現され得る。いくつかの場合には、近接センサは、短レンジＩＲエミッタおよびレシーバとして構成される。そのような場合、近接センサは、ユーザの顔または手との接近を検出するために、コンピューティングデバイス１０２の筐体またはスクリーン内に位置し得る。たとえば、スマートフォンの近接センサ２１６は、たとえば音声通話中にユーザの顔の検出を可能にし得、スマートフォンのタッチスクリーンを無効化して誤ったユーザ入力の受信を防止する。

コンピューティングデバイス１０２の環境光センサ２１８は、環境の光の強度、品質または変化を感知するように構成されるフォトダイオードまたは他の光学センサを含み得る。光センサは、環境光または方向付けされた光を感知することができ、当該感知された光はその後、デバイスの環境の局面を決定するよう、コンピューティングデバイス１０２によって（たとえばＤＳＰを介して）処理され得る。たとえば、環境光の変化は、ユーザがコンピューティングデバイス１０２をピックアップしたか、または、ユーザのポケットからコンピューティングデバイス１０２を取り出したことを示し得る。

この例において、コンピューティングデバイスはさらに、赤緑青センサ２２０（ＲＧＢセンサ２２０）および赤外線センサ２２２を含む。ＲＧＢセンサ２２０は、画像またはビデオの形態にある像をキャプチャするように構成されるカメラセンサとして実現され得る。いくつかの場合において、ＲＧＢセンサ２２０は、低い光環境における像の発光ダイオード（ＬＥＤ）フラッシュ増加明度（light-emitting diode (LED) flash increase luminosity)に関連付けられる。少なくともいくつかの実施形態において、ＲＧＢセンサ２２
０は、ユーザの識別を可能にするユーザの顔または他の身体特徴のようなユーザに関連付けられる像をキャプチャするように実現され得る。

赤外線センサ２２２は、赤外線周波数スペクトルにおいてデータをキャプチャするように構成され、熱変動を感知するように構成され得るか、または、赤外線（ＩＲ）カメラとして構成され得る。たとえば、赤外線センサ２２２はデバイスの環境においてユーザまたは他の人々に関連付けられる熱データを感知するように構成され得る。付加的または代替的には、赤外線センサはＩＲ ＬＥＤに関連付けられるとともに、対象の接近あるいは対象との距離を感知するように構成され得る。

いくつかの実施形態では、コンピューティングデバイスは、ＲＧＢが向上した深さ情報を提供するようＲＧＢセンサ２２０と共に実現され得る深さセンサ２２４を含む。深さセンサ２２２は、単一のモジュールとして実現され得るか、または、ＩＲエミッタ、ＩＲカメラおよび深さプロセッサのような別個のコンポーネントとして実現され得る。別個に実現される場合、ＩＲエミッタは、ＩＲカメラによって受信されるＩＲ光を発し、深さプロセッサにＩＲ像データを提供する。光速のような既知の変数に基づいて、深さセンサ２２４の深さプロセッサは、ターゲットへの距離を分解し得る（たとえば飛行時間カメラ（time-of-flight camera））。付加的または代替的には、深さセンサ２２４は、対象の表面
またはコンピューティングデバイスの環境の３次元深さマップを分解し得る。

電力消費の観点から、センサ１１８の各々は、動作中に異なるそれぞれの電力量を消費し得る。たとえば、磁力計２０８または音響センサ２１２は、動作するために数十ミリアンペアを消費し得る一方、ＲＧＢセンサ、赤外線センサ２２２または深さセンサ２２４は、動作するために数百ミリアンペアを消費し得る。いくつかの実施形態において、電力を節約しつつ特定のタイプのデータを得るためにより低い電力センサが他のセンサの代わりにアクティベートされ得るように、センサ１１８のうちの１つ以上の電力消費が既知であるかまたは事前に定義されている。多くの場合では、レーダセンサ１２０は、センサ１１８より少ない電力を消費しつつさまざまなデータを得るよう、連続的または断続的に動作し得る。そのような場合において、レーダセンサ１２０は、コンピューティングデバイス１０２の電力の節約するためにセンサ１１８のすべてまたはほとんどの電源が落とされている間に動作し得る。付加的または代替的には、付加的なセンサデータを得るためにセンサ１１８のうちの１つのアクティベートするよう、レーダセンサ１２０によって提供されるデータに基づいて決定が行われ得る。

図３は、一般的に３００において、レーダセンサ１２０と、これにより提供されるレーダフィールドとの例示的な構成を示す。図３のコンテキストにおいて、レーダセンサ１２０の２つの例示的な構成が示されており、レーダセンサ３０２−１がゲームシステム３０４に埋め込まれる第１の構成と、レーダセンサ３０２−２がテレビジョン３０６に埋め込まれている第２の構成とが示されている。レーダセンサ３０２−１および３０２−２は、互いに同様に実現され得るか、もしくは、互いとは異なって実現され得、または、レーダセンサ３０２−１および３０２−２は、本願明細書において他の所に記載されるレーダセンサと同様に実現され得るか、もしくは、互いとは異なって実現され得る。第１の例では、レーダセンサ３０２−１は、ゲームシステム３０４とインタラクションするよう近いレーダフィールドを提供し、第２の例では、レーダセンサ３０２−２は、テレビジョン３０６とインタラクションするために中間のレーダフィールド（たとえば部屋サイズ）を提供する。これらのレーダセンサ３０２−１および３０２−２はそれぞれ、近いレーダフィールド３０８−１および中間のレーダフィールド３０８−２を提供し、これらは以下に記載される。

ゲームシステム３０４は、レーダセンサ３０２−１を含むか、または、レーダセンサ３
０２−１に関連付けられる。これらのデバイスは、ゲームシステム３０４とのユーザインタラクションを改善するよう一緒に動作する。たとえば、ゲームシステム３０４はコンテンツ表示およびユーザインタラクションが行われ得るタッチスクリーン３１０を含むものとする。このタッチスクリーン３１０は、スクリーンにタッチすることができるように人が直立および前方といったような特定の方位で座ることを必要とするといったように、ユーザにいくつかのチャレンジを提示し得る。さらに、タッチスクリーン３１０を通じて制御を選択するためのサイズは、何人かのユーザにとってインタラクションを難しくし得、時間が浪費され得る。しかしながら、レーダセンサ３０２−１を考えると、レーダセンサ３０２−１は、たとえば１つまたは２つの手によるジェスチャを含む３次元における小さくまたは大きくシンプルまたは複雑であるジェスチャにより、ユーザの手がデスクトップコンピュータ３０４とインタラクションすることを可能にする近いレーダフィールド３０８−１を提供する。容易に明白であるように、ユーザがそれを介して選択を行い得る大きなボリュームは実質的により容易であり得、タッチスクリーン３１０の平面のような平面を介してより良好な体験を提供し得る。

同様に、レーダセンサ３０２−２を考えると、レーダセンサ３０２−２は中間のレーダフィールド３０８−２を提供する。レーダフィールドの提供により、テレビジョンの前に位置するユーザとのさまざまなインタラクションが可能になる。たとえば、ユーザは、手のジェスチャから、腕のジェスチャ、全身のジェスチャに至るさまざまなジェスチャによってある距離からテレビジョン３０６とインタラクションし得る。これにより、ユーザの選択は、平面（たとえばタッチスクリーン３１０）、リモートコントロール（たとえばゲーミングまたはテレビジョンのリモート）、および、他の従来の制御メカニズムよりも簡易かつ容易であり得る。付加的または代替的には、テレビジョン３０６は、レーダセンサ３０２−２を介してユーザの識別性を決定し得、当該識別性は、他の機能（たとえばコンテンツ制御）を実現するためにセンサベースアプリケーションに提供され得る。

図４は、４００において、レーダセンサと、これにより提供される透過するレーダフィールドとの別の例示的な構成を示す。この特定の例では、レーダフィールドが適用される表面は人間の組織である。示されるように、手４０２は、ラップトップ４０６に含まれる（図１の）レーダセンサ１２０によって与えられる表面レーダフィールド４０４を有する。レーダ放射要素１２２（図示せず）は、椅子４０８を透過し手４０２に適用される表面レーダフィールド４０４を提供する。この場合、アンテナ１２４は、椅子４０８を透過する（たとえば後方へ通り抜けて反射する）手４０２の表面でのインタラクションによって引き起こされる反射を受け取るように構成される。代替的には、レーダセンサ１２０は、たとえばスマートフォンがユーザのポケットに位置している場合、織物を通る反射を提供および受け取るように構成され得る。したがって、レーダセンサ１２０は、織物、衣類および他の不透明材料のような光学的なオクルージョンによってスペースをマッピングまたはスキャニングし得る。

いくつかの実施形態では、デジタル信号プロセッサ１２６は、手４０２を識別し、および／または、これによりなされるジェスチャを決定するために使用可能なレーダデータを提供するのに十分である、表面からの受け取られた反射信号を処理するように構成される。なお、表面レーダフィールド４０４により、別の手が識別され得るか、または、たとえば手４０２上の表面をタップするようジェスチャを実行するようにインタラクションし得、これにより表面レーダフィールド４０４とインタラクションする。例示的なジェスチャは、一本の指または複数本の指のスワイプ、スプレッド、スクイーズ、および非線形の動きなどを含む。あるいは、手４０２は、反射を引き起こすために単に移動するか、または、形状を変化させ得、これによりオクルージョンを伴う（occluded）ジェスチャをさらに実行する。

人間の組織の反射に関して、レーダフィールドを反射することにより、これらのフィールドが処理され、人間の組織の反射に基づいて識別証拠が決定され、対応するコンピューティングデバイスを制御することを許可された人についての認証のように、当該識別証拠が、ある人についての記録された識別証拠とマッチすることが確認される。これらの識別証拠は、その人またはその人の手のような人の部分についてのサイズ、形状、サイズの比、軟骨構造および骨格といったようなさまざまなバイオメトリック識別子を含み得る。これらの識別証拠はさらに、（たとえば特定の態様でレーダを反射する１４カラットの金および３つのダイヤモンドの結婚指輪のような）固有の反射またはコピーすることが困難な反射を有するデバイスのような、モバイルコンピューティングデバイスを制御することを許可された人が着用するデバイスに関連付けられ得る。

さらに、レーダセンサシステムは、個人を識別可能である情報が除去されるように構成され得る。たとえば、ユーザについて個人が識別可能である情報を決定することができないようにユーザの識別性が処理され得るか、または、ユーザの特定の位置が決定され得ないように、位置情報が得られるユーザの地理的な位置が（たとえば都市、郵便番号または州レベルまで）一般化され得る。したがって、ユーザは、どのような情報がユーザに関して集められるかと、その情報がどのようにして使用されるかと、どのような情報がユーザに提供されるかとについてコントロールを有し得る。

図５は、一般に５００において、センサフュージョンエンジン１１０およびコンテキストマネージャ１１２を含む、レーダ対応センサフュージョンを実現することができるコンポーネントの例示的な構成を示す。別個のエンティティとして示されているが、レーダセンサ１２０、センサフュージョンエンジン１１０、コンテキストマネージャ１１２、および、他のエンティティは、互いに組み合わせられ得るか、異なってオーガナイズされ得るか、または、図示されない相互接続またはデータバスを通じて直接的または間接的に通信し得る。したがって、図５に示されるセンサフュージョンエンジン１１０およびコンテキストマネージャ１１２の実現例は、これらのエンティティおよび本願明細書において記載される他のエンティティがレーダ対応センサフュージョンを実現するためにインタラクションし得る態様の非限定的な例を提供するように意図される。

この例において、センサフュージョンエンジンは、レーダ信号変圧器５０２（信号変圧器５０２）と、レーダ特徴抽出器５０４（特徴抽出器５０４）とを含む。センサフュージョンエンジン１１０上で具現化された別個のエンティティとして示されているが、信号変換器５０２および特徴抽出器５０４は、レーダセンサ１２０のデジタル信号プロセッサ１２６によって実現され得るか、または、レーダセンサ１２０のデジタル信号プロセッサ１２６内で実現され得る。センサフュージョンエンジン１１０は、センサデータ５０６がそこから受信されるセンサ１１８と通信可能に結合される。センサデータ５０６は、本願明細書において記載される任意のタイプのセンサに対応するデータのような任意の好適なタイプの生センサデータまたはあらかじめ処理されたセンサデータを含み得る。センサフュージョンエンジン１１０はさらにレーダセンサ１２０に動作可能に結合され、レーダセンサ１２０は、レーダデータ５０８をセンサフュージョンエンジン１１０に提供する。付加的または代替的には、レーダセンサ１２０によって提供されるレーダデータ５０８は、レーダセンサ１２０によって受信される際のレーダフィールドの反射信号を表わす生データのようなリアルタイムレーダデータを含み得る。

いくつかの実施形態では、信号変換器５０２は、反射信号を表わす生レーダデータをレーダデータ表現へ変換する。いくつかの場合において、これは、生レーダデータに対して信号前処理を実行することを含む。たとえば、アンテナが反射信号を受信すると、いくつかの実施形態は、信号をサンプリングして、生入力信号のデジタル表現を生成する。ひとたび生データが生成されると、信号変換器５０２は、生データを前処理して、信号をクリ
ーンにするか、または、所望の周波数帯または所望のデータフォーマットにある当該信号のバージョンを生成する。付加的または代替的には、生データを前処理することは、雑音フロアを低減するかまたはエイリアシングを除去するために生データをフィルタリングすることと、異なるサンプルレートにて得るようデータを再サンプリングすることと、信号の複素表現（complex representation）を生成することとなどを含み得る。信号変換器５０２は、デフォルトパラメータに基づいて、生データを前処理し得る。他の場合においては、たとえば、当該前処理のタイプおよびパラメータは、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって構成可能である。

信号変換器５０２は、受信した信号データを１つ以上の異なるデータ表現またはデータ変換物に変換する。いくつかの場合において、信号変換器５０２は、複数のパスおよび対応するアンテナからのデータを組み合わせる。組み合わされたデータは、レーダセンサ１２０の送信パス、受信パス、または組み合わされたトランシーバパスのさまざまな組み合わせからのデータを含み得る。ヒューリスティック（たとえば信号対雑音（ＳＮＲ： signal-to-noise）比または最小の平均二乗誤差（ＭＭＳＥ： minimum mean square error））を最適化する加重積分、ビームフォーミング、および、三角測量などのような任意の好適なタイプのデータフュージョン技術が使用され得る。

信号変換器５０２はさらに、異なるタイプの特徴抽出のために信号データの複数の組み合わせを生成し得、および／または、特徴抽出の前駆体として信号データを別の表現に変換する。たとえば、信号変換器５０２は、ターゲット対象の３次元（３Ｄ）空間のプロファイルを生成するよう、組み合わされた信号データを処理し得る。しかしながら、ターゲット対象に関係する位相および振幅情報を含む複素ベクトルを産出するＩ／Ｑ変換、ジェスチャセンサデバイスの範囲内のターゲット対象の空間表現を産出するビームフォーミング変換、または、目標速度および方向を産出するレンジドップラーアルゴリズムといった、任意の好適なタイプのアルゴリズムまたは変換が、生データのビュー、抽出物（abstraction）、または、バージョンを生成するために使用され得る。他のタイプのアルゴリズ
ムおよび変換は、ターゲット認識情報を産出するレンジプロファイルアルゴリズム、高分解能ターゲット認識情報を産出するマイクロドップラーアルゴリズム、および、対応する周波数の視覚表現を産出するスペクトログラムアルゴリズムなどを含み得る。

本願明細書に記載されるように、生レーダデータは、それぞれの変換または組み合わされた信号データを生成するよう、いくつかの態様で処理され得る。いくつかの場合には、同じ生データが複数の態様で分析または変換され得る。たとえば、３Ｄプロファイル、ターゲット速度情報およびターゲット方向性運動情報を生成するよう、生データの同じキャプチャが処理され得る。生データの変換物を生成することに加えて、レーダ信号変換器は、たとえばその存在、形状、サイズ、方位、および、時間にわたる速度などに関する情報を識別するといった、ターゲット対象の基本分類を実行し得る。たとえば、いくつかの実施形態は、信号変換器５０２を使用して、時間にわたって手から反射されるエネルギーの量を測定することにより手の基本方位を識別する。

これらの変換および基本分類は、ハードウェア、ソフトウェア、ファームウェアまたは任意の好適な組み合わせで実行され得る。変換および基本分類はしばしば、デジタル信号プロセッサ１２６および／またはセンサフュージョンエンジン１１０によって実行される。いくつかの場合において、信号変換器５０２は、生レーダデータを変換するか、または、デフォルトパラメータに基づいて基本分類を実行する。他の場合において、変換または分類は、たとえばセンサフュージョンエンジン１１０またはコンテキストマネージャ１１２を通じて構成可能である。

特徴抽出器５０４は、信号変換器５０２から、レーダデータの変換された表現を受信す
る。これらのデータ変換物から、特徴抽出器５０４は、１つ以上のレーダ特徴５１０を分解、抽出、または、識別する。これらのレーダ特徴５１０は、ターゲットのさまざまな特性、力学または特徴を示し得、この例では、検出特徴５１２、反射特徴５１４、モーション特徴５１６、位置特徴５１８、および、形状特徴５２０を含む。これらの特徴は、例としてのみ記載されており、センサフュージョンエンジンが生レーダデータまたは変換されたレーダデータから特徴またはジェスチャ情報を抽出する態様を限定するようには意図されない。たとえば、レーダ特徴抽出器５０４は、信号変換器５０２によって提供されるレーダデータ表現から、レンジ特徴または画像特徴のような代替的なレーダ特徴を抽出し得る。

検出特徴５１２は、センサフュージョンエンジン１１０がコンピューティングデバイス１０２の環境においてユーザ、他の人々または対象の存在を検出することを可能にする。いくつかの場合において、検出特徴は、レーダフィールドにおける多くのターゲット、または、レーダフィールドによって掃引される部屋またはスペースにおける多くのターゲットを示す。反射特徴５１４は、時間にわたって反射されたエネルギーのような、ターゲットによって反射されるエネルギーのプロファイルを示し得る。これは、ターゲットのモーションの速度を時間にわたって追跡するのを可能にするのに有効であり得る。付加的または代替的には、反射特徴は、最も強い成分のエネルギーまたは移動しているターゲットのエネルギーの合計を示し得る。

モーション特徴５１６は、フュージョンエンジン１１０が、レーダフィールドにおけるターゲットの動きまたはモーションを追跡するか、または、レーダフィールドを通るターゲットの動きまたはモーションを追跡することを可能にし得る。いくつかの場合において、モーション特徴５１６は、１次元または３次元における速度重心を含むか、または、１次元における位相ベースの微小なターゲット変位を含む。付加的または代替的には、モーション特徴は、ターゲット速度または１Ｄ速度分散を含み得る。いくつかの実施形態では、位置特徴５１８は、ターゲット対象の２Ｄまたは３Ｄの空間座標を含む。位置特徴５１８はさらに、ターゲット対象への距離を範囲決めまたは決定するのに有用であり得る。

形状特徴５２０は、ターゲットまたは表面の形状を示し、空間分散を含み得る。いくつかの場合において、センサフュージョンエンジン１１０は、ターゲットまたはコンピューティングデバイス１０２の環境の３Ｄ表現を構築するために、異なるレーダフィールドをスキャンまたはビームフォームし得る。たとえば、レーダ特徴５１０の形状特徴５２０および他の特徴は、特定の部屋またはスペースの一意識別子（たとえばフィンガープリント）を構築するよう、センサフュージョンエンジン１１０によって組み合わせられ得る。

いくつかの実施形態において、特徴抽出器５０４は、特徴抽出または抜出のために、信号変換器５０２によって識別される基本分類上に構築される。上記の例を考えると、信号変換器５０２はターゲット対象を手として分類する。特徴抽出器５０４は、手のより低い分解能特徴を抽出するよう、この基本分類から構築され得る。言いかえれば、ターゲット対象を手として識別する情報が特徴抽出器５０４に提供されると、特徴抽出器５０４は、頭に関連する特徴（たとえば、まばたき、発言、または、頭を揺らす動き）の代わりに、手に関連する特徴（たとえばフィンガータッピング、形状ジェスチャまたはスワイプ動作）を探すためにこの情報を使用する。

別の例として、信号変換器５０２が、生レーダデータを時間にわたるターゲット対象の速度の測定値に変換するシナリオを考える。特徴抽出器５０４は、しきい値を使用してターゲット対象の加速速度を当該しきい値および遅いタップ特徴などと比較することにより、早いフィンガータップモーションを識別するためにこの情報を使用する。特徴を抽出するために、デジタル信号プロセッサ１２６の機械学習コンポーネント（図示せず）によっ
て実現される機械学習アルゴリズムのような任意の好適なタイプのアルゴリズムが使用され得る。

さまざまな実施形態では、センサフュージョンエンジン１１０は、レーダ特徴５１０をセンサ１１８からのセンサデータ５０６と組み合わせるか、または、レーダ特徴５１０をセンサ１１８からのセンサデータ５０６により増強する。たとえば、センサフュージョンエンジン１１０は、特徴を抽出、識別、または、分類するために単一のアルゴリズムを適用し得るか、または、単一の特徴または複数の特徴を抽出するために複数のアルゴリズムを適用し得る。したがって、異なるアルゴリズムが、データの同じセットまたはデータの異なるセット上での異なるタイプの特徴を抽出するために適用され得る。レーダ特徴に基づいて、センサフュージョンエンジン１１０は、レーダ特徴に相補的または追加的なデータを提供するよう、特定のセンサをアクティベートし得る。これにより、レーダ特徴の精度または妥当性はセンサデータにより改善され得る。

センサフュージョンエンジン１１０は、センサベースアプリケーション１０８およびコンテキストマネージャ１１２に、センサデータ５０６、レーダデータ５０８またはそのさまざまな組み合わせを提供または公開する。たとえば、センサフュージョンエンジン１１０は、センサデータで増強されるレーダデータ、または、センサデータに基づいて照合されるレーダデータをセンサベースアプリケーション１０８に提供し得る。センサベースアプリケーション１０８は、デバイス機能を提供するために、または、デバイス動作を変更するために、コンピューティングデバイス１０２の環境またはそれについての関係に関する情報または知見を活用する任意の好適なアプリケーション、機能、ユーティリティまたはアルゴリズムを含み得る。

この特定の例では、センサベースアプリケーション１０８は、近接検出５２２、ユーザ検出５２４およびアクティビティ検出５２６を含む。近接検出アプリケーション５２２は、センサデータまたはレーダデータに基づき、ユーザまたは他の対象との接近を検出し得る。たとえば、近接検出アプリケーション５２２は、検出レーダ特徴５１２を使用して、接近してきている対象を検出し、ユーザとの接近を確認するために近接センサデータにスイッチングし得る。付加的または代替的には、アプリケーションは、接近している対象が、ユーザの別の同様のサイズの大きな身体の対象物ではなく顔であることを照合するために形状レーダ特徴５２０を活用し得る。

ユーザ検出アプリケーション５２４は、センサデータまたはレーダデータに基づきユーザの存在を検出し得る。いくつかの場合において、当該環境においてユーザが検出されると、ユーザ検出アプリケーション５２４はさらにユーザを追跡する。たとえば、ユーザ検出アプリケーション５２４は、検出レーダ特徴５１２と、ユーザの既知の３Ｄプロファイルをマッチする形状レーダ特徴５２０とに基づいて、その存在を検出し得る。ユーザ検出アプリケーション５２４はさらに、ＲＧＢセンサ２２０によって提供される画像データまたは音響センサ２１２によって提供される音声データによって、ユーザの検出を照合し得る。

いくつかの実施形態において、アクティビティ検出アプリケーション５２６は、コンピューティングデバイス１０２の環境におけるアクティビティを検出するようセンサデータおよびレーダデータを使用する。アクティビティ検出アプリケーション５２６は、検出特徴５１２およびモーション特徴５１６のためにレーダを監視し得る。付加的または代替的には、アクティビティ検出アプリケーション５２６は、雑音を検出するために音響センサ２１２を使用し得、動きを監視するためにＲＧＢセンサ２２０または深さセンサ２２４を使用し得る。

センサベースアプリケーションはさらに、バイオメトリック認識５２８、生理学的監視５３０、および、モーション識別５３２を含む。バイオメトリック認識アプリケーション５２８は、たとえば顔認識を実現するよう、ユーザを識別するのに有用であるユーザのバイオメトリック特徴をキャプチャまたは取得するためにセンサデータおよびレーダデータを使用し得る。たとえば、バイオメトリック認識アプリケーション５２８は、ユーザの顔の骨格構造の３Ｄマップを得るために形状レーダ特徴５２０を使用し得、ユーザの識別性を確認するためにＲＧＢセンサ２２０からのカラー画像を使用し得る。したがって、詐称者がユーザの外見を作り上げることができたとしても、詐称者は、ユーザの正確な顔構造を複製することができないので、バイオメトリック認識アプリケーション５２８を通じた識別に失敗することになる。

生理学的監視アプリケーション５３０は、呼吸、心拍数、反射運動、および細かい運動のスキルなどのようなユーザの医学的局面を検出または監視し得る。そのために、生理学的監視アプリケーション５３０は、たとえばユーザの胸の動きを追跡するとともに動脈の流れおよび皮膚下での筋肉収縮などを監視するよう、レーダデータを使用し得る。生理学的監視アプリケーション５３０は、音響データ、熱データ（たとえば温度）、画像データ（たとえば皮膚または目の色）、および、モーションデータ（たとえば震え）のような追加的なデータのためにデバイスの他のセンサを監視し得る。たとえば、生理学的監視アプリケーション５３０は、レーダモーション特徴５１６と、音響センサ２１２によって記録される呼吸雑音と、赤外線センサ２２２によってキャプチャされた呼気の熱シグネチャ（heat signature）とにより、ユーザの呼吸パターンを監視し得る。

モーション識別アプリケーション５３２は、さまざまなモーションシグネチャを識別するためにレーダデータおよびセンサデータを使用し得る。いくつかの場合では、モーションレーダ特徴５１６または他のレーダ特徴がモーションを追跡するのに有用である。そのような場合において、それらのモーションは、ＲＧＢセンサ２２０または深さセンサ２２４による正確なキャプチャには速すぎる場合がある。非常に速いモーションを追跡することができるレーダ特徴を使用することによって、モーション識別アプリケーション５３２は、モーションを追跡することができ、ＲＧＢセンサ２２０からの画像データを活用して付加的な空間情報を提供することができる。したがって、センサフュージョンエンジン１１０およびモーション識別アプリケーション５３２は、対応する空間情報により、速く移動している対象を追跡することができる。

センサベースアプリケーション１０８のジェスチャ検出アプリケーション５３４は、ジェスチャ認識およびマッピングを実行する。たとえば、フィンガータップモーション特徴が抽出された場合を考える。ジェスチャ検出アプリケーション５３４は、この情報、音響センサ２１２からの音声データ、または、ＲＧＢセンサ２２０からの画像データを使用して、当該特徴をダブルクリックジェスチャであると識別し得る。ジェスチャ検出アプリケーション５３４は、センサフュージョンエンジン１１０によって提供されるレーダデータおよびセンサデータに基づいて、どのジェスチャが行われた可能性が最も高いかと、さまざまなジェスチャの１つ以上の以前に学習された特性または特徴にこの情報がどのように関係があるかとについて、確率的決定を使用し得る。たとえば、機械学習アルゴリズムは、さまざまな受け取られた特徴が特定のジェスチャ（またはジェスチャの構成要素）に対応する尤度を決定するよう、これらの特徴にどのように重みを加えるかを決定するために使用され得る。

コンテキストマネージャ１１２は、レーダに基づいたコンテキスト感知を実現するために、センサベースアプリケーション１０８、センサデータ５０６、または、センサフュージョンエンジン１１０のレーダ特徴５１０にアクセスし得る。いくつかの実施形態において、レーダデータ５０８は、コンピューティングデバイス１０２が動作するスペースまた
は部屋のマップを提供するために、センサデータ５０６と組み合わせられ得る。たとえば、３Ｄレーダ像をキャプチャしてメッシングを行うための合成開口技術を実現するために位置および慣性センサデータが活用され得る。したがって、デバイスがある環境を通って移動すると、コンテキストマネージャ１１２は、さまざまなスペースおよび部屋の詳細または高分解能３Ｄマップを構築し得る。付加的または代替的には、３Ｄ像は、光学的なオクルージョンによってキャプチャされ得るか、または、アクティビティ認識を改善するよう、センサフュージョンの他の技術と組み合わせて使用され得る。

この特定の例では、コンテキストマネージャ１１２は、コンテキストモデル５３６、デバイスコンテキスト５３８、および、コンテキストセッティング５４０を含む。コンテキストモデル５３６は、特定の部屋の寸法、形状または特徴のようなさまざまなスペースの物理モデルを含む。言いかえれば、コンテキストモデルは、３Ｄフィンガープリントのように、特定のスペースの固有の特徴を表すと考えられ得る。いくつかの場合には、コンテキストモデル５３６の構築は、機械学習技術を介して実現され、デバイスが特定のスペースに入るかまたは当該特定のスペースを通過すると受動的に実行され得る。デバイスコンテキスト５３８は、コンピューティングデバイス１０２が動作し得る複数のコンテキストを含むとともに、当該複数のコンテキストを示し得る。これらのコンテキストは、「ミーティング」、「取込中」、「利用可能」、「セキュア」、および「プライベート」などといった仕事のコンテキストの標準セットを含み得る。たとえば、「ミーティング」コンテキストは、複数の他の同僚および顧客と一緒に、会議室に存在しているデバイスに関連付けられ得る。付加的または代替的には、デバイスコンテキスト５３８は、家の異なる部屋についてのコンテキストといったように、ユーザによってプログラム可能またはカスタムであり得、各コンテキストが、そのコンテキストに関連付けられるそれぞれのレベルのプライバシーまたはセキュリティを示す。

コンテキストセッティング５４０は、コンテキストまたは他の環境特性に基づいて構成可能であるさまざまなデバイスまたはシステムセッティングを含む。コンテキストセッティング５４０は、呼出ボリューム、呼出モード、表示モード、および、ネットワークまたは他のデバイスへの接続などといった任意の好適なタイプのデバイスセッティングを含み得る。付加的または代替的には、コンテキストセッティング５４０は、セキュリティセッティング、プライバシーセッティング、ネットワークまたはデバイスの接続セッティング、および、リモートコントロール機能などといった、任意の好適なタイプのシステムセッティングを含み得る。たとえば、あるユーザが自身のホームシアターに歩いて入る場合、コンテキストマネージャ１１２は、このコンテキスト（たとえば「ホームシアター」）を認識し得、デバイスのアラートをミュートにし、ホームシアターにおける音声／ビデオ機器を制御するようデバイスの無線インターフェイスを構成することにより、コンテキストセッティングを構成し得る。これは、コンテキストマネージャ１１２がどのように決定し、コンテキストに基づいてデバイスを構成し得るについてのほんの一例である。

１つ以上の実施形態に従ってコンピューティングデバイス１０２、センサフュージョンエンジン１１０およびコンテキストマネージャ１１２のそれぞれの例を記載したが、レーダ対応センサフュージョンを実現するために、ここでは、本願明細書において記載されるそれらおよび他のエンティティによって実行され得る技術の議論を考える。

例示的な方法
図６、図８、図１０、図１１、図１３および図１４は、レーダ対応センサフュージョンおよび／またはレーダベースのコンテキスト感知を実現するための方法を示す。これらの方法は、実行される動作を特定するブロックのセットとして示されているが、それぞれのブロックによって動作を実行するために、示される順序または組み合わせに必ずしも限定されない。たとえば、本願明細書において記載される概念から逸脱することなく代替的な
方法を実現するよう、異なる方法の動作が任意の順序で組み合わされ得る。以下の議論の部分では、図１〜図５を参照して当該技術が記載され得る。図１〜図５への参照は例示目的のみである。当該技術は、これらの図において記載される１つのデバイスまたは複数のデバイス上で動作する１つのエンティティまたは複数のエンティティによる実行に限定されない。

図６は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、追加的なセンサデータによりレーダデータを増強するための例示的な方法６００を示す。

６０２において、図２または図３に示されるレーダフィールドのうちの１つのようなレーダフィールドが提供される。レーダフィールドは、図１のレーダセンサ１２０およびレーダ放射要素１２２と同様に実現され得るか、または、図１のレーダセンサ１２０およびレーダ放射要素１２２とは異なって実現され得るレーダシステムまたはレーダセンサによって提供され得る。提供されるレーダフィールドは、広いビームの完全な連続するレーダフィールドか、または、方向付けされた細いビームのスキャンされたレーダフィールドを含み得る。いくつかの場合において、レーダフィールドは、５７〜６４ＧＨｚまたは５９〜６１ＧＨｚのような６０ＧＨｚ帯に近い周波数で提供されるが、他の周波数帯が使用され得る。

例として、７００においてラップトップコンピュータ１０２−５がレーダセンサ１２０を含み、レーダ対応センサフュージョンを実現可能である図７を考える。ここで、ユーザ７０２は、一人称シューティング（ＦＰＳ： first person shooter）ビデオゲームをプ
レイするために、ラップトップ１０２−５のジェスチャ駆動コントロールメニューを使用していると仮定する。レーダセンサ１２０は、ゲームコントロールを可能にするようユーザ７０２の動きをキャプチャするためにレーダフィールド７０４を提供する。

６０４において、レーダフィールドにおけるターゲットに対応する１つ以上の反射信号が受信される。レーダ反射信号は、レーダフィールド内の人もしくは対象またはレーダフィールドを通過する人もしくは対象といった、レーダフィールドにおけるターゲット対象の複数点の重畳として受信され得る。本例のコンテキストにおいて、ユーザの手からの反射信号はレーダセンサ１２０によって受信される。

６０６において、１つ以上の反射信号がレーダデータ表現に変換される。反射信号は、たとえばレンジドップラー変換、レンジプロファイル変換、マイクロドップラー変換、Ｉ／Ｑ変換、または、スペクトログラム変換を実行することにより、任意の好適な信号処理を使用して変換され得る。当該例を引き続き参照して、レーダセンサは、ユーザの手についてターゲット速度および方向情報を提供するようレンジドップラー変換を実行する。

６０８において、ターゲットの特徴を示すレーダ特徴がレーダデータから抽出される。レーダ特徴は、ターゲットの特徴、ターゲットの位置、または、ターゲットの力学のリアルタイム測定を提供し得る。レーダ特徴は、検出特徴、反射特徴、モーション特徴、位置特徴または形状特徴のような任意の好適なタイプの特徴を含み得、それらの例が本願明細書において記載される。本例のコンテキストでは、ユーザの手の反射レーダ特徴およびモーションレーダ特徴が、レーダデータから抽出される。

６１０において、レーダ特徴に基づいてセンサがアクティベートされる。当該センサは、追加的なデータを提供するためにアクティベートされ得る。いくつかの場合において、レーダ特徴またはレーダ特徴のタイプに基づいて、アクティベーションについてセンサが選択される。たとえば、ＲＧＢまたは赤外線センサは、表面特徴またはモーション特徴に
ついて追加的なセンサデータを提供するためにアクティベートされ得る。他の場合において、モーション特徴または位置特徴について追加的なデータを得るために加速度計またはジャイロスコープがアクティベートされ得る。さらに別の場合において、検出特徴を改善するよう、マイクロフォンまたは深さセンサからデータが受信され得る。当該例を引き続き参照して、センサフュージョンエンジン１１０は、空間情報をキャプチャするためにラップトップ１０２−５のＲＧＢセンサ２２０をアクティベートする。

６１２において、レーダ特徴は、追加的なセンサデータにより増強される。これは、より正確または精密なレーダ特徴を提供するよう、レーダ特徴およびセンサデータを組み合わせるか、または、レーダ特徴およびセンサデータをフュージョンすることを含み得る。レーダ特徴を増強することは、追加的または相補的なセンサデータに基づいてレーダ特徴の精度または分解能を改善することを含み得る。このセンサフュージョンの例は、センサデータを使用して、レーダ特徴の位置の精度を増加させること、レーダ特徴に起因する誤りの検出を軽減すること、レーダ特徴の空間分解能を増加させること、レーダ特徴の表面分解能を増加させること、または、レーダ特徴の分類精度を改善することを含み得る。本例のコンテキストにおいて、センサフュージョンエンジン１１０は、非常に速い動きを空間的にキャプチャするセンサ情報を提供するよう、モーションレーダ特徴５１６およびＲＧＢ情報を組み合わせる。いくつかの場合において、ＲＧＢセンサ２２０は、センサの固有の制限により、そのようなモーションを検出またはキャプチャすることができない。

６１４において、増強されたレーダ特徴は、センサベースアプリケーションに提供される。これは、センサベースアプリケーションの性能を増加するのに有効であり得る。いくつかの場合において、レーダ特徴の増強により、近接検出、ユーザ検出、アクティビティ検出、およびジェスチャ検出などのような検出アプリケーションの精度が増加される。そのような場合において、センサデータは、たとえばターゲットの検出を確認または覆すことによって、誤った検出を除去するよう使用され得る。他の場合では、レーダ特徴の増強により、アプリケーションの一貫性が改善され得る。本例を結論付けると、フュージョンされたレーダデータ特徴が、ジェスチャ検出アプリケーション５３４に渡され、ジェスチャ検出アプリケーション５３４がゲームコントロール入力としてジェスチャをＦＰＳビデオゲームへ渡す。

図８は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、低電力センサフュージョンのための例示的な方法を示す。

８０２において、デバイスのレーダセンサは、レーダフィールドの反射信号の変化について監視される。レーダセンサは、反射信号がそこから受信される連続的または断続的なレーダフィールドを提供し得る。いくつかの場合において、レーダセンサは、動作時において消費する電力がデバイスの他のセンサよりも少ない、デバイスの低電力センサである。反射信号の変化は、デバイスの動きまたはデバイスの環境内のターゲットの動きによって引き起こされ得る。例として、リビングルームにおいて第１のユーザ９０４がレーダ対応テレビジョン９０２を見ている図９の環境９００を考える。ここで、ユーザ９０４が雑誌を読み始め、第２のユーザ９０６がリビングルームを入ってきたと仮定する。テレビジョンのレーダセンサ１２０は、第１および第２のユーザのこれらのアクションによって引き起こされた、反射されたレーダ信号の変化を検出する。

８０４において、反射信号はレーダフィールドにおいてターゲットを検出するよう変換される。いくつかの場合において、レーダフィールドにおけるターゲットの検出を確認するために、変換されたレーダデータから検出特徴が抽出される。他の場合において、ターゲットの物理的な特徴またはレーダフィールドにおけるターゲットの動きを識別するよう
、形状特徴またはモーション特徴が、変換されたレーダデータから抽出される。本例のコンテキストにおいて、第１および第２のユーザについて検出レーダ特徴が、反射されたレーダ信号から抽出される。

８０６において、反射信号におけるターゲットの検出に応答して、ターゲットに関連するセンサデータを得るよう、高電力センサが低電力状態からアクティベートされる。たとえば、レーダ検出特徴がレーダフィールドでのユーザの動きまたは存在を示す場合、ユーザの像をキャプチャするためにＲＧＢセンサがアクティベートされ得る。他の場合において、デバイスが移動していることを示す位置レーダ特徴または反射レーダ特徴に応答して、デバイスのＧＰＳモジュールがアクティベートされ得る。当該例を引き続き参照して、センサフュージョンエンジン１１０は、テレビジョン９０２のＲＧＢセンサ２２０をアクティベートする。ＲＧＢセンサ２２０は、第１のユーザ９０４の顔画像データ９０８と、第２のユーザ９０６の顔画像データ９１０とを得る。この画像データは、たとえば視線追跡または他の動的な顔認識機能を可能にするよう、ユーザの顔の静止画像またはビデオであり得る。

８０８において、ターゲットに関連するセンサデータが、センサベースアプリケーションに渡される。センサベースアプリケーションは、本願明細書において記載されるアプリケーションのような任意の好適なアプリケーションを含み得る。いくつかの場合において、レーダフィールドでの特定のアクティビティまたはターゲットの検出に応答して、センサベースアプリケーションの実行が開始または再開される。たとえば、コントロールエリアに認定されていない人が入ってきたことを示すアクティビティ特徴の感知に応答して、監視アプリケーションが再開され得る。その後、ＲＧＢセンサは、監視アプリケーションに画像データを渡し得る。図９における本例のコンテキストにおいて、ＲＧＢセンサは、顔画像データ９０８および顔画像データ９１０をバイオメトリック認識アプリケーション５２８へ渡す。

８１０において随意に、変換されたレーダデータから抽出されるレーダ特徴が、センサベースアプリケーションに渡される。いくつかの場合において、レーダ特徴は、センサベースアプリケーションに渡されたセンサデータについて付加的なコンテキストを提供する。たとえば、位置レーダ特徴は、ＲＧＢ像を受信するアプリケーションに渡され得、これにより、当該アプリケーションが、当該像におけるターゲットにそれぞれの位置情報をタグ付けすることを可能にする。

当該例を引き続き参照して、センサフュージョンエンジン１１０は、ユーザの顔のそれぞれのレーダ表面特徴をバイオメトリック認識アプリケーション５２８に渡す。ここで、当該アプリケーションは、第１のユーザ９０４がテレビジョンを見ていないと決定し得（たとえば視線追跡）、第２のユーザ９０６がテレビジョン９０２を見ることに興味を持っていると決定し得る。顔画像データ９１０を使用して、センサフュージョンエンジン１１０は第２のユーザ９０６を識別し得、第２のユーザ９０６の識別性に基づいて、当該識別性に関連付けられる閲覧履歴を抽出する。コンテキストマネージャ１１２は、この閲覧履歴を活用して、第２のユーザ９０６が最後に見たチャネルへテレビジョンのチャネルを変更する。

８１２において、高電力センサは低電力状態に戻される。センサデータがひとたびセンサベースアプリケーションに渡されると、高電力センサは、デバイスの電力を節約するために低電力状態に戻され得る。レーダセンサは、多くの能力を提供しつつ消費する電力は相対的に小さいので、他のセンサは、より多くのセンサに特有のデータが得られる必要があるまで、低電力状態のままであり得る。これにより、デバイスの電力消費が低減され得、これは、バッテリで駆動されるデバイスについて実行時間を増加するのに有効である。
方法８００は、レーダフィールドの反射信号におけるその後の変化についてレーダセンサを監視するよう、動作８１２から動作８０２に戻り得る。本例を結論付けると、ＲＧＢセンサ２２０は、テレビジョンのチャネルを変更した後に低電力状態に戻され、さらに別のアクティビティがレーダセンサ１２０によって検出されるまで、低電力状態で存在し得る。

図１０は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、レーダ特徴によりセンサデータを向上させるための例示的な方法を示す。

１００２において、デバイスのセンサは環境の変動について監視される。当該センサは、図２を参照して記載されるセンサおよび本願明細書の他の箇所に記載されるセンサといった、任意の好適なタイプのセンサを含み得る。センサは、デバイスモーション、または、環境雑音または光のようなデバイスから離れた変動のような、デバイスの物理的状態の変動を監視するように構成され得る。いくつかの場合には、デバイスの電力を節約するために、デバイスが低電力状態にある間、または、デバイスの低電力プロセッサによっている間、センサは監視される。

１００４において、環境の変動がセンサを介して検出される。環境の変動は、ユーザの声、環境雑音、デバイスモーション、ユーザの接近、温度変化、および、環境光の変化などといった任意の好適なタイプの変動を含み得る。検出された環境の変動は、特定のコンテキスト、アクティビティ、および、ユーザなどに関連付けられ得る。たとえば、環境の変動は、スリープ状態からデバイスを起動して使用のためにデバイスのロック解除を行うユーザからの音声コマンドを含み得る。

１００６において、環境の変動の検出に応答して、レーダフィールドを提供するためにレーダセンサがアクティベートされる。デバイスのレーダセンサは、センサによって提供されるデータに追加的または相補的であるレーダデータを提供するようアクティベートされ得る。いくつかの場合において、レーダフィールドは、環境の変動または環境の変動を特徴付けるセンサデータを検出するセンサのタイプに基づいて構成される。たとえば、ユーザの接近が検出される場合、レーダセンサは、ユーザを識別するのに好適な短レンジレーダフィールドを提供するように構成される。他の場合において、レーダセンサは、環境雑音または振動の検出に応答して、掃引長レンジレーダフィールドを提供するように構成され得る。そのような場合、長レンジレーダフィールドは、アクティビティまたは雑音の源に関連付けられる位置を検出するために使用され得る。

１００８において、レーダフィールドからの反射信号は、レーダデータを提供するために変換される。反射信号は、たとえばレンジドップラー変換、レンジプロファイル変換、マイクロドップラー変換、Ｉ／Ｑ変換、または、スペクトログラム変換を実行することにより、任意の好適な信号処理を使用して変換され得る。いくつかの場合において、環境の変動またはセンサによって提供されるデータを検出するセンサのタイプに基づいて、レーダデータを提供するために使用される変換のタイプが選択される。

１０１０において、レーダ特徴がレーダデータから抽出される。レーダ特徴は、環境の変動に基づいて抽出され得る。いくつかの場合において、レーダ特徴のタイプは、環境の変動または環境の変動のタイプに基づいて選択される。たとえば、検出特徴またはモーション特徴は、音響センサが環境雑音を検出することに応答して選択され得る。他の場合では、加速度計がデバイスの動きを感知することに応答して、レーダセンサは位置特徴または形状特徴を抽出し得る。

１０１２において、センサデータはレーダ特徴により増強され、これにより、向上されたセンサデータが提供される。これは、センサデータに関連付けられる精度または信頼レートを増加させるのに有効であり得る。言いかえれば、センサが精度、レンジまたは別の測定に関して欠点を有する場合、レーダデータは、この欠点を補償するとともにセンサデータの品質を改善し得る。たとえば、ユーザの顔の表面特徴は、ユーザの識別性と、デバイスのロックを解除するよう受信される音声コマンドの妥当性とを確認し得る。

１０１４において、向上されたセンサデータは、センサベースアプリケーションに公開される。これは、アプリケーションの精度を改善することと、アプリケーションによって使用されるセンサデータの量を低減することと、アプリケーションの機能を拡張することとなどによって、センサベースアプリケーションの性能を改善するのに有効であり得る。たとえば、動きに応答してデバイスを起動するモーションベースの電力状態アプリケーションがさらに、モーションデータおよびユーザの顔の構造の表面特徴を含む向上されたセンサデータに基づいて、ユーザを認証し、デバイスをロック解除し得る。

図１１は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、対象のスペースについて３Ｄコンテキストモデルを作成するための例示的な方法を示す。

１１０２において、デバイスのレーダセンサが、対象のスペースまたはエリアについてのレーダデータを得るためにアクティベートされる。レーダセンサは、デバイスが当該スペースまたはエリアに入るように移動していることを示す慣性データまたはＧＰＳデータのようなデバイスの動きに応答してアクティベートされ得る。いくつかの場合において、レーダセンサは、当該スペースにおける無線アクセスポイント、無線電気製品または他の無線デバイスといった未知のデバイスがデバイスの無線インターフェイスによって検出可能であるデータを送信することを検出することに応答してアクティベートされる。

例として、ユーザ１２０２が自身のポケットに自分のスマートフォン１０２−３を入れた状態でリビングルームに入った図１２の環境１２００を考える。ここで、ユーザ１２０２は以前にこのスペースにいたことがなく、したがって、スマートフォン１０２−２はこのスペースに関連付けられる以前のコンテキスト情報を有していないと仮定する。テレビジョン１２０４のオープンエリアまたは無線データ送信の感知に応答して、スマートフォン１０２−３のレーダセンサ１２０は、レーダが透過するポケット材料を通って部屋をスキャニングを開始し、レーダデータを取得することを開始する。ユーザが部屋において方位を変更すると、レーダセンサ１２０は、付加的なレーダデータを得るために部屋をスキャニングし続ける。

１１０４において、３Ｄレーダ特徴がレーダデータから抽出される。３Ｄレーダ特徴は、３Ｄレーダ特徴か、または、３Ｄレーダ特徴を構築するのに有用な１Ｄおよび２Ｄの特徴の組み合わせを含み得る。３Ｄレーダ特徴は、対象のスペースまたはエリアの物理的局面をキャプチャするレーダ反射特徴、モーション特徴または形状特徴を含み得る。たとえば、３Ｄレーダ特徴は、家具、壁、電気製品、床敷物および建築上の特徴などのような当該スペースにおけるターゲットについてのレンジ、位置または形状情報を含み得る。本例のコンテキストにおいて、コンテキストマネージャ１１２は、テレビジョン１２０４、植物１２０６、ドア１２０８、ランプ１２１０、絵１２１２およびソファ１２１４のような、部屋におけるターゲットの位置および表面レーダ特徴を抽出する。レーダ形状は、部屋における各ターゲットのおよその形状、表面質感または（他のターゲットに対して絶対的または相対的な）位置を示し得る。

１１０６において、位置データはデバイスのセンサから受信される。位置データは、方
位データ、慣性データ、モーションデータおよび方向データなどを含み得る。いくつかの場合において、レーダスキャニングまたはレーダイメージングのために、合成開口技術を実現するのに位置データが有用である。付加的または代替的には、デバイスの他のセンサが、スペースの環境を示すデータを提供し得る。たとえば、音響センサは、当該スペースに存在する環境雑音（たとえばファンの雑音または機械類の雑音）を識別するのに有用なデータを提供し得る。当該例を引き続き参照して、スマートフォン１０２−３の加速度計２０２は、ユーザが部屋の全体にわたって移動すると、センサフュージョンエンジン１１０に慣性および方位データを提供する。

１１０８において、当該位置データに基づいて、３Ｄレーダ特徴の空間関係が決定される。言及されたように、位置データは、合成開口を提供するために活用され得る。合成開口を通じて、レーダセンサは対象のエリアをスキャニングし得る。言いかえれば、デバイスがスペースを通って移動すると、レーダセンサは、複数の３Ｄレーダ特徴として部屋の物理的特徴をキャプチャし得る。その後、センサから受信される位置データは、複数の３Ｄ特徴同士間の空間関係を決定するために使用され得るか、または、これらの特徴がどのように３Ｄスペースに一緒にフィットするかを決定するために使用され得る。本例のコンテキストにおいて、コンテキストマネージャ１１２は、加速度計２０２の慣性および方位データを使用することによって、部屋におけるターゲット同士間の空間関係を決定する。

１１１０において、３Ｄマップの部分が３Ｄレーダ特徴およびその空間関係に基づいて生成される。３Ｄマップは、レーダ特徴によってキャプチャされるランドマークに基づいてスペースまたは部屋の部分について生成され得る。これらのランドマークは、家具、当該スペースの基本形状および形状寸法、ならびに、表面の反射率などといった、スペースの識別可能な物理的な特徴を含み得る。方法１１００は、スペースの３Ｄマップの別の部分を生成するか、または、動作１１１２に進むために、動作１１１０から動作１１０２に戻り得る。当該例を引き続き参照して、センサフュージョンエンジンが部屋のほとんどをスキャニングしたと仮定すると、コンテキストマネージャ１１２は、当該部屋におけるターゲット１２０４〜１２１４のレーダ特徴および／または部屋の全体寸法に基づき、部屋の３Ｄマップの複数の部分を生成する。

１１１２において、３Ｄマップのこれらの部分は、スペースの３Ｄモデルを作成するために組み合わせられる。いくつかの場合において、３Ｄマップの当該部分は、それぞれの縁部をオーバーラップさせることによって、アセンブルされ得るか、または、メッシングされ得る。他の場合では、３Ｄマップの当該部分は、以前に得られた位置データに基づいて組み合わせられる。スペースの３Ｄマップは、レーダデータから抽出される多くの実現可能な３Ｄレーダ特徴に依存して、完全であるか、または、部分的であり得る。本例のコンテキストにおいて、コンテキストマネージャ１１２は、リビングルームの３Ｄモデルを提供するために、以前に生成された部分をメッシングする。

１１１４において、スペースの３Ｄモデルは、スペースのコンテキストに関連付けられる。これは、スペースの３Ｄコンテキストモデルを作成するのに有効であり得る。コンテキストは、部屋のタイプ、セキュリティレベル、プライバシーレベルおよびデバイスオペレーティングモードなどといった任意の好適なタイプのコンテキストであり得る。いくつかの場合において、コンテキストは、ユーザによって規定される。これは、予め規定されたコンテキストのリストから選択するようにユーザに促すことを含み得る。他の場合において、機械学習ツールが、マッピング動作を実現し得、スペースの物理的特徴に基づいてコンテキストを割り当て得る。当該例を引き続き参照して、コンテキストマネージャ１１２は、テレビジョン１２０４およびソファ１２１４の存在に基づいて、スペースに「リビングルーム」コンテキストを関連付ける。このコンテキストは、当該エリアはプライベートであり、セキュリティリスクは低いということと、テレビジョン１２０４はメディア対
応であり、無線またはジェスチャで駆動される制御機能を通じて制御され得ることとを示す。たとえば、スマートフォン１０２−３上でのメディアの再生は、リビングルームに入ったときに、テレビジョン１２０４に転送され得る。

１１１６において、スペースの３Ｄコンテキストモデルがデバイスによって格納される。３Ｄコンテキストモデルは、ローカルメモリに格納され得るか、または、クラウドにアップロードされ得、これにより、デバイスまたは他のデバイスによるアクセスが可能になる。いくつかの場合において、３Ｄコンテキストモデルを格納することは、レーダセンサを介するスペースのその後の識別を可能にする。たとえば、デバイスは、スペースとそれに関連付けられるコンテキストとをデバイスが学習および記憶することを可能にする３Ｄコンテキストモデルのライブラリを維持し得る。本例を結論付けると、コンテキストマネージャ１１２は、その後のアクセスおよびデバイス構成を可能にするために、リビングルームの３Ｄコンテキストモデルを格納する。その例が本願明細書において記載される。

図１３は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、３Ｄコンテキストモデルに基づいてデバイスのコンテキストセッティングを構成するための例示的な方法を示す。

１３０２において、デバイスのレーダセンサは、対象のスペースまたはエリアについてレーダデータを得るためにアクティベートされる。レーダセンサは、デバイスが当該スペースまたはエリアに入るように移動していることを示す慣性データまたはＧＰＳデータのようなデバイスの動きに応答してアクティベートされ得る。いくつかの場合において、レーダセンサは、デバイスが以前に関連付けられたスペースにおける無線アクセスポイント、無線電気製品または他の無線デバイスといった既知のデバイスを検出することに応答してアクティベートされる。

１３０４において、３Ｄレーダ特徴がレーダデータから抽出される。３Ｄレーダ特徴は、３Ｄレーダ特徴か、または、３Ｄレーダ特徴を構築するのに有用な１Ｄおよび２Ｄの特徴の組み合わせを含み得る。３Ｄレーダ特徴は、対象のスペースまたはエリアの物理的局面をキャプチャするレーダ反射特徴、モーション特徴または形状特徴を含み得る。たとえば、３Ｄレーダ特徴は、家具、壁、電気製品、床敷物および建築上の特徴などのような当該スペースにおけるターゲットについてのレンジ、位置または形状情報を含み得る。

１３０６において、位置データはデバイスのセンサから受信される。位置データは、方位データ、慣性データ、モーションデータおよび方向データなどを含み得る。いくつかの場合において、レーダスキャニングまたはレーダイメージングのために、合成開口技術を実現するのに位置データが有用である。付加的または代替的には、デバイスの他のセンサが、スペースの環境を示すデータを提供し得る。たとえば、音響センサは、当該スペースに存在する環境雑音（たとえばファンの雑音または機械類の雑音）を識別するのに有用なデータを提供し得る。

１３０８において、センサによって提供された位置データに基づいて、３Ｄレーダ特徴の空間関係が決定される。言及されたように、位置データは、合成開口を提供するために活用され得る。合成開口を通じて、レーダセンサは対象のエリアをスキャニングし得る。言いかえれば、デバイスがスペースを通って移動すると、レーダセンサは、複数の３Ｄレーダ特徴として部屋の物理的特徴をキャプチャし得る。その後、センサから受信される位置データは、複数の３Ｄ特徴同士間の空間関係を決定するために使用され得るか、または、これらの特徴がどのように３Ｄスペースに一緒にフィットするかを決定するために使用され得る。

１３１０において、スペースの３Ｄランドマークのセットは、３Ｄレーダ特徴およびその空間方位に基づいて生成される。これらのランドマークは、家具、当該スペースの基本形状および形状寸法、ならびに、表面の反射率などといった、スペースの識別可能な物理的な特徴を含み得る。たとえば、会議室の３Ｄランドマークは、特定形状の脚部を有するテーブルと、天井から突出する支柱に搭載されるオーバーヘッドプロジェクタとを含み得る。

１３１２において、当該３Ｄランドマークのセットは既知の３Ｄコンテキストモデルと比較される。これは、デバイスが既知の３Ｄコンテキストモデルに基づいて動作しているスペースを識別するのに有効であり得る。いくつかの場合において、３Ｄランドマークのセットが３Ｄコンテキストモデルのセットに対応すると、既知の３Ｄコンテキストモデルへのマッチが決定される。たとえば家具を移動または置換するといった時間にわたる変動性を考慮すると、３Ｄランドマークの十分な部分が予め規定された信頼しきい値に合致するようマッチする場合に、マッチが決定され得る。そのような場合において、部屋形状および固定された構造（たとえば階段）を含み得る静的な３Ｄランドマークは、モデルマッチングレートに対して動的なランドマークが有する影響を最小化するよう、より重く重み付けされ得る。

１３１４において、スペースに関連付けられるコンテキストが、マッチングする３Ｄコンテキストモデルに基づいて抽出される。スペースについてのマッチがひとたび決定されると、デバイスに適用するべきコンテキストがデバイスによって抽出またはアクセスされ得る。コンテキストは、プライバシーコンテキスト、ミーティングコンテキスト、アポイントメントコンテキストまたはセキュリティコンテキストといった任意の好適なタイプのコンテキストであり得る。付加的または代替的には、３Ｄコンテキストモデルのコンテキストが現在のデバイスセッティングに対して不一致であるか、または、期限切れである場合、ユーザは、コンテキストを選択するか、コンテキストを作成するか、または、スペースについてコンテキストを更新するように促され得る。

１３１６において、コンテキストセッティングは、スペースに関連付けられるコンテキストに基づいて構成される。構成されるコンテキストセッティングは、呼出ボリューム、呼出モード、表示モード、および、ネットワークまたは他のデバイスへの接続などといった任意の好適なタイプのセッティングを含み得る。さらに、セキュアコンテンツまたはプライベートコンテンツの表示を可能または制限するよう、デバイスのセキュリティセッティングまたはプライバシーセッティングが構成され得る。

図１４は、レーダセンサ１２０、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２によって実行される動作を含む、コンテキストにおける変化に応答してコンテキストセッティングを変更するための例示的な方法を示す。

１４０２において、デバイスのレーダセンサは、対象のエリアについてレーダデータを得るためにアクティベートされる。レーダセンサは、そのエリアにおけるターゲットによって信号がそこから反射される連続または方向性のあるレーダフィールドを発し得る。当該エリアにおけるターゲットは、壁、家具、窓、床敷物、電気製品および部屋形状などといった任意の好適なタイプの対象を含み得る。例として、ユーザ１５０２がタブレットコンピュータ１０２−４によって表示されるデジタルコンテンツを読んでいる図１５の環境１５００を考える。ここで、コンテキストマネージャ１１２は、テーブルコンピュータが動作している部屋についてレーダデータを得るために、タブレットコンピュータ１０２−４のレーダセンサ１２０をアクティベートする。

１４０４において、レーダ特徴がレーダデータから抽出される。３Ｄレーダ特徴は、３
Ｄレーダ特徴か、または、３Ｄレーダ特徴を構築するのに有用な１Ｄおよび２Ｄの特徴の組み合わせを含み得る。３Ｄレーダ特徴は、対象のスペースまたはエリアの物理的局面をキャプチャするレーダ反射特徴、モーション特徴または形状特徴を含み得る。たとえば、３Ｄレーダ特徴は、スペースにおけるターゲットについてのレンジ、位置または形状情報を含み得る。本例のコンテキストにおいて、タブレットコンピュータ１０２−４のセンサフュージョンエンジン１１０は、環境１５００のリビングルーム内のターゲットと環境１５００のリビングルームの形状とを識別するのに有用であるレーダ特徴を抽出する。

１４０６において随意に、デバイスのセンサからデータが受信される。いくつかの場合において、センサデータはスペースについてのコンテキストを決定するのに有用である。たとえば、音響センサは、噴水の流水またはファンの雑音の特定の周波数といった、スペースにおいて識別可能な環境雑音に関連付けられるデータを提供し得る。他の場合において、電気製品または電子デバイスは、特定のスペースについての識別データを提供するために音響センサによって検出され得る特定のヒューという雑音、ブーンいう雑音または超音波雑音を発し得る。

１４０８において、スペースについてのコンテキストは、少なくともレーダ特徴に基づいて決定される。いくつかの場合において、デバイスについてのコンテキストは、レーダ特徴に由来する形状および占有に基づいて決定される。たとえば、コンテキストマネージャは、デバイスのまわりのプライバシーバブル（privacy bubble）をセットするために、スペースのサイズと、他の占有者の数と、それらの占有者への距離とを決定し得る。他の場合において、レーダ特徴におけるランドマークのセットは、既知の３Ｄコンテキストモデルと比較される。これは、既知の３Ｄコンテキストモデルに基づいて、デバイスが動作しているスペースを識別するのに有効であり得る。

既知であると記載されているが、３Ｄコンテキストモデルはさらに、たとえばデバイス位置（たとえばＧＰＳ）に基づいて、アクセスされるか、または、デバイスにダウンロードされ得る。付加的または代替的には、他のタイプのセンサデータが、既知の３Ｄコンテキストモデルのデータと比較され得る。たとえば、デバイスによって検出される音およびワイヤレスネットワークは、既知の３Ｄコンテキストモデルの音響およびネットワークデータと比較され得る。当該例を引き続き参照して、タブレットコンピュータ１０２−４のコンテキストマネージャ１１２は、プライベートでややセキュアなコンテキストである「リビングルーム」として環境１５００のコンテキストを決定する。

１４１０において、デバイスのコンテキストセッティングは、決定されたコンテキストに基づいて構成される。構成されるコンテキストセッティングは、呼出ボリューム、呼出モード、表示モード、および、ネットワークまたは他のデバイスへの接続などといった任意の好適なタイプのセッティングを含み得る。さらに、セキュアコンテンツまたはプライベートコンテンツの表示を可能または制限するよう、デバイスのセキュリティセッティングまたはプライバシーセッティングが構成され得る。本例のコンテキストにおいて、未知の人１５０４が部屋を入る前に、コンテキストマネージャ１１２は、プライベートコンテキストについてタブレットコンピュータ１０２−４の表示セッティング、セキュリティセッティングおよびアラートセッティングを構成すると仮定する。プライベートコンテキストにおいて、これらのセッティングは完全に有効化されるか、または、オープンとなる。

１４１２において、スペースはレーダセンサを介してアクティビティについて監視される。レーダセンサは、反射信号がそこから受信される連続的または断続的なレーダフィールドを提供し得る。いくつかの場合において、レーダセンサは、反射信号の変化に応答して、レーダフィールドにおけるアクティビティまたはターゲットを検出する。当該例を引き続き参照して、レーダセンサ１２０は、コンテキストの変化を示し得る任意のアクティ
ビティまたは検出イベントについて、環境１５００を監視する。

１４１４において、当該スペースにおけるアクティビティの源を識別するために、レーダ特徴がレーダデータから抽出される。これは、スペースにおけるターゲットを識別するために、検出特徴、モーション特徴または形状レーダ特徴を抽出することを含み得る。いくつかの場合において、アクティビティの源は、部屋から去る人といった、当該スペースを去るターゲットである。他の場合では、アクティビティの源は、スペースを入る人々または対象を含み得る。本例のコンテキストにおいて、未知の人１５０４が部屋に入りユーザ１５０２に接近すると仮定する。これに応答して、レーダセンサ１２０は、未知の人１５０４の識別を促進するために、検出および形状レーダ特徴１５０６を提供する。

１４１６において、アクティビティの源はスペースのコンテキストを変更すると決定される。いくつかの場合において、他の人々がスペースを去ることにより、ユーザプライバシーが増加するか、または、デバイスに対する雑音拘束条件が低減し、これにより、コンテキストがよりオープンになる。他の場合において、人々がスペースに入るか、または、デバイスに接近するように移動することにより、ユーザプライバシーが減少し得るか、または、デバイスおよびユーザについてセキュリティ上の問題が増加し得る。プライバシーの低減またはセキュリティについての必要性の増加により、デバイスのコンテキストは、よりプライベートかつセキュリティ志向になり得る。当該例を引き続き参照して、形状レーダ特徴１５０６は、顔認識を介して、未知の人１５０４を識別する試みに使用される。ここで、その顔認識が失敗し、未知のエンティティの存在がプライバシーとセキュリティに関してスペースのコンテキストを変更するとコンテキストマネージャ１１２が決定したと仮定する。

１４１８において、デバイスのコンテキストセッティングは、スペースのコンテキストの変化に基づいて変更される。コンテキストの変化に応答して、デバイスのコンテキストセッティングは、コンテキスト変化を補償するように変更され得る。デバイスのコンテキストがプライバシーまたはセキュリティにおいて増加すると、コンテキストセッティングの変更は、たとえば、ディスプレイを暗くするか、特定のアプリケーションを無効化するか、ディスプレイポラライゼーション（display polarization）に影響を与えるか、デバイスの無線接続を制限するか、または、音声再生ボリュームを低減することにより、デバイスによって公開されるコンテンツを制限することを含み得る。本例を結論付けると、コンテキストの変化の検出に応答して、コンテキストマネージャ１１２は、たとえば、セキュアアプリケーションを閉じるか、アラートおよびデバイスオーディオのボリュームを低減するか、または、未知の人がタブレットのコンテンツを識別することができないように表示されたコンテンツのフォントサイズを低減することにより、タブレットコンピュータ１０２−４のプライバシーおよびセキュリティセッティングを増加する。

例示的なコンピューティングシステム
図１６は、レーダ対応センサフュージョンを実現するために、上記の図１〜図１５を参照して記載されるように任意のタイプのクライアント、サーバおよび／またはコンピューティングデバイスとして実現され得る例示的なコンピューティングシステム１６００のさまざまなコンポーネントを示す。

コンピューティングシステム１６００は、デバイスデータ１６０４（たとえば受信されたデータ、受信中のデータ、ブロードキャスト送信のためにスケジュールされているデータ、データのデータパケットなど）の有線および／または無線通信を可能にする通信デバイス１６０２を含む。デバイスデータ１６０４または他のデバイスコンテンツは、デバイスの構成セッティング、デバイス上に格納されるメディアコンテンツ、および／または、デバイスのユーザに関連付けられる情報（たとえばジェスチャを実行する行為者の識別性
）を含み得る。コンピューティングシステム１６００上に格納されるメディアコンテンツは、任意のタイプの音声、ビデオおよび／または画像データを含み得る。コンピューティングシステム１６００は、人間の発声と、レーダフィールドとのインタラクションと、ユーザが選択可能な入力（明示または暗黙的）と、メッセージと、音楽と、テレビジョンメディアコンテンツと、記録されたビデオコンテンツと、任意のコンテンツおよび／またはデータ源から受信される任意の他のタイプの音声、ビデオおよび／または画像データといった、任意のタイプのデータ、メディアコンテンツおよび／または入力が受信され得る１つ以上のデータ入力１６０６を含む。

コンピューティングシステム１６００はさらに、シリアルおよび／またはパラレルインターフェイスと、無線インターフェイスと、任意のタイプのネットワークインターフェイスと、モデムと、任意の他のタイプの通信インターフェイスとのうちのいずれか１つ以上として実現され得る通信インターフェイス１６０８を含む。通信インターフェイス１６０８は、コンピューティングシステム１６００と通信ネットワークとの間の接続および／または通信リンクを提供する。当該接続および／または通信リンクによって、他の電子デバイス、コンピューティングデバイスおよび通信デバイスがコンピューティングシステム１６００とデータを通信する。

コンピューティングシステム１６００は、コンピューティングシステム１６００の動作を制御するとともに、レーダ対応センサフュージョンのための技術またはレーダ対応センサフュージョンが具現化され得る技術を可能にするよう、さまざまなコンピュータ実行可能命令を処理する１つ以上のプロセッサ１６１０（たとえば、マイクロプロセッサおよびコントローラなどのうちのいずれか）を含む。代替的または付加的には、コンピューティングシステム１６００は、一般に１６１２において識別される、ハードウェア、ファームウェア、または、処理および制御回路に関して実現される固定論理回路のうちのいずれかまたは組み合わせにより実現され得る。示されていないが、コンピューティングシステム１６００は、デバイス内においてさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／または、さまざまなバスアーキテクチャのうちのいずれかを利用するプロセッサもしくはローカルバスといった異なるバス構造のうちのいずれか１つまたは組み合わせを含み得る。

コンピューティングシステム１６００はさらに、永続的および／または一時的でない（すなわち単なる信号伝送とは対照的な）データの格納を可能にする１つ以上のメモリデバイスといったコンピュータ読取可能媒体１６１４を含む。当該コンピュータ読取可能媒体１６１４の例は、ランダムアクセスメモリ（ＲＡＭ）と、不揮発性メモリ（たとえばリードオンリメモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどのうちのいずれか１つ以上）と、ディスクストレージデバイスとを含む。ディスクストレージデバイスは、ハードディスクドライブ、記録可能および／または再書込可能コンパクトディスク（ＣＤ）、任意のタイプのデジタルバーサタイルディスク（ＤＶＤ）などといった任意のタイプの磁気または光学ストレージデバイスとして実現され得る。コンピューティングシステム１６００はさらに、マスストレージデバイス（ストレージ媒体）１６１６を含み得る。

コンピュータ読取可能媒体１６１４は、デバイスデータ１６０４と、さまざまなデバイスアプリケーション１６１８と、コンピューティングシステム１６００の動作局面に関係する任意の他のタイプの情報および／またはデータとを格納するためにデータストレージメカニズムを提供する。たとえば、オペレーティングシステム１６２０は、コンピュータ読取可能媒体１６１４によりコンピュータアプリケーションとして維持され得、プロセッサ１６１０上で実行され得る。デバイスアプリケーション１６１８はたとえば、任意の形
態の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに対してネイティブのコード、抽出モジュールまたはジェスチャモジュールなどといったデバイスマネージャを含み得る。デバイスアプリケーション１６１８はさらに、レーダ対応センサフュージョンを実現するために、センサベースアプリケーション１０８、センサフュージョンエンジン１１０およびコンテキストマネージャ１１２のようなシステムコンポーネント、エンジンまたはマネージャを含む。

コンピューティングシステム１６００はさらに、レーダ放射要素１２２、レーダ受信要素およびアンテナ１２４を有するレーダセンサチップ１６２２のようなレーダシステムまたはセンサの１つ以上を含み得るか、または、当該レーダシステムまたはセンサの１つ以上へのアクセスを有し得る。示されていないが、センサフュージョンエンジン１１０またはコンテキストマネージャ１１２のうちの１つ以上の要素は、ハードウェアまたはファームウェアによって全体的または部分的に実現され得る。

結論
レーダ対応センサフュージョンを使用する技術およびレーダ対応センサフュージョンを含む装置を特徴および方法に特有の言語で記載したが、添付の特許請求の範囲の対象は、記載された特定の特徴または方法に必ずしも限定されないということが理解されるべきである。むしろ、特定の特徴および方法は、レーダ対応センサフュージョンが実現され得る例示的な態様として開示される。

Claims (20)

1. デバイスのレーダ放射要素を介してレーダフィールドを提供することと、
   前記デバイスのレーダ受信要素を介して、前記レーダフィールドにおけるターゲットに対応する１つ以上の反射信号を受信することと、
   レーダデータを提供するよう前記１つ以上の反射信号を変換することと、
   前記ターゲットの物理的特徴を示すレーダ特徴を前記レーダデータから抽出することと、
   前記物理的特徴に関連付けられる追加的なセンサデータを提供するよう、前記レーダ特徴に基づいて前記デバイスのセンサをアクティベートすることと、
   前記レーダ特徴を向上するために前記追加的なセンサデータにより前記レーダ特徴を増強することと、
   センサベースアプリケーションの性能を改善するのに有効であるように、向上された前記レーダ特徴を前記センサベースアプリケーションに提供することとを含む、コンピュータによって実現される方法。
2. 前記レーダ特徴は、ターゲット検出、ターゲット反射、ターゲットモーション、ターゲット位置またはターゲット形状のうちの１つを含む、請求項１に記載のコンピュータによって実現される方法。
3. 前記レーダ特徴は、ターゲットの数、合計の反射エネルギー、移動エネルギー、１次元の速度、１次元の速度分散、３次元空間座標、または、１次元空間分散を示す、請求項２に記載のコンピュータによって実現される方法。
4. 前記１つ以上の反射信号を変換することは、レンジドップラー変換、レンジプロファイル変換、マイクロドップラー変換、Ｉ／Ｑ変換、または、スペクトログラム変換のうちの１つを実行することを含む、請求項１に記載のコンピュータによって実現される方法。
5. 前記センサベースアプリケーションは、近接検出、ユーザ検出、ユーザ追跡、アクティビティ検出、顔認識、呼吸検出、または、モーションシグネチャ識別を含む、請求項１に記載のコンピュータによって実現される方法。
6. 前記追加的なセンサデータを提供する前記センサは、加速度計、ジャイロスコープ、ホール効果センサ、磁力計、温度センサ、マイクロフォン、容量センサ、近接センサ、環境光センサ、赤緑青（ＲＧＢ）画像センサ、赤外線センサ、または、深さセンサを含む、請求項１に記載のコンピュータによって実現される方法。
7. 前記追加的なセンサデータにより前記レーダ特徴を増強することは、
   前記レーダ特徴の位置精度を増加させること、
   前記レーダ特徴に起因する偽陽性検出を軽減すること、
   前記レーダ特徴の空間分解能を増加すること、
   前記レーダ特徴の表面分解能を増加すること、または、
   前記レーダ特徴の分類精度を改善することによって、
   前記レーダ特徴を向上させるのに有効である、請求項１に記載のコンピュータによって実現される方法。
8. 前記デバイスのレーダセンサは、前記レーダ放射要素およびレーダ受信要素を含み、前記レーダセンサは、アクティベートされる前記センサより少ない電力を消費し、前記レーダセンサは、前記１つ以上の反射信号における変化が検出されるまで、前記センサが低電力状態にある間、動作され、前記デバイスの電力を節約するのに有効である、請求項１に
   記載のコンピュータによって実現される方法。
9. 装置であって、
   １つ以上のコンピュータプロセッサと、
   レーダセンサとを含み、前記レーダセンサは、
   レーダフィールドを提供するように構成されるレーダ放射要素と、
   前記レーダフィールドに対応する１つ以上の反射信号を受信するように構成されるレーダ受信要素と、
   前記装置の環境の変動を感知するように構成されるセンサと、
   命令を格納している１つ以上のコンピュータ読取可能記憶媒体とを含み、
   前記命令は、前記１つ以上のコンピュータプロセッサによる実行に応答して、
   デバイスのレーダ放射要素を介してレーダフィールドを提供することと、
   前記デバイスのレーダ受信要素を介して、前記レーダフィールドにおけるターゲットに対応する１つ以上の反射信号を受信することと、
   レーダデータを提供するよう前記１つ以上の反射信号を変換することと、
   前記ターゲットの物理的特徴を示すレーダ特徴を前記レーダデータから抽出することと、
   前記ターゲットの前記物理的特徴について追加的なセンサデータを提供するよう、前記レーダ特徴に基づいて前記デバイスのセンサをアクティベートすることと、
   前記追加的なセンサデータにより前記レーダ特徴を増強することと、
   増強された前記レーダ特徴をセンサベースアプリケーションに提供することとを行うよう、センサフュージョンエンジンを実現する、装置。
10. 前記装置は、複数のそれぞれのタイプの環境の変動を感知するように複数のセンサを含んでおり、前記センサフュージョンエンジンはさらに、前記レーダ特徴のタイプを決定し、前記レーダ特徴の前記タイプに基づいて、前記追加的なセンサデータを提供するために前記複数のセンサのうちのどれをアクティベートするかを選択するように構成される、請求項９に記載の装置。
11. 前記環境の変動を感知するように構成される前記センサは、加速度計、ジャイロスコープ、ホール効果センサ、磁力計、温度センサ、マイクロフォン、容量センサ、近接センサ、環境光センサ、赤緑青（ＲＧＢ）画像センサ、赤外線センサ、または、深さセンサを含む、請求項９に記載の装置。
12. 前記レーダ特徴は、前記レーダフィールドにおけるターゲットの数、合計の反射エネルギー、移動エネルギー、１次元の速度、１次元の速度分散、３次元空間座標、または、１次元空間分散とを示す、請求項９に記載の装置。
13. 前記レーダセンサはさらにアンテナアレイを含み、前記アンテナアレイを通じて、前記レーダ放射要素は前記レーダフィールドを提供し、前記レーダ受信要素は前記１つ以上の反射信号を受信する、請求項９に記載の装置。
14. 前記アンテナアレイは、前記レーダ放射要素に直接的に結合される少なくとも２つのアンテナと、前記レーダ受信要素に直接的に結合される少なくとも２つのアンテナとを含む、請求項１３に記載の装置。
15. 前記装置は、スマートフォン、スマートグラス、スマートウォッチ、タブレットコンピュータ、ラップトップコンピュータ、セットトップボックス、スマート電気製品、ホームオートメーションコントローラ、または、テレビジョンとして具現化される、請求項９に記載の装置。
16. レーダフィールドを提供するように構成されるレーダ放射要素と、
    反射信号を受信するように構成されるレーダ受信要素と、
    前記レーダフィールドが提供されるとともに前記反射信号が受信されるアンテナアレイと、
    １つ以上のセンサとの通信を可能にするように構成されるデータインターフェイスと、
    プロセッサと、
    命令を格納しているコンピュータ読取可能記憶媒体とを含み、
    前記命令は、前記コンピュータプロセッサによる実行に応答して、
    前記レーダ放射要素にレーダフィールドを提供させることと、
    前記レーダ受信要素を介して、前記レーダフィールドに対応する前記反射信号のうちの１つ以上を受信することと、
    レーダデータを提供するよう前記１つ以上の反射信号を変換することと、
    前記レーダデータをレーダ特徴に分解することと、
    環境の変動を示すセンサデータを前記１つ以上のセンサから受信することと、
    向上されたレーダ特徴を提供するために、前記環境の変動を示す前記センサデータにより前記レーダ特徴を増強することと、
    向上された前記レーダ特徴をセンサベースアプリケーションに公開することとを実行するようにセンサフュージョンエンジンを実現する、システムオンチップ。
17. 前記レーダ特徴は、ターゲット検出、ターゲット反射、ターゲットモーション、ターゲット位置またはターゲット形状のうちの１つを含む、請求項１６に記載のシステムオンチップ。
18. 前記１つ以上のセンサは、加速度計、ジャイロスコープ、ホール効果センサ、磁力計、温度センサ、マイクロフォン、容量センサ、近接センサ、環境光センサ、赤緑青（ＲＧＢ）画像センサ、赤外線センサ、または、深さセンサのうちの１つを含む、請求項１６に記載のシステムオンチップ。
19. 前記アンテナアレイは、前記レーダ放射要素に動作可能に接続される少なくとも２つのオンチップアンテナと、前記レーダ受信要素に動作可能に接続される少なくとも２つのオンチップアンテナとを含む、請求項１６に記載のシステムオンチップ。
20. レーダフィールドを提供するように構成される前記レーダ放射要素、レーダ受信要素、および、アンテナアレイはさらに、レーダデータの少なくとも４つのチャネルへの変換に好適な反射信号を提供するように構成される、請求項１９に記載のシステムオンチップ。

Images