JP7155293B2 - ジオリファレンス情報について現実世界をクエリするための画像センサの使用 - Google Patents

Description

スマートフォンおよびスマートウォッチを含む多くのデバイスは、地理的ロケーション探索を提供する。各デバイスは、関心地点をクエリすることを可能にするネットワークに接続され得る。典型的には、ユーザは、関心地点をクエリするために、探索フィールドにおけるテキストまたは音声コマンドなどの入力を提供しなければならない。ユーザは、関心地点に関する情報を取得するために、ディスプレイとの複数の対話、テキスト入力などの複数の入力を提供しなければならない場合がある。

既存の画像マッチングベースの探索ツールは、たとえば、ユーザのポータブルデバイスを使用してキャプチャされた地理的領域の画像内で、関心地点の探索を実行し得る。画像マッチングベースの探索ツールは、キャプチャされた画像、またはキャプチャされた画像から抽出された地物を、環境の1つもしくは複数の以前にキャプチャされた画像、またはその画像から抽出された地物と比較し得る。このようにして、キャプチャされた画像内の物体、構造物などは、(たとえば、以前にキャプチャされた画像と関心地点との間の記憶された関連付けのおかげで)以前にキャプチャされた画像の中に存在することが知られている関心地点、たとえば、建物、ランドマークなどとして認識され得る。次いで、キャプチャされた画像の中に存在すると決定された関心地点に関する情報は、ユーザのデバイスを介して出力され得る。そのような画像マッチングは、計算集約的であり得る。加えて、ツールの画像キャプチャ態様は、(ユーザがキャプチャされたものを検証することができるように)デバイススクリーンの使用ならびに関連する電力/処理要件を必要とする場合がある。これはまた、比較的精密で時間のかかるユーザとデバイスとの間の対話を必要とする場合があり、この対話では、ユーザは、カメラを起動し、次いで、ユーザが情報を必要とする関心地点を正確にキャプチャするために画像を適切にフレーミングしなければならない。

本開示の一態様は、1つまたは複数の関心地点を示す情報を提供するためのシステムを提供する。たとえば、システムは、ユーザデバイスの1つまたは複数の画像センサの使用から導出されたデータに基づいて、1つまたは複数の画像センサによってキャプチャされた1つまたは複数の地物を検出し、少なくとも1つまたは複数の検出された地物に基づいて、デバイスのロケーションおよび配向を含む姿勢データを決定し、姿勢データに基づいて決定された特定の地理的領域内の複数の関心地点を決定し、ユーザデバイスを介して、複数の関心地点のうちの1つまたは複数を示す情報を提供するように構成された1つまたは複数のプロセッサを含み得る。

地理的領域は、姿勢データに含まれるデバイスのロケーションの事前定義された距離内にあってもよい。地理的領域は、姿勢データに含まれるデバイスの配向に基づく事前定義された角度範囲内にあってもよい。事前定義された角度範囲は、1つまたは複数の画像センサの視野より広くてもよい。1つまたは複数の画像センサは、ユーザデバイスの端に位置してもよい。

複数の関心地点は、特定の地理的領域内の関心地点についてマッピングデータベースをクエリすることによって決定されてもよい。複数の関心地点は、ロケーションからの特定の範囲内の関心地点についてマッピングデータベースをクエリすることによって決定され、返された関心地点は、デバイスの配向を中心とする角度範囲の外の関心地点が除外されるようにフィルタリングされる。

本開示の別の態様は、1つまたは複数の関心地点を示す情報を提供するための方法を提供する。方法は、1つまたは複数のプロセッサを使用して、1つまたは複数の画像センサからデータを導出するステップを含む。方法は、1つまたは複数のプロセッサを使用して、導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出するステップと、1つまたは複数のプロセッサを使用して、少なくとも1つまたは複数の検出された地物に基づいて、デバイスのロケーションおよび配向を含む姿勢データを決定するステップと、1つまたは複数のプロセッサを使用して、姿勢データに基づいて、特定の地理的領域内の複数の関心地点を決定するステップと、1つまたは複数のプロセッサを使用して、地物を検出したことに応答して、複数の関心地点のうちの1つまたは複数を示す情報を提供するステップとを含む。

本開示のさらに別の態様は、命令を記憶する非一時的コンピュータ可読媒体を提供し、命令は、1つまたは複数のプロセッサによって実行されると、プロセッサに、ユーザデバイスの1つまたは複数の画像センサからデータを導出することと、導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出することと、少なくとも1つまたは複数の検出された地物に基づいて、デバイスのロケーションおよび配向を含む姿勢データを決定することと、姿勢データに基づいて、特定の地理的領域内の複数の関心地点を決定することと、地物を検出したことに応答して、複数の関心地点のうちの1つまたは複数を示す情報を提供することとを行わせる。

本開示の態様による、例示的なデバイスを示すブロック図である。 本開示の態様による、例示的なシステムの機能図である。 本開示の態様による、例示的なデバイスの斜視図である。 本開示の態様による、例示的なデバイスの使用を示す絵画図である。 本開示の態様による、デバイスの視野を示す絵画図である。 本開示の態様による、画像センサによってキャプチャされた地物および/または物体を示す図である。 本開示の態様による、画像センサによってキャプチャされた地物および/または物体を示す図である。 本開示の態様による、デバイスのロケーションを決定するマップの絵画図である。 本開示の態様による、デバイスの姿勢データを決定するマップの絵画図である。 本開示の態様による、クエリ領域を決定するマップの絵画図である。 本開示の態様による、関心地点に関する情報を示す絵画図である。 本開示の態様による、関心地点に関する情報を示す絵画図である。 本開示の態様による、関心地点に関する情報を示す絵画図である。 本開示の態様に従った図である。 本開示の態様による流れ図である。

本開示は、1つまたは複数の画像センサからのセンサデータに応答して、1つまたは複数の近くの関心地点に関する情報を提供するシステムに関する。より具体的には、画像センサは、限定はしないが、画像センサの視野における、建物または橋などの構造物の外形などの、地物および/または物体を検出する。デバイスのロケーションおよび配向を含む姿勢データは、1つまたは複数の検出された地物および/または物体に基づいて決定される。姿勢データは、たとえば、検出された地物および/または物体をインデックスまたはデータベースに記憶された地物と比較することによって決定されてもよい。そのようなインデックスは、視覚測位システム(VPS)インデックスと呼ばれることがあり、「ストリートレベル」の画像の集合体に基づいて生成されている場合がある。

地理的領域内の複数の関心地点は、姿勢データに基づいて決定され得る。決定は、たとえば、デバイスのロケーション、したがって、ユーザの特定の距離内に位置することが知られている関心地点についてマッピングデータベースをクエリすることによって行われ得る。デバイスは、複数の関心地点のうちの1つまたは複数を示す情報をユーザに提供し得る。

図1は、デバイスの構成要素を示す例示的なブロック図を提供する。示されるように、デバイス100は、1つまたは複数のプロセッサ102、メモリ104、および、典型的にはマイクロプロセッサ、汎用コンピュータなどの中に存在する他の構成要素などの、様々な構成要素を含む。デバイス100はまた、入力110、出力120、およびセンサ112を含む。センサは、1つまたは複数の画像センサ114、加速度計116、および全地球測位システム(「GPS」)センサ118を含み得る。

1つまたは複数のプロセッサ102は、市販のマイクロプロセッサなどの、任意の従来のプロセッサであってもよい。代替的に、1つまたは複数のプロセッサは、特定用途向け集積回路(ASIC)または他のハードウェアベースのプロセッサなどの専用デバイスであってもよい。図1は、デバイス100のプロセッサ、メモリ、および他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは実際には、同じ物理ハウジング内に格納されている場合もあり、格納されていない場合もある、複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることが当業者によって理解されよう。同様に、メモリは、デバイス100のハウジングとは異なるハウジング内にあるハードドライブまたは他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行して動作する場合もあり、しない場合もある、プロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むものと理解されよう。

メモリ104は、プロセッサ102によって実行され得る命令106と、データ108とを含む、プロセッサ102によってアクセス可能な情報を記憶し得る。メモリ104は、非一時的コンピュータ可読媒体、またはハードドライブ、メモリカード、読取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、光ディスク、ならびに他の書き込み可能な読取り専用メモリなどの電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサ102によってアクセス可能な情報を記憶するように動作するタイプのメモリであってもよい。本明細書で開示される主題は、上記の異なる組合せを含んでもよく、それによって、命令106およびデータ108の異なる部分が異なるタイプの媒体上に記憶される。

データ108は、命令106に従ってプロセッサ102によって取り出されるか、記憶されるか、または変更され得る。たとえば、本開示は特定のデータ構造によって限定されないが、データ108は、コンピュータレジスタ内に、複数の異なるフィールドおよびレコードを有するテーブルとしてのリレーショナルデータベース、XMLドキュメント、またはフラットファイル内に記憶されてもよい。データ108はまた、限定はしないが、バイナリ値、ASCIIまたはUnicodeなどのコンピュータ可読フォーマットでフォーマットされてもよい。さらに例のみとして、データ108は、圧縮もしくは非圧縮で記憶されるピクセルから成るビットマップ、または様々な画像フォーマット(たとえば、JPEG)、ベクターベースのフォーマット(たとえば、SVG)もしくはグラフィックス描画用のコンピュータ命令として記憶されてもよい。さらに、データ108は、数、説明テキスト、プロプライエタリコード、ポインタ、(他のネットワークロケーションを含む)他のメモリ内に記憶されたデータへの参照、または関連するデータを計算するための関数によって使用される情報などの、関連する情報を識別するのに十分な情報を含み得る。

命令106は、プロセッサ102によって直接実行されるべき命令(機械コードなど)または間接的に実行されるべき命令(スクリプトなど)の任意のセットとすることができる。その点で、「命令」、「アプリケーション」、「ステップ」、および「プログラム」という用語は、本明細書では交換可能に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコードフォーマットで、または、オンデマンドで解釈されるかもしくは事前にコンパイルされるスクリプトもしくは独立ソースコードモジュールの集合体を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の関数、メソッドおよびルーチンは、以下でより詳細に説明される。

デバイス100は、入力110をさらに含み得る。入力110は、たとえば、タッチセンサ、ダイヤル、ボタン、または手動コマンドを受信するための他の制御であってもよい。入力110は、いくつかの例では、マイクロフォンであってもよい。デバイス100はまた、出力120を含み得る。出力120は、たとえば、スピーカーであってもよい。

デバイス100は、センサ112を含み得る。センサ112は、デバイス100の周りの地物および/または物体を検出するための1つまたは複数の画像センサ114であってもよい。1つまたは複数の画像センサ114は、光信号を電気信号に変換して、デバイス100の周りの地物および/または物体を検出またはキャプチャすることができる。1つまたは複数の画像センサは、たとえば、電荷結合素子(「CCD」)センサまたは相補型金属酸化膜半導体(「CMOS」)センサであってもよい。1つまたは複数のプロセッサ102は、1つまたは複数の画像センサ114によって検出された地物および/または物体を処理して、少なくとも1つの検出された地物および/または物体を関心地点として識別することができる。1つまたは複数の画像センサ114は、デバイス100の少なくとも1つの端に位置してもよい。いくつかの例では、1つまたは複数の画像センサ114は、デバイス100の背面に位置してもよい。

センサ112はまた、加速度計116を含み得る。たとえば、加速度計116は、デバイス100の姿勢または配向を決定することができる。いくつかの例によれば、デバイス100は、デバイスの内部コンパスに基づいて配向を識別し、デバイスの内部加速度計116に基づいて重力ベクトルを識別することができる。センサ112は、GPSセンサ118、またはデバイス100のロケーションを決定するための他の測位要素をさらに含み得る。デバイスのロケーションは、デバイス100の緯度座標および経度座標であってもよい。

デバイス100は、バッテリ、バッテリ用の充電入力、信号処理構成要素などの、示されていない他の構成要素を含み得ることを理解されたい。そのような構成要素はまた、命令106の実行において利用され得る。

図2は、本明細書で説明される特徴が実装され得る例示的なシステム200を示す。これは、本開示の範囲または本明細書で説明される特徴の有用性を限定するものと見なされるべきではない。この例では、システム200は、複数のデバイス202、212、222、232、ユーザ204、214、224、234、サーバコンピューティングデバイス270、ストレージシステム260、およびネットワーク250を含み得る。容易にするために、デバイス202、212、222、232の集合体または単一のデバイスがデバイス202と呼ばれる。さらに、やはり容易にするために、ユーザ204、214、224、234のグループおよび1人のユーザが204と呼ばれる。

各デバイス202は、それぞれのユーザ204による使用を目的とするパーソナルコンピューティングデバイスであってもよく、1つまたは複数のプロセッサ(たとえば、中央処理ユニット(CPU))、データおよび命令を記憶するメモリ(たとえば、RAMおよび内部ハードドライブ)、ディスプレイ(たとえば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビジョン、または情報を表示するように動作可能なスマートウォッチディスプレイなどの他のデバイス)、およびユーザ入力デバイス(たとえば、マウス、キーボード、タッチスクリーンまたはマイクロフォン)を含む、デバイス100との関係で上記で説明されたような、パーソナルコンピューティングデバイスに関連して通常使用される構成要素のすべてを有してもよい。デバイス202はまた、カメラ、スピーカー、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用される構成要素のすべてを含み得る。上述のように、デバイス202は、画像センサをさらに含み得る。画像センサは、複数の関心地点280の地物および/または物体をキャプチャし得る。デバイス202は、ネットワーク250を介してデータをワイヤレスに交換および/または取得することが可能であり得る。

デバイス202はそれぞれ、インターネットなどのネットワークを介してサーバとデータをワイヤレスに交換することが可能なモバイルコンピューティングデバイスを含み得るが、デバイス202は代替的に、フルサイズのパーソナルコンピューティングデバイスを含み得る。例のみとして、デバイスは、ワイヤレス対応PDA、タブレットPC、ウェアラブルコンピューティングデバイス(たとえば、スマートウォッチ、ヘッドセット、スマートグラス、仮想現実プレイヤー、他のヘッドマウントディスプレイなど)、またはインターネットもしくは他のネットワークを介して情報を取得することが可能なネットブックなどのモバイルフォンまたはデバイスであってもよい。

デバイス202は、ネットワーク250の様々なノードにあってもよく、ネットワーク250の他のノードと直接および間接的に通信することが可能であってもよい。4つのデバイスが図2に描かれているが、典型的なシステム200は、各コンピューティングデバイスがネットワーク250の異なるノードにある、1つまたは複数のデバイスを含むことができることを諒解されたい。ネットワーク250および本明細書で説明される介在ノードは、ネットワークがインターネット、ワールドワイドウェブ、特定のイントラネット、ワイドエリアネットワーク、またはローカルネットワークの一部であり得るように、様々なプロトコルおよびシステムを使用して相互接続され得る。ネットワーク250は、1つまたは複数の企業が専有する、WiFiなどの標準的な通信プロトコルを利用することができる。いくつかの利点は、情報が上記で述べられたように送信または受信されるときに得られるが、本明細書で説明される主題の他の態様は、送信の任意の特定の方式に限定されない。

一例では、システム200は、他のコンピューティングデバイスとの間でデータを受信、処理および送信するためにネットワークの異なるノードと情報を交換する、複数のコンピューティングデバイスを有する1つまたは複数のサーバコンピューティングデバイス、たとえば、負荷分散されたサーバファームを含み得る。たとえば、1つまたは複数のサーバコンピューティングデバイス270は、ネットワーク250を介して1つまたは複数のデバイス202と通信することが可能なウェブサーバであってもよい。加えて、サーバコンピューティングデバイス270は、ネットワーク250を使用して、その他のデバイス202のうちの1つのユーザ204に情報を送信および提示してもよい。サーバコンピューティングデバイス270は、1つまたは複数のプロセッサ、メモリ、命令、およびデータを含み得る。これらの構成要素は、デバイス100に関して上記で説明された構成要素と同じまたは同様のやり方で動作する。

ストレージシステム260は、様々なタイプの情報を記憶し得る。たとえば、ストレージシステム260は、公的にアクセス可能な評価、マップデータなどの、関心地点についての情報を記憶し得る。ストレージシステム260は、マップデータを記憶し得る。マップデータは、たとえば、関心地点のロケーションを含み得る。この情報は、本明細書で説明される特徴のいくつかまたはすべてを実行するために、1つまたは複数のサーバコンピューティングデバイス270などのサービスコンピューティングデバイスによって取り出されるか、または他の方法でアクセスされ得る。

図3は、例示的なデバイス300を示す。この例では、デバイス300はモバイルフォンであるが、他の例では、デバイスは様々な異なるタイプのうちのいずれかであってもよいことを理解されたい。デバイス300は、入力、ディスプレイ、センサ、内部電子機器、および出力を含み得る。

入力は、デバイス100に関して説明された入力などの、ユーザ入力302を含み得る。入力は、言葉によるコマンドまたはオーディオ入力を受信するためのマイクロフォン304を含み得る。

ディスプレイ306は、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、またはテレビジョンなどの、任意のタイプのディスプレイであってもよい。図3に示されるように、ディスプレイは、モバイルデバイスのタッチスクリーンであってもよい。デバイス300のディスプレイ306は、グラフィカルユーザインターフェース(「GUI」)または他のタイプのユーザインターフェースを介してユーザに情報を電子的に表示し得る。たとえば、以下で論じられるように、ディスプレイ306は、ユーザを取り囲む関心地点に対応する情報を電子的に表示し得る。

センサは、デバイス100に関して説明された画像センサを含む、画像センサ308を含み得る。いくつかの実装形態では、画像センサ308はデバイスの端に設けられ得る。画像センサは、ユーザがデバイスを持ってそのディスプレイを見ているときなど、デバイスが使用中であるとき、画像センサ308の視野がデバイスを取り囲む物体を含むように配置され得る。たとえば、視野はユーザの前の物体を含み得る。画像センサ308がデバイス300の端、たとえば、上端にあると、デバイス300がユーザによって持たれているとき、画像センサ308は当然ながら、ユーザから離れて、目立つ地物および/または物体の方向に向いている場合がある。3つの画像センサ308が示されているが、デバイス300は任意の数の画像センサ308を有し得る。さらに、画像センサ308はデバイス300の端に位置するものとして描かれているが、画像センサ308は、デバイス300の背面、デバイス300のディスプレイ306側などの他の場所に、または他の画像キャプチャ機構の一部として位置してもよい。したがって、図3に示される画像センサ308の数およびロケーションは、限定的であることを意図するものではない。

ユーザは、画像センサ308による画像感知を有効化または無効化することができ、デバイスは、ユーザがこの機能を有効化した場合にのみ、地物および/または物体を検出し得る。いくつかの例によれば、ユーザは、よく知っているロケーションなどの特定のロケーションにおいて自動的に無効化するように画像センサ308を設定してもよい。別の例として、ユーザは、屋外などの特定のロケーションまたは設定においてのみ画像感知を有効化するパラメータを定義してもよい。

画像センサ308は、画像を受信することが可能な任意のセンサであってもよい。画像センサ308は、画像センサ308の視野内にある地物および/または物体をキャプチャし得る。キャプチャされた地物/物体に関する情報は、姿勢情報、近くの関心地点などの、さらなる情報を決定するために使用され得る。

3つの画像センサ308が図3に示されているが、追加のまたはより少ない画像センサが含まれ得ることを理解されたい。さらに、デバイスの端または背面に沿った画像センサの位置が変化し得る。画像センサの数および位置が変化すると、センサの視野も変化し得る。

キャプチャされた地物および/または物体は、デバイス300のディスプレイ306上に表示される必要はない。いくつかの例によれば、画像センサ308によってキャプチャされた地物および/または物体は、決してファームウェアを離れなくてもよく、したがって、ピクチャまたは画像としてデバイス300に保存されなくてもよい。

センサは、GPSセンサをさらに含み得る。GPSセンサは、デバイスのロケーションについての大まかな指示を提供し得る。画像センサ308によってキャプチャされた地物は、GPSセンサによって示されたロケーションを精緻化するために使用されてもよく、逆もまた同様である。いくつかの例によれば、GPSデータは、姿勢データを決定するときに視覚測位システム(「VPS」)インデックスのどの部分が考慮されるべきかを決定するために使用され得る。VPSは、インデックスのどの異なる部分が異なるロケーションに対応するかを示し得る。

センサは加えて、加速度計を含み得る。加速度計は、デバイスの姿勢または配向を決定し得る。さらに、センサはジャイロスコープを含み得る。プロセッサは、ジャイロスコープデータを受信することができ、その他のセンサの各々から収集されたデータと組み合わせてジャイロスコープデータを処理して、デバイスの配向を決定することができる。いくつかの例では、ジャイロスコープデータだけで、プロセッサがデバイスの配向を決定するのに十分であり得る。

内部電子機器は、たとえば、1つまたは複数のプロセッサ、あるいは画像センサ308によってキャプチャされた地物または物体を処理するように適合された他の構成要素を含み得る。キャプチャされた地物または物体は、姿勢データを決定するために処理され得る。姿勢データは、画像センサ308によってキャプチャされた主要なまたは目立つ地物に基づいてもよい。検出された地物および/または物体は、デバイスの姿勢データを決定するために、GPS読取値および/または加速度計読取値もしくは他のセンサ読取値と組み合わせて使用され得る。姿勢データは、座標などのデバイスのロケーションと、画像センサ308、拡大解釈すれば、デバイス300および/またはユーザがどの方向を向いているかなどのデバイスの配向とを含み得る。

姿勢データは、デバイス、拡大解釈すれば、ユーザを取り囲む領域内の複数の関心地点を決定するために使用され得る。内部電子機器は、たとえば、デバイス300のディスプレイ306上で、関心地点に関する情報をユーザに提供し得る。

出力310は、音楽、会話、または他のオーディオコンテンツの再生などの、オーディオを出力するための1つまたは複数のスピーカーを含み得る。いくつかの実施形態によれば、出力はまた、ディスプレイ306であってもよい。

図4は、ユーザがデバイスを持っており、画像センサが画像センサの視野における地物および/または物体をキャプチャしている例を示す。デバイス402は、本明細書で説明されるデバイス300と同様であってもよい。ユーザ404は、関心地点410から距離「D」だけ離れていてもよい。画像センサは、示されてはいないが、デバイス402の上端に位置してもよい。したがって、ユーザ404がデバイス402を持っているとき、画像センサは、ユーザ404の視野にある地物および/または物体をキャプチャし得る。

画像センサは、たとえば、バス停、建物、公園などの常設のおよび/または特徴的な構造物をキャプチャし得る。より特徴的な地物はデバイスのロケーション/配向を特徴付けるのに有用である場合があり、常設の地物は以前にキャプチャされた画像に基づいて生成されるVPSインデックスにおいて表される可能性が高い場合がある。逆に、画像センサによってキャプチャされた、人間、歩道、車、木、および道路などのあまり特徴的ではないおよび/またはより一時的な地物は、姿勢データを決定するために無視される場合がある。あまり特徴的ではない地物は、デバイスのロケーションおよび配向を決定するのを支援する可能性が低い場合があり、一時的な地物は、VPSインデックスにおいて表される可能性が低い。いくつかの実装形態では、機械学習は、姿勢データを決定するためにどの地物を利用すべきか、およびどの地物を無視すべきかを決定するために使用され得る。いくつかの例では、関心地点は、姿勢データによって示されたデバイスの配向に基づいて決定され得る。たとえば、関心地点は、ユーザデバイスロケーションの特定の範囲内にあり、デバイスの配向に基づく特定の角度範囲または範囲もしくは配向内にある関心地点から選択され得る。

画像センサの各々は垂直視野を有し得る。図4は、デバイスの上端に位置する画像センサの垂直視野406を示す。垂直視野406は、所定の角度408によって定義され得る。いくつかの例では、垂直視野406は、画像センサの開口によって決定され得る。図4に示されるように、画像センサは、垂直視野406に基づいて、関心地点410の全高をキャプチャしないことがある。

垂直視野探索角度は垂直視野406内にあり得る。いくつかの例によれば、垂直視野探索角度は、デバイスが、画像センサが指している地物および/または物体により近いかあるいは地物および/または物体からより離れているかに応じて、サイズが動的に変化し得る。より多くの地物および/または物体をキャプチャできるようにするために、画像センサが地物および/または物体により近いときなど、距離Dがより小さいときに、垂直視野探索角度は増加し得る。キャプチャされることになる地物および/または物体の量を制限するために、画像センサが地物および/または物体からより離れているときなど、距離Dがより大きいときに、垂直視野探索角度は減少し得る。垂直視野探索角度は、角度408と同じ角度であってもよい。いくつかの例では、垂直視野探索角度は、角度408より大きくてもよく、または角度408より小さくてもよい。

図5は、デバイスの水平視野の例を示す。図4に示されるデバイスと同様に、画像センサはデバイス502の上端に位置してもよい。画像センサは水平視野506を有し得る。水平視野506は、所定の角度508によって測定され得る。角度508は、デバイス502の配向に基づいてセンタリングされ得る。いくつかの例によれば、所定の角度508は30度であってもよい。いくつかの例では、角度508は30度より大きくてもよく、または30度より小さくてもよい。これは、ユーザの視野内にある関心地点の指示を提供するのに役立ち得る。

水平関心地点探索角度は水平視野506内にあり得る。水平関心地点探索角度は、関心のある地物および/または物体と比較したデバイスのロケーションに基づいて、サイズが変化し得る。たとえば、水平関心地点探索角度は、画像センサが、画像センサが指している地物および/または物体により近いかあるいは地物および/または物体からより離れているかに応じて、動的に変化し得る。より多くの地物および/または物体をキャプチャできるようにするために、画像センサが地物および/または物体により近いときなど、距離Dがより小さいときに、水平関心地点探索角度は増加し得る。キャプチャされることになる地物および/または物体の量を制限するために、画像センサが地物および/または物体からより離れているときなど、距離Dがより大きいときに、水平関心地点探索角度は減少し得る。水平視野探索角度は、角度508と同じ角度であってもよい。いくつかの例では、水平視野探索角度は、角度508より大きくてもよく、または角度508より小さくてもよい。

画像センサが視野506における地物および/または物体をキャプチャしているとき、デバイス502の内部電子機器は、自然なポインティングオフセットのための姿勢補正を提供し得る。たとえば、画像センサが関心地点の方向を指しているとき、関心地点は、照準の不正確さなどのユーザエラーのせいで、視野506の外にある場合がある。いくつかの実装形態では、探索角度は、たとえば、画像センサの視野に対応する角度範囲を越えて拡大され得る。これは、画像センサを関心地点に向けるユーザの不正確さを補償するのに役立ち得る。たとえば、視野506は、増加した角度520によって示されるように、所定の量だけ探索角度を増加し得る。いくつかの例によれば、角度508は、10度だけ増加して角度520になり得る。10度の増加は例にすぎない。視野角度508からの探索角度は、2度、5度、7.5度、20度などだけ増加し得る。したがって、いくつかの例では、画像センサの視野506より大きい、探索目的の視野518があり得る。

図5に示されるように、視野内に複数の関心地点510があり得る。関心地点510は、美術館、バー、カフェもしくはレストラン、屋台、店、医療施設、ランドマーク、または任意の他のロケーションを含み得る。図5に示されるように、複数の関心地点に対応する、隣り合う建物511～516の列があり得る。画像センサの視野506は、建物513～515のみをキャプチャし得る。画像センサによってキャプチャされた地物および/または物体ならびにデバイスの姿勢データに基づいて関心のあるロケーションの領域を探索するとき、視野508は、探索領域が探索角度518に対応するように増大してもよく、それによって建物512～515をキャプチャする。デバイス502のプロセッサは、自然なポインティングオフセットのための姿勢補正を提供するために、デバイスと視野508内の複数の関心地点との間の距離に基づいて視野508からの探索角度を増加し得る。

図6Aおよび図6Bは、関心地点を決定するために物体をキャプチャおよび解析する例を示す。図6Aに示されるように、画像センサは、画像センサの視野における地物および/または物体をキャプチャし得る。キャプチャ(600)された建物602～604は、視野における目立つ地物および/または物体であり得る。本明細書で論じられるように、歩道、車、木、および人間などの、あまり特徴的ではない地物は、デバイスのロケーションおよび配向、したがって、関心地点を決定するのを支援する可能性が低い場合があるので、無視される場合がある。いくつかの例では、キャプチャ(600)された地物および/または物体は、ユーザに表示されない場合がある。キャプチャ(600)された地物および/または物体は、デバイスに保存されない場合がある。

図6Bは、視野内の探索角度における地物および/または物体がどのように解析されるかの例を示す。たとえば、キャプチャ(600)された建物602～604は、建物602～604の各々が視野において占める空間の量を決定するために解析され得る。いくつかの例では、デバイスは、建物602～604の各々が視野内の探索角度においてそれぞれの幅612～614を有すると決定し得る。幅は、画像センサによってキャプチャされた関心地点を決定するときに考慮され得る。たとえば、関心地点、すなわち、建物602～604は、画像センサによってキャプチャされたただ1つのポイントの代わりに、それらのそれぞれの幅612～614に基づいて考慮され得る。図6Bを例として使用すると、建物603の幅613は完全に、画像センサの視野内の探索角度内にあり、画像センサによってキャプチャされた最も大きい幅である。建物604は、幅613より小さいが、建物602の幅612より大きい幅614を有する。それぞれの幅612～614は、可能性の高い関心地点のランクを決定するために使用され得る。たとえば、画像センサの視野内の探索角度において最も大きい幅を占める関心地点は、その関心地点が、画像センサが向けられていたものであったことを示し得る。

図7は、デバイスのロケーションの例を示す。GPSセンサは、加速度計、画像センサ、および任意の他のセンサと共に、デバイスのロケーションを決定し得る。たとえば、センサは、デバイスがマップ700上のある一定の位置に対応するロケーションXにあると決定し得る。しかしながら、センサの不正確さのせいで、デバイスのロケーションがロケーションXおよび周囲の半径702として識別される場合がある。半径702は、デバイスの正確なロケーションの不確かさを補償し、複数の関心地点を決定するときのより大きい探索領域を提供し得る。

図8は、デバイスの姿勢データを決定する例を示す。姿勢データは、デバイスのロケーションおよびデバイスの配向を含み得る。センサは、画像センサが指している方向を決定し得る。画像センサは視野角度802を有し得る。たとえば、マップ800上に示されるように、デバイスがロケーションXにあるとセンサが決定する場合、画像センサによって検出された地物および/または物体は、GPSセンサ読取値および加速度計読取値と組み合わせて、デバイスの配向を決定し得る。たとえば、加速度計は、デバイスがポートレート位置からランドスケープ位置に回転されたかどうかを決定し得る。したがって、センサは、画像センサが真東などのある一定の方向を指していると決定し得る。

図9は、デバイスの姿勢データに基づくクエリの例を示す。一方向クエリおよび/または多方向クエリは、画像センサの視野における関心地点を決定するために実行され得る。システムは、一方向クエリおよび多方向クエリのいずれかまたは両方を実行し得る。

一方向クエリは、デバイス、したがって、画像センサが関心地点910、911から離れているときに使用され得る。一方向クエリは、複数の関心地点910、911を決定するために、画像センサの視野902内の探索角度内の地物および/または物体のみを使用し得る。たとえば、マップ900上に示されるように、デバイスはロケーションXにある場合がある。画像センサは真東の方向に向けられ得る。示されるように、デバイスのロケーションXは、関心地点910、911から通りを隔てたところにある。したがって、いくつかの例によれば、デバイスは、画像センサの視野904内の探索角度に基づく一方向クエリのみを使用するのに関心地点910、911から十分遠く離れている場合がある。

多方向クエリは、デバイス、したがって、画像センサが関心地点に近いときに使用され得る。この手法は、関心地点がユーザに近いほど、不正確なデバイス/画像センサのポインティングの影響がより顕著になるということを補償するのに役立ち得る。これは、関心地点に近いとき、それほど多くの地物および/または物体が画像センサによってキャプチャされない場合があるということも補償し得る。多方向クエリは、センサの視野内の探索角度だけではなく、デバイスのロケーションを取り囲む半径も探索することによって実行され得る。たとえば、ロケーションXが任意の特定の関心地点に近すぎてどの関心地点を識別すべきかを決定できないと決定される場合がある。デバイスは、関心地点を決定するときに、ロケーションXを取り囲む領域904を探索するために多方向クエリを使用し得る。多方向クエリは、画像センサの視野902内の探索角度の中にある関心地点910、911を識別し得る。いくつかの例では、多方向クエリは、画像センサの視野902内の探索角度の中にはないが、その代わりに、画像センサの背後にあり得る関心地点912、913も識別し得る。

いくつかの例によれば、多方向クエリは、第1の距離より大きいデバイスロケーションからの第2の距離および第1の角度範囲より狭い第2の角度範囲によって定義された第2の領域内にある関心地点に加えて、デバイスロケーションからの第1の距離および第1の角度範囲によって定義された第1の領域内にある関心地点を示すことを含む。一例によれば、第1の角度範囲は120度から360度の間であってもよく、第1の距離は1メートルから10メートルの間であってもよい。対照的に、第2の角度範囲は20度から50度の間であってもよく、第2の距離は10メートルから400メートルの間であってもよい。いくつかの例では、第1の角度範囲は90度から300度の間であってもよく、第1の距離は0.5メートルから8メートルの間であってもよいが、第2の角度範囲は12.5度から45度の間であってもよく、第2の距離は8メートルから350メートルの間であってもよい。角度範囲および距離は画像センサの数および位置ならびに画像センサの仕様に基づき得るので、これらの例は限定的であることを意図するものではない。

画像センサによってキャプチャされた地物および/または物体、デバイスの姿勢データならびにデバイスのロケーションに基づいて、複数の関心地点が識別され、ユーザに提供され得る。いくつかの例によれば、関心地点が関連性の順にランク付けされ、表示のために提供され得る。たとえば、特定の地理的領域内の複数の関心地点が決定された後、関心地点の関連性重みが計算され得る。関連性重みは、1つまたは複数の基準に基づいて関心地点をランク付けするために使用され得る。この点で、たとえば、最も高いランクの関心地点がデバイスによる出力として提供され得る。関連性重みは、姿勢データによって示されたロケーションからの距離および関心地点のタイプの一方または両方に基づいて決定され得る。いくつかの例では、関心地点に関連付けられた評価も考慮に入れられ得る。たとえば、関連性重みは、
重み=(距離グループ係数*50)+(タイプ係数*10)+(評価係数*2)
などの式を用いて計算され得る。

距離グループ係数は、デバイスと関心地点との間の事前定義された距離しきい値に基づいて決定され得る。たとえば、デバイスから0mから50mの間にある関心地点は、3の距離グループ係数を有し得る。デバイスから50mから175mの間にある関心地点は、2の距離グループ係数を有し得る。デバイスから175mを超えて離れている関心地点は、1の距離グループ係数を有し得る。距離グループ、したがって、提供される係数は例にすぎず、したがって、任意の範囲および任意の係数の数値によって定義され得る。たとえば、0mから100mの間にある関心地点は、5の距離グループ係数を有し得るが、100mから160mの間にある関心地点は、4の距離グループ係数を有し得る。距離しきい値、したがって、距離グループ係数は、デバイスのロケーションに基づいて定義され得る。たとえば、混雑した都市では、関心地点が共により近くなり得るにつれて、距離しきい値は減少し得る。地方の領域では、関心地点がより広がり得るにつれて、距離しきい値は増大し得る。距離係数は、線形クラスタリングアルゴリズムを使用して決定され得る。

タイプ係数は、ロケーションまたは設立物のタイプに基づいて決定され得る。たとえば、デバイスは、関心地点が美術館であるか、バーであるか、カフェもしくはレストランであるか、屋台であるか、店であるか、医療施設であるか、ランドマークであるか、または任意の他のロケーションであるかを考慮し得る。デバイスは、どのタイプの場所がクエリされる可能性が最も高いかを学習し、したがって、それらのタイプの場所により高いタイプ係数を与え得る。たとえば、美術館は4のタイプ係数を返してもよく、車、カフェ、またはレストランは3.5のタイプ係数を返してもよく、食べ物を出すが、バー、カフェ、またはレストランではない場所は3のタイプ係数を有してもよく、店は2.5のタイプ係数を有してもよく、診療所または歯科医院などの医療施設は2のタイプ係数を有してもよく、事前定義されたタイプに入らない任意の他の関心地点は1のタイプ係数を有してもよい。1のタイプ係数はまた、デフォルトのタイプ係数として使用され得る。いくつかの例では、タイプ係数は、関心地点が視野において占める空間の割合に基づいて決定され得る。したがって、美術館または百貨店は4のタイプ係数を有してもよく、カフェは2のタイプ係数を有してもよい。タイプ係数は、関心地点が、バス停などの透けて見えるものか、または、建物などの中身の詰まったものかに基づいて決定され得る。ユーザがクエリする可能性が最も高いのはどのタイプの場所かをシステムが学習するにつれて、タイプ係数は変化し得る。たとえば、システムは、機械学習を実行して、関心地点の各々に対するタイプ係数を絶えず更新し、変化させることができる。

同じ距離グループおよび/またはタイプグループ内にある関心地点は、さらにランク付けされ得る。たとえば、関連性重みは、
グループ内相対距離=(1-正規化された距離)
などの式を用いたさらなる計算を含み得る。

正規化された距離は、
正規化された距離=最小値(ユーザまでの距離、探索範囲)/探索範囲
などの式を使用して計算され得る。

いくつかの例では、最小値は、ユーザまでの距離と探索範囲との間の最も小さい値であり得る。これは、距離に対する小さい重みしか与えられていなくても、物体間の距離を考慮し得る。

ユーザまでの距離は、デバイスと識別された関心地点との間の直線距離または絶対距離によって決定され得る。たとえば、直線距離は、距離がデバイスと関心地点との間の小道または歩いて行ける距離をたどらないような、「一直線の(as the crow flies)」距離と見なされる場合がある。いくつかの例では、ユーザまでの距離は、ユーザが関心地点に到着するために歩かなければならない距離によって決定され得る。たとえば、ユーザは、建物の中を通らずに、トラフィックパターンをたどり、歩道を歩かなければならない場合がある。

探索範囲は、デバイス、オペレーティブシステム、内部電子機器などによって事前設定された範囲に基づいて決定され得る。たとえば、探索範囲は、デバイスの決定されたロケーションの周りの100メートル半径であってもよい。したがって、一方向クエリまたは多方向クエリを実行するとき、探索は100メートル半径内の関心地点のみを含む場合がある。100メートルは一例にすぎない。探索範囲は、より小さくてもよく、またはより大きくてもよい。たとえば、都市のような混雑した場所では、探索範囲は、探索によって返される関心地点の数を制限するために、より小さくてもよい。地方のロケーションなどのあまり混雑していない場所では、探索範囲は、探索によって返される関心地点の数を増加させるために、より大きくてもよい。探索範囲は、ユーザ入力なしで変化し得る。たとえば、探索範囲は、デバイスの決定されたロケーションに基づいて変化し得る。

評価係数は、少なくとも1人のユーザが作成した、公的に利用可能な場所の評価に基づいて決定され得る。たとえば、システムは、関心地点の各々に対する公的に利用可能な評価を決定するために、インターネットレビューウェブサイトをクエリしてもよい。

いくつかの例では、関連性重みはさらに、見通し線、関心地点の法線ベクトル、および角サイズに基づいて計算され得る。見通し線は、画像センサがキャプチャするものを含み得る。したがって、関連性重みは、見通し線の中のほとんど見えないまたはまったく見えない関心地点よりも、画像センサ、したがって、ユーザの見通し線の中の関心地点に、より多くの重みを与え得る。関心地点の法線ベクトルは、関心地点の法線からの角度測定を考慮に入れることができる。法線は、関心地点の正面に対して垂直に取られた線である。したがって、関連性重みは法線からの角度を考慮し得る。法線からの角度が大きいほど、画像センサは関心地点を直接指す可能性が低い場合がある。法線からの角度が小さいほど、画像センサは、関心地点を直接指す可能性が高い場合がある。角サイズは、角度として測定された、視野における地物および/または物体のサイズを含み得る。これは、いくつかの例では、地物および/または物体がどのくらいの視野を占めるかを計算するために使用され得る。

さらに他の例では、関連性重みはさらに、ユーザが訪問したかまたはランク付けした場所の履歴に基づいて計算され得る。以前に選択された場所は、より高くランク付けされ得る。関連性重みは、安売り(sales)または特売(specials)をしている関心地点に基づいて計算され得る。たとえば、百貨店が安売りをしている場合、百貨店は、安売りをしていない大規模小売店よりも高くランク付けされ得る。いくつかの例では、劇場またはコンサート会場などの、その日にイベントがある関心地点は、イベントの日時に基づいてより高くランク付けされ得る。関連性重みの計算は、視野における関心地点の正面のサイズを含み得る。たとえば、より大きい正面は視野においてより目立つ場合があり、したがって、より関連性があり得る。

図10Aに示されるように、関心地点に関する情報はデバイス上のディスプレイを介して示され得る。デバイス1000は、デバイス300と同様であってもよい。たとえば、デバイス1000は、入力1002、マイクロフォン1004、ディスプレイ1006、1つまたは複数の画像センサ1008、および出力1010を含み得る。これらの特徴は、デバイス300に関して本明細書で論じられた特徴と同様であってもよい。

デバイスは、関心地点に関する情報をユーザに、たとえば、デバイスのホームスクリーンまたはディスプレイ1006上に情報をオーバーレイすることによって、提供し得る。情報は、リスト、マップ、マップへの注釈などの様々な異なる方法で提供され得る。情報は、関連性重み、ユーザまでの距離、評価が最も高い関心地点、可視性などに基づいて順序付けられ得る。他の例によれば、情報は、デバイスの1つもしくは複数のスピーカーまたはデバイスと組み合わされたアクセサリを通じて、オーディオデータとして出力され得る。

いくつかの例によれば、関心地点が宣伝され得る。関心地点の所有者または広告者が金を払って関心地点を宣伝した場合、関心地点が宣伝され得る。宣伝される関心地点は、宣伝により、最も関連する関心地点として示され得る。たとえば、ある関心地点が宣伝されている場合、その関心地点は「宣伝されている」ものとして示され、最も関連する関心地点として現れる場合がある。宣伝される関心地点は、宣伝される関心地点が計算された関連する重みに基づく最も関連する関心地点ではない場合があることを示すために、「スポンサー付き」または「広告」として示される場合がある。

いくつかの例では、デバイスは、減少したまたは最小限のユーザ入力で、この情報をユーザに提供し得る。たとえば、ユーザは、探索クエリを実施してユーザの近傍にある関心地点を決定するために、デバイス上でアプリケーションを開く必要がない(または、いくつかの例では、任意のアクティブな入力を提供する必要すらない)場合がある。デバイスは、いくつかの例によれば、画像センサの視野を自動的に(または単一のユーザ入力に基づいて)クエリして、特定の地理的領域における関心地点に関する情報を決定および提供し得る。さらに、デバイスは、画像センサの視野および複数の関心地点の各々に与えられた関連性重みに基づいて、より関連する結果をユーザに提供し得る。

図10Aは、関心地点に関する情報が詳細なリストとして提供される例を示す。関心地点の各々は、ディスプレイ1006上で個々の場所カード1020～1024またはボタンとして提供され得る。たとえば、より関連する関心地点は、場所カード1020として示されるレストランであってもよい。場所カード1020は、デバイスの決定されたロケーションからの距離および公的に利用可能な評価を含む、レストランについての情報を含み得る。場所カード1020は、ユーザがレストランに関するより多くの情報を見つけ出すことを可能にする、ユーザ入力用のアイコンとして働くなど、インタラクティブであってもよい。いくつかの例では、インタラクティブな場所カード1020は、関心地点に関連するクイックアクションを可能にし得る。たとえば、システムは、クイックアクションを可能にするための関心地点向けのサービスと統合されてもよい。レストランの場合、クイックアクションは、ユーザが予約することを可能にし得る。2番目の最も関連する関心地点は、場所カード1021として示されるコーヒーショップであってもよい。関連性重みを計算するための式を使用すると、コーヒーショップは、正面のサイズ、デバイスの決定されたロケーションからの距離、公的に利用可能な評価などに起因して、2番目の最も関連するものであり得る。場所カード1021、コーヒーショップに対するクイックアクションは、コーヒーをモバイル注文することであり得る。たとえば、クイックアクションは、ユーザが、関心地点に一度も入ることなく注文することおよび注文の支払いをすることを可能にし得る。3番目の最も関連する関心地点は、場所カード1022として示されるコンビニエンスストアであってもよい。4番目の最も関連する関心地点は、場所カード1023として示される大規模小売店であってもよい。5番目の最も関連する関心地点は、場所カード1023として示される映画館であってもよい。場所カード1023、映画館に対するクイックアクションは、映画チケットを注文することであり得る。たとえば、クイックアクションは、ユーザがチケットを注文することおよび上映の座席を選択することを可能にし得る。ディスプレイ1006上に示される関心地点よりも関連する関心地点があってもよい。たとえば、ディスプレイ1006は、ユーザがリストをスクロールして
さらなる関心地点を見るためにタッチ入力を行うことができるように、タッチ起動され得る。

関心のある場所が現れる順序は、システムがユーザの選択肢を学習するにつれて変化し得る。デバイスは、その特定の地理的領域におけるユーザが特定のオプションを一貫して選ぶことを経時的に学習することができ、したがって、デバイスは、特定のオプションを宣伝することができる。たとえば、関連性重みの式は、最も関連するものから最も関連しないものの順序で、レストラン、コーヒーショップ、コンビニエンスストア、大規模小売店、および映画館として、関心地点をランク付けし得る。しかしながら、経時的に、システムは、関心地点がその順序で提示されたときに、ユーザがレストランを選択するよりも頻繁にユーザがコーヒーショップを選択する場合があることを、機械学習を通じて学習することができる。したがって、そのロケーションにおける将来のクエリでは、システムは、コーヒーショップの関連性重みがレストランの関連性重みより小さい場合でも、コーヒーショップが最も関連するものになっている関心地点のリストを提示し得る。

図10Bは、関心地点に関する情報が注釈付きマップとして提供される例を示す。たとえば、関心地点の各々は、マップ1030上のポイントA～Fとして提供され得る。マップ1030の下に、ポイントA～Fに関する情報が提供され得る。たとえば、関心地点の名前および/またはタイプが、マップ上のポイントA～Fとの関係で示され得る。いくつかの例では、ポイントAは、1番目にリストされるので、最も関連する関心地点と見なされ得る。マップ1030上のポイントAはレストランに対応することができ、ポイントBはコーヒーショップに対応することができ、ポイントCはコンビニエンスストアに対応することができ、ポイントDは大規模小売店に対応することができ、ポイントEは映画館に対応することができ、ポイントFはカフェに対応することができる。

ユーザは、マップ1030と対話することが可能であり得る。たとえば、ユーザは、マップ1030上でズームインおよび/またはズームアウトすることが可能であり得る。いくつかの例では、ユーザは、関心地点のうちの1つのポイントA～Fを選択して、その関心地点についてのより多くの情報を取得することが可能であり得る。たとえば、1つのポイントA～Fを選択することにより、デバイスの決定されたロケーションまでの関心地点の距離、関心地点の評価などの情報がディスプレイ1006上に現れ得る。いくつかの例では、ユーザは、マップ1030の下のリストからポイントA～Fを選択してもよく、そのことにより、その関心地点に関する情報がディスプレイ1006上に現れ得る。

図10Cは、関心地点に関する情報がディスプレイ上に提供される別の例を示す。示されるように、関心地点のストリートビュー画像1240がディスプレイ1006上に提供され得る。関心地点の各々は、関心地点を識別するポイントA～Cを有し得る。ストリートビュー画像1240の下には、ポイントA～Cに対応する関心地点のリストがあり得る。他の例と同様に、ユーザは、ストリートビュー画像1240から、またはストリートビュー画像1240の下に提供されたリストからポイントA～Cを選択して、選択された関心地点に関するより多くの情報を表示することが可能であり得る。

図11は、デバイス1102、サーバ1104、VPS1106、およびデータベース1108の間で行われ得るステップのシーケンスを示す。たとえば、ブロック1110では、画像データがデバイス1102の1つまたは複数の画像センサによって感知され得る。

ブロック1112および1114では、画像データの中で地物および/または物体が検出され得る。たとえば、デバイス1102は、画像データから地物および/または物体を検出または抽出し得る。画像データ1112から検出された地物および/または物体は、デバイス1102からサーバ1104またはVPS1106に送られ得る。検出された地物がデバイス1102からサーバ1104に送られる例では、画像データ1114から検出された地物および/または物体は、サーバ1104からVPS1106に送られ得る。いくつかの例では、サーバ1104またはVPS1106は、画像データ1112、1114の中の地物および/または物体を検出し得る。

ブロック1118では、VPS1106は、デバイスの姿勢データ1118をサーバ1104に送り得る。デバイスの姿勢データ1118は、画像データ1112、1114から検出された地物および/または物体ならびにVPSインデックスに基づき得る。たとえば、VPS1106は、少なくとも画像データ1112、1114から検出された地物および/または物体に基づいて、デバイスのロケーションおよび配向を決定し得る。

ブロック1116では、デバイスの姿勢データ1118は、複数の関心地点についてマッピングデータベースをクエリするために使用され得る。

ブロック1118では、姿勢データに基づく決定された複数の関心地点は、データベース1108からサーバ1104に送られ得る。複数の関心地点は、デバイス1102のロケーションの半径内に位置し得る。

ブロック1120では、複数の関心地点がフィルタリングされ得る。たとえば、デバイス配向を中心としたある一定の角度範囲内に入らない関心地点は、ある一定の角度範囲内の関心地点のみが返されるように、フィルタで除去され得る。ある一定の角度範囲は、関心地点探索角度であってもよい。関心地点探索角度は、画像センサと複数の関心地点との間の距離に基づいて動的に変化する場合がある。いくつかの例では、関心地点探索角度は、ユーザによって変更される場合がある。関心地点探索角度は、たとえば、ユーザの視野と同様であってもよい。

いくつかの例では、複数の関心地点は、VPS1106、サーバ1104、またはデバイス1102においてフィルタリングされ得る。たとえば、デバイス1102は、半径内の複数の関心地点を受信し、関心地点探索角度に基づいて複数の関心地点をフィルタリングしてもよい。別の例では、サーバ1104は、関心地点探索角度に基づいて複数の関心地点をフィルタリングし、フィルタリングされた複数の関心地点のみをデバイス1102に送ってもよい。フィルタリングされた複数の関心地点1122は、デバイス1102に提供され得る。

ブロック1124では、デバイス1102上での表示のために、複数の関心地点を示す情報が提供される。

図12は、デバイスの地理的領域における少なくとも1つの関心地点に関する情報を提供するための例示的な方法を示す。たとえば、ブロック1210では、システムは、1つまたは複数の画像センサからデータを導出し得る。

ブロック1220では、システムは、1つまたは複数の画像センサから導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出し得る。たとえば、システムは、1つまたは複数の画像センサから導出されたデータの中で地物および/または物体を検出し得る。地物および/または物体は、デバイスのロケーションを決定するのに有用であり得る、常設のおよび/または特徴的な構造物を含み得る。地物および/または物体はVPSインデックスの中にある場合があり、したがって、ロケーションを決定するためにすでに使用されている場合がある。

ブロック1230では、システムは、検出された地物および/または物体に基づいてデバイスの姿勢データを決定し得る。姿勢データは、デバイスのロケーションおよび配向を含み得る。姿勢データを決定するために、システムは、様々な他のセンサと組み合わせて、画像センサによってキャプチャされた地物および/または物体を使用し得る。他のセンサは、GPSセンサ、加速度計、ジャイロスコープなどを含み得る。GPSセンサは、検出された地物および/または物体と組み合わせて、デバイスのロケーションを決定し得る。加速度計および/またはジャイロスコープは、デバイスの配向を決定するために使用され得る。デバイスの配向は、画像センサが指している方向、したがって、ユーザが向いている方向を含み得る。

ブロック1240では、システムは、姿勢データに基づいて特定の地理的領域内の関心地点を決定し得る。地理的領域は、デバイスのロケーションなどの姿勢データから離れた最大距離によって設定され得る。たとえば、地理的領域は、デバイスの周りの200メートル半径であってもよい。いくつかの例では、地理的領域は、デバイスの周りの3ブロック半径であってもよい。決定された関心地点は、画像センサ、したがって、ユーザに見えるロケーションであり得る。

ブロック1250では、システムは、関心地点のうちの1つまたは複数を示す情報を提供し得る。システムは、この情報をユーザデバイスのディスプレイに提供し得る。たとえば、システムは、関心地点を示す、リスト、注釈付きマップ、注釈付きストリートビューなどを提供し得る。いくつかの例では、システムは、関心地点を示すオーディオフィードバックを提供し得る。

関心地点は、関連性に基づいてランク付けされ得る。たとえば、デバイスのロケーションにより近いロケーション、他者によってより頻繁に選ばれているロケーション、より高い公的にアクセス可能な評価を有するロケーションなどは、関心地点の関連性を決定する際の係数であり得る。関連性を決定するためのアルゴリズムが使用されてもよい。システムは、関心地点を、それらの計算された関連性重みに基づいてランク付けし得る。

諒解されるように、本明細書で説明される技術は、既存の、たとえば、画像マッチングベースの技法よりも計算集約度が低く、より少ないデバイスリソースを必要とする方式で、ユーザの近傍にある関心地点の探索を可能にし得る。また、本技術の結果として、ユーザの近傍にある関心地点に関する指示が、あまり困難ではなくより直感的なユーザとデバイスとの間の対話によって、より迅速に提供され得る。

100 デバイス
102 プロセッサ
104 メモリ
106 命令
108 データ
110 入力
112 センサ
114 画像センサ
116 加速度計
118 全地球測位システム(「GPS」)センサ、GPSセンサ
120 出力
200 システム
202、212、222、232 デバイス
204、214、224、234 ユーザ
250 ネットワーク
260 ストレージシステム
270 サーバコンピューティングデバイス
280 関心地点
300 デバイス
302 ユーザ入力
304 マイクロフォン
306 ディスプレイ
308 画像センサ
310 出力
402 デバイス
404 ユーザ
406 垂直視野
408 角度
410 関心地点
502 デバイス
506 水平視野
508 角度
510 関心地点
511、512、513、514、515、516 建物
518 視野、探索角度
520 角度
600 キャプチャ
602、603、604 建物
612、613、614 幅
700 マップ
702 半径
800 マップ
802 視野角度
900 マップ
902、904 視野
910、911、912、913 関心地点
1000 デバイス
1002 入力
1004 マイクロフォン
1006 ディスプレイ
1008 画像センサ
1010 出力
1020、1021、1022、1023、1024 場所カード
1030 マップ
1102 デバイス
1104 サーバ
1106 VPS
1108 データベース
D 距離

Claims (41)

1. システムであって、
   ユーザデバイスの1つまたは複数の画像センサの使用から導出されたデータに基づいて、前記1つまたは複数の画像センサによってキャプチャされた1つまたは複数の地物を検出し、
   少なくとも前記1つまたは複数の検出された地物に基づいて、前記ユーザデバイスのロケーションおよび配向を含む姿勢データを決定し、
   前記姿勢データに基づいて、前記姿勢データに基づいて決定された特定の地理的領域内の複数の関心地点を決定し、前記地理的領域が、前記姿勢データに含まれる前記ユーザデバイスの前記ロケーションの事前定義された距離内にあるか、または、前記地理的領域が、前記姿勢データに含まれる前記ユーザデバイスの前記配向に基づく事前定義された角度範囲内にあり、
   前記ユーザデバイスを介して、前記複数の関心地点のうちの1つまたは複数を示す情報を提供する
   ように構成された1つまたは複数のプロセッサを備える、システム。
2. 前記事前定義された角度範囲が、前記1つまたは複数の画像センサの視野より広い、請求項1に記載のシステム。
3. 前記地理的領域が、前記ユーザデバイスの前記ロケーションからの第1の距離および第1の角度範囲によって定義された第1の地理的領域と、前記ユーザデバイスの前記ロケーションからの第2の距離および前記ユーザデバイスの前記配向に基づく第2の角度範囲によって定義された第2の地理的領域とを含み、
   前記第1の角度範囲が前記第2の角度範囲より広く、
   前記第1の距離が前記第2の距離より小さい、請求項1に記載のシステム。
4. 前記1つまたは複数の画像センサが、前記ユーザデバイスの端に位置する、請求項1から3のいずれか一項に記載のシステム。
5. 前記複数の関心地点が、前記特定の地理的領域内の関心地点についてマッピングデータベースをクエリすることによって決定される、請求項1から4のいずれか一項に記載のシステム。
6. 前記複数の関心地点が、前記ロケーションからの特定の範囲内の関心地点について前記マッピングデータベースをクエリすることによって決定され、
   返された前記関心地点が、前記ユーザデバイスの前記配向を中心とする角度範囲の外の関心地点が除外されるようにフィルタリングされる、請求項5に記載のシステム。
7. 前記姿勢データが、前記ユーザデバイスの前記1つまたは複数の画像センサによってキャプチャされた前記地物が位置するサブ領域を含む地理的領域を描くストリートレベルの画像の集合体に基づいて生成された地物データのデータベースを使用して決定される、請求項1から6のいずれか一項に記載のシステム。
8. 前記ユーザデバイスのロケーションを示すGPSデータが、前記姿勢データを決定する際に使用すべき前記地物データのデータベースの一部分を識別するために使用される、請求項7に記載のシステム。
9. 1つまたは複数のプロセッサを使用して、1つまたは複数の画像センサからデータを導出するステップと、
   前記1つまたは複数のプロセッサを使用して、前記導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出するステップと、
   前記1つまたは複数のプロセッサを使用して、少なくとも前記1つまたは複数の検出された地物に基づいて、デバイスのロケーションおよび配向を含む姿勢データを決定するステップと、
   前記1つまたは複数のプロセッサを使用して、前記姿勢データに基づいて、前記特定の地理的領域内の複数の関心地点を決定するステップであって、前記地理的領域が、前記姿勢データに含まれる前記デバイスの前記ロケーションの事前定義された距離内にあるか、または、前記姿勢データに含まれる前記デバイスの前記配向に基づく事前定義された角度範囲内にある、ステップと、
   前記1つまたは複数のプロセッサを使用して、前記地物を検出したことに応答して、前記複数の関心地点のうちの1つまたは複数を示す情報を提供するステップと
   を含む方法。
10. 前記特定の地理的領域における前記1つまたは複数の地物を検出するステップが、前記1つまたは複数の地物を検出するステップのときのユーザからのプロンプトなしで行われる、請求項9に記載の方法。
11. 前記1つまたは複数のプロセッサを使用して、前記画像センサの視野に基づいて、前記複数の関心地点を決定するステップをさらに含む、請求項9に記載の方法。
12. 前記視野が画角によって定義される、請求項11に記載の方法。
13. 前記1つまたは複数のプロセッサを使用して、前記複数の関心地点の各々に対する関連性重みを計算するステップをさらに含む、請求項9に記載の方法。
14. 前記1つまたは複数のプロセッサを使用して、前記計算された関連性重みに基づいて、前記複数の関心地点のランク付けリストを提供するステップをさらに含む、請求項13に記載の方法。
15. 関連性重みを計算するステップが、距離グループ係数、タイプ係数、および場所評価係数を使用するステップをさらに含む、請求項13に記載の方法。
16. 前記距離グループ係数が、前記デバイスと前記複数の関心地点の各々との間の事前定義された距離しきい値に基づいて決定される値である、請求項15に記載の方法。
17. 前記タイプ係数が、関心地点のタイプに基づく値である、請求項15に記載の方法。
18. 前記場所評価係数が、前記複数の関心地点の各々についての少なくとも1つの公的に利用可能な評価に基づく値である、請求項15に記載の方法。
19. 前記姿勢データを決定するステップが、GPS読取値、視覚測位システム読取値、および加速度計読取値のうちの少なくとも1つにさらに基づく、請求項9に記載の方法。
20. システムであって、
    ユーザデバイスの1つまたは複数の画像センサの使用から導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出し、
    少なくとも前記1つまたは複数の検出された地物に基づいて、前記ユーザデバイスのロケーションおよび配向を含む姿勢データを決定し、
    前記姿勢データに基づいて、前記特定の地理的領域内の複数の関心地点を決定し、前記地理的領域が、前記姿勢データに含まれる前記ユーザデバイスの前記ロケーションの事前定義された距離内にあるか、または、前記地理的領域が、前記姿勢データに含まれる前記ユーザデバイスの前記配向に基づく事前定義された角度範囲内にあり、
    前記地物を検出したことに応答して、前記複数の関心地点のうちの1つまたは複数を示す情報を提供する
    ように構成された1つまたは複数のプロセッサを備える、システム。
21. 前記特定の地理的領域における前記1つまたは複数の地物を検出することが、前記1つまたは複数の地物を検出するときのユーザからのプロンプトなしで行われる、請求項20に記載のシステム。
22. 前記1つまたは複数のプロセッサが、前記画像センサの視野に基づいて、前記複数の関心地点を決定するようにさらに構成される、請求項21に記載のシステム。
23. 前記視野が画角によって定義される、請求項22に記載のシステム。
24. 前記1つまたは複数のプロセッサが、前記複数の関心地点の各々に対する関連性重みを計算するようにさらに構成される、請求項20に記載のシステム。
25. 前記1つまたは複数のプロセッサが、前記計算された関連性重みに基づいて、前記複数の関心地点のランク付けリストを提供するようにさらに構成される、請求項24に記載のシステム。
26. 前記関連性重みが、距離グループ係数、タイプ係数、および場所評価係数を使用して計算される、請求項24に記載のシステム。
27. 前記距離グループ係数が、前記ユーザデバイスと前記複数の関心地点の各々との間の事前定義された距離しきい値に基づいて決定される値である、請求項26に記載のシステム。
28. 前記タイプ係数が、関心地点のタイプに基づく値である、請求項26に記載のシステム。
29. 前記場所評価係数が、前記複数の関心地点の各々についての少なくとも1つの公的に利用可能な評価に基づく値である、請求項26に記載のシステム。
30. 前記姿勢データを決定することが、GPS読取値、視覚測位システム読取値、および加速度計読取値のうちの少なくとも1つにさらに基づく、請求項20に記載のシステム。
31. 命令を記憶した非一時的コンピュータ可読記録媒体であって、前記命令が、1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    ユーザデバイスの1つまたは複数の画像センサからデータを導出することと、
    前記導出されたデータに基づいて、特定の地理的領域における1つまたは複数の地物を検出することと、
    少なくとも前記1つまたは複数の検出された地物に基づいて、前記ユーザデバイスのロケーションおよび配向を含む姿勢データを決定することと、
    前記姿勢データに基づいて、前記特定の地理的領域内の複数の関心地点を決定することであって、前記地理的領域が、前記姿勢データに含まれる前記ユーザデバイスの前記ロケーションの事前定義された距離内にあるか、または、前記姿勢データに含まれる前記ユーザデバイスの前記配向に基づく事前定義された角度範囲内にある、ことと、
    前記地物を検出したことに応答して、前記複数の関心地点のうちの1つまたは複数を示す情報を提供することと
    を行わせる、非一時的コンピュータ可読記録媒体。
32. 前記特定の地理的領域における前記1つまたは複数の地物を検出することが、前記1つまたは複数の地物を検出するときのユーザからのプロンプトなしで行われる、請求項31に記載の非一時的コンピュータ可読記録媒体。
33. 前記1つまたは複数のプロセッサに、前記画像センサの視野に基づいて、前記複数の関心地点を決定することをさらに行わせる、請求項31に記載の非一時的コンピュータ可読記録媒体。
34. 前記視野が画角によって定義される、請求項33に記載の非一時的コンピュータ可読記録媒体。
35. 前記1つまたは複数のプロセッサに、前記複数の関心地点の各々に対する関連性重みを計算することをさらに行わせる、請求項31に記載の非一時的コンピュータ可読記録媒体。
36. 前記1つまたは複数のプロセッサに、前記計算された関連性重みに基づいて、前記複数の関心地点のランク付けリストを提供することをさらに行わせる、請求項35に記載の非一時的コンピュータ可読記録媒体。
37. 関連性重みを計算することが、距離グループ係数、タイプ係数、および場所評価係数を使用することをさらに含む、請求項35に記載の非一時的コンピュータ可読記録媒体。
38. 前記距離グループ係数が、前記ユーザデバイスと前記複数の関心地点の各々との間の事前定義された距離しきい値に基づいて決定される値である、請求項37に記載の非一時的コンピュータ可読記録媒体。
39. 前記タイプ係数が、関心地点のタイプに基づく値である、請求項37に記載の非一時的コンピュータ可読記録媒体。
40. 前記場所評価係数が、前記複数の関心地点の各々についての少なくとも1つの公的に利用可能な評価に基づく値である、請求項37に記載の非一時的コンピュータ可読記録媒体。
41. 前記姿勢データを決定することが、GPS読取値、視覚測位システム読取値、および加速度計読取値のうちの少なくとも1つにさらに基づく、請求項31に記載の非一時的コンピュータ可読記録媒体。

Images