JP7404809B2 - 位置検出システム、位置検出装置及び位置検出方法 - Google Patents
位置検出システム、位置検出装置及び位置検出方法 Download PDFInfo
- Publication number
- JP7404809B2 JP7404809B2 JP2019212409A JP2019212409A JP7404809B2 JP 7404809 B2 JP7404809 B2 JP 7404809B2 JP 2019212409 A JP2019212409 A JP 2019212409A JP 2019212409 A JP2019212409 A JP 2019212409A JP 7404809 B2 JP7404809 B2 JP 7404809B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- light
- unit
- position detection
- light emission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 109
- 230000005540 biological transmission Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000004020 luminiscence type Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 230000004397 blinking Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004270 retinal projection Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Description
位置検出システム100は、位置検出装置1と1又は複数の発信デバイス2とを備える。位置検出システム100は、位置検出装置1により発信デバイス2の位置を特定するためのシステムである。位置検出システム100は、例えば、店舗や倉庫等において棚TNに密集して陳列された商品の中から特定の商品を探す際等に用いられる。
位置検出装置1は、例えばスマートフォンやタブレット端末やデジタルカメラ等のユーザUSが使用する携帯端末である。
位置検出装置1と発信デバイス2とは、例えばBLE(Bluetooth Low Energy)(Bluetoothは登録商標)等の近距離無線通信により通信する。近距離無線通信にBLEを使用する場合、発信デバイス2がPeripheralデバイスとなり、位置検出装置1がCentralデバイスとなる。
発信デバイス2は、制御部21と、無線デバイス22と、発光デバイス23とを備える。
制御部21は、発信デバイス2を統括して制御する。
無線デバイス22は、自無線デバイス22を識別する存在情報を無線によって発信する。
発光デバイス23は、自発光デバイス23を識別する発光情報を光によって出力する。発光デバイス23は、例えばLED(Light Emitting Diode)等の発光素子である。なお、発光デバイス23が発光する光は、撮像結果の画像に基づいてその発光情報を取得できるもの(例えば、その点滅周期が撮像周期より長いもの)であればよく、可視光であってもよいし、非可視光であってもよい。
位置検出装置1は、制御部11と、無線通信部12と、撮像部13と、記憶部14と、表示部15とを備える。
制御部11は、位置検出装置1を統括して制御する。制御部11は、通信部111と、光源検出部112と、判定部113と、出力部114とを備える。
通信部111は、無線通信部12を介して存在情報の要求信号を送信し、発信デバイス2から存在情報を受信する。
光源検出部112は、撮像部13による撮像結果の画像(以下、「撮像画像」とする。)に基づいて、発光情報を検出する。また、光源検出部112は、撮像結果の画像に基づいて、発光情報を出力する光源が撮像されている否かを検出することもできる。
判定部113は、無線デバイス22から受信した存在情報に対応する発光情報を記憶部14を参照して特定し、特定された発光情報が光源検出部112によって検出されているか否かを判定する。
出力部114は、判定部113の判定結果に基づいて、光源が検出されている場合に、当該検出された光源の撮像画像上における位置に基づいて対象物に関する情報を表示部15に表示して出力する。
撮像部13は、対象物を撮像するカメラである。撮像部13は、撮像結果である撮像画像を生成して制御部11に出力する。
表示部15は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等の表示装置である。また、表示部15は、その表示画面上にタッチパネルが設置されており、入力を受け付ける。
記憶部14は、各発信デバイス2の存在情報と発光情報とを対応付けるデバイス情報、及び各発信デバイス2が取り付けられた棚札(対応する商品)に関するAR(Augmented Reality/拡張現実)情報を記憶する。
デバイス情報は、各発信デバイス2の存在情報と発光情報とを対応付けて記憶する。存在情報は、各発信デバイス2を識別する情報であって、例えば固有又は特定の情報を含む信号(以下、「存在信号」とする。)を発信する固有の発信パターンである。存在信号は、各発信デバイス2を識別するデバイスIDを含むものであってもよいし、複数の発信デバイス2に共通の情報であってもよい。本実施形態では、発信パターンは、例えば、発信開始から1秒、3秒、4秒、7秒経過したそれぞれの時点で発信するというサイクルを繰り返す等の、発信のタイミング(間隔)である。発光情報は、各発信デバイス2を識別する情報であって、発光パターンである。本実施形態における発光パターンは、発信パターンと同様に、発光のタイミング(発光間隔や点滅周期)である。或いは、発光パターンは、発信開始から1秒経過時に赤色、3秒経過時に青色、4秒経過時に緑色、7秒経過時に白色で発光するというサイクルを繰り返す等の、発光する色と発光のタイミングと組み合わせたものであってもよい。或いは、発光パターンは、発光する色のみから構成されていてもよい。
AR情報は、撮像画像に合成して拡張現実を実現するための情報であって、デバイスIDと付加情報とを対応付けて記憶する。付加情報は、発信デバイス2が取り付けられる対象物に関する情報である。付加情報は、撮像画像における発信デバイス2の位置とデバイスIDとが特定されると、撮像画像上に合成される情報である。
なお、本例に限られず、付加情報は、対応する発信デバイス2に関連する情報であればよく、対応する商品の商品名、値段、商品メーカ名、クーポン、商品の在庫情報等であってもよい。例えば、位置検出装置1を店舗に来店したユーザが利用する場合には、付加情報は、購入する上で参考になる情報であればよい。また、位置検出装置1を店舗の担当者が利用する場合には、付加情報は、在庫情報(バックヤードにどれだけ在庫が残っているか等)、今週の販売数等のPOS(Point Of Sale)システムと連動すれば得られる情報、販売開始日、販売終了予定日等であってもよい。
以下、店舗や倉庫等において、位置検出装置1を保持するユーザUSが棚TNに陳列された商品A、商品B及び商品Cを探す場合を例に説明する。まず、位置検出装置1は、位置を特定したい対象物に取り付けられた発信デバイス2に対して発信の要求信号を送信する。例えば、位置検出装置1は、予め存在情報を発信することが可能な発信デバイス2のリストを記憶している。そして、位置検出装置1は、表示部15に発信デバイス2(或いは、発信デバイス2の取り付けられた対象物の商品等)をリスト表示し、その中から探したい対象物の発信デバイス2をユーザUSに選択させてもよい。そして、位置検出装置1は、選択された発信デバイス2に対して信号の要求信号を送信する。
図示するように、位置検出装置1は、存在信号の発信元の発信デバイス2の発信パターン(存在情報)を解析してデバイスリストに追加する。
図示する例では、デバイスリストには、商品Aの棚札に設置された発信デバイス2の発信パターン1と、商品Bの棚札に設置された発信デバイス2の発信パターン2と、商品Cの棚札に設置された発信デバイス2の発信パターン3とが含まれる。
本図には、棚TNに陳列された商品A、商品B及び商品Cとそれらの棚札TFを撮像しているときの撮像画像501の一例を示している。本図に示す撮像画像501では、商品Aの棚札TFに設置された発光デバイス23が発光パターンAで点滅しており、商品Bの棚札TFに設置された発光デバイス23が発光パターンBで点滅しており、商品Cの棚札TFに設置された発光デバイス23が発光パターンCで点滅している。
図示するように、位置検出装置1は、存在情報に対応させて、発光情報とアウトライン情報とをデバイスリストに追加する。アウトライン情報は、例えば、撮像画像においてアウトラインを表示する座標や、アウトラインの大きさ、形等である。
図示する例では、発信パターン1には発光パターンA及びアウトラインAが対応付けられており、発信パターン2には発光パターンB及びアウトラインBが対応付けられており、発信パターン3には発光パターンC及びアウトラインCが対応付けられている。
位置検出装置1は、撮像画像にアウトラインを合成し、撮像画像上にアウトラインを重畳させて表示する。本図に示すアウトライン表示画像502では、商品Aの棚札TF、商品Bの棚札TF、及び商品Cの棚札TFそれぞれを囲うように各アウトラインOLが表示されている。
位置検出装置1は、撮像画像に付加情報を合成し、撮像画像上の各棚札TF近傍にそれぞれ対応する付加情報FIを重畳させて表示する。本図に示す付加情報表示画像503では、商品Aの棚札TF近傍には商品Aの付加情報FI「商品名:aaa 在庫数:〇〇」が表示され、商品Bの棚札TF近傍には商品Bの付加情報FI「商品名:bbb 在庫数:〇×」が表示され、商品Cの棚札TF近傍には商品Cの付加情報FI「商品名:ccc 在庫数:×〇」が表示されている。また、各付加情報FIは、対応する棚札TFからの吹き出し画像によって表示されている。これにより、各商品群が密集していて棚札TF間の距離が短くても、どの棚札に関する情報であるかを容易に判別することができる。
図11は、本実施形態による発信デバイスが実行する発信処理の手順を示すフローチャートである。
まず、制御部21は、無線デバイス22が発信の要求信号を受信したか否かを判定する(ステップS101)。要求信号を受信していない場合(ステップS101;No)、ステップS101の処理を再度実行する。
まず、通信部111が、無線通信部12から発信の要求信号を送信し、存在信号を受信することにより、周囲の発信デバイス2を探索する(ステップS201)。続いて、通信部111は、要求信号に応じて発信デバイス2が発信した存在情報に基づいてデバイスリストを生成する(ステップS202)。通信部111は、存在情報の発信パターンを解析し、解析した発信パターンをデバイスリストに追加する(ステップS203)。
棚卸をする対象領域は、店内(商品が陳列された領域)と、倉庫(バックヤード等)とがあり、少なくともいずれか一方で利用することができる。
また、発信デバイス2が多数あり、対象物のそれぞれに異なる発光パターンを準備することが難しい場合には、発光パターンと存在情報との組み合わせを変えることで、発信デバイス2の数より発光パターンの数が少なかったとしても、発信デバイス2を識別することができる。
なお、発光素子のみ発信デバイス2に設けられる場合(BLEがない場合)には、光源の位置を撮像できれば位置を特定することができるが、探索する対象の領域が広い場合は、物体の裏側にあると、光源からの光が届かない。例えば倉庫では、沢山の棚があり、見つけたい対象物が別の棚の影にある場合には、その棚がどこにあるかを見つけなければならない。そのため、BLEを用いることで、物体の影にあったとしても、存在する領域を絞り込んだ上で、対象物を見つけることができる。
また、ヘッドマウントディスプレイの他に、網膜投影機器を用いるようにしてもよい。網膜投影機器は、眼鏡のように装着する機器であり、現実の物体はユーザの視覚を通じて認識され(ユーザの目で直接見る)るが、網膜投影機器の光源からの光(例えばレーザ光)をユーザの網膜上に直接投影することで、視覚によって認識することができるAR(拡張現実)画像が、視認された現実の物体に重ねられるようにして表示されるものである。このような網膜投影機器とジェスチャー入力デバイスとによって位置検出装置1を構成し、AR画像に対しジェスチャー入力デバイスから操作入力するようにしてもよい。
また、表示画面上に表示された情報(例えばアウトライン情報等)に対する入力は、脳波を検出し、検出された脳波に応じて操作入力をするようにしてもよい。
ここで、デバイス情報をクラウドサーバからから読み出すシステムである場合、このようなシステムを一般顧客等のユーザが利用しようとすると、デバイス情報をクラウドサーバから取得する際に、時間を要してしまうことも考えられる。
そのため、簡易紐付け機能として、発信パターンに合わせて、発光する様な紐付け機能を用いるようにしてもよい。つまり、デバイス情報を記憶領域に記憶していない場合において、当紐付けの関係を類推する機能として、発信パターンに同期する形で、発光しているかどうか等の対応関係を判定し、対応関係にあると判定された場合に、当紐付けルールで各パターンが紐づけられていると類推するようにしてもよい。より具体的に、例えば、発信開始から1秒、3秒、4秒、7秒経過したそれぞれの時点で発信するというサイクルを繰り返す発信パターンについて、この発信タイミングに同期するタイミングで、発光デバイスが発光しているか否かを判定部によって判定するようにしてもよい。そして、発信されるタイミングと、発光するタイミングが同期していると判定できた場合には、対応関係があると類推し、同期していないと判定された場合には、対応関係がないと類推するようにしてもよい。これにより、各環境の紐づけ情報を有することなく、紐付けを行うことも可能である。
このような対応関係判定機能、類推機能を用いる場合には、各店舗におけるデバイス情報を、位置検出装置1として用いられるモバイル機器に記憶しておく、あるいはクラウドサーバから取得する必要がない。このような構成は、例えば、コンビニやスーパーなどの店舗を限定しない、各地域のフランチャイズ店舗等を複数店舗利用する顧客にとって、有益である。
11・・・制御部
111・・・通信部
112・・・光源検出部
113・・・判定部
114・・・出力部
12・・・無線通信部
13・・・撮像部
14・・・記憶部
15・・・表示部
2・・・発信デバイス
21・・・制御部
22・・・無線デバイス
23・・・発光デバイス
100・・・位置検出システム
Claims (8)
- 対象物に取り付けられ、自無線デバイスを識別する存在情報を無線によって発信する無線デバイスと、
前記対象物に取り付けられ、自発光デバイスを識別する発光情報を光によって出力する発光デバイスと、
前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、
撮像部と、
撮像結果の画像に基づいて、発光情報を検出する光源検出部と、
前記無線デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、
を有する位置検出システム。 - 前記存在情報の要求信号を送信する通信部を有し、
前記無線デバイスは、前記要求信号を受信すると、前記存在情報を所定時間発信し、
前記発光デバイスは、前記無線デバイスが前記要求信号を受信すると、前記発光情報を所定時間出力する
請求項1に記載の位置検出システム。 - 前記出力部は、前記画像に前記対象物に関する情報を重ねて表示する
請求項1または請求項2に記載の位置検出システム。 - 前記対象物に関する情報は、前記画像上における前記対象物の位置を特定するものである
請求項1から請求項3の何れか一項に記載の位置検出システム。 - 前記出力部は、当該検出された光源の前記画像上における位置に基づいて前記画像上における前記対象物を特定し、当該特定した対象物の近傍に前記対象物に関する情報を表示する
請求項1から請求項4の何れか一項に記載の位置検出システム。 - 前記存在情報は、信号を発信する発信パターンである
請求項1から請求項5の何れか一項に記載の位置検出システム。 - 対象物に取り付けられ、自デバイスを識別する存在情報を無線によって発信し、自デバイスを識別する発光情報を光によって出力するデバイスから前記存在情報を受信する通信部と、
前記存在情報と前記発光情報とを対応付けて記憶する記憶部と、
撮像部と、
撮像結果の画像に基づいて、発光情報を検出する光源検出部と、
前記デバイスから受信した存在情報に対応する発光情報を前記記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する出力部と、
を有する位置検出装置。 - 対象物に取り付けられた無線デバイスが、自無線デバイスを識別する存在情報を無線によって発信し、
前記対象物に取り付けられた発光デバイスが、自発光デバイスを識別する発光情報を光によって出力し、
光源検出部が、撮像結果の画像に基づいて、発光情報を検出し、
判定部が、前記無線デバイスから受信した存在情報に対応する発光情報を、前記存在情報と前記発光情報とを対応付けて記憶する記憶部を参照して特定し、特定された発光情報が前記光源検出部によって検出されているか否かを判定し、
出力部が、前記判定部の判定結果に基づいて、前記発光情報が検出されている場合に、当該検出された光源の前記画像上における位置に基づいて前記対象物に関する情報を出力する、
位置検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019212409A JP7404809B2 (ja) | 2019-11-25 | 2019-11-25 | 位置検出システム、位置検出装置及び位置検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019212409A JP7404809B2 (ja) | 2019-11-25 | 2019-11-25 | 位置検出システム、位置検出装置及び位置検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021087029A JP2021087029A (ja) | 2021-06-03 |
JP7404809B2 true JP7404809B2 (ja) | 2023-12-26 |
Family
ID=76088561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019212409A Active JP7404809B2 (ja) | 2019-11-25 | 2019-11-25 | 位置検出システム、位置検出装置及び位置検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404809B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023117105A1 (en) * | 2021-12-23 | 2023-06-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and a communication device for detecting another communication device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217093A (ja) | 2009-03-18 | 2010-09-30 | Kddi Corp | 測位システム |
JP2011090646A (ja) | 2009-10-26 | 2011-05-06 | Seiko Instruments Inc | 情報表示システム、管理装置および端末装置 |
WO2014076919A1 (ja) | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
WO2017013811A1 (ja) | 2015-07-22 | 2017-01-26 | ビーコア株式会社 | 画像処理システム、発光装置、画像処理装置、画像処理方法、発光方法及びプログラム |
-
2019
- 2019-11-25 JP JP2019212409A patent/JP7404809B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217093A (ja) | 2009-03-18 | 2010-09-30 | Kddi Corp | 測位システム |
JP2011090646A (ja) | 2009-10-26 | 2011-05-06 | Seiko Instruments Inc | 情報表示システム、管理装置および端末装置 |
WO2014076919A1 (ja) | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
WO2017013811A1 (ja) | 2015-07-22 | 2017-01-26 | ビーコア株式会社 | 画像処理システム、発光装置、画像処理装置、画像処理方法、発光方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021087029A (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7081081B2 (ja) | 情報処理装置、端末装置、情報処理方法、情報出力方法、接客支援方法及びプログラム | |
US20170300926A1 (en) | System and method for surveying display units in a retail store | |
US20150213498A1 (en) | Method and apparatus for providing product information | |
JP2018523884A (ja) | 商品と位置との間の関連付けデータを更新する方法 | |
US10360613B2 (en) | System and method for monitoring display unit compliance | |
US20200250736A1 (en) | Systems, method and apparatus for frictionless shopping | |
US11568725B2 (en) | System and method for providing and/or collecting information relating to objects | |
US10024681B2 (en) | Tactile navigation systems and methods | |
CN110348926B (zh) | 门店系统、展示柜、物品信息展示方法及装置 | |
JP7347480B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016537762A (ja) | 符号化照明装置、及び、このような符号化照明装置を有する商品情報システム | |
JP5744944B2 (ja) | 販促情報表示システムおよび販促情報表示方法 | |
CN109889655A (zh) | 移动装置与用于建立无线链路的方法 | |
JP7404809B2 (ja) | 位置検出システム、位置検出装置及び位置検出方法 | |
US20220156794A1 (en) | Product management system, product management apparatus, and tool communication apparatus | |
JP2018077665A (ja) | 情報処理システム、情報処理装置、表示装置及びプログラム | |
US20170300927A1 (en) | System and method for monitoring display unit compliance | |
WO2020195763A1 (ja) | 情報処理装置、情報処理方法と記録媒体 | |
JP2009237696A (ja) | 商品陳列状態監視システム及びコンピュータプログラム | |
JP6208634B2 (ja) | コーディネートサーバ、コーディネートシステム、及びコーディネート方法 | |
KR101682177B1 (ko) | 상품 위치정보 관리장치 및 방법, 이에 사용되는 전자정보라벨 | |
US20240338658A1 (en) | Linking items to digital shelf labels using modular image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7404809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |