JP5147036B2 - POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM - Google Patents
POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM Download PDFInfo
- Publication number
- JP5147036B2 JP5147036B2 JP2006062190A JP2006062190A JP5147036B2 JP 5147036 B2 JP5147036 B2 JP 5147036B2 JP 2006062190 A JP2006062190 A JP 2006062190A JP 2006062190 A JP2006062190 A JP 2006062190A JP 5147036 B2 JP5147036 B2 JP 5147036B2
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- identification information
- detection
- light emitting
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 28
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000001514 detection method Methods 0.000 claims description 76
- 238000004364 calculation method Methods 0.000 claims description 54
- 239000002245 particle Substances 0.000 claims description 52
- 230000005494 condensation Effects 0.000 claims description 24
- 238000009833 condensation Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 description 41
- 238000005259 measurement Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の対象物の位置を推定する位置推定装置、位置推定方法及び位置推定プログラムに関するものである。 The present invention relates to a position estimation device, a position estimation method, and a position estimation program for estimating the positions of a plurality of objects.
ユビキタス・パーベイシブコンピューティングにおいて、コンテキストアウェアな環境の構築を目的とした研究開発が行われている。この対象は、生産現場、看護・介護業務など多岐に渡っているが、共通して重要な役割を果たす要素技術に、人物や物体の位置の推定及び追跡がある。物体の位置推定及びその追跡のためには、対象の個体識別と物理位置とを連続的に推定する必要があり、この実現に向けて様々なセンサを用いたシステムが開発及び試用されている。例えば、ＲＦＩＤを利用したシステムや、超音波センサを用いたシステム、ビデオカメラの画像処理によるシステム等が開発されている（例えば、非特許文献１参照）。
しかしながら、上記のシステムに用いられるセンサは、その特性によって利点と欠点とがあり、予め想定されている環境や状況では、対象物の位置を正しく推定できるが、検出精度が環境の特性に依存するため、様々な環境において実用レベルで対象物の位置を安定的に推定し続けることは困難である。例えば、カメラで撮影された画像を入力とする場合は、オクルージョンや環境光の影響に強く左右され、電波を用いる場合は、位置精度が悪くなることが多い。 However, the sensor used in the above system has advantages and disadvantages depending on its characteristics, and the position of the object can be estimated correctly in a presumed environment or situation, but the detection accuracy depends on the characteristics of the environment. Therefore, it is difficult to stably estimate the position of the object at a practical level in various environments. For example, when an image captured by a camera is used as input, the position accuracy is often deteriorated when radio waves are used.
また、情報支援をおこなう適用先によっては、環境上の制約やコスト問題等により、理想的なセンサすなわち高性能なセンサではなく、代替となる低性能なセンサを使用せざるえない場面も想定される。 Also, depending on the application to which information support is provided, there may be a situation where instead of an ideal sensor, that is, a high-performance sensor, an alternative low-performance sensor may be used due to environmental constraints or cost problems. The
本発明の目的は、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる位置推定装置、位置推定方法及び位置推定プログラムを提供することである。 An object of the present invention is to provide a position estimation device, a position estimation method, and a position estimation program capable of stably estimating the positions of a plurality of objects even when a relatively low performance sensor is used.
本発明に係る位置推定装置は、複数の対象物を識別することなく、前記複数の対象物の位置を検出する第１の検出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２の検出手段と、前記第１の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第１の算出手段と、前記第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第２の算出手段と、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備え、前記第１の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、前記第２の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出し、前記第２の検出手段は、各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、前記発光手段を含む所定領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、前記第１の算出手段は、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出し、前記第２の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させ、前記推定手段は、前記第２の算出手段により各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定するものである。 The position estimation device according to the present invention uniquely assigns each of the plurality of objects, the first detection means for detecting the positions of the plurality of objects without identifying the plurality of objects. Second detection means for detecting the received identification information, first calculation means for calculating the likelihood of the position of the object using the position detected by the first detection means, and the second detection A second calculating means for calculating the likelihood of the identification information of the object using the identification information detected by the means; the likelihood of the position of the object calculated by the first calculating means; and the second Estimation means for estimating the position of each object based on the likelihood of the identification information of the object calculated by the calculation means , wherein the first calculation means is configured to perform the first detection according to a Condensation algorithm. Position detected by means and target The likelihood of the position of the object is calculated using the system model and the observation model for the position of the object, and the second calculation means, according to the Condensation algorithm, the identification information detected by the second detection means, the target The likelihood of the object identification information is calculated using the system model and the observation model for the object identification information, and the second detection means is attached to each object and uniquely identifies the object. Identification of the light emitting means using a plurality of light emitting means for emitting light according to the assigned identification information, a photographing means for photographing an image of a predetermined area including the light emitting means, and an image photographed by the photographing means Identification information detection means for detecting information, wherein the first calculation means determines the position detected by the first detection means as a distribution of particles on a detection region. And calculating the likelihood of the position of the object using a plurality of particles, and the second calculating means calculates the pixel position of each light emitting means on the image taken by the photographing means by projective transformation. Projecting onto the detection coordinates of the first detection means, holding the likelihood of the identification information of each light emitting means for the particles associated with the projected detection coordinates, and the estimation means Using the particles in which the likelihood of the identification information of each light emitting means is held by the calculating means, the likelihood of the position of the object calculated by the first calculating means and the second calculating means The position of each object is estimated by taking the average of the likelihood of the identification information of each light emitting means .
この位置推定装置においては、複数の対象物の位置が検出され、検出された位置を用いて対象物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の対象物の各々に対して一意的に割り付けられた識別情報が検出され、検出された識別情報を用いて対象物の識別情報の尤度が算出され、算出された対象物の位置の尤度と対象物の識別情報の尤度とを基に各対象物の位置が推定される。このように、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって、頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。 In this position estimation device, the position of a plurality of objects is detected, the likelihood of the position of the object is calculated using the detected positions, and separated from the processing for calculating the likelihood of the position, The identification information uniquely assigned to each of the objects is detected, the likelihood of the identification information of the object is calculated using the detected identification information, and the calculated likelihood of the position of the object The position of each object is estimated based on the likelihood of the identification information of the object. In this way, robust handling of the object with identification information can be realized by individually handling the likelihood of the position of the object and the likelihood of the identification information of the object. Even when a sensor is used, the positions of a plurality of objects can be stably estimated.
この場合、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従った対象物の位置の尤度の算出と、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従った対象物の識別情報の尤度の算出とを個別に取り扱っているので、元来複数対象の個別追跡が考慮されていないＣｏｎｄｅｎｓａｔｉｏｎアルゴリズムを識別情報付きのマルチトラッキング対応へと単純に拡張できるとともに、入力の欠損による一時的な誤り状態からの復帰が容易となり、さらに、複数の対象物追跡にとって理想的な識別情報付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサがもつ位置精度や識別情報認識の有無といった特性を織り込むことが可能となる。 In this case, since the calculation of the likelihood of the position of the object according to the Condensation algorithm and the calculation of the likelihood of the identification information of the object according to the Condensation algorithm are individually handled, individual tracking of a plurality of objects is originally performed. The Condensation algorithm that does not take into account can be simply extended to support multitracking with identification information, and it is easy to recover from a temporary error state due to missing input, and is ideal for tracking multiple objects. Even when it is not possible to use a sensor that can accurately acquire position information with identification information, it is possible to incorporate characteristics such as position accuracy of each sensor and presence / absence of identification information recognition.
この場合、複数のパーティクルを用いて対象物の位置の尤度が算出されるとともに、撮影された画像上の各発光手段の画素位置が射影変換によって第１の検出手段の検出座標上に投影され、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度が保持されるので、各発光手段の識別情報の尤度すなわち対象物の識別情報の尤度を、当該識別情報を有する対象物の位置の尤度と統合することができ、頑健な識別情報付きの対象物追跡を実現することができる。 In this case, the likelihood of the position of the object is calculated using a plurality of particles, and the pixel position of each light emitting means on the photographed image is projected onto the detection coordinates of the first detecting means by projective transformation. Since the likelihood of the identification information of each light emitting means is held for the particles associated with the projected detection coordinates, the likelihood of the identification information of each light emitting means, that is, the likelihood of the identification information of the object is set. The object position having the identification information can be integrated with the likelihood of the position of the object, and the object tracking with the robust identification information can be realized.
本発明に係る位置推定方法は、第１及び第２の検出手段、第１及び第２の算出手段、並びに推定手段を備える位置推定装置を用いた位置推定方法であって、前記第１の検出手段が、複数の対象物を識別することなく、前記複数の対象物の位置を検出する第１のステップと、前記第２の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２のステップと、前記第１の算出手段が、前記第１の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第３のステップと、前記第２の算出手段が、前記第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第４のステップと、前記推定手段が、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する第５のステップとを含み、前記第３のステップは、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出するステップを含み、前記第４のステップは、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出するステップを含み、前記第２の検出手段は、各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、前記発光手段を含む所定領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、前記第３のステップは、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出するステップを含み、前記第４のステップは、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させるステップを含み、前記第５のステップは、前記第４のステップにおいて各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第３のステップにおいて算出された対象物の位置の尤度と、前記第４のステップにおいて算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定するステップを含むものである。 The position estimation method according to the present invention is a position estimation method using a first and second detection means, a first and second calculation means, and a position estimation apparatus including an estimation means, wherein the first detection A first step in which means detects the positions of the plurality of objects without identifying the plurality of objects; and the second detection means uniquely identifies each of the plurality of objects. the third step and the second step, the first calculating means, for calculating the likelihood of the position of the object using the detected position by said first detecting means for detecting the assigned identification information When the second calculating means, and a fourth step of calculating the likelihood of the identification information of the second object by using the identification information detected by the detecting means, said estimating means, said first The likelihood of the position of the object calculated by the calculating means, and Look including a fifth step of estimating the position of each object based on the likelihood of the identification information of the object calculated by the second calculation means, said third step according Condensation algorithm, the first Calculating the likelihood of the position of the object using the position detected by the detection means, the system model and the observation model for the position of the object, and the fourth step is performed according to a Condensation algorithm, Calculating the likelihood of the identification information of the object using the identification information detected by the second detection means, and a system model and an observation model for the identification information of the object, and the second detection means Is attached to each object and emits light according to identification information uniquely assigned to the object. Means, an imaging means for taking an image of a predetermined area including the light emitting means, and an identification information detecting means for detecting identification information of the light emitting means using an image taken by the imaging means, The step includes the step of treating the position detected by the first detection means as a distribution of particles on the detection region, and calculating the likelihood of the position of the object using a plurality of particles. The step projects the pixel position of each light emitting means on the image photographed by the photographing means onto the detection coordinates of the first detection means by projective transformation, and applies the particles corresponding to the projected detection coordinates. In contrast, the fifth step includes a step of holding the likelihood of the identification information of each light emitting unit, and the fifth step holds the likelihood of the identification information of each light emitting unit in the fourth step. The average of the likelihood of the position of the object calculated in the third step and the likelihood of the identification information of each light emitting means calculated in the fourth step is taken using the measured particles. Thus, the step of estimating the position of each object is included .
本発明に係る位置推定プログラムは、複数の対象物を識別することなく、前記複数の対象物の位置を検出する第１の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第１の算出手段と、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第２の算出手段と、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させ、前記第１の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、前記第２の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出し、前記第２の検出手段は、各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、前記発光手段を含む所定領域の画像を撮影する撮影手段と、前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、前記第１の算出手段は、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出し、前記第２の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させ、前記推定手段は、前記第２の算出手段により各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定するものである。 The position estimation program according to the present invention calculates the likelihood of the position of the object using the positions detected by the first detection means for detecting the positions of the plurality of objects without identifying the plurality of objects. First identification means for calculating and identification information detected by the second detection means for detecting identification information uniquely assigned to each of the plurality of objects, Second calculation means for calculating likelihood, likelihood of position of the object calculated by the first calculation means, likelihood of identification information of the object calculated by the second calculation means, and cause the computer to function as estimating means for estimating the position of each object based on said first calculating means in accordance with Condensation algorithm, with respect to the position detected by the first detecting means, the object position System object and observation model are used to calculate the likelihood of the position of the object, and the second calculation means, according to the Condensation algorithm, the identification information detected by the second detection means and the identification information of the object The likelihood of identification information of an object is calculated using a system model and an observation model for the object, and the second detection means is attached to each object and is uniquely assigned to the object A plurality of light emitting means for emitting light according to information, a photographing means for photographing an image of a predetermined area including the light emitting means, and detecting identification information of the light emitting means using an image photographed by the photographing means Identification information detection means, wherein the first calculation means treats the position detected by the first detection means as a distribution of particles on a detection region, and The likelihood of the position of the object is calculated using the article, and the second calculation means calculates the pixel position of each light emitting means on the image photographed by the photographing means by projective transformation. Projecting onto the detection coordinates, the likelihood of the identification information of each light emitting means is held for the particles associated with the projected detection coordinates, and the estimating means uses each light emitting means by the second calculating means. The likelihood of the position of the object calculated by the first calculation means and the identification information of each light emitting means calculated by the second calculation means using the particles in which the likelihood of the identification information is held The position of each object is estimated by taking the average of both of the likelihoods .
本発明によれば、対象物の位置の尤度と対象物の識別情報の尤度とを個別に取り扱うことによって頑健な識別情報付きの対象物追跡を実現することができるので、比較的低性能なセンサを用いる場合でも、複数の対象物の位置を安定して推定することができる。 According to the present invention, robust object tracking with identification information can be realized by individually handling the likelihood of the position of the object and the likelihood of the identification information of the object, so that the performance is relatively low. Even when a simple sensor is used, the positions of a plurality of objects can be stably estimated.
以下、本発明の一実施の形態による位置推定装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による位置推定装置の構成を示すブロック図である。なお、本実施の形態では、人物を対象物として複数の人物の位置を推定する例について説明するが、対象物はこの例に特に限定されず、本発明は種々の対象物の位置を以下と同様にして推定することができる。 Hereinafter, a position estimation apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a position estimation apparatus according to an embodiment of the present invention. In the present embodiment, an example in which the positions of a plurality of persons are estimated using a person as an object will be described. However, the object is not particularly limited to this example, and the present invention defines the positions of various objects as follows. It can be estimated in the same manner.
図１に示す位置推定装置は、位置センサ１、ＩＤセンサ２、光ＩＤタグ３、及び推定装置４を備える。ＩＤセンサ２は、ビデオカメラ２１及び画像処理装置２２を備え、光ＩＤタグ３は、駆動回路３１及びＬＥＤ３２を備え、推定装置４は、判断部４１、位置尤度算出部４２、ＩＤ尤度算出部４３及び位置推定部４４を備える。 The position estimation device shown in FIG. 1 includes a position sensor 1, an ID sensor 2, an optical ID tag 3, and an estimation device 4. The ID sensor 2 includes a video camera 21 and an image processing device 22. The optical ID tag 3 includes a drive circuit 31 and an LED 32. The estimation device 4 includes a determination unit 41, a position likelihood calculation unit 42, and an ID likelihood calculation. A unit 43 and a position estimation unit 44 are provided.
位置センサ１は、各人物を識別することなく、複数の人物の位置を検出し、例えば、低解像度なフロアセンサを用いることができる。このフロアセンサとしては、ヴィストン社製フロアセンサ（型式：ＶＳ−ＳＦ５５）が用いられ、人物が踏んだ箇所の圧力荷重を感知し、ＯＮ／ＯＦＦの２値（１ビット）で人物の位置を出力する。但し、フロアセンサの解像度は低く、取得される位置情報の最小単位は、一辺８ｃｍの正方形をした単位領域であり、各単位領域を表す番号毎にＯＮ／ＯＦＦの２値で位置情報が出力される。推定装置４は、位置センサ１の位置情報を９Ｈｚで定期的に取得する。したがって、位置センサ１の位置情報から、細かな足形を取得してトラッキングや人物認識等をおこなうことは非常に困難である。 The position sensor 1 detects the positions of a plurality of persons without identifying each person, and for example, a low-resolution floor sensor can be used. As this floor sensor, a floor sensor manufactured by Viston (model: VS-SF55) is used, which senses the pressure load at the place where the person steps, and outputs the position of the person with ON / OFF binary (1 bit) To do. However, the resolution of the floor sensor is low, and the minimum unit of position information to be acquired is a unit area having a square of 8 cm on a side, and position information is output in binary values of ON / OFF for each number representing each unit area. The The estimation device 4 periodically acquires position information of the position sensor 1 at 9 Hz. Therefore, it is very difficult to acquire a fine foot shape from the position information of the position sensor 1 and perform tracking, person recognition, and the like.
光ＩＤタグ３は、各人物の胸部等に装着され、駆動回路３１が各人物（各光ＩＤタグ３）に対して一意的に割り付けられたＩＤ番号（識別情報）をＬＥＤ３２の点滅により送信する。なお、図１では、図示を容易にするために、１個の光ＩＤタグ３のみを図示しているが、本実施の形態では、人物毎に光ＩＤタグ３が装着されており、複数の光ＩＤタグ３が用いられている。また、一人の人物に対して異なる位置に複数の光ＩＤタグ３を装着し、１台のビデオカメラが少なくとも１個の光ＩＤタグ３を常時撮影できるようにしてもよい。 The optical ID tag 3 is attached to the chest of each person, and the drive circuit 31 transmits the ID number (identification information) uniquely assigned to each person (each optical ID tag 3) by blinking the LED 32. . In FIG. 1, only one optical ID tag 3 is shown for ease of illustration, but in this embodiment, the optical ID tag 3 is attached to each person, and a plurality of optical ID tags 3 are attached. An optical ID tag 3 is used. Alternatively, a plurality of optical ID tags 3 may be attached to different positions for one person so that one video camera can always photograph at least one optical ID tag 3.
ＬＥＤ３２としては、可視光を発光する通常のＬＥＤを用いることができるが、この例に特に限定されず、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外光を発光する光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いてもよい。この場合、ビデオカメラ２１として、赤外線画像を撮影する赤外線カメラが用いられる。 As the LED 32, a normal LED that emits visible light can be used, but is not particularly limited to this example, and high output for optical communication that emits infrared light having a low directivity and about 800 nm that is close to visible light. A light emitting diode (DN311 manufactured by Stanley) or the like may be used. In this case, an infrared camera that takes an infrared image is used as the video camera 21.
駆動回路３１は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、光ＩＤタグ３が取り付けられた人物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ３２を点滅制御する。なお、駆動回路３１及びＬＥＤ３２は、内部電池（図示省略）から電源を供給されている。 The drive circuit 31 is composed of a microcomputer or the like. For example, an Atmel 4 MHz drive microcomputer AT90S2323 can be used, and an ID number uniquely assigned to a person to which the optical ID tag 3 is attached is identified. The LED 32 is controlled to blink as possible. The drive circuit 31 and the LED 32 are supplied with power from an internal battery (not shown).
ＩＤセンサ２のビデオカメラ２１は、複数の人物が位置する検出空間中の所定位置（例えば、部屋の天井の一方端）に取り付けられ、各人物の光ＩＤタグ３を含む所定領域の画像を撮影し、画像処理装置２２は、ビデオカメラ２１により撮影された画像を用いて、光ＩＤタグ３から送信される対象物のＩＤ番号及び光ＩＤタグ３の画像内のＸＹ座標を検出して推定装置４へ出力する。ＩＤセンサ２は、受光部分に対してＩＤタグが存在するか否かしか判断できないＩｒＤＡとは異なり、光ＩＤタグ３の画素位置を取得可能であることが特徴である。 The video camera 21 of the ID sensor 2 is attached to a predetermined position (for example, one end of the ceiling of the room) in a detection space where a plurality of persons are located, and takes an image of a predetermined area including the optical ID tag 3 of each person. Then, the image processing device 22 uses the image taken by the video camera 21 to detect the ID number of the object transmitted from the optical ID tag 3 and the XY coordinates in the image of the optical ID tag 3, and thereby the estimation device Output to 4. The ID sensor 2 is characterized in that the pixel position of the optical ID tag 3 can be acquired, unlike IrDA, which can only determine whether or not an ID tag exists for the light receiving portion.
ビデオカメラ２１としては、ＵＳＢカメラが用いられ、例えば、Ｌｕｍｅｎｅｒａ社製ＵＳＢカメラを用いることができ、６４０×４８０ｐｉｘｅｌの画像を撮影することができる。また、光ＩＤタグ３は３０Ｈｚで点滅し、新たな光ＩＤタグ３の発見には最速でも０．５秒かかり、連続してＩＤ番号を認識する場合でも、約０．１秒の間隔が必要となる。なお、本実施の形態では、１台のビデオカメラ２１を用いているが、この例に特に限定されず、複数台のビデオカメラを検出空間の異なる位置に配置するようにしてもよい。 As the video camera 21, a USB camera is used. For example, a USB camera manufactured by Lumenera can be used, and an image of 640 × 480 pixels can be taken. In addition, the optical ID tag 3 blinks at 30 Hz, and it takes 0.5 seconds at the fastest to find a new optical ID tag 3, and an interval of about 0.1 seconds is required even when the ID numbers are continuously recognized. It becomes. In the present embodiment, one video camera 21 is used. However, the present invention is not particularly limited to this example, and a plurality of video cameras may be arranged at different positions in the detection space.
図２は、図１に示すＩＤセンサ２及び光ＩＤタグ３によるＩＤ番号の生成方法を説明するための模式図である。光ＩＤタグ３は、マンチェスタ符号化方式を用い、図示のような点滅パターンを繰り返して点滅し、ＩＤセンサ２は、点滅パターンを撮影して画像処理によってデコードすることにより、光ＩＤタグ３のＩＤ番号を読み取る。図示の例では、点滅パターンから１、１、０、１、０の２進数がデコードされ、ＩＤ番号１０が取得される。このときのＩＤセンサ２のサンプリング周波数は６０ｆｐｓであり、光ＩＤタグ３の点滅パターンは３０ｆｐｓである。 FIG. 2 is a schematic diagram for explaining a method of generating an ID number by the ID sensor 2 and the optical ID tag 3 shown in FIG. The optical ID tag 3 uses the Manchester encoding method and repeatedly blinks as shown in the figure, and the ID sensor 2 captures the blink pattern and decodes it by image processing, whereby the ID of the optical ID tag 3 is obtained. Read the number. In the example shown in the figure, binary numbers of 1, 1, 0, 1, 0 are decoded from the blinking pattern, and the ID number 10 is acquired. At this time, the sampling frequency of the ID sensor 2 is 60 fps, and the blinking pattern of the optical ID tag 3 is 30 fps.
なお、本実施の形態では、位置推定のためのセンサとしてフロアセンサを用い、ＩＤ番号推定のためのセンサとして光ＩＤタグを用いているが、各センサは、これらの例に特に限定されず、例えば、ＩＤセンサとして、ＩＤ付き超音波センサ、ＲＦＩＤ、ＩＣタグ、ＩｒＤＡ、画像処理による人物（物体）認識等を用いたり、位置センサとして、超音波センサ、画像処理によるトラッキング、電磁誘導センサ、静電容量計測技術を用いたセンサ（ＳｍａｒｔＳｋｉｎ）等を用いてもよい。また、３次元位置が取得可能な超音波ＩＤセンサや、上記のＩＤ付き超音波センサ、ＲＦＩＤ、ＩＣタグ、ＩｒＤＡ、画像処理による人物（物体）認識等を用いて位置及びＩＤ番号の双方が取得可能な場合、１種類のセンサの出力（位置及びＩＤ番号）から、位置の尤度及びＩＤ番号の尤度を個別に算出するようにしてもよい。 In this embodiment, a floor sensor is used as a sensor for position estimation, and an optical ID tag is used as a sensor for ID number estimation. However, each sensor is not particularly limited to these examples, For example, an ultrasonic sensor with ID, RFID, IC tag, IrDA, person (object) recognition by image processing, or the like is used as an ID sensor, or an ultrasonic sensor, tracking by image processing, an electromagnetic induction sensor, a static sensor is used as a position sensor. A sensor using a capacitance measurement technique (Smart Skin) or the like may be used. Also, both the position and ID number are acquired using an ultrasonic ID sensor that can acquire a three-dimensional position, the above-described ultrasonic sensor with ID, RFID, IC tag, IrDA, person (object) recognition by image processing, etc. If possible, the likelihood of the position and the likelihood of the ID number may be calculated individually from the output (position and ID number) of one type of sensor.
推定装置４は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、入力装置、入出力インタフェース装置及び表示装置等を備える通常のコンピュータから構成され、後述する位置推定処理を実行するための位置推定プログラムをＣＰＵ等で実行することにより上記の判断部４１、位置尤度算出部４２、ＩＤ尤度算出部４３及び位置推定部４４の機能が実現される。なお、推定装置４の構成は、この例に特に限定されず、図示の各ブロックの機能を専用のハードウエア回路から構成したり、上記の各機能の一部又は全部を１台又は複数台のコンピュータを用いて実行するようにしてもよい。また、画像処理装置２２の機能を取り込んで実行するようにしてもよい。 The estimation device 4 includes a normal computer including a ROM (Read Only Memory), a CPU (Central Processing Unit), a RAM (Random Access Memory), an external storage device, an input device, an input / output interface device, and a display device. The functions of the determination unit 41, the position likelihood calculation unit 42, the ID likelihood calculation unit 43, and the position estimation unit 44 are realized by executing a position estimation program for executing a position estimation process, which will be described later, by a CPU or the like. Is done. Note that the configuration of the estimation device 4 is not particularly limited to this example, and the functions of the respective blocks shown in the figure are configured from dedicated hardware circuits, or a part or all of the above-described functions are one or more. You may make it perform using a computer. Further, the functions of the image processing device 22 may be taken in and executed.
判断部４１は、センサ入力として、位置センサ１から人物の位置情報を取得するとともに、ＩＤセンサ２から人物すなわち光ＩＤタグ３のＩＤ番号及び画像内のＸＹ座標を取得し、人物の位置情報を位置尤度算出部４２へ出力し、光ＩＤタグ３のＩＤ番号及び画像内のＸＹ座標をＩＤ尤度算出部４３へ出力する。 The determination unit 41 acquires the position information of the person from the position sensor 1 as a sensor input, acquires the ID number of the person, that is, the optical ID tag 3, and the XY coordinates in the image from the ID sensor 2, and obtains the position information of the person. The position likelihood calculating unit 42 outputs the ID number of the optical ID tag 3 and the XY coordinates in the image to the ID likelihood calculating unit 43.
位置尤度算出部４２は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、位置センサ１により検出された人物の位置情報と、人物の位置に対するシステムモデル及び観測モデルとを用いて人物の位置の尤度を算出して位置推定部４４へ出力する。ＩＤ尤度算出部４３は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、検出された光ＩＤタグ３のＩＤ番号及び画像内のＸＹ座標と、人物の識別情報に対するシステムモデル及び観測モデルとを用いて光ＩＤタグ３すなわち人物のＩＤ番号の尤度を算出して位置推定部４４へ出力する。位置推定部４４は、位置尤度算出部４２により算出された人物の位置の尤度と、ＩＤ尤度算出部４３により算出された人物のＩＤ番号の尤度とを基に検出空間内の各人物の位置を推定する。 The position likelihood calculating unit 42 calculates position likelihood by calculating the likelihood of the position of the person using the position information of the person detected by the position sensor 1 and the system model and the observation model for the position of the person according to the Condensation algorithm. To the unit 44. The ID likelihood calculating unit 43 uses the ID number of the detected optical ID tag 3 and the XY coordinates in the image, and the system model and the observation model for the identification information of the person, according to the Condensation algorithm, The likelihood of the ID number is calculated and output to the position estimation unit 44. The position estimator 44 uses each likelihood in the detection space based on the likelihood of the position of the person calculated by the position likelihood calculator 42 and the likelihood of the ID number of the person calculated by the ID likelihood calculator 43. Estimate the position of a person.
上記のＣｏｎｄｅｎｓａｔｉｏｎアルゴリズムは、パーティクルによって確率分布を近似し、パーティクルの移動・拡散・観測を逐次繰り返すことによって、追跡対象の確率密度を推定していく手法である。Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムは、研究分野によっては、モンテカルロフィルタ、ブートストラップフィルタ等とも呼ばれ、人物追跡、画像を用いたトラッキング、ロボットの位置推定等の様々な分野で応用が試されている。 The above-mentioned Condensation algorithm is a method of estimating the probability density of the tracking target by approximating the probability distribution by particles and sequentially repeating the movement, diffusion and observation of particles. Depending on the research field, the Condensation algorithm is also called a Monte Carlo filter, a bootstrap filter, or the like, and its application has been tried in various fields such as person tracking, tracking using an image, and position estimation of a robot.
また、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムは、位置推定対象の状態遷移についてマルコフ性を仮定したベイズ推論の一種であり、まず、追跡対象をｘ、観測結果をｚとした場合の、時刻ｔ−１における位置推定対象の確率分布ｐ（ｘｔ−１｜ｚｔ−１）と、時刻ｔ−１から時刻ｔへの状態推移確率ｐ（ｘｔ−１｜ｘｔ−１）とにより、時刻ｔにおける事前確率ｐ（ｘｔ｜ｚｔ−１）を求める。次に、この事前確率に基づき、実際の観測結果から尤度ｐ（ｚｔ｜ｘｔ）を算出し、時刻ｔにおける確率分布ｐ（ｘｔ｜ｚｔ）を求める。時刻ｔ＋１においても同様に時刻ｔにおける確率密度に従い、上記の計算を繰り返す。この状態推移確率を求めるモデルをシステムモデルと呼び、尤度を求めるモデルを観測モデルと呼ぶ。 The Condensation algorithm is a type of Bayesian inference that assumes Markov property for the state transition of the position estimation target. First, the position estimation target at time t−1 when the tracking target is x and the observation result is z. Based on the probability distribution p (x t−1 | z t−1 ) and the state transition probability p (x t−1 | x t−1 ) from time t−1 to time t, the prior probability p ( x t | z t−1 ) is obtained. Next, based on this prior probability, likelihood p (z t | x t ) is calculated from the actual observation result, and a probability distribution p (x t | z t ) at time t is obtained. Similarly, at time t + 1, the above calculation is repeated according to the probability density at time t. A model for obtaining the state transition probability is called a system model, and a model for obtaining the likelihood is called an observation model.
本実施の形態では、このＣｏｎｄｅｎｓａｔｉｏｎアルゴリズムにおける仮説生成に際して、位置に関する尤度と、ＩＤ番号に関する尤度とを分離し、位置推定に関するシステムモデル及び観測モデルとは別に、個別認識のためのシステムモデル及び観測モデルを組み込み、個別に計算を行っている。この利点は、（１）元来複数対象の個別追跡が考慮されていないＣｏｎｄｅｎｓａｔｉｏｎアルゴリズムをＩＤ番号付きのマルチトラッキング対応へと単純に拡張できること、（２）入力の欠損による一時的な誤り状態からの復帰が容易であること、（３）複数人物追跡にとって理想的なＩＤ番号付き位置情報が精度よく取得可能なセンサを用いることができない場合でも、各センサが持つ位置精度やＩＤ認識の有無といった特性を織り込むことが可能なことである。 In this embodiment, when generating a hypothesis in this Condensation algorithm, the likelihood related to the position and the likelihood related to the ID number are separated, and separately from the system model and the observation model related to position estimation, An observation model is incorporated and calculations are performed individually. This advantage is that (1) the Condensation algorithm that originally did not take into account individual tracking of multiple objects can be simply expanded to support multi-tracking with ID numbers, and (2) from temporary error conditions due to missing inputs. (3) characteristics such as position accuracy of each sensor and presence / absence of ID recognition even when a sensor capable of accurately acquiring position information with an ID number cannot be used, which is ideal for tracking multiple persons. It is possible to weave.
本実施の形態では、位置センサ１が第１の検出手段の一例に相当し、ＩＤセンサ２及び光ＩＤタグ３が第２の検出手段の一例に相当し、位置尤度算出部４２が第１の算出手段の一例に相当し、ＩＤ尤度算出部４３が第２の算出手段の一例に相当し、位置推定部４４が推定手段の一例に相当する。また、光ＩＤタグ３が発光手段の一例に相当し、ビデオカメラ２１が撮影手段の一例に相当し、画像処理装置２２が識別情報検出手段の一例に相当する。 In the present embodiment, the position sensor 1 corresponds to an example of a first detection unit, the ID sensor 2 and the optical ID tag 3 correspond to an example of a second detection unit, and the position likelihood calculation unit 42 is a first detection unit. The ID likelihood calculation unit 43 corresponds to an example of the second calculation unit, and the position estimation unit 44 corresponds to an example of the estimation unit. The optical ID tag 3 corresponds to an example of a light emitting unit, the video camera 21 corresponds to an example of a photographing unit, and the image processing device 22 corresponds to an example of an identification information detecting unit.
次に、上記のように構成された推定装置４による位置推定処理について説明する。図３は、図１に示す推定装置４の位置推定処理を説明するためのフローチャートである。図３に示す位置推定処理では、入力（各センサの出力）の特性に合わせて処理を二分化し、位置推定のためのシステムモデル適用及び尤度計算と、ＩＤ番号推定のためのシステムモデル適用及び尤度計算とを分離することにより、ＣｏｎｄｅｎｓａｔｉｏｎアルゴリズムによるＩＤ番号付き位置推定を実現している。 Next, the position estimation process by the estimation apparatus 4 configured as described above will be described. FIG. 3 is a flowchart for explaining the position estimation process of the estimation device 4 shown in FIG. In the position estimation process shown in FIG. 3, the process is divided into two according to the characteristics of the input (output of each sensor), the system model application and likelihood calculation for position estimation, the system model application for ID number estimation, By separating the likelihood calculation, the position estimation with ID number by the Condensation algorithm is realized.
まず、ステップＳ１１において、判断部４１は、センサ入力の有無を判断し、センサ入力がなければ、ステップＳ１１の処理を継続し、センサ入力があった場合にステップＳ１２へ処理を移行する。 First, in step S11, the determination unit 41 determines whether or not there is a sensor input. If there is no sensor input, the process of step S11 is continued. If there is a sensor input, the process proceeds to step S12.
センサ入力があった場合、ステップＳ１２において、判断部４１は、位置センサ１又はＩＤセンサ２のいずれの入力であるかを判断し、位置センサ１からの入力の場合に、位置センサ１からの人物の位置情報を位置尤度算出部４２へ出力して処理をステップＳ１３へ移行し、ＩＤセンサ２からの入力の場合に、ＩＤセンサ２からの光ＩＤタグ３のＩＤ番号及び画像内のＸＹ座標をＩＤ尤度算出部４３へ出力して処理をステップＳ１６へ移行する。 When there is a sensor input, in step S12, the determination unit 41 determines which input is from the position sensor 1 or the ID sensor 2, and in the case of an input from the position sensor 1, a person from the position sensor 1 Is output to the position likelihood calculating unit 42, and the process proceeds to step S13. In the case of input from the ID sensor 2, the ID number of the optical ID tag 3 from the ID sensor 2 and the XY coordinates in the image Is output to the ID likelihood calculating unit 43, and the process proceeds to step S16.
位置センサ１からの入力の場合、ステップＳ１３において、位置尤度算出部４２は、位置に対する下記のシステムモデルを用いて、人物の位置に対する仮説を生成する。次に、ステップＳ１４において、位置尤度算出部４２は、位置センサ１により検出された人物の位置情報と、パーティクル（例えば、１０００個）の分布とから、位置に対する下記の観測モデルを用いて、位置の尤度を算出する。 In the case of input from the position sensor 1, in step S13, the position likelihood calculating unit 42 generates a hypothesis for the position of the person using the following system model for the position. Next, in step S14, the position likelihood calculating unit 42 uses the following observation model for the position from the position information of the person detected by the position sensor 1 and the distribution of particles (for example, 1000 particles). The likelihood of the position is calculated.
一方、ＩＤセンサ２からの入力の場合、ステップＳ１６において、ＩＤ尤度算出部４３は、ＩＤ番号に対する下記のシステムモデルを用いて、ＩＤ番号に対する仮説を生成する。次に、ステップＳ１７において、ＩＤ尤度算出部４３は、ＩＤセンサ２により検出されたＩＤ番号、及びＩＤ番号に対する下記の観測モデルを用いて、ＩＤ番号の尤度を算出する。また、ＩＤ尤度算出部４３は、ＩＤセンサ２からの光ＩＤタグ３の画像内のＸＹ座標すなわち撮影された画像上の各光ＩＤタグ３の画素位置を射影変換によって位置センサ１の検出座標上に投影し、投影された検出座標に位置する単位領域に対応付けられているパーティクルに対して光ＩＤタグ３のＩＤ番号の尤度を保持させる。 On the other hand, in the case of an input from the ID sensor 2, in step S16, the ID likelihood calculating unit 43 generates a hypothesis for the ID number using the following system model for the ID number. Next, in step S <b> 17, the ID likelihood calculation unit 43 calculates the likelihood of the ID number using the ID number detected by the ID sensor 2 and the following observation model for the ID number. The ID likelihood calculating unit 43 also detects the XY coordinates in the image of the optical ID tag 3 from the ID sensor 2, that is, the detected coordinates of the position sensor 1 by projective transformation of the pixel position of each optical ID tag 3 on the photographed image. The likelihood of the ID number of the optical ID tag 3 is retained with respect to the particles that are projected upward and associated with the unit region located at the projected detection coordinates.
図４は、ＩＤ番号が取得された画素位置からの直線投影を説明するための模式図であり、図５は、パーティクルへＩＤ番号の尤度を保持させる方法を説明するための模式図であり、図６は、パーティクルのＩＤ番号の判別例を説明するための模式図である。 FIG. 4 is a schematic diagram for explaining the linear projection from the pixel position from which the ID number is acquired, and FIG. 5 is a schematic diagram for explaining a method for holding the likelihood of the ID number in the particles. FIG. 6 is a schematic diagram for explaining a discrimination example of particle ID numbers.
ＩＤセンサ２によって検出される位置情報は、画像上の画素位置であるため、この出力結果をそのまま位置センサ１の位置情報（単位領域を表す番号毎のＯＮ／ＯＦＦの２値）と対応付けることはできない。このため、以下のようにして、このＩＤ番号の画素位置を射影変換行列によってフロアセンサ上に投影している。なお、この射影変換行列はカメラを強校正することで獲得している。 Since the position information detected by the ID sensor 2 is a pixel position on the image, this output result can be directly associated with the position information of the position sensor 1 (ON / OFF binary for each number representing a unit area). Can not. For this reason, the pixel position of this ID number is projected on the floor sensor by the projective transformation matrix as follows. This projective transformation matrix is obtained by strongly calibrating the camera.
まず、ＩＤ尤度算出部４３は、図４に示すように、ビデオカメラ２１により撮影された画像上の光ＩＤタグ３の画素位置から射影変換によって直線を投影し、ブレゼンハムアルゴリズムにより位置センサ１の検出座標上の直線Ｌ１を求める。 First, as shown in FIG. 4, the ID likelihood calculation unit 43 projects a straight line by projective transformation from the pixel position of the optical ID tag 3 on the image taken by the video camera 21, and uses the Bresenham algorithm to detect the position sensor 1. A straight line L1 on the detection coordinate is obtained.
例えば、ビデオカメラ２１によりＩＤ番号３、６、１０を有する３個の光ＩＤタグ３を含む画像が撮影された場合、図５に示すように、各ＩＤ番号３、６、１０に対して３本の直線が位置センサ１の検出座標上（複数の単位領域上）に投影される。ここで、ＩＤ番号３に着目すると、下段の拡大図に示すように、ＩＤ番号３の直線が交差する各単位領域ＵＡ（ハッチング部分）に対応付けられているパーティクルＰＡに対してＩＤ番号３の尤度を保持させる。 For example, when an image including three optical ID tags 3 having ID numbers 3, 6, and 10 is taken by the video camera 21, 3 is assigned to each ID number 3, 6, and 10, as shown in FIG. A straight line of the book is projected on the detection coordinates of the position sensor 1 (on a plurality of unit areas). Here, paying attention to ID number 3, as shown in the enlarged view in the lower stage, ID number 3 corresponds to particle PA associated with each unit area UA (hatched portion) where the straight line of ID number 3 intersects. Keep the likelihood.
このようにして、各パーティクルが対応するＩＤ番号の尤度を保持する場合、図６に示す例（ＩＤ番号６のパーティクルを赤色で表し、ＩＤ番号３のパーティクルを緑色で表している）のように、位置センサ１のパーティクルをＩＤ番号で判別することができる。 When the likelihood of the ID number corresponding to each particle is held in this way, the example shown in FIG. 6 (the particle with ID number 6 is represented in red and the particle with ID number 3 is represented in green) Furthermore, the particles of the position sensor 1 can be identified by the ID number.
再び、図３を参照して、上記のいずれかの処理が終了した後、ステップＳ１５において、位置推定部４４は、位置尤度算出部４２により算出された人物の位置の尤度と、ＩＤ尤度算出部４３により算出された人物のＩＤ番号の尤度とを基に検出空間内の各人物の位置を推定する。その後、ステップＳ１１に戻って上記の処理が繰り返され、複数の人物の位置が追跡される。 Referring to FIG. 3 again, after any of the above processes is completed, in step S15, position estimation unit 44 determines the likelihood of the position of the person calculated by position likelihood calculation unit 42, and the ID likelihood. The position of each person in the detection space is estimated based on the likelihood of the person ID number calculated by the degree calculation unit 43. Thereafter, the process returns to step S11 and the above-described processing is repeated to track the positions of a plurality of persons.
次に、上記のステップＳ１３〜Ｓ１７の処理をさらに詳細に説明する。この説明では、時刻ｔにおける追跡対象である人物の位置をｘｔ、位置センサ１からの観測結果である人物の位置情報をｚｔ、ＩＤセンサ２からの観測結果である光ＩＤタグ３のＩＤ番号をｙｔ、サンプル数をＮ個とするとともに、時刻ｔ−１における仮説ｓ（ｎ） ｔ−１と、位置の尤度π（ｎ） ｔ−１と、ＩＤ情報の尤度π（ｕ）（ｎ） ｔ−１とから成る仮説群｛ｓ（ｎ） ｔ−１，π（ｎ） ｔ−１，π（ｕ）（ｎ） ｔ−１｝（ｎ＝１，…，Ｎ）により表現された確率分布が存在するものとする。 Next, the processing in steps S13 to S17 will be described in more detail. In this description, the position of the person to be tracked at time t is x t , the position information of the person that is the observation result from the position sensor 1 is z t , and the ID of the optical ID tag 3 that is the observation result from the ID sensor 2. The number is y t , the number of samples is N, the hypothesis s (n) t−1 at time t−1, the likelihood of position π (n) t−1, and the likelihood of ID information π (u ) (n) hypotheses consisting t-1 Tokyo {s (n) t-1 , π (n) t-1, π (u) (n) t-1} (n = 1, ..., n) by It is assumed that there is an expressed probability distribution.
まず、センサ入力が位置センサ１の場合、ステップＳ１３において、位置尤度算出部４２は、位置の尤度π（ｎ） ｔ−１に従い仮説ｓ’（ｎ） ｔ−１の選択をし、予め定義されたパーティクルの移動特性を表すシステムモデルｐ（ｘｔ｜ｘｔ−１＝ｓ’（ｎ） ｔ−１）によって、位置に対する仮説群を生成する。 First, when the sensor input is the position sensor 1, in step S13, the position likelihood calculating unit 42 selects a hypothesis s ′ (n) t−1 according to the position likelihood π (n) t−1 , A hypothesis group for the position is generated by the system model p (x t | x t−1 = s ′ (n) t−1 ) representing the defined particle movement characteristics.
次に、ステップＳ１４において、位置尤度算出部４２は、位置センサ１から得られた実際の観測量から、観測モデルｐｐｏｓ（ｚｔ｜ｘｔ）により各仮説の尤度π（ｎ） ｔを計算し、時刻ｔにおける仮説群｛ｓ（ｎ） ｔ，π（ｎ） ｔ｝を決定する。 Next, in step S <b> 14, the position likelihood calculating unit 42 calculates the likelihood π (n) t of each hypothesis from the actual observation amount obtained from the position sensor 1 using the observation model p pos (z t | x t ). And the hypothesis group {s (n) t , π (n) t } at time t is determined.
一方、センサ入力がＩＤセンサ２の場合、ＩＤセンサ２に対するシステムモデルの適用と尤度計算とが行われ、ＩＤセンサ２のシステムモデルは、先に述べたパーティクルの移動特性を示すシステムモデルとは異なり、ＩＤ番号の尤度の減衰を制御する。このＩＤ番号の尤度は、各パーティクルにおいて観測されたＩＤ番号の数だけ存在するものとする。 On the other hand, when the sensor input is the ID sensor 2, the system model is applied to the ID sensor 2 and the likelihood calculation is performed. The system model of the ID sensor 2 is the above-described system model indicating the particle movement characteristics. Unlikely, it controls the attenuation of the likelihood of the ID number. It is assumed that there are as many likelihoods of ID numbers as the number of ID numbers observed in each particle.
まず、ステップＳ１６において、予め定義されたＩＤ番号のシステムモデルによって、ＩＤ番号に対する仮説群を生成する。次に、ステップＳ１７において、ＩＤ尤度算出部４３は、ＩＤセンサ２の観測結果ｙｔから、ＩＤセンサ２の観測モデルｐ（ｙｔ｜ｘｔ）により各仮説の尤度π（ｕ）（ｎ）を計算し、現時刻ｔにおけるＩＤに対する仮説群｛ｓ（１） ｔ，…，ｓ（Ｎ） ｔ｝のＩＤ番号の尤度を更新する。 First, in step S16, a hypothesis group for an ID number is generated by a system model having a predefined ID number. Next, in step S17, ID likelihood calculating unit 43, from the observation y t of the ID sensor 2, the observation model p ID sensor 2 (y t | x t) by the likelihood of each hypothesis π (u) ( n) is calculated, and the likelihood of the ID number of the hypothesis group {s (1) t ,..., s (N) t } for the ID at the current time t is updated.
最後に、ステップＳ１５において、位置推定部４４は、更新されたパーティクルによって、現時刻ｔにおけるＩＤ番号すなわちｕを有する人物の位置を次式から推定する。 Finally, in step S15, the position estimation unit 44 estimates the position of the person having the ID number, that is, u at the current time t from the following equation using the updated particles.
εｕ[ｆ（ｘｔ）]＝Σπ（ｎ） ｔπ（ｕ）（ｎ） ｔｆ（ｓ（ｎ） ｔ） （１）
なお、ｆ（ｓ（ｎ） ｔ）としては、種々の関数を用いることができ、例えば、位置の尤度及びＩＤ番号の尤度の大きなものの平均や、最も大きい尤度を選択し、人物の位置を推定することができる。
ε u [f (x t )] = Σπ (n) t π (u) (n) t f (s (n) t ) (1)
Note that various functions can be used as f (s (n) t ). For example, the average of the ones having the highest likelihood of position and the likelihood of the ID number or the highest likelihood is selected, and The position can be estimated.
次に、上記の処理に使用されるシステムモデル及び観測モデルの一例について説明する。まず、位置センサ１に対する仮説生成のシステムモデルとして、人物の移動速度に対応したモデルを考え、下式で表されるシステムモデルを用いることができる。 Next, an example of a system model and an observation model used for the above processing will be described. First, as a system model for hypothesis generation for the position sensor 1, a model corresponding to the moving speed of a person can be considered and a system model represented by the following equation can be used.
ｘｎ＋１＝ｘｎ＋νｎΔｔ＋ωｎ （２）
ここで、ｘｎはｎステップ目の追跡対象物である人物の位置であり、νｎは過去の位置から推定した速度であり、Δｔは時間定数であり、ωｎはホワイトノイズである．
次に、位置センサ１に対する仮説生成の観測モデルとして、下式で表される観測モデルを用いることができる。
x n + 1 = x n + ν n Δt + ω n (2)
Here, x n is the position of the person who is the n-th tracking target, ν n is the velocity estimated from the past position, Δt is a time constant, and ω n is white noise.
Next, as an observation model for generating a hypothesis for the position sensor 1, an observation model represented by the following equation can be used.
ここで、ｚｎは観測結果として得られる追跡対象物である人物の位置であり、Σは共分散である。 Here, z n is the position of the person who is the tracking target obtained as an observation result, and Σ is the covariance.
一方、ＩＤセンサ２に対するシステムモデルは、位置変化に対して独立であり、時間経過に対する尤度変化に対応させ、下式で表されるシステムモデルを用いることができる。 On the other hand, the system model for the ID sensor 2 is independent of the position change, and the system model represented by the following formula can be used in correspondence with the likelihood change with time.
πｎ＋１＝πｎｋ （４）
ここで、πｎはパーティクルの更新ｎステップ目におけるＩＤ番号の尤度であり、ｋ（０＜ｋ≦１）は定数である。ＩＤセンサ２に対する観測モデルは、上記の位置センサ１の観測モデルと同一の観測モデルを用いることができる。このモデルにより影響を受ける尤度は、各ＩＤ番号に対するＩＤ番号の尤度のみである。
π n + 1 = π n k (4)
Here, π n is the likelihood of the ID number at the n-th update step of the particle, and k (0 <k ≦ 1) is a constant. The observation model for the ID sensor 2 can be the same observation model as that of the position sensor 1 described above. The likelihood affected by this model is only the likelihood of the ID number for each ID number.
上記のシステムモデルを用いて運用されたパーティクル群の確率分布により、人物の位置推定が実行される。通常のＣｏｎｄｅｎｓａｔｉｏｎでは、尤度の平均値を用いる方法が最も単純な位置推定となるが，本実施の形態では、位置の尤度とＩＤ番号の尤度との双方の平均をとる方法が、単純な位置推定方法となる。 The position estimation of the person is executed by the probability distribution of the particle group operated using the above system model. In normal Condensation, the method using the average value of likelihood is the simplest position estimation. However, in this embodiment, the method of averaging both the likelihood of position and the likelihood of ID number is simple. This is a simple position estimation method.
上記の処理により、本実施の形態では、複数の人物の位置が検出され、検出された位置を用いて人物の位置の尤度が算出され、この位置の尤度の算出処理と分離して、複数の人物の各々に対して一意的に割り付けられたＩＤ番号が検出され、検出されたＩＤ番号を用いて人物のＩＤ番号の尤度が算出され、算出された人物の位置の尤度及びＩＤ番号の尤度を基に各人物の位置が推定されるので、位置の尤度とＩＤ番号の尤度とを個別に取り扱うことによって頑健なＩＤ番号付きの人物追跡を実現することができ、低解像度な位置センサ１とフレームレートの低いＩＤセンサ２とを用いた場合においても、複数の人物の位置を安定して推定することができる。 With the above processing, in the present embodiment, the positions of a plurality of persons are detected, the likelihood of the position of the person is calculated using the detected positions, and separated from the processing for calculating the likelihood of the position, An ID number uniquely assigned to each of a plurality of persons is detected, the likelihood of the person's ID number is calculated using the detected ID number, and the calculated likelihood and ID of the position of the person Since the position of each person is estimated based on the likelihood of the number, robust person tracking with an ID number can be realized by individually handling the likelihood of the position and the likelihood of the ID number. Even when the resolution position sensor 1 and the ID sensor 2 having a low frame rate are used, the positions of a plurality of persons can be stably estimated.
次に、上記の位置推定装置を用いて実際に複数の人物の位置を推定した結果について説明する。本推定では、光ＩＤタグ３に対する測定条件を以下のように変えて３種類の測定を行った。 Next, the result of actually estimating the positions of a plurality of persons using the position estimation apparatus will be described. In this estimation, three types of measurements were performed by changing the measurement conditions for the optical ID tag 3 as follows.
図７は、第１の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図７に示すように、第１の測定条件として、光ＩＤタグ３に対してオクルージョンが発生しないように、カメラ視線に対して平行に２人の被測定者が並んで前後に約１分間歩行する条件を用いた。本実施の形態では、理論値として９．０９ＨｚでＩＤ番号を取得可能であるが、第１の測定条件では、検出できない場合を考慮して、平均して８．６１５ＨｚでＩＤ番号を取得した。 FIG. 7 is a diagram illustrating a scene of the first measurement condition and a state of position estimation using the particle group at that time. As shown in FIG. 7, as a first measurement condition, two persons to be measured are walked for about 1 minute in the back and forth, parallel to the camera line of sight so that no occlusion occurs in the optical ID tag 3. The conditions to be used were used. In this embodiment, an ID number can be acquired at a theoretical value of 9.09 Hz, but an ID number is acquired at an average of 8.615 Hz in consideration of the case where it cannot be detected under the first measurement condition.
図８は、第１の測定条件に対する推定結果を示す図である。図８では、２人の被測定者の追跡軌跡をそれぞれ実線及び破線で表しており、２本の線がほぼ直線的に平行して移動している様子がわかる、図８の左側を歩行した被測定者の歩行方向に対して横方向の座標軸に計測された値（ｍｍ）の分散は１７６４であり、右側を歩行した被測定者の分散は１３６９であった。 FIG. 8 is a diagram illustrating an estimation result with respect to the first measurement condition. In FIG. 8, the tracking trajectories of the two subjects are represented by a solid line and a broken line, respectively, and it can be seen that the two lines are moving substantially linearly in parallel. The variance of the value (mm) measured on the coordinate axis transverse to the walking direction of the measurement subject was 1764, and the variance of the measurement subject walking on the right side was 1369.
図９は、第２の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図９に示すように、第２の測定条件として、カメラ視線方向に対して２人の被測定者が前後して並び、ビデオカメラ２１に対して横方向に往復移動する条件を用いた。この場合、２人の被測定者の重なりが往復運動の中央付近で常に発生するよう同期的に動いているため、第１の測定条件と異なり、ビデオカメラ２１から見て２人の被測定者が重なる瞬間にオクルージョンが発生する。このオクルージョンが発生する前後は、ＩＤ番号を取得し難くなるため、光ＩＤタグ３の平均認識頻度は７．８２Ｈｚとなり、第１の測定条件の場合より低下した。 FIG. 9 is a diagram illustrating a scene of the second measurement condition and a state of position estimation using the particle group at that time. As shown in FIG. 9, as the second measurement condition, a condition was used in which two measurement subjects are arranged side by side with respect to the camera line-of-sight direction and reciprocate in the horizontal direction with respect to the video camera 21. In this case, since the overlap of the two persons to be measured moves synchronously so as to always occur near the center of the reciprocating motion, unlike the first measurement condition, the two persons to be measured as viewed from the video camera 21. Occlusion occurs at the moment when. Before and after this occlusion occurs, it is difficult to obtain an ID number, so the average recognition frequency of the optical ID tag 3 is 7.82 Hz, which is lower than in the case of the first measurement condition.
図１０は、第２の測定条件に対する推定結果を示す図である。第２の測定条件に対する推定結果は、２本の直線が平行な形状となるべきであるが、図１０に示すように、三角形のような形状となって推定された。この結果における上部の被測定者の縦方向の分散は１０５９４であり、下部の被測定者の分散は１７４２４であり、第１の測定条件に比べて推定の誤りが多くなった。これは、オクルージョンが発生してＩＤ番号の尤度の更新がされなくなった場合に、正解となるＩＤ番号の尤度が全体的に減少し、広く散らばっている本来は無関係なパーティクルのＩＤ番号の尤度の影響が強くなることに起因すると考えられる。 FIG. 10 is a diagram illustrating an estimation result with respect to the second measurement condition. The estimation result for the second measurement condition should be a shape like a triangle as shown in FIG. 10, although the two straight lines should have a parallel shape. In this result, the vertical dispersion of the upper measurement subject was 10594, and the dispersion of the lower measurement subject was 17424, and the estimation error was larger than that of the first measurement condition. This is because when the likelihood of the ID number is not updated due to occurrence of occlusion, the likelihood of the correct ID number decreases as a whole, and the ID numbers of originally irrelevant particles scattered widely This is considered to be due to the influence of likelihood becoming stronger.
しかしながら、往復運動の両端では正しく推定されており、往復運動の方向転換の位置で正しく推定された。この結果、オクルージョンによる混乱が発生した場合でも、オクルージョンが解消されれば、正しい推定に復帰可能な頑健な位置推定が可能であることがわかった。 However, it was correctly estimated at both ends of the reciprocating motion, and was correctly estimated at the position of reciprocating direction change. As a result, it has been found that even if confusion due to occlusion occurs, if occlusion is resolved, robust position estimation that can return to correct estimation is possible.
図１１は、第３の測定条件の一シーン及びそのときのパーティクル群による位置推定の様子を示す図である。図１１に示すように、第３の測定条件として、部屋の中を２人の被測定者が点対称を維持したまま位置センサ１の縁に沿って歩く条件を用いた。この場合、２人の被測定者の間隔は約０．８ｍであり、カメラ視線に対して２人の被測定者が直線状に並ぶ瞬間にオクルージョンが発生する。 FIG. 11 is a diagram illustrating a scene of the third measurement condition and a state of position estimation using the particle group at that time. As shown in FIG. 11, as the third measurement condition, a condition was used in which two measured persons walk along the edge of the position sensor 1 while maintaining point symmetry in the room. In this case, the interval between the two persons to be measured is about 0.8 m, and occlusion occurs at the moment when the two persons to be measured are arranged in a straight line with respect to the camera line of sight.
図１２は、第３の測定条件に対する推定結果を示す図である。図１２に示す推定結果から、多少の誤認識はあるものの、安定して方形の軌跡を描いていることがわかり、この場合も、頑健な位置推定が可能であることがわかった。 FIG. 12 is a diagram illustrating an estimation result with respect to the third measurement condition. From the estimation results shown in FIG. 12, it was found that although there was some misrecognition, a square trajectory was stably drawn, and in this case also, robust position estimation was possible.
上記の結果、本実施の形態では、複数の人物の並び歩行、円弧歩行、交差歩行等の種々の条件において、光ＩＤタグ３に対してオクルージョンが発生する場合に、一時的に誤推定状態はあるものの、その状態から復帰可能であり、複数の人物の位置を安定して推定することができることがわかった。 As a result of the above, in the present embodiment, when occlusion occurs for the optical ID tag 3 under various conditions such as walking, circular walking, crosswalking, etc., a false estimation state is temporarily Although it was, it was found that it was possible to return from that state, and the positions of multiple persons could be estimated stably.
１ 位置センサ
２ ＩＤセンサ
３ 光ＩＤタグ
４ 推定装置
２１ ビデオカメラ
２２ 画像処理装置
３１ 駆動回路
３２ ＬＥＤ
４１ 判断部
４２ 位置尤度算出部
４３ ＩＤ尤度算出部
４４ 位置推定部
DESCRIPTION OF SYMBOLS 1 Position sensor 2 ID sensor 3 Optical ID tag 4 Estimation apparatus 21 Video camera 22 Image processing apparatus 31 Drive circuit 32 LED
41 determination unit 42 position likelihood calculation unit 43 ID likelihood calculation unit 44 position estimation unit
Claims (3)
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２の検出手段と、
前記第１の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第１の算出手段と、
前記第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第２の算出手段と、
前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段とを備え、
前記第１の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、
前記第２の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出し、
前記第２の検出手段は、
各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、
前記発光手段を含む所定領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、
前記第１の算出手段は、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出し、
前記第２の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させ、
前記推定手段は、前記第２の算出手段により各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定することを特徴とする位置推定装置。 First detecting means for detecting the positions of the plurality of objects without identifying the plurality of objects ;
Second detection means for detecting identification information uniquely assigned to each of the plurality of objects;
First calculation means for calculating the likelihood of the position of the object using the position detected by the first detection means;
Second calculation means for calculating the likelihood of the identification information of the object using the identification information detected by the second detection means;
Estimation that estimates the position of each object based on the likelihood of the position of the object calculated by the first calculation means and the likelihood of the identification information of the object calculated by the second calculation means and means,
The first calculation means calculates the likelihood of the position of the object using the position detected by the first detection means, the system model and the observation model for the position of the object, according to the Condensation algorithm,
The second calculation means calculates the likelihood of the identification information of the object using the identification information detected by the second detection means, the system model and the observation model for the identification information of the object, according to the Condensation algorithm. Calculate
The second detection means includes
A plurality of light emitting means attached to each object and emitting light according to identification information uniquely assigned to the object;
Photographing means for photographing an image of a predetermined area including the light emitting means;
An identification information detecting means for detecting identification information of the light emitting means using an image photographed by the photographing means,
The first calculation means treats the position detected by the first detection means as a distribution of particles on a detection region, calculates the likelihood of the position of the object using a plurality of particles,
The second calculating means projects the pixel position of each light emitting means on the image photographed by the photographing means onto the detection coordinates of the first detecting means by projective transformation, and associates them with the projected detection coordinates. Holding the likelihood of the identification information of each light emitting means for the particles being
The estimation means uses the particles in which the likelihood of the identification information of each light emitting means is held by the second calculation means, and the likelihood of the position of the object calculated by the first calculation means, A position estimation apparatus that estimates the position of each object by taking an average of both the likelihood of the identification information of each light emitting means calculated by the second calculating means .
前記第１の検出手段が、複数の対象物を識別することなく、前記複数の対象物の位置を検出する第１のステップと、
前記第２の検出手段が、前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２のステップと、
前記第１の算出手段が、前記第１の検出手段により検出された位置を用いて対象物の位置の尤度を算出する第３のステップと、
前記第２の算出手段が、前記第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第４のステップと、
前記推定手段が、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する第５のステップとを含み、
前記第３のステップは、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出するステップを含み、
前記第４のステップは、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出するステップを含み、
前記第２の検出手段は、
各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、
前記発光手段を含む所定領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、
前記第３のステップは、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出するステップを含み、
前記第４のステップは、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させるステップを含み、
前記第５のステップは、前記第４のステップにおいて各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第３のステップにおいて算出された対象物の位置の尤度と、前記第４のステップにおいて算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定するステップを含むことを特徴とする位置推定方法。 A position estimation method using a position estimation apparatus including first and second detection means, first and second calculation means, and estimation means,
It said first detection means, without identifying a plurality of objects, a first step of detecting a position of the plurality of objects,
It said second detection means, a second step of detecting the identification information assigned uniquely to each of said plurality of objects,
Said first calculating means, a third step of calculating the likelihood of the position of the object using the detected position by said first detecting means,
It said second calculation means, and a fourth step of calculating the likelihood of the identification information of the object by using the identification information detected by said second detection means,
Based on the likelihood of the position of the object calculated by the first calculating means and the likelihood of the identification information of the object calculated by the second calculating means, the estimating means and a fifth step of estimating the position seen including,
The third step includes a step of calculating the likelihood of the position of the object using the position detected by the first detection means and the system model and the observation model with respect to the position of the object according to the Condensation algorithm. Including
In the fourth step, the likelihood of the identification information of the object is calculated using the identification information detected by the second detection means and the system model and the observation model for the identification information of the object in accordance with the Condensation algorithm. Including the steps of
The second detection means includes
A plurality of light emitting means attached to each object and emitting light according to identification information uniquely assigned to the object;
Photographing means for photographing an image of a predetermined area including the light emitting means;
An identification information detecting means for detecting identification information of the light emitting means using an image photographed by the photographing means,
The third step includes a step of treating the position detected by the first detection means as a distribution of particles on a detection region and calculating the likelihood of the position of the object using a plurality of particles,
In the fourth step, the pixel position of each light emitting unit on the image photographed by the photographing unit is projected onto the detection coordinate of the first detection unit by projective transformation, and is associated with the projected detection coordinate. Holding the likelihood of the identification information of each light emitting means for the particles being
In the fifth step, the likelihood of the position of the object calculated in the third step using the particles in which the likelihood of the identification information of each light emitting unit is held in the fourth step, A position estimation method comprising the step of estimating the position of each object by taking an average of both the likelihood of the identification information of each light emitting means calculated in the fourth step .
前記複数の対象物の各々に対して一意的に割り付けられた識別情報を検出する第２の検出手段により検出された識別情報を用いて対象物の識別情報の尤度を算出する第２の算出手段と、
前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された対象物の識別情報の尤度とを基に各対象物の位置を推定する推定手段としてコンピュータを機能させ、
前記第１の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第１の検出手段により検出された位置と、対象物の位置に対するシステムモデル及び観測モデルとを用いて対象物の位置の尤度を算出し、
前記第２の算出手段は、Ｃｏｎｄｅｎｓａｔｉｏｎアルゴリズムに従って、前記第２の検出手段により検出された識別情報と、対象物の識別情報に対するシステムモデル及び観測モデルとを用いて対象物の識別情報の尤度を算出し、
前記第２の検出手段は、
各対象物に取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて光を発光する複数の発光手段と、
前記発光手段を含む所定領域の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像を用いて前記発光手段の識別情報を検出する識別情報検出手段とを含み、
前記第１の算出手段は、前記第１の検出手段により検出された位置を検出領域上のパーティクルの分布として扱い、複数のパーティクルを用いて対象物の位置の尤度を算出し、
前記第２の算出手段は、前記撮影手段により撮影された画像上の各発光手段の画素位置を射影変換によって前記第１の検出手段の検出座標上に投影し、投影された検出座標に対応付けられているパーティクルに対して各発光手段の識別情報の尤度を保持させ、
前記推定手段は、前記第２の算出手段により各発光手段の識別情報の尤度が保持されたパーティクルを用いて、前記第１の算出手段により算出された対象物の位置の尤度と、前記第２の算出手段により算出された各発光手段の識別情報の尤度との双方の平均をとることにより、各対象物の位置を推定することを特徴とする位置推定プログラム。 First calculating means for calculating the likelihood of the position of the object using the position detected by the first detecting means for detecting the position of the plurality of objects without identifying the plurality of objects ;
A second calculation for calculating the likelihood of the identification information of the object using the identification information detected by the second detection means for detecting the identification information uniquely assigned to each of the plurality of objects. Means,
Estimation that estimates the position of each object based on the likelihood of the position of the object calculated by the first calculation means and the likelihood of the identification information of the object calculated by the second calculation means Let the computer function as a means ,
The first calculation means calculates the likelihood of the position of the object using the position detected by the first detection means, the system model and the observation model for the position of the object, according to the Condensation algorithm,
The second calculation means calculates the likelihood of the identification information of the object using the identification information detected by the second detection means, the system model and the observation model for the identification information of the object, according to the Condensation algorithm. Calculate
The second detection means includes
A plurality of light emitting means attached to each object and emitting light according to identification information uniquely assigned to the object;
Photographing means for photographing an image of a predetermined area including the light emitting means;
An identification information detecting means for detecting identification information of the light emitting means using an image photographed by the photographing means,
The first calculation means treats the position detected by the first detection means as a distribution of particles on a detection region, calculates the likelihood of the position of the object using a plurality of particles,
The second calculating means projects the pixel position of each light emitting means on the image photographed by the photographing means onto the detection coordinates of the first detecting means by projective transformation, and associates them with the projected detection coordinates. Holding the likelihood of the identification information of each light emitting means for the particles being
The estimation means uses the particles in which the likelihood of the identification information of each light emitting means is held by the second calculation means, and the likelihood of the position of the object calculated by the first calculation means, A position estimation program for estimating the position of each object by taking the average of both the likelihood of the identification information of each light emitting means calculated by the second calculating means .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006062190A JP5147036B2 (en) | 2006-03-08 | 2006-03-08 | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006062190A JP5147036B2 (en) | 2006-03-08 | 2006-03-08 | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007240295A JP2007240295A (en) | 2007-09-20 |
| JP5147036B2 true JP5147036B2 (en) | 2013-02-20 |
Family
ID=38585981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006062190A Expired - Fee Related JP5147036B2 (en) | 2006-03-08 | 2006-03-08 | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5147036B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11854214B2 (en) | 2021-03-09 | 2023-12-26 | Kabushiki Kaisha Toshiba | Information processing apparatus specifying a relationship between a sensor and an object included in image data, and method and non-transitory computer-readable storage medium |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010052874A1 (en) | 2008-11-05 | 2010-05-14 | パナソニック株式会社 | Object position estimation system, object position estimation device, object position estimation method, and object position estimation program |
| WO2011021588A1 (en) * | 2009-08-20 | 2011-02-24 | 日本電気株式会社 | Mobile body trajectory identification system |
| JP2011128107A (en) * | 2009-12-21 | 2011-06-30 | Mitsubishi Electric Corp | Device for controlling moving body |
| WO2013001704A1 (en) | 2011-06-30 | 2013-01-03 | 日本電気株式会社 | Analysis engine control apparatus |
| JP6070689B2 (en) | 2012-02-29 | 2017-02-01 | 日本電気株式会社 | Flow line information generation system, flow line information generation method, and flow line information generation program |
| JP6160622B2 (en) * | 2012-09-19 | 2017-07-12 | 日本電気株式会社 | Arrangement score calculation system, method and program |
| JP6428277B2 (en) * | 2015-01-09 | 2018-11-28 | 富士通株式会社 | Object association method, apparatus, and program |
| JP5928969B1 (en) * | 2015-07-22 | 2016-06-01 | ビーコア株式会社 | Image processing system, light emitting device, image processing method, and light emitting method |
| WO2017046272A1 (en) | 2015-09-17 | 2017-03-23 | Thomson Licensing | Method for encoding a light field content |
| US10049267B2 (en) * | 2016-02-29 | 2018-08-14 | Toyota Jidosha Kabushiki Kaisha | Autonomous human-centric place recognition |
| JP2021039388A (en) * | 2017-12-26 | 2021-03-11 | パナソニックＩｐマネジメント株式会社 | Positioning device and vehicle |
| JP7490359B2 (en) * | 2019-12-24 | 2024-05-27 | キヤノン株式会社 | Information processing device, information processing method, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277530A (en) * | 2001-03-19 | 2002-09-25 | Hitachi Ltd | Wireless terminal position measurement device |
| NZ535747A (en) * | 2002-03-12 | 2005-05-27 | Menache Llc | Motion tracking system and method |
| EP1499129B1 (en) * | 2002-04-25 | 2011-12-28 | Panasonic Corporation | Object detection device, object detection server, and object detection method |
| JP2004012351A (en) * | 2002-06-07 | 2004-01-15 | Mitsubishi Electric Corp | Equipment, method, and program for tracking target |
| US7250907B2 (en) * | 2003-06-30 | 2007-07-31 | Microsoft Corporation | System and methods for determining the location dynamics of a portable computing device |
| JP4418935B2 (en) * | 2004-07-15 | 2010-02-24 | 株式会社国際電気通信基礎技術研究所 | Optical marker system |
-
2006
- 2006-03-08 JP JP2006062190A patent/JP5147036B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11854214B2 (en) | 2021-03-09 | 2023-12-26 | Kabushiki Kaisha Toshiba | Information processing apparatus specifying a relationship between a sensor and an object included in image data, and method and non-transitory computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007240295A (en) | 2007-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5147036B2 (en) | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM | |
| Kunhoth et al. | Indoor positioning and wayfinding systems: a survey | |
| Elloumi et al. | Indoor pedestrian localization with a smartphone: A comparison of inertial and vision-based methods | |
| CN100369487C (en) | Object detection device, object detection server, and object detection method | |
| US9411037B2 (en) | Calibration of Wi-Fi localization from video localization | |
| CN102105811B (en) | System for estimating object position, device for estimating object position, method for estimating object position, and program for estimating object position | |
| US20160117824A1 (en) | Posture estimation method and robot | |
| JP6590609B2 (en) | Image analysis apparatus and image analysis method | |
| JP4880805B2 (en) | Object position estimation apparatus, object position estimation method, and object position estimation program | |
| JP2012058248A (en) | Motion tracking techniques for rfid tags | |
| US11666247B2 (en) | Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up | |
| WO2011027557A1 (en) | Device for collecting position calibration information, method for collecting position calibration information, and program for collecting position calibration information | |
| Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
| CN106529418A (en) | Fall detection and alarm method | |
| Shalaby et al. | Geometric model for vision-based door detection | |
| Cordella et al. | Robust pose estimation algorithm for wrist motion tracking | |
| CN106372552A (en) | Human body target identification and positioning method | |
| Liu et al. | Automatic fall risk detection based on imbalanced data | |
| Zhang et al. | Wearable heading estimation for motion tracking in health care by adaptive fusion of visual–inertial measurements | |
| Strasdat et al. | Multi-cue localization for soccer playing humanoid robots | |
| Unicomb et al. | A monocular indoor localiser based on an extended kalman filter and edge images from a convolutional neural network | |
| US20240119620A1 (en) | Posture estimation apparatus, posture estimation method, and computer-readable recording medium | |
| Maki et al. | Accelerometer detection in a camera view based on feature point tracking | |
| Nowicki et al. | Indoor navigation using QR codes and WiFi signals with an implementation on mobile platform | |
| Candraningtyas et al. | Human Fall Motion Prediction-A Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5147036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |