[go: up one dir, main page]

CN114199121B - 移动体位置决定装置、方法以及系统 - Google Patents

移动体位置决定装置、方法以及系统 Download PDF

Info

Publication number
CN114199121B
CN114199121B CN202111077125.0A CN202111077125A CN114199121B CN 114199121 B CN114199121 B CN 114199121B CN 202111077125 A CN202111077125 A CN 202111077125A CN 114199121 B CN114199121 B CN 114199121B
Authority
CN
China
Prior art keywords
light emitting
emitting devices
image
moving body
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111077125.0A
Other languages
English (en)
Other versions
CN114199121A (zh
Inventor
饭塚宣男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN114199121A publication Critical patent/CN114199121A/zh
Application granted granted Critical
Publication of CN114199121B publication Critical patent/CN114199121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供移动体位置决定装置、移动体位置决定方法以及移动体位置决定系统。移动体位置决定装置具备通信部(203)和至少1个处理器，所述至少1个处理器执行如下处理：从包含设置于三维空间中的高度不同的任意的位置的2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，经由所述通信部取得由安装于移动体的摄像装置摄像的包含至少2个发光装置的图像，基于所取得的所述图像来取得所述至少2个发光装置的所述图像内的坐标位置，基于所述三维空间的坐标位置以及所述图像内的坐标位置来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者。

Description

移动体位置决定装置、方法以及系统
技术领域
本发明涉及移动体位置决定装置、移动体位置决定方法以及移动体位置决定系统。
背景技术
以往，存在如下技术：安装于移动体的摄像装置对作为空间内的发光装置的标志进行摄像，通过该摄像得到的图像来算出移动体的三维空间的位置、方位(例如日本特开2014-157051号公报)。
但在上述的技术中，存在必须将标志配置在同一平面上这样的制约，标志的设置的自由度、进而位置和方位的算出的自由度低。
发明内容
本申请发明的一个优点在于，提升位置和方位的算出的自由度。
本公开的移动体位置决定装置执行如下处理：从包含设置于三维空间中的高度不同的任意的位置的2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，基于由安装于移动体的摄像装置摄像的包含至少2个发光装置的图像来取得所述至少2个发光装置的图像内的坐标位置，基于所述三维空间的坐标位置以及所述图像内的坐标位置来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者。
附图说明
图1是表示本发明的实施方式所涉及的可见光通信系统的一例的图。
图2是表示服务器的结构的一例的图。
图3是表示空间中的摄像机和标志的配置的一例的图。
图4是表示标志三维位置表的一例的图。
图5是表示摄像机内部参数的一例的图。
图6的(a)表示失真补正前的图像的一例的图，图6的(b)是表示失真补正后的图像的一例的图。
图7是表示标志的图像位置以及三维位置的一例的图。
图8是表示XY平面矢量的一例的图。
图9的(a)是表示XY平面矢量的调整前的一例的图，图9的(b)、(c)是表示XY平面矢量的调整后的一例的图。
图10是表示摄像机位置候补线的一例的图。
图11是表示摄像机位置候补线与延长矢量的交点取得的一例的图。
图12是表示服务器的动作的一例的第1流程图。
图13是表示服务器的动作的一例的第2流程图。
图14是表示服务器的动作的一例的第3流程图。
图15是表示摄像机为2台的情况的XY平面矢量的一例的图。
具体实施方式
以下参考附图来说明作为本发明的实施方式所涉及的移动体位置决定装置的可见光通信系统。
图1是表示可见光通信系统的结构的图。如图1所示那样，可见光通信系统1包含如下要素而构成：作为在空间500内移动的移动体的叉车100；安装于叉车100的摄像机101a；安装于空间500的顶板、侧面等的作为光源的标志102a、102b、102c(以下在并不分别限定标志102a、102b、102c的情况下，适宜称作“标志102”)；和移动体位置决定装置所对应的服务器200。标志102包含未图示的LED(Light Emitting Diode，发光二极管)。空间500，以由X轴的坐标(X坐标)、Y轴的坐标(Y坐标)、Z轴的坐标(Z坐标)构成的三维的参数定义，由此能确定存在于该空间500内的物体的位置。在此，X轴以及Y轴双方都是水平方向，相互正交，Z轴是垂直方向，与X轴以及Y轴正交。
在本实施方式中，安装于叉车100的摄像机101a对标志102摄像。标志102，使空间500中的三维位置为已知，用各种发送对象的信息进行颜色调制，通过沿着时间序列使该发光色变化地进行发光，来发送其信息。另外，调制方法采用如下方法：将发送对象的信息变换成比特数据，使该数据具有给定的规则性并按光的三原色(R(红)G(绿)B(蓝))的顺序进行分配。
另一方面，服务器200对通过摄像机101a的时间序列上连续的摄像得到的光的图像中的发光色的变化进行解调来取得标志102所发出的信息，并算出空间500中的摄像机101a的三维位置，作为叉车100的三维位置。
图2是表示服务器200的结构的一例的图。如图2所示那样，服务器200包含控制部202、无线通信部203、图像处理部204、存储器205、操作部206、显示部207以及通信部208。
图3是表示空间500中的摄像机101a和标志102的配置的一例的图。在本实施方式中，服务器200基于空间500中的为已知的标志102的三维位置来算出为未知的摄像机101a的三维位置。
摄像机101a对经由未图示的镜头而入光的光学像进行摄像(受光)，将其摄像视角内的图像信号变换成数字数据来生成图像。另外，摄像机101a在时间上连续地进行摄像和图像的生成，将连续的图像通过无线通信向服务器200发送。服务器200内的无线通信部203接收图像并将其向图像处理部204输出。图像中的各像素、图像区域用由X坐标、Y坐标构成的二维的坐标平面定义其位置。
再度返回图2来进行说明。图像处理部204将从无线通信部203输出的图像(数字数据)直接向控制部202输出，并且为了使该图像显示在显示部207而对其调整画质、图像尺寸，并向控制部202输出。另外，图像处理部204具有通过JPEG(Joint PhotographicExperts Group，联合图像专家组)、MPEG(Moving Photographic Experts Group，动态图像专家组)等压缩编码方式进行编码、静止图像文件化或动态图像文件化的功能。
控制部202由作为处理器的CPU(Central Processing Unit，中央处理器)构成。控制部202通过遵循存储于存储器205的程序(例如，用于实现后述的图12、图13、图14所示的服务器200的动作的程序)执行软件处理，来控制服务器200所具备的各种功能。
存储器205例如是RAM(Random Access Memory，随机存取存储器)、ROM(Read OnlyMemory，只读存储器)。存储器205存储服务器200中的控制等中所用的各种信息(程序等)。
另外，存储器205存储图4所示的标志三维位置表、图5所示的摄像机内部参数。图4所示的标志三维位置表将能唯一确定标志102a、102b、102c各自的自身的ID(Identification，身份证明)和空间500中的该标志102a、102b、102c的三维位置(X坐标、Y坐标、Z坐标)建立对应。
另外，图5所示的摄像机内部参数包含如下而构成：补正图像的失真时所用的图像失真补正数据；摄像机101a的高度(Z坐标)；作为表示摄像机101a所朝向的方向的姿态数据的表示摄像机101a的以Z轴为旋转轴的旋转的3×3矩阵即摄像机方位矩阵Rz(θ)；作为表示摄像机101a所朝向的方向的姿态数据的表示摄像机101a的以X轴为旋转轴的旋转和以Y轴为旋转轴的旋转的3×3矩阵即摄像机设置矩阵Rc。
再度返回图2来进行说明。操作部206包含小键盘、功能键等，是为了输入用户的操作内容而用的接口。显示部207例如包含LCD(Liquid Crystal Display，液晶显示器)、PDP(Plasma Display Panel，等离子显示面板)、EL(Electroluminescence，电致发光)显示器等。显示部207遵循从控制部202输出的图像信号来显示图像。通信部208例如是LAN(LocalArea Network，局域网)卡。通信部208在与外部的通信装置之间进行通信。
在控制部202中构成图像取得部230、标志确定部232、图像位置补正部234以及三维位置取得部236的各功能。
图像取得部230，取得来自图像处理部204的图像。标志确定部232检测图像内的标志102的位置(图像位置：与图像对应的二维平面中的X坐标、Y坐标)。在此，空间500内的标志102a、102b、102c发出用能唯一确定自身的ID调制成的、以R(红)G(绿)B(蓝)3色的图案巡回地变化的光。
标志确定部232检测通过摄像机101a的摄像得到的各图像中所含的巡回的3色的图案的光。进而，标志确定部232尝试与这3色的发光的图案对应的ID的检测，进而尝试向ID的解调。在检测到ID的情况下，标志确定部232取得图像内的与该ID对应的标志102的图像位置。
进而，标志确定部232通过参考存储于存储器205的标志三维位置表来取得与所取得的ID对应的标志102的空间500中的三维位置。
图像位置补正部234对标志102的图像位置进行补正。具体地，如图6的(a)所示那样，在通常图像601a中出现失真，距图像的中心的距离越长，该失真越大。为此，图像位置补正部234使用图5的摄像机内部参数的图像失真补正数据来补正失真。图像失真补正数据是距图像的中心的距离越长则补正量越大的数据。由此，如图6的(b)所示那样成为补正了失真的图像601b，该图像601b中的标志102a、102b、102c的位置(图像位置)被补正。
另外，图像位置补正部234进行设定，使得在摄像机101a的三维位置的取得时不使用失真补正后的图像当中存在于四角的标志102。例如，如图6的(b)所示那样，在图像601b的四角分别设定三角形的无效区域603a、603b、603c、603d。由于标志102c存在于无效区域603a内，因此在摄像机101a的三维位置的取得不使用该标志102c，在摄像机101a的三维位置的取得时仅使用标志102a、102b。
三维位置取得部236取得空间500中的摄像机101a的三维位置。具体地，三维位置取得部236使用图7所示的图像区域700中的标志102a的图像位置610a以及标志102b的图像位置、参考标志三维表得到的标志102a的三维位置以及标志102b的三维位置、和存储于存储器205的姿态数据即摄像机方位矩阵Rz(θ)以及摄像机设置矩阵Rc，通过已知的手法，来算出空间500中的摄像机101a的三维位置C＝(cx，cy，cz)。
具体地，三维位置取得部236在以摄像机101a为中心的三维空间的坐标系即摄像机基准相对系中，基于标志102a的三维位置和摄像机内部参数以及姿态数据来算出从摄像机101a向标志102a的三维方向矢量(vx1，vy1，vz1)，基于标志102b的图像位置和姿态数据来算出从摄像机101b向标志102的三维方向矢量(vx2，vy2，vz2)。
接下来，三维位置取得部236为了将从摄像机101a向标志102a的三维方向矢量(vx1，vy1，vz1)适用于三维空间中的摄像机101a与标志102a的位置关系中，基于标志102a与摄像机101a的高低差、和摄像机设置矩阵Rc1，通过已知的手法来算出将三维方向矢量(vx1，vy1，vzl)投影到XY平面的XY平面矢量V1。同样地，三维位置取得部236为了将从摄像机101a向标志102b的三维方向矢量(vx2，vy2，vz2)适用于三维空间中的摄像机101a与标志102b的位置关系中，基于标志102b与摄像机101a的高低差、和摄像机设置矩阵Rc2，来算出将三维方向矢量(vx2，vy2，vz2)投影到XY平面的XY平面矢量V2。图8是表示XY平面矢量V1、V2的一例的图。
进而，三维位置取得部236调整XY平面矢量V1和XY平面矢量V2。该调整是为了在由于摄像机方位矩阵Rz(θ)所表示的绕着Z轴的旋转角度θ的误差等而在算出的空间500中的摄像机101a的三维位置C＝(cx，cy，cz)中出现误差的情况下减小该误差的。
例如，如图9的(a)所示那样，在XY平面上，在摄像机101a与标志102a、102b的位置关系、和XY平面矢量V1以及XY平面矢量V2不一致的情况下，三维位置取得部236调整XY平面矢量V1和XY平面矢量V2。
例如，三维位置取得部236通过调整摄像机方位矩阵Rz(θ)所表示的绕着Z轴的旋转角度θ，来尝试使摄像机101a与标志102a、102b的位置关系、和XY平面矢量V1以及XY平面矢量V2一致。
另外，由于在图9的(a)中，XY平面矢量V1比XY平面矢量V2长，因此，三维位置取得部236，视作XY平面矢量V1一方误差更大，如图9的(b)所示那样，不调整XY平面矢量V2的长度以及方向，使摄像机101a与标志102b的位置关系与XY平面矢量V2一致，另一方面，调整XY平面矢量V1的长度以及方向，来使摄像机101a与标志102b的位置关系和XY平面矢量V2一致。
另外，三维位置取得部236如图9的(c)所示那样，使XY平面矢量V1的长度以及方向的调整量与XY平面矢量V1的长度以及方向的调整量的比率，和XY平面矢量V1与XY平面矢量V2的长度的比率一致，来调整XY平面矢量V1以及XY平面矢量V2双方的长度以及方向，从而使摄像机101a与标志102b的位置关系和XY平面矢量V2一致。
三维位置取得部236，使用调整后的XY平面矢量V1、V2、摄像机方位矩阵Rz(θ)来算出三维方向矢量(vx1，vy1，vz1)，进而算出空间500中的摄像机101a的三维位置C＝(cx，cy，cz)，并且基于摄像机方位矩阵Rz(θ)以及摄像机设置矩阵Rc来算出摄像机101a的方位。
进而，三维位置取得部236，选择存储于存储器205的摄像机101a的三维位置C＝(cx，cy，cz)当中最佳的三维位置C＝(cx，cy，cz)，设为最终的摄像机101a的三维位置(移动体的坐标位置)。所谓最佳的三维位置，例如是摄像机101a的各个三维位置C当中对应的再投影误差成为最小的位置、或通过遵循再投影误差的倒数的加权平均而算出的位置。三维位置取得部236将求得的摄像机101a的三维位置以及方位和图像中所含的标志102的ID建立对应地存储到存储器205。
另外，在虽然一开始通过摄像机101a对2个以上的标志102摄像、但之后由于摄像机101a的移动而变得仅对1个标志102摄像的情况下，基于这1个标志102的图像位置来算出最终的摄像机101a的三维位置以及方位。
具体地，三维位置取得部236，在以摄像机101a为中心的三维空间的坐标系即摄像机基准相对系中求取从摄像机101a向标志102的三维方向矢量。三维方向矢量基于标志102的图像位置和姿态数据来求取。如图10所示那样，若求得三维方向矢量V100，三维空间中的摄像机101a的位置(三维位置)是标志102的正下方，且为与摄像机101a同一平面(XY平面)上的以位置C10为中心圆的外缘部即摄像机位置候补线710的线上的任意的位置。
进而，三维位置取得部236对三维方向矢量求取与XY平面的倾斜度，基于该倾斜度、和摄像机101a与标志102的高低差，来求取摄像机101a与标志102的水平距离(XY平面上的距离)。
接下来，三维位置取得部236基于存储于存储器205的与标志102的ID对应的摄像机101a的三维位置以及方位的历史记录，如图11所示那样，求取以前前次的测定得到的摄像机101a的三维位置(前前次位置)P1为起点、以前次的测定得到的摄像机101a的三维位置(前次位置)为终点的移动矢量V110，求取将该移动矢量V110延长的延长矢量V120。进而，三维位置取得部236将延长矢量V120与摄像机位置候补线710的交点C20作为当前的摄像机101a的三维位置C20。
接下来，三维位置取得部236从图像内的标志102的横移动(XY平面上的移动)求取摄像机101a的方位的变化，通过将该方位的变化量加在前次的测定中的方位上，来设为当前的摄像机101a的方位。进而，三维位置取得部236将求得的摄像机101a的三维位置以及方位、和图像中所含的标志102的ID建立对应地存储到存储器205。
接下来，参考流程图来说明服务器200的动作。图12、图13以及图14是表示服务器200的动作的一例的流程图。
控制部202内的图像取得部230取得来自图像处理部204的通过摄像机101a摄像得到的图像(步骤S101)。接下来，标志确定部232对图像进行解析，并尝试取得标志102的ID，判定是否取得ID(步骤S102)。在未取得ID的情况下(步骤S102“否”)，结束一系列动作。
另一方面，在取得了ID的情况下(步骤S102“是”)，标志确定部232参考标志三维位置表，取得与所取得的ID对应的标志102的空间500中的三维位置(步骤S103)。
图像位置补正部234，基于摄像机内部参数的图像失真补正数据来补正图像的失真(步骤S104)。进而，图像位置补正部234进行设定，以使得在摄像机101a的三维位置的取得时不使用失真补正后的图像当中存在于无效区域603a等的标志102(步骤S105)。
接下来，三维位置取得部236判定在图像内是否存在2点以上的标志102(步骤S106)。在图像内存在2点以上的标志102的情况下(步骤S106“是”)，过渡到图13所示的动作，三维位置取得部236基于标志102a的三维位置、摄像机内部参数以及姿态数据，来在摄像机基准相对系中算出从摄像机101a向标志102的三维方向矢量(步骤S201)。
接下来，三维位置取得部236基于标志102与摄像机101a的高低差、和摄像机设置矩阵Rc，来算出将三维方向矢量投影到XY平面的XY平面矢量(步骤S202)。
接下来，三维位置取得部236，选择以2点以上的标志102当中2个标志102为终点的2个XY平面矢量(步骤S203)。
接下来，三维位置取得部236调整2个XY平面矢量(步骤S204)。接下来，三维位置取得部236使用调整后的XY平面矢量、摄像机方位矩阵Rz(θ)来算出空间500中的摄像机101a的三维位置，并且基于摄像机方位矩阵Rz(θ)以及摄像机设置矩阵Rc来算出摄像机101a的方位，并与图像内的标志102的ID一起存储到存储器205(步骤S205)。
进而，三维位置取得部236对2个XY平面矢量的全部组合判定步骤S203～步骤S205的处理是否结束(步骤S206)。在未结束的情况下(步骤S206“否”)，重复步骤S203以后的动作。另一方面，在结束了的情况下(步骤S206“是”)，三维位置取得部236选择最佳的摄像机101a的三维位置以及方位(步骤S207)。
另一方面，在图11的步骤S106中，在图像内不存在2点以上的标志102的情况下(步骤S106“否”)，即，图像内标志102仅是1点的情况下，移转到图14所示的动作，三维位置取得部236判定是否在过去的摄像机101a的三维位置以及方位的取得时已经取得这1点的标志102的ID(步骤S301)。在未将ID取得完毕的情况下(步骤S301“否”)，结束一系列动作。
另一方面，在将ID取得完毕的情况下(步骤S301“是”)，三维位置取得部236在以摄像机101a为中心的三维空间的坐标系即摄像机基准相对系中求取从摄像机101a向标志102的三维方向矢量。进而，三维位置取得部236对三维方向矢量求取与XY平面的倾斜度，基于该倾斜度、和摄像机101a与标志102的高低差来求取摄像机101a与标志102的水平距离(XY平面上的距离)(步骤S302)。
接下来，三维位置取得部236，基于存储于存储器205的与标志102的ID对应的摄像机101a的三维位置以及方位的历史记录，来求取从前前次的测定得到的摄像机101a的三维位置(前前次位置)向前次的测定得到的摄像机101a的三维位置(前次位置)的移动矢量，求取将该移动矢量延长的延长矢量(步骤S303)。
进而，三维位置取得部236，将延长矢量与摄像机位置候补线的交点设为当前的摄像机101a的三维位置(步骤S304)。
接下来，三维位置取得部236，从图像内的标志102的横移动求取摄像机101a的方位的变化，通过将该方位的变化量加在前次的测定中的方位上，来设为当前的摄像机101a的方位(步骤S305)。进而，三维位置取得部236将求得的摄像机101a的三维位置以及方位、和图像中所含的标志102的ID建立对应地存储到存储器205(步骤S306)。
如此地，在本实施方式中，服务器200若取得通过摄像机101a对标志102的摄像得到的图像，就通过补正该图像的失真来补正标志102的位置，将补正后的图像中的标志102的图像位置变换成摄像机101a(叉车100)的三维位置。在本实施方式中，对标志102的设置位置没有制约，能使叉车100的三维位置和方位的算出的自由度提升。
另外，在本实施方式中，鉴于距该图像的中心的距离越长则该图像的失真越大这点，服务器200使用距图像的中心的距离越长则补正量越大的图像失真补正数据来进行图像补正，并且在摄像机101a的三维位置的取得时不使用存在于图像的四角的无效区域603a等的标志102。由此能使摄像机101a的三维位置以及方位的算出精度提升。
另外，在本实施方式中，服务器200调整XY平面矢量，能在由于摄像机方位矩阵Rz(θ)所表示的绕着Z轴的旋转角度θ的误差等而在摄像机101a的三维位置中出现误差的情况下，减小该误差。
另外，在本实施方式中，基于对2个标志102的每个组合取得的摄像机101a的三维位置以及方位来选择或取得最佳者，能使摄像机101a的三维位置以及方位的算出精度提升。
另外，在本实施方式中，即使是在图像内仅有1个标志102的情况，也能在利用该标志102的三维位置在过去算出了摄像机101a的三维位置以及方位的情况下算出当前的摄像机101a的三维位置以及方位。为此，能使摄像机101a的三维位置以及方位的算出的通用性提升。
另外，在本实施方式中，由于各标志102具有独立的ID，且能使其集合的ID数极其大量，因此能在非常宽范围中配置大量具有不同ID的标志102。为此，在空间500内，不管之前的状态如何，都能在接收到2点的标志102的ID的时间点立即求得到标志102的绝对距离。
另外，本发明并不由上述实施方式的说明以及附图限定，能在上述实施方式以及附图中适宜加进变更等。
在上述的实施方式中，仅是摄像机101a，但也可以使用多个摄像机。，例如图12所示那样，在除了摄像机101a以外还设置摄像机101b的情况下，通过摄像机101a对标志102a摄像，摄像机101b对标志102b摄像，并且规定XY平面中的从摄像机101a向摄像机101b的XY平面矢量V3，由此能精度良好地算出叉车100的三维位置。
另外，在上述的实施方式中，标志102通过沿着时间序列使发光色变化来发送ID，但也可以发送标志102的三维位置。在该情况下，服务器200能检测与发光的图案对应的标志102的三维位置。为此，不需要图4所示的标志三维位置表。
另外，标志102并不限定于LED。例如也可以在构成显示装置的LCD、PDP、EL显示器等的一部分构成光源。
另外，服务器200只要是取得来自摄像机101a、101b的图像，就可以是任何装置。
另外，在上述实施方式中，所执行的程序存放于软盘、CD-ROM(Compact DiscRead-Only Memory，光盘只读存储器)、DVD(Digital Versatile Disc，数字多功能盘)、MO(Magneto-Optical Disc，光磁盘)等计算机可读的记录介质并进行分发，也可以通过安装该程序来构成执行上述的处理的系统。
另外，也可以将程序存放于因特网等网络上的给定的服务器所具有的盘装置等，例如使其叠加到载波来进行下载等。
另外，在通过OS(Operating System，操作系统)分担来实现上述的功能的情况下，或在通过OS与应用的协作来实现上述的功能的情况下，也可以仅将OS以外的部分存放于介质，另外，也可以进行下载等。
以上说明了本发明的优选的实施方式，但本发明并不限定于相关的特定的实施方式，在本发明中包含记载于权利要求书的发明和其等同的范围。

Claims (16)

1.一种移动体位置决定装置，其特征在于，具备通信部和至少1个处理器，
所述至少1个处理器执行如下处理：
从包含设置于三维空间中的高度不同的任意的位置的2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，经由所述通信部取得由安装于移动体的摄像装置摄像的包含至少2个发光装置的图像，
基于所取得的所述图像来取得所述至少2个发光装置的所述图像内的坐标位置，
基于所述三维空间的坐标位置以及所述图像内的坐标位置来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者，
为了决定所述移动体的坐标位置或方位，进行控制，使得选择存在于所述图像内的多个发光装置的坐标位置中的除了存在于所述图像中的外缘部的发光装置的坐标位置之外的至少2个发光装置的坐标位置，并使用所选择的至少2个发光装置的坐标位置。
2.根据权利要求1所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
基于包含所述图像的、摄像定时各不相同的多个图像，来识别以各个不同的发光图案发光的所述至少2个发光装置。
3.根据权利要求1或2所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
取得以所述摄像装置的焦点为起点且以所述至少2个发光装置的图像内的坐标位置为终点的多个三维方向矢量、和表示摄像装置所朝向的方向的姿态数据，
基于所取得的所述多个三维方向矢量以及所述至少2个发光装置的所述三维空间中的高低差，来取得从所述摄像装置到所述至少2个发光装置的三维空间上的各距离、和所述摄像装置所朝向的光轴方位。
4.根据权利要求3所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
调整所取得的所述各距离当中较长的距离。
5.根据权利要求3所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
遵循与基于所述多个三维方向矢量和所取得的所述各距离算出的所述三维空间的坐标位置的偏离量之比，来调整所述各距离。
6.根据权利要求1或2所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
判定在所述图像内是否存在除了存在于外缘部的发光装置之外的至少2个发光装置，
在判定为存在除了存在于外缘部的发光装置之外的至少2个发光装置的情况下，基于所述三维空间的坐标位置以及所述摄像装置的内部参数和姿态数据来决定所述三维空间中的所述移动体的坐标位置以及所述移动体正朝向的方位，
在判定为不存在除了存在于外缘部的发光装置之外的至少2个发光装置的情况下，基于算出的所述移动体的移动矢量来决定所述移动体的坐标位置，
在表示包含第1发光装置以及其他发光装置的图像的第1图像的取得后所取得的图像是仅包含所述第1发光装置而不含其他任何发光装置的第2图像的情况下，基于算出的所述移动体的移动矢量来决定所述移动体的坐标位置。
7.根据权利要求1或2所述的移动体位置决定装置，其特征在于，
所述至少1个处理器执行如下处理：
遵循从安装于所述移动体的多个所述摄像装置取得的图像来决定所述移动体的坐标位置。
8.一种移动体位置决定装置，其特征在于，具备通信部和至少1个处理器，
所述至少1个处理器执行如下处理：
从包含设置于三维空间中的任意的位置的2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，经由所述通信部取得由安装于移动体的摄像装置摄像的表示包含第1发光装置以及其他发光装置的图像的第1图像，
基于所取得的所述第1图像来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者，
基于在所述第1图像的取得后取得的第2图像来算出所述移动体的移动矢量，
在所述第2图像仅包含所述第1发光装置而不含其他任何发光装置的情况下，基于算出的所述移动矢量来决定所述移动体的坐标位置，
为了决定所述移动体的坐标位置或方位，进行控制，使得选择存在于所述第1图像以及所述第2图像内的多个发光装置的坐标位置中的除了存在于所述第1图像以及所述第2图像内中的外缘部的发光装置的坐标位置之外的至少2个发光装置的坐标位置，并使用所选择的至少2个发光装置的坐标位置。
9.一种移动体位置决定方法，其特征在于，由移动体位置决定装置所具备的至少1个处理器执行如下处理：
从包含设置于三维空间中的高度不同的任意的位置的2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，经由通信部取得由安装于移动体的摄像装置摄像的包含至少2个发光装置的图像，
基于所取得的所述图像来取得所述至少2个发光装置的图像内的坐标位置，
基于所述三维空间的坐标位置以及所述图像内的坐标位置来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者，
为了决定所述移动体的坐标位置或方位，进行控制，使得选择存在于所述图像内的多个发光装置的坐标位置中的除了存在于所述图像中的外缘部的发光装置的坐标位置之外的至少2个发光装置的坐标位置，并使用所选择的至少2个发光装置的坐标位置。
10.根据权利要求9所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
基于包含所述图像的、摄像定时各不相同的多个图像，来识别以各个不同的发光图案发光的所述至少2个发光装置。
11.根据权利要求9或10所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
取得以所述摄像装置的焦点为起点且以所述至少2个发光装置的图像内的坐标位置为终点的多个三维方向矢量、和表示摄像装置所朝向的方向的姿态数据，
基于所取得的所述多个三维方向矢量以及所述至少2个发光装置的所述三维空间中的高低差，来取得从所述摄像装置到所述至少2个发光装置的三维空间上的各距离、和所述摄像装置所朝向的光轴方位。
12.根据权利要求11所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
调整所取得的所述各距离当中较长的距离。
13.根据权利要求11所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
遵循与基于所述多个三维方向矢量和所取得的所述各距离算出的所述三维空间的坐标位置的偏离量之比，来调整所述各距离。
14.根据权利要求9或10所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
在表示包含第1发光装置以及其他发光装置的图像的第1图像的取得后所取得的图像是仅包含所述第1发光装置而不含其他任何发光装置的第2图像的情况下，基于算出的所述移动体的移动矢量来决定所述移动体的坐标位置。
15.根据权利要求9或10所述的移动体位置决定方法，其特征在于，
所述至少1个处理器执行如下处理：
遵循从安装于所述移动体的多个所述摄像装置取得的图像来决定所述移动体的坐标位置。
16.一种移动体位置决定系统，其特征在于，具备：
设置于三维空间中的高度不同的任意的位置的2个发光装置；
安装了摄像装置的移动体；和
移动体位置决定装置，
所述移动体位置决定装置具备通信部和至少1个处理器，
所述至少1个处理器执行如下处理：
从包含所述2个发光装置的所述三维空间的坐标位置为已知的多个发光装置中，经由所述通信部取得由所述摄像装置摄像的包含至少2个发光装置的图像，
基于所取得的所述图像来取得所述至少2个发光装置的图像内的坐标位置，
基于所述三维空间的坐标位置以及所述图像内的坐标位置来决定所述三维空间中的至少所述移动体的坐标位置以及所述移动体正朝向的方位的任一者，
为了决定所述移动体的坐标位置或方位，进行控制，使得选择存在于所述图像内的多个发光装置的坐标位置中的除了存在于所述图像中的外缘部的发光装置的坐标位置之外的至少2个发光装置的坐标位置，并使用所选择的至少2个发光装置的坐标位置。
CN202111077125.0A 2020-09-18 2021-09-15 移动体位置决定装置、方法以及系统 Active CN114199121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020157122A JP7582825B2 (ja) 2020-09-18 2020-09-18 移動体位置決定装置、移動体位置決定方法及びプログラム
JP2020-157122 2020-09-18

Publications (2)

Publication Number Publication Date
CN114199121A CN114199121A (zh) 2022-03-18
CN114199121B true CN114199121B (zh) 2025-03-28

Family

ID=80646003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111077125.0A Active CN114199121B (zh) 2020-09-18 2021-09-15 移动体位置决定装置、方法以及系统

Country Status (3)

Country Link
US (1) US11900632B2 (zh)
JP (2) JP7582825B2 (zh)
CN (1) CN114199121B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7136141B2 (ja) * 2020-02-07 2022-09-13 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
WO2021157136A1 (ja) * 2020-02-07 2021-08-12 パナソニックＩｐマネジメント株式会社 測位システム
JP7582825B2 (ja) * 2020-09-18 2024-11-13 カシオ計算機株式会社 移動体位置決定装置、移動体位置決定方法及びプログラム
JP2023159741A (ja) * 2022-04-20 2023-11-01 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、および記憶媒体
US11776382B1 (en) * 2022-12-23 2023-10-03 The Adt Security Corporation Premises security system using ultra-wideband (UWB) functionality to initiate at least one action

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134058A (ja) * 2009-12-24 2011-07-07 B-Core Inc 光学式自己位置検知装置及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01187608A (ja) * 1988-01-21 1989-07-27 Komatsu Ltd 無人移動体の誘導位置補正装置
JP3494075B2 (ja) 1999-05-25 2004-02-03 三菱電機株式会社 移動体の自己位置標定装置
JP4032793B2 (ja) * 2002-03-27 2008-01-16 ソニー株式会社 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体
JP2005003445A (ja) 2003-06-10 2005-01-06 Shimizu Corp 移動体装置の位置同定システムおよびその位置同定方法
JP4264380B2 (ja) 2004-04-28 2009-05-13 三菱重工業株式会社 自己位置同定方法及び該装置
KR100776215B1 (ko) 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
CN102980555B (zh) * 2012-12-06 2015-04-08 紫光股份有限公司 一种光学成像式轮式移动机器人方位的检测方法及其装置
JP2014157051A (ja) 2013-02-15 2014-08-28 Toyota Industries Corp 位置検出装置
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
JP6726118B2 (ja) * 2017-02-22 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、無線通信端末および位置推定システム
JP6834644B2 (ja) * 2017-03-21 2021-02-24 富士ゼロックス株式会社 入力装置、画像形成装置及びプログラム
US11361466B2 (en) * 2018-11-30 2022-06-14 Casio Computer Co., Ltd. Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system
JP7582825B2 (ja) * 2020-09-18 2024-11-13 カシオ計算機株式会社 移動体位置決定装置、移動体位置決定方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011134058A (ja) * 2009-12-24 2011-07-07 B-Core Inc 光学式自己位置検知装置及び方法

Also Published As

Publication number Publication date
JP2022050929A (ja) 2022-03-31
US11900632B2 (en) 2024-02-13
JP2023126497A (ja) 2023-09-07
US20220092815A1 (en) 2022-03-24
CN114199121A (zh) 2022-03-18
JP7582825B2 (ja) 2024-11-13

Similar Documents

Publication Publication Date Title
CN114199121B (zh) 移动体位置决定装置、方法以及系统
CN114964168B (zh) 位置信息取得装置、位置信息取得方法以及记录介质
CN113984081B (zh) 定位方法、装置、自移动设备和存储介质
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
CN113390426B (zh) 定位方法、装置、自移动设备和存储介质
US20050036117A1 (en) Image processing system, projector, program, information storage medium and image processing method
US8449121B2 (en) Image processing system, projector, method and computer program product
CN114630160B (zh) 显示方法、检测装置以及记录介质
US11956537B2 (en) Location positioning device for moving body and location positioning method for moving body
CN110070581B (zh) 双视野定位方法、装置及系统
US10891750B2 (en) Projection control device, marker detection method, and storage medium
CN115835007B (zh) 信息处理装置、记录介质和定位方法
JP2004062757A (ja) 情報処理方法および撮像部位置姿勢推定装置
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
KR20010009721A (ko) 비접촉식 3차원 스캐너 장치
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
CN109756667B (zh) 位置取得系统、位置取得装置、位置取得方法以及记录介质
US10706578B2 (en) Image processing apparatus, image processing method and medium storing program for distortion correction
JP7396336B2 (ja) 位置情報取得装置、位置情報取得方法及びプログラム
JP2019109174A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
CN113432528B (zh) 位置测定装置、位置测定方法以及记录介质
CN110120062B (zh) 图像处理方法及装置
JP2021001788A (ja) 位置取得装置、位置取得方法及びプログラム
JP2019086511A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant