[go: up one dir, main page]

CN115112099A - 移动体的位置定位装置、移动体的位置定位方法 - Google Patents

移动体的位置定位装置、移动体的位置定位方法 Download PDF

Info

Publication number
CN115112099A
CN115112099A CN202210254965.8A CN202210254965A CN115112099A CN 115112099 A CN115112099 A CN 115112099A CN 202210254965 A CN202210254965 A CN 202210254965A CN 115112099 A CN115112099 A CN 115112099A
Authority
CN
China
Prior art keywords
camera
captured image
mobile body
body according
imaging direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210254965.8A
Other languages
English (en)
Other versions
CN115112099B (zh
Inventor
村上太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021142003A external-priority patent/JP2022145428A/ja
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN115112099A publication Critical patent/CN115112099A/zh
Application granted granted Critical
Publication of CN115112099B publication Critical patent/CN115112099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供移动体的位置定位装置、移动体的位置定位方法。从摄像方向从第1方向变化到第2方向的摄像机(201a～201)取得包含配置于空间(500)内的至少1个标志(300a～300e)和在空间500内运动的至少1个移动体(100a～100c)的摄像图像，基于摄像图像和初始数据来检测摄像方向从第1方向往第2方向的变化，在不将现实世界中的摄像机(201a～201d)的摄像方向从第2方向返回第1方向的状态下，基于摄像图像来取得至少1个移动体(100a～100c)的位置数据。

Description

移动体的位置定位装置、移动体的位置定位方法
技术领域
本发明涉及移动体的位置定位装置、移动体的位置定位方法。
背景技术
过去，利用了可见光的测量/位置检测技术，一般来说，按每个摄像机的设置进行校准，比较短期地进行测定。为此，在将摄像机静置使用的情况下，摄像机设置条件会由于基于摄像机的清扫、地震等的外部因素、螺丝的松动等时间经过因素而从初始值不断偏离，产生位置检测精度的降低问题。现状中，为了使位置检测精度恢复，需要重新进行校准。
日本特开2013-219628号公报公开了一种摄像机系统，对在摄像机的没置时对探测区摄像的基准图像和在该基准图像设定的基准点的位置信息进行存储，周期性地检测摄像机的摄像图像与基准图像之间的基准点的偏离量，基于检测到的偏离量来驱动云台。
但若驱动云台，或重新执行校准，就需要将系统长时间停止，会对现场作业产生影响。
发明内容
本发明即使是摄像机所朝向的方向从最初设置的状态由于各种因素而发生了变化的情况也能良好地继续位置定位。
本发明的第一实施例所涉及的移动体的位置定位装置具备：通信装置；和至少1个处理器，所述至少1个处理器执行如下处理：从摄像方向从第1方向变化到第2方向的摄像机经由所述通信装置取得包含配置于空间内的至少1个标志和在所述空间内运动的至少1个移动体的摄像图像，基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于所述摄像图像来取得所述至少1个移动体的位置数据。
此外，本发明的第二实施例所涉及的移动体的位置定位装置具备：通信装置；和至少1个处理器，所述至少1个处理器执行如下处理：从固定于移动体侧且摄像方向从第1方向变化到第2方向的摄像机经由所述通信装置取得对配置于空间内的多个标志摄像得到的摄像图像，基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于从所述摄像机取得的摄像图像来取得所述移动体的位置数据。
在第一实施例中，在移动体侧设置标志，不在移动体侧设置摄像机。另一方面，在第二实施例中，在移动体侧设置摄像机，不在移动体侧设置标志。
附图说明
图1是表示本发明的第1实施方式所涉及的可见光通信系统的一例的图。
图2是表示本发明的第1实施方式所涉及的服务器的一例的图。
图3是表示本发明的第1实施方式所涉及的摄像方向的变化检测/补正处理的一例的流程图。
图4是表示本发明的第2实施方式所涉及的服务器的可靠性判断处理的一例的流程图。
图5是表示本发明的第3实施方式所涉及的可见光通信系统的一例的图。
图6是表示本发明的第3实施方式所涉及的摄像方向的变化检测/补正处理的一例的流程图。
图7是表示本发明的第4实施方式所涉及的摄像方向的变化检测/补正处理的一例的流程图。
具体实施方式
以下，作为本发明的实施方式所涉及的位置定位系统，参考附图来说明可见光通信系统。
(第1实施方式)
图1是表示可见光通信系统1的结构的图。如图1所示那样，可见光通信系统1包含设置于空间500内的移动体100a、100b、100c(以下在不分别限定各个移动体100a、100b、100c的情况下适宜称作“移动体100”)和与位置定位装置对应的服务器200来构成。
移动体100a安装光源102a，移动体100b安装光源102b，移动体100c安装光源102c(以下在不分别限定各个光源102a、102b、102c的情况下，适宜称作“光源102”)。服务器200安装与摄像装置对应的摄像机201a、201b、201c、201d(以下在不分别限定各个摄像机201a、201b、201c、201d的情况下，适宜称作“摄像机201”)。摄像机201通过云台等设置器具固定于空间500内。此外，在空间500内设置位置不发生变化的固定点即标志300a、300b、300c、300d、300e(以下在不分别限定各个标志300a、300b、300c、300d、300e的情况下，适宜称作“标志300”)。标志300以及光源102包含未图示的LED(Light Emitting Diode，发光二极管)。光源102与位置定位对象对应。
在本实施方式中，安装于移动体100的光源102通过发出与移动体100的状态等各种发送对象的信息对应的光，来发送信息。另一方面，服务器200对通过摄像机201的时间序列上连续的摄像得到的光在图像中的发光色的变化解调来取得光源102所发出的信息。
在本实施方式中，最初，摄像机201a～201d的位置以及摄像方向并不明确。为此，在上述的服务器200取得移动体100的状态等之前，求取各摄像机的摄像机参数，进行用于取摄像机201a～201d所认识的虚拟空间与现实世界的空间的对应的校准。由此对摄像机201所取得的摄像图像进行补正，以使得失真变少。摄像机参数是各摄像机的内部参数以及外部参数。内部参数是将摄像机坐标变换成图像坐标的矩阵即摄像机固有的参数，包含焦距、透镜的光学中心位置，不会通过校准而发生变化。外部参数是将世界坐标变换成摄像机坐标的矩阵，包含空间500中的摄像机201的位置/方向的信息。服务器200基于通过摄像机201a～201d的摄像得到的图像中的标志300a、300b、300c、300d、300e的各像的位置(二维坐标信息)来算出摄像机参数。将所算出的摄像机参数作为初始数据存储在服务器200。
图2是表示服务器200的结构的一例的图。如图2所示那样，服务器200包含控制部202、图像输入部204、存储器205、操作部206、显示部207以及通信部208。此外，在服务器200经由布线安装摄像机201a～201d。服务器200和摄像机201a～201d也可以无线连接。
摄像机201a包含透镜203a，摄像机201b包含透镜203b，摄像机201c包含透镜203c，摄像机201d包含透镜203d(以下在不限定各个透镜203a、203b、203c、203d的情况下，适宜分别称作“透镜203”)。透镜203由变焦透镜等构成。透镜203通过来自操作部206的变焦控制操作以及控制部202的对焦控制来移动。通过透镜203的移动来控制摄像机201所摄像的摄像视角、光学像。
摄像机201a～201d，由在受光面规则地二维排列的多个受光元件构成。受光元件例如是CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)等摄像器件。摄像机201a～201d基于来自控制部202的控制信号来在给定范围的摄像视角对经由透镜203收入的光学像进行摄像(受光)，将该摄像视角内的图像信号变换成数字数据，并生成帧。此外，摄像机201a～201d在时间上连续地进行摄像和帧的生成，将连续的帧输出到服务器200内的图像输入部204。
图像输入部204中，基于来自控制部202的控制信号，被输入从摄像机201输出的帧(数字数据)。
控制部202例如由CPU(Central Processing Unit，中央处理器)构成。控制部202通过遵循存储于存储器205的程序(例如用于实现述的图3所示的服务器200的动作的程序)执行软件处理，来控制服务器200所具备的各种功能。
存储器205例如是RAM(Random Access Memory，随机存取存储器)、ROM(Read OnlyMemory，只读存储器)。存储器205存储服务器200中的控制等中所用的各种信息(程序等)。此外，在存储器205中，存储摄像机201a～201d的最初设置的校准时摄像的摄像图像、算出的摄像机参数，作为初始数据。
操作部206由小键盘、功能键等构成，是为了输入用户的操作内容而用的接口。显示部207例如由LCD(Liquid Crystal Display，液晶显示器)、PDP(Plasma Display Panel，等离子显示面板)、EL(Electro Luminescence，电致发光)显示器等构成。显示部207遵循从控制部202输出的图像信号来显示图像。通信部208例如是LAN(Local Area Network，局域网)卡。通信部208基于通信控制部240的控制来在与外部的通信装置之间进行通信。
在控制部202中，包含图像取得部231、摄像方向检测部232、补正判断部234、补正值算出部236、位置数据取得部238和通信控制部240。
图像取得部231，对于从摄像机201各自输出并输入到图像输入部204的帧(数字数据)，为了使其在显示部207作为实时取景图像显示，进行周边减光补正、失真补正，调整画质、图像尺寸。此外，图像取得部231具有如下功能：若被输入基于来自操作部206的记录指示操作的控制信号，就将记录指示的时间点的摄像机201中的摄像视角内、或显示于显示部207的显示范围内的光学像，例如以JPEG(Joint Photographic Experts Group，联合图像专家组)等压缩编码格式进行编码、文件化。
在按2台摄像机201的每个组合(摄像机对)求得摄像机参数后，位置数据取得部238检测通过摄像机201a～201d的摄像从图像取得部231得到的各图像中所含的巡回性的三色的图案的光。
分别安装于移动体100a、100b、100c的光源102a、102b、102c发出调制成可识别能唯一确定自己的ID(Identification)的、以R(红)G(绿)B(蓝)的三色的任意的图案巡回地变化的光。这是一实施例，只要能唯一确定自己，则不一定非要使发光色以R(红)G(绿)B(蓝)的三色的任意的图案巡回地变化。
位置数据取得部238检测该三色的发光的图案，尝试向ID的解调。在一实施例中，在能从通过摄像机对中所含的2台摄像机201的摄像得到的图像的双方检测到相同的ID的情况下，视作位置数据取得部238能检测与该ID对应的光源102。另外，哪怕是来自1台摄像机201的摄像图像，只要在该摄像图像中摄像了固定点即标志的任一者，就能算出具备该摄像图像中所含的发光体的移动体的位置。
接下来，位置数据取得部238按每个摄像机对取得该摄像机对中所含的2台摄像机201当中一方的摄像机201的摄像面中的光源102的像的位置(Xga2，Yga2)、和另一方的摄像机201的摄像面中的上述光源102的像的位置(Xgb2，Ygb2)。进而，位置数据取得部238使用双方的像的位置(Xga2，Yga2)、(Xgb2，Ygb2)的组合和摄像机参数，来算出空间500内的光源102的世界坐标的设置位置(Xk2，Yk2，Zk2)。
摄像方向检测部232在摄像机201a～201d的设置后始终定期地或根据用户的指示检测摄像机201a～201d的摄像方向的变化。摄像方向检测部232通过检测摄像机201a～201d的摄像方向的变化，能检测摄像机设置后的外部因素/时间经过因素所引起的摄像机设置条件从最初设置的偏离。
摄像方向检测部232检测通过摄像机201a～201d的摄像得到的各图像中的标志300的像的位置(二维坐标信息)。在此，空间500内的标志300a、300b、300c、300d、300e的设置位置(世界坐标系的三维坐标信息)是已知的。此外，标志300a、300b、300c、300d、300e发出调制成可识别能唯一确定自己的ID的、以R(红)G(绿)B(蓝)的三色的图案巡回地变化的光。
摄像方向检测部232对摄像机201a～201d设定2台摄像机201的组合(摄像机对)。来自4台摄像机201的任意的2台摄像机201的组合(摄像机对)的图案成为6个(6种)。
摄像方向检测部232，检测通过摄像机201a～201d的摄像得到的各图像中所含的巡回的三色的图案的光。进而，摄像方向检测部232尝试向与该三色的发光的图案对应的ID的解调。在存储器205中，将标志300a、300b、300c、300d、300e各自的设置位置和ID建立对应地作为初始数据(包含固定点即各标志的世界坐标数据)存储。
摄像方向检测部232，从自通过摄像机201a～201d的各摄像机的摄像从图像取得部231得到的图像，尝试检测对应于ID调制的光即调制光区域(具有预先设定的值以上的高亮度值的、由特定的尺寸/形状构成的像素区域)。然后，在能检测到的情况下，视作能检测到与该ID对应的标志300。摄像方向检测部232求取与ID对应的标志300的设置位置。
摄像方向检测部232，将由摄像机201a～201d摄像的图像和初始数据即摄像机201a～201d的最初设置的摄像图像进行比较，基于摄像图像中所含的标志300的图像位置或设置位置，来检测摄像机201a～201d各自的摄像方向的变化。
补正判断部234，基于由摄像方向检测部232检测到的摄像方向的变化，来判断是否对摄像机201a～201d补正摄像方向的变动。这里，所谓补正，是指算出对空间500中的摄像机201的位置/方向的信息即外部参数进行修正的补正值并进行修正以使得消除摄像方向的变动的处理。
补正判断部234关于是否进行补正，出于(1)是否需要补正、(2)是否能进行补正这2个观点来判断。补正判断部234，根据摄像图像中所含的标志300的图像位置或设置位置的、距摄像机最初设置时摄像的摄像图像中所含的标志300的图像位置或设置位置的变化(偏离)是否达到所设定的阈值，来判断补正的有无。阈值按每个摄像机预先存储于存储器205，补正判断部234将阈值从存储器205读出来执行判断处理。此外，阈值具备判断是否需要进行补正的阈值、和判断是否能进行补正的阈值。
补正值算出部236对于通过补正判断部234的判断判断为能补正且需要补正的情形算出补正值。作为补正值，算出修正摄像机201的位置/方向的信息即外部参数的补正值参数。具体地，根据外部参数的变动参数的逆矩阵来算出补正值。以下对此进行说明。
一般，对于三维空间的世界坐标〔Wp〕与二维图像的图像坐标〔u，v〕的关系，使用透视投影矩阵等，并通过使用摄像机的内部参数〔A〕以及外部参数〔E〕来如以下的式那样表征。
(数式1)
〔u，v〕＝〔A〕〔E〕〔Wp〕…(1)
接下来，在摄像机设置后，由于外部因素/时间经过因素，作为摄像机的设置条件的摄像机的摄像方向发生变动，从而二维图像的图像坐标从〔u，v〕变化为〔u’，v’〕，在这样的情况下，三维空间的世界坐标〔Wp〕与二维图像的图像坐标〔u’，v’〕的关系如以下的式那样表征。
(数式2)
〔u’，v’〕＝〔A〕〔E〕〔E’〕〔Wp〕…(2)
在此，〔E’〕是摄像机的摄像方向的变动所引起的相对于外部参数〔E〕的变动的量的参数。另外，摄像机的内部参数〔A〕是摄像机固有的参数，在摄像机的设置条件变动的情况下也没有变化。在式(2)中，图像坐标从〔u，v〕变化到〔u’，v’〕的因素，缘于相对于外部参数〔E〕的变动的量的参数〔E’〕。因此，通过对该变动的量的参数〔E’〕求取逆矩阵来算出补正值〔E’〕-1，通过乘以该补正值来对坐标进行补正。
为了通过求取逆矩阵来算出补正值〔E’〕-1，需要摄像机对对共通的标志摄像，或者1台摄像机对2个以上的标志摄像。
在上述以外的情况下，即在1台摄像机对1个标志摄像的情况下，不能通过求取逆矩阵来算出补正值〔E’〕-1。在该情况下，补正值算出部236对绕着摄像机坐标系的各坐标轴的旋转角的组合进行枚举尝试(brute forcing)来选定补正值〔E’〕-1即参数。在此，在将摄像机固定的云台是能调整摄像机的左右方向的运动即平摇(pan)、摄像机的上下方向的运动即俯仰(tilt)、绕着摄像机的光轴的旋转即滚动(roll)这3轴当中平摇、俯仰这2轴的旋转台的情况下，通过设为仅平摇、俯仰的旋转角的组合，能减少进行枚举尝试的组合的数量。进而，能对应于云台的平摇、俯仰调整的可动范围、可动单位即调整分辨率来缩减进行枚举尝试的组合的数量。
补正值算出部236，将通过算出逆矩阵或通过对旋转角的组合进行枚举尝试而求得的补正值〔E’〕-1存储在存储器205。
接下来，参考流程图来说明服务器200的动作。图3是表示服务器200的摄像方向的变化检测/补正处理的动作的一例的流程图。该处理可以在正执行空间500内的移动体100的位置定位期间始终执行，也可以定期执行，还可以根据用户的指示执行。
摄像机201a～201d进行空间500内的摄像。控制部202内的摄像方向检测部232将由图像取得部231取得的摄像机201a～201d的摄像图像和从存储器205读出的作为初始数据的摄像机最初设置的摄像机201a～201d的摄像图像进行比较。具体地，将摄像图像中所含的共通ID的标志300的图像位置或设置位置进行比较。基于比较，对由图像取得部231新取得的摄像机201a～201d的摄像方向检测从摄像机最初设置的摄像机201a～201d的摄像方向即第1方向往第2方向的变化(步骤S101)。
另外，本说明书中定义的所谓第1方向，是指系统导入最初、或在系统运转中、摄像机的校准执行时由固定单元固定的摄像机的摄像方向。
通过将摄像机201固定的固定单元，摄像机201最初朝向第1方向地被固定。但由于包含地震的外部因素、包含包括螺丝的固定部的松动的时间经过因素，摄像机201所朝向的方向有时从所述第1方向偏离到所述第1方向以外的方向(第2方向)。在本实施例中，即使固定单元将摄像机固定的方向物理地偏离，也不需要将该偏离物理地变更(返回)的操作。
接下来，控制部202内的补正判断部234基于由摄像方向检测部232检测到的摄像方向的变化来判断是否需要进行外部参数的补正(步骤S102)。
补正判断部234将摄像图像中所含的标志300的图像位置或设置位置的相对于摄像机201的最初设置的标志300的图像位置或设置位置的变化(偏离)和阈值进行比较。在从摄像机201的最初设置的摄像方向即第1方向往当前的摄像方向即第2方向的变化量为阈值以上的情况下，判断为需要进行外部参数的补正(步骤S102“是”)，接着判断是否能进行外部参数的补正(步骤S103)。从第1方向往第2方向的变化量根据标志300的图像位置或设置位置的移动量进行判断。此外，在摄像机201的摄像方向大幅偏离从而最初设置的摄像图像中所含的标志300未含在当前的摄像图像中从而不存在共通的标志300的情况下，摄像方向检测部232不能检测变化量。为此，补正判断部234在不能检测变化量的情况下也判断为需要补正。
在从摄像机201的最初设置的摄像方向即第1方向往当前的摄像方向即第2方向的变化量微小或没有变化从而变化量比阈值小的情况下，补正判断部234判断为不需要进行外部参数的补正(步骤S102“否”)，结束处理。
接下来，在步骤S103，补正判断部234判断是否能根据当前的摄像机201的摄像图像来补正外部参数。具体地，判断在摄像图像中所含的标志300的图像位置是否从图像的中心大幅偏离从而位于图像的角落的部分，或者是否从视角脱离。在标志300的位置从图像的中心大幅偏离而不能通过外部参数的补正进行调整的情况下，补正判断部234判断为不能进行补正(步骤S103“否”)，在显示部207显示是错误，来对用户进行警告(步骤S104)。另外，警告并不限于基于视觉的显示，也可以是基于声音的警告。在向用户的警告后，控制部202结束处理。用户接受警告，并调整摄像机201的设置位置。
在标志300的位置为不能通过外部参数的补正进行调整的程度地从图像的中心大幅偏离的情况下，补正判断部234判断为能进行补正(步骤S103“是”)，移转到补正值算出处理。
控制部202的补正值算出部236在补正值算出之前，判断是否存在正对共通的标志300摄像的摄像机对，或者是否单体的摄像机201正对2个以上的多个标志300摄像(步骤S105)。在存在正对共通的标志300摄像的摄像机对的情况下，或者在1台摄像机201正对2个以上的标志300摄像的情况下(步骤S105“是”)，通过基于摄像机参数(内部参数以及外部参数)、存储于存储器205的标志300的已知的世界坐标(真值)和根据当前的摄像图像算出的标志300的世界坐标(偏离后)求取逆矩阵，来算出补正值〔E’〕-1(步骤S106)。
在不存在正对共通的标志300摄像的摄像机对且摄像机201正仅对1个标志300摄像的情况下(步骤S105“否”)，补正值算出部236对绕着摄像机坐标系的各坐标轴的旋转角当中、假定为没有滚动方向的偏离且关于平摇、俯仰的旋转角的组合进行枚举尝试，来选定补正值〔E’〕-1即参数(步骤S107)。另外，在是滚动方向上也能进行调整的云台的情况下，也可以用使滚动方向也变化的组合进行枚举尝试，来选定补正值〔E’〕-1。
若在步骤S106或步骤S107求得补正值〔E’〕-1，位置数据取得部238就执行摄像机参数的补正，基于补正过的摄像机参数来取得移动体100的位置数据(步骤S108)。补正值〔E’〕-1是摄像机201的摄像方向的变动所引起的相对于外部参数〔E〕的变动的量的参数〔E’〕的逆矩阵。因此，通过对该变动的量的参数〔E’〕乘以该补正值来对坐标执行补正。位置数据取得部238使用摄像机201的摄像面中的移动体100的光源102的像的位置和通过乘以补正值来补正过的摄像机参数，来算出空间500内的光源102的世界坐标的设置位置。由此，即使摄像方向从摄像机201的最初设置的第1方向变化为第2方向，也不用将现实世界中的摄像机201的摄像方向从第2方向回到第1方向，基于摄像图像取得移动体100的位置数据。如此地，在摄像机201所朝向的方向从最初设置的状态由于各种因素而发生变化的情况下，也不需要校准，能不停止运转中的系统地使位置定位精度恢复。
(第2实施方式)
接下来，对其他实施方式进行说明。在本实施方式中，可见光通信系统1与图1同样，服务器200与图2同样。在本实施方式中，按每个摄像机对算出标志300以及光源102的设置位置，对所算出的设置位置判断可靠性。
图4是表示其他实施方式所涉及的服务器200的可靠性判断处理的动作的一例的流程图。图4所示的动作按每个标志300进行。
按每个摄像机对，若该摄像机对中所含的2台摄像机201对相同的标志300进行摄像，就经由图像输入部204取得该摄像图像，控制部202的摄像方向检测部232通过ID取得来尝试确定该标志300(步骤S201)。
接下来，摄像方向检测部232，选择能在步骤S301对标志300摄像并取得ID的摄像机对(步骤S202)。
接下来，摄像方向检测部232，按步骤S202中选择的每个摄像机对，基于该摄像机对中所含的2台摄像机201的摄像图像来算出标志300的设置位置(步骤S203)。具体地，摄像方向检测部232取得通过摄像机对当中一方的摄像机201的摄像得到的图像中的标志300的像的位置、和通过另一方的摄像机201的摄像得到的图像中的标志300的像的位置。进而，摄像方向检测部232使用这些取得的2个位置的组合和与摄像机对对应的摄像机参数来算出标志300的设置位置。
接下来，摄像方向检测部232对步骤S203中算出设置位置的标志300求取设置可靠性(步骤S204)。例如，以摄像机201a为中心，将基于摄像机201a与摄像机201b的摄像机对算出的标志300c的设置位置设为(Xb，Yb，Zb)，将基于摄像机201a与摄像机201c的摄像机对算出的标志300c的设置位置设为(Xc，Yc，Zc)，将基于摄像机201a与摄像机201d的摄像机对算出的标志300c的设置位置设为(Xd，Yd，Zd)。在此，设为任何摄像机对在摄像机最初设置都能对标志300c摄像可能。由于任何摄像机对都算出标志300c的设置位置，因此算出的值理应相同。标志300c的设置位置为已知，预先存储于存储器205。摄像方向检测部232，从存储器205将标志300c的设置位置读出，求取其与通过各摄像机对算出的标志300c的设置位置(Xb，Yb，Zb)、(Xc，Yc，Zc)、(Xd，Yd，Zd)的差。
摄像方向检测部232根据对各摄像机对求得的差是否是0或误差范围内，来判断是否需要图3的摄像方向的变化检测/补正处理(步骤S205)。在存在对各摄像机对求得的差超过误差范围的摄像机对的情况下(步骤S205“是”)，摄像方向检测部232设为需要进行摄像方向的变化检测/补正处理，移转到图3的处理。例如，在所述的示例中，在对基于摄像机201a与摄像机201d的摄像机对算出的标志300c的设置位置(Xd，Yd，Zd)求得的差超过误差范围、对基于其他摄像机对算出的标志300c的设置位置求得的差为误差范围内的情况下，判断为摄像机201d的设置可靠性低，移转到图3的摄像方向的变化检测/补正处理。
在对各摄像机对求得的差为0或误差范围内的情况下(步骤S205“否”)，判断为摄像机201a～201d的设置可靠性没有问题，并结束处理。
另外，在上述的示例中，求取由各摄像机对算出的标志300的设置位置与从存储器205读出的已知的标志300的设置位置的差，但并不限于此，也可以将由各摄像机对算出的标志300的设置位置分别进行比较，对算出与通过其他多个摄像机对算出的标志300的设置位置不同的设置位置的摄像机对，判断为设置可靠性低。例如，在基于摄像机201a与摄像机201b的摄像机对算出的标志300c的设置位置(Xb，Yb，Zb)和基于摄像机201a与摄像机201c的摄像机对算出的标志300c的设置位置(Xc，Yc，Zc)相同、仅基于摄像机201a与摄像机201d的摄像机对算出的标志300c的设置位置(Xd，Yd，Zd)与根据其他摄像机对算出的设置位置相比超过误差范围从而不同的情况下，判断为摄像机201d的设置可靠性低。
此外，也可以将上述的可靠性判断处理置换成图3的摄像方向的变化检测/补正处理的步骤S101以及步骤S102。在该情况下，在步骤S103，在与已知的标志300的设置位置的差或与根据多个摄像机对算出的标志300的设置位置的差大到不能通过外部参数的补正来应对的程度的情况下，判断为不能进行补正，对错误进行警告。
(第3实施方式)
在上述第1以及第2实施方式中，摄像机201固定设置于空间500内(以下将其称作摄像机固定型)。与此相对，在第3实施方式中，说明摄像机201固定设置于移动体100、摄像机201伴随移动体100的移动而移动的情况(以下将其称作摄像机移动型)。
图5是表示本实施方式所涉及的可见光通信系统1的结构的图。在此，作为移动体100，以叉车为例来记载。如图5所示那样，可见光通信系统1包含在空间500内移动的移动体100、安装于移动体100的摄像机201、安装于空间500的天花板、侧面等的作为光源的标志300a、300b、300c、300d、和服务器200来构成。服务器200和摄像机201通过无线连接，服务器200设置于空间500之外。当然，服务器200也可以设置于空间500内。此外，对与图1相同结构标注相同编号，省略说明。此外，服务器200的结构除了将服务器200和摄像机201a～201d无线连接以外，其他都与图2所示的结构同样，因此省略说明。
摄像机201伴随移动体100的移动而移动，对多个标志300摄像，来测定摄像机所存在的位置、即移动体100的位置。在摄像机移动型中，能通过将2个以上的标志收在摄像机的视野中来测定摄像机位置。与摄像机固定型比较，由于观测点变少，因此对摄像机参数要求的精度要件提高。因为将摄像机201安装于移动体100的关系，会由于移动体100的行驶时的振动等，摄像机201的设置条件从初始值偏离，发生位置检测精度的降低问题的频度与摄像机固定型相比变高。因此，在摄像机移动型中，日常的对摄像机201的设置条件的偏离进行补正变得重要。例如在移动体100为叉车的情况下，在作业结束时，经常是基于运用上的考虑决定使叉车停车的位置。在该情况下，可以在返回在运用上决定的叉车的停车位置(起始位置)时，对摄像机所朝向的方向的偏离进行补正。能从起始位置视觉辨识的标志的位置理应始终相同。因此，在移动体100返回起始位置时，执行摄像机201的摄像方向的变化检测/补正处理的动作。
图6是表示服务器200的摄像方向的变化检测/补正处理的动作的一例的流程图。该处理在移动体100返回起始位置时自动执行，但也可以通过用户的指示执行。
若移动体100返回起始位置，摄像机201就从起始位置进行空间500内的摄像。控制部202内的摄像方向检测部232，将由图像取得部231取得的摄像机201的摄像图像和从存储器205读出的作为初始数据的摄像机最初设置的起始位置处的摄像机201的摄像图像进行比较。在存储器205中，作为初始数据预先存储有在摄像机201的最初设置的校准时在起始位置摄像的摄像图像、算出的摄像机参数。对摄像图像中所含的共通ID的标志300的图像位置或设置位置进行比较，对由图像取得部231新取得的摄像机201的摄像方向检测从摄像机最初设置的摄像机201的摄像方向即第1方向往当前的摄像方向即第2方向的变化(步骤S301)。
接下来，控制部202内的补正判断部234基于由摄像方向检测部232检测到的摄像方向的变化来判断是否需要进行外部参数的补正(步骤S302)。
补正判断部234在检测到的从第1方向往第2方向的变化量为阈值以上的情况下判断为需要进行外部参数的补正(步骤S302“是”)，接着判断是否能进行外部参数的补正(步骤S303)。在检测到的从第1方向往第2方向的变化量微小或没有变化从而变化量比阈值小的情况下，补正判断部234判断为不需要外部参数的补正(步骤S302“否”)，结束处理。是否需要补正的判断与图3的步骤S102同样。
接下来，在步骤S303，补正判断部234判断是否能根据当前的摄像机201的摄像图像对外部参数进行补正。是否能进行补正的判断与图3的步骤S103同样。在标志300的位置从图像的中心大幅偏离从而不能通过外部参数的补正进行调整的情况下，补正判断部234判断为不能进行补正(步骤S303“否”)，在显示部207显示是错误，来对用户进行警告(步骤S304)。在向用户的警告后，控制部202结束处理。在标志300的位置为以不能通过外部参数的补正进行调整的程度从图像的中心大幅偏离的情况下，补正判断部234判断为能进行补正可能(步骤S303“是”)，移转到补正值算出处理。
控制部202的补正值算出部236通过基于摄像机参数(内部参数以及外部参数)、关于摄像图像中的2个以上的标志300存储于存储器205的标志300的已知的世界坐标(真值)、和根据当前的摄像图像算出的标志300的世界坐标(偏离后)求取逆矩阵，来算出补正值〔E’〕-1(步骤S305)。
若在步骤S305求得补正值〔E’〕-1，位置数据取得部238就执行摄像机参数的补正，基于补正过的摄像机参数，来对摄像机201的位置即移动体100的位置进行自我定位，取得位置数据(步骤S306)。补正值〔E’〕-1是摄像机201的摄像方向的变动所引起的相对于外部参数〔E〕的变动的量的参数〔E’〕的逆矩阵。因此，通过对该变动的量的参数〔E’〕乘以该补正值，来对坐标执行补正。
若求得进行过补正的移动体100的位置坐标，就将其与起始位置的位置坐标进行比较，判断求得的位置坐标是否与起始位置的位置一致，即，判断求得的位置坐标是否正确(步骤S307)。起始位置的位置坐标预先存储于存储器205。控制部202从存储器205将起始位置的位置坐标读出来执行上述判断。在求得的位置坐标正确的情况下(步骤S307“是”)，结束处理。在求得的位置坐标不正确的情况下(步骤S307“否”)，返回步骤S301，重复步骤S301以后的处理。
根据第3实施方式，在摄像机201固定于移动体100的情况下，即使摄像方向从摄像机201的最初设置的第1方向变化为第2方向，也不用将现实世界中的摄像机201的摄像方向从第2方向返回第1方向，在该状态下，基于摄像图像来取得移动体100的位置数据。如此地，即使在摄像机201所朝向的方向从最初设置的状态由于种种因素而发生变化的情况下，也不需要校准，能不停止运转中的系统地恢复位置定位精度。此外，由于在作业结束时必定返回的起始位置位置执行补正处理，因此日常地进行补正处理。因此，在因摄像机201设置于移动体100所引起的摄像机201的姿态易于发生变化的环境中，能维持位置定位精度。
(第4实施方式)
在上述第3实施方式中，根据摄像图像，对平摇、俯仰、滚动这3轴的旋转角的全部求取进行补正的补正值〔E’〕-1。与此相对，在第4实施方式，在摄像机201设置惯性传感器，在基于传感器值补正了平摇、俯仰、滚动的一部分的基础上，根据摄像图像求取补正值〔E’〕-1。由此，求取补正值〔E’〕-1的计算处理变得简单。
作为惯性传感器，在摄像机201设置加速度传感器以及陀螺仪传感器。加速度传感器以及陀螺仪传感器测定摄像机201的移动状态。另外，惯性传感器可以是加速度传感器和陀螺仪传感器的任意一方，能检测摄像机201的姿态即可。此外，惯性传感器可以设置于和摄像机201一起移动的摄像机201的设置器具。加速度传感器是3轴加速度传感器，通过检测相互正交的3轴方向的加速度，来测量摄像机201的移动中的动作速度的变化。陀螺仪传感器是3轴角速度传感器，通过在加速度传感器中对规定加速度的3轴检测以各个轴为中心旋转的角速度，来测量摄像机201的移动中的动作方向的变化。
图7是表示本实施方式中的服务器200的摄像方向的变化检测/补正处理的动作的一例的流程图。与第3实施方式同样，该处理在移动体100返回起始位置时执行。
若移动体100返回起始位置，就根据设置于摄像机201的加速度传感器以及陀螺仪传感器的传感器值来检测变化量(步骤S401)。
此外，摄像机201从起始位置进行空间500内的摄像。控制部202内的摄像方向检测部232，将由图像取得部231取得的摄像机201的摄像图像和从存储器205读出的作为初始数据的摄像机最初设置的起始位置处的摄像机201的摄像图像进行比较。基于比较，来对由图像取得部231新取得的摄像机201的摄像方向检测从摄像机最初设置的摄像机201的摄像方向即第1方向往第2方向的变化(步骤S402)。
接下来，控制部202内的补正判断部234基于由摄像方向检测部232检测到的摄像方向的变化来判断是否需要进行外部参数的补正(步骤S403)。在从摄像机201的最初设置的摄像方向即第1方向往第2方向的变化量为阈值以上的情况下，判断为需要进行外部参数的补正(步骤S403“是”)，接着，判断是否能进行外部参数的补正(步骤S404)。在从摄像机201的最初设置的摄像方向即第1方向往第2方向的变化量微小或没有变化从而变化量比阈值小的情况下，补正判断部234判断为不需要外部参数的补正(步骤S403“否”)，结束处理。
接下来，在步骤S404，补正判断部234判断是否能根据当前的摄像机201的摄像图像补正外部参数。在标志300的位置从图像的中心大幅偏离从而不能通过外部参数的补正进行调整的情况下，补正判断部234判断为不能进行补正(步骤S404“否”)，在显示部207显示是错误，来对用户进行警告(步骤S405)。控制部202结束处理。在标志300的位置以大到不能通过外部参数的补正进行调整的程度从图像的中心大幅偏离的情况下，补正判断部234判断为不能进行补正(步骤S404“是”)，移转到基于加速度传感器以及陀螺仪传感器的传感器值的俯仰以及滚动的补正处理(步骤S406)。
在步骤S406，基于传感器值进行俯仰以及滚动的补正，不进行平摇的补正。关于平摇，由于基于传感器值的补正处理变得复杂，因此通过接下来执行的基于摄像图像的补正值算出处理来进行平摇的补正。在步骤S406，通过将加速度传感器的3轴输出和陀螺仪传感器的3轴输出输入到卡尔曼滤波器、低通滤波器，来算出相对于地面的加速度的3轴数据和角速度的3轴数据，从而进行重力方向的估计。此外，也可以采用卡尔曼滤波器、低通滤波以外的轴估计方式来进行重力方向的估计。若进行重力方向的估计，就在关于加速度传感器、陀螺仪传感器的数据估计出的重力方向上对姿态进行补正。由此对俯仰以及滚动进行补正。
接下来，控制部202的补正值算出部236通过基于摄像机参数(内部参数以及外部参数)、关于摄像图像中的2个以上的标志300存储于存储器205的标志300的已知的世界坐标(真值)、和根据当前的摄像图像算出的标志300的世界坐标(偏离后)求取逆矩阵，来算出补正值〔E’〕-1(步骤S407)。由于在步骤S406已经补正了俯仰以及滚动，因此减轻了求取补正值〔E’〕-1的计算处理的负担。
若在步骤S407求得补正值〔E’〕-1，位置数据取得部238就执行摄像机参数的补正，基于补正过的摄像机参数来取得摄像机201的位置、即，对移动体100的位置进行自我定位，并取得位置数据(步骤S408)。
若求得移动体100的位置坐标，就将其和从存储器205读出的起始位置的位置坐标进行比较，判断求得的位置坐标和起始位置的位置是否一致，即，判断求得的位置坐标是否正确(步骤S409)。在求得的位置坐标正确的情况下(步骤S409“是”)，结束处理。在求得的位置坐标不正确的情况下(步骤S409“否”)，返回步骤S401，重复步骤S401以后的处理。
根据第4实施方式，除了第3实施方式的效果以外，通过基于惯性传感器的传感器值补正作为用于算出补正值〔E’〕-1的参数的俯仰、滚动的旋转角，参数变少，用于算出补正值〔E’〕-1的处理变得简单。此外，在基于惯性传感器的传感器值的补正中，通过用补正值〔E’〕-1补正计算处理复杂的平摇的旋转角，基于惯性传感器的传感器值的补正的计算处理变得简单。
在上述第2、第3、第4实施方式中，未考虑移动体100向起始位置的停车精度。与此相对，也可以并用影像解析(Video Content Analysis)来缓和移动体100的停车精度。例如，通过在起始位置设置棋盘那样的图案，来导出移动体100的停车姿态，来补正移动体100的停车方向的偏离所引起的左右方向的旋转的偏离。
在上述实施方式中，CPU通过执行存储于RAM、ROM的程序，来作为控制部202发挥功能。但也可以取代CPU执行存储于RAM、ROM的程序，例如具备ASIC(Application SpecificIntegrated Circuit，特定用途集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、各种控制电路等专用的硬件，由专用的硬件作为控制部202发挥功能。在该情况下，可以由专用的硬件实现一部分，由软件或固件实现另一部分。
说明了本发明的实施方式，但本发明的范围并不限定于上述的实施方式，包含记载于权利要求书的发明的范围和其等同的范围。

Claims (24)

1.一种移动体的位置定位装置，其特征在于，具备
通信装置；和
至少1个处理器，
所述至少1个处理器执行如下处理：
从摄像方向从第1方向变化到第2方向的摄像机经由所述通信装置取得包含配置于空间内的至少1个标志和在所述空间内运动的至少1个移动体的摄像图像，
基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，
在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于所述摄像图像来取得所述至少1个移动体的位置数据。
2.根据权利要求1所述的移动体的位置定位装置，其特征在于，
所述初始数据包含配置标志的世界坐标数据。
3.根据权利要求1或2所述的移动体的位置定位装置，其特征在于，
由于缘于振动的外部因素或时间经过因素，所述摄像机的所述摄像方向从所述第1方向变化到所述第2方向。
4.根据权利要求1～3中任一项所述的移动体的位置定位装置，其特征在于，
所述至少1个处理器执行如下处理：
在检测向所述第2方向的变化时，基于所述摄像图像中所含的标志的图像坐标数据和所述标志的世界坐标数据，来算出对所述摄像机的所述摄像方向的变动进行补正的补正值。
5.根据权利要求4所述的移动体的位置定位装置，其特征在于，
所述至少1个处理器执行如下处理：
基于所述补正值取得所述位置数据。
6.一种移动体的位置定位装置，其特征在于，具备：
通信装置；和
至少1个处理器，
所述至少1个处理器执行如下处理：
从固定于移动体侧且摄像方向从第1方向变化到第2方向的摄像机经由所述通信装置取得对配置于空间内的多个标志摄像得到的摄像图像，
基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，
在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于从所述摄像机取得的摄像图像来取得所述移动体的位置数据。
7.根据权利要求6所述的移动体的位置定位装置，其特征在于，
所述初始数据包含配置标志的世界坐标数据。
8.根据权利要求6或7所述的移动体的位置定位装置，其特征在于，
由于缘于振动的外部因素或时间经过因素，所述摄像机的所述摄像方向从所述第1方向变化到所述第2方向。
9.根据权利要求6～8中任一项所述的移动体的位置定位装置，其特征在于，
所述至少1个处理器执行如下处理：
在检测向所述第2方向的变化时，基于所述摄像图像中所含的标志的图像坐标数据和所述标志的世界坐标数据，来算出对所述摄像机的所述摄像方向的变动进行补正的补正值。
10.根据权利要求9所述的移动体的位置定位装置，其特征在于，
所述至少1个处理器执行如下处理：
基于所述补正值取得所述位置数据。
11.根据权利要求6～10中任一项所述的移动体的位置定位装置，其特征在于，
所述摄像图像在所述移动体位于起始位置时被摄像。
12.根据权利要求6～11中任一项所述的移动体的位置定位装置，其特征在于，
所述移动体具备：检测所述摄像机的姿态的惯性传感器，
基于所述惯性传感器的传感器值来补正至少除了滚动以外的所述摄像机的姿态。
13.一种移动体的位置定位方法，其特征在于，
位置定位装置的至少1个处理器执行如下处理：
从摄像方向从第1方向变化到第2方向的摄像机经由所述通信装置取得包含配置于空间内的至少1个标志和在所述空间内运动的至少1个移动体的摄像图像，
基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，
在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于所述摄像图像来取得所述至少1个移动体的位置数据。
14.根据权利要求13所述的移动体的位置定位方法，其特征在于，
所述初始数据包含配置标志的世界坐标数据。
15.根据权利要求13或14所述的移动体的位置定位方法，其特征在于，
由于缘于振动的外部因素或时间经过因素，所述摄像机的所述摄像方向从所述第1方向变化到所述第2方向。
16.根据权利要求13～15中任一项所述的移动体的位置定位方法，其特征在于，
所述至少1个处理器执行如下处理：
在检测向所述第2方向的变化时，基于所述摄像图像中所含的标志的图像坐标数据和所述标志的世界坐标数据，来算出对所述摄像机的所述摄像方向的变动进行补正的补正值。
17.根据权利要求16所述的移动体的位置定位方法，其特征在于，
所述至少1个处理器执行如下处理：
基于所述补正值取得所述位置数据。
18.一种移动体的位置定位方法，其特征在于，
位置定位装置的至少1个处理器执行如下处理：
从固定于移动体侧、且摄像方向从第1方向变化到第2方向的摄像机，经由所述通信装置取得对配置于空间内的多个标志摄像得到的摄像图像，
基于所述摄像图像和初始数据来检测所述摄像方向从所述第1方向往所述第2方向的变化，
在不将现实世界中的所述摄像机的所述摄像方向从所述第2方向返回所述第1方向的状态下，基于从所述摄像机取得的摄像图像来取得所述移动体的位置数据。
19.根据权利要求18所述的移动体的位置定位方法，其特征在于，
所述初始数据包含配置标志的世界坐标数据。
20.根据权利要求18或19所述的移动体的位置定位方法，其特征在于，
由于缘于振动的外部因素或时间经过因素，所述摄像机的所述摄像方向从所述第1方向变化到所述第2方向。
21.根据权利要求18～20中任一项所述的移动体的位置定位方法，其特征在于，
所述至少1个处理器执行如下处理：
在检测向所述第2方向的变化时，基于所述摄像图像中所含的标志的图像坐标数据和所述标志的世界坐标数据，来算出对所述摄像机的所述摄像方向的变动进行补正的补正值。
22.根据权利要求21所述的移动体的位置定位方法，其特征在于，
所述至少1个处理器执行如下处理：
基于所述补正值取得所述位置数据。
23.根据权利要求18～22中任一项所述的移动体的位置定位方法，其特征在于，
所述摄像图像在所述移动体位于起始位置时被摄像。
24.根据权利要求18～23中任一项所述的移动体的位置定位方法，其特征在于，
所述移动体具备：检测所述摄像机的姿态的惯性传感器，
基于所述惯性传感器的传感器值来补正至少除了滚动以外的所述摄像机的姿态。
CN202210254965.8A 2021-03-19 2022-03-15 移动体的位置定位装置、移动体的位置定位方法 Active CN115112099B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-045316 2021-03-19
JP2021045316 2021-03-19
JP2021142003A JP2022145428A (ja) 2021-03-19 2021-08-31 移動体の位置測位装置、移動体の位置測位システム、移動体の位置測位方法及び移動体の位置測位プログラム
JP2021-142003 2021-08-31

Publications (2)

Publication Number Publication Date
CN115112099A true CN115112099A (zh) 2022-09-27
CN115112099B CN115112099B (zh) 2025-03-21

Family

ID=83284033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210254965.8A Active CN115112099B (zh) 2021-03-19 2022-03-15 移动体的位置定位装置、移动体的位置定位方法

Country Status (3)

Country Link
US (1) US11956537B2 (zh)
JP (1) JP2023106611A (zh)
CN (1) CN115112099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7136141B2 (ja) * 2020-02-07 2022-09-13 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
US12120431B2 (en) 2022-09-30 2024-10-15 Motorola Mobility Llc Tag assisted image capture parameter generation
US20240161439A1 (en) * 2022-11-16 2024-05-16 Motorola Mobility Llc Tag based flash intensity determination for image capture

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042760A (ja) * 2001-07-27 2003-02-13 Sumitomo Electric Ind Ltd 計測装置、計測方法及び計測システム
US7908106B2 (en) * 2004-12-21 2011-03-15 Electronics And Telecommunications Research Institute Apparatus for correcting position and attitude information of camera and method thereof
CN103649680A (zh) * 2011-06-07 2014-03-19 形创有限公司 用于3d扫描的传感器定位
US20160091892A1 (en) * 2014-09-26 2016-03-31 SCREEN Holdings Co., Ltd. Position detection apparatus, substrate processing apparatus, position detection method and substrate processing method
US20170330334A1 (en) * 2015-07-28 2017-11-16 Panasonic Intellectual Property Management Co., Ltd. Movement direction determination method and movement direction determination device
US20180005396A1 (en) * 2016-06-29 2018-01-04 Creatz Inc. Method, system and non-transitory computer-readable recording medium for compensating brightness of ball images
CN109661812A (zh) * 2016-09-01 2019-04-19 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
WO2020138345A1 (ja) * 2018-12-27 2020-07-02 日本電気通信システム株式会社 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10115506A (ja) 1996-10-11 1998-05-06 Fuji Heavy Ind Ltd ステレオカメラの調整装置
EP1580520A1 (en) * 2002-12-27 2005-09-28 Hiroshi Arisawa Multi-view-point video capturing system
US7627197B2 (en) * 2003-04-07 2009-12-01 Honda Motor Co., Ltd. Position measurement method, an apparatus, a computer program and a method for generating calibration information
JP2013219628A (ja) 2012-04-10 2013-10-24 Hitachi Kokusai Electric Inc カメラシステム
JP2016225719A (ja) 2015-05-27 2016-12-28 京セラ株式会社 ステレオカメラ装置、車両、および較正方法
JP7204346B2 (ja) * 2018-06-05 2023-01-16 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042760A (ja) * 2001-07-27 2003-02-13 Sumitomo Electric Ind Ltd 計測装置、計測方法及び計測システム
US7908106B2 (en) * 2004-12-21 2011-03-15 Electronics And Telecommunications Research Institute Apparatus for correcting position and attitude information of camera and method thereof
CN103649680A (zh) * 2011-06-07 2014-03-19 形创有限公司 用于3d扫描的传感器定位
US20160091892A1 (en) * 2014-09-26 2016-03-31 SCREEN Holdings Co., Ltd. Position detection apparatus, substrate processing apparatus, position detection method and substrate processing method
US20170330334A1 (en) * 2015-07-28 2017-11-16 Panasonic Intellectual Property Management Co., Ltd. Movement direction determination method and movement direction determination device
US20180005396A1 (en) * 2016-06-29 2018-01-04 Creatz Inc. Method, system and non-transitory computer-readable recording medium for compensating brightness of ball images
CN109661812A (zh) * 2016-09-01 2019-04-19 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
WO2020138345A1 (ja) * 2018-12-27 2020-07-02 日本電気通信システム株式会社 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム

Also Published As

Publication number Publication date
US11956537B2 (en) 2024-04-09
JP2023106611A (ja) 2023-08-01
US20220303468A1 (en) 2022-09-22
CN115112099B (zh) 2025-03-21

Similar Documents

Publication Publication Date Title
CN115112099A (zh) 移动体的位置定位装置、移动体的位置定位方法
KR101930796B1 (ko) 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법
CN109382821B (zh) 校准方法、校准系统及程序
CN109556510B (zh) 位置检测装置以及计算机可读存储介质
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
CN107289931B (zh) 一种定位刚体的方法、装置和系统
CN112334733B (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
CN114199121B (zh) 移动体位置决定装置、方法以及系统
JPH11160021A (ja) 広域３次元位置計測方法及び装置
US20130314533A1 (en) Data deriving apparatus
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
KR102129206B1 (ko) 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치
JP2008045983A (ja) ステレオカメラの調整装置
JP2008176768A (ja) 画像処理装置
CN116577072A (zh) 设备的标定方法、装置、系统和存储介质
JP2022090130A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
JP2022145428A (ja) 移動体の位置測位装置、移動体の位置測位システム、移動体の位置測位方法及び移動体の位置測位プログラム
CN220170495U (zh) 设备的标定系统
JP6581280B1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
CN109756667B (zh) 位置取得系统、位置取得装置、位置取得方法以及记录介质
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
JP2003090711A (ja) ３次元画像撮像装置および方法
CN115908578A (zh) 多传感器数据融合的方法、装置和系统
WO2021117390A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant