CN109756667B - 位置取得系统、位置取得装置、位置取得方法以及记录介质 - Google Patents
位置取得系统、位置取得装置、位置取得方法以及记录介质 Download PDFInfo
- Publication number
- CN109756667B CN109756667B CN201811304974.3A CN201811304974A CN109756667B CN 109756667 B CN109756667 B CN 109756667B CN 201811304974 A CN201811304974 A CN 201811304974A CN 109756667 B CN109756667 B CN 109756667B
- Authority
- CN
- China
- Prior art keywords
- light
- image
- predetermined space
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims abstract description 112
- 239000011159 matrix material Substances 0.000 claims abstract description 46
- 238000009434 installation Methods 0.000 claims abstract description 45
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
- G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供位置取得系统、位置取得装置、位置取得方法以及记录介质。服务器(200)检测通过摄像机(201a、201b)的拍摄得到的各图像内的第1光源(300a)等,使用与检测数相应的算法来取得摄像机(201a、201b)的相对空间位置以及摄像方向。此外,服务器(200)读出存储在存储器中的第1光源(300a)等在空间(500)内的位置信息,求出摄像机(201a、201b)在空间(500)内的空间位置以及摄像方向,进一步求出变换矩阵,该变换矩阵能够将通过摄像机(201a)的拍摄得到的图像中包含的第1光源(300a)等的图像位置和通过摄像机(201b)的拍摄得到的图像中包含的第1光源(300a)等的图像位置的组合变换成空间(500)内的第1光源(300a)等的设置位置。
Description
对本申请主张以2017年11月7日申请的日本国专利申请特愿2017-215016号以及2018年10月2日申请的日本国专利申请特愿2018-187158号为基础的优先权,将该基础申请的内容全部援引到本申请中。
技术领域
本发明涉及位置取得系统、位置取得装置、位置取得方法以及记录介质。
背景技术
如JP特开2004-361222号公报记载的那样,存在如下技术,即,基于由立体摄像机拍摄到的图像,算出存在于规定空间内的物体的实际位置。根据该技术,不必使用工具来直接测定位置,能够仅利用拍摄到的立体图像来获取物体的位置。
但是,由于作为前处理需要用于进行立体拍摄的各摄像机的准确的设置位置信息、姿势信息,因此要求更简单地算出位置的方法。
本申请发明鉴于这样的问题点而完成,其目的在于更简便地进行空间定位。
发明内容
本发明涉及的位置取得系统的特征在于,具备:
多个第1发光装置,设置在规定空间内且发出光;
确定单元,确定所述多个第1发光装置在所述规定空间内的位置;
多个摄像装置,分别从不同的方向拍摄所述规定空间;以及
取得单元,基于所述多个摄像装置各自拍摄到的图像中共同包含的所述多个第1发光装置的光在所述图像上的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得所述多个摄像装置各自的设置位置或者摄像方向。
本发明涉及的位置取得装置的特征在于,具备:
确定单元,确定设置在规定空间内的多个第1发光装置在所述规定空间内的位置;以及
取得单元,基于分别从不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个第1发光装置在所述图像上的光的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得拍摄了所述图像的多个摄像装置各自的设置位置或者摄像方向。
本发明涉及的位置取得方法的特征在于,包括:
确定步骤,确定设置在规定空间内的多个发光装置在所述规定空间内的位置;以及
取得步骤,基于分别从不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个发光装置在所述图像上的光的位置和在所述确定步骤确定出的所述多个发光装置在所述规定空间内的位置,取得拍摄了所述图像的多个摄像装置各自的设置位置或者摄像方向。
本发明是一种记录有程序的记录介质,与分别从不同的方向对设置了多个发光装置的规定空间进行拍摄的多个摄像装置相连接的位置取得装置的计算机能够执行该程序,该记录介质的特征在于,
所述程序使所述计算机起到以下单元的作用:
确定单元,确定设置在规定空间内的多个发光装置在所述规定空间内的位置;以及
取得单元,基于分别从不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个发光装置在所述图像上的光的位置和所述确定单元确定出的所述多个发光装置在所述规定空间内的位置,取得拍摄了所述图像的多个摄像装置各自的设置位置或者摄像方向。
附图说明
图1是表示本发明的实施方式涉及的可见光通信系统的一例的图。
图2是表示该实施方式涉及的服务器的结构的一例的图。
图3是表示根据该实施方式涉及的两个摄像机拍摄到的图像求出的视差的一例的图。
图4是表示该实施方式涉及的计算两个摄像机的空间位置以及摄像方向的一例的图。
图5是表示该实施方式涉及的服务器的动作的一例的流程图。
图6是表示本发明的实施方式涉及的可见光通信系统的另一例的图。
图7是表示该另一实施方式涉及的服务器的动作的一例的流程图。
图8是表示该另一实施方式涉及的服务器的动作的一例的流程图。
具体实施方式
以下,参照附图来说明作为本发明的实施方式涉及的信息处理系统的可见光通信系统。
图1是表示可见光通信系统的结构的图。如图1所示,可见光通信系统1构成为,包括:设置在空间500内的设备100a、100b、100c(以下,在不对设备100a、100b、100c分别进行限定的情况下,适宜地称为“设备100”)和与位置取得装置对应的服务器200。
设备100a安装了与第2发光装置对应的第2光源102a,设备100b安装了与第2发光装置对应的第2光源102b,设备100c安装了与第2发光装置对应的第2光源102c(以下,在不对第2光源102a、102b、102c分别进行限定的情况下,适宜地称为“第2光源102”)。服务器200安装了与摄像装置对应的摄像机201a、201b(以下,在不对摄像机201a、201b分别进行限定的情况下,将由摄像机201a、201b构成的“摄像机群”称为“摄像机201”)。此外,在空间500内,设置有与第1发光装置对应的第1光源300a、300b、300c、300d、300e(以下,在不对第1光源300a、300b、300c、300d、300e分别进行限定的情况下,适宜地称为“第1光源300”)。第1光源300以及第2光源102包含未图示的LED(Light Emitting Diode)。
在本实施方式中,安装在设备100的第2光源102通过发出与设备100的状态等各种发送对象的信息对应的光来发送信息。另一方面,服务器200对通过摄像机201的时间序列上连续的拍摄得到的光的图像中的发光色的变化进行解调,取得第2光源102所发出的信息。
在本实施方式中,最初,摄像机201a、201b的位置以及摄像方向是不清楚的。因此,在上述服务器200取得设备100的状态等之前,首先,服务器200基于通过摄像机201a、201b的拍摄得到的图像内的第1光源300a、300b、300c、300d、300e的位置(图像位置),算出(取得)作为三维空间的空间500中的摄像机201a、201b的位置(空间位置)以及摄像方向。进而,服务器200生成用于将图像内的第1光源300的位置(图像位置)变换成空间500内的设置位置的变换矩阵。
图2是表示服务器200的结构的一例的图。如图2所示,服务器200包括控制部202、图像处理部204、存储器205、操作部206、显示部207以及通信部208。此外,在服务器200经由布线安装了摄像机201a、201b。
摄像机201a包括透镜203a,摄像机201b包括透镜203b(以下,在不对透镜203a、203b分别进行限定的情况下,适宜地称作“透镜203”)。透镜203包括变焦透镜等。透镜203通过来自操作部206的变焦控制操作以及控制部202作用下的对焦控制而移动。通过透镜203的移动,控制摄像机201进行拍摄的拍摄视角、光学像。
摄像机201a、201b包括在受光面规则地二维排列的多个受光元件。受光元件例如是CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等摄像器件。摄像机201a、201b基于来自控制部202的控制信号以预定范围的拍摄视角对经由透镜203入光的光学像进行拍摄(受光),将该拍摄视角内的图像信号变换成数字数据来生成帧。此外,摄像机201a、201b在时间上连续地进行拍摄和帧的生成,并将连续的帧输出到服务器200内的图像处理部204。
图像处理部204基于来自控制部202的控制信号,将从摄像机201输出的帧(数字数据)直接输出到控制部202,并且针对该帧,为了在显示部207显示为直通图像,调整画质、图像尺寸后输出到控制部202。此外,图像处理部204具有以下功能,即,若被输入基于来自操作部206的记录指示操作的控制信号,则例如以JPEG(Joint Photographic ExpertsGroup)等压缩编码方式对被记录指示的时间点的摄像机201的拍摄视角内或者显示在显示部207的显示范围内的光学像进行编码、文件化。
控制部202例如由CPU(Central Processing Unit)构成。控制部202通过按照存储在存储器205中的程序(例如,用于实现后述的图3所示的服务器200的动作的程序)来执行软件处理,从而对服务器200所具备的各种功能进行控制。
存储器205例如是RAM(Random Access Memory)、ROM(Read Only Memory)。存储器205存储用在服务器200的控制等中的各种信息(程序等)。
操作部206由数字键、功能键等构成,是为了输入用户的操作内容而使用的接口。显示部207例如由LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro Luminescence)显示器等构成。显示部207按照从控制部202输出的图像信号来显示图像。通信部208例如是LAN(Local Area Network)卡。通信部208与外部的通信装置进行通信。
控制部202包括:与确定单元、取得单元、解码单元、第2取得单元以及设定单元对应的摄像机位置/摄像方向计算部232;与第1判断单元、第1控制单元、第2判断单元以及第2控制单元对应的矩阵生成部234;以及与变换单元、第1取得单元以及位置信息取得单元对应的发光位置取得部236。
摄像机位置/摄像方向计算部232检测通过摄像机201a、201b的拍摄得到的各图像内的第1光源300的位置(图像位置)。在此,空间500内的第1光源300a、300b、300c、300d、300e的设置位置被预先测定。此外,第1光源300a、300b、300c、300d、300e发出以能够唯一确定自身的ID(Identification)进行了调制后的、以R(红)G(绿)B(蓝)这三色模式巡回变化的光。
摄像机位置/摄像方向计算部232检测通过摄像机201a、201b的拍摄得到的各图像中包含的巡回的三色模式的光。进而,摄像机位置/摄像方向计算部232尝试进行与该三色的发光模式对应的ID的检测,并且尝试进行向ID解调。在存储器205中将第1光源300a、300b、300c、300d、300e各自的设置位置和ID建立对应来存储。摄像机位置/摄像方向计算部232在从通过摄像机201a、201b的拍摄得到的图像双方中检测到同一ID的情况下,视为检测到了与该ID对应的第1光源300。进而,摄像机位置/摄像方向计算部232识别第1光源300的检测数。
接着,摄像机位置/摄像方向计算部232按照图像中包含的第1光源300的数目,设定用于计算出摄像机201a、201b的空间位置以及摄像方向的算法。例如,对于算法而言,在图像中包含的第1光源300的数目为5个情况下称作5点算法,8个的情况下称作8点算法,这样按图像中包含的第1光源300的数目来准备算法并存储于存储器205中。
接着,摄像机位置/摄像方向计算部232使用所设定的算法来算出摄像机201a、201b的空间位置以及摄像方向。
以下,说明算法。图3是表示根据摄像机201a、201b拍摄到的图像求出的视差的一例的图。此外,图4是表示算出摄像机201a、201b的空间位置以及摄像方向的一例的图。
如图3所示,在摄像机201a、201b拍摄了同一第1光源300c的情况下,由于摄像机201a、201b的设置位置不同,因此通过摄像机201a的拍摄得到的图像601a内的第1光源300c的图像位置与通过摄像机201b的拍摄得到的图像601b内的第1光源300c的图像位置之间会出现差分(视差)S。
此外,如图4所示,若将从摄像机201a的拍摄面250a到焦点位置的距离和从摄像机201b的拍摄面250b到焦点位置的距离设为同一F,将摄像机201a与摄像机201b的距离设为B,将连结了摄像机201a的焦点位置和摄像机201b的焦点位置的直线与第1光源300c的最短距离设为D,则距离计算式D=B×F/S成立。在该式中,F和S是已知的。
在本实施方式中,摄像机位置/摄像方向计算部232不仅针对第1光源300c求出距离计算式,而且还要针对检测到的第1光源300的每一个来求出距离计算式。进而,摄像机位置/摄像方向计算部232基于求出到的距离计算式和预先测定的第1光源300的设置位置,算出摄像机201a、201b的空间位置以及摄像方向。
详细来说,摄像机位置/摄像方向计算部232首先根据通过摄像机201a的拍摄得到的图像中包含的第1光源300的图像位置(Xga1,Yga1)和通过摄像机201b的拍摄得到的图像中包含的第1光源300的图像位置(Xgb1,Ygb1)的组合,求出摄像机201a和摄像机201b的相对空间位置以及摄像方向。然后,摄像机位置/摄像方向计算部232参照第1光源300a~300e的ID,读出存储在存储器205中的第1光源300a~300e各自的设置位置,使用读出的设置位置,算出空间500内的摄像机201a和摄像机201b的空间位置以及摄像方向。然后,矩阵生成部234基于算出的摄像机201a和摄像机201b的空间位置以及摄像方向,求出能够从通过摄像机201a的拍摄得到的图像中包含的第1光源300的图像位置和通过摄像机201b的拍摄得到的图像中包含的第1光源300的图像位置的组合变换到空间500内的第1光源300的设置位置的变换矩阵。
第2光源102a、102b、102c发出以能够唯一确定自身的ID进行了调制的、以R(红)G(绿)B(蓝)这三色的模式巡回变化的光。
在求出上述的变换矩阵后,发光位置取得部236检测通过摄像机201a、201b的拍摄得到的各图像中包含的巡回的三色模式的光。进而,发光位置取得部236尝试进行与该三色的发光模式对应的ID的检测,并且尝试进行向ID解调。发光位置取得部236在从通过摄像机201a、201b的拍摄得到的图像双方中能够检测到同一ID的情况下,视作检测到了与该ID对应的第2光源102。
进而,发光位置取得部236识别与同一第2光源102对应的、通过摄像机201a的拍摄得到的图像内的图像位置(Xga2,Yga2)和通过摄像机201b的拍摄得到的图像内的图像位置(Xgb2,Ygb2)。进而,发光位置取得部236使用这些图像位置(Xga2,Yga2)以及图像位置(Xgb2,Ygb2)的组合和上述变换矩阵,算出空间500内的设置位置(Xk2,Yk2,Zk2)。
接下来,参照流程图说明服务器200的动作。图5是表示服务器200的动作的一例的流程图。
摄像机201a、201b进行空间500内的拍摄。控制部202内的摄像机位置/摄像方向计算部232检测通过摄像机201a、201b的拍摄得到的各图像内的第1光源300(步骤S101)。
接着,摄像机位置/摄像方向计算部232识别通过摄像机201a、201b的拍摄得到的各图像内的第1光源300的数目。进而,摄像机位置/摄像方向计算部232按照图像中包含的第1光源300的数目,设定用于算出摄像机201a、201b的相对空间位置以及摄像方向的算法(步骤S102)。
接着,摄像机位置/摄像方向计算部232使用所设定的算法,算出摄像机201a、201b的相对的空间位置以及摄像方向(步骤S103)。
接着,摄像机位置/摄像方向计算部232从存储器205读出与第1光源300a~300e的ID对应的设置位置,使用读出的设置位置,算出空间500内的摄像机201a和201b的空间位置以及摄像方向。进而,矩阵生成部234基于所算出的摄像机201a和摄像机201b在空间500内的空间位置以及摄像方向,生成能够从通过摄像机201a的拍摄得到的图像中包含的第1光源300的图像位置和通过摄像机201b的拍摄得到的图像中包含的第1光源300的图像位置的组合变换到空间500内的第1光源300的设置位置的变换矩阵(步骤S104)。
然后,发光位置取得部236识别与同一第2光源102对应的、通过摄像机201a的拍摄得到的图像内的图像位置(Xga2,Yga2)和通过摄像机201b的拍摄得到的图像内的图像位置(Xgb2,Ygb2)。进而,发光位置取得部236使用这些图像位置(Xga2,Yga2)以及图像位置(Xgb2,Ygb2)的组合和上述变换矩阵,算出空间500内的设置位置(Xk2,Yk2,Zk2)。
这样,在本实施方式中,服务器200在通过摄像机201a、201b的拍摄得到的各图像内检测分别分配了ID的多个第1光源300,使用与该检测数相应的算法,首先算出摄像机201a、201b的相对空间位置以及摄像方向。然后,根据与分配给多个第1光源300各自的ID对应的空间500内的各第1光源300的设置位置,算出摄像机201a、201b在空间500内的空间位置以及摄像方向,进而,生成能够将摄像机201a、201b拍摄到的图像中包含的第1光源300的图像位置变换到第1光源300的设置位置的变换矩阵。由此,即使在摄像机201a、201b的空间位置以及摄像方向未知的情况下,也能取得该空间位置以及摄像方向,并使用到第2光源102的设置位置的取得中。
此外,服务器200生成用于将通过摄像机201a的拍摄得到的图像中包含的第1光源300的图像位置和通过摄像机201b的拍摄得到的图像中包含的第1光源300的图像位置的组合变换成空间500内的第1光源300的设置位置的变换矩阵,使用该变换矩阵,能够将通过摄像机201a的拍摄得到的图像中包含的第2光源102的图像位置和通过摄像机201b的拍摄得到的图像中包含的第2光源102的图像位置的组合变换成空间500内的第2光源102的设置位置。由此,能够简单地取得空间500内的第2光源102的设置位置。
但是,摄像机201的数量并不限定于两台,有时会有三台以上的情况。例如,如图6所示,在设置了摄像机201a、201b、201c、201d的情况下,服务器200针对摄像机201a~201d设定两台的组合(摄像机对)。两台摄像机201的组合有6种。
进而,服务器200基于成为摄像机对的两台摄像机201中的每一个摄像机201的拍摄图像,与上述同样地取得空间500内的第2光源102的设置位置。即,发光位置取得部236生成用于将通过摄像机对当中的一个摄像机201的拍摄得到的图像中包含的第1光源300的图像位置和通过另一个摄像机201的拍摄得到的图像中包含的第1光源300的图像位置的组合变换成空间500内的第1光源300的设置位置的变换矩阵。变换矩阵按每个摄像机对来生成。
进而,服务器200使用该变换矩阵将通过一个摄像机201的拍摄得到的图像中包含的第2光源102的图像位置和通过另一个摄像机201的拍摄得到的图像中包含的第2光源102的图像位置的组合变换成空间500内的第2光源102的设置位置。该设置位置例如能够利用空间坐标系的给定的坐标数据来表示。服务器200通过对针对六种摄像机对中的每一个摄像机对在空间500内的第2光源102的设置位置进行综合(例如,取平均值),能够取得最终的空间500内的第2光源102的设置位置。
此外,有时因摄像机201中的某一个发生移动或发生故障而进行更换等,会使得该摄像机201的位置、拍摄范围发生变更。在这样的情况下,服务器200进行以下的动作。图7是表示服务器200的动作的一例的流程图。另外,图7的动作能够在设置有三台以上位置、拍摄范围未被变更的摄像机201的状况下应用。
摄像机201对空间500内进行拍摄。此时,控制部202内的发光位置取得部236检测通过各摄像机201的拍摄得到的各图像双方中包含的第1光源300(步骤S201)。接着,发光位置取得部236设定由两台摄像机201构成的摄像机对。进而,发光位置取得部236按每个摄像机对取得通过该摄像机对内的摄像机201的拍摄得到的各图像的双方中包含的第1光源300的ID(步骤S202)。
进而,摄像机位置/摄像方向计算部232按每个摄像机对取得通过该摄像机对中包含的两台摄像机201的拍摄得到的各图像中的、在步骤S202中检测到ID的第1光源300的位置(图像位置)(步骤S203)。
接着,发光位置取得部236使用与摄像机对对应的变换矩阵,将在步骤S203中取得的第1光源300的图像位置变换成空间500中的第1光源300的空间位置(步骤S204)。在每个摄像机对中进行上述步骤S202~步骤S204的动作。
在每个摄像机对中进行了步骤S202~步骤S204的动作后,矩阵生成部234针对各个第1光源300,比较在每个摄像机对中取得的该第1光源300的空间位置,判定是否存在第1光源300的空间位置与其他摄像机对不同的摄像机对(步骤S205)。具体来说,矩阵生成部234比较在每个摄像机对中取得的第1光源300的空间位置,确定第1光源300的空间位置与其他任意摄像机对不一致的摄像机对。
在不存在第1光源300的空间位置与其他摄像机对不同的摄像机对的情况下(步骤S205;否),结束一系列的动作。
另一方面,在存在第1光源300的空间位置与其他摄像机对不同的摄像机对的情况下(步骤S205;是),矩阵生成部234在第1光源300的空间位置与其他摄像机对不同的摄像机对内的两台摄像机201当中,确定位置和/或拍摄范围被变更的摄像机201。在此,矩阵生成部234将未被包含在第1光源300的空间位置与其他摄像机对一致的摄像机对中的任一个中的摄像机201确定为是位置、拍摄范围被变更的摄像机201。进而,矩阵生成部234向利用者通知需要再次针对位置和/或拍摄范围被变更的摄像机201取得空间位置以及摄像方向(再次校准)的旨意(步骤S206)。通知通过显示到未图示的显示部等来进行。
利用者若收到需要进行再次校准的旨意的通知,就调整该摄像机201的位置和/或视角,使得在需要进行再次校准的摄像机201的拍摄范围内包含给定数目(最低1个)的第1光源300。之后,利用者通过操作未图示的操作部等来指示再次校准的执行。
矩阵生成部234判定是否由利用者指示了再次校准的执行(步骤S207)。在未指示再次校准的执行的情况下(步骤S207;否),重复进行步骤S205以后的动作。
另一方面,在指示了再次校准的执行的情况下(步骤S207;是),发光位置取得部236基于仅包含不需要进行再次校准的摄像机201的摄像机对的拍摄图像,取得第1光源300的空间位置(步骤S208)。具体来说,基于仅包含不需要进行再次校准的摄像机201的摄像机对的拍摄图像,进行与步骤S201~步骤S204相同的动作。
进而,矩阵生成部234基于包含需要进行再次校准的摄像机201的摄像机对的拍摄图像,取得第1光源300的图像位置(步骤S209)。具体来说,基于包含需要进行再次校准的摄像机201的摄像机对的拍摄图像,进行与步骤S201~步骤S203相同的动作。
进而,矩阵生成部234生成用于将在步骤S209中取得的、与包含需要进行再次校准的摄像机201的摄像机对对应的第1光源300的图像位置变换成第1光源300的空间位置的变换矩阵,存储在存储器205中(步骤S210)。
在摄像机201的位置和/或拍摄范围被变更的情况下,在现有技术中需要重新进行全部的校准,但是通过如上所述那样根据摄像机201的位置和/或拍摄范围的变更来生成新的变换矩阵,能够简单地取得空间500内的各光源102的设置位置。
此外,有时会通过扩大空间500等来设置新的摄像机201。在这样的情况下,服务器200进行以下的动作。图8是表示服务器200的动作的一例的流程图。以下,说明在设置有两台以上的摄像机201的状况下追加一台摄像机201的情况。
步骤S301~步骤S304的动作与图7的步骤S201~步骤S204的动作相同,因而省略说明。
在每个摄像机对中进行了步骤S302~步骤S304的动作后,矩阵生成部234判定是否存在由于扩大空间500而导致变换矩阵未知(即,对扩大后未设定变换矩阵的空间进行了拍摄)的摄像机对(步骤S305)。具体来说,发光位置取得部236判定是否存在应在步骤S304中将第1光源300的图像位置变换成空间位置时使用的变换矩阵。
在不存在变换矩阵未知的摄像机对的情况下(步骤S305;否),结束一系列的动作。
另一方面,在存在变换矩阵未知的摄像机对的情况下(步骤S305;是),在变换矩阵未知的摄像机对内的两台摄像机201当中,确定所追加的摄像机201。在此,矩阵生成部234将在该时间点未包含在与存储在存储器205中的变换矩阵对应的摄像机对的任意者中的摄像机201确定为是被追加的摄像机201。进而,矩阵生成部234向利用者通知需要针对被追加的摄像机201取得空间位置以及摄像方向(再次校准)的旨意(步骤S306)。通知通过显示到未图示的显示部等来进行。
利用者若收到到需要进行再次校准的旨意的通知,则调整该摄像机201的位置和/或视角,使得在需要进行再次校准的摄像机201的拍摄范围内包含给定数目(最低1个)的第1光源300。之后,利用者通过操作未图示的操作部来指示再次校准的执行。
之后,进行与图7的步骤S207~步骤S210相同的动作。即,矩阵生成部234判定是否由利用者指示了再次校准的执行(步骤S307)。在未指示再次校准的执行的情况下(步骤S307;否),重复进行步骤S305以后的动作。
另一方面,在指示了再次校准的执行的情况下(步骤S307;是),发光位置取得部236基于仅包含不需要进行再次校准的摄像机201的摄像机对的拍摄图像,取得第1光源300的空间位置(步骤S308)。在该情况下,在扩大前的空间和扩大后的空间这两者中以大致相等的数目配置存在第1光源300的空间。
进而,矩阵生成部234基于包含需要进行再次校准的摄像机201的摄像机对的拍摄图像,取得第1光源300的图像位置(步骤S309)。
进而,矩阵生成部234生成用于将在步骤S309中取得的、与包含需要进行再次校准的摄像机201的摄像机对对应的第1光源300的图像位置变换成第1光源300的空间位置的变换矩阵,存储在存储器205中(步骤S310)。
如上所述,在扩大空间500并追加摄像机201的情况下,通过根据该扩大和摄像机201的追加来生成新的变换矩阵,从而能够简单地取得扩大后的空间500内的各光源102的设置位置。
另外,上述实施方式的说明以及附图并不限定本发明,能够对上述实施方式以及附图适当地加入变更等。
例如,在上述实施方式中,能够算出摄像机201a、201b的空间位置以及摄像方向,但是在摄像机201a、201b的空间位置已知的情况下,也可以为了仅算出其摄像方向而应用本发明。
此外,针对第1光源300,在存储器205中与各ID建立对应并将空间500内的设置位置建立对应而进行了存储,但是也可以通过可见光通信,在空间500内的设置位置发出调制后的光。
例如,第1光源300以及第2光源102并不限于LED。例如,也可以在构成显示装置的LCD、PDP、EL显示器等的一部分构成光源。
此外,服务器200只要安装有摄像机即可,可以是任何种类的装置。
此外,在上述实施方式中,可以构成为,所执行的程序被保存并分布在软盘、CD-ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)等可由计算机读取的记录介质中,通过安装该程序来执行上述的处理。
此外,可以预先将程序保存在互联网等网络上的给定的服务器所具有的盘装置等中,例如,使其叠加于载波来进行下载等。
另外,在由OS(Operating System)分担并实现上述功能的情况下,或者通过OS和应用程序的协作来实现上述功能的情况下等,可以仅将OS以外的部分保存并分布在介质中,而且也可以进行下载等。
以上,说明了本发明的优选实施方式,但是本发明并不限于这样的确定的实施方式,本发明包含权利要求书记载的发明及其均等的范围。
Claims (16)
1.一种位置取得系统,其特征在于,具备:
多个第1发光装置,设置在规定空间内,且发出以能唯一确定规定空间中的自身位置的信息进行了调制的光;
多个摄像装置,分别从不同的方向拍摄所述规定空间;
解码单元,从所述多个摄像装置拍摄到的图像中共同包含的所述多个第1发光装置的光,解码成所述多个第1发光装置各自的自身位置;
确定单元,将由所述解码单元解码出的所述多个第1发光装置各自的自身位置确定为所述规定空间内的位置;以及
取得单元,基于所述多个摄像装置各自拍摄到的图像中共同包含的所述多个第1发光装置的光在所述图像上的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得所述多个摄像装置各自的设置位置或者摄像方向。
2.根据权利要求1所述的位置取得系统,其特征在于,
所述确定单元从设置位置或者摄像方向已经被关联起来的摄像装置各自拍摄到的图像中,确定所述规定空间内的位置。
3.根据权利要求2所述的位置取得系统,其特征在于,还具备:
第1判断单元,判断是否存在与所述设置位置或者摄像方向已经被关联起来的多个摄像装置不同的摄像装置拍摄到的所述规定空间的图像;以及
第1控制单元,若所述第1判断单元判断为存在,则对所述取得单元进行控制,使得基于所述不同的摄像装置拍摄的所述规定空间的图像中的所述多个第1发光装置的光的位置、和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得所述不同的摄像装置的设置位置或者摄像方向。
4.根据权利要求2所述的位置取得系统,其特征在于,还具备:
第2判断单元,判断与所述多个摄像装置不同的摄像装置拍摄的图像是否为包括所述规定空间的图像的其他空间的图像;
第2控制单元,若所述第2判断单元判断为肯定,则对所述取得单元进行控制,使得基于包括所述不同的摄像装置拍摄的所述规定空间在内的其他空间的图像中的多个第1发光装置的光的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得所述不同的摄像装置的设置位置或者摄像方向。
5.根据权利要求1所述的位置取得系统,其特征在于,还具备:
变换单元,将各个摄像装置从由所述取得单元取得的摄像装置各自的设置位置以及摄像方向拍摄到的图像内的所述多个第1发光装置的光的位置变换成所述规定空间内的所述多个第1发光装置的位置。
6.根据权利要求5所述的位置取得系统,其特征在于,还具备:
第1取得单元,通过使所述多个摄像装置各自拍摄任意设置在所述规定空间内且发出以能唯一确定自身的信息被调制的光的第2发光装置,从而取得各个拍摄图像中包含的所述第2发光装置的光的位置;以及
位置信息取得单元,使用变换矩阵,从所述第1取得单元取得的所述第2发光装置的光的位置,取得所述第2发光装置在所述规定空间中的位置信息。
7.根据权利要求1所述的位置取得系统,其特征在于,还具备:
第2取得单元,取得拍摄到的所述图像中的多个第1发光装置的光的数目;以及
设定单元,设定基于所述第2取得单元所取得的光的数目的位置分析方法,
所述取得单元采用所述设定单元设定的位置分析方法,取得所述多个摄像装置各自的设置位置。
8.一种位置取得装置,其特征在于,具备:
解码单元,从设置在规定空间内的多个第1发光装置发出的、以能唯一确定所述规定空间中的自身位置的信息进行了调制的光,解码成所述多个第1发光装置各自的自身位置;
确定单元,将所述解码单元解码的所述多个第1发光装置各自的自身位置确定为所述规定空间内的位置;以及
取得单元,基于从各个不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个第1发光装置在所述图像上的光的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得拍摄了所述图像的多个摄像装置各自的设置位置或者摄像方向。
9.根据权利要求8所述的位置取得装置,其特征在于,
所述确定单元从设置位置或者摄像方向已经被关联起来的摄像装置各自拍摄到的图像中确定所述规定空间内的位置。
10.根据权利要求9所述的位置取得装置,其特征在于,还具备:
第1判断单元,判断在拍摄到的多个所述图像中是否存在与所述设置位置或者摄像方向已经被关联起来的摄像装置不同的摄像装置所拍摄的所述规定空间的图像;
第1控制单元,若由所述第1判断单元判断为存在,则对所述取得单元进行控制,使得基于所述不同的摄像装置拍摄的所述规定空间的图像中的所述多个第1发光装置的光的位置和所述确定单元确定出的所述多个第1发光装置在所述规定空间内的位置,取得所述不同的摄像装置的设置位置或者摄像方向。
11.根据权利要求9所述的位置取得装置,其特征在于,还具备:
第2判断单元,判断在拍摄到的多个所述图像中是否存在包含所述规定空间的图像的其他空间的图像;以及
第2控制单元,若由所述第2判断单元判断为肯定,则对所述取得单元进行控制,使得基于包含所述规定空间的其他空间的图像中的所述多个第1发光装置的光的位置和所述确定单元确定出的所述多个第1发光位置在所述规定空间内的位置,取得所述不同的摄像装置的设置位置或者摄像方向。
12.根据权利要求8所述的位置取得装置,其特征在于,还具备:
变换单元,将由各个摄像装置从所述取得单元取得的摄像装置各自的设置位置以及摄像方向拍摄到的图像内的所述多个第1发光装置的光的位置变换成所述规定空间内的所述多个第1发光装置的位置。
13.根据权利要求12所述的位置取得装置,其特征在于,还具备:
第1取得单元,通过使所述多个摄像装置各自拍摄任意设置在所述规定空间内且发出以能唯一确定自身的信息被调制的光的第2发光装置,从而取得各个拍摄图像中包含的所述第2发光装置的光的位置;以及
位置信息取得单元,使用变换矩阵,从所述第1取得单元取得的所述第2发光装置的光的位置,取得所述第2发光装置在所述规定空间中的位置信息。
14.根据权利要求8所述的位置取得装置,其特征在于,还具备:
第2取得单元,取得拍摄到的所述图像中的多个第1发光装置的光的数目;以及
设定单元,设定基于所述第2取得单元取得的光的数目的位置分析方法,
所述取得单元采用所述设定单元设定的位置分析方法,取得所述多个摄像装置各自的设置位置。
15.一种位置取得方法,其特征在于,具备:
解码步骤,从设置在规定空间内的多个第1发光装置发出的、以能唯一确定所述规定空间中的自身位置的信息进行了调制的光,解码成所述多个第1发光装置各自的自身位置;
确定步骤,将所述解码步骤解码的所述多个第1发光装置各自的自身位置确定为所述规定空间内的位置;以及
取得步骤,基于从各个不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个发光装置在所述图像上的光的位置和通过所述确定步骤确定出的所述多个发光装置在所述规定空间内的位置,取得拍摄所述图像的多个摄像装置各自的设置位置或者摄像方向。
16.一种记录介质,记录有程序,与分别从不同的方向对设置了多个发光装置的规定空间进行拍摄的多个摄像装置相连接的位置取得装置的计算机能够执行该程序,该记录介质的特征在于,
所述程序使所述计算机起到以下单元的作用:
解码单元,从设置在规定空间内的多个第1发光装置发出的、以能唯一确定所述规定空间中的自身位置的信息进行了调制的光,解码成所述多个第1发光装置各自的自身位置;
确定单元,将所述解码单元解码的所述多个第1发光装置各自的自身位置确定为所述规定空间内的位置;以及
取得单元,基于分别从不同的方向拍摄所述规定空间而得到的图像中共同包含的所述多个发光装置在所述图像上的光的位置和所述确定单元确定出的所述多个发光装置在所述规定空间内的位置,取得拍摄了所述图像的多个摄像装置各自的设置位置或者摄像方向。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-215016 | 2017-11-07 | ||
JP2017215016 | 2017-11-07 | ||
JP2018187158A JP7056495B2 (ja) | 2017-11-07 | 2018-10-02 | 位置算出システム、位置算出装置、位置算出方法及びプログラム |
JP2018-187158 | 2018-10-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109756667A CN109756667A (zh) | 2019-05-14 |
CN109756667B true CN109756667B (zh) | 2021-03-09 |
Family
ID=64331620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811304974.3A Active CN109756667B (zh) | 2017-11-07 | 2018-11-02 | 位置取得系统、位置取得装置、位置取得方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10922839B2 (zh) |
EP (1) | EP3480791A1 (zh) |
CN (1) | CN109756667B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110044334B (zh) * | 2018-01-16 | 2020-04-21 | 京东方科技集团股份有限公司 | 基于维诺图的室内空间定位 |
JP7006714B2 (ja) | 2020-03-23 | 2022-01-24 | カシオ計算機株式会社 | 位置測定システム、位置測定装置、位置測定方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101579227A (zh) * | 2009-03-19 | 2009-11-18 | 清华大学 | 一种图像采集存储系统及方法 |
CN103945117A (zh) * | 2013-01-23 | 2014-07-23 | 奥林巴斯映像株式会社 | 拍摄设备、协作拍摄方法以及记录了程序的记录介质 |
US9519976B1 (en) * | 2011-01-28 | 2016-12-13 | Lucasfilm Entertainment Company Ltd. | Calibrating stereoscopic cameras |
WO2017013863A1 (ja) * | 2015-07-17 | 2017-01-26 | 日本電気株式会社 | 照射システム、照射方法およびプログラム記憶媒体 |
CN106688227A (zh) * | 2014-09-11 | 2017-05-17 | 富士胶片株式会社 | 多摄像装置、多摄像方法、程序及记录介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002063240A1 (en) | 2001-02-02 | 2002-08-15 | Snap-On Technologies Inc | Method and apparatus for mapping system calibration |
JP2004361222A (ja) | 2003-06-04 | 2004-12-24 | Mitsubishi Electric Corp | 三次元位置計測システムおよび方法 |
JP2005174148A (ja) | 2003-12-12 | 2005-06-30 | Sony Corp | 撮像装置及び方法、撮像システム |
JP3779308B2 (ja) | 2004-07-21 | 2006-05-24 | 独立行政法人科学技術振興機構 | カメラ校正システム及び三次元計測システム |
JP4956456B2 (ja) | 2008-02-05 | 2012-06-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5637786B2 (ja) | 2010-09-06 | 2014-12-10 | 日本信号株式会社 | カメラ校正装置 |
JP5640025B2 (ja) * | 2012-01-27 | 2014-12-10 | Ckd株式会社 | 三次元計測装置 |
US9551776B2 (en) * | 2014-05-12 | 2017-01-24 | The Boeing Company | Methods and apparatus to determine a position using light sources |
US10083522B2 (en) * | 2015-06-19 | 2018-09-25 | Smart Picture Technologies, Inc. | Image based measurement system |
US9712234B1 (en) * | 2015-12-28 | 2017-07-18 | Wisconsin Alumni Research Foundation | Location aware communication system using visible light transmission |
-
2018
- 2018-11-01 US US16/177,536 patent/US10922839B2/en active Active
- 2018-11-02 CN CN201811304974.3A patent/CN109756667B/zh active Active
- 2018-11-06 EP EP18204684.7A patent/EP3480791A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101579227A (zh) * | 2009-03-19 | 2009-11-18 | 清华大学 | 一种图像采集存储系统及方法 |
US9519976B1 (en) * | 2011-01-28 | 2016-12-13 | Lucasfilm Entertainment Company Ltd. | Calibrating stereoscopic cameras |
CN103945117A (zh) * | 2013-01-23 | 2014-07-23 | 奥林巴斯映像株式会社 | 拍摄设备、协作拍摄方法以及记录了程序的记录介质 |
CN106688227A (zh) * | 2014-09-11 | 2017-05-17 | 富士胶片株式会社 | 多摄像装置、多摄像方法、程序及记录介质 |
WO2017013863A1 (ja) * | 2015-07-17 | 2017-01-26 | 日本電気株式会社 | 照射システム、照射方法およびプログラム記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN109756667A (zh) | 2019-05-14 |
EP3480791A1 (en) | 2019-05-08 |
US10922839B2 (en) | 2021-02-16 |
US20190139260A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3466061B1 (en) | Image projection system and image projection method | |
CN111256662B (zh) | 位置信息取得装置、位置信息取得方法、记录介质以及位置信息取得系统 | |
US10057554B2 (en) | Projection control device, projection control method and non-transitory storage medium | |
JP2015184383A (ja) | プロジェクター、及び投写画像制御方法 | |
JP7582825B2 (ja) | 移動体位置決定装置、移動体位置決定方法及びプログラム | |
CN109756667B (zh) | 位置取得系统、位置取得装置、位置取得方法以及记录介质 | |
JP7409425B2 (ja) | 位置算出システム、位置算出装置、位置算出方法及びプログラム | |
CN113748313A (zh) | 三维测量系统及三维测量方法 | |
WO2020183710A1 (ja) | 画像処理装置及び3次元計測システム | |
JP7396336B2 (ja) | 位置情報取得装置、位置情報取得方法及びプログラム | |
US20220179292A1 (en) | Interchangeable lens, information processing apparatus, information processing method, and program | |
JP2021127998A (ja) | 距離情報取得装置および距離情報取得方法 | |
JP7056495B2 (ja) | 位置算出システム、位置算出装置、位置算出方法及びプログラム | |
CN112788311B (zh) | 信息获取方法、信息获取装置 | |
CN112118045B (zh) | 位置取得装置、位置取得方法以及记录介质 | |
WO2015178079A1 (ja) | 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム | |
KR102535300B1 (ko) | 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법 | |
CN107846252A (zh) | 通知装置、通知方法、以及记录介质 | |
CN115112099A (zh) | 移动体的位置定位装置、移动体的位置定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |