CN118131191A - 用于提供现实世界和图像传感器对应点的方法和设备 - Google Patents
用于提供现实世界和图像传感器对应点的方法和设备 Download PDFInfo
- Publication number
- CN118131191A CN118131191A CN202311474043.9A CN202311474043A CN118131191A CN 118131191 A CN118131191 A CN 118131191A CN 202311474043 A CN202311474043 A CN 202311474043A CN 118131191 A CN118131191 A CN 118131191A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- light
- real world
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 183
- 230000008859 change Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 description 42
- 238000012545 processing Methods 0.000 description 23
- 238000013507 mapping Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009666 routine test Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于提供现实世界和图像传感器对应点的方法和设备。提供了方法和(一个或多个)设备,用于提供一对现实世界和图像传感器对应点以用于校准用于基于光三角测量进行三维成像的成像系统。所述现实世界点被提供为第一现实世界线与第二现实世界线之间的第一虚拟交点。所述图像传感器点被提供为第一图像线与第二图像线之间的第二虚拟交点。成像系统的第一图像包括对第一现实世界线进行成像的捕获的光,并且成像系统的第二图像包括对第二现实世界线进行成像的捕获的光。第一图像线与第一图像中所述捕获的光的强度峰的位置对应,并且第二图像线与第二图像中所述捕获的光的强度峰的位置对应。
Description
技术领域
本文的实施例涉及提供现实世界和图像传感器对应点,以用于校准用于基于光三角测量(light triangulation)进行三维(3D)成像的成像系统。
背景技术
用于工厂和物流自动化的工业视觉相机和系统可以基于三维(3D)机器视觉,其中场景和/或对象的3D图像被捕获。3D图像是指还包含“高度”或“深度”信息而不只包含或至少不只包含例如关于如常规图像中的仅二维(2D)像素的信息(例如,强度和/或颜色)的图像。即,图像的每个像素可以包括与像素的位置相关联并且映射到已经被成像的东西(例如,对象)的位置的信息。然后可以应用处理以从3D图像提取关于对象的特性(即,对象的3D特性)的信息,并且例如将其转换成各种3D图像格式。这种关于高度的信息可以被称为范围数据,其中范围数据因此可以对应于来自被成像的对象的高度测量(或者换句话说,来自对象的范围或距离测量)的数据。替代地或附加地,像素可以包括关于例如材料性质的信息,诸如与成像区域中的光的散射或特定波长的光的反射相关。
因此,像素值可以例如与像素的强度和/或范围数据和/或材料性质相关。
当图像的图像数据例如由具有被配置为一次一行像素地感测并提供图像数据的传感器的相机一次一行地扫描或提供时,产生行扫描图像数据。行扫描图像的特殊情况是由所谓的“光片(sheet of light)”(例如,激光线、3D三角测量)提供的图像数据。激光通常是首选,但也可以使用其它能够提供“光片”(即,光平面)的光源,例如,能够提供保持聚焦且不会散开太多的光(或者换句话说,“结构化的”光)(例如由激光或发光二极管(LED)提供的光)的光源。
3D机器视觉系统通常基于光三角测量。在这样的系统中,存在以特定光图案(诸如作为特定光图案的光片)照亮对象的光源,例如导致对象上的光或激光的线,并且沿着该线可以捕获与对象的剖面(profile)对应的对象的3D特性。通过使用这样的线扫描对象,即,执行线扫描,包括线和/或对象的移动,可以捕获与多个剖面对应的整个对象的3D特性。
使用光片进行三角测量的3D机器视觉系统或设备可以称为用于基于光(或光平面)三角测量(或在使用激光时,简称为激光三角测量)进行3D成像的系统或设备。
通常,为了基于光三角测量产生3D图像,来自要成像的对象的反射光由相机的图像传感器捕获,并且在图像数据中检测到强度峰。峰出现在与被成像对象上具有从对象反射的入射光(例如与激光线对应)的位置对应的地方。检测到的峰在图像中的位置将映射到对象上导致峰的光被反射的位置。
激光三角测量相机系统(即,基于光三角测量的成像系统,其中光是激光光)将激光线投射到对象上以从目标对象的表面创建高度剖面。通过相对于所涉及的相机和光源移动对象,可以通过图像捕获来自对象的不同部分的高度剖面信息,然后将其与系统的相关几何形状的知识相结合并使用,以产生对象的三维表示,即,提供3D图像数据。这种技术可以被描述为当光(通常是激光线)投射到对象上并被对象反射时抓取光的图像,然后从图像中提取所反射的激光线的位置。这通常通过识别图像帧中的强度峰的位置来实现,例如通过使用常规的峰查找算法。通常,但不是必需,成像系统被设置为使得与反射光相关的强度峰应当是针对传感器的每列出现并预计的,并且列内的位置映射到高度或深度。
常规而言,执行校正光平面内包括例如透镜失真和透视效应的测量误差的图像传感器校准。当这些误差已被校正时,例如,由(一个或多个)光源的放置引入的倾斜失真也可以被校正。坐标系通常在校准期间也与某个参考对准。
基于光三角测量的成像系统的校准例如涉及寻找能够将图像传感器坐标中的图像传感器数据变换成现实世界坐标的关系。换句话说,校准是关于提供图像传感器坐标与现实世界坐标之间的关系。
每次设置或改变(一个或多个)相机和(一个或多个)光源时,例如,相对于彼此的位置改变、视野改变等,通常需要建立来自校准的关系。换句话说,校准是在成像系统的设置之后或与成像系统的设置相关并且在正常操作中使用之前完成的。
在校准期间,具有预定和已知性质(诸如几何形状和维度)的校准对象被成像并用来建立所述关系。然后使用所建立的关系,以例如配置成像系统,使得当成像系统在正常操作期间对对象进行成像时,诸如根据对象的实际的现实维度,实现并能提供对象的更好且更正确的3D表示。换句话说,在校准之后,在对测量对象进行成像和测量期间,有可能从对测量对象成像的图像中的图像传感器坐标获得测量对象的对应世界坐标。
校准可以被用于提供(例如,计算)模型或查找表,该模型或查找表可以将来自基于光三角测量的3D成像系统的具有图像传感器坐标的失真原始测量转换成经校正的现实世界坐标。另一种说法是,校准是关于找到图像传感器坐标与现实世界坐标之间的映射,即,找到从图像传感器坐标空间到现实世界坐标空间的变换。一般而言,由于透镜失真伪影以及因为光场(典型地,激光场或平面)以及该场内的相机视场与稍微扭曲的多边形对应,这种变换不是线性的。
准确校准的基于光三角测量(诸如激光三角测量)的3D成像系统要求校准所依据的参考测量。与确切的校准方法无关,校准的质量不会比能获得参考测量的准确性更精确,并且这些取决于校准对象以及参考测量如何被执行。常规方法是对具有预定且已知性质(例如,几何形状和维度)的校准对象进行成像,然后在图像中识别通过用已知的现实世界坐标对校准对象的某些参考特征进行成像而产生的某些参考点。此类参考特征的示例是参考对象上的点、校准对象的表面的交线、校准对象的顶点等。参考特征可以在图像中直接可识别和/或可能通过图像中线的外推(extrapolation)和/或相交来计算,例如,找到顶点。通过在图像中并因此在图像传感器坐标中识别参考特征,此后有可能提供图像传感器坐标中的参考特征与现实世界坐标中的参考特征之间的映射,如上面所述,这基本上是校准的含义。
现有技术的校准对象示例是锯齿形目标。锯齿的表面之间的相交(即,谷和顶点)可被识别为图像中的线相交。因此,所述谷和顶点可以被用作参考特征,并且实现了可以由此确定图像传感器坐标与现实世界坐标之间的映射。另一种类型的现有技术的校准对象具有楔形形状以提供高度变化,并用点作为楔形表面上的参考特征。
D.“Calibration of Laser Triangulating Cameras in SmallFields of View”,论文,2013年,ISRN:LiTH-ISY-EX—13/4669—SE,DiVA,id:diva2:630377是一篇关于激光三角测量的校准的论文并且还公开了关于其它现有技术的信息,例如所述锯齿校准对象。
综上所述,现有技术的光三角测量系统的校准依赖于精确制造的校准目标,并且要求对校准对象的参考特征的成像以及准确的测量以识别图像传感器坐标中与参考特征对应的参考点,诸如表面的相交、顶点、点等。
发明内容
鉴于上述,本发明的目的在于对现有技术提供一种或多种改进或替代,诸如提供关于基于光三角测量的3D成像系统的校准的一种或多种改进或替代。
根据本文实施例的第一方面,该目的通过一种由一个或多个设备执行的方法来实现,用于提供一对现实世界和图像传感器对应点,用于校准用于基于光三角测量进行三维成像的成像系统。所述成像系统包括具有图像传感器的相机和用于提供光平面的光源。所述光三角测量涉及通过所述相机对由所述光平面与表面相交并由此造成从表面反射导致的反射光进行成像。所述对应点是位于所述光平面中的现实世界点、以及与所述现实世界点由成像系统在图像传感器上成像的位置对应的图像传感器点。
所述现实世界点被提供为第一现实世界线与第二现实世界线之间的第一虚拟交点。所述第一现实世界线与第一现实表面与光平面之间的第一现实交线对应,并且其中来自所述第一现实交线的反射光被成像系统捕获在第一图像中。所述第二现实世界线与第二现实表面与光平面之间的第二现实交线对应,并且其中来自所述第二现实交线的反射光被成像系统捕获在另一个第二图像中。
所述图像传感器点被提供为与第一图像中所述捕获的光的强度峰的位置对应的第一图像线和与第二图像中所述捕获的光的强度峰的位置对应的第二图像线之间的第二虚拟交点。
根据本文实施例的第二方面,该目的通过一个或多个设备(即,(一个或多个)设备)来实现,用于提供一对现实世界与图像传感器对应点以用于校准用于基于光三角测量进行三维成像的成像系统。所述成像系统包括具有图像传感器的相机和用于提供光平面的光源。所述光三角测量涉及通过所述相机对由所述光平面与表面相交并由此造成从表面反射导致的反射光进行成像。所述对应点是位于所述光平面中的现实世界点、以及与所述现实世界点由成像系统在图像传感器上成像的位置对应的图像传感器点。
所述(一个或多个)设备被配置为提供所述现实世界点作为第一现实世界线和第二现实世界线之间的第一虚拟交点。所述第一现实世界线与第一现实表面与光平面之间的第一现实交线对应,并且其中来自所述第一现实交线的反射光被成像系统捕获在第一图像中。所述第二现实世界线与第二现实表面与光平面之间的第二现实交线对应,并且其中来自所述第二现实交线的反射光被成像系统捕获在另一个(第二)图像中。
所述(一个或多个)设备还被配置为将所述图像传感器点提供为与第一图像中所述捕获的光的强度峰的位置对应的第一图像线和与第二图像中所述捕获的光的强度峰的位置对应的第二图像线之间的第二虚拟交点。
根据本文实施例的第三方面,该目的通过一个或多个包括指令的计算机程序来实现,所述指令当由一个或多个处理器执行时使得一个或多个设备执行根据第一方面的方法。
根据本文实施例的第四方面,该目的通过包括根据第三方面的计算机程序的载体来实现。
因此,与图像传感器点对应的第二虚拟交点位于分开的图像(即,来自图像传感器的不同曝光)中的图像传感器线之间。这可以与关于用于基于光三角测量对对象进行3D成像的成像系统的校准的现有技术形成比较,在现有技术中,通过单个图像捕获例如来自物理相交和点的物理校准点。
如本文的实施例中那样,使用表面和虚拟交点的优点在于,可以避免与现有技术的校准所依赖的参考特征(诸如校准对象上的物理相交和点)相关联的负面影响。例如,诸如背景技术中所提到的现有技术中的参考特征常常与各种不想要的重建伪影或由图像获取过程产生的其它偏差相关联。例如,可能存在干扰测量的谷中反射的问题。而且,由于制造限制,诸如物理峰之类的参考特征可能无法被提供为期望的尖锐,而是例如圆形。除了提取问题之外,还常常存在透镜失真,这使得难以准确推断峰和谷。在点作为参考特征的情况下,强度信息的使用会导致点处的三角测量伪影,由此深度内容在期望测量的确切位置处变得特别不稳定。这可以通过求平均来处置,但是具有与所述外推类似的问题。
因此,通过本文的实施例可以避免此类问题。而且,可以使用更简单且更容易制造的校准对象。
因此本文的实施例提供了对现有技术的改进。
附图说明
参考所附示意图更详细地描述本文的实施例的示例,下面简要描述示意图。
图1示意性地图示了现有技术类型的成像系统的示例。
图2用于示意性地图示了校准可能必须处理的变换。
图3A-C示意性地图示了与现有技术的锯齿形校准对象相关的示例。
图4示意性地图示了成像系统的示例,可以利用该成像系统来执行本文的实施例和/或可以将其完全或部分地配置为执行本文的实施例。
图5A-5C用于示意性地图示和例示本文的一些实施例,其中使用单个表面来实现两个不同的光平面相交。
图5D示意性地图示了如何可以容易地扩展上面讨论并在图5C中所示的原理以形成进一步的校准点。
图5E-5F用于示意性地图示和例示本文的一些实施例,其中使用两个不同的表面来实现两个不同的光平面相交。
图5G示意性地示出了对于图5E-5F中例示的实施例和图5A-B5中例示的实施例可以以对应的方式实现虚拟交点和校准点。
图6A-6C示意性地图示和例示如何基于本文的实施例来实现多个校准点。
图7是用于示意性地图示根据本文的一些实施例的方法的实施例的流程图。
图8是关于根据本文实施例的方法的流程图。
图9是用于图示一个或多个设备可以如何被配置为执行关于图7和图8所讨论的方法和动作的实施例的示意性框图。
图10是图示与计算机程序及其载体相关的一些实施例的示意图。
具体实施方式
本文的实施例是示例性实施例。应当注意,这些实施例不一定相互排斥。可以默认地假定来自一个实施例的组件存在于另一个实施例中,并且对于本领域技术人员而言,那些组件可以如何用于其它示例性实施例中是显而易见的。
图1示意性地图示了背景技术中提到的这种类型的成像系统的示例,即,成像系统105,以用于基于光三角测量的3D机器视觉(或简称3D成像),即,用于捕获关于测量对象的3D特性的信息的成像。图中所示的系统105处于正常操作的情况,即,通常在已经执行校准并且系统因此被校准之后。系统105是可以相关地使用和应用本文的实施例的系统的示例,诸如其校准中所涉及的。系统105被配置为执行光三角测量,这里使用光片,即,光平面,如背景技术中提到的。系统105还包括光源110,例如激光器,用于以特定光图案照亮待成像的测量对象,在图中示例并图示为光平面111。光可以但不需要是激光光。在所示的示例中,目标对象以汽车形式的第一测量对象120和齿轮构造形式的第二测量对象121例示。当特定光图案(例如,光平面111)入射在对象上时,这与特定光图案在对象上的投影对应,其可以被视为特定光图案(例如,光平面)111与对象相交。例如,在所示示例中,光平面111在第一测量对象120上产生光线112。特定光图案(例如,光平面111)被对象反射,更具体地被相交处(即,在所示示例中的光线112处)的对象部分反射。系统105还包括相机130,相机130包括图像传感器(图1中未示出)。相机和图像传感器相对于光源110和要成像的对象被布置为使得特定光图案在被对象反射时变成图像传感器上的入射光。通常被实现为芯片的图像传感器用于将入射光转换成图像数据。通过反射造成图像传感器上的所述入射光的所述对象部分由此可以被相机130和图像传感器捕获,并且可以产生并提供对应的图像数据以供进一步使用。例如,在所示示例中,在第一测量对象120的车顶的一部分上的光线112处光平面111将朝着相机130和图像传感器反射,从而可以产生并提供具有关于车顶的所述部分的信息的图像数据。借助于系统105的设置(包括几何形状)的知识,例如,图像传感器坐标如何与现实世界坐标(诸如坐标系123的坐标(例如,笛卡尔))相关,与被成像的对象及其上下文相关地,图像数据可以以合适格式被转换成关于正被成像的对象的3D特性的信息(例如,3D形状或剖面)。关于所述3D特性(例如,所述(一个或多个)3D形状或(一个或多个)剖面)的信息可以包括以任何合适格式描述3D特性的数据。如上面所解释的,校准涉及找出图像传感器坐标如何与现实世界坐标相关。
例如,通过移动光源110和/或要成像的对象(诸如第一测量对象120或第二对象121)使得对象的多个部分被照亮并在图像传感器上引起反射光,在实践中通常通过扫描对象,可以产生描述对象的更完整3D形状的图像数据,例如与对象的多个连续剖面对应,诸如第一测量对象120的所示剖面图像141-1-141-N,其中相应的剖面图像示出了当相机130的图像传感器感测到产生相应剖面图像的光时光平面111被反射处的第一对象120的轮廓。如图中所指示的,传送带122或类似物可以被用于移动对象通过光平面111,其中光源110和相机单元130通常是静止的,或者光平面111和/或相机130可以在对象上方移动,使得对象的所有部分或者至少面向光源110的所有部分被照亮并且相机130可以接收从对象的期望成像的不同部分反射的光。
如从上文理解的,通过相机130及其图像传感器例如对第一测量对象120进行成像所提供的图像帧可以产生剖面图像141-1至141-N中的任何一个。如背景技术中所提到的,剖面图像141-1至141-N中的任何一个中所示的第一对象的轮廓的每个位置通常是基于在由图像传感器捕获的图像数据中识别强度峰以及基于找到这些强度峰的位置(例如,借助于一种或多种强度峰寻找算法)来确定。系统105和常规峰寻找算法通常被配置为在每个图像帧中搜索每个像素列的强度峰。传感器坐标是u、v,如图中所指示的。u轴可以沿着图像传感器行并且u可以被用于指示这种行中的位置,例如与图像传感器列对应。相应地,v轴可以沿着图像传感器列并且被用于指示这种列中的位置,例如与图像传感器行对应。
对于图像帧的每个位置u,可以例如借助于如上面所提到的峰寻找算法来搜索沿着v的峰位置,并且图像帧中识别出的峰可以产生剖面图像141-1-141-N之一,如图所示。剖面图像由基于传感器的坐标系143(诸如u、v、t)中的图像点形成。图像帧和剖面图像的总和可以被用于创建第一对象120的3D图像。
为了进展到本文实施例,首先将进一步详细阐述背景技术中指示的情况。
图2用于示意性地图示与诸如上面关于图1描述的基于光三角测量的3D成像系统相关的情况,并且指示校准可能必须处理的变换。存在可以与上面讨论的光平面111对应的光平面211,通常是激光平面。它是这个平面与3D成像系统成像的对象的相交。但是,3D成像系统的相机(诸如相机130)具有通常位于光平面内且仅部分覆盖光平面的视场。光平面与相机视场的相交(即,光平面211上的视场)包含映射到图像传感器的现实世界坐标。光平面211内的相机视场通常与如图中示意性示出的稍微扭曲的多边形244对应。因此,期望在多边形244中的现实世界坐标与图像传感器坐标之间进行映射或变换,以获得关于校准并在校准中使用的信息。当所述映射或变换已知时,认识到可以从图像传感器坐标确定现实世界坐标。
图3A-C示意性地图示了与背景技术中提到的现有技术的锯齿形校准对象320相关的示例。
图3A示意性地图示了3D的校准对象320。
图3B示意性地图示了锯齿的谷和峰在第一剖面图像340a中看起来如何,第一剖面图像340a是由当校准对象处于相对靠近相机的第一预定位置和朝向时(例如,当由成像系统105和相机130成像时)对校准对象的成像而产生的。将校准对象320放置得相对更靠近相机的原因是能够校准映射到图像传感器的上部的点。该图示出了与由相机的图像传感器捕获的来自校准对象320的反射光的强度峰位置对应的剖面线342a。剖面线342a包含关于图像传感器坐标中的谷和峰的位置的信息。应认识到的是,谷和峰的位置可以从剖面图像340a中提取,并且将映射到当校准对象320在相对靠近相机的所述第一预定位置处被成像时对应的峰和谷所具有的预定现实世界坐标。
图3C示意性地图示了锯齿的谷和峰在第二剖面图像340b中看起来如何,第二剖面图像340b是由当校准对象320处于距相机相对较远的第二预定位置时对校准对象320进行成像而产生的。将校准对象放置在距相机相对较远的位置的原因是能够校准映射到图像传感器的下部的点。在图中,示出了与由相机的图像传感器捕获的来自校准对象320的反射光的强度峰位置对应的剖面线342b。剖面线342b包含关于图像传感器坐标中的谷和峰的位置的信息。应认识到的是,谷和峰的位置可以从剖面图像340b中提取,并且将映射到当校准对象在距离相机相对较远的第二预定位置处被成像时对应的峰和谷所具有的预定现实世界坐标。
通过比较图3B与3C,认识到将有可能比图3C更准确地确定图3B中的谷和顶点的传感器坐标,因为校准对象320的分辨率受到距相机的距离的影响。如所认识到的,这会对校准产生负面影响,并且使得更难以实现对映射到更远离相机的光平面位置的图像传感器坐标的期望校准,至少如所示示例中的常规校准是这样。
一般而言,距离相机越近,越好的精度和越准确的测量是可能的,但另一方面,可以捕获的校准对象的特征越少。这是由于如关于图3A-C所例示的三角测量设置的倍率和分辨率问题,其中校准对象的参考特征的倍率和分辨率随着到相机的距离而改变。
而且,根据所使用的校准对象,要使用的某些区域和参考特征常常与各种不想要的重建伪影或由图像获取过程产生的其它偏差相关联。例如,可能存在干扰测量的谷中反射的问题。
而且,由于制造限制,诸如峰之类的参考特征可能无法被提供为期望的尖锐,而是例如圆形。因此,可能需要基于在峰中汇聚的表面和线来外推它们的位置。除了提取问题之外,还存在使得难以准确外推峰和谷的透镜失真。
对于除图3A-C的示例以外的其它类型的校准对象,可能存在其它问题,诸如对于上面提到的点而言。强度信息的使用会导致点处的三角测量伪影,从而深度内容在期望测量的地方变得特别不稳定。这可以通过求平均来处置,但是具有与所述外推法类似的问题。
基于用于基于光三角测量的3D成像系统的常规校准,期望校准可以避免或至少减少与的校准相关联的问题,诸如上面提到的。
综上所述,在现有技术中,校准对象上的诸如峰、谷、点之类的详细物理参考特征被用作在被成像时在光平面中具有已知的通常预先确定的现实世界坐标的现实世界校准点。关于一个或多个这样的参考特征的信息由成像系统在相应的单个图像中捕获。在每个这样的图像中,在图像传感器坐标中识别现实世界校准点(即,成像参考特征)的位置。在校准中使用这种校准点的现实世界坐标与图像传感器坐标之间的映射,使得此后在实况测量期间(即,在关注通过成像系统的成像获取关于现实世界中的对象的信息的测量期间)有可能改进图像传感器坐标与现实世界坐标之间的映射。在实况测量期间,关注的是确定关于现实世界中的对象的信息,例如,它如何定位和/或其维度和/或形状。通过校准,可以更准确地从成像系统确定此类信息。
如现有技术中一样,本文的实施例基于现实世界校准点与图像传感器校准点之间的映射。但是,与现有技术中一样,代替在单个图像中捕获与现实世界校准点对应的校准对象特征,本文的实施例基于使用光平面与一个或多个表面(通常是(一个或多个)校准对象表面)的两个不同相交的至少两个图像的思想,每个图像捕获与这种相交对应的线。然后,图像传感器校准点对应于图像线之间的虚拟交点。现实世界校准点对应于现实世界线之间的虚拟交点,这些现实世界线对应于所述光平面与现实世界中的表面的相交。
这可以与现有技术进行比较,在现有技术中,例如来自校准对象的物理相交的一个或多个物理校准特征被捕获为单个图像中的一个或多个校准点。
如本文的实施例中那样,使用表面和虚拟交点作为校准点的优点是可以避免与诸如如上所述的物理相交和点相关联的负面影响。而且,可以使用更简单且更容易制造的校准对象。
下面将结合文字和附图对本发明的实施例进行详细解释。但是,首先将描述可以执行本文的实施例和/或可以完全或部分地配置为执行本文的实施例的成像系统。
图4示意性地图示了成像系统(即,成像系统405)的示例,可以利用该成像系统来执行本文的实施例和/或可以将其完全或部分地配置为执行本文的实施例。
因此,示出了简化的成像系统,其可以被配置为执行本文的实施例,即,涉及实现本文的实施例。
成像系统405是用于基于光三角测量对对象进行3D成像的成像系统。它可以被用于捕获关于一个或多个测量对象的2D和3D特性的信息。在校准期间,代替对一个或多个测量对象进行成像,对至少一个校准对象420进行成像,或者如本文的实施例中那样,对一个或多个表面进行成像,该一个或多个表面可以是一个或多个校准对象(例如校准对象420)的表面。
在成像系统的校准中使用的现实世界和图像传感器对应点的原理与常规的原理没有什么不同,并且基于本文的实施例的校准也分别基于现实世界校准点与图像传感器校准点之间的映射。差异涉及如何提供校准点以及因此还涉及可以使用什么校准对象,如上文所指示且下文进一步详细描述的。
所示的成像系统405可以被认为与基本配置对应,包括:光源410,用于用与光平面对应的光411(例如,激光光)照亮(一个或多个)测量对象和校准对象420,作为用于3D成像的光三角测量的一部分。具有图像传感器431的相机430被布置用于感测来自(一个或多个)测量对象和校准对象420的反射光,作为所述光三角测量的一部分。
相机430、图像传感器431和光源410相对于彼此被配置并定位以用于光三角测量。
图4中示出的校准对象420至少部分地位于相机430的视场432内。光源410被配置为用被校准对象420反射的光411照亮测量对象420,并且反射光由相机430和图像传感器431捕获。可使用的与光平面对应的光的另一个示例是具有照明的区域或部分的边缘。
成像系统405可以基本上与(诸如关于图1所描述的)现有技术的成像系统对应,但是可以被稍微不同地配置和/或控制以用于校准目的,诸如附加地被配置为用下文进一步描述的本文的实施例执行和/或根据下文进一步描述的本文的实施例执行。如已经提到的,本文的实施例还使得能够使用与现有技术中不同的一个或多个校准对象,即,校准对象420可以是常规的校准对象,或者是不同种类的、通常更简单的校准对象,因为对于本文的实施例使用一个或多个表面就足够了,如将在下面进一步解释的。
成像系统405可以至少在一些实施例中包括校准对象定位布置436(即,布置),诸如用于与本文的实施例一起使用的一个或多个校准对象的位置改变的装置、设备或单元。例如,在一些实施例中,上面提到的并且被成像以实现所述虚拟交点的校准对象表面是单个校准对象420的表面,如图4中示意性例示的。因此,校准对象定位布置436可以被布置为在两个图像之间操纵(例如,重新定位)校准对象420,使得具有不同倾斜的(一个或多个)表面被成像并且实现虚拟交点,如也将在下面进一步解释的。下面还例示和描述不同种类的校准对象,以及如何在不同的实施例中完成诸如校准对象的重新定位之类的操纵。
在一些实施例中,成像系统405包括一个或多个计算设备434,例如计算机或具有类似能力的设备,用于控制成像系统的至少一些部分和/或执行用于校准的计算和/或执行校准,从而能够更准确地确定图像传感器431上的点如何映射到光平面411中的点,反之亦然,或者在实践中,更好地知道图像传感器坐标如何映射到光平面中的现实世界坐标411,反之亦然。
(一个或多个)计算设备的计算可以涉及校准中使用的现实世界和图像传感器对应点的确定,这些对应点也可以被称为校准点。图像传感器对应点通常是相对于成像系统405的现实世界坐标系的现实世界坐标、以及相对于图像传感器431的图像传感器坐标系(通常基于图像传感器像素分布)的图像传感器坐标。
计算可以基于关于校准对象420以及它如何被放置在现实世界坐标系中以及当由相机430成像时它如何与光平面410相交的信息(通常是预先确定的)。例如,计算可以提供关于光平面411与校准对象420之间与现实世界线对应的交线的现实世界坐标和/或此类现实世界线之间的虚拟交点的信息,该虚拟交点与根据本文实施例的现实世界校准点对应。这将结合下面的详细示例进一步解释。
计算还可以基于来自相机的关于当校准对象420与光平面相交时由相机拍摄的校准对象420的图像的信息,如上面提到的以及下面进一步解释的。例如,计算可以提供关于与图像中的强度峰位置对应的图像线的图像传感器坐标的信息。强度峰是在拍摄图像时光平面411与校准对象420相交处的反射造成的。此外,计算可以提供关于来自不同图像的此类图像线之间的虚拟交点的信息,该虚拟交点与根据本文实施例的图像传感器点对应。
一个或多个计算设备434还可控制校准对象定位布置436。
在一些实施例中,一个或多个计算设备434和/或对应的功能和/或能力与相机430或成像系统405的某个其它设备组合和/或集成。
在所示示例中,照明处于垂直方向,即,与指示的z轴平行,并且使得照明处于z-x平面中。但是,如技术人员所认识到的并且从下文中可以看出的,例如与常规光三角测量一起使用的照明的其它一个或多个方向也有可能与本文的实施例一起使用。
图5A-5C用于示意性地图示和例示本文中的一些实施例,其中使用单个物理表面来形成校准点,即,在用于基于光三角测量的三维成像的成像系统的校准中使用的一对现实世界和图像传感器对应点。
在图5A中,校准对象520处于第一位置并被光源510照亮,更特别地,光源510提供光平面511,在所示情况下,当校准对象520位于第一位置时,光平面511与校准对象520的第一现实表面521a相交。该交线是与第一现实世界线512a对应的第一现实交线。第一现实世界线512a因此位于光平面511中。还示出了用于在校准对象520与光平面511相交处对校准对象520进行成像的相机530。如应当认识到的,光源510和相机530是用于基于光三角测量对对象进行3D成像的成像系统的一部分,该成像系统可以对应于或是与上面讨论的成像系统405。因此,光源510和相机530可以对应于光源410和相机430。如在基于光三角测量的常规成像系统中一样,光平面511在成像系统中具有确定的位置,诸如相对于与成像系统相关联的现实世界坐标系,通常相对于光平面。在所示示例中,已经绘制并定位现实世界笛卡尔坐标系x、y、z,使得光平面511位于z-x平面中。
因此,第一现实世界光线512a可以根据合适的坐标系通过现实世界坐标来描述,例如,如所示示例中的z、x坐标。
注意,所示的现实世界坐标系仅仅是示例,并且如本领域技术人员认识到的,本文的实施例不限于特定坐标系或坐标系如何定位。
在图5A中,校准对象520因此处于第一位置,其中第一现实表面521a与光平面511相交,并且在该位置处于由相机530成像,使得形成第一图像540a。
因此,如应当认识到的并且作为光三角测量的结果,由于根据如上所述的常规原理工作,第一现实世界线512a被成像为第一图像540a中的第一图像线542a,并且因此处于图像传感器坐标中,在图中表示为u、v。第一图像线542a和本文讨论的类似的此类线对应于由图像传感器捕获的图像中的强度峰的位置,由用于3D成像的光三角测量如何工作得出,如上面所解释的。因此,第一图像线542a通常是对由相机530的图像传感器感测到的图像数据操作的峰寻找方法(例如,算法)的结果。应当认识到的是,用于寻找强度峰的位置的峰寻找方法可以是并且优选地是与在成像系统的正常操作期间(即,在校准之后)用于寻找峰位置的方法相同的方法。
还应当认识到的是,单独的第一现实世界线521a和具有第一图像线542a的第一图像540a对于校准不是非常有用,因为没有识别单个的位置或点,仅有沿着相应线的位置。这与常规情况不同,在常规情况下,用于校准的图像识别校准对象的至少一个参考点以用于校准并且映射到校准对象上的特征位置。例如,与图3B-3C中的图像340a-b中的峰和谷的位置相比较。
代替地,根据本文的实施例,还将使用另一个图像来形成用于校准的图像点。
在图5B中,示出了这样的另一个图像,即,第二图像540b。在图5B中,校准对象520处于第二位置并且由提供光平面511的光源510照亮。这里,光平面511与校准对象520的第二表面521b相交,第二表面521b在所示示例中与第一表面521a对应,但在光平面511中具有与图5A中描绘的情况不同的朝向。即,校准对象520已经被重新定位,并且由此与光平面511相交的物理表面已经在第一图像540a与第二图像540b之间改变了光平面511中的朝向。(新的)光平面交线对应于在光平面511中虚拟地与第一现实世界线512a相交的第二现实世界线512b。第二现实世界线512d被成像为第二图像540b中的第二图像线542a。
图5C的上部示意性地示出了现实世界线512a-b的虚拟交点。该虚拟交点对应于现实世界的点514-1。本文使用“虚拟”是因为现实世界线512a-b不同时位于光平面中,但如果该线同时位于光平面511中,那么它们将在光平面511中相交。
可以认识到的是,利用光平面511的现实世界坐标以及相应表面521a、b如何相关(例如,对于第一位置和第二位置,被定位在光平面511中,即,在图像传感器被曝光并且结果是第一和第二图像540a-b时)的知识,现实世界虚拟交点的(并因此现实世界点514-1)的现实世界坐标可以被确定,例如被计算。例如,相应表面521a、b如何在光平面511中相关(例如,定位)并与光平面511相交,以及因此现实世界线512a-b将是什么,可以例如根据校准对象520的几何形状的知识以及它在第一和第二位置处与光平面511如何相关来确定。换句话说,利用通常从所使用的光三角测量成像系统的设置知道的光平面511的现实世界坐标的知识、以及校准对象520的通常预定的几何形状及其如何被放置在现实世界坐标系中的第一和第二位置的知识,可以确定(例如,计算)现实世界线512a-b。由此,还可以确定这些现实世界线之间的虚拟交点的现实世界坐标,该虚拟交点与现实世界点514-1对应。事实上,如应当认识到的,知道表面521a-b在第一和第二位置的坐标就足够了,例如当与光平面511相交时这些坐标如何在坐标系中用数学方式表达,以便能够确定(例如,计算)现实世界线512a-b,并且由此确定(例如,计算)作为现实世界校准点514-1的第一虚拟交点的坐标。
在图5C的下部,示意性地图示了被成像的第一和第二现实世界线(即,第一和第二图像540a-b中的第一和第二图像线542a-b)形成与映射到现实世界点514-1的图像传感器点544-1对应的另一个(第二)虚拟交点。
因此,存在彼此映射并且校准可依据的现实世界点和图像传感器点,如现有技术中那样用于光三角测量3D成像系统的校准。因此,与现有技术相比的差异在于构成用于校准的点。
现实世界点514-1和图像传感器点544-1因此形成一对现实世界和图像传感器对应点,用于校准用于基于光三角测量的三维成像的成像系统。
图5D示意性地图示了如何可以容易地扩展上面讨论并在图5C中所示的原理以形成进一步的校准点。例如,与两条附加图像线542c-d对应的两条附加现实世界线就足以形成3个附加的(即,总共4个)图像传感器点和对应的现实世界点(图5D中未示出),即,总共形成4对现实世界和图像传感器对应点。
附加的现实世界线可以与第一和第二现实世界线512a-b平行,并且因此可以通过第一和第二表面在光平面中的简单直线位移来形成,例如,通过沿着校准对象520的z轴的移动。所示原理可以被用于形成分布在待校准的图像传感器区域上的多个校准点。n条平行线与m条其它平行线相交产生n*m个交点,因此可以将其用作校准点。当然,非平行的现实世界线也可以用于形成每条附加现实世界线的甚至更多可能的校准点,但是如果使用平行的现实世界线,那么可以更简单地实现平行的现实世界线并且可以更简单地形成和确定虚拟交点。
图5E-5G用于示意性地图示和例示可以与上面关于图5A-5C讨论的实施例进行比较的一些其它实施例。这里代替地使用两个不同的物理表面。光源510、光平面511和相机530和与图5A-B相关的实施例中的相同,并且所涉及的成像系统可以相同。但是,这只是为了便于比较而举的示例。重点将放在以下方面的差异上。
在图5E中,校准对象525处于第一位置并且被光源510照亮,光源510在此也提供光平面511。在所示情况下,当校准对象525处于第一位置时,光平面511与校准对象525的第一现实表面526a相交。该交线是这里对应于位于光平面511中的第一现实世界线527a的第一现实交线,其由相机530成像并且形成第一图像550a。被成像的第一现实世界线527a与第一图像线552a对应。
应当认识到的是,这里的底层原理与图5A的示例中的相同。
在图5F中,校准对象525处于第二位置。这里,光平面511与校准对象525的第二表面527b相交,在所示示例中,第二表面527b是校准对象525的另一个表面。为了实现这一点,在这个示例中,校准对象525已经在图像之间从第一位置向第二位置移动了距离d,例如在校准依靠的支撑表面上移动。如示例中所示,校准对象的简单直线(例如,线性)移动就足够了。这种移动可以非常准确地完成。(新的)光平面交线对应于在光平面511中虚拟地与第一现实世界线527a相交的第二现实世界线527b。第二现实世界线527b被成像为第二图像550b中的第二图像线552b。
图5G示意性地示出了对于图5E-5F中例示的实施例和图5A-5B中例示的实施例可以以对应的方式实现虚拟交点和校准点。更具体而言,在图5G的上部,示意性地示出了现实世界线527a-b的虚拟交点。这个虚拟交点对应于现实世界点529-1。在图5G的下部,示意性地图示了被成像的第一和第二现实世界线(即,第一和第二图像550a-b中的第一和第二图像线552a-b)也形成与映射到现实世界校准点514-1的图像传感器点554-1对应的第二虚拟交点。因此,与上面的另一个示例类似,现实世界点529-1和图像传感器点544-1形成一对现实世界和图像传感器对应点,用于校准用于基于光三角测量进行三维成像的成像系统。
图6A-6C用于示意性地图示和例示如何基于本文的实施例来实现多个校准点。所涉及的成像系统可以与成像系统405对应,并且该情况可以与图5E-5F中的情况相比较,但是与图5E中相比,用校准对象625代替校准对象525并且相对于光平面611和相机630布置得有点不同。除此之外,光平面611和相机630可以与光平面511和相机530对应并且是可以与成像系统405对应的成像系统的一部分。
图6A是顶视图,其中z轴(未示出)垂直于所示的x-y平面“向上”延伸。相机611实际上在z和x方向上面朝下,用于在z-x平面中对光平面611进行成像,从而捕获来自将从光平面611与校准对象625之间的相交处发生的反射的光。相机630作为其部分的成像系统可以被布置为允许通过光平面611扫描校准对象625,例如通过在-y方向上移动校准对象625穿过光平面611,即,在图6A中大箭头所示的方向上。校准对象625具有第一和第二平面627a-b,其不仅在z-y平面中而且在z-x平面中具有斜率。后者意味着,当相应表面与光平面611相交时,图中每个表面627a-b的上部和下部部分沿着x轴将处于不同的高度,即,处于不同的z坐标。这由图中的“高”和“低”表示。因此,参考图6A,对于相同y坐标处的第一表面627a,图中的“上”部分(在文字“低”处)与图中位于较高高度(在z中)的“下”部分(在文字“高”处)相比具有较低的高度(在z中)。如图中所指示的,相反的关系对于第二表面627b成立。
图6B示意性地示出了校准对象625,其具有与光平面611的10条交线的示例,例如来自校准对象634通过光平面611的所述扫描。因此,交线来自不同的时间点,t1-t10。在所示的示例中,在时间t1-t5处光平面611与第一表面627a之间存在5条交线,表示为611@t1至611@t5,并且在时间t6-t10处光平面611与第二表面627b之间存在另外5条交线,表示为611@t6至611@t10。每条交线与上面关于图5A-G讨论的现实世界线对应,并且当表面是平面时,现实世界线是线性的。认识到的是,通过相机630在所述时间t1-t10对来自光平面611与表面627a-b之间的交线的反射光进行成像,结果将是10个图像IM1-IM10,每个图像具有与由相应表面627a-b在其与光平面611相交处反射的光所产生的强度峰的位置对应的图像线。因此,图像线与现实世界线如何被成像对应,但是在图像传感器坐标中,例如u、v而不是z、x。当存在如图6A中所示的现实世界坐标系x、y、z且光平面611位于z-x平面中时,与光平面交线对应的现实世界线位于z-x平面中并因此位于z-x坐标。
底层原理、现实世界线与图像线之间的关系等与上面关于图5A-5G所解释的相同。
图6C示出了当将具有对相应现实世界线611@t1至611@t5成像的相应图像线(即,对应于与第一表面627a的光平面交线的现实世界线)的图像IM1-IM5组合在单个图像中时的结果。如可以看出的,结果是u、v坐标中的5条平行图像线。对于具有对关于第二表面627b的现实世界线611@t6至611@t10进行成像的图像线的图像IM6-IM10,还示出了到单个图像的对应组合。这里的结果是其它5条平行图像线。
如所认识到的,并且在图中由“+”所示,如果将具有图像线的所有图像IM1-IM10相加(即,组合),那么结果是关于相应表面627a、627b的相应平行图像线组彼此交叉(即,彼此相交)。虽然交线可以是可见的并且如果如图6C中所示组合则存在于单个图像中,但是它们更好地被称为虚拟交点,因为图像线实际上处于由图像传感器在所述不同时间t1-t10成像而产生的不同图像中。在实践中,不必实际组合成单个图像来确定每条交线的位置,例如有可能比较图像和/或计算交点的位置。与上面关于例如图5A-5G所解释的类似,交点对应于图像传感器点。如所认识到的,并且以本文别处解释的相应方式,例如如上面相对于例如图5A-5G所解释的,在光平面(即,z-x平面)中的现实世界线之间也存在虚拟交点,并且这些虚拟交点对应于现实世界点。仅作为示例,图6C中指示了与虚拟交点之一对应的图像传感器点654。图像传感器点分别映射到现实世界点。换句话说,现实世界点和图像传感器点形成现实世界和图像传感器对应点对,以用于成像系统的校准。
图7是用于示意性地图示根据本文一些实施例的方法的实施例的流程图。可形成该方法的以下动作可以被用于校准用于基于光三角测量对对象进行三维(3D)成像的成像系统。成像系统包括具有图像传感器的相机和被配置为在光平面中提供光的光源,光源被布置为使得当与所述光平面相交时由对象反射的光变成图像传感器上的入射光。下面成像系统可以由成像系统405例示,光源由光源410、510、610中的任何一个例示,光平面由光平面411、511、611中的任何一个例示,相机由相机410、510、610中的任何一个例示,图像传感器由图像传感器431例示。使用哪个具体设备作为示例取决于在上下文中哪个适合作为示例。
在与图7相关的实施例中,对象是校准对象,并且如现有技术中一样,校准基于光平面中的现实世界点如何映射到图像传感器点,图像传感器点与所述现实世界点如何由成像系统405成像在图像传感器431上。在实践中,几个这样的点对被用于校准。在下文中,校准对象可以由校准对象420或校准对象520、525、625中的任何一个来例示,如果这些中的任何一个在上下文中更适合作为示例的话。
下面在图7中指示的方法和/或动作可以由(一个或多个)设备(即,诸如成像系统405、相机430和/或(一个或多个)计算设备434,和/或(一个或多个)其它合适的设备之类的一个或多个设备)执行。下面还更详细地描述用于执行该方法及其动作的(一个或多个)设备。
当可能且合适时,可以以任何合适的次序采取以下动作和/或在时间上完全或部分重叠地执行以下动作。
动作701
获得当校准对象520在预定的第一位置时由成像系统405生成的第一图像,例如第一图像540a,其中校准对象520的第一表面(例如第一表面521a)与光平面511相交。与第一现实世界线(例如,第一现实世界线527a)对应的交线可以是预先确定的或根据关于在第一位置的校准对象520的知识确定的。第一图像540a包括由成像系统405如何对第一现实世界线527a成像而产生的第一图像线,例如第一图像线552a。更具体而言,如上面所提到,第一图像线或这里的任何图像线通常与由用于成像的相机的图像传感器的曝光产生的图像数据中的强度峰的位置对应。
动作702
如上面关于图5A-B所讨论的,可以存在校准对象520相对于其第一位置到第二位置的位置改变,例如预定的位置改变,使得第二现实世界线512b和第一现实世界线512a将在所述光平面511中虚拟地彼此相交。应当认识到的是,第二现实世界线512b可以基于校准对象、其第一位置和位置改变的知识来确定(例如,计算)。
位置改变的替代方法是使用具有放置在光平面中的表面的另一个校准对象来提供第二现实世界线。但是,这要求两个校准对象的精确放置,并且仅移动校准对象更灵活,这例如允许如上面关于图6A-6C讨论的那样进行扫描。在任何情况下,应认识到都在光平面中的两条现实世界线及其交点可以通过数学方式根据通常关于成像系统的设置、校准对象及其第一和第二位置的预定信息来确定(例如,计算),其中后一位置如所提到的那样可以从位置改变来确定。
在实践中,为了实现用于校准的(一个或多个)期望的现实世界点,关于校准对象及其放置的一切通常都是提前确定的,即,预先确定的。
动作703
获得当校准对象520在所述第二位置时由成像系统405生成的另一个(第二)图像,例如第二图像540b,其中校准对象520的第二表面(例如第二表面521b)与所述光平面511相交。与第二现实世界线(例如,第二现实世界线512b)对应的交线可以通过校准对象520的动作702中的相对于其第一位置的位置改变(例如,预定的位置改变)来确定,使得第二现实世界线512b与第一现实世界线512a在所述光平面511中以期望的方式虚拟地彼此相交。第二图像540b包括与成像系统405如何对第二现实世界线512b进行成像的第二图像线,例如第二图像线542b。
动作704
现实世界点(例如,现实世界点514-1)被确定(例如,计算)为第一与第二现实世界线之间(例如,现实世界线512a-b之间)的第一虚拟交点。
动作705
图像传感器点(例如图像传感器点544-1)被确定为第一与第二图像线542a-b之间的第二虚拟交点。
对于相应的第一和第二图像540a-b,可以如常规光三角测量中那样执行计算以找到沿着图像传感器列的点的位置、强度峰的对应位置。然后,诸如针对图像线542a-b的相应线方程可以适于拟合这些位置,优选地具有更高阶并且不是一阶线性的,而是二阶或三阶、或甚至更高阶。然后可以计算根据线方程的线之间的交点,并且因此将与图像传感器点(诸如图像传感器点544-1)对应。当然,也可以替代地使用于寻找两条图像线之间的交点的其它方法,诸如基于将图像与线组合、执行合适的图像处理等。
动作706
然后可以基于诸如现实世界点514-1之类的现实世界点与诸如图像传感器点544-1之类的图像传感器点之间的映射来校准成像系统405。
如上面所解释的,校准实际上通常涉及例如分布在图像传感器区域和光平面的区域上的几个相似的点对以及这些点对之间的映射,这些区域将涉及实况测量,即,在正常操作期间,在校准之后。
与本文的实施例一起使用的一个或多个校准对象可以具有预定的几何形状和维度,这也是用于基于光三角测量的3D成像系统的校准对象的常规情况。但是,如下面已经解释的,本文的实施例使得非常简单的校准对象成为可能,因为仅需要使用一个或多个表面(优选地是平面表面)并且将其以期望的通常预定的方式定位在光平面中。
如上面所指示的,所述现实世界线和虚拟交点可以通过校准对象在光平面中的初始预定定位来实现,以实现被成像为第一图像线的第一现实世界线,然后校准对象的(一个或多个)预定位置改变可以被用于形成被成像为另外的图像线的另外的现实世界线。另外的现实世界线可以根据第一现实世界线(例如,它如何在现实世界坐标中定义和/或描述)以及根据关于校准对象的位置如何改变的信息来确定(例如,计算)。
图8是关于根据本文实施例的方法的流程图,该方法比上面例如结合图7描述和讨论的方法和示例更一般。
该方法用于提供一对现实世界和图像传感器对应点,用于校准用于基于光三角测量对对象进行三维(3D)成像的成像系统,例如成像系统405。成像系统包括具有图像传感器(例如,图像传感器431)的相机(诸如相机430、530或630)以及用于提供光平面(例如,光平面411、511或611)的光源(诸如光源410、510 0r 610)。所述光三角测量涉及由所述相机对由所述光平面与表面相交并引起从表面反射而导致的反射光进行成像。所述对应点是位于所述光平面中的现实世界点(例如,现实世界点514-1或529-1)以及与所述现实世界点由成像系统在图像传感器上成像的位置对应的图像传感器点(例如,图像传感器点544-1或554-1)。
下面的方法和/或动作可以由(一个或多个)设备(即,一个或多个设备,诸如成像系统405、相机430和/或(一个或多个)计算设备434,和/或(一个或多个)其它合适的设备)执行。下面还更详细地描述用于执行该方法及其动作的(一个或多个)设备。
动作801
所述现实世界点被提供为诸如第一现实世界线512a或527a之类的第一现实世界线与诸如第二现实世界线512b或527b之类的第二现实世界线之间的第一虚拟交点。如上所述,第一现实世界线对应于第一现实表面(例如,第一现实表面521a或526a)与光平面之间的第一现实交线,并且来自所述第一现实交线的反射光由成像系统捕获在第一图像(诸如第一图像540a或550a)中。换句话说,来自第一现实交线的反射光被成像系统及其图像传感器捕获并由此成像在第一图像中。类似地,第二现实世界线对应于第二现实表面(诸如第二现实表面521b或527b)与光平面之间的第二现实交线,并且来自所述第二现实交线的反射光由成像系统捕获在另一个(第二)图像(例如,第二图像540b或550b)中。
所述现实表面可以被称为校准表面或校准对象表面,并且可以是一个或多个校准对象的部分。如本文所使用的,校准对象是指适合在于成像系统的校准中使用并且具有与所述第一和第二现实表面对应的一个或多个表面的任何物理对象。正如用于校准基于光三角测量的3D成像系统的常规校准对象一样,校准对象通常具有预定的形状和尺寸(即,几何形状和尺寸)。
但是,注意,在本文的一些实施例中,如下所述,用于要成像的对象的支撑表面可以被用作现实表面,其通常不被称为校准表面或校准对象。
在一些实施例中,第一现实表面和第二现实表面是参数化表面。
由于所述现实(即,物理)表面是参数化的,因此它们可以通过参数化方程来描述,即,以数学方式表达,这有利于确定与表面和光平面之间的交线对应的现实世界线,并由此确定现实世界线之间的虚拟交点将是什么。
而且,表面应当优选地具有连续的曲率,即,没有例如在顶点的情况下的突变,例如,表面可以是C1连续的。优选表面的示例是平面、圆柱形或抛物线表面,其因此分别产生将与直线、弧线或抛物线的现实世界线对应的、光平面与表面之间的现实世界交线。在圆柱形或抛物面的情况下,凹面比凸面可以更有利,因为这样将逸出更少的光并且图像传感器捕获更多的光。
诸如圆柱形或抛物线之类的弯曲表面可以是优选的,因为由此可以避免诸如在涉及图5A-5B的示例中的表面的倾斜或旋转。实际上在光平面中相交的现实世界线可以通过图像之间表面的简单位移(例如,线性移动)来实现。
一般而言,表面当然应当适合于在基于光三角测量的成像系统中使用并由其成像。例如,在弯曲表面的情况下,这意味着曲率没有极端到妨碍成像系统对表面进行成像的程度。
虽然弯曲表面具有如上所述的一些优点,但是平面表面(即,平坦表面)在许多情况下仍然是优选的,因为它们具有其它优点。例如,现实世界线和它们之间的虚拟交点更容易确定(例如,计算)。平面表面通常产生简单的几何形状和计算。与弯曲的现实表面相比,准确地产生平面现实表面也更容易。而且,平面现实表面可以允许使用更简单的生产技术。平面表面应当映射到图像传感器上的直线,如附图的示例中所示。但是,如上面所指示的,本发明的底层原理不必要求使用(一个或多个)平面现实表面。可以代替地使用某个曲率或(一个或多个)弯曲的现实表面。只要曲率和/或表面如何改变是已知的或可以被确定(例如,以数学方式描述)使得现实世界线之间的虚拟交点可以被确定(例如,计算)就足够了。
另外,如应当认识到的,表面应当是光滑的,正如常规校准对象的表面的情况一样。与常规校准对象的情况相比,本文的实施例对表面平滑度没有特殊要求。因此,用于本文实施例的表面可以具有与现有技术校准对象的表面一样的光滑度,即,因此不存在对准确性有不利影响的粗糙度。在事件中,使用几乎任何生产方法并且独立于表面材料(诸如金属或塑料)来生产足够光滑的表面是没有问题的。本领域技术人员还将容易地注意到在实践中是否会由于表面粗糙度而出现问题,然后确保转而使用另一个足够光滑的表面。
在一些实施例中,所述第二现实表面(例如,第二现实表面521b或527b)在造成在第二图像(例如,第二图像540b或550b)中被捕获的反射光时具有相对于第一现实表面(诸如第一现实表面521a或527a)在造成在第一图像(例如,第一图像540b或550b)中被捕获的反射光时的位置和朝向确定的位置和朝向,或反之亦然。换句话说,在一些实施例中,所述第二现实表面在与光平面相交并造成在第二图像中被捕获的反射光时具有相对于第一现实表面在与光平面相交并造成在第一图像中被捕获的反射光时确定的位置和朝向。
这有利于实现期望的虚拟交点。现实表面中的一个(例如,第一表面)可以被放置在用于第一图像的光平面中已知的(例如,预先确定的)位置和朝向上,例如使得所得到的现实世界线可以简单地描述为现实世界坐标。利用相对于第一现实表面及其已知的位置和/或朝向确定的另一个(例如,第二)现实表面,使得能够相对于第一现实表面及其位置和朝向和/或借助于第一现实表面及其位置和朝向来定位和/或定向用于第二图像的第二现实表面。这使得能够通过简化的过程来实现第二现实表面的定位和定向,从而实现期望的虚拟交点和校准点。例如,在具有一个且相同的校准对象的现实表面部分的实施例中,诸如上面关于图5A-5G描述的,可以在第一图像之后简单地物理地重新定位和/或重新定向校准对象以产生用于第二图像的期望且确定的第二现实表面。在一些实施例中,在第一和第二图像之间存在校准对象的预定义和/或预先确定的重新定位和/或重新定向。
例如,一种替代方案是彼此更独立地定位和定向现实表面,例如利用它们在用于两个图像的光平面中的绝对预定位置和朝向。这在针对第一和第二现实表面使用分开的校准对象的情况下可以是优选的。
在一些实施例中,第一和第二现实表面(例如,现实表面521a-b或527a-b)是单个校准对象的表面,例如在校准对象520和525的情况下。出于上文和本文别处指出的原因,使用单个校准对象通常是有利的。可替代地,第一和第二现实表面是分开的校准对象(即,提供相应校准表面的分开的校准对象)的表面。
在这些实施例中的一些实施例中,在所述第一和第二图像(例如,图像540a-b或550a-b)之间存在校准对象(例如,校准对象520或525)的位置改变。位置的改变(即,重新定位)应当使得校准对象改变位置,从第一现实表面(例如,第一现实表面521a或527a)与光平面511相交以在第一图像(诸如第二图像540b或550a)中成像的位置到第二现实表面(例如,第二现实表面521b或527b)与光平面511相交以在第二图像(诸如第二图像540b或550b)中成像的另一个位置。
即,位置改变是为了完成在第一和第二图像中对第一和第二现实表面的所述成像。
如本文所提到的,不同类型的位置改变是可能的。至少在理论上,移动校准对象的替代方案是移动光平面,可能还有移动相机,但这通常是不太好且不太灵活的解决方案,因为许多成像系统不支持这一点并且仅改变测量对象(诸如这种情况下的校准对象)的位置通常更简单、更通用且直接。
位置改变优选地是预定义的或预先确定的(即,提前确定的),以实现如上面所提到的期望的校准点。
应当认识到,位置改变的准确性影响校准的好坏程度,但是本文实施例的校准原理仍然有效。在实践中,已经证明,当今可用的用于机械定位和位置改变的设备(例如,线性单元)是准确的,使得本文的实施例可以实现比通常通过上面提到的现有技术方法可能实现的校准更准确的校准,其中准确性受到单个图像中被成像的校准对象的物理特征和交点的限制。
在一些实施例中,位置改变借助于对校准对象的机器受控的机械重新定位来实现,例如通过所谓的线性单元,该线性单元例如可以与校准对象定位布置436对应或包括在其中。市售的线性单元或类似装备可以以微米(μm)量级的准确性和精度执行重新定位,例如,绝对精度可能达到大约1μm,这对于大多数实际应用通常就足够了。
如应当认识到的,校准中使用的重新定位所需的确切准确性和精确度取决于应用的要求、图像传感器的分辨率、成像系统的几何形状等。对于特定情况,技术人员能够计算和/或执行例行测试和实验以找出什么准确性和精确度是足够的。利用当今可用的重新定位的所述微米准确性和精度,预计如本文的一些实施例中那样利用重新定位的校准将是基于光三角测量的3D成像系统的校准中使用的常规校准对象的实用且有利的替代方案。注意,在一些情况下,即使是工业机器人也可以为机械重新定位提供足够的准确性,并且在此类情况下可以优选地使用,尤其是如果在安装了3D成像系统的地方使用这种机器人,例如为了操纵(诸如拾取)由3D成像系统识别和/或测量的对象。
在具有校准对象的位置改变的实施例中,校准对象的位置改变可以涉及校准对象在支撑表面上方和/或沿着支撑表面和/或在支撑表面上的移动。具体而言,它可以是专门用于校准的支撑表面或者可以是测量对象支撑表面,即,与(即,在校准之后)要“实况”成像的测量对象相同的支撑表面。因此,支撑表面可以在正常操作中支撑由成像系统成像的对象(诸如在其被校准之后)。例如,校准对象525可以相对于相机530的视场移动,使得第二表面526b而非第一表面526a被成像。结合图6A-C讨论和示出的情况可以甚至更好地例示这一点。
因此,校准对象可以沿着支撑表面和/或在支撑表面上方移动,支撑表面通常水平定向,并且当被成像时校准对象可以搁置在其上。例如,校准对象可以通过此移动从支撑表面上的第一位置移动到第二位置。该移动可以有利地是线性的,因为线性移动通常更容易以高准确性和精度实现,如上面已经指出的。在一些实施例中,移动包括或者是校准对象的旋转或倾斜,例如如图5A-B的示例中那样。
在一些上述实施例中,第一和第二现实表面(例如,现实表面526a-b)是单个校准对象(例如,校准对象525)的分开的表面。在这种情况下,位置改变可以包括校准对象的移动,例如由其引起,即,使得第二现实表面而非第一表面与光平面相交。例如,如图5E-5F的示例中那样,将校准对象525从其第一位置重新定位到另一个第二位置,在第一位置处第一现实表面527a与光平面511相交以在第一图像550a中成像,在第二位置处第二现实表面527b与光平面511相交以在第二图像550b中成像。位置改变可以包括校准对象(例如,校准对象525)至少在被成像时沿着校准对象所停留的和/或支撑校准对象的支撑表面的移动。例如,校准对象可以通过此移动而从支撑表面上的第一位置移动到第二位置,如上文关于图5E-5F所提到的。在一些实施例中,移动包括或者是校准对象的线性移动,线性移动是相对易于控制的移动,并且新的现实世界坐标可以从这种移动以及关于校准对象的几何形状和尺寸的知识相对简单地计算。
校准对象在支撑表面上移动和/或重新定位的实施例的另一个优点是,可以在例如校准对象上和/或支撑表面上引入引导和/或锁定部件和/或结构,以确保校准对象在移动之前、期间和/或之后以足够的准确性和精度定位在其应有的位置,从而使得能够放宽或移除对移动本身的要求。
在一些实施例中,第一和第二现实表面(例如,现实表面521a-b)是单个校准对象(例如,校准对象520)的同一现实表面,诸如在图5A-5B的示例的情况下。位置改变可以包括所述同一现实表面在所述第一图像与第二图像之间倾斜,使得当形成第二现实线时所述同一现实表面在光平面中的朝向与在形成第一现实线时所述同一现实表面在光平面中的朝向不同。
例如通过校准对象的倾斜或旋转实现的表面倾斜因此导致针对第一和第二图像的不同地倾斜的成像表面,并且在这些实施例中,所述虚拟交点由校准对象的相同的(即,单个)现实(或物理)表面产生。例如,通过校准对象520的倾斜的重新定位可以是从其第一位置到另一个位置,在第一位置处第一现实表面521a与光平面511相交以在第一图像540a中成像,在所述另一位置处作为通过倾斜重新定位之后的第一现实表面521a的第二表面521b与光平面511相交以在第二图像540b中成像。应当认识到的是,这些实施例使得能够使用非常简单的校准对象,仅可以使用单个现实表面(例如,平面现实表面),并且校准对象因此可以是例如平坦的和/或矩形的对象。例如,平坦校准对象的这种单个平面现实表面可以由定位设备(例如,校准对象定位布置436)保持在第一位置,其中平面现实表面与光平面511以某个倾斜相交,与用于第一图像540a中的成像的第一现实表面对应。然后,校准对象和平面现实表面被旋转或倾斜,以使同一现实表面但以另一个倾斜与光平面511相交,与用于第二图像540b中的成像的第二现实表面对应。即使在那种情况下,也可以使用线性移动来完成倾斜。在这些实施例中的一些实施例中,校准对象可以与上面提到的这种测量对象支撑表面(即,与要“实况”成像的测量对象相同的支撑表面)对应,即,在校准之后,并且是可倾斜的。例如,可以使用可移动的(例如,可倾斜的且高度可调的)这种支撑表面。但是,在实践中,可能期望避免这种情况,因为这种支撑表面通常涉及校准之外的长时间操作,这会不利于校准期望维持的精度和准确性。
注意,与上面讨论的通过移动来完成第一和第二现实世界线的相交的任何这种重新定位不同,在一些实施例中可以存在校准对象的垂直移动(出于与已经讨论的类似的原因,其也优选地是线性的),从而实现高度变化,即,第一表面和第二表面可以被线性移动得更靠近和/或更远离相机,并且这些表面在距图像传感器不同的距离处被成像。由此,在不同图像中可以分别从每个表面实现多条平行线,如本文单独描述的,结果是可以提供线的多个交点,其中交点分布在图像传感器区域上。附加地或可替代地,现实世界线在不同高度处的多个交点可以通过对倾斜校准对象表面的具有不同高度剖面的不同部分进行成像来实现,诸如关于图6A-6C所例示的。
动作802
所述图像传感器点(诸如图像传感器点544-1或554-1)被提供为第一图像线(例如,第一图像线542a或552a,与第一图像(诸如第一图像540a或550a)中所述捕获的光的强度峰的位置对应)与第二图像线(例如,第二图像线542b或552b,与第二图像(诸如第二图像540b或550b)中所述捕获的光的强度峰的位置对应)之间的第二虚拟交点。
因此,与图像传感器点对应的第二虚拟交点在来自单独图像(即,来自图像传感器的不同曝光)的图像线之间。这可以与现有技术相比较,在现有技术中,例如来自物理交点的校准点由单个图像捕获。
如本文的实施例中那样,使用表面和虚拟交点的优点是可以避免与物理交点和点相关联的负面影响,诸如背景技术和上文中所描述的。而且,可以使用更简单且更容易制造的校准对象。
因此,简而言之,上面关于图8描述的方法是为了提供一对现实世界和图像传感器对应点,用于校准用于基于光三角测量进行三维成像的成像系统(诸如成像系统405)。现实世界点(例如,现实世界点514-1或529-1)被提供为第一现实世界线(诸如第一现实世界线512a或527a)与第二现实世界线(例如第二现实世界线512b或527b)之间的第一虚拟交点。所述图像传感器点(例如,图像传感器点544-1或554-1)被提供为第一图像线(诸如第一图像线542a或552a)与第二图像线(例如第二图像线542b或552b)之间的第二虚拟交点。成像系统的第一图像(例如第一图像540a或550a)包括对第一现实世界线进行成像的捕获的光。成像系统的第二图像(例如,第二图像540b或550b)包括对第二现实世界线进行成像的捕获的光。第一图像线与第一图像中的所述捕获的光的强度峰的位置对应,并且第二图像线与第二图像中的所述捕获的光的强度峰的位置对应。
应当认识到,上面关于图8描述的原理适用于任何第一和第二现实表面,其中第一和第二现实表面:通过与光平面的所述现实相交,在光平面中导致现实世界线之间的第一虚拟交点,并且由此,通过光三角测量系统中的所述成像,还导致如上所述的图像线之间的第二虚拟交点。
利用关于在捕获图像时所述现实表面与光平面的交线的的现实世界坐标的知识,可以确定与相应交线对应的现实世界线,例如在现实世界坐标系的现实世界线中以数学方式和/或数字方式描述。
第二现实交线的现实世界坐标可以根据包括第一和第二现实表面的校准对象的位置改变来确定(例如,计算),诸如上面所讨论的。现实世界坐标可以处于合适的现实世界坐标系中,例如相对于成像系统和光平面和/或位置改变适当地选择,以有利于确定现实世界线及其虚拟交点。
原理上,所述现实表面和现实世界线可以作为校准的一部分来确定,例如通过以数学或数字方式确定其现实世界坐标,但优选地是预定义或预先确定的,即,使得现实世界线将现实世界坐标系中具有已知的坐标。这可以涉及具有预定几何形状和维度并且具有至少一个现实表面的校准对象的准确定位和/或重新定位,使得(一个或多个)现实表面以合适的方式与光平面相交以形成期望的一对现实世界和图像传感器对应点。
在实践中,具有与光平面相交并被成像的(一个或多个)表面的校准对象可以是预先确定的,例如形成有预定的期望维度和形状,用于在光平面中定位,例如具有待改变位置的初始位置,例如通过校准对象以预定方式移动改变到与光平面相交的新位置以便实现期望的现实世界点,因此这也可以是预先确定的,并且由此还通过对所述位置处(一个或多个)校准对象表面的成像来实现对应的图像传感器点。换句话说,用于放置和移动校准对象的指令也可以被预先确定并且与校准对象相关联。因此,在实践中,为了实现在成像系统的校准中使用的几对现实世界和图像传感器对应点,它可以是使用成像系统并根据预定指令(即,以预定方式)来放置、移动和成像预定的校准对象的问题。移动校准对象以实现所述位置改变有利地由用于这个目的的布置(诸如校准对象定位布置436)来执行。由此认识到,在实践中,对应点的提供和校准对于用户来说可以是相对简单的过程,并且可以在很大程度上自动化。
现实世界点以及因此第一虚拟交点应当位于的位置可以是光平面中的预定位置,其与成像系统对测量对象的后续“实况”成像和测量(即,在正常操作期间)相关,因此也与校准相关。然后,还可以相对于所涉及的现实世界线适当地确定此类现实世界校准点,因此将存在分布在与校准相关的光平面的部分(即,通常是光平面的将在所述正常操作期间将与测量对象相交的部分)中的另外的现实世界点。此后的问题是确保在校准中使用的表面在它们与光平面相交时产生所述现实世界线。如本文其它地方所解释的,这可以涉及提供具有一个或多个表面的某些一个或多个校准对象和/或在图像之间对这个/这些校准对象进行适当的操纵。相应现实世界线将被成像为相应的图像线,并且由于基于光三角测量的成像的工作原理以及为此配置的成像系统,当现实世界线在光平面中相交时,图像线实际上将相交。
可以注意到,即使在执行校准之前,也存在从光平面中的现实世界坐标到图像传感器坐标的数学粗略映射,反之亦然。这种粗略映射遵循并可以通过三角学根据成像系统的已知关系和几何形状以及如何为光三角测量设置它来确定。但是,如上面所解释的,这种映射通常不够准确,并且由于因此仍然需要校准,通常诸如基于本文的实施例寻找现实世界与图像传感器对应点之间的映射是优选的。
上面的方法以及关于图7讨论的方法可以可替代地被描述为在现实世界点与图像传感器点之间进行映射或寻找它们之间的映射以用于成像系统的校准的方法和/或动作。
图9是用于图示可以如何配置例如与成像系统405对应或被包括在其中的一个或多个设备900(诸如相机430和/或(一个或多个)计算设备434)以执行关于图7和图8讨论的方法和动作的实施例的示意性框图。因此,(一个或多个)设备900用于所述提供所述一对现实世界和图像传感器对应点,以用于校准用于基于光三角测量的三维成像的所述成像系统(例如,成像系统405)。
(一个或多个)设备900可以包括处理模块901,诸如处理部件、一个或多个硬件模块,包括例如一个或多个处理电路、电路系统(诸如处理器)、和/或用于执行所述方法和/或动作的一个或多个软件模块。
(一个或多个)设备900还可以包括存储器902,其可以包括诸如包含或存储计算机程序903。计算机程序903包括由(一个或多个)设备900直接或间接执行的“指令”或“代码”以执行所述方法和/或(一个或多个)动作。存储器902可以包括一个或多个存储器单元并且还可以被布置为存储数据(诸如配置、数据和/或值),这些数据涉及或用于执行本文的实施例的功能和动作。
而且,(一个或多个)设备900可以包括参与处理和例如编码数据的处理电路系统904,作为(一个或多个)示例性硬件模块,并且可以包括或与一个或多个处理器或处理电路对应。(一个或多个)处理模块901可以包括例如“以处理电路系统904的形式实施”或“由处理电路系统904实现”。在这些实施例中,存储器902可以包括可由处理电路系统904执行的计算机程序903,由此(一个或多个)设备900可操作或被配置为执行所述方法和/或(一个或多个)动作。
(一个或多个)设备900(例如,(一个或多个)处理模块901)可以包括(一个或多个)输入/输出(I/O)模块905,其被配置为例如通过执行与其它单元和/或设备的任何通信(诸如向其它设备发送和/或从其接收信息)而参与其中。(一个或多个)I/O模块905可以通过在适用时获得(例如,接收)(一个或多个)模块和/或提供(例如,发送)(一个或多个)模块来例示。
此外,在一些实施例中,(一个或多个)设备900(例如,(一个或多个)处理模块901)包括(一个或多个)提供或校准模块中的(一个或多个),作为用于执行本文实施例的动作的(一个或多个)示例性硬件和/或软件模块。这些模块可以完全或部分地由处理电路系统904实现。
因此:
(一个或多个)设备900、和/或(一个或多个)处理模块901、和/或处理电路系统904、和/或(一个或多个)I/O模块905、和/或(一个或多个)提供或校准模块可操作或被配置为提供所述现实世界点作为第一现实世界线与第二现实世界线之间的所述虚拟交点,
其中所述第一现实世界线与第一现实表面与光平面之间的所述第一现实交线对应,并且其中来自所述第一现实交线的所述反射光由成像系统成像在所述第一图像中,以及
其中所述第二现实世界线与第二现实表面与光平面之间的所述第二现实交线对应,并且其中来自所述第二现实交线的所述反射光由成像系统成像在所述另一个(第二)图像中。
(一个或多个)设备900、和/或(一个或多个)处理模块901、和/或处理电路系统904、和/或(一个或多个)I/O模块905、和/或(一个或多个)提供或校准模块还可操作或被配置为提供所述图像传感器校准点作为与第一图像中所述捕获的光的强度峰的位置对应的第一图像线和与第二图像中所述捕获的光的强度峰的位置对应的所述第二图像线之间的所述第二虚拟交点。
图10是图示与计算机程序及其载体相关的一些实施例的示意图,以使(一个或多个)上述设备900执行所述方法和动作。
计算机程序可以是计算机程序903并且包括当由处理电路系统904和/或(一个或多个)处理模块901执行时使(一个或多个)设备900如上所述地执行的指令。在一些实施例中,提供了一种载体,或者更具体而言,数据载体,例如包括计算机程序的计算机程序产品。载体可以是电子信号、光信号、无线电信号和计算机可读存储介质中的一种,例如,如图中示意性示出的计算机可读存储介质1001。计算机程序903因此可以存储在计算机可读存储介质1001上。载体可以不包括暂态的传播的信号,并且数据载体可以对应地被命名为非暂态数据载体。作为计算机可读存储介质的数据载体的非限制性示例是存储卡或记忆棒、盘存储介质、或通常基于(一个或多个)硬盘驱动器或(一个或多个)固态驱动器(SSD)的大容量存储设备。计算机可读存储介质1001可以被用于存储可通过计算机网络1002(例如,互联网或局域网(LAN))访问的数据。计算机程序903还可以被提供为(一个或多个)纯计算机程序或被包含在一个或多个文件中。一个或多个文件可以被存储在计算机可读存储介质1001上,并且例如可通过例如通过如图所示的计算机网络1002例如经由服务器下载而获得。该服务器例如可以是web或文件传输协议(FTP)服务器或类似的服务器。例如,一个或多个文件可以是可执行文件,用于直接或间接下载到(一个或多个)所述设备并在其上执行以使其如上文描述的那样执行,例如通过被处理电路系统904执行。一个或多个文件也可以或者可替代地用于涉及相同或另一个(一些)处理器的中间下载和编译,以使它们在进一步下载和执行之前可执行,从而使得所述(一个或多个)设备900如上所述执行。
注意,前面提到的任何(一个或多个)处理模块和(一个或多个)电路可以被实现为软件和/或硬件模块,例如,在现有硬件中和/或作为专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。还要注意,前面提到的任何(一个或多个)硬件模块和/或(一个或多个)电路可以例如被包括在单个ASIC或FPGA中,或者被分布在几个分开的硬件组件中,无论是单独包装还是组装到片上系统(SoC)中。
本领域技术人员还将认识到的是,本文讨论的模块和电路系统可以指硬件模块、软件模块、模拟和数字电路的组合、和/或配置有软件和/或固件的一个或多个处理器,例如被存储在存储器中,当由一个或多个处理器执行时,可以使(一个或多个)设备、(一个或多个)传感器等被配置为和/或执行上述方法和动作。
本文通过任何标识符进行的标识可以是隐含的或显式的。标识在特定上下文中可以是唯一的,例如对于特定计算机程序或程序提供者。
如本文所使用的,术语“存储器”可以指用于存储数字信息的数据存储器,通常是硬盘、磁存储装置、介质、便携式计算机软盘或盘、闪存、随机存取存储器(RAM)等。此外,存储器可以是处理器的内部寄存器存储器。
还要注意,任何列举的术语(诸如第一设备、第二设备、第一表面、第二表面等)都应当被认为是非限制性的,并且这样的术语并不暗示某种层次关系。相反,在没有任何明确信息的情况下,列举命名应当被认为仅仅是一种完成不同名称的方式。
如本文所使用的,表述“被配置为”可以意味着处理电路被配置为或适于借助于软件或硬件配置来执行本文描述的动作中的一个或多个。
如本文中所使用的,术语“数”或“值”可以指任何种类的数字,诸如二进制、实数、虚数或有理数等。此外,“数”或“值”可以是一个或多个字符,诸如字母或字母串。另外,“数”或“值”可以由位串表示。
如本文中所使用的,表述“可以”和“在一些实施例中”通常已用于指示所描述的特征可以与本文公开的任何其它实施例组合。
在附图中,可以仅存在于一些实施例中的特征通常使用点线或虚线来绘制。
当使用单词“包括”或“包含”时,应将其解释为非限制性的,即,意味着“至少由……组成”。
本文的实施例不限于上述实施例。可以使用各种替代、修改和等同形式。因此,以上实施例不应被视为限制由所附权利要求限定的本公开的范围。
Claims (11)
1.一种由一个或多个设备(405;430;434;900)执行的方法,用于提供一对现实世界和图像传感器对应点以在用于基于光三角测量进行三维成像的成像系统(405)的校准中使用,所述成像系统包括具有图像传感器(431)的相机(430;530)和用于提供光平面(411;511)的光源(410;510),所述光三角测量涉及通过所述相机对由所述光平面(411;511)与表面相交并由此造成从表面反射导致的反射光进行成像,所述对应点是位于所述光平面(411;511)中的现实世界点(514-1;529-1)以及与所述成像系统(405)将所述现实世界点(514-1;529-1)成像在图像传感器(431)上的位置对应的图像传感器点(544-1;554-1),其中所述方法的特征在于:
-提供(801)所述现实世界点(514-1;529-1)作为第一现实世界线(512a;527a)与第二现实世界线(512b;527b)之间的第一虚拟交点,
其中所述第一现实世界线(512a;527a)对应于第一现实表面(521a;526a)与所述光平面(511)之间的第一现实交线,并且其中来自所述第一现实交线的反射光由成像系统(405)捕获在第一图像(540a;550a)中,并且
其中所述第二现实世界线(512b;527b)对应于第二现实表面(521b;527b)与所述光平面(411;511)之间的第二现实交线,并且其中来自所述第二现实交线的反射光由成像系统(405)捕获在另一个第二图像(540b;550b)中;
-提供(802)所述图像传感器点(544-1;554-1)作为与第一图像(540a;550a)中所捕获的光的强度峰的位置对应的第一图像线(542a;552a)和与第二图像(540b;550b)中所捕获的光的强度峰的位置对应的第二图像线(542b;552b)之间的第二虚拟交点。
2.如权利要求1所述的方法,其中第一现实表面(521a;526a)和第二现实表面(521b;527b)是参数化表面。
3.如权利要求1-2中的任一项所述的方法,其中所述第二现实表面(521b;527b)在造成第二图像(540b;550b)中捕获的反射光时具有相对于第一现实表面(521a;527a)在造成第一图像(540b;550b)中捕获的反射光时的位置和朝向确定的位置和朝向。
4.如权利要求1-3中的任一项所述的方法,其中第一现实表面和第二现实表面(521a-b;527a-b)是单个校准对象(420;520;525)的表面。
5.如权利要求4所述的方法,其中校准对象(420;520;525)在所述第一图像与第二图像(540a-b;550a-b)之间存在位置改变,使得校准对象(520;525)的位置从第一现实表面(521a;527a)与光平面(511)相交以便在第一图像(540a;550a)中成像的位置改变为第二现实表面(521b;527b)与光平面(511)相交以便在第二图像(540b;550b)中成像的另一个位置。
6.如权利要求5所述的方法,其中第一现实表面和第二现实表面(526a-b)是单个校准对象(525)的分开的表面。
7.如权利要求6所述的方法,其中位置改变包括校准对象(525)沿着校准对象(525)在被成像时所停留的支撑表面的移动。
8.如权利要求5所述的方法,其中第一现实表面和第二现实表面(526a-b)是单个校准对象(520)的同一个现实表面,其中位置改变包括所述同一个现实表面在所述第一图像与第二图像(540a-b)之间倾斜,使得当形成第二现实线(512b)时所述同一个现实表面在光平面(511)中的朝向与当形成第一现实线(512a)时所述同一个现实表面在光平面(511)中的朝向不同。
9.一个或多个设备(405;430;434;900),用于提供一对现实世界和图像传感器对应点以在用于基于光三角测量进行三维成像的成像系统(405)的校准中使用,所述成像系统包括具有图像传感器(431)的相机(430;530)和用于提供光平面(411;511)的光源(410;510),所述光三角测量涉及通过所述相机对由所述光平面(411;511)与表面相交并由此造成从表面反射导致的反射光进行成像,所述对应点是位于所述光平面(411;511)中的现实世界点(514-1;529-1)以及与所述成像系统(405)将所述现实世界点(514-1;529-1)成像在图像传感器(431)上的位置对应的图像传感器点(544-1;554-1),其中所述一个或多个设备被配置为:
提供所述现实世界点(514-1;529-1)作为第一现实世界线(512a;527a)与第二现实世界线(512b;527b)之间的第一虚拟交点,
其中所述第一现实世界线(512a;527a)对应于第一现实表面(521a;526a)与所述光平面(511)之间的第一现实交线,并且其中来自所述第一现实交线的反射光由成像系统(405)捕获在第一图像(540a;550a)中,并且
其中所述第二现实世界线(512b;527b)对应于第二现实表面(521b;527b)与所述光平面(411;511)之间的第二现实交线,并且其中来自所述第二现实交线的反射光由成像系统(405)捕获在另一个第二图像(540b;550b)中;
提供所述图像传感器点(544-1;554-1)作为与第一图像(540a;550a)中所捕获的光的强度峰的位置对应的第一图像线(542a;552a)和与第二图像(540b;550b)中所捕获的光的强度峰的位置对应的第二图像线(542b;552b)之间的第二虚拟交点。
10.一种包括指令的计算机程序(903),所述指令在由一个或多个处理器(904)执行时使得一个或多个设备(405;430;434;900)执行根据权利要求1-8中的任一项所述的方法。
11.一种存储指令的计算机可读存储介质,所述指令在由一个或多个处理器(904)执行时使得一个或多个设备(405;430;434;900)执行根据权利要求1-8中的任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22211198.1 | 2022-12-02 | ||
EP22211198.1A EP4379662B1 (en) | 2022-12-02 | 2022-12-02 | Provision of real world and image sensor correspondence points for use in calibration of an imaging system for three dimensional imaging based on light triangulation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118131191A true CN118131191A (zh) | 2024-06-04 |
Family
ID=84387935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311474043.9A Pending CN118131191A (zh) | 2022-12-02 | 2023-11-07 | 用于提供现实世界和图像传感器对应点的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240187565A1 (zh) |
EP (1) | EP4379662B1 (zh) |
JP (1) | JP2024080670A (zh) |
CN (1) | CN118131191A (zh) |
CA (1) | CA3215424A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8427656B2 (en) * | 2008-04-21 | 2013-04-23 | Max-Planck-Gesellschaft Zur Foderung Der Wissenschaften E.V. | Robust three-dimensional shape acquisition method and system |
GB201702118D0 (en) * | 2017-02-09 | 2017-03-29 | Cathx Ocean Ltd | Method and system for calibrating imaging system |
-
2022
- 2022-12-02 EP EP22211198.1A patent/EP4379662B1/en active Active
-
2023
- 2023-10-04 CA CA3215424A patent/CA3215424A1/en active Pending
- 2023-10-20 US US18/490,837 patent/US20240187565A1/en active Pending
- 2023-11-07 CN CN202311474043.9A patent/CN118131191A/zh active Pending
- 2023-11-30 JP JP2023202843A patent/JP2024080670A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4379662B1 (en) | 2025-01-29 |
JP2024080670A (ja) | 2024-06-13 |
US20240187565A1 (en) | 2024-06-06 |
CA3215424A1 (en) | 2024-06-02 |
EP4379662A1 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2183544B1 (en) | Non-contact measurement apparatus and method | |
JP4111166B2 (ja) | 3次元形状入力装置 | |
CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
US10151580B2 (en) | Methods of inspecting a 3D object using 2D image processing | |
JP2002509259A (ja) | 電子部品の三次元検査のための方法およびその装置 | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
KR20130032368A (ko) | 삼차원 계측장치, 삼차원 계측방법 및 기억매체 | |
US9560250B2 (en) | Information processing apparatus, measurement system, control system, light amount determination method and storage medium | |
JP2007508557A (ja) | 三次元物体を走査するための装置 | |
JP7649145B2 (ja) | 三次元形状測定装置及び三次元形状測定方法 | |
CN113124771B (zh) | 具有校准目标对象的成像系统 | |
CN110462688B (zh) | 使用基于模型的峰值选择的三维轮廓确定系统及方法 | |
JP5136108B2 (ja) | 三次元形状計測方法および三次元形状計測装置 | |
JP2017198470A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
JP6179366B2 (ja) | 標準ゲージ、三次元測定装置、及び、三次元測定装置のキャリブレーション方法 | |
CN118131191A (zh) | 用于提供现实世界和图像传感器对应点的方法和设备 | |
Lee et al. | 3D foot scanner based on 360 degree rotating-type laser triangulation sensor | |
JP2018077168A (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
JP5786999B2 (ja) | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法 | |
JP2015099048A (ja) | 標準ゲージ、三次元測定装置、及び、三次元測定装置のキャリブレーション方法 | |
JP2018044863A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
JP2024048525A (ja) | ステレオ計測装置の較正方法 | |
JP6532158B2 (ja) | 面形状歪測定装置及び面形状歪の測定方法 | |
JP2024007646A (ja) | 多視点型ラインセンシング法による3次元計測装置 | |
CN118654570A (zh) | 基于线扫影像测量仪的3d尺寸测量方法、装置、线扫影像测量仪以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |