CN114979618A

CN114979618A - 计测系统及记录有计测程序的记录介质

Info

Publication number: CN114979618A
Application number: CN202111059366.2A
Authority: CN
Inventors: 中村博昭
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2021-02-22
Filing date: 2021-09-10
Publication date: 2022-08-30
Also published as: US11645771B2; DE102021210256A1; JP7570944B2; US20220270272A1; JP2022128087A

Abstract

一个方式的计测系统具有第一计算部、提取部、第二计算部及显示控制部。第一计算部以设置于计测对象的标记为基准，计算表示相机的位置及姿势的第一信息，该相机构成为将到计测对象的各点为止的深度即深度信息与计测对象的图像一起计测。提取部基于第一信息，从表示计测对象的3维形状的第一3维形状信息中提取与相机的摄像范围相当的第二3维形状信息。第二计算部对深度信息与第二3维形状信息进行比较，基于深度信息与第二3维形状信息的比较结果，来计算表示相机的位置及姿势的第二信息。显示控制部基于第二信息将与第二3维形状信息与深度信息的比较结果有关的信息显示于显示装置。

Description

计测系统及记录有计测程序的记录介质

技术领域

实施方式涉及计测系统及记录有计测程序的记录介质。

背景技术

作为与同一计测对象相关的2个点组的数据的匹配方法之一，已知有ICP(Iterative Closest Point：迭代最近点)方法。ICP方法等匹配方法例如能够应用于用于确认部件的组装被正确地进行的图像的比较处理。

在此，在ICP方法等匹配方法中，在点组的数量多时，处理时间容易增大。因此，若ICP方法等匹配方法单纯地被应用于零件组装系统，则有可能损害计测时的实时性。

发明内容

附图说明

图1是表示第一实施方式的计测系统的一例的结构的框图。

图2是表示计测系统的硬件结构的一例的图。

图3是表示第一实施方式中的计测系统的动作的流程图。

图4是表示交叉区域的概念的图。

图5A是表示显示处理的一例的图。

图5B是表示显示处理的一例的图。

图5C是表示显示处理的一例的图。

图6是表示第二实施方式的计测系统的一例的结构的框图。

图7是表示第二实施方式中的计测系统的动作的流程图。

图8是表示引导处理的流程图。

图9A是表示3维目标物的显示例的图。

图9B是表示3维目标物的显示例的图。

具体实施方式

以下，参照附图对实施方式进行说明。

[第一实施方式]

图1是表示第一实施方式的计测系统的一例的结构的框图。图1所示的计测系统1能够用于部件的组装系统中的计测。计测系统1的计测对象例如是组装于装置D的部件p。作为计测对象的部件p例如通过组装系统而机械地被组装于装置D。组装系统的结构没有特别限定。部件p例如也可以由人组装于装置D。

实施方式中的计测系统1将由相机2计测的装置D的3维形状的信息与预先准备的表示装置D的3维形状的信息进行比较，并将该比较结果提示给用户。用户例如是确认是否正确地对装置D实施了部件p的组装的作业员。

如图1所示，计测系统1具有第一计算部11、提取部12、形状数据库(DB)13、第二计算部14及显示控制部15。计测系统1构成为能够与相机2进行通信。计测系统1与相机2的通信既可以通过无线进行，也可以通过有线进行。另外，计测系统1构成为能够与显示装置3进行通信。计测系统1与显示装置3的通信既可以通过无线进行，也可以通过有线进行。

相机2例如是由用户把持并构成为将计测对象的深度信息与计测对象的图像一起计测的相机。深度信息是从相机2到装置D的表面的各点为止的距离的信息。在此，基于相机2的深度信息的计测例如可以通过第二目的红外光的投光及受光来实施。然而，深度信息的计测不限于此。深度信息例如可以通过LiDAR(Light Detecting and Ranging)方式来计测，另外，相机2也可以是RGB-D相机，RGB-D相机是构成为能够计测RGB-D图像的相机，RGB-D图像是具有深度图像(Depth image)和彩色图像(RGB color image)的图像，深度图像是具有计测对象的各点的深度作为像素的值的图像。彩色图像是具有计测对象的各点的RGB值作为像素的值的图像。相机2不一定是彩色图像，也可以是能够计测灰度(gray scale)的图像的相机。

显示装置3是液晶显示器及有机EL显示器等的显示装置。显示装置3基于从计测系统1传送来的数据来显示各种图像。

第一计算部11以预先配置于装置D的标记M为基准，计算表示对装置D进行了拍摄的相机2的位置及姿势的第一信息。标记M是在装置D的预先确定的位置以预先确定的朝向配置的、尺寸已知的标记。例如，标记M以相互正交的2条边在装置D的面中与预先确定的X轴及Y轴平行、且法线在装置D的面中与预先确定的Z轴平行的方式配置于装置D的规定的位置。标记M例如是AR(Augmented Reality：增强现实)标记，能够从由相机2取得的图像中识别出，也可以将2个以上的标记M配置于装置D的1个面，另外，标记M也可以配置于装置D的2个以上的面。

提取部12基于第一信息，提取在形状DB13中存储的计测对象的已知的3维形状信息中的、与相机2的深度信息的摄像范围相当的3维形状信息。如后面说明的那样，深度信息的摄像范围是以相机2为基准的四棱锥状的范围。

形状DB13存储有计测对象的已知的3维形状信息。已知的3维形状信息可以是包含计测对象的装置D的3D CAD(Computer Aided Design：计算机辅助设计)的设计图数据等，已知的3维形状信息不限于设计图数据，也可以是任意的点组的数据或者能够转换为点组的数据的数据，另外，形状DB13也可以设置于计测系统1的外部，在该情况下，计测系统1的提取部12根据需要从形状DB13取得信息。另外，已知的3维形状信息也可以不登记于形状DB13，而由用户输入至计测系统1。

第二计算部14进行由相机2计测出的深度信息与由提取部12提取出的3维形状信息的比较。具体而言，第二计算部14对根据深度信息生成的计测点组的数据和构成3维形状信息的点组的数据进行比较，进行两点组的数据的匹配，从而计算第二信息，该第二信息表示比第一信息更高精度的相机2的位置及姿势。点组的数据的匹配可以使用ICP(IterativeClosest Point)方法、CPD(Coherent Point Drift：一致性点漂移)方法等来实施。

显示控制部15基于第二信息，将与第二计算部14中的形状的比较结果有关的信息显示于显示装置3。与形状的比较结果有关的信息例如是在基于由相机2计测到的点组的图像上重叠了基于在形状DB13中存储的计测对象的点组的图像而得到的图像。显示控制部15例如基于高精度的相机2的位置及姿势，将根据由相机2计测出的深度信息而得到的点组与由相机2计测到的图像中建立对应，而生成计测对象的3维模型。然后，显示控制部15将基于已知的3维形状信息的3维模型重叠于所生成的计测对象的3维模型并显示于显示装置3。

图2是表示计测系统1的硬件结构的一例的图。计测系统1可以是个人计算机(PC)、平板终端等各种终端装置。如图2所示，计测系统1具有处理器101、ROM102、RAM103、存储器104、输入接口105和通信装置106作为硬件。

处理器101是对计测系统1的整体动作进行控制的处理器。处理器101例如通过执行存储在存储器104中的程序，而作为第一计算部11、提取部12、第二计算部14、显示控制部15进行动作。处理器101例如是CPU(Central Processing Unit：中央处理单元)，处理器101也可以是MPU(Micro-Processing Unit：微处理单元)、GPU(Graphics Processing Unit：图形处理单元)、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等。处理器101可以是单一的CPU等，也可以是多个CPU等。

只读存储器(ROM)102是非易失性存储器。ROM102存储计测系统1的启动程序等。RAM(Random Access Memory：随机存取存储器)103是易失性存储器。RAM103例如被用作处理器101中的处理时的工作存储器。

存储器104例如是硬盘驱动器、固态驱动器这样的存储器。存储器104存储由计测程序等处理器101执行的各种程序。另外，存储器104能够存储形状DB13。形状DB13不需要必须存储在存储器104中。

输入接口105包括触摸面板、键盘、鼠标等输入装置。在进行了输入接口105的输入装置的操作的情况下，与操作内容对应的信号被输入至处理器101。处理器101根据该信号进行各种处理。

通信装置106是计测系统1与相机2及显示装置3等外部的设备进行通信所用的通信装置。通信装置106既可以是用于有线通信的通信装置，也可以是用于无线通信的通信装置。

接下来，对第一实施方式中的计测系统1的动作进行说明。图3是表示第一实施方式中的计测系统1的动作的流程图。图3的处理由处理器101执行。在此，以下，对相机2是RGB-D相机，另外已知的3维形状信息是装置D的3D CAD数据的例子进行说明。然而，如上所述，相机2也可以不是RGB-D相机，另外已知的3维形状信息也可以不是装置D的3D CAD数据。

在步骤S1中，处理器101从相机2取得包含计测对象的部件p在内的装置D的RGB-D图像。

在步骤S2中，处理器101根据从相机2取得的彩色图像来检测标记M。处理器101将从相机2取得的彩色图像例如变换为灰度的图像，将灰度的图像进一步变换为黑白的2值图像，将该黑白的2值图像与预先存储的标记M的图案进行比较，从而检测标记M。标记M的检测方法不限于此。

在步骤S3中，处理器101计算相机2的位置及姿势。处理器101根据在彩色图像中检测到的标记M的位置、尺寸、朝向来计算相机2的位置及姿势。标记M以预先确定的朝向配置在装置D的预先确定的位置。根据彩色图像中的标记M的位置、尺寸及朝向，能够计算出相机2相对于装置D的位置及姿态。例如，能够根据彩色图像中的标记M的位置及尺寸来计算从相机2到标记M的距离、即相机2的位置。另外，能够根据彩色图像中的标记M的各边(各轴)的倾斜度来计算相机2相对于装置D的倾斜度、即相机2的姿势。

在步骤S4中，处理器101进行3D CAD数据的坐标变换。具体而言，处理器101例如从存储器104取得装置D的3D CAD数据。然后，处理器101基于计算出的相机2的位置及姿势，将3D CAD数据中的各点的坐标的值变换为相机2的坐标系中的值。例如，处理器101通过将基于相机2的位置及姿势而计算出的变换矩阵应用于3DCAD数据中的各点的坐标的值，从而使3D CAD数据中的各点的坐标平行移动及旋转。

在步骤S5中，处理器101判定3D CAD数据中的点组与相机2的摄像范围的交叉区域。图4是表示交叉区域的概念的图。在也考虑了进深方向的情况下，相机2的摄像范围由在相机2的光轴周围形成的四棱锥状的范围表示。例如，在图4的点C的位置存在相机2时，相机2的摄像范围r是以点C为顶点、以相机2的光轴为垂线的四棱锥状的范围。交叉区域是四棱锥状的摄像范围r与构成3D CAD数据的点组的重叠区域。在此，若相机2的位置及姿势是已知的，并且相机2的拍摄时的视场角或者焦距是已知的，则四棱锥状的摄像范围r能够用相机2的坐标系中的值表示。在步骤S5中，处理器101将四棱锥状的摄像范围r中的包含3D CAD数据的点组的坐标的值在内的范围判定为交叉区域。在此，若考虑相机2的位置及姿势的计算误差，则交叉区域也可以进一步具有少许的边缘区域。

在步骤S6中，处理器101提取3D CAD数据中的交叉区域中包含的3D CAD数据。相机2计测摄像范围内的深度信息。因此，根据深度信息生成的计测点组的数据也被限定为相机2的摄像范围内的数据。因此，3D CAD数据只要有相机2的摄像范围内的数据就足够。在实施方式中，为了点组的匹配的处理时间的缩短化，3D CAD数据根据相机2的摄像范围而被限制。

在步骤S7中，处理器101将构成所提取出的3D CAD数据的点组的数据与根据深度信息生成的计测点组的数据进行匹配来计算相机2的高精度的位置及姿势。计测点组的数据可以通过在使用ICP方法、CPD方法等对深度信息和彩色图像数据进行对位后进行合成来生成。在实施方式中，3D CAD数据的点组的数量根据摄像范围而被限制，因此期待匹配在短时间内完成。

在步骤S8中，处理器101将基于由相机2计测出的深度信息的计测对象的3维图像和基于3D CAD数据的计测对象的3维图像重叠显示于显示装置3。之后，处理器101结束图3的处理。

图5A、图5B、图5C是表示步骤S8的显示处理的一例的图。在此，图5A表示基于3DCAD数据的计测对象的图像的一例。另外，图5B表示基于由相机2计测出的深度信息的计测对象的图像的一例。另外，图5C表示在步骤S8中实际显示的图像的一例。图5A的图像例如通过在3D CAD数据上粘贴纹理而生成。另外，图5B的图像例如通过在计测点组的数据上粘贴纹理或彩色图像数据而生成。图5C的图像例如能够通过使图5A的图像与图5B的图像重合并强调存在差异的部位来生成。图5A的图像与图5B的图像的对位能够基于步骤S8中的匹配结果来实施。另外，强调显示例如可以通过改变存在差异的部位的颜色、附加与差异对应的浓淡、显示对存在差异的部位进行表示的框等的各种方法来进行。

图5A表示在设计上，零件p被螺栓紧固。与此相对，如图5B所示，在组装完成后计测出的图像中，部件p未被螺栓紧固。因此，如图5C所示，在表示比较结果的图像中，对部件p进行着色并进行显示。用户通过观察图5C的图像，能够识别未正确地进行部件p的组装。

在此，除了图3所示的处理之外，相机2计测出的深度信息及彩色图像可以存储在存储器104中。这样的深度信息及彩色图像也能够成为部件组装的确认作业的证据。

如以上说明的那样，根据第一实施方式，根据相机2的摄像范围来限制针对根据相机2的深度信息生成的计测点组的作为比较对象的3维形状信息中的点组。由于通过相机2无法计测的范围的点组不需要用于匹配，因此通过预先限制3维形状信息的点组，由此能够缩短匹配的处理时间。因此，第一实施方式的计测系统1也能够应对实时处理。

另外，可能存在由相机2计测的计测点组的密度与已知的3维形状信息的点组的密度不同的情况。在该情况下，若被比较的两点组的范围不同，则根据特征量，产生未进行在适当的位置的匹配的可能性。在第一实施方式中，由于以计测点组与比较对象的点组的范围相等的方式限制比较对象的点组，因此还导致匹配的误差的抑制。

[第二实施方式]

接着，对第二实施方式进行说明。图6是表示第二实施方式的计测系统的一例的结构的框图。在此，在图6中，对于与图1相同的要素，标注与图1相同的参照符号。适当省略或简化与该图1相同的要素的说明。

图6所示的计测系统1还具有引导部16。引导部16接收由第一计算部11计算出的第一信息。并且，引导部16进行用于引导用户以使相机2的位置及姿势成为适于取得深度信息的状态的处理。该处理例如是生成对下一计测对象进行表示的图像的处理。表示下一计测对象的图像例如可以是模拟计测对象的3维目标物。

第二实施方式的显示控制部15将由引导部16生成的图像显示于显示装置3。

第二实施方式中的计测系统1的硬件结构可以基本上与图2相同。在第二实施方式中，处理器101也能够作为引导部16进行动作。

接下来，对第二实施方式中的计测系统1的动作进行说明。图7是表示第二实施方式中的计测系统1的动作的流程图。图7的处理由处理器101执行。在此，在图7中，对与图3相同的处理标注与图3相同的附图标记。适当省略或简化被标注与图3相同的附图标记的处理的说明。

步骤S1-S4的处理与图3相同。在步骤S4中，在进行了3D CAD数据的坐标变换之后的步骤S11中，处理器101实施引导处理。在引导处理之后，处理转移到步骤S12。引导处理是将用于用户的引导的3维目标物显示于显示装置3的处理。以下，对引导处理进行说明。图8是表示引导处理的流程图。

在步骤S21中，处理器101生成用于引导的下一计测对象的3维目标物。3维目标物是模拟了计测对象的形状的3维模型。例如，在计测对象是组装于装置D的部件p的情况下，3维目标物可以是模拟了部件p的形状的3维模型。这样的3维目标物例如可以预先存储在存储器104中。在该情况下，处理器101从存储器104取得与下一计测对象相当的3维目标物。

在步骤S22中，处理器101将下一计测对象的3维目标物重叠于例如由相机2计测的装置D的彩色图像。3维目标物的重叠位置是装置D的彩色图像中的下一计测对象的位置。通过步骤S3的处理，计算出相机2相对于以标记M为基准的装置D的位置及姿势。根据该相机2的位置及姿势，能够确定彩色图像中的下一计测对象的位置。在此，优选的是，与彩色图像重叠的3维目标物根据相机2相对于装置D的姿势而旋转。另外，在步骤S22中，下一计测对象的3维目标物与由相机2计测的彩色图像重叠。但是，并不限定于此。下一计测对象的3维目标物既可以与由相机2计测的深度图像重叠，也可以与存储在存储器104中的3D CAD数据重叠。即，3维目标物可以与用户能够识别下一计测对象的位置及拍摄方向的任意的图像重叠。

在步骤S23中，处理器101将重叠有3维目标物的装置D的彩色图像显示于显示装置3。之后，处理器101结束图8的处理而使处理返回到图7。

图9A及图9B是表示3维目标物的显示例的图。如图9A及图9B所示，3维目标物O与下一计测对象的部件pn的位置重叠。通过观察图9A及图9B的图像，用户能够识别出下一计测对象的位置是哪里、及从哪里拍摄下一计测对象。用户例如在观察图9A的图像时3维目标物O与其他部件重叠，因此识别出下一计测对象的部件pn被其他部件遮挡。在该情况下，用户能够研究改变相机2的拍摄方向以拍摄图9B那样的图像。

在此，除了图8的处理以外，也可以将重叠有3维目标物的彩色图像存储在存储器104中。这样的彩色图像还能够成为部件组装的确认作业的证据。

在此，返回图7的说明。在引导处理之后的步骤S12中，处理器101判定相机2的摄像范围是否适当。在步骤S12中，在判定为相机2的摄像范围适当时，处理转移到步骤S5。在步骤S12中，在判定为相机2的摄像范围不适当时，处理返回到步骤S1。在该情况下，用户一边观察在显示装置3中显示的图像一边改变相机2的拍摄方向而再次实施计测对象的部件的拍摄。

对步骤S12的判定进行说明。相机2的摄像范围是否适当根据是否为取得与下一计测对象有关的充分的点组的摄像范围来判定。例如，在图9A中，作为下一计测对象的部件pn被其他部件隐藏。对于被其他部件隐藏的部分，无法获得点组。在这样的情况下，判定为摄像范围不适当。因此，例如，在步骤S12中，在计测对象的部件p与3维目标物O的重叠范围为阈值以下时，能够判定为摄像范围适当。另外，在步骤S12中，除了重叠范围是否为阈值以下的判定以外，也可以在计测对象的部件p的彩色图像中的尺寸为阈值以上时判定为摄像范围适当。

在步骤S12中，在处理转移到步骤S5之后，处理器101与第一实施方式同样地实施处理。省略步骤S5-S8的处理的说明。

如以上说明的那样，在第二实施方式中，基于相机2相对于以标记M为基准的装置D的位置及姿势，实施用于引导用户以使相机2的位置及姿势成为适于取得深度信息的状态的处理。由此，实施适当的位置及姿势下的拍摄，作为结果，能够抑制计测点组与已知的3维形状信息中的点组的匹配时的误差。

另外，在第二实施方式中，表示下一计测对象的部件的3维目标物例如与彩色图像重叠显示。由此，能够引导用户以按照预先确定的顺序实施部件组装的确认作业。

[变形例]

对第一实施方式及第二实施方式的变形例进行说明。在第一实施方式及第二实施方式中，计测系统1被用于部件的组装系统中的计测。与此相对，第一实施方式及第二实施方式的计测系统能够应用于实施基于由相机2计测出的深度信息的第一点组数据与在比第一点组数据更宽的范围内分散的第二点组数据之间的匹配的任意的计测系统。在该情况下，处理器101从第二点组数据中提取与相机2的摄像范围的交叉区域的点组数据。

另外，在第一实施方式及第二实施方式中，标记M被设为AR标记。与此相对，如果是能够计算相机2的位置及姿势的标记，则不一需要必须使用伴随图像识别的AR标记。例如，作为标记M，也可以使用光标记这样的其他标记。光标记是通过投光元件和受光元件的组合来进行识别的标记。通过在装置D的面上配置3组以上的光标识，从而能够计算出相机2相对于装置D的位置及姿态。此外，2维代码、条形码、检验板等也可以用作标记M。

另外，在第一实施方式及第二实施方式中，相机2也可以与计测系统1一体地构成。在该情况下，相机2的位置及姿势的控制也可以通过计测系统1来实施。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围或主旨中，同样包含在权利要求书所记载的发明及其等同的范围内。

Claims

1.一种计测系统，具有：

第一计算部，以设置于计测对象的标记为基准来计算表示相机的位置及姿势的第一信息，该相机构成为将到所述计测对象的各点为止的深度即深度信息与上述计测对象的图像一起计测；

提取部，基于所述第一信息，从第一3维形状信息中提取与所述相机的摄像范围相当的第二3维形状信息，所述第一3维形状信息表示所述计测对象的3维形状；

第二计算部，对所述深度信息与所述第二3维形状信息进行比较，基于所述深度信息与所述第二3维形状信息的比较结果，计算第二信息，该第二信息表示比所述第一信息高精度的所述相机的位置及姿势；以及

显示控制部，基于所述第二信息在显示装置上显示关于所述第二3维形状信息与所述深度信息之间的比较结果的信息。

2.根据权利要求1所述的计测系统，其中，

还具有引导部，该引导部基于所述第一信息来引导所述相机的用户，以使得所述相机的位置及姿势成为适于取得所述深度信息的状态。

3.根据权利要求2所述的计测系统，其中，

所述引导部通过在所述显示装置上显示表示所述计测对象的目标物来引导所述相机的用户。

4.根据权利要求1至3中任一项所述的计测系统，其中，

所述标记是AR标记即增强现实标记，

所述提取部根据由所述相机取得的所述计测对象的图像，通过图像识别来检测所述AR标记。

5.根据权利要求4所述的计测系统，其中，

所述计测对象的图像是所述计测对象的彩色图像。

6.一种记录介质，记录有用于使计算机执行如下处理的计测程序：

以设置于计测对象的标记为基准来计算表示相机的位置及姿势的第一信息，该相机构成为将到所述计测对象的各点为止的深度即深度信息与上述计测对象的图像一起计测；

基于所述第一信息，从第一3维形状信息中提取与所述相机的摄像范围相当的第二3维形状信息，所述第一3维形状信息表示所述计测对象的3维形状；

对所述深度信息与所述第二3维形状信息进行比较，基于所述深度信息与所述第二3维形状信息的比较结果，计算第二信息，该第二信息表示比所述第一信息高精度的所述相机的位置及姿势；以及

基于所述第二信息在显示装置上显示关于所述第二3维形状信息与所述深度信息之间的比较结果的信息。