CN113808198B - 一种吸取面的标注方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及图像处理领域，具体为一种吸取面的标注方法、装置、电子设备和存储介质。该方法的步骤包括：获取第一深度图；根据所述第一深度图生成标注图；获取选取点的位置信息；根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息；根据所述选取点的位置信息和所述第一像素点的位置信息获取吸取面的第二像素点的位置信息；根据所述第二像素点的位置信息在标注图中标注出可吸取位置；本发明基于图像像素点标注出能够有效吸取物体的精确区域，有效减少标注误差，提高标注精度。

Description

一种吸取面的标注方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理领域，具体涉及一种吸取面的标注方法、装置、电子设备和存储介质。

背景技术

为了提高生产效率，大部分工厂都会使用吸取式的机械手代替人工进行物品取放，部分机械手在吸取目标前需要获得目标的吸取区域才能实现准确的吸取，现有的方法一般是先获得机械手视角下的图像，再根据图像手动进行区域标注。

然而，通过这种人工标注方式不但过程繁琐，而且高度依赖于人的判断，每个人的标注结果存在较大的精度差异，使得标注误差大。

因此，现有技术有待改进和发展。

发明内容

本发明的目的在于提供一种吸取面的标注方法、装置、电子设备和存储介质，能够有效提高可吸取位置的标注精度。

第一方面，本申请提供一种吸取面的标注方法，用于吸取式机械手的图像处理系统，所述方法包括以下步骤：

S1.获取第一深度图，所述第一深度图包括至少一个待标注物体的图像；

S2.根据所述第一深度图生成标注图，所述标注图的像素点和所述第一深度图的像素点的数量及位置均相同；

S3.获取选取点的位置信息；所述选取点落在所述第一深度图中的任意一个所述待标注物体上；

S4.根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息；

S5.根据所述选取点的位置信息和所述第一像素点的位置信息获取吸取面的第二像素点的位置信息，所述吸取面是所述选取点所在的待标注物体上包含所述选取点的平面；

S6.根据所述第二像素点的位置信息在所述标注图中标注出可吸取位置。

从图像中分辨出所有可吸取位置的像素点，该像素点所组成的区域即为吸取式机械手吸取物体的有效范围，基于像素点的标注方式能够最大程度上使最终得到的标注图精度高，误差小。

进一步的，步骤S4包括：

采用聚类分析方法在所述第一深度图中获取所述选取点所在的待标注物体的所述第一像素点的位置信息。

利用聚类分析方法能够快速分类出第一像素点，减少标注过程所需的时间，有效提高处理效率。

进一步的，步骤S5包括：

利用基于边缘的点云分割方法对所述第一像素点进行分割处理，以获取所述吸取面的第二像素点的位置信息。

拍摄所得的图像上，物体至少会呈现1个面，在获取第一像素点后，根据物体在图像中所呈现的各个面对第一像素点进一步进行区分，获得属于吸取面的第二像素点，即吸取式机械手吸取物体的有效范围落于该第二像素点组成的区域中，排除部分吸取式机械手无法吸取物体的面的像素点，提高标注精度。

进一步的，步骤S6包括：

在所述标注图中将位置信息对应所述第二像素点的位置信息的第三像素点标注为所述可吸取位置。

进一步的，步骤S6包括：

在所述第一深度图中获取所述吸取面的第一轮廓；

在所述第一深度图中按预设比例等距缩小所述第一轮廓以获得第二轮廓；

在所述第一深度图中获取位于所述第二轮廓内的第四像素点的位置信息；

在所述标注图中将位置信息对应所述第四像素点的位置信息的第五像素点标注为所述可吸取位置。

进一步的，其步骤还包括：

获取第二深度图，所述第二深度图的拍摄位姿与所述第一深度图的拍摄位姿相同，所述第二深度图的像素点和所述第一深度图的像素点的数量及位置均相同，且所述第二深度图不包括任何一个所述待标注物体；

根据以下公式，计算所述第一深度图和所述第二深度图的相同位置像素点的灰度值的差值：

；

其中，

为所述第一深度图中第

个像素点的灰度值，

为所述第二深度图的第

个像素点的灰度值，

为所述差值，n为像素点总数；

在所述差值小于预设的阈值的时候，则以所述差值所对应的所述第一深度图上的像素点为第六像素点；

步骤S2之后，还包括：

在所述标注图中将位置信息对应所述第六像素点的位置信息的第七像素点标注为背景位置。

步骤S5之后还包括：

在所述标注图中将除所述背景位置和所述可吸取位置外的第八像素点标注为不可吸取位置。

第二方面，本发明还提供了一种吸取面的标注装置，用于吸取式机械手的图像处理系统，所述装置包括：

第一获取模块，用于获取第一深度图，所述第一深度图包括至少一个待标注物体的图像；

生成模块，用于根据所述第一深度图生成标注图，所述标注图的像素点和所述第一深度图的像素点的数量及位置均相同；

第二获取模块，用于获取选取点的位置信息；所述选取点落在所述第一深度图中的任意一个所述待标注物体上；

第三获取模块，用于根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息；

第四获取模块，用于根据所述选取点的位置信息和所述第一像素点的位置信息获取吸取面的第二像素点的位置信息，所述吸取面是所述选取点所在的待标注物体上包含所述选取点的平面；

标注模块，用于根据所述第二像素点的位置信息在标注图中标注出可吸取位置。

从图像像素点层面获得可吸取位置的标注图，无疑相比于人工手动标注，其精度更高，所得的标注图可靠性更高。

进一步的，所述第三获取模块用于在根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息的时候，执行：

采用聚类分析方法在所述第一深度图中获取所述选取点所在的待标注物体的所述第一像素点的位置信息。

第三方面，本发明提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述吸取面的标注方法中的步骤。

第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述吸取面的标注方法中的步骤。

由上可知，通过在图像中为待标注物体选择出一个面作为吸取面，并通过聚类分类的方法选取出所有属于吸取面的像素点，根据该像素点从像素层面标注出可吸取位置，其标注结果精确至单个像素，相比于人工标注，本申请的方法能够大大提高了标注精度，有效降低标注误差。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本申请实施例提供的吸取面的标注方法的一种流程图。

图2为本申请实施例提供的吸取面的标注装置的一种结构示意图。

图3为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实际应用中，吸取式机械手一般在执行端设置有吸盘，为了实现对物体的吸取，需要将吸盘吸附在物体的平面上，在仅利用物体的1个平面实现对整个物体吸取的这一种应用场景下，对物体而言，物体上并非各个面都能够稳固地将物体吸起，因此在吸取式机械手进行吸取前，需要从物体上获得一个有效的可吸取区域，使得吸取式机械手在该可吸取区域内进行吸取就能够将物体吸起。

一般的，吸取式机械手需要根据标注图才能够对物体实现精确吸取，标注图一般标注有可吸取位置，吸取式机械手根据标注图并按照预设的控制算法在现实环境中对物体实现吸取，因为吸取式机械手实际所选定的吸取位置是基于标注图中标注的可吸取位置的，因此标注图的标注精度越高，则吸取式机械手吸取物体的成功率越高。

在实际应用时，需要通过摄像头获取放置有待标注物体的拍摄区域的深度图图像，一般通过RGBD相机来获取，经RGBD相机拍摄后可以获得RGB图像和Depth Map深度图；其中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。

标注图则为与RGB图像同尺寸、有相同像素点数量以及像素点位置一一对应的单通道图像，因为标注图为单通道图像，其每一个像素点仅有一个灰度值代表颜色。

在某些优选实施例中，一种吸取面的标注方法，用于吸取式机械手的图像处理系统，其步骤包括：

S1.获取第一深度图，第一深度图包括至少一个待标注物体的图像；

S2.根据第一深度图生成标注图，标注图的像素点和第一深度图的像素点的数量及位置均相同；

S3.获取选取点的位置信息；选取点落在第一深度图中的任意一个待标注物体上；

S4.根据选取点的位置信息，获取第一深度图中的选取点所在的待标注物体的第一像素点的位置信息；

S5.根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面；

S6.根据第二像素点的位置信息在标注图中标注出可吸取位置。

本实施例中，通过RGBD相机获取第一深度图，该第一深度图为一个拍摄区域上的图像，第一深度图中可以包括多个待标注物体，该待标注物体在现实中即为吸取式机械手即将进行吸取的目标。

需要说明的是，标注图可以由吸取式机械手的图像处理系统自动生成，也可以由用户在计算机中生成再输入至吸取式机械手的图像处理系统中；生成的标注图可以是纯色的图像，例如纯红色、纯绿色和纯蓝色等，标注图上各个像素点的初始颜色并不作要求，仅在进行标注时需要将对应位置上的像素点的颜色改变为固定灰度值的颜色，并不影响完成所有位置标注的标注图的最终效果。

建立标注图后，需要由人工在第一深度图上设定选取点，选取点是根据人为判断选定的，所获取的第一深度图中的待标注物体可能会显示出多个面，但在吸取式机械手进行吸取时并非所有面都能够实现稳固吸取，因此需要人为判断出最有可能成为吸取式机械手能够稳固吸取该物体的面，并在该面上设定一个选取点。

需要说明的是，为了简明扼要，下文在获取像素点时即相当于同时获取该像素点的位置信息（坐标位置）。

在第一深度图中所有待标注物体均设定一个选取点后，根据第一深度图建立坐标系即可获得第一深度图中各个像素点的位置信息和各个选取点的位置信息。吸取式机器人的图像处理系统即可根据选取点的位置信息定位该选取点所对应的待标注物体，并获取所有属于该待标注物体的第一像素点，获得第一像素点后进一步获取选取点所在的面（如上文所述选取点由人为选定在待标注物体的一个面上）的第二像素点，最后根据第二像素点在标注图中按照设定的规则将与部分第二像素点或所有第二像素点对应位置的像素点标注为可吸取位置（即将标注图中与部分第二像素点或所有第二像素点对应位置的像素点的灰度值设定为0.5）。

在某些实施例中，步骤S4包括：

采用聚类分析方法在第一深度图中获取选取点所在的待标注物体的第一像素点的位置信息。

以一个待标注物体为例（为了简明扼要，本例子中将该待标注物体称为目标物体，该待标注物体对应的选取点称为目标选取点，该待标注物体上包含选取点的吸取面称为目标吸取面，该其他待标注物体称为其它物体），先以目标选取点为中心在第一深度图中划定一个范围，至少确保整个目标吸取面的所有像素点均处于该范围内（此时在该范围内可能还包括有属于背景位置的像素点以及属于其他物体的像素点），图像处理系统根据该范围通过现有的聚类分析方法（例如欧式聚类分割方法）即能够提取出所有属于目标物体的第一像素点（亦可称作为第一点云），从而获得第一像素点的位置信息。

需要说明的是，上述例子中，以目标选取点为中心所划定的范围可以是预设半径的圆形范围或预设边长的方形范围等，甚至可以是整个第一深度图，但范围越大，所包含的像素点就越多，聚类分析过程就复杂，因此一般只要求该范围能够覆盖整个目标吸取面即可，能够有效减少聚类分析过程中的运算量。

还需要说明的是，上述范围可以通过设定数值由图像处理系统划定或人工进行划定。

在某些的实施例中，步骤S5包括：

根据基于边缘的点云分割方法对第一像素点进行分割处理，以获取吸取面的第二像素点的位置信息。

第一像素点经过分割处理后，第一像素点被分类成各个类别的像素点，各个类别的像素点组成的区域对应第一深度图中待标注物体上的各个面，即各个类别的像素点的集合分别为待标注物体的各个面上的像素点的集合，其中，选取点所在的平面即为吸取面，包含选取点的一类像素点集合中的像素点即为第二像素点。

一般在相机拍摄所得的图像上，待标注物体会呈现出至少1个面；例如，待标注物体在第一深度图中显示有顶面和两个侧面，而选取点位于顶面上，通过基于边缘的点云分割方法处理第一像素点后，第一像素点被分割成为3份：属于顶面的像素点、属于其中一侧面的像素点以及属于另一侧面的像素点，至此，选取点所位于的顶面即为吸取面，属于顶面的像素点即为第二像素点。

需要说明的是，基于边缘的点云分割方法为现有技术，在此不再赘述。

在实际应用中，假设有两个待标注物体的吸取面距离相近，若直接通过聚类分析方法进行分类有可能会将两个待标注物体的吸取面所对应的像素点均被分为同一类，为了避免这种问题发生，上述实施例先通过获取所有属于待标注物体的第一像素点，有效将其它待标注物体的像素点排除在外，避免相邻的两个吸取面的像素点相互干扰，再对第一像素点根据待标注物体的各个面进行分类，最终获得属于吸取面的所有第二像素点，这种方式大大提高吸取面的第二像素点获取准确度和可靠性。

在实际应用中，在根据选取点所在的待标注物体的各个面对第一像素点进行分类后，有可能因为图像噪点、算法精度等问题，导致存在部分像素点未被分类到第二像素点中，而实际上该部分像素点应当属于第二像素点中，最终所导致的结果是由第二像素点组成的区域内存在多个空洞。

在某些优选的实施例中，为了解决上述空洞问题，本实施例的吸取面的标注方法的步骤还包括：

对第二像素点进行膨胀和腐蚀处理，获得第九像素点的位置信息。通过膨胀和腐蚀处理，以使空洞消除，确保吸取面上所有像素点均全部提取。

需要说明的是膨胀和腐蚀目的在于消除吸取面上的空洞，通过进一步优化第二像素点以确保吸取面上所有的像素点均能被提取。图像的膨胀和腐蚀处理为现有技术，在此不再赘述。

在某些实施例中，步骤S6包括：

在标注图中将位置信息对应第二像素点的位置信息的第三像素点标注为可吸取位置。

本实施例中，将所有第二像素点均标注为可吸取位置，因此在标注图上将位置信息对应第二像素点的位置信息的第三像素点标注为可吸取位置，即吸取式机械手能够在由第三像素点所组成的区域内实现对该物体的吸取。

在实际应用中，大部分吸取式机械手吸取物体时都会以吸盘中心为定位中心， 若将第三像素点（即整个吸取面）作为可吸取位置，可能会存在某些像素点的位置并不有利于吸取式机械手进行吸取，例如吸取面轮廓边缘上的像素点，在实际使用的吸取式机械手上的吸盘具有一定大小，其大小一般远大于图像上的单个像素点，若吸盘中心定位在轮廓边缘的像素点上，则吸盘的一部分会位于吸取面外，导致吸盘无法有效吸紧该吸取面。

在某些优选的实施例中，步骤S6包括：

在第一深度图中获取吸取面的第一轮廓；

在第一深度图中按预设比例等距缩小第一轮廓以获得第二轮廓；

在第一深度图中获取位于第二轮廓内的第四像素点的位置信息；

在标注图中将对应第四像素点的位置信息的第五像素点标注为可吸取位置。

本实施例中，因为吸取面轮廓边缘的像素点也属于第二像素点，而实际应用中，物体的轮廓边缘可能并不适合吸取式机械手进行吸取，因此需要从第一深度图中获取吸取面的第一轮廓，然后根据预设的比例（例如缩小10%-40%或根据具体使用的吸盘大小进行缩小）将第一轮廓缩小成第二轮廓以使吸取式机械手的吸盘中心对准在第二轮廓内部的第四像素点时，该吸盘亦不会偏离在吸取面外，确保吸取式机械手能够有效吸取物体。

相应的，从第一深度图中获取第二轮廓内的第四像素点的位置信息，根据该位置信息在标注图上找出对应位置的第五像素点并标注为可吸取位置。

需要说明的是，等距缩小指的是将第一轮廓按一定比例缩小后，第二轮廓位于第一轮廓内部且第二轮廓和第一轮廓之间的各个位置保持相同距离；实际上，第四像素点为第二像素点的其中一部分。

实际应用中，标注图除了需要标注出可吸取位置外，还需要标注出不可吸取位置和背景位置，而因为标注图为单通道图像，因此可以通过设置三个不同的灰度值分别对应可吸取位置、不可吸取位置和背景位置，以使三者能够在标注图上被明显区分。

例如，设定标注图中的各个像素点对应的灰度值只能在0、0.5和1中进行取值，灰度值等于0即代表该像素点属于不可吸取位置；灰度值等于0.5即代表该像素点属于可吸取位置；灰度值等于1即代表该像素点为背景位置。

在某些实施例中，吸取面的标注方法还包括步骤：

获取第二深度图，第二深度图的拍摄位姿与第一深度图的拍摄位姿相同，第二深度图的像素点和第一深度图的像素点的数量及位置均相同，且第二深度图不包括任何一个待标注物体；

根据以下公式，计算第一深度图和第二深度图的相同位置像素点的灰度值的差值：

； （公式1）

其中，

为第一深度图中第

个像素点的灰度值，

为第二深度图的第

个像素点的灰度值，

为差值，n为像素点总数；

在差值小于预设的阈值的时候，则以差值所对应的第一深度图上的像素点为第六像素点；

步骤S2之后，还包括：

在标注图中将位置信息对应第六像素点的位置信息的第七像素点标注为背景位置。

步骤S5之后还包括：

在标注图中将除背景位置和可吸取位置外的第八像素点标注为不可吸取位置。

本实施例中利用背景差分法从第一深度图中区分出属于背景位置的像素点，从而在标注图上标注出背景位置。首先需要获取不放置任何待标注物体的拍摄区域的第二深度图（第二深度图上各个像素点均相当于为背景位置），然后将待标注物体放置在该拍摄区域内，并获取第一深度图。第一深度图和第二深度图之间的差异则在于是否存在待标注物体，基于此，分别获取第一深度图和第二深度图所有像素点的灰度值，并对两者的对应位置的各个像素点的灰度值进行逐一对比，且根据上述公式1进行计算，获得相同位置上两者像素点之间灰度值的差值。若两者相同位置上像素点对应的灰度值的差值小于预设的阈值，则获取该位置对应在第一深度图中的第六像素点的位置信息，并在标注图上将位置信息对应第六像素点的位置信息的第七像素点标注为背景位置。

当标注图上标注出可吸取位置和背景位置后，标注图上未进行任何标注的第八像素点则为不可吸取位置。

请参照图2，图2是本申请一些实施例中的一种吸取面得标注装置，用于吸取式机械手的图像处理系统，该装置以计算机程序的形式集成在该吸取面的标注装置的后端控制设备中，该吸取面的标注装置包括：

第一获取模块100，用于获取第一深度图，第一深度图包括至少一个待标注物体的图像；

生成模块200，用于根据第一深度图生成标注图，标注图的像素点和第一深度图的像素点的数量及位置均相同；

第二获取模块300，用于获取选取点的位置信息；选取点落在第一深度图中的任意一个待标注物体上；

第三获取模块400，用于根据选取点的位置信息，获取第一深度图中的选取点所在的待标注物体的第一像素点的位置信息；

第四获取模块500，用于根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面；

标注模块600，用于根据第二像素点的位置信息在标注图中标注出可吸取位置。

在某些实施例中，第三获取模块400用于在根据选取点的位置信息，获取第一深度图中的选取点所在的待标注物体的第一像素点的位置信息的时候，执行：

采用聚类分析方法在第一深度图中获取选取点所在的待标注物体的第一像素点的位置信息。

在某些实施例中，第四获取模块500用于根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面的时候执行：

根据基于边缘的点云分割方法对所述第一像素点进行分割处理，以获取所述吸取面的第二像素点的位置信息。

在某些实施例中，标注模块600在根据第二像素点的位置信息在标注图中标注出可吸取位置的时候执行：

在标注图中将位置信息对应第二像素点的位置信息的第三像素点标注为可吸取位置。

在某些实施例中，标注模块600在根据第二像素点的位置信息在标注图中标注出可吸取位置的时候执行：

在第一深度图中获取吸取面的第一轮廓；

在第一深度图中按预设比例等距缩小第一轮廓以获得第二轮廓；

在第一深度图中获取位于第二轮廓内的第四像素点的位置信息；

在标注图中将位置信息对应第四像素点的位置信息的第五像素点标注为可吸取位置。

在某些实施例中，该吸取面的标注装置还包括：

第五获取模块，用于执行：

获取第二深度图，第二深度图的拍摄位姿与第一深度图的拍摄位姿相同，第二深度图的像素点和第一深度图的像素点的数量及位置均相同，且第二深度图不包括任何一个待标注物体；

根据以下公式，计算第一深度图和第二深度图的相同位置像素点的灰度值的差值：

；

其中，

为第一深度图中第

个像素点的灰度值，

为第二深度图的第

个像素点的灰度值，

为差值，n为像素点总数；

在差值小于预设的阈值的时候，则以差值所对应的第一深度图上的像素点为第六像素点；

且在生成模块200根据第一深度图生成标注图，标注图的像素点和第一深度图的像素点的数量及位置均相同之后，执行：

在标注图中将位置信息对应第六像素点的位置信息的第七像素点标注为背景位置。

且在第四获取模块500根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面之后，执行：

在标注图中将除背景位置和可吸取位置外的第八像素点标注为不可吸取位置。

请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器1301和存储器1302，处理器1301和存储器1302通过通信总线1303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器1302存储有处理器1301可执行的计算机程序，当计算设备运行时，处理器1301执行该计算机程序，以执行上述第一方面的实施例的任一可选的实现方式中的吸取面的标注方法，以实现以下功能：获取第一深度图，第一深度图包括至少一个待标注物体的图像；根据第一深度图生成标注图，标注图的像素点和第一深度图的像素点的数量及位置均相同；获取选取点的位置信息；选取点落在第一深度图中的任意一个待标注物体上；根据选取点的位置信息，获取第一深度图中的选取点所在的待标注物体的第一像素点的位置信息；根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面；根据第二像素点的位置信息在标注图中标注出可吸取位置。

本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述第一方面的实施例的任一可选的实现方式中的吸取面的标注方法，以实现以下功能：获取第一深度图，第一深度图包括至少一个待标注物体的图像；根据第一深度图生成标注图，标注图的像素点和第一深度图的像素点的数量及位置均相同；获取选取点的位置信息；选取点落在第一深度图中的任意一个待标注物体上；根据选取点的位置信息，获取第一深度图中的选取点所在的待标注物体的第一像素点的位置信息；根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面；根据第二像素点的位置信息在标注图中标注出可吸取位置。

其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种吸取面的标注方法，用于吸取式机械手的图像处理系统，其特征在于，其步骤包括：

S1.获取第一深度图，所述第一深度图包括至少一个待标注物体的图像；

S2.根据所述第一深度图生成标注图，所述标注图的像素点和所述第一深度图的像素点的数量及位置均相同；

S3.获取选取点的位置信息；所述选取点落在所述第一深度图中的任意一个所述待标注物体上；所述选取点为人工设定的一个点；

S4.根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息；所述第一像素点为所有属于所述待标注物体的像素点；

S5.根据所述选取点的位置信息和所述第一像素点的位置信息获取吸取面的第二像素点的位置信息，所述吸取面是所述选取点所在的待标注物体上包含所述选取点的平面；所述第二像素点为所有属于所述吸取面的像素点；

S6.根据所述第二像素点的位置信息在所述标注图中标注出可吸取位置；

步骤S4包括：采用聚类分析方法在所述第一深度图中获取所述选取点所在的待标注物体的所述第一像素点的位置信息；

步骤S5包括：根据基于边缘的点云分割方法对所述第一像素点进行分割处理，以获取吸取面的第二像素点的位置信息。

2.根据权利要求1所述的吸取面的标注方法，其特征在于，步骤S6包括：

在所述标注图中将位置信息对应所述第二像素点的位置信息的第三像素点标注为所述可吸取位置。

3.根据权利要求1所述的吸取面的标注方法，其特征在于，步骤S6包括：

在所述第一深度图中获取所述吸取面的第一轮廓；

在所述第一深度图中按预设比例等距缩小所述第一轮廓以获得第二轮廓；

在所述第一深度图中获取位于所述第二轮廓内的第四像素点的位置信息；

在所述标注图中将位置信息对应所述第四像素点的位置信息的第五像素点标注为所述可吸取位置。

4.根据权利要求1所述的吸取面的标注方法，其特征在于，其步骤还包括：

获取第二深度图，所述第二深度图的拍摄位姿与所述第一深度图的拍摄位姿相同，所述第二深度图的像素点和所述第一深度图的像素点的数量及位置均相同，且所述第二深度图不包括任何一个所述待标注物体；

根据以下公式，计算所述第一深度图和所述第二深度图的相同位置像素点的灰度值的差值：

；

其中，

为所述第一深度图中第

个像素点的灰度值，

为所述第二深度图的第

个像素点的灰度值，

为所述差值，n为像素点总数；

在所述差值小于预设的阈值的时候，则以所述差值所对应的所述第一深度图上的像素点为第六像素点；

步骤S2之后，还包括：

在所述标注图中将位置信息对应所述第六像素点的位置信息的第七像素点标注为背景位置；

步骤S5之后还包括：

在所述标注图中将除所述背景位置和所述可吸取位置外的第八像素点标注为不可吸取位置。

5.一种吸取面的标注装置，用于吸取式机械手的图像处理系统，其特征在于，所述吸取面的标注装置包括：

第一获取模块，用于获取第一深度图，所述第一深度图包括至少一个待标注物体的图像；

生成模块，用于根据所述第一深度图生成标注图，所述标注图的像素点和所述第一深度图的像素点的数量及位置均相同；

第二获取模块，用于获取选取点的位置信息；所述选取点落在所述第一深度图中的任意一个所述待标注物体上；所述选取点为人工设定的一个点；

第三获取模块，用于根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息；所述第一像素点为所有属于所述待标注物体的像素点；

第四获取模块，用于根据所述选取点的位置信息和所述第一像素点的位置信息获取吸取面的第二像素点的位置信息，所述吸取面是所述选取点所在的待标注物体上包含所述选取点的平面；所述第二像素点为所有属于所述吸取面的像素点；

标注模块，用于根据所述第二像素点的位置信息在所述标注图中标注出可吸取位置；

第三获取模块用于在根据所述选取点的位置信息，获取所述第一深度图中的所述选取点所在的待标注物体的第一像素点的位置信息的时候，执行：

采用聚类分析方法在所述第一深度图中获取所述选取点所在的待标注物体的所述第一像素点的位置信息；

第四获取模块用于根据选取点的位置信息和第一像素点的位置信息获取吸取面的第二像素点的位置信息，吸取面是选取点所在的待标注物体上包含选取点的平面的时候执行：

根据基于边缘的点云分割方法对所述第一像素点进行分割处理，以获取所述吸取面的第二像素点的位置信息。

6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一项所述吸取面的标注方法中的步骤。

7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一所述吸取面的标注方法中的步骤。

Images