CN111598946B - 一种物体位姿测量方法、装置及存储介质 - Google Patents
一种物体位姿测量方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111598946B CN111598946B CN202010182093.XA CN202010182093A CN111598946B CN 111598946 B CN111598946 B CN 111598946B CN 202010182093 A CN202010182093 A CN 202010182093A CN 111598946 B CN111598946 B CN 111598946B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- model
- scene
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 238000013139 quantization Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 63
- 238000012216 screening Methods 0.000 claims description 17
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 16
- 230000008859 change Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种物体位姿测量方法、装置及存储介质，所述方法包括离线建模阶段和在线匹配阶段，离线建模阶段是对物体三维模型进行特征建模，并存储起来以供后续场景物体位姿的测量使用；而在线匹配阶段是对给定的场景RGB‑D图像进行物体位姿测量；本发明提供了一种高效的模型采样策略，能够减少后续运算量；又能够保留足够的物体表面变化信息；限定了计算点对特征时的距离范围，降低了过多背景点云的匹配干扰；提出了量化扩充方法，减少了噪声对点对特征计算产生偏移的影响；从彩色图像提取边缘信息，筛选候选物体位姿并进行ICP配准，提升了测量精度，从而对于遮挡、聚集、堆叠等情况下的场景识别率更加准确。本发明广泛应用于三维计算机视觉领域。
Description
技术领域
本发明涉及三维计算机视觉领域，尤其是一种物体位姿测量方法、装置及存储介质。
背景技术
近年来随着产业升级的发展，制造业自动化成为经济发展的重要驱动，而制造业中的机器人自动分拣物体又是制造业自动化的重要表现。物体在三维空间中的位姿是机器人识别、定位、抓取、操纵物体的重要参考。获取物体位姿的过程称为物体6维姿态测量，这是三维计算机视觉领域中的重要问题。一个物体从某个参考坐标系下的A处经过旋转平移变换到B处，这个旋转平移过程记为TAB，TAB由x、y、z共3个平移量和φ、χ、ψ共3个关于坐标轴的旋转角构成，总共有6个自由度，因此TAB称为该物体的6维姿态，即物体位姿。
一种基于点对特征(Point Pair Feature,PPF)的方法(Drost et al.ModelGlobally,Match Locally:Efficient and Robust 3D Object Recognition.In:Conference on Computer Vision and Pattern Recognition(2010))被广泛应用于物体姿态测量。该方法构建了整个三维模型的全局特征，然后提取场景中的特征进行匹配。建模阶段使用了模型的所有点云，有利于表征整个三维模型表面信息。该方法使用了一种4维特征来表征位于模型表面的两个点之间的信息，该特征由两点间距离、两点法向量的夹角、两点法向量与两点间距离向量的夹角构成，简称为点对特征(Point Pair Feature,PPF)。PPF需要量化后存储于哈希表中，方便后续快速查找。模型和场景数据都构造出这些特征来进行配对，投票获取到一些候选的6维姿态。接下来对这些候选姿态进行聚类，将相似姿态聚合在一起并求平均，来获得更准确的姿态。接下来使用迭代最近点算法(Iterative ClosetPoint,ICP)对姿态进行精细化ICP配准，提高姿态的精度。
现有的基于PPF的方法存在着(1)采样方法过度简化的缺点；按照一定大小的栅格对模型采样时，同一栅格内的点云被简单的求平均，当该栅格内的点云的法向量间的夹角存在较大变换时，采样方式就会丢失较多表面变化的关键信息，降低了模型表面差异信息的表达能力。(2)计算量大的缺点；模型点云经过采样后需要对所有点对进行特征计算，但实际场景中物体在任意视角下的部分往往比模型直径小(模型直径指的是包围模型的边框的对角线长度)，存在着计算冗余。(3)对点云噪声缺少鲁棒性的缺点；相机拍摄到的点云本身就存在噪声，噪声会使得点云的位置和法向量出现一定偏差，计算出来场景特征会出现一定的偏差，该方法无法对噪声偏差进行补偿。(4)无法综合利用彩色-深度(RGB-D)图像的缺点；该方法只在深度图像上运行，只使用了场景的三维空间信息，无法从彩色图像获取某些信息辅助姿态测量。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种物体位姿测量方法、装置及存储介质。
本发明所采取的技术方案是：一方面，本发明实施例包括一种物体位姿测量方法，包括离线建模阶段和在线匹配阶段；
所述离线建模阶段包括：
输入物体的三维模型，所述三维模型包含模型点云坐标和模型点云法向量；
对所述模型点云坐标和模型点云法向量进行采样；
在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征；
将提取到的所述模型点对特征存储到哈希表中；
所述在线匹配阶段包括：
输入深度图像，根据相机内参计算出所述深度图像每个像素点对应的场景点云坐标，并根据所述点云坐标计算出场景点云法向量；
对所述场景点云坐标和场景点云法向量进行采样；
在采样得到的场景点云坐标和场景点云法向量中构建特征集，计算场景点对特征；
对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿；
输入彩色图像提取场景边缘点云；
根据所述场景边缘点云对所述候选物体位姿进行筛选；
将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿；
使用迭代最近点算法对所述初步物体位姿进行配准，得到最终物体位姿。
进一步地，所述对所述模型点云坐标和模型点云法向量进行采样这一步骤，具体包括：
根据模型点云坐标，计算出包围模型点云的边界框，得到模型点云空间；
对所述模型点云空间进行栅格化，得到多个大小相等的栅格，每个所述栅格包含多个点云，每个点云包含对应的模型点云坐标和模型点云法向量；
对每个所述栅格中包含的点云根据模型点云法向量之间的夹角的大小进行聚类；
对每个聚类中的模型点云坐标和模型点云法向量求平均值，得到每个栅格采样后的模型点云坐标和模型点云法向量。
进一步地，所述在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征这一步骤，具体包括：
对采样得到的模型点云坐标构造K-D树；
选取参考点，所述参考点为采样得到的模型点云坐标中的任意一点；
在所述K-D树中查找目标点，所述目标点为与所述参考点距离小于第一阈值的点；
依次计算所述参考点与目标点构成的模型点对特征。
进一步地，所述将提取到的所述模型点对特征存储到哈希表中这一步骤，具体包括：
对提取到的所述模型点对特征进行量化处理；
将量化结果通过哈希函数求出一个键值，作为所述点对特征在哈希表中的索引；
将具有相同索引的点对特征存储在哈希表的同一个桶中，不同索引的点对特征存储在哈希表的不同桶中。
进一步地，所述对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿这一步骤，具体包括：
将提取到的所述场景点对特征进行量化处理；
对量化结果进行扩充，以补偿噪声引起的特征偏移；
将扩充后的多个结果值作为键值，在哈希表中寻找具有相同键值的模型点对特征；
根据所述模型点对特征，获取多个候选物体位姿。
进一步地，所述输入彩色图像提取场景边缘点云这一步骤，具体包括：
将所述彩色图像进行灰度化；
使用边缘检测器对灰度化后的图像进行边缘检测；
将位于图像边缘处的像素与深度图像一一对应，并根据相机内参计算出像素点的空间坐标；
提取所述空间坐标作为场景边缘点云。
进一步地，所述根据所述场景边缘点云对所述候选物体位姿进行筛选这一步骤，具体包括：
根据相机内参，将所述候选物体位姿对应的物体三维模型投射到成像平面，获取所述三维模型的边缘点云；
在所述三维模型的边缘点云中选取任意一点作为参考点，在所述场景边缘点云中找出对应的匹配点，所述匹配点为距离所述参考点最近的点；
计算第一距离，所述第一距离为匹配点到参考点的距离，若所述第一距离小于第二阈值，则保留所述匹配点，否则舍去所述匹配点；
计算被保留的匹配点的点数占所述三维模型的边缘点云中的总点数的比例，若所述比例大于第三阈值，则保留所述三维模型对应的候选物体位姿，否则舍弃。
进一步地，所述将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿这一步骤，具体包括：
选取筛选得到的候选物体位姿中的任意一个为第一候选物体位姿；
分别计算所述第一候选物体位姿与筛选得到的其他候选无物体位姿之间的距离；
将所述筛选得到的候选物体位姿各自初始化为相应个数的聚类；
按照层次化聚类的方法将筛选得到的候选物体位姿进行聚类；
在每个聚类中提取投票分数最高的候选物体位姿，得到多个初步物体姿态。
另一方面，本发明实施例还包括一种物体位姿测量的装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行所述的一种物体位姿测量方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种物体位姿测量方法。
本发明的有益效果是：(1)本发明提供了一种更加高效的模型采样策略，减少了点云数量，从而能够减少后续运算量；又能够保留足够的物体表面变化信息；(2)限定了计算点对特征时的距离范围，减少了模型和场景数据的点对特征计算量，也降低了过多背景点云的匹配干扰；(3)提出了量化扩充方法，减少了噪声对点对特征计算产生偏移的影响；(4)引入了彩色图像信息，增加了输入信息，并从彩色图像提取边缘信息，筛选候选物体位姿并进行ICP配准，提升了测量精度，从而对于遮挡、聚集、堆叠等情况下的场景识别率更加准确。
附图说明
图1为实施例所述一种物体位姿测量方法的流程示意图；
图2为实施例所述离线建模阶段的步骤流程图；
图3为实施例所述在线匹配阶段的步骤流程图。
具体实施方式
如图1所述，本实施例包括一种物体位姿测量方法，包括离线建模阶段和在线匹配阶段；
所述离线建模阶段包括：
输入物体的三维模型，所述三维模型包含模型点云坐标和模型点云法向量；
对所述模型点云坐标和模型点云法向量进行采样；
在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征；
将提取到的所述模型点对特征存储到哈希表中；
所述在线匹配阶段包括：
输入深度图像，根据相机内参计算出所述深度图像每个像素点对应的场景点云坐标，并根据所述点云坐标计算出场景点云法向量；
对所述场景点云坐标和场景点云法向量进行采样；
在采样得到的场景点云坐标和场景点云法向量中构建特征集，计算场景点对特征；
对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿；
输入彩色图像提取场景边缘点云；
根据所述场景边缘点云对所述候选物体位姿进行筛选；
将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿；
使用迭代最近点算法对所述初步物体位姿进行配准，得到最终物体位姿。
本实施例中，离线建模阶段主要是对物体三维模型进行特征建模，并存储起来以供后续场景姿态测量使用；而在线匹配阶段主要是对给定的场景RGB-D图像进行物体位姿测量。
进一步，参照图2，离线建模阶段包括以下步骤：
S1.输入物体的三维模型，所述三维模型包含模型点云坐标和模型点云法向量；
S2.对所述模型点云坐标和模型点云法向量进行采样；
S3.在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征；
S4.将提取到的所述模型点对特征存储到哈希表中。
本实施例中，对于离线建模阶段，由于无需输入场景图像，故称为离线建模阶段；本阶段的步骤S1，也就是输入物体的三维模型，所述三维模型无需带有纹理、颜色等信息，只需要保留点云坐标和点云法向量，例如计算机建模得到的CAD模型或者三维重建技术得到的3D模型，该过程能够降低三维模型建模的复杂度。
步骤S2，也就是对所述模型点云坐标和模型点云法向量进行采样这一步骤，具体包括以下步骤：
S201.根据模型点云坐标，计算出包围模型点云的边界框，得到模型点云空间；
S202.对所述模型点云空间进行栅格化，得到多个大小相等的栅格，每个所述栅格包含多个点云，每个点云包含对应的模型点云坐标和模型点云法向量；
S203.对每个所述栅格中包含的点云根据模型点云法向量之间的夹角的大小进行聚类；
S204.对每个聚类中的模型点云坐标和模型点云法向量求平均值，得到每个栅格采样后的模型点云坐标和模型点云法向量。
本实施例中，按照模型点云坐标在X，Y，Z轴上的最大最小值计算出包围点云的边界框，得到模型点云空间，边界框的对角线直径记为模型直径dm；将模型点云空间栅格化，每个栅格为一个小正方体，且每个栅格大小相等。栅格的大小设置为τ×dm，τ为采样系数，设置为0.05；每个栅格中包含多个点云，每个点云包含对应的模型点云坐标和模型点云法向量；对于每个栅格，我们对其中的点云按照点云法向量之间的夹角大小进行聚类，所述夹角大小不超过阈值Δθ属于同一聚类，然后将每个聚类中的模型点云坐标和模型点云法向量求平均值，就得到每个栅格采样后的模型点云坐标和模型点云法向量。对于模型空间中的所有栅格都采用该采样策略，其中，Δθ一般设为
通过这种采样策略，既减少了后续运算量，又降低了采样策略丢失表面变化信息的影响，且点对之间的辨识度信息也能够被保留下来。
步骤S3，也就是在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征这一步骤，具体包括以下步骤：
S301.对采样得到的模型点云坐标构造K-D树；
S302.选取参考点，所述参考点为采样得到的模型点云坐标中的任意一点；
S303.在所述K-D树中查找目标点，所述目标点为与所述参考点距离小于第一阈值的点；
S304.依次计算所述参考点与目标点构成的模型点对特征。
本实施例中，对采样得到的的模型点云坐标构造K-D树，以方便后续进行快速距离搜索；对于采样后的每个点，一一记为参考点，然后在K-D树中查找目标点，所述目标点为与参考点距离小于drange的点，此处的drange便为第一阈值，依次计算所述参考点与目标点构成的模型点对特征。其具体的计算过程为：记参考点坐标为mr，参考点对应的法向量为nr，目标点为ms，目标点对应的法向量为ns，参考点与目标点构成的模型点对特征Fr,s＝(||dr,s||,∠(nr,dr,s),∠(ns,dr,s),∠(nr,ns))，其中dr,s表示从点mr到点ms的距离向量，||dr,s||表示dr,s的距离，∠(nr,dr,s)表示法向量为nr与距离向量dr,s的夹角，依次类推，∠(ns,dr,s)表示法向量ns与距离向量dr,s的夹角，∠(nr,ns)表示法向量nr与法向量ns的夹角。其中，第一阈值
dmin和dmed分别是模型边界框的两条短边。在实际场景的大多数视角下，模型的可见部分长度往往小于dm但又大于dmin，因此对场景中距离较远的点对构建特征时，会把较多的背景点云算进去，增加算法的误识别率，也增加了构建特征的计算量，因此，本实施例中选用drange作为距离上限来减少上述影响，也就是说，该过程限定了计算点对特征时的距离范围，减少了模型和场景数据的点对特征计算量，也降低了过多背景点云的匹配干扰。
步骤S4，也就是将提取到的所述模型点对特征存储到哈希表中这一步骤，具体包括以下步骤：
S401.对提取到的所述模型点对特征进行量化处理；
S402.将量化结果通过哈希函数求出一个键值，作为所述点对特征在哈希表中的索引；
S403.将具有相同索引的点对特征存储在哈希表的同一个桶中，不同索引的点对特征存储在哈希表的不同桶中。
本实施例中，对于提取到的所述模型点对特征Fr,s＝(||dr,s||,∠(nr,dr,s),∠(ns,dr,s),∠(nr,ns))进行量化，得到
其中一般设置Δd＝0.05dm，
将量化后的值Qr,s通过哈希函数求出一个键值，所述键值为一个非负整数，作为该点对特征在哈希表中的索引，具有相同索引的点对特征存储在哈希表的同一个桶中，不同索引的点对6特征则存储于哈希表的不同桶中。
关于在线匹配阶段，需要分别输入场景的彩色图像和深度图像，参照图3，该阶段包括以下步骤：
D1.输入深度图像，根据相机内参计算出所述深度图像每个像素点对应的场景点云坐标，并根据所述点云坐标计算出场景点云法向量；
D2.对所述场景点云坐标和场景点云法向量进行采样；
D3.在采样得到的场景点云坐标和场景点云法向量中构建特征集，计算场景点对特征；
D4.对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿；
D5.输入彩色图像提取场景边缘点云；
D6.根据所述场景边缘点云对所述候选物体位姿进行筛选；
D7.将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿；
D8.使用迭代最近点算法对所述初步物体位姿进行配准，得到最终物体位姿。
步骤D1中，根据相机成像公式：
其中，u、v是点在成像平面的坐标，X、Y、Z是点在相机坐标系下的3维坐标，fx、fy、cx、cy是相机内参。因此依照相机内参可以计算出输入的深度图像中每个像素点对应的3维空间坐标，也就是场景点云坐标，并根据所述场景点云坐标可估算出相应的场景点云法向量。
关于步骤D2，也就是对所述场景点云坐标和场景点云法向量进行采样这一过程，本实施例中采用与离线建模的步骤S2相同的采用策略，对所述场景点云坐标和场景点云法向量进行采样。本过程同样能够减少点云数量，从而能够减少后续运算量；又能够保留足够的物体表面变化信息。
同样地，关于步骤D3，本实施例采用与离线建模阶段中步骤S3相同的方法，计算场景点对特征；其具体包括：(1)对步骤D2采样后的场景点云坐标构造K-D树；(2)假设步骤D2采样得到的场景点云坐标数量为N，按照每n个点取一个点做为参考点，总共有
个参考点；(3)对于每个参考点，在K-D树中查找与参考点距离小于drange的点，并构造成场景点对特征，drange的设置与场景点对特征的计算与离线建模阶段的步骤S3相同，在此不再重复赘述。
步骤D4，也就是对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿这一步骤，具体包括以下步骤：
D401.将提取到的所述场景点对特征进行量化处理；
D402.对量化结果进行扩充，以补偿噪声引起的特征偏移；
D403.将扩充后的多个结果值作为键值，在哈希表中寻找具有相同键值的模型点对特征；
D404.根据所述模型点对特征，获取多个候选物体位姿。
本实施例中个，将步骤D3计算得到的场景点对特征集F＝(F1,F2,F3,F4)进行量化，量化方式与离线建模步骤S4的量化方式相同，得到量化后的4维特征Q＝(Q1,Q2,Q3,Q4)；(2)为了减少噪声对量化匹配的影响，本实施例采用如下方式扩充量化后的值Q。设，
i＝1,2,3,4，其中ei为第i维量化误差，Fi为F的每一维的值，Δ为量化间隔。以i＝1为例，当
时，Qnew＝(Q1-1,Q2,Q3,Q4)；当
时，Qnew＝(Q1+1,Q2,Q3,Q4)；当
时，不对Q进行扩充；按照此方式，一个场景点对特征F最多可以量化为16个量化特征，以此补偿噪声引起的特征偏移；(3)设第i个参考点为si，si构建了ni个点对特征。对于si，创建一个投票矩阵，矩阵的每一行代表图像场景点云中的点，每一列代表量化的旋转角度，角度间隔一般取为
矩阵的每个坐标(m,α)表示图像场景中的点m的法向量旋转至与X轴平行，然后平移到原点之后，点m与其他点的连线还需绕着X轴旋转角度α，矩阵初始化为全0矩阵；(4)将扩充后的多个Q值作为键值，在哈希表中进行查找，寻找具有相同键值的模型点对特征。对于查找到的每个点对特征，计算与图像场景中的点m′和要旋转的角度α′，将投票矩阵
的值加1；(5)每个参考点si的投票过程结束后，提取出投票矩阵中最大值对应的行列坐标(m,α)，与计算得出图像场景的物体位姿，(m,α)处的值记为该姿态的分数；(6)将所有参考点计算得到的图像场景的物体位姿保留下来作为候选物体位姿。
步骤D5，也就是输入彩色图像提取场景边缘点云这一步骤，具体包括以下步骤：
D501.将所述彩色图像进行灰度化；
D502.使用边缘检测器对灰度化后的图像进行边缘检测；
D503.将位于图像边缘处的像素与深度图像一一对应，并根据相机内参计算出像素点的空间坐标；
D504.提取所述空间坐标作为场景边缘点云。
本实施例中，将输入的彩色图像进行灰度化后，使用Canny边缘检测器进行边缘检测，以提取图像的边缘像素，将位于边缘处的像素与深度图像一一对应，并根据相机内参计算出像素点的空间坐标，将这些像素点称为场景边缘点云。
步骤D6，也就是根据所述场景边缘点云对所述候选物体位姿进行筛选这一步骤，具体包括以下步骤：
D601.根据相机内参，将所述候选物体位姿对应的物体三维模型投射到成像平面，获取所述三维模型的边缘点云；
D602.在所述三维模型的边缘点云中选取任意一点作为参考点，在所述场景边缘点云中找出对应的匹配点，所述匹配点为距离所述参考点最近的点；
D603.计算第一距离，所述第一距离为匹配点到参考点的距离，若所述第一距离小于第二阈值，则保留所述匹配点，否则舍去所述匹配点；
D604.计算被保留的匹配点的点数占所述三维模型的边缘点云中的总点数的比例，若所述比例大于第三阈值，则保留所述三维模型对应的候选物体位姿，否则舍弃。
本实施例中，对于步骤D4获得的每个候选物体位姿，将所述候选物体位姿对应的三维模型依据相机内参投射到成像平面，得到各个候选物体位姿姿下对应的三维模型的边缘点云；对三维模型的边缘点云中的每个点，在通过步骤D5提取得到的场景边缘点云中寻找距离最近的点，如果该最短距离小于dε，即所述第二阈值，第二阈值dε一般设置为0.1dm，则称该点被正确匹配，并称为匹配点；统计被保留的匹配点的点数占所述三维模型的边缘点云中的总点数的比例，若所述比例大于第三阈值，则保留所述三维模型对应的候选物体位姿，否则舍弃。
步骤D7，也就是将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿这一步骤，具体包括以下步骤：
D701.选取筛选得到的候选物体位姿中的任意一个为第一候选物体位姿；
D702.分别计算所述第一候选物体位姿与筛选得到的其他候选无物体位姿之间的距离；
D703.将所述筛选得到的候选物体位姿各自初始化为相应个数的聚类；
D704.按照层次化聚类的方法将筛选得到的候选物体位姿进行聚类；
D705.在每个聚类中提取投票分数最高的候选物体位姿，得到多个初步物体姿态。
本实施例中，对于步骤D6筛选后得到的候选物体位姿，计算两两之间的距离，姿态间的距离D有两部分组成：位移量差值Δdist和旋转量差值Δrot，其中Δdist<dcluster且Δrot<rotcluster，即位移量差值Δdist要小于聚类间的空间距离阈值dcluster，空间距离阈值dcluster一般设置为物体直径的十分之一，旋转量差值Δrot要小于聚类间的旋转角度阈值rotcluster，旋转角度阈值rotcluster一般设置为30度；如果步骤D6筛选后得到的候选物体位姿有N个，将N个位姿各自初始化为N个聚类，按照层次化聚类方法将相邻的聚类聚合在一起，直至两两聚类间的距离均大于阈值时，聚类结束；将每个聚类中投票数最高的候选物体位姿提取出来，得到多个初步物体姿态。
最后，对于步骤D7得到的多个初步物体位姿，本实施例进一步获取各个初步物体位姿下的模型轮廓点云，将每个所述轮廓点云分别于步骤D5提取得到的场景边缘点云进行ICP配准，获得最后的精确度高的最终物体位姿。
综上所述，本发明实施例中的一种物体位姿测量方法具有以下优点：
(1)本发明实施例提供了一种更加高效的模型采样策略，减少了点云数量，从而能够减少后续运算量；又能够保留足够的物体表面变化信息；(2)限定了计算点对特征时的距离范围，减少了模型和场景数据的点对特征计算量，也降低了过多背景点云的匹配干扰；(3)提出了量化扩充方法，减少了噪声对点对特征计算产生偏移的影响；(4)引入了彩色图像信息，增加了输入信息，并从彩色图像提取边缘信息，筛选候选物体位姿并进行ICP配准，提升了测量精度，从而对于遮挡、聚集、堆叠等情况下的场景识别率更加准确。
本实施例中，所述一种物体位姿测量的装置包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行所述一种物体位姿测量的方法。
所述存储器还可以单独生产出来，并用于存储与所述一种物体位姿测量的方法相应的计算机程序。当这个存储器与处理器连接时，其存储的计算机程序将被处理器读取出来并执行，从而实施所述一种物体位姿测量的方法，达到实施例中所述的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (9)
1.一种物体位姿测量方法，其特征在于，包括离线建模阶段和在线匹配阶段；
所述离线建模阶段包括：
输入物体的三维模型，所述三维模型包含模型点云坐标和模型点云法向量；
对所述模型点云坐标和模型点云法向量进行采样；
在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征；
将提取到的所述模型点对特征存储到哈希表中；
所述在线匹配阶段包括：
输入深度图像，根据相机内参计算出所述深度图像每个像素点对应的场景点云坐标，并根据所述点云坐标计算出场景点云法向量；
对所述场景点云坐标和场景点云法向量进行采样；
在采样得到的场景点云坐标和场景点云法向量中构建特征集，计算场景点对特征；
对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿；
输入彩色图像提取场景边缘点云；
根据所述场景边缘点云对所述候选物体位姿进行筛选；
将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿；
使用迭代最近点算法对所述初步物体位姿进行配准，得到最终物体位姿；
所述对提取到的所述场景点对特征进行量化并与存储在哈希表中的所述模型点对特征匹配，获取多个候选物体位姿这一步骤，具体包括：
将提取到的所述场景点对特征进行量化处理；
对量化结果进行扩充，以补偿噪声引起的特征偏移；
将扩充后的多个结果值作为键值，在哈希表中寻找具有相同键值的模型点对特征；
根据所述模型点对特征，获取多个候选物体位姿；
采用如下方式扩充所述量化结果Q：
设
其中ei为第i维量化误差，Fi为F的每一维的值，Δ为量化间隔；当i＝1，当
时，Qnew＝(Q1-1,Q2,Q3,Q4)，当
时，Qnew＝(Q1+1,Q2,Q3,Q4)，当
时，不对Q进行扩充；其中，Qnew为扩充后的所述量化结果。
2.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述对所述模型点云坐标和模型点云法向量进行采样这一步骤，具体包括：
根据模型点云坐标，计算出包围模型点云的边界框，得到模型点云空间；
对所述模型点云空间进行栅格化，得到多个大小相等的栅格，每个所述栅格包含多个点云，每个点云包含对应的模型点云坐标和模型点云法向量；
对每个所述栅格中包含的点云根据模型点云法向量之间的夹角的大小进行聚类；
对每个聚类中的模型点云坐标和模型点云法向量求平均值，得到每个栅格采样后的模型点云坐标和模型点云法向量。
3.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述在采样得到的模型点云坐标和模型点云法向量中构建特征集，计算模型点对特征这一步骤，具体包括：
对采样得到的模型点云坐标构造K-D树；
选取参考点，所述参考点为采样得到的模型点云坐标中的任意一点；
在所述K-D树中查找目标点，所述目标点为与所述参考点距离小于第一阈值的点；
依次计算所述参考点与目标点构成的模型点对特征。
4.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述将提取到的所述模型点对特征存储到哈希表中这一步骤，具体包括：
对提取到的所述模型点对特征进行量化处理；
将量化结果通过哈希函数求出一个键值，作为所述点对特征在哈希表中的索引；
将具有相同索引的点对特征存储在哈希表的同一个桶中，不同索引的点对特征存储在哈希表的不同桶中。
5.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述输入彩色图像提取场景边缘点云这一步骤，具体包括：
将所述彩色图像进行灰度化；
使用边缘检测器对灰度化后的图像进行边缘检测；
将位于图像边缘处的像素与深度图像一一对应，并根据相机内参计算出像素点的空间坐标；
提取所述空间坐标作为场景边缘点云。
6.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述根据所述场景边缘点云对所述候选物体位姿进行筛选这一步骤，具体包括：
根据相机内参，将所述候选物体位姿对应的物体三维模型投射到成像平面，获取所述三维模型的边缘点云；
在所述三维模型的边缘点云中选取任意一点作为参考点，在所述场景边缘点云中找出对应的匹配点，所述匹配点为距离所述参考点最近的点；
计算第一距离，所述第一距离为匹配点到参考点的距离，若所述第一距离小于第二阈值，则保留所述匹配点，否则舍去所述匹配点；
计算被保留的匹配点的点数占所述三维模型的边缘点云中的总点数的比例，若所述比例大于第三阈值，则保留所述三维模型对应的候选物体位姿，否则舍弃。
7.根据权利要求1所述的一种物体位姿测量方法，其特征在于，所述将筛选得到的候选物体位姿进行聚类，得到多个初步物体位姿这一步骤，具体包括：
选取筛选得到的候选物体位姿中的任意一个为第一候选物体位姿；
分别计算所述第一候选物体位姿与筛选得到的其他候选无物体位姿之间的距离；
将所述筛选得到的候选物体位姿各自初始化为相应个数的聚类；
按照层次化聚类的方法将筛选得到的候选物体位姿进行聚类；
在每个聚类中提取投票分数最高的候选物体位姿，得到多个初步物体姿态。
8.一种物体位姿测量的装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述的方法。
9.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182093.XA CN111598946B (zh) | 2020-03-16 | 2020-03-16 | 一种物体位姿测量方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182093.XA CN111598946B (zh) | 2020-03-16 | 2020-03-16 | 一种物体位姿测量方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598946A CN111598946A (zh) | 2020-08-28 |
| CN111598946B true CN111598946B (zh) | 2023-03-21 |
Family
ID=72183322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010182093.XA Active CN111598946B (zh) | 2020-03-16 | 2020-03-16 | 一种物体位姿测量方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598946B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932628B (zh) * | 2020-09-22 | 2025-02-21 | 深圳市商汤科技有限公司 | 一种位姿确定方法及装置、电子设备、存储介质 |
| CN112734932A (zh) * | 2021-01-04 | 2021-04-30 | 深圳辰视智能科技有限公司 | 一种条形物体拆垛方法、拆垛装置及计算机可读存储介质 |
| CN113288122B (zh) * | 2021-05-21 | 2023-12-19 | 河南理工大学 | 一种可穿戴坐姿监测装置和坐姿监测方法 |
| CN113723468B (zh) * | 2021-08-06 | 2023-08-04 | 西南科技大学 | 一种三维点云的物体检测方法 |
| CN113627548A (zh) * | 2021-08-17 | 2021-11-09 | 熵智科技(深圳)有限公司 | 一种平面工件模板匹配方法、装置、介质及计算机设备 |
| CN114004899B (zh) * | 2021-11-12 | 2024-05-14 | 广东嘉腾机器人自动化有限公司 | 一种栈板位姿识别方法、存储介质及设备 |
| CN114170312A (zh) * | 2021-12-07 | 2022-03-11 | 南方电网电力科技股份有限公司 | 一种基于特征融合的目标物体位姿估计方法及装置 |
| CN114332410B (zh) * | 2021-12-21 | 2025-02-14 | 青岛慧拓智能机器有限公司 | 一种用于智能路侧单元的点云背景滤波方法及系统 |
| CN114821125B (zh) * | 2022-04-08 | 2024-05-14 | 跨维(深圳)智能数字科技有限公司 | 一种物体六自由度姿态估计方法、系统、装置及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
| CN109029322A (zh) * | 2018-07-16 | 2018-12-18 | 北京芯合科技有限公司 | 一种全新数控机器人多坐标测量系统及测量方法 |
| CN110706332A (zh) * | 2019-09-25 | 2020-01-17 | 北京计算机技术及应用研究所 | 一种基于噪声点云的场景重建方法 |
-
2020
- 2020-03-16 CN CN202010182093.XA patent/CN111598946B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
| CN109029322A (zh) * | 2018-07-16 | 2018-12-18 | 北京芯合科技有限公司 | 一种全新数控机器人多坐标测量系统及测量方法 |
| CN110706332A (zh) * | 2019-09-25 | 2020-01-17 | 北京计算机技术及应用研究所 | 一种基于噪声点云的场景重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 应用摄像机位姿估计的点云初始配准;郭清达 等;《光学精密工程》;20170630;第25卷(第6期);第1-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598946A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598946B (zh) | 一种物体位姿测量方法、装置及存储介质 | |
| US10679093B2 (en) | Image-based feature detection using edge vectors | |
| Dai et al. | A 3d morphable model of craniofacial shape and texture variation | |
| Lipson et al. | Coupled iterative refinement for 6d multi-object pose estimation | |
| US10776936B2 (en) | Point cloud matching method | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| Mohamad et al. | Generalized 4-points congruent sets for 3d registration | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| Azad et al. | 6-DoF model-based tracking of arbitrarily shaped 3D objects | |
| JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
| US10803615B2 (en) | Object recognition processing apparatus, object recognition processing method, and program | |
| JP6397354B2 (ja) | 人物領域検出装置、方法およびプログラム | |
| US9846974B2 (en) | Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition | |
| Konishi et al. | Real-time 6D object pose estimation on CPU | |
| US20180204090A1 (en) | Coarse-to-fine search method and image processing device | |
| US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
| Li et al. | RGBD relocalisation using pairwise geometry and concise key point sets | |
| Wang et al. | Joint head pose and facial landmark regression from depth images | |
| Rosa et al. | Q-PSO: Fast quaternion-based pose estimation from RGB-D images | |
| JP5719277B2 (ja) | 物体座標系変換行列推定成否判定装置および物体座標系変換行列推定成否判定方法ならびにそのプログラム | |
| CN112634377B (zh) | 扫地机器人的相机标定方法、终端和计算机可读存储介质 | |
| Figueroa et al. | A combined approach toward consistent reconstructions of indoor spaces based on 6D RGB-D odometry and KinectFusion | |
| JP6544482B2 (ja) | 物体認識装置、物体認識方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240218 Address after: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province Patentee after: Guangzhou South China University of Technology Asset Management Co.,Ltd. Country or region after: China Address before: 510641 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA University OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240329 Address after: 518057, Building 4, 512, Software Industry Base, No. 19, 17, and 18 Haitian Road, Binhai Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Cross dimension (Shenzhen) Intelligent Digital Technology Co.,Ltd. Country or region after: China Address before: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province Patentee before: Guangzhou South China University of Technology Asset Management Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |