CN116091778B - 一种数据的语义分割处理方法、装置及设备 - Google Patents
一种数据的语义分割处理方法、装置及设备 Download PDFInfo
- Publication number
- CN116091778B CN116091778B CN202310308128.3A CN202310308128A CN116091778B CN 116091778 B CN116091778 B CN 116091778B CN 202310308128 A CN202310308128 A CN 202310308128A CN 116091778 B CN116091778 B CN 116091778B
- Authority
- CN
- China
- Prior art keywords
- results
- data
- processing
- segmentation
- coupling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 161
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 172
- 230000008878 coupling Effects 0.000 claims abstract description 90
- 238000010168 coupling process Methods 0.000 claims abstract description 90
- 238000005859 coupling reaction Methods 0.000 claims abstract description 90
- 238000005070 sampling Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008602 contraction Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种数据的语义分割处理方法、装置及设备。数据的语义分割处理方法包括：获取目标场景的待处理数据；对待处理数据进行分割处理，得到多个待语义分割的数据块；将多个数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果。本公开的方案可以适用于大规模规模自然场景的数据分割。
Description
技术领域
本公开属于计算机信息处理技术领域，具体涉及一种数据的语义分割处理方法、装置及设备。
背景技术
随着计算机技术以及与数字化的发展与推进，对大场景点云数据的有效分割成为一个重点的研究的方向，基于深度学习的点云分割网络得益于较好的泛化能力与鲁棒性较强的分割性能，受到了广泛的关注；但是这一类方法通常难以适用于大规模的自然场景。
发明内容
本公开实施例的目的是提供一种数据的语义分割处理方法、装置及设备，实现了适应大规模规模自然场景的数据分割。
第一方面，本公开实施例提供了一种数据的语义分割处理方法，方法包括：
获取目标场景的待处理数据，所述待处理数据是通过激光束按照预设轨迹对目标物体表面进行扫描处理，激光束反射得到的激光点信息；所述激光点携带的信息包括：方位和距离；
对待处理数据进行分割处理，得到多个待语义分割的数据块；
将多个数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果。
可选的，获取目标场景的待处理数据，包括：
读取目标场景的倾斜扫描数据OSGB网格的顶点；
提取网格中三角面的顶点坐标，形成稀疏数据；
对稀疏数据中三角面的顶点进行比例收缩，得到新顶点的坐标；
对三角面上的新顶点的坐标进行两维纹理坐标映射，获得待处理数据。
可选的，对待处理数据进行分割处理，得到多个待语义分割的数据块，包括：
对待处理数据进行语义标注，得到标注后的待处理数据；
使用预设标准面积方块，对标注后的待处理数据进行划分，获得多个待语义分割的数据块。
可选的，将多个数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，包括：
将多个数据块进行表面特征重建，得到局部空间特征；
将局部空间特征，输入上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
将局部空间特征，输入上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
根据多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
可选的，根据多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果，包括：
将多个第二编码处理结果中的n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
将n个耦合结果分别与n个第一编码处理结果分别进行级联后，得到n个级联结果；
将n个级联结果以及未进行多尺度耦合的编码处理结果，分别输入多个解码器进行解码恢复密度，得到多个分割结果；n为正整数。
可选的，将多个第二编码处理结果中的n个第二编码处理结果分别进行多尺度耦合，得到N个耦合结果，包括：
根据
将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
其中，
为n个耦合结果形成的序列，/>
为非线性变换函数，
，/>
为n个第二编码处理结果中的第一个第二编码处理结果，
为n个第二编码处理结果中的第二个第二编码处理结果，/>
为第n个第二编码处理结果。
可选的，对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果，包括：
对多个分割结果的交叠部分进行或运算，得到目标场景的最终的语义分割结果。
第二方面，本公开实施例提供了一种数据的语义分割处理装置，包括：
获取模块，用于获取目标场景的待处理数据，所述待处理数据是通过激光束按照预设轨迹对目标物体表面进行扫描处理，激光束反射得到的激光点信息；所述激光点携带的信息包括：方位和距离；
第一处理模块，用于对待处理数据进行分割处理，得到多个待语义分割的数据块；
第二处理模块，用于将多个数据块，输入上下文耦合语义分割模型中进行点云分割处理，得到多个分割结果，上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
第三处理模块，用于对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果。
可选的，获取模块包括：
第一获取子模块，用于读取目标场景的倾斜扫描数据OSGB网格的顶点；
第二获取子模块，用于提取网格中三角面的顶点坐标，形成稀疏数据；
第三获取子模块，用于对稀疏数据中三角面的顶点进行比例收缩，得到新顶点的坐标；
第四获取子模块，用于对三角面上的新顶点的坐标进行两维纹理坐标映射，获得待处理数据。
可选的，第一处理模块包括：
第一处理子模块，用于对待处理数据进行语义标注，得到标注后的待处理数据；
第二处理子模块，用于使用预设标准面积方块，对标注后的待处理数据进行划分，获得多个待语义分割的数据块。
可选的，第二处理模块包括：
第三处理子模块，用于将多个数据块进行表面特征重建，得到局部空间特征；
第四处理子模块，用于将局部空间特征，输入上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
第五处理子模块，用于将局部空间特征，输入上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
第六处理子模块，用于根据多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
可选的，第六处理子模块包括：
第一处理子单元，用于将多个第二编码处理结果中的n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
第二处理子单元，用于将n个耦合结果分别与n个第一编码处理结果分别进行级联后，得到n个级联结果；
第三处理子单元，用于将n个级联结果以及未进行多尺度耦合的编码处理结果，分别输入多个解码器进行解码恢复密度，得到多个分割结果；n为正整数。
可选的，第一处理子单元根据
将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
其中，
为n个耦合结果形成的序列，/>
为非线性变换函数，
，/>
为n个第二编码处理结果中的第一个第二编码处理结果，
为n个第二编码处理结果中的第二个第二编码处理结果，/>
为第n个第二编码处理结果。
可选的，第三处理模块包括：
第七处理子模块，用于对多个分割结果的交叠部分进行或运算，得到目标场景的最终的语义分割结果。
第三方面，本公开实施例提供了一种计算设备，该计算设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的数据的语义分割处理方法的步骤。
第四方面，本公开实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的数据的语义分割处理方法的步骤。
在本公开实施例中，通过上下文耦合语义分割模型的上下文采样插值分支和直接采样分支，获取不同的上下文表示，并将不同密度的数据进行交互，从而获得更为准确的邻域描述，同时适应大规模规模自然场景的数据分割。
附图说明
图1是本公开实施例提供的数据的语义分割处理方法的流程图；
图2是本公开实施例提供的数据的语义分割处理方法中上下文耦合点云语义分割模型的框架示意图；
图3是本公开实施例提供的上下文耦合语义分割模型中，多尺度耦合模块的处理流程示意图；
图4是本公开实施例提供的数据拼接的示意图；
图5是本公开实施例提供的对多个分割结果进行或运算的示意图；
图6是本公开实施例提供的数据的语义分割处理装置的结构示意图；
图7是本公开的实施例提供的计算设备的结构示意图；
图8是实现本公开的实施例提供的计算设备的硬件结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本公开实施例主要涉及目标场景的点云数据处理，通过上下文耦合点云语义分割模型的上下文采样插值分支和直接采样分支，获取不同的上下文表示，这里的上下文采样插值分支能够改变点云密度，例如：增大点云密度等，并将不同密度的点云数据进行交互，从而获得更为准确的邻域描述，同时适应大规模规模自然场景的点云数据分割，能够更好的适应自然场景中的目标复杂性，对不同尺度的物体有更好的感知能力；
需要说明的是，由于点云数据带有空间坐标，因此点云数据应用的目标场景至少包括地形图测绘、目标物的立面测量、数字孪生和无人驾驶中的一项。其中，根据点云数据进行的立面测量能够克服传统目标物立面测量的局限性，通过立面扫描方式快速获取详细的立面数据，使得立面测量更为直观和高效。
下面结合附图，通过具体的实施例及其应用场景对本公开实施例提供的数据的语义分割处理方法、装置、系统及计算设备进行详细地说明。
图1是本公开实施例提供的一种数据的语义分割处理方法流程图，参见图1，该方法可以包括以下步骤：
步骤101，获取目标场景的待处理数据，所述待处理数据是通过激光束按照预设轨迹对目标物体表面进行扫描处理，激光束反射得到的激光点信息；所述激光点携带的信息包括：方位和距离；这里的目标场景包括但不限于：建筑物立面测量场景、数字孪生场景和无人驾驶场景等。
步骤101具体实现时，可以包括：
步骤1011，读取目标场景的倾斜扫描数据OSGB网格的顶点；
步骤1012，提取网格中三角面的顶点坐标，形成稀疏数据；
步骤1013，对稀疏数据中三角面的顶点进行比例收缩，得到新顶点的坐标；这里，优选的，可以将收缩比例表示为三角面的重心坐标；
具体的，设点P为三角面上的一点，点P关于三角面的重心坐标为
，可以通过公式：
其中，
分别为三角面的三个顶点坐标，重心坐标满足/>
，且/>
均大于0，/>
为点P的坐标，n为三角面的法向量；
步骤1014，对三角面上的新顶点的坐标进行两维纹理坐标映射，获得待处理数据。
这里，对三角面上新顶点的两维纹理坐标（UV）进行映射，获得新生成的点在贴图数据中的定位，检索像素数据，可以使用双线性插值进行取样，能够保证所获得数据的可靠性。
需要说明的是，这里的贴图数据定义了三角面上每个点的位置信息，这些点能够决定三角面纹理贴图的位置，两维纹理坐标（UV）就是将图像上每个点精确对应到三角面。
步骤102，对待处理数据进行分割处理，得到多个待语义分割的数据块；
步骤102具体实现时，可以包括：
步骤1021，对待处理数据进行语义标注，得到标注后的待处理数据；
这里，通过对待处理数据进行语义标注，获得高精度的语义级别标注，例如：在对建筑物立面测量的场景下，可以将部分待处理数据标注为墙体数据、将另一部分待处理数据标注为窗户数据；这样能够对待处理数据进行聚类，从而细化待处理数据。
需要说明的是，可以通过标注软件等技术手段对待处理数据进行语义标注处理，在对待处理数据进行标注时，避免对待处理数据进行重叠语义标注，从而使得待处理数据划分清晰。
步骤1022，使用预设标准面积方块，对标注后的待处理数据进行划分，获得多个待语义分割的数据块。
这里，可以使用预设标准面积块，将标注后的待处理数据划分为多个待语义分割的数据块；
具体的，数据块分割过程以每个数据块块为单位进行处理，设一个采样锚点
，采样宽度W，则采样区域的面积为/>
，对标注后的待处理数据中的任一点
进行计算的算式为：
其中，处于选定状态的待处理数据点被标记为1，其余的待处理数据点被标记为0；
需要说明的是，还可以进一步对每个数据块进行随机变换，这里的随机变换包括：等比例归一化，随机缩放，随机Z轴旋转和随机空间平移中的至少一项；
这里，等比例归一化的处理过程可以包括：
通过
，对每个数据块进行等比例归一化处理；
其中，
为Xlength，Ylength和Zlength的最大值，Xlength为数据块中的待处理数据在X坐标轴上的长度，Ylength数据中的待处理数据在Y坐标轴上的长度，Zlength为数据块中的待处理数据在Z坐标轴上的长度；/>
，其中，P为待处理数据中的一点，/>
为点P随机变换后得到的点；
随机缩放的处理过程可以包括：
通过
，对每个点云数据块进行随机缩放处理；其中，/>
为点P缩放处理后的点；
随机Z轴旋转的处理过程可以包括：
通过
，对每个数据块块进行随机Z轴旋转处理；
其中，
为点P进行随机Z轴旋转处理后的点；
随机空间平移的处理过程可以包括：
通过
，对每个数据块进行随机空间平移处理；其中，/>
为点P进行随机空间平移处理后的点。
步骤103，将多个数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
这里，通过上下文耦合语义分割模型的上下文采样插值分支和直接采样分支，对多个数据块进行点云分割处理，得到多个分割结果，能够实现针对大规模目标场景的有效分割。
需要说明的是，这里的上下文采样插值分支能够改变数据块中的待处理数据的密度。
如图2所示，步骤103具体实现时，可以包括：
步骤1031，将多个数据块进行表面特征重建，得到局部空间特征；
这里的局部空间特征包括：领域决定的法向和领域几何的中心；
其中，根据
，确定邻域决定的法向；其中，/>
为邻域内以顺时针记旋转所得的边组成的三角面集合，/>
为邻域内三角面的个数，需要说明的是，对法向的描述依赖某一数量下的邻域结构；
根据
，确定领域几何的中心；其中，/>
为邻域几何的中心，/>
为领域内的点，/>
为邻域内点的个数；
步骤1032，将局部空间特征，输入上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
这里，将局部空间特征输入上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，改变密度。
步骤1033，将局部空间特征，输入上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
需要说明的是，这里的上下文耦合语义分割模型的直接采样分支，采用与上下文采样插值分支不同的池化策列，能够以不同的形式表达领域特征上下文，从而提升模型对局部上下文的表达能力。
步骤1034，根据多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
具体实现时，步骤1034可以包括：
步骤10341，将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；其中，根据
将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
其中，
为n个耦合结果形成的序列，/>
为非线性变换函数，
，/>
为n个第二编码处理结果中的第一个第二编码处理结果，
为n个第二编码处理结果中的第二个第二编码处理结果，/>
为第n个第二编码处理结果；
步骤10342，将n个耦合结果分别与n个第一编码处理结果分别进行级联后，得到n个级联结果；
步骤10343，将n个级联结果以及未进行多尺度耦合的编码处理结果，分别输入解码器进行解码恢复密度，得到多个分割结果；n为正整数。
一个具体实施实例中，上下文采样插值分支4个第一编码器，直接采样分支也同样包括4个第二编码器，这里，第一编码器和第二编码器的个数均不限于是4，但在实际实现中，第一编码器和第二编码器的数量相同；同样的该上下文耦合语义分割模型包括有4个解码器；第一编码器可以为强编码器（P_Encod），第二编码器为弱编码器（L_Encod）；
其中，第一编码器1的编码结果和第二编码器2的编码结果，以及第二编码器1和第二编码器2的编码结果，直接输入到对应的解码器1和解码器2中；
第二编码器3的编码结果和第二编码器4的编码结果，输入到多尺度耦合模块中进行多尺度耦合处理后，得到第一耦合结果F1’，第一耦合结果F1’与第一编码器3的编码结果，级联后输入到解码器3中进行解码处理；
第二编码器4的编码结果和第二编码器3的编码结果，输入到多尺度耦合模块中进行多尺度耦合处理后，得到第二耦合结果F2’，第二耦合结果F2’与第一编码器4的编码结果，级联后输入到解码器4中进行解码处理；
图3是本公开实施例提供的多尺度耦合模块的实现示意图，包括：
将第二编码器3的编码结果F1和第二编码器4的编码结果F2分别进行非线性变换函数Sigmoid的处理，得到的结果进行信息融合后，输出第一耦合结果F1’；这里的信息融合可以采用1×1卷积模块进行信息融合，当然也不限于是1×1卷积模块；
同样的，第二编码器4的编码结果F2和第二编码器3的编码结果F1分别进行非线性变换函数Sigmoid的处理，得到的结果进行信息融合后，输出第二耦合结果F2’；这里的信息融合可以采用1×1卷积模块进行信息融合，当然也不限于是1×1卷积模块；
图3中示出的是第二耦合结果F2’的示意图，由于得到第一耦合结果F1’的处理过程与得到第二耦合结果F2’的过程相同，第一耦合结果F1’未示出；
需要说明的是，多尺度耦合模块中的输入不限于是两个编码器的编码结果，也可以是多个编码器的编码结果，处理方式与两个编码器的编码结果的耦合处理过程相同，在此不再赘述。
本实施例中，将多个第二编码器的编码结果分别进行多尺度耦合处理，得到多个耦合结果，将多个耦合结果分别与多个第一编码器的编码结果分别进行级联处理，将多个级联结果以及未进行多尺度耦合的编码处理结果分别输入解码器进行解码处理，得到多个分割结果，这样能够对采样过程中估计信息不准带来的空间边缘信息缺失进行缓解。
步骤104，对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果。
具体实现时，步骤104可以包括：
步骤1041，对多个分割结果的交叠部分进行或运算，得到目标场景的最终的语义分割结果。
本实施例中，通过对多个分割结果的交叠部分进行或运算，能够对分割结果进行拼接，从而得到目标场景的最终的语义分割结果，并保证拼接结果的可靠性。
图4是本公开实施例提供的多个分割结果的示意图，该分割结果进行拼接的运算过程如图5所示：
将第一分割结果与第二分割结果进行拼接，第一分割结果和第二分割结果的交叠包括位于第一分割结果侧的第一组交叠以及位于第二分割结果侧的第二组交叠数据；进行具体拼接时，可以将两组交叠数据进行或运算，得到交叠数据的运算结果；最后再将第一分割结果、第二分割结果以及交叠数据的运算结果，进行最后的拼接，得到目标场景最终的语义分割结果；
具体的，如图5所示，将两组交叠数据进行或运算时，将对应位置的被点亮的相同数据进行合并，如A3和A3’或运算，A3’被点亮，A3’保留；A4和A4’或运算，A4被点亮，A4保留；A5和A5’或运算，A5被点亮，A5保留；A10和A10’或运算，A10和A10’均被点亮，二者保留其一即可，其余的交叠数据未被点亮，但属于正常交叠数据，均保留，这样即可得到交叠数据的运算结果。
上述实施例，在建筑物场景中使用时，取得了较好的分割效果，且为建筑物的立面测量提供了可靠的依据。
本实施例中，通过上下文耦合语义分割模型对数据进行处理的流程，能够对池化采样后邻域上下文信息缺失与领域语义变化进行缓解。
本公开实施例中数据的语义分割处理方法，通过上下文耦合语义分割模型的上下文采样插值分支和直接采样分支，获取不同的上下文表示，并将不同密度的数据进行交互，从而获得更为准确的邻域描述，同时适应大规模规模自然场景的数据分割，能够更好的适应自然场景中的目标复杂性，对不同尺度的物体有更好的感知能力。
上述所有可选技术方案，可以任意结合，形成本公开的可选实施例，在此不再一一赘述。
图6是本公开实施例提供的一种数据的语义分割处理装置的结构示意图，参见图6，该装置600包括：
获取模块601，用于获取目标场景的待处理数据，所述待处理数据是通过激光束按照预设轨迹对目标物体表面进行扫描处理，激光束反射得到的激光点信息；所述激光点携带的信息包括：方位和距离；
第一处理模块602，用于对待处理数据进行分割处理，得到多个待语义分割的数据块；
第二处理模块603，用于将多个数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
第三处理模块604，用于对多个分割结果进行拼接处理，得到目标场景的最终的语义分割结果。
可选的，获取模块601包括：
第一获取子模块，用于读取目标场景的倾斜扫描数据OSGB网格的顶点；
第二获取子模块，用于提取网格中三角面的顶点坐标，形成稀疏数据；
第三获取子模块，用于对稀疏数据中三角面的顶点进行比例收缩，得到新顶点的坐标；
第四获取子模块，用于对三角面上的新顶点的坐标进行两维纹理坐标映射，获得待处理数据。
可选的，第一处理模块602包括：
第一处理子模块，用于对待处理数据进行语义标注，得到标注后的待处理数据；
第二处理子模块，用于使用预设标准面积方块，对标注后的待处理数据进行划分，获得多个待语义分割的数据块。
可选的，第二处理模块603包括：
第三处理子模块，用于将多个数据块进行表面特征重建，得到局部空间特征；
第四处理子模块，用于将局部空间特征，输入上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
第五处理子模块，用于将局部空间特征，输入上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
第六处理子模块，用于根据多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
可选的，第六处理子模块包括：
第一处理子单元，用于将多个第二编码处理结果中的n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
第二处理子单元，用于将n个耦合结果分别与n个第一编码处理结果分别进行级联后，得到n个级联结果；
第三处理子单元，用于将n个级联结果以及未进行多尺度耦合的编码处理结果，分别输入多个解码器进行解码恢复密度，得到多个分割结果；n为正整数。
可选的，第一处理子单元根据
将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
其中，
为n个耦合结果形成的序列，/>
为非线性变换函数，
，/>
为n个第二编码处理结果中的第一个第二编码处理结果，
为n个第二编码处理结果中的第二个第二编码处理结果，/>
为第n个第二编码处理结果。
可选的，第三处理模块604包括：
第七处理子模块，用于对多个分割结果的交叠部分进行或运算，得到目标场景的最终的语义分割结果。
本公开实施例提供的装置，通过上下文耦合语义分割模型的上下文采样插值分支和直接采样分支，获取不同的上下文表示，并将不同密度的数据进行交互，从而获得更为准确的邻域描述，同时适应大规模规模自然场景的数据分割，能够更好的适应自然场景中的目标复杂性，对不同尺度的物体有更好的感知能力。
需要说明的是：上述实施例提供的数据的语义分割处理装置在处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据的语义分割处理装置与数据的语义分割处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本公开实施例中的数据的语义分割处理装置可以是虚拟装置，也可以是服务器或者终端中的部件、集成电路或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本或者个人数字助理（personal digital assistant，PDA）等，非移动电子设备可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（personal computer，PC）、电视机（television，TV）、柜员机或者自助机等，本公开实施例不作具体限定。
本公开实施例中的数据的语义分割处理装置可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本公开实施例不作具体限定。
本公开实施例提供的数据的语义分割处理装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图7所示，本公开实施例还提供一种计算设备700，包括处理器701，存储器702，存储在存储器702上并可在处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述数据的语义分割处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。需要说明的是，本公开实施例中的计算设备包括上述的移动电子设备和非移动电子设备。
图8为实现本公开实施例的一种计算设备的硬件结构示意图。
该计算设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解，计算设备800还可以包括给各个部件供电的电源（比如电池），电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的计算设备结构并不构成对计算设备的限定，计算设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本公开实施例中，输入单元804可以包括图形处理器（GraphicsProcessing Unit，GPU）8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像设备）获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
本公开实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据的语义分割处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的计算设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁碟或者光盘等。
本公开实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述数据的语义分割处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本公开实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本公开实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，或者网络设备等）执行本公开各个实施例的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。
Claims (9)
1.一种数据的语义分割处理方法，其特征在于，包括：
获取目标场景的待处理数据，所述待处理数据是通过激光束按照预设轨迹对目标物体表面进行扫描处理，激光束反射得到的激光点信息；所述激光点携带的信息包括：方位和距离；
对所述待处理数据进行分割处理，得到多个待语义分割的数据块；
将多个所述数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，所述上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
对多个所述分割结果进行拼接处理，得到所述目标场景的最终的语义分割结果；
其中，将多个所述数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，包括：
将多个所述数据块进行表面特征重建，得到局部空间特征；
将所述局部空间特征，输入所述上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
将所述局部空间特征，输入所述上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；所述上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
根据多个所述第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
2.根据权利要求1所述的数据的语义分割处理方法，其特征在于，获取目标场景的待处理数据，包括：
读取目标场景的倾斜扫描数据OSGB网格的顶点；
提取网格中三角面的顶点坐标，形成稀疏数据；
对所述稀疏数据中所述三角面的顶点进行比例收缩，得到新顶点的坐标；
对所述三角面上的新顶点的坐标进行两维纹理坐标映射，获得待处理数据。
3.根据权利要求1所述的数据的语义分割处理方法，其特征在于，对所述待处理数据进行分割处理，得到多个待语义分割的数据块，包括：
对所述待处理数据进行语义标注，得到标注后的待处理数据；
使用预设标准面积方块，对标注后的所述待处理数据进行划分，获得多个待语义分割的数据块。
4.根据权利要求1所述的数据的语义分割处理方法，其特征在于，根据所述多个第一编码处理结果和多个第二编码处理结果，得到多个分割结果，包括：
将所述多个第二编码处理结果中的n个所述第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
将所述n个耦合结果分别与n个第一编码处理结果分别进行级联后，得到n个级联结果；
将所述n个级联结果以及未进行多尺度耦合的编码处理结果，分别输入多个解码器进行解码恢复密度，得到多个分割结果；n为正整数。
5.根据权利要求1所述的数据的语义分割处理方法，其特征在于，将所述多个第二编码处理结果中的n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果，包括：
根据
将n个第二编码处理结果分别进行多尺度耦合，得到n个耦合结果；
其中，
为n个耦合结果形成的序列，/>
为非线性变换函数，
，/>
为n个第二编码处理结果中的第一个第二编码处理结果，
为n个第二编码处理结果中的第二个第二编码处理结果，/>
为第n个第二编码处理结果。
6.根据权利要求1所述的数据的语义分割处理方法，其特征在于，对多个所述分割结果进行拼接处理，得到所述目标场景的最终的语义分割结果，包括：
对多个所述分割结果的交叠部分进行或运算，得到所述目标场景的最终的语义分割结果。
7.一种数据的语义分割处理装置，其特征在于，包括：
获取模块，用于获取目标场景的待处理数据；
第一处理模块，用于对所述待处理数据进行分割处理，得到多个待语义分割的数据块；
第二处理模块，用于将多个所述数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，所述上下文耦合语义分割模型包括不同尺度特征的上下文采样插值分支和直接采样分支；
第三处理模块，用于对多个所述分割结果进行拼接处理，得到所述目标场景的最终的语义分割结果；
其中，将多个所述数据块，输入上下文耦合语义分割模型中进行分割处理，得到多个分割结果，包括：
将多个所述数据块进行表面特征重建，得到局部空间特征；
将所述局部空间特征，输入所述上下文耦合语义分割模型的上下文采样插值分支中的多个第一编码器进行处理，得到多个第一编码处理结果；
将所述局部空间特征，输入所述上下文耦合语义分割模型的直接采样分支中的多个第二编码器进行处理，得到多个第二编码处理结果；所述上下文采样插值分支中的第一编码器与直接采样分支中的第二编码器的编码尺度特征不同；
根据多个所述第一编码处理结果和多个第二编码处理结果，得到多个分割结果。
8.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308128.3A CN116091778B (zh) | 2023-03-28 | 2023-03-28 | 一种数据的语义分割处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308128.3A CN116091778B (zh) | 2023-03-28 | 2023-03-28 | 一种数据的语义分割处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091778A CN116091778A (zh) | 2023-05-09 |
| CN116091778B true CN116091778B (zh) | 2023-06-20 |
Family
ID=86187141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310308128.3A Active CN116091778B (zh) | 2023-03-28 | 2023-03-28 | 一种数据的语义分割处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091778B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118864859B (zh) * | 2024-08-13 | 2025-06-10 | 重庆柏杨检验检测有限公司 | 用于桩基检测的溶洞区域地质勘测数据样本扩大分析方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9953236B1 (en) * | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
| CN114926636A (zh) * | 2022-05-12 | 2022-08-19 | 合众新能源汽车有限公司 | 一种点云语义分割方法、装置、设备及存储介质 |
| CN114972763B (zh) * | 2022-07-28 | 2022-11-04 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
-
2023
- 2023-03-28 CN CN202310308128.3A patent/CN116091778B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091778A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| Mongus et al. | Efficient method for lossless LIDAR data compression | |
| WO2022174517A1 (zh) | 一种人群计数方法、装置、计算机设备及存储介质 | |
| CN114612572B (zh) | 一种基于深度学习的激光雷达与相机外参标定方法及装置 | |
| KR20210036319A (ko) | 텍스트 콘텐츠의 식별 방법, 장치 및 전자 기기 | |
| WO2023211543A1 (en) | Generating an inpainted image from a masked image using a patch-based encoder | |
| CN116091778B (zh) | 一种数据的语义分割处理方法、装置及设备 | |
| Zhao et al. | ST-YOLOA: a Swin-transformer-based YOLO model with an attention mechanism for SAR ship detection under complex background | |
| CN115631426A (zh) | 一种遥感图像中基于关键点定位的目标检测方法 | |
| CN113361519B (zh) | 目标处理方法、目标处理模型的训练方法及其装置 | |
| CN111078812B (zh) | 围栏的生成方法、装置和电子设备 | |
| CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN118470568A (zh) | 一种边坡裂缝识别方法、系统、设备及计算机程序产品 | |
| Qu et al. | MDSC-Net: multi-directional spatial connectivity for road extraction in remote sensing images | |
| CN117876996A (zh) | 点云的目标检测方法、终端设备以及存储介质 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| WO2024051756A1 (zh) | 特效图像绘制方法、装置、设备及介质 | |
| CN116798027A (zh) | 基于多尺度特征提取的三维点云实时云匹配方法及装置 | |
| CN115810086A (zh) | 一种三维场景重建方法、装置、计算机设备及存储介质 | |
| Zhang et al. | Swin‐fisheye: Object detection for fisheye images | |
| Liu et al. | Fast camera motion estimation for hand-held devices and applications | |
| CN119006550B (zh) | 一种神经辐射场的配准方法、系统及计算机程序产品 | |
| CN115115911B (zh) | 图像模型训练方法、装置和电子设备 | |
| CN112464956B (zh) | 图像重合度识别方法、电子设备及计算机可读存储介质 | |
| CN114187408B (zh) | 三维人脸模型重建方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |