CN116012393A - 一种纸箱点云分割方法、装置以及处理设备 - Google Patents

Abstract

本申请提供了一种纸箱点云分割方法、装置以及处理设备，用于从点云出发，为纸箱实现更为精确的分割处理，来满足大多数行业对纸箱的图像分割需求。方法包括：通过3D相机进行点云采集，得到点云数据；根据深度分布信息，将点云数据转化为2D的鸟瞰图；将稀疏地面视作噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

Description

一种纸箱点云分割方法、装置以及处理设备

技术领域

本申请涉及仓储物流领域，具体涉及一种纸箱点云分割方法、装置以及处理设备。

背景技术

在仓储物流领域中，对于物体(主要是纸箱)的信息采集显然是数字化作业的一大基础，其可以称为自动化物流系统中必不可少的环节。在该情况下，为减少中间环节和人工成本，通过图像处理来实现快速、准确的信息采集，称为主流趋势。

由于近年来数字图像处理技术的不断改进，其中的点云处理对图像处理的影响越来越重要。点云作为一种常用的3D数据表达形式，能够在空间里将原始的几何信息完整地保留下来，不会产生离散化，而点云分割则是区分点云中的每个点，将整体的点云划分为一块块具有特定信息的区域，点云分割可以有效得到所需的目标物体的点云信息，对图像分割具有重要意义。

而在现有的相关技术的研究过程中，发明人发现，现有的点云分割技术仍存在其局限性，难以在较低的应用成本的基础上实现较佳的分割精度。例如基于阀值的分割方法只考虑像素点灰度值本身的特征，一般不考虑空间特征，因此对噪声比较敏感，鲁棒性不高；又例如基于边缘检测的分割方法不能保证边缘的连续性和封闭性，在高细节区域存在大量的碎边缘，难以形成一个大区域，但是又不宜将高细节区域分成小碎片；又例如在使用传统的基于深度学习的图像分割算法时，需要预先对大量的数据集进行人工标注，要耗费大量时间和精力，而由于当前阶段下图像分割技术的局限性，利用交互式信息匹配等方法对图像数据集进行自动标注的技术尚不成熟，标注错误目标、遗漏正确目标和标注框不准确等问题会直接影响到后续阶段模型的训练效果。

发明内容

本申请提供了一种纸箱点云分割方法、装置以及处理设备，用于从点云出发，为纸箱实现低成本、稳定、便捷且精确的分割处理，来满足大多数行业对纸箱的图像分割需求。

第一方面，本申请提供了一种纸箱点云分割方法，方法包括：

通过3D相机对进行点云采集，得到点云数据；

根据深度分布信息，将点云数据转化为2D的鸟瞰图；

将稀疏地面视噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；

将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；

对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，根据深度分布信息，将点云数据转化为2D的鸟瞰图之前，方法还包括：

对点云数据进行降维处理。

结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像，包括：

对每个图像块通过下式进行两次离散余弦变换去噪声处理，得到DCT图像：

其中，0≤u<M-1，0≤v≤N-1，M、N是输入图像的行和列的大小，f(i,j)是原始图像(i,j)位置的值，F(u,v)是进行离散余弦变换后得到的、位于第u行v列的系数值。

结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，离散傅里叶变换通过下式表示：

其中，M、N是输入图像的行和列的大小，(u,v)是变换域中像素点的坐标位置，0≤u<M-1，0≤v≤N-1，F(u,v)是对应频谱上的复频率值，(i,j)是空域中像素点的坐标位置，0≤i<M-1，0≤j≤N-1，f(i,j)为空间像素值，e是欧拉数，z是虚单位。

结合本申请第一方面，在本申请第一方面第四种可能的实现方式中，3D相机具体设置于传送纸箱的传送带正上方，通过3D相机进行点云采集，包括：

通过3D相机对传送带进行点云采集，得到点云数据。

第二方面，本申请提供了一种纸箱点云分割装置，装置包括：

采集单元，用于通过3D相机对进行点云采集，得到点云数据；

转换单元，用于根据深度分布信息，将点云数据转化为2D的鸟瞰图；

去噪单元，用于将稀疏地面视作噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

去噪单元，还用于通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；

去噪单元，还用于将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；

分割单元，用于对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，装置还包括预处理单元，用于：

对点云数据进行降维处理。

结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，去噪单元，具体用于：

对每个图像块通过下式进行两次离散余弦变换去噪声处理，得到DCT图像：

其中，0≤u<M-1，0≤v≤N-1，M、N是输入图像的行和列的大小，f(i,j)是原始图像(i,j)位置的值，F(u,v)是进行离散余弦变换后得到的、位于第u行v列的系数值。

结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，离散傅里叶变换通过下式表示：

其中，M、N是输入图像的行和列的大小，(u,v)是变换域中像素点的坐标位置，0≤u<M-1，0≤v≤N-1，F(u,v)是对应频谱上的复频率值，(i,j)是空域中像素点的坐标位置，0≤i<M-1，0≤j≤N-1，f(i,j)为空间像素值，e是欧拉数，z是虚单位。

结合本申请第二方面，在本申请第二方面第四种可能的实现方式中，3D相机具体设置于传送纸箱的传送带正上方，采集单元，具体用于：

通过3D相机对传送带进行点云采集，得到点云数据。

第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出，本申请具有以下的有益效果：

本申请针对纸箱所涉及的点云分割处理，没有涉及到神经网络等现有技术中的复杂处理，在鸟瞰图的基础上通过离散余弦变换去噪声处理将低频部分组织存储、离散傅里叶变换的高通滤波筛选过滤、二值化处理、腐蚀处理、膨胀处理及漫水填充处理等，将纸箱图像与背景(稀疏地面)分割开，这过程中低成本、稳定、便捷且精确地完成纸箱的点云分割效果，从而在实际应用中，可以较佳地替代人工作业，也可以降低了工作业成本，极大地减少了各场景下对于纸箱信息采集、图像分割作业的成本，尤其可以有效解决仓储物流工作中大量商品的信息提取等问题。

此外，还可以看出的是，本申请所做的点云分割，并不依赖于颜色特征，也不依赖于光线，因此在具体应用中尤其适应不同的、复杂的实际场景，具有很低的应用环境要求，这显然也能促进较佳的实用价值。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为纸箱点云分割方法流程示意图；

图2为纸箱示意图；

图3为点云示意图；

图4为纸箱鸟瞰图；

图5为DCT效果图；

图6为DFT二值化效果图；

图7为腐蚀和膨胀效果图；

图8为漫水填充效果图；

图9为纸箱点云分割装置结构示意图；

图10为处理设备结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请中的部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的纸箱点云分割方法之前，首先介绍本申请所涉及的背景内容。

本申请提供的纸箱点云分割方法、装置以及计算机可读存储介质，可应用于处理设备，用于从点云出发，为纸箱实现低成本、稳定、便捷且精确的分割处理，来满足大多数行业对纸箱的图像分割需求。

本申请提及的纸箱点云分割方法，其执行主体可以为纸箱点云分割装置，或者集成了该纸箱点云分割装置的服务器、物理主机或者用户设备(User Equipment，UE)等不同类型的处理设备。其中，纸箱点云分割装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal DigitalAssistant，PDA)等终端设备，处理设备可以通过设备集群的方式设置。

下面，开始介绍本申请提供的纸箱点云分割方法。

首先，参阅图1，图1示出了本申请纸箱点云分割方法的一种流程示意图，本申请提供的纸箱点云分割方法，具体可包括如下步骤S101至步骤S106：

步骤S101，通过3D相机进行点云采集，得到点云数据；

对于本申请所涉及的3D相机，也可称为3D摄像头，其本身既可能配置于处理设备以外，从处理设备外部为处理设备的纸箱点云分割处理提供点云数据的数据支持，也可以直接属于处理设备的一部分，显然，是随处理设备的具体设备架构调整的。

3D相机，3D相机相较于普通的2D相机，可以以点云形式采集视野中的深度分布信息，形成点云数据，其中，深度分布信息的采集方式大致还可分为：1.结构光与编码光；2.立体视觉；3.飞行时间(Time of flight，TOF)。对于这些具体的采集方式，本申请并未涉及其中的改良优化内容，因此此处不加以赘述，相对的，本申请并未对3D相机的深度分布信息的具体采集方式进行限定，可以提供点云数据的数据支持即可。

纸箱在实际应用中，一般是仓储物流中涉及的物流件，如大众在电商购物中更为熟悉的快递件，其一般具有纸箱等形式的包装外壳。

因此，在仓储物流场景，可以在物流件的相关放置位置处配置3D相机，来采集其对应的点云数据，供点云分割使用。

当然，在实际应用中，也可应用于仓储物流以外的应用场景。

具体的，还可参考图2示出的纸箱示意图还有图3示出的点云示意图来理解此处的处理内容，其中，为便于说明，后面图示内容都以图2所示的指向为基础进行示例性说明。

需要理解的是，在初步获得了点云数据后，还可以涉及到相关的预处理，以提高其数据质量，例如异常点云的去噪处理、数据格式的标准化处理等，其中所涉及的具体预处理内容显然是可以随实际需要调整的。

作为其中一种适于实用的实现方式，本申请在对点云数据的预处理过程中，还可以包括降维处理，即，下面步骤S102之前，本申请方法还可以包括：

对点云数据进行降维处理。

降维处理可以理解为将数据从高维度的空间映射到低维度的空间中去，同时又尽可能的保留原始数据信息，从而在具体应用中可以带来以下优点：

1.新的数据在保留原数据大部分信息的基础上，较大地减少了数据量，从而减低了计算的复杂度；

2.减少了冗余信息所造成的识别误差，提高了识别的精度；

3.降低数据的总体复杂度，太多的特征或太复杂的模型可能导致过拟合。

步骤S102，根据深度分布信息，将点云数据转化为2D的鸟瞰图；

可以理解，在前面获取到的点云数据中，调整点云在呈现方面的视角，将视角变成俯视方向，并转换为2D层面的鸟瞰图，如图4示出的纸箱鸟瞰图。

此外，从这里还可以得到一种优化方式，即，对应于此处鸟瞰图的处理，上面步骤S101中采集点云数据的3D相机，具体还可以直接设置于传送纸箱的传送带正上方，例如从天花板悬挂下来的方式直接置于传送带正上方(向下投影落于传送带的范围内)，如此所获得的众多点云，可使得2D鸟瞰图的处理更为的便捷、精确。

对应的，通过3D相机进行点云采集，包括：

通过3D相机对传送带进行点云采集，得到点云数据。

步骤S103，将稀疏地面视作噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

可以理解的是，本申请对于纸箱的点云分割场景中，可以将纸箱以外的地面当成噪声，对应于点云方面，就是可以将稀疏地面(深度相较于地面上的纸箱更大，因此获得的点云更为稀疏)当成噪声，以此为基础展开去噪处理，保留下纸箱的点云。

可以看出，此处涉及到了离散余弦变换去噪声处理，离散余弦变换(Discretecosine transform，DCT)根据在不同频率下振荡的余弦函数的总和来表示数据点的有限序列，其是与傅里叶相关的变换，类似于离散傅里叶变换，但仅使用实数，图像的离散余弦变换属于正交变换，变换后图像的能量不变，并且能量变得集中：将整幅图的能量集中在低频部分，位于变换域的左上角区域，而高频能量集中在右下角区域。

具体的，离散余弦变换是最小均方误差条件下的最佳正交变换，处理后低频分量主要集中在矩阵左上角，高频分量集中在右下角，高频分量代表的是图像的细节，值偏小，往往接近0，是次要信息，而低频分量是图像的轮廓信息。离散余弦变换主要是舍弃高频分量，保留低频分量，从而达到去除噪声、保留纸箱图像信息的目的。

在离散余弦变换去噪声处理的具体处理过程中，可以先对鸟瞰图进行8*8(像素单元)的图像块的分割处理，再分别进行两次离散余弦变换去噪声处理(2D-DCT)，其处理后的结果还可以参考图5示出的DCT效果图。

作为又一种具体的实现方式，此处对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像的过程中，具体还可以包括以下内容：

对每个图像块通过下式进行两次离散余弦变换去噪声处理，得到DCT图像：

其中，0≤u<M-1，0≤v≤N-1，M、N是输入图像的行和列的大小，f(i,j)是原始图像(i,j)位置的值，F(u,v)是进行离散余弦变换后得到的、位于第u行v列的系数值。

具体来说，本申请采用离散余弦变换处理(算法)对图像块进行去噪声操作，以消除其中存在的较多数据冗余，即消除妨碍人的视觉(或相关传感器)对图像信息进行理解(或分析)的各种因素，再分割提取出纸箱图像。每个数字图像都可以被看作一个实数矩阵，当对一幅大小为M*N的数字图像进行二维离散余弦变换(Two Dimensional DiscreteCosine Transform，2D-DCT)时，就等同于对一个大小为M*N的矩阵进行2D-DCT，从而可以通过上式来完成处理目的。

从上式可以看到，变换后的每一个点都与所有像素点有关，因此可以将其看作神经网络，以单通道图像为输入层，以离散余弦变换后的信息为输出层，连接方式为全连接，权重均为余弦函数，每一点均可以看作原图像的一个特征值，如此提供了一个具体的落地实现方案。

步骤S104，通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；

可以理解，在步骤S103中进行了第一阶段的滤波去噪声处理，在步骤S105中则通过离散傅里叶变换继续进行第二阶段的滤波去噪声处理。

对于离散傅里叶变换(Discrete Fourier transform，DFT)，其可以理解为将满足一定条件某个函数表示成三角函数，即，将特定函数表示成带有频率、振幅、周期等变量的正弦和余弦函数，它是一种数学变换，将依赖于空间或时间的函数分解为依赖于空间频率或时间频率的函数。

具体来说，其可以去除图像中残留的高频分量信息，实现抑制高频和增强低频的目的，增强图像的对比度。傅里叶变换通过对图像在空域和频率域进行变换，以此实现对图像信息特征的提取和分析。

离散傅里叶变换是指在时域和频域都具有离散性的连续傅里叶变换，与上述类似的，可以执行二维连续傅里叶变换(Two Dimensional Discrete Fourier Transform，2D-DFT)，其具体可以通过下式表示：

其中，M、N是输入图像的行和列的大小，(u,v)是变换域中像素点的坐标位置，0≤u<M-1，0≤v≤N-1，F(u,v)是对应频谱上的复频率值，(i,j)是空域中像素点的坐标位置，0≤i<M-1，0≤j≤N-1，f(i,j)为空间像素值，e是欧拉数，z是虚单位。

而离散傅里叶变换中的高通滤波器，则可以理解为通过高频的滤波器，衰减低频而通过高频，常用于增强尖锐的细节，该滤波器将检测图像的某个区域，根据像素与周围像素的差值来提升像素的亮度。

步骤S105，将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；

在得到上面两个阶段的滤波结果，即DCT图像和高通滤波图像后，则可让两者进行相减，并做二值化处理，如此得到最终的、滤波后的去噪图像。

具体的，该去噪图像的处理效果还可以参考图6示出的DFT二值化效果图。

步骤S106，对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

在通过滤波去噪声处理后，本申请还继续配置了腐蚀算法与膨胀算法，来实现腐蚀处理和膨胀处理，以对对前面得到的去噪图像进行进一步的优化。

具体的，腐蚀处理可以理解为消除边界点并向内收缩边界的过程，腐蚀处理可以消除噪点，同时消除部分边界值，使得目标图像整体缩小；

膨胀处理可以理解为将与对象接触的所有背景点合并到对象中，以将边界扩展到外部的过程，膨胀处理可以使目标特征值增大，使得目标图像整体放大。

如此，两者组合起来可以有效实现消除噪音，隔离单个元素并连接图像中的不同元素，从而可以达到更好分割独立的纸箱元素的作用。具体的，还可参考图7示出的腐蚀和膨胀效果图。

进一步的，执行完腐蚀处理和膨胀处理后，继续对图像进行漫水填充处理操作，如此完成本次点云数据的分割处理。具体的，还可参考图8示出的漫水填充效果图。

其中，漫水填充处理可以理解为一种用特定的颜色填充联通的区域，以一个像素点出发，以此向周边的像素点扩充着色，直到图形的边界，将水边线区域全部填充上颜色，然后提取或分离出填充的水边线部分。

漫水填充处理最常见的有四邻域像素填充法，四邻填充法的原理是先根据已知像素点p(x,y)的上下左右四个临近像素点，如果没有被填充，则填充它们，然后对找出的着四个临近像素点再进行寻找它们各自的四邻域像素，直到封闭区域完全被新颜色填充。利用一个种子点，然后种子点附近的相似点被填充为同一个颜色，以此来编辑周围的一片区域。其中，四邻域填充算法是不考虑对角线方向的节点的。

从上面的内容中可以看出，本申请针对纸箱所涉及的点云分割处理，没有涉及到神经网络等现有技术中的复杂处理，在鸟瞰图的基础上通过离散余弦变换去噪声处理将低频部分组织存储、离散傅里叶变换的高通滤波筛选过滤、二值化处理、腐蚀处理、膨胀处理及漫水填充处理等，将纸箱图像与背景(稀疏地面)分割开，这过程中稳定、便捷且精确地完成纸箱的点云分割效果，从而在实际应用中，可以较佳地替代人工作业，也可以降低了工作业成本，极大地减少了各场景下对于纸箱信息采集、图像分割作业的成本，尤其可以有效解决仓储物流工作中大量商品的信息提取等问题。

此外，还可以看出的是，本申请所做的点云分割，并不依赖于颜色特征，也不依赖于光线，因此在具体应用中尤其适应不同的、复杂的实际场景，具有很低的应用环境要求，这显然也能促进较佳的实用价值。

具体的，为验证本申请纸箱分割处理的精确性，本申请在具体应用中，还可以以平均交并比(Mean Intersection over Union，MIoU)对分割性能进行评估。其中，交并比是对某一类别预测结果和真实值的交集与并集的比值，平均交并比是计算每个分类真实值与预测值的交际与并集值比，然后多个分类求平均，其公式如下：

其中，TP是正样本预测为正样本的数量，FP是负样本预测为正样本的数量，FN是正样本预测为负样本的数量。

具体操作中，可以通过对纸箱图像(最终2D效果图)采用最小外接矩形算法得到中心点坐标、半径及旋转角度，将其分别映射到原始的3D点云区域与标签的3D点云区域中，并统计交集和并集的点云数量以此计算平均交并比(MIoU)。

结果表明，平均交并比(MIoU)可以达到94.6708％，而这表明申请所提出的纸箱分割方案具有非常好的分割效果。

以上是本申请提供的纸箱点云分割方法的介绍，为便于更好的实施本申请提供的纸箱点云分割方法，本申请还从功能模块角度提供了一种纸箱点云分割装置。

参阅图9，图9为纸箱点云分割装置结构示意图，在本申请中，纸箱点云分割装置900具体可包括如下结构：

采集单元901，用于通过3D相机进行点云采集，得到点云数据；

转换单元902，用于根据深度分布信息，将点云数据转化为2D的鸟瞰图；

去噪单元903，用于将稀疏地面视作噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

去噪单元903，还用于通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；

去噪单元903，还用于将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；

分割单元904，还用于对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

在一种示例性的实现方式中，装置还包括预处理单元905，用于：

对点云数据进行降维处理。

在又一种示例性的实现方式中，去噪单元903，具体用于：

对每个图像块通过下式进行两次离散余弦变换去噪声处理，得到DCT图像：

其中，0≤u<M-1，0≤v≤N-1，M、N是输入图像的行和列的大小，f(i,j)是原始图像(i,j)位置的值，F(u,v)是进行离散余弦变换后得到的、位于第u行v列的系数值。

在又一种示例性的实现方式中，离散傅里叶变换通过下式表示：

其中，M、N是输入图像的行和列的大小，(u,v)是变换域中像素点的坐标位置，0≤u<M-1，0≤v≤N-1，F(u,v)是对应频谱上的复频率值，(i,j)是空域中像素点的坐标位置，0≤i<M-1，0≤j≤N-1，f(i,j)为空间像素值，e是欧拉数，z是虚单位。

在又一种示例性的实现方式中，3D相机具体设置于传送纸箱的传送带正上方，采集单元901，具体用于：

通过3D相机对传送带进行点云采集，得到点云数据。

本申请还从硬件结构角度提供了一种处理设备，参阅图10，图10示出了处理设备结构示意图，具体的，本申请处理设备可包括处理器1001、存储器1002以及输入输出设备1003，处理器1001用于执行存储器1002中存储的计算机程序时实现如图1对应实施例中纸箱点云分割方法的各步骤；或者，处理器1001用于执行存储器1002中存储的计算机程序时实现如图9对应实施例中各单元的功能，存储器1002用于存储处理器1001执行上述图1对应实施例中纸箱点云分割方法所需的计算机程序。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1002中，并由处理器1001执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

处理设备可包括，但不仅限于处理器1001、存储器1002、输入输出设备1003。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器1001、存储器1002、输入输出设备1003等通过总线相连。

处理器1001可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

存储器1002可用于存储计算机程序和/或模块，处理器1001通过运行或执行存储在存储器1002内的计算机程序和/或模块，以及调用存储在存储器1002内的数据，实现计算机装置的各种功能。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1001用于执行存储器1002中存储的计算机程序时，具体可实现以下功能：

通过3D相机进行点云采集，得到点云数据；

根据深度分布信息，将点云数据转化为2D的鸟瞰图；

将稀疏地面视作噪声，将鸟瞰图划分为8*8的多个图像块，并对每个图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

通过离散傅里叶变换中的高通滤波器对第一图像进行处理，得到高通滤波图像；

将DCT图像与高通滤波图像进行相减，并做二值化处理，得到去噪图像；

对去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到纸箱分割图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的纸箱点云分割装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中纸箱点云分割方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中纸箱点云分割方法的步骤，具体操作可参考如图1对应实施例中纸箱点云分割方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中纸箱点云分割方法的步骤，因此，可以实现本申请如图1对应实施例中纸箱点云分割方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的纸箱点云分割方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种纸箱点云分割方法，其特征在于，所述方法包括：

通过3D相机进行点云采集，得到点云数据；

根据深度分布信息，将所述点云数据转化为2D的鸟瞰图；

将稀疏地面视作噪声，将所述鸟瞰图划分为8*8的多个图像块，并对每个所述图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

通过离散傅里叶变换中的高通滤波器对所述第一图像进行处理，得到高通滤波图像；

将所述DCT图像与所述高通滤波图像进行相减，并做二值化处理，得到去噪图像；

对所述去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到所述纸箱分割图像。

2.根据权利要求1所述的方法，其特征在于，所述根据深度分布信息，将所述点云数据转化为2D的鸟瞰图之前，所述方法还包括：

对所述点云数据进行降维处理。

3.根据权利要求1所述的方法，其特征在于，所述对每个所述图像块进行两次离散余弦变换去噪声处理，得到DCT图像，包括：

对每个所述图像块通过下式进行两次离散余弦变换去噪声处理，得到所述DCT图像：

其中，0≤u<M-1，0≤v≤N-1，M、N是输入图像的行和列的大小，f(i,j)是原始图像(i,j)位置的值，F(u,v)是进行离散余弦变换后得到的、位于第u行v列的系数值。

4.根据权利要求1所述的方法，其特征在于，所述离散傅里叶变换通过下式表示：

其中，M、N是输入图像的行和列的大小，(u,v)是变换域中像素点的坐标位置，0≤u<M-1，0≤v≤N-1，F(u,v)是对应频谱上的复频率值，(i,j)是空域中像素点的坐标位置，0≤i<M-1，0≤j≤N-1，f(i,j)为空间像素值，e是欧拉数，z是虚单位。

5.根据权利要求1所述的方法，其特征在于，所述3D相机具体设置于传送纸箱的传送带正上方，所述通过3D相机进行点云采集，包括：

通过所述3D相机对所述传送带进行点云采集，得到所述点云数据。

6.一种纸箱点云分割装置，其特征在于，所述装置包括：

采集单元，用于通过3D相机进行点云采集，得到点云数据；

转换单元，用于根据深度分布信息，将所述点云数据转化为2D的鸟瞰图；

去噪单元，用于将稀疏地面视作噪声，将所述鸟瞰图划分为8*8的多个图像块，并对每个所述图像块进行两次离散余弦变换去噪声处理，得到DCT图像；

所述去噪单元，还用于通过离散傅里叶变换中的高通滤波器对所述第一图像进行处理，得到高通滤波图像；

所述去噪单元，还用于将所述DCT图像与所述高通滤波图像进行相减，并做二值化处理，得到去噪图像；

分割单元，用于对所述去噪图像进行腐蚀处理与膨胀处理，最后通过漫水填充处理得到所述纸箱分割图像。

7.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至5任一项所述的方法。

Images