CN110796669A

CN110796669A - 一种垂直边框定位方法及设备

Info

Publication number: CN110796669A
Application number: CN201911033630.8A
Authority: CN
Inventors: 徐鹏; 沈圣远; 常树林; 姚巨虎
Original assignee: Shanghai Yueyi Network Information Technology Co Ltd
Current assignee: Shanghai Yueyi Network Information Technology Co Ltd
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2020-02-14

Abstract

本申请的目的是提供一种垂直边框定位方法及设备，本申请通过获取待检测手机的外观图像；对所述外观图像进行垂直边框检测，得到垂直边框检测区域；对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域；对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，通过深度学习的方式，对手机进行检测、分割及区域聚合，过滤掉垂直边框以外的图像信息，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

Description

一种垂直边框定位方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种垂直边框定位方法及设备。

背景技术

现有技术中，目前在垂直边框定位这块主要基于传统图像算法，通过颜色空间变换、滤波、边缘提取、区域聚合的方式获得垂直边框精定位；由于基于传统图像处理方式在很大程度上依赖于阈值的选取，而二手手机由于在成色、外观、老化程度等各个方面都有不同程度的差异，故很难给出确定的阈值。基于传统图像处理方式在二手手机检测中已经不适用，会出现手机边框检测不准确等问题。因此，如何克服检测二手手机边框不精确的问题，能够更好地适应二手手机的差异，实现对二手手机边框的定位检测是业界需要研究的方向。

发明内容

本申请的一个目的是提供一种垂直边框定位方法及设备，以解决现有技术中手机的垂直边框定位不精确的问题。

根据本申请的一个方面，提供了一种垂直边框定位方法包括：

获取待检测手机的外观图像；

对所述外观图像进行垂直边框检测，得到垂直边框检测区域；

对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域；

对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置。

进一步地，上述垂直边框定位方法中，对所述外观图像进行垂直边框检测，得到垂直边框检测区域，包括：

获取垂直边框检测模型，其中，所述垂直边框检测模型由残差网络resnet50确定；

基于所述垂直边框检测模型对所述外观图像进行垂直边框检测，得到垂直边框检测区域。

进一步地，上述垂直边框定位方法中，对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域，包括：

绕所述垂直边框检测区域向外进行预设数量像素的扩大，并通过卷积神经网络U-net对扩大后的垂直边框检测区域进行像素分割，得到所述分割后的垂直边框检测区域。

进一步地，上述垂直边框定位方法中，对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，包括：

对所述分割后的垂直边框检测区域内的所有像素点进行像素聚类，并将聚类后的所述分割后的垂直边框检测区域内的所有与垂直边框对应的点连在一起，得到所述手机的垂直边框的区域；

对所述手机的垂直边框的区域进行最大外接矩形截取，得到所述手机的垂直边框的边框位置。

进一步地，上述垂直边框定位方法中，对所述分割后的垂直边框检测区域内的所有像素点进行像素聚类，包括：

判断所述分割后的垂直边框检测区域的像素点是否在所述手机的垂直边框内；

若是，则保留所述分割后的垂直边框检测区域中对应的像素点及其像素值；

若否，则将所述分割后的垂直边框检测区域中对应的像素点置黑。

进一步地，上述垂直边框定位方法中，所述预设数量像素为100像素。

根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述任一项所述的方法。

根据本申请的另一方面，还提供了一种垂直边框定位设备，该垂直边框定位设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述中任一项所述的方法。

与现有技术相比，本申请通过获取待检测手机的外观图像；对所述外观图像进行垂直边框检测，得到垂直边框检测区域；对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域；对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，通过深度学习的方式，对手机进行检测、分割及区域聚合，过滤掉垂直边框以外的图像信息，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种垂直边框定位方法的流程示意图；

图2示出根据本申请一个方面的一种垂直边框定位方法中的待检测手机的外观图像；

图3示出根据本申请一个方面的一种垂直边框定位方法中的垂直边框检测区域示意图；

图4示出根据本申请一个方面的一种垂直边框定位方法中的像素扩大后的垂直边框检测区域示意图；

图5示出根据本申请一个方面的一种垂直边框定位方法中的分割后的垂直边框检测区域示意图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种垂直边框定位方法的流程示意图，应用于对手机的垂直边框进行定位的过程中，该方法包括步骤S11、步骤S12、步骤S13及步骤S14，其中，具体包括：

步骤S11，获取待检测手机的外观图像；在此，所述手机可以是使用过的手机、由于出厂质量的问题而返厂的手机及回收的手机等二手手机，二手手机的成色、外观、老化程度等各个方面都有不同程度的差异。所述手机的外观图像可以包括但不限于所述手机的主视图、左视图、右视图、后视图、俯视图及仰视图等用于展示手机的外观的图像。

步骤S12，对所述外观图像进行垂直边框检测，得到垂直边框检测区域；在此，所述垂直边框检测的目的是检测出垂直边框所在的大概区域即垂直边框检测区域，该垂直边框检测后可以得到垂直边框检测区域对应的不同像素点的坐标、垂直边框检测区域对应的置信度等。

步骤S13，对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域；在此，首先将垂直边框检测区域进行像素扩大处理得到像素扩大后的垂直边框检测区域，以便后续对所述垂直边框检测区域进行像素分割处理；然后，将像素扩大后的垂直边框检测区域经过像素分割处理得到分割后的垂直边框检测区域。其中，对所述垂直边框检测区域进行像素分割后，可以直观地判断出垂直边框检测区域中的每个像素是否属于垂直边框区域内。

步骤S14，对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置。

上述步骤S11至步骤S14，使得通过深度学习的方式，对手机进行检测、分割及区域聚合，过滤掉垂直边框以外的图像信息，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

例如，首先，获取待检测手机的外观图像A如图2所示，所述待检测手机可以是一个外观有瑕疵的二手手机。接着，对所述外观图像进行垂直边框检测，得到如图3所示的垂直边框检测区域A1；在此，所述垂直边框检测的目的是检测出垂直边框所在的大概区域即垂直边框检测区域A1，检测结果包括垂直边框检测区域对应不同像素点的坐标；垂直边框检测区域对应的置信度score等。然后，将垂直边框检测区域A1进行像素扩大处理得到如图4所示的像素扩大后的垂直边框检测区域A2，以便后续对垂直边框检测区域进行像素分割处理；然后，像素扩大后的垂直边框检测区域A2经过像素分割处理得到如图5所示的分割后的垂直边框检测区域A3。其中，对像素扩大后的所述垂直边框检测区域A2进行像素分割后可以判断出垂直边框检测区域中的每个像素是否属于垂直边框区域内。最后，对所述分割后的垂直边框检测区域A3进行像素聚类，得到所述手机的垂直边框的边框位置D，该手机的垂直边框的边框位置D对应的四个坐标分别为：为(x1，y1)、(x1，y2)、(x2，y1)、(x2，y2)，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

接着本申请的上述实施例，所述步骤S12对所述外观图像进行垂直边框检测，得到垂直边框检测区域，包括：

获取垂直边框检测模型，其中，所述垂直边框检测模型由残差网络resnet50确定。

例如，所述获取基于resnet50建立的垂直边框检测模型，具体可以包括：首先，对resnet50进行改进包括：基于resnet50进行剪枝处理后，在残差网络块里面用2个卷积核代替1个卷积核。其次，获取至少一部回收的手机的训练外观图像，即获取人工标注1000部手机的训练外观图像；然后，根据改进的resnet50对每部手机对应的训练外观图形进行该手机的垂直边框的检测和预测，得到每部手机对应的训练外观图形所指示的该手机的垂直边框的垂直边框检测区域的预测结果T，同时获取每部手机对应的训练外观图形所指示的该手机的垂直边框的垂直边框检测区域的真实结果S，计算每部手机对应的训练外观图像所指示的该手机的垂直边框的垂直边框检测区域的所述预测结果T与所述真实结果S的差值V；接着，将所述差值输入基于改进的resnet50建立的所述垂直边框检测模型M，对所述垂直边框检测模型M的参数进行调整，得到改进后的垂直边框检测模型M，以实现对垂直边框检测模型M的不断训练与优化，该垂直边框检测模型M在对手机的外观图像进行垂直边框检测的过程中更有利于得到更深层的特征；最后，基于所述垂直边框检测模型M对所述外观图像进行垂直边框检测，得到如图3所示的垂直边框检测区域A1，有利于实现垂直边框定位的精确度。

接着本申请的上述实施例，所述步骤S13对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域，包括：

绕所述垂直边框检测区域向外进行预设数量像素的扩大，并通过卷积神经网络U-net对扩大后的垂直边框检测区域进行像素分割，得到所述分割后的垂直边框检测区域。在此，所述预设数量像素可以进行任何数量的像素的设置，在本申请一个方面的优选实施例中，可以将所述预设数量像素优选为为100像素。

例如，若像素扩大的预设数量为100，即绕如图3所示的所述垂直边框检测区域A1向外进行100像素的扩大，得到如图4所示的像素扩大后的垂直边框检测区域A2，并通过卷积神经网络U-net对扩大后的垂直边框检测区域A2进行像素分割，得到如图5所示的所述分割后的垂直边框检测区域A3，有利于实现后续对垂直边框的精确定位。在此，通过所述卷积神经网络U-net进行像素分割处理后的图像与分割前的图像的大小是一样的，且分割后的图像中的像素点能够区分出是否属于目标检测物，若是，则保留该像素点的像素值，若否则将该像素点的像素值设置为零，即置黑。比如，输入的原始图像为：128*128，通过多层卷积计算得到多层分辨率降低的特征图，比如，对应有：64*64，32*32，16*16，通过上采样可以一次得到32*32，64*64，128*128的图片，通过损失函数来迭代使得最后得到的128*128的图像可以很好的区分出垂直边框的位置(非边框位置为黑色)，因为输入的原始图像128*128与输出图像128*128一致，所以该卷积神经网络U-net主要是用于确认待处理的图像中的每个像素点是否属于目标检测物(比如，垂直边框的位置)。

接着本申请的上述实施例，所述步骤S14对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，包括：

对所述分割后的垂直边框检测区域内的所有像素点进行像素聚类，并将聚类后的所述分割后的垂直边框检测区域内的所有与垂直边框对应的点连在一起，得到所述手机的垂直边框的区域。对所述手机的垂直边框的区域进行最大外接矩形截取，得到所述手机的垂直边框的边框位置，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

例如，若如图5所示的所述分割后的垂直边框检测区域A3内的所有像素点分别为：a1、a2、a3、a4、a5......an，对如图5所示的所述分割后的垂直边框检测区域A3内的所有像素点a1、a2、a3、a4、a5......an进行像素聚类，并将聚类后的所述分割后的垂直边框检测区域内的所有与垂直边框对应的点连在一起，得到所述手机的垂直边框的区域A4；对所述手机的垂直边框的区域A4进行最大外接矩形截取，得到所述手机的垂直边框的边框位置D，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

进一步地，所述对所述分割后的垂直边框检测区域内的所有像素点进行像素聚类包括：

若否，则将所述分割后的垂直边框检测区域中对应的像素点置黑，即将非垂直边框的区域的像素点的像素值设置为0。

例如，对如图5所示的所述分割后的垂直边框检测区域A3内的所有像素点a¹、a²、a³、a⁴、a⁵......aⁿ进行像素聚类时，判断如图5所示的所述分割后的垂直边框检测区域A3的像素点a¹、a²、a³、a⁴、a⁵......aⁿ是否在所述手机的垂直边框内，若是，则保留所述分割后的垂直边框检测区域中对应的像素点及其像素值；若否，则将所述分割后的垂直边框检测区域中对应的像素点置黑即像素点的像素值设置为0。非垂直边框的区域的像素点a²、a⁴、a⁵、a⁷、......a^n-1置黑。然后，将聚类后的如图5所示的所述分割后的垂直边框检测区域A3内的所有与垂直边框对应的点连在一起，得到所述手机的垂直边框的区域A4。最后，通过调用开源计算机视觉库(Open Source Computer Vision Library，OpenCV)中的相关函数对所述手机的垂直边框的区域A4进行最大外接矩形截取，得到所述手机的垂直边框的边框位置D，截取的最大外接矩形的四个点为x1、x2、y1及y2，从而得到该手机的垂直边框的边框位置D对应的四个坐标分别为：为(x1，y1)、(x1，y2)、(x2，y1)、(x2，y2)，进而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述控制用户对垒方法。

根据本申请的另一个方面，还提供了一种垂直边框定位设备，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述在设备上控制用户对垒方法。

在此，所述设备的各实施例的详细内容，具体可参见上述设备端的控制用户对垒方法实施例的对应部分，在此，不再赘述。

本申请提供的一种垂直边框定位方法的实际应用场景，在二手手机回收检测的过程中，首先，获取待检测手机的外观图像A如图2所示，所述待检测手机可以是一个外观有瑕疵的二手手机。

然后，所述获取基于resnet50建立的垂直边框检测模型，具体可以包括：首先，对resnet50进行改进包括：基于resnet50进行剪枝处理后，在残差网络块里面用2个卷积核代替1个卷积核；其次，获取至少一部回收的手机的训练外观图像，即获取人工标注1000部手机的训练外观图像；然后，根据改进的resnet50对每部手机对应的训练外观图形进行该手机的垂直边框的检测和预测，得到每部手机对应的训练外观图形所指示的该手机的垂直边框的垂直边框检测区域的预测结果T，同时获取每部手机对应的训练外观图形所指示的该手机的垂直边框的垂直边框检测区域的真实结果S，计算每部手机对应的训练外观图像所指示的该手机的垂直边框的垂直边框检测区域的所述预测结果T与所述真实结果S的差值V；接着，将所述差值输入基于改进的resnet50建立的所述垂直边框检测模型M，对所述垂直边框检测模型M的参数进行调整，得到改进后的垂直边框检测模型M，以实现对垂直边框检测模型M的不断训练与优化，该垂直边框检测模型M在对手机的外观图像进行垂直边框检测的过程中更有利于得到更深层的特征；最后，基于所述垂直边框检测模型M对所述外观图像进行垂直边框检测，得到如图3所示的垂直边框检测区域A1，有利于实现垂直边框定位的精确度。

接着，将像素扩大的预设数量设置为100，即绕如图3所示的所述垂直边框检测区域A1向外进行100像素的扩大，得到如图4所示的像素扩大后的垂直边框检测区域A2，并通过卷积神经网络U-net对扩大后的垂直边框检测区域A2进行像素分割，得到如图5所示的所述分割后的垂直边框检测区域A3，有利于实现后续对垂直边框的精确定位。

之后，对如图5所示的所述分割后的垂直边框检测区域A3内的所有像素点a¹、a²、a³、a⁴、a⁵......aⁿ进行像素聚类。判断如图5所示的所述分割后的垂直边框检测区域A3的像素点a¹、a²、a³、a⁴、a⁵......aⁿ是否在所述手机的垂直边框内；若是，则保留所述分割后的垂直边框检测区域中对应的像素点及其像素值；若否，则将所述分割后的垂直边框检测区域中对应的像素点置黑即像素点的像素值设置为0；非垂直边框的区域的像素点a²、a⁴、a⁵、a⁷、......a^n-1置黑；然后，将聚类后的如图5所示的所述分割后的垂直边框检测区域A3内的所有与垂直边框对应的点连在一起，得到所述手机的垂直边框的区域A4。

最后，通过调用开源计算机视觉库(Open Source Computer Vision Library，OpenCV)中的相关函数对所述手机的垂直边框的区域A4进行最大外接矩形截取，得到所述手机的垂直边框的边框位置D，截取的最大外接矩形的四个点为x1、x2、y1及y2，从而得到该手机的垂直边框的边框位置D对应的四个坐标分别为：为(x1，y1)、(x1，y2)、(x2，y1)、(x2，y2)，进而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

综上所述，本申请通过获取待检测手机的外观图像；对所述外观图像进行垂直边框检测，得到垂直边框检测区域；对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域；对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，通过深度学习的方式，对手机进行检测、分割及区域聚合，过滤掉垂直边框以外的图像信息，从而实现了对手机的垂直边框的精确定位，有利于降低垂直边框区域缺陷的错误识别率。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种垂直边框定位方法，其特征在于，所述方法包括：

获取待检测手机的外观图像；

2.根据权利要求1所述的方法，其特征在于，对所述外观图像进行垂直边框检测，得到垂直边框检测区域，包括：

3.根据权利要求2所述的方法，其特征在于，对所述垂直边框检测区域依次进行像素扩大和像素分割，得到分割后的垂直边框检测区域，包括：

4.根据权利要求3所述的方法，其特征在于，对所述分割后的垂直边框检测区域进行像素聚类，得到所述手机的垂直边框的边框位置，包括：

5.根据权利要求4所述的方法，其特征在于，对所述分割后的垂直边框检测区域内的所有像素点进行像素聚类，包括：

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述预设数量像素为100像素。

7.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至6中任一项所述的方法。

8.一种用于垂直边框定位设备，其特征在于，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。