CN112686162A - 仓库环境整洁状态的检测方法、装置、设备和存储介质 - Google Patents
仓库环境整洁状态的检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112686162A CN112686162A CN202011623669.8A CN202011623669A CN112686162A CN 112686162 A CN112686162 A CN 112686162A CN 202011623669 A CN202011623669 A CN 202011623669A CN 112686162 A CN112686162 A CN 112686162A
- Authority
- CN
- China
- Prior art keywords
- target
- environment
- image information
- state diagram
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 230000003749 cleanliness Effects 0.000 claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000010813 municipal solid waste Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了仓库环境整洁状态的检测方法，包括：按照预设时间间隔获取仓库环境的当前状态图和初始状态图；将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。以此方式能够实现对生鲜仓库的环境整洁度的自动化检测。
Description
技术领域
本公开的实施例一般涉及图像识别技术领域，并且更具体地，涉及仓库环境整洁状态的检测方法、装置、设备和存储介质。
背景技术
随着前置仓模式在生鲜电商领域的成功应用，大量的前置仓库遍布各地，如何提高这些仓库的运营效率从而节省人力成本，对于企业发展显得尤为重要。在实际场景中，日常保持仓库内干净整洁的环境是仓库管理的基本要求之一。
现有技术中，通常是通过人工巡检来实现保持仓库内环境干净整洁的，但是，人工巡检受巡检人员的主观因素影响较大，不利于仓库内环境的保持，同时造成了人力成本的浪费。
发明内容
根据本公开的实施例，提供了一种满足生鲜电商对仓库环境整洁度需求的方案。
在本公开的第一方面，提供了一种仓库环境整洁状态的检测方法，包括：
获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图；
将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；
将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；
根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；
根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述环境整洁状态检测模型由以下方式获得：
以预设数量的仓库环境中的区域的图像信息为训练样本，标识出所述训练样本的目标坐标、目标像素掩码，以及目标类别；
然后将所述训练样本输入到预先建立的神经网络模型，对所述训练样本进行学习，输出训练样本中的目标坐标、目标像素掩码，以及目标类别和对应的概率，当输出结果与标识结果的差异度大于预设阈值时，对神经网络的模型的参数进行修正；
重复上述过程，直到输出结果与标识结果的差异度小于所述预设阈值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出处理结果，包括：
利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出包含目标在内的外接框，以及所述外接框的坐标、外接框内目标的像素掩码，以及目标类别和对应的概率。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述外接框的坐标为外接框对顶点的坐标。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在所述根据所述处理结果确定所述目标区域的环境整洁度指数之前，还包括：
从多个角度获取仓库环境中目标区域的图像信息；
将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的坐标偏差是否大于预设阈值；
响应于不同图像信息中的外接框的坐标偏差大于预设阈值，将对应的处理结果标记为无效状态。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
在所述根据所述处理结果确定所述目标区域的环境整洁度指数之前，还包括：
从多个角度获取仓库环境中目标区域的图像信息；
将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的重合度是否小于预设阈值；
响应于不同图像信息中的外接框的重合度小于预设阈值，将对应的处理结果标记为无效状态。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述处理结果确定所述目标区域的环境整洁度指数，包括：
根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。
在本公开的第二方面，提供了一种仓库环境整洁状态的检测装置，包括：
图像获取模块，用于获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图；
图像信息提取模块，用于将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；
图像信息识别模块，用于将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；
环境整洁度指数确定模块，用于根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；
图像获取频率调整模块，用于根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
通过本公开的实施例的仓库环境整洁状态的检测方案，能够实现对生鲜仓库的环境整洁度的自动化检测，在保持仓库环境整洁的同时降低成本。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开实施例一的仓库环境整洁状态的检测方法的流程图；
图2示出了本公开实施例二的仓库环境整洁状态的检测方法的流程图；
图3示出了本公开实施例三的仓库环境整洁状态的检测方法的流程图；
图4示出了本公开实施例四的仓库环境整洁状态的检测装置的结构示意图；
图5示出了本公开实施例五的仓库环境整洁状态的检测设备的结构示意图；
图6示出了本公开实施例的环境整洁状态检测模型的结构原理图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本公开的实施例中，通过图像采集设备获取生鲜仓库内的区域图像信息，并利用预先训练的神经网络模型对采集到的区域图像信息进行识别，确定对应区域中的目标，例如地面污渍、货框、纸箱、塑料袋等，并根据识别结果确定生鲜仓库对应区域的环境指数，进而可以根据生鲜仓库对应区域的环境指数采取相应的措施，从而可以维护生鲜仓库的环境整洁度。
具体地，如图1所示，为本公开实施例一的仓库环境整洁状态的检测方法的流程图。从图1中可以看出，本实施例的仓库环境整洁状态的检测方法，可以包括以下步骤：
S101：获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图。
本实施例的方法，用于对生鲜仓库内的环境进行检测，并根据检测结果通知管理人员，对生鲜仓库内不整洁的目标进行处理，以维持生鲜仓库内的环境清洁度。在对仓库内的环境进行检测时，可以获取仓库环境的初始状态图以及按照预设的时间间隔获取仓库环境的当前状态图。
具体地，可以在生鲜仓库内的各区域设置图像采集装置，该图像采集装置例如可以是摄像机、频闪相机等。采集到的图像信息可以是拍照获取到的图片信息，也可是视频录像中的视频帧。
另外，在一些实施例中，可以通过改变图像采集装置的高度和图像采集装置的倾斜角度来获取仓库环境中目标区域的图像信息，具体可以根据实际需要或者经验进行调整，这里不再一一列举。通常情况下，图像采集装置获取的图像信息一般是工作人员的工作区域的图像信息，获取的图像信息中一般包括生鲜仓库的地面区域，此外还可以包括地面区域上摆放的物品。当然，也可以根据实际需要全方位的获取生鲜仓库内各区域的图像信息。
由于仓库内的状态图可以由不同的图像采集装置采集，不同的图像采集装置用于采集不同区域的状态图，将不同图像采集装置采集到的状态图整合起来即得到仓库内的整体状态图。
当然，对于同一区域，可以由单一图像采集装置从一个角度采集图像信息，也可以由多个图像采集装置从多个角度采集图像信息。本实施例针对单一图像采集装置从一个角度采集图像信息的技术方案对本公开的技术方案进行说明，对于由多个图像采集装置从多个角度采集图像信息的技术方案由后续实施例进行说明。
S102：将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息。
在本实施例中，当获取到仓库环境的初始状态图以及仓库环境的当前状态图后，可以将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域，作为目标区域，并确定所述目标区域对应的图像采集装置，从而提取所述目标区域的图像信息，即由所述图像采集装置采集到的目标区域的图像信息。
S103：将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率。
在本实施例中，当利用图像采集设备获取到目标区域的图像信息后，利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出处理结果，所述处理结果包括目标坐标、目标像素掩码，以及目标类别和对应的概率。其中，该环境整洁状态检测模型由以下方式获得：训练数据为从摄像头中采集的图片数据，针对这些图片首先进行人工标注，标注方式为通过勾画多边形将目标区域分割出来，形成一个基于像素级别的区域掩码，同时标注出该目标的类别。目标的坐标框可通过掩码自动生成，即多边形的外接矩形。然后将所述训练样本输入到预先建立的神经网络模型，对所述训练样本进行学习，输出训练样本中的目标坐标、目标像素掩码，以及目标类别和对应的概率，当输出结果与标识结果的差异度大于预设阈值时，对神经网络的模型的参数进行修正；重复上述过程，直到输出结果与标识结果的差异度小于所述预设阈值。本实施例中的目标坐标可以由目标的外接矩形框的对顶点的坐标来表示。
具体地，图6示出了本公开实施例的环境整洁状态检测模型的结构原理图，可以先利用人工神经网络来构建一个深度学习算法，通过利用收集到的大量数据对该算法进行训练，自动学习及调整模型内部的参数，当该算法模型能够在一定精度下达到预期效果时，则停止训练，然后测试评估模型的性能，满足上线要求后，则上线应用。进一步地，可以细分为以下几个步骤：
1、数据收集与准备
数据来源于每个仓库中安装的监控摄像头中的视频帧，这些监控摄像头每天24小时对每个仓库进行实时监控。利用数据采集软件，从各个摄像头中采集不同时段不同场景下的各种视频图片，并对图片进行筛选和标注,标注内容主要包含分割出图片中的仓库地面，以及地面上的垃圾，污渍，货框，纸箱，塑料袋等跟干净整洁标准相关的目标。
2、模型设计与构建
该技术方案主要利用深度学习模型对监控摄像头拍摄的视频帧进行分析，检测出图片的地面区域，以及地面上的垃圾、污渍、货框、纸箱等目标。为了达到该目的，该模型设计为一个基于实例分割的卷积神经网络，该网络能够将图片中的地面区域以及垃圾、污渍、货框等重要目标检测分割出来，用于分析其干净整洁状况。该模型的输入为从视频监控摄像头中取出的视频帧图片，模型的输出分为四个部分，检测框坐标，分割掩码，目标类别及置信度概率。检测框坐标为在图片检测到的目标位置，分割掩码为图片中属于检测目标的像素区域，目标类别为检测到的目标属于什么类别，置信度概率为为检测到的目标属于该类别的概率。该模型的设计与构建可分为三个阶段：a)图片深度特征提取；b)基于提取的深度特征做目标检测及实例分割；c)结合检测分割结果做后处理过滤。a)为了分割出图片中的地面区域及检测出垃圾，污渍，货框，纸箱等目标，该阶段采用基于pytorch深度学习框架下搭建的以resnet50作为基干网络(backbone)的特征金字塔网络FPN(Feature PyramidNetwork)结构来计算出图片中不同深度层次的特征矩阵，作为从图片中提取出来的深度特征信息，该特征信息能够在高维抽象层面代表图片中所包含的信息，用于对图片内容进行描述。b)该部分利用Mask R-CNN实例分割算法对提取出的深度特征进行计算处理。该实例分割算法首先利用区域候选网络RPN(Region Proposal Network)从图片的深度特征矩阵中计算出存在目标的候选区域坐标和目标存在的概率，将目标存在概率较高的候选区域框当作有效候选区域，然后将该有效候选区域内的特征通过兴趣区域对齐操作RoI Align(Region-of-Interest Align)提取出该兴趣区域内的深度特征，基于该兴趣区域内的特征，分别计算出目标的框坐标，目标的像素掩码，目标的类别及其概率。c)模型直接输出来的检测结果通常会存在大量重叠的框，需要进一步利用非极大值抑制NMS(Non-MaximumSuppression)算法过滤掉重复的检测框以及置信度较小的检测框。
3、模型训练与验证
当模型构建完成后，需要利用收集的数据对模型内部的参数进行训练学习，自动调整模型参数，直到模型最终达到预期效果。该部分主要包含两个过程，模型训练过程和模型测试过程。首先按一定比例(比如7:1:2)将标注好的数据分成训练数据集、验证数据集和测试数据集。在训练过程中，训练数据集用来训练模型，调整模型内部参数，验证数据集用来衡量在训练过程中的模型的阶段性训练效果。对于训练集中的每一张图片，将模型预测出来的结果与其真实的标识标签进行比较，计算其差异程度，该差异主要由目标框的位置，目标类别和目标掩码组成。一般来讲，该差异可以用一个损失函数(cost function)来衡量，该值越大，则意味着模型计算出的结果越偏离真实结果，需要对模型进行优化，让模型调整参数，使得模型计算的结果与真实结果尽可能一致。基于这个损失值，利用随机梯度下降SGD(stochastic gradient descent)优化算法来对模型内部参数进行更新调整，使得该损失值尽可能地小或者模型在验证数据集上准确率尽可能地高。SGD的初始学习率设为lr，然后每隔几轮，逐渐减小学习率。直到该训练损失值不能进一步降低或者模型在验证数据集上的准确率不再提升时，则停止该训练过程。当模型训练结束后，利用测试数据集对模型进行测试，针对测试集中的每一张图片，模型会输出检测到的目标框的位置坐标、目标掩码、目标类别及其概率。先对模型的直接结果进行NMS非极大值抑制等后处理,然后计算检测出来的目标框和目标掩码与真实标签中各对应的目标位置和掩码的重合度,若该重复度高于某一阈值，且目标类别一致，则将模型的预测结果视为正确，即输出结果与标识结果的差异度小于所述预设阈值。当训练出的模型在测试数据集上达到了预期的精度，则选取在测试集上精度最高的模型，作为该技术的最优算法模型。
S104：根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数。
在输出处理结果后，可以根据所述处理结果中的目标坐标、目标像素掩码，以及目标类别和对应的概率，确定所述目标区域的环境整洁度指数，例如，可以根据检测出的目标类别和数量，目标概率值的大小，分割出的目标所占面积大小，和与其他目标之间的位置关系来计算该类目标的环境整洁度指数，通过对不同目标的最终环境整洁度指数求和，确定目标区域的环境整洁度指数。
在一些实施例中，仓库环境的初始状态图对应一个高的环境整洁度指数数值，在计算得到仓库环境的当前状态图对应的环境整洁度指数数值后，用仓库环境的初始状态图对应数值减去仓库环境的当前状态图对应数值，作为仓库环境的当前状态图对应的环境整洁度指数。
S105：根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
在得到仓库环境的当前状态图对应的环境整洁度指数后，可以将所述环境整洁度指数与预设阈值进行对比，响应于所述环境整洁度指数高于预设阈值，则可以增大仓库环境的当前状态图的采集时间间隔，响应于所述环境整洁度指数低于预设阈值，则可以减小仓库环境的当前状态图的采集时间间隔。
并且，在一些实施例中，还可以将得到的目标区域的环境整洁度指数与预先设定的环境整洁度指数阈值进行对比，判断目标区域的环境整洁度指数是否满足要求。并且可选的，当目标区域的环境整洁度指数不满足要求时，可以发送报警信息，以通知管理人员对该目标区域的目标进行处理，并将处理后的仓库环境的状态图作为仓库环境的初始状态图。
本实施例的仓库环境整洁状态的检测方法，能够实现对生鲜仓库的环境整洁度的自动化检测，在保持仓库环境整洁的同时降低成本。
如图2所示，为本公开实施例二的仓库环境整洁状态的检测方法的流程图。本实施例的方法，对由多个图像采集装置从多个角度采集图像信息的技术方案进行说明，具体可以包括以下步骤：
S201：从多个角度获取仓库环境中目标区域的图像信息。
在本实施例中，在采集生鲜仓库的目标区域的图像信息时，可以由多个图像采集装置从多个角度采集同一目标区域的图像信息。由于在采集图像信息时，对于目标区域中的目标，从不同角度的拍摄，其形态可能是不同的。例如，对于与第一图像采集装置的拍摄角度平行设置或者与拍摄角度夹角较小的纸张，在拍摄到的图像信息中，其投影为一条线或者很窄的一片区域。而对于该纸张，从与第一图像采集装置的拍摄角度垂直的方向或者与该方向夹角较小的方向拍摄时，得到的图像信息中，该纸张接近其实际占的区域面积。简单来说，由于拍摄角度的不同和沿拍摄角度方向目标区域中的目标对自身的遮挡因素，从单一角度获取到的图像信息中的目标的形态与其实际的形态可能存在很大的差异，因此，需要从多个角度获取目标在内的图像信息。
S202：利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出包含目标在内的外接框，以及所述外接框的坐标、外接框内目标的像素掩码，以及目标类别和对应的概率。
在本实施例中，对于从多个角度获取的图像信息中的每一个图像信息，都要通过上述的环境整洁状态检测模型进行处理，输出目标区域的每个角度的图像信息中的包含目标在内的外接框，以及所述外接框的坐标、外接框内目标的像素掩码，以及目标类别和对应的概率。
S203：将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的坐标偏差是否大于预设阈值。
对于同一目标区域的从不同角度获取的图像信息，可以将图像信息中的包含目标在内的外接框的坐标进行对比，判断不同图像信息中的外接框的坐标偏差是否大于预设阈值。例如，对于第一角度拍摄得到的图像信息，外接框的坐标可以为((a1，b1)，(n1，m1))，对于第二角度摄得到的图像信息，外接框的坐标可以为((a2，b2)，(n2，m2))，则外接框的坐标偏差可以表示为表示两个坐标点间距离的差值。并将不同图像信息中的外接框的坐标偏差与预设阈值进行对比，判断是否大于预设阈值。如果是，则进入步骤S204。
在本实施例中，对于多个角度获取到的图像信息，不同图像信息中的外接框的坐标偏差可以为表示两个坐标点间距离的均差。
S204：将对应的处理结果标记为无效状态。
若不同图像信息中的外接框的坐标偏差大于预设阈值，则说明从不同角度获取到的目标区域的图像信息偏差较大，则不具有参考价值，因此，可以将对应的处理结果标记为无效状态。
S205：根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。
在筛选出有效状态的处理结果后，可以根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。例如，可以根据有效状态的处理结果中目标区域的污渍、货框或纸箱的数量确定所述目标区域的环境整洁度指数。
本实施例的仓库环境整洁状态的检测方法，能够实现对生鲜仓库的环境整洁度的自动化检测，在保持仓库环境整洁的同时降低成本。
如图3所示，为本公开实施例三的仓库环境整洁状态的检测方法的流程图。本实施例的方法，可以包括以下步骤：
S301：从多个角度获取仓库环境中目标区域的图像信息。
S302：利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出包含目标在内的外接框，以及所述外接框的坐标、外接框内目标的像素掩码，以及目标类别和对应的概率。
S303：将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的重合度是否小于预设阈值。并当不同图像信息中的外接框的重合度小于预设阈值时进入步骤S304。
本实施例与实施例二区别在于本实施例中是通过判断不同图像信息中的外接框的重合度的大小来确定对应的处理结果是否为无效状态。对于从不同角度获取到的目标区域的图像信息，若其重合度越高，则说明从不同角度获取到的目标区域的目标越接近其实际状态。仍以纸张为例，对于与第一图像采集装置的拍摄角度平行设置或者与拍摄角度夹角较小的纸张，在拍摄到的图像信息中，其投影为一条线或者很窄的一片区域。而对于该纸张，从与第一图像采集装置的拍摄角度垂直的方向或者与该方向夹角较小的方向拍摄时，得到的图像信息中，该纸张接近其实际占的区域面积。这样，两次采集到的图像信息中纸张的重合度也会很低。因此，可以通过判断不同图像信息中的外接框的重合度的大小来确定对应的处理结果是否为无效状态。
S304：将对应的处理结果标记为无效状态。
S305：根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。
在筛选出有效状态的处理结果后，可以根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。例如，可以根据有效状态的处理结果中目标区域的污渍、货框或纸箱的数量确定所述目标区域的环境整洁度指数。
本实施例的仓库环境整洁状态的检测方法，能够实现对生鲜仓库的环境整洁度的自动化检测，在保持仓库环境整洁的同时降低成本。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图4示出了本公开实施例四的仓库环境整洁状态的检测装置的结构示意图。本实施例的仓库环境整洁状态的检测装置，包括：
图像获取模块401，用于获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图；
图像信息提取模块402，用于将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；
图像信息识别模块403，用于将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；
环境整洁度指数确定模块404，用于根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；
图像获取频率调整模块405，用于根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图5示出了本公开实施例四的仓库环境整洁状态的检测设备的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图5所示，计算机系统包括中央处理单元(CPU)501，其可以基于存储在只读存储器(ROM)502中的程序或者从存储部分408加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也基于需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，基于需要安装在驱动器510上，以便于从其上读出的计算机程序基于需要被安装入存储部分508。
特别地，基于本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种仓库环境整洁状态的检测方法，其特征在于，包括：
获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图；
将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；
将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；
根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；
根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
2.根据权利要求1所述的仓库环境整洁状态的检测方法，其特征在于，所述环境整洁状态检测模型由以下方式获得：
以预设数量的仓库环境中的区域的图像信息为训练样本，标识出所述训练样本的目标坐标、目标像素掩码、以及目标类别；
然后将所述训练样本输入到预先建立的神经网络模型，对所述训练样本进行学习，输出训练样本中的目标坐标、目标像素掩码，以及目标类别和对应的概率，当输出结果与标识结果的差异度大于预设阈值时，对神经网络的模型的参数进行修正；
重复上述过程，直到输出结果与标识结果的差异度小于所述预设阈值。
3.根据权利要求2所述的仓库环境整洁状态的检测方法，其特征在于，所述利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出处理结果，包括：
利用预先训练的环境整洁状态检测模型对所述图像信息进行处理，输出包含目标在内的外接框，以及所述外接框的坐标、外接框内目标的像素掩码，以及目标类别和对应的概率。
4.根据权利要求3所述的仓库环境整洁状态的检测方法，其特征在于，所述外接框的坐标为外接框对顶点的坐标。
5.根据权利要求4所述的仓库环境整洁状态的检测方法，其特征在于，在所述根据所述处理结果确定所述目标区域的环境整洁度指数之前，还包括：
从多个角度获取仓库环境中目标区域的图像信息；
将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的坐标偏差是否大于预设阈值；
响应于不同图像信息中的外接框的坐标偏差大于预设阈值，将对应的处理结果标记为无效状态。
6.根据权利要求4所述的仓库环境整洁状态的检测方法，其特征在于，
在所述根据所述处理结果确定所述目标区域的环境整洁度指数之前，还包括：
从多个角度获取仓库环境中目标区域的图像信息；
将从多个角度获取仓库环境中目标区域的图像信息进行对比，判断不同图像信息中的外接框的重合度是否小于预设阈值；
响应于不同图像信息中的外接框的重合度小于预设阈值，将对应的处理结果标记为无效状态。
7.根据权利要求5或6所述的仓库环境整洁状态的检测方法，其特征在于，所述根据所述处理结果确定所述目标区域的环境整洁度指数，包括：
根据有效状态的处理结果中目标区域的目标类别和目标数量，确定所述目标区域的环境整洁度指数。
8.一种仓库环境整洁状态的检测装置，其特征在于，包括：
图像获取模块，用于获取仓库环境的初始状态图以及按照预设时间间隔获取仓库环境的当前状态图；
图像信息提取模块，用于将所述当前状态图和所述初始状态图进行对比，确定所述当前状态图相对于所述初始状态图的变化区域作为目标区域，提取所述目标区域的图像信息；
图像信息识别模块，用于将所述图像信息输入预先训练的环境整洁状态检测模型，得到输出的检测结果，所述检测结果包括目标坐标、目标像素掩码、以及目标类别和对应的概率；
环境整洁度指数确定模块，用于根据所述检测结果中同类目标所占面积和同类目标之间的相对位置关系确定所述目标区域的环境整洁度指数；
图像获取频率调整模块，用于根据所述环境整洁度指数对仓库环境的当前状态图的获取频率进行调整。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623669.8A CN112686162B (zh) | 2020-12-31 | 2020-12-31 | 仓库环境整洁状态的检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623669.8A CN112686162B (zh) | 2020-12-31 | 2020-12-31 | 仓库环境整洁状态的检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686162A true CN112686162A (zh) | 2021-04-20 |
| CN112686162B CN112686162B (zh) | 2023-12-15 |
Family
ID=75453951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011623669.8A Active CN112686162B (zh) | 2020-12-31 | 2020-12-31 | 仓库环境整洁状态的检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686162B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470030A (zh) * | 2021-09-03 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 组织腔清洁度的确定方法、装置、可读介质和电子设备 |
| CN114241406A (zh) * | 2021-12-06 | 2022-03-25 | 深圳市通达智慧科技有限公司 | 一种智能网络监控辅助保洁方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845408A (zh) * | 2017-01-21 | 2017-06-13 | 浙江联运知慧科技有限公司 | 一种复杂环境下的街道垃圾识别方法 |
| CN106874954A (zh) * | 2017-02-20 | 2017-06-20 | 佛山市络思讯科技有限公司 | 一种信息获取的方法以及相关装置 |
| CN108932510A (zh) * | 2018-08-20 | 2018-12-04 | 贵州宜行智通科技有限公司 | 一种垃圾检测方法及装置 |
| CN109711744A (zh) * | 2018-12-29 | 2019-05-03 | 南京天溯自动化控制系统有限公司 | 保洁任务自动生成、执行评价方法、保洁方法及装置 |
| CN109815851A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 厨房卫生检测方法、装置、计算机设备和存储介质 |
| CN110688945A (zh) * | 2019-09-26 | 2020-01-14 | 成都睿云物联科技有限公司 | 整洁度检测方法、装置、计算机设备和存储介质 |
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
| CN111272148A (zh) * | 2020-01-20 | 2020-06-12 | 江苏方天电力技术有限公司 | 输电线路无人机自主巡检自适应成像质量优化方法 |
| CN111353489A (zh) * | 2020-02-27 | 2020-06-30 | 平安国际智慧城市科技股份有限公司 | 文本图像处理方法、装置、计算机设备和存储介质 |
| CN111754374A (zh) * | 2020-06-28 | 2020-10-09 | 北京伟杰东博信息科技有限公司 | 一种土地污染监控方法及其系统 |
| CN111914767A (zh) * | 2020-08-05 | 2020-11-10 | 北京市遥感信息研究所 | 一种基于多源遥感数据的散乱污企业检测方法及系统 |
-
2020
- 2020-12-31 CN CN202011623669.8A patent/CN112686162B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845408A (zh) * | 2017-01-21 | 2017-06-13 | 浙江联运知慧科技有限公司 | 一种复杂环境下的街道垃圾识别方法 |
| CN106874954A (zh) * | 2017-02-20 | 2017-06-20 | 佛山市络思讯科技有限公司 | 一种信息获取的方法以及相关装置 |
| CN108932510A (zh) * | 2018-08-20 | 2018-12-04 | 贵州宜行智通科技有限公司 | 一种垃圾检测方法及装置 |
| CN109711744A (zh) * | 2018-12-29 | 2019-05-03 | 南京天溯自动化控制系统有限公司 | 保洁任务自动生成、执行评价方法、保洁方法及装置 |
| CN109815851A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 厨房卫生检测方法、装置、计算机设备和存储介质 |
| CN110688945A (zh) * | 2019-09-26 | 2020-01-14 | 成都睿云物联科技有限公司 | 整洁度检测方法、装置、计算机设备和存储介质 |
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
| CN111272148A (zh) * | 2020-01-20 | 2020-06-12 | 江苏方天电力技术有限公司 | 输电线路无人机自主巡检自适应成像质量优化方法 |
| CN111353489A (zh) * | 2020-02-27 | 2020-06-30 | 平安国际智慧城市科技股份有限公司 | 文本图像处理方法、装置、计算机设备和存储介质 |
| CN111754374A (zh) * | 2020-06-28 | 2020-10-09 | 北京伟杰东博信息科技有限公司 | 一种土地污染监控方法及其系统 |
| CN111914767A (zh) * | 2020-08-05 | 2020-11-10 | 北京市遥感信息研究所 | 一种基于多源遥感数据的散乱污企业检测方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470030A (zh) * | 2021-09-03 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 组织腔清洁度的确定方法、装置、可读介质和电子设备 |
| CN113470030B (zh) * | 2021-09-03 | 2021-11-23 | 北京字节跳动网络技术有限公司 | 组织腔清洁度的确定方法、装置、可读介质和电子设备 |
| CN114241406A (zh) * | 2021-12-06 | 2022-03-25 | 深圳市通达智慧科技有限公司 | 一种智能网络监控辅助保洁方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686162B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2484531C2 (ru) | Устройство обработки видеоинформации системы охранной сигнализации | |
| CN111310645A (zh) | 货物堆积量的溢仓预警方法、装置、设备及存储介质 | |
| CN112070053B (zh) | 背景图像的自更新方法、装置、设备及存储介质 | |
| US20170278234A1 (en) | Method for detecting a defect on a surface of a tire | |
| CN112200011B (zh) | 曝气池状态检测方法、系统、电子设备及存储介质 | |
| CN113688817A (zh) | 一种自动巡检的仪表识别方法及识别系统 | |
| CN110255318B (zh) | 基于图像语义分割的电梯轿厢闲置物品检测的方法 | |
| CN112686162A (zh) | 仓库环境整洁状态的检测方法、装置、设备和存储介质 | |
| US20170103536A1 (en) | Counting apparatus and method for moving objects | |
| CN112153269A (zh) | 应用于电子设备的图片显示方法、装置、介质与电子设备 | |
| US20240420313A1 (en) | Inspection method for inspecting an object and machine vision system | |
| CN112926483A (zh) | 标准机柜状态指示灯识别监测方法、装置和系统 | |
| US20230386055A1 (en) | Image feature matching method, computer device, and storage medium | |
| CN117854211B (zh) | 一种基于智能视觉的目标对象识别方法及装置 | |
| KR102299250B1 (ko) | 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법 | |
| CN115474441A (zh) | 障碍物检测方法、装置、设备和计算机存储介质 | |
| CN113435296A (zh) | 基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯 | |
| Tupper et al. | Pedestrian proximity detection using RGB-D data | |
| US20230051823A1 (en) | Systems, methods, and computer program products for image analysis | |
| CN117934540A (zh) | 目标跟踪方法、装置以及存储介质 | |
| CN113191227B (zh) | 柜门状态的检测方法、装置、设备及存储介质 | |
| CN115984759A (zh) | 变电站开关状态识别方法、装置、计算机设备和存储介质 | |
| CN115409348A (zh) | 基于图像识别的公共交通区域汛情风险评估系统及方法 | |
| JP7241011B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Miljanovic et al. | Detection of windows in facades using image processing algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231117 Address after: 017000 Office Building of Ordos Airport Logistics Park Management Committee, Ordos City, Inner Mongolia Autonomous Region Applicant after: Ordos Airport Big Data Operations Co.,Ltd. Address before: 100102 room 801, 08 / F, building 7, yard 34, Chuangyuan Road, Chaoyang District, Beijing Applicant before: BEIJING MISSFRESH E-COMMERCE Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |