[go: up one dir, main page]

CN116597252A - 图片生成方法、装置、计算机设备和存储介质 - Google Patents

图片生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116597252A
CN116597252A CN202310572545.9A CN202310572545A CN116597252A CN 116597252 A CN116597252 A CN 116597252A CN 202310572545 A CN202310572545 A CN 202310572545A CN 116597252 A CN116597252 A CN 116597252A
Authority
CN
China
Prior art keywords
target
picture
foreground
current
scene type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310572545.9A
Other languages
English (en)
Inventor
张涛
曾龙
黄家明
黄寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University, Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310572545.9A priority Critical patent/CN116597252A/zh
Publication of CN116597252A publication Critical patent/CN116597252A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图片生成方法、装置、计算机设备和存储介质。所述方法包括：对待处理图片集做实例分割处理得到目标前景集；从初始背景图片集随机选当前背景图片，检测并得到当前背景图片对应的目标场景类型；从目标前景集随机选当前前景目标，由目标场景类型确定目标增强处理方式，执行目标增强处理方式的操作得到增强前景目标；对当前背景图片做背景增强处理得到增强背景图片，随机粘贴增强前景目标到增强背景图片中得到当前图片；由目标场景类型确定目标模糊处理方式，对当前图片做目标模糊处理方式的操作生成目标图片。采用本方法能够提高应用于机器人对应的清扫识别神经网络识别训练的图片的数据质量。

Description

图片生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图片生成方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的迅速发展，与数字图像特征识别等传统识别方法相比，基于深度学习的脏污识别方法泛化性更好、检测精度更高、部署更加敏捷，对于提高机器人清扫效率、保障清扫质量具有突出意义。然而基于深度学习的方法通常需要大量高质量的数据对神经网络进行训练，目前通过人工标注训练数据标签的方法需要大量的时间成本和人工成本，且误差较大、标注质量参差不齐、难以生成大规模高质量的训练数据。
此外，现有技术提出的方法中，虽然可以基于深度学习的方法对脏污进行识别定位，但是用来训练神经网络的数据集全部为机器人采集后标注的真实数据，数据集的采集和标注所需成本较高，并且现有方法生成的数据多样性低，生成的图像数据集的质量较低，从而导致机器人对应的清扫识别神经网络应用低质量图像数据集进行训练后对脏污物识别的准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够快速高效地生成高质量的数据集的图片生成方法、装置、计算机设备和存储介质，用于提高机器人对应的清扫识别神经网络对脏污物识别的准确率。
一种图片生成方法，所述方法包括：
获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片中包括待清扫的前景主体；
从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型；
从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标；
对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片；
基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。
在其中一个实施例中，获取待处理图片集之前，还包括：
获取相机采集的原始图片集，计算所述原始图片集中各个图片对应的畸变参数和变换矩阵；
基于所述畸变参数和变换矩阵，对所述原始图片集中的图片进行畸变矫正处理，得到所述待处理图片集。
在其中一个实施例中，获取待处理图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集包括：
对所述待处理图片集中的各图片对应的各元素进行多边形标注，得到各图片对应的目标多边形；
基于所述目标多边形，对对应的图片进行抠图操作，得到所述目标前景集。
在其中一个实施例中，检测所述当前背景图片对应的场景类型，得到目标场景类型包括：
获取所述当前背景图片中各像素对应的灰度值和像素总数；
基于所述各像素对应的灰度值和像素总数，计算所述当前背景图片中各灰度级对应的灰度级概率；
基于所述各灰度级对应的灰度级概率，计算所述当前背景图片对应的灰度平均值；
基于所述灰度值、灰度级概率和灰度平均值，计算所述当前背景图片对应的灰度方差值；
基于所述灰度平均值和所述灰度方差值，确定所述当前背景图片对应的目标场景类型。
在其中一个实施例中，基于所述灰度平均值和所述灰度方差值，确定所述当前背景图片对应的目标场景类型包括：
获取方差阈值，当所述灰度方差值小于所述方差阈值时，将第一场景类型作为所述目标场景类型；
当所述灰度方差值大于所述方差阈值时，将第二场景类型作为所述目标场景类型；
当所述灰度平均值满足第三场景条件时，将第三场景类型作为所述目标场景类型。
在其中一个实施例中，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式包括：
基于场景类型与前景目标增强处理方式的对应关系，从候选前景增强处理方式中确定所述当前前景目标对应的目标增强处理方式，所述候选前景增强处理方式包括大小维度增强处理方式、像素维度增强处理方式和灰度维度增强处理方式。
在其中一个实施例中，基于所述目标场景类型，确定目标模糊处理方式包括：
基于场景类型与模糊处理方式的对应关系，从候选模糊处理方式中确定所述目标模糊处理方式，所述候选前景增强处理方式包括均匀分布模糊处理方式、高斯分布模糊处理方式和非线性分布模糊处理方式。
一种图片生成装置，所述装置包括：
获取与分割模块，用于获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片中包括待清扫的前景主体；
检测模块，用于从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型；
增强模块，用于从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标；
粘贴模块，用于对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片；
模糊模块，用于基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图片生成方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图片生成方法的步骤。
上述图片生成方法、装置、计算机设备和存储介质，通过获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片中包括待清扫的前景主体；从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型；从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标；对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片；基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。对待处理图片集进行实例分割处理，使得最终生成的目标图片可应用于更加宽泛的领域，不再仅局限于单方面领域的机器人清扫识别神经网络的数据应用，通过多次随机选取的处理，确保了生成目标图片的多样性，以及通过场景类型的区分，更有针对性地对图片进行增强处理和模糊处理，使得不同场景对应的目标图片更加接近于真实情境，获得更高质量的目标图片，进而可将生成的多个目标图片集成的图片集应用于机器人清扫识别神经网络的训练中，在一定程度上提高了机器人对应的清扫识别神经网络对脏污物识别的准确率。
附图说明
图1为一个实施例中图片生成方法的应用环境图；
图2为一个实施例中图片生成方法的流程示意图；
图3为一个实施例中畸变矫正的流程示意图；
图4为一个实施例中实例分割的流程示意图；
图5为一个实施例中图片灰度值计算的流程示意图；
图6为一个实施例中场景确定的流程示意图；
图7为一个实施例中机器人脏污图片合成流程的示意图；
图8为一个实施例中机器人脏污图片生成的总体流程示意图；
图9为一个实施例中图片生成装置的结构框图；
图10为一个实施例中机器人的内部结构图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图片生成方法，可以应用于如图1所示的应用环境中。其中，机器人102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104用于获取通过相机采集的待处理图片集和初始背景图片集，所述相机可以是RGB相机，对待处理图片集中的图片进行实例分割处理，得到目标前景集，该待处理图片集包括待清扫的前景主体；从初始背景图片集中随机选取当前背景图片，检测当前背景图片对应的场景类型，得到目标场景类型；从目标前景集中随机选取当前前景目标，基于目标场景类型，确定当前前景目标对应的目标增强处理方式，执行目标增强处理方式对应的操作，得到增强前景目标；对当前背景图片进行背景增强处理，得到增强背景图片，将增强前景目标随机粘贴到增强背景图片中，得到当前图片；基于目标场景类型，确定目标模糊处理方式，对当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。机器人102用于部署基于多个目标图片集成的图片集训练得到的清扫识别神经网络。其中，机器人102可以是清扫机器人，也可以是具有主动清扫功能的其他类型的服务机器人。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图片生成方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S200，获取待处理图片集和初始背景图片集，对待处理图片集中的图片进行实例分割处理，得到目标前景集，待处理图片集是机器人对预设场所进行拍摄得到的，待处理图片中包括待清扫的前景主体。
其中，待处理图片集指用于生成前景目标的图片的集合，可以是通过机器人上的视觉传感器或者其他设备上的视觉传感器在各类室内外场所拍摄的脏污环境的图片，且未对这些图片进行相关的标注与抠图处理。为方便描述，本申请中以通过机器人上的视觉传感器获取室内场所(比如商场超市、办公室、停车场等)的脏污环境为例进行说明。初始背景图片指用于作为最终生成的脏污图片(目标图片)的背景的初始图片，这些图片未进行任何增强处理，与真实脏污场景下的背景图片最为接近。实例分割(Instance Segmentation)指视觉经典四个任务之一，其既具备语义分割(Semantic Segmentation)的特点，需要做到像素层面上的分类；也具备目标检测(Object Detection)的一部分特点，即需要定位出不同实例，即使这些实例是同一类，而实例分割与语义分割不同的是目标检测输出目标的边界框和类别，实例分割输出的是目标的Mask和类别；此外，通俗讲，分割就是使用多边形将目标抠选出来，例如一张图片中的一片树叶，沿着树叶的边缘依次瞄点形成一个闭环的多边形(具体多少点没有限制，越多越好)，然后会自动将多边形内的像素点全部选择，再为该区域选择一个标签(树叶)，之后会自动生成该前景目标的标注文件，从而实现了前景目标的分割与标注。目标前景集指用于生成脏污图片(目标图片)的前景目标的集合，其可以是通过对待处理图片集中的图片进行实例分割得到，得到的前景目标标注有各类信息，比如前景目标的大小、种类、标注点的位置等信息。前景主体指图片中出现的物体，这些物体是机器人需要清扫的赃物，如上述例子中的树叶，其中前景目标也就是前景主体。
具体地，在进行相关的图片生成操作之前，需要制作用于图片生成的前景目标和背景图片，前景目标主要是通过获取待处理图片集，并对待处理图片集进行实例分割操作得到的，得到的前景目标也就是从待处理图片中抠图得到的前景主体，这些前景主体标注有对应的信息，为后续进程的进行提供了数据基础。此外，对于待处理图片以及背景图片的获取均可以通过机器人获取，是关于机器人清扫室内脏污方面的图片数据。
步骤S202，从初始背景图片集中随机选取当前背景图片，检测当前背景图片对应的场景类型，得到目标场景类型。
其中，当前背景图片指当前步骤下用于合成目标图片的背景图片，该背景图片还未做任何增强处理，与机器人拍摄该背景图时对应的环境最为接近。目标场景类型指当前背景图片对应的场景，可以是开阔场景、杂乱场景和黑暗场景等。
具体地，为了更好地还原更多真实性较高的图片，以提高机器人自动清扫时对应的清扫识别神经网络训练的准确性，在应用当前背景图片生成目标图片之前，先识别当前背景图片对应的场景类型，然后可以根据场景的类型考虑对应的增强处理方式，使得生成的图片更加真实多样化。在检测当前背景图片对应的目标场景类型时，可以根据当前背景图片的灰度值计算相关的平均值或方差值，然后即可根据计算得到的数据判断当前背景图片对应的场景类型。
步骤S204，从目标前景集中随机选取当前前景目标，基于目标场景类型，确定当前前景目标对应的目标增强处理方式，执行目标增强处理方式对应的操作，得到增强前景目标。
其中，当前前景目标指当前步骤下随机从目标前景集中获取的前景目标，这些前景目标用于生成当前步骤下对应的目标图片。目标增强处理方式指根据场景类型确定的对当前前景目标进行增强处理的方式，可以是采用几何变换增强、像素变换增强等方式。增强前景目标指对当前前景目标进行增强操作后得到的前景目标，这些前景目标可以是在饱和度、模糊程度、亮度等方面与原来的当前前景目标不同。
具体地，为了使得最终生成的目标图片的多样化，可随机的从目标前景集中随机选出随机数量个当前步骤下生成目标图片所需要的当前前景目标；根据目标场景类别来确定不同场景下前景目标的增强处理方式，可以有效避免不同场景下图片差异导致的真实性偏差，比如场景类型相对较为黑暗，但是却对当前前景目标做出与黑暗场景不符的增强操作(亮度过度、饱和度过度等)；当前前景目标的随机性，使得前景目标的组合多样，从而提高了生成的目标图片的多样性，对当前前景目标有针对性的进行增强处理，可以使得最终增强得到的增强前景目标更加真实，更趋于现实环境，以实现前景目标和背景图片更真实的融合，从而提高了生成的目标图片的质量。
步骤S206，对当前背景图片进行背景增强处理，得到增强背景图片，将增强前景目标随机粘贴到增强背景图片中，得到当前图片。
其中，背景增强处理指对背景进行适度改变的操作，可以是通过像素变换的方式去改变背景的模糊度、亮度、饱和度等。增强背景图片指对当前背景图片进行背景增强处理之后得到的图片。当前图片指增强前景目标与增强背景图片结合之后生成的图片，且还未对该图片进行任何其他操作。
具体地，为了获得质量更好的背景图片，可以对当前背景图片进行背景增强处理，有利于当前背景图片去噪，从而使得图片质量更好。为了使得生成的当前图片与真实情况下脏污环境的复杂多样更贴近，可以在增强背景图片中随机选取多个粘贴点，并将增强前景目标随机的粘贴到增强背景图片的粘贴点上，从而实现了双重随机，也就增强了生成的当前图片的多样复杂，避免了生成的当前图片的单一化，从而更贴合现实脏污环境的随机复杂多样，提高了当前图片的质量。
步骤S208，基于目标场景类型，确定目标模糊处理方式，对当前图片进行目标模糊处理方式对应的操作，生成目标图片。
其中，目标模糊处理方式指用于根据目标场景类型确定的，可以进一步提高当前图片质量的处理方式。目标图片指对当前图片进行模糊处理之后得到的图片，该图片在真实性上与实际环境更贴合，更多样。
具体地，不同场景对应的图片在颜色、模糊度、饱和度等方面存在差异，因此为了获得更好质量的图片，可以根据不同的场景类型确定不同的模糊处理方式，虽然目标场景类型是根据未进行背景增强处理的当前背景图片检测的，但是更能与初始背景图片对应的场景贴近，此外由于检测场景时很大部分取决于图片中的背景，因此可以将通过当前背景图片检测到的目标场景类型作为当前图片对应的目标场景类型，基于该目标场景类型决定当前图片对应的目标模糊处理方式，其中该目标模糊处理方式可以是均值模糊、高斯模糊或中值模糊等，当前图片进行目标模糊处理方式对应的操作之后，生成更为接近真实脏污场景下获取得到的图片数据，也就是目标图片。
在一个实施例中，用于实现机器人清扫识别神经网络训练的是数据量较大的数据集，为了获得更多质量较好、更贴近真实情境的目标图片，可以循环目标图片的生成过程，并且每次循环过程中当前背景图片、当前前景目标以及增强前景目标在增强背景图片的粘贴等过程都是随机性的，也就确保了生成的多个目标图片之间的多样性，确保各式各样的情景下的脏污情况，从而较大程度上提高了用于训练机器人清扫识别神经网络训练时使用的数据集(即多个目标图片集成的图片集)的质量，有利于提高机器人通过多个目标图片集成的图片集训练得到的神经网络对脏污识别的准确率。
上述图片生成方法，通过获取由机器人在预设场所拍摄得到的、包括待清扫的前景主体的待处理图片集，并对待处理图片集进行实例分割处理得到目标前景集，获取初始背景图片集，从初始背景图片集中随机选取当前背景图片，并检测当前背景图片对应的目标场景类型，再从目标前景集中选出当前前景目标，基于目标场景类型确定对应的目标增强处理方式，对当前前景目标进行目标增强处理方式对应的操作，得到增强前景目标，接着对当前背景图片进行背景增强处理得到增强背景图片，将增强前景目标随机粘贴到增强背景图片中，生成当前图片，然后对当前图片进行基于目标场景类型确定的目标模糊处理方式对应的操作，生成目标图片，对待处理图片集进行实例分割处理，使得最终生成的目标图片可应用于更加宽泛的领域，不再仅局限于单方面领域的机器人清扫识别神经网络的数据应用，通过多次随机选取的处理，确保了生成目标图片的多样性，以及通过场景类型的区分，更有针对性地对图片进行增强处理和模糊处理，使得不同场景对应的目标图片更加接近于真实情境，获得更高质量的目标图片，进而可将生成的多个目标图片集成的图片集应用于机器人清扫识别神经网络的训练中，在一定程度上提高了机器人对应的清扫识别神经网络对脏污物识别的准确率。
在一个实施例中，如图3所示，步骤S200之前，还包括：
步骤S300，获取相机采集的原始图片集，计算原始图片集中各个图片对应的畸变参数和变换矩阵。
其中，原始图片集指初始拍摄得到的，未经过任何处理的图片，可以是通过清扫机器人的RGB传感器(相机)进行拍摄采集得到的图片，也可以是其他相机设备拍摄得到的图片。畸变参数指拍摄镜头在径向和切向上畸变的畸变系数。变换矩阵指原始图片与校正后图片需要用到的矩阵数据，其包括内参矩阵和外参矩阵，内参矩阵包含有像素的物理尺寸、焦距、图像物理坐标的扭曲因子、图像原点相对于光心成像点的纵横偏移量等，外参矩阵包含有世界坐标系转换成相机坐标系的旋转和平移矩阵。
具体地，当机器人采集原始图片集中的图片时，会采集不同角度以及不同距离位置的原始图片，比如对于某个原始图片的采集，机器人从0.05m到2m，每隔0.2m作为一个距离，每个距离再依次旋转60°拍摄，在此期间也可以主动添加不同光照来还原真实环境的大部分情况，然后拍摄每个距离点拍对应的原始图片，将多个地点拍摄的图片的集合作为原始图片集。此外，由于机器人采用的是广角镜头，使得原始图片会发生畸变，因此还需要对这些原始图片进行畸变矫正处理，该畸变矫正方法可以采用张正友棋盘标定法。
步骤S302，基于畸变参数和变换矩阵，对原始图片集中的图片进行畸变矫正处理，得到待处理图片集。
具体地，当获取得到对应的畸变参数和变换矩阵后，根据这些数据，基于张正友棋盘标定法对机器人拍摄的原始图片进行畸变的矫正，使得矫正后的待处理图片更加地接近真实场景对应的图片，这样有利于提高后续从待处理图片集中进行实例分割得到的目标前景集中前景目标的真实性，从而更好地生成更高质量的目标图片，将高质量的多个目标图片集成的图片集应用于机器人清扫识别神经网络的训练中，以使机器人清扫识别神经网络更好地识别脏污物体。
本实施例中，通过获取原始图片集，计算原始图片集中各个图片对应的畸变参数和变换矩阵，基于畸变参数和变换矩阵，对原始图片集中的图片进行畸变矫正处理，得到待处理图片集，实现原始图片到待处理图片的畸变矫正，也就是使得因机器人广角镜头拍摄角度覆盖范围大而出现畸变的图片得到矫正，从而确保了待处理图片集的数据质量。
在一个实施例中，如图4所示，步骤S200包括：
步骤S400，对待处理图片集中的各图片对应的各元素进行多边形标注，得到各图片对应的目标多边形。
其中，元素指出现在图片上的各类物体，其包括但不限于有前景目标。多边形标注指根据图片中各元素的形状的边缘依次瞄点形成的闭环的多边形，然后自动将多边形内的像素全部选择，再为该多边形标注标签的操作。目标多边形指图片中各个元素对应的多边形，且该多边形标注有各元素对应的标注信息。
具体地，目标前景集是根据对待处理图片中的图片进行分割标注等操作得到的，为了获得可应用于生成多范围领域的数据集的目标前景集，先对待处理图片集中的图片对应的各类元素进行多边形描边，然后选择多边形对应的全部像素，并对该多边形标注标签，比如该多边形是树叶，则标注树叶方面的信息标签，然后生成对应的目标多边形。
步骤S402，基于目标多边形，对对应的图片进行抠图操作，得到目标前景集。
其中，抠图操作指将目标多边形对应的前景目标抠出来或分割出来的操作。
具体地，目标多边形为图片上标注得到的各类物体(包含前景目标)，为了获取单个的前景目标，可以基于目标多变形对对应的图片进行抠图操作，将目标多边形对应的前景目标与原图片分离，形成单个前景目标，通过此操作，可以获得各式各样的前景目标，且这些前景目标标注有对应的大小信息、种类信息以及标注点的位置信息等，为后续进程中生成目标图片提供了丰富的数据材料。
本实施例中，通过对待处理图片集中的图片对应的各元素进行多边形标注，得到图片对应的目标多边形，基于目标多边形，对对应的图片进行抠图操作，得到目标前景集，实现了从待处理图片到多个单个前景目标的转换，从而获得了丰富的数据材料，有利于生成多类型的图片数据集，从而有效地提高了最终生成的目标图片的质量。
在一个实施例中，如图5所示，步骤S202包括：
步骤S500，获取当前背景图片中各像素对应的灰度值和像素总数。
其中，灰度值指色彩的浓淡程度，也可以是色彩的深浅程度，单个像素点的亮度。像素总数指当前背景图片中像素点的总数。
具体地，对于场景类型的判断可以根据图片各像素点对应的灰度值进行计算，然后可以根据图片对应的各像素点之间灰度值的变化范围，或图片像素点对应的灰度值的总和的平均值来判断场景类型，进而可以根据场景类型选取更有效的增强处理方式和模糊处理方式，使得生成的目标图片更为真实。
步骤S502，基于各像素对应的灰度值和像素总数，计算当前背景图片中各灰度级对应的灰度级概率。
其中，灰度级指用于表明图像中不同灰度的最大数量，灰度级越大，图像的亮度范围越大。灰度级概率指当前背景图片中出现的各类灰度级的概率。
具体地，需要根据各像素对应的灰度值，去统计不同灰度值出现的次数，然后根据不同灰度值出现的次数以及图像对应的像素总数，去计算得到各灰度级对应的灰度级概率。其中，计算灰度级概率的公式，如公式(1)所示，公式(1)中，zk指灰度级；k可为0，1，2，…，L-1，zk可表示一副M x N大小的图像中所有可能的灰度值；nk是zk在图像中出现的次数；MN是像素总数。此外，对于各灰度级概率的总和显然为1，即公式(2)所示，公式(2)中的数据与公式(1)的对应。
步骤S504，基于各像素对应的灰度级概率，计算当前背景图片对应的灰度平均值。
其中，灰度平均值指当前背景图片中灰度值的平均数。
具体地，灰度平均值可以较为直观的体现图片整体性的灰暗程度，比如当灰度平均值较低时，表明图片对应的场景整体较暗，反之则较亮。其中，灰度平均值可以根据公式(3)进行计算，公式(3)中，m是灰度平均值；k、L-1、zk和p(zk)与公式(1)和公式(2)的数据对应。
步骤S506，基于灰度值、灰度级概率和灰度平均值，计算当前背景图片对应的灰度方差值。
其中，灰度方差值指当前背景图片中出现的灰度值对应的方差值，可用于表示当前背景图片中各灰度值的变化情况。
具体地，除了灰度平均值可以较为直观的体现图片的整体昏暗程度外，还可以计算当前背景图片的灰度方差值，通过灰度方差值来判断当前背景图片中各灰度值的变化情况，通过灰度值的变化范围来判断当前背景图片对应的场景的开阔情况，从而更好地根据场景的开阔情况去选择更为有针对性的增强处理和模糊处理方式，以进一步确保生成的目标图片的质量。其中，可以根据公式(4)计算当前背景图片对应的灰度方差值，公式(4)中，σ2是灰度方差值；zk、m、k、L-1和p(zk)与公式(1)、公式(2)和公式(3)的数据对应。
步骤S508，基于灰度平均值和灰度方差值，确定当前背景图片对应的目标场景类型。
具体地，不同的场景类型的判断可以根据场景的突出特征来进行判断，灰度平均值和灰度方差值体现着当前背景图片的不同图像特性，可以通过灰度平均值去判断当前背景图片对应的昏暗情况，然后判断对应类型的场景；可以通过灰度方差值去判断当前背景图片对应的开阔或杂乱情况，进而确定当前背景图片对应的场景类型。
本实施例中，通过获取当前背景图片中各像素对应的灰度值和像素总数，基于各像素对应的灰度值和像素总数，计算当前背景图片中各灰度级对应的灰度级概率，进而基于各灰度级对应的灰度级概率，计算当前背景图片对应的灰度平均值，然后再基于灰度值、灰度级概率和灰度平均值，计算当前背景图片对应的灰度方差值，最后基于灰度平均值和灰度方差值，确定当前背景图片对应的目标场景类型，较好地应用了图像的特性去判断当前背景图片对应的场景类型，有利于后续进程根据目标场景类型对图片进行更为合理的增强处理和模糊处理，在一定程度上有利于提高生成目标图片的数据质量。
在一个实施例中，如图6所示，步骤S508包括：
步骤S600，获取方差阈值，当灰度方差值小于方差阈值时，将第一场景类型作为目标场景类型。
其中，方差阈值指用于将场景划分为不同类型的界限值。第一场景类型指当前背景图片对应的灰度方差值较小时对应的场景，其可以指开阔场景，也就是视野相对开阔以及没有过多主体的场景。
具体地，灰度方差值越小，表示当前背景图片对应的灰度值的变化范围较小，也就是当前背景图片对应的场景下相同颜色分布较为均匀，比如商场中地面大部分都是纯色，即当灰度方差值越小时，对应的场景越开阔，可将这类小于灰度方差值时对应的场景区分为第一场景类型，对该类场景类型对应的图片进行一致的增强处理和模糊处理，可避免因为场景差别过大而导致过度处理图片的问题，从而有效地提高了该类场景对应的图片数据的质量。
步骤S602，当灰度方差值大于方差阈值时，将第二场景类型作为目标场景类型。
其中，第二场景类型指当前背景图片对应的灰度方差值较大时对应的场景，其可以指杂乱场景，杂乱场景下由于物体较多，从而会导致图片灰度值的变化较大，也就是对应的灰度方差值较大。
具体地，当场景越杂乱，拍摄得到的图片对应的灰度值的变化程度越大，也就是使得灰度方差值越大，对于该类场景的类型，其变化程度相比第一场景类型的变化幅度较大，若照样采用第一场景类型对应的增强处理和模糊处理方式，则可能会导致最终生成的图片的质量效果不理想。因此，可以将灰度方差值较大的一类场景作为第二场景类型
步骤S604，当灰度平均值满足第三场景条件时，将第三场景类型作为目标场景类型。
其中，第三场景条件指用于判断属于第三场景类型时对应的灰度值，是一个划分界限值，可以将灰度平均值低于该界限值的场景类型作为第三场景类型。第三场景类型指当前背景图片对应的灰度平均值较低时对应的场景。
具体地，机器人实现主动清扫时，可以去较为昏暗的场所进行自动清扫，比如商场停车场，对于较为昏暗的场景，若直接采用第一场景类型和第二场景类型对应的增强处理和模糊处理方式，则可能会导致最终生成的目标图片与真实场景产生较大的偏差，进而使得昏暗场景下对应的数据集质量达不到理想效果，使得应该这些数据集训练的机器人对应的清扫识别神经网络不能很好地训练识别昏暗场景下对应的脏污物，难以实现机器人在该场景下的自动清扫。
本实施例中，通过获取方差阈值，当灰度方差值小于所述方差阈值时，将第一场景类型作为目标场景类型，当灰度方差值大于方差阈值时，将第二场景类型作为目标场景类型，当灰度平均值满足第三场景条件时，将第三场景类型作为目标场景类型，实现不同场景的划分，有利于后续进程中根据不同场景类型选取更加有效的增强处理和模糊处理方式，进而更为高效地生成更高质量的图片数据，以更好地应用于机器人清扫识别神经网络的训练中。
在一个实施例中，步骤S204包括：基于场景类型与前景目标增强处理方式的对应关系，从候选前景增强处理方式中确定所述当前前景目标对应的目标增强处理方式，所述候选前景增强处理方式包括大小维度增强处理方式、像素维度增强处理方式和灰度维度增强处理方式。
其中，候选前景增强处理方式指用于实现前景目标增强处理的方式，其包括大小维度、像素维度和灰度维度方式的增强。大小维度增强处理方式指从大小维度进行前景增强，可以是通过随机倍率进行缩放图片的方式。像素维度增强处理方式指从像素维度进行前景增强，可以是调节亮度、调节饱和度、改变模糊度等方式。灰度维度增强处理方式指从灰度维度进行前景增强，可以是通过改变灰度值使得前景目标与对应场景更加融合的操作方式，具体可以是对前景目标进行直方图均衡操作，也就是将图片灰度均值调节到与对应场景类型对应的灰度，从而达到前景目标与第三场景类型的融合。
具体地，为了使得最终生成的目标图片更加接近于真实环境，可以根据不同的场景类型来选择前景目标的增强处理方式，也就是可以根据不同场景类型对应的特性去匹配其对应的增强处理方式。本实施例中，场景类型可以包括背景图片对应的灰度方差值较小的第一场景类型、背景图片对应的灰度方差值较大的第二场景类型和背景图片对应的灰度平均值较低的第三场景类型。其中，对于第一场景类型对应的图片，其灰度值变化较小，也就是其对应的场景较为开阔，可以只对第一场景类型的图片进行大小维度上的改变，便可使更该场景类型下的前景目标接近于真实环境。此外，真实场景下机器人在开阔场景中拍摄时，脏污目标(即脏污的物体，可为前景目标)是可远可近的，从而使得前景目标的尺寸变化大。因此，可以采用大小维度增强处理方式对前景目标进行一定倍率(比如0.5-1.5倍)的缩放，这样可以得到不同尺寸大小的前景目标，并应用于后续生成目标图片，也可以生成具有相同类型但尺寸不同的前景目标的目标图片，从而丰富了目标图片的多样性以及增强了目标图片的真实性。还可以对前景目标进行随机角度旋转，且角度范围为0-360°，每次随机旋转一定倍率的角度，从而得到不同角度的前景目标。再者，对于大小维度增强处理方式的选择可以是集合变化增强，其包括但不限于上述的增强类型，具体的增强处理方法还可以根据进一步的场景细分来确定。
进一步地，对于背景图片对应的灰度方差值较大的第二场景类型对应的前景目标，可以在像素维度上对前景目标进行增强处理，比如适当的调节前景目标对应的饱和度、适当的调节前景目标对应的模糊度等，进而使得前景目标更好的与第二场景类型对应的背景图片融合，以更加地贴近真实场景下的脏污环境。对于背景图片对应的灰度平均值较低的第三场景类型，由于当前前景目标是随机选取的，无法确保当前前景目标适配于第三场景类型对应的氛围，因此需要根据灰度维度增强处理方式对当前前景目标进行灰度维度上的改变，以后续前景目标和增强的背景图片更好的融合，获得第三场景类型对应的更为真实的图片数据，从而有效地提高第三场景类型对应的图片数据的质量。
本实施例中，通过基于场景类型与前景目标增强处理方式的对应关系，从候选前景增强处理方式中确定所述当前前景目标对应的目标增强处理方式，实现有针对性地根据场景类型对前景目标进行增强处理，使得最终前景目标和背景图片更好地融合，进而使得融合得到的图片与真实脏污环境更加贴近。
在一个实施例中，步骤S208包括：基于场景类型与模糊处理方式的对应关系，从候选模糊处理方式中确定所述目标模糊处理方式，所述候选前景增强处理方式包括均匀分布模糊处理方式、高斯分布模糊处理方式和非线性分布模糊处理方式。
其中，候选模糊处理方式指用于实现对前景目标与背景图片融合后的图片进行模糊处理的方式，其包括均匀分布、高斯分布和非线性分布方式的模糊。均匀分布模糊处理方式指以均匀分布的方式对图片进行模糊处理的方式，可以是根据第一场景类型的图像特性进行模糊处理的方式，具体可以是均值模糊方式。高斯分布模糊处理方式指以高斯分布的方式对图片进行模糊处理的方式，可以是根据第二场景类型的图像特性进行模糊处理的方式，具体可以是高斯模糊方式。非线性分布模糊处理方式指以非线性分布的方式对图片进行模糊处理的方式，可以是根据第三场景类型的图像特性进行模糊处理的方式，具体可以是中值模糊方式。
具体地，不同的场景类型下对应的图片性质不同，为了使得前景目标与背景图片融合后的图片与对应场景下的真实环境更为接近，可以针对性地对不同场景类型的图片做不同方式的模糊处理。本实施例中，场景类型可以包括背景图片对应的灰度方差值较小的第一场景类型、背景图片对应的灰度方差值较大的第二场景类型和背景图片对应的灰度平均值较低的第三场景类型。其中，第一场景类型对应的图片的灰度值变化范围较小，也就是图片整体性灰度的变化幅度较小，则为了使得最终模糊得到的图片更符合人眼视觉上的均匀，可选取均匀分布的均值模糊方式对增强前景目标和增强背景图片融合得到的当前图片进行模糊处理，这样使得最终的目标图片与第一场景类型对应的真实脏污环境相更加地接近。
进一步地，第二场景类型对应的图片的灰度值变化范围较大，若直接采用第一模糊处理方式(均值模糊方式)对增强前景目标和增强背景图片融合得到的当前图片进行处理，会导致最终得到的目标图片的各个部分模糊不均匀，与现实环境对应的差别可能会比较大，比如一个两像素的图片，一个像素点对应的灰度值为1，另一个像素点对应的灰度值为100，若用均值模糊，则均值50左右，50不能很好的代替这两个像素点对应的灰度值，不能较好地实现对应的图片模糊。而通过高斯分布模糊处理方式(即高斯模糊)，其是根据邻近的像素点的灰度值进行相应的模糊处理的，这样就确保了相邻模糊的均匀，不会导致灰度值变化过大的第二场景类型出现某些角落模糊过度，某些角落模糊不足的情况，从而提升了该第二场景类型对应的目标图片的质量，当该场景类型的图片应用于机器人清扫识别神经网络的训练时，机器人可以更好地识别该第二场景类型对应的脏污种类。
进一步地，第三场景类型对应的环境属于较为昏暗的环境，对于较为昏暗的环境，可以取图片局部的灰度中值代替该局部内的所有灰度值，比如某个像素点对应的灰度值为5，其周围像素点对应的灰度值分布为3、6、8、4，则直接将其周围像素对应的灰度值均改为5。通过这种非线性分布的中值模糊方式，较好地提升了第三场景类型对应的图片的亮度，并且这个提升程度不会过分改变图片昏暗的格局，从而使得处理后的图片与真实环境的贴近，提高了该第三场景类型对应的目标图片的数据质量。
本实施例中，通过基于场景类型与模糊处理方式的对应关系，从候选模糊处理方式中确定目标模糊处理方式，实现了不同的场景类型确定不同的模糊处理方式，基于不同场景类型的不同特性，采用不同的模糊方式，使得最终生成的目标图片更加地贴近不同场景对应的真实脏污环境，进而提高了生成的目标图片的数据质量。
在一个实施例中，图7为一个实施例中生成可用于机器人清扫识别神经网络训练所用的图片数据的过程，在图7中可较为直观的看到某些前景目标和某些背景图片的样子。其中，图7中的多种类脏污库是用于存放各种各样的前景目标的存储库，多样式背景库是用于存放各式各样的背景图片的存储库，当需要生成预设数量的脏污图片时，即可直接从多种类脏污库和多样式背景库中随机获取，然后进行相应的数据增强和模糊增操作，即可生成脏污图片。图8为一个实施例中生成可用于机器人清扫识别神经网络训练所用的图片数据的详细过程，由图8可知，可以在多种类脏污库中选出随机数量的前景目标，并对随机选取到的前景目标做数据增强的处理，此外，还可以在多样式背景库中随机选出一张背景图片，由于背景图片对实际环境中场景类型的判断影响较大，所以可以根据背景图片做场景类型的检测，以通过背景图片来较好地确定前景目标与背景图片融合后图片对应的场景类型，当对背景图片进行场景类型检测之后，继续对背景图片进行数据增强处理，进而将前景目标和背景图片对应的格式进行转化，以确保前景目标和背景图片格式相同，此时还可以裁剪背景图片，并对背景图片标注标签，进而对随机选取的前景目标进行缩放，将缩放处理后的前景目标随机粘贴到背景图片中随机选取的前景粘贴点中，从而得到此流程下的脏污图片，为了使得生成的脏污图片与真实环境更为接近，进一步对生成的脏污图片进行模糊增强处理，从而生成标注有对应标签且可直接用于机器人清扫识别神经网络训练的图片数据。其中，在图8中设置相应的数量可以控制获得的最终图片数量，并且多次随机性的操作，可以确保大规模的生成多种多样的更贴近现实脏污环境的图片。
在一个实施例中，机器人可以在商场超市、办公室、停车场等场所拍摄获得相应的图片集，将进行畸变矫正处理后的图片集作为待处理图片集，然后对该待处理图片集进行实例分割处理，得到机器人在这些场景下对应的前景目标，并将这些前景目标的集合作为目标前景集。此外，机器人还在这些场所相对干净的地面拍摄不同清扫场景对应的背景图片，将这些背景图片的集合作为初始背景图片集，然后从该初始背景图集中随机选取当前背景图片，并检测该当前背景图片对应的场景类型以确定目标场景类型，再从该目标前景集中随机选取随机数量的当前前景目标，基于目标场景类型确定这些当前前景目标对应的目标增强处理方式，对这些当前前景目标进行目标增强处理方式对应的操作，得到对应的增强前景目标，对该当前背景图片进行背景增强处理，得到增强背景图片，然后从该增强背景图片中随机选出多个粘贴点，再将这些增强前景目标随机粘贴到这些粘贴点上，得到当前图片，为了与真实脏污环境更为贴近，继续对该当前图片进行模糊处理，由于不同的场景类型具有不同的特征，因此根据目标场景类型确定当前图片对应的目标模糊处理方式，并对该当前图片执行目标模糊处理方式对应的操作，生成对应的目标图片，为了获得更大规模的图片数据集，可以继续循环从该初始背景图集中随机选取当前背景图片的操作，直到生成的目标图片数量满足对应的需求，进而生成高质量的目标图片集。将该高质量的目标图片集用于机器人清扫识别神经网络的训练，可以使得机器人对应的清扫识别神经网络学习到更多脏污环境下对应的脏污物体，进而提高了机器人对应的清扫识别神经网络识别脏污物的准确率，使得机器人能够更好地实现在脏污环境下的主动清扫。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图片生成方法的图片生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图片生成装置实施例中的具体限定可以参见上文中对于图片生成方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种图片生成装置，包括：获取与分割模块900、检测模块902、增强模块904、粘贴模块906和模糊模块908，其中：
获取与分割模块900，用于获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片集是机器人对预设场所进行拍摄得到的，所述待处理图片中包括待清扫的前景主体。
检测模块902，用于从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型。
增强模块904，用于从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标。
粘贴模块906，用于对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片。
模糊模块908，用于基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。
在一个实施例中，图片生成装置还包括畸变矫正模块910，用于获取相机采集的原始图片集，计算所述原始图片集中各个图片对应的畸变参数和变换矩阵；基于所述畸变参数和变换矩阵，对所述原始图片集中的图片进行畸变矫正处理，得到所述待处理图片集。
在一个实施例中，获取与分割模块900还用于对所述待处理图片集中的各图片对应的各元素进行多边形标注，得到所述各图片对应的目标多边形；基于所述目标多边形，对对应的图片进行抠图操作，得到所述目标前景集。
在一个实施例中，检测模块902还用于获取所述当前背景图片中各像素对应的灰度值和像素总数；基于所述各像素对应的灰度值和像素总数，计算所述当前背景图片中各灰度级对应的灰度级概率；基于所述各灰度级对应的灰度级概率，计算所述当前背景图片对应的灰度平均值；基于所述灰度值、灰度级概率和灰度平均值，计算所述当前背景图片对应的灰度方差值；基于所述灰度平均值和所述灰度方差值，确定所述当前背景图片对应的目标场景类型。
在一个实施例中，图片生成装置还包括场景确定模块912，用于获取方差阈值，当所述灰度方差值小于所述方差阈值时，将第一场景类型作为所述目标场景类型；当所述灰度方差值大于所述方差阈值时，将第二场景类型作为所述目标场景类型；当所述灰度平均值满足第三场景条件时，将第三场景类型作为所述目标场景类型。
在一个实施例中，增强模块904还用于基于场景类型与前景目标增强处理方式的对应关系，从候选前景增强处理方式中确定所述当前前景目标对应的目标增强处理方式，所述候选前景增强处理方式包括大小维度增强处理方式、像素维度增强处理方式和灰度维度增强处理方式。
在一个实施例中，模糊模块908还用于基于场景类型与模糊处理方式的对应关系，从候选模糊处理方式中确定所述目标模糊处理方式，所述候选前景增强处理方式包括均匀分布模糊处理方式、高斯分布模糊处理方式和非线性分布模糊处理方式。
上述图片生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种机器人，其内部结构图可以如图10所示。该机器人包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机器人的通信接口用于与外部的机器人进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图片生成方法。该机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行过程中产生的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片生成方法。
本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片生成方法，其特征在于，所述方法包括：
获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片中包括待清扫的前景主体；
从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型；
从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标；
对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片；
基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图片集之前，还包括：
获取相机采集的原始图片集，计算所述原始图片集中各个图片对应的畸变参数和变换矩阵；
基于所述畸变参数和变换矩阵，对所述原始图片集中的图片进行畸变矫正处理，得到所述待处理图片集。
3.根据权利要求1所述的方法，其特征在于，所述获取待处理图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集包括：
对所述待处理图片集中的各图片对应的各元素进行多边形标注，得到各图片对应的目标多边形；
基于所述目标多边形，对对应的图片进行抠图操作，得到所述目标前景集。
4.根据权利要求1所述的方法，其特征在于，所述检测所述当前背景图片对应的场景类型，得到目标场景类型包括：
获取所述当前背景图片中各像素对应的灰度值和像素总数；
基于所述各像素对应的灰度值和像素总数，计算所述当前背景图片中各灰度级对应的灰度级概率；
基于所述各灰度级对应的灰度级概率，计算所述当前背景图片对应的灰度平均值；
基于所述灰度值、灰度级概率和灰度平均值，计算所述当前背景图片对应的灰度方差值；
基于所述灰度平均值和所述灰度方差值，确定所述当前背景图片对应的目标场景类型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述灰度平均值和所述灰度方差值，确定所述当前背景图片对应的目标场景类型包括：
获取方差阈值，当所述灰度方差值小于所述方差阈值时，将第一场景类型作为所述目标场景类型；
当所述灰度方差值大于所述方差阈值时，将第二场景类型作为所述目标场景类型；
当所述灰度平均值满足第三场景条件时，将第三场景类型作为所述目标场景类型。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式包括：
基于场景类型与前景目标增强处理方式的对应关系，从候选前景增强处理方式中确定所述当前前景目标对应的目标增强处理方式，所述候选前景增强处理方式包括大小维度增强处理方式、像素维度增强处理方式和灰度维度增强处理方式。
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标场景类型，确定目标模糊处理方式包括：
基于场景类型与模糊处理方式的对应关系，从候选模糊处理方式中确定所述目标模糊处理方式，所述候选前景增强处理方式包括均匀分布模糊处理方式、高斯分布模糊处理方式和非线性分布模糊处理方式。
8.一种图片生成装置，其特征在于，所述装置包括：
获取与分割模块，用于获取待处理图片集和初始背景图片集，对所述待处理图片集中的图片进行实例分割处理，得到目标前景集，所述待处理图片中包括待清扫的前景主体；
检测模块，用于从所述初始背景图片集中随机选取当前背景图片，检测所述当前背景图片对应的场景类型，得到目标场景类型；
增强模块，用于从所述目标前景集中随机选取当前前景目标，基于所述目标场景类型，确定所述当前前景目标对应的目标增强处理方式，执行所述目标增强处理方式对应的操作，得到增强前景目标；
粘贴模块，用于对所述当前背景图片进行背景增强处理，得到增强背景图片，将所述增强前景目标随机粘贴到所述增强背景图片中，得到当前图片；
模糊模块，用于基于所述目标场景类型，确定目标模糊处理方式，对所述当前图片进行所述目标模糊处理方式对应的操作，生成目标图片。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310572545.9A 2023-05-19 2023-05-19 图片生成方法、装置、计算机设备和存储介质 Pending CN116597252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310572545.9A CN116597252A (zh) 2023-05-19 2023-05-19 图片生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310572545.9A CN116597252A (zh) 2023-05-19 2023-05-19 图片生成方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116597252A true CN116597252A (zh) 2023-08-15

Family

ID=87593370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310572545.9A Pending CN116597252A (zh) 2023-05-19 2023-05-19 图片生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116597252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118354211A (zh) * 2024-06-20 2024-07-16 北京威睛光学技术有限公司 计算成像图像增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118354211A (zh) * 2024-06-20 2024-07-16 北京威睛光学技术有限公司 计算成像图像增强方法

Similar Documents

Publication Publication Date Title
Li et al. Underwater image enhancement via medium transmission-guided multi-color space embedding
US10666873B2 (en) Exposure-related intensity transformation
EP3937481A1 (en) Image display method and device
US10708525B2 (en) Systems and methods for processing low light images
JP6159298B2 (ja) 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法
CN112200035B (zh) 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法
WO2018136373A1 (en) Image fusion and hdr imaging
WO2021189807A1 (zh) 图像处理方法、装置、系统和电子设备
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
CN112581462A (zh) 工业产品的外观缺陷检测方法、装置及存储介质
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
Lv et al. An integrated enhancement solution for 24-hour colorful imaging
CN116597252A (zh) 图片生成方法、装置、计算机设备和存储介质
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
Badki et al. Robust radiometric calibration for dynamic scenes in the wild
CN119107651A (zh) 工件表面的文字识别方法、装置、计算机设备和存储介质
CN119152269A (zh) 一种基于轻量化像素差分网络的粉尘检测方法
Chen et al. Low‐light image enhancement based on exponential Retinex variational model
CN112233020A (zh) 无人机图像拼接方法、装置、计算机设备及存储介质
CN113034553A (zh) 图像配准算法的评估方法、终端及存储介质
CN117218037A (zh) 图像清晰度评估方法及装置、设备、存储介质
CN112529816A (zh) 数据处理方法、装置、存储介质及计算机设备
Mahmoudabadi et al. Detecting sudden moving objects in a series of digital images with different exposure times
CN111723802A (zh) 一种基于ai的二维码识别方法、装置、设备和介质
Yang et al. An end‐to‐end perceptual enhancement method for UHD portrait images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination