[go: up one dir, main page]

CN119068228A - 基于自适应图像混合数据增强的目标检测方法及装置 - Google Patents

基于自适应图像混合数据增强的目标检测方法及装置 Download PDF

Info

Publication number
CN119068228A
CN119068228A CN202410877750.0A CN202410877750A CN119068228A CN 119068228 A CN119068228 A CN 119068228A CN 202410877750 A CN202410877750 A CN 202410877750A CN 119068228 A CN119068228 A CN 119068228A
Authority
CN
China
Prior art keywords
image
network
mixed
optimized
shared network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410877750.0A
Other languages
English (en)
Inventor
刘菊华
杜博
刘珊源
贺海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202410877750.0A priority Critical patent/CN119068228A/zh
Publication of CN119068228A publication Critical patent/CN119068228A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于自适应图像混合数据增强的目标检测方法及装置，其中，方法包括：通过训练数据集获取多个原始图像对；通过第一共享网络提取每个原始图像对的特征图对，并利用自适应图像混合网络获取特征图对的混合图像；通过第一共享网络计算混合图像的第一损失函数，并结合辅助损失函数优化自适应图像混合网络，进而优化混合图像；通过原始图像对和优化后的混合图像优化第二共享网络，并更新第一共享网络参数，同时结合优化后的自适应图像混合网络训练优化后的第二共享网络，生成目标检测模型，以执行目标检测操作。由此，解决了自适应图像混合数据增强方法在实际应用中收集和标注的数据量不足，极大限制了目标检测模型的应用等问题。

Description

基于自适应图像混合数据增强的目标检测方法及装置
技术领域
本申请涉及图像数据增强技术领域，特别涉及一种基于自适应图像混合数据增强的目标检测方法及装置。
背景技术
目标检测是计算机视觉领域最为基础且重要的应用之一。对于给定的图像，目标检测任务旨在识别图中的目标对象，并返回对应的包围框用于定位目标。目标检测已经在自动驾驶、视频监控、医学图像分析等领域中得到广泛应用。虽然目标检测具有广泛的应用潜力，但在实际应用中，收集和标注数据量有限往往是限制目标检测方法应用的重要瓶颈之一。
为了解决数据稀缺和数据收集成本高的问题，图像数据增强方法作为一种增强模型泛化能力的方法目前被广泛应用于各类任务中。图像数据增强通过对原始数据进行变换和扩充来增加训练样本的数量和多样性。近年来，利用图像混合的方式进行数据增强的方法展现出了更加鲁棒的性能，并且在图像分类任务中取得了成功，受到越来越多的关注，这些方法主要通过混合图像对或混合图像的不同区域来提升原始数据集的多样性；自适应的图像混合数据增强策略提供了一种有效的图像混合样本生成思路，增强后的数据可以被视为从一个接近真实分布的相邻分布中提取出来，因此增强后数据集通常包含了真实数据中更全面的特征表示。
然而，自适应图像混合数据增强方法主要应用于图像分类任务，通常只能处理仅包含单一目标类别的图像，因此将自适应图像混合数据增强方法应用于目标检测任务仍然面临严峻挑战，亟待解决。
发明内容
本申请提供一种基于自适应图像混合数据增强的目标检测方法及装置，以解决自适应图像混合数据增强方法在实际应用中收集和标注的数据量不足，极大限制了目标检测模型的应用等问题。
本申请第一方面实施例提供一种基于自适应图像混合数据增强的目标检测方法，应用于在线训练阶段，包括以下步骤：构建目标物体的训练数据集，并通过所述训练数据集获取多个原始图像对；通过预设孪生网络中的第一共享网络提取所述多个原始图像对中的每个原始图像对的特征图对，并将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像；基于所述第一共享网络，计算所述混合图像对应的第一损失函数，并通过所述第一损失函数和预设的辅助损失函数优化所述自适应图像混合网络，且利用优化后的自适应图像混合网络优化所述混合图像；通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过所述目标检测模型执行目标检测操作。
可选地，在本申请的一个实施例中，所述将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像，包括：将预设混合比嵌入至所述特征图对中，以得到嵌入特征图对，并利用所述嵌入特征图对计算相似性矩阵；基于所述自适应图像混合网络和所述嵌入特征图对，并通过所述相似性矩阵和预设的上采样函数，以生成图像混合像素级掩码；根据所述图像混合像素级掩码对所述原始图像对进行混合，以得到所述混合图像。
可选地，在本申请的一个实施例中，所述基于所述第一共享网络，计算所述混合图像对应的第一损失函数，包括：将所述混合图像输入至所述第一共享网络，并根据预设的混合权重策略从所述图像混合像素级掩码中提取所述混合图像中目标物体的第一平均混合比例；基于所述目标物体的第一平均混合比例，计算所述第一损失函数。
可选地，在本申请的一个实施例中，所述通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，包括：将所述原始图像对输入至所述第二共享网络，以通过所述第二共享网络计算所述原始图像对对应的第二损失函数；将所述优化后的混合图像输入至所述第二共享网络，并根据所述混合权重策略提取所述优化后的混合图像中所述目标物体的第二平均混合比例，以通过所述第二共享网络和所述第二平均混合比例计算所述优化后的混合图像对应的第三损失函数；通过所述第二损失函数和第三损失函数优化所述第二共享网络，并更新优化后的第二共享网络的参数，以得到优化参数；基于所述指数移动平均策略和所述优化参数，更新所述第一共享网络的参数。
可选地，在本申请的一个实施例中，所述辅助损失函数的数学表达式为：
其中，λ表示所述混合比；λj表示目标混合比例均值；si,h,w表示所述图像混合像素级掩码；∈为常数项。
本申请第二方面实施例提供一种基于自适应图像混合数据增强的目标检测方法，应用于在线检测阶段，其中，包括以下步骤：获取待测目标的图像数据；将所述图像数据输入至预先训练的目标检测模型中，以输出所述待测目标的检测结果，其中，所述目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
本申请第三方面实施例提供一种基于自适应图像混合数据增强的目标检测装置，应用于在线训练阶段，包括：第一获取模块，用于构建目标物体的训练数据集，并通过所述训练数据集获取多个原始图像对；提取模块，用于通过预设孪生网络中的第一共享网络提取所述多个原始图像对中的每个原始图像对的特征图对，并将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像；优化模块，用于基于所述第一共享网络，计算所述混合图像对应的第一损失函数，并通过所述第一损失函数和预设的辅助损失函数优化所述自适应图像混合网络，且利用优化后的自适应图像混合网络优化所述混合图像；训练模块，用于通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过所述目标检测模型执行目标检测操作。
可选地，在本申请的一个实施例中，所述提取模块包括：嵌入单元，用于将预设混合比嵌入至所述特征图对中，以得到嵌入特征图对，并利用所述嵌入特征图对计算相似性矩阵；生成单元，用于基于所述自适应图像混合网络和所述嵌入特征图对，并通过所述相似性矩阵和预设的上采样函数，以生成图像混合像素级掩码；混合单元，用于根据所述图像混合像素级掩码对所述原始图像对进行混合，以得到所述混合图像。
可选地，在本申请的一个实施例中，所述优化模块包括：输入单元，用于将所述混合图像输入至所述第一共享网络，并根据预设的混合权重策略从所述图像混合像素级掩码中提取所述混合图像中目标物体的第一平均混合比例；第一计算单元，用于基于所述目标物体的第一平均混合比例，计算所述第一损失函数。
可选地，在本申请的一个实施例中，所述训练模块包括：第二计算单元，用于将所述原始图像对输入至所述第二共享网络，以通过所述第二共享网络计算所述原始图像对对应的第二损失函数；第三计算单元，用于将所述优化后的混合图像输入至所述第二共享网络，并根据所述混合权重策略提取所述优化后的混合图像中所述目标物体的第二平均混合比例，以通过所述第二共享网络和所述第二平均混合比例计算所述优化后的混合图像对应的第三损失函数；第一更新单元，用于通过所述第二损失函数和第三损失函数优化所述第二共享网络，并更新优化后的第二共享网络的参数，以得到优化参数；第二更新单元，用于基于所述指数移动平均策略和所述优化参数，更新所述第一共享网络的参数。
可选地，在本申请的一个实施例中，所述辅助损失函数的数学表达式为：
其中，λ表示所述混合比；λj表示目标混合比例均值；si,h,w表示所述图像混合像素级掩码；∈为常数项。
本申请第四方面实施例提供一种基于自适应图像混合数据增强的目标检测装置，应用于在线检测阶段，包括：第二获取模块，用于获取待测目标的图像数据；检测模块，用于将所述图像数据输入至预先训练的目标检测模型中，以输出所述待测目标的检测结果，其中，所述目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
本申请第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于自适应图像混合数据增强的目标检测方法。
本申请第六方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于自适应图像混合数据增强的目标检测方法。
由此，本申请的实施例具有以下有益效果：
本申请的实施例可通过构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对；通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像；基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像；通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。由此，解决了自适应图像混合数据增强方法在实际应用中收集和标注的数据量不足，极大限制了目标检测模型的应用等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种应用于在线训练阶段的基于自适应图像混合数据增强的目标检测方法的流程图；
图2为本申请的一个实施例提供的一种自动优化混合样本生成数据增强框架示意图；
图3为本申请的一个实施例提供的一种自适应图像混合网络的执行逻辑示意图；
图4为本申请的一个实施例提供的一种图像混合效果示意图；
图5为本申请的一个实施例提供的一种目标级别混合权重策略的逻辑示意图；
图6为本申请的一个实施例提供的一种基于自适应图像混合数据增强的目标检测方法的逻辑架构示意图；
图7为根据本申请实施例提供的一种应用于在线检测阶段的基于自适应图像混合数据增强的目标检测方法的流程图；
图8为根据本申请实施例的一种应用于在线训练阶段的基于自适应图像混合数据增强的目标检测装置的示例图；
图9为根据本申请实施例的一种应用于在线检测阶段的基于自适应图像混合数据增强的目标检测装置的示例图；
图10为本申请实施例提供的电子设备的结构示意图。
其中，其中，10-应用于在线训练阶段的基于自适应图像混合数据增强的目标检测装置、20-应用于在线检测阶段的基于自适应图像混合数据增强的目标检测装置；101-第一获取模块、102-提取模块、103-优化模块、104-训练模块；201-第二获取模块、202-检测模块；1001-存储器、1002-处理器、1003-通信接口。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于自适应图像混合数据增强的目标检测方法及装置。针对上述背景技术中提到的问题，本申请提供了一种基于自适应图像混合数据增强的目标检测方法，在该方法中，通过构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对；通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像；基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像；通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。由此，解决了自适应图像混合数据增强方法在实际应用中收集和标注的数据量不足，极大限制了目标检测模型的应用等问题。
具体而言，图1为本申请实施例所提供的一种应用于在线训练阶段的基于自适应图像混合数据增强的目标检测方法的流程图。
如图1所示，该基于自适应图像混合数据增强的目标检测方法包括以下步骤：
在步骤S101中，构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对。
本申请的实施例首先可初始化预设的自动优化混合样本生成数据增强框架中各网络模型的参数，该框架采用孪生网络结构，包括网络k(即第一共享网络)和网络q(即第二共享网络)，两个网络共享相同的结构和初始参数，此外，该框架还包括自适应图像混合网络，其可采用随机初始化策略进行参数初始化操作，其中，网络q主要用于目标检测，而更稳定的网络k则与自适应图像混合网络相连，以用于自适应图像混合，如图2所示，从而实现目标检测领域的自动优化混合样本生成数据增强。
之后，本申请的实施例还需构建目标物体的训练数据集，并从训练数据集中随机抽取两张训练图像作为原始图像对，从而为后续网络q和自适应图像混合网络等的训练提供可靠的数据支撑。
在步骤S102中，通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像。
在获取多个原始图像对后，进一步地，本申请的实施例需将每个原始图像对输入至网络k的骨干网络中，以通过网络k中的骨干网络提取每个原始图像对的特征图，为后续任务提供基础特征表示，并将所提取的特征图输入自适应图像混合网络中，从而得到特征图对对应的混合图像。
可选地，在本申请的一个实施例中，将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像，包括：将预设混合比嵌入至特征图对中，以得到嵌入特征图对，并利用嵌入特征图对计算相似性矩阵；基于自适应图像混合网络和嵌入特征图对，并通过相似性矩阵和预设的上采样函数，以生成图像混合像素级掩码；根据图像混合像素级掩码对原始图像对进行混合，以得到混合图像。
需要说明的是，本申请的实施例可通过自适应图像混合模块根据图像样本对(即原始图像对)得到的特征图对和预设的混合比λ预测用于生成图像混合的像素级掩码对(si,sj)，以用于生成混合图像。其中，掩码su中的值表示图像在对应位置的混合比例，掩码sj中的值表示图像在对应位置的混合比例。
具体地，在自适应图像混合网络中，本申请实施例首先可通过简单有效的方式将λ嵌入到第l层特征映射图中，以得到基于λ嵌入的和(即嵌入特征图对)，并将其作为的输入；其次，根据和输出生成图像混合像素级掩码si用于嵌入特征图对的混合。根据对称性，xj的掩码sj通过sj＝1-si进行计算获得。生成的像素级掩码对(si,sj)用于进行原始图像对的混合，以得到混合图像。该过程的数学表达式为：
其中，⊙表示逐元素相乘，表示根据得到的混合图像。
图像混合像素级掩码s分别包括对应的掩码si,sj。显然地，si,sj具有对称性，即用于生成混合样本的两个掩码之和等于1，如下式所示：
si+sj＝1
本申请实施例获取图像混合像素级掩码，即的过程如下：
首先，本申请的实施例可通过交叉注意力机制计算相似性矩阵P，如下式所示：
其中，WP表示共享线性变换矩阵(1×1卷积)，表示矩阵乘法，为归一化因子；
其次，本申请的实施例可通过自适应图像混合网络采用成对的相似性矩阵P和上采样函数U(·)计算si，如下式所示：
其中，WZ为线性变换矩阵；σ为Sigmoid激活函数，用于将掩码概率化；si为获得的与样本图像大小H×W一致的掩码；通过将P与值嵌入相乘，选择xi,λ相对于xj,1-λ的判别特征，并根据对称性策略，xj的掩码sj可通过sj＝1-si计算得到。
下述结合附图对本申请实施例获取图像混合像素级掩码的过程进行说明。
图3为自适应图像混合网络的执行逻辑示意图。如图3所示，本申请实施例通过自适应图像混合网络获取图像混合像素级掩码的步骤如下：
1、将得到的λ嵌入到第l层特征的特征图和进行1×1的卷积操作，输出后得到和
2、和进行矩阵乘法，并利用softmax函数对结果进行归一化得到相似度矩阵P；
3、λ嵌入到第l层特征的特征图单独进行1×1的卷积操作，输出得到值嵌入
4、将相似度矩阵P和相乘，得到的结果通过Sigmoid激活函数将其概率化，并进行上采样，以得到与样本图像大小一致的图像混合像素级掩码si。
由此，本申请的实施例通过自适应图像混合网络根据特征图对和混合比得到图像混合像素级掩码，从而生成混合图像，为后续相应模型的训练提供了可靠的基础。
在步骤S103中，基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像。
进而，本申请的实施例可将生成的混合图像输入到网络k中，以通过网络k计算混合图像的目标检测损失函数(即第一损失函数)，并通过反向传播优化自适应图像混合网络，以通过优化后的自适应图像混合网络优化混合图像，从而提高后续生成的混合图像的质量。
可选地，在本申请的一个实施例中，辅助损失函数的数学表达式为：
其中，λ表示混合比；λj表示目标混合比例均值；si,h,w表示图像混合像素级掩码；∈为常数项。
在实际执行过程中，为了使自适应图像混合网络能够在训练早期学习到与λ之间的对应关系，同时避免自适应图像混合网络在图像级别混合与目标检测为对象级别任务而导致语义不一致的问题，本申请的实施例提出针对对象级别的自适应图像混合网络的辅助损失函数。
具体地，本申请的实施例通过调整损失约束范围从图像级别缩小到对象级别，并利用少量的背景信息使自适应图像混合网络对前景目标和背景的区分更为敏锐，从而使自适应图像混合网络更专注于学习对象级别的比例关系，辅助损失函数的数学表达式如下：
其中，λ表示随机生成的混合比；λj表示从生成的图像混合像素级掩码中提取出的目标混合比例均值；si,h,w表示自适应图像混合网络生成的图像像素级掩码，∈＝0.1。
由此，本申请的实施例通过设置辅助损失函数，从而确保输出的图像混合像素级掩码si最大程度保留各对象的特征区域，进一步提升目标检测模型性能。
可以理解的是，本申请的实施例通过从目标级别生成混合图像，以确保尽可能精确地保留目标的关键特征，如图4所示，该过程的关键在于避免生成的混合样本对目标检测任务产生误导，从而使其能够成为有益的训练样本，有助于目标检测模型学习目标的关键特征，最终提升模型的性能水平；本申请实施例的混合图像生成方法不仅具有精准性，且有助于确保目标检测模型在学习过程中能够更加有效地捕捉和理解目标的特征，为模型的性能提升提供了可靠的基础。
可选地，在本申请的一个实施例中，基于第一共享网络，计算混合图像对应的第一损失函数，包括：将混合图像输入至第一共享网络，并根据预设的混合权重策略从图像混合像素级掩码中提取混合图像中目标物体的第一平均混合比例；基于目标物体的第一平均混合比例，计算第一损失函数。
需要说明的是，在获得混合图像后，本申请的实施例便可将混合图像输入至网络k中，并利用网络k计算混合图像的目标检测损失函数(即第一损失函数)，并通过反向传播反馈给自适应图像混合网络，从而优化生成的混合图像质量。
作为一种可以实现的方式，在计算混合图像的第一损失函数时，本申请的实施例设计了一个目标级别的混合权重策略，具体地，在本申请的实施例中，每个目标的损失权重系数通过从生成的图像混合像素级掩码中提取该目标的平均混合比例(即第一平均混合比例)得到，如图5所示，并用于计算目标检测分类和回归损失，混合图像的第一损失函数的数学表达式如下：
其中，i表示预测目标的索引；λi表示与预测目标最接近的真实目标的混合权重；和分别表示单个目标的分类和回归损失。
由此，本申请的实施例通过从生成的图像混合像素级掩码中计算每个目标的平均混合比例，并使用得到的平均混合比例作为计算混合图像的目标检测分类和回归损失时每个目标的损失权重，从而通过引入目标级别的混合权重，实现了对目标检测标签的自适应混合，为提升混合图像的目标检测性能提供了有力支撑。
在步骤S104中，通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。
进一步地，本申请的实施例可利用原始图像对和优化后的混合图像联合训练网络q(即第二共享网络)，以分别计算原始图像对的目标检测损失函数(即第二损失函数)以及优化后的混合图像的目标检测损失函数(即第三损失函数)；同时，网络q通过反向传播更新网络参数，且为避免特征崩溃，本申请实施例可采用指数移动平均策略更新网络k的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的网络q，从而得到最终的目标检测模型。
可选地，在本申请的一个实施例中，通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，包括：将原始图像对输入至第二共享网络，以通过第二共享网络计算原始图像对对应的第二损失函数；将优化后的混合图像输入至第二共享网络，并根据混合权重策略提取优化后的混合图像中目标物体的第二平均混合比例，以通过第二共享网络和第二平均混合比例计算优化后的混合图像对应的第三损失函数；通过第二损失函数和第三损失函数优化第二共享网络，并更新优化后的第二共享网络的参数，以得到优化参数；基于指数移动平均策略和优化参数，更新第一共享网络的参数。
需要说明的是，本申请的实施例通过将原始图像对输入网络q进行常规的目标检测网络训练，并计算对应的目标检测网络损失(即第二损失函数)，以使得骨干网络能够在早期提供稳定的特征映射，从而加快优化自适应图像混合网络的收敛速度。
在本申请的实施例中，目标检测网络的主体损失函数包括对目标的检测锚框回归损失和分类损失两个部分，如下式所示：
其中，i表示预测目标的索引；和分别表示预测目标的分类和回归损失，并对所有目标的分类和回归损失求和。
此外，本申请的实施例还需将优化后的混合图像输入至网络q中，用于扩充训练样本的数量和多样性，并计算优化后的混合图像目标检测损失函数(即第三损失函数)，该损失函数与上述第一损失函数的数学表达式相同，从而提升模型目标检测的性能。
综上所述，本申请的实施例在目标检测领域使用自适应混合样本生成的数据增强方法，并设计了一个用于目标检测领域的、可端到端训练的自动优化混合样本生成数据增强框架，实现了生成自适应像素级别掩码，并利用该掩码在原始数据样本对的基础上生成混合样本辅助模型进行训练，从而提升目标检测模型的性能；由于目标检测与分类任务的标签类型不一致，导致用于分类任务的标签混合策略不再适用于目标检测任务，本申请的实施例利用目标级别的混合权重策略，以针对目标检测任务的特性实现目标检测标签的自适应混合；另外，为了保证在学习图像数据混合比例时重点保留多个对象的特征区域，避免因混合导致目标原本的特征被干扰，本申请实施例改进了自适应图像混合网络，通过将约束从整张图像调整为主要针对需要检测的对象，使得自适应图像混合网络更加关注检测的对象，输出的混合掩码尽可能地保留各对象的特征区域，从而进一步提升目标检测模型的性能。
可以理解的是，本申请的实施例为了从数据多样性扩充的角度直接提升目标检测模型性能，将模型训练过程分为，混合图像优化任务和目标检测任务两个子任务，如图6所示，并将图像混合任务视为目标检测任务的辅助任务，从而解决了分离式混合数据增强策略存在的问题，并引入了更为灵活的协同优化；此外，传统图像混合策略中，图像混合任务与目标检测任务的优化相互分离，容易导致生成的混合样本反而对目标检测任务产生误导，而本申请的实施例以互利的方式结合上述两个任务，从而有力确保了混合样本在目标检测任务中发挥有效作用。
根据本申请实施例提出的应用于在线训练阶段的基于自适应图像混合数据增强的目标检测方法，通过构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对；通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像；基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像；通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。
图7为本申请实施例所提供的一种应用于在线检测阶段的基于自适应图像混合数据增强的目标检测方法的流程图。
如图7所示，该基于自适应图像混合数据增强的目标检测方法包括以下步骤：
在步骤S701中，获取待测目标的图像数据。
在步骤S702中，将图像数据输入至预先训练的目标检测模型中，以输出待测目标的检测结果，其中，目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
由此，本申请的实施例通过将原始的待检测的图像输入至预先训练的目标检测模型中，从而在原始图像上标识预测的目标检测框及类别，并进行可视化输出。
根据本申请实施例提出的应用于在线检测阶段的基于自适应图像混合数据增强的目标检测方法，通过获取待测目标的图像数据；将图像数据输入至预先训练的目标检测模型中，以输出待测目标的检测结果，其中，目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。
其次，参照附图描述根据本申请实施例提出的基于自适应图像混合数据增强的目标检测装置。
图8是本申请实施例的应用于在线训练阶段的基于自适应图像混合数据增强的目标检测装置的方框示意图。
如图8所示，该基于自适应图像混合数据增强的目标检测装置10包括：第一获取模块101、提取模块102、优化模块103以及训练模块104。
其中，第一获取模块101，用于构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对。
提取模块102，用于通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像。
优化模块103，用于基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像。
训练模块104，用于通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。
可选地，在本申请的一个实施例中，提取模块102包括：嵌入单元、生成单元和混合单元。
其中，嵌入单元，用于将预设混合比嵌入至特征图对中，以得到嵌入特征图对，并利用嵌入特征图对计算相似性矩阵。
生成单元，用于基于自适应图像混合网络和嵌入特征图对，并通过相似性矩阵和预设的上采样函数，以生成图像混合像素级掩码。
混合单元，用于根据图像混合像素级掩码对原始图像对进行混合，以得到混合图像。
可选地，在本申请的一个实施例中，优化模块103包括：输入单元和第一计算单元。
其中，输入单元，用于将混合图像输入至第一共享网络，并根据预设的混合权重策略从图像混合像素级掩码中提取混合图像中目标物体的第一平均混合比例。
第一计算单元，用于基于目标物体的第一平均混合比例，计算第一损失函数。
可选地，在本申请的一个实施例中，训练模块104包括：第二计算单元、第三计算单元和更新单元。
其中，第二计算单元，用于将原始图像对输入至第二共享网络，以通过第二共享网络计算原始图像对对应的第二损失函数。
第三计算单元，用于将优化后的混合图像输入至第二共享网络，并根据混合权重策略提取优化后的混合图像中目标物体的第二平均混合比例，以通过第二共享网络和第二平均混合比例计算优化后的混合图像对应的第三损失函数。
第一更新单元，用于通过第二损失函数和第三损失函数优化第二共享网络，并更新优化后的第二共享网络的参数，以得到优化参数。
第二更新单元，用于基于指数移动平均策略和优化参数，更新第一共享网络的参数。
可选地，在本申请的一个实施例中，辅助损失函数的数学表达式为：
其中，λ表示混合比；λj表示目标混合比例均值；si,h,w表示图像混合像素级掩码；∈为常数项。
根据本申请实施例提出的应用于在线训练阶段的基于自适应图像混合数据增强的目标检测装置，包括第一获取模块，用于构建目标物体的训练数据集，并通过训练数据集获取多个原始图像对；提取模块，用于通过预设孪生网络中的第一共享网络提取多个原始图像对中的每个原始图像对的特征图对，并将特征图对输入至预设孪生网络中的自适应图像混合网络，以获取特征图对对应的混合图像；优化模块，用于基于第一共享网络，计算混合图像对应的第一损失函数，并通过第一损失函数和预设的辅助损失函数优化自适应图像混合网络，且利用优化后的自适应图像混合网络优化混合图像；训练模块，用于通过原始图像对和优化后的混合图像优化预设孪生网络中的第二共享网络，并采用指数移动平均策略更新第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过目标检测模型执行目标检测操作。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。
图9是本申请实施例应用于在线预阶段的基于自适应图像混合数据增强的目标检测装置的方框示意图。
如图9所示，该应用于在线检测阶段的基于自适应图像混合数据增强的目标检测装置20包括：第二获取模块201和检测模块202。
其中，第二获取模块201，用于获取待测目标的图像数据。
检测模块202，用于将图像数据输入至预先训练的目标检测模型中，以输出待测目标的检测结果，其中，目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
需要说明的是，前述对基于自适应图像混合数据增强的目标检测方法实施例的解释说明也适用于该实施例的基于自适应图像混合数据增强的目标检测装置，此处不再赘述。
根据本申请实施例提出的应用于在线检测阶段的基于自适应图像混合数据增强的目标检测装置，包括第二获取模块，用于获取待测目标的图像数据；检测模块，用于将图像数据输入至预先训练的目标检测模型中，以输出待测目标的检测结果，其中，目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。本申请从数据增强的角度有效扩充了原始数据集的数量和多样性，有效提升了目标检测模型的性能和泛化性。
图10为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行程序时实现上述实施例中提供的基于自适应图像混合数据增强的目标检测方法。
进一步地，电子设备还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于自适应图像混合数据增强的目标检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于自适应图像混合数据增强的目标检测方法，其特征在于，应用于在线训练阶段，包括以下步骤：
构建目标物体的训练数据集，并通过所述训练数据集获取多个原始图像对；
通过预设孪生网络中的第一共享网络提取所述多个原始图像对中的每个原始图像对的特征图对，并将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像；
基于所述第一共享网络，计算所述混合图像对应的第一损失函数，并通过所述第一损失函数和预设的辅助损失函数优化所述自适应图像混合网络，且利用优化后的自适应图像混合网络优化所述混合图像；
通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过所述目标检测模型执行目标检测操作。
2.根据权利要求1所述的方法，其特征在于，所述将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像，包括：
将预设混合比嵌入至所述特征图对中，以得到嵌入特征图对，并利用所述嵌入特征图对计算相似性矩阵；
基于所述自适应图像混合网络和所述嵌入特征图对，并通过所述相似性矩阵和预设的上采样函数，以生成图像混合像素级掩码；
根据所述图像混合像素级掩码对所述原始图像对进行混合，以得到所述混合图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一共享网络，计算所述混合图像对应的第一损失函数，包括：
将所述混合图像输入至所述第一共享网络，并根据预设的混合权重策略从所述图像混合像素级掩码中提取所述混合图像中目标物体的第一平均混合比例；
基于所述目标物体的第一平均混合比例，计算所述第一损失函数。
4.根据权利要求1所述的方法，其特征在于，所述通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，包括：
将所述原始图像对输入至所述第二共享网络，以通过所述第二共享网络计算所述原始图像对对应的第二损失函数；
将所述优化后的混合图像输入至所述第二共享网络，并根据所述混合权重策略提取所述优化后的混合图像中所述目标物体的第二平均混合比例，以通过所述第二共享网络和所述第二平均混合比例计算所述优化后的混合图像对应的第三损失函数；
通过所述第二损失函数和第三损失函数优化所述第二共享网络，并更新优化后的第二共享网络的参数，以得到优化参数；
基于所述指数移动平均策略和所述优化参数，更新所述第一共享网络的参数。
5.根据权利要求1所述的方法，其特征在于，所述辅助损失函数的数学表达式为：
其中，λ表示所述混合比；λj表示目标混合比例均值；si,h,w表示所述图像混合像素级掩码；∈为常数项。
6.一种基于自适应图像混合数据增强的目标检测方法，其特征在于，应用于在线检测阶段，包括以下步骤：
获取待测目标的图像数据；
将所述图像数据输入至预先训练的目标检测模型中，以输出所述待测目标的检测结果，其中，所述目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
7.一种基于自适应图像混合数据增强的目标检测装置，其特征在于，应用于在线训练阶段，包括：
第一获取模块，用于构建目标物体的训练数据集，并通过所述训练数据集获取多个原始图像对；
提取模块，用于通过预设孪生网络中的第一共享网络提取所述多个原始图像对中的每个原始图像对的特征图对，并将所述特征图对输入至所述预设孪生网络中的自适应图像混合网络，以获取所述特征图对对应的混合图像；
优化模块，用于基于所述第一共享网络，计算所述混合图像对应的第一损失函数，并通过所述第一损失函数和预设的辅助损失函数优化所述自适应图像混合网络，且利用优化后的自适应图像混合网络优化所述混合图像；
训练模块，用于通过所述原始图像对和优化后的混合图像优化所述预设孪生网络中的第二共享网络，并采用指数移动平均策略更新所述第一共享网络的参数，以根据更新后的参数和优化后的自适应图像混合网络训练优化后的第二共享网络，以生成目标检测模型，并在在线检测阶段，通过所述目标检测模型执行目标检测操作。
8.一种基于自适应图像混合数据增强的目标检测装置，其特征在于，应用于在线检测阶段，包括：
第二获取模块，用于获取待测目标的图像数据；
检测模块，用于将所述图像数据输入至预先训练的目标检测模型中，以输出所述待测目标的检测结果，其中，所述目标检测模型通过基于预设孪生网络中的第一共享网络和自适应图像混合网络，并结合预设的训练数据集训练预设的第二共享网络得到。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5或6任一项所述的基于自适应图像混合数据增强的目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5或6任一项所述的基于自适应图像混合数据增强的目标检测方法。
CN202410877750.0A 2024-07-02 2024-07-02 基于自适应图像混合数据增强的目标检测方法及装置 Pending CN119068228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410877750.0A CN119068228A (zh) 2024-07-02 2024-07-02 基于自适应图像混合数据增强的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410877750.0A CN119068228A (zh) 2024-07-02 2024-07-02 基于自适应图像混合数据增强的目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN119068228A true CN119068228A (zh) 2024-12-03

Family

ID=93645764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410877750.0A Pending CN119068228A (zh) 2024-07-02 2024-07-02 基于自适应图像混合数据增强的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN119068228A (zh)

Similar Documents

Publication Publication Date Title
CN111507993B (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN109712165B (zh) 一种基于卷积神经网络的同类前景图像集分割方法
CN114399644B (zh) 一种小样本目标检测方法及装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN111724371A (zh) 一种数据处理方法、装置及电子设备
CN110866922A (zh) 基于强化学习和迁移学习的图像语义分割模型及建模方法
CN115049717B (zh) 一种深度估计方法及装置
Yan et al. Learnable differencing center for nighttime depth perception
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN118505731B (zh) 一种医学图像分割方法、系统、电子设备及存储介质
CN115147343A (zh) 使用人工神经网络的数字病理学
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
CN119068228A (zh) 基于自适应图像混合数据增强的目标检测方法及装置
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
CN117746018A (zh) 面向平面扫描图像的用户定制化意图理解方法及系统
CN117788995A (zh) 基于生成对抗网络的目标检测小样本数据增强方法、系统与计算机可读介质
CN115018729B (zh) 一种面向内容的白盒图像增强方法
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN114710325B (zh) 网络入侵检测模型的构建方法、装置、设备及存储介质
CN116912829A (zh) 小气道分割方法、装置、电子设备及非易失性存储介质
CN113256556B (zh) 一种图像选择方法及装置
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统
CN115393756A (zh) 一种基于视觉图像的水印识别方法、装置、设备及介质
Yuan et al. Image matting trimap optimization by ant colony algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination