[go: up one dir, main page]

CN114821237A - 一种基于多级对比学习的无监督船舶再识别方法及系统 - Google Patents

一种基于多级对比学习的无监督船舶再识别方法及系统 Download PDF

Info

Publication number
CN114821237A
CN114821237A CN202210485344.0A CN202210485344A CN114821237A CN 114821237 A CN114821237 A CN 114821237A CN 202210485344 A CN202210485344 A CN 202210485344A CN 114821237 A CN114821237 A CN 114821237A
Authority
CN
China
Prior art keywords
ship
image
cluster
level
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485344.0A
Other languages
English (en)
Inventor
张伟
张倩
宋然
张明鑫
刘敬贺
贺玄煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210485344.0A priority Critical patent/CN114821237A/zh
Publication of CN114821237A publication Critical patent/CN114821237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于船舶再识别技术领域，尤其涉及一种基于多级对比学习的无监督船舶再识别方法及系统。该方法包括，获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。本发明通过结合实例级对比学习和聚类级对比学习，在无需任何记忆块的情况下以无监督的方式学习具有辨识性的船舶特征，进而提升船舶再识别任务准确率。

Description

一种基于多级对比学习的无监督船舶再识别方法及系统
技术领域
本发明属于船舶再识别技术领域，尤其涉及一种基于多级对比学习的无监督船舶再识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
作为最具代表性的海上无人装备，水面无人艇在远海监控和侦察方面发挥着重要作用。因此，对不同海面船舶的再识别是水面无人艇的一项基础能力。但由于缺乏大规模有标注的数据集，船舶再识别相关研究比较少。相比于可以从监控视频中捕获的行人再识别数据，船舶再识别数据的采集往往需要更多的人力物力，甚至存在一些安全隐患，在这种情况下，采用无监督的方式训练船舶再识别模型是一种更为妥当的解决方案。
对比式的无监督学习方法已经在行人再识别任务中被广泛研究，通常的解决思路为：利用聚类算法生成伪标签来反映无标签样本间的关联，然后基于伪标签进行对比学习。北京大学张史梁团队提出的MMCL方法从损失函数的角度来讲也属于基于对比学习进行行人再识别的方法，该方法在训练初期将每个样本的索引作为类别标签进行常规的实例级对比学习，导致在训练过程中拥有相同聚类伪标签的船舶图片难以作为正样本参与训练，本发明中称之为困难正样本问题。如果这一问题不被解决，数据集的特征空间会逐渐逼近一个均匀分布，导致所训练的模型将倾向于区分每张图片，而非按照船舶ID进行分类。香港中文大学多媒体实验室提出的SpCL方法借助于一个混合记忆块实现了较好的无监督行人再识别性能，但由于训练初期聚类生成的伪标签准确性较低，大量样本因为聚类置信度低未能被聚类至任何一个簇中，成为游离的样本点各自成为一类，导致该方法在训练初期同样面临困难正样本问题。由于困难正样本问题的存在，现有技术方法在挑战性更大的船舶再识别任务中难以产生较好的应用效果。
聚类级对比学习在训练过程中将每个样本特征与每个簇的特征进行对比，每个簇的特征通常由该簇内所有样本特征求均值得到，因此簇特征是簇内所有特征的集中体现，从而可以避免拥有同一伪标签的正样本在训练过程中被推开。最近发表在ICCV2021的ICE方法便同时采用了聚类级对比学习和实例级的困难样本挖掘，取得了目前最好的无监督行人再识别性能。但ICE方法仅对最困难的一个正样本进行了实例级对比学习，而忽略了其他正样本，弱化了实例级对比学习对模型训练的影响。事实上，对于船舶再识别任务而言，由于不同ID的船舶之间相似度更高，往往需要更多的细节信息来进行区分，因此应充分发挥实例级对比学习在无监督船舶再识别任务中的作用。
此外，现有对比式再识别方法大都依赖于实例级或聚类级的记忆块来实现，即预先将训练集中所有图片的特征或聚类后每个簇的特征存储至记忆块中，在训练过程中通过将当前样本特征与记忆块中存储的特征进行对比不断进行优化。针对整个训练集的全局记忆块往往需要较大的内存消耗，对计算设备的硬件要求比较高，限制了算法在大规模船舶再识别数据集上的应用。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多级对比学习的无监督船舶再识别方法及系统，其通过结合实例级对比学习(Instance-levelContrastive Learning,ICL)和聚类级对比学习(Cluster-level Contrastive Learning,CCL)，在无需任何记忆块的情况下以无监督的方式学习具有辨识性的船舶特征，进而提升船舶再识别任务准确率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多级对比学习的无监督船舶再识别方法。
一种基于多级对比学习的无监督船舶再识别方法，包括：
获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络；
获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
进一步地，所述特征提取网络采用改进的ResNet-50网络，所述改进的ResNet-50网络去除分类器，在网络的最后增加批归一化操作层。
进一步地，所述对船舶图像进行增强包括：对船舶图像进行增强操作，每张船舶图像生成两张不同的增强图像，同一张船舶图像的增强图像构成一个正样本对，共享伪标签。
进一步地，所述计算实例级对比损失的过程采用实例级对比损失函数实现，所述实例级对比损失函数
Figure BDA0003629634810000041
为：
Figure BDA0003629634810000042
其中，
Figure BDA0003629634810000043
Figure BDA0003629634810000044
τ1为实例级对比学习的超参数，i和j均代表每个批次内样本的索引，yi和yj分别代表第i个样本和第j个样本的伪标签，si,j代表两个样本特征的相似度；N为批次大小，即每次训练迭代，从训练集中采样出N张图片，每张图片进行两次图像增强操作，共得到2N张增强图像，即2N个样本，在计算实例级损失时，所有2N个样本均参与计算，在计算Li，j时，k代表2N个样本中第k个样本的索引，yk代表其伪标签。
进一步地，所述基于增强图像特征和伪标签，确定增强图像特征样本与簇特征间的相似度，得到聚类级对比损失的具体过程包括：基于增强图像特征和伪标签，计算每个批次内部具有相同伪标签的若干个增强图像特征样本的均值，得到簇特征；计算增强图像特征样本与若干个簇特征之间的相似度；根据每个增强图像特征样本的伪标签确定其所属的簇，在聚类对比学习过程中该增强图像特征样本所属簇的簇特征为正样本，其余簇特征为负样本，计算聚类级对比损失。
进一步地，所述聚类级对比损失采用聚类级对比损失函数计算得到，所述聚类级对比损失函数为：
Figure BDA0003629634810000051
其中，τ2为聚类级对比学习的超参数，对第i个样本，其所属的簇为第c个簇(训练过程中每个批次样本中共有C个簇)，si,c指该样本与其所属簇的簇特征间的相似度，si,k指其与该批次样本中第k个簇的簇特征间的相似度。
进一步地，所述多级对比学习损失根据多级对比学习损失函数得到，所述多级对比学习损失函数为：
Figure BDA0003629634810000052
其中，λ为权重系数，
Figure BDA0003629634810000053
为实例级对比损失函数，
Figure BDA0003629634810000054
为聚类级对比损失函数，N为批次大小，即每次训练迭代，从训练集中采样出N张图片，每张图片进行两次图像增强操作，共得到2N张增强图像，即2N个样本，在计算实例级损失时，所有2N个样本均参与计算，i表示第i个样本的索引；而在计算实例级对比损失时，只用到了其中N个样本(即每张原始图片取一个增强图像)，j表示第j个样本的索引。
本发明的第二个方面提供一种基于多级对比学习的无监督船舶再识别系统。
一种基于多级对比学习的无监督船舶再识别系统，包括：
预处理模块，其被配置为：获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
特征提取模块，其被配置为：采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
网络训练模块，其被配置为：所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络；
再识别模块，其被配置为：获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明设计了新的实例级对比学习损失函数。相比于最为常用的InfoNCE对比损失函数，本发明中的实例级对比损失函数将具有相同伪标签的样本均视为正样本，在计算某一正样本对的损失函数时，将其他正样本从损失函数的分母(即负样本项)中剔除，避免这些正样本作为负样本被推开，解决了困难正样本问题，提高了训练效率和模型性能。
(2)本发明建立了无需特征存储块的多级对比学习框架。本发明中的实例级对比学习和聚类级对比损失函数共同作用，前者侧重于捕捉图像的细节信息，后者可以提升模型对噪声样本的抗干扰能力，同时聚类级损失函数也可以在一定程度上解决困难正样本问题(因为聚类级对比损失函数将当前批次内拥有相同伪标签的所有样本均值作为簇特征，在训练过程中所属簇的簇特征作为正样本，其他簇的簇特征作为负样本)。最重要的是，本发明无需预先计算整个训练集上所有样本的特征并存储于记忆块中，极大地节省了内存空间，使得在大规模数据集上训练船舶再识别模型成为可能。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一示出的基于多级对比学习的无监督船舶再识别方法的流程图；
图2是本发明实施例二示出的基于多级对比学习的无监督船舶再识别系统的框架图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
术语解释：船舶再识别是指给定某船舶ID的一张查询图片(query)，从包含很多图片的备选船舶图像集(gallery)中检索出与查询图片属于同一船舶ID的其他图片。
实施例一
如图1所示，本实施例提供了一种基于多级对比学习的无监督船舶再识别方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络；
获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
给定无标签训练集χ，训练的epoch个数E，每个epoch的迭代次数I，每次迭代的批次大小N，特征提取网络fθ，伪标签生成器G，图像增强模块T，本实施例的具体方案可参考以下内容实现：
(a)对原始图像x∈χ，生成伪标签y＝G(fθ(x))；
作为一种可行的实施方式，本实施例中的伪标签生成器G用于对训练集χ中的每张船舶图片x生成伪标签y，即
Figure BDA0003629634810000101
本实施例的伪标签生成器G采用基于Jaccard距离的DBSCAN聚类算法，借助于scikit-learn程序库实现，聚类过程中设定每个簇至少包含4个样本，正样本间的最大距离∈设为0.4，计算Jaccard距离时k1和k2分别设为30和6。
(b)从χ中随机采样N个样本，N个样本分别属于C个伪标签；
(c)对N个样本分别进行两次图像增强操作得到2N个增强图像：
Figure BDA0003629634810000102
作为一种可行的实施方式，本实施例中的图像增强模块T用于对训练集χ中的每张船舶图片x生成两张不同的增强图像xi和xj，源自同一张船舶图片的增强图像构成一个正样本对，共享伪标签。在训练阶段，本实施例中的图像增强模块T主要包括Resize，RandomHorizontalFlip，RandomCrop，ColorJitter，RandomErasing等操作；在测试阶段，仅对输入图像进行Resize操作。本实施例中的RandomErasing操作采用现有方法实现，其余图像增强操作均基于PyTorch实现，具体参数设置如下：
Resize：height＝180，width＝256，interpolation＝3；
RandomHorizontalFlip：p＝0.5；
RandomCrop：height＝180，width＝256；
ColorJitter：brightness＝0.2，contrast＝0.2，saturation＝0.2，hue＝0.2；
RandomErasing：probability＝0.5，mean＝(0.4914,0.4822,0.4465)。
(d)对2N个增强图像使用特征提取网络fθ提取特征：
Figure BDA0003629634810000111
作为一种可行的实施方式，本实施例中的特征提取网络fθ用于提取输入船舶图像x的特征，即z＝fθ(x)，该部分采用细微修改的ResNet-50网络，删掉了原始网络中的分类器(即最后一个全连接层)，并在网络最后额外增加了批归一化(BatchNormalization,BN)操作。在训练开始之前，使用在ImageNet数据集上预训练的模型参数对fθ进行初始化。
(e)对2N个增强图像特征基于公式(1)计算样本间相似度；
作为一种可行的实施方式，本实施例中的实例级对比学习模块ICL以所有增强图像特征为输入，首先计算特征间的L2相似度：
Figure BDA0003629634810000112
(f)基于公式(2)和公式(3)计算实例级对比损失
Figure BDA0003629634810000113
作为一种可行的实施方式，按照伪标签相同的样本互为正样本的原则对当前批次(批次大小记为N)进行对比损失函数计算，损失函数为：
Figure BDA0003629634810000114
其中
Figure BDA0003629634810000115
Figure BDA0003629634810000116
其中
Figure BDA0003629634810000117
其中，τ1为实例级对比学习的超参数，本实施例在实施过程中设为0.05，i和j均代表每个批次内样本的索引，yi和yj分别代表第i个样本和第j个样本的伪标签，si,j代表两个样本特征的相似度；N为批次大小，即每次训练迭代，从训练集中采样出N张图片，每张图片进行两次图像增强操作，共得到2N张增强图像，即2N个样本，在计算实例级损失时，所有2N个样本均参与计算，在计算Li，j时，k代表2N个样本中第k个样本的索引，yk代表其伪标签。
如公式(2)所示，本实施例中的ICL模块将具有相同伪标签的样本作为正样本，而不像常规的对比学习方法只将来自于同一原始船舶图像的增强图像作为正样本；此外，在计算正样本对(xi,xj)的损失时，本实施例中的ICL模块将其他正样本从公式(3)的分母项中剔除掉，以避免其他正样本与当前样本xi间的距离被拉大，导致训练效率降低，这是本实施例解决困难正样本问题的主要技术点。同时，本实施例的ICL模块无需记忆块预先存储训练集中所有样本的特征，只在每个批次内进行实例级的对比学习。
(g)基于公式(4)计算当前批次内C个簇的簇特征；
作为一种可行的实施方式，本实施例中的聚类级对比学习模块CCL以每个原始图像对应的一个增强图像特征为输入，首先根据伪标签，对批次内部具有相同伪标签yc(即同属于第c个簇)的Nc个样本特征求均值获取簇特征：
Figure BDA0003629634810000121
(h)基于公式(5)计算样本特征与簇特征间的相似度；
作为一种可行的实施方式，计算样本xi与各个簇特征φk之间的相似度：
Figure BDA0003629634810000122
(i)基于公式(6)计算聚类级对比损失
Figure BDA0003629634810000123
作为一种可行的实施方式，若xi的伪标签为yc，则在聚类级对比学习过程中φc为正样本，其他簇特征为负样本，然后进行聚类级对比损失计算：
Figure BDA0003629634810000131
其中，τ2为聚类级对比学习的超参数，本实施例在实施过程中设为0.05，对第i个样本，其所属的簇为第c个簇(训练过程中每个批次样本中共有C个簇)，si,c指该样本与其所属簇的簇特征间的相似度，si,k指其与该批次样本中第k个簇的簇特征间的相似度。
本实施例中的聚类级对比学习模块CCL中的簇特征是当前批次内属于同一个簇的所有样本特征的均值，将当前批次内的所有正样本均考虑在内，避免了将拥有同样伪标签的正样本视为负样本推开的情况，因而同样可以解决困难正样本问题。同时，本实施例的CCL模块中的在计算簇特征时只考虑当前批次内的样本，因此无需预先计算整个训练集上所有样本的特征并存储于记忆块中。
(j)计算多级对比学习损失：
Figure BDA0003629634810000132
其中，λ为权重系数；N为批次大小，即每次训练迭代，从训练集中采样出N张图片，每张图片进行两次图像增强操作，共得到2N张增强图像，即2N个样本，在计算实例级损失时，所有2N个样本均参与计算，i表示第i个样本的索引；而在计算实例级对比损失时，只用到了其中N个样本(即每张原始图片取一个增强图像)，j表示第j个样本的索引。
(k)更新特征提取网络fθ以最小化多级对比学习损失LMCL；
(l)重复(b)～(k)I次；
(m)重复(a)～(l)E次，得到训练好的特征提取网络fθ。
本实施例以训练好的特征提取网络fθ对船舶再识别测试数据中船舶图片的表征能力为基础，基于fθ提取的特征对查询船舶图像(query)和备选传播图像集(gallery)中的船舶图像进行相似性度量，进而检索出gallery中与query属于同一船舶ID的图像，技术方案优劣体现在检索准确率，包括平均准确率mAP，以及基于累积匹配曲线(CumulativeMatch Characteristic,CMC)的top 1/5/10准确率。
本实施例的效果评估在自建船舶再识别数据集上进行，该数据集包括1248只船舶的30587张图片，其中624个船舶ID用于训练，剩余624个船舶ID用于测试。
为验证本实施例技术方案的效果，具体实施细节设定如下：
训练阶段的epoch个数E设为50；每个epoch的迭代次数I设为200；每次迭代的批次大小N设为128/256，采样时保持每个簇内的样本数为4，即每个批次内簇的个数C为32/64；多级对比学习损失函数权重系数λ设为1；更新特征提取网络fθ时采用Adam优化算法，基础学习率为0.00035，随着训练每20个epoch学习率降至当前值的1/10。
与其他再识别方法的效果对比如下：
表1-测试阶段无re-ranking操作时的效果对比
Figure BDA0003629634810000141
表2-测试阶段有re-ranking操作时的效果对比
Figure BDA0003629634810000151
由表1、表2可以看出，本实施例的方法在船舶再识别上具有较高的准确性，优于现有的方法。
实施例二
本实施例提供了一种基于多级对比学习的无监督船舶再识别系统。
一种基于多级对比学习的无监督船舶再识别系统，包括：
预处理模块，其被配置为：获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
特征提取模块，其被配置为：采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
网络训练模块，其被配置为：所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络。
再识别模块，其被配置为：获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
其中，预处理模块包括：伪标签生成器G和图像增强模块T，网络训练模块包括实例级对比学习模块ICL和聚类级对比学习模块CCL，如图2所示。
此处需要说明的是，上述预处理模块、特征提取模块、网络训练模块和再识别模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多级对比学习的无监督船舶再识别方法，其特征在于，包括：
获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络；
获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
2.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述特征提取网络采用改进的ResNet-50网络，所述改进的ResNet-50网络去除分类器，在网络的最后增加批归一化操作层。
3.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述对船舶图像进行增强包括：对船舶图像进行增强操作，每张船舶图像生成两张不同的增强图像，同一张船舶图像的增强图像构成一个正样本对，共享伪标签。
4.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述计算实例级对比损失的过程采用实例级对比损失函数实现，所述实例级对比损失函数
Figure FDA0003629634800000021
为：
Figure FDA0003629634800000022
其中，
Figure FDA0003629634800000023
Figure FDA0003629634800000024
τ1为实例级对比学习的超参数，i和j均代表每个批次内样本的索引，yi和yj分别代表第i个样本和第j个样本的伪标签，si,j代表两个样本特征的相似度；N为批次大小，即每次训练迭代，从训练集中采样出N张图片，每张图片进行两次图像增强操作，共得到2N张增强图像，即2N个样本，在计算实例级损失时，所有2N个样本均参与计算，在计算Li，j时，k代表2N个样本中第k个样本的索引，yk代表其伪标签。
5.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述基于增强图像特征和伪标签，确定增强图像特征样本与簇特征间的相似度，得到聚类级对比损失的具体过程包括：基于增强图像特征和伪标签，计算每个批次内部具有相同伪标签的若干个增强图像特征样本的均值，得到簇特征；计算增强图像特征样本与若干个簇特征之间的相似度；根据每个增强图像特征样本的伪标签确定其所属的簇，在聚类对比学习过程中该增强图像特征样本所属簇特征为正样本，其余簇特征为负样本，计算聚类级对比损失。
6.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述聚类级对比损失采用聚类级对比损失函数计算得到，所述聚类级对比损失函数为：
Figure FDA0003629634800000031
其中，τ2为聚类级对比学习的超参数，对第i个样本，其所属的簇为第c个簇，si,c指该样本与其所属簇的簇特征间的相似度，si,k指其与该批次样本中第k个簇的簇特征间的相似度。
7.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法，其特征在于，所述多级对比学习损失根据多级对比学习损失函数得到，所述多级对比学习损失函数为：
Figure FDA0003629634800000032
其中，λ为权重系数，
Figure FDA0003629634800000033
为实例级对比损失函数，
Figure FDA0003629634800000034
为聚类级对比损失函数，N为批次大小。
8.一种基于多级对比学习的无监督船舶再识别系统，其特征在于，包括：
预处理模块，其被配置为：获取训练船舶图像，生成训练船舶图像的伪标签，并对训练船舶图像进行增强，得到增强图像；
特征提取模块，其被配置为：采用特征提取网络提取增强图像的增强图像特征，基于增强图像特征及伪标签，对特征提取网络进行训练；
网络训练模块，其被配置为：所述特征提取网络训练的过程包括：基于增强图像特征，计算所有增强图像特征间的相似度；基于增强图像特征间的相似度，按照伪标签相同的样本互为正样本的原则，计算实例级对比损失；基于增强图像特征和伪标签，计算簇特征并确定增强图像特征样本与簇特征间的相似度，进而得到聚类级对比损失；基于实例级对比损失和聚类级对比损失得到多级对比学习损失，以迭代优化特征提取网络，直到满足迭代停止条件，得到训练好的特征提取网络；
再识别模块，其被配置为：获取查询船舶图像，利用训练好的特征提取网络提取查询船舶图像特征，基于查询船舶图像特征，检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多级对比学习的无监督船舶再识别方法中的步骤。
CN202210485344.0A 2022-05-06 2022-05-06 一种基于多级对比学习的无监督船舶再识别方法及系统 Pending CN114821237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485344.0A CN114821237A (zh) 2022-05-06 2022-05-06 一种基于多级对比学习的无监督船舶再识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485344.0A CN114821237A (zh) 2022-05-06 2022-05-06 一种基于多级对比学习的无监督船舶再识别方法及系统

Publications (1)

Publication Number Publication Date
CN114821237A true CN114821237A (zh) 2022-07-29

Family

ID=82512173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485344.0A Pending CN114821237A (zh) 2022-05-06 2022-05-06 一种基于多级对比学习的无监督船舶再识别方法及系统

Country Status (1)

Country Link
CN (1) CN114821237A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612445A (zh) * 2023-07-20 2023-08-18 华侨大学 基于自适应聚类和困难样本加权的无监督车辆再辨识方法
CN117611605A (zh) * 2023-11-24 2024-02-27 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备
CN117746079A (zh) * 2023-11-15 2024-03-22 中国地质大学（武汉） 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN117935030A (zh) * 2024-03-22 2024-04-26 广东工业大学 双视角相关性感知正则化的多标签置信度校准方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612445A (zh) * 2023-07-20 2023-08-18 华侨大学 基于自适应聚类和困难样本加权的无监督车辆再辨识方法
CN116612445B (zh) * 2023-07-20 2023-10-31 华侨大学 基于自适应聚类和困难样本加权的无监督车辆再辨识方法
CN117746079A (zh) * 2023-11-15 2024-03-22 中国地质大学（武汉） 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN117746079B (zh) * 2023-11-15 2024-05-14 中国地质大学（武汉） 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN117611605A (zh) * 2023-11-24 2024-02-27 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备
CN117611605B (zh) * 2023-11-24 2024-04-16 北京建筑大学 一种心脏医学图像的分割方法、系统及电子设备
CN117935030A (zh) * 2024-03-22 2024-04-26 广东工业大学 双视角相关性感知正则化的多标签置信度校准方法及系统
CN117935030B (zh) * 2024-03-22 2024-10-25 广东工业大学 双视角相关性感知正则化的多标签置信度校准方法及系统

Similar Documents

Publication Publication Date Title
CN114821237A (zh) 一种基于多级对比学习的无监督船舶再识别方法及系统
US11803971B2 (en) Generating improved panoptic segmented digital images based on panoptic segmentation neural networks that utilize exemplar unknown object classes
CN112199957B (zh) 基于属性和关系信息联合嵌入的人物实体对齐方法及系统
CN111506773A (zh) 一种基于无监督深度孪生网络的视频去重方法
CN113963165B (zh) 一种基于自监督学习的小样本图像分类方法及系统
Xian et al. Evaluation of low-level features for real-world surveillance event detection
CN106127222B (zh) 一种基于视觉的字符串相似度计算方法及相似性判断方法
WO2023088174A1 (zh) 目标检测方法及装置
Zhang et al. Explainable artificial intelligence to detect image spam using convolutional neural network
CN110188763A (zh) 一种基于改进图模型的图像显著性检测方法
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN104008177B (zh) 面向图像语义标注的规则库结构优化与生成方法及系统
CN111027582A (zh) 基于低秩图学习的半监督特征子空间学习方法及装置
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
Rohani et al. Facial feature recognition with multi-task learning and attention-based enhancements
CN104200222B (zh) 一种基于因子图模型的图片中对象识别方法
Wang et al. Adaptive face recognition using adversarial information network
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统
CN114429648B (zh) 一种基于对比特征的行人重识别方法及系统
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
CN111435453A (zh) 细粒度图像零样本识别方法
CN111695526B (zh) 网络模型生成方法、行人重识别方法及装置
CN111401519B (zh) 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法
Yang et al. Robust feature mining transformer for occluded person re-identification
US11270155B2 (en) Duplicate image detection based on image content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination