CN117218481A - 鱼类识别方法、装置、设备及存储介质 - Google Patents
鱼类识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117218481A CN117218481A CN202310910302.1A CN202310910302A CN117218481A CN 117218481 A CN117218481 A CN 117218481A CN 202310910302 A CN202310910302 A CN 202310910302A CN 117218481 A CN117218481 A CN 117218481A
- Authority
- CN
- China
- Prior art keywords
- fish
- target
- model
- fish identification
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 241000251468 Actinopterygii Species 0.000 claims abstract description 257
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 23
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种鱼类识别方法、装置、设备及存储介质，该方法包括：对初始鱼类数据集进行数据预处理，生成训练集和测试集；将训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；基于鱼类特征信息对鱼类识别模型进行训练，并根据测试集对鱼类识别模型进行验证，获得训练后的鱼类识别模型；将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果。通过上述方式，对初始鱼类数据集进行数据预处理，将训练集输入至鱼类识别模型进行特征提取，并对鱼类识别模型进行训练，并进行验证，将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果，能够提升特征提取能力，降低漏检率，且能够提升检测精度，满足实时检测需求。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种鱼类识别方法、装置、设备及存储介质。
背景技术
目前用于鱼类的识别模型主要分为基于机器学习和深度学习技术的模型。其中用于鱼类分类的机器视觉模型大致可以分为：图像采集、图像预处理、特征提取、分类方法。这几个步骤。其中最为关键的特征提取步骤，当前的鱼类特征提取主要从颜色特征、外形特征、纹理特征这几个特征进行入手，还有一些是基于组合特征来进行特征提取。然而，当图像的分辨率发生变化时，统计纹理特征可能有很大的偏差。
此外，由于水下光线的折射，从二维鱼类图像中反映出来的纹理可能不是真实的鱼类表面纹理。因此，仅使用纹理特征不能获得高水平的图像内容。由于水中对比度的损失和照度的变化，在应用于分类模型时，从捕获的鱼图像中获得的颜色和纹理信息不是很好。而鱼的形状信息只考虑了鱼的边界轮廓信息，无法较为准确完整的提取到鱼的特征。更为重要的是，由于鱼类在水中自由游动时偶尔会发生变形，鱼的外形轮廓信息并不准确。因此，亟需一种特征提取能力更强、漏检率更低且具有更高检测精度的鱼类识别方法。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种鱼类识别方法、装置、设备及存储介质，旨在解决现有技术特征提取能力差、漏检率高且检测精度不高的技术问题。
为实现上述目的，本发明提供了一种鱼类识别方法，所述方法包括以下步骤：
对初始鱼类数据集进行数据预处理，生成训练集和测试集；
将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；
基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型；
将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
可选地，所述训练后的鱼类识别模型包括骨干网络模型、颈部网络模型和头部网络模型；
将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果的步骤，包括：
将目标鱼类图像输入至所述骨干网络模型，获得目标特征；
将所述目标特征输入至所述颈部网络模型和所述头部网络模型，获得目标识别结果。
可选地，所述骨干网络模型包括从左至右依次相连的分区模块、第一Swin-Stage模块以及第二Swin-Stage模块；
将目标鱼类图像输入至所述骨干网络模型，获得目标特征的步骤，包括：
将所述目标鱼类图像输入至所述分区模块进行分块、拉直和线性变换，生成中间向量；
将所述中间向量输入至所述第一Swin-Stage模块以及所述第二Swin-Stage模块，获得目标特征。
可选地，所述对初始鱼类数据集进行数据预处理，生成训练集和测试集的步骤，包括：
对初始鱼类数据集中的空对象以及失真数据进行去除并标记，获得第一中间数据集；
将所述第一中间数据集进行几何变换操作以及光度变换操作获得第二中间数据集；
将所述第二中间数据集进行数据划分，生成训练集和测试集。
可选地，所述将所述第二中间数据集进行数据划分，生成训练集和测试集的步骤，包括：
通过分类器将所述第二中间数据集进行数据划分，生成训练集和测试集，其中，所述分类器包括：SVM支持向量机、NBM朴素贝叶斯、K-Means聚类以及AdaBoost。
可选地，所述将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息的步骤包括：
将所述训练集输入至鱼类识别模型进行基于颜色、纹理以及外形的特征提取，获得颜色特征、纹理特征以及外形特征；
根据所述颜色特征、所述纹理特征以及所述外形特征生成鱼类特征信息。
可选地，所述鱼类识别模型包括Rep-GIoU Loss损失函数；
所述Rep-GIoU Loss损失函数的公式如下：
LRep-GIoU＝LGIOU+αLRep；
式中，所述LGIOU为GIOU_Loss，所述LRep为Repulsion Loss，所述α为经过训练得到的权重系数。
此外，为实现上述目的，本发明还提出一种鱼类识别装置，所述装置包括：
数据处理模块，用于对初始鱼类数据集进行数据预处理，生成训练集和测试集；
特征提取模块，用于将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；
模型训练模块，用于基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型；
结果获得模块，用于将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
此外，为实现上述目的，本发明还提出一种鱼类识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的鱼类识别程序，所述鱼类识别程序配置为实现如上文所述的鱼类识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有鱼类识别程序，所述鱼类识别程序被处理器执行时实现如上文所述的鱼类识别方法的步骤。
本发明公开了一种鱼类识别方法、装置、设备及存储介质，该方法包括：对初始鱼类数据集进行数据预处理，生成训练集和测试集；将训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；基于鱼类特征信息对鱼类识别模型进行训练，并根据测试集对鱼类识别模型进行验证，获得训练后的鱼类识别模型；将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果。通过上述方式，对初始鱼类数据集进行数据预处理，将训练集输入至鱼类识别模型进行特征提取，并对鱼类识别模型进行训练，并进行验证，将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果，能够提升特征提取能力，降低漏检率，且能够提升检测精度，满足实时检测需求。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的鱼类识别设备的结构示意图；
图2为本发明鱼类识别方法第一实施例的流程示意图；
图3为本发明鱼类识别方法第二实施例的流程示意图；
图4为本发明鱼类识别方法第二实施例的鱼类识别模型的结构示意图；
图5为本发明鱼类识别方法第二实施例的骨干网络的结构示意图；
图6为本发明鱼类识别方法第三实施例的流程示意图；
图7为本发明鱼类识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的鱼类识别设备结构示意图。
如图1所示，该鱼类识别设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对鱼类识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及鱼类识别程序。
在图1所示的鱼类识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明鱼类识别设备中的处理器1001、存储器1005可以设置在鱼类识别设备中，所述鱼类识别设备通过处理器1001调用存储器1005中存储的鱼类识别程序，并执行本发明实施例提供的鱼类识别方法。
本发明实施例提供了一种鱼类识别方法，参照图2，图2为本发明鱼类识别方法第一实施例的流程示意图。
本实施例中，所述鱼类识别方法包括以下步骤：
步骤S10：对初始鱼类数据集进行数据预处理，生成训练集和测试集。
需要说明的是，本实施例方法的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的识别设备，例如鱼类识别设备；还可以是其他具有相同或相似功能的电子设备，或者是装载有该电子设备的鱼类识别系统。本实施例及下述各实施例将以鱼类识别设备为执行主体对本实施例及下述各实施例鱼类识别方法进行举例说明。
可以理解的是，初始鱼类数据集可以是原始获得的鱼类数据集。训练集可以是对鱼类识别模型进行训练的鱼类数据集。测试集可以是对模型进行照片验证的鱼类数据集。鱼类识别设备对初始鱼类数据集进行数据预处理，生成训练集和测试集。
步骤S20：将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息。
需要说明的是，鱼类识别模型可以是对海洋鱼类进行识别的模型，可以通过将Swin Transformer与YOLOv5模型相结合实现鱼类识别模型。以在多目标和遮挡目标的与识别上，有着更好的识别精度和速度。
可以理解的是，YOLOv5是YOLO系列的一种单阶段目标检测算法，该算法相对于YOLOv4并没有做出突出性创新，但在其基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。与YOLOv4中使用的Darknet框架相比，YOLOv5使用对用户友好的PyTorch框架，易于配置环境和阅读代码，训练数据集使其更易于投入使用与，模型训练速度非常快，批量推理产生实时性后果。
应理解的是，YOLOv5模型由输入端、骨干网络(Backbone)、颈部(Neck)以及头部(Head)组成。输入端方面，YOLOv5在训练模型阶段仍然采用和YOLOv4一样的Mosaic数据增强方法,但提出了自适应锚框计算与自适应图片缩放方法；Backbone网络主要采用Focus结构和CSP结构，以YOLOv5s网络为例，CSP1_X结构应用于Backbone主干网络；Neck网络虽然仍然采用FPN+PAN的结构，但作了一些改动，使用了CSP2_X的结构，加强网络特征融合的能力。Head部分采用GIoU_Loss做Bounding box的损失函数以及加权NMS算法来处理多目标锚框的筛选。
可以理解的是，Swin Transformer是基于Transfomer的目标检测算法。基于Transformer的Swin Transformer采用了基于窗口的分层结构来解决Transformer架构中的两个主要挑战：高分辨率图像的尺度问题和高计算复杂度问题。构建了一种层次化Transformer，并引入局部化思想，将注意力计算限制在窗口内，设计了Transformer层级特征，如这种层级特征使得Swin Transformer能够很方便的利用一些多尺度特征处理技术来进行密集预测。
应理解的是，YOLOv5算法虽然在目标识别精度和识别速度上有很大性能提升，但由于海洋环境复杂，颗粒以及其他悬浮物，导致海水浑浊。由于光在水中的传播会根据波长的长短产生不同程度的衰减，海底图像通常伴有噪点、模糊、对比度低等质量问题，增加了目标识别任务的难度。为此，将Swin Transformer作为Backbone引入YOLOv5的网络模型，抑制网络中无用特征信息进一步融合多尺度局部特征和全局特征信息，强化对特征图的学习，提升对图像的特征信息的提取能力。
进一步地，所述步骤S20还包括：将所述训练集输入至鱼类识别模型进行基于颜色、纹理以及外形的特征提取，获得颜色特征、纹理特征以及外形特征；根据所述颜色特征、所述纹理特征以及所述外形特征生成鱼类特征信息。
需要说明的是，鱼类识别设备将所述训练集输入至鱼类识别模型进行基于颜色、纹理以及外形的特征提取，获得颜色特征、纹理特征以及外形特征；根据所述颜色特征、所述纹理特征以及所述外形特征生成鱼类特征信息。
步骤S30：基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型。
可以理解的是，鱼类识别设备基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型。
步骤S40：将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
具体实现中，鱼类识别设备基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型。将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
本实施例中，对初始鱼类数据集进行数据预处理，生成训练集和测试集；将训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；基于鱼类特征信息对鱼类识别模型进行训练，并根据测试集对鱼类识别模型进行验证，获得训练后的鱼类识别模型；将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果。通过上述方式，对初始鱼类数据集进行数据预处理，将训练集输入至鱼类识别模型进行特征提取，并对鱼类识别模型进行训练，并进行验证，将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果，能够提升特征提取能力，降低漏检率，且能够提升检测精度，满足实时检测需求。
参考图3，图3为本发明鱼类识别方法第二实施例的流程示意图。
进一步地，基于上述第一实施例，在本实施例中，所述步骤S40还包括：
步骤S401：将目标鱼类图像输入至所述骨干网络模型，获得目标特征。
需要说明的是，训练后的鱼类识别模型包括骨干网络模型、颈部网络模型和头部网络模型。目标鱼类图像可以是需要识别的海洋鱼类图像。将目标鱼类图像输入至骨干网络，获得目标特征。
进一步地，所述步骤S401还包括：将所述目标鱼类图像输入至所述分区模块进行分块、拉直和线性变换，生成中间向量；将所述中间向量输入至所述第一Swin-Stage模块以及所述第二Swin-Stage模块，获得目标特征。
可理解的是，骨干网络模型包括从左至右依次相连的分区模块、第一Swin-Stage模块以及第二Swin-Stage模块。鱼类识别设备将所述目标鱼类图像输入至所述分区模块进行分块、拉直和线性变换，生成中间向量；将所述中间向量输入至所述第一Swin-Stage模块以及所述第二Swin-Stage模块，获得目标特征。
参照图4，图4为本发明鱼类识别方法第二实施例的鱼类识别模型的结构示意图，鱼类识别模型主要分为骨干网络Backbone、颈部网络Neck和头部网络Head。图中的SwinTransformer的简要建构中，其中的Patch Partition模块是将图像按照固定尺寸进行分块，而后将每一个部分进行拉直与线性变换，得到后续输入向量。其中Swin-Transformer模型的主体部分，集合串联多个Swin-Transformer Block的功能。其中Patch Merging的作用是分辨率减半，通道数加倍，类似于CNN的下采样的作用。Swin Transformer Block是模型的核心，用于目标的位置学习。Swin Transformer的网络结构作为YOLOv5的骨干网络进行特征提取。综合衡量在保曾检测精度的同时，检测的速度又不能过低，采用YOLOv5m作为网络模型的基本架构，将Swin Transformer融入到骨干网络中。
参照图5，图5为本发明鱼类识别方法第二实施例的骨干网络的结构示意图，在YOLOv5的C3模块后添加了SwinStage模块以更好地进行特征的提取和达到数据中的长期依赖。其中SiwnStage模块见上图。
步骤S402：将所述目标特征输入至所述颈部网络模型和所述头部网络模型，获得目标识别结果。
需要说明的是，YOLOv5的损失函数Loss主要有矩形框损失lossrect、置信度损失lossobj和分类损失lossclslossele三部分组成。因此Loss的定义如下：
Loss＝lossrect+lossobj+losscls (1.1)
式1.1中，其中lossrect是损失是用GIOU_Loss损失函数计算的。而GIOU_Loss是对IOU_Loss的一种改进，它基于IOU_Loss特性的基础上引入最小外接框解决预测框和真实框不相交时，损失函数不可导的问题。但GIOU_Loss也存在着一些问题，一是：当预测框和真实框出现包含的时候，GIOU会退化成IOU，无法精确定位到效果较好的预测框；二是：当预测框和真实框相交时，在水平和垂直方向上，边界框回归收敛慢。
针对目标检测任务中目标实例密集、重叠等因素导致的检测精度不高的问题，提出了Rep-GIoU Loss。新损失函数结合了二者的优势，在增加回归参数与IoU间相关性的同时，阻止建议框向周围目标的偏移，提高了对遮挡目标的检测性能。改进方法检测精度在PASCAL VOC2007测试数据集上的表现有所提高。因此，为了解决GIOU_Loss存在的问题，以及改善海洋鱼类识别模型中常见的多目标与目标遮挡的问题，引入Rep-GIoU Loss用与改进。Rep-GIoU Loss的损失函数公式如下：
LRep-GIoU＝LGIOU+αLRep (1.2)；
式1.2中，LGIOU是GIOU_Loss，LRep是Repulsion Loss，α为权重系数，经过训练得到。p∈P(所有正样本)，正样本是根据设定IoU阈值划分出来的检测框p的集合。Bp是检测框p做回归偏移后得到的预测框。是除了与p匹配的真值框外GIoU最大的真值框。/>为每一个检测p匹配的具有最大IoU的真值框。g表示所有真值框，G表示g中除/>外的其他真值框。
本实施例中，通过将目标鱼类图像输入至所述骨干网络模型，获得目标特征；将所述目标特征输入至所述颈部网络模型和所述头部网络模型，获得目标识别结果。通过上述方式，将目标鱼类图像输入至骨干网络模型，获取目标特征，将目标特征输入颈部网络模型和头部网络模型，获得目标识别结果，能够在目标识别精度和识别速度上有很大性能的提升，满足实时检测需求。
参考图6，图6为本发明鱼类识别方法第三实施例的流程示意图。
进一步地，基于上述第一实施例，在本实施例中，所述步骤S10还包括：
步骤S101：对初始鱼类数据集中的空对象以及失真数据进行去除并标记，获得第一中间数据集。
需要说明的是，查看初始鱼类数据集中是否存在空对象或失真数据，可以检查每个字段是否存在空值，并判断是否存在空对象。对于失真数据的判断，可以根据具体的数据情况进行判断。根据上述判断结果，将存在空对象或失真数据的行进行标记，获得第一中间数据集。去除了空对象和失真数据的数据。
步骤S102：将所述第一中间数据集进行几何变换操作以及光度变换操作获得第二中间数据集。
步骤S103：将所述第二中间数据集进行数据划分，生成训练集和测试集。
需要说明的是，数据增强是训练深度学习模型的一个重要组成部分，可以显著提高图像分类的效率。原始获取到的数据集不可避免的包含了空对象，以及曝光严重，模糊等严重失真的图像，对于这种数据，对模型的检测精度和速度是不利的。因此数据预处理阶段，分为了数据清洗，数据标注，数据增强，数据划分。其中数据清洗主要是去原始数据集之中空对象以及严重失真的数据；然后在进行数据标注。至于数据增强，数据增强策略包括几何变换和光度变换。几何变换包括翻转,旋转，错切,裁剪，擦除等。光度变换包括模糊，色度，饱和度，对比度，马赛克等。通过以上操作，将初始数据集进行数据增强，以扩大数据集的数量和增强训练后模型的鲁棒性。最后将数据预处理后的数据集进行数据划分为训练集和测试集。在数据获取和数据预处理阶段，机器学习和深度学习技术的鱼类识别模型的操作步骤类似。
可理解的是，数据集获取时，数据集常见问题包括：曝光、失真、模糊以及空对象。常见的鱼类特征提取方式包括：基于颜色的特征提取、基于纹理的特征提取、基于外形的特征提取以及基于组合的特征提取。对数据集处理的方式包括：数据标准、数据增强、数据清洗以及数据划分。
进一步地，所述步骤S103包括：通过分类器将所述第二中间数据集进行数据划分，生成训练集和测试集，其中，所述分类器包括：SVM支持向量机、NBM朴素贝叶斯、K-Means聚类以及AdaBoost。
应理解的是，鱼类识别设备对初始鱼类数据集中的空对象以及失真数据进行去除并标记，获得第一中间数据集；将所述第一中间数据集进行几何变换操作以及光度变换操作获得第二中间数据集；将所述第二中间数据集进行数据划分，生成训练集和测试集。
本实施例中，对初始鱼类数据集中的空对象以及失真数据进行去除并标记，获得第一中间数据集；将所述第一中间数据集进行几何变换操作以及光度变换操作获得第二中间数据集；将所述第二中间数据集进行数据划分，生成训练集和测试集。通过上述方式，对初始鱼类数据集中的空对象以及失真数据进行去除并标记，将第一中间数据集进行几何变换操作以及光度变换操作，将第二中间数据集进行数据划分，生成训练集和测试集，将初始数据集进行数据增强，能够扩大数据集的数量和增强训练后模型的鲁棒性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有鱼类识别程序，所述鱼类识别程序被处理器执行时实现如上文所述的鱼类识别方法的步骤。
参照图7，图7为本发明鱼类识别装置第一实施例的结构框图。
如图7所示，本发明实施例提出的鱼类识别装置包括：数据处理模块501、特征提取模块502、模型训练模块503和结果获得模块504。
所述数据处理模块501，用于对初始鱼类数据集进行数据预处理，生成训练集和测试集；
所述特征提取模块502，用于将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；
所述模型训练模块503，用于基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型；
所述结果获得模块504，用于将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
本实施例中，对初始鱼类数据集进行数据预处理，生成训练集和测试集；将训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；基于鱼类特征信息对鱼类识别模型进行训练，并根据测试集对鱼类识别模型进行验证，获得训练后的鱼类识别模型；将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果。通过上述方式，对初始鱼类数据集进行数据预处理，将训练集输入至鱼类识别模型进行特征提取，并对鱼类识别模型进行训练，并进行验证，将目标鱼类图像输入至训练后的鱼类识别模型，获得目标识别结果，能够提升特征提取能力，降低漏检率，且能够提升检测精度，满足实时检测需求。
本发明鱼类识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种鱼类识别方法，其特征在于，所述鱼类识别方法包括以下步骤：
对初始鱼类数据集进行数据预处理，生成训练集和测试集；
将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；
基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型；
将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
2.如权利要求1所述的鱼类识别方法，其特征在于，所述训练后的鱼类识别模型包括骨干网络模型、颈部网络模型和头部网络模型；
将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果的步骤，包括：
将目标鱼类图像输入至所述骨干网络模型，获得目标特征；
将所述目标特征输入至所述颈部网络模型和所述头部网络模型，获得目标识别结果。
3.如权利要求2所述的鱼类识别方法，其特征在于，所述骨干网络模型包括从左至右依次相连的分区模块、第一Swin-Stage模块以及第二Swin-Stage模块；
将目标鱼类图像输入至所述骨干网络模型，获得目标特征的步骤，包括：
将所述目标鱼类图像输入至所述分区模块进行分块、拉直和线性变换，生成中间向量；
将所述中间向量输入至所述第一Swin-Stage模块以及所述第二Swin-Stage模块，获得目标特征。
4.如权利要求1所述的鱼类识别方法，其特征在于，所述对初始鱼类数据集进行数据预处理，生成训练集和测试集的步骤，包括：
对初始鱼类数据集中的空对象以及失真数据进行去除并标记，获得第一中间数据集；
将所述第一中间数据集进行几何变换操作以及光度变换操作获得第二中间数据集；
将所述第二中间数据集进行数据划分，生成训练集和测试集。
5.如权利要求4所述的鱼类识别方法，其特征在于，所述将所述第二中间数据集进行数据划分，生成训练集和测试集的步骤，包括：
通过分类器将所述第二中间数据集进行数据划分，生成训练集和测试集，其中，所述分类器包括：SVM支持向量机、NBM朴素贝叶斯、K-Means聚类以及AdaBoost。
6.如权利要求1-5中任一项所述的鱼类识别方法，其特征在于，所述将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息的步骤包括：
将所述训练集输入至鱼类识别模型进行基于颜色、纹理以及外形的特征提取，获得颜色特征、纹理特征以及外形特征；
根据所述颜色特征、所述纹理特征以及所述外形特征生成鱼类特征信息。
7.如权利要求1-5中任一项所述的鱼类识别方法，其特征在于，所述鱼类识别模型包括Rep-GIoU Loss损失函数；
所述Rep-GIoU Loss损失函数的公式如下：
LRep-GIoU＝LGIOU+αLRep；
式中，所述LGIOU为GIOU_Loss，所述LRep为Repulsion Loss，所述α为经过训练得到的权重系数。
8.一种鱼类识别装置，其特征在于，所述装置包括：
数据处理模块，用于对初始鱼类数据集进行数据预处理，生成训练集和测试集；
特征提取模块，用于将所述训练集输入至鱼类识别模型进行特征提取，获得鱼类特征信息；
模型训练模块，用于基于所述鱼类特征信息对所述鱼类识别模型进行训练，并根据所述测试集对所述鱼类识别模型进行验证，获得训练后的鱼类识别模型；
结果获得模块，用于将目标鱼类图像输入至所述训练后的鱼类识别模型，获得目标识别结果。
9.一种鱼类识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的鱼类识别程序，所述鱼类识别程序配置为实现如权利要求1至7中任一项所述的鱼类识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有鱼类识别程序，所述鱼类识别程序被处理器执行时实现如权利要求1至7中任一项所述的鱼类识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310910302.1A CN117218481A (zh) | 2023-07-21 | 2023-07-21 | 鱼类识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310910302.1A CN117218481A (zh) | 2023-07-21 | 2023-07-21 | 鱼类识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218481A true CN117218481A (zh) | 2023-12-12 |
Family
ID=89049949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310910302.1A Pending CN117218481A (zh) | 2023-07-21 | 2023-07-21 | 鱼类识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218481A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118865084A (zh) * | 2024-07-02 | 2024-10-29 | 中国水产科学研究院黄海水产研究所 | 大菱鲆个体跟踪识别的方法、介质、装置及其育种应用 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382273A (zh) * | 2020-03-09 | 2020-07-07 | 西安理工大学 | 一种基于吸引因子的特征选择的文本分类方法 |
-
2023
- 2023-07-21 CN CN202310910302.1A patent/CN117218481A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382273A (zh) * | 2020-03-09 | 2020-07-07 | 西安理工大学 | 一种基于吸引因子的特征选择的文本分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| FEI LEI ET AL.: "Underwater Target Detection Algorithm Basedon Improved YOLOv5", 《JOURNAL OF MARINE SCIENCE AND ENGINEERING》, 22 February 2022 (2022-02-22), pages 1 - 19 * |
| XINLONG WANG ET AL.: "Repulsion Loss: Detecting Pedestrians in a Crowd", 《IEEE XPLORE》, 31 December 2018 (2018-12-31), pages 1 - 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118865084A (zh) * | 2024-07-02 | 2024-10-29 | 中国水产科学研究院黄海水产研究所 | 大菱鲆个体跟踪识别的方法、介质、装置及其育种应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163080B (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| US10769496B2 (en) | Logo detection | |
| US11475681B2 (en) | Image processing method, apparatus, electronic device and computer readable storage medium | |
| US20200250436A1 (en) | Video object segmentation by reference-guided mask propagation | |
| CN105574513B (zh) | 文字检测方法和装置 | |
| WO2017148265A1 (zh) | 一种单词的分割方法和装置 | |
| CN109948533B (zh) | 一种文本检测方法、装置、设备及可读存储介质 | |
| CN111476226B (zh) | 一种文本定位方法、装置及模型训练方法 | |
| JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
| CN112364873A (zh) | 弯曲文本图像的文字识别方法、装置及计算机设备 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN113591719A (zh) | 一种自然场景任意形状文本检测方法、装置和训练方法 | |
| CN114444565B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN115272887A (zh) | 基于无人机检测的海岸带垃圾识别方法、装置以及设备 | |
| CN114677596A (zh) | 一种基于注意力模型的遥感图像船舶检测方法和装置 | |
| CN111353325B (zh) | 关键点检测模型训练方法及装置 | |
| CN109977875A (zh) | 基于深度学习的手势识别方法及设备 | |
| CN112991281A (zh) | 视觉检测方法、系统、电子设备及介质 | |
| CN117218481A (zh) | 鱼类识别方法、装置、设备及存储介质 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和系统 | |
| CN114359892A (zh) | 三维目标检测方法、装置及计算机可读存储介质 | |
| CN111428567B (zh) | 一种基于仿射多任务回归的行人跟踪系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |