[go: up one dir, main page]

CN111931914A - 一种基于模型微调的卷积神经网络通道剪枝方法 - Google Patents

一种基于模型微调的卷积神经网络通道剪枝方法 Download PDF

Info

Publication number
CN111931914A
CN111931914A CN202010793944.4A CN202010793944A CN111931914A CN 111931914 A CN111931914 A CN 111931914A CN 202010793944 A CN202010793944 A CN 202010793944A CN 111931914 A CN111931914 A CN 111931914A
Authority
CN
China
Prior art keywords
model
fine
layer
pruned
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010793944.4A
Other languages
English (en)
Inventor
刘洪宇
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN202010793944.4A priority Critical patent/CN111931914A/zh
Publication of CN111931914A publication Critical patent/CN111931914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于模型微调的卷积神经网络通道剪枝方法及系统，该方法包括：构造卷积神经网络分类模型，该模型由特征提取器和分类器两部分构成，特征提取器包括卷积层以及池化层，在ImageNet图像分类数据集上进行训练，得到预训练模型C；修改所述预训练模型C的分类器，将分类器全连接层输出的类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。本发明提供一种基于模型微调的卷积神经网络通道剪枝方法及系统，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，来选取网络中待剪通道。

Description

一种基于模型微调的卷积神经网络通道剪枝方法
技术领域
本发明涉及深度学习卷积神经网络剪枝技术领域，具体涉及一种基于模型微调的通道剪枝方法。
背景技术
卷积神经网络通道剪枝技术是一种降低网络模型时间、空间复杂度的技术。这种方法通过调整训练好的模型结构，去除冗余通道，来达到提高模型推理速度并降低模型尺寸的目的。通道剪枝技术的重点是如何挑选待剪通道，使得剪枝后模型性能不产生大幅度下降。目前较为常用的方法是Zhuang Liu等人在2017年提出的Network Sliming方法，这一方法通过对网络进行稀疏训练、全局剪枝和微调剪枝模型，可以实现在分类模型准确率基本不变的前提下降低模型尺寸。
原始Network Sliming方法需要随机初始化网络参数，并对批归一化层中的γ参数进行L1正则化，目的是为了使模型收敛后所有γ参数的分布较为稀疏。这种方法就导致训练模型时，不能用大型数据集上训练好的预训练模型初始化网络参数，因为训练好的模型较深层的参数通常较小，会出现某个卷积层所有通道都被剪掉的情况。而在工程应用中，所用的数据集规模通常较小，若不能使用预训练模型，将会大幅度降低模型的效果。因此，如何使用预训练模型进行模型微调，并对微调后的模型进行通道剪枝，具有重要的研究价值。
发明内容
本发明的目的在于提供一种基于模型微调的卷积神经网络通道剪枝方法，用于解决上述现有技术中的缺陷。
本发明一种基于模型微调的卷积神经网络通道剪枝方法，其中，包括：构造卷积神经网络分类模型，该模型由特征提取器和分类器两部分构成，特征提取器包括卷积层以及池化层，在ImageNet图像分类数据集上进行训练，得到预训练模型C；修改所述预训练模型C的分类器，将分类器全连接层输出的类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，所述将预训练模型C进行稀疏性训练得到收敛后模型C′的过程，包括：根据目标数据集类别数，构建全连接层作为新的分类器，替换所述模型C中的分类器，并随机初始化该分类器中的参数；冻结所述模型C中所有可学习参数，只对新创建的分类器参数进行更新，训练模型；将所述模型C所有参数设置为可学习状态继续训练。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，卷积层之后使用批归一化层对特征图进行归一化，使用Relu6作为激活函数。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，所述将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，包括：基于稀疏训练后模型C′中批归一化层的γ参数进行全局排序，按照设置的剪枝率p确定待剪枝通道，所述批归一化层表达式为：
Figure BDA0002624818430000021
其中，x表示输出到批归一化层的特征图，y表示归一化之后的特征图，μB、
Figure BDA0002624818430000022
是一批数据的均值和方差，ε是为了计算数值稳定性加入的一个较小的数，γ和β为批归一化层中可学习的缩放和平移参数。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，还包括：根据通道保留率k对待剪枝通道进行后处理，强制每层保留一定比例的通道数。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，所述卷积神经网络分类模型由若干个级联的分数步长卷积层构成，且利用跨步卷积来进行降采样，激活函数为Relu6，最后一层使用全连接层作为分类器，网络除最后一层外的每一层均使用批归一化技术进行特征图的归一化。
根据本发明的基于模型微调的卷积神经网络通道剪枝方法的一实施例，其中，使用全连接层作为模型的分类器。
本发明一种基于模型微调的卷积神经网络通道剪枝系统，其中，包括：第一微调训练单元，用于获取预训练模型C以及在目标数据集上微调后的模型C′；模型剪枝单元，用于根据剪枝率和通道保留率，从所述模型C′的所有通道中选取待剪通道；所述模型剪枝单元还用于根据选取的待剪通道，将所述模型C进行剪枝，得到所述模型C″；模型重建单元，用于创建与所述模型C″结构相同的模型，并将剪枝后模型参数赋值给新创建模型；第二微调训练单元，用于在目标数据集上微调剪枝后的模型。
本发明提供一种基于模型微调的卷积神经网络通道剪枝方法及系统，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，来选取网络中待剪通道。并在军事目标识别数据集上训练不同剪枝率、不同通道保留率的网络模型，和基线模型的分类准确率以及模型参数量进行对比，展示了模型性能的提升和模型训练过程的稳定性。
附图说明
图1是本发明提供的一种基于模型微调的卷积神经网络通道剪枝方法流程图；
图2是本发明方法中对预训练模型进行微调的流程图；
图3是本发明方法中对模型进行通道剪枝的流程图；
图4是本发明方法在军事目标识别数据集中的测试结果图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1是本发明提供的一种基于模型微调的卷积神经网络通道剪枝方法流程图，如图1所示，一种基于模型微调的卷积神经网络通道剪枝方法，包括：
步骤1：构造卷积神经网络分类模型，并在ImageNet图像分类数据集上训练所述模型C；
步骤2：修改所述模型C，将其类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；
步骤3：将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；
步骤4：将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。
在实际应用中，卷积神经网络通道剪枝方法包括下列：
S1、构造并训练卷积神经网络模型；
S2、确定训练好的神经网络中所有待剪通道；
S3、根据确定好的待剪通道对模型进行剪枝；
S4、微调剪枝后的模型，并对其进行测试。
进一步地，所述的步骤S1中构造并训练卷积神经网络模型，如图2所示，具体过程如下：
S11、在ImageNet图像分类数据集上训练卷积神经网络模型C，模型C由特征提取器C.F和分类器C.CLS两部分构成；
其中，ImageNet图像分类数据集是用于自然图像分类的大型数据集，包含1000个类别，每个类别的训练图片1300张。
S12、根据军事目标书别数据集的类别数，使用全连接层构造分类器C′.CLS，替换掉模型C中的分类器C.CLS；
其中，军事目标识别数据集包含9类自然图像，每个类别1850张训练图片，150张测试图片。
S13、在军事目标识别数据集上训练替换分类器之后的模型C，得到收敛后的模型C′。
进一步地，所述的步骤S2中确定训练好的神经网络中所有待剪通道，如图3所示，具体过程如下：
S21、对所述模型C′中所有批归一化层缩放参数γ＝[γ1，γ2，...，γn]进行全局从大到小排序，γ向量中每个数值分别对应卷积层中的一个通道，数值越大则该通道对模型输出贡献越大；
S22、根据剪枝率p对排序后的缩放参数γ进行过滤，使用与γ维度相同的mask向量作为通道掩码，掩码中保留的通道对应位置置为1，被过滤的通道对应位置置为0，，优先剪掉缩放参数较小的通道；
S23、根据通道保留率k对mask进行后处理，保证每个卷积层剩余的通道数比例必须大于等于k，实验中，k取0.25时通常会取得较好的效果。
进一步地，所述步骤S3中根据确定好的待剪通道对模型进行剪枝，剪枝过程中要对卷积层和批归一化层进行处理。所述方法和系统在PyTorch深度学习框架中实现，卷积层的参数为(N，C，H，W)的形式，其中N为卷积核数量，C为输入特征图通道数，H、W代表卷积核的高和宽。在对卷积层进行处理时，卷积层之前的批归一化层决定了第二个维度C如何剪枝，卷积层之后的批归一化层决定了第一个维度N如何剪枝。而对批归一化层进行处理时，只需根据当前层的掩码进行剪枝即可。
进一步地，所述步骤S4中微调剪枝后的模型，并对其进行测试，在军事目标识别数据集上对剪枝后的模型进行微调训练和测试。整个网络的训练批输入数量设置为128，训练过程采用Adam(Adaptive Moment Estimation)优化器，对于从头开始训练的模型，初始学习率设置为0.001，对于微调训练的模型，初始学习率设置为0.0003，每经过40轮迭代，将学习率衰减为原来的1/10。整个实验在PyTorch深度学习框架下进行，实验环境为Ubuntu18.04操作系统，利用NVIDIA公司11GB显存的RTX 2080ti GPU进行网络的训练并利用Cuda进行训练的加速。
使用原始的Network Sliming方法和所提出的方法分别进行了剪枝率为10％、20％和30％的通道剪枝。由于所提出方法使用预训练模型进行网络训练，模型收敛速度明显快于随机初始化参数并训练，只需较少的迭代次数即可收敛。因此使用这两种方法训练模型时，并没有按照相同的学习率、迭代次数进行训练，而是根据不同模型的训练情况适当调整训练策略。图4从模型参数量和分类准确率两方面展示了所提出方法的效果，从图4中可以得出如下结论：
1.当数据集规模较小时，使用预训练模型可以明显提升模型效果。在其他条件不变的情况下，从头训练的准确率只有87.48％，而使用预训练模型的准确率可以达到94％。
2.无论是原始方法还是所提方法，进行剪枝后模型准确率都有下降，大约下降1％～2％。但是所提出方法在模型参数量略多于原始方法的情况下，准确率明显优于原始方法。当剪枝率为10％的情况下，所提出方法的参数量少于原始方法，这是由于所提出方法剪去的通道所在的卷积层位于整个网络中较深层的位置，网络从前端到后端卷积层中卷积核的数量通常呈现递增的趋势。
可见，本发明提供一种基于模型微调的卷积神经网络通道剪枝方法，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，获取剪枝后的网络结构以及剪枝后模型参数。并在军事目标识别数据集上训练不同剪枝率的网络模型，和基线模型的分类准确率以及模型参数量进行对比，展示了模型性能的提升和模型训练过程的稳定性。
相应地，本发明还提供一种基于模型微调的卷积神经网络通道剪枝系统，包括：第一微调训练单元，用于获取预训练模型C以及在目标数据集上微调后的模型C′。模型剪枝单元，用于根据剪枝率和通道保留率，从所述模型C′的所有通道中选取待剪通道。所述模型剪枝单元还用于根据选取的待剪通道，将所述模型C′进行剪枝，得到所述模型C″。模型重建单元，用于创建与所述模型C″结构相同的模型，并将剪枝后模型参数赋值给新创建模型。
进一步，还包括：第二微调训练单元，用于在目标数据集上微调剪枝后的模型。
可见，本发明提供一种基于模型微调的卷积神经网络通道剪枝系统，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，获取剪枝后的网络结构以及剪枝后模型参数。并在军事目标识别数据集上训练不同剪枝率的网络模型，和基线模型的分类准确率以及模型参数量进行对比，展示了模型性能的提升和模型训练过程的稳定性。
针对原始Network Sliming方法需要随机初始化网络参数、不能用预训练模型初始化网络参数的问题，本发明提供一种基于模型微调的卷积神经网络通道剪枝方法及系统，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，获取剪枝后的网络结构以及剪枝后模型参数。并在军事目标识别数据集上训练不同剪枝率的网络模型，和基线模型的分类准确率以及模型参数量进行对比，展示了模型性能的提升和模型训练过程的稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于模型微调的卷积神经网络通道剪枝方法，其特征在于，包括：
构造卷积神经网络分类模型，该模型由特征提取器和分类器两部分构成，特征提取器包括卷积层以及池化层，在ImageNet图像分类数据集上进行训练，得到预训练模型C；
修改所述预训练模型C的分类器，将分类器全连接层输出的类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；
将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；
将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。
2.根据权利要求1所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述将预训练模型C进行稀疏性训练得到收敛后模型C′的过程，包括：
根据目标数据集类别数，构建全连接层作为新的分类器，替换所述模型C中的分类器，并随机初始化该分类器中的参数；
冻结所述模型C中所有可学习参数，只对新创建的分类器参数进行更新，训练模型；
将所述模型C所有参数设置为可学习状态继续训练。
3.根据权利要求2所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，卷积层之后使用批归一化层对特征图进行归一化，使用Relu6作为激活函数。
4.根据权利要求3所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，包括：
基于稀疏训练后模型C′中批归一化层的γ参数进行全局排序，按照设置的剪枝率p确定待剪枝通道，所述批归一化层表达式为：
Figure FDA0002624818420000021
其中，x表示输出到批归一化层的特征图，y表示归一化之后的特征图，μB、
Figure FDA0002624818420000022
是一批数据的均值和方差，ε是为了计算数值稳定性加入的一个较小的数，γ和β为批归一化层中可学习的缩放和平移参数。
5.根据权利要求4所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，还包括：
根据通道保留率k对待剪枝通道进行后处理，强制每层保留一定比例的通道数。
6.根据权利要求5所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述卷积神经网络分类模型由若干个级联的分数步长卷积层构成，且利用跨步卷积来进行降采样，激活函数为Relu6，最后一层使用全连接层作为分类器，网络除最后一层外的每一层均使用批归一化技术进行特征图的归一化。
7.根据权利要求1所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，使用全连接层作为模型的分类器。
8.一种基于模型微调的卷积神经网络通道剪枝系统，其特征在于，包括：
第一微调训练单元，用于获取预训练模型C以及在目标数据集上微调后的模型C′；
模型剪枝单元，用于根据剪枝率和通道保留率，从所述模型C′的所有通道中选取待剪通道；
所述模型剪枝单元还用于根据选取的待剪通道，将所述模型C′进行剪枝，得到所述模型C″；
模型重建单元，用于创建与所述模型C″结构相同的模型，并将剪枝后模型参数赋值给新创建模型；
第二微调训练单元，用于在目标数据集上微调剪枝后的模型。
CN202010793944.4A 2020-08-10 2020-08-10 一种基于模型微调的卷积神经网络通道剪枝方法 Pending CN111931914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010793944.4A CN111931914A (zh) 2020-08-10 2020-08-10 一种基于模型微调的卷积神经网络通道剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010793944.4A CN111931914A (zh) 2020-08-10 2020-08-10 一种基于模型微调的卷积神经网络通道剪枝方法

Publications (1)

Publication Number Publication Date
CN111931914A true CN111931914A (zh) 2020-11-13

Family

ID=73307107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010793944.4A Pending CN111931914A (zh) 2020-08-10 2020-08-10 一种基于模型微调的卷积神经网络通道剪枝方法

Country Status (1)

Country Link
CN (1) CN111931914A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329929A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112380872A (zh) * 2020-11-27 2021-02-19 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN112465114A (zh) * 2020-11-25 2021-03-09 重庆大学 基于优化通道剪枝的快速目标检测方法及系统
CN112818941A (zh) * 2021-03-04 2021-05-18 西北大学 基于迁移学习的文物碎片显微图像的分类方法、系统、设备及存储介质
CN113505832A (zh) * 2021-07-09 2021-10-15 合肥云诊信息科技有限公司 一种神经网络批分组响应的bgrn归一化方法
CN113537245A (zh) * 2021-08-09 2021-10-22 浙江大学 一种基于特征图的神经网络剪枝方法
CN113610215A (zh) * 2021-07-09 2021-11-05 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN113837377A (zh) * 2021-08-30 2021-12-24 厦门大学 基于类别掩码的神经网络剪枝方法
CN114282666A (zh) * 2021-12-03 2022-04-05 中科视语(北京)科技有限公司 基于局部稀疏约束的结构化剪枝方法和装置
CN115049054A (zh) * 2022-06-12 2022-09-13 中国科学院重庆绿色智能技术研究院 基于特征图响应的通道自适应分段动态网络剪枝方法
CN115577765A (zh) * 2022-09-09 2023-01-06 美的集团(上海)有限公司 网络模型剪枝方法、电子设备及存储介质
CN115935263A (zh) * 2023-02-22 2023-04-07 和普威视光电股份有限公司 基于yolov5剪枝的边端芯片检测分类方法及系统
CN116992945A (zh) * 2023-09-27 2023-11-03 之江实验室 一种基于贪心策略反向通道剪枝的图像处理方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN110096976A (zh) * 2019-04-18 2019-08-06 中国人民解放军国防科技大学 基于稀疏迁移网络的人体行为微多普勒分类方法
CN110427846A (zh) * 2019-07-19 2019-11-08 西安工业大学 一种利用卷积神经网络对不平衡小样本的人脸识别方法
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
CN110689113A (zh) * 2019-09-19 2020-01-14 浙江大学 一种基于大脑共识主动性的深度神经网络压缩方法
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111401523A (zh) * 2020-03-13 2020-07-10 大连理工大学 一种基于网络层剪枝的深度学习网络模型压缩方法
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备
CN110096976A (zh) * 2019-04-18 2019-08-06 中国人民解放军国防科技大学 基于稀疏迁移网络的人体行为微多普勒分类方法
CN110427846A (zh) * 2019-07-19 2019-11-08 西安工业大学 一种利用卷积神经网络对不平衡小样本的人脸识别方法
CN110689113A (zh) * 2019-09-19 2020-01-14 浙江大学 一种基于大脑共识主动性的深度神经网络压缩方法
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
CN111401523A (zh) * 2020-03-13 2020-07-10 大连理工大学 一种基于网络层剪枝的深度学习网络模型压缩方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HANYU PENG等: "Collaborative Channel Pruning for Deep Networks", 《PROCEEDINGS OF THE 36TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》, pages 5113 - 5122 *
MEDIA ANALYTICS等: "Channel Pruning via Automatic Structure Search", 《ARXIV》, pages 2 *
ZHUANG LIU等: "Learning Efficient Networks through Network Slimming", 《COMPUTER VISION FOUNDATION》, pages 2736 - 2744 *
宋非洋等: "基于MobileNetV3的结构性剪枝优化", 《自动化与信息工程》, vol. 40, no. 6, pages 20 - 25 *
张亚平等: "基于YOLOv3的神经网络模型压缩与实现", 《微纳电子与智能制造》, vol. 2, no. 1, pages 79 - 84 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465114A (zh) * 2020-11-25 2021-03-09 重庆大学 基于优化通道剪枝的快速目标检测方法及系统
CN112380872A (zh) * 2020-11-27 2021-02-19 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN112380872B (zh) * 2020-11-27 2023-11-24 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN112329929A (zh) * 2021-01-04 2021-02-05 北京智源人工智能研究院 基于代理模型的对抗样本生成方法和装置
CN112818941A (zh) * 2021-03-04 2021-05-18 西北大学 基于迁移学习的文物碎片显微图像的分类方法、系统、设备及存储介质
CN113505832B (zh) * 2021-07-09 2023-10-10 合肥云诊信息科技有限公司 用于图像分类任务的神经网络批分组响应的bgrn归一化方法
CN113505832A (zh) * 2021-07-09 2021-10-15 合肥云诊信息科技有限公司 一种神经网络批分组响应的bgrn归一化方法
CN113610215A (zh) * 2021-07-09 2021-11-05 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN113610215B (zh) * 2021-07-09 2022-09-09 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置及电子设备
CN113537245A (zh) * 2021-08-09 2021-10-22 浙江大学 一种基于特征图的神经网络剪枝方法
CN113537245B (zh) * 2021-08-09 2024-03-01 浙江大学 一种基于特征图的神经网络剪枝方法
CN113837377A (zh) * 2021-08-30 2021-12-24 厦门大学 基于类别掩码的神经网络剪枝方法
CN114282666A (zh) * 2021-12-03 2022-04-05 中科视语(北京)科技有限公司 基于局部稀疏约束的结构化剪枝方法和装置
CN115049054A (zh) * 2022-06-12 2022-09-13 中国科学院重庆绿色智能技术研究院 基于特征图响应的通道自适应分段动态网络剪枝方法
CN115049054B (zh) * 2022-06-12 2024-07-02 中国科学院重庆绿色智能技术研究院 基于特征图响应的通道自适应分段动态网络剪枝方法
CN115577765A (zh) * 2022-09-09 2023-01-06 美的集团(上海)有限公司 网络模型剪枝方法、电子设备及存储介质
CN115935263A (zh) * 2023-02-22 2023-04-07 和普威视光电股份有限公司 基于yolov5剪枝的边端芯片检测分类方法及系统
CN116992945A (zh) * 2023-09-27 2023-11-03 之江实验室 一种基于贪心策略反向通道剪枝的图像处理方法及装置
CN116992945B (zh) * 2023-09-27 2024-02-13 之江实验室 一种基于贪心策略反向通道剪枝的图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN111931914A (zh) 一种基于模型微调的卷积神经网络通道剪枝方法
Zuo et al. Learning iteration-wise generalized shrinkage–thresholding operators for blind deconvolution
Zhang et al. Learning deep CNN denoiser prior for image restoration
CN109118435A (zh) 一种基于PReLU的深度残差卷积神经网络图像去噪方法
CN108416752A (zh) 一种基于生成式对抗网络进行图像去运动模糊的方法
CN111259905A (zh) 一种基于下采样的特征融合遥感图像语义分割方法
CN106991372A (zh) 一种基于混合深度学习模型的动态手势识别方法
CN113222123B (zh) 模型训练方法、装置、设备及计算机存储介质
CN110428045A (zh) 基于Tucker算法的深度卷积神经网络压缩方法
CN108764128A (zh) 一种基于稀疏时间分段网络的视频动作识别方法
CN104866900A (zh) 一种反卷积神经网络训练方法
CN110634170A (zh) 一种基于语义内容和快速图像检索的照片级图像生成方法
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
Chang et al. FinerPCN: High fidelity point cloud completion network using pointwise convolution
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN112801104A (zh) 基于语义分割的图像像素级伪标签确定方法及系统
CN114282666A (zh) 基于局部稀疏约束的结构化剪枝方法和装置
CN112734025B (zh) 基于固定基正则化的神经网络参数稀疏化方法
Chen et al. RFA-Net: Residual feature attention network for fine-grained image inpainting
CN110751091A (zh) 静态图像行为识别的卷积神经网络模型
CN113160078B (zh) 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
DE102022105810A1 (de) Effiziente Speichernutzungsoptimierung für Einsatz und Ausführung neuronaler Netze
CN112215082A (zh) 一种植物叶片图像识别方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN109887023B (zh) 一种基于加权梯度幅度的双目融合立体图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113

RJ01 Rejection of invention patent application after publication