CN107368885A - 基于多粒度剪枝的网络模型压缩方法及装置 - Google Patents
基于多粒度剪枝的网络模型压缩方法及装置 Download PDFInfo
- Publication number
- CN107368885A CN107368885A CN201710568710.8A CN201710568710A CN107368885A CN 107368885 A CN107368885 A CN 107368885A CN 201710568710 A CN201710568710 A CN 201710568710A CN 107368885 A CN107368885 A CN 107368885A
- Authority
- CN
- China
- Prior art keywords
- beta pruning
- pruning
- granularity level
- inessential
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供了基于多粒度剪枝的网络模型压缩方法，该方法包括以下一个或者两个或者三个步骤：输入通道粒度层次剪枝步骤，采用不重要元素剪枝法，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；卷积核粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；权重参数粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。与现有技术相比，本发明通过对多粒度层次进行剪枝，能有效解决网络模型压缩问题。
Description
技术领域
本发明涉及图像处理、视频监控以及深度神经网络，特别涉及基于多粒度剪枝的网络模型压缩方法及装置。
背景技术
近年来，随着人工智能的快速发展，深度学习网络由于通过组合底层特征形成高层特征，受环境变化的影响较小，在计算机视觉领域取得了突破性成果，尤其在人脸识别和图像分类等方面超越了人类的识别准确度。
然而，现有的高性能深度学习网络一般都有几百万甚至上亿个参数，这使得它的存储和计算消耗都非常巨大，限制了其应用于存储和计算资源都受限的设备。因此，对深度学习网络模型压缩进行压缩是解决这个问题的一个关键步骤。
但是，现有的模型压缩技术通常是通过模型权重值的稀疏化来减少模型尺寸，但是并不能显著地减少运行深度学习网络所需要的存储和计算资源。
综上所述，需要提出一种降低存储和计算资源消耗的深度学习网络模型压缩方法。
发明内容
有鉴于此，本发明的主要目的在于降低存储资源和计算资源消耗，实现网络模型的压缩。
为达到上述目的，按照本发明的第一个方面，提供了基于多粒度剪枝的网络模型压缩方法，该方法包括以下一个或者两个或者三个步骤：
输入通道粒度层次剪枝步骤，采用不重要元素剪枝法，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
进一步地，所述不重要元素剪枝法包括：
不重要元素的置零步骤，计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调步骤，根据训练数据微调整个网络模型；
损失判断步骤，计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零步骤，否则结束。
进一步地，所述不重要元素的置零步骤包括：
元素重要度排序步骤，统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；
剪枝阈值计算步骤，根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算步骤，输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零步骤，对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
按照本发明的另一个方面，提供了基于多粒度剪枝的网络模型压缩装置，该装置包括以下一个或者两个或者三个模块：
输入通道粒度层次剪枝模块，用于采用不重要元素剪枝模块，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
进一步地，所述不重要元素剪枝模块包括：
不重要元素的置零模块，用于计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调模块，用于根据训练数据微调整个网络模型；
损失判断模块，用于计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零模块，否则结束。
进一步地，所述不重要元素的置零模块包括：
元素重要度排序模块，用于统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；
剪枝阈值计算模块，用于根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算模块，用于输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零模块，用于对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
与现有的网络模型压缩方法相比，本发明的基于多粒度剪枝的模型压缩方法，采用一种或者多种粒度层次剪枝的方法，不仅可以压缩网络模型尺寸，而且由于网络模型的稀疏格式是规整的，可以减少网络的计算消耗。
附图说明
图1示出了按照本发明一个实施例的基于多粒度剪枝的网络模型压缩方法的流程图。
图2示出了按照本发明一个实施例的基于多粒度剪枝的网络模型压缩装置的结构示意图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
按照本发明的基于多粒度剪枝的网络模型压缩方法包括以下一个或者两个或者三个步骤：
输入通道粒度层次剪枝步骤，采用不重要元素剪枝法，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
图1给出了按照本发明一个实施例的基于多粒度剪枝的网络模型压缩方法的流程图。如图1所示，按照本发明的基于多粒度剪枝的网络模型压缩方法包括：
输入通道粒度层次剪枝步骤S1，采用不重要元素剪枝法S10，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝步骤S2，采用不重要元素剪枝法S10，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝步骤S3，采用不重要元素剪枝法S10，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
进一步地，所述不重要元素剪枝法S10包括：
不重要元素的置零步骤S11，计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调步骤S12，根据训练数据微调整个网络模型；
损失判断步骤S13，计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零步骤S11，否则结束。
进一步地，所述不重要元素的置零步骤S11包括：
元素重要度排序步骤S111，统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；
剪枝阈值计算步骤S112，根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算步骤S113，输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零步骤S114，对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
进一步地，所述能量剪枝率阈值EPR的取值范围为0.01～0.2。优选地，所述能量剪枝率阈值EPR的取值范围为0.05～0.18。
具体地，所述输入通道粒度层次剪枝步骤S1的不重要元素剪枝法S10中的当前粒度层次为网络模型的输入通道的粒度层次。所述卷积核粒度层次剪枝步骤S2的不重要元素剪枝法S10中的当前粒度层次为网络模型的卷积核的粒度层次。所述权重参数粒度层次剪枝步骤S3的不重要元素剪枝法S10中的当前粒度层次为网络模型的权重参数的粒度层次。
进一步地，所述剪枝微调步骤S12采用梯度下降方法对整个网络模型进行微调。优选地，所述剪枝微调步骤S12采用随机梯度下降方法对整个网络模型进行微调。
进一步地，所述损失判断步骤S13中精确度损失阈值的取值范围为0.01～0.1。优选地，所述精确度损失阈值的取值范围为0.05～0.08。
进一步地，所述网络为深度学习网络。优选地，所述网络包括但不限于以下一种或者多种的组合：卷积神经网络、深度信念网络、递归神经网络。
按照本发明的基于多粒度剪枝的网络模型压缩装置包括以下一个或者两个或者三个模块：
输入通道粒度层次剪枝模块，用于采用不重要元素剪枝模块，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
图2给出了按照本发明一个实施例的基于多粒度剪枝的网络模型压缩装置的结构示意图。如图2所示，按照本发明的基于多粒度剪枝的网络模型压缩装置包括：
输入通道粒度层次剪枝模块1，用于采用不重要元素剪枝模块，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝模块2，用于采用不重要元素剪枝模块，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝模块3，用于采用不重要元素剪枝模块，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
进一步地，所述不重要元素剪枝模块10包括：
不重要元素的置零模块11，用于计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调模块12，用于根据训练数据微调整个网络模型；
损失判断模块13，用于计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零模块11，否则结束。
进一步地，所述不重要元素的置零模块11包括：
元素重要度排序模块111，用于统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；
剪枝阈值计算模块112，用于根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算模块113，用于输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零模块114，用于对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
与现有的网络模型压缩方法相比，本发明的基于多粒度剪枝的模型压缩方法，采用一种或者多种粒度层次剪枝的方法，不仅可以压缩网络模型尺寸，而且由于网络模型的稀疏格式是规整的，可以减少网络的计算消耗。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
Claims (10)
1.基于多粒度剪枝的网络模型压缩方法，其特征在于，该方法包括以下一个或者两个或者三个步骤：
输入通道粒度层次剪枝步骤，采用不重要元素剪枝法，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
2.如权利要求1所述的方法，其特征在于，所述不重要元素剪枝法包括：
不重要元素的置零步骤，计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调步骤，根据训练数据微调整个网络模型；
损失判断步骤，计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零步骤，否则结束。
3.如权利要求2所述的方法，其特征在于，所述不重要元素的置零步骤包括：元素重要度排序步骤，统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；
剪枝阈值计算步骤，根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算步骤，输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零步骤，对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
4.如权利要求2所述的方法，所述输入通道粒度层次剪枝步骤的不重要元素剪枝法的当前粒度层次为网络模型的输入通道的粒度层次；所述卷积核粒度层次剪枝步骤的不重要元素剪枝法中的当前粒度层次为网络模型的卷积核的粒度层次；所述权重参数粒度层次剪枝步骤的不重要元素剪枝法中的当前粒度层次为网络模型的权重参数的粒度层次。
5.如权利要求3所述的方法，所述能量剪枝率阈值EPR的取值范围为0.01～0.2。
6.如权利要求2所述的方法，所述精确度损失阈值的取值范围为0.01～0.1。
7.如权利要求4所述的方法，所述网络为深度学习网络；优选地，所述网络包括但不限于以下一种或者多种的组合：卷积神经网络、深度信念网络、递归神经网络。
8.基于多粒度剪枝的网络模型压缩装置，其特征在于，该装置包括以下一个或者两个或者三个模块：
输入通道粒度层次剪枝模块，用于采用不重要元素剪枝模块，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；
卷积核粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；
权重参数粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。
9.如权利要求8所述的装置，其特征在于，所述不重要元素剪枝模块包括：
不重要元素的置零模块，用于计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；
剪枝微调模块，用于根据训练数据微调整个网络模型；
损失判断模块，用于计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零模块，否则结束。
10.如权利要求9所述的装置，其特征在于，所述不重要元素的置零模块包括：元素重要度排序模块，用于统计当前粒度层次中每个待剪枝元素的权重参数向量We，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIVi从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；剪枝阈值计算模块，用于根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；
损失函数影响量计算模块，用于输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量
置零模块，用于对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIVi小于剪枝阈值，并且损失函数影响量ELi小于0，则将该待剪枝元素i对应的值置零。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710568710.8A CN107368885A (zh) | 2017-07-13 | 2017-07-13 | 基于多粒度剪枝的网络模型压缩方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710568710.8A CN107368885A (zh) | 2017-07-13 | 2017-07-13 | 基于多粒度剪枝的网络模型压缩方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107368885A true CN107368885A (zh) | 2017-11-21 |
Family
ID=60308043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710568710.8A Pending CN107368885A (zh) | 2017-07-13 | 2017-07-13 | 基于多粒度剪枝的网络模型压缩方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107368885A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629288A (zh) * | 2018-04-09 | 2018-10-09 | 华中科技大学 | 一种手势识别模型训练方法、手势识别方法及系统 |
| CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
| CN109344921A (zh) * | 2019-01-03 | 2019-02-15 | 湖南极点智能科技有限公司 | 一种基于深度神经网络模型的图像识别方法、装置及设备 |
| CN109523017A (zh) * | 2018-11-27 | 2019-03-26 | 广州市百果园信息技术有限公司 | 深度神经网络的压缩方法、装置、设备及存储介质 |
| CN109583586A (zh) * | 2018-12-05 | 2019-04-05 | 东软睿驰汽车技术（沈阳）有限公司 | 一种卷积核处理方法及装置 |
| CN109634401A (zh) * | 2018-12-29 | 2019-04-16 | 联想(北京)有限公司 | 一种控制方法和电子设备 |
| WO2019127362A1 (zh) * | 2017-12-29 | 2019-07-04 | 清华大学 | 神经网络模型分块压缩方法、训练方法、计算装置及系统 |
| CN110059823A (zh) * | 2019-04-28 | 2019-07-26 | 中国科学技术大学 | 深度神经网络模型压缩方法及装置 |
| WO2019226686A3 (en) * | 2018-05-23 | 2020-02-06 | Movidius Ltd. | Deep learning system |
| CN111695375A (zh) * | 2019-03-13 | 2020-09-22 | 上海云从企业发展有限公司 | 基于模型蒸馏的人脸识别模型压缩算法、介质及终端 |
| CN112036563A (zh) * | 2019-06-03 | 2020-12-04 | 国际商业机器公司 | 使用起源数据的深度学习模型洞察 |
| CN112132062A (zh) * | 2020-09-25 | 2020-12-25 | 中南大学 | 一种基于剪枝压缩神经网络的遥感图像分类方法 |
| CN112329931A (zh) * | 2021-01-04 | 2021-02-05 | 北京智源人工智能研究院 | 基于代理模型的对抗样本生成方法和装置 |
| KR20210015990A (ko) * | 2019-05-18 | 2021-02-10 | 주식회사 디퍼아이 | 학습된 파라미터의 형태변환을 이용한 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치 |
| CN113408561A (zh) * | 2020-03-17 | 2021-09-17 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
| TWI768167B (zh) * | 2017-12-30 | 2022-06-21 | 大陸商中科寒武紀科技股份有限公司 | 集成電路芯片裝置及相關產品 |
| US11651202B2 (en) | 2017-12-30 | 2023-05-16 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| US11704544B2 (en) | 2017-12-30 | 2023-07-18 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| US11710031B2 (en) | 2017-12-30 | 2023-07-25 | Cambricon Technologies Corporation Limited | Parallel processing circuits for neural networks |
| US11734548B2 (en) | 2017-12-30 | 2023-08-22 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| US12165051B2 (en) | 2019-01-29 | 2024-12-10 | Deeper-I Co., Inc. | Neural network parameter optimization method and neural network computing method and apparatus suitable for hardware implementation |
-
2017
- 2017-07-13 CN CN201710568710.8A patent/CN107368885A/zh active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019127362A1 (zh) * | 2017-12-29 | 2019-07-04 | 清华大学 | 神经网络模型分块压缩方法、训练方法、计算装置及系统 |
| US11734548B2 (en) | 2017-12-30 | 2023-08-22 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| US11651202B2 (en) | 2017-12-30 | 2023-05-16 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| US11710031B2 (en) | 2017-12-30 | 2023-07-25 | Cambricon Technologies Corporation Limited | Parallel processing circuits for neural networks |
| US11704544B2 (en) | 2017-12-30 | 2023-07-18 | Cambricon Technologies Corporation Limited | Integrated circuit chip device and related product |
| TWI768167B (zh) * | 2017-12-30 | 2022-06-21 | 大陸商中科寒武紀科技股份有限公司 | 集成電路芯片裝置及相關產品 |
| CN108629288B (zh) * | 2018-04-09 | 2020-05-19 | 华中科技大学 | 一种手势识别模型训练方法、手势识别方法及系统 |
| CN108629288A (zh) * | 2018-04-09 | 2018-10-09 | 华中科技大学 | 一种手势识别模型训练方法、手势识别方法及系统 |
| US11900256B2 (en) | 2018-05-23 | 2024-02-13 | Intel Corporation | Deep learning system |
| WO2019226686A3 (en) * | 2018-05-23 | 2020-02-06 | Movidius Ltd. | Deep learning system |
| CN108898168B (zh) * | 2018-06-19 | 2021-06-01 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
| CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
| CN109523017A (zh) * | 2018-11-27 | 2019-03-26 | 广州市百果园信息技术有限公司 | 深度神经网络的压缩方法、装置、设备及存储介质 |
| CN109523017B (zh) * | 2018-11-27 | 2023-10-17 | 广州市百果园信息技术有限公司 | 姿态检测方法、装置、设备及存储介质 |
| CN109583586A (zh) * | 2018-12-05 | 2019-04-05 | 东软睿驰汽车技术（沈阳）有限公司 | 一种卷积核处理方法及装置 |
| CN109583586B (zh) * | 2018-12-05 | 2021-03-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种语音识别或图像识别中的卷积核处理方法及装置 |
| CN109634401A (zh) * | 2018-12-29 | 2019-04-16 | 联想(北京)有限公司 | 一种控制方法和电子设备 |
| CN109634401B (zh) * | 2018-12-29 | 2023-05-02 | 联想(北京)有限公司 | 一种控制方法和电子设备 |
| CN109344921A (zh) * | 2019-01-03 | 2019-02-15 | 湖南极点智能科技有限公司 | 一种基于深度神经网络模型的图像识别方法、装置及设备 |
| US12165051B2 (en) | 2019-01-29 | 2024-12-10 | Deeper-I Co., Inc. | Neural network parameter optimization method and neural network computing method and apparatus suitable for hardware implementation |
| CN111695375A (zh) * | 2019-03-13 | 2020-09-22 | 上海云从企业发展有限公司 | 基于模型蒸馏的人脸识别模型压缩算法、介质及终端 |
| CN110059823A (zh) * | 2019-04-28 | 2019-07-26 | 中国科学技术大学 | 深度神经网络模型压缩方法及装置 |
| KR102247896B1 (ko) | 2019-05-18 | 2021-05-04 | 주식회사 디퍼아이 | 학습된 파라미터의 형태변환을 이용한 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치 |
| KR20210015990A (ko) * | 2019-05-18 | 2021-02-10 | 주식회사 디퍼아이 | 학습된 파라미터의 형태변환을 이용한 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치 |
| CN112036563A (zh) * | 2019-06-03 | 2020-12-04 | 国际商业机器公司 | 使用起源数据的深度学习模型洞察 |
| WO2021185121A1 (zh) * | 2020-03-17 | 2021-09-23 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
| CN113408561A (zh) * | 2020-03-17 | 2021-09-17 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
| CN112132062A (zh) * | 2020-09-25 | 2020-12-25 | 中南大学 | 一种基于剪枝压缩神经网络的遥感图像分类方法 |
| CN112329931B (zh) * | 2021-01-04 | 2021-05-07 | 北京智源人工智能研究院 | 基于代理模型的对抗样本生成方法和装置 |
| CN112329931A (zh) * | 2021-01-04 | 2021-02-05 | 北京智源人工智能研究院 | 基于代理模型的对抗样本生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107368885A (zh) | 基于多粒度剪枝的网络模型压缩方法及装置 | |
| CN109635936A (zh) | 一种基于重训练的神经网络剪枝量化方法 | |
| CN115909052B (zh) | 一种基于混合卷积神经网络的高光谱遥感图像分类方法 | |
| CN109886397A (zh) | 一种针对卷积层的神经网络结构化剪枝压缩优化方法 | |
| CN103810101B (zh) | 一种软件缺陷预测方法和软件缺陷预测系统 | |
| CN107273836A (zh) | 一种行人检测识别方法、装置、模型和介质 | |
| CN110263280A (zh) | 一种基于多视图的动态链路预测深度模型及应用 | |
| CN109118119A (zh) | 风控模型生成方法及装置 | |
| CN108388957B (zh) | 一种基于多特征融合技术的中小河流洪水预报方法及其预报系统 | |
| CN109784488B (zh) | 一种适用于嵌入式平台的二值化卷积神经网络的构建方法 | |
| CN107153817A (zh) | 行人重识别数据标注方法和装置 | |
| CN104657915A (zh) | 一种动态自适应的电力系统终端安全威胁评估方法 | |
| CN109871949A (zh) | 卷积神经网络加速器及加速方法 | |
| CN109657793A (zh) | 模型训练方法及装置、存储介质及电子设备 | |
| CN109284761A (zh) | 一种图像特征提取方法、装置、设备及可读存储介质 | |
| CN106780737A (zh) | 一种利用数字高程模型计算地貌单位线初始概率的方法 | |
| CN107644032A (zh) | 离群点检测方法和装置 | |
| CN107133190A (zh) | 一种机器学习系统的训练方法和训练系统 | |
| CN107506350A (zh) | 一种识别信息的方法和设备 | |
| CN104077412B (zh) | 一种基于多Markov链的微博用户兴趣预测方法 | |
| CN108846423A (zh) | 水质预测方法和系统 | |
| CN110955924A (zh) | 一种考虑淤地坝影响的子流域汇流模拟方法 | |
| CN110070106A (zh) | 烟雾检测方法、装置及电子设备 | |
| CN107506792A (zh) | 一种半监督的显著对象检测方法 | |
| Cheni et al. | Reducing latency in a converted spiking video segmentation network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171121 |
|
| RJ01 | Rejection of invention patent application after publication |