CN110689113A - 一种基于大脑共识主动性的深度神经网络压缩方法 - Google Patents

Abstract

本发明提出了一种基于大脑共识主动性的深度神经网络压缩方法，该方法在每一次神经网络训练的前向过程中，在卷积层中逐层地筛选部分重要的通道，而将其它通道的激活值置零。这样，在误差的反向传播过程中，生成这些不重要的通道的卷积核的梯度值为零，因此不会被更新或训练。同时，将通道效用的更新过程嵌入于误差的反向传播当中，并且通过“共识主动”方法来增强它们之间的联系。每一次网络的迭代更新，都是有选择地“训练”了那些有效通道对应的卷积核，因此，当训练结束的时候，保留具有高通道效用的通道，从而实现通道剪枝和深度神经网络压缩。该方法大大简化了现有深度神经网络压缩方法的一般流程，具有很高的效率。

Description

一种基于大脑共识主动性的深度神经网络压缩方法

技术领域

本发明涉及人工智能和神经网络计算领域，更具体地，涉及一种基于大脑共识主动性的深度神经网络压缩方法。

背景技术

这些年来，深度神经网络的发展引发了人工智能领域的巨大变革。一般认为，深度神经网络的性能取决于其深度。然而，很深的神经网络往往会带来计算量和存储量的巨大开销。为了让深度神经网络可以应用于一些低功率设备，比如手机当中，降低其复杂度是很有必要的。在许多模型压缩算法中，通道剪枝是一种特别针对于深度神经网络的卷积层设计的压缩算法。

通道剪枝指的是对深度神经网络的卷积层的通道进行裁剪的模型压缩算法。通过不同的策略或者方法，筛选出对于输入图像表达性能最好的若干通道，并将剩余通道裁减掉，以实现深度神经网络模型的压缩。一般的通道剪枝算法包括三个基本步骤：训练好一个冗余的神经网络；根据某种规则对它进行裁剪；再训练裁剪后的神经网络，来恢复模型性能。这个过程是十分冗余的，并且目前的通道剪枝算法关注的都是各个通道自身的显著性或者重要性，从而忽略了它们之间的内在联系。

发明内容

针对现有技术存在的问题，本发明提出了一种基于大脑共识主动性的深度神经网络压缩方法，同时进行深度神经网络训练和剪枝的模型压缩方法，通过共识主动性从一层的所有通道当中选择出协同性最好，表达性最强的若干个通道，剪除其余通道，从而实现网络压缩。

本发明是通过如下技术方案实现的：一种基于大脑共识主动性的深度神经网络压缩方法，具体包括以下步骤：

(1)在深度神经网络训练的每一次前向过程中，对于每一层的通道，按照初始化通道效用值

由高到低对通道进行排列，再根据设定的剪枝率，保留该剪枝率下的通道效用值对应的通道激活值，并将该层其余通道的通道激活值置零。所述

为每一层神经网络的通道在深度神经网络训练过程中对于深度神经网络误差重要程度的长期评价值，其中l表示层的索引，k表示该层的通道索引。

(2)在深度神经网络训练的反向传播过程中，确定规范化显著性评价具体为：

(2.1)在深度神经网络训练的反向传播过程中，将各个通道中所有通道激活值和梯度相乘，累加求平均，确定各个通道的显著性评价

其中，J表示网络的误差函数；

表示第l层，第k个通道，第m个激活值；M为第l层一个通道的所有激活值的个数。

(2.2)对通道的显著性评价通过L₂范数规范化处理，得到规范化显著性评价

为：

其中，

的取值范围在0到1之间。

(3)通过共识主动性算法，融合不同通道之间的规范化显著性评价，考量不同通道之间的相互作用。

(3.1)通过计算两通道之间规范化显著性评价

和

的乘积，再按照迭代次数求平均，获得该两通道之间的相关性

其中，

表示第l层，第i个通道和第j个通道之间的相关性，取值范围0～1，为两通道参与深度神经网络训练的迭代次数。

(3.2)将同层其它通道的

和(3.1)计算的相关性

相乘、求和到当前通道当中，得到融合显著性评价值

(3.3)将

通过移动平均的策略累加到步骤1所述初始通道效用值

中：

其中，λ表示衰减因子，取值范围在0到1之间，n为通道参与深度神经网络的迭代次数。

(4)循环进行步骤3，更新所有通道的通道效用值直至深度神经网络收敛。

(5)当深度神经网络收敛之后，根据通道效用值

逐层将通道进行排列，根据预先设定的剪枝率，剪除该剪枝率下通道效用值对应的通道及生成它们的卷积核，实现模型压缩和加速。

与现有技术相比，本发明具有如下有益效果：在深度神经网络训练的过程中，有选择性的标识和训练那些对于输入图像表达能力强的通道，将深度神经网络的学习过程和剪枝过程结合，大大简化了传统神经网络剪枝算法的流程，提高了压缩算法的效率；通过引入大脑中神经元之间的共识主动现象，考虑了神经网络同一层神经元之间的内在联系，使得剪枝之后的神经网络同样具有很高的准确性，性能超过了现有的算法。该压缩方法具有实现简单，效率高，压缩后的模型准确率高的特点。

附图说明

图1为本发明方法的流程图。

具体实施方式

如图1所示，为本发明一种基于大脑共识主动性的深度神经网络压缩方法，具体包括以下步骤：

(1)通道效用为每一层神经网络的通道在深度神经网络训练过程中对于深度神经网络误差重要程度的长期评价值，其中，l表示层的索引，k表示该层的通道索引。那些具有很高的通道效用值的通道对于神经网络模型来说是比较重要的，如果剪除它们，会对训练误差造成比较大的影响，从而降低模型性能。因此在深度神经网络训练的每一次前向过程中，对于每一层的通道，按照初始化通道效用值

的高低对通道进行排列，再根据设定的剪枝率，保留该剪枝率下的通道效用值对应的通道激活值，并将该层其余通道的通道激活值置零。所述剪枝率为要剪除的通道占全部通道的比例，它的取值范围是0到1之间，综合考虑深度神经网络的性能损失和压缩收益来确定。

(2)在深度神经网络训练的反向传播过程中，得到规范化显著性评价

具体为：

(2.1)在深度神经网络训练的反向传播过程中，将各个通道中所有通道激活值和梯度相乘，累加求平均，确定各个通道的显著性评价

其中，J表示网络的误差函数；

表示第l层，第k个通道，第m个激活值；M为第l层一个通道的所有激活值的个数。

(2.2)对通道的显著性评价

通过L₂范数规范化处理，得到规范化显著性评价

为：

其中，的取值范围在0到1之间。

(3)通过共识主动性算法，融合不同通道之间的规范化显著性评价，考量不同通道之间的相互作用，可以实现协同选取有效通道的效果，有利于提高压缩后的神经网络的准确性。

(3.1)通过计算两通道之间规范化显著性评价

和

的乘积，再按照迭代次数求平均，获得该两通道之间的相关性

其中，表示第l层，第i个通道和第j个通道之间的相关性，取值范围0～1，

为两通道参与深度神经网络训练的迭代次数。

(3.2)将同层其它通道的

和(3.1)计算的相关性

相乘、求和到当前通道当中，得到融合显著性评价值

融合后的显著性评价值

考虑了同层其它通道对于当前通道的影响，是共识主动性算法的核心。

(3.3)将

通过移动平均的策略累加到步骤1所述初始通道效用值

中：

其中，λ表示衰减因子，取值范围在0到1之间，n为通道参与深度神经网络的迭代次数。衰减因子的作用在于，对于每一个通道效用值，都会随着迭代次数的增加而不断衰减；在一次如(3.3)的更新过程中，如果某通道的通道效用值的增加量(公式(5)的最后一项)小于其衰减量(衰减因子导致)，该通道效用值会降低，那么在进行下一次训练迭代(如步骤1)的过程中，该通道可能不会参与训练(激活值被置零)，从而实现通道“筛选”的作用。

(4)循环进行步骤3，更新所有通道的通道效用值

进而不断地进行有效通道的选择，直到深度神经网络收敛。

(5)当深度神经网络收敛之后，根据通道效用值逐层将通道进行排列，根据预先设定的剪枝率，剪除该剪枝率下通道效用值对应的通道及生成它们的卷积核，实现模型压缩和加速。该方法在深度神经网络训练的过程中，不断计算和更新每个通道的通道效用值，即在神经网络的训练过程中就获得了网络剪枝依赖的标准。这样，在神经网络训练结束之际就直接可以进行网络剪枝，大大简化了一般剪枝方法的流程，具有很高的效率。

实施例

下面给出该方法的一个实施例。以压缩VGG-16深度神经网络为例，它包含有13个卷积层，各个层的通道数量分别为[64,64,128,128,256,256,256,512,512,512,512,512,512]。

1.给定输入数据集或输入图片z⁰；每一层的剪枝率{p^l←0.5,1≤l≤13}即每一层压缩一半的通道；初始化模型{conv_l,1≤l≤13}；衰减常数λ←0.8和训练的最大迭代次数l_max。由于本方法旨在压缩深度神经网络中的卷积层参数，记号“conv”仅表示卷积层。

2.初始化神经网络训练的迭代次数i←0，每一层的通道效用值{u^l←0,1≤l≤13}，每一层的相关性矩阵{R^l←0,1≤l≤13}。

3.当迭代次数i小于最大迭代步数I_max的时候，该方法进行神经网络的训练。在执行一次神经网络的前向过程中，具体地，逐层地进行以下步骤：

(3.1)计算得到每一层的输出通道激活值z^l←conv_l(z^l-1)。

(3.2)初始化一个二值化掩模m^l←0，该掩模的作用是指示被选择的通道。

(3.3)首先，将u^l进行从高到低的顺序排列。对于当前层的所有输出通道(用C^l表示其数量)，该方法保留最高通道效用对应的C^l(1-p^l)＝0.5C^l个通道的激活值，具体的，将这些通道对应位置的掩模值置1即

(3.4)将通道掩模和通道激活值按通道相乘z^l←z^l·m^l，结果输入到下一层。

4.计算最终神经网络输出的误差J。

5.执行神经网络的一次反向传播过程，具体地，逐层进行以下步骤。

(5.1)计算得到每一层通道的通道梯度

(5.2)计算由公式(1)和公式(2)描述的显著性评价并规范化。

(5.3)计算和更新公式(3)出现的计数器：如果

否则保持不变。

(5.4)根据公式(3)更新相关矩阵R^l。

(5.5)使用公式(4)更新通道的重要性评估θ^l←R^lθ^l。

(5.6)更新公式(5)中描述的通道效用u^l←λu^l+(1-λ)θ^l。

6.当达到最大训练步长或者神经网络收敛之后，根据每一层的通道效用u^l，逐层剪枝小的一半(每一层的剪枝率为0.5)通道效用对应的通道和生成该通道的卷积核。再把剩余的参数拷贝到一个更紧致的模型当中，这样就实现了神经网络的训练和剪枝。

下表给出该方法在不同剪枝率(或称压缩率)的情况下，能达到的准确率及和其它方法的对比。如表格所示，在浮点运算数即FLOPs压缩35％左右时，该方法仍可以达到93.78％的准确性，这个结果超过了一般的基于范数剪枝方法；当压缩率达到49.6％的时候，该方法仍可以维持93.68％的准确性，同样超过了结构化贝叶斯剪枝方法，后者只有92.50％；当压缩率达到75.2％，该方法只有1.28％的准确率损失即可以达到92.72％的压缩后神经网络的识别准确性。因此，本发明压缩方法可以直接将一个冗余的、无智能的神经网络转化为一个紧致的、表达能力丰富的神经网络。

不同方法的准确率比较

Claims (1)

1.一种基于大脑共识主动性的深度神经网络压缩方法，其特征在于，具体包括以下步骤：

(1)在深度神经网络训练的每一次前向过程中，对于每一层的通道，按照初始化通道效用值

由高到低对通道进行排列，再根据设定的剪枝率，保留该剪枝率下的通道效用值对应的通道激活值，并将该层其余通道的通道激活值置零。所述

为每一层神经网络的通道在深度神经网络训练过程中对于深度神经网络误差重要程度的长期评价值，其中l表示层的索引，k表示该层的通道索引。

(2)在深度神经网络训练的反向传播过程中，确定规范化显著性评价

具体为：

(2.1)在深度神经网络训练的反向传播过程中，将各个通道中所有通道激活值和梯度相乘，累加求平均，确定各个通道的显著性评价

其中，J表示网络的误差函数；

表示第l层，第k个通道，第m个激活值；M为第l层一个通道的所有激活值的个数。

(2.2)对通道的显著性评价通过L₂范数规范化处理，得到规范化显著性评价

为：

其中，的取值范围在0到1之间。

(3)通过共识主动性算法，融合不同通道之间的规范化显著性评价，考量不同通道之间的相互作用。

(3.1)通过计算两通道之间规范化显著性评价

和

的乘积，再按照迭代次数求平均，获得该两通道之间的相关性

其中，表示第l层，第i个通道和第j个通道之间的相关性，取值范围0～1，

为两通道参与深度神经网络训练的迭代次数。

(3.2)将同层其它通道的

和(3.1)计算的相关性

相乘、求和到当前通道当中，得到融合显著性评价值

(3.3)将

通过移动平均的策略累加到步骤1所述初始通道效用值

中：

其中，λ表示衰减因子，取值范围在0到1之间，n为通道参与深度神经网络的迭代次数。

(4)循环进行步骤3，更新所有通道的通道效用值

直至深度神经网络收敛。

(5)当深度神经网络收敛之后，根据通道效用值

逐层将通道进行排列，根据预先设定的剪枝率，剪除该剪枝率下通道效用值对应的通道及生成它们的卷积核，实现模型压缩和加速。

Images