CN108664993B - 一种密集权重连接的卷积神经网络图像分类方法 - Google Patents

Abstract

一种基于密集权重连接的卷积神经网络图像分类方法，包括以下步骤：1)模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；2)对图像进行较大尺寸的卷积操作和池化操作；3)将步骤2)中输出的特征送入第一个密集权重连接模块；4)加权组合处理；5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。本发明应用于更加复杂的图像分类任务，对多层特征的融合增加了更多的前向通道，近一步避免了梯度问题的发生。

Description

一种密集权重连接的卷积神经网络图像分类方法

技术领域

本发明涉及计算机视觉领域，是深度学习技术的一种，主要用于训练深度图像分类模型，尤其是一种图像分类方法。

背景技术

近几年，随着计算机计算能力的指数级增长和新型神经网络架构的出现，深度学习技术开始在计算机视觉、语音识别、自然语言处理等领域大放光彩。在计算机视觉领域，卷积神经网络的出现大大提高了计算机在图像分割，图像识别任务中的性能，其识别准确率远远高于传统的机器学习算法。目前，基于卷积神经网络的图像识别技术已经获得了广泛的使用。

常规的卷积神经网络包括卷积层、池化层、全连接层和分类层，其基本结构为上述单元的串联组合。卷积层用于学习图像中的低层和高层特征，而池化层可以对这些特征进行提取并不断减少特征图的尺寸。全连接层与分类层位于整个神经网络的末尾，用于对最终提取的高层特征进行分类。在具体的图像分类任务中，由于图像中被识别物体的角度、位姿、所处背景不同，同一类别的图像也存在较大的差异性。所以为了使神经网络可以学习到更加复杂的特征和更好的映射关系，网络的深度和宽度往往被设计的较深。但是同时，随着网络深度的增加，网络训练过程中更容易发生梯度消失和梯度爆炸问题，从而导致学习过程无法收敛。针对此问题，微软亚洲研究院的研究团队提出了基于残差结构的卷积神经网络，其基本思想是在低层与高层特征之间引入快速连接通道。该结构一方面在高层特征中引入了低层特征，增加了特征提取的多样性，另一方面，额外增加的前向通道避免了反向传播过程中发生的的梯度消失问题。但是面对图像分类问题的复杂条件，该方案只利用了网络中某一层前一级的低层特征，并没有完全利用网络中学习到的每一级特征。该方案在网络容量和复杂度上仍需改进。

发明内容

为了克服现有的图像分类方法应用于较复杂细粒度图像时性能较差的不足，本发明提出了一种基于密集权重连接的卷积神经网络图像分类方法。该神经网络可以充分利用网络中学习到的每一级特征，并且以加权的方式对这些特征进行融合，从而使网络模型可以应用于更加复杂的图像分类任务。同时，对多层特征的融合增加了更多的前向通道，近一步避免了梯度问题的发生。

本发明解决其技术问题所采用的技术方案是：

一种密集权重连接的卷积神经网络图像分类方法，所述方法包括以下步骤：

1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；

2)对图像进行较大尺寸的卷积操作和池化操作；

3)将步骤2)中输出的特征送入第一个密集权重连接模块，所述密集权重连接模块的每个卷积组将包含多个1×1或3×3卷积，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合；

4)加权组合处理：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值，在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作；之后对所有被保留的特征进行加权组合处理；

加权组合方法是对另每一个输入特征乘以一个参数k，然后在特征通道进行拼接；或者是：对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接；

5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。

进一步，所述方法还包括以下步骤：

6)在模型训练开始阶段，加权参数和卷积层参数通过多种方式初始化，最终的参数将在反向传播过程中不断优化直至获得最优值。

再进一步，所述步骤2)中，卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。选取较大卷积核尺寸的意义在于以较大的视野提取底层特征，并尽可能的防止细节特征的丢失。同时，在卷积与池化过程中选取较大的步长可以将特征图像的尺寸近一步缩小。

更进一步，卷积组1的输入为整个密集权重连接模块的输入；卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2；同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理，最终的加权组合结果就是整个密集权重连接块的输出。

本发明的基于密集权重连接的卷积神经网络，其主要特点在于对神经网络中每一层输出特征的合理利用。其基本结构包括卷积层、池化层、全连接层和密集权重连接模块。其具体结构为多个卷积层、池化层、密集权重连接模块的串联组合，并在最后通过全连接层与分类层获得最终的分类结果。卷积层与池化层的主要作用在于提取低级特征的同时缩小特征图像的尺寸。该网络的核心在于密集权重连接模块，该模块包含n个连续的卷积块，每一个卷积块中又包含p个连续的 1×1或3×3卷积的串联组合，具体的卷积操作数量根据需要学习的神经网络总层数进行调整。另外，每一个卷积块的输入都包含该卷积块之前每一个卷积块的输出，并且以加权的方式进行组合。所以，在一个有着n个卷积块的密集权重连接块中将会有

条前向连接通路，连接通路的的大量增加也为反向传播带来了更快的效率。在进行加权组合时，具体的处理方案有两种。常规的加权方式为：对每一个卷积块的输出分别乘以一个不同的可学习参数k，然后将加权后的输出在特征通道进行拼接。由于密集连接网络融合了较多级特征，所以为了减少特征数以适应网络大小，还有一种改进的加权组合方式：对每一个卷积块的输出进行一次1×1的卷积操作，然后在特征通道对加权后的输出进行拼接。加入1×1的卷积等同于赋予卷积块的输出一个可以学习的权重，另一方面，考虑到大量的拼接操作会导致输出巨大的通道维数，加入1×1的卷积可以起到在维数上进行压缩的效果。加权组合后的输出包含了网络某一节点之前学习到的所有特征，这大大增加了特征的重复利用，让后面的网络可以学习到更加复杂的高级特征，同时，让网络自主学习加权参数进一步丰富了高级特征的构成和表达。在训练的过程中，较复杂的网络结构还会导致神经网络在训练时发生过拟合，所以在训练过程中还要对加权组合的输入进行Dropout处理，即在组合特征时以一定概率随机失活一些特征，使加权操作不会过度赋予某一层特征较大的权重，从而起到防止过拟合的效果。

本发明的有益效果主要表现在：能够使卷积神经网络获得更好的特征提权效果，从而提高图像分类任务在应用于较复杂细粒度图像时的性能。另外，该方案在保证网络深度的同时压缩了一定的计算量，保证了训练过程的正常进行。

附图说明

图1为密集权重连接的卷积神经网络总流程图。

图2为密集权重连接模块内部结构图。

具体实施方式

下面结合流程图对本发明做进一步描述。

参照图1和图2，一种密集权重连接的卷积神经网络图像分类方法，包括以下步骤：

1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像必须全部裁剪为一个固定尺寸，为了利于模型训练，固定尺寸的长和宽最好保持一致，其具体尺寸由模型的具体应用和模型大小确定。常见的输入图像尺寸有：512、299、224等。

2)对图像进行较大尺寸的卷积操作和池化操作，例如卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。选取较大卷积核尺寸的意义在于以较大的视野提取底层特征，并尽可能的防止细节特征的丢失。同时，在卷积与池化过程中选取较大的步长可以将特征图像的尺寸近一步缩小。

3)将步骤2)中输出的特征送入第一个密集权重连接模块。密集权重连接模块的详细构成如图2所示：该模块包含多个卷积组，每个卷积组将包含多个1×1或3×3卷积。图2中圆圈代表输入或输出特征，方块代表加权组合处理。以图2中的4个卷积组为例进行说明：卷积组1的输入为整个密集权重连接模块的输入。卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2。同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2 的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理。最终的加权组合结果就是整个密集权重连接块的输出。所以，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合。

4)图2中方块表示的加权组合处理其基本流程为：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值。在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作。假设某一个特征的设定概率为80％，则计算设备会以80％的概率将该特征保留。之后对所有被保留的特征进行加权组合处理。常规的加权组合方法是对另每一个输入特征乘以一个参数k,然后在特征通道进行拼接。由于密集连接网络融合了较多级特征，所以为了减少特征数，也可对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接。

5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小。在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点。得到的特征点可以直接送入分类层进行分类，也可以送入全连接层后再进行分类。

6)在模型训练开始阶段，加权参数和卷积层参数可以通过多种方式初始化。最终的参数将在反向传播过程中不断优化直至获得最优值。

Claims (4)

1.一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述方法包括以下步骤：

1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；

2)对图像进行较大尺寸的卷积操作和池化操作；

3)将步骤2)中输出的特征送入第一个密集权重连接模块，所述密集权重连接模块的每个卷积组将包含多个1×1或3×3卷积，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合；

4)加权组合处理：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值，在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作；之后对所有被保留的特征进行加权组合处理；

加权组合方法是对另每一个输入特征乘以一个参数k，然后在特征通道进行拼接；或者是：对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接；

5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。

2.如权利要求1所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述方法还包括以下步骤：

6)在模型训练开始阶段，加权参数和卷积层参数通过多种方式初始化，最终的参数将在反向传播过程中不断优化直至获得最优值。

3.如权利要求1或2所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述步骤2)中，卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。

4.如权利要求1或2所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，卷积组1的输入为整个密集权重连接模块的输入；卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2；同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理，最终的加权组合结果就是整个密集权重连接块的输出。

Images