CN106296692A - 基于对抗网络的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种利用对抗训练来生成卷积神经网络模型的图像显著性检测方法，属于计算机视觉与图像处理领域。所述方法包括数据预处理、网络结构、选取合适的参数、使用随机梯度下降法与冲量单元进行训练，数据预处理是对收集到的大量数据及标签进行预处理，网络结构是设计网络结构及具体核函数，选取合适的参数包括学习速率、动量因子及每次塞入网络的图像数目，使用随机梯度下降法与冲量单元进行训练来减小网络过拟合的可能性，利用本发明能够更准确地获取显著性图。

Description

基于对抗网络的图像显著性检测方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别是涉及一种基于对抗网络的图像显著性检测方法。

背景技术

显著性预测，是一种预测静态自然图像中人眼注视位置的过程。图像显著性预测的结果被广泛应用于计算机视觉领域，包括自动图像分割、目标识别、高效图像缩略和图像检索等，是很重要的图像预处理步骤。传统的手动选取特征的方法大致可以分成三个步骤：前期特征提取，特征差异推断，以及特征差异结合。显著性预测是一种自底向上的方法，受到最低层的特征所驱使。而随着大数据时代的到来，数据驱动的学习方法越来越多地出现在人们视野中。深度学习的方法也一再刷新各领域最高纪录。

目前对抗训练主要用于生成对抗网络，其中包含生成器和鉴别器。生成器用来产生对抗样本，鉴别器同时使用原样本和对抗样本来进行训练，生成器是将原样本进行混合生成的新样本。生成器也不断改进生成方法，最终目的是生成鉴别器不能正确识别的对抗样本。这个方法可用于生成类似自然图像，在人脸图像和房间图像中均有应用，可节约成本。

对抗训练最早出现是为了解决深度学习对于对抗样本的脆弱性。后来对抗训练被证明具有正则化的效果。将对抗训练用于生成卷积神经网络检测图像显著性是亟待解决的问题。

发明内容

本发明目的就是为解决利用对抗训练生成卷积神经网络检测图像显著性的方法问题。

本发明的技术问题通过以下的技术方案予以解决：

一种利用对抗训练的图像显著性检验方法，包括：

A1：数据预处理：对收集到的图像及标签进行预处理，得到图像数据；

A2：设计卷积神经网络模型结构及具体核函数；

A3：选取合适的参数；

A4：使用对抗训练来减小卷积神经网络模型过拟合的可能性，得到训练好的卷积神经网络模型；

A5：将所述图像数据输入到所述训练好的卷积神经网络模型后，得到显著图。

根据本发明的另一个具体方面，A1中的数据预处理是指将输入的介于0-255之间的图像的初始像素值除以255，从而得到0-1之间的图像数据；然后将图像数据进行下采样至图像原始高度及原始宽度的一半大小。

根据本发明的另一个具体方面，A2中卷积神经网络模型CNN包含9层，其中8个卷积层、1个反卷积层；在每个所述卷积层中设置卷积层的卷积核大小和卷积步长，设置卷积神经网络模型的过程是最小化预测显著图与真值之间欧氏距离的损失函数的过程。

根据本发明的另一个具体方面，所述卷积是所述卷积核对所述图像数据进行操作的简称，所述卷积步长是所述卷积核在对所述图像数据进行操作的时候对原始图像数据做卷积时候滑动像素的大小；使用卷积步长为2的卷积实现降低图像分辨率，有效控制拟合。

根据本发明的另一个具体方面，所述显著图是指由输入原始图像数据经过卷积神经网络模型后得到的矩阵，所述真值为相对应于原始图像数据的标签，所述显著图中每个像素点都具有各自的值。

根据本发明的另一个具体方面，每层采用ReLU函数作为激活函数。

根据本发明的另一个具体方面，进行权重衰减限制搜寻范围，反复进行权重衰减逐渐缩小搜索范围，最终找到全局最优解对应的点，卷积神经网络模型收敛，其中每次衰减后搜寻点更加靠近最优点所在的区域范围。

根据本发明的另一个具体方面，所述对抗训练是指将正常样本和对抗样本同时作用于卷积神经网络模型的训练；所述对抗样本是指在正常样本上加线性扰动得到的样本，所述对抗训练能够增强卷积神经网络模型的正则化，从而提高预测准确率。

根据本发明的另一个具体方面，所述线性扰动指由目标函数对原始图像求梯度所得到的矩阵，所述矩阵在长、宽、通道数方面和原始图像矩阵在长、宽、通道数方面大小相同。

根据本发明的另一个具体方面，采用线性扰动的方式生成所述对抗样本，而所述对抗训练体现在对应损失函数的不断更新：

$\tilde{J}(w,x,y)=\mathrm{\α}J(w,x,y)+(1-\mathrm{\α})J(w,x+\mathrm{\σ}sign({\▿}_{x}J\left(w,x,y\right)\left)\right)$

其中：η为得到的扰动，y为网络输出，σ为正极小量，sign为取大于零的值，为求目标函数对于输入图像x的梯度，α为控制对抗训练的小于1的参数。

本发明与现有技术对比的有益效果是：

在本发明中针对显著性预测这个特定问题，卷积神经网络要实现的是一个回归问题，使得生成的显著图中每个像素点都有各自的值，利用对抗训练的泛化能力来实现网络正则化，从而提高预测过程准确率。

附图说明

图1是本发明方法的流程图

具体实施方式

本发明使用对抗训练对卷积神经网络实现正则化的功能，从而提高了使用神经网络预测时的准确率。针对具体问题——显著性预测，本发明提出一种基于数据驱动的回归方法。学习过程可以被描述为最小化显著图与真值之间欧氏距离的代价函数。为了避免取到局部极小值，本发明使用较小的批大小—2，虽然收敛较慢，但效果更好。训练过程中使用随机梯度下降法和冲量单元相结合的方式，有助于训练过程中逃离局部最小值，使网络能够更快速地收敛。学习速率逐渐降低，保证在寻找最小值的过程中不过步幅过大而跳过最优解。

如图1所示，本发明所提出的一种利用对抗训练来生成卷积神经网络模型的图像显著性检验方法，所述方法如下：

A1：数据预处理：由于深度学习是数据驱动的方法，故在收集到大量数据及标签的基础上最重要的就是将它们进行预处理为输入网络做好准备；

A2：网络结构：所设计的卷积神经网络(CNN)包含9层，其中8个卷积层、1个反卷积层。在卷积层中使用步长为2的卷积从而使得图像分辨率下降。该学习过程被描述为最小化预测显著图与真值之间欧氏距离的损失函数的过程；

A3：选取合适的参数，包括学习速率、动量因子及每次塞入网络的图像数目。显著图中像素点的大小属于0到1之间，故属于回归问题而非分类问题；

A4：使用随机梯度下降法(SGD)+冲量单元进行训练，从而寻找到全局最小值。使用对抗训练(生成对抗样本，并使用对抗样本来训练网络)来减小网络过拟合的可能性。没有使用全连接层。

A5：将所述图像数据输入到所述训练好的卷积神经网络模型后，得到显著图。

在具体的实施方案中，可按下面方式操作。

A1：对训练集图像进行预处理，每幅图像的像素值分别除以255，得到像素值0-1之间的图像。然后对图像进行下采样，生成宽和高分别减半的图像。数据集是显著性预测领域近年来应用广泛的SALICON和iSUN。SALICON是根据鼠标点击来获取的真值，而iSUN则是通过众包的方式得到的真值；

A2：由于该卷积神经网络层数比较多，为了节约内存和控制过拟合，前两层卷积都设为步长为2，即隔一个像素点进行一次卷积，而所采用的卷积核大小都大于3，故实际上并不会造成信息损失。

在每个所述卷积层中设置卷积层的卷积核大小和卷积步长，设置卷积神经网络模型的过程是最小化预测显著图与真值之间欧氏距离的损失函数的过程。

所述卷积是所述卷积核对对所述图像数据进行操作的简称，所述卷积步长是所述卷积核在对所述图像数据进行操作的时候对原始图像数据做卷积时候滑动像素的大小；

所述显著图是指由输入原始图像数据经过卷积神经网络模型后得到的矩阵，所述真值为相对应于原始图像数据的标签，所述显著图中每个像素点都具有各自的值。

每层采用ReLU(Rectified Linear Units，调整线性单元)函数作为激活函数。

A3：深度学习函数包选择谷歌开发的第二代人工智能学习系统tensorflow。将原数据集里的图像转换成HDF5的数据存储格式，HDF5是用于存储和分发科学数据的一种自我描述、多对象文件格式，该格式适合于一次存储多次读取。学习速率取0.1，衰减权重取0.5，衰减次数6000次，动量因子取默认。此处使用动量因子进行优化可以有助于训练过程中逃离局部最小值，使网络能够更快速地收敛。

反复进行权重衰减逐渐缩小搜索范围，最终找到全局最优解对应的点，卷积神经网络模型收敛，其中每次衰减后搜寻点更加靠近最优点所在的区域范围。

所述对抗训练是指将正常样本和对抗样本同时作用于卷积神经网络模型的训练；所述对抗样本是指在正常样本上加线性扰动得到的样本，所述对抗训练能够增强卷积神经网络模型的正则化，从而提高预测准确率。

所述线性扰动指由目标函数对原始图像求梯度所得到的矩阵，所述矩阵在长、宽、通道数方面和原始图像矩阵在长、宽、通道数方面大小相同。

A4：在实际操作中，可以对于损失函数进行更改，每个迭代过程之后：

$\tilde{J}(w,x,y)=\mathrm{\α}J(w,x,y)+(1-\mathrm{\α})J(w,x+\mathrm{\σ}sign({\▿}_{x}J\left(w,x,y\right)\left)\right)$

上式表示每次迭代之后损失函数都会变化，从而应对不断更新的对抗样本。与此同时，对抗样本也是一直在变化的，从而争取骗过网络模型。二者呈螺旋上升之势，彼此相辅相成。本文中应用对抗网络实际上是利用了其正则化的能力。这使得网络的泛化能力增强。

A5：将所述图像数据输入到所述训练好的卷积神经网络模型后，得到显著图。

该网络只使用了卷积层和反卷积层，卷积层用于提取特征，同时步长为2还可以缩小特征图尺寸。没有使用池化层故可以节约内存，同时还保证了计算效率。池化层的作用——控制过拟合，被对抗训练所替代，效果更好。反卷积层用于图像尺寸的复原，类似于双线性插值，使得输入显著图和输入图像保持尺寸一致。

以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种利用对抗训练的图像显著性检验方法，其特征在于，所述方法包括：

A1：数据预处理：对收集到的图像及标签进行预处理，得到图像数据；

A2：设计卷积神经网络模型结构及具体核函数；

A3：选取合适的参数；

A4：使用对抗训练来减小卷积神经网络模型过拟合的可能性，得到训练好的卷积神经网络模型；

A5：将所述图像数据输入到所述训练好的卷积神经网络模型后，得到显著图。

2.根据权利要求1所述图像显著性检验方法，其特征在于，A1中的数据预处理是指将输入的介于0-255之间的图像的初始像素值除以255，从而得到0-1之间的图像数据；然后将图像数据进行下采样至图像原始高度及原始宽度的一半大小。

3.根据权利要求1所述图像显著性检验方法，其特征在于，A2中卷积神经网络模型CNN包含9层，其中8个卷积层、1个反卷积层；在每个所述卷积层中设置卷积层的卷积核大小和卷积步长，设置卷积神经网络模型的过程是最小化预测显著图与真值之间欧氏距离的损失函数的过程。

4.根据权利要求3所述图像显著性检验方法，其特征在于，所述卷积是所述卷积核对所述图像数据进行操作的简称，所述卷积步长是所述卷积核在对所述图像数据进行操作的时候对原始图像数据做卷积时候滑动像素的大小；使用卷积步长为2的卷积实现降低图像分辨率，有效控制拟合。

5.根据权利要求3所述图像显著性检验方法，其特征在于，所述显著图是指由输入原始图像数据经过卷积神经网络模型后得到的矩阵，所述真值为相对应于原始图像数据的标签，所述显著图中每个像素点都具有各自的值。

6.根据权利要求3所述图像显著性检验方法，其特征在于，每层采用ReLU函数作为激活函数。

7.根据权利要求3所述图像显著性检验方法，其特征在于，进行权重衰减限制搜寻范围，反复进行权重衰减逐渐缩小搜索范围，最终找到全局最优解对应的点，卷积神经网络模型收敛，其中每次衰减后搜寻点更加靠近最优点所在的区域范围。

8.根据权利要求1所述图像显著性检验方法，其特征在于，所述对抗训练是指将正常样本和对抗样本同时作用于卷积神经网络模型的训练；所述对抗样本是指在正常样本上加线性扰动得到的样本，所述对抗训练能够增强卷积神经网络模型的正则化，从而提高预测准确率。

9.根据权利要求8所述图像显著性检验方法，其特征在于，所述线性扰动指由目标函数对原始图像求梯度所得到的矩阵，所述矩阵在长、宽、通道数方面和原始图像矩阵在长、宽、通道数方面大小相同。

10.根据权利要求1所述图像显著性检验方法，其特征在于，采用线性扰动的方式生成所述对抗样本，而所述对抗训练体现在对应损失函数的不断更新：

$\tilde{J}(w,x,y)=\mathrm{\α}J(w,x,y)+(1-\mathrm{\α})J(w,x+\mathrm{\σ}sign({\▿}_{x}J\left(w,x,y\right)\left)\right)$

其中：η为得到的扰动，y为网络输出，σ为正极小量，sign为取大于零的值，为求目标函数对于输入图像x的梯度，α为控制对抗训练的小于1的参数。