CN114897728A

CN114897728A - 图像增强方法、装置、终端设备以及存储介质

Info

Publication number: CN114897728A
Application number: CN202210507441.5A
Authority: CN
Inventors: 杨仁友; 秦浩; 郑凯健; 杨靓; 李日富
Original assignee: Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Current assignee: Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2022-08-12
Anticipated expiration: 2042-05-10
Also published as: CN114897728B

Abstract

本发明公开了一种图像增强方法、装置、终端设备以及存储介质，其图像增强方法包括：获取待增强图像数据；将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。本发明解决图像处理能力实时性低的问题，提升图像增强效率。

Description

图像增强方法、装置、终端设备以及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像增强方法、装置、终端设备以及存储介质。

背景技术

在水下考古，海底勘探等需要用到成像质量高的水下图像的领域，对水下图像处理设备的图像处理能力有较高的要求。轻量化网衣水下图像实时增强技术是提升水下巡检机器人提升相机感知距离、特征提取和视觉定位能力的关键技术。

但是在水下图像的处理过程中，如果单纯使用传统无监督的图像增强方法，在处理大量图像数据时，存在计算量大，运算复杂且不能布置在GPU上的问题；如果单纯使用基于卷积神经网络的方法，要求水下图像数据集既有水下失真图像又有清晰图像，也要求在同一位置、同一参数下，采集水中及空气中的图像。

因此，现有技术对于图像处理能力实时性不高，不便于布置在水下机器人的实时图像处理上；对于收集水下图像数据集，很多情况下无法得到清晰图像。

发明内容

本发明的主要目的在于提供一种图像增强方法、装置、终端设备以及存储介质，旨在提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

为实现上述目的，本发明提供一种图像增强方法，所述图像增强方法包括以下步骤：

获取待增强图像数据；

将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。

可选地，所述将所述待增强数据输入预先创建的图像增强模型中进行增强，得到增强后的数据的步骤之前还包括：

创建所述图像增强模型，具体包括：

获取原始数据集；

建立生成器；

建立判别器；

基于所述生成器及所述判别器，构建得到生成式对抗网络；

基于多尺度同态滤波标签及所述原始数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。

可选地，所述建立生成器的步骤之后还包括：

向所述生成器输入第一参数，将所述生成器进行初始化；

向所述生成器输入所述原始数据集，得到对应的伪增强数据集；

所述基于多尺度同态滤波标签及所述原始数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。

可选地，所述基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到对应的增强数据集；

基于所述原始数据集、所述增强数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到训练后的生成式对抗网络。

可选地，所述基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到对应的增强数据集的步骤包括：

计算所述原始数据集中的数据相对对应的降噪项，以供对所述原始数据集中的数据进行降噪；

计算所述原始数据集中的数据相对对应的像素点到中心点的空间距离权重值及相邻像素值权重；

基于所述相邻像素值权重及所述空间距离权重值，计算得到像素权重和；

基于所述像素权重和及所述降噪项，计算得到反射图像；

基于所述反射图像及预设的高斯函数，计算得到反射响应图像，以供对所述原始数据集中的数据进行多尺度空间构造；

基于所述反射响应图像及所述降噪项，计算得到所述原始数据集中的数据相对对应的增强数据，以此类推，得到所述增强数据集。

可选地，所述基于所述原始数据集、所述增强数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到训练后的生成式对抗网络的步骤包括：

将所述原始数据集中的数据以及所述增强数据集中对应的数据进行组合，得到图像对数据集；

向所述判别器输入所述增强数据集和所述伪增强数据集，以供所述判别器对所述增强数据集及所述伪增强数据集进行判别，得到判别结果；

结合所述判别结果训练并更新所述判别器；

向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果；

结合所述第一计算结果训练并更新所述生成器；

向所述生成器输入原始数据集，以供所述生成器对所述原始数据集进行计算，得到第二计算结果；

将所述第二结果作为所述伪增强数据集；并返回执行步骤：向所述判别器输入所述增强数据集及所述伪增强数据集，以供所述判别器对所述增强数据集和所述伪增强数据集进行判别，得到判别结果；

按照预设的循环次数以此循环，直到循环完毕，终止训练，得到训练后的图像增强模型。

可选地，所述向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果的步骤包括：

向所述生成器输入所述图像对数据集，基于所述图像对数据集及分布函数的期望值，计算得到对抗损失函数；

通过多层次图像块网络对若干层次的特征图提取对应层次的输出特征，计算得到对应层次的特征；

基于噪声对比估计框架计算最大互信息及所述特征图的对应层次的特征，得到噪声对比估计修补函数；

基于所述对抗损失函数及所述噪声对比估计修补函数，计算得到总损失函数；

基于梯度下降算法及所述总损失函数，计算得到第二参数；

将所述第二参数作为所述第一参数；并返回执行步骤：基于梯度下降算法及所述总损失函数，计算得到第二参数；

以此循环，按预设的迭代次数进行参数迭代，直到迭代完毕，将所述第一参数作为所述第一计算结果。

本发明实施例还提出一种图像增强装置，所述像数据增强装置包括：

获取模块，用于获取待增强图像数据；

增强模块，将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。

本发明实施例还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像增强程序，所述图像增强程序配置为实现如上所述的图像增强方法的步骤。

本发明实施例还提出一种存储介质，所述存储介质上存储有图像增强程序，所述图像增强程序被处理器执行时实现如上述的图像增强方法的步骤。

本申请实施例提出的图像增强方法、装置、终端设备以及存储介质，通过获取待增强图像数据；将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。通过训练后的图像增强模型，可以提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。本实施例从图像处理能力实时性低的问题出发，基于多尺度同态滤波标签的生成式对抗网络图像增强为研究对象，深入分析了传统图像增强技术的优缺点，设计了一种基于多尺度同态滤波标签的生成式对抗网络图像增强模型，并在该图像增强模型上验证了本发明提出的图像增强方法的有效性，最后经过本发明方案的图像增强实时性得到了明显提升。

附图说明

图1为本发明图像增强装置所属终端设备的功能模块示意图；

图2为本发明图像增强方法第一示例性实施例的流程示意图；

图3为本发明图像增强方法第一示例性实施例涉及的整体数据流示意图；

图4为本发明图像增强方法第另一示例性实施例的流程示意图；

图5为本发明图像增强方法实施例涉及的图像增强模型的一种训练流程示意图；

图6为图5中的步骤S51的步骤的细化流程示意图；

图7为图6中的步骤S52的步骤的细化流程示意图；

图8为图6中的步骤S603的步骤的细化流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例涉及的技术术语：

生成对抗网络，GAN，generative adversarial networks；

图形处理器，GPU，Graphics Processing Unit；

生成器，Generator；

判别器，Discriminator；

编码器，Encoder；

译码器，decoder；

多尺度空间；

同态滤波，Homomorphic filtering；

多层感知器，Multi-layerPerceptron，MLP。

其中，生成对抗网络(也叫生成式对抗网络，GAN，Generative AdversarialNetworks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。生成对抗网络模型通过框架中(至少)两个模块：生成模型(Generative Model，或称生成器)和判别模型(Discriminative Model，或称判别器)的互相博弈学习产生相当好的输出(本申请实施例中涉及三个模块：编码器、生成器和判别器)。原始GAN理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为生成模型和判别模型。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。

Ian J.Goodfellow等人于2014年10月在Generative Adversarial Networks中提出了一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型：捕获数据分布的生成模型，和估计样本来自训练数据的概率的判别模型。生成模型的训练程序是将判别模型错误的概率最大化。

通常，机器学习的模型可大体分为两类，生成模型(Generative Model)和判别模型(Discriminative Model)。判别模型需要输入变量，通过某种模型来预测。生成模型是给定某种隐含信息，来随机产生观测数据。举个简单的例子：

判别模型：给定一张图，判断这张图里的动物是猫还是狗；

生成模型：给一系列猫的图片，生成一张新的猫咪(不在数据集里)。

对于判别模型，损失函数是容易定义的，因为输出的目标相对简单。但对于生成模型，损失函数的定义就不是那么容易。所以不妨把生成模型的回馈部分，交给判别模型处理。这就是将机器学习中两大类模型Generative和Discrimitive紧密地联合在一起。

GAN的基本原理以生成图片为例进行说明如下：

假设有两个网络，G(Generator)和D(Discriminator)。它们的功能分别是：

G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。

D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。

在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。在最理想的状态下，最后博弈的结果是：G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的。

这样目的就达成了：得到了一个生成式的模型G，它可以用来生成图片。Goodfellow从理论上证明了该算法的收敛性，以及在模型收敛时，生成数据具有和真实数据相同的分布(保证了模型效果)。

多尺度空间：将原始信号“嵌入”到采用一个单参数变换得到的一系列信号中去，变换得到的每个信号对应于单参数族中的一个参数。一个重要的要求是，多尺度表示中的较粗尺度应该是较细尺度的简化，而且较粗尺度是通过某种固定的方式，由较细尺度图像经过平滑得到。要满足这个性质，可以有多种实现方式。但是一点不变，那就是高斯函数是唯一可用的平滑函数。

实现多尺度表示有多种方式，比如，早期会采用四分树或者八分树，以及图像金字塔。金字塔是结合降采样操作和平滑操作的一种图像表示方式。它的一个很大的好处是，自下而上每一层的像素数都不断减少，这会大大减少计算量；而缺点是自下而上金字塔的量化变得越来越粗糙，而且速度很快。(需要强调的是，这里的金字塔构造方法和小波金字塔的构造方法是类似的，对某一层的图像进行平滑之后，再做降采样，平滑目的是为了降采样后的像素点能更好的代表原图像的像素点，与多尺度表示中的平滑完全不是一个目的)。

上面提到的四分树或者八分树以及金字塔表示法，在获得多尺度时所采取的步骤是相当粗略的，尺度与尺度之间的“间隔”太大。而这里要提到的“尺度空间”(Scale-Space)表示法是多尺度表示的另外一种有效方法，它的尺度参数是连续的，并且所有尺度上空间采样点个数是相同的(实际上，一个尺度上得到的就是一幅图像，尺度空间采样点也就是该尺度上图像的像素点。也就是说，尺度空间表示法在各个尺度上图像的分辨率都是一样的).尺度空间表示的主要思想是，由原始信号(例如一幅图像)生成一系列信号，并用这些信号来表示原始信号，这个过程中，精细尺度的信息被逐步的平滑掉(可以认为是细节信息被丢弃)。

多尺度空间是由原始图像和二维高斯函数进行卷积，通过不断改变参数t，得到连续变化的图像，这些图像的信息和原始图像相比逐渐减少，细节信息逐渐被平滑掉，但是像素个数保持不变，即分辨率不变。图像金字塔则是通过每次减少若干行的像素来减少分辨率，使图像信息减少，两者不同。

同态滤波：是一种广泛用于信号和图像处理的技术，将原本的信号经由非线性映射，转换到可以使用线性滤波器的不同域，做完运算后再映射回原始域。同态的性质就是保持相关的属性不变，而同态滤波的好处是将原本复杂的运算转为效能相同但相对简单的运算。这个概念在1960年代由Thomas Stockham，Alan V.Oppenheim和Ronald W.Schafer在麻省理工学院提出。

同态滤波利用去除乘性噪声(multiplicative noise)，可以同时增加对比度以及标准化亮度，借此达到图像增强的目的。

一副图像可以表示为其照度(illumination)分量和反射(reflectance)分量的乘积，虽然在时域上这两者是不可分离的，但是经由傅立叶转换两者在频域中可以线性分离。由于照度可视为环境中的照明，相对变化很小，可以看作是图像的低频成分；而反射率相对变化较大，则可视为高频成分。通过分别处理照度和反射率对像元灰度值的影响，通常是借由高通滤波器(high-pass filter)，让图像的照明更加均匀，达到增强阴影区细节特征的目的。

MLP多层感知器(Multi-layerPerceptron)：是一种前向结构的人工神经网络ANN，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元。使用BP反向传播算法的监督学习方法来训练MLP。MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。

相对于单层感知器，MLP多层感知器除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。本发明实施例考虑到，在水下图像的处理过程中，如果单纯使用传统无监督的图像增强方法，在处理大量图像数据时，存在计算量大，运算复杂且不能布置在GPU上的问题；如果单纯使用基于卷积神经网络的方法，要求水下图像数据集既有水下失真图像又有清晰图像，也要求在同一位置、同一参数下，采集有水和无水时的图像。

因此，本发明实施例方案，从图像处理能力实时性低的问题出发，通过生成式对抗网络结合传统无监督的图像增强方法，设计一种基于多尺度同态滤波标签的生成式对抗网络的图像增强模型，提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

具体地，参照图1，图1为本申请图像增强装置所属终端设备的功能模块示意图。该图像增强装置可以为独立于终端设备的、能够进行图片处理、网络模型训练的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该图像增强装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及图像增强程序，图像增强装置可以将获取的待增强图像数据，通过图像增强网络模型进行增强后得到的增强后的图像数据，以及获取的原始数据集；向生成器输入所述原始数据集，得到的对应的伪增强数据集；基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到的对应的增强数据集；将所述原始数据集中的数据以及所述增强数据集中对应的图像数据组合，得到的图像对数据集；向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到的第一计算结果；向所述生成器输入原始数据集，以供所述生成器对所述原始数据集进行计算，得到的第二计算结果等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的图像增强程序被处理器执行时实现以下步骤：

获取待增强图像数据；

进一步地，存储器130中的图像增强程序被处理器执行时还实现以下步骤：

创建所述图像增强模型，具体包括：

获取原始数据集；

建立生成器；

建立判别器；

基于所述生成器及所述判别器，构建得到生成式对抗网络；

向所述生成器输入第一参数，将所述生成器进行初始化；

基于所述像素权重和及所述降噪项，计算得到反射图像；

结合所述判别结果训练并更新所述判别器；

结合所述第一计算结果训练并更新所述生成器；

基于梯度下降算法及所述总损失函数，计算得到第二参数；

本发明实施例提供了一种图像增强方法，参照图2，图2为本发明一种图像增强方法第一实施例的流程示意图。

本实施例中，所述图像增强方法包括：

步骤S1001：获取待增强图像数据；

步骤S1002：将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。

本实施例方法的执行主体可以是一种图像增强装置，也可以是一种图像增强终端设备或服务器，本实施例以图像增强装置进行举例，该图像增强装置可以集成在具有数据处理功能的计算机、智能手机及平板电脑等终端设备上，且适用于计算机视觉图像处理前端的研制。

本实施例主要实现图像增强尤其是图像增强的实时性，提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

具体地，在水下考古，海底勘探等都需要用到成像质量高的水下图像，轻量化网衣水下图像实时增强技术是提升水下巡检机器人提升相机感知距离、特征提取和视觉定位能力的关键技术。因此，需要获取待增强图像数据，将待增强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，从而得到质量高的水下图像。其中，预先创建的图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。

其中，预设增强图像算法可以对图像数据进行增强，并大幅度地降低数据集的收集难度，其中，预设增强图像算法可以是改进的Multi-Scale Retinex算法；或者是直方图均衡化、灰度世界假设、限制对比度直方图均衡化、带色彩恢复的多尺度视网膜增强、自动白平衡、色彩恒常性、小波变换等非物理模型方法；或者通过假设条件反演复原水下图像、通过场景统计先验复原图像；有的基于水下成像光学属性，如通过大气湍流模型改进复原图像、通过设计新的水下成像模型来恢复图像、通过考虑水下成像模型特点来复原图像，基于图像去雾等基于物理模型的方法。

在本实施例中，具体基于改进Multi-Scale Retinex算法复原的水下图像作为训练标签，利用神经网络Contrastive Unpaired Translation Model实现轻量化网衣水下图像实时增强。

更具体地，本实施例从图像处理能力实时性低的问题出发，基于多尺度同态滤波标签的生成式对抗网络图像增强为研究对象，深入分析了传统图像增强技术的优缺点，设计了一种基于多尺度同态滤波标签的生成式对抗网络图像增强模型，所述图像增强模型基于多尺度同态滤波标签的生成式对抗网络训练得到。

本实施例通过获取待增强图像数据；将所述待增图像强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据，其中，所述图像增强模型基于生成式对抗网络并结合预设增强图像算法训练得到。通过使用生成式对抗网络对低照度图像进行增强，可以抛开传统方法对于图像先验知识的依赖；通过生成式对抗网络采用非配对(unpaired)方式实现了图像到图像之间的相互转换，不需要一一对应的成对图像；生成式对抗网络还可以将图像增强模型布置在GPU上，利用GPU进行计算，实现水下原始图像的轻量化处理；通过生成式对抗网络结合传统无监督的增强图像算法，有效地降低了数据集的收集难度，实现水下原始图像的轻量化处理，显著提高水下图像的实时处理以及大数据流的预处理能力。本发明适用于计算机视觉图像处理前端的研制，对提高大数据集下图像增强、图像识别、图像恢复等效率有着重要的工程价值和理论指导意义。

本实施例采用图片修复网络模型来对图像进行增强，该图像增强网络模型的框架包括：生成式对抗网络，其中，生成式对抗网络包括生成器及编码器，该图像增强模型基于多尺度同态滤波标签的生成式对抗网络进行训练得到，网络的整体数据流如图3所示：

通过传统图像处理方法(多尺度同态滤波标签算法)对原始数据集进行降噪、多尺度空间构造及图像增强，得到对应的增强数据集；

生成器用于对输入的原始数据集进行重建，得到伪增强数据集，提供给判别器；

生成器还用于对输入的原始数据集与对应的增强数据集进行计算，得到计算结果，结合计算结果训练所述生成器，并将计算结果提供给判别器，以供判别器对计算结果进行判别；

判别器用于对输入的增强数据集和伪增强数据集进行判别，得到判别结果，结合判别结果训练所述判别器；

基于训练后的生成器及训练后的判别器，构建得到图像数据处理端(图像增强模型)；

图像数据处理端用于对输入的水下原始图像数据进行处理，得到水下图像增强数据集。

参照图4，图4为本发明图像增强方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，步骤S1002，将所述待增强数据输入预先创建的图像增强模型中进行增强，得到增强后的图像数据的步骤之前，所述图像增强方法还包括：

创建所述图像增强模型，具体包括：

步骤S10：获取原始数据集；

步骤S20：建立生成器；

步骤S30：建立判别器；

步骤S40：基于所述生成器及所述判别器，构建得到生成式对抗网络；

步骤S50：基于多尺度同态滤波标签及所述原始数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。

本实施例以步骤S10至步骤S50在步骤S1001之前实施，在其他实施例中，步骤S10至步骤S50也可以在步骤S1001与步骤S1002之间实施。

相比上述图2所示的实施例，本实施例还包括训练图像增强模型的方案。

具体地，本实施例预先收集了若干数量的随机图像数据，组成原始数据集，例如，原始数据集，其中，原始数据集用于对图像增强模型进行训练；

然后立图像生成器G(r)，如下式，G(r)由编码器G_dec(r)及解码器G_enc(r)组成，

式中，

为原始图像数据f在生成器G(f)下生成的伪增强图像，生成器用于对输入图像数据进行计算，得到计算结果，结合计算结果训练并更新所述生成器，并将计算结果提供给判别器，以供判别器对计算结果进行判别；

然后建立判别器，判别器用于对输入的图像数据进行判别，输入的图像数据为增强图像数据时，判别器输出高分(接近1)，输入的数据为伪增强图像数据时，判别器输出低分(接近0)，得到判别结果，结合判别结果训练并更新所述判别器；

然后，基于生成器和判别器，构建得到生成式对抗网络；

最后，基于多尺度同态滤波标签对原始数据集进行增强，得到增强数据集，对生成式对抗式网络进行训练，得到所述图像增强模型。

之后即可通过训练好的图像增强模型对原始数据集进行增强。

本实施例通过上述方案，具体通过获取原始数据集；建立生成器；建立判别器；基于所述生成器及所述判别器，构建得到生成式对抗网络；基于多尺度同态滤波标签及所述原始数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。通过使用生成式对抗网络对低照度图像进行增强，可以抛开传统方法对于图像先验知识的依赖；通过引入多尺度同态滤波的增强图像算法，可以有效地降低数据集的收集难度；通过生成式对抗网络结合传统无监督的多尺度同态滤波标签，可以将图像增强模型布置在GPU上，利用GPU进行计算，实现水下原始图像的轻量化处理。通过训练后的图像增强模型，可以提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

参照图5，图5为本发明图像增强方法实施例涉及的图像增强模型的一种训练流程示意图。基于上述图4所示的实施例，在本实施例中，步骤S20，建立生成器的步骤之后还包括：

步骤S21：向所述生成器输入第一参数，将所述生成器进行初始化；

步骤S22：向所述生成器输入所述原始数据集，得到对应的伪增强数据集；

所述步骤S50，基于多尺度同态滤波标签及所述原始数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

步骤S51：基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。

其中，

在生成器G(f)中输入一组随机向量(θ₁,θ₂,θ₃,…,θ_k)初始化生成器，原始数据集在G(f)下生成一组伪增强数据集；

然后建立判别器，判别器用于对输入的图像数据进行判别，输入的数据为增强后的图像数据时，判别器输出高分(接近1)，输入的数据为伪增强图像数据时，判别器输出低分(接近0)，得到判别结果，结合判别结果训练并更新所述判别器；

基于生成器和判别器，构建得到生成式对抗网络；

最后，基于多尺度同态滤波标签对原始数据集进行增强，得到增强数据集，向生成式对抗网络输入增强数据集以及伪增强数据集，结合计算结果，对生成式对抗式网络进行训练，得到所述图像增强模型。

进一步地，所述基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

首先，将所述原始数据集中的数据以及所述增强数据集中对应的数据进行组合，得到图像对数据集；

然后，向所述判别器输入所述增强数据集和所述伪增强数据集，以供所述判别器对所述增强数据集及所述伪增强数据集进行判别，得到判别结果；

然后，结合所述判别结果训练并更新所述判别器；

然后，向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果；

然后，结合所述第一计算结果训练并更新所述生成器；

然后，向所述生成器输入原始数据集，以供所述生成器对所述原始数据集进行计算，得到第二计算结果；

然后，将所述第二结果作为所述伪增强数据集；并返回执行步骤：向所述判别器输入所述增强数据集及所述伪增强数据集，以供所述判别器对所述增强数据集和所述伪增强数据集进行判别，得到判别结果；

最后，按照预设的循环次数以此循环，直到循环完毕，终止训练，得到训练后的图像增强模型。

本实施例通过上述方案创建图像增强模型，具体包括：

获取原始数据集；建立生成器；向所述生成器输入第一参数，将所述生成器进行初始化；向所述生成器输入所述原始数据集，得到对应的伪增强数据集；建立判别器；基于所述生成器及所述判别器，构建得到生成式对抗网络；基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型。通过生成式对抗网络中的生成器对低照度图像进行增强，可以抛开传统方法对于图像先验知识的依赖；通过训练后的图像增强模型，可以提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

参照图6，图6为上述图5所示的实施例中的步骤S51的步骤的细化流程图，步骤S51，所述基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

步骤S52：基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到对应的增强数据集；

步骤S53：基于所述原始数据集、所述增强数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到训练后的生成式对抗网络。

进一步地，步骤S53，基于所述原始数据集、所述增强数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到训练后的生成式对抗网络的步骤包括：

步骤S600：将所述原始数据集中的数据以及所述增强数据集中对应的数据进行组合，得到图像对数据集；

步骤S601：向所述判别器输入所述增强数据集和所述伪增强数据集，以供所述判别器对所述增强数据集及所述伪增强数据集进行判别，得到判别结果；

步骤S602：结合所述判别结果训练并更新所述判别器；

步骤S603：向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果；

步骤S604：结合所述第一计算结果训练并更新所述生成器；

步骤S605：向所述生成器输入原始数据集，以供所述生成器对所述原始数据集进行计算，得到第二计算结果；

步骤S606：将所述第二结果作为所述伪增强数据集；并返回执行步骤S601：向所述判别器输入所述增强数据集及所述伪增强数据集，以供所述判别器对所述增强数据集和所述伪增强数据集进行判别，得到判别结果；

步骤S607：按照预设的循环次数以此循环，直到循环完毕，终止训练，得到训练后的图像增强模型。

具体地，首先将原图数据集F以及其对应的多尺度空间下同态滤波增强图像r(x,y)数据集R＝{r₁,r₂,r₃,…r_n}，作为图像对数据集。

M＝{(f₁,r₁),(f₂,r₂),(f₃,r₃),…,(f_n,r_n)}

然后，向所述判别器输入所述增强数据集和所述伪增强数据集，以供所述判别器对所述增强数据集及所述伪增强数据集进行判别，当输入数据为增强数据集时，判别器将增强数据集标注为1，并将其判别为高分(接近1)，然后结合高分结果训练并更新所述判别器；当输入数据为伪增强数据集

时，将伪增强数据集

标注为0，并将其判别为出低分(接近0)，然后结合高分结果训练并更新所述判别器；

然后，优化问题一直是机器学习乃至深度学习中的一个非常重要的领域。尤其是深度学习，因此，本实施例采用Adam梯度下降算法，计算时基于图像对数据集的对抗损失总函数，保证了相对较低的计算量。生成器中的参数更新的大小不随着梯度大小的缩放而变化；更新参数时的步长的边界受限于超参的步长的设定；不需要固定的目标函数。因此，向生成器输入所述图像对数据集，以供生成器计算图像对数据集的总损失函数，并使用Adam梯度下降算法得到更新后的参数，作为第一计算结果；

然后，结合第一计算结果训练并更新生成器中原有的参数；

然后，向生成器输入原始数据集，以供生成器对所述原始数据集进行计算，由生成器中的解码器将输入的原始图像数据编码成低维向量，其中，低维向量包含了原始图像数据的主要信息，例如，该低维向量的元素可以表示任一种水下生物的颜色、形状、大小等等，由生成器中的编码器对该低维向量关于图像的结构信息进行解码，生成新的伪增强数据集，作为第二计算结果；

然后，将所述第二结果作为所述伪增强数据集；并返回执行步骤：向判别器输入增强数据集及伪增强数据集，以供判别器对增强数据集和伪增强数据集进行判别，得到判别结果；

最后，根据实际需求，按照预设的循环次数以此循环，直到循环完毕，终止训练，得到训练后的图像增强模型。

本实施例通过上述方案，具体通过将所述原始数据集中的数据以及所述增强数据集中对应的数据进行组合，得到图像对数据集；向所述判别器输入所述增强数据集和所述伪增强数据集，以供所述判别器对所述增强数据集及所述伪增强数据集进行判别，得到判别结果；结合所述判别结果训练并更新所述判别器；向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果；结合所述第一计算结果训练并更新所述生成器；向所述生成器输入原始数据集，以供所述生成器对所述原始数据集进行计算，得到第二计算结果；将所述第二结果作为所述伪增强数据集；并返回执行步骤：向所述判别器输入所述增强数据集及所述伪增强数据集，以供所述判别器对所述增强数据集和所述伪增强数据集进行判别，得到判别结果；按照预设的循环次数以此循环，直到循环完毕，终止训练，得到训练后的图像增强模型。通过计算图像对数据集的总损失函数，利用总损失函数及Adam梯度下降算法，得到图像增强模型的预测值与真实值的差值，利用预测值与真实值的差值衡量图像增强模型预测的好坏，对图像增强模型进行训练并更新，得到训练后的图像增强模型。提高了水下图像的实时处理及大数据流的预处理能力。

参照图7，图7为图6中步骤S52的步骤的细化流程示意图。基于上述图6所示的实施例，步骤S52：基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到对应的增强数据集的步骤包括：

步骤S800：计算所述原始数据集中的数据相对对应的降噪项，以供对所述原始数据集中的数据进行降噪；

具体地，原始数据集在采集、传输、接收的过程，均处在复杂的外部环境中，存在各种干扰，一般都会受到噪声的影响，进而导致图像的分辨率降低，同时图像原本精细的结构也会遭到破坏，且对于处理数字图像，降噪是各种特征识别、提取的前提。

将原始数据集中的原始图像数据f(x,y)进行处理，通过卷积网络实现对滑动窗口中的原始图像降噪，由下式计算图像卷积降噪项I_q(x,y)。

I_q(x,y)＝med{f(x-k,y-l),(k,l∈CW)}

式中，CW为卷积核尺寸。

步骤S801：计算所述原始数据集中的数据相对对应的像素点到中心点的空间距离权重值及相邻像素值权重；

具体地，由下式计算像素点I到中心点的空间距离权重值。

然后，由下式计算图像相邻像素值权重s(ξ,x)：

式中，ξ表示像素点I到中心点的空间距离。

步骤S802：基于所述相邻像素值权重及所述空间距离权重值，计算得到像素权重和；

具体地，由下式计算图像像素权重和w(ξ,x,k,l)：

w(ξ,x,k,l)＝c(ξ,x)s(ξ,x)；

步骤S803：基于所述像素权重和及所述降噪项，计算得到反射图像；

具体地，由下式计算反射图像L(x,y)。

步骤S804：基于所述反射图像及预设的高斯函数，计算得到反射响应图像，以供对所述原始数据集中的数据进行多尺度空间构造；

具体地，由于从近距离到远距离，会导致原始图像数据越来越模糊，即原始图像数据的尺度越来越大的过程，因此，需要对原始图像数据进行多尺度空间构造，获知感兴趣物体的最佳尺度；且不同的尺度下都有同样的关键点，那么在不同的尺度的输入图像数据下都可以检测出来关键点进行匹配。

由下式计算反射图像L(x,y)。

然后，由下式计算反射响应图像R(x,y,σ)，进行多尺度空间构造。

R(x,y,σ)＝G(x,y,σ)*L(x,y)；

式中，G(x,y,σ)为可变高斯函数，定义如下所示：

式中，σ是尺度空间因子，决定图像模糊平滑处理的程度。

步骤S805：基于所述反射响应图像及所述降噪项，计算得到所述原始数据集中的数据相对对应的增强数据，以此类推，得到所述增强数据集。

具体地，计算多尺度空间下同态滤波增强图像r(x,y)

式中，N为构造的多尺度空间的尺度数。

最后，基于多尺度同态滤波标签，得到与原始图像数据的相对对应的增强图像r(x,y)，并组成增强数据集。

本实施例通过上述方案，具体通过计算所述原始数据集中的数据相对对应的降噪项；计算所述原始数据集中的数据相对对应的像素点到中心点的空间距离权重值及相邻像素值权重；基于所述相邻像素值权重及所述空间距离权重值，计算得到像素权重和；基于所述像素权重和及所述降噪项，计算得到反射图像；基于所述反射图像及预设的高斯函数，计算得到反射响应图像；基于所述反射响应图像及所述降噪项，计算得到所述原始数据集中的数据相对对应的增强数据，以此类推，得到所述增强数据集。基于多尺度同态滤波标签，对原始数据集中的原始图像数据进行降噪、多尺度空间构造及图像增强，可以大幅度降低原始数据集的收集难度，无需再要求水下图像数据集既有水下失真图像又有清晰图像，也要求在同一位置、同一参数下，采集有水和无水时的图像，从而提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

参照图8，图8为图6中步骤S603的步骤的细化流程示意图。基于上述图6所示的实施例，步骤S603：向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果的步骤包括：

步骤S700：向所述生成器输入所述图像对数据集，基于所述图像对数据集及分布函数的期望值，计算得到对抗损失函数；

具体地，采用如下公式计算对抗损失函数

式中，

表示分布函数的期望值，D表示判别器，G表示生成器，f表示原始数据集中的数据，r表示多尺度空间下同态滤波增强图像。

通过生成器对输入的图像对数据集进行计算，得到每一图像对数据的损失函数，则得到每次迭代的向前计算结果与真实图像数据值的差距，从而引导下一步的训练向正确的方向进行。

步骤S701：通过多层次图像块网络对若干层次的特征图提取对应层次的输出特征，计算得到对应层次的特征；

具体地，特征是机器学习系统的原材料，对最终的图像增强模型的影响是毋庸置疑的。当数据被很好的表达成了特征，那么图像增强模型模型就能达到满意的精度。

选择感兴趣的共L层的特征图，将其通过两层MLP网络H_l产生的特征为：

其中，

表示第l层输出特征，z_l表示第l层特征，l∈{1,2,3,…,L}，f表示原始数据集中的原始数据，H_l表示一个两层MLP网络。

步骤S702：基于噪声对比估计框架计算最大互信息及所述特征图的对应层次的特征，得到噪声对比估计修补函数；

具体地，噪声对比估计算法是一种统计模型估计方法，能够用来解决生成式对抗网络中的复杂计算问题。

通过噪声对比估计(NCE)框架计算最大互信息，生成噪声对比估计修补函数。

其中，s表示每层的patch数(s∈{1,2,3,…,S_l})，其中S_l表示第l层有S_l个空间位置，

表示NCE中正样本被选中的概率，

表示表示第l层里第s个patch对于的特征向量的维度为C_l，

G表示生成器，F表示原始数据集，H表示两层多层次图像块网络。

此时，增强图像

可以表示为：

表示第l层输出特征，f表示原始数据集中的原始数据。

通过对每一图像对进行计算，得到每一增强图像

组成增强数据集R。

步骤S703：基于所述对抗损失函数及所述噪声对比估计修补函数，计算得到总损失函数；

具体地，如果把生成器中的参数调整到完全满足任一图像对数据的输出误差为零，通常会令除当前图像对数据之外的任一图像对数据的误差变得更大，这样作为误差之和的损失函数值，就会变得更大。所以，根据任一图像对数据的误差调整权重后，计算图像对数据集的总损失函数值，来判定图像增强数据师傅已经训练到了可接受的状态。

那么，通过以上损失函数计算得到总损失函数

式中，R表示增强数据集，D表示判别器。

其中，根据计算速率需求，可以设定为：λ_F＝1，λ_R＝1或λ_F＝10，λ_R＝0。

步骤S704：基于梯度下降算法及所述总损失函数，计算得到第二参数；

具体地，本实施例中，根据需求，通过设定迭代次数，利用总损失函数

及Adam梯度下降算法得到第二参数(θ₁,θ₂,θ₃,…,θ_k)。

通过计算Adam梯度下降算法及总损失函数，可以减少震荡,大方向不变,从而保证了计算的效率和正确的收敛，且使用的内存相对较小。

步骤S705：将所述第二参数作为所述第一参数；并返回执行步骤：步骤S704，基于梯度下降算法及所述总损失函数，计算得到第二参数；

具体地，将上述的第二参数作为第一参数，并返回执行步骤S704，继续进行下一次的迭代，直到生成器中的第一参数收敛，得到迭代完毕后的第一参数。

步骤S706：以此循环，按预设的迭代次数进行参数迭代，直到迭代完毕，将所述第一参数作为所述第一计算结果。

依次循环，按预设的迭代次数进行参数迭代，直到迭代完毕，将迭代完毕后的第一参数作为第一计算结果，对图像增强模型进行训练并更新。

本实施例通过上述方案，具体通过向所述生成器输入所述图像对数据集，基于所述图像对数据集及分布函数的期望值，计算得到对抗损失函数；通过多层次图像块网络对若干层次的特征图提取对应层次的输出特征，计算得到对应层次的特征；基于噪声对比估计框架计算最大互信息及所述特征图的对应层次的特征，得到噪声对比估计修补函数；基于所述对抗损失函数及所述噪声对比估计修补函数，计算得到总损失函数；基于梯度下降算法及所述总损失函数，计算得到第二参数；将所述第二参数作为所述第一参数；并返回执行步骤：基于梯度下降算法及所述总损失函数，计算得到第二参数；以此循环，按预设的迭代次数进行参数迭代，直到迭代完毕，将所述第一参数作为所述第一计算结果。通过噪声对比估计算法计算总损失函数，可以解决生成式对抗网络网络中的复杂计算问题；通过梯度下降算法及所述总损失函数，保证了计算的效率和正确的收敛，且使用的内存相对较小。提高水下图像的实时处理以及大数据流的预处理能力，提升图像增强效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种图像增强方法，其特征在于，所述图像增强方法包括以下步骤：

获取待增强图像数据；

2.如权利要求1所述的图像增强方法，其特征在于，所述将所述待增强数据输入预先创建的图像增强模型中进行增强，得到增强后的数据的步骤之前还包括：

创建所述图像增强模型，具体包括：

获取原始数据集；

建立生成器；

建立判别器；

基于所述生成器及所述判别器，构建得到生成式对抗网络；

3.如权利要求2所述的图像增强方法，其特征在于，所述建立生成器的步骤之后还包括：

向所述生成器输入第一参数，将所述生成器进行初始化；

4.如权利要求3所述的图像增强方法，其特征在于，所述基于所述多尺度同态滤波标签、所述原始数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到所述图像增强模型的步骤包括：

5.如权利要求4所述的图像增强方法，其特征在于，所述基于所述多尺度同态滤波标签，对所述原始数据集中的数据进行增强，得到对应的增强数据集的步骤包括：

基于所述像素权重和及所述降噪项，计算得到反射图像；

6.如权利要求4所述的图像增强方法，其特征在于，所述基于所述原始数据集、所述增强数据集及所述伪增强数据集，对所述生成式对抗网络进行训练，得到训练后的生成式对抗网络的步骤包括：

结合所述判别结果训练并更新所述判别器；

结合所述第一计算结果训练并更新所述生成器；

7.如权利要求6所述的图像增强方法，其特征在于，所述向所述生成器输入所述图像对数据集，以供所述生成器对所述图像对数据集进行计算，得到第一计算结果的步骤包括：

基于梯度下降算法及所述总损失函数，计算得到第二参数；

8.一种图像增强装置，其特征在于，所述像数据增强装置包括：

获取模块，用于获取待增强图像数据；

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像增强程序，所述图像增强程序配置为实现如权利要求1至7中任一项所述的图像增强方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有图像增强程序，所述图像增强程序被处理器执行时实现如权利要求1至7中任一项所述的图像增强方法的步骤。