CN112991371B - 一种基于着色溢出约束的图像自动着色方法及系统 - Google Patents

Abstract

本发明涉及一种基于着色溢出约束的图像自动着色方法及系统。该方法包括：获取多张原始彩色图像；将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。本发明能够达到完整着色效果。

Description

一种基于着色溢出约束的图像自动着色方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种基于着色溢出约束的图像自动着色方法及系统。

背景技术

作为图像处理的一种手段，为灰度图像补充彩色信息，可以获得更佳的观赏效果与体验。对画家来说，灰度图像着色是一项简单的任务，可以轻松地为灰度图像着色，例如蓝色的海洋和红色的太阳。只要使用正常生活场景的颜色常识，着色对象就可以是多种模式的。自然着色的图像是人类最现实的写照，包括漫画行业的图像着色，可以使人和场景更加生动，并提高人们对其的欣赏度。随着社会着色需求的提高，对于图像的自动着色技术的要求也越来越高，因此图像着色技术对于人类的生活应用以及相关产业的发展有着重要的应用价值和研究意义。

通常，图像着色的问题集中在着色区域的准确性和颜色选择的合理性上。为了解决这些问题，已经开发了大量算法。它们可以分为三类方法：基于用户指导的辅助着色方法，用户手动在需要着色的区域进行标记来以此获取着色来源并且颜色会自动在空间中分布；基于参考图像的自动着色方法，根据参考图像中类别的颜色以及相近的区域来进行着色；全自动着色方法，通过大量的训练数据来为着色图像提供参考。

对于第一种基于用户指导的辅助着色方法，需要人为的干预来完成着色，着色的准确性与人为标注的准确性息息相关。Levin提出了一种基于该方法优化的框架，但仅限于具有相似强度的相邻像素才能保持相似的颜色，不适用于较大范围的应用。Sykora提出了一种基于图形切割的优化框架，具有灵活的手绘卡通着色风格，该工具易于应用各种绘画风格，但是并没有考虑边缘信息来进行着色工作，因此，这些方法的结果自然会导致颜色边界溢出。为了防止对象的颜色边界溢出，Huang通过应用自适应边缘检测改进了该方法，从而确保了色彩传输的完整性。换言之，这类方法依赖于用户标注着色区域的精度，容易造成颜色错误、混乱的结果。

对于第二种基于参考图像的自动着色方法，需要根据参考图像中的颜色信息传递到目标图像中。Welsh提出了一种基于参考颜色直方图进行着色的方法。也有一些方法通过计算输入图像和参考图像的颜色统计量，然后建立映射功能以将参考图像的颜色分布映射到输入图像，例如一些颜色转移技术。与第一种方法相比，减少了着色错误的可能，但仍需要提供着色对应的参考图像，在实际工作中比较耗时。

对于第三种全自动着色方法。在反向传播出现之后，神经网络已开始用于多种任务，而且卷积神经网络模型也已成功应用于各个领域，也包括图像着色。全自动着色方法吸引了大量研究工作者的投入，Lizuka提出了一种基于全局和局部图像的自动着色方法，它通过训练一个大型数据集来完成分类任务，并利用该特征对灰度图像进行着色。Larsson使用卷积神经网络模型预测灰度图像中每个像素的颜色直方图，这种方法通常会生成合适的着色图像，实际上与原始图像的颜色相比，结果是不一致的。

随着生成对抗网络(Generative Adversarial Networks，GAN)的出现，替换了许多基于CNN领域的应用。与CNN模型相比，生成对抗网络的图像翻译工作在图像着色任务中将更加有效，并且与输入图像越接近，学习映射效果就越好。Zhu等人工作中，GAN网络模型包括一个基于John的生成器和一个判别器PatchGAN，ResNet体系结构充当转换网络生成以输入为条件的图像，后在相似的场景或角色中成功地在未配对的图像之间进行转换。该方法特别适合于图像着色，它可以在该模型的相似场景或动作中着色，但是，先前提出的自动着色方法没有针对着色边缘进行实现容易导致着色效果溢出，无法达到完整着色的效果，着色效果差。

发明内容

本发明的目的是提供一种基于着色溢出约束的图像自动着色方法及系统，以解决现有的自动着色方法易导致着色效果溢出，无法达到完整着色的效果，着色效果差的问题。

为实现上述目的，本发明提供了如下方案：

一种基于着色溢出约束的图像自动着色方法，包括：

获取多张原始彩色图像；

将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；

将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；

根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。

可选的，所述获取多张原始彩色图像，之后还包括：

将所述原始彩色图像进行处理，生成尺寸为256×256×3的原始彩色图像；所述尺寸256×256×3分别为所述原始彩色图像的宽度像素值、长度像素值以及通道数量。

可选的，所述将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像，具体包括：

将所述灰度图像以及所述线条图像输入至所述双通道生成器内的特征提取器中进行三次卷积，生成卷积后的灰度图像特征图以及卷积后的线条图像特征图；

融合所述卷积后的灰度图像特征图以及所述卷积后的线条图像特征图，生成特征融合后图像；

将所述特征融合后图像内的灰度特征以及线条特征输入至所述双通道生成器内的特征转换器中，转换为颜色特征；

根据所述颜色特征生成预测彩色图像。

可选的，所述根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型，具体包括：

根据所述预测彩色图像以及所述原始彩色图像构建单向映射损失函数，并基于所述单向映射损失函数调整所述预测彩色图像，生成色调调整后的彩色图像；

提取所述预测彩色图像的预测彩色图像特征以及所述原始彩色图像的原始彩色图像特征，并根据所述预测彩色图像特征生成预测彩色图像Gram矩阵以及根据所述原始彩色图像特征生成原始彩色图像Gram矩阵；

根据所述预测彩色图像Gram矩阵以及所述原始彩色图像Gram矩阵计算风格损失函数，并根据所述风格损失函数调整所述色调调整后的彩色图像，生成风格调整后的彩色图像；

基于对抗损失函数，将所述风格调整后的彩色图像以及所述原始彩色图像输入至判别器中，判断所述风格调整后的彩色图像与所述原始彩色图像的相似度是否大于相似度阈值；

若是，确定所述双通道生成器为训练好后的图像自动着色模型；

若否，建立循环损失函数，并基于所述循环损失函数使所述第一生成器从所述原始彩色图像中学习得到颜色映射，直至所述风格调整后的彩色图像与所述原始彩色图像的相似度大于相似度阈值。

可选的，所述单向映射损失函数为：

L_uml(G)＝E[||y₁-y||₁]；其中，L_uml为预测彩色图像y₁和彩色图像y的期望值；y₁为预测彩色图像；y为原始彩色图像；E为期望函数；||||₁为预测彩色图像y₁和彩色图像y的均值的绝对值。

可选的，所述风格损失函数为：

其中，L_style为风格损失函数；i为所述双通道生成器的第i层；/>为预测彩色图像Gram矩阵；G(x，z)为以灰度图像x为第一输入，线条图像z为第二输入，经过所述双通道生成器生成的预测彩色图像；所述/>为原始彩色图像Gram矩阵；Φ表示所述双通道生成器第i层的特征图。

可选的，所述循环损失函数为：

其中，L_cyc为循环损失函数，G为生成预测彩色图像的第一生成器；F为生成灰度图像的第二生成器；为第一循环(x,z)→y₁→x₂的期望函数；/>为第二循环y→x₁然后(x₁,z)→y₂的期望函数；P_data为数据分布；F(G(x,z))为第一循环重建的灰度图像x₂；G(F(y),z)为第二循环重建的彩色图像y₂，F(y)为第二生成器的预测灰度图像x₁。

可选的，所述对抗损失函数为：

其中，L_GAN(G,D_Y,X,Y,Z)为对抗损失函数；Dy为判别器概率判定；X为灰度图像整体数据集；Y为线条图像整体数据集；Z为原始彩色图像整体数据集；D_Y(G(x,z))为初次生成的预测彩色图像的判定结果；D_Y(y)为对原始彩色图像y的判定结果。

一种基于着色溢出约束的图像自动着色系统，包括：

原始彩色图像获取模块，用于获取多张原始彩色图像；

原始彩色图像转换模块，用于将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；

预测彩色图像生成模块，用于将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；

图像自动着色模型构建模块，用于根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。

可选的，所述图像自动着色模型具体包括依次连接的特征提取阶段、特征融合阶段、特征转换阶段、上采样计算阶段、激活层以及输出层；

所述特征提取阶段包括两条输入通道，一条输入通道用于输入灰色图像，另一条输入通道用于输入线条图像；每条输入通道包括三层卷积层；

所述特征融合阶段用于融合卷积后的灰度图像特征图以及卷积后的线条图像特征图，生成特征融合后图像；

所述特征转换阶段包括4个密集连接的DenseNet块；

所述上采样计算阶段包括两个上采样层以及一个卷积块。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于着色溢出约束的图像自动着色方法及系统，利用双通道生成器，采用双通道输入模式有助于将线条特征来作为灰度图像着色的约束，防止着色溢出，本发明添加了结合颜色特征的线条特征来约束边界以构建图像自动着色模型，避免了着色过程中边缘溢出的问题，达到了完整着色的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于着色溢出约束的图像自动着色方法流程图；

图2为本发明所提供的双通道生成器网络结构示意图；

图3为本发明所提供的判别器网络结构示意图；

图4为本发明所提供的在不同参数的循环映射下的效果对比图；

图5为本发明与Zhu et.al，Isola et.al，Harrish et.al和Yoo et.al在数据集上测试的效果对比图；

图6为本发明所提供的基于着色溢出约束的图像自动着色系统结构图；

图7为本发明所提供的基于着色溢出约束的图像自动着色方法的整个网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于着色溢出约束的图像自动着色方法及系统，能够达到完整着色效果。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的基于着色溢出约束的图像自动着色方法流程图，如图1所示，一种基于着色溢出约束的图像自动着色方法，包括：

步骤101：获取多张原始彩色图像。

为了训练着色模型，选取大量的彩色图像处理得到尺寸为256×256×3的图像，分别对应图片宽度，高度和通道数量，颜色模式为RGB。

并将每张彩色图像转换为对应的灰度图像以及通过边缘检测算法转换为对应的线条图像，最后将灰度图像x，彩色图像y和线条图像z分别匹配作为本发明的训练数据集。

步骤102：将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像。

步骤103：将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像。

所述步骤103具体包括：将所述灰度图像以及所述线条图像输入至所述双通道生成器内的特征提取器中进行三次卷积，生成卷积后的灰度图像特征图以及卷积后的线条图像特征图；融合所述卷积后的灰度图像特征图以及所述卷积后的线条图像特征图，生成特征融合后图像；将所述特征融合后图像内的灰度特征以及线条特征输入至所述双通道生成器内的特征转换器中，转换为颜色特征；根据所述颜色特征生成预测彩色图像。

所述根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型，具体包括：根据所述预测彩色图像以及所述原始彩色图像构建单向映射损失函数，并基于所述单向映射损失函数调整所述预测彩色图像，使得所述预测彩色图像与所述原始彩色图像的色调一致，生成色调调整后的彩色图像；提取所述预测彩色图像的预测彩色图像特征以及所述原始彩色图像的原始彩色图像特征，并根据所述预测彩色图像特征生成预测彩色图像Gram矩阵以及根据所述原始彩色图像特征生成原始彩色图像Gram矩阵；根据所述预测彩色图像Gram矩阵以及所述原始彩色图像Gram矩阵计算风格损失函数，并根据所述风格损失函数调整所述色调调整后的彩色图像，使得所述色调调整后的彩色图像与所述原始彩色图像的风格一致，生成风格调整后的彩色图像；基于对抗损失函数，将所述风格调整后的彩色图像以及所述原始彩色图像输入至判别器中，如图3所示，判断所述风格调整后的彩色图像与所述原始彩色图像的相似度是否大于相似度阈值；若是，确定所述双通道生成器为训练好后的图像自动着色模型；若否，建立循环损失函数，并基于所述循环损失函数使所述第一生成器从所述原始彩色图像中学习得到颜色映射，直至所述风格调整后的彩色图像与所述原始彩色图像的相似度大于相似度阈值。

将彩色图像y作为输入，输入至双通道生成器中构成循环模式(第一循环为用第一生成器灰度图像转换为彩色图像再利用第二生成器重建灰度图像的循环过程，(x,z)→y₁→x₂；第二循环为第二生成器将彩色图像转换为灰度图像再用第一生成器重建彩色图像的循环过程y→x₁→y₂)，生成对应的灰度图像x₁。

步骤104：根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。

图像自动着色模型的执行过程如下：将训练数据集中的灰度图像x和对应的线条图像z分别作为本发明的图像自动着色模型的输入并执行特征提取阶段、特征融合阶段、特征转换阶段以及上采样计算阶段，最终生成出对应的彩色图像。

具体步骤如下：

特征提取阶段：

特征提取阶段由三个卷积块组成，将灰度图像x与线条图像z映射为生成的彩色图像y₁作为第一生成器，将两条支路的灰度图像x和线条图像z作为生成器的输入进入到特征提取器中进行三次卷积，卷积通道依次为32、64、128，再分别对两条卷积支路得到的特征图进行现有的实例归一化处理，另外为了加快训练速度对归一化处理后的特征图进行了现有的Relu激活函数操作，公式为f(x)＝max(0，x)，x指所述归一化处理后的特征图，经过运算后得到处理后的灰度图像特征图和线条图像特征图。

特征融合阶段：

如图2所示的生成器，跳跃连接为标示的concat部分，特征叠加为两支路之间的加号部分，特征融合阶段由两个跳跃式连接和特征叠加构成，将两支路的卷积层的输入与上采样层进行跳跃连接，并且将两条支路的特征提取层的输出进行叠加来得到特征融合的结果。

特征转换阶段：

本发明的特征转换阶段由DenseNet组成，表示为每一层的输入都与前面所有层的输出有关联，即密集连接。如图2所示的DenseNet部分，每个卷积层都会与前面的所有卷积层在通道上密集连接在一起。

将特征融合后的结果进入到第一生成器的特征转换器之中，由灰度和线条特征转换为相对应位置的颜色特征。其计算公式如下：

f_l＝H_l([f₀，f₁，...，f_l-1])

其中，H_l代表的是非线性转换函数，该函数由批量归一化，Relu激活函数，以及3×3卷积操作组合而来。f₀，f₁和f_1-1分别表示特征转换器中第一个、第二个和第1-1个卷积层的特征，f₁是特征转换阶段的输出。

上采样计算阶段：

反卷积包括两个上采样和一个卷积块，与现有的反卷积模块相同根据数据流动顺序依次对应图2命名为deconv1，deconv2和output的部分。

每一层输出大小通道数、长和宽依次为64*128*128，32*256*256的特征图，再通过concat进行特征拼接，最后一层通过长度和宽度为256但通道数为3的卷积，经过Relu层的Tanh激活函数，得到3*256*256的彩色图像y₁。

为了保证生成图像y₁有更好的细节处理以及同真实彩色图像y一致的色调信息，本发明拟在这两者之间建立映射关系，使彩色图像y对生成图像y₁再次进行映射信息指导，让生成的预测彩色图像y₁自动进行一些细微调整，命名此计算过程为单向映射损失。将上采样计算后生成的彩色图像y₁与彩色图像y进行对比，计算单向映射损失函数，表示为：

L_uml(G)＝E[||y₁-y||₁]

其中，y₁表示生成的预测彩色图像，y表示步骤1的彩色图像，E代表的是期望函数。L_uml表示生成的彩色图像y₁和彩色图像y的期望值，用于衡量两者色调的一致性，该函数结果通过现有反向传播的方式来优化y₁特征图的分布，约束其分布尽量与y特征图的分布保持一致，直至该函数损失收敛。

Gram矩阵是由在n维欧式空间中任意的k个(k≤n)向量两两向量相互内积组成的，内积的数值越大，则表示相关关系越大，向量之间也就越相似。在计算机视觉的领域中，Gram矩阵常用于把握图像的整体风格，被大量地用于图像风格迁移的工作中作为风格特征损失，以两个图像的Gram矩阵的差异最小化为优化目标，不断调整基线图像，使其风格接近。在本发明中，图像彩色化本质上是一种风格迁移任务，因此将添加此风格损失来计算生成图像与真实图像特征图的Gram矩阵的距离，并通过不断优化该损失的差值使其最小化，鼓励在颜色风格上与真实图像的风格相似，目的是保证生成图像的色调风格与真实图像的色调风格保持一致。

利用预测彩色图像y₁与原始彩色图像y提取特征，组成Gram矩阵进行对比，计算style损失函数，style损失函数表示为：

其中，L_style表示style损失函数，i表示网络的第i层，G’表示格拉姆(Gram)矩阵，Φ表示网络第i层的特征图。该损失函数表示生成的彩色图像y₁风格特征和彩色图像y风格特征的期望值，用于衡量两者风格的相关性，该函数结果通过现有反向传播的方式来优化y₁风格特征即Gram矩阵，约束其矩阵与y的Gram矩阵的距离最小化，直至该函数损失收敛，则表示两者风格保持一致。

该损失函数结果由y₁和y的Gram矩阵之间的距离确定的，距离的大小由的期望值E来衡量。距离越大，期望值越大，L_style越大，则表示两者的风格相关性越大，反之亦然。所得到的L_style通过现有反向传播的方式来优化y₁的Gram矩阵，使其矩阵与y的Gram矩阵的距离接近，L_style值缩小直至训练一段时间后L_style值保持不变而稳定，则表示两者风格保持一致。

基于HingeLoss损失函数作为现有的GAN的对抗损失，主要是为了训练生成器和判别器之间的博弈效果，通过反向传播的方式来优化生成器与判别器的系数，让对抗损失最小化，最终达到两者的动态平衡。损失函数表示为：

其中，L_GAN表示对抗损失，E表示期望，P_data表示数据分布，无实质意义，第一部分为x和z作为输入，第二部分为y作为输入。D_y表示判别器概率判定，为1则表示为真，为0则表示为假，G(x,z)即是生成的彩色图像y₁，x和z分别表示输入的灰度图像和线条图像，y表示彩色图像。该损失函数为现有的GAN都使用的对抗损失函数。主要是为了训练生成器和判别器之间的博弈效果，第一部分的E_x,z即是判别器对生成器生成效果的鉴别，第二部分的E_y是判别器对原始彩色图像的鉴别，这两个E的结果越接近1表示效果越好，同时它们相加的结果为L_GAN即表示对抗损失函数。所得的E_x,z和E_y通过现有反向传播的方式来分别优化生成器的生成效果和判别器的判别效果，使其对应的期望值E接近1，直至训练一段时间后对抗损失函数结果L_GAN保持不变而稳定，则表示生成器和判别器达到动态平衡。

将循环重建的灰度图像x₂与步骤一的图像x进行对比；反之，将循环重建的彩色图像y₂与彩色图像y进行对比。计算他们的期望损失，表示为：

其中，L_cyc表示为循环损失函数。F表示为第二个生成器循环重建的灰度图像x₂，该函数结果L_CYC由重建的图像和真实图像之间的差值确定的，差值的大小期望值来衡量。差值越大，期望值越大，L_CYC越大，则表示重建图像与真实图像的效果差距越大。所得到的L_cyc通过现有的反向传播方式来优化重建图像的分布，使其与真实图像的分布接近，L_cyc值缩小直至训练一段时间后L_cyc值保持不变而稳定，即表示重建图像与真实图像接近，这一循环模式得以顺利进行。

该函数主要用于保证循环模式的进行，使得重建的图像与真实图像接近。并随着循环模式的正确运行来最小化该循环损失函数。

将训练过程按照预设的周期进行训练。通过现有的反向传播技术来让生成的预测彩色图像y₁与对应的步骤一的彩色图像y进行对应，利用现有的梯度下降优化算法迭代优化损失函数，得到最小化的损失函数，使得预测的彩色图像效果一步步接近原始彩色图像效果，在完成预设训练的次数后，则获得最终模型，其中，在优化过程中，对抗损失函数值，单向映射损失值，风格损失值以及对抗损失值都是越小越好。

在获得的最终模型中，通过灰度图像x和线条图像z的输入，获得着色质量较佳的彩色图像y₁，完成图像着色。

以具体图像为例，具体步骤如下：

步骤1：为了训练着色模型，选取onepiece大量的高清动漫彩色图像，然后使用Opencv以每秒12帧的速度导出图像序列，删除数据集中过于撕裂和夸张的图像，尽可能多地显示同一个人和相同衣服的图片，以便生成器可以了解准确的分布，经过处理得到尺寸为256×256×3的图像，分别对应图片宽度，高度和通道。并将这些RGB图像通过去色方法转换为对应的灰度图像以及通过Canny边缘检测算法转换为对应的线条图像，最后将灰度图像x，原始彩色图像y和线条图像z分别匹配作为本方法的训练数据集。

步骤2：在本发明的图像自动着色模型训练过程如下：

灰度图像与线条图像作为输入进入图2所示的生成器中通过三层卷积获取图像特征图，并将两者特征图通过叠加的方式进行融合，融合后的特征图进入到由Densenet组成的转换器中，将融合后的特征图转换为具有彩色图像特征信息的特征图，将转换后的特征图经过上采样计算阶段获得生成的彩色图像，最后将生成的彩色图像与真实彩色图像建立单向映射损失函数，函数的结果是衡量生成彩色图像与真实彩色图像的色调相关性，函数越小表示两者的色调越一致，并将该函数结果通过现有反向传播的方式来优化生成彩色图像特征图的分布，使其分布尽可能地接近真实彩色图像的分布，风格特征损失函数类同，使两者的风格特征分布尽可能地保持一致，最后将优化的生成的彩色图像进入判别器进行真伪判别，通过对抗损失的结果以反向传播的方式使对抗损失的结果最小化来让生成器和判别器达到平衡，最终完成训练过程。本发明的图像自动着色模型的执行过程如下：将训练数据集中的灰度图像x和对应的线条图像z分别作为本发明的图像自动着色模型的输入并执行特征提取阶段、特征融合阶段、特征转换阶段以及上采样计算阶段，最终生成出对应的彩色图像，步骤2具体包括以下步骤：

步骤2.1：特征提取阶段

特征提取阶段由三个卷积块组成，第一个卷积层的卷积核为7×7大小，步长为1，其余两个卷积层的卷积核为3×3大小，步长为2。将灰度图像x与线条图像z映射为彩色图像y作为第一生成器，将两条支路的灰度图像x和线条图像z作为生成器的输入进入到特征提取器中进行三次卷积，卷积通道依次为32、64、128，现有的实例归一化处理，另外为了加快训练速度对归一化处理后的特征图进行了现有的Relu激活函数操作，公式为f(x)＝max(0，x)，经过运算后得到处理后的灰度图像特征图和线条图像特征图。

先前提出的自动着色方法没有针对着色边缘进行实现容易导致着色效果溢出，本发明的双通道输入模式有助于将线条特征来作为灰度图像着色的约束，防止着色溢出，达到完整着色的效果。

步骤2.2：特征融合阶段

如图2所示的生成器，跳跃连接为标示的concat部分，特征叠加为两支路之间的加号部分。特征融合阶段由两个跳跃式连接和特征叠加构成，通过跳跃连接将两支路的卷积层的输入与上采样层进行连接，可以在提取特征的过程中保留更多的特征信息，并且将线条支路输出的线条特征叠加到第一条灰度图像支路的特征中来得到特征融合的结果。

步骤2.3：特征转换阶段

本发明的特征转换阶段由DenseNet组成，表示为每一层的输入都与前面所有层的输出有关联，即密集连接。如图2所示的DenseNet部分，每个卷积层都会与前面的所有卷积层在通道上密集连接在一起。DenseNet可以减少梯度的消失并增强特征传递能力。将特征融合后的结果进入到生成器的特征转换器之中，由灰度和线条特征转换为相对应位置的颜色特征。其计算公式如下：

f_l＝H_l([f₀，f₁，...，f_l-1]) (1)

其中，H_l代表的是非线性转换函数，该函数由批量归一化，Relu激活函数，以及3×3卷积操作组合而来。f₀，f₁和f_1-1分别表示特征转换器中第一个、第二个和第1-1个卷积层的特征，f₁是特征转换阶段的输出，如公式(1)所示，DenseNet将模块相互连接，可以获得更多浅层信息，提高了模块之间的信息流耦合能力。

步骤2.4：上采样计算阶段

上采样计算阶段由两个上采样和一个卷积块组成，与现有的反卷积模块相同根据数据流动顺序依次对应图2命名为deconvl，deconv2和0utput的部分。每一层输出大小通道数、长和宽依次为64*128*128，32*256*256的特征图，再通过concat进行特征拼接，最后一层通过长度和宽度为256但通道数为3的卷积，经过Relu层的Tanh激活函数，得到3*256*256的预测彩色图像y₁。

步骤3：将彩色图像y映射为灰度图像的作为第二生成器，将彩色图像作为输入，重复步骤2，即来构成循环模式(第一循环为用第一生成器灰度图像转换为彩色图像再利用第二生成器重建灰度图像的循环过程，(x，z)→y₁→x₂；第二循环为第二生成器将彩色图像转换为灰度图像再用第一生成器重建彩色图像的循环过程y→x₁→y₂)，生成对应的灰度图像x₁；目的是为了提取彩色图像的颜色信息加入到训练阶段，使得第一个生成器能获得此颜色信息来进行图像着色。

步骤4：为了保证生成的预测彩色图像y₁有更好的细节处理以及同真实彩色图像y一致的色调信息，本发明拟在这两者之间建立映射关系，使原始彩色图像y对生成的预测彩色图像y₁再次进行映射信息指导，让生成的预测彩色图像y₁自动进行一些细微调整，命名此计算过程为单向映射损失。利用步骤2.4将上采样计算后生成的预测彩色图像y₁与原始彩色图像y进行对比，计算单向映射损失函数，表示为：

L_uml(G)＝E[||y₁-y||₁] (2)

其中，y₁表示生成的的预测彩色图像，y表示原始图像，E代表的是期望函数。将原始彩色图像y以及对应生成的的预测彩色图像y₁进行差异性比较，用数学期望来度量两者的差异，以此约束重建图像根据原图进行适量的小改动，进一步保证了图像的生成质量。L_uml表示生成的预测彩色图像y₁和原始彩色图像y的期望值，用于衡量两者色调的一致性，该函数结果通过现有反向传播的方式来优化y₁特征图的分布，约束其分布尽量与y特征图的分布保持一致，直至该函数损失收敛。

本发明的单向映射损失函数能够保证生成图像有更好的细节处理与一致的色调信息。先前的方法虽然很好保留了彩色图像的颜色信息，但是容易造成颜色信息中色调的差异，而单向映射损失函数拟在重建图像与彩色图像之间建立映射关系，使彩色图像对重建图像再次进行映射信息指导，让重建图像自动进行一些细微调整。

步骤5：Gram矩阵是由在n维欧式空间中任意的k个(k≤n)向量两两向量相互内积组成的，内积的数值越大，则表示相关关系越大，向量之间也就越相似。在计算机视觉的领域中，Gram矩阵常用于把握图像的整体风格，被大量地用于图像风格迁移的工作中作为风格特征损失，以两个图像的Gram矩阵的差异最小化为优化目标，不断调整基线图像，使其风格接近。在本发明中，图像彩色化本质上是一种风格迁移任务，因此将添加此风格损失来计算生成图像与真实图像特征图的Gram矩阵的距离，并通过不断优化该损失的差值使其最小化，鼓励在颜色风格上与真实图像的风格相似，目的是保证生成图像的色调风格与真实图像的色调风格保持一致。利用步骤2.4生成的彩色图像y1与步骤1的彩色图像y提取特征，组成Gram矩阵进行对比，计算style损失函数，style损失函数表示为：

其中，L_style表示风格损失函数，i表示网络的第i层，G’表示格拉姆矩阵，Φ表示网络第i层的特征图。该损失函数表示生成的预测彩色图像y1风格特征和原始彩色图像y风格特征的期望值，用于衡量两者风格的相关性，该函数结果通过现有反向传播的方式来优化y1风格特征即Gram矩阵，约束其矩阵与y的Gram矩阵的距离最小化，直至该函数损失收敛，则表示两者风格保持一致，风格损失函数使用的是在ImageNet上训练好的VGG19网络，提取的层数为2_2，3_4，4_4，5_2。

步骤6：基于HingeLoss损失函数作为现有的GAN的对抗损失，损失函数表示为：

该损失函数为现有的GAN都使用的对抗损失函数。主要是为了训练生成器和判别器之间的博弈效果，通过反向传播的方式来优化生成器与判别器的系数，让对抗损失最小化，最终达到两者的动态平衡。其中L_GAN表示对抗损失，E表示期望，第一部分的期望表示判别器对生成的彩色图像y₁的判定，越接近1表示越真实，第二部分的期望表示判别器对真实图像y的判定，自然也是期望接近最大值1。P_data表示数据分布，无实质意义，第一部分为x和z作为输入，第二部分为y作为输入。损失函数可以表示为在数据P的分布情况下的期望值；D_y表示判别器概率判定，为1则表示为真，为0则表示为假，G(x,z)即是生成的彩色图像y₁，x和z分别表示输入的灰度图像和线条图像，y表示原始彩色图像。

步骤7：将循环重建的灰度图像x₂与步骤一的图像x进行对比；反之，将循环重建的彩色图像y₂与原始彩色图像y进行对比。计算他们的期望损失，表示为：

其中，L_cyc表示为循环损失函数。F表示为第二个生成器循环重建的灰度图像x₂，该函数主要用于保证循环模式的进行，使得重建的图像与真实图像接近。并随着循环模式的正确运行来最小化该循环损失函数。公式的第一部分表示经过生成的彩色图像重建的灰度图像x₂与灰度图像x的对比。第二部分/>则表示经过生成的灰度图像重建的彩色图像y2与原始彩色图像y的对比，两个期望函数在循环损失函数中的权重分别为15和10。两部分组成循环一致对抗网络，提供特征信息进行互相转换，图4为本发明所提供的在不同参数的循环映射下的效果对比图。

步骤8：将训练过程按照预设的周期进行训练。通过现有的反向传播技术来让生成的彩色图像y₁与对应的步骤一的彩色图像y进行对应，利用现有的梯度下降优化算法来优化参数，在完成预设训练的次数后，则获得最终模型。

步骤9：在获得的最终模型中，通过灰度图像x和线条图像z的输入，获得着色质量较佳的预测彩色图像y₁，完成图像着色。

本发明采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)，结构相似性(Structural Similarity Index，SSIM)和弗雷谢起始距离(Fréchet inceptiondistance，FID)来衡量图像的着想性能。PSNR是一种评价图像质量的客观标准，PSNR值越高表示失真越小，图像质量越好。SSIM是从图像亮度，对比度和结构三方面进行度量图像的相似性，SSIM值越高，相似度越高，图像质量越好。FID表示的是生成图像的特征向量与真实图像的特征向量之间的距离，FID值越小，表示该距离越近，生成图像效果就越好。比较结果如表一所示。

表1为本发明与现有技术在三个评价指标下(PSNR，SSIM，FID)的比较结果表，如表1所示。

表1

从表1中可以看出，本发明在PSNR值和SSIM值中都比现有技术要高，图像质量较好，同时FID值最低表示效果最佳，图5为本发明与Zhu et.al，Isola et.al，Harrish et.al和Yoo et.al在数据集上测试的效果对比图，其中，α为第一循环的比重，β为第二循环的比重，Zhu et.al所表示的方法为“Unpaired image-to-image translationusing cycle-consistent adversarialnetworks”中的方法，Isola et.al所表示的方法为“Image-to-image translationwith conditional adversarialnetworks”中的方法，Harrish et.al所表示的方法为“Automatic temporally coherentvideo colorization”，Yoo et.al所表示的方法为“Coloring WithLimitedData:Few-Shot ColorizationviaMemory-AugmentedNetworks”。由此可见，本发明的图像着色效果使用以上技术方案，较这些方面在图像自动着色效果上有显著提高。

图6为本发明所提供的基于着色溢出约束的图像自动着色系统结构图，如图6所示，一种基于着色溢出约束的图像自动着色系统，包括：

原始彩色图像获取模块601，用于获取多张原始彩色图像。

原始彩色图像转换模块602，用于将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像。

预测彩色图像生成模块603，用于将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像。

图像自动着色模型构建模块604，用于根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。

所述图像自动着色模型具体包括依次连接的特征提取阶段、特征融合阶段、特征转换阶段、上采样计算阶段、激活层以及输出层；所述特征提取阶段包括两条输入通道，一条输入通道用于输入灰色图像，另一条输入通道用于输入线条图像；每条输入通道包括三层步长为2的卷积层，卷积通道数量依次为32、64、128个；所述特征融合阶段用于融合卷积后的灰度图像特征图以及卷积后的线条图像特征图，生成特征融合后图像；所述特征转换阶段包括4个密集连接的DenseNet块；所述上采样计算阶段包括两个上采样层以及一个卷积块。

图7为本发明所提供的基于着色溢出约束的图像自动着色方法的整个网络结构示意图，如图7所示，本发明采用双通道模型的循环生成对抗网络来从一张灰度图像中构建出与原始彩色图像相对应的图像，使得像原始彩色图像一样逼真。本发明结合了线条特征来约束着色溢出以及单向映射损失保持色调一致的思想，保证了更好的着色效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于着色溢出约束的图像自动着色方法，其特征在于，包括：

获取多张原始彩色图像；

将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；

将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；

根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色；所述图像自动着色模型具体包括依次连接的特征提取阶段、特征融合阶段、特征转换阶段、上采样计算阶段、激活层以及输出层；所述特征提取阶段包括两条输入通道，一条输入通道用于输入灰色图像，另一条输入通道用于输入线条图像；每条输入通道包括三层卷积层；

特征融合阶段：

生成器的跳跃连接为concat部分，特征叠加为两支路之间的加号部分，特征融合阶段由两个跳跃式连接和特征叠加构成，通过跳跃连接将两支路的卷积层的输入与上采样层进行连接，并且将线条支路输出的线条特征叠加到第一灰度图像支路的特征中来得到特征融合的结果；

特征转换阶段：

特征转换阶段由DenseNet组成，表示为每一层的输入都与前面所有层的输出有关联，即密集连接；DenseNet部分中每个卷积层都会与前面的所有卷积层在通道上密集连接在一起；将特征融合后的结果进入到第一生成器的特征转换器之中，由灰度和线条特征转换为相对应位置的颜色特征；

上采样计算阶段：

反卷积包括两个上采样和一个卷积块；每一层输出大小通道数、长和宽依次为64*128*128，32*256*256的特征图，再通过concat进行特征拼接，最后一层通过长度和宽度为256但通道数为3的卷积，经过Relu层的Tanh激活函数，得到3*256*256的预测彩色图像y₁。

2.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述获取多张原始彩色图像，之后还包括：

将所述原始彩色图像进行处理，生成尺寸为256×256×3的原始彩色图像；所述尺寸256×256×3分别为所述原始彩色图像的宽度像素值、长度像素值以及通道数量。

3.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像，具体包括：

将所述灰度图像以及所述线条图像输入至所述双通道生成器内的特征提取器中进行三次卷积，生成卷积后的灰度图像特征图以及卷积后的线条图像特征图；

融合所述卷积后的灰度图像特征图以及所述卷积后的线条图像特征图，生成特征融合后图像；

将所述特征融合后图像内的灰度特征以及线条特征输入至所述双通道生成器内的特征转换器中，转换为颜色特征；

特征转换阶段的计算公式如下：

f_l＝H_l([f₀,f₁,...,f_l-1])

其中，H_l代表的是非线性转换函数，该函数由批量归一化，Relu激活函数，以及3×3卷积操作组合而来；f₀，f₁和f_l-1分别表示特征转换器中第一个、第二个和第l-1个卷积层的特征，f_l是特征转换阶段的输出；

根据所述颜色特征生成预测彩色图像。

4.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型，具体包括：

根据所述预测彩色图像以及所述原始彩色图像构建单向映射损失函数，并基于所述单向映射损失函数调整所述预测彩色图像，生成色调调整后的彩色图像；

提取所述预测彩色图像的预测彩色图像特征以及所述原始彩色图像的原始彩色图像特征，并根据所述预测彩色图像特征生成预测彩色图像Gram矩阵以及根据所述原始彩色图像特征生成原始彩色图像Gram矩阵；

根据所述预测彩色图像Gram矩阵以及所述原始彩色图像Gram矩阵计算风格损失函数，并根据所述风格损失函数调整所述色调调整后的彩色图像，生成风格调整后的彩色图像；

基于对抗损失函数，将所述风格调整后的彩色图像以及所述原始彩色图像输入至判别器中，判断所述风格调整后的彩色图像与所述原始彩色图像的相似度是否大于相似度阈值；

若是，确定所述双通道生成器为训练好后的图像自动着色模型；

若否，建立循环损失函数，并基于所述循环损失函数使第一生成器从所述原始彩色图像中学习得到颜色映射，直至所述风格调整后的彩色图像与所述原始彩色图像的相似度大于相似度阈值。

5.根据权利要求4所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述单向映射损失函数为：

L_uml(G)＝E[||y₁-y||₁]；其中，L_uml为预测彩色图像y₁和原始彩色图像y的期望值；y₁为预测彩色图像；y为原始彩色图像；E为期望函数；|| ||₁为预测彩色图像y₁和原始彩色图像y的均值的绝对值；G为生成预测彩色图像的第一生成器。

6.根据权利要求5所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述风格损失函数为：

其中，L_style为风格损失函数；i为所述双通道生成器的第i层；/>为预测彩色图像Gram矩阵；G(x,z)为以灰度图像x为第一输入，线条图像z为第二输入，经过所述双通道生成器生成的预测彩色图像；所述/>为原始彩色图像Gram矩阵；Φ表示所述双通道生成器第i层的特征图。

7.根据权利要求6所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述循环损失函数为：

其中，L_cyc为循环损失函数，G为生成预测彩色图像的第一生成器；F为生成灰度图像的第二生成器；/>为第一循环(x,z)→y₁→x₂的期望函数；/>为第二循环y→x₁→y₂的期望函数；P_data为数据分布；F(G(x,z))为第一循环重建的灰度图像x₂；G(F(y),z)为第二循环重建的彩色图像y₂，F(y)为第二生成器的预测灰度图像x₁。

8.根据权利要求7所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述对抗损失函数为：

；其中，L_GAN(G,D_Y,X,Y,Z)为对抗损失函数；D_Y为判别器概率判定；X为灰度图像整体数据集；Y为线条图像整体数据集；Z为原始彩色图像整体数据集；D_Y(G(x,z))为初次生成的预测彩色图像的判定结果；D_Y(y)为对原始彩色图像y的判定结果。

9.一种基于着色溢出约束的图像自动着色系统，其特征在于，包括：

原始彩色图像获取模块，用于获取多张原始彩色图像；

原始彩色图像转换模块，用于将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；

预测彩色图像生成模块，用于将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；

图像自动着色模型构建模块，用于根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色；所述图像自动着色模型具体包括依次连接的特征提取阶段、特征融合阶段、特征转换阶段、上采样计算阶段、激活层以及输出层；所述特征提取阶段包括两条输入通道，一条输入通道用于输入灰色图像，另一条输入通道用于输入线条图像；每条输入通道包括三层卷积层；

特征融合阶段：

生成器的跳跃连接为concat部分，特征叠加为两支路之间的加号部分，特征融合阶段由两个跳跃式连接和特征叠加构成，通过跳跃连接将两支路的卷积层的输入与上采样层进行连接，并且将线条支路输出的线条特征叠加到第一灰度图像支路的特征中来得到特征融合的结果；

特征转换阶段：

特征转换阶段由DenseNet组成，表示为每一层的输入都与前面所有层的输出有关联，即密集连接；DenseNet部分中每个卷积层都会与前面的所有卷积层在通道上密集连接在一起；将特征融合后的结果进入到第一生成器的特征转换器之中，由灰度和线条特征转换为相对应位置的颜色特征；

上采样计算阶段：

反卷积包括两个上采样和一个卷积块；每一层输出大小通道数、长和宽依次为64*128*128，32*256*256的特征图，再通过concat进行特征拼接，最后一层通过长度和宽度为256但通道数为3的卷积，经过Relu层的Tanh激活函数，得到3*256*256的预测彩色图像y₁。