CN116684743A - 一种图像色彩的处理方法及装置 - Google Patents

Abstract

本申请提供一种图像色彩的处理方法，包括分别获取摄像模组对目标拍摄场景进行拍摄得到的待处理图像信号和阵列多光谱传感器模组对目标拍摄场景采集得到的陈列多光谱信号；基于阵列多光谱信号，确定场景频谱分布信息；基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。本申请通过利用阵列多光谱传感器感知场景频谱信息，引导成像通路进行更为精确的色彩标准化，后续的ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免重复调参。

Description

一种图像色彩的处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及图像色彩的处理方法及装置。

背景技术

图像信号处理(Image signal processor，ISP)在手机摄影中占据着重要地位。它旨在模仿人的视觉系统，把相机传感器记录的信号恢复成符合人眼对真实世界认知的图像。人眼对于色彩的判别尤为敏锐。为了能使成像系统呈现真实、正确的色彩，在实际工程中，需要根据特定型号的相机特性进行白平衡、色彩修正等相关ISP模块的调参。

由于终端设备迭代速度快、不同版本相机模组的响应各不相同，如何实现统一且准确的ISP色彩调整成为一个挑战。传统的专家调试方法必然导致繁琐的重复调参过程，浪费了人力与时间；对于色彩标准的主观评测也限制了准确性的提升、导致不同型号模组呈现的色彩难以统一。

发明内容

本申请的实施例提供一种图像色彩的处理方法及装置，实现对成像通路更加准确的色彩标准化，后续ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免重复调参。

第一方面，本申请提供了一种图像色彩的处理方法，包括获取摄像模组对目标拍摄场景进行拍摄得到的待处理图像信号和阵列多光谱传感器模组对目标拍摄场景采集得到的陈列多光谱信号；基于阵列多光谱信号，确定场景频谱分布信息，该场景频谱分布信息指示目标拍摄场景对应的频谱分布；基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。

本申请通过利用阵列多光谱传感器感知场景频谱信息，引导成像通路进行更为精确的色彩标准化，后续的ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免由于设备的不同而进行的多次调参。

可选的，可以通过神经网络模型的方式实现基于阵列多光谱信号确定场景频谱分布信息，例如，将阵列多光谱信号作为训练完成的神经网络模型的输入，输出场景频谱分布信息。也即训练完成的神经网络模型可以实现将阵列多光谱信号映射至场景频谱分布信息。

由于阵列多光谱传感器受成像机制限制，往往通道间响应混叠，场景信息需要被有效提取，例如提取场景频谱分布信息，以便于后续的色彩的标准化处理。

在一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一个具体实现为：将阵列多光谱信号作为第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。

在该可能的实现中，光源种类预测信息作为辅助确定场景频谱分布信息，可以有效区分歧义场景，例如不同光源种类下可能存在不同材质多光谱信号类似的情形，保证了场景频谱分布信息的准确性；同时通过第一分支网络和第二分支网络的并行计算可以高效快速实现场景频谱分布信息的确定。

可选的，第一分支网络包括浅层卷积神经网络，例如，浅层卷积神经网络对的输入层对输入的阵列多光谱信号进行空间下采样，卷积层对空间下采样后的数据进行卷积处理，最后输出光源种类概率分布，例如太阳光的概率为0.8、白炽灯的概率为0.2。

在一个示例中，光源种类包括太阳光、白炽灯、LED灯和荧光灯中的至少两种典型种类的光源。

在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络(fullyconvolutional networks，FCN)；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，第i-1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，K为大于1的正整数，i为正整数；将K个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。

在该可能的实现中，采用轻量化的FCN神经网络作为频谱预测网络，预测各个种类光源的频谱分布，保证了网络的轻量化，可以实现在终端上进行部署，降低对终端的计算资源的开销，同时根据局部信号相似性进行分组调优的方式实现了计算资源的合理分配。

在一个示例中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。

示例性的，分组单元先计算全局多光谱信号(也即阵列多光谱传感器模组采集到的所有像素的多光谱信号)的平均值，然后计算每个像素处的多光谱信号与全局多光谱信号的平均值间的相关性，根据相关性对每个像素处的多光谱信号进行排序，然后根据排序对阵列多光谱信号进行分组，分为K个组。例如，阵列多光谱信号进行排序后得到排序后的多光谱信号M，M ₁、M ₂…M _n，从M₁开始每n/k分为一个组，最后得到K个分组的多光谱信号，计算每个分组的多光谱信号的均值，然后将每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出对应像素分区(也即对应分组)的平均场景频谱分布，也即每个分组对应的各个种类光源的频谱分布。

在另一个可能的实现中，基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布的一种具体实现为：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。

在另一个可能的实现中，基于待处理图像信号和所述第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布的一种具体实现为：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。

在另一个可能的实现中，可以将阵列多光谱信息进行分区，逐分区的求解场景频谱分布信息，也即得到各个分区对应的场景频谱分布信息，然后根据各个分区对应的场景频谱分布信息，确定各个分区对应的第一标准色彩值分布。然后根据阵列多光谱信息的分区，对待处理图像信号也进行相应分区，将各个分区的待处理图像信号与相应的分区对应的第一标准色彩值分布进行拟合，得到各个分区的第二转换矩阵，再利用各个分区的第二转换矩阵将各个分区的图像信号转换至标准色彩空间，得到各个分区对应的第二标准色彩值分布。如此可以实现场景空间局部色彩的调优，从而避免场景中由于空间频谱分布差异大所造成的色彩偏移问题。

第二方面，本申请还提供一种图像色彩的处理装置，应用于摄像系统，摄像系统包括摄像模组和阵列多光谱传感器模组，该图像色彩的处理装置包括获取模块、第一确定模块、第二确定模块和第三确定模块，其中，获取模块用于获取待处理图像信号和陈列多光谱信号，待处理图像信号为摄像模组对目标拍摄场景进行拍摄得到的，阵列多光谱信号为阵列多光谱传感器模组对目标拍摄场景进行光谱信号采集得到；第一确定模块用于基于阵列多光谱信号，确定场景频谱分布信息，场景频谱分布信息指示目标拍摄场景对应的频谱分布；第二确定模块用于基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；第三确定模块用于基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。

在一个可能的实现中，第二确定模块具体用于：将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息。

在另一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一种具体实现为：将阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。

在另一个可能的实现中，第一分支网络包括浅层卷积神经网络。

在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络；将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，第i-1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，K为大于1的正整数，i为正整数；将K个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。

在另一个可能的实现中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。

在另一个可能的实现中，第二确定模块具体用于：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。

在另一个可能的实现中，第三确定模块具体用于：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。

在另一个可能的实现中，场景频谱分布信息包括阵列多光谱信号的多个像素分区的场景频谱分布信息；第二确定模块具体用于：基于多个像素分区中各个像素分区的场景频谱分布信息，确定各个像素分区对应的第一标准色彩值分布；第三确定模块具体用于：基于各个像素分区对应的待处理图像信号和各个像素分区的第一标准色彩值分布，确定待处理图像信号的各个像素分区对应的第二标准色彩值分布；基于待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定待处理图像信号对应的第二标准色彩值分布。

第三方面，本申请还提供一种终端设备，包括摄像模组、阵列多光谱传感器模组、存储器和处理器，摄像模组用于对目标拍摄场景进行拍摄得到图像信号；阵列多光谱传感器模组用于对目标拍摄场景进行光谱信号采集得到阵列多光谱信号；存储器中存储有可执行代码，处理器执行可执行代码，实现第一方面所述的方法。

第四方面，本申请提供了一种计算机存储介质，包括计算机指令，当计算机指令在被处理器执行时，使得第一方面所述的方法被实现。

第五方面，本申请提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括指令，当该指令执行时，令计算机执行第一方面所述的方法。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

图1为示意图混合光源下拍摄得到的图像示意图；

图2示出了一种应用本申请实施例提供的图像色彩的处理方法的手机的示意图；

图3示出了图2所示的手机应用了本申请实施例提供的图像色彩的处理方法之后，对图像信号的处理过程示意图；

图4示出了图3所示的阵列多光谱信号引导的标准色彩空间转换的一种具体实现的示意图；

图5示出了一种场景分区平均反射谱求解的具体实现示意图；

图6示出了本申请实施例提供的一种图像色彩的处理方法的流程示意图；

图7为一种9通道的阵列多光谱器件响应曲线示意图；

图8为一种适配后的光源种类粗预测网络的示意图；

图9示出了在四类典型光源下，不同方法的预测的颜色标准值与标准色彩真值之间计算的deltaE误差分布图

图10为本申请实施例提供的一种图像色彩的处理装置的结构示意图；

图11为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

为了更好的介绍本申请的实施例，下面先对本申请实施例中的相关概念进行介绍。

阵列多光谱器件：具有N>3个通道响应，且具有空间分辨率的图像传感器。

单点多光谱器件：具有N>3个通道响应，只能对某一空间点处测量的图像传感器。

CIE-XYZ空间：国际照明委员会(CIE)于1931年定义的标准色彩空间。

同色异谱：两个由多种不同波长的光混合而成的光源可以表现出同样的颜色。

针对现有中存在的问题，亟需一种自动化且精确的模块将设备相关的传感器信号转换到与设备无关的标准空间(例如CIE-XYZ空间)，则后续的ISP模块仅需要在该标准空间下进行一次统一调参，从而保证颜色通路的准确与一致性。

目前工程上采用的色彩处理算法大多依赖于三通道相机记录的信号。由于三通道信息有限且互相混叠，受同色异谱现象影响，算法难以感知真实的场景频谱分布从而进行准确优化。例如，对于大面积纯色场景，成像效果容易出现整体偏色。此外，当前算法仅对于图片色彩进行全局调整。当拍摄场景中存在显著色彩分布差异，如混合光源(参见图1)、色彩差异显著的场景等，算法无法兼顾不同空间细节从而导致局部偏色。因此，准确且具备空间局部调优能力的色彩调整模块尤为重要。

为了解决上述问题，相关技术中考虑了多种方案，例如，第一种方案为：基于三色相机的色彩标准化方案。该方案的思路是针对某一下游任务采用一个3×3转换矩阵对齐不同传感器的颜色统计信息分布，从而实现对该任务的设备无关参数。示例性的，将两相机信号转换到histo-uv统计空间中，利用简单的卷积神经网络学习两色彩分布图之间的转换矩阵，并将其嵌入到下游光源学习任务之前进行端到端训练。

但是该方案存在着，基于三色相机和低维转换矩阵的标准化精度上限低，对于同色异谱场景容易产生较大转换误差；同时，端到端优化使得该方案的有效性与下游任务强相关，难以保证所有色彩处理模块均保证与设备无关。

第二种方案为：基于单点多光谱器件的色彩处理方案。该方案引入单点多光谱器件以辅助系统精确地感知场景平均光源信息，从而对主成像通路颜色进行全局修正。示例性的，利用AMS单点多光谱器件具有多通道窄带响应，经过通道间简单的线性插值可以得到近似的场景平均反射谱，可以通过解耦光源信息来辅助白平衡等相关模块的调整。单点多光谱器件丰富的普带信息消除了同色异谱现象带来的歧义场景，因此色彩准确度有显著提升。

但是该方案中，单点多光谱器件无法对场景不同空间信息进行差异性感知，对于混合光源、色彩差异显著的场景无法实现局部调优。

针对上述问题，本申请实施例提供一种图像色彩的处理方法，利用阵列多光谱器件的空间和多通道信息，对局部场景进行色彩感知，进而对成像通路进行准确的色彩标准化引导。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

本申请实施例提供的图像色彩的处理方法，可以应用于任意具有拍摄功能的终端设备，终端设备包括但不限于手机、平板电脑、笔记本电脑、智慧屏、相机等。

应用本申请实施例提供的图像色彩的处理方法的终端设备，能够避免产品迭代带来的ISP重复调参以及有效解决混色场景色彩不准的问题，从而显著降低产品开发难度，提升拍摄图像的色彩还原准确性。

下面以终端设备为手机举例，介绍本申请实施例提供的图像色彩的处理方法。

图2示出了一种应用本申请实施例提供的图像色彩的处理方法的手机的示意图。如图2所示，手机20包括摄像模组21和阵列多光谱传感器模组22。在手机的摄像系统中增加阵列多光谱传感器模组，通过阵列多光谱传感器模组22采集到的拍摄场景的阵列多光谱信号，辅助引导对摄像模组21采集到的图像信号的色彩处理，得到图像信号在标准色彩空间中的标准色彩值分布，根据标准色彩值分布对图像信号进行参数调整，例如白平衡和色彩修正等参数的调整，使得最终输出的图像色彩更加接近被摄场景的真实色彩，提高成片图像的色准。

摄像模组21可以包括一个或多个摄像模组，例如主摄模组、超广角模组和长焦模组等中的一个或多个。

可以理解的是，图2仅仅为可应用本申请实施例提供图像色彩处理方法的手机的一种示例，并不构成限制。例如，摄像模组21和阵列多光谱传感器模组22可以分别独立设置，或者，阵列多光谱传感器模组22可以集成于摄像模组21中设置。

摄像模组21的图像传感器可以为具有RGB三通道的RGB图像传感器，也可以为其他非常规的图像传感器器，例如具有RYYB等非常规颜色通道的图像传感器。

下文以摄像模组21的图像传感器为RGB图像传感器为例，介绍本申请实施例提供的图像色彩的处理方法的详细实现。

用户触发手机的相机对目标场景进行拍摄后，手机上的RGB传感器生成当前拍摄场景的原图(也即未经处理的图像信号，也可称之为待处理的图像信号)。同时，手机上的阵列多光谱传感器采集拍摄场景的阵列多光谱信号，根据阵列多光谱信号计算得到场景频谱分布信息，根据场景频谱分布信息进行计算进一步得到阵列多光谱信号在标准色彩空间中的标准色彩值分布，该标准色彩值分布辅助引导成像通路中对原图的色彩修正，得到成像通路的标准色彩值分布，根据对成像通路的标准色彩值分布进行白平衡和色彩修正后，手机最终输出的图像的色彩更加接近被拍摄场景的真实色彩，提高图像的色彩准确度。

图3示出了图2所示的手机应用了本申请实施例提供的图像色彩的处理方法之后，对图像信号的处理过程示意图。

如图3所示，本申请实施例增加了阵列多光谱信号引导的标准色彩空间转换流程，将阵列多光谱传感器采集到的阵列多光谱信号输入至场景频谱分布求解模块进行求解，得到阵列多光谱信号对应的场景频谱分布，然后再基于求解得到的场景频谱分布计算得到将阵列多光谱信号转换到标准色彩空间得到的标准色彩值分布XYZ`。采用将RGB图像传感器采集到的RGB图像信号与标准色彩值分布XYZ`进行拟合，根据拟合结果将RGB图像信号转换至标准色彩空间得到标准色彩值分布XYZ。也就是说，阵列多光谱分支求解得到的标准色彩值分布XYZ`，引导主成像通路的RGB图像信号转换到标准色彩空间，实现更加准确色彩修正。

场景频谱分布求解模块克服了阵列多光谱传感器器件响应混叠的问题，通过两路间(即阵列多光谱支路和RGB主成像通路)共享场景频谱分布为媒介实现多光谱支路对主成像通路色彩引导的方式，不必严格要求两传感器(即RGB图像传感器和阵列多光谱传感器)间像素级对齐，增加对色彩修正的准确性。

由于阵列光谱传感器可以感知到拍摄场景的空间多光谱信息，因此，场景频谱分布求解模块可以求解拍摄场景各个局部场景的频谱分布，也即求解阵列多光谱信号各个像素分区的场景频谱分布，相应的根据各个分区的场景频谱分布求解各个分区的标准色彩值分布XYZ`，进而RGB图像信号的各个像素分区与各个分区的标准色彩值分布XYZ`进行拟合，得到转换矩阵T，进而根据转换矩阵T求得各个分区的RGB图像信号的标准色彩值分布XYZ。如此，分区域对主成像通路拟合转换矩阵T的方式等效实现了高阶优化，增强了图像的色彩修正能力。

在经过阵列多光谱信号引导的标准色彩空间转换流程对RGB图像信号和阵列多光谱信号的处理得到RGB图像信号的标准色彩值分布XYZ之后，ISP处理流程在RGB图像信号的标准色彩值分布XYZ的基础上进行ISP处理阶段的参数调整，例如包括自动白平衡(autowhite balance，AWB)参数调整、色彩矫正(color correction，CC)参数调整等，经过ISP处理调参后的信号再经信号输出处理即可输出色彩准确的图片。

可以理解的是，场景频谱分布是指拍摄场景中各个物体辐射或反射的光信号被阵列多光谱传感器采集到，反映各个像素点的频谱分布，拍摄场景中一般的多为反射的光信号，因此有时场景频谱分布也可称之为场景反射谱，下文中的场景反射谱也可以理解为场景频谱分布的含义。

图4示出了图3所示的阵列多光谱信号引导的标准色彩空间转换的一种具体实现的示意图。如图4所示，阵列多光谱支路由阵列多光谱信号计算求解各个像素分区的分区平均场景反射谱，根据计算得到的分区平均场景反射谱在标准色卡上拟合得到[N*3]高维色彩转换矩阵，然后通过高维色彩转换矩阵将各个分区的多光谱信号转换到标准色彩空间，得到标准色彩值分布XYZ`，随后，主成像通路的对应各个分区的RGB图像信号在对应的标准色彩值分布XYZ`进行最小二乘拟合得到RGB图像信号各个分区的[3*3]色彩转换矩阵，通过各个分区的[3*3]色彩转换矩阵将各个分区的RGB图像信号转换至标准色彩空间，得到RGB图像信号对应的各个分区的标准色彩值分布XYZ，最终得到RGB图像的标准色彩。

可选的，可以通过神经网络模型的方式求解场景反射谱，例如，通过训练集训练得到训练完成的分区平均反射谱求解网络，训练完成的分区平均反射谱求解网络可以实现将阵列多光谱信号各个像素分区的信号映射至各个分区的平均反射谱。

图5示出了一种场景分区平均反射谱求解的具体实现示意图。如图5所示，场景频谱分布求解可以通过多个支路并行计算，增加求解计算的速度。例如，神经网络模型包括光源种类预测分支网络和反射谱线预测分支网络。光源种类预测分支网络用于预测光源种类，反射谱线预测分支网络用于预测各个光源种类的反射谱线。

示例性的，光源种类预测分支网络采用浅层卷积神经网络从下采样阵列多光谱信号中预测光源种类的概率分布。

在阵列多光谱信号输入反射谱线预测分支网络之前要进行预处理，例如分组处理，也就是说阵列多光谱信号先在分组单元中进行分组处理，再将分组处理后的数据输入至反射谱线预测分支网络，预测各个分组的反射谱线。

可选的，光源种类包括太阳光、白炽灯、LED灯和荧光灯中的至少两种典型种类的光源。例如光源种类包括太阳光、白炽灯、LED灯和荧光灯。当然在一些其他示例中，光源种类可以包括更多或更少的光源种类，例如钨丝灯、闪光灯等，本申请实施例对此不进行限定。

例如，先统计计算阵列多光谱信号的全局平均值，然后计算阵列多光谱单元各像素处的多光谱信号与全局平均值间的相关性，然后根据相关性对各像素的多光谱信号进行排序，根据排序对阵列多光谱信号进行分组，分为K个组。例如有100个像素的阵列多光谱信号，K为5，则按照相关性进行排序，根据排序顺序每20个为一组，分为5组。然后计算每个组的多光谱信号的平均值，将每个组的平均值作为反射谱线预测分支网络的输入，反射谱线预测分支网络从局部统计信息中回归各个区域的平均反射谱。

将光源种类的概率作为求和加权权重，根据该求和加权权重和各个分组的各类光源的反射谱线加权求和计算得到分组反射谱，也即局部反射谱。

可选的，反射谱线预测分支网络可以为轻量化全连接FCN神经网络。

在一些其他示例中，分组处理也可以作为反射谱线预测分支网络的一部分，在阵列多光谱信号输入神经网络之前对数据进行分组处理。

从局部平均多光谱信号由FCN网络预测谱线的方式保证了神经网络的轻量化；光源种类预测辅助使得在该小计算量设计下也可有效区分歧义场景(例如不同光源种类下可能存在不同材质多光谱信号类似的情形)，保证了预测精度；而根据局部信号相似性分组调优的方式实现了计算资源的合理分配，以及通过并行计算可以高效快速实现分区优化。

图6示出了本申请实施例提供的一种图像色彩的处理方法的流程示意图。该方法可以应用于图2所示的手机，以及任意具有拍摄功能的终端上。如图6所示，该方法至少包括步骤S601至步骤S604。

在步骤S601中，获取待处理图像信号和阵列多光谱信号。

触发终端设备的拍摄功能，例如手机的拍摄功能，对拍摄场景进行拍摄，触发拍摄按键(虚拟按键或物理实体按键不限)，摄像模组中的RGB图像传感器生成各个像素的RGB值，得到待处理图像信号。例如，针对每个像素，RGB图像传感器将该像素接收到的光线的强度转换为该像素对应颜色通道的色彩值，将周围像素对应的颜色通道的色彩值作为该像素其他颜色通道的色彩值，从而得到该像素的RGB值，所有RGB图像传感器上的所有像素的RGB值构成了待处理图像信号。

按下拍摄按键的同时，阵列多光谱传感器感知拍摄场景的阵列多光谱信号。

在步骤S602中，基于阵列多光谱信号，确定场景频谱分布信息。

基于阵列多光谱信号，确定场景频谱分布信息的方法可以参见上文描述，为了简洁这里不再赘述。

可以将阵列多光谱信号进行划分，得到多个分区的多光谱信号，计算各个分区的场景频谱分布信息，根据各个分区的场景频谱分布信息可以对阵列多光谱信号的局部进行色彩调优，也即对阵列多光谱信号原始图像的局部色彩调优。局部是指全部图像像素的部分像素，图像的局部色彩调优指局部图像的色彩调优。

在步骤S603中，基于场景频谱分布信息，确定阵列多光谱信号对应的第一标准色彩值分布。

该步骤的具体实现，可以参见上文描述，为了简洁，这里不再赘述。

可选的，可以根据各个分区的场景频谱分布信息，逐分区的确定各个分区的标准色彩值分布XYZ`，实现局部色彩调优。

在步骤S604中，基于待处理图像信号和第一标准色彩值分布，确定待处理图像信号对应的第二标准色彩值分布。

该步骤的具体实现，可以参见上文描述，为了简洁，这里不再赘述。

通过上述步骤将待处理的图像信号映射至标准色彩空间，得到标准色彩值分布XYZ，后续的ISP处理流程在RGB图像信号的标准色彩值分布XYZ的基础上进行ISP处理阶段的参数调整，例如包括AWB参数调整、CC/CA参数调整等，最终输出色彩准确的图片。

本申请实施例提供的图像色彩的处理方法的一种具体实现流程步骤如下：

步骤1：对输入N通道的阵列多光谱信号进行空间下采样，输入光源种类预测分支网络中，输出光源种类概率分布；

步骤2：将输入阵列多光谱信号进行分区统计：计算各像素处多光谱信号与全局平均值间的相关性，排序分为K组，计算组内所包含像素的信号平均值。

步骤3：根据分区平均统计结果，进行局部平均反射谱预测并计算对应标准色彩XYZ`。

步骤3-1：对于每个分组，将组内的信号均值输入轻量化全连接FCN神经网络，回归对应区域的平均场景反射谱。

步骤3-2：各组预测的平均反射谱谱线为所回归的各类光源的反射谱线与预测的对应光源概率加权之和。

步骤3-3：对于每个分组，利用预测的局部场景反射谱在标准色卡上拟合[N*3]高维色彩转换矩阵，结合原多光谱信号得到对应的标准色彩值XYZ`。

重复步骤1-3，直至K组平均反射谱计算完成，即图片中每个像素均有对应计算的标准色彩值XYZ`。

步骤4：将主成像信号分区，通过最小二乘将颜色拟合到大致对应的XYZ`，得到对应分区[3*3]转换矩阵，从而获取主成像通路对应的XYZ。

下面以9通道阵列多光谱器件辅助华为手机主摄为例，介绍本申请实施例提供的图像色彩的处理方法中阵列多光谱信号引导的标准色彩空间转换流程、以及场景频谱分布求解模块-分区平均反射谱求解网络，实现对主摄图像色彩的有效引导。

由图7所示的该阵列多光谱器件响应曲线可看出，该阵列多光谱器件的9通道间信号混叠严重。图8为适配后的光源种类粗预测网络。其接收通道数为9的输入，采用五层Conv-ReLU结构，特征通道数分别为64，128，256，64，33，前四层采用stride＝2以扩大网络感受野。卷积网络所输出的特征图最后一个通道被用作注意力图，其余32个通道经过后续卷积以减少通道数至4(代表太阳光SUN、白炽灯A、LED、荧光灯TL84四类典型光源的概率)。最终预测的概率分布为注意力图与输出4通道特征图的乘积。反射谱回归网络采用六层全连接结构，接收通道数为9的输入，特征通道数分别为16，64，128，256，256，301，输出反射谱线型对应波长范围为400-1000间隔2nm。

可以采用本申请实施例提供的图像色彩的处理方法对所有的RGB图像信号进行色彩处理，以使保证输出的图片中的所有像素的色彩的准确性。在另一个示例中，也可以仅对感兴趣区域的RGB图像信号执行本申请实施例提供的图像色彩的处理方法，保证输出的图片中感兴趣区域的像素的色彩的准确性，降低计算开销。例如，在人脸模式中，感兴趣区域为人脸区域，则仅对人脸区域的RGB图像信号执行本申请实施例提供的图像色彩的处理方法，得到人脸色彩准确的图片。

下面对采用本申请实施例提供的图像色彩的处理方法处理得到的图像进行验证。

在空间光源单一均匀、混合光源(空间不均匀分布至少两种色温/种类的不同光源)情况下，基于公开反射率数据集KAUST对本发明的效果进行了验证。

比较对象：

仅依据RGB主摄信号进行色彩标准化：流程框架不变，网络输入改为三通道RGB相机信号进行色彩标准化引导；

依据单点多光谱器件进行色彩标准化：流程框架不变，使用窄带单点多光谱器件进行色彩标准化引导；

表一为在KAUST数据集、空间均匀光源下的测试结果。

表一

表二为在KAUST数据集、空间混合光源下的测试结果。

表二

表一和表二披露了本申请实施例提供的图像色彩的处理方法在KAUST数据集上的效果。针对本申请实施例方案给出了对比单点多光谱方案在deltaE、RMSE和PSNR等指标上的提升百分比。可以看出，即使在空间均匀光源下(表1)，本申请实施例提供的图像色彩的处理方法可以显著提升色彩标准化精度。当空间光源非均匀时(表2)，本申请实施例提供的图像色彩的处理方法对色彩标准化的精确度收益更为显著。

图9示出了在四类典型光源下，不同方法的预测的颜色标准值与标准色彩真值之间计算的deltaE误差分布图。可以看出，本申请实施例所提方案能够对空间区域实现无差别的准确色彩标准化。

与前述方法实施例基于相同的构思，本申请实施例中还提供了一种图像色彩的处理装置1000，该图像色彩的处理装置1000包括用以实现图3至图6所示的方法中由终端设备的所执行的各个步骤的单元或手段。

图10为本申请实施例提供的一种图像色彩的处理装置的结构示意图。该图像色彩的处理装置可以应用于任意具有摄像模组和阵列多光谱传感器模组的终端设备上，终端设备包括但不限于手机、平板电脑、笔记本电脑、智慧屏、相机等，实现提升拍摄图像的色彩还原准确性。

如图10所示，该图像色彩的处理装置1000至少包括获取模块1001、第一确定模块1002、第二确定模块1003和第三确定模块1004，其中，获取模块1001用于获取待处理图像信号和陈列多光谱信号，待处理图像信号为摄像模组对目标拍摄场景进行拍摄得到的，阵列多光谱信号为阵列多光谱传感器模组对目标拍摄场景进行光谱信号采集得到；第一确定模块1002用于基于阵列多光谱信号，确定场景频谱分布信息，场景频谱分布信息指示目标拍摄场景对应的频谱分布；第二确定模块1003用于基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；第三确定模块1004用于基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。

在一个可能的实现中，第二确定模块1003具体用于：将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息。

在另一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一种具体实现为：将阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。

在另一个可能的实现中，第一分支网络包括浅层卷积神经网络。

在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络；将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，第i-1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，K为大于1的正整数，i为正整数；将K个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。

在另一个可能的实现中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。

在另一个可能的实现中，第二确定模块1003具体用于：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。

在另一个可能的实现中，第三确定模块1004具体用于：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。

在另一个可能的实现中，场景频谱分布信息包括阵列多光谱信号的多个像素分区的场景频谱分布信息；第二确定模块1003具体用于：基于多个像素分区中各个像素分区的场景频谱分布信息，确定各个像素分区对应的第一标准色彩值分布；第三确定模块1004具体用于：基于各个像素分区对应的待处理图像信号和各个像素分区的第一标准色彩值分布，确定待处理图像信号的各个像素分区对应的第二标准色彩值分布；基于待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定待处理图像信号对应的第二标准色彩值分布。

根据本发明实施例的图像色彩的处理装置1000可对应于执行本申请实施例中描述的方法，并且图像色彩的处理装置1000中的各个模块的上述和其它操作和/或功能分别为了实现图3至图6中的各个方法的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例提及的“模块”可以通过软件和/或硬件形式实现，本申请实施例对此不作限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专用处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

与前述的方法的实施例基于相同的构思，本申请实施例中还提供了一种终端设备，该终端设备至少包括处理器和存储器，存储器上存储有程序，处理器该程序时，可以实现图3-6所示的方法中的各个步骤的单元或模块。

图11为本申请实施例提供的一种终端设备的结构示意图。

如图11所示，所述终端设备1100包括至少一个处理器1101、存储器1102、通信接口1103、RGB图像传感器1104和阵列多光谱传感器1105。其中，处理器1101、存储器1102和通信接口1103通信连接，可以通过有线(例如总线)的方式实现通信连接，也可以通过无线的方式实现通信连接。该通信接口1103用于接收RGB图像传感器1104和阵列多光谱传感器1105发送的数据信号；存储器1102存储有计算机指令，处理器1101执行该计算机指令，执行前述方法实施例中的方法。

应理解，在本申请实施例中，该处理器1101可以是中央处理单元CPU，该处理器1101还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。

该存储器1102可以包括只读存储器和随机存取存储器，并向处理器1101提供指令和数据。存储器1102还可以包括非易失性随机存取存储器。

该存储器1102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。

应理解，根据本申请实施例的终端设备1100可以执行实现本申请实施例中图3-6所示方法，该方法实现的详细描述参见上文，为了简洁，在此不再赘述。

本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机指令在被处理器执行时，使得上文提及的方法被实现。

本申请的实施例提供了一种芯片，该芯片包括至少一个处理器和接口，所述至少一个处理器通过所述接口确定程序指令或者数据；该至少一个处理器用于执行所述程序指令，以实现上文提及的方法。

本申请的实施例提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括指令，当该指令执行时，令计算机执行上文提及的方法。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种图像色彩的处理方法，其特征在于，应用于摄像系统，所述摄像系统包括摄像模组和阵列多光谱传感器模组，所述方法包括：

获取待处理图像信号和陈列多光谱信号，所述待处理图像信号为所述摄像模组对目标拍摄场景进行拍摄得到的，所述阵列多光谱信号为所述阵列多光谱传感器模组对所述目标拍摄场景进行光谱信号采集得到；

基于所述阵列多光谱信号，确定场景频谱分布信息，所述场景频谱分布信息指示所述目标拍摄场景对应的频谱分布；

基于所述场景频谱分布信息，确定所述阵列多光谱信号对应的第一标准色彩值分布；

基于所述待处理图像信号和所述第一标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布，所述第二标准色彩值分布用于作为对所述待处理图像信号进行色彩参数调整的依据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述阵列多光谱信号，确定场景频谱分布信息，包括：

将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括第一分支网络和第二分支网络；

所述将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息，包括：

将所述阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；

将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布；

所述神经网络模型的输入层对所述光源种类概率分布和所述各个种类光源的频谱分布做加权处理，输出所述场景频谱分布信息。

4.根据权利要求3所述的方法，其特征在于，所述第一分支网络包括浅层卷积神经网络。

5.根据权利要求3或4所述的方法，其特征在于，所述第二分支网络包括分组单元和全卷积神经网络；

所述将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布，包括：

在分组单元中对所述阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，所述第i-1组中的多光谱信号与全局多光谱信号的相关性大于所述第i组的多光谱信号与所述全局多光谱信号的相关性，K为大于1的正整数，i为正整数；

将所述K个分组中每个分组的多光谱信号的均值作为所述全卷积神经网络的输入，输出所述每个分组的多光谱信号对应的所述各个种类光源的频谱分布。

6.根据权利要求5所述的方法，其特征在于，所述每个分组的多光谱信号与所述全局多光谱信号的相关性，基于所述每个分组的多光谱信号与所述阵列多光谱信号的平均值的内积确定。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述场景频谱分布，确定所述阵列多光谱信号对应的第一标准色彩值分布，包括：

将所述场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；

基于所述第一转换矩阵将所述阵列多光谱信号转换至标准色彩空间，得到所述第一标准色彩值分布。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述待处理图像信号和所述第一标准色彩值，确定所述待处理图像信号对应的第二标准色彩值分布，包括：

将所述待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；

基于所述第二转换矩阵将所述待处理图像信号转换至标准色彩空间，得到所述第二标准色彩值分布。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述场景频谱分布信息包括所述阵列多光谱信号的多个像素分区的场景频谱分布信息；

所述基于所述场景频谱分布信息，确定所述阵列多光谱信号对应的第一标准色彩值分布，包括：

基于所述多个像素分区中各个像素分区的场景频谱分布信息，确定所述各个像素分区对应的第一标准色彩值分布；

所述基于所述待处理图像信号和所述第一标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布，包括：

基于所述各个像素分区对应的所述待处理图像信号和所述各个像素分区的第一标准色彩值分布，确定所述待处理图像信号的各个像素分区对应的第二标准色彩值分布；

基于所述待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布。

10.一种图像色彩的处理装置，其特征在于，应用于摄像系统，所述摄像系统包括摄像模组和阵列多光谱传感器模组，所述装置包括：

获取模块，用于获取待处理图像信号和陈列多光谱信号，所述待处理图像信号为所述摄像模组对目标拍摄场景进行拍摄得到的，所述阵列多光谱信号为所述阵列多光谱传感器模组对所述目标拍摄场景进行光谱信号采集得到；

第一确定模块，用于基于所述阵列多光谱信号，确定场景频谱分布信息，所述场景频谱分布信息指示所述目标拍摄场景对应的频谱分布；

第二确定模块，用于基于所述场景频谱分布，确定所述阵列多光谱信号对应的第一标准色彩值分布；

第三确定模块，用于基于所述待处理图像信号和所述第一标准色彩值，确定所述待处理图像信号对应的第二标准色彩值分布，所述第二标准色彩值分布用于作为对所述待处理图像信号进行色彩参数调整的依据。

11.根据权利要求10所述的装置，其特征在于，所述第二确定模块具体用于：

将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息。

12.根据权利要求11所述的装置，其特征在于，所述神经网络模型包括第一分支网络和第二分支网络；

所述将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息，包括：

将所述阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；

将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布；

所述神经网络模型的输入层对所述光源种类概率分布和所述各个种类光源的频谱分布做加权处理，输出所述场景频谱分布信息。

13.根据权利要求12所述的装置，其特征在于，所述第一分支网络包括浅层卷积神经网络。

14.根据权利要求12或13所述的装置，其特征在于，所述第二分支网络包括分组单元和全卷积神经网络；

所述将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布，包括：

在分组单元中对所述阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，所述第i-1组中的多光谱信号与全局多光谱信号的相关性大于所述第i组的多光谱信号与所述全局多光谱信号的相关性，K为大于1的正整数，i为正整数；

将所述K个分组中每个分组的多光谱信号的均值作为所述全卷积神经网络的输入，输出所述每个分组的多光谱信号对应的所述各个种类光源的频谱分布。

15.根据权利要求14所述的装置，其特征在于，所述每个分组的多光谱信号与所述全局多光谱信号的相关性，基于所述每个分组的多光谱信号与所述阵列多光谱信号的平均值的内积确定。

16.根据权利要求10-15任一项所述的装置，其特征在于，所述第二确定模块具体用于：

将所述场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；

基于所述第一转换矩阵将所述阵列多光谱信号转换至标准色彩空间，得到所述第一标准色彩值分布。

17.根据权利要求10-16任一项所述的装置，其特征在于，所述第三确定模块具体用于：

将所述待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；

基于所述第二转换矩阵将所述待处理图像信号转换至标准色彩空间，得到所述第二标准色彩值分布。

18.根据权利要求10-17任一项所述的装置，其特征在于，所述场景频谱分布信息包括所述阵列多光谱信号的多个像素分区的场景频谱分布信息；

所述第二确定模块具体用于：

基于所述多个像素分区中各个像素分区的场景频谱分布信息，确定所述各个像素分区对应的第一标准色彩值分布；

所述第三确定模块具体用于：

基于所述各个像素分区对应的所述待处理图像信号和所述各个像素分区的第一标准色彩值分布，确定所述待处理图像信号的各个像素分区对应的第二标准色彩值分布；

基于所述待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布。

19.一种终端设备，包括摄像模组、阵列多光谱传感器模组、存储器和处理器，其特征在于，

所述摄像模组用于对目标拍摄场景进行拍摄得到图像信号；

所述阵列多光谱传感器模组用于对所述目标拍摄场景进行光谱信号采集得到阵列多光谱信号；

所述存储器中存储有可执行代码，所述处理器执行所述可执行代码，实现权利要求1-9任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9任一项所述的方法。