CN115471571A

CN115471571A - 标定方法、图像处理方法、装置、存储介质与电子设备

Info

Publication number: CN115471571A
Application number: CN202211069561.8A
Authority: CN
Inventors: 孙凯
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2022-12-13

Abstract

本公开提供一种标定方法、图像处理方法、装置、存储介质与电子设备，涉及计算机视觉技术领域。该标定方法包括：获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据；根据第一图像确定K个光源在第一平面中的投影位置，以得到K个第一位置；基于Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置；利用K个第一位置和K个第二位置之间的映射关系，确定第一平面与第二平面之间的标定参数。本公开实现了图像传感器与光谱传感器阵列之间的精确标定。

Description

标定方法、图像处理方法、装置、存储介质与电子设备

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种标定方法、图像处理方法、装置、计算机可读存储介质与电子设备。

背景技术

随着传感器的发展，在一些拍摄场景中，可能同时使用图像传感器与光谱传感器来进行拍摄与信息采集，图像传感器用于拍摄图像，光谱传感器用于检测光谱数据。通过结合图像数据与光谱数据，能够得到更加丰富的信息。

然而，图像传感器与光谱传感器一般会存在视差，导致难以在空间层面上将图像数据与光谱数据进行对应，给两种数据的结合带来困难。

发明内容

本公开提供了一种标定方法、图像处理方法、标定装置、图像处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决无法将图像数据与光谱数据进行对应的问题。

根据本公开的第一方面，提供一种标定方法，包括：获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的所述场景中的Z个检测区域的第一光谱数据；所述光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；根据所述第一图像确定所述K个光源在第一平面中的投影位置，以得到K个第一位置；所述第一平面是所述图像传感器的平面；基于所述Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据所述Z个感应区域的光照量化值的分布，确定所述K个光源在所述第二平面中的投影位置，以得到K个第二位置；所述第二平面是所述光谱传感器阵列的平面；所述感应区域是所述检测区域在所述第二平面中的投影；利用所述K个第一位置和所述K个第二位置之间的映射关系，确定所述第一平面与所述第二平面之间的标定参数。

根据本公开的第二方面，提供一种图像处理方法，包括：获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；Z为不小于2的正整数；所述光谱传感器阵列包括Z个光谱传感器；获取根据本公开第一方面的标定方法所预先确定的标定参数，基于所述标定参数确定所述Z组第二光谱数据与所述第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的白平衡参数，以得到每个子区域的白平衡参数；采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理，得到目标图像。

根据本公开的第三方面，提供一种标定装置，包括：数据获取模块，被配置为获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的所述场景中的Z个检测区域的第一光谱数据；所述光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；第一位置确定模块，被配置为根据所述第一图像确定所述K个光源在第一平面中的投影位置，以得到K个第一位置；所述第一平面是所述图像传感器的平面；第二位置确定模块，被配置为基于所述Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据所述Z个感应区域的光照量化值的分布，确定所述K个光源在所述第二平面中的投影位置，以得到K个第二位置；所述第二平面是所述光谱传感器阵列的平面；所述感应区域是所述检测区域在所述第二平面中的投影；标定参数确定模块，被配置为利用所述K个第一位置和所述K个第二位置之间的映射关系，确定所述第一平面与所述第二平面之间的标定参数。

根据本公开的第四方面，提供一种图像处理装置，包括：数据获取模块，被配置为获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；所述光谱传感器阵列包括Z个光谱传感器；Z为不小于2的正整数；白平衡参数确定模块，被配置为获取根据本公开第一方面的标定方法所预先确定的标定参数，基于所述标定参数确定所述Z组第二光谱数据与所述第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的白平衡参数，以得到每个子区域的白平衡参数；白平衡处理模块，被配置为采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理，得到目标图像。

根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的标定方法及其可能的实现方式，或者实现上述第二方面的图像处理方法及其可能的实现方式。

根据本公开的第六方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的标定方法及其可能的实现方式，或者实现上述第二方面的图像处理方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

提供了一种标定图像传感器与光谱传感器阵列的方案。在场景中设置至少4个光源，根据图像传感器对该场景所采集的第一图像确定每个光源在图像传感器对应的第一平面上的投影位置，并根据光谱传感器阵列对该场景所采集的第一光谱数据确定每个光源在光谱传感器阵列对应的第二平面上的投影位置，再基于两个平面上的投影位置之间的映射关系，能够得到较为精确的标定参数。进一步的，可以利用该标定参数实现图像与光谱数据之间点对点的精确映射，便于准确地结合图像数据与光谱数据。

附图说明

图1示出本示例性实施方式中一种移动终端的示意图；

图2示出本示例性实施方式中一个光谱分光器与对应的一个光谱传感器的示意图；

图3示出本示例性实施方式中光谱传感器阵列的示意图；

图4示出本示例性实施方式中一种标定方法的流程图；

图5示出本示例性实施方式中标定环境的示意图；

图6示出本示例性实施方式中确定第二位置的流程图；

图7示出本示例性实施方式中计算位置偏移量的示意图；

图8示出本示例性实施方式中四个匹配点对的示意图；

图9示出本示例性实施方式中一种图像处理方法的流程图；

图10示出本示例性实施方式中确定像素点的白平衡参数的示意图；

图11示出白平衡处理的效果对比图；

图12示出本示例性实施方式中一种标定装置的示意图；

图13示出本示例性实施方式中一种图像处理装置的示意图；

图14示出本示例性实施方式中一种电子设备的示意图；

具体实施方式

下文将结合附图更全面地描述本公开的示例性实施方式。

附图为本公开的示意性图解，并非一定是按比例绘制。附图中所示的一些方框图可能是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在硬件模块或集成电路中实现这些功能实体，或在网络、处理器或微控制器中实现这些功能实体。实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。在下文的描述中，提供许多具体细节从而给出对本公开实施方式的充分说明。然而，本领域技术人员应意识到，可以在实现本公开的技术方案时省略其中的一个或多个特定细节，或者可以采用其它的方法、组元、装置、步骤等替代一个或多个特定细节。

图像传感器搭配拜耳滤镜，能够对可见光范围内红色、绿色、蓝色三个波段进行响应，采集R、G、B三通道的数据，通过算法的处理生成RGB图像。由于RGB图像所能提供的信息较为有限，在一些场景中，还同时使用光谱传感器来采集光谱数据。例如，在测绘场景中，可以使拍摄设备同时搭载可见光相机(主要组件为图像传感器)与光谱相机(主要组件为光谱传感器)，除了拍摄二维图像外，光谱相机所采集的光谱数据能够用于分析地形、地貌等，以便于构建复杂的地图模型。

图1示出了一种移动终端100的示意图。该移动终端100可以包括机身110、可见光摄像头120和光谱摄像头130。可见光摄像头120内置有图像传感器，用于拍摄RGB图像；光谱摄像头130内置有光谱传感器，用于采集光谱数据，也可以基于光谱数据生成图像。可见光摄像头120和光谱摄像头130处于不同的位置，这样在对同一场景进行拍摄与数据采集时，存在视差，导致图像数据与光谱数据在空间上难以对应。例如，对于图像中的不同区域，无法确定其对应的光谱数据，这样通过解析光谱数据所得到的信息无法与图像相结合。

鉴于上述问题，本公开的示例性实施方式提供一种标定方法，能够实现对图像传感器与光谱传感器阵列的精确标定。

下面对图像传感器与光谱传感器阵列进行说明。

图像传感器是一种将光信号转换为电信号的传感器，通过对光信号进行定量表征来实现成像。本公开对于图像传感器的具体类型不做限定，如可以是CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)或CCD(Charge Coupled Device，电荷耦合器件)传感器。

图像传感器通常与图像滤镜配合使用，也可以将图像滤镜视为图像传感器的一个组件。图像滤镜是将单色滤光片按照阵列排布所形成的滤镜，可以位于图像传感器的入射光路上，使得图像传感器能够接收经过图像滤镜的单色光。例如，图像滤镜可以由RGB单色滤光片组成，如可以是拜耳滤镜，过滤出R、G、B三种不同光谱范围的光(即红、绿、蓝单色光)。图像传感器通过感测经过图像滤镜的光信号，生成图像，可以是原始图像，如RAW图像，也可以是经过ISP(Image Signal Processor，图像信号处理器)处理后的RGB图像或YUV图像等。

一般的，图像传感器由一定数量的感光元件按照阵列排布而成，每个感光元件对应第一图像的一个像素。感光元件的数量可表示图像传感器的分辨率，例如，感光元件按照H×W阵列排布，H表示行数，W表示列数，则图像传感器的分辨率可以是H×W，所生成的第一图像的尺寸也是H×W，在该尺寸中H表示图像高度，W表示图像宽度。示例性的，H为3000，W为4000。

光谱传感器也是一种将光信号转换为电信号的传感器，如可以是CMOS或CCD传感器，其与图像传感器的类型可以相同，也可以不同。光谱传感器通常与光谱分光器配合使用，也可以将光谱分光器视为光谱传感器的一个组件。光谱分光器用于从入射光线中分离出特定波段的光，可以位于光谱传感器的入射光路上，使得光谱传感器能够接收经过光谱分光器后的特定波段的光，从而感测到光谱数据。相比之下，图像传感器通常仅能感测可见光范围内的红、绿、蓝三种单色光，而光谱传感器器能够在更大的光谱范围内(如350～1000nm，覆盖紫外到红外波段)感测种类更多的不同波段的光。可以将光谱分光器的分光种类数称为光谱分光器或光谱传感器的通道数。

光谱分光器可以是滤镜、棱锥体等类型的光学器件。以滤镜为例，在一种实施方式中，每个光谱分光器可以包括L个具有不同峰值波长(或中心波长)的滤光片，使得入射光线经过光谱分光器后被分离为L种不同波段的光，对应的每个光谱传感器140可以包括L个感光元件，分别用于感测光谱分光器中对应的L个滤光片所滤过的光信号，得到L个通道的响应数据，即L个波段的光谱数据。若L为1，即光谱传感器的通道数为1，则光谱传感器为单光谱传感器；若L为不小于2的正整数，即光谱传感器的通道数大于或等于2，则光谱传感器为多光谱传感器。

图2示出了一个光谱分光器与对应的一个光谱传感器的示意图，其通道数为3×4，该光谱分光器包括按照3×4阵列排布的12个滤光片，分别记为C1～C12，表示用于过滤C1～C12通道的光，每个通道的光的峰值波长(Peak Wavelength)与半高宽(Full Width atHalf Maximum，FWHM)可以参考表1所示，其覆盖了350～1000nm范围内的12个重要波段。该光谱传感器包括按照3×4阵列排布的12个感光元件，分别记为Z1～Z12，其与光谱分光器130的滤光片C1～C12一一对应。入射光线经过光谱分光器后形成表1所示的12种不同波段的光信号，Z1～Z12分别接收这12种光信号，得到12个通道的响应数据，即光谱数据。

表1

通道	峰值波长/nm	半高宽/nm
			C1	395	20
C2	405	30
			C3	425	22
C4	440	36
			C5	475	42
C6	515	40
			C7	550	35
C8	596	46
			C9	640	50
C10	690	55
			C11	745	60
C12	855	54

光谱传感器阵列是由Z个光谱传感器按照阵列排布形成的器件。Z为不小于2的正整数，表示光谱传感器阵列包括至少两个光谱传感器。Z可视为光谱传感器阵列的分辨率。每个光谱传感器输出拍摄场景中一个检测区域的光谱数据。检测区域是指场景中的局部区域，在拍摄或采集光谱数据的过程中，每个检测区域所产生的光线(包括检测区域内的光源直接发出的光线、检测区域内的物体表面发射或折射的光线等)入射至光谱传感器阵列中的一个光谱传感器，使得该光谱传感器感测该检测区域产生的、经过分光的光信号，得到该检测区域的光谱数据。一个检测区域可视为光谱数据的一个像素，Z个光谱传感器可输出像素为Z的光谱数据。可见，光谱传感器阵列可以实现分区域的光谱数据精细化检测，Z的值越大，光谱数据的精细化程度越高。

示例性的，Z＝m×n，表示光谱传感器阵列中的Z个光谱传感器140可以按照m×n的阵列排布，m表示行数，n表示列数。图3示出了光谱传感器阵列的排布示意图，其中m＝6，n＝8，即光谱传感器阵列包括48个光谱传感器。每个光谱传感器又可以包括3×4个感光元件，以输出12个通道的响应数据。

一般的，Z<H×W，即光谱传感器阵列的分辨率低于图像传感器的分辨率。其中，图像传感器用于成像，高分辨率的图像传感器可生成高清晰度的目标图像；而光谱传感器阵列用于检测光谱数据，光谱数据的检测无需精细化到图像像素那样的程度。按照传统的标定方法，可以将图像传感器的像素与光谱传感器阵列的像素进行匹配，而光谱传感器阵列的像素实际上是亚像素级别的，其每个像素可以表示一个区域，这样导致仅能将图像传感器的像素匹配到光谱传感器阵列中的亚像素，标定结果的精确度很低。例如，图像传感器的分辨率为3000*4000，光谱传感器阵列的分辨率为6×8，将3000*4000的像素与6×8的亚像素进行匹配，显然难以得到精确的匹配结果，进而难以实现精确标定。而本示例性实施方式中的标定方法，能够实现对分辨率差别非常大的图像传感器与光谱传感器阵列进行精确标定。

下面结合图4对标定方法进行说明。参考图4所示，标定方法的流程可以包括以下步骤S410至S440：

步骤S410，获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据；光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；

步骤S420，根据第一图像确定K个光源在第一平面中的投影位置，以得到K个第一位置；第一平面是图像传感器的平面；

步骤S430，基于Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置；第二平面是光谱传感器阵列的平面；感应区域是检测区域在第二平面中的投影；

步骤S440，利用K个第一位置和K个第二位置之间的映射关系，确定第一平面与第二平面之间的标定参数。

基于上述方法，提供了一种标定图像传感器与光谱传感器阵列的方案。在场景中设置至少4个光源，根据图像传感器对该场景所采集的第一图像确定每个光源在图像传感器对应的第一平面上的投影位置，并根据光谱传感器阵列对该场景所采集的第一光谱数据确定每个光源在光谱传感器阵列对应的第二平面上的投影位置，再基于两个平面上的投影位置之间的映射关系，能够得到较为精确的标定参数。进一步的，可以利用该标定参数实现图像与光谱数据之间点对点的精确映射，便于准确地结合图像数据与光谱数据。

对图4中的每个步骤具体说明如下。

参考图4，在步骤S410中，获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据；光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数。

本示例性实施方式中，可以在场景中设置K个光源，以形成专门用于标定图像传感器与光谱传感器阵列的拍摄环境，可称为标定环境。在一种实施方式中，上述场景可以是纯色或接近于纯色的场景，如可以是纯色幕布、墙壁等的场景，这样可以避免场景中存在颜色复杂的物体，对标定结果造成干扰。场景的颜色与光源的颜色反差越大，越有利于实现精确标定，如可以采用颜色偏暗的场景。

图像标定一般需要至少4个匹配点对，以每个光源提供一个匹配点对，则需要设置至少4个光源，因此K为不小于4的正整数。在一种实施方式中，K个光源之间可以存在颜色、色温、亮度等的差异，这样便于在第一图像与第一光谱数据中区分不同光源，有利于提高标定结果的精确度。

在搭建好上述标定环境的情况下，可以采用图像传感器对场景进行图像采集，得到第一图像。第一图像是在标定过程中采集的图像，区别于下文的第二图像。第一图像可以是原始图像，如RAW图像，也可以是经过ISP处理后的RGB图像或YUV图像等。与此同时，采用光谱传感器阵列采集场景的光谱数据，具体地，场景中的光源发出的光线被光谱传感器阵列所接收，光源发出的光线照射到场景中的物体表面形成反射、折射光线，也被光谱传感器阵列所接收，形成第一光谱数据。第一光谱数据是在标定过程中采集的光谱数据，区别于下文的第二光谱数据。

图5示出了标定环境的示意图。参考图5所示，可以在墙壁上设置4个光源A0、B0、C0、D0，并将图1所示的移动终端100设置在与墙壁相距固定距离的位置处，该固定距离可以是可见光摄像头120的焦距或其他距离，需使得可见光摄像头120的视野能够同时覆盖到4个光源。然后采用可见光摄像头120拍摄第一图像，采用光谱摄像头130采集第一光谱数据。在一种实施方式中，可以通过调节4个光源的位置、可见光摄像头120的焦距、或移动终端100与墙壁的距离等，使得4个光源分布在第一图像中的左上、右上、左下、右下四个区域，这样避免4个光源之间相距过近而相互干扰，有利于提高标定结果的精确度。

在一种实施方式中，上述获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据，可以包括以下两种方式。

方式一：在同时开启K个光源的情况下，通过图像传感器对场景采集一张第一图像，通过光谱传感器阵列对场景采集一组第一光谱数据，该一组第一光谱数据包括场景中的Z个检测区域的第一光谱数据。

由此，仅进行一次采集，即可得到K个光源的信息，无需多次采集。适用于光源之间相互影响程度较低的情况，如光源距离较远，光源的颜色、色温或亮度差别较大，光源的光强较低等情况。

方式二：在依次单独开启每个光源的情况下，通过图像传感器对场景采集K次第一图像，通过光谱传感器阵列对场景采集K次第一光谱数据，其中每次采集的第一光谱数据均包括场景中的Z个检测区域的第一光谱数据。

即，先单独开启第一个光源，关闭其他光源，在此情况下采集一次第一图像和第一光谱数据；然后开启第二个光源，关闭其他光源，在此情况下采集一次第一图像和第一光谱数据；依此类推，共采集K次第一图像和第一光谱数据。在方式二中，每次采集的第一图像和第一光谱数据仅表征一个光源的信息，通过K次采集分别得到K个光源的信息。适用于光源之间相互影响程度较高的情况，如光源距离较近，光源的颜色、色温或亮度相近，光源的光强较高等情况。能够避免不同光源之间的相互影响。

应当理解，可以根据光源、场景的具体情况选择上述方式一或方式二。本公开对于第一图像、第一光谱数据的数量不做限定。

继续参考图4，在步骤S420中，根据第一图像确定K个光源在第一平面中的投影位置，以得到K个第一位置；第一平面是图像传感器的平面。

第一平面可以是图像传感器沿光路方向的截面，即图像传感器的成像平面。第一图像是包含K个光源的场景在第一平面中的投影，第一图像也包括了K个光源在第一平面中的投影。K个光源在第一图像中的位置，即在第一平面中的投影位置。

在第一图像中，光源位置的亮度一般较高。在一种实施方式中，可以根据第一图像中的亮度分布情况确定K个光源的位置。示例性的，可以将第一图像转换为灰度图像，灰度图像中每个像素点的灰度值可以表征第一图像中每个像素点的亮度值，在灰度图像中检测灰度峰值点，灰度峰值点是指灰度值高于其相邻点的像素点，将灰度峰值点的位置作为光源在第一平面中的投影位置。

在一种实施方式中，上述根据第一图像确定k个光源在第一平面中的投影位置，以得到K个第一位置，可以包括以下步骤：

将第一图像转换为灰度图像，将灰度图像进行二值化处理，得到二值化图像；

从二值化图像中提取K个连通区域，确定每个连通区域的中心位置，以得到K个第一位置。

其中，第一图像可能是RGB等格式的图像，将其转换为灰度图像，便于进行二值化处理，并降低图像数据量。本公开对于二值化处理的具体方式不做限定。示例性的，可以采用固定阈值，由于场景中光源与背景的颜色反差较大，可以设置接近于光源与背景的灰度中间值的固定阈值(如128)，通过该阈值实现二值化处理。也可以采用自适应阈值，如根据灰度图像中的灰度值分布确定自适应阈值，通过该阈值实现二值化处理。

在一种实施方式中，可以在进行二值化处理前，对图像进行去噪与对比度增强。图像去噪能够去除灰度图像中的异常像素值，减少这些异常像素值对二值化处理的干扰，可以采用中值滤波、NLM(Non-Local Mean，非局部均值)滤波等方式进行图像去噪。对比度增强能够使灰度图像中的边缘特征更加突出，便于进行高质量的二值化处理，如可以采用CLAHE(Contrast Limited Adaptive Histogram Equalization，对比度抑制自适应直方图均衡)算法进行对比度增强。

在得到二值化图像后，从中提取K个连通区域。连通区域可以是灰度值均为1的连续区域，一个连通区域可视为一个光源的光照区域，K个连通区域对应K个光源。然后确定每个连通区域的中心位置(如可以是质心、几何中心)，每个中心位置即为每个光源的投影位置。由此得到K个第一位置。

通过上述将第一图像转换为二值化图像，并提取连通区域的方式，能够得到较为准确的光源光照区域，进而将连通区域的中心位置作为光源的投影位置，使得投影位置能够准确反映光照区域的中心，保证投影位置的准确性。

继续参考图4，在步骤S430中，基于Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置；第二平面是光谱传感器阵列的平面；感应区域是检测区域在第二平面中的投影。

第二平面可以是光谱传感器阵列沿光路方向的截面，可视为光谱传感器阵列的成像平面。场景中的Z个检测区域投影至第二平面上，形成Z个感应区域。每个感应区域即光谱传感器阵列中的每个光谱传感器的感应区域。

第一光谱数据能够表征场景中的光线在不同波段的光照强度，因此可以基于的第一光谱数据确定光照量化值。该光照量化值可以是某一个或多个波段的光照强度的量化值，也可以是全波段的光照强度的综合量化值。每个光谱传感器可以检测场景中一个检测区域的第一光谱数据，可以将其转换为对应的一个感应区域的光照量化值。

在一种实施方式中，可以将Z个检测区域的第一光谱数据均转换为灰度值，以灰度值作为光照量化值，得到Z个感应区域的光照量化值。示例性的，可以对每个检测区域中不同波段的第一光谱数据计算平均值或加权平均值，得到灰度值。或者，可以将每个检测区域的第一光谱数据映射至CIELab颜色空间中，对不同波段的数据相加，得到RGB数据，再将RGB数据转换为灰度值。

在一种实施方式中，若场景中的光源为单色光，可以根据光源的波长，从第一光谱数据中提取该波长下的数据，以作为光照量化值。示例性的，K个单色光源的波长分别为λ₁、λ₂、…、λ_K，从每个检测区域的第一光谱数据中提取K种波长下的光谱数据，作为对应的每个感应区域的光照量化值。

一般的，在第二平面中，光照量化值越高的位置，越靠近光源的投影位置。可以根据Z个感应区域的光照量化值的分布来确定K个光源在第二平面中的投影位置。

在一种实施方式中，参考图6所示，上述根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置，可以包括以下步骤S610和S620：

步骤S610，根据Z个感应区域的光照量化值的分布，在Z个感应区域中确定K个光源投影区域。

其中，光源投影区域是指包含了光源投影位置的区域。若某个光源在第二平面中的投影位置处于某个感应区域内，则该感应区域的光照量化值通常较高。示例性的，可以按照光照量化值从高到低的顺序，从Z个感应区域中选出K个，以作为K个光源投影区域。

在一种实施方式中，上述根据Z个感应区域的光照量化值的分布，在Z个感应区域中确定K个光源投影区域，可以包括以下步骤：

在Z个感应区域中确定K个光照量化值处于峰值的感应区域，以得到K个光源投影区域。

其中，光照量化值处于峰值的感应区域是指光照量化值在邻域范围内处于峰值的感应区域。此处的邻域范围可以设置为任意大小，如3×3、4×4等。以3×3为例，若在3×3个感应区域形成的邻域范围内，某个感应区域的光照量化值处于峰值，则可以将该感应区域作为一个光源投影区域。

在一种实施方式中，可以根据K个光源的分布，将Z个感应区域的范围划分为K个局部范围，并在每个局部范围内确定一个光照量化值处于峰值的感应区域，从而得到K个光源投影区域。

基于上述以光照量化值处于峰值的感应区域确定光源投影区域的方式，能够减少对一个光源确定多个光源投影区域的情况，更加准确地使K个光源投影区域与K个光源对应起来。

通过确定K个光源投影区域，实际上粗略地确定了光源投影位置，下面可以进一步在每个光源投影区域内确定光源精确投影位置。

步骤S620，根据每个光源投影区域以及与光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，以得到K个第二位置。

在得到光源投影区域后，并不能确定光源投影位置位于光源投影区域内的哪个精确位置。一般的，若光源投影位置位于光源投影区域的中心位置，则在该光源投影区域相邻的感应区域内，光照量化值可以是均匀分布的，如光源投影区域左侧相邻的感应区域的光照量化值应等于其右侧相邻的感应区域的光照量化值。若光源投影区域左侧相邻的感应区域的光照量化值大于其右侧相邻的感应区域的光照量化值，说明光源投影位置在光源投影区域内应当在中心偏左的位置。因此，可以根据每个光源投影区域以及与光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置。

在一种实施方式中，上述根据每个光源投影区域以及与光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，可以包括以下步骤：

对于任一光源投影区域i，将光源投影区域i以及与其相邻的三个感应区域形成2×2的计算区域；

根据计算区域内沿第二平面的第一轴的光照量化值的分布比例以及沿第二平面的第二轴的光照量化值的分布比例，计算位置偏移量；

基于光源投影区域i的基础位置与位置偏移量，确定光源投影区域i内的光源精确投影位置。

参考图7所示，第二平面可以包括6×8个感应区域，将位于第x行第y列的感应区域记为感应区域xy。第二平面的第一轴为X轴，第二轴为Y轴。假设场景中包含4个光源A0、B0、C0、D0，其在第二平面上的投影分别为A2、B2、C2、D2。在不确定光源投影位置的情况下，先根据步骤S610确定4个光源投影区域，例如其中的一个光源投影区域为感应区域22。将感应区域22与其相邻的感应区域23、感应区域32、感应区域33，共4个感应区域，形成2×2的计算区域。4个感应区域的基础位置分别为(XL,YT)、(XL+1,YT)、(XL,YT+1)、(XL+1,YT+1)，可以是感应区域的中心点的坐标。4个感应区域的光照量化值分别为gray22、gray23、gray32、gray33。可以沿X轴计算光照量化值的分布比例，如可以是(gray22+gray32)/(gray22+gray23+gray32+gray33)或(gray23+gray33)/(gray22+gray23+gray32+gray33)，根据该分布比例确定沿X轴的位置偏移量；可以沿Y轴计算光照量化值的分布比例，如可以是(gray22+gray23)/(gray22+gray23+gray32+gray33)或(gray32+gray33)/(gray22+gray23+gray32+gray33)，根据该分布比例确定沿Y轴的位置偏移量。然后将感应区域22的基础位置的坐标加上位置偏移量，得到感应区域22内的光源精确投影位置。

示例性的，可以采用如下公式计算光源精确投影位置：

其中，x_A2、y_A2分别表示光源精确投影位置A2的X轴坐标与Y轴坐标。

在一种实施方式中，若光源投影区域i是感应区域jk，即位于第二平面上第j行第k列的感应区域。获取感应区域jk右方、下方、右下方相邻的三个感应区域，分别为感应区域j(k+1)、感应区域(j+1)k、感应区域(j+1)(k+1)，4个感应区域形成2×2的计算区域。4个感应区域的光照量化值分别为gray_jk、gray_j(k+1)、gray_(j+1)k、gray_(j+1)(k+1)。4个感应区域的基础位置分别为(k,j)、(k+1,j)、(k,j+1)、(k+1,j+1)，假设每个感应区域的基础位置均为感应区域的右下角点的坐标。感应区域jk内的光源精确投影位置可以通过以下公式计算：

Δx,Δy∈[-1,1] (4)

其中，Δx、Δy分别为X轴、Y轴上的位置偏移量，通过公式(3)、(4)可以计算出位置偏移量，进而通过公式(2)计算感应区域jk内的光源精确投影位置光源精确投影位置x_jk、y_jk。公式(3)考虑了光源光照的衰减与距离的平方成正比的关系，使得计算出的位置偏移量较为准确。

继续参考图4，在步骤S440中，利用K个第一位置和K个第二位置之间的映射关系，确定第一平面与第二平面之间的标定参数。

其中，第一平面与第二平面之间的标定参数即图像传感器与光谱传感器阵列之间的标定参数。标定参数可用于配准第一平面与第二平面，从而实现第一图像与第一光谱数据之间的点对点映射。

假设三维空间内的任意点在第一平面上有投影点(x1,y1)，在第二平面上有投影点(x2,y2)，(x1,y1)与(x2,y2)是一组匹配点对，满足以下关系：

H表示第一平面与第二平面之间的标定参数，可以是3×3的矩阵，也称为单应性矩阵。进一步的，有以下关系：

根据平面坐标与齐次坐标的对应关系，可以由公式(7)进一步得到：

进一步变换为：

在求解单应性矩阵H时，通常可以添加约束h₃₃＝1(或者

)。这样H包括8个自由度。而通过公式(9)可知，一组匹配点对(x1,y1)与(x2,y2)能够提供两个方程。因此，需要4组不共线的匹配点对(是指平面上的任意三个投影点不在一条直线上)以提供8个方程，即可求解H，得到标定参数。

参考图8所示，场景中包含4个光源A0、B0、C0、D0，其在第一平面上的投影分别为A1、B1、C1、D1，在第二平面上的投影分别为A2、B2、C2、D2，形成四组匹配点对(A1,A2)、(B1,B2)、(C1,C2)、(D1,D2)，由此可以计算第一平面和第二平面之间的标定参数，从而实现图像传感器与光谱传感器阵列之间的标定。

本公开的示例性实施方式还提供一种图像处理方法，用于对图像进行白平衡处理，如可以实现AWB(Auto White Balance，自动白平衡)功能，改善图像的视觉效果。

图9示出了图像处理方法的流程，可以包括以下步骤S910至S930：

步骤S910，获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；光谱传感器阵列包括Z个光谱传感器；Z为不小于2的正整数。

其中，第二图像是图像处理过程中对某个拍摄对象采集的图像，可以是待处理的图像。第二光谱数据是图像处理过程中对拍摄对象采集的光谱数据，包括Z组数据，每组数据是拍摄对象中的一个检测区域的局部光谱数据。

步骤S920，获取根据本示例性实施方式中的标定方法所预先确定的标定参数，基于标定参数确定Z组第二光谱数据与第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的白平衡参数，以得到每个子区域的白平衡参数。

根据图像传感器与光谱传感器阵列之间的标定参数，可以确定第二图像中的每个像素点在第二平面中的位置，进而确定其对应Z组第二光谱数据中的哪一组，将第二图像中对应于同一组第二光谱数据的像素点形成一个子区域，则可以将第二图像划分为Z个子区域，Z组第二光谱数据与Z个子区域一一对应。

进一步的，可以根据每组第二光谱数据确定对应的一个子区域的白平衡参数。第二光谱数据能够反映子区域的光照情况，可以根据光照情况采用合适的白平衡参数。白平衡参数可以包括Rgain参数、Bgain参数等。

在一种实施方式中，上述分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的白平衡参数，可以包括以下步骤：

分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的色温，将色温对应的白平衡参数作为子区域的白平衡参数；或者利用预先训练的白平衡参数模型分别对每组第二光谱数据进行处理，得到与第二光谱数据对应的子区域的白平衡参数。

其中，若根据色温确定白平衡参数，可以预先配置不同标准色温对应的白平衡参数。例如，可以对多个标准光源标记其对应的白平衡参数，记录标准光源的色温与白平衡参数的对应关系，形成白平衡参数序列。在确定子区域的色温的情况下，若子区域的色温是标准色温，则可以直接将标准色温对应的白平衡参数作为该子区域的白平衡参数，若子区域的色温不是标准色温，则可以在白平衡参数序列中，对相邻的标准色温对应的白平衡参数进行插值，得到该子区域的白平衡参数。

白平衡参数模型用于对输入的光谱数据进行处理，输出对应的白平衡参数。可以通过人为标注的方式，获取作为样本的光谱数据与白平衡参数，利用样本对白平衡参数模型进行监督学习，以得到经过训练的白平衡参数模型。在得到每个子区域的第二光谱数据的情况下，可以分别输入白平衡参数模型，得到对应的子区域的白平衡参数。

基于上述色温对应白平衡参数，或者白平衡参数模型的方式，可以为每个子区域分别确定白平衡参数。该白平衡参数与子区域的局部光照情况相适应，精确性较高。

步骤S930，采用每个子区域的白平衡参数对第二图像进行白平衡处理，得到目标图像。

目标图像是第二图像经过白平衡处理后的图像，其视觉效果优于第二图像。可以将目标图像作为最终的图像加以输出，也可以在目标图像的基础上做其他方面的图像处理，如图像颜色校正、图像风格化处理等，以得到最终的图像，本公开对此不做限定。

在一种实施方式中，可以分别采用每个子区域的白平衡参数对每个子区域进行白平衡处理，得到目标图像。

在一种实施方式中，在采用每个子区域的白平衡参数对第二图像进行白平衡处理前，图像处理方法还可以包括以下步骤：

获取第二图像的全局白平衡参数；

根据全局白平衡参数与浮动系数确定白平衡数值范围；

若任一子区域的白平衡参数超出白平衡数值范围，则将该子区域的白平衡参数修正为白平衡数值范围的边界值。

其中，全局白平衡参数是针对第二图像整体而言合适的白平衡参数。在一种实施方式中，可以将Z个子区域的第二光谱数据进行汇总，如可以计算平均值、加权平均值等，得到第二图像的全局光谱数据。根据全局光谱数据确定白平衡参数。在一种实施方式中，可以根据第二图像的全局光谱数据确定第二图像的全局色温，将全局色温对应的白平衡参数作为全局白平衡参数；或者利用预先训练的白平衡参数模型对第二图像的全局光谱数据进行处理，得到全局白平衡参数。

每个子区域的白平衡参数与第二图像的全局白平衡参数之间的差异不应过大，基于此，可以根据全局白平衡参数与浮动系数确定白平衡数值范围。浮动系数表示全局白平衡参数上下允许的浮动范围大小，如浮动系数为0.2，则白平衡数值范围可以是[0.8GA,1.2GA]，GA表示全局白平衡参数。

若某个子区域的白平衡参数超出白平衡数值范围，则将该子区域的白平衡参数修正为白平衡数值范围的边界值。其中，若子区域的白平衡参数超出白平衡数值范围的上边界值，可以将白平衡参数修正为上边界值；若子区域的白平衡参数超出白平衡数值范围的下边界值，可以将白平衡参数修正为下边界值。

通过上述修正超出白平衡数值范围的白平衡参数的方式，能够保证各子区域的白平衡参数之间的差异不会过大，改善不同子区域间的白平衡效果突变的情况，使得白平衡处理后的目标图像的视觉感受更加真实、自然。

在一种实施方式中，在进行白平衡处理前，还可以对各子区域的白平衡参数进行平滑处理，也能够改善不同子区域间的白平衡效果突变的情况，使得白平衡处理后的目标图像的视觉感受更加真实、自然。平滑处理的方式包括但不限于：均值滤波、高斯滤波、中值滤波或多种滤波方式的组合。例如，可以设置3×3(或其他尺寸)的滑窗，以覆盖第二图像中的3×3个子区域，对滑窗内的各子区域的白平衡参数先进行中值滤波，再进行均值滤波，依次滑动滑窗，直到遍历整张第二图像，实现对每个子区域的白平衡参数的平滑处理。

在一种实施方式中，上述采用每个子区域的白平衡参数对第二图像进行白平衡处理，得到目标图像，可以包括以下步骤：

将每个子区域的白平衡参数作为每个子区域内的参考点的白平衡参数；

通过对相邻的子区域内的参考点的白平衡参数进行插值，得到第二图像中的每个像素点的白平衡参数；

采用每个像素点的白平衡参数对第二图像中的每个像素点进行白平衡处理，得到目标图像。

其中，参考点可以是子区域内的任意点，如可以是中心点。在确定参考点的白平衡参数的情况下爱，可以采用插值的方式计算第二图像中的每个像素点的白平衡参数。具体地，可以根据像素点与附近的参考点之间的距离，对多个参考点的白平衡参数进行插值，得到每个像素点的白平衡参数。参考图10所示，位于第二图像的左上角的四个子区域为子区域11、子区域12、子区域21、子区域22，这4个子区域内的参考点分别为R11、R12、R21、R22。可以将第二图像分为三个部分：角部分，边缘部分，中间部分。对于角部分的像素点，其附近的参考点通常只有一个，如F1附近的参考点只有R11，可以将R11的白平衡参数作为F1的白平衡参数；对于边缘部分的像素点，其附近的参考点通常为两个，如F2附近的参考点有R11、R12，可以根据F2与R11、R12之间沿第二图像宽度方向上的距离，对R11、R12的白平衡参数进行线性插值，得到F2的白平衡参数；对于中间部分的像素点，其附近的参考点通常为四个，如F3附近的参考点有R11、R12、R21、R22，可以根据F3与R11、R12、R21、R22之间沿第二图像宽度与高度方向上的距离，对R11、R12、R21、R22的白平衡参数进行双线性插值，得到F3的白平衡参数。由此可以确定第二图像中的每个像素点的白平衡参数。

在得到每个像素点的白平衡参数的情况下，可以分别采用每个像素点的白平衡参数对每个像素点进行白平衡处理，得到目标图像。从而实现像素级精度的白平衡处理，提升目标图像的质量。

基于图9的方法，在基于标定参数对第二光谱数据与第二图像进行精确对应的情况下，根绝每组第二光谱数据确定对应的子区域的白平衡参数，使得白平衡参数与拍摄场景中不同局部的光照情况相适应。进而采用每个子区域的白平衡参数对第二图像进行白平衡处理，得到目标图像，能够针对第二图像中不同局部之间光照情况差异较大的情况，提升白平衡处理的效果与目标图像的质量。

图11示出了全局白平衡处理与局部白平衡处理的效果对比图。图11中，左图是对整张图像采用全局白平衡参数进行白平衡处理的效果，由于画面中存在两个色温差异较大的光源，采用全局白平衡参数对整张图像进行白平衡处理后，导致画面中左右两部分存在颜色的突变情况，影响视觉感受。这样的处理方式未充分考虑到图像中左右两侧的差异情况，针对性较差。右图是本示例性实施方式中采用每个子区域的白平衡参数进行白平衡处理的效果，可以对画面中不同区域进行不同参数下的白平衡处理，以适应不同区域之间的光源、颜色等的差异，针对性较强，并使得画面中不同区域之间的过渡较为平滑，不会出现颜色突变的情况，提升图像质量。

以上对标定方法和图像处理方法分别进行了说明。本示例性实施方式中，光谱传感器阵列的分辨率可以是m×n(Z＝m×n)，表示光谱传感器阵列由m×n个阵列排布的光谱传感器组成。光谱传感器阵列的分辨率等同于光谱传感器阵列检测拍摄对象的光照情况的精细程度，关于如何设置光谱传感器阵列，下面从几个方面来进行补充说明。

①在一种实施方式中，考虑到一般光源的光照强度按照圆扩散的方式逐渐衰减，可以设置每个光谱传感器的感应区域为正方形，以符合光照强度的圆扩散规律，便于更加准确地检测拍摄对象中每个检测区域的光谱数据。

②在一种实施方式中，可以使m/n＝H/W，即令光谱传感器阵列的宽高比与图像传感器的宽高比相同。例如，图像传感器的分辨率为3000×4000，光谱传感器的分辨率为6×8，两者的宽高比相同。由此使得图像传感器与光谱传感器阵列实现更为准确的映射。例如，光谱传感器阵列中的每个光谱传感器对应第二平面上的一个感应区域，该感应区域对应第一平面上500×500大小的子区域，6×8个感应区域分别对应第一平面上的6×8个子区域。

③一般的，拍摄对象中存在超过5个光源的情况较少。在拍摄图像时，5个光源在画面中分布的最为均匀的情况，是5个光源分布在画面的四角与中心，这样通过3×3＝9个子区域能够将画面中光照情况不同的区域完全划分开。在其他情况下，5个光源中存在两个或两个以上光源分布得较为集中，则通过少于9个窗口即可将画面中光照情况不同的区域完全划分开。因此，在设置光谱传感器阵列时，考虑检测光照情况的需求，可以设置m与n均为不小于3的正整数，这样可以将图像划分为至少9个子区域，检测每个子区域的光谱数据，进而确定每个子区域的光照情况，从而充分检测出拍摄对象中不同局部的不同光照情况，满足实际使用需求。

在一种实施方式中，考虑到一个拍摄场对象视野里，光源的总数目基本不会超过10个，为避免同一个子区域内分布2个或以上的光源，可以设置光谱传感器阵列的分辨率大于10，因此m×n可以是3×4、6×8、9×12等。

④光谱传感器阵列的分辨率越高，即m和n越大，则对于局部光谱数据的检测越精细，越有利于提升图像处理的精细度。但是在处理图像时，图像中的每个子区域都需要计算白平衡参数、颜色校正矩阵等，即m和n越大，图像处理所需的运算量越大。因此需要平衡图像处理的精细度与运算量两方面因素，来确定合适的分辨率大小。

⑤若光谱传感器阵列的分辨率过高，则图像中的子区域可能过小，容易出现纯色的子区域，导致色彩不均匀、颜色失真等问题。例如，在室内拍摄场景中，墙壁、天花板部分存在大面积纯色，按照光谱传感器阵列的分辨率将图像划分为m×n个子区域，若m×n较大，则每个子区域较小，其FOV(Field Of Vision，视场角)较小，容易集中到大面积纯色上，给光照检测、光谱数据的分析等带来不利影响，最终导致图像整体的处理效果不均匀、颜色失真等问题。从这个方面来说，需要设置光谱传感器阵列的分辨率不要过高。

在一种实施方式中，综合以上①～⑤这5个方面的因素，可以设置光谱传感器阵列的分辨率为3×4或6×8。

本公开的示例性实施方式还提供一种标定装置。参考图12所示，标定装置1200可以包括：

数据获取模块1210，被配置为获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据；光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；

第一位置确定模块1220，被配置为根据第一图像确定K个光源在第一平面中的投影位置，以得到K个第一位置；第一平面是图像传感器的平面；

第二位置确定模块1230，被配置为基于Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置；第二平面是光谱传感器阵列的平面；感应区域是检测区域在第二平面中的投影；

标定参数确定模块1240，被配置为利用K个第一位置和K个第二位置之间的映射关系，确定第一平面与第二平面之间的标定参数。

在一种实施方式中，上述根据第一图像确定k个光源在第一平面中的投影位置，以得到K个第一位置，包括：

在一种实施方式中，上述根据Z个感应区域的光照量化值的分布，确定K个光源在第二平面中的投影位置，以得到K个第二位置，包括：

根据Z个感应区域的光照量化值的分布，在Z个感应区域中确定K个光源投影区域；

根据每个光源投影区域以及与光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，以得到K个第二位置。

在一种实施方式中，上述根据Z个感应区域的光照量化值的分布，在Z个感应区域中确定K个光源投影区域，包括：

在一种实施方式中，上述根据每个光源投影区域以及与光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，包括：

在一种实施方式中，上述获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的场景中的Z个检测区域的第一光谱数据，包括：

在同时开启K个光源的情况下，通过图像传感器对场景采集一张第一图像，通过光谱传感器阵列对场景采集一组第一光谱数据，一组第一光谱数据包括场景中的Z个检测区域的第一光谱数据；或者

在依次单独开启每个光源的情况下，通过图像传感器对场景采集K次第一图像，通过光谱传感器阵列对场景采集K次第一光谱数据，其中每次采集的第一光谱数据均包括场景中的Z个检测区域的第一光谱数据。

本公开的示例性实施方式还提供一种图像处理装置。参考图13所示，图像处理装置1300可以包括：

数据获取模块1310，被配置为获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；光谱传感器阵列包括Z个光谱传感器；Z为不小于2的正整数。

白平衡参数确定模块1320，被配置为获取根据本示例性实施方式中的标定方法所预先确定的标定参数，基于标定参数确定Z组第二光谱数据与第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的白平衡参数，以得到每个子区域的白平衡参数；

白平衡处理模块1330，被配置为采用每个子区域的白平衡参数对第二图像进行白平衡处理，得到目标图像。

在一种实施方式中，上述分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的白平衡参数，包括：

分别根据每组第二光谱数据确定与第二光谱数据对应的子区域的色温，将色温对应的白平衡参数作为子区域的白平衡参数；或者

利用预先训练的白平衡参数模型分别对每组第二光谱数据进行处理，得到与第二光谱数据对应的子区域的白平衡参数。

在一种实施方式中，白平衡处理模块1330，还被配置为：

在采用每个子区域的白平衡参数对第二图像进行白平衡处理前，获取第二图像的全局白平衡参数；根据全局白平衡参数与浮动系数确定白平衡数值范围；若任一子区域的白平衡参数超出白平衡数值范围，则将该子区域的白平衡参数修正为白平衡数值范围的边界值。

在一种实施方式中，上述采用每个子区域的白平衡参数对第二图像进行白平衡处理，得到目标图像，包括：

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供一种电子设备，如可以是上述终端110。该电子设备可以包括处理器与存储器。存储器存储有处理器的可执行指令，如可以是程序代码。处理器通过执行该可执行指令来执行本示例性实施方式中的电池数据上报方法。

下面以图14中的移动终端1400为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图14中的构造也能够应用于固定类型的设备。

如图14所示，移动终端1400具体可以包括：处理器1401、存储器1402、总线1403、移动通信模块1404、天线1、无线通信模块1405、天线2、显示屏1406、摄像模块1407、音频模块1408、电源模块1409与传感器模块1410。

处理器1401可以包括一个或多个处理单元，例如：处理器1401可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。

处理器1401可以通过总线1403与存储器1402或其他部件形成连接。

存储器1402可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1401通过运行存储在存储器1402的指令，执行移动终端1400的各种功能应用以及数据处理。存储器1402还可以存储应用数据，例如存储图像，视频等文件。

移动终端1400的通信功能可以通过移动通信模块1404、天线1、无线通信模块1405、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1404可以提供应用在移动终端1400上3G、4G、5G等移动通信解决方案。无线通信模块1405可以提供应用在移动终端1400上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1406用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1407用于实现拍摄功能，如拍摄上述第一图像、第二图像等。音频模块1408用于实现音频功能，如播放音频，采集语音等。电源模块1409用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。

传感器模块1410可以包括图像传感器与光谱传感器阵列，图像传感器可用于采集上述第一图像、第二图像等，光谱传感器阵列可用于采集上述第一光谱数据、第二光谱数据等。在一种实施方式中，图像传感器与光谱传感器阵列也可以设置在摄像模块1407中。此外，传感器模块1410还可以包括其他类型的传感器，用于实现相应的感应检测功能。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims

1.一种标定方法，其特征在于，包括：

获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的所述场景中的Z个检测区域的第一光谱数据；所述光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；

根据所述第一图像确定所述K个光源在第一平面中的投影位置，以得到K个第一位置；所述第一平面是所述图像传感器的平面；

基于所述Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据所述Z个感应区域的光照量化值的分布，确定所述K个光源在所述第二平面中的投影位置，以得到K个第二位置；所述第二平面是所述光谱传感器阵列的平面；所述感应区域是所述检测区域在所述第二平面中的投影；

利用所述K个第一位置和所述K个第二位置之间的映射关系，确定所述第一平面与所述第二平面之间的标定参数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像确定所述k个光源在第一平面中的投影位置，以得到K个第一位置，包括：

将所述第一图像转换为灰度图像，将所述灰度图像进行二值化处理，得到二值化图像；

从所述二值化图像中提取K个连通区域，确定每个连通区域的中心位置，以得到所述K个第一位置。

3.根据权利要求1所述的方法，其特征在于，所述根据所述Z个感应区域的光照量化值的分布，确定所述K个光源在所述第二平面中的投影位置，以得到K个第二位置，包括：

根据所述Z个感应区域的光照量化值的分布，在所述Z个感应区域中确定K个光源投影区域；

根据每个光源投影区域以及与所述光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，以得到所述K个第二位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述Z个感应区域的光照量化值的分布，在所述Z个感应区域中确定K个光源投影区域，包括：

在所述Z个感应区域中确定K个光照量化值处于峰值的感应区域，以得到所述K个光源投影区域。

5.根据权利要求3所述的方法，其特征在于，所述根据每个光源投影区域以及与所述光源投影区域相邻的多个感应区域的光照量化值的分布，确定每个光源投影区域内的光源精确投影位置，包括：

对于任一光源投影区域，将所述任一光源投影区域以及与其相邻的三个感应区域形成2×2的计算区域；

根据所述计算区域内沿所述第二平面的第一轴的光照量化值的分布比例以及沿所述第二平面的第二轴的光照量化值的分布比例，计算位置偏移量；

基于所述任一光源投影区域的基础位置与所述位置偏移量，确定所述任一光源投影区域内的光源精确投影位置。

6.根据权利要求1所述的方法，其特征在于，所述获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的所述场景中的Z个检测区域的第一光谱数据，包括：

在同时开启所述K个光源的情况下，通过所述图像传感器对所述场景采集一张第一图像，通过所述光谱传感器阵列对所述场景采集一组第一光谱数据，所述一组第一光谱数据包括所述场景中的Z个检测区域的第一光谱数据；或者

在依次单独开启每个所述光源的情况下，通过所述图像传感器对所述场景采集K次第一图像，通过所述光谱传感器阵列对所述场景采集K次第一光谱数据，其中每次采集的第一光谱数据均包括所述场景中的Z个检测区域的第一光谱数据。

7.一种图像处理方法，其特征在于，包括：

获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；所述光谱传感器阵列包括Z个光谱传感器；Z为不小于2的正整数；

获取根据权利要求1至6任一项所述的方法所预先确定的标定参数，基于所述标定参数确定所述Z组第二光谱数据与所述第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的白平衡参数，以得到每个子区域的白平衡参数；

采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理，得到目标图像。

8.根据权利要求7所述的方法，其特征在于，所述分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的白平衡参数，包括：

分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的色温，将所述色温对应的白平衡参数作为所述子区域的白平衡参数；或者

利用预先训练的白平衡参数模型分别对每组第二光谱数据进行处理，得到与所述第二光谱数据对应的所述子区域的白平衡参数。

9.根据权利要求7所述的方法，其特征在于，在采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理前，所述方法还包括：

获取所述第二图像的全局白平衡参数；

根据所述全局白平衡参数与浮动系数确定白平衡数值范围；

若任一子区域的白平衡参数超出所述白平衡数值范围，则将所述任一子区域的白平衡参数修正为所述白平衡数值范围的边界值。

10.根据权利要求7至9任一项所述的方法，其特征在于，所述采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理，得到目标图像，包括：

将所述每个子区域的白平衡参数作为所述每个子区域内的参考点的白平衡参数；

通过对相邻的子区域内的参考点的白平衡参数进行插值，得到所述第二图像中的每个像素点的白平衡参数；

采用所述每个像素点的白平衡参数对所述第二图像中的每个像素点进行白平衡处理，得到所述目标图像。

11.一种标定装置，其特征在于，包括：

数据获取模块，被配置为获取由图像传感器对包含K个光源的场景所采集的第一图像，以及由光谱传感器阵列所采集的所述场景中的Z个检测区域的第一光谱数据；所述光谱传感器阵列包括Z个光谱传感器；K为不小于4的正整数；Z为不小于2的正整数；

第一位置确定模块，被配置为根据所述第一图像确定所述K个光源在第一平面中的投影位置，以得到K个第一位置；所述第一平面是所述图像传感器的平面；

第二位置确定模块，被配置为基于所述Z个检测区域的第一光谱数据确定第二平面中的Z个感应区域的光照量化值，根据所述Z个感应区域的光照量化值的分布，确定所述K个光源在所述第二平面中的投影位置，以得到K个第二位置；所述第二平面是所述光谱传感器阵列的平面；所述感应区域是所述检测区域在所述第二平面中的投影；

标定参数确定模块，被配置为利用所述K个第一位置和所述K个第二位置之间的映射关系，确定所述第一平面与所述第二平面之间的标定参数。

12.一种图像处理装置，其特征在于，包括：

数据获取模块，被配置为获取由图像传感器采集的第二图像，以及由光谱传感器阵列采集的Z组第二光谱数据；所述光谱传感器阵列包括Z个光谱传感器；Z为不小于2的正整数；

白平衡参数确定模块，被配置为获取根据权利要求1至6任一项所述的方法所预先确定的标定参数，基于所述标定参数确定所述Z组第二光谱数据与所述第二图像中的Z个子区域的对应关系，分别根据每组第二光谱数据确定与所述第二光谱数据对应的所述子区域的白平衡参数，以得到每个子区域的白平衡参数；

白平衡处理模块，被配置为采用所述每个子区域的白平衡参数对所述第二图像进行白平衡处理，得到目标图像。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令，来执行权利要求1至10任一项所述的方法。