CN110490041B - 人脸图像采集装置及方法 - Google Patents

Abstract

本申请提供一种人脸图像采集装置及方法，其中，该装置包括：图像传感器、补光器、滤光组件和图像处理器。该图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，补光器包括的第一补光装置进行近红外补光，至少在第一预设曝光的曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光；滤光组件包括的第一滤光片使可见光和部分近红外光通过；图像处理器用于对第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。该技术方案中，只需要一个图像传感器可以得到可见光图像和红外光图像，不仅降低了成本，而且提高了人脸图像质量。

Description

人脸图像采集装置及方法

技术领域

本申请涉及信息处理技术领域，尤其涉及一种人脸图像采集装置及方法。

背景技术

随着科学技术的迅速发展，安全防护产品的应用已经应用到各个领域，例如，政府部门、大型企业、社区和家庭。其中，监控系统属于安全防护产品的重要组成部分，而图像采集可以为后续数据分析提供来源，以实现各种应用场景的不同需求。

如果采用人脸识别摄像机得到监控系统检测到的人脸图像。具体的，该人脸识别摄像机中的图像采集电路首先通过两个图像传感器采集到可见光图像和红外光图像，其次对可见光图像和红外光图像进行融合处理，最后对融合图像进行编码和分析得到人脸图像。

然而，上述摄像机对两个图像传感器的工艺结构以及两者之间的配准和同步要求极高，不仅成本高，而且若配准未达标，会出现得到的人脸图像质量较差。

发明内容

本申请提供一种人脸图像采集装置及方法，以克服降低人脸图像采集的成本，提升采集到的人脸图像质量的问题。

本申请第一方面提供的一种人脸图像采集装置，包括：图像传感器、补光器、滤光组件和图像处理器；

所述图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；

所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述滤光组件包括第一滤光片，所述第一滤光片用于使可见光和部分近红外光通过；

所述图像处理器用于对所述第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

本申请第二方面提供一种人脸图像采集方法，应用于人脸图像采集装置，所述人脸图像采集装置包括图像传感器、补光器、滤光组件和图像处理器，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述图像传感器位于所述滤光组件的出光侧，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述图像传感器的多次曝光中的其中两次曝光；

通过所述第一滤光片使可见光和部分近红外光通过；

通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；

通过所述图像处理器对所述第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

本申请实施例提供的人脸图像采集装置及方法，图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，该第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光，补光器包括第一补光装置，该第一补光装置进行近红外补光，其中，至少在第一预设曝光的曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，图像处理器用于对第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。该技术方案中，只需要一个图像传感器可以得到可见光图像和红外光图像，降低了成本，而且避免了两个图像传感器由于工艺结构以及两者配准和同步问题得到的图像不同步，导致人脸图像质量较差的问题。

附图说明

图1为本申请实施例提供的一种人脸图像采集装置结构示意图；

图2为本申请实施例中一种图像处理器的结构示意图；

图3为处理组件对第一图像信号和第二图像信号进行处理的流程示意图；

图4为本申请实施例中另一种图像处理器的结构示意图；

图5为融合组件对彩色图像和灰度图像进行融合处理的结构示意图；

图6为本申请实施例中再一种图像处理器的结构示意图；

图7为本申请实施例中检测组件进行人脸检测处理的流向图；

图8为本实施例中检测组件对彩色图像和灰度图像进行处理的一种示意图；

图9为本实施例中检测组件对彩色图像和灰度图像进行处理的另一种示意图；

图10为本申请实施例中又一种图像处理器的结构示意图；

图11为本申请实施例中又一种图像处理器的结构示意图；

图12是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；

图13为第一滤光片可以通过的光的波长与通过率之间的关系的一种示意图；

图14为本申请实施例提供的另一种人脸图像采集装置结构示意图；

图15是本申请实施例提供的一种RGB传感器的示意图；

图16是本申请实施例提供的一种RGBW传感器的示意图；

图17是本申请实施例提供的一种RCCB传感器的示意图；

图18是本申请实施例提供的一种RYYB传感器的示意图；

图19是本申请实施例提供的一种图像传感器的感应曲线示意图；

图20为一种卷帘曝光方式的示意图；

图21是本申请实施例提供的第一种第一预设曝光和第二预设曝光的示意图；

图22是本申请实施例提供的第二种第一预设曝光和第二预设曝光的示意图；

图23是本申请实施例提供的第三种第一预设曝光和第二预设曝光的示意图；

图24是本申请实施例提供的第一种卷帘曝光方式和近红外补光的示意图；

图25是本申请实施例提供的第二种卷帘曝光方式和近红外补光的示意图；

图26是本申请实施例提供的第三种卷帘曝光方式和近红外补光的示意图；

图27为本申请实施例提供的人脸图像采集方法实施例的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出了一种人脸图像采集装置及方法，至少可以降低摄像机成本提升人脸图像质量，图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，该第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光，补光器包括第一补光装置，该第一补光装置进行近红外补光，其中，至少在第一预设曝光的曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光，图像处理器用于对第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。该技术方案中，只需要一个图像传感器可以得到可见光图像和红外光图像，降低了成本，而且避免了两个图像传感器由于工艺结构以及两者配准和同步问题得到的图像不同步，导致人脸图像质量较差的问题。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请实施例提供的一种人脸图像采集装置结构示意图。如图1所示，该人脸图像采集装置可以包括：图像传感器01、补光器02、滤光组件03、镜头组件04和图像处理器05，该图像传感器01位于滤光组件03的出光侧，该图像处理器05位于该图像传感器01之后。

在本申请的实施例中，图像传感器01用于通过多次曝光产生并输出第一图像信号和第二图像信号。其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光。

值得说明的是，该第一图像信号和第二图像信号中通过拍摄人获取到的，即第一图像信号和第二图像信号中均包括人脸区域。

补光器02包括第一补光装置021，第一补光装置021用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。通过第一补光装置021的上述补光提升了信号采集能力，有利于提升图像质量。

滤光组件03包括第一滤光片031，第一滤光片031使可见光和部分近红外光通过，其中，第一补光装021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。通过第一滤光片031的滤光可以使得在近红外补光时间段内可获得近红外图像信号，在非补光时间段内获得色彩准确的可见光图像信号。

在本申请实施例中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。

在本实施例中，该滤光组件03可以控制图像传感器接收到的光谱范围，例如，第一补光装置产生的补光和可见光能够通过，而阻止其他光谱波段的光通过，保证有效利用补光的前提下，尽量减少其他光源的影响。

该图像处理器05用于对第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

在本实施例中，图像处理器05可以接收该图像传感器01传输的第一图像信号和第二图像信号，并通过对该第一图像信号和第二图像信号进行人脸分析和处理后，得到第一图像信号和第二图像信号中的人脸图像，从而实现人脸抓拍的功能。

本申请实施例提供的人脸图像采集装置，通过包括图像传感器、补光器、滤光组件和图像处理器，通过图像传感器的多次曝光、补光器的补光、滤光组件的滤光作用，利用单个图像传感器也可以得到多幅具有不同光谱范围的第一图像信号和第二图像信号，扩展了单传感器的图像采集能力，提升不同场景下的图像质量，利用图像处理器对获取到的第一图像信号和第二图像信号进行处理和分析，能够输出人脸图像，从而实现了该装置的人脸抓拍或采集功能。

作为一种示例，人脸图像采集装置可以包括图像采集单元和图像处理单元，该图像采集单元可以包括上述图像传感器、补光器、滤光组件和镜头组件。作为一种示例，该图像采集单元可以是包括上述各组件的图像采集设备，其中的补光器作为图像采集设备的一部分实现补光的功能，例如，摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等；作为另一种示例，该图像采集单元还可以通过图像采集设备和补光器02连接形式实现，该补光器02位于图像采集设备的外部与图像采集设备进行连接。该图像处理单元可以是图像处理器，其具有数据处理和分析的能力，分析出图像信号中的人脸图像。由于本申请中的第一图像信号和第二图像信号的质量好，相应的，提高了人脸检测的准确度。

可选的，在本申请的实施例中，上述图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，例如，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。

示例性的，在上述实施例的基础上，图2为本申请实施例中一种图像处理器的结构示意图。如图2所示，上述图像处理器05可以包括：处理组件051和检测组件052。

其中，该处理组件051用于对上述第一图像信号进行第一预处理生成第一图像，以及对第二图像信号进行第二预处理生成第二图像。

该检测组件052用于对处理组件051生成的第一图像和第二图像进行人脸检测处理，得到人脸图像。

在本实施例中，检测组件052可以对图像(例如，第一图像和第二图像)进行内容分析，若检测到图像中有人脸特征信息出现时，能够获取人脸区域所在位置，提取出人脸图像，实现了人脸抓拍的功能。

图像处理器是一个处理图像信号的计算平台，具有多种典型的实现方式。

示例性的，图2所示的图像处理器的实现方式是一种较为节省计算资源的典型实现方式。在本实施例中，图像传感器01采集到的第一图像信号和第二图像信号经过处理组件051的图像预处理后，生成第一图像和第二图像，该检测组件052再对从处理组件051接收到的第一图像和第二图像进行检测处理，从而输出人脸图像。

示例性的，该第一图像可以是灰度图像，该第二图像可以是彩色图像。可选的，该灰度图像可以通过黑白图像的形式体现，下述所述的灰度图像均可以通过黑白图像或者黑白比例不同的灰度图像来体现，其可以通过实际情况设定，此处不再赘述。

可选的，该第一图像为灰度图像时，该第一预处理可以包括如下操作中的任意一种或多种的组合：图像插值、伽马映射、色彩转换和图像降噪。第二图像为彩色图像时，该第二预处理可以包括如下任意一种或多种的组合：白平衡、图像插值、伽马映射和图像降噪。

值得说明的是，本申请实施例并不限定上述第一预处理和第二预处理具体包括的操作，其可以根据实际情况确定，此处不再赘述。

在本实施例中，处理组件可以包含白平衡、图像插值、色彩转换、伽马映射和图像降噪等图像常规处理，对上述第一图像信号和第二图像信号可以采用不同的处理流程和参数，从而得到质量不同或色彩度等不同的第一图像和第二图像。

例如，图3为处理组件对第一图像信号和第二图像信号进行处理的流程示意图。如图3所示，处理组件采用第一处理参数对第一图像信号进行例如图像插值、伽马映射、色彩转换和图像降噪等处理操作中的一种或多种的组合，可以得到灰度图像，采用第二处理参数对第二图像信号进行例如白平衡、图像插值、伽马映射和图像降噪处理等处理操作中的一种或多种的组合，可以得到彩色图像。

本实施例中的处理组件能够灵活的选择合适的处理参数和图像信号组合，使得最后输出的人脸图像的图像质量更优。

值得说明的是，在本实施例中，上述第一图像信号和第二图像信号是相对的概念，名称上可以互换。图3以对第一图像信号进行图像插值、伽马映射、色彩转换和图像降噪等得到灰度图像，以对第二图像信号进行白平衡、图像插值、伽马映射和图像降噪等得到彩色图像进行举例说明，本申请实施例并不对其进行限定。

示例性的，该图像处理器05可以除了包括：处理组件051和检测组件052之外，还可以包括：融合组件053。本实施例中，通过融合组件053能够提取出出不同图像的信息，并将不同图像之间的信息进行合并，实现信息量最大化，提升了图像质量。

作为一种示例，图4为本申请实施例中另一种图像处理器的结构示意图。如图4所示，该融合组件053可以位于处理组件051和检测组件052之间。

可选的，该融合组件053用于对处理组件051生成的第一图像和第二图像进行融合处理生成融合图像。

该检测组件052具体用于对该融合组件生成的融合图像进行人脸检测处理，得到人脸图像。

在本实施例中，处理组件051对采集到的第一图像信号和第二图像信号进行图像预处理，生成第一图像和第二图像，并将该第一图像和第二图像发送给融合组件，利用融合组件053对接收到的第一图像和第二图像进行融合，生成融合图像，该检测组件对接收到的融合图像进行内容检测与分析，输出人脸图像。

在本实施例中，该融合组件053分别提取出第一图像和第二图像的信息进行融合，实现信息量最大化，输出融合图像。

示例性的，在本实施例中，当第一图像为灰度图像，第二图像为彩色图像时，该融合组件053具体用于提取彩色图像的亮度信息得到亮度图像、提取彩色图像的色彩信息得到色彩图像，以及对该亮度图像、该色彩图像以及上述灰度图像进行融合处理，得到人脸图像。

其中，该融合处理包括如下操作中的至少一种：像素点对点融合、金字塔多尺度融合。

在本实施例中，例如，图5为融合组件对彩色图像和灰度图像进行融合处理的结构示意图。如图5所示，该融合组件053可以提取出彩色图像的亮度图像和色彩图像，并与灰度图像进行融合，例如，像素点对点融合、金字塔多尺度融合等，关于各图像的融合权重可由用户进行配置，也可以通过图像亮度、纹理等信息计算得到，从而输出信噪比提升的彩色融合图像。

可选的，该融合组件053提取出彩色图像的亮度图像和色彩图像之后，将亮度图像与灰度图像进行融合得到融合后的亮度图像，再将融合后的亮度图像与色彩图像进行合并，输出彩色的融合图像。示例性的，可以通过如下公式确定：

y_FUS＝ω*y_VIS+(1-ω)*y_NIR

其中，y_FUS表示融合图像，y_VIS表示亮度图像，y_NIR表示灰度图像，ω表示融合权重。

作为另一种示例，图6为本申请实施例中再一种图像处理器的结构示意图。如图6所示，该融合组件053可以位于检测组件052之后。

可选的，在本实施例中，如图6所示，该检测组件052具体用于对处理组件051生成的第一图像和第二图像进行人脸检测处理，分别得到第一人脸图像和第二人脸图像。

该融合组件053具体用于对该检测组件052得到的第一人脸图像和第二人脸图像进行融合处理，得到人脸图像。

例如，在本实施例中，图像传感器采集到的第一图像信号和第二图像信号经过处理组件051的图像预处理后，生成彩色图像和灰度图像，该检测组件052对接收到的彩色图像、灰度图像进行检测处理，输出彩色人脸图像和灰度人脸图像，该融合组件对彩色人脸图像、灰度人脸图像进行融合处理，生成融合后的人脸图像。

示例性的，在本实施例中，该检测组件052具体用于根据在目标图像中检测到的面部特征进行人脸区域位置和大小标定，输出目标人脸图像，该目标图像为如下图像中的任意一种：第一图像、第二图像、第一图像和第二图像的融合图像、第一图像和所述第二图像的组合。

示例性的，当目标图像为单个图像时，例如，第一图像、第二图像、第一图像和第二图像的融合图像等，检测组件052的检测原理均可以如图7所示。具体的，图7为本申请实施例中检测组件进行人脸检测处理的流向图。如图7所示，当本实施例中的目标图像为如下图像中的任意一种：第一图像、第二图像、融合图像时，该检测组件052具体用于提取目标图像中的多个面部特征点，基于预设的面部特征信息从上述多个面部特征点中确定出满足面部规则的多个定位特征点，基于该多个定位特征点确定人脸位置坐标，确定该目标图像中的目标人脸图像。

例如，当目标图像为第一图像时，该目标人脸图像为第一人脸图像；当目标图像为第二图像时，该目标人脸图像为第二人脸图像；当目标图像为第一图像和第二图像的融合图像时，该目标人脸图像为第一图像和第二图像的融合后的融合人脸图像等。

可选的，在图7所示的示意图中，本实施例中的提取目标图像中的多个面部特征点通常也称为特征点提取，基于预设的面部特征信息从上述多个面部特征点中确定出满足面部规则的多个定位特征点实际上指的是特征点对比和特征点定位。示例性的，特征点提取与特征点比对的一种典型实现方式是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，该特征数据通常包括特征点间的欧氏距离、曲率和角度等。由于人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为检测出人脸区域的重要特征。若检测到满足面部规则的特征点，则进行特征点定位，获取人脸位置坐标，提取出人脸图像。

关于对第一图像、第二图像以及融合图像的处理过程类似，均可以基于上述对目标图像的处理过程实现，此处不再一一赘述。

进一步的，在本申请的实施例中，如图7所示，该检测组件052不仅用于确定该目标图像中的目标人脸图像，还可以用于基于活体检测原理检测该目标人脸图像是否由拍摄真实人脸获得，并在确定该目标人脸图像由拍摄真实人脸获得时输出该目标人脸图像。

具体的，检测组件052在确定出目标图像中的目标人脸图像之后，可以对该目标人脸图像进行检测，以验证该目标人脸图像是否由拍摄真实人脸获得。示例性的，检测组件052可以利用真实的人脸和纸片、屏幕、立体面具等伪造人脸具有不同的红外反射特性的特点来区分目标人脸图像的来源。

在本实施例中，通过对目标人脸图像进行活体检测能够保证获取到的人脸图像由拍摄真实人脸获得，其保证了抓拍到的人脸的真实性。

在本申请的另一种可能设计中，本实施例中的检测组件可以同时处理两幅图像，并可以根据需要输出一幅人脸图像或两幅人脸图像。

示例性的，上述目标图像为第一图像和第二图像的组合。

此时，该检测组件052具体用于提取该第一图像中的多个面部特征点，基于预设的面部特征信息从多个面部特征点中确定出满足面部规则的多个定位特征点，基于该多个定位特征点确定第一人脸位置坐标，根据该第一人脸位置坐标和第一图像进行人脸提取得到第一人脸图像，同时根据该第一人脸位置坐标和该第二图像进行人脸提取得到第二人脸图像。

作为一种实现方式，该第一图像为灰度图像，该第二图像为彩色图像时，则第一人脸图像为灰度人脸图像，第二人脸图像为彩色人脸图像。

因而，在该实现方式中，该检测组件052还用于基于活体检测原理检测该灰度人脸图像是否由拍摄真实人脸获得，并在确定该灰度人脸图像由拍摄真实人脸获得时输出灰度人脸图像，以及基于提取得到的第二人脸图像输出彩色人脸图像。

作为一种示例，当输入的图像为彩色图像和灰度图像时，图8为本实施例中检测组件对彩色图像和灰度图像进行处理的一种示意图。如图8所示，本实施例，检测组件052首先对具有更高信噪比的灰度图像进行特征点提取、特征点对比和特征点定位等步骤的人脸标定，获取人脸位置坐标，并在灰度图像中提取出灰度人脸图像，并进行活体检测处理，判断该灰度人脸图像是否由拍摄真实人脸获得，若是，则在彩色图像中提取出彩色人脸图像，从而输出灰度人脸图像、彩色人脸图像，或者，输出彩色人脸图像。

关于检测组件具有输出一幅人脸图像、两幅人脸图像还是更多的人脸图像可以根据实际需要确定，此处不再赘述。

作为另一种实现方式，该第一图像为彩色图像，第二图像为灰度图像时，该第一人脸图像为彩色人脸图像，第二人脸图像为灰度人脸图像。

这时，检测组件052还用于基于活体检测原理检测该灰度人脸图像是否由拍摄真实人脸获得，并在确定该灰度人脸图像由拍摄真实人脸获得时，基于提取得到的第一人脸图像输出彩色人脸图像。

作为另一种示例，当输入的图像为彩色图像和灰度图像时，图9为本实施例中检测组件对彩色图像和灰度图像进行处理的另一种示意图。如图9所示，本实施例，检测组件052首先对对彩色图像进行特征点提取、特征点对比和特征点定位，获取人脸位置坐标，再根据该人脸位置坐标从灰度图像中提取出灰度人脸图像，并进行活体检测处理，判断该灰度人脸图像是否由拍摄真实人脸获得，若是，则在彩色图像中提取出彩色人脸图像，从而输出彩色人脸图像。

值得说明的是，该种实现方式以输出一幅彩色人脸图像进行举例说明。实际上，该种实现方式也可以输出灰度人脸图像和彩色人脸图像等两幅图像。本申请实施例不对每种实现方式具体输出的图像幅数进行限定，其可以根据实现需要确定，此处不再赘述。

假设本发明实施例中的人脸图像采集装置为人脸抓拍机，那么该人脸抓拍机输出的图像可以是灰度人脸图像、彩色人脸图像、灰度人脸图像和彩色人脸图像融合后的人脸图像当中的一个或多个。

示例性的，在本申请的实施例中，上述图像处理器还包括：缓存组件054。该缓存组件054可以位于处理组件051之前，也可以位于处理组件051之后。

可选的，在本实施例中，该缓存组件054用于缓存临时内容，该临时内容包括该图像传感器01输出的第一图像信号和/或第二图像信号；或者，该临时内容包括该图像处理器05在处理过程中得到的第一图像和/或第二图像。

示例性的，图10为本申请实施例中又一种图像处理器的结构示意图。如图10所示，本实施例中的图像处理器05具有图像同步的功能，具体的，若后续模块(例如，处理组件051)需要同时对第一图像信号和第二图像信号进行处理，这时，该缓存组件054可以位于处理组件051之前，并利用该缓存组件054来存储先采集到的第一图像信号和/或第二图像信号，待接收到第二图像信号和/或第一图像信号后，再对其进行处理，实现了第一图像信号和第二图像信号之间的同步。也即，本实施例中的缓存组件054能够通过缓存图像，实现了具有不同曝光时间段的图像之间的同步。

值得说明的是，该缓存组件054可以存储的图像可以是图像传感器采集到的原始图像信号(第一图像信号或第二图像信号)，也可以是该图像处理器在处理过程中得到的第一图像和/或第二图像以及第一人脸图像和/或第二人脸图像等。本申请实施例并不限定该缓存组件054缓存的内容，其可以根据实际情况确定，此处不再赘述。

进一步的，本申请的实施例中，该图像处理器05还可以具有降噪功能，示例性的，该图像处理器05可采用信噪比较高的灰度图像作为引导，对彩色图像和灰度图像进行联合降噪，如导向滤波、联合双边滤波等，获取信噪比提升的彩色图像和灰度图像。

示例性的，在本申请的实施例中，上述图像处理器还包括：图像增强组件055。该图像增强组件055可以位于处理组件051之后、检测组件052之前，也可以位于检测组件052之后。当该图像处理器05包括融合组件053时，该图像增强组件05还可以位于融合组件053之前，关于该图像增强组件055的具体设置位置可以根据应用需求或资源情况灵活的配置，本实施例并不对其进行限定。

示例性的，图11为本申请实施例中又一种图像处理器的结构示意图。如图11所示，本实施例以图像增强组件05位于检测组件052之后进行解释说明。具体的，该图像增强组件05用于对目标图像进行增强处理，得到增强处理后的目标图像，该增强处理包括如下至少一种：对比度增强、超分辨率重建，该目标图像为如下图像中的任意一种：第一图像、第二图像、第一图像和第二图像的融合图像、人脸图像。示例性的，在图11中，以目标图像为人脸图像进行示意性说明。

在本实施例中，该图像处理器05具有图像增强处理的功能，其对接收到的第一图像或第二图像或人脸图像等进行如对比度增强、超分辨率等的增强处理，输出质量提升的人脸图像。

具体的，该图像处理器05通过超分辨率重建对低分辨率的人脸小图进行处理，生成高分辨率的人脸大图，提升图像质量。该超分辨率重建处理可以采用基于插值、基于重建、基于学习的方法，此处不再赘述。

在本申请的上述任意一种实施例中，第一补光装置02可以进行频闪补光，即可以进行不同补光状态的高频切换，按照第一预设曝光进行图像采集时采用第一状态补光，按照第二预设曝光进行图像采集时采用第二状态补光，该第一状态补光和第二状态补光可以采用不同的补光配置，其参数包含但不限于补光类型、补光强度(包含关闭状态)、补光时长等，从而可以扩展图像传感器01能够接收到的光谱范围。

示例性的，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。

在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内存在近红外补光，而在第二预设曝光的曝光时间段内不存在近红外补光即可。

在本实施例中，图像传感器的曝光时长与第一补光装置的补光时长满足一定约束，若第一补光状态补光开启了红外补光，则其补光时间段不能与第二图像信号的曝光时间段有重合；同样，若第二状态补光开启了红外补光，则其补光时间段不能与第一图像信号的曝光时间段有重合，实现多光谱图像采集。

需要说明的是，第二预设曝光的曝光时间段内不存在近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。

在本实施例中，图像传感器可以按照第一预设曝光生成第一图像信号，按照第二预设曝光生成第二图像信号，该第一预设曝光和该第二预设曝光可以采用相同或不同的曝光参数，包含但不限于曝光时长、增益、光圈大小等，能够与补光灯状态匹配，实现多光谱图像采集。

需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。

也即是，在存在近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。

以本实施例的人脸图像采集装置中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一图像信号和第二图像信号的过程为：在图像传感器01进行第一预设曝光时，第一补光装置021存在近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；在图像传感器01进行第二预设曝光时，第一补光装置021不存在近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

其中，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，本申请实施例对此不做限定。

示例性的，在本实施例中，补光器包含的补光装置，其补光灯类型可以是可见光、红外光或二者的组合，其近红外补光的能量集中于650nm～1000nm中的某一段，具体的，能量集中于700nm～800nm范围内，或集中于900m～1000nm范围内，这样可以避开800nm～900nm常见850nm红外灯的影响，以避免与交替信号灯造成混淆。

由于在存在近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不存在近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。

第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为810±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者810±10纳米的波长范围、或者940±10纳米的波长范围。

示例性地，图12是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图。如图12所示，第一补光装置021进行近红外补光的中心波长为940纳米，这时，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在存在近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

例如，参见图13，图13为第一滤光片可以通过的光的波长与通过率之间的关系的一种示意图。如图13所示，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图13，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图3可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

可选地，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图14，图14为本申请实施例提供的另一种人脸图像采集装置结构示意图。如图14所示，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。

另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。

当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。

进一步的，如图14所示，在本申请的实施例中，滤光组件03还可以包括第二滤光片032和切换部件033，此时，通过切换部件033可以将第二滤光片032切换到图像传感器01的入光侧。在第二滤光片032切换到图像传感器01的入光侧之后，通过第二滤光片032使可见光通过，阻挡近红外光，在第二滤光片032通过可见光且阻挡近红外光之后，通过图像传感器01进行曝光，以产生并输出第三图像信号。因而，本实施例的人脸图像采集装置兼容现有图像采集功能，提高灵活性。

需要说明的是，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。

在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。

例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个帧周期内就会产生25组图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在存在近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。

在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应红光、绿光、蓝光、黄光等至少一种可见光波段的光，又能感应近红外波段的光。可选地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在本实施例中，该图像传感器01的每个像素点均能感应到补光器02产生的补光，保证采集到的红外光图像具有完整的分辨率，不缺失像素。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。

示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。示例性的，图15是本申请实施例提供的一种RGB传感器的示意图。图16是本申请实施例提供的一种RGBW传感器的示意图。图17是本申请实施例提供的一种RCCB传感器的示意图。图18是本申请实施例提供的一种RYYB传感器的示意图。如图15-图18所示，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图15，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图16，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图17，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图18。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，图19是本申请实施例提供的一种图像传感器的感应曲线示意图。参见图19，图19中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Near infrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图20，图20为一种卷帘曝光方式的示意图。从图20可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在一些实施例中，当图像传感器01采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的整个曝光时间段内不存在近红外补光，从而不会对第二预设曝光造成影响。

例如，图21是本申请实施例提供的第一种第一预设曝光和第二预设曝光的示意图。图22是本申请实施例提供的第二种第一预设曝光和第二预设曝光的示意图。图23是本申请实施例提供的第三种第一预设曝光和第二预设曝光的示意图。参见图21，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图22，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图23，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。

在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，图24是本申请实施例提供的第一种卷帘曝光方式和近红外补光的示意图。图25是本申请实施例提供的第二种卷帘曝光方式和近红外补光的示意图。图26是本申请实施例提供的第三种卷帘曝光方式和近红外补光的示意图。参见图24，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图25，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图26，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图24至图26仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器01获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息。

本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集装置更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐的问题。

基于上述对人脸图像采集装置的描述，该人脸图像采集装置可以利用多次曝光产生并输出的第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。接下来，以基于上述图1-26所示的实施例提供的人脸图像采集装置来对人脸图像采集方法进行说明。

示例性的，图27为本申请实施例提供的人脸图像采集方法实施例的流程示意图。该方法应用于人脸图像采集装置，该人脸图像采集装置包括图像传感器、补光器、滤光组件和图像处理器，该补光器包括第一补光装置，该滤光组件包括第一滤光片，该图像传感器位于滤光组件的出光侧。参见图27，该方法可以包括：

步骤2701：通过第一补光装置进行近红外补光，其中，至少在第一预设曝光的曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，该第一预设曝光和第二预设曝光为图像传感器的多次曝光中的其中两次曝光。

步骤2702：通过第一滤光片使可见光和部分近红外光通过。

步骤2703：通过图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号。

步骤2704：通过图像处理器对所述第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

可选的，在本实施例中，图像处理器包括：处理组件和检测组件，则上述步骤2704具体可以包括如下步骤：

通过处理组件对所述第一图像信号进行第一预处理生成第一图像，以及对所述第二图像信号进行第二预处理生成第二图像；

通过检测组件对所述处理组件生成的所述第一图像和所述第二图像进行人脸检测处理，得到所述人脸图像。

可选的，所述第一图像为灰度图像，所述第一预处理包括如下操作中的任意一种或多种的组合：图像插值、伽马映射、色彩转换和图像降噪；

所述第二图像为彩色图像，所述第二预处理包括如下任意一种或多种的组合：白平衡、图像插值、伽马映射和图像降噪。

示例性的，在本实施例的一种可能设计中，该图像处理器还包括：融合组件。则上述步骤2704还可以包括如下步骤：

通过融合组件对所述处理组件生成的所述第一图像和所述第二图像进行融合处理生成融合图像；

通过检测组件对所述融合组件生成的所述融合图像进行人脸检测处理，得到所述人脸图像。

可选的，所述第一图像为灰度图像，所述第二图像为彩色图像；则上述步骤2704还可以包括如下步骤：

通过融合组件提取所述彩色图像的亮度信息得到亮度图像、提取所述彩色图像的色彩信息得到色彩图像，以及对所述亮度图像、所述色彩图像以及所述灰度图像进行融合处理，得到所述人脸图像。

其中，所述融合处理包括如下操作中的至少一种：像素点对点融合、金字塔多尺度融合。

示例性的，在本实施例的另一种可能设计中，该图像处理器还包括：融合组件。则上述步骤2704还可以包括如下步骤：

通过检测组件对所述处理组件生成的所述第一图像和所述第二图像进行人脸检测处理，分别得到第一人脸图像和第二人脸图像；

通过融合组件对所述检测组件得到的所述第一人脸图像和所述第二人脸图像进行融合处理，得到所述人脸图像。

作为一种示例，上述步骤2704具体可以包括如下步骤：

通过检测组件根据在目标图像中检测到的面部特征进行人脸区域位置和大小标定，输出目标人脸图像。

其中，目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述融合图像、所述第一图像和所述第二图像的组合。

在一种可能设计中，所述目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述融合图像；则上述步骤2704具体可以包括如下步骤：

通过检测组件提取所述目标图像中的多个面部特征点，基于预设的面部特征信息从所述多个面部特征点中确定出满足面部规则的多个定位特征点，基于所述多个定位特征点确定人脸位置坐标，确定所述目标图像中的目标人脸图像。

示例性的，则上述步骤2704具体还可以包括如下步骤：

通过检测组件基于活体检测原理检测所述目标人脸图像是否由拍摄真实人脸获得，并在确定所述目标人脸图像由拍摄真实人脸获得时输出所述目标人脸图像。

在另一种可能设计中，所述目标图像为所述第一图像和所述第二图像的组合；

通过检测组件提取所述第一图像中的多个面部特征点，基于预设的面部特征信息从所述多个面部特征点中确定出满足面部规则的多个定位特征点，基于所述多个定位特征点确定第一人脸位置坐标，根据所述第一人脸位置坐标和所述第一图像进行人脸提取得到第一人脸图像，同时根据所述第一人脸位置坐标和所述第二图像进行人脸提取得到第二人脸图像。

作为一种示例，所述第一图像为灰度图像，所述第二图像为彩色图像时，所述第一人脸图像为灰度人脸图像，所述第二人脸图像为彩色人脸图像；则上述步骤2704具体还可以包括如下步骤：

通过检测组件基于活体检测原理检测所述灰度人脸图像是否由拍摄真实人脸获得，并在确定所述灰度人脸图像由拍摄真实人脸获得时输出所述灰度人脸图像，以及基于提取得到的第二人脸图像输出所述彩色人脸图像。

作为另一种示例，所述第一图像为彩色图像，所述第二图像为灰度图像时，所述第一人脸图像为彩色人脸图像，所述第二人脸图像为灰度人脸图像；则上述步骤2704具体还可以包括如下步骤：

通过检测组件基于活体检测原理检测所述灰度人脸图像是否由拍摄真实人脸获得，并在确定所述灰度人脸图像由拍摄真实人脸获得时，基于提取得到的第一人脸图像输出所述彩色人脸图像。

在再一种可能设计中，所述图像处理器还包括：缓存组件；该人脸图像采集方法还可以包括如下步骤：

通过缓存组件缓存临时内容，所述临时内容包括如下内容中的任意一种：所述图像传感器输出的第一图像信号和/或第二图像信号、所述图像处理器在处理过程中得到的第一图像和/或第二图像。

在又一种可能设计中，图像处理器还包括：图像增强组件；该人脸图像采集方法还可以包括如下步骤：

通过图像增强组件对目标图像进行增强处理，得到增强处理后的目标图像，所述增强处理包括如下至少一种：对比度增强、超分辨率重建，所述目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述人脸图像。

可选的，所述第一补光装置进行近红外补光时通过所述第一滤光片的近红外光的强度高于所述第一补光装置未进行近红外补光时通过所述第一滤光片的近红外光的强度。

可选的，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

可选的，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为810±10纳米的波长范围内的任一波长；

或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

可选的，所述约束条件包括如下任意一种：

通过所述第一滤光片的近红外光的中心波长与所述第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；

或者

通过所述第一滤光片的近红外光的半带宽小于或等于50纳米；

或者

第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一滤光片的近红外光的波段宽度，所述第二波段宽度是指被所述第一滤光片阻挡的近红外光的波段宽度；

或者

第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度，所述设定比例为30％～50％的比例范围内的任一比例。

在本实施例中，作为一种示例，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

作为另一种示例，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

可选的，所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

在本实施例的一种实施例中，所述图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。

在本实施例的另一种实施例中，所述图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

可选的，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光。

可选的，所述滤光组件还包括第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；

所述切换部件，用于将所述第二滤光片切换到所述图像传感器的入光侧；

在所述第二滤光片切换到所述图像传感器的入光侧之后，所述第二滤光片用于使可见光通过，阻挡近红外光，所述图像传感器，用于通过曝光产生并输出第三图像信号

需要说明的是，由于本实施例与上述图1-26所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1-26所示实施例中相关内容的解释，此处不再赘述。

在本申请实施例中，图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，该第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光，补光器包括第一补光装置，该第一补光装置进行近红外补光，其中，至少在第一预设曝光的曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，图像处理器用于对第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。该技术方案中，只需要一个图像传感器可以得到可见光图像和红外光图像，降低了成本，而且避免了两个图像传感器由于工艺结构以及两者配准和同步问题得到的图像不同步，导致人脸图像质量较差的问题。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (22)

1.一种人脸图像采集装置，其特征在于，包括：图像传感器、补光器、滤光组件和图像处理器；所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；所述第一滤光片用于使可见光和部分近红外光通过；所述切换部件，用于将所述第二滤光片切换到所述图像传感器的入光侧；所述第二滤光片用于使可见光通过，阻挡近红外光；

所述图像传感器用于在所述第一滤光片切换到所述图像传感器的入光侧之后，通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第二滤光片切换到所述图像传感器的入光侧之后，通过曝光产生并输出第三图像信号；

所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述图像处理器用于对所述第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

2.根据权利要求1所述的装置，其特征在于，所述图像处理器包括：处理组件和检测组件；

所述处理组件用于对所述第一图像信号进行第一预处理生成第一图像，以及对所述第二图像信号进行第二预处理生成第二图像；

所述检测组件用于对所述处理组件生成的所述第一图像和所述第二图像进行人脸检测处理，得到所述人脸图像。

3.根据权利要求2所述的装置，其特征在于，所述第一图像为灰度图像，所述第一预处理包括如下操作中的任意一种或多种的组合：图像插值、伽马映射、色彩转换和图像降噪；

所述第二图像为彩色图像，所述第二预处理包括如下任意一种或多种的组合：白平衡、图像插值、伽马映射和图像降噪。

4.根据权利要求2所述的装置，其特征在于，所述图像处理器还包括：融合组件；

所述融合组件用于对所述处理组件生成的所述第一图像和所述第二图像进行融合处理生成融合图像；

所述检测组件具体用于对所述融合组件生成的所述融合图像进行人脸检测处理，得到所述人脸图像。

5.根据权利要求4所述的装置，其特征在于，所述第一图像为灰度图像，所述第二图像为彩色图像；

所述融合组件具体用于提取所述彩色图像的亮度信息得到亮度图像、提取所述彩色图像的色彩信息得到色彩图像，以及对所述亮度图像、所述色彩图像以及所述灰度图像进行融合处理，得到所述人脸图像，所述融合处理包括如下操作中的至少一种：像素点对点融合、金字塔多尺度融合。

6.根据权利要求2所述的装置，其特征在于，所述图像处理器还包括：融合组件；

所述检测组件具体用于对所述处理组件生成的所述第一图像和所述第二图像进行人脸检测处理，分别得到第一人脸图像和第二人脸图像；

所述融合组件具体用于对所述检测组件得到的所述第一人脸图像和所述第二人脸图像进行融合处理，得到所述人脸图像。

7.根据权利要求2所述的装置，其特征在于，所述检测组件具体用于根据在目标图像中检测到的面部特征进行人脸区域位置和大小标定，输出目标人脸图像，所述目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述第一图像和所述第二图像的融合图像、所述第一图像和所述第二图像的组合。

8.根据权利要求7所述的装置，其特征在于，所述目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述融合图像；

所述检测组件具体用于提取所述目标图像中的多个面部特征点，基于预设的面部特征信息从所述多个面部特征点中确定出满足面部规则的多个定位特征点，基于所述多个定位特征点确定人脸位置坐标，确定所述目标图像中的目标人脸图像。

9.根据权利要求8所述的装置，其特征在于，所述检测组件还用于基于活体检测原理检测所述目标人脸图像是否由拍摄真实人脸获得，并在确定所述目标人脸图像由拍摄真实人脸获得时输出所述目标人脸图像。

10.根据权利要求7所述的装置，其特征在于，所述目标图像为所述第一图像和所述第二图像的组合；

所述检测组件具体用于提取所述第一图像中的多个面部特征点，基于预设的面部特征信息从所述多个面部特征点中确定出满足面部规则的多个定位特征点，基于所述多个定位特征点确定第一人脸位置坐标，根据所述第一人脸位置坐标和所述第一图像进行人脸提取得到第一人脸图像，同时根据所述第一人脸位置坐标和所述第二图像进行人脸提取得到第二人脸图像。

11.根据权利要求10所述的装置，其特征在于，所述第一图像为灰度图像，所述第二图像为彩色图像时，所述第一人脸图像为灰度人脸图像，所述第二人脸图像为彩色人脸图像；

所述检测组件还用于基于活体检测原理检测所述灰度人脸图像是否由拍摄真实人脸获得，并在确定所述灰度人脸图像由拍摄真实人脸获得时输出所述灰度人脸图像，以及基于提取得到的第二人脸图像输出所述彩色人脸图像。

12.根据权利要求10所述的装置，其特征在于，所述第一图像为彩色图像，所述第二图像为灰度图像时，所述第一人脸图像为彩色人脸图像，所述第二人脸图像为灰度人脸图像；

所述检测组件还用于基于活体检测原理检测所述灰度人脸图像是否由拍摄真实人脸获得，并在确定所述灰度人脸图像由拍摄真实人脸获得时，基于提取得到的第一人脸图像输出所述彩色人脸图像。

13.根据权利要求2所述的装置，其特征在于，所述图像处理器还包括：缓存组件；

所述缓存组件用于缓存临时内容，所述临时内容包括：所述图像传感器输出的第一图像信号和/或第二图像信号；或者

所述临时内容包括：所述图像处理器在处理过程中得到的第一图像和/或第二图像。

14.根据权利要求2所述的装置，其特征在于，所述图像处理器还包括：图像增强组件；

所述图像增强组件用于对目标图像进行增强处理，得到增强处理后的目标图像，所述增强处理包括如下至少一种：对比度增强、超分辨率重建，所述目标图像为如下图像中的任意一种：所述第一图像、所述第二图像、所述第一图像和所述第二图像的融合图像、所述人脸图像。

15.根据权利要求1-14任一项所述的装置，其特征在于，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

16.根据权利要求1-14任一项所述的装置，其特征在于，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

17.根据权利要求1-14任一项所述的装置，其特征在于，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

18.根据权利要求1-14任一项所述的装置，其特征在于，所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

19.根据权利要求1-14任一项所述的装置，其特征在于，所述图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。

20.根据权利要求1-14任一项所述的装置，其特征在于，所述图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

21.根据权利要求1-14任一项所述的装置，其特征在于，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光。

22.一种人脸图像采集的方法，应用于人脸图像采集装置，其特征在于，所述人脸图像采集装置包括图像传感器、补光器、滤光组件和图像处理器，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；所述第一滤光片用于使可见光和部分近红外光通过；所述切换部件，用于将所述第二滤光片切换到所述图像传感器的入光侧；所述第二滤光片用于使可见光通过，阻挡近红外光；所述图像传感器位于所述滤光组件的出光侧，所述方法包括：

通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述图像传感器的多次曝光中的其中两次曝光；

通过所述第一滤光片使可见光和部分近红外光通过；

在所述第一滤光片切换到所述图像传感器的入光侧之后，通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；

在所述第二滤光片切换到所述图像传感器的入光侧之后，通过所述图像传感器进行曝光，以产生并输出第三图像信号；

通过所述图像处理器对所述第一图像信号和第二图像信号进行图像处理和人脸检测，得到人脸图像。

Images