CN110493491B - 一种图像采集装置及摄像方法 - Google Patents

Abstract

本申请是关于一种图像采集装置及摄像方法，属于监控领域。所述图像采集装置包括：图像传感器、补光器和滤光组件，图像传感器位于滤光组件的出光侧；还包括图像信号处理单元、编码压缩单元和分析单元；图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号；补光器包括第一补光装置，第一补光装置用于以频闪方式进行近红外补光；滤光组件包括第一滤光片，第一滤光片使可见光和部分近红外光通过；图像信号处理单元用于根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像；编码压缩单元用于对彩色图像进行压缩编码；分析单元用于对灰度图像进行智能分析。本申请能够提高分析结果的精度。

Description

一种图像采集装置及摄像方法

技术领域

本申请涉及监控领域，特别涉及一种图像采集装置及摄像方法。

背景技术

图像采集设备可以安装在大厦和道路等场所，图像采集设备对该场所进行拍摄，不仅得到视频码流，还可以基于拍摄的视频进行智能分析。图像采集设备可以将拍摄的视频码流存储在存储设备中，基于拍摄的视频进行人脸识别等智能分析。

然而在光照亮度较低的场景下，例如在夜晚，基于拍摄的视频进行智能分析，得到分析结果的精度较低。

发明内容

本申请实施例提供了一种图像采集装置及摄像方法，以提高对图像进行智能分析的精度。所述技术方案如下：

一方面，本申请提供了一种图像采集装置，包括：图像传感器(01)、补光器(02)和滤光组件(03)，所述图像传感器(01)位于所述滤光组件(03)的出光侧；还包括图像信号处理单元(04)、编码压缩单元(05)和分析单元(06)；

所述图像传感器(01)，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；

所述补光器(02)包括第一补光装置(021)，所述第一补光装置(021)用于以频闪方式进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述滤光组件(03)包括第一滤光片(031)，所述第一滤光片(031)使可见光和部分近红外光通过；

所述图像信号处理单元(04)，用于根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像；

所述编码压缩单元(05)，用于对所述彩色图像进行压缩编码；

所述分析单元(06)，用于对所述灰度图像进行智能分析。

另一方面，本申请提供了一种摄像方法，应用于图像采集设备，所述图像采集设备包括图像传感器(01)、补光器(02)和滤光组件(03)，所述图像传感器(01)位于所述滤光组件(03)的出光侧，所述补光器(02)包括第一补光装置，所述滤光组件(03)包括第一滤光片，所述方法包括：

所述图像采集设备通过所述第一补光装置进行近红外补光，其中所述第一补光装置至少在所述图像传感器多次曝光的第一预设曝光的部分曝光时间段内进行近红外补光，在所述多次曝光的第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光；

所述图像采集设备通过所述多次曝光产生第一原始图像信号和第二原始图像信号，其中所述第一原始图像信号是根据所述第一预设曝光产生的图像信号，所述第二原始图像信号是根据所述第二预设曝光产生的图像信号；

所述图像采集设备通过所述第一滤光片，使可见光和部分近红外光通过；

所述图像采集设备根据所述第一原始图像信号得到灰度图像，根据所述第二原始图像信号得到彩色图像；

所述图像采集设备对所述彩色图像进行压缩编码，以及对所述灰度图像进行智能分析。

本申请实施例提供的技术方案可以包括以下有益效果：

由于图像传感器基于第一补光装置的近红外补光时序来曝光，以便在第一预设曝光的过程中进行近红外补光时图像传感器产生第一原始图像信号，在第二预设曝光的过程中不进行近红外补光时图像传感器产生第二原始图像信号，这样的数据采集方式，可以直接采集到红外分量不同的第一原始图像信号和第二原始图像信号，从而能够简单地得到彩色图像信号(第二原始图像信号)和红外图像信号(第一原始图像信号)。进而利用第一原始图像信号得到灰度图像，利用第二原始图像信号得到彩色图像，第一原始图像信号由于是进行近红外补光时产生的，所以基于第一原始图像信号得到的灰度图像中近红外亮度信息突出，灰度图像对比度鲜明，在夜景中相比彩色图像有利于得到更好的智能分析结果，从而可以提高智能分析的精度。第二原始图像信号由于是未进行近红外补光时产生的，所以基于第二原始图像信号得到的彩色图像中RGB色彩信息突出，在夜景中相比灰度图像有利于输出用于观看。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请实施例提供的一种图像采集装置的结构示意图；

图2是本申请实施例提供的一种滤光组件的结构示意图；

图3是本申请实施例提供的第一预设曝光的曝光时间段和第二预设曝光的曝光时间的时序图；

图4是本申请实施例提供的一种卷帘曝光方式的示意图；

图5是本申请实施例提供的第一种第一预设曝光和第二预设曝光的示意图；

图6是本申请实施例提供的第二种第一预设曝光和第二预设曝光的示意图；

图7是本申请实施例提供的第三种第一预设曝光和第二预设曝光的示意图；

图8是本申请实施例提供的第一种卷帘曝光方式和近红外补光的示意图；

图9是本申请实施例提供的第二种卷帘曝光方式和近红外补光的示意图；

图10是本申请实施例提供的第三种卷帘曝光方式和近红外补光的示意图；

图11是本申请实施例提供的近红外光对应的波段示意图；

图12是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；

图13是本申请实施例提供的另一种图像采集装置的结构示意图；

图14是本申请实施例提供的RGBW传感器的结构示意图；

图15是本申请实施例提供的RCCB传感器的结构示意图；

图16是本申请实施例提供的RGB传感器的结构示意图；

图17是本申请实施例提供的RYYB传感器的结构示意图；

图18是本申请实施例提供的各感光通道对应的波段示意图；

图19是本申请实施例提供的图像融合的示意图；

图20是本申请实施例提供的一种摄像方法流程图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在光线较弱的环境中，例如在夜晚环境中，图像采集设备拍摄的图像信号的噪声较大，基于该图像信号产生的灰度图中的噪声也随之较大，这样基于该灰度图像进行智能分析处理时得到的分析结果的精度较低。为了提高分析结果的精度，本申请提供了如下图像采集设备。

参见图1，本申请实施列提供了一种图像采集装置，所述图像采集装置包括：

图像传感器01、补光器02和滤光组件03，图像传感器01位于滤光组件03的出光侧；还包括图像信号处理单元04、编码压缩单元05和分析单元06；

图像传感器01，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光；

补光器02包括第一补光装置021，第一补光装置021用于以频闪方式进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光；

滤光组件03包括第一滤光片031，第一滤光片031使可见光和部分近红外光通过；

图像信号处理单元04，用于根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像；

编码压缩单元05，用于对彩色图像进行压缩编码；

分析单元06，用于对灰度图像进行智能分析。

图像传感器01通过多次曝光产生并输出第一图像信号和第二图像信号，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光。第一图像信号经由图像信号处理单元04进行图像信号处理，输出彩色图像，供编码压缩输出视频码流；第二图像信号经由信号信号处理单元04进行图像信号处理，产生灰度图像，分析单元06针对灰度图像进行分析处理，输出智能分析结果；针对智能分析进行专门的补光以及图像信号采集与优化处理，不改变现有视频效果的前提下，进一步提升智能分析的效果。

第一滤光片031用于通过可见光和部分近红外光，其中，在第一预设曝光的曝光时间段内通过第一滤光片031的近红外光包括第一补光装置021进行近红外补光时经物体反射进入滤光组件03的近红外光，在第二预设曝光的曝光时间段内通过第一滤光片031的近红外光包括第一补光装置021未进行近红外补光时经物体反射进入滤光组件03的近红外光；其中，第一补光装置021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

作为一种示例，图像采集装置可以是摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等。

作为另一种示例，补光器02可以位于图像采集装置内，也可以位于图像采集装置的外部。补光器02可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当补光器02位于图像采集的外部时，补光器02可以与图像采集装置进行通信连接，可以保证图像采集设备中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

另外，需要说明的一点是，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，本申请实施例对此不做限定。第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

参见图3，第一预设曝光的曝光时间段和第二预设曝光的曝光时间段循环交替出现，第一补光装置021在第一预设曝光的曝光时间段内产生并发射近红外光，以实现近红外补光，在第二预设曝光的曝光时间段内停止产生近红外光，以实现不进行近红外补光。所谓频闪方式进行近红外补光就是在第一预测曝光的曝光时间段内产生并发射近红外光，以及在与第一预测曝光的曝光时间段相邻的第二预设曝光的曝光时间段内停止产生近红外光。

参见图3，作为一种示例，该多次曝光可以包括奇数次曝光和偶数次曝光，该第一预设曝光可以为偶数次曝光中的一次曝光，第二预设曝光可以为奇数次曝光中的一次曝光。

作为一种示例，第一预设曝光可以为奇数次曝光中的一次曝光，第二预设曝光可以为偶数次曝光中的一次曝光；或者

作为一种示例，第一预设曝光可以为指定的奇数次曝光中的一次曝光，第二预设曝光可以为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者

作为一种示例，第一预设曝光可以为指定的偶数次曝光中的一次曝光，第二预设曝光可以为除指定的偶数次曝光之外的其他曝光中的一次曝光。

作为一种示例，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在单位时间长度内的曝光次数，其中，每相邻两次补光的补光时间段内，间隔一次或多次曝光。

作为一种示例，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光；或者

作为一种示例，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光；

其中，该多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效像素的曝光开始时刻均相同，且每一行有效像素的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效像素同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效像素的曝光时间不完全重合，也即是，一行有效像素的曝光开始时刻都晚于上一行有效像素的曝光开始时刻，且一行有效像素的曝光结束时刻都晚于上一行有效像素的曝光结束时刻。另外，卷帘曝光方式中每一行有效像素结束曝光后可以进行数据输出，因此，从第一行有效像素的数据开始输出时刻到最后一行有效像素的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图4，图4为一种卷帘曝光方式的示意图。从图10可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在图像传感器01采用全局曝光方式进行多次曝光的情况下，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的整个曝光时间段内不进行近红外补光，从而不会对第二预设曝光造成影响。

例如，参见图5，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图6，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图7，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。

在另一些实施例中，在图像传感器01采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，参见图8，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图9，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图10，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图8至图10仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

参见图3，在第一预设曝光的曝光时间段内，第一补光装置021产生并向外界环境中发射近红外光，所以在第一预设曝光的曝光时间段内外界环境中包括环境光和第一补光装置021产生的该近红外光，环境光包括可见光，还可以包括近红外光和红外光等中的至少一种，这样在第一预设曝光的曝光时间段内，被物体反射进入第一滤光片031的光包括第一补光装置021产生的该近红外光和该环境光，第一滤光片031通过该近红外光和该环境光中的可见光和近红外光，并传输至图像传感器01。图像传感器01根据第一预设曝光的曝光参数进行拍摄，能够感应到该环境光中的可见光、近红外光以及第一补光装置021产生的该近红外光，得到第一原始图像信号。在第二预设曝光的曝光时间段内，第一补光装置021停止产生近红外光，所以在第二预设曝光的曝光时间段内外界环境中包括环境光，被物体反射进入第一滤光片031的光包括该环境光，第一滤光片031通过该环境光中的可见光和近红外光，并传输至图像传感器01，图像传感器01根据第二预设曝光的曝光参数进行拍摄，能够感应到外界环境中的环境光中的可见光和近红外光得到第二原始图像信号。

需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。以图像采集装置中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一图像信号和第二图像信号的过程为：在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

基于上述描述，第一补光装置021在第一预设曝光的部分曝光时间段内进行近红外补光，在第一预设曝光的曝光时间段内，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，并且第一滤光片031还可以使环境光中的可见光和近红外光通过。但由于第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光的强度较强，而可见光的强度较弱，图像传感器01感应到的近红外光的强度较强。因此，根据第一预设曝光产生并输出的第一原始图像信号主要包括近红外光亮度信息。另外，基于上述描述，在第二预设曝光的整个曝光时间段内第一补光装置021不进行近红外补光，在第二预设曝光的曝光时间段内，通过第一滤光片031的近红外光为环境光中的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱，而可见光的强度较强，图像传感器01可以感应到的可见光的强度较强。因此，根据第二预设曝光产生并输出的第二原始图像信号主要包括可见光亮度信息。

第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，本申请实施例对此不做限定。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米，作为一种示例，第一参考波段范围可以为650纳米～1000纳米。其中，需要说明的是：第二参考波段范围可以为700纳米～800纳米表示第二参考波段范围为大于或等于700纳米且小于或等于800纳米的范围，或为大于700纳米且小于800纳米的范围，或为大于或等于700纳米且小于800纳米的范围，或为大于700纳米且小于或等于800纳米的范围。对于本文其他地方出现的类似的范围，其含义与此相同，不再一一说明。

由于在第一预设曝光的曝光时间段内，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，因此，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以与第一补光装置021进行近红外补光的中心波长匹配，也即是，第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度达到约束条件。

第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图11所示。从图11可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米至960之间，近红外光的相对强度最高。

由于在第一预设曝光的曝光时间段内，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

由上述描述可知，图像传感器01在第二预设曝光的曝光时间段内产生并输出的第二原始图像信号主要包括可见光亮度信息。但由于在第二预设曝光的曝光时间段内，第一滤光片031不仅可以使环境光中的可见光通过，还可以使环境光中经物体反射后进入第一滤光片031的近红外光通过。因此，为了使图像传感器01产生并输出的第二原始图像信号不会包含过多的近红外光亮度信息，使第二原始图像信号的质量更高，需要减少第一滤光片031对可见光的阻挡，为此使第一滤光片031的第一波段宽度可以小于第二滤光片031的第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。这样，在第二预设曝光的曝光时间段内，从第一滤光片031通过的近红外的强度相对较弱，而通过的可见光的强度相对较强，图像传感器01可以感应到的近红外光的强度相对较弱，从而使得产生并输出的第二原始图像信号不会包含过多的近红外光亮度信息，进而使得第二原始图像信号的质量更高。

例如，参见图12，图12为第一滤光片031可以通过的光的波长与通过率之间的关系示意图。入射到第一滤光片031的近红外光的波段范围为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1000纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了使图像传感器01产生并输出的第二原始图像信号不会包含过多的近红外光亮度信息，使第二原始图像信号的质量更高，该约束条件包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了使图像传感器01产生并输出的第二原始图像信号不会包含过多的近红外光亮度信息，使第二原始图像信号的质量更高，该约束条件为：第一滤光片031的第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～150纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。这样，在第二预设曝光的曝光时间段内，图像传感器01可以感应到的近红外光的强度相对较弱，从而使得产生并输出的第二原始图像信号不会包含过多的近红外光亮度信息，进而使得第二原始图像信号的质量更高。

例如，参见图12，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图12可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。这样可以减少第一补光装置021的补光次数，从而延长第一补光装置021的使用寿命。

需要说明的是，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图13，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二原始图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内进行可见光补光，也可以在第二预设曝光的整个曝光时间段内进行可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二原始图像信号中的可见光的亮度，进而保证图像采集的质量。或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不进行可见光补光，在第二预设曝光的曝光时间段内进行可见光补光。或者，第二补光装置022用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光。

当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二原始图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。

作为一种示例，对于上述镜头04，镜头04用于对物体反射的光线进行聚焦；

滤光组件03中的第一滤光片031，用于在第一预设曝光的曝光时间段内从聚焦的光线中过滤出第一补光装置021产生的近红外光以及环境光中的可见光和近红外光，在第二预设曝光的曝光时间段内从聚焦的光线中过滤出环境光中的可见光和近红外光。

参见图2，滤光组件03包括第一滤光片031、第二滤光片032和切换部件033；第一滤光片031和第二滤光片032均与切换部件033连接。

第一滤光片031，用于通过可见光波段和近红外光波段的光，该近红外光波段的光是第一参考滤段范围内的光；

第二滤光片032，用于通过可见光波段的光；

在光线较强的外界环境中，第一补光装置021可以停止进行近红外光补光。例如，在白天，光线较强，第一补光装置021可以停止进行近红外光补光。而在光线较弱的外界环境中，第一补光装置021以频闪方式进行近红外补光。例如，在夜晚光线较弱，第一补光装置021以频闪方式进行近红外补光。

所以切换部件033，用于在光线强度较弱的外界环境中将第一滤光片031切换到图像传感器01的入光侧，在光线强度较强的外界环境中将第二滤光片032切换图像传感器01的入光侧。

在第二滤光片032切换到图像传感器01的入光侧之后，第二滤光片032使可见光波段的光通过，阻挡近红外光波段的光，图像传感器01，用于通过曝光产生并输出第三图像信号。

作为一种实例，参见图1和2，该装置还可以包括镜头04，此时滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。

切换部件03将第二滤光片032切换到图像传感器01的入光侧或者将第一滤光片031切换到图像传感器01的入光侧；在第二滤光片032切换到图像传感器的入光侧之后，第一补光装置021处于关闭状态；第二滤光片032用于阻挡近红外光波段的光，使可见光波段的光通过；图像传感器01，用于通过曝光产生并输出第三原始图像信号。

需要说明的是，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。

光线强度较强的外界环境可以指外界环境的光线强度大于或等于预设强度阈值，光线强度较弱的外界环境可以指外界环境的光线强度小于预设强度阈值。

作为一种示例，切换部件033在光线强度较弱的外界环境(如夜晚)中切换第一滤光片031位于镜头04和图像传感器01之间，物体反射的光线传输路径经过镜头04、第一滤光片031和图像传感器01。由于第一滤光片031可以从光线中通过环境光中的可见光和近红外光，以及物体反射的第一补光装置021产生的近红外光，这样在第一预设曝光的曝光时间段内，第一滤光片031可以从镜头04聚焦的光线中通过环境光中被物体反射的可见光和近红外光，以及被物体反射的第一补光装置021产生的近红外光，并将通过的可见光和近红外光传输给图像传感器01。在第二预设曝光的曝光时间段内，第一滤光片031可以从镜头04聚焦的光线中通过环境光中被物体反射的可见光和近红外光，并将过滤出的环境光中可见光和近红外光传输给图像传感器01。

作为一种示例，切换部件033在光线强度较强的外界环境(如白天)中切换第二滤光片032位于镜头04和图像传感器01之间，被物体反射的光线传输路径经过镜头04、第二滤光片032和图像传感器01。由于第二滤光片032可以从光线中通过可见光，这样第二滤光片032可以从镜头04聚焦的光线中通过可见光，并将通过的可见光传输给图像传感器01。

在一些实施例中，图像传感器进行多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个帧周期内就会产生25组图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

作为一种示例，在本申请实施例中还提供了另一种产生第一原始图像信号和第二原始图像信号的实现方式，该另一种实现方式为：

在光线强度较弱的外界环境(如在夜晚)，第一补光装置021用于持续产生并发射近红外光。切换部件033在第一预设曝光的曝光时间段内驱动第一滤光片031位于镜头04和图像传感器01之间，镜头04对物体反射的光线进行聚焦，第一滤光片031从聚焦的光线中通过环境光中的可见光和近红外光以及被物体反射的第一补光装置021产生的近红外光，图像传感器01根据第一预设曝光的曝光参数对第一滤光片031通过的可见光和近红外光进行感应得到第一原始图像信号。以及切换部件033在第二预设曝光的曝光时间段内驱动第二滤光片032位于镜头04和图像传感器01之间，镜头04对物体反射的光线进行聚焦，第二滤光片032从聚焦的光线中过滤出可见光，图像传感器01根据第二预设曝光的曝光参数对该可见光进行感应得到第二原始图像信号。

由于在第二预设曝光的曝光时间段内，第二滤光片032只让可见光通过，阻挡近可见光通过，这样图像传感器01对该可见光进行感应得到的第二原始图像信号不会出现过度曝光现象，使得基于第二原始图像信号得到的彩色图像不会出现泛白现象。

在光线强度较强的外界环境(如在白天)，切换部件033驱动第二滤光片032位于镜头04和图像传感器01之间。

对于上述介绍的图像传感器01，图像传感器01包括多个感光通道，该多个感光通道用于感应至少两种不同的可见光波段的光。其中每个感光通道用于感应至少一种颜色的可见光波段的光和近红外波段的光，该至少一种可见光包括红光、绿光、蓝光和黄光等。

作为一种示例，每个感光通道对应一种颜色的可见光波长范围，即每个感光通道用于感应其对应的一种颜色的可见光波长范围内的可见光和近红外波段的光。例如该多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道等中的至少两种；其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。参见图14至17，图像传感器01是一个通道阵列，该通道阵列包括多个感光通道。参见图14，该图像传感器01可以为RGBW传感器，RGBW传感器中包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种，W感光通道用于全波段的白光和近红外波段的光；或者，参见图15，该图像传感器01可以为RCCB传感器，RCCB传感器中包括R感光通道、C感光通道和B感光通道中的至少两种，C感光通道用于全波段的白光和近红外波段的光；或者，参见图16，该图像传感器01可以为RGB传感器，RGB传感器包括R感光通道、G感光通道和B感光通道中的至少两种；或者，参见图17，该图像传感器01可以为RYYB传感器，RYYB传感器包括包括R感光通道、Y感光通道和B感光通道中的至少两种，Y感光通道用于感应黄光波段和近红外波段的光。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图18，图18中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

对于每个感光通道，该感应通道对应一种颜色的可见光波长范围，该感光通道对其对应的可见光波长范围内的颜色光的感应量子效率较高，从而使该感光通道可以感应其对应的可见光波长范围内的颜色光。例如，参见图18，对于RGBW传感器，RGBW传感器的通道阵列包括红、绿、蓝、白四种颜色感光通道，红、绿、蓝、白四种颜色感光通道分别为R感光通道、G感光通道、B感光通道和W感光通道。参见图18，R感光通道Red对红色光波段内的红色光的感应量子效率较高，所以R感光通道可以用于感应红色光波段内的红色光；G感光通道Green对绿色光波段内的绿色光的感应量子效率较高，所以G感光通道可以用于感应绿色光波段内的绿色光；B感光通道Blue对蓝色光波段内的蓝色光的感应量子效率较高，所以B感光通道可以用于感应蓝色光波段内的蓝色光；W感光通道W对全波段内的白色光的感应量子效率较高，所以W感光通道可以用于感应全波段内的白色光。

对于图像信号处理单元04，图像信号处理单元04用于对第一原始图像信号至少进行第一锐化处理得到灰度图像，对第二原始图像信号至少进行第二锐化处理得到彩色图像，第一锐化处理的强度小于第二锐化处理的强度。

其中，对图像进行锐化处理会导致图像中的信息损失，第一锐化处理的强度小于第二锐化处理的强度，这样可以减小第一锐化处理的强度，对第一原始图像信号至少进行第一锐化处理得到灰度图像，可以减小灰度图像中的信息损失量，如此基于灰度图像进行智能分析时可以提高智能分析的精度。

第一处理还包括黑电平校正、Gamma校正、色彩校正、去马赛克或降噪等处理中的至少一个。第二处理还包括黑电平校正、Gamma校正、色彩校正、去马赛克或降噪等处理中的至少一个。

可选的，参见图19，图像信号处理单元04，用于将第一原始图像信号进行预处理之后的图像信号和第二原始图像信号进行预处理之后的图像信号进行融合得到融合后的图像，将融合后的图像确定为彩色图像。

其中，对第一原始图像信号和第二原始图像信号进行预处理，可以消除图像信号中的噪声。第一原始图像信号在存在近红外补光情况下曝光得到，所以第一原始图像信号的噪声比第二原始图像信号低，第一原始图像信号对应图像的亮度高于第二原始图像信号对应的图像的亮度，将预处理后的两个图像信号进行融合，可以减小彩色图像中的噪声以及增加彩色图像的亮度。

第一原始图像信号和第二原始图像信号分别为两幅图像，图像信号处理单元04可以从第一原始图像信号经预处理之后的图像信号中提取第一边缘图像，第一边缘图像中包括第一原始图像信号对应图像中的各物体图像的边缘，从第二原始图像信号经预处理之后的图像信号中提取第二边缘图像，第二边缘图像包括第二原始图像信号对应图像中的各物体图像的边缘。然后通过如下第一公式，进行融合得到融合后的图像。

第一公式为：

在第一公式中：K_i,j为第一原始图像信号经预处理之后的图像信号中的像素点，Z_i,j为第二原始图像信号经预处理之后的图像信号中的像素点，H_i,j为融合后的图像中的像素点，m_i,j为第一边缘图像中的像素点，n_i,j为第二边缘图像中的像素点，(i,j)为像素点的位置。

对于上述分析单元06，分析单元06中包括智能分析算法，分析单元06使用该智能分析算法对该灰度图像进行智能分析得到分析结果或目标子图。例如，该智能分析算法可以为人脸检测算法，分析单元06使用人脸检测算法对该灰度图像进行智能分析得到分析结果，该分析结果是灰度图像是否有人脸图像，或者，该分析结果是检测出的人脸图像。

智能分析算法可以是对神经网络进行训练得到的。例如，FastRCNN是一种神经网络，通过对FastRCNN进行训练可以得到人脸检测算法。

编码压缩单元05可以采用H.264标准或H.265标准对图像信号处理单元2产生的彩色图像序列进行压缩编码得到视频码流。

接下来对本实施例中的相关部件进行如下简要说明：

补光器021以频闪方式进行近红外补光，不排斥同时以某种方式产生可见光补光，具体为：补光器在第二预设曝光的曝光时间段中不进行近红外补光，在第一预设曝光的曝光时间段中进行近红外补光。

滤光组件03能够使补光器02所产生的近红外补光通过，同时使可见光通过，而阻挡其它光线。

图像传感器01中的每个像素均能感应近红外光，保证补光下采集的近红外图像具有清晰的细节，帮助提升智能分析效果。

图像传感器01中的每个像素至少能感应红光、绿光、蓝光其中一种可见光，或能同时感应所有上述三种可见光，保证采集的彩色视频具有充足的分辨率。

图像传感器01在第一预设曝光与第二预设曝光采用不同的曝光参数，曝光参数包括且不限于曝光时间、模拟增益、数字增益、光圈大小，保证为智能分析所采集的一路图像具有合适的曝光。

补光器02近红外补光，能量集中于700nm～800nm范围内，或者集中于900nm～1000nm范围内，避开800nm～900nm，以减轻常见850nm红外灯造成的干扰。

补光器02除了近红外补光还产生可见光补光，可以使近红外补光看起来不那么偏红，避免与交通信号灯混淆。

滤光组件03能够使近红外补光通过，具体的，在650nm～1000nm的近红外波段中，通过的波段宽度小于阻挡的波段宽度之和，保证有效利用红外补光的前提下，尽量少受其它光源干扰。

滤光组件03能够使近红外补光通过，具体的，在650nm～1000nm的近红外波段中，通过率大于30％的波段宽度小于100nm，保证有效利用红外补光的前提下，尽量少受其它光源干扰。

滤光组件03具有切换部件033，除了上述第一状态，还能够切换为阻挡近红外光，并使可见光通过的第二状态，使图像采集装置能够方便切换为现有摄像机的图像采集方式，兼容现有使用方式。

图像信号处理单元04，在对第一图像信号与第二图像信号进行处理时，所进行的处理步骤不同；并且在进行锐化处理时，所采用的处理强度不同，具体的，对第二图像信号采用更弱的锐化强度，更适合智能分析的需要。

图像信号处理单元04，在生成彩色图像时，可对第一图像信号与第二图像信号进行融合，生成质量更高的彩色图像，更适合视频码流供人眼观看的需要。

在本申请实施列中，图像采集设备包括：图像传感器、补光器和滤光组件，图像传感器位于滤光组件的出光侧；还包括图像信号处理单元、编码压缩单元和分析单元；补光器包括第一补光装置，通过第一补光装置以频闪方式进行近红外补光，即在图像传感器的多次曝光的第一预设曝光的曝光时间段内进行近红外补光，在多次曝光的第二预设曝光的曝光时间段内不进行近红外补光；滤光组件包括第一滤光片，第一滤光片用于通过可见光和部分近红外光，在第一预设曝光的曝光时间段内通过第一滤光片的近红外光包括第一补光装置进行近红外补光时经物体反射进入滤光组件的近红外光，在第二预设曝光的曝光时间段内通过第一滤光片的近红外光包括第一补光装置未进行近红外补光时经物体反射进入所述滤光组件的近红外光；使用图像传感器通过多次曝光产生并输出第一原始图像信号和第二原始图像信号，其中，第一原始图像信号是根据第一预设曝光产生的图像信号，第二原始图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光；使用图像信号处理单元对第一原始图像信号进行第一处理得到灰度图像，对第二原始图像信号进行第二处理得到彩色图像；使用编码压缩单元对彩色图像进行压缩编码得到视频码流；使用分析单元对灰度图像进行智能分析得到分析结果。由于在第一预设曝光的曝光时间段内，第一补光装置进行近红外补光，这样图像传感器在第一预设曝光的曝光时间段内根据第一预设曝光的曝光参数对该外界环境中的环境光和该近红外光进行感应得到第一原始图像信号，可以降低第一原始图像信号中的噪声，对第一原始图像信号进行处理得到灰度图像，灰图图像的噪声也随之降低，基于灰度图像进行分析，可提高分析结果的精度。

参见图20，本申请实施例提供了一种摄像方法，应用于图像采集设备，该图像采集设备可以是图1所示实施例中的任一图像采集装置，也就是说图像采集设备包括图像传感器01、补光器02和滤光组件03，所述图像传感器01位于所述滤光组件03的出光侧，所述补光器02包括第一补光装置，滤光组件03包括第一滤光片。该方法包括：

步骤201：图像采集设备通过第一补光装置进行近红外补光，其中第一补光装置至少在图像传感器多次曝光的第一预设曝光的部分曝光时间段内进行近红外补光，在多次曝光的第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光。

第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，本申请实施例对此不做限定。第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

例如，参见图3，第一预设曝光的曝光时间段和第二预设曝光的曝光时间段循环交替出现，图像采集设备在第一预设曝光的曝光时间段内产生并发射近红外光，以实现近红外补光，在第二预设曝光的曝光时间段内停止产生近红外光，以实现不进行近红外补光。所谓频闪方式进行近红外补光就是在第一预测曝光的曝光时间段内产生并发射近红外光，以及在与第一预测曝光的曝光时间段相邻的第二预设曝光的曝光时间段内停止产生近红外光。

可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

在第一预设曝光的曝光时间段内，第一补光装置021产生并向外界环境中发射近红外光，所以在第一预设曝光的曝光时间段内外界环境中包括环境光和第一补光装置021产生的该近红外光，环境光包括可见光，还可以包括近红外光和红外光等中的至少一种，这样在第一预设曝光的曝光时间段内，被物体反射进入图像采集设备中的第一滤光片031的光包括第一补光装置021产生的该近红外光和该环境光，第一滤光片031通过该近红外光和该环境光中的可见光和近红外光。在第二预设曝光的曝光时间段内，第一补光装置021停止产生近红外光，所以在第二预设曝光的曝光时间段内外界环境中包括环境光，被物体反射进入第一滤光片031的光包括该环境光，第一滤光片031通过该环境光中的可见光和近红外光。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，本申请实施例对此不做限定。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米，作为一种示例，第一参考波段范围可以为650纳米～1000纳米。其中，需要说明的是：第二参考波段范围可以为700纳米～800纳米表示第二参考波段范围为大于或等于700纳米且小于或等于800纳米的范围，或为大于700纳米且小于800纳米的范围，或为大于或等于700纳米且小于800纳米的范围，或为大于700纳米且小于或等于800纳米的范围。对于本文其他地方出现的类似的范围，其含义与此相同，不再一一说明。

由于在第一预设曝光的曝光时间段内，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，因此，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以与第一补光装置021进行近红外补光的中心波长匹配，也即是，第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度达到约束条件。

第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图11所示。从图11可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米至960之间，近红外光的相对强度最高。

由于在第一预设曝光的曝光时间段内，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

步骤202：图像采集设备通过第一滤光片031，使可见光和部分近红外光通过。

图像采集设备中的滤光组件03包括第一滤光片032、第二滤光片032和切换部件033，第一滤光片031和第二滤光片032均与切换部件033连接；

通过切换部件033将第一滤光片031切换到图像传感器01的入光侧；第一滤光片031用于通过可见光和部分近红外光，其中，在第一预设曝光的曝光时间段内通过第一滤光片031的近红外光包括第一补光装置021进行近红外补光时经物体反射进入滤光组件03的近红外光，在第二预设曝光的曝光时间段内通过第一滤光片031的近红外光包括第一补光装置021未进行近红外补光时经物体反射进入滤光组件03的近红外光；其中，第一补光装置021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

通过切换部件033将第二滤光片032切换到图像传感器01的入光侧；第二滤光片032使可见光波段的光通过，阻挡近红外光波段的光，图像采集设备通过图像传感器01曝光产生并输出第三图像信号。

步骤203：图像采集设备通过多次曝光产生第一原始图像信号和第二原始图像信号，其中，第一原始图像信号是根据第一预设曝光产生的图像信号，第二原始图像信号是根据第二预设曝光产生的图像信号。

由于第一补光装置021在第一预设曝光的曝光时间段内进行近红外光补光，所以外部环境中包括第一补光装置021补光的近红外光和环境光，该环境光中包括可见光和近红外光。外部环境中的物体可以将第一补光装置021补光的近红外光反射至图像采集设备，以及将环境光反射至图像采集设备，图像采集设备通过图像传感器01可以对反射的该近红外光和该环境光中的可见光和近红外光进行曝光产生第一原始图像信号。

由第一补光装置021在第二预设曝光的曝光时间段内不进行近红外光补光，所以外部环境中包括环境光，该环境光中包括可见光和近红外光。外部环境中的物体可以将环境光反射至图像采集设备，图像采集设备通过图像传感器01可以对反射的该环境光中的可见光和近红外光进行曝光产生第二原始图像信号。

图像传感器01包括多个感光通道，该多个感光通道用于感应至少两种不同的可见光波段的光。其中每个感光通道用于感应至少一种颜色的可见光波段的光和近红外波段的光，该至少一种可见光包括红光、绿光、蓝光和黄光等。

作为一种示例，每个感光通道对应一种颜色的可见光波长范围，即每个感光通道用于感应其对应的一种颜色的可见光波长范围内的可见光和近红外波段的光。例如该多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道等中的至少两种；其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。参见图14至17，图像传感器01是一个通道阵列，该通道阵列包括多个感光通道。参见图14，该图像传感器01可以为RGBW传感器，RGBW传感器中包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种，W感光通道用于全波段的白光和近红外波段的光；或者，参见图15，该图像传感器01可以为RCCB传感器，RCCB传感器中包括R感光通道、C感光通道和B感光通道中的至少两种，C感光通道用于全波段的白光和近红外波段的光；或者，参见图16，该图像传感器01可以为RGB传感器，RGB传感器包括R感光通道、G感光通道和B感光通道中的至少两种；或者，参见图17，该图像传感器01可以为RYYB传感器，RYYB传感器包括包括R感光通道、Y感光通道和B感光通道中的至少两种，Y感光通道用于感应黄光波段和近红外波段的光。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图18，图18中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

对于每个感光通道，该感应通道对应一种颜色的可见光波长范围，该感光通道对其对应的可见光波长范围内的颜色光的感应量子效率较高，从而使该感光通道可以感应其对应的可见光波长范围内的颜色光。例如，参见图18，对于RGBW传感器，RGBW传感器的通道阵列包括红、绿、蓝、白四种颜色感光通道，红、绿、蓝、白四种颜色感光通道分别为R感光通道、G感光通道、B感光通道和W感光通道。参见图18，R感光通道Red对红色光波段内的红色光的感应量子效率较高，所以R感光通道可以用于感应红色光波段内的红色光；G感光通道Green对绿色光波段内的绿色光的感应量子效率较高，所以G感光通道可以用于感应绿色光波段内的绿色光；B感光通道Blue对蓝色光波段内的蓝色光的感应量子效率较高，所以B感光通道可以用于感应蓝色光波段内的蓝色光；W感光通道W对全波段内的白色光的感应量子效率较高，所以W感光通道可以用于感应全波段内的白色光。

作为一种示例，在第一预设曝光的曝光时间段内，图像采集设备基于第一预设曝光的曝光参数进行曝光产生第一原始图像信号；在第二预设曝光的曝光时间段内，图像采集设备基于第二预设曝光的曝光参数进行曝光产生第二原始图像信号。

对于第一预设曝光的曝光参数和第二预设曝光的曝光参数，该曝光参数包括曝光时间、模拟增益、数字增益、光圈大小中的至少一种。

其中，第一预设曝光的曝光参数和第二预设曝光的曝光参数可以相同，或者，第一预设曝光的曝光参数和第二预设曝光的至少一个曝光参数可以不同。

在第一预设曝光的曝光参数和第二预设曝光的至少一个曝光参数不同的情况下，该至少一个曝光参数为曝光时间、曝光增益、光圈大小中的至少一种，曝光增益包括模拟增益，和/或，数字增益。

第一预设曝光的曝光参数中存在至少一个参数和第二预设曝光的曝光参数中存在至少一个参数不同。作为一种示例，第一预设曝光的曝光增益小于第二预设曝光的曝光增益。在第一预设曝光的曝光时间段内，图像采集设备感应到的近红外光的强度较强，相应地产生并输出的第一原始图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而曝光增益越大，图像采集设备曝光产生的图像信号的亮度越高，曝光增益越小，图像采集设备曝光产生的图像信号的亮度越低，因此，为了保证第一原始图像信号包含的近红外光的亮度在合适的范围内，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在图像采集设备进行近红外补光时，图像采集设备曝光产生的第一原始图像信号包含的近红外光的亮度，不会因图像采集设备进行近红外补光而过高。和/或，

作为一种示例，第一预设曝光的曝光时间小于第二预设曝光的曝光时间。其中曝光时间越长，图像采集设备曝光产生的图像的亮度越高，曝光时间越短，图像采集设备曝光产生的图像信号包括的亮度越低。因此，为了保证第一原始图像信号包含的近红外光的亮度在合适的范围内，使第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在图像采集设备进行近红外补光时，图像采集设备曝光产生的第一原始图像信号包含的近红外光的亮度，不会因图像采集设备进行近红外补光而过高。另外，当拍摄运动的物体时，较短的曝光时间不容易使图像信号中出现运动拖尾现象，从而保证了较高的成像质量。

作为一种示例，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益不仅可以小于第二预设曝光的曝光增益，还可以等于第二预设曝光的曝光增益。

作为一种示例，图像采集设备在单位时间长度内的补光次数低于图像采集设备在所述单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

在本步骤中，图像采集设备多次曝光操作，可以包括如下两种方式：

第一种方式，图像采集设备采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。

第二种方式，图像采集设备采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

该多次曝光包括奇数次曝光和偶数次曝光；

作为一种示例，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。

作为一种示例，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光。

作为一种示例，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光。

作为一种示例，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光。

作为一种示例，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。

作为一种示例，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为所述第一曝光序列中的一次曝光；

其中，多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

需要说明的是，由于人眼容易将图像采集设备进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，图像采集设备还进行可见光补光。这样，如果图像采集设备至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将图像采集设备进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果图像采集设备在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二原始图像信号中的可见光的亮度，进而保证图像采集的质量。

作为一种示例，图像采集设备进行可见光补光的实现方式可以为：

图像采集设备以常亮方式进行可见光补光；或者

图像采集设备以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光；或者

图像采集设备以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不进行可见光补光，在第二预设曝光的部分曝光时间段内进行可见光补光。

步骤204：图像采集设备根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像。

在本步骤中，图像采集设备对第一原始图像信号进行第一信号处理得到灰度图像，对第二原始图像信号进行第二信号处理得到彩色图像。

第一信号处理至少包括第一锐化处理，第二信号处理至少包括第二锐化处理，第一锐化处理的强度小于第二锐化处理的强度。

第一信号处理还包括黑电平校正、Gamma校正、色彩校正、去马赛克或降噪等处理中的至少一个、第二信号处理还包括黑电平校正、Gamma校正、色彩校正。去马赛克或降噪等处理中的至少一个。

作为一种示例，图像采集设备可以将第一原始图像信号进行预处理之后的图像信号和第二原始图像信号进行预处理之后的图像信号进行融合得到融合后的图像，将融合后的图像进行第二信号处理得到彩色图像。

第一原始图像信号和第二原始图像信号分别为两幅图像，图像采集设备可以从第一原始图像信号经预处理之后的图像信号中提取第一边缘图像，第一边缘图像中包括第一原始图像信号对应图像中的各物体图像的边缘，从第二原始图像信号经预处理之后的图像信号中提取第二边缘图像，第二边缘图像包括第二原始图像信号对应图像中的各物体图像的边缘。然后图像采集设备通过上述第一公式进行融合得到融合后的图像，将融合后的图像进行第二信号处理得到彩色图像。

步骤205：对该彩色图像进行压缩编码，以及对该灰度图像进行智能分析。

在本步骤中，可采用SoC芯片中的神经网络计算单元，采用深度学习网络，比如FastRCNN对灰度图像进行智能分析，比如人脸检测等。

在本步骤中，可采用SoC芯片中的编码压缩模块，比如采用H.264的标准将图像序列压缩为视频码流并输出。

在本步骤中，对该彩色图像进行压缩编码得到视频码流，以及对该灰度图像进行智能分析得到分析结果或得到目标子图。

智能分析是目标检测或人脸检测时，得到目标子图可以为目标图像或人脸图像。例如，在进行车牌检测时，得到的目标子图为车牌图像。

在本申请实施列中，图像采集设备在第一预设曝光的曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光；这样在第一预设曝光的曝光时间段内图像采集设备对经物体反射进入的近红外光以及环境光中的可见光和近红外光进行曝光得到第一原始图像信号，在第二预设曝光的曝光时间段内图像采集设备对经物体反射的环境光中的可见光和近红外光进行曝光得到第二原始图像信号；然后图像采集设备对第一原始图像信号进行第一信号处理得到灰度图像，对第二原始图像信号进行第二信号处理得到彩色图像，对彩色图像进行压缩编码得到视频码流，对灰度图像进行智能分析得到分析结果。由于在第一预设曝光的曝光时间段内，图像采集设备进行近红外补光，这样图像采集设备在第一预设曝光的曝光时间段内根据第一预设曝光的曝光参数曝光得到第一原始图像信号，可以降低第一原始图像信号中的噪声，对第一原始图像信号进行处理得到灰度图像，灰图图像的噪声也随之降低，基于灰度图像进行分析，可提高分析结果的精度。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

1.一种图像采集装置，其特征在于，包括：图像传感器(01)、补光器(02)和滤光组件(03)，所述图像传感器(01)位于所述滤光组件(03)的出光侧；所述滤光组件(03)包括第一滤光片(031)，第二滤光片(032)和切换部件(033)，所述第一滤光片(031)和所述第二滤光片(032)均与所述切换部件(033)连接，所述第一滤光片(031)使可见光和部分近红外光通过，所述第二滤光片(032)使可见光通过，阻挡近红外光；还包括图像信号处理单元(04)、编码压缩单元(05)和分析单元(06)；

所述图像传感器(01)，用于在所述第一滤光片(031)位于所述图像传感器(01)的入光侧时，通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；

所述补光器(02)包括第一补光装置(021)，所述第一补光装置(021)用于以频闪方式进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述图像信号处理单元(04)，用于根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像；

所述编码压缩单元(05)，用于对所述彩色图像进行压缩编码；

所述分析单元(06)，用于对所述灰度图像进行智能分析；

在通过所述切换部件(033)将所述第二滤光片(032)切换到所述图像传感器(01)的入光侧之后，所述第二滤光片(032)使可见光波段的光通过，阻挡近红外光波段的光，所述图像传感器(01)，还用于通过曝光产生并输出第三图像信号。

2.如权利要求1所述的图像采集装置，其特征在于，

所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

3.如权利要求2所述的图像采集装置，其特征在于，所述第一预设曝光的曝光增益小于所述第二预设曝光的曝光增益。

4.如权利要求1所述的图像采集装置，其特征在于，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

5.如权利要求4所述的图像采集装置，其特征在于，所述第一预设曝光的曝光时间等于所述第二预设曝光的曝光时间。

6.如权利要求1所述的图像采集装置，其特征在于，所述根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像，包括：

对所述第一原始图像信号至少进行第一锐化处理得到灰度图像，对所述第二原始图像信号至少进行第二锐化处理得到彩色图像，所述第一锐化处理的强度小于所述第二锐化处理的强度。

7.如权利要求1所述的图像采集装置，其特征在于，所述根据第二原始图像信号得到彩色图像包括：

将所述第一原始图像信号进行预处理之后的图像和所述第二原始图像信号进行预处理之后的图像进行融合得到融合后的图像，将融合后的图像确定为所述彩色图像。

8.如权利要求1所述的图像采集装置，其特征在于，入射到所述第一滤光片(031)的近红外光的波段范围为第一参考波段范围，所述第一参考波段范围为650纳米～1100纳米。

9.如权利要求1所述的图像采集装置，其特征在于，

所述第一补光装置(021)进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片(031)的近红外光的中心波长和/或波段宽度达到约束条件。

10.如权利要求9所述的图像采集装置，其特征在于，所述第一补光装置(021)进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

所述第一补光装置(021)进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

所述第一补光装置(021)进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

11.如权利要求9所述的图像采集装置，其特征在于，所述约束条件包括：

通过所述第一滤光片(031)的近红外光的中心波长与所述第一补光装置(021)进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者，

所述约束条件包括：通过所述第一滤光片(031)的近红外光的半带宽小于或等于50纳米；或者，

所述约束条件包括：第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一滤光片(031)的近红外光的波段宽度，所述第二波段宽度是指被所述第一滤光片(031)阻挡的近红外光的波段宽度；或者，

所述约束条件包括：第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度，所述设定比例为30％～50％的比例范围内的任一比例。

12.如权利要求1所述的图像采集装置，其特征在于，所述图像传感器(01)包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

13.如权利要求12所述的图像采集装置，其特征在于，所述多个感光通道用于感应至少两种不同的可见光波段的光。

14.如权利要求1-3任一所述的图像采集装置，其特征在于，所述补光器(02)还包括第二补光装置(022)；

所述第二补光装置(022)用于以常亮方式进行可见光补光；或者

所述第二补光装置(022)用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行可见光补光，在所述第二预设曝光的整个曝光时间段内不进行可见光补光；或者

所述第二补光装置(022)用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的整个曝光时间段内不进行可见光补光，在所述第二预设曝光的部分曝光时间段内进行可见光补光。

15.如权利要求1所述的图像采集装置，其特征在于，所述第一补光装置(021)在单位时间长度内的补光次数低于所述图像传感器(01)在所述单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

16.如权利要求1所述的图像采集装置，其特征在于，

所述图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。

17.如权利要求1所述的图像采集装置，其特征在于，

所述图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

18.一种摄像方法，其特征在于，应用于图像采集设备，所述图像采集设备包括图像传感器(01)、补光器(02)和滤光组件(03)，所述滤光组件(03)包括第一滤光片(031)，第二滤光片(032)和切换部件(033)，所述第一滤光片(031)和所述第二滤光片(032)均与所述切换部件(033)连接，所述第一滤光片(031)使可见光和部分近红外光通过，所述第二滤光片(032)使可见光通过，阻挡近红外光；所述图像传感器(01)位于所述滤光组件(03)的出光侧，所述补光器(02)包括第一补光装置，所述滤光组件(03)包括第一滤光片，在所述第一滤光片位于所述图像传感器的入光侧时，所述方法包括：

所述图像采集设备通过所述第一补光装置进行近红外补光，其中所述第一补光装置至少在所述图像传感器多次曝光的第一预设曝光的部分曝光时间段内进行近红外补光，在所述多次曝光的第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为多次曝光中的其中两次曝光；

所述图像采集设备通过所述第一滤光片，使可见光和部分近红外光通过；

所述图像采集设备通过所述多次曝光产生第一原始图像信号和第二原始图像信号，其中所述第一原始图像信号是根据所述第一预设曝光产生的图像信号，所述第二原始图像信号是根据所述第二预设曝光产生的图像信号；

所述图像采集设备根据所述第一原始图像信号得到灰度图像，根据所述第二原始图像信号得到彩色图像；

所述图像采集设备对所述彩色图像进行压缩编码，以及对所述灰度图像进行智能分析；

在通过所述切换部件(033)将所述第二滤光片(032)切换到所述图像传感器(01)的入光侧之后，所述图像采集设备通过所述第二滤光片(032)使可见光波段的光通过，阻挡近红外光波段的光，所述图像传感器(01)还通过曝光产生并输出第三图像信号。

19.如权利要求18所述的方法，其特征在于，所述图像采集设备根据第一原始图像信号得到灰度图像，根据第二原始图像信号得到彩色图像，包括：

对所述第一原始图像信号至少进行第一锐化处理得到灰度图像，对所述第二原始图像信号至少进行第二锐化处理得到彩色图像，所述第一锐化处理的强度小于所述第二锐化处理的强度。

20.如权利要求18所述的方法，其特征在于，所述图像采集设备根据第二原始图像信号得到彩色图像包括：

将所述第一原始图像信号进行预处理之后的图像和所述第二原始图像信号进行预处理之后的图像进行融合得到融合后的图像，将融合后的图像确定为所述彩色图像。

Images