[go: up one dir, main page]

CN110519489B - 图像采集方法及装置 - Google Patents

图像采集方法及装置 Download PDF

Info

Publication number
CN110519489B
CN110519489B CN201910539479.9A CN201910539479A CN110519489B CN 110519489 B CN110519489 B CN 110519489B CN 201910539479 A CN201910539479 A CN 201910539479A CN 110519489 B CN110519489 B CN 110519489B
Authority
CN
China
Prior art keywords
exposure
light
image
snapshot
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910539479.9A
Other languages
English (en)
Other versions
CN110519489A (zh
Inventor
聂鑫鑫
范蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910539479.9A priority Critical patent/CN110519489B/zh
Publication of CN110519489A publication Critical patent/CN110519489A/zh
Application granted granted Critical
Publication of CN110519489B publication Critical patent/CN110519489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像采集方法及装置，该装置包括：滤光组件、图像传感器、补光器、图像处理单元；图像传感器位于滤光组件的出光侧；所述图像传感器，用于根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号；所述补光器用于在全局曝光时，根据补光信号进行爆闪补光；所述滤光组件包括第一滤光片和第二滤光片；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光；图像处理单元，用于根据所述两个抓拍图像信号，得到抓拍图像，可以在任一时间段内通过两次曝光采集到两个抓拍图像信号，后续根据该两个抓拍图像信号获取外部场景的抓拍图像，降低了设备成本，并优化了抓拍图像的效果。

Description

图像采集方法及装置
技术领域
本申请涉及计算机视觉领域，尤其涉及一种图像采集方法及装置。
背景技术
在交通管理或者治安管理领域，常常通过近红外光和可见光的辅助照射，来抓拍场景中的物体，例如车辆、行人、路障等。目前常用的拍摄设备可以根据场景中光线的不同获取不同的图像，以使对场景的信息的获取不受可见光强度的限制，例如，拍摄设备在场景中可见光强度较强时获取可见光图像，在场景中可见光强度较弱时获取近红外光图像，以实现在不同的可见光强度下都能够获取场景的信息。
相关技术中的拍摄设备包括两个图像传感器和一个镜头，在镜头上设置有一个二向色分光片，将进入拍摄设备的光线分为可见光和红外光，将可见光和红外光分别投射到可见光传感器和红外光传感器，再将可见光传感器和红外光传感器输出的图像进行合并。
然而，要将两个传感器输出的图像进行合并，对设备生产精度要求较高，且上述拍摄设备存在结构复杂、成本较高的问题。
发明内容
本申请提供一种图像采集方法及装置，以提高外部场景的抓拍效果，并解决现有技术中设备结构复杂、成本较高的问题。
第一方面，本申请提供一种图像采集装置，包括：
滤光组件、图像传感器、补光器、图像处理单元，所述图像传感器位于所述滤光组件的出光侧；
所述图像传感器，用于根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号；
所述补光器用于在全局曝光时，根据补光信号进行爆闪补光；
所述滤光组件包括第一滤光片和第二滤光片；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光；
图像处理单元，用于根据所述两个抓拍图像信号，得到抓拍图像。
第二方面，本申请提供一种图像采集方法，
应用于图像采集装置，所述图像采集装置包括图像传感器、补光器、滤光组件和图像处理单元，所述图像传感器位于所述滤光组件的出光侧，所述方法包括：
通过所述补光器在全局曝光时，根据补光信号进行爆闪补光；
通过所述滤光组件包括的第一滤光片使可见光和部分近红外光通过；通过所述滤光组件包括的第二滤光片使可见光通过，阻挡近红外光；
通过所述图像传感器根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号；
通过所述图像处理单元根据所述两个抓拍图像信号，得到抓拍图像。
本申请实施例提供的图像采集方法及装置，包括：滤光组件、图像传感器、补光器、图像处理单元，所述图像传感器位于所述滤光组件的出光侧；所述图像传感器，用于根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号；所述补光器用于在全局曝光时，根据补光信号进行爆闪补光；所述滤光组件包括第一滤光片和第二滤光片；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光；图像处理单元，用于根据所述两个抓拍图像信号，得到抓拍图像，可以在任一时间段内通过两次曝光采集到两个抓拍图像信号，后续根据该两个抓拍图像信号获取外部场景的抓拍图像，降低了设备成本，并优化了抓拍图像的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本申请实施例提供的一种图像采集装置的结构示意图；
图2是本申请实施例提供的另一种图像采集装置的结构示意图；
图3是本申请实施例提供的一种图像处理单元的结构示意图；
图4是本申请实施例提供的一种图像预处理单元的结构示意图；
图5是本申请实施例提供的一种图像融合处理原理示意图；
图6是本申请实施例提供的另一种图像处理单元的结构示意图；
图7是本申请实施例提供的一种去反射单元的原理示意图；
图8是本申请实施例提供的一种去反射单元的流程示意图；
图9是本申请实施例提供的另一种图像处理单元的结构示意图；
图10是本申请实施例提供的一种第一补光装置进行近红外爆闪补光的波长和相对强度之间的关系示意图；
图11是本申请实施例提供的一种第一滤光片通过的光线的波长与通过率之间的关系示意图；
图12是本申请实施例提供的一种RGB传感器的示意图；
图13是本申请实施例提供的一种RGBW传感器的示意图；
图14是本申请实施例提供的一种RCCB传感器的示意图；
图15是本申请实施例提供的一种RYYB传感器的示意图；
图16是本申请实施例提供的一种图像传感器的感应曲线示意图；
图17是本申请实施例提供的一种图像采集方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图像采集装置的结构示意图，参见图1，该图像采集装置包括图像传感器01、补光器02、滤光组件03以及图像处理单元，图像传感器01位于滤光组件03的出光侧。图像传感器01，用于根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号。补光器02用于在全局曝光时，根据补光信号进行爆闪补光。
参见图2，滤光组件03包括第一滤光片031和第二滤光片032；第一滤光片031使可见光和部分近红外光通过；第二滤光片032使可见光通过，阻挡近红外光；
图像处理单元，用于根据所述两个抓拍图像信号，得到抓拍图像。
在上述实施例的基础上，参见图2，所述滤光组件03还包括切换部件033，所述第一滤光片031和所述第二滤光片032均与所述切换部件033连接；所述切换部件033，用于将所述第二滤光片032切换到所述图像传感器01的入光侧，或者，将第一滤光片031切换到该图像传感器01的入光侧。例如，在白天时候，将该第二滤光片032切换到该图像传感器01的入光侧，在夜晚时候，将第一滤光片031切换到该图像传感器01的入光侧。
其中，抓拍信号和补光信号可以是同一个信号。
在一些实施例中，在光照强度低的情况下，例如夜间，通过近红外光爆闪补光实现对外部场景的抓拍，在第一滤光片031切换到图像传感器01的入光侧之后：
图像传感器01用于根据抓拍信号，采用全局曝光方式进行两次曝光，所述两次曝光包括第一预设曝光和第二预设曝光，通过两次曝光产生并输出第一抓拍图像信号和第二抓拍图像信号。其中，第一抓拍图像信号是根据第一预设曝光产生的图像信号，第二抓拍图像信号是根据第二预设曝光产生的图像信号，并且，第一预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，第二预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同。补光器02包括第一补光装置021，第一补光装置021用于根据补光信号进行近红外爆闪补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在第二预设曝光的曝光时间段内不进行近红外爆闪补光。
图像处理单元，用于根据图像传感器输出的第一抓拍图像信号和第二抓拍图像信号，融合得到抓拍图像。
在另一些实施例中，外部场景中的光照强度较好，例如白天，则通过可见光爆闪补光进行抓拍，在第二滤光片032切换到图像传感器01的入光侧之后，图像传感器01，用于根据抓拍信号，采用全局曝光方式进行两次曝光，通过两次曝光产生并输出第三抓拍图像信号和第四抓拍图像信号，其中，第三抓拍图像信号是根据第三预设曝光产生的图像信号，第四抓拍图像信号是根据第四预设曝光产生的图像信号，并且，第三预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，第四预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同。
参见图2，补光,02包括第二补光装置022，第二补光装置022用于根据补光信号，进行可见光爆闪补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行可见光爆闪补光，在所述第四预设曝光的曝光时间段内不进行可见光爆闪补光。
图像处理单元，用于根据所述第三抓拍图像信号和所述第四抓拍图像信号，通过对反射部位进行去反射得到抓拍图像。
需要说明的是，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021用于进行可见光爆闪补光，其中，至少在第三预设曝光的部分曝光时间段内进行可见光爆闪补光，在第四预设曝光的曝光时间段内不进行可见光爆闪补光。
在本申请一实施例中，参见图3，图像处理单元，包括：
图像预处理单元和图像融合单元；
其中，所述图像预处理单元，用于将所述第一抓拍图像信号经预处理后生成灰度图像，将所述第二抓拍图像信号经预处理后生成彩色图像；
所述图像融合单元，用于将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像，即抓拍图像。
具体的，获取到传感器输出的第一抓拍图像信号和第二抓拍图像信号之后，可以通过图像预处理单元先对第一抓拍图像信号和第二抓拍图像信号进行预处理，分别得到预处理后的灰度图像和彩色图像，然后通过图像融合单元对彩色图像和灰度图像进行融合处理，得到彩色融合图像。
可以在任一时间段内通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一抓拍图像信号和包含可见光信息的第二抓拍图像信号，后续根据该第一抓拍图像信号和第二抓拍图像信号进行处理得到的图像的质量更高，因此对外部场景的抓拍效果较好。
如图4所示，所述图像预处理单元，包括：
联合降噪单元，以及分别与所述联合降噪单元连接的第一预处理单元和第二预处理单元；
其中，所述联合降噪单元，用于对所述第一抓拍图像信号和所述第二抓拍图像信号进行滤波处理，得到降噪后的第一抓拍图像信号和第二抓拍图像信号；
所述第一预处理单元，用于对降噪后的第一抓拍图像信号进行第一预处理操作，得到预处理后的灰度图像；所述第二预处理单元，用于对降噪后的第二抓拍图像信号进行第二预处理操作，得到彩色图像。
其中，第一预处理操作例如包括以下至少一项操作：黑电平处理、坏点校正、亮度计算、伽马校正、降噪和锐化处理；
第二预处理操作例如包括以下至少一项操作：黑电平处理、坏点校正、白平衡校正、色彩插值、伽马校正、色彩校正、RGB转YUV操作、降噪和锐化处理。
联合降噪单元，用于利用第一抓拍图像信号和第二抓拍图像信号之间信息的相关性，对第一抓拍图像信号或第二抓拍图像信号进行联合降噪处理，例如联合双边滤波处理，得到信噪比提升的降噪后的第一抓拍图像信号和第二抓拍图像信号。
在本申请的一些实施例中，根据所述彩色图像和所述灰度图像之间的相关性，对所述彩色图像和所述灰度图像分别进行联合滤波处理，得到所述降噪后的彩色图像和灰度图像；
或者，所述联合降噪单元，具体用于：
根据第一抓拍图像信号和第二抓拍图像信号之间的相关性，对所述第一抓拍图像信号和第二抓拍图像信号分别进行联合滤波处理，得到所述降噪后的第一抓拍图像信号和第二抓拍图像信号。
示例性的，在本申请一实施例中，当图像传感器为以bayer方式排列的传感器时，输出的图像信号将为马赛克图像信号。第一预处理单元还可以对第一抓拍图像信号进行去马赛克处理，从而得到修复后的第一抓拍图像信号。
需要说明的是，在对第一抓拍图像信号进行去马赛克处理时，可以采用双线性插值法或自适应插值法等方法来进行处理，此处不再赘述。进一步的，图像融合单元包括：色彩提取单元、亮度提取单元，分别与所述色彩提取单元和所述亮度提取单元连接的融合处理单元；
其中，所述色彩提取单元，用于提取所述彩色图像的色彩信号；
所述亮度提取单元，用于提取所述彩色图像的亮度信号；
所述融合处理单元，用于对所述灰度图像进行高通滤波，得到滤波后的高频信号；
对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；
对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像。
其中，所述融合处理单元，具体用于：
对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；
对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述彩色融合图像。
具体的，图3中图像融合单元的功能，是将彩色图像的亮度信号和灰度图像的亮度信号进行加权融合，得到融合亮度图像，然后再与彩色图像的色彩信号合成，得到彩色融合图像。
图5中，在加权融合之前可以对亮度信号进行低通滤波得到低频信号，对灰度图像进行高频滤波得到高频信号，将低频信号和高频信号进行加权融合得到融合亮度图像。
示例性的，假设灰度图像为Y，彩色图像的亮度信号为W，利用高通滤波和低通滤波，提取彩色图像的亮度信号W的高频信号和灰度图像Y的低频信息，如下式所述，
Whigh＝HPF(W)
Ylow＝LPF(Y)
其中，HPF表示高通滤波器，LPF表示低通滤波器，Whigh表示灰度图像的高频信号，Ylow表示彩色图像的亮度信号的低频信号。将彩色图像的亮度信号的低频信号与灰度图像的高频信号相加，得到融合亮度图像，即FUS'＝Whigh+Ylow。最后将融合亮度图像与彩色图像的色彩信号VISlow合成，得到彩色融合图像，即抓拍图像。
在一些实施例中，若当前使用场景中光线较强，例如在白天的时候，第一补光装置根据补光信号，至少在第三预设曝光时间段内进行可见光爆闪补光，在第四预设曝光的曝光时间段内不进行可见光爆闪补光，则图像传感器根据抓拍信号，产生并输出的第三抓拍图像信号为一种可见光爆闪抓拍图像信号，图像传感器产生并输出的第四抓拍图像信号为一种非爆闪抓拍图像信号。如图6所示，图像处理单元包括：检测配准单元和去反射单元；
其中，检测配准单元，用于根据第三抓拍图像信号和第四抓拍图像信号，采用深度学习算法分别检测第三抓拍图像信号和第四抓拍信号中的车窗区域，并根据第三抓拍图像信号对第四抓拍信号中的车窗区域进行配准，得到第四抓拍信号中的非闪光车窗区域图像，具体的，通过检测得到第三抓拍图像信号的闪光车窗区域和第四抓拍图像信号的非闪光车窗区域的车窗位置坐标，再根据车窗位置坐标对第四抓拍信号中的非闪光车窗区域进行坐标变换，得到非闪光车窗区域图像。
其中，去反射单元，用于根据第三抓拍图像信号和非闪光车窗区域图像，对第三抓拍图像信号中的闪光车窗区域图像进行去反射，得到抓拍图像。
具体的，第三抓拍图像信号和第四抓拍图像信号分别经过图像信号处理(ImageSignal Processing，ISP)，ISP主要包括图像传感器校正操作、插值操作和色彩校正操作。图像传感器校正操作主要是对图像传感器输出的图像做一些初步地校正，主要包含黑电平校正(Black Level Correction，BLC)、坏点校正(Defect Pixel Correction，DPC)、绿平衡和数字增益四个部分。BLC主要用于减去对应的偏移量，还原出原始的线性数据，以便后续各种处理。DPC主要用于对传感器的坏点进行校正。坏点一般指在图像中表现为过暗或过量的点，其与周围像素点的响应率差异较大。绿平衡主要用于校正与红色分量相邻的绿色分量G1和与蓝色分量相邻的绿色分量G2两个通道的失衡。数字增益主要用于将自动曝光计算得出的增益值与图像相乘，保持图像在合适亮度范围。插值操作主要用于实现拜耳(Bayer)图像数据到红绿蓝三原色(RGB)图像数据的转换，主要方法采用梯度插值法。色彩校正操作主要包括白平衡、色彩校正、曲线映射和去伪彩四部分。白平衡主要用于根据输入的RGB增益，对图像数据进行白平衡处理，校正偏色，使图像呈现为既不偏冷也不偏暖的中性色调。色彩校正主要用于校正图像中存在的偏色，即通过卷积色彩矩阵的方式，实现真实色彩的还原。Gamma校正操作主要用于通过曲线映射方式，使输出图像具有合适的亮度，且符合人眼主观效果。进而，采用深度学习算法分别提取待抓拍车辆的闪光车窗区域图像和非闪光车窗区域图像。
在一些实施例中，提取待抓拍车辆的闪光车窗区域图像和非闪光车窗区域图像，并通过图像配准得到闪光车窗区域图像和非闪光车窗区域图像的车窗位置坐标，再根据车窗位置坐标对闪光车窗区域图像和非闪光车窗区域图像进行坐标变换。可选的，特征点提取算法可以为Sift算法、Kaze算法、Fast算法和Surf算法等，对爆闪图像信号中提取到多个第一特征点以及在非爆闪图像信号中提取到多个第二特征点后，将多个第一特征点和多个第二特征点进行匹配，为了能够使特征点更有效的匹配，通常用特征描述子来描述特征点及其周围的信息。两个特征描述子之间的距离可以反映出其相似的程度，即特征点是否匹配。例如，本步骤中检测配准单元可以从多个第一特征点中选取一个第一特征点，确定该第一特征点的特征描述子和多个第二特征点的特征描述子之间的多个距离，然后从多个距离中选取距离最小的特征描述子对应的第二特征点，将该第二特征点与该第一特征点配对，得到一个特征点对。检测配准单元通过上述方法将多个第一特征点和多个第二特征点进行配对，得到多个特征点对。根据得到的多个特征点对，确定该多个特征点对的位置坐标，根据该位置坐标，计算得到配准矩阵，最后进行仿射变换配准可以利用透视变换的数学模型来完成坐标变换，目标检测坐标进行如下处理：
Figure BDA0002102124150000091
Figure BDA0002102124150000101
其中，(x,y)为校正后的坐标，(x1,y1)为未经过校正坐标，
Figure BDA0002102124150000102
为离线标定获取到的仿射变换矩阵。变换后的目标位置反馈给配准模块。
进一步地，参见图7根据上述检测配准单元得到的相同坐标位置的闪光车窗区域图像和非闪光车窗区域图像，进行去反射操作，其中，闪光车窗区域图像在不包含反射时的梯度
Figure BDA0002102124150000103
和非闪光车窗区域图像的梯度
Figure BDA0002102124150000104
有着相同的梯度方向，然而，实际得到的包含反射的闪光车窗区域图像梯度是
Figure BDA0002102124150000105
因此，为了去反射需要反射的梯度
Figure BDA0002102124150000106
如图8所示，图8为本发明实施例提供的一种去反射的流程示意图，主要包括以下步骤：
S1对闪光车窗区域图像和非闪光车窗区域图像分别进行高斯平滑操作，得到闪光图像I1与非闪光图像I2，以减少噪声，便于后续的梯度提取。
S2分别提取I1，I2的水平和垂直梯度，根据水平和垂直梯度得到每一像素点的结构张量，并计算每个像素点所对应的结构张量的特征值λ1(λ11>λ12)、λ2(λ21>λ22)和特征向量ξ1(ξ11,ξ12)和ξ2(ξ21,ξ22)。
S3设置阈值T，根据λ11、λ21对非闪光图像I2的特征向量ξ2进行修改。将λ21大于T的平行于梯度方向的特征向量ξ21置0，并去掉λ11、λ21均小于T的特征向量ξ2，也即两张图像的平滑区域。
S4根据筛选后的特征向量，计算非闪光图像I2的交叉扩散矩阵(2*2)。
S5对图像进行分通道，对每一个像素进行遍历，采用迭代的方式进行最优化处理：
S501将闪光图像I1的每一个像素的水平及垂直方向梯度(1*2)通过非闪光图像I2的交叉扩散矩阵(2*2)进行变换得到I1图像反射部分的梯度；
S502根据I1图像反射部分的梯度得到I1图像去反射后的图像梯度；
S503根据S502得到的闪光图像I1去反射后的图像梯度通过泊松方程求解重建得到去反射后的图像。
S504把重建得到的图像作为新的闪光图像I1，循环操作S501～S503，设定截止迭代次数N，最后得到和非闪光图像梯度近乎一致的去反射后的闪光图像。
在本申请的一实施例中，根据参考如下公式(1)，对所述彩色图像进行降噪处理，得到降噪后的彩色图像；
Figure BDA0002102124150000111
对灰度图像自身进行降噪处理，得到降噪后的灰度图像。
其中，(i,j)表示图像坐标，
Figure BDA0002102124150000112
表示第一像素点邻域内的多个像素点的灰度值，
Figure BDA0002102124150000113
表示更新后的第一像素点的灰度值。根据彩色图像中当前像素点对应的邻域内的多个像素点的距离和差值，获取多个像素点对应的多个权重
Figure BDA0002102124150000114
如距离越远，权重取值越小，差值越大，权重取值越小；根据灰度图像中与彩色图像对应的当前像素点，计算该像素点同其邻域内的多个像素点的距离和差值，获取多个像素点对应的多个权重
Figure BDA0002102124150000115
第一抓拍图像信号是第一预设曝光产生并输出的，第二抓拍图像信号是第二预设曝光产生并输出的，在产生并输出第一抓拍图像信号和第二抓拍图像信号之后，可以对第一抓拍图像信号和第二抓拍图像信号进行处理。在某些情况下，第一抓拍图像信号和第二抓拍图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。
在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外爆闪补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一抓拍图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一抓拍图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外爆闪补光时，图像传感器01产生并输出的第一抓拍图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外爆闪补光而过高。
在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一抓拍图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一抓拍图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外爆闪补光时，图像传感器01产生并输出的第一抓拍图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外爆闪补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一抓拍图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。
值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。
在另一些实施例中，第一抓拍图像信号和第二抓拍图像信号的用途可以相同，例如第一抓拍图像信号和第二抓拍图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。
在一些实施例中，在通过补光器进行可见光爆闪补光时，第三预设曝光与第四预设曝光的至少一个曝光参数相同，作为一种示例，第三预设曝光的曝光增益等于第四预设曝光的曝光增益。
值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。
参见图2，图像传感器01包括：感光单元011和存储单元012；
感光单元011与存储单元012连接；存储单元011用于存储感光单元011通过两次曝光产生的第一抓拍图像信号和第二抓拍图像信号，和/或，存储感光单元011通过两次曝光产生的第三抓拍图像信号和第四抓拍图像信号。结合图9，在一种具体的实现方式中，感光单元011可安装于存储单元012上，并电路层相连。
在一些实施例中，参见图2，图像采集装置还包括：同步控制单元，同步控制单元分别与补光器02和图像传感器01连接，同步控制单元用于向图像传感器发送抓拍信号和向补光器发送补光信号，使图像传感器01曝光，并使补光器02至少在第一预设曝光的部分曝光时间段内进行红外补光，或者，同步控制单元用于向图像传感器发送抓拍信号和向补光器发送补光信号，使图像传感器01曝光，并使补光器02至少在第三预设曝光的部分曝光时间段内进行可见光爆闪补光。
其中，抓拍信号和补光信号可以是同步控制单元产生的，同步发送给图像传感器和补光器，可选的，抓拍信号和补光信号可以是同一个信号。
参见图2，滤光组件03包括第一滤光片031，第一滤光片031使可见光波段的光和部分近红外光通过，其中，第一补光装置021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外爆闪补光时通过第一滤光片031的近红外光的强度。通过所述第一滤光片031的近红外光波段可以是部分近红外光波段。
在本申请实施例中，参见图1，图像采集装置还可以包括镜头04，此时，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。
需要说明的一点是，补光器02可以位于图像采集装置内，也可以位于图像采集装置的外部。也即是，补光器02可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当补光器02位于图像采集装置的外部时，补光器02可以与图像采集装置进行通信连接，从而可以保证图像采集装置中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外爆闪补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在第二预设曝光的曝光时间段内不进行近红外爆闪补光。
可以保证图像采集装置中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外爆闪补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在第二预设曝光的曝光时间段内不进行近红外爆闪补光。
另外，第一补光装置021为可以发出近红外光的装置，例如近红外爆闪补光灯等，第一补光装置021可以以频闪方式进行近红外爆闪补光，也可以以类似频闪的其他方式进行近红外爆闪补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外爆闪补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外爆闪补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外爆闪补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外爆闪补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外爆闪补光，而在第二预设曝光的曝光时间段内不进行近红外爆闪补光即可。
需要说明的是，第二预设曝光的曝光时间段内不进行近红外爆闪补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段。
需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外爆闪补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外爆闪补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外爆闪补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外爆闪补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外爆闪补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外爆闪补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外爆闪补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。
以图像采集装置中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一抓拍图像信号和第二抓拍图像信号的过程为：在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外爆闪补光，此时拍摄场景中的环境光和第一补光装置进行近红外爆闪补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一抓拍图像信号；在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外爆闪补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二抓拍图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。
另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外爆闪补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外爆闪补光时通过第一滤光片031的近红外光的强度。
其中，第一补光装置021进行近红外爆闪补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
由于在进行近红外爆闪补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不进行近红外爆闪补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一抓拍图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二抓拍图像信号包括的近红外光的强度。
第一补光装置021进行近红外爆闪补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外爆闪补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外爆闪补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。
其中，第一补光装置021进行近红外爆闪补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。
其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外爆闪补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外爆闪补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外爆闪补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外爆闪补光的中心波长为940纳米，第一补光装置021进行近红外爆闪补光的波长和相对强度之间的关系如图10所示。从图10可以看出，第一补光装置021进行近红外爆闪补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。
由于在进行近红外爆闪补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外爆闪补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外爆闪补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。
其中，通过第一滤光片031的近红外爆闪补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。
例如，参见图11，图11为第一滤光片031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。
为了避免在非近红外爆闪补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。
例如，参见图11，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图11可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。
由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外爆闪补光，在第二预设曝光的整个曝光时间段内不提供近红外爆闪补光，而第一预设曝光和第二预设曝光为图像传感器01的两次曝光中，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外爆闪补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外爆闪补光。
示例性地，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图2，补光器02还可以包括第三补光装置023，第三补光装置023用于进行可见光补光。这样，如果第三补光装置023至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内存在近红外爆闪补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外爆闪补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第三补光装置023在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二抓拍图像信号中的可见光的亮度，进而保证图像采集的质量。
在一些实施例中，第三补光装置023可以用于以常亮方式进行可见光补光；或者，第三补光装置023可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光；或者，第三补光装置023可以用于以频闪方式进行可见光补光，其中，在第一预设曝光的部分曝光时间段内进行可见光补光，至少在第二预设曝光的部分曝光时间段内存在可见光补光。当第三补光装置023常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外爆闪补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二抓拍图像信号中的可见光的亮度，进而保证图像采集的质量。当第三补光装置023以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外爆闪补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二抓拍图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第三补光装置023的补光次数，从而延长第三补光装置023的使用寿命。
优选的，图像传感器01进行第一预设曝光时的曝光结束时刻至图像传感器进行第二预设曝光时的曝光开始时刻的间隔时间小于40ms，类似的，图像传感器01进行第三预设曝光时的曝光结束时刻至图像传感器进行第四预设曝光时的曝光开始时刻的间隔时间小于40ms。
其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一抓拍图像信号和第二抓拍图像信号中具有完整的分辨率，不缺失像素值。示例性地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。
在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图12，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图13，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图14，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图15。
在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一抓拍图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。
示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。
其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。
值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图16，图16中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。
作为一种示例，图像传感器01可以采用全局曝光方式，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。
在一些实施例中，当图像传感器01采用全局曝光方式进行两次曝光时，对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与第二预设曝光的曝光时间段不存在交集，近红外爆闪补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外爆闪补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外爆闪补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内存在近红外爆闪补光，在第二预设曝光的整个曝光时间段内不存在近红外爆闪补光，从而不会对第二预设曝光造成影响。
例如，对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与第二预设曝光的曝光时间段不存在交集，近红外爆闪补光的时间段是第一预设曝光的曝光时间段的子集。对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与第二预设曝光的曝光时间段不存在交集，近红外爆闪补光的时间段与第一预设曝光的曝光时间段存在交集。对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外爆闪补光的子集。上述内容仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。
当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021的红外爆闪补光，使图像传感器01产生并输出包含近红外亮度信息的第一抓拍图像信号，以及包含可见光亮度信息的第二抓拍图像信号，且由于第一抓拍图像信号和第二抓拍图像信号均由同一个图像传感器01获取，所以第一抓拍图像信号的视点与第二抓拍图像信号的视点相同，从而通过第一抓拍图像信号和第二抓拍图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过第二补光装置022的可见光爆闪补光，使图像传感器01产生并输出的第三抓拍图像信号和第四抓拍图像信号，并通过图像处理单元根据第三抓拍图像信号和第四抓拍图像信号得到包含可见光亮度信息的抓拍图像，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了图像采集装置的使用灵活性，并且还可以方便地与其他图像采集装置进行兼容。
本申请实施例中还提供一种图像采集方法，基于上述图1-16所示的实施例提供的图像采集装置来对图像采集方法进行说明。参见图17该方法包括：
步骤240、通过补光器在全局曝光时，根据补光信号进行爆闪补光。
步骤241、通过滤光组件包括的第一滤光片使可见光和部分近红外光通过；通过滤光组件包括的第二滤光片使可见光通过，阻挡近红外光。
步骤242、通过图像传感器根据抓拍信号，采用全局曝光方式进行两次曝光，获取两个抓拍图像信号。
步骤243、图像处理单元根据两个抓拍图像信号，得到抓拍图像。
示例性的，所述滤光组件还包括切换部件，所述方法还包括：
通过所述切换部件将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧。
示例性的，在所述第一滤光片切换到所述图像传感器的入光侧之后：
通过所述图像传感器根据所述抓拍信号，采用全局曝光方式进行两次曝光，所述两次曝光包括第一预设曝光和第二预设曝光，通过所述两次曝光产生并输出第一抓拍图像信号和第二抓拍图像信号，其中，所述第一抓拍图像信号是根据第一预设曝光产生的图像信号，所述第二抓拍图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第二预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同；
通过所述第一补光装置根据所述补光信号，进行近红外爆闪补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在所述第二预设曝光的曝光时间段内不进行近红外爆闪补光；
通过所述图像处理单元根据所述第一抓拍图像信号和所述第二抓拍图像信号，融合得到所述抓拍图像。
示例性的，还包括：
在所述第二滤光片切换到所述图像传感器的入光侧之后：
通过所述图像传感器根据所述抓拍信号，采用全局曝光方式进行两次曝光，所述两次曝光包括第三预设曝光和第四预设曝光，通过所述两次曝光产生并输出第三抓拍图像信号和第四抓拍图像信号，其中，所述第三抓拍图像信号是根据第三预设曝光产生的图像信号，所述第四抓拍图像信号是根据第四预设曝光产生的图像信号，所述第三预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第四预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同；
通过所述第二补光装置根据所述补光信号，进行可见光爆闪补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行可见光爆闪补光，在所述第四预设曝光的曝光时间段内不进行可见光爆闪补光；
通过所述图像处理单元根据所述第三抓拍图像信号和所述第四抓拍图像信号，通过对反射部位进行去反射得到所述抓拍图像。
示例性的，所述图像处理单元包括图像预处理单元和图像融合单元，所述方法包括：
通过所述图像预处理单元将所述第一抓拍图像信号经预处理后生成灰度图像，将所述第二抓拍图像信号经预处理后生成彩色图像；
通过所述图像融合单元将所述彩色图像和所述灰度图像进行融合处理，得到抓拍图像。
示例性的，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
示例性的，所述图像处理单元，还包括检测配准单元和去反射单元，所述方法包括：
所述检测配准单元根据所述第三抓拍图像信号和所述第四抓拍图像信号，得到第四抓拍图像信号中的非闪光车窗区域图像；
所述去反射单元根据所述第三抓拍图像信号和所述非闪光车窗区域图像，对所述第三抓拍图像信号中的闪光车窗区域图像进行去反射，得到抓拍图像。
示例性的，所述第三预设曝光和所述第四预设曝光的曝光参数相同，所述曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
示例性的，所述抓拍信号和所述补光信号是同一个信号。
示例性的，所述图像传感器包括：感光单元和存储单元，所述方法包括：
通过存储单元存储所述感光单元通过两次曝光产生的第一抓拍图像信号和第二抓拍图像信号，和/或，存储所述感光单元通过两次曝光产生的第三抓拍图像信号和第四抓拍图像信号。
示例性的，所述装置还包括：同步控制单元，通过同步控制单元向所述图像传感器发送所述抓拍信号和向所述补光器发送所述补光信号，使所述图像传感器曝光，并使所述补光器至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光；
或者，
通过所述同步控制单元向所述图像传感器发送所述抓拍信号和向所述补光器发送所述补光信号，使所述图像传感器曝光，并使所述补光器至少在第三预设曝光的部分曝光时间段内进行可见光爆闪补光。
图像预处理单元将所述第一抓拍图像信号经预处理后生成灰度图像，将所述第二抓拍图像信号经预处理后生成彩色图像灰度，包括：
联合降噪单元对所述第一抓拍图像信号和所述第二抓拍图像信号进行滤波处理，得到降噪后的第一抓拍图像信号和第二抓拍图像信号；
第一预处理单元对降噪后的第一抓拍图像信号进行第一预处理操作，得到预处理后的灰度图像；
第二预处理单元对降噪后的第二抓拍图像信号进行第二预处理操作，得到彩色图像。
示例性的，图像融合单元将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像，包括：
所述色彩提取单元提取所述彩色图像的色彩信号；
所述亮度提取单元提取所述彩色图像的亮度信号；
所述融合处理单元对所述灰度图像进行高通滤波，得到滤波后的高频信号；对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像。
示例性的，所述融合处理单元对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像：
对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；
对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述彩色融合图像。
示例性的，所述联合降噪单元对所述彩色图像和所述灰度图像进行滤波处理，得到降噪后的彩色图像和灰度图像，包括：
根据所述彩色图像和所述灰度图像之间的相关性，对所述彩色图像和所述灰度图像分别进行联合滤波处理，得到所述降噪后的彩色图像和灰度图像。
示例性的，所述联合降噪单元对所述第一抓拍图像信号和所述第二抓拍图像信号进行滤波处理，得到降噪后的第一抓拍图像信号和第二抓拍图像信号，包括：
根据所述第一抓拍图像信号和第二抓拍图像信号之间的相关性，对所述第一抓拍图像信号和第二抓拍图像信号分别进行联合滤波处理，得到所述降噪后的第一抓拍图像信号和第二抓拍图像信号。
可选地，入射到第一滤光片的近红外光的波段范围为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
可选地，第一补光装置进行近红外爆闪补光的中心波长为750±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外爆闪补光的中心波长为780±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外爆闪补光的中心波长为940±10纳米的波长范围内的任一波长。
可选地，约束条件包括：
通过第一滤光片的近红外光的半带宽小于或等于50纳米。
可选地，约束条件包括：
第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。
可选地，约束条件为：
第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。
可选地，设定比例为30％～50％的比例范围内的任一比例。
可选地，图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。
可选地，多个感光通道用于感应至少两种不同的可见光波段的光。
可选地，多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；
其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。
可选地，图像传感器为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。
可选地，第三补光装置用于以常亮方式进行可见光补光；或者
第三补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光；或者
第三补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不进行可见光补光，在第二预设曝光的部分曝光时间段内进行可见光补光。
可选地，图像传感器采用全局曝光方式进行两次曝光，对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与第二预设曝光的曝光时间段不存在交集，近红外爆闪补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外爆闪补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外爆闪补光的子集。
需要说明的是，由于本实施例与上述1至17所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1至17所示实施例中相关内容的解释，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (29)

1.一种图像采集装置，其特征在于，包括：
滤光组件、图像传感器、补光器、图像处理单元，所述图像传感器位于所述滤光组件的出光侧；所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光；所述切换部件用于将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧；
在所述第一滤光片切换到所述图像传感器的入光侧之后，所述图像传感器，用于根据抓拍信号，采用全局曝光方式进行两次曝光，所述两次曝光包括第一预设曝光和第二预设曝光，通过所述第一预设曝光产生并输出第一抓拍图像信号，通过所述第二预设曝光产生并输出第二抓拍图像信号；
所述补光器包括第一补光装置，所述第一补光装置用于根据补光信号，进行近红外爆闪补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在所述第二预设曝光的曝光时间段内不进行近红外爆闪补光；
所述图像处理单元，用于根据所述第一抓拍图像信号和所述第二抓拍图像信号，融合得到抓拍图像。
2.根据权利要求1所述的装置，其特征在于，所述第一预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第二预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同。
3.根据权利要求1所述的装置，其特征在于，在所述第二滤光片切换到所述图像传感器的入光侧之后：
所述图像传感器，用于根据所述抓拍信号，采用全局曝光方式进行第三预设曝光和第四预设曝光，通过所述第三预设曝光和所述第四预设曝光产生并输出第三抓拍图像信号和第四抓拍图像信号，其中，所述第三抓拍图像信号是根据第三预设曝光产生的图像信号，所述第四抓拍图像信号是根据第四预设曝光产生的图像信号，所述第三预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第四预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同；
所述补光器包括第二补光装置，所述第二补光装置用于根据所述补光信号，进行可见光爆闪补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行可见光爆闪补光，在所述第四预设曝光的曝光时间段内不进行可见光爆闪补光；
所述图像处理单元，用于根据所述第三抓拍图像信号和所述第四抓拍图像信号，通过对反射部位进行去反射得到所述抓拍图像。
4.根据权利要求2所述的装置，其特征在于，所述图像处理单元，包括：
图像预处理单元、图像融合单元；
其中，所述图像预处理单元，用于将所述第一抓拍图像信号经预处理后生成灰度图像，将所述第二抓拍图像信号经预处理后生成彩色图像；
所述图像融合单元，用于将所述彩色图像和所述灰度图像进行融合处理，得到抓拍图像。
5.根据权利要求2所述的装置，其特征在于，
所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
6.根据权利要求3所述的装置，其特征在于，所述图像处理单元，还包括：
检测配准单元和去反射单元；
其中，所述检测配准单元，用于根据所述第三抓拍图像信号和所述第四抓拍图像信号，得到第四抓拍图像信号中的非闪光车窗区域图像；
所述去反射单元，用于根据所述第三抓拍图像信号和所述非闪光车窗区域图像，对所述第三抓拍图像信号中的闪光车窗区域图像进行去反射，得到抓拍图像。
7.根据权利要求3所述的装置，其特征在于，
所述第三预设曝光和所述第四预设曝光的曝光参数相同，所述曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
8.根据权利要求1至7任一项所述的装置，其特征在于，所述抓拍信号和所述补光信号是同一个信号。
9.根据权利要求1至7任一项所述的装置，其特征在于，所述图像传感器包括：感光单元和存储单元；
所述感光单元与所述存储单元连接；所述存储单元用于存储所述感光单元通过两次曝光产生的第一抓拍图像信号和第二抓拍图像信号，和/或，存储所述感光单元通过两次曝光产生的第三抓拍图像信号和第四抓拍图像信号。
10.根据权利要求1至7任一项所述的装置，其特征在于，所述装置还包括：
同步控制单元，所述同步控制单元分别与所述补光器和所述图像传感器连接；
所述同步控制单元用于向所述图像传感器发送所述抓拍信号和向所述补光器发送所述补光信号，使所述图像传感器曝光，并使所述补光器至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光；
或者，
所述同步控制单元用于向所述图像传感器发送所述抓拍信号和向所述补光器发送所述补光信号，使所述图像传感器曝光，并使所述补光器至少在第三预设曝光的部分曝光时间段内进行可见光爆闪补光。
11.根据权利要求1至7任一项所述的装置，其特征在于，所述图像传感器进行所述第一预设曝光时的曝光结束时刻至所述图像传感器进行所述第二预设曝光时的曝光开始时刻的间隔时间小于40ms。
12.根据权利要求1至7任一项所述的装置，其特征在于，所述第一补光装置进行近红外爆闪补光时通过所述滤光组件的近红外光的强度高于所述第一补光装置未进行近红外爆闪补光时通过所述滤光组件的近红外光强度。
13.根据权利要求1至7任一项所述的装置，其特征在于，所述补光器还包括第三补光装置，所述第三补光装置用于进行可见光爆闪补光。
14.根据权利要求13所述的装置，其特征在于，所述第三补光装置用于以常亮方式进行可见光爆闪补光；
或者
所述第三补光装置用于以频闪方式进行可见光爆闪补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行可见光爆闪补光，在所述第二预设曝光的整个曝光时间段内不进行可见光爆闪补光；
或者
所述第三补光装置用于以频闪方式进行可见光爆闪补光，其中，在所述第一预设曝光的部分曝光时间段内进行可见光爆闪补光，至少在所述第二预设曝光的部分曝光时间段内进行可见光爆闪补光。
15.根据权利要求1至7任一项所述的装置，其特征在于，对于任意一次近红外爆闪补光，近红外爆闪补光的时间段与所述第二预设曝光的曝光时间段不存在交集，近红外爆闪补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外爆闪补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外爆闪补光的子集。
16.根据权利要求1至7任一项所述的装置，其特征在于，
所述第一补光装置进行近红外爆闪补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述滤光组件的近红外光的波段宽度达到约束条件。
17.根据权利要求16所述的装置，其特征在于，所述约束条件包括如下任意一种：
通过所述滤光组件的近红外光的半带宽小于或等于50纳米；
或者，
第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述滤光组件的近红外光的波段宽度，所述第二波段宽度是指被所述滤光组件阻挡的近红外光的波段宽度；
或者，
第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度，所述设定比例为30％～50％的比例范围内的任一比例。
18.根据权利要求4所述的装置，其特征在于，所述图像预处理单元，包括：
联合降噪单元、第一预处理单元和第二预处理单元；
其中，所述联合降噪单元，用于对所述第一抓拍图像信号和所述第二抓拍图像信号进行滤波处理，得到降噪后的第一抓拍图像信号和第二抓拍图像信号；
所述第一预处理单元，用于对降噪后的第一抓拍图像信号进行第一预处理操作，得到预处理后的灰度图像；
所述第二预处理单元，用于对降噪后的第二抓拍图像信号进行第二预处理操作，得到彩色图像。
19.根据权利要求4所述的装置，其特征在于，图像融合单元包括：色彩提取单元、亮度提取单元，分别与所述色彩提取单元和所述亮度提取单元连接的融合处理单元；
其中，所述色彩提取单元，用于提取所述彩色图像的色彩信号；
所述亮度提取单元，用于提取所述彩色图像的亮度信号；
所述融合处理单元，用于对所述灰度图像进行高通滤波，得到滤波后的高频信号；
对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；
对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到彩色融合图像。
20.根据权利要求19所述的装置，其特征在于，所述融合处理单元，具体用于：
对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；
对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述抓拍图像。
21.根据权利要求18所述的装置，其特征在于，所述联合降噪单元，具体用于：
根据所述第一抓拍图像信号和第二抓拍图像信号之间的相关性，对所述第一抓拍图像信号和第二抓拍图像信号分别进行联合滤波处理，得到所述降噪后的第一抓拍图像信号和第二抓拍图像信号。
22.一种图像采集方法，其特征在于，应用于图像采集装置，所述图像采集装置包括图像传感器、补光器、滤光组件和图像处理单元，所述图像传感器位于所述滤光组件的出光侧，所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光；所述切换部件用于将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧；所述方法包括：
通过所述补光器的第一补光装置，进行近红外爆闪补光；所述第一补光装置是基于补光信号进行近红外爆闪补光的；其中，至少在第一预设曝光的部分曝光时间段内进行近红外爆闪补光，在第二预设曝光的曝光时间段内不进行近红外爆闪补光；
在所述第一滤光片切换到所述图像传感器的入光侧之后，通过所述图像传感器，采用全局曝光方式进行两次曝光，所述图像传感器是基于抓拍信号进行所述两次曝光的，所述两次曝光包括第一预设曝光和第二预设曝光，通过所述第一预设曝光产生并输出第一抓拍图像信号，通过所述第二预设曝光产生并输出第二抓拍图像信号；
通过所述图像处理单元，融合所述第一抓拍图像信号和所述第二抓拍图像信号，得到抓拍图像。
23.根据权利要求22所述的方法，其特征在于，所述第一预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第二预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同。
24.根据权利要求22所述的方法，其特征在于，在所述第二滤光片切换到所述图像传感器的入光侧之后：
通过所述图像传感器根据所述抓拍信号，采用全局曝光方式进行第三预设曝光和第四预设曝光，通过所述第三预设曝光和所述第四预设曝光产生并输出第三抓拍图像信号和第四抓拍图像信号，其中，所述第三抓拍图像信号是根据第三预设曝光产生的图像信号，所述第四抓拍图像信号是根据第四预设曝光产生的图像信号，所述第三预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同，所述第四预设曝光所有行对应的曝光开始时刻相同且所有行对应的曝光结束时刻相同；
通过所述第二补光装置根据所述补光信号，进行可见光爆闪补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行可见光爆闪补光，在所述第四预设曝光的曝光时间段内不进行可见光爆闪补光；
通过所述图像处理单元根据所述第三抓拍图像信号和所述第四抓拍图像信号，通过对反射部位进行去反射得到所述抓拍图像。
25.根据权利要求23所述的方法，其特征在于，所述图像处理单元包括图像预处理单元和图像融合单元，所述方法包括：
通过所述图像预处理单元将所述第一抓拍图像信号经预处理后生成灰度图像，将所述第二抓拍图像信号经预处理后生成彩色图像；
通过所述图像融合单元将所述彩色图像和所述灰度图像进行融合处理，得到抓拍图像。
26.根据权利要求23所述的方法，其特征在于，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
27.根据权利要求23所述的方法，其特征在于，所述图像处理单元，还包括检测配准单元和去反射单元，所述方法包括：
所述检测配准单元根据所述第三抓拍图像信号和所述第四抓拍图像信号，得到第四抓拍图像信号中的非闪光车窗区域图像；
所述去反射单元根据所述第三抓拍图像信号和所述非闪光车窗区域图像，对所述第三抓拍图像信号中的闪光车窗区域图像进行去反射，得到抓拍图像。
28.根据权利要求23所述的方法，其特征在于，所述第三预设曝光和所述第四预设曝光的曝光参数相同，所述曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
29.根据权利要求22至28任一项所述的方法，其特征在于，所述抓拍信号和所述补光信号是同一个信号。
CN201910539479.9A 2019-06-20 2019-06-20 图像采集方法及装置 Active CN110519489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910539479.9A CN110519489B (zh) 2019-06-20 2019-06-20 图像采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910539479.9A CN110519489B (zh) 2019-06-20 2019-06-20 图像采集方法及装置

Publications (2)

Publication Number Publication Date
CN110519489A CN110519489A (zh) 2019-11-29
CN110519489B true CN110519489B (zh) 2021-04-06

Family

ID=68622516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910539479.9A Active CN110519489B (zh) 2019-06-20 2019-06-20 图像采集方法及装置

Country Status (1)

Country Link
CN (1) CN110519489B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493492B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110493491B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 一种图像采集装置及摄像方法
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
CN113163124B (zh) * 2020-01-22 2022-06-03 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN113542613B (zh) 2020-04-14 2023-05-12 华为技术有限公司 一种用于拍照的装置及方法
CN111556225B (zh) * 2020-05-20 2022-11-22 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集控制方法
CN114095672A (zh) * 2020-07-31 2022-02-25 北京小米移动软件有限公司 成像系统、方法及电子设备
CN114697585B (zh) * 2020-12-31 2023-12-29 杭州海康威视数字技术股份有限公司 一种图像传感器、图像处理系统及图像处理方法
CN114697586B (zh) * 2020-12-31 2023-12-29 杭州海康威视数字技术股份有限公司 一种图像处理系统、近红外光补光控制方法及装置
CN114697584B (zh) * 2020-12-31 2023-12-26 杭州海康威视数字技术股份有限公司 一种图像处理系统及图像处理方法
CN113537188A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 人脸抓拍方法、人脸抓拍系统以及计算机可读存储介质
CN113538926B (zh) * 2021-05-31 2023-01-17 浙江大华技术股份有限公司 人脸抓拍方法、人脸抓拍系统以及计算机可读存储介质
CN115310468B (zh) * 2022-08-08 2023-04-14 北京微晶物联科技有限公司 一种用于防爆环境的微晶码扫码装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309728B2 (ja) * 2003-09-17 2009-08-05 パナソニック株式会社 監視用ビデオカメラ
US7460160B2 (en) * 2004-09-24 2008-12-02 Microsoft Corporation Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
CN104954658B (zh) * 2014-03-25 2019-10-29 联想(北京)有限公司 一种电子设备及数据处理方法
CN106503638B (zh) * 2016-10-13 2019-09-13 金鹏电子信息机器有限公司 用于颜色识别的图像处理、车辆颜色识别方法和系统
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置

Also Published As

Publication number Publication date
CN110519489A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110519489B (zh) 图像采集方法及装置
CN110493494B (zh) 图像融合装置及图像融合方法
CN110490811B (zh) 图像降噪装置及图像降噪方法
CN110706178B (zh) 图像融合装置、方法、设备及存储介质
CN110505377B (zh) 图像融合设备和方法
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN110490187B (zh) 车牌识别设备和方法
CN108024054A (zh) 图像处理方法、装置及设备
EP3416369A1 (en) Image processing method and apparatus for terminal, and terminal
US9787915B2 (en) Method and apparatus for multi-spectral imaging
US20220239881A1 (en) Image processing method, image processing apparatus, and photographing apparatus
CN111742545A (zh) 曝光控制方法、装置与可移动平台
CN110490042B (zh) 人脸识别装置和门禁设备
CN110493535B (zh) 图像采集装置和图像采集的方法
CN110493536A (zh) 图像采集装置和图像采集的方法
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110493495A (zh) 图像采集装置和图像采集的方法
CN110493493B (zh) 全景细节摄像机及获取图像信号的方法
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
EP4167134A1 (en) System and method for maximizing inference accuracy using recaptured datasets
CN111711766B (zh) 图像处理方法及装置、终端和计算机可读存储介质
CN114143420A (zh) 双传感器摄像系统及其隐私保护摄像方法
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备
WO2022192015A1 (en) Systems and methods for high dynamic range image reconstruction
JP2010161453A (ja) 赤外線照射式撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant