[go: up one dir, main page]

CN110493494B - 图像融合装置及图像融合方法 - Google Patents

图像融合装置及图像融合方法 Download PDF

Info

Publication number
CN110493494B
CN110493494B CN201910472710.7A CN201910472710A CN110493494B CN 110493494 B CN110493494 B CN 110493494B CN 201910472710 A CN201910472710 A CN 201910472710A CN 110493494 B CN110493494 B CN 110493494B
Authority
CN
China
Prior art keywords
image
unit
exposure
light
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910472710.7A
Other languages
English (en)
Other versions
CN110493494A (zh
Inventor
范蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910472710.7A priority Critical patent/CN110493494B/zh
Publication of CN110493494A publication Critical patent/CN110493494A/zh
Priority to EP20814163.0A priority patent/EP3979622A4/en
Priority to PCT/CN2020/091917 priority patent/WO2020238807A1/zh
Priority to US17/615,343 priority patent/US12190479B2/en
Application granted granted Critical
Publication of CN110493494B publication Critical patent/CN110493494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像融合装置，属于计算机视觉技术领域。在本申请中，第一补光装置至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。第一滤光片使可见光和部分近红外光通过。图像传感器在第一预设曝光的曝光时间段内产生并输出第一图像信号，在第二预设曝光的曝光时间段内产生并输出第二图像信号。由于第一图像信号和第二图像信号均通过同一图像传感器产生并输出，因此第一图像信号和第二图像信号对应的视点相同，可以提高后续融合图像的质量，而且也可以简化图像融合装置的结构，进而降低成本。

Description

图像融合装置及图像融合方法
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种图像融合装置及图像融合方法。
背景技术
目前，各种各样的拍摄设备被广泛的应用于诸如智能交通、安保等领域。当前常用的拍摄设备可以根据外部场景中可见光强度的不同获取不同的图像，以使对外部场景的信息的获取不受可见光强度的限制，进而将获取到的不同的图像进行融合。例如，拍摄设备可以在外部场景中可见光强度较强时获取可见光图像，在外部场景中可见光强度较弱时获取近红外光图像，以实现在不同的可见光强度下都能够获取外部场景的信息。
相关技术中提供了一种基于双目相机获取可见光图像和近红外光图像的方法，该双目相机包括可见光摄像头和近红外光摄像头，该双目相机可以通过可见光摄像头获取可见光图像，通过近红外光摄像头获取近红外光图像。然而，由于该双目相机的可见光摄像头和近红外光摄像头的视点不同，因此可见光摄像头的拍摄范围与近红外光摄像头的拍摄范围只存在部分的交叠，并且双目相机进行图像采集存在结构复杂、成本较高的问题。
发明内容
本申请实施例提供了一种图像融合装置及图像融合方法，用以在结构简单、降低成本的同时可以采集两路不同的图像信号，进而将两路图像融合得到融合图像信号。所述技术方案如下：
一方面，提供了一种图像融合装置，所述图像融合装置所述图像融合装置包括图像传感器、补光器、滤光组件和图像处理单元，所述图像传感器位于所述滤光组件的出光侧；
所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像，所述第二图像信号是根据第二预设曝光产生的图像，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；
所述滤光组件包括第一滤光片，所述第一滤光片使可见光和部分近红外光通过；
所述图像处理单元用于对所述第一图像信号和所述第二图像信号进行处理得到融合图像。
另一方面，提供了一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像传感器、补光器、滤光组件和图像处理单元，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述图像传感器位于所述滤光组件的出光侧，其特征在于，所述方法包括：
通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述图像传感器的多次曝光中的其中两次曝光；
通过所述第一滤光片使可见光波段的光和近红外光波段的光通过；
通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像，所述第二图像信号是根据所述第二预设曝光产生的图像；
通过所述图像处理单元对所述第一图像信号和所述第二图像信号进行处理得到融合图像。
本申请实施例提供的技术方案带来的有益效果是：
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便进行近红外补光时通过第一预设曝光产生第一图像信号，不进行近红外补光时通过第二预设曝光产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，进而将这两种图像信号进行融合，使得该图像融合装置更加简便，进而第一图像信号和第二图像信号的融合高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。如此，后续根据该第一图像信号和第二图像信号进行处理得到的融合图像的质量更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的第一种图像融合装置的结构示意图。
图2是本申请实施例提供的一种图像融合装置产生第一图像信号的原理示意图。
图3是本申请实施例提供的一种图像融合装置产生第二图像信号的原理示意图。
图4是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图。
图5是本申请实施例提供的一种第一滤光片通过的光的波长与通过率之间的关系的示意图；
图6是本申请实施例提供的第二种图像融合装置的结构示意图。
图7是本申请实施例提供的一种RGB传感器的示意图。
图8是本申请实施例提供的一种RGBW传感器的示意图。
图9是本申请实施例提供的一种RCCB传感器的示意图。
图10是本申请实施例提供的一种RYYB传感器的示意图。
图11是本申请实施例提供的一种图像传感器的感应曲线示意图。
图12是本申请实施例提供的一种卷帘曝光方式的示意图。
图13是本申请实施例提供的第一种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。
图14是本申请实施例提供的第二种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。
图15是本申请实施例提供的第三种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。
图16是本申请实施例提供的第一种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。
图17是本申请实施例提供的第二种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。
图18是本申请实施例提供的第三种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。
图19是本申请实施例提供的一种图像处理单元的示意图。
图20是本申请实施例提供的另一种图像处理单元的示意图。
图21是本申请实施例提供的一种图像融合方法的流程图。
附图标记：
01：图像传感器，02：补光器，03：滤光组件；04：图像处理单元；05：镜头:06：编码压缩单元；07：智能分析单元；
021：第一补光装置，022：第二补光装置，031：第一滤光片，032：第二滤光片。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种图像融合装置的结构示意图。该图像采集装置包括图像传感器01、补光器02和滤光组件03，图像传感器01位于滤光组件03的出光侧。图像传感器01用于通过多次曝光产生并输出第一图像信号和第二图像信号。其中，第一图像信号是根据第一预设曝光产生的图像，第二图像信号是根据第二预设曝光产生的图像，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光。补光器02包括第一补光装置021，第一补光装置021用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。滤光组件03包括第一滤光片031，第一滤光片031使可见光和部分近红外光通过，其中，第一补光装021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。图像处理单元02用于对第一图像信号和第二图像信号进行处理得到融合图像。
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便进行近红外补光时通过第一预设曝光产生第一图像信号，不进行近红外补光时通过第二预设曝光产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，进而将这两种图像信号进行融合，使得该图像融合装置更加简便，进而第一图像信号和第二图像信号的融合高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。如此，后续根据该第一图像信号和第二图像信号进行处理得到的融合图像的质量更高。
需要说明的是，由于图像传感器01、补光器02和滤光组件03均用于图像采集，因此，可以将其统称为该图像融合装置的图像采集单元。
另外，在一些可能的实现方式中，如图1所示，该图像融合装置还可以包括编码压缩单元06和智能分析单元07。
其中，编码压缩单元06用于对图像处理单元输出的融合图像进行编码压缩处理，并输出编码压缩处理后的图像。智能分析单元07用于对图像处理单元输出的融合图像进行分析处理，并输出分析结果。
下面对该图像融合装置中包括的图像采集单元、图像处理单元、编码压缩单元和智能分析单元分别进行说明。
1、图像采集单元
如图1所示，该图像采集单元包括图像传感器01、补光器02和滤光组件03，图像传感器01位于滤光组件03的出光侧。
在本申请实施例中，参见图1，图像采集装置还可以包括镜头05，此时，滤光组件03可以位于镜头05和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头05位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头05的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头05和图像传感器01之间时，第一滤光片031可以贴在镜头05的出光侧的表面，或者，当镜头05位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头05的入光侧的表面。
需要说明的一点是，补光器02可以位于图像采集装置内，也可以位于图像采集装置的外部。补光器02可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当补光器02位于图像采集的外部时，补光器02可以与图像采集装置进行通信连接，从而可以保证图像采集装置中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。
另外，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。
需要说明的是，第二预设曝光的曝光时间段内不进行近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。
需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。
以图像采集装置中，滤光组件03可以位于镜头05和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一图像信号和第二图像信号的过程为：参见图2，在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头05、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；参见图3，在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外补光，此时拍摄场景中的环境光经由镜头05、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。
需要说明的是，第一滤光片0131可以使部分近红外光波段的光通过，换句话说，通过第一滤光片0131的近红外光波段可以为部分近红外光波段，也可以为全部近红外光波段，本申请实施例对此不做限定。
另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。
其中，第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
由于在进行近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不进行近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。
第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。
其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。
其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图4所示。从图4可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。
由于在进行近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。
其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。
例如，参见图5，图5为第一滤光片031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。
为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。
例如，参见图5，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图5可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。
由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图6，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。
在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。
在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像，这样，25个帧周期内就会产生25组图像。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。
第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。
在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像的亮度越高，曝光增益越小，图像传感器01输出的图像的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。
在另一些实施例中，曝光时间越长，图像传感器01得到的图像包括的亮度越高，并且外部场景中的运动的对象在图像中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像包括的亮度越低，并且外部场景中的运动的对象在图像中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。
值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。
在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像存在运动拖尾，导致两路图像的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。
值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。
其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一图像信号和第二图像信号中具有完整的分辨率，不缺失像素值。在一种可能的实现方式中，该多个感光通道可以用于感应至少两种不同的可见光波段的光。
在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图7，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图8，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图9，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图10。
在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。
示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。
其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。
值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图11，图11中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。
作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。
示例性地，参见图12，图12为一种卷帘曝光方式的示意图。从图12可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。
在一些实施例中，当图像传感器01采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的整个曝光时间段内不进行近红外补光，从而不会对第二预设曝光造成影响。
例如，参见图13，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图14，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图15，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。图13至图15仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。
在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
例如，参见图16，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图17，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图18，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图16至图18仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。
其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：
第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。
第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。
第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。
第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。
其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。
例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。
上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。
在一些实施例中，滤光组件03还包括第二滤光片和切换部件，第一滤光片031和第二滤光片均与切换部件连接。切换部件，用于将第二滤光片切换到图像传感器01的入光侧，在第二滤光片切换到图像传感器01的入光侧之后，第二滤光片使可见光波段的光通过，阻挡近红外光波段的光，图像传感器01，用于通过曝光产生并输出第三图像信号。
需要说明的是，切换部件用于将第二滤光片切换到图像传感器01的入光侧，也可以理解为第二滤光片替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。
综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器01获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了图像采集装置的使用灵活性，并且还可以方便地与其他图像采集装置进行兼容。
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像，使得该图像采集装置更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。
2、图像处理单元
在本申请实施例中，当第一滤光片131处于工作状态时，图像采集单元01输出第一图像信号和第二图像信号。由图像处理单元04对第一图像信号和第二图像信号进行处理，得到融合图像。
需要说明的是，当图像采集单元01中的图像传感器11为以bayer方式排列的传感器时，该传感器的每一个像素只能捕获一种色彩值，而缺失另外两种色彩值。在这种情况下，该图像传感器11生成并输出的将是一幅马赛克图像。并且，由于图像传感器11输出的图像通常均存在噪声信号，因此，当图像处理单元04接收到图像传感器11输出的第一图像信号和第二图像信号时，可以先对第一图像信号和第二图像信号进行预处理，然后再将预处理后的图像进行融合。
在一些实施例中，如图19所示，该图像处理单元04可以包括预处理单元041和图像融合单元042。该预处理单元041用于对第一图像信号和第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像。图像融合单元042用于对第一预处理图像和第二预处理图像进行融合，得到融合图像。
在一种可能的实现方式中，如图20所示，预处理单元041可以包括图像修复单元0411和图像降噪单元0412。图像修复单元0411用于对第一图像信号进行修复处理，得到第一修复图像，对第二图像信号进行修复处理，得到第二修复图像。其中，第一修复图像为灰度图像，第二修复图像为彩色图像。图像降噪单元0412用于对第一修复图像和第二修复图像进行降噪处理，得到第一预处理图像和第二预处理图像。
基于前述介绍可知，当图像传感器11为以bayer方式排列的传感器时，输出的图像将为马赛克图像。基于此，在本申请实施例中，图像修复单元0411可以分别对第一图像信号和第二图像信号进行去马赛克处理，从而得到第一修复图像和第二修复图像。
需要说明的是，图像修复单元0411在对第一图像信号和第二图像信号进行去马赛克处理时，可以采用双线性插值法或自适应插值法等方法来进行处理，本申请实施例对此不再详述。
另外，图像修复单元0411除了可以对第一图像信号和第二图像信号进行去马赛克处理之外，还可以对第一图像信号和第二图像信号进行诸如黑电平、坏点校正、Gamma校正等修复处理，本申请实施例对此不做限定。
图像修复单元0411在得到第一修复图像和第二修复图像之后，可以由图像降噪单元0412对第一修复图像和第二修复图像进行联合降噪处理，得到第一预处理图像和第二预处理图像。
在一些可能的实现方式中，图像降噪单元0412可以包括时域降噪单元。其中，时域降噪单元用于根据第一修复图像和所述第二修复图像进行运动估计，得到运动估计结果，根据运动估计结果对第一修复图像进行时域滤波处理，得到第一预处理图像，根据运动估计结果对第二修复图像进行时域滤波处理，得到第二预处理图像。
需要说明的是，该时域降噪单元可以包括运动估计单元和时域滤波单元。
在一些示例中，该运动估计单元可以用于根据第一修复图像和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一设定帧差阈值确定第一修复图像中每个像素点的第一时域滤波强度，其中，第一历史降噪图像是指对所述第一修复图像的前N帧图像中的任一帧图像进行降噪后的图像；该时域滤波单元用于根据每个像素点的第一时域滤波强度对第一修复图像进行时域滤波处理，得到第一预处理图像，根据每个像素点的第一时域滤波强度对第二修复图像进行时域滤波处理，得到第二预处理图像。
示例性地，该运动估计单元可以将第一修复图像中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像，将该原始帧差图像作为第一帧差图像。
或者，该运动估计单元可以将第一修复图像中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像。之后，对该原始帧差图像进行处理，从而得到第一帧差图像。其中，对原始帧差图像进行处理，可以是指对原始帧差图像进行空域平滑处理或分块量化处理。
在得到第一帧差图像之后，该运动估计单元可以根据第一帧差图像中的每个像素点和多个第一设定帧差阈值确定每个像素点的第一时域滤波强度。其中，第一帧差图像中的每个像素点均对应的一个第一设定帧差阈值，且各个像素点对应的第一设定帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第一设定帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元可以将第一修复图像的上一帧图像与第一历史降噪图像进行作差处理，从而得到第一噪声强度图像，根据第一噪声强度图像中每个像素点的噪声强度确定第一帧差图像中相应位置处的像素点的第一设定帧差阈值。当然，每个像素点对应的第一设定帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。
对于第一帧差图像中的每个像素点，该运动估计单元可以根据该像素点的帧差和该像素点对应的第一设定帧差阈值，通过下述公式(1)来确定得到相应像素点的第一时域滤波强度。
Figure BDA0002081229830000211
其中，(x,y)为像素点在图像中的位置；αnir(x,y)是指坐标为(x,y)的像素点的第一时域滤波强度，difnir(x,y)是指该像素点在第一帧差图像中的帧差，dif_thrnir(x,y)是指该像素点对应的第一设定帧差阈值。
需要说明的是，对于第一帧差图像中的每个像素点，像素点的帧差相较于第一设定帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点所对应的运动级别越小。而由上述公式(1)可知，对于任意一个像素点，该像素点的帧差相对于第一设定帧差阈值越小，则该像素点的第二时域滤波强度越大。其中，运动级别用于指示运动的剧烈程度，运动级别越大，则说明运动越剧烈。第一时域滤波强度的取值可以在0到1之间。
在确定第一修复图像中每个像素点的第一时域滤波强度之后，则时域滤波单元可以直接根据第一时域滤波强度分别对第一修复图像和第二修复图像进行时域滤波处理，从而得到第一预处理图像和第二预处理图像。
需要说明的是，当第一修复图像的图像质量明显优于第二修复图像时，由于第一修复图像是近红外光图像，具有高信噪比，因此，利用第一修复图像中每个像素点的第一时域滤波强度对第二修复图像进行时域滤波处理，可以更为准确的区分图像中的噪声和有效信息，从而避免降噪后的图像中图像细节信息的损失以及图像拖尾的问题。
需要说明的是，在一些可能的情况中，运动估计单元可以根据第一修复图像和至少一个第一历史降噪图像生成至少一个第一帧差图像，并根据至少一个帧差图像和每个帧差图像对应的多个第一设定帧差阈值确定第一修复图像中每个像素点的第一时域滤波强度。
其中，至少一个历史降噪图像是指对所述第一修复图像的前N帧图像进行降噪得到的图像。对于该至少一个第一历史降噪图像中的每个第一历史降噪图像，该运动估计单元可以根据该第一历史降噪图像和第一修复图像，参考前述介绍的相关实现方式来确定对应的第一帧差图像。之后，该运动估计单元可以根据每个第一帧差图像以及每个第一帧差图像对应的多个第一设定帧差阈值，参考前述相关实现方式确定每个第一帧差图像中每个像素点的时域滤波强度。之后，该运动估计单元可以将对各个第一帧差图像中相对应的像素点的时域滤波强度进行融合，从而得到每个像素点对应的第一时域滤波强度。或者，对于任一像素点，运动估计单元可以从至少一个第一帧差图像中该像素点的至少一个时域滤波强度中选择所表示的运动级别最大的时域滤波强度，进而将选择的时域滤波强度作为该像素点的第一时域滤波强度。
在另一些示例中，该运动估计单元可以根据第一修复图像和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一设定帧差阈值确定第一修复图像中每个像素点的第一时域滤波强度，第一历史降噪图像是指对第一修复图像的前N帧图像中的任一帧图像进行降噪后的图像；运动估计单元还用于根据第二修复图像和第二历史降噪图像生成第二帧差图像，根据第二帧差图像和多个第二设定帧差阈值确定第二修复图像中每个像素点的第二时域滤波强度，第二历史降噪图像是指对第二修复图像的前N帧图像中的任一帧图像进行降噪后的图像；运动估计单元还用于根据第一修复图像中每个像素点的第一时域滤波强度和第二修复图像中每个像素点的第二时域滤波强度确定每个像素点的联合时域滤波强度；时域滤波单元用于根据每个像素点的第一时域滤波强度或联合时域滤波强度对第一修复图像进行时域滤波处理，得到第一预处理图像，根据每个像素点的联合时域滤波强度对第二修复图像进行时域滤波处理，得到第二预处理图像。
也即，运动估计单元不仅可以通过前述介绍的实现方式确定第一修复图像中每个像素点的第一时域滤波强度，还可以确定第二修复图像中每个像素点的第二时域滤波强度。
在确定每个像素点的第二时域滤波强度时，该运动估计单元可以首先将第二修复图像中的每个像素点和第二历史降噪图像中对应的像素点进行作差处理，得到第二帧差图像。其中，除此之外，第一修复图像和第二修复图像是对齐的。
在得到第二帧差图像之后，该运动估计单元可以根据第二帧差图像中的每个像素点和多个第二设定帧差阈值确定每个像素点的第二时域滤波强度。其中，第二帧差图像中的每个像素点均对应的一个第二设定帧差阈值，也即，多个第二设定帧差阈值与第二帧差图像中的每个像素点一一对应。并且，各个像素点对应的第二设定帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第二设定帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元可以将第二修复图像的上一帧图像与第二历史降噪图像进行作差处理，从而得到第二噪声强度图像，根据第二噪声强度图像中每个像素点的噪声强度确定第二帧差图像中相应位置处的像素点的第二设定帧差阈值。当然，每个像素点对应的第二设定帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。
对于第二帧差图像中的每个像素点，该运动估计单元可以根据该像素点的帧差和该像素点对应的第二设定帧差阈值，通过下述公式(2)来确定得到相应像素点的第二时域滤波强度。
Figure BDA0002081229830000231
其中，αvis(x,y)是指坐标为(x,y)的像素点的第二时域滤波强度，difvis(x,y)表示该像素点在第二帧差图像中的帧差，dif_thrvis(x,y)表示该像素点对应的第二设定帧差阈值。
需要说明的是，对于第二帧差图像中的每个像素点，像素点的帧差相对于第二设定帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点的运动级别越小。而由上述公式(2)可知，对于任意一个像素点，该像素点的帧差相对于第二设定帧差阈值越小，则该像素点的第二时域滤波强度越大。综上可知，在本申请实施例中，像素点的运动级别越小，则对应的第二时域滤波强度的取值越大。其中，第二时域滤波强度的取值可以在0到1之间。
在确定每个像素点的第一时域滤波强度和第二时域滤波强度之后，该运动估计单元可以每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域权重。此时，确定的每个像素点的联合时域权重即为第一修复图像和第二修复图像的运动估计结果。
示例性地，该运动估计单元可以通过下式(3)来对每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域滤波强度。
Figure BDA0002081229830000241
其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域，(x+i,y+j)是指该局部图像区域内的像素点坐标，
Figure BDA0002081229830000242
是指以坐标为(x,y)的像素点为中心的局部图像区域内的第一时域滤波强度，
Figure BDA0002081229830000243
是指以坐标为(x,y)的像素点为中心的局部第二时域滤波强度，αfus(x,y)是指坐标为(x,y)的像素点的联合时域滤波强度。
需要说明的是，第一时域滤波强度可以用于表示像素点在第一修复图像中的运动级别，第二时域滤波强度可以用于指示像素点在第二修复图像中的运动级别，而通过上述方式确定的联合时域滤波强度同时融合了第一时域滤波强度和第二时域滤波强度，也即，该联合时域滤波强度同时考虑了该像素点在第一修复图像中表现出的运动趋势以及在第二修复图像中表现出的运动趋势。这样，相较于第一时域滤波强度或第二时域滤波强度，该联合时域滤波强度能够更加准确的表征像素点的运动趋势，这样，后续以该联合时域滤波强度进行时域滤波时，可以更有效的去除图像噪声，并且，可以避免由于对像素点的运动级别的误判所导致的图像拖尾等问题。
在确定每个像素点的联合时域滤波强度之后，时域滤波单元可以根据该联合时域滤波强度对第一修复图像和第二修复图像分别进行时域滤波处理，从而得到第一预处理图像和第二预处理图像。
示例性地，时域滤波单元可以根据每个像素点的联合时域滤波强度，通过下述公式(4)对第一修复图像和第一历史降噪图像中的每个像素点进行时域加权处理，从而得到第一预处理图像，根据每个像素点的联合时域滤波强度，通过下述公式(5)对第二修复图像和第二历史降噪图像中的每个像素点进行时域加权处理，从而得到第二预处理图像。
Figure BDA0002081229830000251
Figure BDA0002081229830000252
其中，
Figure BDA0002081229830000253
是指第一预处理图像中坐标为(x,y)的像素点，
Figure BDA0002081229830000254
是指第一历史降噪图像中坐标为(x,y)的像素点，αfus(x,y)是指坐标为(x,y)的像素点的联合时域滤波强度，Inir(x,y,t)是指第一修复图像中坐标为(x,y)的像素点，
Figure BDA0002081229830000255
是指第二预处理图像中坐标为(x,y)的像素点，
Figure BDA0002081229830000256
是指第二历史降噪图像中坐标为(x,y)的像素点，Ivis(x,y,t)是指第二修复图像中坐标为(x,y)的像素点。
或者，考虑到第一修复图像为具有高信噪比的近红外光信号，该时域滤波单元也可以根据每个像素点的第一时域滤波强度对第一修复图像进行时域滤波，得到近红外光图像，根据每个像素点的联合时域滤波强度对第二修复图像进行时域滤波处理，从而得到可见光图像。
需要说明的是，由前述对于时域滤波强度与运动级别的关系的介绍可知，在本申请实施例中，对于第一修复图像和第二修复图像中运动越激烈的区域，可以采用越小的时域滤波强度对其进行滤波。
在另一些可能的实现方式中，该图像降噪单元0412可以包括空域降噪单元。其中，该空域降噪单元用于根据第一修复图像和第二修复图像进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一修复图像进行空域滤波处理，得到第一预处理图像，根据边缘估计结果对第二修复图像进行空域滤波处理，得到第二预处理图像。
需要说明的是，该空域降噪单元可以包括边缘估计单元和空域滤波单元。
在一些示例中，该边缘估计单元用于确定第一修复图像中每个像素点的第一空域滤波强度；该空域滤波单元用于根据每个像素点对应的第一空域滤波强度对第一修复图像进行空域滤波处理，得到第一预处理图像，根据每个像素点对应的第一空域滤波强度对第二修复图像进行空域滤波处理，得到第二预处理图像。
示例性地，该边缘估计单元可以根据第一修复图像的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第一空域滤波强度。其中，该边缘估计单元可以通过下式(6)来生成每个像素点的第一空域滤波强度。
Figure BDA0002081229830000261
其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，imgnir(x,y)是指第一修复图像中坐标为(x,y)的像素点的像素值，δ1和δ2是指高斯分布标准差，
Figure BDA0002081229830000262
是指坐标为(x,y)的像素点在该局部图像区根据其与像素点(x+i,y+j)之间的差异确定域内的第一空域滤波强度。
在确定每个像素点的多个第一空域滤波强度之后，空域滤波单元可以根据每个像素点的多个第一空域滤波强度分别对第一修复图像和第二修复图像进行空域滤波处理，从而得到第一预处理图像和第二预处理图像。
在另一些示例中，该边缘估计单元用于确定第一修复图像中每个像素点的第一空域滤波强度，确定第二修复图像中每个像素点的第二空域滤波强度；对第一修复图像进行卷积处理，得到第一纹理图像，对第二修复图像进行卷积处理，得到第二纹理图像；根据第一空域滤波强度、第二空域滤波强度、第一纹理图像和第二纹理图像确定每个像素点对应的联合空域滤波强度；该空域滤波单元用于根据每个像素点对应的第一空域滤波强度对第一修复图像进行空域滤波处理，得到第一预处理图像，根据每个像素点对应的联合空域滤波强度对第二修复图像进行空域滤波处理，得到第二预处理图像。
也即，该边缘估计单元不仅可以通过前述介绍的实现方式确定第一修复图像中每个像素点的第一空域滤波强度，还可以确定第二修复图像中每个像素点的第二时域滤波强度。
在确定每个像素点的第二空域滤波强度时，该边缘估计单元可以根据第二修复图像的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第二空域滤波强度。其中，该边缘估计单元可以通过下式(7)来生成每个像素点的第一空域滤波强度。
Figure BDA0002081229830000271
其中，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，imgvis(x,y)是指第二修复图像中坐标为(x,y)的像素点的像素值，δ1和δ2是指高斯分布标准差，
Figure BDA0002081229830000272
是指坐标为(x,y)的像素点在该局部图像区域内根据其与像素点(x+i,y+j)之间的差异确定的第二空域滤波强度。
由上述公式6和7可知，对于以坐标为(x,y)的像素点为中心的局部图像区域，该像素点与该局部图像区域内的像素点之间的差异越小，则该像素点对应的多个空域滤波强度越大。也即，该像素点的空域滤波强度的大小与该像素点与对应的局部图像区域内的像素点之间的差异大小呈负相关。
在确定每个像素点的第一空域滤波强度和第二空域滤波强度之后，边缘估计单元可以利用Sobel边缘检测算子分别对第一修复图像和第二修复图像进行卷积处理，得到第一纹理图像和第二纹理图像，并以此为权重对每个像素点的多个第一空域滤波强度和多个第二空域滤波强度进行加权处理，生成每个像素点的多个联合空域滤波强度。
示例性地，Sobel边缘检测算子如下式(8)所示。边缘估计单元可以通过下式(9)来生成联合空域滤波强度。
Figure BDA0002081229830000273
Figure BDA0002081229830000274
其中，sobelH是指水平方向上的Sobel边缘检测算子，sobelV是指垂直方向上的Sobel边缘检测算子；βfus(x+i,y+j)是指坐标为(x,y)的像素点在其邻域范围Ω内的任一联合空域滤波强度，
Figure BDA0002081229830000275
是指第一纹理图像中坐标为(x,y)的像素点的纹理信息，
Figure BDA0002081229830000276
是指第二纹理图像中坐标为(x,y)的像素点的纹理信息。
需要说明的是，在确定联合空域滤波强度时，通过边缘检测算子进行了相应处理，所以，最终得到的每个像素点的多个联合空域滤波强度越小，则表明该像素点与局部图像区域内的其他像素点之间的差异越大，因此可见，在本申请实施例中，图像中相邻像素点亮度差异越大的区域，联合空域滤波强度越小，而相邻像素点亮度差异较小的区域，联合空域滤波强度则相对较大。也即，在本申请实施例中，在进行空域滤波时，在边缘采用较弱的滤波强度，在非边缘采用较强的滤波强度，从而提高了降噪效果。
在得到联合空域滤波强度之后，时域滤波单元可以根据联合空域滤波强度分别对第一修复图像和第二修复图像进行空域加权处理，从而得到第一预处理图像和第二预处理图像。
或者，考虑到第一修复图像是具有高信噪比的近红外光图像，因此，在第一修复图像的质量明显优于第二修复图像时，无需利用第二修复图像的边缘信息来辅助第一修复图像进行空域滤波处理。在这种情况下，该空域滤波单元可以根据每个像素点的第一空域滤波强度对第一修复图像进行空域滤波处理。根据每个像素点的联合空域滤波强度对第二修复图像进行空域滤波处理。
示例性地，该空域滤波单元可以根据每个像素点的第一空域滤波强度通过下述公式(10)来对第一修复图像中的每个像素点进行空域滤波处理，从而得到第一预处理图像，根据每个像素点的联合时域滤波强度，通过下述公式(11)对第二修复图像中的每个像素点进行加权处理，从而得到第二预处理图像。
Figure BDA0002081229830000281
Figure BDA0002081229830000282
其中，
Figure BDA0002081229830000283
是指第一预处理图像中坐标为(x,y)的像素点，Inir(x+i,y+j)是指第一修复图像中坐标为(x,y)的像素点的邻域范围内的像素点，βnir(x+i,y+j)为坐标为(x,y)的像素点在该邻域范围内的第一空域滤波强度，Ω是指以坐标为(x,y)的像素点为中心的邻域范围，
Figure BDA0002081229830000284
为第二预处理图像中坐标为(x,y)的像素点，Ivis(x+i,y+j)是指第二修复图像中坐标为(x,y)的像素点的邻域范围内的像素点，βfus(x+i,y+j)为坐标为(x,y)的像素点在该邻域范围内的联合空域滤波强度。
值得注意的是，在本申请实施例中，图像降噪单元0412也可以同时包括上述的时域降噪单元和空域降噪单元。在这种情况下，可以参照前述介绍的相关实现方式，先通过时域降噪单元对第一修复图像和第二修复图像进行时域滤波，得到的第一时域降噪图像和第二时域降噪图像。之后，再由空域降噪单元对得到的第一时域降噪图像和第二时域降噪图像进行空域滤波，从而得到第一预处理图像和第二预处理图像。或者，可以先由空域降噪单元对第一修复图像和第二修复图像进行空域滤波，得到第一空域降噪图像和第二空域降噪图像。之后，再由时域降噪单元对得到的第一空域降噪图像和第二空域降噪图像进行时域滤波，从而得到第一预处理图像和第二预处理图像。
预处理单元041在得到第一预处理图像和第二预处理图像之后，图像融合单元042可以将第一预处理图像和第二预处理图像进行融合，得到融合图像。
在一种可能的实现方式中，图像融合单元042可以包括第一融合单元。其中，第一融合单元用于通过第一融合处理对第一预处理图像和第二预处理图像进行融合，得到融合图像。
需要说明的是，第一融合处理的可能实现方式可以包括以下几种：
第一种可能的实现方式，第一融合单元可以遍历每个像素位置，根据预设的每个像素位置的融合权重对第一预处理图像和第二预处理图像的相同像素位置处的RGB色彩向量进行融合。
示例性地，第一融合单元22可以通过下述模型(8)来生成融合图像。
img＝img1*(1-w)+img2*w (8)
其中，img是指融合图像，img1是指第一预处理图像，img2是指第二预处理图像，w是指融合权重。需要说明的是，融合权重的取值范围为(0,1)，例如，融合权重可以为0.5。
需要说明的是，在上述模型(8)中，融合权重也可以是通过对第一预处理图像和第二预处理图像进行处理得到的。
示例性地，第一融合单元可以对第一预处理图像进行边缘提取，得到第一边缘图像。对第二预处理图像进行边缘提取，得到第二边缘图像。根据第一边缘图像和第二边缘图像确定每个像素位置的融合权重。
在第二种可能的实现方式，第一融合单元可以将第二预处理图像中的亮度信号通过低通滤波器进行处理，得到低频信号。将第一预处理图像通过高通滤波器进行处理，得到高频信号。将低频信号与高频信号相加，得到融合亮度信号。最后将融合亮度信号和第二预处理图像中的色度信号进行合成，即可得到融合图像。
第三种可能的实现方式中，第一融合单元可以对第一预处理图像进行色彩空间转换，从而分离出第一亮度图像和第一色彩图像。对第二预处理图像进行色彩空间转换，从而分离出第二亮度图像和第二色彩图像。分别对第一亮度图像和第二亮度图像进行金字塔分解，得到多个具有不同尺度信息的基础图像和细节图像，并根据第一亮度图像与第二亮度图像之间信息熵或梯度的相对大小对多个基础图像和细节图像进行加权，重构得到融合亮度图像。之后，第一融合单元可以选取第一色彩图像和第二色彩图像中具有更高色彩准确性的色彩图像来作为融合图像的色彩分量，并根据融合亮度图像与选取的色彩图像所对应的亮度图像之间的差异来调整融合图像的色彩分量，提升色彩准确性。
在得到融合图像之后，图像处理单元04可以直接输出该融合图像。
在另一些可能的实现方式中，该图像融合单元042可以包括第二融合单元和第三融合单元。其中，第二融合单元用于通过第二融合处理对第一预处理图像和第二预处理图像进行融合，得到第一目标图像。第三融合单元用于通过第三融合处理对第一预处理图像和第二预处理图像进行融合，得到第二目标图像。融合图像包括第一目标图像和第二目标图像。
需要说明的是，第二融合处理和第三融合处理可以不同。例如，第二融合处理和第三融合处理可以为前述介绍的第一融合处理的三种可能实现方式中的任意两种。或者，第二融合处理为前述介绍的第一融合处理的三种可能实现方式中的任意一种，第三融合处理为除上述三种可能实现方式之外的其余的处理方式。或者，第三融合处理为前述介绍的第一融合处理的三种可能实现方式中的任意一种，第二融合处理为除上述三种可能实现方式之外的其余的处理方式。
第二融合处理和第三融合处理也可以相同。在这种情况下，第二融合处理的融合参数为第一融合参数，第三融合处理的融合参数为第二融合参数，第一融合参数和第二融合参数不同。例如，第二融合处理和第三融合处理可以均为上述介绍的第一融合处理中的第一种可能的实现方式。但是，第二融合处理和第三融合处理中的融合权重可以不同。
通过不同的融合单元采用不同的融合处理来对两个预处理图像进行融合，或者是采用相同的融合处理但是不同的融合参数来对两个预处理图像进行融合，可以得到两种不同图像风格的融合图像。图像处理单元可以分别向后续的不同单元输出不同的融合图像，以此来满足后续不同操作对融合图像的要求。
3、编码压缩单元06
当图像处理单元04输出一路融合图像时，编码压缩单元06可以对该融合图像进行压缩并输出，以供后续显示和存储。示例性地，编码压缩单元06可以采用H.264的标准对该融合图像进行压缩。
当图像处理单元04输出两路融合图像，也即第一目标图像和第二目标图像时，编码压缩单元06可以对第一目标图像进行压缩并输出，以供后续显示和存储。
4、智能分析单元07
当图像处理单元04输出一路融合图像时，智能分析单元07可以对该融合图像进行分析处理，并输出分析结果，以供后续使用。
需要说明的是，智能分析单元07可以为SoC芯片中的神经网络计算单元，采用深度学习网络，对第一融合图像进行分析处理。例如，可以采用FastRCNN对第一融合图像进行分析处理。
当图像处理单元04输出两路融合图像，也即第一目标图像和第二目标图像时，智能分析单元07可以对第二目标图像进行压缩并输出，以供后续显示和存储。
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便进行近红外补光时通过第一预设曝光产生第一图像信号，不进行近红外补光时通过第二预设曝光产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，进而将这两种图像信号进行融合，使得该图像融合装置更加简便，进而第一图像信号和第二图像信号的融合高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。如此，后续根据该第一图像信号和第二图像信号进行处理得到的融合图像的质量更高。
基于上述对图像融合装置的描述，该图像融合装置可以通过多次曝光产生并输出第一图像信号和第二图像信号，将第一图像信号和第二图像信号进行融合处理，从而得到融合图像。接下来，以基于上述图1-20所示的实施例提供的图像采集装置来对图像采集方法进行说明。参见图21，该方法包括：
步骤2101：通过补光器包括的第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为图像传感器的多次曝光中的其中两次曝光。
步骤2102：通过滤光组件包括的第一滤光片使可见光和部分近红外光通过。
步骤2103：通过图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，第一图像信号是根据第一预设曝光产生的图像，第二图像信号是根据第二预设曝光产生的图像。
步骤2104：通过图像处理单元对第一图像信号和第二图像信号进行处理得到融合图像。
图像处理单元包括预处理单元和图像融合单元；
通过图像处理单元对第一图像信号和第二图像信号进行处理得到融合图像，包括：
通过预处理单元对第一图像信号和第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像；
通过图像融合单元对第一预处理图像和第二预处理图像进行融合，得到融合图像。
在一种可能的实现方式中，预处理单元包括图像修复单元和图像降噪单元；
通过预处理单元对第一图像信号和第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像，包括：
通过图像修复单元对第一图像信号进行修复处理，得到第一修复图像，对第二图像信号进行修复处理，得到第二修复图像，第一修复图像为灰度图像，第二修复图像为彩色图像；
通过图像降噪单元对第一修复图像进行降噪处理，得到第一预处理图像，对第二修复图像进行降噪处理，得到第二预处理图像。
在一种可能的实现方式中，图像降噪单元包括时域降噪单元或空域降噪单元；
通过图像降噪单元对第一修复图像进行降噪处理，得到第一预处理图像，对第二修复图像进行降噪处理，得到第二预处理图像，包括：
通过时域降噪单元，根据第一修复图像和第二修复图像进行运动估计，得到运动估计结果，根据运动估计结果对第一修复图像进行时域滤波处理，得到第一预处理图像，根据运动估计结果对第二修复图像进行时域滤波处理，得到第二预处理图像；或者
通过空域降噪单元，根据第一修复图像和第二修复图像进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一修复图像进行空域滤波处理，得到第一预处理图像，根据边缘估计结果对第二修复图像进行空域滤波处理，得到第二预处理图像。
在一种可能的实现方式中，时域降噪单元包括运动估计单元；
通过时域降噪单元，根据第一修复图像和第二修复图像进行运动估计，得到运动估计结果，包括：
通过运动估计单元，根据第一修复图像和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一设定帧差阈值确定第一修复图像中每个像素点的第一时域滤波强度，第一历史降噪图像是指对第一修复图像的前N帧图像中的任一帧图像进行降噪后的图像，N大于或等于1，多个第一设定帧差阈值与第一帧差图像中的多个像素点一一对应；
通过运动估计单元，根据第二修复图像和第二历史降噪图像生成第二帧差图像，根据第二帧差图像和多个第二设定帧差阈值确定第二修复图像中每个像素点的第二时域滤波强度，第二历史降噪图像是指对第二修复图像的前N帧图像中的任一帧图像进行降噪后的图像信，多个第二设定帧差阈值与第二帧差图像中的多个像素点一一对应号；
通过运动估计单元，对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，通过运动估计单元从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；
其中，运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。
在一种可能的实现方式中，时域降噪单元还包括时域滤波单元；
通过时域降噪单元，根据运动估计结果对第一修复图像进行时域滤波处理，得到第一预处理图像，包括：
时域滤波单元用于根据每个像素点的第一时域滤波强度对第一修复图像进行时域滤波处理，得到第一预处理图像，根据每个像素点的第一时域滤波强度对第二修复图像进行时域滤波处理，得到第二预处理图像；或者
时域滤波单元用于根据每个像素点的第一时域滤波强度对第一修复图像进行时域滤波处理，得到第一预处理图像，根据每个像素点的联合时域滤波强度对第二修复图像进行时域滤波处理，得到第二预处理图像；或者
时域滤波单元用于根据每个像素点的联合时域滤波强度对第一修复图像进行时域滤波处理，得到第一预处理图像，根据每个像素点的联合时域滤波强度对第二修复图像进行时域滤波处理，得到第二预处理图像。
在一种可能的实现方式中，第一帧差图像是指对第一修复图像和第一历史降噪图像进行作差处理得到的原始帧差图像；或者，第一帧差图像是指对原始帧差图像进行处理后得到的帧差图像；
第二帧差图像是指对第二修复图像和第二历史降噪图像进行作差处理得到的原始帧差图像；或者，第二帧差图像是指对原始帧差图像进行处理后得到的帧差图像。
在一种可能的实现方式中，每个像素点对应的第一设定帧差阈值不同，或者，每个像素点对应的第一设定帧差阈值相同；
每个像素点对应的第二设定帧差阈值不同，或者，每个像素点对应的第二设定帧差阈值相同。
在一种可能的实现方式中，多个第一设定帧差阈值是根据第一噪声强度图像中多个像素点的噪声强度确定得到，第一噪声强度图像根据第一历史降噪图像对应的降噪前的图像和第一历史降噪图像确定得到；
多个第二设定帧差阈值是根据第二噪声强度图像中多个像素点的噪声强度确定得到，第二噪声强度图像根据第二历史降噪图像对应的降噪前的图像和第二历史降噪图像确定得到。
在一种可能的实现方式中，空域降噪单元包括边缘估计单元；
通过空域降噪单元，根据第一修复图像和第二修复图像进行边缘估计，得到边缘估计结果，包括：
通过边缘估计单元确定第一修复图像中每个像素点的第一空域滤波强度；
通过边缘估计单元确定第二修复图像中每个像素点的第二空域滤波强度；
通过边缘估计单元对第一修复图像进行局部信息提取，得到第一局部信息，对第二修复图像进行局部信息提取，得到第二局部信息；根据第一空域滤波强度、第二空域滤波强度、第一局部信息和第二局部信息确定每个像素点对应的联合空域滤波强度；
其中，边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。
在一种可能的实现方式中，空域降噪单元还包括空域滤波单元；
根据边缘估计结果对第一修复图像进行空域滤波处理，得到第一预处理图像，根据边缘估计结果对第二修复图像进行空域滤波处理，得到第二预处理图像，包括：
通过空域滤波单元，根据每个像素点对应的第一空域滤波强度对第一修复图像进行空域滤波处理，得到第一预处理图像，根据每个像素点对应的第一空域滤波强度对第二修复图像进行空域滤波处理，得到第二预处理图像；或者
通过空域滤波单元，根据每个像素点对应的第一空域滤波强度对第一修复图像进行空域滤波处理，得到第一预处理图像，根据每个像素点对应的联合空域滤波强度对第二修复图像进行空域滤波处理，得到第二预处理图像；或者
通过空域滤波单元，根据每个像素点对应的联合空域滤波强度对第一修复图像进行空域滤波处理，得到第一预处理图像，根据每个像素点对应的联合空域滤波强度对第二修复图像进行空域滤波处理，得到第二预处理图像。
在一种可能的实现方式中，第一局部信息和第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。
在一种可能的实现方式中，图像降噪单元包括时域降噪单元和空域降噪单元；
通过降噪单元对第一修复图像进行降噪处理，得到第一预处理图像，对第二修复图像进行降噪处理，得到第二预处理图像，包括：
通过时域降噪单元，根据第一修复图像和第二修复图像进行运动估计，得到运动估计结果，根据运动估计结果对第一修复图像进行时域滤波，得到第一时域降噪图像，根据运动估计结果对第二修复图像进行时域滤波，得到第二时域降噪图像；
通过空域降噪单元，根据第一时域降噪图像和第二时域降噪图像进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一时域降噪图像进行空域滤波，得到第一预处理图像，根据边缘估计结果对第二时域降噪图像进行空域滤波，得到第二预处理图像；
或者，
通过空域降噪单元，根据第一修复图像和第二修复图像进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一修复图像进行空域滤波，得到第一空域降噪图像，根据边缘估计结果对第二修复图像进行空域滤波，得到第二空域降噪图像；
通过时域降噪单元，根据第一空域降噪图像和第二空域降噪图像进行运动估计，得到运动估计结果，根据运动估计结果对第一空域降噪图像进行时域滤波，得到第一预处理图像，根据运动估计结果对第二空域降噪图像进行时域滤波，得到第二预处理图像。
在一种可能的实现方式中，图像融合单元包括第一融合单元，图像融合装置还包括编码压缩单元和智能分析单元；
通过图像融合单元对第一预处理图像和第二预处理图像进行融合，得到融合图像，包括：
通过第一融合单元，利用第一融合处理对第一预处理图像和第二预处理图像进行融合，得到融合图像；
方法还包括：
通过编码压缩单元对融合图像进行编码压缩处理，并输出编码压缩处理后的图像，编码压缩处理后的图像用于进行显示或存储；
通过智能分析单元对融合图像进行分析处理，得到分析结果，输出分析结果。
在一种可能的实现方式中，图像融合单元包括第二融合单元和第三融合单元，图像融合装置还包括编码压缩单元和智能分析单元；
通过图像融合单元对第一预处理图像和第二预处理图像进行融合，得到融合图像，包括：
通过第二融合单元，利用第二融合处理对第一预处理图像和第二预处理图像进行融合，得到第一目标图像；
通过第三融合单元，利用第三融合处理对第一预处理图像和第二预处理图像进行融合，得到第二目标图像；
方法还包括：
通过编码压缩单元对第一目标图像进行编码压缩处理，并输出编码压缩处理后的图像，编码压缩处理后的图像用于进行显示或存储；
通过智能分析单元对第二目标图像进行分析处理，得到分析结果，输出分析结果。
在一种可能的实现方式中，第二融合处理和第三融合处理不同；
或者，第二融合处理和第三融合处理相同，但第二融合处理的融合参数为第一融合参数，第二融合处理的融合参数为第二融合参数，第一融合参数和第二融合参数不同。
在一种可能的实现方式中，补光器还可以包括第二补光装置，此时，通过滤光组件包括的第一滤光片使可见光波段的光和近红外光波段的光通过之前，还通过第二补光装置进行可见光补光。
在一种可能的实现方式中，第一补光装置进行近红外光补光时通过第一滤光片的近红外光的强度高于第一补光装置未进行近红外补光时通过第一滤光片的近红外光的强度。
在一种可能的实现方式中，入射到第一滤光片的近红外光的波段范围为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的半带宽小于或等于50纳米。
在一种可能的实现方式中，约束条件包括：
第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。
在一种可能的实现方式中，约束条件为：
第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。
在一种可能的实现方式中，设定比例为30％～50％的比例范围内的任一比例。
在一种可能的实现方式中，第一预设曝光与第二预设曝光的至少一个曝光参数不同，至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光增益小于第二预设曝光的曝光增益。
在一种可能的实现方式中，第一预设曝光和第二预设曝光的至少一个曝光参数相同，至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光时间等于第二预设曝光的曝光时间。
在一种可能的实现方式中，图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。
在一种可能的实现方式中，多个感光通道用于感应至少两种不同的可见光波段的光。
在一种可能的实现方式中，多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；
其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。
在一种可能的实现方式中，图像传感器为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。
在一种可能的实现方式中，第二补光装置用于以常亮方式进行可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。
在一种可能的实现方式中，第一补光装置在单位时间长度内的补光次数低于图像传感器在单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。
在一种可能的实现方式中，图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集；
近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；
或者，
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
在一种可能的实现方式中，多次曝光包括奇数次曝光和偶数次曝光；
第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光；或者
第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光；或者
第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者
第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，
第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光；或者
第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光；
其中，多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。
需要说明的是，由于本实施例与上述图1-19所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1-19所示实施例中相关内容的解释，此处不再赘述。
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便进行近红外补光时通过第一预设曝光产生第一图像信号，不进行近红外补光时通过第二预设曝光产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，进而将这两种图像信号进行融合，使得该图像融合装置更加简便，进而第一图像信号和第二图像信号的融合高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。如此，后续根据该第一图像信号和第二图像信号进行处理得到的融合图像的质量更高。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (33)

1.一种图像融合装置，其特征在于，所述图像融合装置包括图像传感器(01)、补光器(02)、滤光组件(03)和图像处理单元(04)，所述图像传感器(01)位于所述滤光组件(03)的出光侧；所述滤光组件(03)包括第一滤光片(031)，所述第一滤光片(031)使可见光和部分近红外光通过；所述滤光组件(03)还包括第二滤光片(032)和切换部件(033)，所述第一滤光片(031)和所述第二滤光片(032)均与所述切换部件(033)连接，所述第二滤光片(032)使可见光通过，阻挡近红外光；
所述图像传感器(01)，用于在所述第一滤光片(031)位于所述图像传感器(01)的入光侧时，通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
所述补光器(02)包括第一补光装置(021)，所述第一补光装置(021)用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；
所述图像处理单元(04)用于对所述第一图像信号和所述第二图像信号进行处理得到融合图像；
在通过所述切换部件(033)将所述第二滤光片(032)切换到所述图像传感器(01)的入光侧之后，所述图像传感器(01)还用于通过曝光产生并输出第三图像信号。
2.如权利要求1所述的图像融合装置，其特征在于，所述图像处理单元(04)包括预处理单元(041)和图像融合单元(042)；
所述预处理单元(041)用于对所述第一图像信号和所述第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像；
所述图像融合单元(042)用于对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像。
3.如权利要求2所述的图像融合装置，其特征在于，所述预处理单元(041)包括图像修复单元(0411)和图像降噪单元(0412)；
所述图像修复单元(0411)用于对所述第一图像信号进行修复处理，得到第一修复图像，对所述第二图像信号进行修复处理，得到第二修复图像，所述第一修复图像为灰度图像，所述第二修复图像为彩色图像；
所述图像降噪单元(0412)用于对所述第一修复图像进行降噪处理，得到所述第一预处理图像，对所述第二修复图像进行降噪处理，得到所述第二预处理图像。
4.如权利要求3所述的图像融合装置，其特征在于，所述图像降噪单元(0412)包括时域降噪单元或空域降噪单元；
所述时域降噪单元用于根据所述第一修复图像和所述第二修复图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据所述运动估计结果对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
所述空域降噪单元用于根据所述第一修复图像和所述第二修复图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据所述边缘估计结果对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像。
5.如权利要求4所述的图像融合装置，其特征在于，所述时域降噪单元包括运动估计单元；
所述运动估计单元用于根据所述第一修复图像和第一历史降噪图像生成第一帧差图像，根据所述第一帧差图像和多个第一设定帧差阈值确定所述第一修复图像中每个像素点的第一时域滤波强度，所述第一历史降噪图像是指对所述第一修复图像的前N帧图像中的任一帧图像进行降噪后的图像，所述N大于或等于1，所述多个第一设定帧差阈值与所述第一帧差图像中的多个像素点一一对应；
所述运动估计单元还用于根据所述第二修复图像和第二历史降噪图像生成第二帧差图像，根据所述第二帧差图像和多个第二设定帧差阈值确定所述第二修复图像中每个像素点的第二时域滤波强度，所述第二历史降噪图像是指对所述第二修复图像的前N帧图像中的任一帧图像进行降噪后的图像信号，所述多个第二设定帧差阈值与所述第二帧差图像中的多个像素点一一对应；
所述运动估计单元还用于对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，所述运动估计单元还用于从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；
其中，所述运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。
6.如权利要求5所述的图像融合装置，其特征在于，所述时域降噪单元还包括时域滤波单元；
所述时域滤波单元用于根据每个像素点的第一时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的第一时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
所述时域滤波单元用于根据每个像素点的第一时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的联合时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
所述时域滤波单元用于根据每个像素点的联合时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的联合时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像。
7.如权利要求5所述的图像融合装置，其特征在于，
所述第一帧差图像是指对所述第一修复图像和所述第一历史降噪图像进行作差处理得到的原始帧差图像；或者，所述第一帧差图像是指对所述原始帧差图像进行处理后得到的帧差图像；
所述第二帧差图像是指对所述第二修复图像和所述第二历史降噪图像进行作差处理得到的原始帧差图像；或者，所述第二帧差图像是指对所述原始帧差图像进行处理后得到的帧差图像。
8.如权利要求5所述的图像融合装置，其特征在于，所述多个第一设定帧差阈值是根据第一噪声强度图像中多个像素点的噪声强度确定得到，所述第一噪声强度图像根据所述第一历史降噪图像对应的降噪前的图像和所述第一历史降噪图像确定得到；
所述多个第二设定帧差阈值是根据第二噪声强度图像中多个像素点的噪声强度确定得到，所述第二噪声强度图像根据所述第二历史降噪图像对应的降噪前的图像和所述第二历史降噪图像确定得到。
9.如权利要求4所述的图像融合装置，其特征在于，所述空域降噪单元包括边缘估计单元；
所述边缘估计单元用于确定所述第一修复图像中每个像素点的第一空域滤波强度；
所述边缘估计单元还用于确定所述第二修复图像中每个像素点的第二空域滤波强度；
所述边缘估计单元还用于对所述第一修复图像进行局部信息提取，得到第一局部信息，对所述第二修复图像进行局部信息提取，得到第二局部信息；根据所述第一空域滤波强度、所述第二空域滤波强度、所述第一局部信息和所述第二局部信息确定每个像素点对应的联合空域滤波强度；
其中，所述边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。
10.如权利要求9所述的图像融合装置，所述空域降噪单元还包括空域滤波单元；
所述空域滤波单元用于根据每个像素点对应的第一空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的第一空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像；或者
所述空域滤波单元用于根据每个像素点对应的第一空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的联合空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像；或者
所述空域滤波单元用于根据每个像素点对应的联合空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的联合空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像。
11.如权利要求3所述的图像融合装置，其特征在于，所述降噪单元包括时域降噪单元和空域降噪单元；
所述时域降噪单元用于根据所述第一修复图像和所述第二修复图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一修复图像进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二修复图像进行时域滤波，得到第二时域降噪图像；
所述空域降噪单元用于根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述第一预处理图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述第二预处理图像；
或者，
所述空域降噪单元用于根据所述第一修复图像和所述第二修复图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一修复图像进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二修复图像进行空域滤波，得到第二空域降噪图像；
所述时域降噪单元用于根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述第一预处理图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述第二预处理图像。
12.如权利要求2-11任一所述的图像融合装置，其特征在于，所述图像融合单元(042)包括第一融合单元，所述图像融合装置还包括编码压缩单元和智能分析单元；
所述第一融合单元用于通过第一融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像；
所述编码压缩单元用于对所述融合图像进行编码压缩处理，并输出编码压缩处理后的图像，所述编码压缩处理后的图像用于进行显示或存储；
所述智能分析单元用于对所述融合图像进行分析处理，得到分析结果，输出所述分析结果。
13.如权利要求2-11任一所述的图像融合装置，其特征在于，所述图像融合单元(042)包括第二融合单元和第三融合单元，所述图像融合装置还包括编码压缩单元和智能分析单元；
所述第二融合单元用于通过第二融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到第一目标图像；
所述第三融合单元用于通过第三融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到第二目标图像；
所述编码压缩单元用于对所述第一目标图像进行编码压缩处理，并输出编码压缩处理后的图像，所述编码压缩处理后的图像用于进行显示或存储；
所述智能分析单元用于对所述第二目标图像进行分析处理，得到分析结果，输出所述分析结果。
14.如权利要求13所述的图像融合装置，其特征在于，所述第二融合处理和所述第三融合处理不同；
或者，所述第二融合处理和所述第三融合处理相同，但所述第二融合处理的融合参数为第一融合参数，所述第二融合处理的融合参数为第二融合参数，所述第一融合参数和所述第二融合参数不同。
15.如权利要求1所述的图像融合装置，其特征在于，所述第一补光装置(021)进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片(031)的近红外光的中心波长和/或波段宽度达到约束条件。
16.如权利要求15所述的图像融合装置，其特征在于，所述第一补光装置(021)进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者
所述第一补光装置(021)进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者
所述第一补光装置(021)进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。
17.如权利要求15所述的图像融合装置，其特征在于，所述约束条件包括：
通过所述第一滤光片(031)的近红外光的中心波长与所述第一补光装置(021)进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者
通过所述第一滤光片(031)的近红外光的半带宽小于或等于50纳米；或者
第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一滤光片(031)(031)的近红外光的波段宽度，所述第二波段宽度是指被所述第一滤光片(031)(031)阻挡的近红外光的波段宽度；或者
第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。
18.如权利要求1所述的图像融合装置，其特征在于，
所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
19.如权利要求1所述的图像融合装置，其特征在于，
所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。
20.如权利要求1所述的图像融合装置，其特征在于，所述图像传感器(01)包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。
21.如权利要求20所述的图像融合装置，其特征在于，所述多个感光通道用于感应至少两种不同的可见光波段的光。
22.如权利要求1所述的图像融合装置，其特征在于，
所述图像传感器(01)采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。
23.如权利要求1所述的图像融合装置，其特征在于，
所述图像传感器(01)采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；
近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；
或者，
近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者
近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
24.一种图像融合方法，应用于图像融合装置，其特征在于，所述图像融合装置包括图像传感器、补光器、滤光组件和图像处理单元，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述第一滤光片使可见光和部分近红外光通过；所述滤光组件还包括第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接，所述第二滤光片使可见光通过，阻挡近红外光；所述图像传感器位于所述滤光组件的出光侧，在所述第一滤光片位于所述图像传感器的入光侧时，所述方法包括：
通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述图像传感器的多次曝光中的其中两次曝光；
通过所述第一滤光片使可见光波段的光和近红外光波段的部分光通过；
通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；
通过所述图像处理单元对所述第一图像信号和所述第二图像信号进行处理得到融合图像；
在通过所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧之后，所述方法还包括：通过所述图像传感器进行曝光，以产生并输出第三图像信号。
25.如权利要求24所述的方法，其特征在于，所述图像处理单元包括预处理单元和图像融合单元；
所述通过所述图像处理单元对所述第一图像信号和所述第二图像信号进行处理得到融合图像，包括：
通过所述预处理单元对所述第一图像信号和所述第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像；
通过所述图像融合单元对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像。
26.如权利要求25所述的方法，其特征在于，所述预处理单元包括图像修复单元和图像降噪单元；
所述通过所述预处理单元对所述第一图像信号和所述第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像，包括：
通过所述图像修复单元对所述第一图像信号进行修复处理，得到第一修复图像，对所述第二图像信号进行修复处理，得到第二修复图像，所述第一修复图像为灰度图像，所述第二修复图像为彩色图像；
通过所述图像降噪单元对所述第一修复图像进行降噪处理，得到所述第一预处理图像，对所述第二修复图像进行降噪处理，得到所述第二预处理图像。
27.如权利要求26所述的方法，其特征在于，所述图像降噪单元包括时域降噪单元或空域降噪单元；
所述通过所述图像降噪单元对所述第一修复图像进行降噪处理，得到所述第一预处理图像，对所述第二修复图像进行降噪处理，得到所述第二预处理图像，包括：
通过所述时域降噪单元，根据所述第一修复图像和所述第二修复图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据所述运动估计结果对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
通过所述空域降噪单元，根据所述第一修复图像和所述第二修复图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据所述边缘估计结果对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像。
28.如权利要求27所述的方法，其特征在于，所述时域降噪单元包括运动估计单元；
所述通过所述时域降噪单元，根据所述第一修复图像和所述第二修复图像进行运动估计，得到运动估计结果，包括：
通过所述运动估计单元，根据所述第一修复图像和第一历史降噪图像生成第一帧差图像，根据所述第一帧差图像和多个第一设定帧差阈值确定所述第一修复图像中每个像素点的第一时域滤波强度，所述第一历史降噪图像是指对所述第一修复图像的前N帧图像中的任一帧图像进行降噪后的图像，所述N大于或等于1，所述多个第一设定帧差阈值与所述第一帧差图像中的多个像素点一一对应；
通过所述运动估计单元，根据所述第二修复图像和第二历史降噪图像生成第二帧差图像，根据所述第二帧差图像和多个第二设定帧差阈值确定所述第二修复图像中每个像素点的第二时域滤波强度，所述第二历史降噪图像是指对所述第二修复图像的前N帧图像中的任一帧图像进行降噪后的图像信号，所述多个第二设定帧差阈值与所述第二帧差图像中的多个像素点一一对应；
通过所述运动估计单元，对每个像素点的第一时域滤波强度和第二时域滤波强度进行融合，得到每个像素点的联合时域滤波强度；或者，通过所述运动估计单元从每个像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为相应像素点的联合时域滤波强度；
其中，所述运动估计结果包括每个像素点的第一时域滤波强度和/或每个像素点的联合时域滤波强度。
29.如权利要求28所述的方法，其特征在于，所述时域降噪单元还包括时域滤波单元；
通过所述时域降噪单元，根据所述运动估计结果对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，包括：
所述时域滤波单元用于根据每个像素点的第一时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的第一时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
所述时域滤波单元用于根据每个像素点的第一时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的联合时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像；或者
所述时域滤波单元用于根据每个像素点的联合时域滤波强度对所述第一修复图像进行时域滤波处理，得到所述第一预处理图像，根据每个像素点的联合时域滤波强度对所述第二修复图像进行时域滤波处理，得到所述第二预处理图像。
30.如权利要求27所述的方法，其特征在于，所述空域降噪单元包括边缘估计单元；
所述通过所述空域降噪单元，根据所述第一修复图像和所述第二修复图像进行边缘估计，得到边缘估计结果，包括：
通过所述边缘估计单元确定所述第一修复图像中每个像素点的第一空域滤波强度；
通过所述边缘估计单元确定所述第二修复图像中每个像素点的第二空域滤波强度；
通过所述边缘估计单元对所述第一修复图像进行局部信息提取，得到第一局部信息，对所述第二修复图像进行局部信息提取，得到第二局部信息；根据所述第一空域滤波强度、所述第二空域滤波强度、所述第一局部信息和所述第二局部信息确定每个像素点对应的联合空域滤波强度；
其中，所述边缘估计结果包括每个像素点的第一空域滤波强度和/或联合空域滤波强度。
31.如权利要求30所述的方法，所述空域降噪单元还包括空域滤波单元；
所述根据所述边缘估计结果对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据所述边缘估计结果对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像，包括：
通过所述空域滤波单元，根据每个像素点对应的第一空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的第一空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像；或者
通过所述空域滤波单元，根据每个像素点对应的第一空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的联合空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像；或者
通过所述空域滤波单元，根据每个像素点对应的联合空域滤波强度对所述第一修复图像进行空域滤波处理，得到所述第一预处理图像，根据每个像素点对应的联合空域滤波强度对所述第二修复图像进行空域滤波处理，得到所述第二预处理图像。
32.如权利要求24-31任一所述的方法，其特征在于，所述图像融合单元包括第一融合单元，所述图像融合装置还包括编码压缩单元和智能分析单元；
所述通过所述图像融合单元对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像，包括：
通过所述第一融合单元，利用第一融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像；
所述方法还包括：
通过所述编码压缩单元对所述融合图像进行编码压缩处理，并输出编码压缩处理后的图像，所述编码压缩处理后的图像用于进行显示或存储；
通过所述智能分析单元对所述融合图像进行分析处理，得到分析结果，输出所述分析结果。
33.如权利要求24-31任一所述的方法，其特征在于，所述图像融合单元包括第二融合单元和第三融合单元，所述图像融合装置还包括编码压缩单元和智能分析单元；
所述通过所述图像融合单元对所述第一预处理图像和所述第二预处理图像进行融合，得到所述融合图像，包括：
通过所述第二融合单元，利用第二融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到第一目标图像；
通过所述第三融合单元，利用第三融合处理对所述第一预处理图像和所述第二预处理图像进行融合，得到第二目标图像；
所述方法还包括：
通过所述编码压缩单元对所述第一目标图像进行编码压缩处理，并输出编码压缩处理后的图像，所述编码压缩处理后的图像用于进行显示或存储；
通过所述智能分析单元对所述第二目标图像进行分析处理，得到分析结果，输出所述分析结果。
CN201910472710.7A 2019-05-31 2019-05-31 图像融合装置及图像融合方法 Active CN110493494B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910472710.7A CN110493494B (zh) 2019-05-31 2019-05-31 图像融合装置及图像融合方法
EP20814163.0A EP3979622A4 (en) 2019-05-31 2020-05-22 Image fusion device and image fusion method
PCT/CN2020/091917 WO2020238807A1 (zh) 2019-05-31 2020-05-22 图像融合装置及图像融合方法
US17/615,343 US12190479B2 (en) 2019-05-31 2020-05-22 Apparatus for image fusion and method for image fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472710.7A CN110493494B (zh) 2019-05-31 2019-05-31 图像融合装置及图像融合方法

Publications (2)

Publication Number Publication Date
CN110493494A CN110493494A (zh) 2019-11-22
CN110493494B true CN110493494B (zh) 2021-02-26

Family

ID=68545895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472710.7A Active CN110493494B (zh) 2019-05-31 2019-05-31 图像融合装置及图像融合方法

Country Status (4)

Country Link
US (1) US12190479B2 (zh)
EP (1) EP3979622A4 (zh)
CN (1) CN110493494B (zh)
WO (1) WO2020238807A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110493492B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110490811B (zh) * 2019-05-31 2022-09-09 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
CN110493491B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 一种图像采集装置及摄像方法
CN112995581A (zh) * 2019-12-12 2021-06-18 北京英泰智科技股份有限公司 一种视频监控方法及系统
CN110933334B (zh) * 2019-12-12 2021-08-03 腾讯科技（深圳）有限公司 视频降噪方法、装置、终端及存储介质
CN115462066A (zh) * 2020-03-03 2022-12-09 华为技术有限公司 图像传感器和图像感光方法
CN113542613B (zh) * 2020-04-14 2023-05-12 华为技术有限公司 一种用于拍照的装置及方法
CN113572968B (zh) * 2020-04-24 2023-07-18 杭州萤石软件有限公司 图像融合方法、装置、摄像设备及存储介质
CN114697558B (zh) * 2020-12-28 2023-10-31 合肥君正科技有限公司 一种抑制宽动态范围图像频闪的方法
CN115314629B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、系统及摄像机
CN115314628B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、系统及摄像机
CN116630762B (zh) * 2023-06-25 2023-12-22 山东卓业医疗科技有限公司 一种基于深度学习的多模态医学图像融合方法
CN117692652B (zh) * 2024-02-04 2024-04-26 中国矿业大学 一种基于深度学习的可见光与红外视频融合编码方法
CN117939307B (zh) * 2024-03-19 2024-06-04 四川辰宇微视科技有限公司 一种适用于融合相机的自适应亮度调节方法
CN118301353B (zh) * 2024-06-06 2024-09-17 中国矿业大学 一种基于小波变换的红外与微波信息视频编码融合方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609291B2 (en) * 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
KR101574730B1 (ko) * 2008-11-17 2015-12-07 삼성전자 주식회사 영상 처리 장치 및 방법
JP5670456B2 (ja) 2009-08-25 2015-02-18 アイピーリンク・リミテッド カラー画像のノイズを低減すること
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
CN102682589B (zh) * 2012-01-09 2015-03-25 西安智意能电子科技有限公司 一种用于对受控设备进行遥控的系统
JP6145826B2 (ja) * 2013-02-07 2017-06-14 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
US20150002734A1 (en) 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104134352B (zh) * 2014-08-15 2018-01-19 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测系统及其检测方法
JP2016076807A (ja) * 2014-10-06 2016-05-12 ソニー株式会社 画像処理装置、撮像装置および撮像方法
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
US9726790B2 (en) * 2015-04-14 2017-08-08 Face International Corporation Systems and methods for implementing selective electromagnetic energy filtering objects and coatings using selectably transmissive energy scattering layers
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
JP2017005401A (ja) 2015-06-08 2017-01-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
CN105338262B (zh) * 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN106709477A (zh) 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
US20180295336A1 (en) * 2017-04-11 2018-10-11 Himax Imaging Limited IMAGING SYSTEM FOR SENSING 3D image
US10401872B2 (en) * 2017-05-23 2019-09-03 Gopro, Inc. Method and system for collision avoidance
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN108289179A (zh) * 2018-02-08 2018-07-17 深圳泰华安全技术工程有限公司 一种提高视频信号采集抗干扰能力的方法
WO2019155908A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 フィルタユニット、フィルタ選択方法、および、撮像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
CN110493532B (zh) 2018-12-12 2021-06-29 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN113454680B (zh) 2019-03-21 2025-02-21 华为技术有限公司 图像处理器
CN110490041B (zh) 2019-05-31 2022-03-15 杭州海康威视数字技术股份有限公司 人脸图像采集装置及方法
CN110493494B (zh) 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110493493B (zh) 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法

Also Published As

Publication number Publication date
EP3979622A4 (en) 2022-08-03
WO2020238807A1 (zh) 2020-12-03
EP3979622A1 (en) 2022-04-06
CN110493494A (zh) 2019-11-22
US20220222795A1 (en) 2022-07-14
US12190479B2 (en) 2025-01-07

Similar Documents

Publication Publication Date Title
CN110493494B (zh) 图像融合装置及图像融合方法
CN110490811B (zh) 图像降噪装置及图像降噪方法
CN110519489B (zh) 图像采集方法及装置
CN110493491B (zh) 一种图像采集装置及摄像方法
Chakrabarti Learning sensor multiplexing design through back-propagation
CN110505377B (zh) 图像融合设备和方法
CN110706178B (zh) 图像融合装置、方法、设备及存储介质
CN110490041B (zh) 人脸图像采集装置及方法
CN110490187B (zh) 车牌识别设备和方法
CN107563976B (zh) 美颜参数获取方法、装置、可读存储介质和计算机设备
EP2088787A1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
CN110493532B (zh) 一种图像处理方法和系统
CN110490044B (zh) 人脸建模设备和人脸建模方法
CN107959778A (zh) 基于双摄像头的成像方法和装置
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN101309429A (zh) 处理视频信号的设备和方法、成像设备和计算机程序
CN110490042B (zh) 人脸识别装置和门禁设备
CN110493535B (zh) 图像采集装置和图像采集的方法
Lv et al. An integrated enhancement solution for 24-hour colorful imaging
CN107341782B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110493493B (zh) 全景细节摄像机及获取图像信号的方法
CN109325905A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110493492B (zh) 图像采集装置及图像采集方法
CN112747818B (zh) 遮挡视角测量平台、方法及存储介质
CN107317972B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant