[go: up one dir, main page]

CN107438170A - 一种图像透雾方法及实现图像透雾的图像采集设备 - Google Patents

一种图像透雾方法及实现图像透雾的图像采集设备 Download PDF

Info

Publication number
CN107438170A
CN107438170A CN201610355946.9A CN201610355946A CN107438170A CN 107438170 A CN107438170 A CN 107438170A CN 201610355946 A CN201610355946 A CN 201610355946A CN 107438170 A CN107438170 A CN 107438170A
Authority
CN
China
Prior art keywords
image
rgbir
exposure time
exposure
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610355946.9A
Other languages
English (en)
Other versions
CN107438170B (zh
Inventor
浦世亮
俞海
范蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610355946.9A priority Critical patent/CN107438170B/zh
Priority to EP17801917.0A priority patent/EP3468178B1/en
Priority to PCT/CN2017/073347 priority patent/WO2017202061A1/zh
Priority to US16/303,757 priority patent/US11057592B2/en
Publication of CN107438170A publication Critical patent/CN107438170A/zh
Application granted granted Critical
Publication of CN107438170B publication Critical patent/CN107438170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像透雾方法及实现图像透雾的图像采集设备，本发明实施例中，可以采用RGBIR传感器生成第一RGBIR图像和第二RGBIR图像，因此生成的图像为彩色图像并且包含红外信息，从而使最终生成的图像的透雾效果较好，另外，该图像采集设备根据每次生成的第一RGBIR图像和第二RGBIR图像对第一曝光时长和第二曝光时长进行调整，从而使图像中的RGB分量和IR分量达到平衡，保证最终生成的透雾图像的显示效果。

Description

一种图像透雾方法及实现图像透雾的图像采集设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像透雾方法及实现图像透雾的图像采集设备。
背景技术
安全监控系统可以保护重要场所的安全，如防止人员入侵、监控交通安全等，并用于事件的追溯。但在下雨天、大雾天、雾霾天等恶劣天气出现时，由于能见度降低，导致安全监控系统采集的图像的视觉显示效果较差，因此如何透过上述恶劣天气，获取清晰的图像成一个现实而重要的问题。
目前，常用的图像透雾方法主要为光学透雾，该方法是采用滤光片滤除包含大量无效信息的可见光波段，只采集透雾能力比较强的红外光波段，从而获得对比度更鲜明的红外光图像。
但是，该方法主要通过滤光片来完成，需要的滤光片的数量较多，并且需要在多滤光片间进行切换，结构较复杂，另外，通过该方法获取的图像为黑白灰度图像，无法获得监控场景真实的彩色图像，显示效果不佳。
发明内容
本发明实施例公开了一种图像透雾方法及实现图像透雾的图像采集设备，用以解决图像透雾效果不佳的问题。
第一方面，本发明实施例提供了一种实现图像透雾的图像采集设备，包括：
镜头，用于汇聚可见光和红外光；
滤光片，用于对汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段；
RGBIR传感器，用于在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像；其中，第一曝光时长和第二曝光时长相同或不同；
处理单元，用于针对每个第一RGBIR图像，在每个第一RGBIR图像中去除红外IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
可选地，所述近红外可见光过渡波段为600nm-1000nm波段。
可选地，所述处理单元，具体用于采用插值法，确定IR分量的像元在每个第一RGBIR图像中对应像元的插值IR亮度值；将每个第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值，根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
可选地，所述处理单元，还用于确定每个RGB图像的白平衡增益，根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
可选地，所述处理单元，具体用于判断所述RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值，如果是，缩短所述第一曝光时长，当所述第一差值小于第二阈值时，延长所述第一曝光时长，其中，所述第一阈值大于所述第二阈值。
可选地，所述处理单元，具体用于按照第一步长缩短所述第一曝光时长，按照第二步长延长所述第一曝光时长，其中所述第一步长和第二步长相同或不同。
可选地，所述处理单元，具体用于判断所述IR图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值，如果是，缩短所述第二曝光时长，当所述第二差值小于第四阈值时，延长所述第二曝光时长，其中，所述第三阈值大于所述第四阈值。
可选地，所述处理单元，具体用于按照第三步长缩短所述第二曝光时长，按照第四步长延长所述第二曝光时长，其中所述第三步长和第四步长相同或不同。
第二方面，本发明实施例提供了一种图像透雾方法，应用于图像采集设备，该方法包括：
接收RGBIR传感器发送的每个第一RGBIR图像和第二RGBIR图像，其中所述第一RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成的，所述第二RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成的，其中，第一曝光时长和第二曝光时长相同或不同，该滤波后的可见光和红外光为在汇聚的可见光和红外光中滤除近红外可见光过渡波段后得到的；
针对每个第一RGBIR图像，在每个第一RGBIR图像中去除红外IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，并根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
可选地，所述近红外可见光过渡波段为600nm-1000nm波段。
可选地，所述在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度包括：
采用插值法，确定IR分量的像元在每个第一RGBIR图像中对应像元的插值IR亮度值；
将每个第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值；
根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
可选地，所述根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度包括：
根据R、G、B每个像元的亮度值，及预设的每个像元对应的权值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
可选地，所述根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像包括：
确定每个RGB图像的白平衡增益；
根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
可选地，所述根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整包括：
判断所述RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值；
如果是，缩短所述第一曝光时长，当所述第一差值小于第二阈值时，延长所述第一曝光时长，其中，所述第一阈值大于所述第二阈值。
可选地，按照第一步长缩短所述第一曝光时长，按照第二步长延长所述第一曝光时长，其中所述第一步长和第二步长相同或不同。
可选地，所述根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整包括：
判断所述R图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值；
如果是，缩短所述第二曝光时长，当所述第二差值小于第四阈值时，延长所述第二曝光时长，其中，所述第三阈值大于所述第四阈值。
可选地，按照第三步长缩短所述第二曝光时长，按照第四步长延长所述第二曝光时长，其中所述第三步长和第四步长相同或不同。
本发明实施例提供了一种图像透雾方法及实现图像透雾的图像采集设备，该图像采集设备中的滤光片对镜头汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段，RGBIR传感器在每轮曝光过程中至少一次根据第一曝光时长生成第一RGBIR图像，根据第二曝光时长生成第二RGBIR图像，处理单元根据第一RGBIR图像所对应RGB图像的平均亮度及预设的第一目标亮度值，对RGBIR传感器的第一曝光时长进行调整，根据第二RGBIR图像所对应IR图像的平均亮度及预设的第二目标亮度值，对RGBIR传感器的第二曝光时长进行调整，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。由于本发明实施例中采用RGBIR传感器生成第一RGBIR图像和第二RGBIR图像，因此生成的图像为彩色图像并且包含红外信息，从而使最终生成的图像的透雾效果较好，另外，该图像采集设备根据每次生成的第一RGBIR图像和第二RGBIR图像对第一曝光时长和第二曝光时长进行调整，从而使图像中的RGB分量和IR分量达到平衡，保证最终生成的透雾图像的显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种实现图像透雾的图像采集设备的结构示意图；
图2(a)为传统的图像传感器输出Bayer格式数据的图像点阵示意图；
图2(b)为RGBIR传感器输出的图像点阵示意图；
图3(a)-3(c)为采用HDR技术进行图像合成的效果示意图；
图4为滤光片光谱响应示意图；
图5为采用插值法确定RGBIR图像的R、G、B每个像元的亮度值的过程示意图；
图6为本发明实施例的图像透雾装置的结构示意图；
图7为本发明实施例提供的一种图像透雾方法的示意性流程图。
具体实施方式
为了提高生成的透雾图像的显示效果，本发明实施例提供了一种图像透雾方法及实现图像透雾的图像采集设备。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了提高生成的透雾图像的显示效果，本发明实施例提供了一种实现图像透雾的图像采集设备，如图1所示，该设备可以包括：镜头110、滤光片120、RGBIR传感器130以及处理单元140；其中，
镜头110，用于汇聚可见光和红外光；
滤光片120，用于对汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段；
RGBIR传感器130，用于在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像；其中，第一曝光时长和第二曝光时长相同或不同；
处理单元140，用于针对每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
在本发明实施例中，镜头110可以是任一种现有的可汇聚可见光和红外光的光学镜头，本发明实施例对此不作限定。
在本发明实施例中，为了提高生成的透雾图像的显示效果，可以在图像采集设备中设置滤光片120。该滤光片120可以用于对镜头110汇聚的可见光和红外光进行滤波，滤除可见光和红外光中的近红外可见光过渡波段。其中，上述近红外可见光过渡波段可以为600nm-1000nm波段。
具体地，滤光片120可以是独立镜片，或者，在一些实现方式中，也可以采用镀膜技术在镜头110上镀膜，从而集成滤光片120的功能。
在本发明实施例中，RGBIR传感器130可以是现有的RGBIR传感器。RGBIR传感器是一种图像传感器，且是一种cmos传感器。与传统的输出Bayer格式数据的图像传感器的区别在于其将部分红蓝或绿色透过像元改为红外透过像元，从而以部分颜色通道信息的代价换得一个独立通道的近红外(可感波长800～1000nm左右)信息。
如图2(a)、2(b)所示，图2(a)中为传统的图像传感器输出Bayer格式数据的图像点阵示意图，其中，R、G、B分别为红、绿、蓝像元；图2(b)为RGBIR传感器输出的RGBIR图像点阵示意图，其中，R、G、B分别为图像中红、绿、蓝像元，I为红外感光像元。
在本发明实施例中，为了提高生成的透雾图像的显示效果，可以采用HDR/WDR(High Dynamic Range/Wide Dynamic Range，高动态范围/宽动态范围)的方法生成图像。在获取包含动态范围较大场景的图像时，该图像中某些局部可能会过暗，而另外一些局部可能会过曝。因此，为了获得一幅结果较好的图像，可以在一轮曝光过程中，通过时间长短不同的两次或多次曝光，获得两幅或多幅相同拍摄场景不同亮度的图像。由于每次曝光的时间长短不同，各图像中不同亮度的局部特征都可以分别获得理想的信息量。进而将上述图像中包括的信息进行融合，即可获得一幅动态范围扩展、细节增强的最终图像，这种方法即可称为HDR/WDR图像生成方法。
曝光，是一种图像传感器的光电转换过程，在曝光期间图像传感器接受外界光能量，转换为累积电荷，最终将电荷电压转换为数字图像。曝光时间越长，图像越亮，反之越暗。
图3(a)、3(b)和3(c)为采用HDR技术进行图像合成的效果示意图。图3(a)为采用较长曝光时间曝光的图像，如图3(a)所示，图中局部过曝，也就是局部亮度过大；图3(b)为采用较短曝光时间曝光的图像，如图3(b)所示，图中局部过暗，也就是局部亮度过小。由图3(a)、3(b)可知，局部过曝或局部过暗，都会导致图像不清楚，显示效果较差。
图3(c)为根据图3(a)、3(b)所示的图像，采用HDR技术进行图像合成后得到的最终图像。如图3(c)所示，采用HDR技术进行图像合成后得到的最终图像亮度适中，图像显示效果较好。
在本发明实施例中，RGBIR传感器130可以预先保存第一曝光时长和第二曝光时长，其中，第一曝光时长和第二曝光时长可以相同或不同。进一步地，RGBIR传感器130可以根据保存的第一曝光时长和第二曝光时长，在每轮曝光过程中进行两次以上的曝光。具体的，RGBIR传感器130可以在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；另外一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像，以根据该第一RGBIR图像和第二RGBIR图像，采用HDR/WDR图像生成方法生成效果较好的透雾图像。
在本发明实施例中，处理单元140用于针对RGBIR传感器130生成的每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并针对RGBIR传感器130生成的每个第二RGBIR图像，在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据RGB图像的平均亮度及预设的第一目标亮度值，对第一曝光时长进行调整，并根据IR图像的平均亮度及预设的第二目标亮度值，对第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器130，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
如上所述，在本发明实施例中，可以根据RGBIR传感器130生成的第一RGBIR图像和第二RGBIR图像，采用HDR/WDR图像生成方法生成透雾图像。在此过程中，第一RGBIR图像和第二RGBIR图像的质量是影响最终的透雾图像显示效果的重要因素，如，当图像中的RGB分量和IR分量达到平衡时，可以提高透雾图像的显示效果。而第一曝光时长和第二曝光时长又是影响第一RGBIR图像和第二RGBIR图像的质量的重要因素。因此，在本发明实施例中，图像采集设备中的处理单元140可以对第一曝光时长和第二曝光时长进行调整，以使图像中的RGB分量和IR分量达到平衡。并且，可以将调整后的第一曝光时长和第二曝光时长通知RGBIR传感器130，以使RGBIR传感器130可以根据调整后的第一曝光时长和第二曝光时长生成第一RGBIR图像和第二RGBIR图像，从而提高第一RGBIR图像和第二RGBIR图像的质量，进一步地，处理单元140根据第一RGBIR图像和第二RGBIR图像生成透雾图像时，可以提高透雾图像的显示效果。
具体地，处理单元140可以针对RGBIR传感器130生成的每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并针对RGBIR传感器130生成的每个第二RGBIR图像，在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据RGB图像的平均亮度及预设的第一目标亮度值，对第一曝光时长进行调整，并根据IR图像的平均亮度及预设的第二目标亮度值，对第二曝光时长进行调整。
需要说明的是，在实际应用中，处理单元140可以针对RGBIR传感器130生成的每个第一RGBIR图像和第二RGBIR图像，来调整对应的第一曝光时长和第二曝光时长，并将调整后的第一曝光时长和第二曝光时长通知给RGBIR传感器130；RGBIR传感器130使用调整后的第一曝光时长和第二曝光时长生成新的第一RGBIR图像和第二RGBIR图像后，处理单元140又可以根据新的第一RGBIR图像和第二RGBIR图像，来调整当前的第一曝光时长和第二曝光时长。如此循环往复，可以使第一曝光时长和第二曝光时长达到一个稳定的值。并且，RGBIR传感器130根据该稳定的第一曝光时长和第二曝光时长生成第一RGBIR图像和第二RGBIR图像后，处理单元根据该第一RGBIR图像和第二RGBIR图像生成的透雾图像，该透雾图像中的RGB分量和IR分量可以达到平衡，从而可以达到很好的显示效果。
本发明实施例提供了一种实现图像透雾的图像采集设备，该图像采集设备中的滤光片对镜头汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段，RGBIR传感器在每轮曝光过程中至少一次根据第一曝光时长生成第一RGBIR图像，根据第二曝光时长生成第二RGBIR图像，处理单元根据第一RGBIR图像所对应RGB图像的平均亮度及预设的第一目标亮度值，对RGBIR传感器的第一曝光时长进行调整，根据第二RGBIR图像所对应IR图像的平均亮度及预设的第二目标亮度值，对RGBIR传感器的第二曝光时长进行调整，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。由于本发明实施例中采用RGBIR传感器生成第一RGBIR图像和第二RGBIR图像，因此生成的图像为彩色图像并且包含红外信息，从而使最终生成的图像的透雾效果较好，另外，该图像采集设备根据每次生成的第一RGBIR图像和第二RGBIR图像对第一曝光时长和第二曝光时长进行调整，从而使图像中的RGB分量和IR分量达到平衡，保证最终生成的透雾图像的显示效果。
由于在镜头110汇聚的可见光和红外光中，处于近红外可见光过度波段的光R、G、B、IR分量光谱响应差异较大，将影响第一RGBIR图像去除IR分量后的能量的纯净度。为了进一步保证生成图像的透光效果，在本发明实施例中，滤光片120可以用于滤除可见光和红外光中的近红外可见光过渡波段。
具体地，滤光片120可以包含一个波长下限为T1，上限为T2的滤除带。优选地，下限T1可以落在波长600nm-800nm范围内，上限T2大于T1且可以落在波长750nm-1000nm范围内。并且，T2的选取原则可以是，将R、G、B分量和IR分量光谱响应差异较大的部分光均进行滤除，只保留四个分量中光谱响应接近的部分。这种情况下，RGBIR传感器130使用通过滤光片120滤波后的光，生成第一RGBIR图像后，处理单元针对RGBIR传感器130生成的每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度时，可以保证RGB图像中为较为纯净的R、G、B段光谱能量。
请参考图4，其示出了滤光片光谱响应示意图。如图4所示，图中各曲线分别示出了R、G、B和IR分量在各波段对应的光能量大小，其中，410为R分量，420为G分量，430为B分量，440为IR分量；T1、T2分别为滤光片的滤除带的下限和上限，两侧阴影部分为通过波段，中间部分为滤除波段。其中，粗黑色线为滤光片的光谱理想响应曲线，需要说明的是，在实际应用中，实际滤光响应无法达到垂直，会有一定斜率及波动。
作为本发明实施例的一种实施方式，处理单元140，具体可以用于采用插值法，确定IR分量的像元在第一RGBIR图像中对应像元的插值IR亮度值；将第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值，根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
图5为采用插值法确定RGBIR图像的R、G、B每个像元的亮度值的过程示意图。
如图5所示，510为RGBIR传感器输出的RGBIR图像示意图，520为该RGBIR图像中的IR像元点阵；对520所示的IR像元点阵进行插值，插值结果如530所示。540、550、560分别为510所示RGBIR图像对应的R像元点阵、G像元点阵和B像元点阵。
将540所示的R像元点阵中每个像元的亮度值减去530所示的IR像元点阵中对应该像元的插值IR亮度值，确定为R像元点阵中每个像元的亮度值；将550所示的G像元点阵中每个像元的亮度值减去530所示的IR像元点阵中对应该像元的插值IR亮度值，确定为G像元点阵中每个像元的亮度值；将560所示的B像元点阵中每个像元的亮度值减去530所示的IR像元点阵中对应该像元的插值IR亮度值，确定为B像元点阵中每个像元的亮度值。
需要说明的是，在本发明实施例中，对520所示的IR像元点阵进行插值的过程，可以采用近邻插值、线性插值等现有的图像插值算法，本发明实施例对此过程不进行赘述。
作为本发明实施例的一种实施方式，处理单元140，还可以用于确定每个RGB图像的白平衡增益，并根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
具体地，处理单元可以针对每个第一RGBIR图像所对应的RGB图像，将每个RGB图像划分成多个小块，并计算每个小块每个R、G、B分量的平均亮度，从而可以根据白平衡算法，获得每个RGB图像的白平衡增益，进一步地，可以根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
在本发明实施例中，根据白平衡算法，获得每个RGB图像的白平衡增益的过程，以及根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像的过程可以采用现有技术，本发明实施例对这两个过程不进行赘述。
作为本发明实施例的一种实施方式，处理单元140在调整第一曝光时长时，具体可以判断RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值，如果是，可以表明当前的RGB图像的平均亮度大于预设的第一目标亮度值，这种情况下，可以缩短该第一曝光时长，使RGB图像的平均亮度接近预设的第一目标亮度值；当该第一差值小于第二阈值时，可以表明当前的RGB图像的平均亮度小于预设的第一目标亮度值，这种情况下，可以延长第一曝光时长。
例如，可以预先设置第一目标亮度值为100，第一阈值为10，第二阈值为-10，当RGB图像的平均亮度与预设的第一目标亮度值的第一差值大于第一阈值，或小于第二阈值时，对第一曝光时长进行调整；当RGB图像的平均亮度与预设的第一目标亮度值的第一差值小于第一阈值，且大于第二阈值时，可以不对第一曝光时长进行调整。也就是说，实际应用中，RGB图像的亮度只要在90到110之间即可。
在实际应用中，由于环境扰动的客观存在，如果仅与一个目标亮度值比较来调整第一曝光时长，会导致第一曝光时长不停地在目标值附近震荡。设置两个阈值，当RGB图像的平均亮度落在两个阈值区间内则不调整，可以避免震荡的问题。
可选地，处理单元140可以按照第一步长，如0.1毫秒、0.2毫秒等，缩短第一曝光时长，按照第二步长，如0.1毫秒、0.2毫秒等，延长第一曝光时长，其中该第一步长和第二步长可以相同或不同。
作为本发明实施例的一种实施方式，处理单元140在调整第二曝光时长时，具体可以判断IR图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值，如果是，可以表明当前的IR图像的平均亮度大于预设的第二目标亮度值，这种情况下，可以缩短该第二曝光时长，当该第二差值小于第四阈值时，可以表明当前的IR图像的平均亮度小于预设的第二目标亮度值，这种情况下，可以延长第二曝光时长。
例如，可以预先设置第二目标亮度值为100，第三阈值为10，第四阈值为-10，当IR图像的平均亮度与预设的第二目标亮度值的第二差值大于第三阈值，或小于第四阈值时，对第二曝光时长进行调整；当IR图像的平均亮度与预设的第二目标亮度值的第二差值小于第三阈值，且大于第四阈值时，可以不对第二曝光时长进行调整。也就是说，实际应用中，IR图像的亮度只要在90到110之间即可。
由于环境扰动的客观存在，如果仅与一个目标亮度值比较来调整第二曝光时长，会导致第二曝光时长不停地在目标值附近震荡。设置两个阈值，当RGB图像的平均亮度落在两个阈值区间内则不调整，可以避免震荡的问题。
可选地，处理单元140可以按照第三步长，如0.1毫秒、0.2毫秒等，缩短第二曝光时长，按照第四步长，如0.1毫秒、0.2毫秒等，延长第二曝光时长，其中该第三步长和第四步长可以相同或不同。
作为本发明实施例的一种实施方式，本发明实施例的图像采集设备可以部署为如图6所示的图像透雾装置，如图6所示，该图像透雾装置可以包括：采集模块610、预处理模块620、处理模块630、统计模块640以及控制模块650。
具体地，采集模块610可以包括如图1所示的图像采集设备中的镜头110、滤光片120以及RGBIR传感器130，以用于汇聚可见光和红外光，对汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段；在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像。
预处理模块620、处理模块630、统计模块640以及控制模块650可以为图1所示的图像采集设备中的处理单元140。
其中，预处理模块620可以用于针对每个采集模块610采集的第一RGBIR图像，即图像信号1，在每个第一RGBIR图像中去除IR分量，得到图像信号2；具体地，在本发明实施例中，采集模块610可以至少采集两个RGBIR图像，如第一RGBIR图像、第二RGBIR图像，并将第一RGBIR图像、第二RGBIR图像均发送给预处理模块620，预处理模块将处理后的各图像信号2发送给处理模块630后，处理模块630可以采用HDR/WDR技术，根据各图像信号2生成结果图像，即透雾图像。
预处理模块620还可以将处理后的图像信号2发送给统计模块640，统计模块640可以用于统计每个第一RGBIR图像所对应RGB图像的平均亮度，并统计第二RGBIR图像所对应IR图像的平均亮度。
统计模块640统计得到每个RGB图像的平均亮度和IR图像的平均亮度后，可以将统计结果发送给控制模块650，控制模块650可以根据RGB图像的平均亮度及预设的第一目标亮度值，对采集模块610采集第一RGBIR图像的第一曝光时长进行调整，并根据IR图像的平均亮度及预设的第二目标亮度值，对采集模块610采集第二RGBIR图像的第二曝光时长进行调整，并可以将调整后的曝光时长通知采集模块610，以使采集模块610可以根据调整后的第一曝光时长和第二曝光时长采集第一RGBIR图像和第二RGBIR图像。
相应的，本发明实施例还提供了一种图像透雾方法过程，如图7所示，该过程可以包括：
S701，接收RGBIR传感器发送的每个第一RGBIR图像和第二RGBIR图像，其中所述第一RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成的，所述第二RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成的，其中，第一曝光时长和第二曝光时长相同或不同，该滤波后的可见光和红外光为在汇聚的可见光和红外光中滤除近红外可见光过渡波段后得到的。
本发明实施例提供的方法可以应用于图像采集设备，具体地，可以应用于图像采集设备中的处理单元。并且，本发明实施例的图像采集设备还可以包括RGBIR传感器。
RGBIR传感器是一种图像传感器，且是一种cmos传感器。与传统的输出Bayer格式数据的图像传感器的区别在于其将一半的绿色透过像元改为红外透过像元，从而以一半绿色通道信息的代价换得一个独立通道的近红外(可感波长800～1000nm左右)信息。
在本发明实施例中，RGBIR传感器可以预先保存第一曝光时长和第二曝光时长，其中，第一曝光时长和第二曝光时长可以相同或不同。进一步地，RGBIR传感器可以根据保存的第一曝光时长和第二曝光时长，在每轮曝光过程中进行两次以上的曝光。具体地，RGBIR传感器可以在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；另外一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像。其中，上述滤波后的可见光和红外光为在汇聚的可见光和红外光中滤除近红外可见光过渡波段后得到的。上述近红外可见光过渡波段可以为600nm-1000nm波段。
因此，在本发明实施例中，图像采集设备的处理单元可以接收RGBIR传感器发送的每个第一RGBIR图像和第二RGBIR图像，以根据第一RGBIR图像和第二RGBIR图像，生成透雾图像。
S702，针对每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，并根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
在本发明实施例中，处理单元接收到RGBIR传感器发送的每个第一RGBIR图像和第二RGBIR图像后，可以针对每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并针对每个第二RGBIR图像，在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据RGB图像的平均亮度及预设的第一目标亮度值，对第一曝光时长进行调整，并根据IR图像的平均亮度及预设的第二目标亮度值，对第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
具体地，在本发明实施例中，处理单元可以根据每个第一RGBIR图像和第二RGBIR图像，采用HDR/WDR图像生成方法生成透雾图像。
在获取包含动态范围较大场景的图像时，该图像中某些局部可能会过暗，而另外一些局部可能会过曝。因此，为了获得一幅结果较好的图像，可以在一轮曝光过程中，通过时间长短不同的两次或多次曝光，获得两幅或多幅相同拍摄场景不同亮度的图像。由于每次曝光的时间长短不同，各图像中不同亮度的局部特征都可以分别获得理想的信息量。进而将上述图像中包括的信息进行融合，即可获得一幅动态范围扩展、细节增强的最终图像，这种方法即可称为HDR/WDR图像生成方法。
采用HDR/WDR图像生成方法生成透雾图像时，第一RGBIR图像和第二RGBIR图像的质量是影响最终的透雾图像显示效果的重要因素，如，当图像中的RGB分量和IR分量达到平衡时，可以提高透雾图像的显示效果。而第一曝光时长和第二曝光时长又是影响第一RGBIR图像和第二RGBIR图像的质量的重要因素。因此，在本发明实施例中，图像采集设备中的处理单元可以对第一曝光时长和第二曝光时长进行调整，以使图像中的RGB分量和IR分量达到平衡。并且，可以将调整后的第一曝光时长和第二曝光时长通知RGBIR传感器，以使RGBIR传感器可以根据调整后的第一曝光时长和第二曝光时长生成第一RGBIR图像和第二RGBIR图像，从而提高第一RGBIR图像和第二RGBIR图像的质量，进一步地，处理单元根据第一RGBIR图像和第二RGBIR图像生成透雾图像时，可以提高透雾图像的显示效果。
具体地，处理单元可以针对RGBIR传感器生成的每个第一RGBIR图像，在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并针对RGBIR传感器生成的每个第二RGBIR图像，在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据RGB图像的平均亮度及预设的第一目标亮度值，对第一曝光时长进行调整，并根据IR图像的平均亮度及预设的第二目标亮度值，对第二曝光时长进行调整。
需要说明的是，在实际应用中，处理单元可以针对RGBIR传感器生成的每个第一RGBIR图像和第二RGBIR图像，来调整对应的第一曝光时长和第二曝光时长，并将调整后的第一曝光时长和第二曝光时长通知给RGBIR传感器；RGBIR传感器使用调整后的第一曝光时长和第二曝光时长生成新的第一RGBIR图像和第二RGBIR图像后，处理单元又可以根据新的第一RGBIR图像和第二RGBIR图像，来调整当前的第一曝光时长和第二曝光时长。如此循环往复，可以使第一曝光时长和第二曝光时长达到一个稳定的值，并且，RGBIR传感器根据该稳定的第一曝光时长和第二曝光时长生成第一RGBIR图像和第二RGBIR图像后，处理单元根据该第一RGBIR图像和第二RGBIR图像生成的透雾图像，该透雾图像中的RGB分量和IR分量可以达到平衡，从而可以达到很好的显示效果。
本发明实施例提供了一种图像透雾方法，应用于图像采集设备，该图像采集设备中的滤光片对镜头汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段，RGBIR传感器在每轮曝光过程中至少一次根据第一曝光时长生成第一RGBIR图像，根据第二曝光时长生成第二RGBIR图像，处理单元根据第一RGBIR图像所对应RGB图像的平均亮度及预设的第一目标亮度值，对RGBIR传感器的第一曝光时长进行调整，根据第二RGBIR图像所对应IR图像的平均亮度及预设的第二目标亮度值，对RGBIR传感器的第二曝光时长进行调整，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。由于本发明实施例中采用RGBIR传感器生成第一RGBIR图像和第二RGBIR图像，因此生成的图像为彩色图像并且包含红外信息，从而使最终生成的图像的透雾效果较好，另外，该图像采集设备根据每次生成的第一RGBIR图像和第二RGBIR图像对第一曝光时长和第二曝光时长进行调整，从而使图像中的RGB分量和IR分量达到平衡，保证最终生成的透雾图像的显示效果。
作为本发明实施例的一种实施方式，处理单元在每个第一RGBIR图像去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度时，可以采用插值法，确定第一RGBIR图像中IR分量的像元在第一RGBIR图像中对应像元的插值IR亮度值；然后可以将第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值；进而可以根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
作为本发明实施例的一种实施方式，根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度时，可以根据R、G、B每个像元的亮度值，及预设的每个像元对应的权值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
作为本发明实施例的一种实施方式，处理单元根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像时，可以首先确定每个RGB图像的白平衡增益，然后根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
具体地，处理单元可以针对每个RGB图像，将每个RGB图像划分成多个小块，并计算每个小块每个R、G、B分量的平均亮度，从而可以根据白平衡算法，获得每个RGB图像的白平衡增益，进一步地，可以根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。在本发明实施例中，根据白平衡算法，获得每个RGB图像的白平衡增益的过程，以及根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像的过程可以采用现有技术，本发明实施例对这两个过程不进行赘述。
作为本发明实施例的一种实施方式，处理单元根据RGB图像的平均亮度及预设的第一目标亮度值，对第一曝光时长进行调整时，具体可以判断RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值；如果是，缩短第一曝光时长，当第一差值小于第二阈值时，延长第一曝光时长。
当处理单元判断得到RGB图像的平均亮度与预设的第一目标亮度值的第一差值大于第一阈值时，可以表明当前的RGB图像的平均亮度大于预设的第一目标亮度值，这种情况下，可以缩短该第一曝光时长，使RGB图像的平均亮度接近预设的第一目标亮度值；当该第一差值小于第二阈值时，可以表明当前的RGB图像的平均亮度小于预设的第一目标亮度值，这种情况下，可以延长第一曝光时长。
可选地，处理单元可以按照第一步长，如0.1毫秒、0.2毫秒等，缩短第一曝光时长，按照第二步长，如0.1毫秒、0.2毫秒等，延长第一曝光时长，其中该第一步长和第二步长可以相同或不同。
作为本发明实施例的一种实施方式，处理单元根据IR图像的平均亮度及预设的第二目标亮度值，对第二曝光时长进行调整时，具体可以判断IR图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值；如果是，缩短第二曝光时长，当第二差值小于第四阈值时，延长第二曝光时长。
当处理单元判断得到IR图像的平均亮度与预设的第二目标亮度值的第二差值大于第三阈值时，可以表明当前的IR图像的平均亮度大于预设的第二目标亮度值，这种情况下，可以缩短该第二曝光时长，当该第二差值小于第四阈值时，可以表明当前的IR图像的平均亮度小于预设的第二目标亮度值，这种情况下，可以延长第二曝光时长。
可选地，处理单元可以按照第三步长，如0.1毫秒、0.2毫秒等，缩短第二曝光时长，按照第四步长，如0.1毫秒、0.2毫秒等，延长第二曝光时长，其中该第三步长和第四步长可以相同或不同。
本发明实施例提供了一种图像透雾方法及实现图像透雾的图像采集设备，该图像采集设备中的滤光片对镜头汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段，RGBIR传感器在每轮曝光过程中至少一次根据第一曝光时长生成第一RGBIR图像，根据第二曝光时长生成第二RGBIR图像，处理单元根据第一RGBIR图像所对应RGB图像的平均亮度及预设的第一目标亮度值，对RGBIR传感器的第一曝光时长进行调整，根据第二RGBIR图像所对应IR图像的平均亮度及预设的第二目标亮度值，对RGBIR传感器的第二曝光时长进行调整，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。由于本发明实施例中采用RGBIR传感器生成第一RGBIR图像和第二RGBIR图像，因此生成的图像为彩色图像并且包含红外信息，从而使最终生成的图像的透雾效果较好，另外，该图像采集设备根据每次生成的第一RGBIR图像和第二RGBIR图像对第一曝光时长和第二曝光时长进行调整，从而使图像中的RGB分量和IR分量达到平衡，保证最终生成的透雾图像的显示效果。
对于方法/过程实施例而言，由于其基本相似于设备实施例，所以描述的比较简单，相关之处参见设备实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种实现图像透雾的图像采集设备，其特征在于，包括：
镜头，用于汇聚可见光和红外光；
滤光片，用于对汇聚的可见光和红外光进行滤波，滤除所述可见光和红外光中的近红外可见光过渡波段；
RGBIR传感器，用于在每轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成第一RGBIR图像；至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成第二RGBIR图像；其中，第一曝光时长和第二曝光时长相同或不同；
处理单元，用于针对每个第一RGBIR图像，在每个第一RGBIR图像中去除红外IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
2.根据权利要求1所述的图像采集设备，其特征在于，所述近红外可见光过渡波段为600nm-1000nm波段。
3.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元，具体用于采用插值法，确定IR分量的像元在每个第一RGBIR图像中对应像元的插值IR亮度值；将每个第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值，根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
4.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元，还用于确定每个RGB图像的白平衡增益，根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
5.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元，具体用于判断所述RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值，如果是，缩短所述第一曝光时长，当所述第一差值小于第二阈值时，延长所述第一曝光时长，其中，所述第一阈值大于所述第二阈值。
6.根据权利要求5所述的图像采集设备，其特征在于，所述处理单元，具体用于按照第一步长缩短所述第一曝光时长，按照第二步长延长所述第一曝光时长，其中所述第一步长和第二步长相同或不同。
7.根据权利要求1所述的图像采集设备，其特征在于，所述处理单元，具体用于判断所述IR图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值，如果是，缩短所述第二曝光时长，当所述第二差值小于第四阈值时，延长所述第二曝光时长，其中，所述第三阈值大于所述第四阈值。
8.根据权利要求7所述的图像采集设备，其特征在于，所述处理单元，具体用于按照第三步长缩短所述第二曝光时长，按照第四步长延长所述第二曝光时长，其中所述第三步长和第四步长相同或不同。
9.一种图像透雾方法，其特征在于，应用于图像采集设备，该方法包括：
接收RGBIR传感器发送的每个第一RGBIR图像和第二RGBIR图像，其中所述第一RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第一曝光时长，感知滤波后的可见光和红外光生成的，所述第二RGBIR图像为所述RGBIR传感器在一轮曝光过程中至少一次曝光时，根据保存的第二曝光时长，感知滤波后的可见光和红外光生成的，其中，第一曝光时长和第二曝光时长相同或不同，该滤波后的可见光和红外光为在汇聚的可见光和红外光中滤除近红外可见光过渡波段后得到的；
针对每个第一RGBIR图像，在每个第一RGBIR图像中去除红外IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度，并在每个第二RGBIR图像中去除RGB分量，统计每个第二RGBIR图像所对应IR图像的平均亮度，根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整，并根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整，将调整后的曝光时长通知RGBIR传感器，并根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
10.根据权利要求9所述的方法，其特征在于，所述近红外可见光过渡波段为600nm-1000nm波段。
11.根据权利要求9所述的方法，其特征在于，所述在每个第一RGBIR图像中去除IR分量，统计每个第一RGBIR图像所对应RGB图像的平均亮度包括：
采用插值法，确定IR分量的像元在每个第一RGBIR图像中对应像元的插值IR亮度值；
将每个第一RGBIR图像中R、G、B每个像元的亮度值减去对应该像元的插值IR亮度值，确定为R、G、B每个像元的亮度值；
根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
12.根据权利要求11所述的方法，其特征在于，所述根据R、G、B每个像元的亮度值，确定每个第一RGBIR图像所对应RGB图像的平均亮度包括：
根据R、G、B每个像元的亮度值，及预设的每个像元对应的权值，确定每个第一RGBIR图像所对应RGB图像的平均亮度。
13.根据权利要求9所述的方法，其特征在于，所述根据每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像包括：
确定每个RGB图像的白平衡增益；
根据每个RGB图像的白平衡增益，及每个第一RGBIR图像和每个第二RGBIR图像生成透雾图像。
14.根据权利要求9所述的方法，其特征在于，所述根据每个RGB图像的平均亮度及预设的第一目标亮度值，对所述第一曝光时长进行调整包括：
判断所述RGB图像的平均亮度与预设的第一目标亮度值的第一差值是否大于第一阈值；
如果是，缩短所述第一曝光时长，当所述第一差值小于第二阈值时，延长所述第一曝光时长，其中，所述第一阈值大于所述第二阈值。
15.根据权利要求14所述的方法，其特征在于，按照第一步长缩短所述第一曝光时长，按照第二步长延长所述第一曝光时长，其中所述第一步长和第二步长相同或不同。
16.根据权利要求9所述的方法，其特征在于，所述根据每个IR图像的平均亮度及预设的第二目标亮度值，对所述第二曝光时长进行调整包括：
判断所述R图像的平均亮度与预设的第二目标亮度值的第二差值是否大于第三阈值；
如果是，缩短所述第二曝光时长，当所述第二差值小于第四阈值时，延长所述第二曝光时长，其中，所述第三阈值大于所述第四阈值。
17.根据权利要求16所述的方法，其特征在于，按照第三步长缩短所述第二曝光时长，按照第四步长延长所述第二曝光时长，其中所述第三步长和第四步长相同或不同。
CN201610355946.9A 2016-05-25 2016-05-25 一种图像透雾方法及实现图像透雾的图像采集设备 Active CN107438170B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610355946.9A CN107438170B (zh) 2016-05-25 2016-05-25 一种图像透雾方法及实现图像透雾的图像采集设备
EP17801917.0A EP3468178B1 (en) 2016-05-25 2017-02-13 Image defogging method and image capture apparatus implementing image defogging
PCT/CN2017/073347 WO2017202061A1 (zh) 2016-05-25 2017-02-13 一种图像透雾方法及实现图像透雾的图像采集设备
US16/303,757 US11057592B2 (en) 2016-05-25 2017-02-13 Image defogging method and image capture apparatus implementing image defogging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610355946.9A CN107438170B (zh) 2016-05-25 2016-05-25 一种图像透雾方法及实现图像透雾的图像采集设备

Publications (2)

Publication Number Publication Date
CN107438170A true CN107438170A (zh) 2017-12-05
CN107438170B CN107438170B (zh) 2020-01-17

Family

ID=60411064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610355946.9A Active CN107438170B (zh) 2016-05-25 2016-05-25 一种图像透雾方法及实现图像透雾的图像采集设备

Country Status (4)

Country Link
US (1) US11057592B2 (zh)
EP (1) EP3468178B1 (zh)
CN (1) CN107438170B (zh)
WO (1) WO2017202061A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965654A (zh) * 2018-02-11 2018-12-07 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110493531A (zh) * 2018-12-12 2019-11-22 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN110493493A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
WO2020051898A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN113163124A (zh) * 2020-01-22 2021-07-23 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN114037863A (zh) * 2021-10-29 2022-02-11 浙江大华技术股份有限公司 一种光学滤片类型的判断方法、装置、设备和介质
CN114663311A (zh) * 2022-03-24 2022-06-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN116002322A (zh) * 2022-12-26 2023-04-25 上海旭宇信息科技有限公司 一种实体跟踪定位方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN109963066A (zh) * 2017-12-25 2019-07-02 深圳市祈飞科技有限公司 一种图像获取解析方法以及系统
CN112419163B (zh) * 2019-08-21 2023-06-30 中国人民解放军火箭军工程大学 一种基于先验知识和深度学习的单张图像弱监督去雾方法
EP4131916A4 (en) * 2020-04-29 2023-05-17 Huawei Technologies Co., Ltd. CAMERA AND IMAGE CAPTURE METHOD
US11836888B2 (en) * 2020-12-21 2023-12-05 Texas Instruments Incorporated Method and apparatus for processing RGB-infrared (RGB-IR) sensor
US11528435B2 (en) * 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN114693542A (zh) * 2020-12-25 2022-07-01 财团法人工业技术研究院 图像去雾方法和使用图像去雾方法的图像去雾设备
CN113298732A (zh) * 2021-06-08 2021-08-24 北京联合大学 一种基于区域相似性的图像去雾方法及系统
CN113487516B (zh) * 2021-07-26 2022-09-06 河南师范大学 一种图像数据的去雾处理方法
DE102022002637B3 (de) * 2022-07-19 2023-07-27 Mercedes-Benz Group AG Kamerasystem und Verfahren zu dessen Betrieb

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777149A2 (en) * 1995-11-30 1997-06-04 Eastman Kodak Company Photographic elements with j-aggregating carbocyanine infrared sensitizing dyes
JPH10230805A (ja) * 1997-02-19 1998-09-02 Hitachi Ltd 自動車用運転支援装置
CN103118229A (zh) * 2013-02-06 2013-05-22 重庆金山科技（集团）有限公司 一种成像方法及系统
EP2711730A1 (en) * 2012-09-20 2014-03-26 BAE Systems PLC Monitoring of people and objects
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN104735347A (zh) * 2013-12-24 2015-06-24 三星泰科威株式会社 自动聚焦调节方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60130274A (ja) * 1983-12-19 1985-07-11 Toshiba Corp 固体撮像装置
JP4309728B2 (ja) * 2003-09-17 2009-08-05 パナソニック株式会社 監視用ビデオカメラ
US20050140942A1 (en) * 2003-12-31 2005-06-30 Steven Squires Image device jamming apparatus and method
US10425595B2 (en) * 2007-11-28 2019-09-24 Flir Systems, Inc. Modular camera systems and methods
JP5293950B2 (ja) * 2008-03-04 2013-09-18 株式会社リコー 個人認証装置及び電子機器
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6677172B2 (ja) * 2015-01-16 2020-04-08 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777149A2 (en) * 1995-11-30 1997-06-04 Eastman Kodak Company Photographic elements with j-aggregating carbocyanine infrared sensitizing dyes
JPH10230805A (ja) * 1997-02-19 1998-09-02 Hitachi Ltd 自動車用運転支援装置
EP2711730A1 (en) * 2012-09-20 2014-03-26 BAE Systems PLC Monitoring of people and objects
CN103118229A (zh) * 2013-02-06 2013-05-22 重庆金山科技（集团）有限公司 一种成像方法及系统
CN104735347A (zh) * 2013-12-24 2015-06-24 三星泰科威株式会社 自动聚焦调节方法和设备
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN109951646A (zh) * 2017-12-20 2019-06-28 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN108965654A (zh) * 2018-02-11 2018-12-07 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US11252345B2 (en) 2018-02-11 2022-02-15 Zhejiang Uniview Technologies Co., Ltd Dual-spectrum camera system based on a single sensor and image processing method
WO2020051898A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN112602316A (zh) * 2018-09-14 2021-04-02 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
US11689785B2 (en) 2018-09-14 2023-06-27 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium
CN112602316B (zh) * 2018-09-14 2022-06-24 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN110493531A (zh) * 2018-12-12 2019-11-22 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110493493A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN113163124B (zh) * 2020-01-22 2022-06-03 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
WO2021147804A1 (zh) * 2020-01-22 2021-07-29 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN115297268A (zh) * 2020-01-22 2022-11-04 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN113163124A (zh) * 2020-01-22 2021-07-23 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN115297268B (zh) * 2020-01-22 2024-01-05 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN114037863A (zh) * 2021-10-29 2022-02-11 浙江大华技术股份有限公司 一种光学滤片类型的判断方法、装置、设备和介质
CN114037863B (zh) * 2021-10-29 2025-03-25 浙江大华技术股份有限公司 一种光学滤片类型的判断方法、装置、设备和介质
CN114663311A (zh) * 2022-03-24 2022-06-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN116002322A (zh) * 2022-12-26 2023-04-25 上海旭宇信息科技有限公司 一种实体跟踪定位方法

Also Published As

Publication number Publication date
WO2017202061A1 (zh) 2017-11-30
EP3468178B1 (en) 2020-08-05
EP3468178A1 (en) 2019-04-10
US11057592B2 (en) 2021-07-06
EP3468178A4 (en) 2019-05-29
CN107438170B (zh) 2020-01-17
US20200322580A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN107438170B (zh) 一种图像透雾方法及实现图像透雾的图像采集设备
CN213279832U (zh) 图像传感器、相机和终端
US8947554B2 (en) Method for processing image, image processing apparatus, and imaging apparatus
KR101713684B1 (ko) 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템
CN106101549B (zh) 昼夜自动切换方法、装置及系统
WO2020238970A1 (zh) 图像降噪装置及图像降噪方法
CN109474770B (zh) 一种成像装置及成像方法
JP6441771B2 (ja) 撮像装置
JP2014165528A (ja) 撮像装置
CN110493532A (zh) 一种图像处理方法和系统
CN107431793A (zh) 图像处理装置和图像处理方法以及程序
CN112217962A (zh) 摄像机及图像生成方法
JP2013223152A (ja) 撮像装置
KR101786553B1 (ko) 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
JP2011015086A (ja) 撮像装置
JP4993275B2 (ja) 画像処理装置
CN111885281A (zh) 图像处理
JP5182518B2 (ja) 撮像装置および撮像方法
Kang et al. Bayer patterned high dynamic range image reconstruction using adaptive weighting function
CN104519270A (zh) 摄像装置
JP2023090492A (ja) 画像処理装置および画像処理方法、撮像装置
CN104660954A (zh) 低照度场景下基于背景建模的图像亮度提升方法及装置
CN112747818B (zh) 遮挡视角测量平台、方法及存储介质
EP3651444A2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
JP6717660B2 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant