CN110248105B - 一种图像处理方法、摄像机及计算机存储介质 - Google Patents
一种图像处理方法、摄像机及计算机存储介质 Download PDFInfo
- Publication number
- CN110248105B CN110248105B CN201811504339.XA CN201811504339A CN110248105B CN 110248105 B CN110248105 B CN 110248105B CN 201811504339 A CN201811504339 A CN 201811504339A CN 110248105 B CN110248105 B CN 110248105B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- exposure
- value
- wdr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法、摄像机及计算机存储介质,用于解决现有技术中图像融合存在无法清晰地显示细节的技术问题。其中的图像处理的方法包括:在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,其中,所述曝光图像为可见光图像;对所述摄像机获取的红外图像进行宽动态范围WDR处理,获得红外光WDR图像;根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像处理方法、摄像机及计算机存储介质。
背景技术
多通道的视频监控设备,例如摄像机被广泛应用于安防监控等。通常多通道的视频监控设备采集可见光图像及红外图像,由于采集到的可见光图像可能存在模糊的问题,而红外图像因为拍摄物体的材料及色彩可能会影响红外光的反射,也可能不能清楚地反应出真实场景。对此,通过图像融合技术对可见光图像和红外图像进行融合,既可以解决可见光图像模糊的问题,又可以解决红外图像不清楚的问题,从而得到较为清晰的图像。
目前,图像融合针对可见光图像和红外图像只是根据部分信息进行简单地融合。在光照强度较弱的情况下,如果视频监控设备采集的可见光图像和红外图像的细节不清晰,那么融合后的图像还是无法清晰地显示细节,图像质量较差。
发明内容
本发明实施例提供一种图像处理的方法、摄像机及计算机存储介质,用于解决现有技术中图像融合存在无法清晰地显示细节的技术问题。
第一方面,提供了一种图像处理的方法,该图像处理的方法包括:
在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,所述曝光图像为可见光图像;
对所述摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像;
根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像。
本发明实施例中,由于在融合之前,针对可见光图像进行曝光处理获得更多的颜色信息,对红外图像作宽动态范围(Wide Dynamic Range,WDR)处理,获得更多的细节信息,从而再对获得的可见光图像和红外图像进行融合,获得的融合图像就包括更多的颜色信息和细节信息,图像质量较高,实现了对图像细节的清晰显示,提高了用户体验。
可选的,在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,包括:
获取摄像机当前拍摄的曝光参数的取值,其中,所述曝光参数用于指示所述摄像机拍摄的光照环境,包括快门值、光圈值和增益值中的至少一种;
若所述取值指示当前拍摄的光照环境为超低光照环境,则调整所述摄像机的曝光时长;其中,所述超低光照环境的环境亮度小于或等于第二预设阈值;
基于所述曝光时长拍摄可见光图像,获得所述曝光图像。
可选的,若所述取值指示超低光照环境,则调整所述摄像机的曝光时长,包括:
基于所述超低光照环境的环境亮度的取值,确定所述曝光参数的调整值;
根据所述调整值将所述曝光时长调大。
本发明实施例中,在获得可见光图像之前可以根据摄像机的拍摄的光照环境对摄像机的曝光时长进行调整。如果摄像机的拍摄光照环境的亮度较低,则可以认为拍摄的可见光图像获得的颜色信息较少,所以可以调长曝光时长,从而获得颜色信息较多的可见光图像。
可选的,对所述摄像机获取的红外图像进行宽动态范围WDR处理,包括:
对所述红外图像进行动态范围计算,获得动态范围的取值;其中,所述动态范围用于指示图像画面的最大亮度值与最小亮度值的比值;
若确定所述动态范围的取值小于或等于动态范围阈值,则对所述红外图像进行WDR处理。
可选的,还包括:
若确定所述动态范围的取值大于所述动态范围阈值,则不对所述红外图像进行WDR处理。
本发明实施例中,对红外图像进行WDR处理之前可以确定红外图像当前的动态范围,在当前的动态范围较窄时才对红外图像进行WDR处理,否则可以不进行WDR处理,从而既保证获得的红外图像具有较宽动态范围,同时尽量减轻摄像机的处理负担。
可选的,在根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合之前,还包括:
对所述曝光图像及所述WDR图像进行图像配准。
可选的,根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像,包括:
根据所述预设的融合算法中的融合参数对所述曝光图像及所述WDR图像进行图像融合,其中,所述融合参数包括曝光参数、噪声估计值或色彩饱和度估计值中的至少一种。
第二方面,提供了一种摄像机,该摄像机包括:
调整单元,用于在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,所述曝光图像为可见光图像;
处理单元,用于对所述摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像;
融合单元,用于根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像。
可选的,所述调整单元具体用于:
获取摄像机当前拍摄的曝光参数的取值,其中,所述曝光参数用于指示所述摄像机拍摄的光照环境,包括快门值、光圈值和增益值中的至少一种;
若所述取值指示当前拍摄的光照环境为超低光照环境,则调整所述摄像机的曝光时长;其中,所述超低光照环境的环境亮度小于或等于第二预设阈值;
基于所述曝光时长拍摄可见光图像,获得所述曝光图像。
可选的,所述调整单元具体用于:
基于所述超低光照环境的环境亮度的取值,确定所述曝光参数的调整值;
根据所述调整值将所述曝光时长调大。
可选的,所述处理单元具有用于:
对所述红外图像进行动态范围计算,获得动态范围的取值;其中,所述动态范围用于指示图像画面的最大亮度值与最小亮度值的比值;
若确定所述动态范围的取值小于或等于动态范围阈值,则对所述红外图像进行WDR处理。
可选的,所述处理单元还用于:
若确定所述动态范围的取值大于所述动态范围阈值,则不对所述红外图像进行WDR处理。
可选的,所述融合单元还用于:
对所述曝光图像及所述WDR图像进行图像配准。
可选的,所述融合单元具体用于:
根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像,包括:
根据所述预设的融合算法中的融合参数对所述曝光图像及所述WDR图像进行图像融合,其中,所述融合参数包括曝光参数、噪声估计值或色彩饱和度估计值中的至少一种。
本发明实施例提供的摄像机的技术效果可参见如第一方面提供的图像处理的技术效果,这里不再赘述。
第三方面,提供一种摄像机,该摄像机包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面任一项所述的方法。
第四方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明实施例中,由于在融合之前,针对可见光图像进行曝光处理获得更多的颜色信息,对红外图像作宽动态范围(Wide Dynamic Range,WDR)处理,获得更多的细节信息,从而再对获得的可见光图像和红外图像进行融合,获得的融合图像就包括更多的颜色信息和细节信息,图像质量较高,实现了对图像细节的清晰显示,提高了用户体验。
附图说明
图1是本发明实施例提供的图像处理的方法的流程示意图;
图2为本发明实施例提供的确定光照环境的流程示意图;
图3为本发明实施例提供的摄像机的一种结构示意图;
图4为本发明实施例提供的摄像机的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
目前,图像融合针对可见光图像和红外图像只是根据部分信息进行简单地融合。在光照强度较弱的情况下,如果视频监控设备采集的可见光图像和红外图像的细节不清晰,那么融合后的图像还是无法清晰地显示细节,图像质量较差。
鉴于此,本发明实施例提供一种新的图像处理方法,在对图像进行融合之前,针对可见光图像进行曝光处理获得更多的颜色信息,对红外图像作WDR处理,获得更多的细节信息,从而再对获得的可见光图像和红外图像进行融合,获得的融合图像就包括更多的颜色信息和细节信息,图像质量较高,实现了对图像细节的清晰显示,提高了用户体验。
下面结合说明书附图介绍本发明实施例提供的技术方案。
请参见图1,本发明实施例提供了一种图像处理的方法,该方法可以由摄像机执行,或者有控制摄像机的电子设备执行,具体的流程描述如下。
S101、在调整摄像机的曝光时长之后,获得摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,曝光图像为可见光图像。
如果摄像机在拍摄时所处的环境的光照强度非常低,例如,夜间或者其他无光环境等,摄像机所拍摄的图像包含的信息可能较少,例如由于光照强度较低,摄像机拍摄的可见光图像包含的亮度、颜色信息很少,不够丰富。而摄像机拍摄的红外图像由于红外补光灯照射角度有限,可能导致成像画面亮度不均匀,导致细节信息较少可能反应出图像不真实,即摄像机拍摄的图像质量较差。
由于摄像机拍摄的图像画面质量的好坏通常是与曝光相关,摄像机的曝光参数的取值趋于较好的值时,所拍摄的图像画面的质量通常也较高,呈现的视觉效果也更好。而通常情况下,曝光时长较长时,摄像机拍摄运动物体获得的图像可能存在拖影现象,因此通常摄像机的曝光时长设置的都较短。
如果光照情况是低光照环境,为了使获得的可见光图像具有更多的颜色信息,摄像机可以将曝光时长调长,时长越长,可见光图像的颜色信息越多。但是如果调整后曝光时长过长,那么可能会使得可见光图像存在拖影现象。而如果光照情况是超低光照环境,如果曝光时长调整的时长较短,那么获得的可见光图像可能获得颜色信息还是较少。因此,在本发明实施例中,摄像机可以根据摄像机拍摄的光照情况确定调整曝光时长的长短,以保证长曝光处理带来的拖影现象在超低照度下人眼视觉可以接受。
在本发明实施例中,摄像机可以获取拍摄时的曝光参数的取值,从而通过曝光参数确定摄像机拍摄时的光照情况。
具体的,曝光参数可以包括快门、增益、光圈以及亮度等,其中,快门的取值可以包括摄像机当前拍摄时的快门统计值。增益的取值可以包括摄像机当前拍摄时的增益统计值。光圈的取值可以包括摄像机当前拍摄时的光圈统计值。亮度的取值还可以包括摄像机当前拍摄的图像画面的亮度统计值。或者,快门的取值也可以包括摄像机根据拍摄环境确定的当前环境下能够使得图像画面质量较好的快门目标值,即摄像机在进行快门的取值的调整时需要将快门调整到接近于快门目标值。同样地,增益的取值,光圈的取值、亮度的取值也可以包括对应的目标值,这里不再赘述。摄像机可以获取上述的曝光参数中的任意一种,以较快地确定摄像机所处的光照环境。摄像机也可以获取上述的曝光参数中的多种,以综合考虑多种曝光参数,较为准确地确定摄像机所处的光照环境。
本发明实施例中,摄像机首先需要确定自身当前的拍摄环境的光照情况。确定光照情况的方法可以包括但不限于以下两种:
第一,摄像机可以根据快门、增益和光圈中某个参数的取值确定摄像机当前的拍摄环境的光照情况。例如,摄像机可以根据增益设置多个预设增益范围,不同的预设增益范围对应着不同的光照情况的范围,下面以增益为例进行说明。
例如,第一预设增益范围内的取值所对应的拍摄环境为超低光照环境,其中超低光照环境例如可以是无亮度的环境,第一预设增益范围例如可以是增益值大于或者等于第一增益阈值的范围,第一增益阈值可以根据设备的实际需求进行设置,例如可以设置为42分贝(dB),即增益值大于或者等于42dB时,则可以认为当前的拍摄环境为超低光照环境,当然,本发明实施例并不限制第一增益阈值的取值。
第二预设增益范围内的取值所对应的拍摄环境为低光照环境,其中低光照环境例如可以是夜间光照较差的环境,第二预设增益范围例如可以是增益值大于第一增益阈值,且小于或者等于第二增益阈值的范围,第二增益阈值大于第一增益阈值,具体大小可以根据设备的实际需求进行设置,例如可以设置为30dB,即增益值介于30dB到42dB之间时,则可以认为当前的拍摄环境为低光照环境,当然,本发明实施例并不限制第二增益阈值的取值。
第三预设增益范围内的取值所对应的拍摄环境为光照充足环境,第三预设增益范围例如可以是增益值小于第二增益阈值的范围,即增益值小于30dB时,则可以认为当前的拍摄环境为光照充足环境。
请参见图2,摄像机在获取增益值之后,可以按照如下步骤确定当前的光照情况:
S1011:摄像机确定增益值是否位于第一预设增益范围内。
具体的,摄像机可以首先确定增益值是否位于第一预设增益范围内,以确定当前的拍摄环境是否为超低光照环境。其中,摄像机可以通过确定增益值是否大于或者等于第一增益阈值,来确定当前的拍摄环境是否为超低光照环境,若增益值大于或者等于第一增益阈值,则当前的拍摄环境即为超低光照环境;若增益值小于第一增益阈值,则当前的拍摄环境不是超低光照环境。
S1012:若摄像机确定增益值位于第一预设增益范围内,则摄像机确定当前的拍摄环境是超低光照环境。
S1013:若摄像机确定增益值未位于第一预设增益范围内,则摄像机确定增益值是否位于第二预设增益范围内。
当摄像机确定当前环境不是超低光照环境时,摄像机可以继续确定增益值是否位于第二预设增益范围内,以确定当前的拍摄环境是否为低光照环境。其中,摄像机可以通过确定增益值是否小于第一增益阈值,且大于或者等于第二增益阈值,来确定当前的拍摄环境是否为低光照环境,若增益值小于第一增益阈值,且大于或者等于第二增益阈值,则当前的拍摄环境即为低光照环境;若增益值小于第二增益阈值,则当前的拍摄环境为光照充足环境。
S1014:若摄像机确定增益值位于第二预设增益范围内,则摄像机确定当前的拍摄环境是低光照环境。
S1015:若摄像机确定增益值未位于第二预设增益范围内,则摄像机确定当前的拍摄环境是光照充足环境。
第二,摄像机可以根据快门、增益和光圈综合确定摄像机当前的拍摄环境的光照情况。例如,根据快门、增益和光圈设置一个算法进而得到综合参考值,进而根据这个综合参考值设置不同光照情况的范围,这样判断光照情况综合参考多个参数的取值,更加全面和准确。
当摄像机确定增益值大于第二增益阈值小于第一增益阈值时,则摄像机可以确定当前的拍摄环境是低光照环境。由于低光照环境光照不足时,摄像机拍摄的可见光图像获得的颜色信息较少,此时就需要调整摄像机的曝光时长,例如将曝光时长从初始设置的20ms调整到40ms,或者其他可能的值,再进行后续的拍摄。当摄像机确定当前环境是超低光照环境时,摄像机调整摄像机的曝光时长,例如将曝光时长从初始设置的40ms调整到50ms,或者其他可能的值,也就是对摄像机进行长曝光处理,再进行后续的拍摄。摄像机调整曝光时长的多少根据摄像机拍摄的实际光照情况确定,以尽量使得拍摄的可见光图像获得的颜色信息尽量多,同时也尽量降低可见光图像出现拖影现象的可能性。本发明实施例中,摄像机可以基于所处的光照环境的环境亮度的取值,确定曝光参数的调整值,从而根据确定的调整值将曝光时长调大。
本发明实施例中,摄像机为多路摄像机,例如双路摄像机,其中一路可以获取可见光图像,另一路可以获取红外图像,以通过将多路图像融合后输出较为符合真实场景的图像。如果摄像机确定当前环境是低光照环境,摄像机拍摄的红外图像由于亮度不均匀,动态范围较窄,导致细节信息较少可能反应出图像不真实。
因此,在本发明实施例中,摄像机确定了处于低光照环境,还应该确定该如何对红外图像进行处理,以获得较为清晰的图像。
具体地,S102、对获取的红外图像进行WDR处理,获得WDR图像。
在本发明实施例中,动态范围用于指示图像画面的最大亮度值与最小亮度值的比值。红外图像的动态范围的宽窄可以通过动态范围的取值来表征。摄像机可以计算获取的红外图像的动态范围的取值,将计算得到的取值与事先设置的动态范围阈值进行比较,从而确定红外图像是否是宽动态范围。动态范围阈值可以根据经验设置的一个可能的值,如果计算得到的取值小于或等于动态范围阈值,则可以认为红外图像的动态范围较窄,此时摄像机可以对获取的红外图像进行WDR处理。如果计算得到的取值大于动态范围阈值,则在可以认为红外图像的动态范围较宽,此时可以不对红外图像进行WDR处理,以减轻摄像机的负担。
当然,本发明实施例中,摄像机也可以默认对可见光图像进行长曝光处理,获得曝光图像,对红外图像进行WDR处理,获得WDR图像。摄像机可以同时获取可见光图像和红外图像,并同时对可见光图像进行长曝光处理,对红外图像进行WDR处理。摄像机获得曝光图像和WDR图像之后,可以分别对曝光图像和WDR图像进行图像信号处理(Image SignalProcessing,ISP),例如,对曝光图像和WDR图像进行去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理,从而得到画面质量较高的图像。摄像机对曝光图像和WDR图像进行ISP之后,可以对获得的曝光图像和WDR图像进行融合,以获得清晰的图像。
本发明实施例中,摄像机在对获得的曝光图像和WDR图像进行融合之前,可以对获得的曝光图像和WDR图像进行视场角匹配以及配准,具体地可以采用现有技术中的视场角匹配以及配准方法,这里不再赘述。
具体地,S103、根据预设的融合算法对曝光图像及WDR图像进行图像处理,获得融合后的图像。
可能的实施方式中,摄像机根据预设的融合算法例如可以是根据摄像机拍摄的光照情况,根据例如噪声估计值或者色彩饱和度估计值等的某个分量的占比,提取一定权重的可见光成像中的画面色彩和红外光成像中的高频细节以及亮度信息的算法,对曝光图像及WDR图像进行画面融合,最终得到兼顾细节和色彩的融合图像。
目前,想要获得较为清晰的图像,多是优化图像融合算法或者融合图像后对融合图像进行额外优化处理。但是融合算法优化用时较长,投入成本较高。融合图像的额外优化处理容易出现画面效果不真实的问题,例如红外图像中亮度异常变高时反应的图像不真实。
综上,本发明实施例中,在对图像进行融合之前,针对可见光图像进行曝光处理获得更多的颜色信息,可以有效提升画面颜色。对红外图像作WDR处理,获得更多的细节信息,较暗处细节都会展现出来,而低光照环境下,融合图像的细节主要来自于红外图像,从而再对获得的可见光图像和红外图像进行融合,获得的融合图像就包括更多的颜色信息和细节信息,最终融合得到兼顾细节和色彩的融合图像,图像质量较高,实现了对图像细节的清晰显示,提高了用户体验。
下面结合说明书附图介绍本发明实施例提供的设备。
请参见图3,基于同一发明构思,本发明一实施例提供一种摄像机,该摄像机可以包括存储器301和处理器302,其中,处理器302,用于读取存储器301中的指令,实现如图1所示的图像处理的方法的步骤:在调整摄像机的曝光时长之后,获得摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,曝光图像为可见光图像;对摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像;根据预设的融合算法对曝光图像及WDR图像进行图像处理,获得融合后的图像。
可选的,处理器302可以是一个,也可以是多个,具体可以是中央处理器302、特定应用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC),可以是一个或多个用于控制程序执行的集成电路。
可选的,存储器301可以包括只读存储器301(英文:Read Only Memory,简称:ROM)、随机存取存储器301(英文:Random Access Memory,简称:RAM)和磁盘存储器301。存储器301用于存储处理器302运行时所需的数据,即存储有可被至少一个处理器302执行的指令,至少一个处理器302通过执行存储器301存储的指令,执行如图1所示的方法。其中,存储器301的数量为一个或多个。其中,存储器301在图3中一并示出,但需要知道的是存储器301不是必选的功能模块,因此在图中以虚线示出。
可选的,处理器302可以具体用于:
获取摄像机当前拍摄的曝光参数的取值,其中,曝光参数用于指示摄像机拍摄的光照环境,包括快门值、光圈值和增益值中的至少一种;
若取值指示当前拍摄的光照环境为超低光照环境,则调整摄像机的曝光时长;其中,超低光照环境的环境亮度小于或等于第一预设阈值;
基于曝光时长拍摄可见光图像,获得曝光图像。
可选的,处理器302可以具体用于:
基于超低光照环境的环境亮度的取值,确定曝光参数的调整值;
根据调整值将曝光时长调大。
可选的,处理器302可以具体用于:
对红外图像进行动态范围计算,获得动态范围的取值;其中,动态范围用于指示图像画面的最大亮度值与最小亮度值的比值;
若确定动态范围的取值小于或等于动态范围阈值,则对红外图像进行WDR处理。
可选的,处理器302还用于:
若确定动态范围的取值大于动态范围阈值,则不对所述外图像进行WDR处理。
可选的,处理器302可以具体用于:
对曝光图像及WDR图像进行图像配准。
可选的,处理器302可以具体用于:
根据预设的融合算法中的融合参数对曝光图像及WDR图像进行图像融合,其中,融合参数包括曝光参数、噪声估计值或色彩饱和度估计值中的至少一种。
该摄像机可以用于执行图1~图2所示的实施例所提供的方法,因此,对于该设备的各功能模块所能够实现的功能等可参考上述方法部分的描述,不多赘述。
请参见图4,基于同一发明构思,本发明一实施例提供一种摄像机,该摄像机可以包括调整单元401、处理单元402和融合单元403。
其中,调整单元401用于在调整摄像机的曝光时长之后,获得摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,曝光图像为可见光图像。处理单元402用于对摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像。融合单元403用于根据预设的融合算法对曝光图像及WDR图像进行图像处理,获得融合后的图像。
可选的,调整单元401可以具体用于:
获取摄像机当前拍摄的曝光参数的取值,其中,曝光参数用于指示摄像机拍摄的光照环境,包括快门值、光圈值和增益值中的至少一种;
若取值指示当前拍摄的光照环境为超低光照环境,则调整摄像机的曝光时长;其中,超低光照环境的环境亮度小于或等于第一预设阈值;
基于曝光时长拍摄可见光图像,获得曝光图像。
可选的,调整单元401可以具体用于:
基于超低光照环境的环境亮度的取值,确定曝光参数的调整值;
根据调整值将曝光时长调大。
可选的,处理单元402可以具体用于:
对红外图像进行动态范围计算,获得动态范围的取值;其中,动态范围用于指示图像画面的最大亮度值与最小亮度值的比值;
若确定动态范围的取值小于或等于动态范围阈值,则对红外图像进行WDR处理。
可选的,处理单元402还用于:
若确定动态范围的取值大于动态范围阈值,则不对所述外图像进行WDR处理。
可选的,融合单元403还可以用于:
对曝光图像及WDR图像进行图像配准。
可选的,融合单元403可以具体用于:
根据预设的融合算法中的融合参数对曝光图像及WDR图像进行图像融合,其中,融合参数包括曝光参数、噪声估计值或色彩饱和度估计值中的至少一种。
其中,调整单元401、处理单元402和融合单元403所对应的实体设备均可以是前述的处理器302。该摄像机可以用于执行图1-2所示的实施例所提供的方法。因此关于该设备中各功能模块所能够实现的功能,可参考图1-2所示的实施例中的相应描述,不多赘述。
本发明实施例还提供一种计算机存储介质,其中,计算机存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行如图1-2所述的方法。
在具体的实施过程中,计算机可读存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash drive,USB)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash disk)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,所述曝光图像为可见光图像;
对所述摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像;
根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像。
2.如权利要求1所述的方法,其特征在于,在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,包括:
获取摄像机当前拍摄的曝光参数,其中,所述曝光参数用于指示所述摄像机拍摄的光照环境,包括快门值、光圈值和增益值中的至少一种;
若所述曝光参数的取值指示当前拍摄的光照环境为超低光照环境,则调整所述摄像机的曝光时长;其中,所述超低光照环境的环境亮度小于或等于第二预设阈值;
基于所述曝光时长拍摄可见光图像,获得所述曝光图像。
3.如权利要求2所述的方法,其特征在于,若所述取值指示超低光照环境,则调整所述摄像机的曝光时长,包括:
基于所述超低光照环境的环境亮度的取值,确定所述曝光参数的调整值;
根据所述调整值将所述曝光时长调大。
4.如权利要求1所述的方法,其特征在于,对所述摄像机获取的红外图像进行宽动态范围WDR处理,包括:
对所述红外图像进行动态范围计算,获得动态范围的取值;其中,所述动态范围用于指示图像画面的最大亮度值与最小亮度值的比值;
若确定所述动态范围的取值小于或等于动态范围阈值,则对所述红外图像进行WDR处理。
5.如权利要求4所述的方法,其特征在于,还包括:
若确定所述动态范围的取值大于所述动态范围阈值,则不对所述红外图像进行WDR处理。
6.如权利要求2或4所述的方法,其特征在于,在根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合之前,还包括:
对所述曝光图像及所述WDR图像进行图像配准。
7.如权利要求5所述的方法,其特征在于,根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像,包括:
根据所述预设的融合算法中的融合参数对所述曝光图像及所述WDR图像进行图像融合,其中,所述融合参数包括曝光参数、噪声估计值或色彩饱和度估计值中的至少一种。
8.一种摄像机,其特征在于,包括:
调整单元,用于在调整摄像机的曝光时长之后,获得所述摄像机拍摄的曝光图像,其中,调整后的曝光时长的值大于第一预设阈值,所述曝光图像为可见光图像;
处理单元,用于对所述摄像机获取的红外图像进行宽动态范围WDR处理,获得WDR图像;
融合单元,用于根据预设的融合算法对所述曝光图像及所述WDR图像进行图像融合,获得融合后的图像。
9.一种摄像机,其特征在于,包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811504339.XA CN110248105B (zh) | 2018-12-10 | 2018-12-10 | 一种图像处理方法、摄像机及计算机存储介质 |
EP19894941.4A EP3864836B1 (en) | 2018-12-10 | 2019-06-28 | Systems and methods for image acquisition |
PCT/CN2019/093781 WO2020119082A1 (en) | 2018-12-10 | 2019-06-28 | Systems and methods for image acquisition |
US17/326,290 US11240443B2 (en) | 2018-12-10 | 2021-05-20 | Systems and methods for image acquisition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811504339.XA CN110248105B (zh) | 2018-12-10 | 2018-12-10 | 一种图像处理方法、摄像机及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110248105A CN110248105A (zh) | 2019-09-17 |
CN110248105B true CN110248105B (zh) | 2020-12-08 |
Family
ID=67882431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811504339.XA Active CN110248105B (zh) | 2018-12-10 | 2018-12-10 | 一种图像处理方法、摄像机及计算机存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11240443B2 (zh) |
EP (1) | EP3864836B1 (zh) |
CN (1) | CN110248105B (zh) |
WO (1) | WO2020119082A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112785510B (zh) * | 2019-11-11 | 2024-03-05 | 华为技术有限公司 | 图像处理方法和相关产品 |
CN112819699B (zh) * | 2019-11-15 | 2024-11-05 | 北京金山云网络技术有限公司 | 视频处理方法、装置及电子设备 |
CN111383206B (zh) * | 2020-06-01 | 2020-09-29 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111507930B (zh) * | 2020-06-18 | 2023-10-10 | 杭州海康威视数字技术股份有限公司 | 图像融合方法、装置、存储介质和计算机设备 |
CN114009005A (zh) * | 2020-06-29 | 2022-02-01 | 深圳市大疆创新科技有限公司 | 红外图像处理方法、电子设备及计算机可读存储介质 |
CN113938577A (zh) * | 2020-07-13 | 2022-01-14 | 河南铭视科技股份有限公司 | 一种摄像机图像处理方法 |
CN114143418B (zh) * | 2020-09-04 | 2023-12-01 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其摄像方法 |
CN112422784B (zh) * | 2020-10-12 | 2022-01-11 | 浙江大华技术股份有限公司 | 成像方法、成像装置、电子装置和存储介质 |
CN113298743B (zh) * | 2021-06-03 | 2023-10-31 | Oppo广东移动通信有限公司 | 图像输出方法、图像输出装置、电子设备及可读存储介质 |
CN116437198B (zh) * | 2021-12-29 | 2024-04-16 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN114760414B (zh) * | 2022-04-12 | 2024-04-16 | 上海航天电子通讯设备研究所 | 一种用于cmv4000相机的图像采集与处理系统 |
CN118264919A (zh) * | 2022-07-01 | 2024-06-28 | 北京讯通安添通讯科技有限公司 | 一种暗光环境拍摄照片补充图像信息的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102037717A (zh) * | 2008-05-20 | 2011-04-27 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
CN201869309U (zh) * | 2010-11-26 | 2011-06-15 | 深圳市迈菲斯科技有限公司 | 超宽动态人脸图像获取叠加装置 |
CN107623831A (zh) * | 2017-08-12 | 2018-01-23 | 四川精视科技有限公司 | 一种昼夜全彩楼宇可视电话成像装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8749635B2 (en) | 2009-06-03 | 2014-06-10 | Flir Systems, Inc. | Infrared camera systems and methods for dual sensor applications |
CN101888487B (zh) * | 2010-06-02 | 2012-03-14 | 中国科学院深圳先进技术研究院 | 高动态范围视频成像系统和图像生成方法 |
US8755597B1 (en) * | 2011-02-24 | 2014-06-17 | Exelis, Inc. | Smart fusion of visible and infrared image data |
CN202121687U (zh) * | 2011-06-21 | 2012-01-18 | 上海银晨智能识别科技有限公司 | 一种宽动态智能摄像机 |
US10255888B2 (en) | 2012-12-05 | 2019-04-09 | Texas Instruments Incorporated | Merging multiple exposures to generate a high dynamic range image |
JP2014216734A (ja) * | 2013-04-24 | 2014-11-17 | 日立マクセル株式会社 | 撮像装置及び撮像システム |
KR101747603B1 (ko) * | 2016-05-11 | 2017-06-16 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 컬러 나이트 비전 시스템 및 그 동작 방법 |
CN106060418A (zh) | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 基于imu信息的宽动态图像融合方法 |
US10523856B2 (en) | 2016-09-08 | 2019-12-31 | Samsung Electronics Co., Ltd. | Method and electronic device for producing composite image |
CN109804619B (zh) * | 2016-10-14 | 2021-01-15 | 三菱电机株式会社 | 图像处理装置、图像处理方法和摄影装置 |
CN107302667B (zh) * | 2017-08-17 | 2019-05-07 | 中国人民解放军国防科技大学 | 一种相机可互换动态分光成像系统及其应用于高动态成像的方法 |
CN108090886B (zh) * | 2018-01-11 | 2022-04-22 | 南京大学 | 一种高动态范围红外图像的显示与细节增强方法 |
CN108377335B (zh) * | 2018-04-20 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种摄像机聚焦方法及摄像机 |
-
2018
- 2018-12-10 CN CN201811504339.XA patent/CN110248105B/zh active Active
-
2019
- 2019-06-28 WO PCT/CN2019/093781 patent/WO2020119082A1/en unknown
- 2019-06-28 EP EP19894941.4A patent/EP3864836B1/en active Active
-
2021
- 2021-05-20 US US17/326,290 patent/US11240443B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102037717A (zh) * | 2008-05-20 | 2011-04-27 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
CN201869309U (zh) * | 2010-11-26 | 2011-06-15 | 深圳市迈菲斯科技有限公司 | 超宽动态人脸图像获取叠加装置 |
CN107623831A (zh) * | 2017-08-12 | 2018-01-23 | 四川精视科技有限公司 | 一种昼夜全彩楼宇可视电话成像装置 |
Also Published As
Publication number | Publication date |
---|---|
US11240443B2 (en) | 2022-02-01 |
EP3864836A4 (en) | 2021-12-29 |
WO2020119082A1 (en) | 2020-06-18 |
CN110248105A (zh) | 2019-09-17 |
US20210329159A1 (en) | 2021-10-21 |
EP3864836A1 (en) | 2021-08-18 |
EP3864836B1 (en) | 2025-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248105B (zh) | 一种图像处理方法、摄像机及计算机存储介质 | |
CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
JP7015374B2 (ja) | デュアルカメラを使用する画像処理のための方法および移動端末 | |
WO2019105154A1 (en) | Image processing method, apparatus and device | |
CN110599433B (zh) | 一种基于动态场景的双曝光图像融合方法 | |
CN108055452B (zh) | 图像处理方法、装置及设备 | |
US11132770B2 (en) | Image processing methods and apparatuses, computer readable storage media and electronic devices | |
CN105323465B (zh) | 图像处理装置及其控制方法 | |
CN107172353B (zh) | 自动曝光方法、装置和计算机设备 | |
JP7284767B2 (ja) | 運動ゴーストに対抗するhdr方法及び携帯端末 | |
CN108683862A (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
CN108024057B (zh) | 背景虚化处理方法、装置及设备 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
CN108024056B (zh) | 基于双摄像头的成像方法和装置 | |
CN110248106A (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
JP5781372B2 (ja) | 画像処理装置及び撮像装置 | |
CN105635565A (zh) | 一种拍摄方法及设备 | |
CN108156369A (zh) | 图像处理方法和装置 | |
CN108419012A (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN109040607A (zh) | 成像控制方法、装置、电子设备和计算机可读存储介质 | |
CN105407281A (zh) | 一种基于场景的拍照装置、方法 | |
CN119067872A (zh) | 一种图像去雾方法、装置、设备及存储介质 | |
WO2022151852A1 (zh) | 图像处理方法、装置、系统、电子设备以及存储介质 | |
CN110740266A (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
US10235745B2 (en) | Image processing method, computer storage medium, apparatus and terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |