CN112419187A - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN112419187A CN112419187A CN202011321175.4A CN202011321175A CN112419187A CN 112419187 A CN112419187 A CN 112419187A CN 202011321175 A CN202011321175 A CN 202011321175A CN 112419187 A CN112419187 A CN 112419187A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- attenuation degree
- attenuation
- value
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 190
- 230000001629 suppression Effects 0.000 claims abstract description 138
- 238000012545 processing Methods 0.000 claims abstract description 120
- 230000002238 attenuated effect Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010021033 Hypomenorrhoea Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置及设备,该方法包括:从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;基于所述像素点的衰减程度对所述像素点进行衰减处理;基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。通过本申请的技术方案,能够有效降低信号灯的光晕,光晕抑制效果真实有效,且无明显的人工处理痕迹,提高了图像质量。
Description
技术领域
本申请涉及监控技术领域,尤其涉及一种图像处理方法、装置及设备。
背景技术
监控设备(如摄像机)的一种重要功能是采集车辆闯红灯违章的证据链图像,该证据链图像包括车辆驶过停止线、车辆驶到路口中和车辆到达路口对面的三帧图像,只有当这三帧图像均在红灯周期时,才能够成为违章执法的依据,即,在证据链图像中包括交通信号灯,且交通信号灯为红灯亮起。
交通信号灯是很亮的自发光源,交通信号灯周围的光晕较大,如红灯周围表现为红晕现象、绿灯周围表现为绿晕现象、黄灯周围表现为黄晕现象,因此,需要对交通信号灯周围进行光晕抑制,从而对光晕进行减弱或去除。
在相关技术中,监控设备采集到原始图像后,从原始图像中获得交通信号灯的光晕区域,在光晕区域内进行光晕抑制,将光晕抑制后的光晕区域叠加到原始图像,得到目标图像。但是,上述方式的处理效果较差,无法有效降低交通信号灯的光晕,并且目标图像中会出现明显的人工处理痕迹。
发明内容
本申请提供一种图像处理方法,所述方法包括:
从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
基于所述像素点的衰减程度对所述像素点进行衰减处理;
基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。
示例性的,所述基于所述像素点的衰减程度对所述像素点进行衰减处理,包括:若所述衰减程度为亮度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理;或者,
若所述衰减程度为色度衰减程度,则基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理;或者,
若所述衰减程度为亮度衰减程度和色度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理。
示例性的,所述基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,包括:对所述像素点进行白平衡校正;
基于所述像素点的亮度衰减程度对所述像素点的白平衡校正后的亮度值进行衰减处理,得到所述像素点的衰减处理后的亮度值;
对衰减处理后的像素点进行逆白平衡校正。
示例性的,所述基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,包括:基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的YUV域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值以及YUV域的亮度值进行衰减处理。
示例性的,所述基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理,包括:基于所述像素点的色度衰减程度,对所述像素点的YUV域的色度值进行衰减处理。
示例性的,所述待处理区域为矩形区域,所述待处理区域的宽度与所述原始图像的宽度相同,所述待处理区域的高度是从第一高度至第二高度;其中,所述第一高度小于或者等于所述信号灯区域的顶部位置,所述第二高度大于或者等于所述信号灯区域的底部位置;在从所述第一高度到所述第二高度的方向上,各像素点的高度依次变大。
所述基于所述待处理区域中的每个衰减处理后的像素点获取目标图像之后,还包括:针对所述目标图像的信号灯区域中的每个非信号灯像素位置,基于第一衰减程度,第二衰减程度和所述非信号灯像素位置的色度值进行插值,得到所述非信号灯像素位置的目标衰减程度;基于所述目标衰减程度对所述非信号灯像素位置的色度值进行衰减,得到所述非信号灯像素位置的衰减后的色度值;基于所述非信号灯像素位置的色度值,所述非信号灯像素位置的衰减后的色度值和预设的目标光晕抑制强度,确定所述非信号灯像素位置的目标色度值;基于所述每个非信号灯像素位置的目标色度值获取光晕抑制图像。
示例性的,所述基于第一衰减程度,第二衰减程度和所述非信号灯像素位置的色度值进行插值,得到所述非信号灯像素位置的目标衰减程度之前,还包括:获取预先配置的第一组控制参数和第二组控制参数,所述第一组控制参数用于确定第一衰减程度,所述第二组控制参数用于确定第二衰减程度;
基于所述第一组控制参数确定衰减程度与光晕抑制强度的第一映射关系,基于所述第二组控制参数确定衰减程度与光晕抑制强度的第二映射关系;
通过目标光晕抑制强度查询所述第一映射关系,得到与所述目标光晕抑制强度对应的第一衰减程度,并通过所述目标光晕抑制强度查询所述第二映射关系,得到与所述目标光晕抑制强度对应的第二衰减程度。
本申请提供一种图像处理装置,所述装置包括:
确定模块,用于从原始图像中确定出待处理区域,待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;处理模块,用于基于所述像素点的衰减程度对所述像素点进行衰减处理;获取模块,用于基于待处理区域中的每个衰减处理后的像素点获取目标图像。
本申请提供一种图像处理设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
基于所述像素点的衰减程度对所述像素点进行衰减处理;
基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。
由以上技术方案可见,本申请实施例中,针对待处理区域中每个像素点,可以基于像素点的亮度值和高度值确定该像素点的衰减程度(若亮度值越大,则衰减程度越小,若高度值越大,则衰减程度越小),并基于该像素点的衰减程度对该像素点进行衰减处理,从而有效降低信号灯的光晕,光晕抑制效果真实有效,光晕抑制效果自然逼真,且无明显的人工处理痕迹,使得信号灯的轮廓辨别度得到一定程度的提升,保证待处理区域的成像与周围成像能够进行自然过渡,使得光晕抑制处理后的图像看上去更加自然,提高了图像质量。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的证据链图像的示意图;
图2是本申请一种实施方式中的电警抓拍系统的位置示意图;
图3是本申请一种实施方式中的图像处理方法的流程示意图;
图4是本申请一种实施方式中的原始图像的示意图;
图5是本申请一种实施方式中的光晕抑制的示意图;
图6A是本申请一种实施方式中的Bayer域的光晕抑制示意图;
图6B是本申请一种实施方式中的亮度衰减程度与亮度值的映射关系图;
图6C是本申请一种实施方式中的亮度衰减程度与高度值的映射关系图;
图7是本申请一种实施方式中的YUV域的光晕抑制示意图;
图8A是本申请一种实施方式中的信号灯区域的光晕抑制示意图;
图8B是本申请一种实施方式中的衰减程度与光晕抑制强度的关系图;
图9A是本申请一种实施方式中的图像处理装置的结构示意图;
图9B是本申请一种实施方式中的图像处理设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请实施例的技术方案之前,先介绍本申请实施例涉及的名词。
贝尔(Bayer)图像:传感器表面的红色、绿色和蓝色滤镜排列称为贝尔图案,光线通过贝尔图案,激发传感器,通过模数转换得到的图像称为贝尔图像。
白平衡(White Balance):白平衡是通过对白色被摄物的颜色还原(如产生纯白的色彩效果),进而达到其它物体色彩准确还原的数字图像色彩处理方法,白平衡的基本概念是“不管在任何光源下,都能将白色物体还原为白色”,对在特定光源下拍摄时出现的偏色现象,通过加强对应的补色来进行补偿。
ISP(Image Signal Processor,图像信号处理):用于对原始图像进行后期处理,如黑电平矫正、镜头阴影校正、坏点去除、绿平衡、噪声去除、颜色插值、自动白平衡、颜色校正、Gamma校正、色彩空间转换、锐化、宽动态和自动曝光控制等,ISP的处理效果在很大程度上决定了摄像机的成像质量。
信号灯区域:图像中信号灯所对应区域为信号灯区域,信号灯区域一般为矩形区域,信号灯区域也称为信号灯的ROI(Region Of Interest,感兴趣区域)。
信号灯区域中的信号灯像素位置和非信号灯像素位置:可以将信号灯区域中的所有像素位置划分为信号灯像素位置和非信号灯像素位置,信号灯像素位置是指信号灯区域中信号灯处于点亮状态的像素位置,非信号灯像素位置是指信号灯区域中信号灯未处于点亮状态的像素位置,以及非信号灯位置(如信号灯位置的周围位置)。在图像处理中,可以根据经验配置亮度阈值(或采用某算法确定亮度阈值,对此不做限制),针对信号灯区域中的每个像素位置,若该像素位置的亮度值大于该亮度阈值,则该像素位置是信号灯像素位置,若该像素位置的亮度值不大于该亮度阈值,则该像素位置是非信号灯像素位置。
光晕抑制:在夜晚时间段,信号灯周围区域会存在色彩光晕带,通过图像处理方式对这些色彩光晕带进行抑制,就称为光晕抑制,光晕抑制用于对图像中信号灯的光晕进行减弱或去除,通过光晕抑制能够提升信号灯成像的辨别度。
在视频监控系统,尤其是智能交通中的电警抓拍系统,通常会部署大量监控设备(如模拟摄像机、网络摄像机等),这些监控设备的一种重要功能是采集车辆闯红灯违章的证据链图像,该证据链图像包括车辆驶过停止线、车辆驶到路口中和车辆到达路口对面的三帧图像,参见图1所示。只有当这三帧图像均在红灯周期时,才能够成为违章执法的依据,即,证据链图像中均包括信号灯(即交通信号灯),且信号灯为红灯亮起。否则,会出现执法不良情况的发生,甚至会引起车主的执法投诉。由此可见,信号灯的成像效果在这类违章执法中占有重要地位,不断提升信号灯的成像效果具有非常重要的应用价值。
由于信号灯是很亮的自发光源,信号灯周围的光晕较大,例如,在夜晚时间段,环境比较漆黑,导致信号灯周围成像会出现很强的光晕现象,即红灯周围表现为红晕现象、绿灯周围表现为绿晕现象、黄灯周围表现为黄晕现象,因此,需要对信号灯周围的光晕进行光晕抑制,从而对光晕进行减弱或去除。
但是,在相关技术中,无法有效降低信号灯的光晕,并且图像中会出现明显的人工处理痕迹。针对上述发现,本申请实施例中,从信号灯与监控设备的相对安装位置入手,能够有效降低信号灯的光晕,光晕抑制效果真实有效,自然逼真,无明显的人工处理痕迹,实现起来简单有效,易于推广落地。
示例性的,视频监控系统(如电警抓拍系统)具有以下特点:1、信号灯被安装在监控设备所在道路对面同等高度的位置区域,参见图2所示。由于信号灯被安装在监控设备所在道路对面同等高度的位置区域,因此,针对监控设备采集的图像,信号灯往往处于图像的偏上边沿区域。2、信号灯通电后,会有周期性的亮灭特性,当信号灯处于点亮状态时,信号灯像素位置的亮度值为高亮,成像后信号灯像素位置属于图像的高亮区域。3、白天,受太阳光影响,信号灯区域无明显的光晕现象;夜晚,环境照度低,信号灯区域有明显的光晕现象。
本申请实施例中,为了实现信号灯的光晕抑制,基于上述特点1,可以采用如下方式对信号灯的光晕进行抑制,在图像偏上边沿区域,对像素点进行衰减,衰减强度与像素点的高度值(即像素点所处高度)有关,若像素点的高度值越大(从上到下的像素点,高度值依次增大),则像素点的衰减程度越小。
基于上述特点2,可以采用如下方式对信号灯的光晕进行抑制,在图像偏上边沿区域,对像素点进行衰减,在对像素点进行衰减时,衰减强度与像素点的亮度值有关,若像素点的亮度值越大,则像素点的衰减程度越小。
基于上述特点3,可以采用如下方式对信号灯的光晕进行抑制,由于白天信号灯区域无明显的光晕现象,因此,关闭光晕抑制功能,即不采用本申请实施例的技术方案进行光晕抑制。由于夜晚信号灯区域有明显的光晕现象,因此,开启光晕抑制功能,即采用本申请实施例的技术方案进行光晕抑制。
综上所述,可以配置光晕抑制功能开启的时间段,在当前时间处于该时间段时,开启光晕抑制功能,在当前时间不处于该时间段时,关闭光晕抑制功能。或者,配置光晕抑制功能关闭的时间段,在当前时间处于该时间段时,关闭光晕抑制功能,在当前时间不处于该时间段时,开启光晕抑制功能。或者,检测图像的信号灯区域是否存在光晕现象,若存在,则开启光晕抑制功能,若不存在,则关闭光晕抑制功能。当然,上述方式只是几个示例,对此不做限制,以开启光晕抑制功能为例,即需要采用本申请实施例的技术方案进行光晕抑制。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像处理方法,该方法可以应用于监控设备(如模拟摄像机、网络摄像机等),也可以应用于后端设备(如服务器,管理设备等)。若该方法应用于监控设备,则监控设备采集到原始图像后,基于该原始图像执行后续流程,若该方法应用于后端设备,则监控设备采集到原始图像后,将原始图像发送给后端设备,由后端设备基于该原始图像执行后续流程。
参见图3所示,为图像处理方法的流程示意图,该方法可以包括:
步骤301,从原始图像中确定出待处理区域,该待处理区域包括信号灯区域。
示例性的,待处理区域可以为矩形区域,是划分出来的包括信号灯区域的部分,本实施例中,需要对待处理区域进行衰减,从而达到有效降低原始图像中信号灯的光晕的效果,即,待处理区域可以是原始图像中需要进行衰减的区域,且待处理区域需要包括原始图像中的信号灯区域。
为了便于进行图像处理,待处理区域的划分可以采用多种方式,此处为了便于描述,采用如下划分方式:待处理区域的宽度与原始图像的宽度相同,待处理区域的高度是从第一高度值至第二高度值。第一高度值小于或者等于信号灯区域的顶部位置,第二高度值大于或者等于信号灯区域的底部位置。在从第一高度值到第二高度值的方向上,待处理区域中的各像素点的高度依次变大。
当然,上述方式只是示例,还可以采用其它方式划分待处理区域(待处理区域也可以称为背景区域),对此不做限制。比如说,待处理区域的宽度与原始图像的宽度相同,待处理区域的高度是从原始图像的顶部位置至第二高度值,第二高度值大于或者等于信号灯区域的底部位置。
步骤302,针对待处理区域中的每个像素点,基于该像素点的亮度值和高度值确定该像素点的衰减程度。示例性的,若该像素点的亮度值越大,则该像素点的衰减程度越小,若该像素点的高度值越大,则该像素点的衰减程度越小。
示例性的,可以基于该像素点的亮度值和高度值确定该像素点的亮度衰减程度,比如说,若该像素点的亮度值越大,则该像素点的亮度衰减程度越小,若该像素点的高度值越大,则该像素点的亮度衰减程度越小。
例如,亮度衰减程度与亮度值和高度值可以具有映射关系,基于该映射关系,可以确定像素点的亮度衰减程度。参见表1所示,为映射关系的示例,对此映射关系不做限制,只要亮度衰减程度与亮度值成反比,且亮度衰减程度与高度值成反比即可。比如说,针对同一个亮度值,当高度值越大时,亮度衰减程度越小;针对同一个高度值,当亮度值越大时,亮度衰减程度越小。
表1
亮度值 | 高度值 | 亮度衰减程度 |
亮度值a1 | 高度值b1 | 亮度衰减程度c11 |
亮度值a1 | 高度值b2 | 亮度衰减程度c12 |
… | … | … |
亮度值a2 | 高度值b1 | 亮度衰减程度c21 |
亮度值a2 | 高度值b2 | 亮度衰减程度c22 |
… | … | … |
显然,针对待处理区域中的每个像素点,可以基于该像素点的亮度值和高度值查询表1所示的映射关系,得到该像素点的亮度衰减程度。
示例性的,可以基于该像素点的亮度值和高度值确定该像素点的色度衰减程度,比如说,若该像素点的亮度值越大,则该像素点的色度衰减程度越小,若该像素点的高度值越大,则该像素点的色度衰减程度越小。
例如,色度衰减程度与亮度值和高度值可以具有映射关系,基于该映射关系,可以确定像素点的色度衰减程度。参见表2所示,为映射关系的示例,对此映射关系不做限制,只要色度衰减程度与亮度值成反比,且色度衰减程度与高度值成反比即可。比如说,针对同一个亮度值,当高度值越大时,色度衰减程度越小;针对同一个高度值,当亮度值越大时,色度衰减程度越小。
表2
显然,针对待处理区域中的每个像素点,可以基于该像素点的亮度值和高度值查询表2所示的映射关系,得到该像素点的色度衰减程度。
步骤303,基于像素点的衰减程度对该像素点进行衰减处理。
在一种可能的实施方式中,若该衰减程度为亮度衰减程度,则可以基于该像素点的亮度衰减程度对该像素点的亮度值进行衰减处理。或者,若该衰减程度为色度衰减程度,则可以基于该像素点的色度衰减程度对该像素点的色度值进行衰减处理。或者,若该衰减程度为亮度衰减程度和色度衰减程度,则可以基于该像素点的亮度衰减程度对该像素点的亮度值进行衰减处理,并基于该像素点的色度衰减程度对该像素点的色度值进行衰减处理。
示例性的,基于该像素点的亮度衰减程度对该像素点的亮度值进行衰减处理,可以包括但不限于:基于该像素点的亮度衰减程度,对该像素点的Bayer域的亮度值进行衰减处理;或者,基于该像素点的亮度衰减程度,对该像素点的YUV域的亮度值进行衰减处理;或者,基于该像素点的亮度衰减程度,对该像素点的Bayer域的亮度值以及YUV域的亮度值进行衰减处理。
基于该像素点的色度衰减程度对该像素点的色度值进行衰减处理,可以包括但不限于:基于该像素点的色度衰减程度,对该像素点的YUV(Luminance BandwidthChrominance,明亮度色度)域的色度值进行衰减处理。
示例性的,在基于该像素点的亮度衰减程度对该像素点的亮度值进行衰减处理的过程中,可以对该像素点进行白平衡校正;基于该像素点的亮度衰减程度对该像素点的白平衡校正后的亮度值进行衰减处理,得到该像素点的衰减处理后的亮度值;对衰减处理后的像素点进行逆白平衡校正。例如,在对像素点的Bayer域的亮度值进行衰减处理时,对该像素点进行白平衡校正,基于该像素点的亮度衰减程度对该像素点的白平衡校正后的亮度值进行衰减处理,得到该像素点的衰减处理后的亮度值,对衰减处理后的像素点进行逆白平衡校正。
步骤304,基于待处理区域中的每个衰减处理后的像素点获取目标图像。
在对待处理区域中的每个像素点进行衰减处理后,可以得到待处理区域中的每个衰减处理后的像素点,即得到衰减处理后的待处理区域。然后,将衰减处理后的待处理区域和原始图像中的非待处理区域组合起来,得到目标图像。
在一种可能的实施方式中,在得到目标图像之后,可以输出目标图像,即,目标图像作为最终图像进行输出。或者,还可以将目标图像转换为光晕抑制图像,并输出光晕抑制图像,即,将光晕抑制图像作为最终图像进行输出。
示例性的,在得到目标图像之后,针对目标图像的信号灯区域中的每个非信号灯像素位置,可以基于第一衰减程度,第二衰减程度和该非信号灯像素位置的色度值进行插值,得到该非信号灯像素位置的目标衰减程度;基于该目标衰减程度对该非信号灯像素位置的色度值进行衰减,得到该非信号灯像素位置的衰减后的色度值。基于该非信号灯像素位置的色度值,该非信号灯像素位置的衰减后的色度值和预先配置的目标光晕抑制强度,确定该非信号灯像素位置的目标色度值。基于信号灯区域中的每个非信号灯像素位置的目标色度值获取光晕抑制图像。
关于第一衰减程度和第二衰减程度的确定方式,可以采用如下方式实现:获取预先配置的第一组控制参数和第二组控制参数,该第一组控制参数用于确定第一衰减程度,该第二组控制参数用于确定第二衰减程度;基于该第一组控制参数确定衰减程度与光晕抑制强度的第一映射关系,基于该第二组控制参数确定衰减程度与光晕抑制强度的第二映射关系。通过目标光晕抑制强度(如位于0与1之间的数值)查询该第一映射关系,得到与该目标光晕抑制强度对应的第一衰减程度,并通过该目标光晕抑制强度查询该第二映射关系,得到与该目标光晕抑制强度对应的第二衰减程度。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,针对待处理区域中每个像素点,可以基于像素点的亮度值和高度值确定该像素点的衰减程度(若亮度值越大,则衰减程度越小,若高度值越大,则衰减程度越小),并基于该像素点的衰减程度对该像素点进行衰减处理,从而有效降低信号灯的光晕,光晕抑制效果真实有效,光晕抑制效果自然逼真,且无明显的人工处理痕迹,使得信号灯的轮廓辨别度得到一定程度的提升,保证待处理区域的成像与周围成像能够进行自然过渡,使得光晕抑制处理后的图像看上去更加自然,提高了图像质量。
综上所述,本申请实施例中,在信号灯的光晕抑制方案中,在Bayer域上,针对图像偏上边沿区域,自上而下,对像素点的亮度值进行衰减,衰减程度与像素点的亮度值及高度值有关,在衰减前可以对像素点进行白平衡校正,在衰减后可以对像素点进行逆白平衡校正。在YUV域上,针对图像偏上边沿区域,自上而下,对像素点的亮度值及色度值进行衰减,衰减程度与像素点的亮度值及高度值有关。在信号灯区域,可以对非信号灯像素位置的色度值进行衰减。
以下结合具体应用场景,对本申请实施例的上述技术方案进行说明。
参见图4所示,为原始图像的示意图,该原始图像可以包括待处理区域和非待处理区域(为了方便描述,将待处理区域之外的区域记为非待处理区域),且该待处理区域包括信号灯区域。在该原始图像中,以左上角点为坐标原点,以水平方向为x坐标轴,以垂直方向为y坐标轴,即,在从上到下的方向上,像素点的高度值依次增加,在从左到右的方向上,像素点的宽度值依次增加。
原始图像的宽度为imgw,原始图像的高度为imgh,即原始图像包括imgw*imgh个像素点,针对第一行的每个像素点,高度值为0,针对第二行的每个像素点,高度值为1,以此类推,针对第imgh行的每个像素点,高度值为imgh-1。
可以从原始图像中确定出信号灯区域(即信号灯的ROI区域),对此确定方式不做限制,该信号灯区域可以为矩形区域,将信号灯区域的左上角点坐标记为roix和roiy,将信号灯区域的宽度记为roiw,将信号灯区域的高度记为roih。
可以从原始图像中确定出待处理区域(即原始图像的偏上边沿区域),待处理区域可以为矩形区域,待处理区域的宽度与原始图像的宽度相同,待处理区域的高度是从第一高度值至第二高度值,即第一高度值至第二高度值之间的区域为待处理区域。第一高度值(即待处理区域中位于最上侧的像素点位置)可以小于或者等于信号灯区域的顶部位置(即信号灯区域中位于最上侧的像素点位置),第二高度值(即待处理区域中位于最下侧的像素点位置)可以大于或者等于信号灯区域的底部位置(即信号灯区域中位于最下侧的像素点位置)。
参见图4所示,待处理区域的第一高度值为0,即原始图像的第一行像素点,待处理区域的第二高度值大于信号灯区域的底部位置,如信号灯区域的底部位置外扩多个像素点。可以将待处理区域的左上角点坐标记为bgx和bgy,将待处理区域的宽度记为bgw,将待处理区域的高度记为bgh。显然,待处理区域的左上角点坐标与原始图像的左上角点坐标相同,因此,bgx和bgy均为0。待处理区域的宽度bgw与原始图像的宽度imgw相同,待处理区域的高度bgh大于信号灯区域的高度roih。显然,待处理区域的高度bgh大于信号灯区域右下角点的纵坐标,即,信号灯区域底部位置所处的高度位置。
参见图4所示,针对待处理区域,在从第一高度值到第二高度值的方向上,待处理区域中的各像素点的高度依次变大。比如说,针对待处理区域的第一行的每个像素点,高度值为0,针对待处理区域的第二行的每个像素点,高度值为1,以此类推,针对待处理区域的第bgh行的每个像素点,高度值为bgh-1。
在一种可能的实施方式中,可以对待处理区域和/或信号灯区域进行光晕抑制,在对待处理区域进行光晕抑制时,可以基于Bayer域和YUV域对待处理区域进行光晕抑制。参见图5所示,可以先对待处理区域进行Bayer域的光晕抑制,然后对待处理区域进行YUV域的光晕抑制,然后对信号灯区域进行光晕抑制。
示例性的,关于上述各种光晕抑制方式的执行顺序,可以根据实际需要进行设置,对此不做限制,如先对待处理区域进行Bayer域的光晕抑制,然后对信号灯区域进行光晕抑制,然后对待处理区域进行YUV域的光晕抑制。
当然,图5只是示例,对此光晕抑制过程不做限制,比如说,只对待处理区域进行Bayer域的光晕抑制。又例如,只对待处理区域进行YUV域的光晕抑制。又例如,可以只对信号灯区域进行光晕抑制。又例如,可以对待处理区域进行Bayer域的光晕抑制,并对待处理区域进行YUV域的光晕抑制。又例如,可以对待处理区域进行Bayer域的光晕抑制,对信号灯区域进行光晕抑制。又例如,可以对待处理区域进行YUV域的光晕抑制,对信号灯区域进行光晕抑制。
为了方便描述,本文以图5所示的光晕抑制过程为例进行说明。
对待处理区域进行Bayer域的光晕抑制:在得到原始图像(即监控设备采集的图像)后,基于原始图像得到Bayer图像(若监控设备采集的原始图像为Bayer图像,则基于原始图像进行后续处理,若原始图像不为Bayer图像,则将原始图像转换为Bayer图像后进行后续处理),选定Bayer图像的待处理区域作为光晕抑制的处理对象,对待处理区域的每个像素点进行Bayer域的光晕抑制处理。参见图6A所示,为对待处理区域的每个像素点进行光晕抑制的示意图,包括:
步骤601,针对待处理区域中的每个像素点,对该像素点进行白平衡校正。
示例性的,可以先获取Bayer图像对应的白平衡Gain(增益)值,如rGain、gGain和bGain,白平衡Gain值与像素点所属红绿蓝通道属性有关,对此白平衡Gain值的获取方式不做限制。比如说,如果是处理连续视频,则可以使用前一视频帧的白平衡Gain值作为当前帧的白平衡Gain值,否则,可以通过白平衡信息统计,计算得到Bayer图像对应的白平衡Gain值,对此计算方式不做限制。
在得到白平衡Gain值后,可以通过该白平衡Gain值对像素点进行白平衡校正,对此白平衡校正过程不做限制,得到白平衡校正后的像素点。
步骤602,基于该像素点的亮度衰减程度,对白平衡校正后的像素点的亮度值进行衰减处理,得到该像素点的衰减处理后的亮度值。
示例性的,针对待处理区域中的每个像素点,需要确定该像素点的亮度衰减程度,像素点的亮度衰减程度与像素点的亮度值成反比,比如说,像素点的亮度值越大,则该像素点的衰减程度越小,像素点的亮度值越小,则该像素点的衰减程度越大,参见图6B所示,为亮度衰减程度与亮度值的映射关系示意图。
像素点的亮度衰减程度与像素点的亮度值成反比,其原因在于:信号灯处于点亮状态,且为夜晚时间段时,容易引起信号灯的光晕问题,在这个条件下,信号灯对应的Bayer图像的像素值具有高亮属性,因此,在Bayer域进行光晕抑制时,需要尽量使信号灯的Bayer像素值保持不变,即确保信号灯的高亮像素点的亮度尽量不衰减,因此,像素点的亮度值越大,则像素点的衰减程度越小。
示例性的,针对待处理区域中的每个像素点,需要确定该像素点的亮度衰减程度,像素点的亮度衰减程度与像素点的高度值成反比,比如说,像素点的高度值越大,则该像素点的衰减程度越小,像素点的高度值越小,则该像素点的衰减程度越大,参见图6C所示,为亮度衰减程度与高度值的映射关系示意图。
像素点的亮度衰减程度与像素点的高度值成反比,其原因在于:由于非待处理区域未进行光晕抑制,因此,在对待处理区域进行光晕抑制时,为了确保待处理区域与非待处理区域能够进行平滑过渡,具有自然渐变的效果,符合人眼视觉的自然感受,则像素点的高度值越大时,该像素点的亮度衰减程度越小。
参见图6C所示,在亮度衰减程度与高度值的映射关系中,引入最大衰减程度,即多个高度值对应同一个亮度衰减程度,该亮度衰减程度为最大衰减程度。引入最大衰减程度的原因是,防止最上方部分出现像素值全为0的异常情况。
在一种可能的实施方式中,亮度衰减程度与亮度值和高度值可以具有映射关系,参见表1所示,为该映射关系的示例,针对同一个亮度值,当高度值越大时,亮度衰减程度越小,针对同一个高度值,当亮度值越大时,亮度衰减程度越小。基于此,针对待处理区域中的每个像素点,可以基于该像素点的亮度值和高度值查询表1所示的映射关系,得到该像素点的亮度衰减程度。
在另一种可能的实施方式中,亮度衰减程度与亮度值可以具有映射关系,参见图6B所示,为该映射关系的示例,当亮度值越大时,亮度衰减程度越小。亮度衰减程度与高度值可以具有映射关系,参见图6C所示,为该映射关系的示例,当高度值越大时,亮度衰减程度越小。基于此,针对待处理区域中的每个像素点,基于该像素点的亮度值查询图6B所示的映射关系,得到该像素点的衰减程度(为了区分方便,将该衰减程度记为衰减程度1),可以基于该像素点的高度值查询图6C所示的映射关系,得到该像素点的衰减程度(为了区分方便,将该衰减程度记为衰减程度2)。基于衰减程度1和衰减程度2得到该像素点的亮度衰减程度。例如,亮度衰减程度可以为衰减程度1和衰减程度2的乘积。
当然,上述方式只是确定亮度衰减程度的两个示例,对此不做限制,只要能够根据像素点的亮度值和高度值,确定该像素点的亮度衰减程度即可。
针对待处理区域中的每个像素点,在得到该像素点的亮度衰减程度后,就可以基于该像素点的亮度衰减程度,对该像素点的亮度值(即白平衡校正后的亮度值)进行衰减处理,得到该像素点的衰减处理后的亮度值,对此衰减处理方式不做限制。比如说,衰减处理后的亮度值可以为白平衡校正后的亮度值乘以亮度衰减程度,该亮度衰减程度可以为位于0与1之间的数值。
步骤603,对衰减处理后的像素点进行逆白平衡校正。
示例性的,可以先获取Bayer图像对应的逆白平衡Gain值,如1/rGain、1/gGain或1/bGain,对此逆白平衡Gain值的获取方式不做限制。在得到逆白平衡Gain值后,针对待处理区域中的每个衰减处理后的像素点,可以通过逆白平衡Gain值对该像素点进行逆白平衡校正,对此逆白平衡校正过程不做限制。
在上述实施例中,Bayer图像的数据阵列的排列方式一般有RGGB、BGGR、GBRG和GRBG等四种模式,因此,待处理区域的宽度和高度可以是偶数。
在一种可能的实施方式中,基于上述处理,可以对待处理区域的Bayer域实现光晕抑制,将待处理区域与非待处理区域拼合在一起,形成完整的Bayer域全局图像,再对Bayer域全局图像进行ISP处理,输出YUV域全局图像。基于YUV域全局图像,可以对待处理区域进行YUV域的光晕抑制,以下进行说明。
对待处理区域进行YUV域的光晕抑制:在Bayer域的光晕抑制处理后,为了提高光晕抑制效果,还可以在YUV域进行光晕抑制处理。例如,选定YUV域全局图像的待处理区域作为光晕抑制的处理对象,并对待处理区域的每个像素点进行YUV域的光晕抑制处理。参见图7所示,该过程包括:
步骤701,针对待处理区域中的每个像素点,基于该像素点的亮度衰减程度,对该像素点的亮度值进行衰减处理,得到该像素点的衰减处理后的亮度值。
示例性的,针对待处理区域中的每个像素点,确定该像素点的亮度衰减程度,像素点的亮度衰减程度与像素点的亮度值成反比,即像素点的亮度值越大,则该像素点的亮度衰减程度越小,像素点的亮度衰减程度与像素点的高度值成反比,即像素点的高度值越大,则该像素点的亮度衰减程度越小。在得到该像素点的亮度衰减程度后,基于该像素点的亮度衰减程度,对该像素点的亮度值进行衰减处理,得到该像素点的衰减处理后的亮度值,对此衰减过程不做限制。
示例性的,步骤701可以参见步骤602,在此不再赘述。
步骤702,针对待处理区域中的每个像素点,基于该像素点的色度衰减程度,对该像素点的色度值进行衰减处理,得到该像素点的衰减处理后的色度值。
示例性的,针对待处理区域中的每个像素点,确定该像素点的色度衰减程度,像素点的色度衰减程度与像素点的亮度值成反比,即像素点的亮度值越大,则该像素点的色度衰减程度越小,像素点的色度衰减程度与像素点的高度值成反比,即像素点的高度值越大,则该像素点的色度衰减程度越小。在得到该像素点的色度衰减程度后,基于该像素点的色度衰减程度,对该像素点的色度值进行衰减处理,得到该像素点的衰减处理后的色度值,对此衰减过程不做限制。
示例性的,色度衰减程度的确定方式与亮度衰减程度的确定方式类似,即,色度衰减程度的确定方式也可以参见步骤602,在此不再重复赘述。
在一种可能的实施方式中,可以采用公式(1)和公式(2)对像素点的色度值进行衰减处理,当然,公式(1)和公式(2)只是示例。
uout=clip((uin-128)*(1-duv)+128,0,255) 公式(1)
vout=clip((vin-128)*(1-duv)+128,0,255) 公式(2)
在公式(1)和公式(2)中,uin和vin为像素点的色度值(原色度值),uout和vout为像素点的衰减处理后的色度值,duv为色度衰减程度。像素点的色度衰减程度与像素点的亮度衰减程度可以相同,clip(·)为值域截断处理操作。
在得到像素点的衰减处理后的亮度值和衰减处理后的色度值后,基于衰减处理后的亮度值和衰减处理后的色度值得到该像素点的像素值,基于待处理区域中的所有像素点的像素值可以得到衰减处理后的待处理区域。将衰减处理后的待处理区域和非待处理区域拼合在一起,形成完整的YUV域全局图像,即目标图像。
对信号灯区域进行光晕抑制:在Bayer域和YUV域的光晕抑制后,为了提高光晕抑制效果,还可以对信号灯区域进行光晕抑制。例如,选定目标图像(即YUV域全局图像)的信号灯区域作为光晕抑制的处理对象,对信号灯区域的每个非信号灯像素点(为了与上述像素点进行区分,后续记为非信号灯像素位置)进行光晕抑制。参见图8A所示,为光晕抑制的示意图,该过程包括:
步骤S1,获取预先配置的第一组控制参数和第二组控制参数,该第一组控制参数用于确定第一衰减程度,该第二组控制参数用于确定第二衰减程度。
示例性的,第一组控制参数可以记为uv0_param,第一组控制参数可以包括{h10,h20,d10,d20,d30},第一组控制参数中的参数值可以根据经验配置,对此不做限制。第一组控制参数用于确定第一衰减程度duv0,第一衰减程度duv0也可以称为衰减程度节点duv0,第一衰减程度是一个衰减值,表示对像素位置的色度值进行衰减时,采用第一衰减程度对像素位置的色度值进行衰减,衰减方式可以采用公式(1)或公式(2)。
第二组控制参数可以记为uv128_param,且该第二组控制参数可以包括{h1128,h2128,d1128,d2128,d3128},第二组控制参数中的参数值可以根据经验配置,对此不做限制。第二组控制参数用于确定第二衰减程度duv128,第二衰减程度duv128称为衰减程度节点duv128,第二衰减程度是一个衰减值,表示对像素位置的色度值进行衰减时,采用第二衰减程度对像素位置的色度值进行衰减,衰减方式可以采用公式(1)或公式(2)。
示例性的,第二衰减程度可以大于第一衰减程度,因此,在预先配置第一组控制参数和第二组控制参数时,只要基于第二组控制参数确定的第二衰减程度,能够大于基于第一组控制参数确定的第一衰减程度即可。
在第一组控制参数的参数值中,h10和h20用于表示光晕抑制强度,h10可以小于h20,h10为大于或者等于0,且小于1的数值,h20为大于0,且小于或者等于1的数值,h10和h20均可以根据经验进行配置,对此不做限制。d10,d20和d30是衰减程度的三个取值点,d10可以小于d20,d20可以小于d30,d10为大于或者等于0,且小于1的数值,d20为大于0,且小于1的数值,d30为大于0,且小于或者等于1的数值,d10,d20和d30均可以根据经验配置,对此不做限制。
在第二组控制参数的参数值中,h1128和h2128用于表示光晕抑制强度,h1128小于h2128,h1128为大于或者等于0,且小于1的数值,h2128为大于0,且小于或者等于1的数值,h1128和h2128均可根据经验进行配置,对此不做限制。d1128,d2128和d3128是衰减程度的三个取值点,d1128小于d2128,d2128小于d3128,d1128为大于或者等于0,且小于1的数值,d2128为大于0,且小于1的数值,d1128为大于0,且小于或者等于1的数值,d1128,d2128和d3128均可以根据经验配置,对此不做限制。
步骤S2,基于第一组控制参数确定衰减程度与光晕抑制强度的第一映射关系,基于第二组控制参数确定衰减程度与光晕抑制强度的第二映射关系。
比如说,参见图8B所示,为衰减程度与光晕抑制强度的映射关系的示意图,基于第一组控制参数,将h10作为h1,将h20作为h2,将d10作为d1,将d20作为d2,将d30作为d3,就可以得到衰减程度与光晕抑制强度的第一映射关系,该第一映射关系可以参见图8B所示。同理,基于第二组控制参数,将h1128作为h1,将h2128作为h2,将d1128作为d1,将d2128作为d2,将d3128作为d3,可以得到衰减程度与光晕抑制强度的第二映射关系,该第二映射关系可以参见图8B所示。
步骤S3,通过目标光晕抑制强度查询该第一映射关系,得到与该目标光晕抑制强度对应的第一衰减程度duv0,并通过该目标光晕抑制强度查询该第二映射关系,得到与该目标光晕抑制强度对应的第二衰减程度duv128。
示例性的,可以预先配置目标光晕抑制强度,目标光晕抑制强度是位于0与1之间的数值,即大于或者等于0,且小于或者等于1,对此目标光晕抑制强度不做限制。将目标光晕抑制强度记为halo_str,将目标光晕抑制强度作为横坐标值,查询图8B所示的第一映射关系,与该目标光晕抑制强度对应的纵坐标值,就是与该目标光晕抑制强度对应的第一衰减程度duv0。同理,将目标光晕抑制强度作为横坐标值,查询图8B所示的第二映射关系,与该目标光晕抑制强度对应的纵坐标值,就是与该目标光晕抑制强度对应的第二衰减程度duv128。
综上所述,基于预先配置的目标光晕抑制强度halo_str,可以得到第一衰减程度duv0和第二衰减程度duv128,参见图8B所示。图8B中横坐标代表光晕抑制强度,纵坐标表示衰减程度的映射范围。随着目标光晕抑制强度halo_str越来越大,衰减程度越来越大,即衰减程度越来越接近于1。
步骤S4,针对信号灯区域中的每个非信号灯像素位置,基于第一衰减程度duv0,第二衰减程度duv128和该非信号灯像素位置的色度值uv_in(即原色度值)进行插值,得到该非信号灯像素位置的目标衰减程度;基于该目标衰减程度对该非信号灯像素位置的色度值进行uv_in衰减,得到该非信号灯像素位置的衰减后的色度值,将该非信号灯像素位置的衰减后的色度值记为uv_new。
示例性的,基于第一衰减程度duv0,第二衰减程度duv128和色度值uv_in,可以采用如下公式得到目标衰减程度duv_in:duv_in=duv0+(duv128-duv0)*|uv_in-128|/128。当然,上述只是得到目标衰减程度duv_in的示例,对此插值过程不做限制。
在得到目标衰减程度duv_in后,可以基于目标衰减程度duv_in对该非信号灯像素位置的色度值进行uv_in衰减,得到插值后的色度值uv_new,具体方式参见公式(1)或者公式(2)所示,在此不再重复赘述。
步骤S5,针对信号灯区域中的每个非信号灯像素位置,基于该非信号灯像素位置的色度值,该非信号灯像素位置的衰减后的色度值和预设的目标光晕抑制强度,确定该非信号灯像素位置的目标色度值,该非信号灯像素位置的目标色度值就是该非信号灯像素位置的光晕抑制处理后的色度值uv_out。
比如说,可以对该非信号灯像素位置的色度值uv_in和该非信号灯像素位置的衰减后的色度值uv_new进行加权融合,得到该非信号灯像素位置的目标色度值uv_out。在对色度值uv_in和色度值uv_new进行加权融合时,色度值uv_new的权重系数记为alpha,色度值uv_in的权重系数记为1-alpha。比如说,权重系数alpha可以为目标光晕抑制强度halo_str,即,色度值uv_new的权重系数可以为halo_str,因此,色度值uv_in的权重系数可以为1-halo_str。
示例性的,为了使信号灯区域与非信号灯区域进行平滑过渡,权重系数alpha在信号灯区域四周边界处需要进行由halo_str渐变到0的过渡处理。
由以上技术方案可见,本申请实施例中,针对待处理区域中每个像素点,可以基于像素点的亮度值和高度值确定该像素点的衰减程度(若亮度值越大,则衰减程度越小,若高度值越大,则衰减程度越小),并基于该像素点的衰减程度对该像素点进行衰减处理,从而有效降低信号灯的光晕,光晕抑制效果真实有效,光晕抑制效果自然逼真,且无明显的人工处理痕迹,使得信号灯的轮廓辨别度得到一定程度的提升,保证待处理区域的成像与周围成像能够进行自然过渡,使得光晕抑制处理后的图像看上去更加自然,提高了图像质量。
在上述实施例中,Bayer域光晕抑制主要是完成待处理区域像素点的亮度抑制,YUV域光晕抑制主要是减弱ISP处理后待处理区域像素点的亮度和色度,信号灯区域光晕抑制主要是降低信号灯区域的非信号灯像素位置的色度饱和度。经过Bayer域、YUV域和信号灯区域的光晕抑制后,光晕得到很好抑制,信号灯轮廓辨别度也得到一定程度的提升。上述方式利用电警场景特点,有效降低信号灯光晕,具有普适性,计算复杂度低,实现简单有效,易于推广落地。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理装置,参见图9A所示,为所述图像处理装置的结构示意图,所述装置可以包括:
确定模块911,用于从原始图像中确定出待处理区域,待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;处理模块912,用于基于所述像素点的衰减程度对所述像素点进行衰减处理;获取模块913,用于基于待处理区域中的每个衰减处理后的像素点获取目标图像。
示例性的,所述处理模块912基于所述像素点的衰减程度对所述像素点进行衰减处理时具体用于:若所述衰减程度为亮度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理;或者,若所述衰减程度为色度衰减程度,则基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理;或者,若所述衰减程度为亮度衰减程度和色度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理。
所述处理模块912基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理时具体用于:对所述像素点进行白平衡校正;基于所述像素点的亮度衰减程度对所述像素点的白平衡校正后的亮度值进行衰减处理,得到所述像素点的衰减处理后的亮度值;对衰减处理后的像素点进行逆白平衡校正。
所述处理模块912基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理时具体用于:基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的YUV域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值以及YUV域的亮度值进行衰减处理。
示例性的,所述处理模块912基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理时具体用于:基于所述像素点的色度衰减程度,对所述像素点的YUV域的色度值进行衰减处理。
示例性的,所述处理模块912还用于:针对所述目标图像的信号灯区域中的每个非信号灯像素位置,基于第一衰减程度,第二衰减程度和所述非信号灯像素位置的色度值进行插值,得到所述非信号灯像素位置的目标衰减程度;基于所述目标衰减程度对所述非信号灯像素位置的色度值进行衰减,得到所述非信号灯像素位置的衰减后的色度值;
基于所述非信号灯像素位置的色度值,所述非信号灯像素位置的衰减后的色度值和预设的目标光晕抑制强度,确定所述非信号灯像素位置的目标色度值;
基于所述每个非信号灯像素位置的目标色度值获取光晕抑制图像。
所述处理模块912还用于:获取预先配置的第一组控制参数和第二组控制参数,所述第一组控制参数用于确定第一衰减程度,所述第二组控制参数用于确定第二衰减程度;基于所述第一组控制参数确定衰减程度与光晕抑制强度的第一映射关系,基于所述第二组控制参数确定衰减程度与光晕抑制强度的第二映射关系;通过目标光晕抑制强度查询所述第一映射关系,得到与所述目标光晕抑制强度对应的第一衰减程度,并通过所述目标光晕抑制强度查询所述第二映射关系,得到与所述目标光晕抑制强度对应的第二衰减程度。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理设备,参见图9B所示,所述图像处理设备包括:处理器921和机器可读存储介质922,所述机器可读存储介质922存储有能够被所述处理器921执行的机器可执行指令;所述处理器921用于执行机器可执行指令,以实现如下步骤:
从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
基于所述像素点的衰减程度对所述像素点进行衰减处理;
基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的图像处理方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
基于所述像素点的衰减程度对所述像素点进行衰减处理;
基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。
2.根据权利要求1所述的方法,其特征在于,
所述基于所述像素点的衰减程度对所述像素点进行衰减处理,包括:
若所述衰减程度为亮度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理;或者,
若所述衰减程度为色度衰减程度,则基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理;或者,
若所述衰减程度为亮度衰减程度和色度衰减程度,则基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理。
3.根据权利要求2所述的方法,其特征在于,所述基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,包括:
对所述像素点进行白平衡校正;
基于所述像素点的亮度衰减程度对所述像素点的白平衡校正后的亮度值进行衰减处理,得到所述像素点的衰减处理后的亮度值;
对衰减处理后的像素点进行逆白平衡校正。
4.根据权利要求2所述的方法,其特征在于,所述基于所述像素点的亮度衰减程度对所述像素点的亮度值进行衰减处理,包括:
基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的YUV域的亮度值进行衰减处理;或者,基于所述像素点的亮度衰减程度,对所述像素点的Bayer域的亮度值以及YUV域的亮度值进行衰减处理。
5.根据权利要求2所述的方法,其特征在于,所述基于所述像素点的色度衰减程度对所述像素点的色度值进行衰减处理,包括:基于所述像素点的色度衰减程度,对所述像素点的YUV域的色度值进行衰减处理。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述待处理区域为矩形区域,所述待处理区域的宽度与所述原始图像的宽度相同,所述待处理区域的高度是从第一高度至第二高度;其中,所述第一高度小于或者等于所述信号灯区域的顶部位置,所述第二高度大于或者等于所述信号灯区域的底部位置;在从所述第一高度到所述第二高度的方向上,各像素点的高度依次变大。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述待处理区域中的每个衰减处理后的像素点获取目标图像之后,所述方法还包括:
针对所述目标图像的信号灯区域中的每个非信号灯像素位置,基于第一衰减程度,第二衰减程度和所述非信号灯像素位置的色度值进行插值,得到所述非信号灯像素位置的目标衰减程度;基于所述目标衰减程度对所述非信号灯像素位置的色度值进行衰减,得到所述非信号灯像素位置的衰减后的色度值;
基于所述非信号灯像素位置的色度值,所述非信号灯像素位置的衰减后的色度值和预设的目标光晕抑制强度,确定所述非信号灯像素位置的目标色度值;
基于所述每个非信号灯像素位置的目标色度值获取光晕抑制图像。
8.根据权利要求7所述的方法,其特征在于,
所述基于第一衰减程度,第二衰减程度和所述非信号灯像素位置的色度值进行插值,得到所述非信号灯像素位置的目标衰减程度之前,还包括:
获取预先配置的第一组控制参数和第二组控制参数,所述第一组控制参数用于确定第一衰减程度,所述第二组控制参数用于确定第二衰减程度;
基于所述第一组控制参数确定衰减程度与光晕抑制强度的第一映射关系,基于所述第二组控制参数确定衰减程度与光晕抑制强度的第二映射关系;
通过目标光晕抑制强度查询所述第一映射关系,得到与所述目标光晕抑制强度对应的第一衰减程度,并通过所述目标光晕抑制强度查询所述第二映射关系,得到与所述目标光晕抑制强度对应的第二衰减程度。
9.一种图像处理装置,其特征在于,所述装置包括:
确定模块,用于从原始图像中确定出待处理区域,待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
处理模块,用于基于所述像素点的衰减程度对所述像素点进行衰减处理;
获取模块,用于基于待处理区域中的每个衰减处理后的像素点获取目标图像。
10.一种图像处理设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
从原始图像中确定出待处理区域,所述待处理区域包括信号灯区域;针对所述待处理区域中的每个像素点,基于所述像素点的亮度值和高度值确定所述像素点的衰减程度;其中,若所述像素点的亮度值越大,则所述像素点的衰减程度越小,若所述像素点的高度值越大,则所述像素点的衰减程度越小;
基于所述像素点的衰减程度对所述像素点进行衰减处理;
基于所述待处理区域中的每个衰减处理后的像素点获取目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321175.4A CN112419187B (zh) | 2020-11-23 | 2020-11-23 | 一种图像处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321175.4A CN112419187B (zh) | 2020-11-23 | 2020-11-23 | 一种图像处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419187A true CN112419187A (zh) | 2021-02-26 |
CN112419187B CN112419187B (zh) | 2023-08-25 |
Family
ID=74778673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011321175.4A Active CN112419187B (zh) | 2020-11-23 | 2020-11-23 | 一种图像处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419187B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082338A (zh) * | 2022-06-21 | 2022-09-20 | 苏州市科远软件技术开发有限公司 | 图像处理方法、系统、设备及存储介质 |
CN116030437A (zh) * | 2023-03-29 | 2023-04-28 | 山东杨嘉汽车制造有限公司 | 基于图像处理的挂车角度识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6453068B1 (en) * | 1999-09-17 | 2002-09-17 | Xerox Corporation | Luminance enhancement with overshoot reduction control based on chrominance information |
CN105427639A (zh) * | 2015-12-18 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种基于嵌入式系统的交通信号红灯减光晕系统以及方法 |
CN106651797A (zh) * | 2016-12-08 | 2017-05-10 | 浙江宇视科技有限公司 | 一种信号灯有效区域的确定方法和装置 |
CN107507142A (zh) * | 2017-08-11 | 2017-12-22 | 江苏航天大为科技股份有限公司 | 信号灯图像处理方法 |
US20200058111A1 (en) * | 2018-08-20 | 2020-02-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image Processing Method, Storage Medium, and Electronic Apparatus |
CN111641806A (zh) * | 2020-05-11 | 2020-09-08 | 浙江大华技术股份有限公司 | 光晕抑制的方法、设备、计算机设备和可读存储介质 |
-
2020
- 2020-11-23 CN CN202011321175.4A patent/CN112419187B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6453068B1 (en) * | 1999-09-17 | 2002-09-17 | Xerox Corporation | Luminance enhancement with overshoot reduction control based on chrominance information |
CN105427639A (zh) * | 2015-12-18 | 2016-03-23 | 杭州中威电子股份有限公司 | 一种基于嵌入式系统的交通信号红灯减光晕系统以及方法 |
CN106651797A (zh) * | 2016-12-08 | 2017-05-10 | 浙江宇视科技有限公司 | 一种信号灯有效区域的确定方法和装置 |
CN107507142A (zh) * | 2017-08-11 | 2017-12-22 | 江苏航天大为科技股份有限公司 | 信号灯图像处理方法 |
US20200058111A1 (en) * | 2018-08-20 | 2020-02-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image Processing Method, Storage Medium, and Electronic Apparatus |
CN111641806A (zh) * | 2020-05-11 | 2020-09-08 | 浙江大华技术股份有限公司 | 光晕抑制的方法、设备、计算机设备和可读存储介质 |
Non-Patent Citations (2)
Title |
---|
YAO WANG,FANGFA FU,ET.AL: "Haze removal algorithm based on single-images with chromatic properties", SIGNAL PROCESSING:IMAGE COMMUNICATION * |
汤春明,曹志升等: "基于大气反射-散射模型的复原图像中交通视频车灯检测", 自动化学报 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082338A (zh) * | 2022-06-21 | 2022-09-20 | 苏州市科远软件技术开发有限公司 | 图像处理方法、系统、设备及存储介质 |
CN116030437A (zh) * | 2023-03-29 | 2023-04-28 | 山东杨嘉汽车制造有限公司 | 基于图像处理的挂车角度识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112419187B (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103093429B (zh) | 图像增强方法 | |
US20190035064A1 (en) | Multiplexed High Dynamic Range Images | |
US20090091661A1 (en) | Video Auto Enhancing Algorithm | |
CN107507142B (zh) | 信号灯图像处理方法 | |
CN105812674A (zh) | 一种信号灯的颜色修正方法、监控方法及装置 | |
CN103455979A (zh) | 一种低照度视频图像增强方法 | |
CN112907497B (zh) | 图像融合方法以及图像融合装置 | |
CN111161188B (zh) | 降低图像色彩噪声的方法、计算机装置及可读存储介质 | |
CN112419187A (zh) | 一种图像处理方法、装置及设备 | |
CN114173062B (zh) | 摄像设备图像处理方法、装置、设备和存储介质 | |
CN113421195B (zh) | 一种图像处理方法、装置及设备 | |
US11153546B2 (en) | Low-light imaging system | |
CN111641806A (zh) | 光晕抑制的方法、设备、计算机设备和可读存储介质 | |
JP6478138B2 (ja) | 画像処理装置、撮像装置、画像処理プログラム、画像処理方法 | |
KR20130012749A (ko) | 환경 자동 적응 비디오 인핸서 및 비디오 이미지의 처리 방법 | |
US20100194991A1 (en) | Apparatus and method for auto white balance control considering the effect of single tone image | |
US20200029016A1 (en) | Moving object monitoring device and moving object monitoring system | |
CN113222869A (zh) | 一种图像处理方法 | |
US20130142441A1 (en) | Information processing apparatus and method | |
CN111225278A (zh) | 低照度下视频的增强方法及装置 | |
US20150201168A1 (en) | Imaging device, imaging method, image processing device, and recording medium storing imaging program | |
CN112950484B (zh) | 一种对摄影影像进行颜色污染祛除的方法 | |
CN105321153A (zh) | 视频监控低照度图像色彩还原方法和装置 | |
CN113888434A (zh) | 一种沙尘图像增强方法 | |
US9135684B2 (en) | Systems and methods for image enhancement by local tone curve mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |