CN113935911A - 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 - Google Patents
高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113935911A CN113935911A CN202111131866.2A CN202111131866A CN113935911A CN 113935911 A CN113935911 A CN 113935911A CN 202111131866 A CN202111131866 A CN 202111131866A CN 113935911 A CN113935911 A CN 113935911A
- Authority
- CN
- China
- Prior art keywords
- value
- color value
- dynamic range
- rgb color
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000003708 edge detection Methods 0.000 claims abstract description 10
- 230000006835 compression Effects 0.000 claims description 28
- 238000007906 compression Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种高动态范围视频图像处理方法、计算机装置及计算机可读存储介质,该方法包括统计输入图像的局部亮度信息,对输入图像进行边缘检测,获取每一像素的边缘强度权重值;将输入图像划分为多个区域,计算每一区域的区域暗部值,计算每一像素的暗部强度值;对输入图像进行边缘增强,对边缘增强后的图像进行色彩空间转换,进行电光转换;对RGB色彩值数据进行局部亮度截取:根据监视器的最大亮度值对RGB色彩值数据进行截取;对截取后的RGB色彩值数据进行色域变换,并进行色调映射,将色调映射后的RGB色彩值数据进行光电转换。本发明还提供实现上述方法的计算机装置及计算机可读存储介质。本发明能够提升高动态范围视频图像转换后的质量。
Description
技术领域
本发明涉及图像处理的领域,具体地,是一种对高动态范围视频图像进行压缩处理的方法,还涉及实现该方法的计算机装置及计算机可读存储介质。
背景技术
随着电子设备的显示技术的发展,用户对电子设备的图像显示要求越来越高,其中,图像的动态范围(Dynamic Range)往往是用于评价图像显示质量的一个参数。图像的动态范围是指在数字图像处理领域中指一幅图像可表示的亮度级别的最大值和最小值之间的比例。亮度单位为坎德拉每平方米(d/m2)或称尼特(nit)。图像的亮度动态范围越大,图像的对比度越高,能够显示的细节越多,图像越能展现真实场景。
现在的视频图像大多为标准动态范围(Standard Dynamic Range)的视频图像,能够展示0.0002尼特到200尼特的亮度范围。但是这个动态范围远远低于人眼所能识别的动态范围,为了让图像的显示效果更逼真,高动态范围(High Dynamic Range)技术逐渐推广应用,高动态范围的视频图像一般能够表示0.001尼特到10000尼特的亮度范围,可以展现更多的颜色,更宽的色域,记录更多的细节。
高动态范围的视频需要使用高动态范围的显示器才能够正确地显示高动态范围视频的效果。然而目前大多数家庭使用的显示器都是传统的标准动态范围显示器,这种显示器的最大亮度只能达到200尼特到300尼特,显示的色域较窄,无法正确地显示高动态范围的视频图像。
为此,需要通过图像动态范围压缩技术将高动态范围的视频图像转换成适合于普通家庭使用的显示器能够显示的视频图像。目前主流的图像动态范围压缩算法主要对图像进行色调映射、色域映射等处理,图像动态范围压缩算法主要分为全局动态范围压缩算法、局部动态范围压缩算法和混合动态范围压缩算法三大类。全局动态范围压缩算法对整幅图采用相同的动态范围压缩算子,这种方法具有速度快、效率高、鲁棒性强的优点,缺点是压缩后的图像的对比度较低,图像细节不如采用局部动态范围压缩算法的优秀。局部动态范围压缩算法将图像划分为多个区域,然后对每个区域进行信息统计,最后根据统计信息对每一个区域的图像采取不同的动态范围压缩算子,这种方法能够更好地保留图像的细节,局部对比度较高,但缺点是算法计算量较大,容易产生光晕,抖动现象。混合动态范围压缩算法结合了全局与局部的方法,在保留图像细节的同时最大程度地避免光晕现象。
目前普通采用的动态范围压缩技术大多包括图像细节增强、色调映射、色域映射三种技术。其中,图像细节增强技术通过采用模糊滤波的方法,将图像分为基本图像与细节图像,将基本图像进行色调映射和色域映射后重新与细节图像结合,达到防止色调映射压缩图像细节的问题,例如中国发明专利申请CN201610798065.4、CN200810188656.5所公开的方案。另外,中国发明专利申请CN201480009785.7则公开了采用对色调映射前后的图像做差的方法得到细节图像,然后将此细节图像与原图像重新结合,得到新的图像。上述方法都能达到图像细节增强的目的,然而都没有考虑到噪声的影响。
又例如,中国发明专利申请CN20140009785.7的方案将根据整幅图像的统计信息对曲线进行修改,而中国发明专利申请CN201210572466和CN201610950433.2所公开的方案则通过局部的信息对曲线进行修改。另外,在色域映射方面,现有的技术大多采用一个简单的矩阵乘法来实现,如中国发明专利申请CN201680069324.8所公开的方案。然而矩阵乘法的截取会带来颜色失真的问题。
此外,中国发明专利申请CN201480009785.7、CN200810188656.5、CN201680069324.8也公开了几种高动态范围图像的处理方法,其中一些方法是采用混合高动态范围压缩方法,并采用细节增强、色域映射、色调映射的方式对图像进行处理,但这几种方法均没有考虑处理后的图像出现对比度不足,尤其是对于暗部区域细节显示不清楚,这几种方法并没有涉及对图像的暗部处理,导致处理后的图像质量不理想,甚至出现图像色彩失真的问题。
发明内容
本发明的第一目的是提供一种能够提高图像对比度并确保图像在暗区细节的清晰度的高动态范围视频图像处理方法。
本发明的第二目的是提供一种实现上述运行装置高动态范围视频图像处理方法的计算机装置。
本发明的第三目的是提供一种实现上述运行装置高动态范围视频图像处理方法的计算机可读存储介质。
为实现本发明的主要目的,本发明提供的高动态范围视频图像处理方法包括获取输入图像;统计输入图像的局部亮度信息,对输入图像进行边缘检测,获取每一像素的边缘强度权重值;将输入图像划分为多个相互不重叠的区域,计算每一区域的区域暗部值,应用多个区域的暗部值计算每一像素的暗部强度值;对输入图像进行边缘增强,对边缘增强后的图像进行色彩空间转换,并进行电光转换,获得线性光信号的RGB色彩值数据;对RGB色彩值数据进行局部亮度截取:根据监视器的最大亮度值对RGB色彩值数据进行截取;对截取后的RGB色彩值数据进行色域变换,并进行色调映射,将色调映射后的RGB色彩值数据进行光电转换,形成输出图像的输出色彩值。
由上述方案可见,由于对图像进行边缘增强处理,可以对图像中的边缘区域进行增强,提升图像的对比度。另外,通过对RGB色彩值数据进行局部亮度截取,根据不同监视器的最大亮度值对RGB色彩值进行截取后,可以增加图像的暗部细节,使得图像的暗部细节能够很好的保留下来,提升处理后的图像质量。
一个优选的方案是,对输入图像进行边缘增强包括:计算输入图像的原始色彩值与滤波后的色彩值的差值,获得细节图像色彩值,应用细节图像色彩值、原始色彩值以及边缘强度权重值计算每一像素经过边缘增强后的色彩值。
由此可见,通过细节图像色彩值、原始色彩值以及边缘强度权重值计算每一像素经过边缘增强后的色彩值,能够提升图像边缘处的细节清晰度,从而使得图像的细节更加清晰。
进一步的方案是,对RGB色彩值数据进行局部亮度截取包括:根据监视器的最大亮度值,将RGB色彩值数据按比例归一化至预设的范围区间内。
可见,依据监视器的最大亮度值对RGB色彩值数据进行处理,使得最终输出的图像能够适用于监视器的显示性能,图像的失真较少。
更进一步的方案是,将RGB色彩值数据按比例归一化至预设的范围区间内时,计算RGB色彩值数据与最大亮度值基准值的比值,其中,最大亮度值基准值是动态调整的:根据每一像素的暗部强度值对监视器的最大亮度值进行调整,获得最大亮度值基准值。
由此可见,通过对最大亮度值基准值的动态调整,使得归一化后的RGB色彩值数据更加适应于图像的暗区情况,能够提升暗部区域的细节清晰度。
一个优选的方案是,对截取后的RGB色彩值数据进行色域变换包括:应用乘法矩阵将截取后的RGB色彩值数据转换成目标色域的RGB色彩值,并将超出预设范围的RGB色彩值转换至压缩范围内。
进一步的,将超出预设范围的RGB色彩值转换至压缩范围内包括:将大于预设范围上限值的RGB色彩值转换至预设范围上限值与压缩范围上限值之间的范围内,将小于预设范围下限值的RGB色彩值转换至预设范围下限值与压缩范围下限值之间的范围内。
这样,可以避免超出预设范围的RGB色彩值无法争取显示的问题,提升处理后的图像的色彩真实性。
进一步的方案是,应用多个区域的暗部值计算每一像素的暗部强度值包括:确定与像素邻近的多个区域,应用邻近的多个区域的区域暗部值以双线性插值的方法计算该像素的暗部强度值。
这样,可以计算出各个像素的合理的暗部强度值,并以此进行图像边缘检测,可以提高图像中暗区的边缘区域的清晰度。
更进一步的方案是,计算每一区域的区域暗部值包括:对于该区域中每一个像素点,计算暗部阈值与像素点的色彩值的差值,再计算该差值与暗部阈值的比值,如果该比值大于0,则将该比值统计到该区域的区域暗部值中。
由于某一区域内色彩较暗的像素点较多,可以认为该区域较暗,上述的计算方法能够简答的计算出各个区域的区域暗部值,简化计算量的同时,还能够提升图像的处理速度。
为实现上述的第二目的,本发明提供的计算机装置包括处理器以及存储器,存储器存储有计算机程序,计算机程序被处理器执行时实现上述高动态范围视频图像处理方法的各个步骤。
为实现上述的第三目的,本发明提供计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述高动态范围视频图像处理方法的各个步骤。
附图说明
图1是本发明高动态范围视频图像处理方法实施例的流程图。
图2是本发明高动态范围视频图像处理方法实施例中一个像素点的暗部强度值计算示意图。
图3是本发明高动态范围视频图像处理方法实施例中屏幕亮度的最大值为0.5时的压缩曲线。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的高动态范围视频图像处理方法应用具有图像显示功能的电子设备上,优选的,电子设备具有一个显示器,该显示器是适用于显示标准动态范围图像的显示器。本发明的高动态范围视频图像处理方法用于将高动态范围的图像转换成标准态范围图像并由显示器进行显示。进一步的,该电子设备设置有处理器以及存储器,存储器上存储有计算机程序,通过该计算机程序实现高动态范围视频图像处理方法。
高动态范围视频图像处理方法实施例:
本实施例的高动态范围视频图像处理方法主要以下步骤:获取局部信息统计、图像强边缘增强、电光转换、局部亮度截取、自适应色域变换、色调映射以及光电转换。下面结合图1介绍本实施例的各个步骤。
首先,执行步骤S1,获取输入图像,本实施例中,输入图像是高动态范围的视频图像,该图像的色彩值为YUV,在后续的步骤中,本实施例需要将高动态范围的YUV图像转换成标准动态范围的RGB图像。
然后,执行步骤S2,对输入图像的局部亮度信息进行统计,具体的,局部亮度信息统计主要是对输入图像中的Y分量进行强边缘检测,并且进行暗部区域检测。
本实施例中,强边缘检测主要是检测输入图像中的强边缘区域,然后将统计信息传给图像边缘增强模块。具体的,首先将输入图像的进行滤波处理,滤波器可选择高斯滤波器或者保边的低通滤波器。例如,使用Yin表示输入图像的Y分量,Yb表示滤波后的输出图像,滤波过程可表示为:
Yb=F(Yin,Hb) (式1)
式1中,F(Yin,Hb)表示向输入图像Yin应用具有内核Hb的滤波器,其中Hb为低通滤波器。
然后将滤波后的图像Yb进行边缘检测,得到边缘强度Ge,该过程可表示为:
Ge=F(Yb,Hg) (式2)
式2中,其中Hg可选择为Sobel边缘检测内核,优选的,边缘强度Ge的输出值需要被钳制在0到255的区间内。
由于后续需要进行边缘增强处理,考虑到噪声会对边缘检测造成影响,因此,本实施例需要对边缘强度Ge进行强度映射,并得到每一个像素的边缘强度权重值We,例如使用下面的公式计算:
We=max(min((Ge–MinThe)/(MaxThe–MinThe),1),0) (式3)
式3中,MinThe和MaxThe分别是边缘强度的上限阈值和下限阈值,这样,每一个像素的边缘强度权重值We的输出至在0到1的区间范围,当边缘强度Ge小于下限阈值MinThe的时候,边缘强度权重值We为0,当边缘强度Ge大于上限阈值MaxThe的时候,边缘强度权重值We为1。
另外,步骤S2还需要执行暗部区域检测。具体的,将输入图像划分为多个相互间不重叠的区域,例如,每个区域的宽、高分别为128个像素、72个像素。然后统计每个区域中的暗部像素的占比,从而得到该区域的区域暗部值Dblock。例如,对于一个区域,将该区域的区域暗部值Dblock的初始值设置为0,然后分别计算该区域中每一个像素点的色彩值的明暗程度,色彩值为0的时候明暗程度为最大值1,色彩值大于等于暗部阈值Thd的时候,明暗程度为0,依次统计该区域中各个像素点的明暗程度,累加该区域的区域暗部值Dblock。例如,对于该区域中每一个像素点,计算暗部阈值Thd与像素点的色彩值的差值,再计算该差值与暗部阈值Thd的比值,如果该比值大于0,则将该比值统计到该区域的区域暗部值Dblock中。因此,一个区域的区域暗部值Dblock的计算方法可以采用下面的公式表示:
Dblock=Dblock+max((Thd–Yblock(i,j))/Thd,0) (式4)
其中,Yblock为输入图像中该区域的一个色彩分量,即Y分量,并且,i∈[1,72],j∈[1,128],Thd为预先设定的暗部阈值。优选的,累加完后,统计各个区域的区域暗部值Dblock后,将区域暗部值Dblock进行归一化处理,使得归一化的结果被钳制在[0,1]的区间范围内。
然后,根据各个区域的区域暗部值Dblock计算各个像素的暗部强度值。具体的,确定与一个像素邻近的多个区域,应用邻近的多个区域的区域暗部值以双线性插值的方法计算该像素的暗部强度值。如图2所示,对于一个像素11,计算与该像素11向邻近的四个区域,例如,确定各个区域的中心点的位置,计算中心点与像素点11在左上、右上、左下、右下四个方向上距离最短的四个区域,例如图2中的区域21、22、23、24,并分别获取四个区域的区域暗部值Dblock,例如分别是Dblock(i,j)、Dblock(i+1,j)、Dblock(i,j+1)、Dblock(i+1,j+1)。然后,应用四个区域的区域暗部值Dblock(i,j)、Dblock(i+1,j)、Dblock(i,j+1)、Dblock(i+1,j+1)进行双线性插值计算,从而计算获得像素11的暗部强度值Wd。
例如,使用区域21的中心点与像素11之间的距离作为权重,乘以区域21的区域暗部值Dblock(i,j)得到区域21的加权值,以此类推计算其他三个区域的加权值,再计算四个区域的加权值的平均值,使用该平均值作为像素11的暗部强度值Wd。
然后,执行步骤S3,对输入图像进行边缘增强处理。由于本实施例需要对图像进行色调映射与色域映射等处理,这些处理将造成图像的对比度减少,为了避免图像对比度减少过于明显而影响图像的质量,步骤S3需要先将输入图像进行边缘增强处理。然而,如果对图像的所有边缘均进行边缘增加,将导致图像的噪声增加,因此,为了防止噪声增大的现象,本实施例只对强边缘进行增强处理,例如,根据步骤S2的边缘检测结果来进行强边缘的增强处理。
具体的,由于步骤S2对输入图像的Y分量Yin进行滤波处理并得到滤波后的图像Yb,因此步骤S3将可以直接利用滤波后的图像Yb得到细节图像Yd,从而减少边缘增强处理的计算量。例如使用下面的公式计算获得细节图像每一个像素对应的Yd的值:
Yd=Yin-Yb (式5)
可以理解,对应一个像素,Yd是该像素的细节图像色彩值,Yin是输入图像的原始色彩值,Yb是滤波后的色彩值,因此,像素的细节图像色彩值是原始色彩值与滤波后的色彩值的差值。
得到细节图像Yd后,利用步骤S2计算获得的边缘强度权重值We进行边缘增强计算,并得到边缘增强后的图像Ye,例如使用下面的公式进行计算:
Ye=Yin+We*Yd (式6)
由于步骤S3获得的图像数据还是在非线性空间进行处理获得的,而色域映射和色调映射都在线性空间进行,因此本实施例需要将图像数据转换线性的光信号,即执行步骤S4。本实施例使用电影电视工程师协会SMPTE的ST 2084:2014标准中提出的EOTF曲线将图像编码信号转到线性的光信号。
具体的,首先将边缘增强后的图像进行色彩空间的转换,具体的将图像的YUV色彩值数据转换为RGB色彩值数据,然后利用以下公式将RGB色彩值数据转到线性光信号,单位为尼特,输出信号的区间范围是[0,10000]:
N表示输入的非线性电信号,L表示输出的线性光信号,m1、m2以及c1、c2、c3是预先设定的常数。因此,将经过边缘增强后的YUV色彩值数据转换获得的非线性电信号R’、G’、B’分别代入公式7,并作为公式7中的输入参数N,分别计算获得各自色彩值对应的线性光信号L,从而获得线性光信号的色彩值,分别表示为R、G、B。
然后,执行步骤S5,对图像进行局部亮度截取。由于高动态范围的视频图像中除了包含图像数据外,还会有辅助信息,这些辅助信息用于协助解码器进行解码,辅助信息通常包括图像宽高、色域信息、监视器最大亮度值等。其中,监视器最大亮度值是视频制作的过程中所用到的监视器的最大亮度,这个值表示了该视频所能体现的最大亮度。步骤S5需要将图像信号的色彩值R、G、B按照监视器最大亮度值进行截取,例如使用下面的公式进行截取:
Rclip=max(min(R*10000/SrcNit,1),0)
Gclip=max(min(G*10000/SrcNit,1),0)
Bclip=max(min(B*10000/SrcNit,1),0) (式8)
其中Rclip,Gclip和Bclip分别表示截取后的图像信号的色彩值,色彩值的区间为[0,1],SrcNit是监视器最大亮度值,这个值可以从辅助信息中获取。可见,步骤S5是根据监视器的最大亮度值将RGB色彩值数据按比例归一化至[0,1]的范围区间内。
由于输入图像中暗部区域的细节往往并不能够清晰的显示,本实施例为了提高图像中的暗部区域的亮度,需要根据暗部强度值Wd相应的减少监视器最大亮度值SrcNit,从而获得最大亮度值基准值SrcNitAdj,因此,对于每一个像素(i,j),其最大亮度值基准值SrcNitAdj(i,j)都是动态调整的,即根据每一像素的暗部强度值Wd对监视器的最大亮度值SrcNit进行调整,以获得该像素对应的最大亮度值基准值SrcNitAdj(i,j),计算公式如下:
SrcNittAdj(i,j)=SrcNit(i,j)-Wd(i,j)*LightUpValue (式9)
其中,LightUpValue是需要减少的亮度值,通常选取100,当然也可以根据实际需要选取其他合适的数值。因此,可以将公式9计算获得的SrcNitAdj替换公式8中的SrcNit并进行运算。
接着,执行步骤S6,对图像进行自适应色域变换。由于高动态范围视频图像属于BT.2020色域,因此需要将高动态范围视频图像转到标准动态范围视频图像所处的BT.709色域,转换过程可以利用乘法矩阵来实现,本实施例使用报告ITU-R BT.2407中的转换系数进行转换,例如使用下面的公式进行转换:
由公式10可知,转换后色彩值数据超过了[0,1]的区间范围。现有的一些处理方式是将超出[0,1]的区间范围的数据直接截取到最小值0和最大值1,例如将小于0的数据直接取值为0,将大于1的数据直接取值为1。但是这样处理方式将造成颜色失真的问题,为了避免这种情况,本实施例需要将超出[0,1]区间范围的部分进行压缩处理。具体的,首先检测转换后每个颜色通道的最大值和最小值,例如执行下面公式的计算:
Rmax=max(R709),Rmin=min(R709)
Gmax=max(G709),Gmin=min(G709)
Bmax=max(B709),Bmin=min(B709) (式11)
然后,将超出[0,1]区间范围的部分进行压缩处理,具体的,使用下面的公式进行压缩:
如果(R709>Tmax),则R709=Tmax+(R709-Tmax)*(1-Tmax)/(Rmax-Tmax)
如果(G709>Tmax),则G709=Tmax+(G709-Tmax)*(1-Tmax)/(Gmax-Tmax)
如果(B709>Tmax),则B709=Tmax+(B709-Tmax)*(1-Tmax)/(Bmax-Tmax)
如果(R709<Tmin),则R709=Tmin-(Tmin-R709)*Tmin/(Tmin-Rmin)
如果(G709<Tmin),则G709=Tmin-(Tmin-G709)*Tmin/(Tmin-Gmin)
如果(B709<Tmin),则B709=Tmin-(Tmin-B709)*Tmin/(Tmin-Bmin) (式12)
其中Tmax和Tmin表示预先设定的压缩范围的上限阈值和下限阈值。可见,当色彩值R709、G709、B709的范围是在最大值到Tmax之间的值,将会被压缩到1到Tmax之间,当色彩值R709、G709、B709的范围是在最小值到Tmin之间的值,将会被压缩到0到Tmin。也就是说,将大于预设范围上限值的RGB色彩值转换至预设范围上限值与压缩范围上限值之间的范围内,将小于预设范围下限值的RGB色彩值转换至预设范围下限值与压缩范围下限值之间的范围内。
步骤S6将图像信号转换到监视器最大亮度,但是大多数家庭使用的显示器的最大亮度远远不如监视器的最大亮度,因此需要执行步骤S7,对图像进行色调映射,对图像信号进行压缩,使得图像信号与实际播放的显示器的亮度相匹配。具体的,本实施例采用下面的压缩曲线进行处理。
其中DispNit为实际播放的显示器的屏幕亮度的最大值,区间范围在[0,1]。图3示出了当DispNit的取值为0.5时压缩曲线,可以看出该曲线只是压缩了后面部分。
本实施例中,将步骤S6计算获得的色彩值R709、G709、B709分别代入到公式13中,分别得到亮度压缩后的图像信号RTMO、GTMO、BTMO,压缩后进行归一化处理,使得输出的数值在区间范围[0,1]内。具体的,可以采用下面的公式进行归一化处理:
RTMO=RTMO/DispNit
GTMO=GTMO/DispNit
BTMO=BTMO/DispNit (式14)
然后,执行步骤S8,将线性光电信号转换为编码电信号,本实施例中,使用伽马函数作为转换函数,例如使用下面的公式进行转换:
OETF(x)=x1/gamma (式15)
具体的,将公式14计算获得的RTMO、GTMO、BTMO分别代入到公式15,并得到最终输出结果Rout、Gout、Bout作为各个像素输出的色彩值。最后,执行步骤S9,将各个像素的色彩值Rout、Gout、Bout输出并形成输出图像。
可见,由于本实施例对图像进行局部亮度截取,即执行了步骤S5的操作,能够在保持图像局部对比度的同时,很好的抑制噪声的增强,另外,由于对图像进行暗部区域的边缘增强处理,能够使得增强图像的暗部细节,使得图像的暗部区域显示效果更好,还能够防止色域映射带来的颜色失真的问题。
计算机装置实施例:
本实施例的计算机装置可以是具有视频显示功能的电子设备,该电子设备具有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序,例如用于实现上述信息处理方法的信息处理程序,处理器执行计算机程序时实现上述高动态范围视频图像处理方法的各个步骤。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
需要说明的是,终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本发明的示意图仅仅是终端设备的示例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
本发明所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质:
计算机装置所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述高动态范围视频图像处理方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
应用本发明的高动态范围视频图像处理方法,可以快速有效的判断渣土车等运输装置的作业区域,从而可以为运输装置的动态调配创造良好的条件。
最后需要强调的是,本发明不限于上述实施方式,例如局部亮度截取时,所采用的参数的变化,或者计算各个像素的暗部强度值的具体计算方式的变化等,这些改变也应该包括在本发明权利要求的保护范围内。
Claims (10)
1.一种高动态范围视频图像处理方法,包括:
获取输入图像;
其特征在于:
统计所述输入图像的局部亮度信息,对所述输入图像进行边缘检测,获取每一像素的边缘强度权重值;
将所述输入图像划分为多个相互不重叠的区域,计算每一所述区域的区域暗部值,应用多个所述区域的区域暗部值计算每一所述像素的暗部强度值;
对所述输入图像进行边缘增强,对边缘增强后的图像进行色彩空间转换,并进行电光转换,获得线性光信号的RGB色彩值数据;
对所述RGB色彩值数据进行局部亮度截取:根据监视器的最大亮度值对所述RGB色彩值数据进行截取;
对截取后的RGB色彩值数据进行色域变换,并进行色调映射,将色调映射后的RGB色彩值数据进行光电转换,形成输出图像的输出色彩值。
2.根据权利要求1所述的高动态范围视频图像处理方法,其特征在于:
对所述输入图像进行边缘增强包括:计算所述输入图像的原始色彩值与滤波后的色彩值的差值,获得细节图像色彩值,应用所述细节图像色彩值、所述原始色彩值以及所述边缘强度权重值计算每一像素经过边缘增强后的色彩值。
3.根据权利要求1所述的高动态范围视频图像处理方法,其特征在于:
对所述RGB色彩值数据进行局部亮度截取包括:根据所述监视器的最大亮度值,将所述RGB色彩值数据按比例归一化至预设的范围区间内。
4.根据权利要求3所述的高动态范围视频图像处理方法,其特征在于:
将所述RGB色彩值数据按比例归一化至预设的范围区间内时,计算所述RGB色彩值数据与最大亮度值基准值的比值,其中,所述最大亮度值基准值是动态调整的:根据每一所述像素的所述暗部强度值对所述监视器的最大亮度值进行调整,获得所述最大亮度值基准值。
5.根据权利要求1至4任一项所述的高动态范围视频图像处理方法,其特征在于:
对截取后的RGB色彩值数据进行色域变换包括:应用乘法矩阵将截取后的RGB色彩值数据转换成目标色域的RGB色彩值,并将超出预设范围的RGB色彩值转换至压缩范围内。
6.根据权利要求5所述的高动态范围视频图像处理方法,其特征在于,还包括:
将超出预设范围的RGB色彩值转换至压缩范围内包括:将大于所述预设范围上限值的RGB色彩值转换至所述预设范围上限值与所述压缩范围上限值之间的范围内,将小于所述预设范围下限值的RGB色彩值转换至所述预设范围下限值与所述压缩范围下限值之间的范围内。
7.根据权利要求1至4任一项所述的高动态范围视频图像处理方法,其特征在于:
应用多个所述区域的暗部值计算每一所述像素的暗部强度值包括:确定与所述像素邻近的多个所述区域,应用邻近的多个区域的所述区域暗部值以双线性插值的方法计算该像素的暗部强度值。
8.根据权利要求1至4任一项所述的高动态范围视频图像处理方法,其特征在于:
计算每一所述区域的区域暗部值包括:对于该区域中每一个像素点,计算暗部阈值与像素点的色彩值的差值,再计算该差值与暗部阈值的比值,如果该比值大于0,则将该比值统计到该区域的区域暗部值中。
9.计算机装置,其特征在于,包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述高动态范围视频图像处理方法的各个步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述高动态范围视频图像处理方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111131866.2A CN113935911B (zh) | 2021-09-26 | 2021-09-26 | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111131866.2A CN113935911B (zh) | 2021-09-26 | 2021-09-26 | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113935911A true CN113935911A (zh) | 2022-01-14 |
CN113935911B CN113935911B (zh) | 2025-03-11 |
Family
ID=79276873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111131866.2A Active CN113935911B (zh) | 2021-09-26 | 2021-09-26 | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113935911B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529459A (zh) * | 2022-04-25 | 2022-05-24 | 东莞市兆丰精密仪器有限公司 | 一种对图像边缘进行增强处理的方法和系统及介质 |
CN115293994A (zh) * | 2022-09-30 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN116072059A (zh) * | 2023-02-27 | 2023-05-05 | 卡莱特云科技股份有限公司 | 一种图像显示方法、装置、电子设备及存储介质 |
CN116167950A (zh) * | 2023-04-26 | 2023-05-26 | 镕铭微电子(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116363232A (zh) * | 2022-07-14 | 2023-06-30 | 上海玄戒技术有限公司 | 色域压缩方法、装置、电子设备、芯片及存储介质 |
CN118864333A (zh) * | 2024-06-28 | 2024-10-29 | 四川国创新视超高清视频科技有限公司 | 基于人工智能的高动态范围图像增强方法及增强系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2997118A1 (en) * | 2015-09-02 | 2017-03-09 | Irystec Software Inc. | System and method for real-time tone-mapping |
EP3220349A1 (en) * | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
CN108090879A (zh) * | 2017-12-12 | 2018-05-29 | 上海顺久电子科技有限公司 | 一种对输入的高动态范围图像进行处理的方法和显示设备 |
CN111031301A (zh) * | 2018-10-10 | 2020-04-17 | 珠海全志科技股份有限公司 | 一种色域空间调整的方法、存储设备及显示终端 |
CN111800583A (zh) * | 2020-08-11 | 2020-10-20 | 深圳市安健科技股份有限公司 | 高动态范围图像分区处理方法、装置及计算机可读存储介质 |
CN112150399A (zh) * | 2020-09-27 | 2020-12-29 | 安谋科技(中国)有限公司 | 基于宽动态范围的图像增强方法及电子设备 |
-
2021
- 2021-09-26 CN CN202111131866.2A patent/CN113935911B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2997118A1 (en) * | 2015-09-02 | 2017-03-09 | Irystec Software Inc. | System and method for real-time tone-mapping |
EP3220349A1 (en) * | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
CN108090879A (zh) * | 2017-12-12 | 2018-05-29 | 上海顺久电子科技有限公司 | 一种对输入的高动态范围图像进行处理的方法和显示设备 |
CN111031301A (zh) * | 2018-10-10 | 2020-04-17 | 珠海全志科技股份有限公司 | 一种色域空间调整的方法、存储设备及显示终端 |
CN111800583A (zh) * | 2020-08-11 | 2020-10-20 | 深圳市安健科技股份有限公司 | 高动态范围图像分区处理方法、装置及计算机可读存储介质 |
CN112150399A (zh) * | 2020-09-27 | 2020-12-29 | 安谋科技(中国)有限公司 | 基于宽动态范围的图像增强方法及电子设备 |
Non-Patent Citations (2)
Title |
---|
芦碧波 等: "亮度分区自适应对数色调映射算法", 计算机应用研究, vol. 35, no. 9, 30 September 2018 (2018-09-30), pages 2831 - 2833 * |
赵海法 等: "全局色调映射和局部对比度处理相结合的图像增强算法", 武汉大学学报(理学版), vol. 66, no. 06, 24 December 2020 (2020-12-24), pages 597 - 604 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529459A (zh) * | 2022-04-25 | 2022-05-24 | 东莞市兆丰精密仪器有限公司 | 一种对图像边缘进行增强处理的方法和系统及介质 |
CN114529459B (zh) * | 2022-04-25 | 2022-08-02 | 东莞市兆丰精密仪器有限公司 | 一种对图像边缘进行增强处理的方法和系统及介质 |
CN116363232A (zh) * | 2022-07-14 | 2023-06-30 | 上海玄戒技术有限公司 | 色域压缩方法、装置、电子设备、芯片及存储介质 |
CN116363232B (zh) * | 2022-07-14 | 2024-02-09 | 上海玄戒技术有限公司 | 色域压缩方法、装置、电子设备、芯片及存储介质 |
CN115293994A (zh) * | 2022-09-30 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN115293994B (zh) * | 2022-09-30 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN116072059A (zh) * | 2023-02-27 | 2023-05-05 | 卡莱特云科技股份有限公司 | 一种图像显示方法、装置、电子设备及存储介质 |
CN116167950A (zh) * | 2023-04-26 | 2023-05-26 | 镕铭微电子(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116167950B (zh) * | 2023-04-26 | 2023-08-04 | 镕铭微电子(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN118864333A (zh) * | 2024-06-28 | 2024-10-29 | 四川国创新视超高清视频科技有限公司 | 基于人工智能的高动态范围图像增强方法及增强系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113935911B (zh) | 2025-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113935911B (zh) | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 | |
US7020332B2 (en) | Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image | |
JP6461165B2 (ja) | 画像の逆トーンマッピングの方法 | |
CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
JP5159208B2 (ja) | 映像補正方法及び装置 | |
CN107680056B (zh) | 一种图像处理方法及装置 | |
KR101311817B1 (ko) | 이미지 디테일 향상 | |
US7899267B2 (en) | Dynamic range compensation by filter cascade | |
JP6602789B2 (ja) | 局所的なコントラスト強調のためのシステムおよび方法 | |
US8238687B1 (en) | Local contrast enhancement of images | |
US8159616B2 (en) | Histogram and chrominance processing | |
JPH08251432A (ja) | 実時間画像強調技法 | |
KR20010075557A (ko) | 비디오 신호 향상 방법 및 장치 | |
CN108280836A (zh) | 一种图像处理方法及装置 | |
CN111161188A (zh) | 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质 | |
US8824795B2 (en) | Digital image processing method and device for lightening said image | |
CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
CN111031301A (zh) | 一种色域空间调整的方法、存储设备及显示终端 | |
JP3807266B2 (ja) | 画像処理装置 | |
CN119399062B (zh) | 基于ai isp的低照度场景图像智能降噪方法、装置、设备及存储介质 | |
CN112954232A (zh) | 动态图像处理方法、装置、相机及存储介质 | |
CN101742177A (zh) | 影像滤波电路及应用其的影像处理电路及影像处理方法 | |
CN119252194A (zh) | 一种led背光源调光的方法及系统 | |
CN100544397C (zh) | 影像处理方法与装置 | |
KR20110054183A (ko) | 영상 보정 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |