CN116939240A - 直播视频色彩增强方法、系统及电子设备 - Google Patents
直播视频色彩增强方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116939240A CN116939240A CN202311041260.9A CN202311041260A CN116939240A CN 116939240 A CN116939240 A CN 116939240A CN 202311041260 A CN202311041260 A CN 202311041260A CN 116939240 A CN116939240 A CN 116939240A
- Authority
- CN
- China
- Prior art keywords
- color
- color enhancement
- enhancement
- live
- live video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种直播视频色彩增强方法、系统及电子设备。本发明所述的直播视频色彩增强方法、系统及电子设备包括:获取直播视频流;判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。本发明所述的直播视频色彩增强方法、系统及电子设备具有实时增强直播视频流的色彩,提高用户的观看体验的优点。
Description
技术领域
本发明涉及视频处理领域,特别是涉及一种直播视频色彩增强方法、系统及电子设备。
背景技术
色彩增强作为视频后处理中画质增强技术的一部分,指的是通过调整图片和视频画面的饱和度特性,使得画面色彩更加丰富和逼真,提升人的视觉主观感受。由于设备摄像头的多样性,部分摄像头在视频采集时存在饱和度不足,画面发灰,色彩寡淡等问题,同时在直播场景中,可能会存在主播开启美颜磨皮等功能后使得直播画面偏白,色彩饱和度不够,这些问题可以通过算法的后处理调整进行改善。
现有的色彩增强算法大多数是对整帧图像不加以场景划分、区域划分而进行整体的调整,也有部分技术方案仅仅针对了人脸肤色区域进行了特殊调整处理,这些方案对所有的场景、同一画面的所有区域都采用统一系数的gamma曲线来进行色彩增强,非常容易出现部分场景过饱和、欠饱和、部分区域有色差、彩色噪声被放大、视频画面效果突变等问题。
发明内容
基于此,本发明的目的在于,提供一种直播视频色彩增强方法、系统及电子设备,其具有实时增强直播视频流的色彩,提高用户的观看体验的优点。
一种直播视频色彩增强方法,包括以下步骤:
获取直播视频流;
判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
一种直播视频色彩增强系统,包括:
数据获取模块,用于获取直播视频流;
场景识别模块,用于判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
区域划分模块,用于将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
色彩增强参数获取模块,用于根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
色彩增强模块,用于根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
一种电子设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的直播视频色彩增强方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述的直播视频色彩增强方法的步骤。
本发明所述的直播视频色彩增强方法,通过将直播视频流划分为不同直播场景下的不同图像色彩增强区域,针对不同的图像色彩增强区域选择对应的色彩增强系数进行色彩增强,获取增强直播视频流。本发明中的直播视频色彩增强方法可以消除直播视频流中部分场景出现的饱和、欠饱和、部分区域有色差、彩色噪声被放大、人脸肤色唇色不自然等情况的出现,可以实时增强直播视频流的色彩,提高用户的观看体验。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本发明实施例提供的直播视频色彩增强方法的应用场景示意图;
图2为本发明实施例中直播视频色彩增强方法的步骤流程图;
图3为本发明实施例中获取所述直播场景的步骤流程图;
图4为本发明一个实施例中划分色彩增强区域的步骤流程图;
图5为本发明另一个实施例中划分色彩增强区域的步骤流程图;
图6为本发明另一个实施例中划分色彩增强区域的步骤流程图;
图7为本发明实施例中将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域并获取色彩增强参数的步骤流程图;
图8为本发明实施例中获取增强直播视频流的步骤流程图;
图9为本发明实施例中的直播视频色彩增强系统的结构示意图;
图10为本发明实施例中直播视频色彩增强方法的电子设备示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1,图1为本发明实施例提供的直播视频色彩增强方法的应用场景示意图。该应用场景包括本实施例提供的第一客户端11、服务端12和第二客户端13,其中,所述第一客户端11和所述第二客户端13分别与所述服务端12进行交互。
其中,所述第一客户端11是接受直播视频流的一端,可以是网络直播中观看视频的观众所采用的客户端。
所述第二客户端13是上传直播视频流的一端,可以是网络直播中进行直播的主播所采用的客户端。
第一客户端11和第二客户端13所指向的硬件,本质上是指电子设备,其可以是智能手机、智能交互平板和个人计算机等类型的电子设备。第一客户端11和第二客户端13均可以通过公知的网络接入方式接入互联网,与服务端12建立数据通信链路。
服务端12作为一个业务服务器,其可以负责进一步连接起相关音频数据服务器、视频流服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务机群,来为相关的终端设备,例如图1中所示的第一客户端11和第二客户端13提供服务。
本申请实施例中,第一客户端11和第二客户端13可以加入同一个直播间(即直播频道),上述的直播间是指依靠互联网技术实现的一种聊天室,通常具备音视频播控功能。主播用户通过直播客户端在直播间内进行直播,观众客户端的观众可以登录服务端进入直播间观看上直播。
具体地,观众观看直播的过程如下:观众可以点击访问安装在观众客户端上的直播应用程序,并选择进入任意一个直播间,触发观众客户端为该观众加载直播间界面,同时调用直播色彩增强方法,用于提高直播视频效果。
请参阅图2,图2为本发明实施例中直播视频色彩增强方法的步骤流程图。
一种直播视频色彩增强方法,可应用于所述第一客户端11、服务端12和/或第二客户端13,包括以下步骤:
S101,获取直播视频流;
S102,判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
S103,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
S104,根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
S105,根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
本发明所述的直播视频色彩增强方法,通过获取所述直播视频流,判断所述直播视频流对应的直播场景,并获取对应的色彩增强参数集,然后对所述直播视频流中的每一帧图像划分为不同的色彩增强区域,针对不同的色彩增强区域选择所述色彩增强参数集中对应的色彩增强参数,根据所述色彩增强参数对所述视频进行色彩增强,获取所述增强直播视频流。本发明所述的直播视频色彩增强方法中,可以消除直播视频流中部分场景出现的饱和、欠饱和、部分区域有色差、彩色噪声被放大、人脸肤色唇色不自然等情况的出现,可以实时增强直播视频流的色彩,提高用户的观看体验。
对于步骤S101,获取直播视频流;
其中,所述直播视频流包括通过任意渠道获取的计算机可以进行播放或处理的视频数据。所述直播视频流可以是通过解压视频文件所获取,也可以由终端设备的录像装置开启录制获取的。
在一个实施例中,所述直播视频流包括在现有网络直播中,所述第一客户端11通过所述服务端12获取的第二客户端13上传的视频流。
对于步骤S102,判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
其中,所述直播场景是根据所述直播视频流的色彩分布进行分析获取的场景信息。在一个实施例中,所述直播场景包括秀场大主播、秀场小主播、户外白天、户外黑天和游戏直播中的至少一个。
所述色彩增强参数集是用于对直播视频流进行色彩增强的参数的集合。在一个实施例中,针对不同的直播场景分别设置有与所述直播场景一一对应的色彩增强参数集。
在本实施例中,首先通过判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集,可以根据直播视频流的实际场景需求,选择对应的直播视频色彩增强参数集,避免对所有直播场景均采用同一色彩增强参数集导致直播场景色彩增强效果差,出现过饱和、欠饱和等情况。
请参阅图3,图3为本发明实施例中获取所述直播场景的步骤流程图。
在一个实施例中,所述判断所述直播视频流对应的直播场景,包括以下步骤:
S201,获取所述直播视频流中的视频图像帧的色彩分布,构建色彩分布直方图;
S202,将所述色彩分布直方图与预设的直播场景分类阈值相比较,获取所述直播视频流对应的直播场景。
对于步骤S201,获取所述直播视频流中的视频图像帧的色彩分布,构建色彩分布直方图;
其中,所述色彩分布为所述直播视频流中的各种颜色所占比例。所述色彩分布直方图即通过直方图的方式将所述色彩分布以图像的形式展现出来。在一个实施例中,所述色彩分布直方图以颜色作为x轴,颜色出现的频率或次数作为y轴进行构建。在其他实施例中,也可以将颜色作为y轴,颜色出现的频率或次数作为x轴进行构建。
在本实施例中,通过获取所述直播视频中的视频图像帧的色彩分布,构建色彩直方图,用于判断直播场景。
对于步骤S202,将所述色彩分布直方图与预设的直播场景分类阈值相比较,获取所述直播视频流对应的直播场景;
其中,所述预设分类阈值是针对不同的直播场景提前设置好的阈值。在一个实施例中,所述预设的直播场景分类阈值包括针对不同直播场景设置的预设色彩分布直方图。在其他实施例中,所述预设的直播场景分类阈值还可以包括不同色彩组合中各个颜色所占的比值范围。
在一个实施例中,将所述色彩分布直方图与预设的直播场景分类阈值进行比较,可以将所述色彩分布直方图直接与所述预设分类阈值中各个直播场景对应的预设色彩分布直方图相比较,若两者相匹配,则所述直播视频流对应直播场景为所述预设色彩分布直方图对应的直播场景。
在另一个实施例中,将所述色彩分布直方图与预设的直播场景分类阈值进行比较,还可以为,通过所述色彩分布直方图获取色彩组合的比例,其中所述色彩组合的比例是所述色彩分布直方图中各个颜色所占的比值,判断所述色彩组合的比例是否在所述预设分类阈值中的不同色彩组合中各个颜色所占的比值范围中,获取所述直播视频流对应的直播场景。例如,根据所述色彩分布直方图获取色彩组合比例为R:100,G:121,B:144,所述预设分类阈值中,90<R<100,110<G<130,140<B<160对应第一场景,则所述直播视频流对应的直播场景为第一场景。
需要说明的是,本发明中所述判断所述直播视频流对应的直播场景包括上述实施例所述的方法,但不仅仅局限于上述实施例所述的方法,其他可以判断所述直播视频流对应的直播场景的方法均可以适用于本发明中,例如,基于深度学习或无监督聚类的方法对所述直播视频流进行场景识别。
在本实施例中,通过对所述直播视频流的色彩分布构建色彩分布直方图,判断所述直播视频流对应的直播场景,提高了色彩增强的准确性,避免了对不同场景的视频采用相同的色彩参数集导致色彩增强效果较差。
对于步骤S103,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
其中,所述视频图像帧为所述直播视频流中的一帧图像。所述色彩增强区域是所述视频图像帧中进行色彩增强的不同的区域。在一个实施例中,所述色彩增强区域包括色彩空间增强区域、平坦区域和噪声区域中的一种或多种。
请参阅图4,图4为本发明一个实施例中划分色彩增强区域的步骤流程图。在一个实施例中,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
S301,将所述视频图像帧由RGB颜色空间转换为预设颜色空间;
S302,根据所述预设颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;
S303,将所述颜色参数与预设颜色范围阈值相匹配的区域为色彩空间增强区域。
对于步骤S301~S303,其中所述RGB颜色空间是以红(R)、绿(G)和蓝(B)三种基本色为基础构建的颜色空间。所述预设颜色空间是提前设置好的不同于RGB颜色空间的其余颜色空间,在一个实施例中,所述预设颜色空间包括YCrCb颜色空间、YIQ颜色空间或LCH颜色空间。
所述色彩参数是所述颜色空间对应的参数,例如,在所述RGB颜色空间中的色彩参数分别为R、G、B对应的值;所述YIQ颜色空间中的色彩参数为Y、I、Q对应的值。
所述预设颜色范围阈值为所述预设颜色空间中的色彩参数对应的范围。
判断所述颜色参数与预设颜色范围阈值是否相匹配,即判断所述颜色参数是在所述预设颜色范围阈值中对应的参数范围中。
所述色彩空间增强区域是根据所述色彩空间中的色彩参数划分的色彩增强区域,在一个实施例中,所述色彩空间增强区域包括人脸区域、肤色区域、唇色区域、高饱和度区域和/或低饱和度区域。
在一个实施例中,将所述视频图像帧由RGB颜色空间转换为YCrCb颜色空间;根据所述YCrCb颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为人脸区域和/或肤色区域。
其中,所述颜色参数包括YCrCb颜色空间中的Y、Cr、Cb的值,所述预设颜色范围阈值包括Y、Cr、Cb阈值范围。所述肤色区域包括手部肤色区域、脚部肤色区域和/或躯体肤色区域。
通过将所述视频图像帧由RGB颜色空间转换为YCrCb颜色空间,获取Y、Cr、Cb的值分别与所述预设颜色范围阈值中的Y、Cr、Cb阈值范围进行比较,将所述Y、Cr、Cb的值在所述Y、Cr、Cb阈值范围的区域作为人脸区域和/或肤色区域。
在一个实施例中,将所述视频图像帧由RGB颜色空间转换为YIQ颜色空间;根据所述YIQ颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为唇色区域;
其中,所述颜色参数包括YIQ颜色空间中的Y、I、Q的值,所述预设颜色范围阈值包括Y、I、Q阈值范围。
通过将所述视频图像帧由RGB颜色空间转换为YIQ颜色空间,获取Y、I、Q的值分别与所述预设颜色范围阈值中的Y、I、Q阈值范围进行比较,将所述Y、I、Q的值在所述Y、I、Q阈值范围中的区域作为唇色区域。
在一个实施例中,将所述视频图像帧由RGB颜色空间转换为LCH颜色空间;根据所述LCH颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为高饱和度区域或低饱和度区域。
其中,所述颜色参数包括LCH颜色空间中的C通道值,所述预设颜色范围阈值包括C通道阈值。
通过将所述视频图像帧由RGB颜色空间转换为LCH颜色空间,获取所述LCH颜色空间中C通道值,判断所述C通道值与所述预设范围阈值中C通道阈值相比较,将所述C通道值大于所述C通道阈值的区域为高饱和度区域。在其它实施例中,将所述C通道值小于所述C通道阈值对应的区域作为低饱和度区域。
在本实施例中,通过将所述视频图像帧由RGB颜色空间转换为预设颜色空间,针对不同的色彩增强区域选择不同的颜色空间进行识别,提高了色彩增强区域划分的准确性,同时提供了所述直播视频流色彩增强的效果。
请参阅图5,图5为本发明另一个实施例中划分色彩增强区域的步骤流程图。在一个实施例中,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
S401,在所述视频图像帧中进行角点检测和边缘检测,计算所述视频图像帧的水平梯度值和竖直梯度值;
S402,将所述视频图像帧中未检测到角点、未检测到边缘以及所述水平梯度值和竖直梯度值均小于对应的预设梯度阈值的区域作为所述平坦区域。
对于步骤S401~S402,其中,所述角点检测是基于灰度强度或边缘轮廓的方法检测图像中的角点的方法,所述边缘为一定数量点亮度发生变化的地方,所述边缘检测是标识数字图像中亮度变化明显的点,即检测图像中是否存在边缘。所述水平梯度值和所述竖直梯度值分别包括所述视频图像帧在水平方向和竖直方向上的图像灰度值变化的速度。所述预设梯度阈值是用于判断所述水平梯度值和所述竖直梯度值的阈值,在一个实施例中,所述预设梯度阈值包括水平梯度阈值和竖直梯度阈值。
在本实施例中,当所述视频图像帧中未检测到角点和边缘,且所述水平梯度值小于所述水平梯度阈值和所述竖直梯度值小于所述竖直梯度阈值,则将其对应的区域作为平坦区域。
请参阅图6,图6为本发明另一个实施例中划分色彩增强区域的步骤流程图。在一个实施例中,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
S501,将所述视频图像帧划分为若干分块区域,计算各个所述分块区域的灰度值方差;
S502,将所述灰度值方差大于预设方差阈值的所述分块区域划分为所述噪声区域。
对于步骤S501~S502,其中,所述分块区域是将所述视频图像帧按照预设的划分方式划分的若干区域,在一个实施例中,可以通过设定宽度将所述视频图像帧划分为若干方形区域。所述灰度值方差是通过获取每一所述分块区域的灰度值,并计算其灰度值对应的方差。所述预设灰度值方差阈值是提前设置好的用于判断所述灰度值方差是否符合预设条件的阈值。
在本实施例中,通过将所述视频图像帧划分为若干分块区域,分别计算每一分块区域的灰度值方差,并与所述预设灰度值方差阈值相比较,当所述灰度值方差大于所述预设灰度值方差阈值时,则标记所述分块区域为所述噪声区域。在本发明的其他实施例中,也可以通过计算所述分块区域的色度值方差,将所述色度值方差与对应的预设阈值相比较,判断所述分块区域是否为噪声区域。
需要说明的是,本发明中所述的将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域的方法包括上述实施例所述的方法,但不仅仅局限于上述实施例所述的方案,其他可以将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域的方法也均适用于本发明中,例如采用传统的图像处理算法或深度学习算法将所述视频图像帧划分为若干不同的色彩增强区域。
在本实施例中,通过采用上述实施例所述的方法将所述视频图像帧划分为若干不同的色彩增强区域,提高了直播视频流色彩增强的效果,避免对所述视频图像帧采用同样的色彩增强方案导致图像部分地方出现过饱和、欠饱和或失真等情况的出现。
对于步骤S104,根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
其中,所述色彩增强参数是用于对所述色彩增强区域进行增强参数,在一个实施例中,所述色彩增强参数为gamma曲线中的参数。
在本实施例中,在所述色彩增强参数集中针对所述色彩增强区域分别设定有对应的色彩增强参数,在获取所述视频图像帧中的色彩增强区域后,从所述色彩增强参数集中获取所述色彩增强区域对应的色彩增强参数,保证了所述色彩增强参数适用于所述色彩增强区域的同时,也适用于所述直播视频流对应的直播场景,提高直播视频流色彩增强的效果。
请参阅图7,图7为本发明实施例中将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域并获取色彩增强参数的步骤流程图。
在一个实施例中,对于步骤S103和步骤S104,包括以下步骤:
将所述视频图像帧由RGB颜色空间转换为YCrCb颜色空间,根据所述YCrCb颜色空间获取视频图像帧对应的颜色参数,根据所述颜色参数判断是否为人脸区域和/或肤色区域,若是,则在所述色彩增强参数集中获取所述人脸区域和/或肤色区域对应的色彩增强参数;
若否,则将所述视频图像帧转换为YIQ颜色空间,根据所述YIQ颜色空间获取视频图像帧剩余区域对应的颜色参数,根据所述颜色参数判断是否为唇色区域,若是,则获取所述色彩增强参数集中获取所述唇色区域对应的色彩增强参数;
若否,则将所述视频图像帧转换为LCH颜色空间,根据所述LCH颜色空间获取视频图像帧剩余区域对应的颜色参数,根据所述颜色参数判断是否为高饱和度区域或低饱和度区域,若是,则获取所述色彩增强参数集中获取所述高饱和度区域或所述低饱和度区域对应的色彩增强参数;
若否,则对所述视频图像帧进行角点检测和边缘检测,判断所述视频图像帧为平坦区域,若是,则所述色彩增强参数集中获取所述平坦区域对应的色彩增强参数;
若否,则对所述视频图像帧采用分块方差计算的方法,判断所述视频图像帧是否为噪声区域,若是,则获取则所述色彩增强参数集中获取所述噪声区域对应的色彩增强参数,若否,则对所述视频图像帧剩余区域获取所述色彩增强参数集中一般区域对应的色彩增强参数。
在本实施例中,对所述视频图像帧依次判断,识别所述视频图像帧中的人脸区域和/或肤色区域、唇色区域、高饱和度区域、低饱和度区域、平坦区域以及噪声区域,并获取其对应的色彩增强参数,提高了识别的准确率,避免出现将同一区域识别为多个不同色彩空间增强区域采用多个色彩增强参数进行色彩增强影响增强效果的情况出现。
对于步骤S105,根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流;
请参阅图8,图8为本发明实施例中获取增强直播视频流的步骤流程图。在一个实施例中,根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流,包括以下步骤:
S601,将所述视频图像帧由RGB颜色空间转换为LCH颜色空间;
S602,根据所述色彩增强区域生成对应的区域掩膜;
S603,在所述区域掩膜的基础,结合所述色彩增强参数,调整所述LCH颜色空间的C通道,对所述色彩增强区域进行色彩增强;
S604,所述色彩增强区域全部完成色彩增强后,将所述视频图像帧由LCH颜色空间转换为RGB颜色空间,获取增强直播视频流。
对于步骤S601~S604,所述LCH颜色空间是本实施例中对所述直播视频流进行色彩增强的颜色空间,其中,L表示明度值;C表示饱和度值及H表示色调角度值得柱形坐标。所述区域掩膜,是用于通过使用选定的图像、图形或物体对视频图像帧进行遮挡来控制图像处理的区域。在本实施例中,对所述色彩增强区域生成对应的区域掩膜避免在进行色彩增强时不同区域之间相互影响,破坏色彩增强效果。
在本实施例中,通过将所述直播视频流由RGB颜色空间转换为LCH颜色空间,然后,根据步骤S101~S104得到的色彩增强区域,生成所述区域掩膜,最后在所述区域掩膜的基础上,对所述色彩增强区域,通过调整所述LCH颜色空间中的C通道进行色彩增强,在一个实施例中,根据所述色彩增强参数调整gamma曲线,对所述LCH颜色空间的C通道进行拉伸,调节所述色彩增强区域的色彩饱和度,完成对所述色彩增强区域的调节。在将所述色彩增强区域全部调整完毕,将所述视频图像帧由LCH颜色空间转换为RGB颜色空间,获取所述增强直播视频流。
本发明所述直播视频色彩增强方法,将所述直播视频流根据色彩分布、深度学习或无监督聚类的方法划分不同直播场景,并获取所述直播场景对应的色彩增强参数集,然后将所述直播视频流中的视频图像帧根据颜色空间、基于角点检测以及梯度值计算和/或分块计算区域灰度值的方差的方法划分为不同的色彩增强区域,并在所述色彩增强参数集中获取对应色彩增强参数。最后通过将所述直播视频流转换至LCH颜色空间,采用图像掩膜的方法,根据所述色彩增强参数对所述色彩增强区域进行色彩增强,在完成色彩增强后,转换为RGB颜色空间,获取增强直播视频流。
本发明所述的直播视频色彩增强方法,采用简单便捷的方法对直播视频流进行场景识别、并对视频图像帧进行多区域划分,能够消除现有技术方案中容易出现的部分场景过饱和、欠饱和、部分区域有色差、彩色噪声被放大、人脸肤色唇色不自然的情况,而且处理耗时较低,可以实现实时色彩增强,提升了用户观看体验。
请参阅图9,图9为本发明实施例中的直播视频色彩增强系统的结构示意图。本发明还公开了一种直播视频色彩增强系统,包括:
数据获取模块21,用于获取直播视频流;
场景识别模块22,用于判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
区域划分模块23,用于将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
色彩增强参数获取模块24,用于根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
色彩增强模块25,用于根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
需要说明的是,上述实施例提供的直播视频色彩增强系统在执行直播视频色彩增强方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分为不同的功能模块,以完成以上描述的全部或者部分功能。上述实施例所提供的直播视频色彩增强系统用于执行上述实施例所述的直播视频色彩增强方法,其运行方法、原理与上述记载的直播视频色彩增强方法相同,即,上述实施例提供的直播视频色彩增强系统与直播视频色彩增强方法属于同一构思,其实现过程详见上述方法实施例,在此不再赘述。
请参阅图10,图10为本发明实施例中直播视频色彩增强方法的电子设备示意图。如图10所示,该电子设备31包括:控制装置311,存储器312以及存储在所述存储器312并可以在所述控制装置311上运行的计算机程序313,例如:直播视频色彩增强程序;所述控制装置311执行所述计算机程序313可以实现上述实施例所述的直播视频色彩增强方法。
其中,所述控制装置311包括处理器,所述处理器可以包括一个或多个处理核心。处理器利用各种接口和线路连接电子设备31内的各个部分,通过运行或执行存储在存储器312内的指令、程序、代码集或指令集,以及调用存储器312内的数据,执行电子设备31的各种功能和处理数据,可选的,处理器可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一个硬件形式来实现。处理器可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器中,单独通过一块芯片进行实现。
其中,存储器312可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器312包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器312可用于存储指令、程序、代码、代码集或指令集。存储器312可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器312可选的还可以是至少一个位于远离前述处理器的存储装置。
本发明实施例还提供了一种可读存储介质,该计算机可读存储介质可以存储有多条指令,该指令适用于由控制装置加载并执行上述实施例的方法步骤,具体执行过程可以参见上述实施例的具体说明,在此不进行赘述。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (10)
1.一种直播视频色彩增强方法,其特征在于,包括以下步骤:
获取直播视频流;
判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
2.根据权利要求1所述的直播视频色彩增强方法,其特征在于,所述判断所述直播视频流对应的直播场景,包括以下步骤:
获取所述直播视频流中的视频图像帧的色彩分布,构建色彩分布直方图;
将所述色彩分布直方图与预设的直播场景分类阈值相比较,获取所述直播视频流对应的直播场景。
3.根据权利要求1所述的直播视频色彩增强方法,其特征在于,所述色彩增强区域包括色彩空间增强区域,所述将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
将所述视频图像帧由RGB颜色空间转换为预设颜色空间;
根据所述预设颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;
将所述颜色参数与预设颜色范围阈值相匹配的区域作为色彩空间增强区域。
4.根据权利要求3所述的直播视频色彩增强方法,其特征在于,所述色彩空间增强区域包括人脸区域、肤色区域、唇色区域、高饱和度区域和/或低饱和度区域,所述预设颜色空间包括YCrCb颜色空间、YIQ颜色空间或LCH颜色空间,包括以下步骤;
将所述视频图像帧由RGB颜色空间转换为YCrCb颜色空间;根据所述YCrCb颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为人脸区域和/或肤色区域;
和/或,将所述视频图像帧由RGB颜色空间转换为YIQ颜色空间;根据所述YIQ颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为唇色区域;
和/或,将所述视频图像帧由RGB颜色空间转换为LCH颜色空间;根据所述LCH颜色空间,获取所述视频图像帧的颜色参数,判断所述颜色参数与预设颜色范围阈值是否相匹配;将所述颜色参数与预设颜色范围阈值相匹配的区域作为高饱和度区域或低饱和度区域。
5.根据权利要求1所述的直播视频色彩增强方法,其特征在于,所述色彩增强区域包括平坦区域,将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
对所述视频图像帧进行角点检测和边缘检测,计算所述视频图像帧的水平梯度值和竖直梯度值;
将所述视频图像帧中未检测到角点、未检测到边缘以及所述水平梯度值和竖直梯度值均小于对应的预设梯度阈值的区域作为所述平坦区域。
6.根据权利要求1所述的直播视频色彩增强方法,其特征在于,所述色彩增强区域包括噪声区域,所述将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域,包括以下步骤:
将所述视频图像帧划分为若干分块区域,计算各个所述分块区域的灰度值方差;
将所述灰度值方差大于预设方差阈值的所述分块区域划分为所述噪声区域。
7.根据权利要求1-6任意一项权利要求所述的直播视频色彩增强方法,其特征在于,根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流,包括以下步骤:
将所述视频图像帧由RGB颜色空间转换为LCH颜色空间;
根据所述色彩增强区域生成对应的区域掩膜;
使用所述区域掩膜和所述色彩增强参数,调整所述LCH颜色空间的C通道,对所述色彩增强区域进行色彩增强;
所述色彩增强区域全部完成色彩增强后,将所述视频图像帧由LCH颜色空间转换为RGB颜色空间,获取增强直播视频流。
8.一种直播视频色彩增强装置,其特征在于,包括:
数据获取模块,用于获取直播视频流;
场景识别模块,用于判断所述直播视频流对应的直播场景,获取所述直播场景对应的色彩增强参数集;
区域划分模块,用于将所述直播视频流中的视频图像帧划分为若干不同的色彩增强区域;
色彩增强参数获取模块,用于根据所述色彩增强参数集,获取各个所述色彩增强区域对应的色彩增强参数;
色彩增强模块,用于根据所述色彩增强参数,对所述视频图像帧中的各个所述色彩增强区域进行色彩增强,获取增强直播视频流。
9.一种电子设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的直播视频色彩增强方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的直播视频色彩增强方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041260.9A CN116939240A (zh) | 2023-08-17 | 2023-08-17 | 直播视频色彩增强方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041260.9A CN116939240A (zh) | 2023-08-17 | 2023-08-17 | 直播视频色彩增强方法、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116939240A true CN116939240A (zh) | 2023-10-24 |
Family
ID=88382670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311041260.9A Pending CN116939240A (zh) | 2023-08-17 | 2023-08-17 | 直播视频色彩增强方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116939240A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118590749A (zh) * | 2024-05-28 | 2024-09-03 | 识光科技(广州)有限责任公司 | 一种基于直播的摄像场景参数切换方法及系统 |
-
2023
- 2023-08-17 CN CN202311041260.9A patent/CN116939240A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118590749A (zh) * | 2024-05-28 | 2024-09-03 | 识光科技(广州)有限责任公司 | 一种基于直播的摄像场景参数切换方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618173B (zh) | 视频压缩方法、装置和计算机可读存储介质 | |
CN107038680B (zh) | 自适应光照的美颜方法及系统 | |
WO2021244440A1 (zh) | 电视画质调整方法、装置和系统及电视机设备 | |
KR101114865B1 (ko) | 화면 적응형 동적 3d 컬러 조절을 위한 방법 및 시스템 | |
WO2014170886A1 (en) | System and method for online processing of video images in real time | |
KR20070111392A (ko) | 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정 | |
CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
JP2010541009A (ja) | コンテンツベースの画像調整 | |
US12094095B2 (en) | Image processing method, terminal and non-transitory computer-readable storage medium | |
CN110069974B (zh) | 高光图像处理方法、装置和电子设备 | |
KR101985880B1 (ko) | 디스플레이 장치 및 이의 제어 방법 | |
CN107592517B (zh) | 一种肤色处理的方法及装置 | |
CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
CN113297937B (zh) | 一种图像处理方法、装置、设备及介质 | |
CN111627076A (zh) | 换脸方法、装置及电子设备 | |
CN111064942A (zh) | 图像处理方法和设备 | |
CN113888534A (zh) | 一种图像处理方法、电子设备及可读存储介质 | |
CN114092360A (zh) | 图像处理方法、设备及可读存储介质 | |
US10218880B2 (en) | Method for assisted image improvement | |
CN109544441B (zh) | 图像处理方法及装置、直播中的肤色处理方法及装置 | |
CN116939240A (zh) | 直播视频色彩增强方法、系统及电子设备 | |
WO2022111269A1 (zh) | 视频的细节增强方法、装置、移动终端和存储介质 | |
US20140176799A1 (en) | Content processing apparatus, content processing method, and storage medium | |
CN112118457B (zh) | 直播数据处理方法、装置、可读存储介质和计算机设备 | |
CN112435173B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |