CN110517215B - 一种视频压缩处理方法、电子设备及存储介质 - Google Patents
一种视频压缩处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110517215B CN110517215B CN201910804189.2A CN201910804189A CN110517215B CN 110517215 B CN110517215 B CN 110517215B CN 201910804189 A CN201910804189 A CN 201910804189A CN 110517215 B CN110517215 B CN 110517215B
- Authority
- CN
- China
- Prior art keywords
- frame image
- frame
- restored
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 30
- 238000007906 compression Methods 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000006748 scratching Methods 0.000 claims description 27
- 230000002393 scratching effect Effects 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 25
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 244000025254 Cannabis sativa Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 241000722921 Tulipa gesneriana Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种视频压缩处理方法、电子设备及存储介质,所述方法包括:确定视频包含的帧图像;识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;将抠图处理后的帧图像进行合成,得到压缩后的视频。所述电子设备及存储介质执行上述方法。本发明实施例提供的视频压缩处理方法、电子设备及存储介质,能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频压缩处理方法、电子设备及存储介质。
背景技术
视频中包含巨大的信息量,难以储存和传输,因此,需要对视频进行压缩,以便于对视频进行储存和传输。
现有技术中主要的视频压缩标准是H.264和H.265标准,通过H.264和H.265对视频进行整体压缩,从而便于对视频进行储存和传输。但是,上述对视频进行整体压缩的处理方法,压缩后的视频容量仍然很大,对于储存和传输方面的提升效果不够明显。
因此,如何避免上述缺陷,能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果,成为亟须解决的问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种视频压缩处理方法、电子设备及存储介质。
本发明实施例提供一种视频压缩处理方法,包括:
确定视频包含的帧图像;
识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;
对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;
将抠图处理后的帧图像进行合成,得到压缩后的视频。
其中,所述对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像,具体包括:
确定抠图形状;
从初始尺寸比例开始不断调高尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后识别背景元素,直至背景元素识别结果低于预设阈值时,以上一次抠除后的帧图像作为抠图处理后的帧图像;
其中,抠除区域的中心为所述背景元素的中心,抠除区域的形状为所述抠图形状。
其中,所述确定抠图形状,具体包括:
将所述背景元素的形状确定为抠图形状;或者,随机生成抠图形状。
其中,所述将抠图处理后的帧图像进行合成,得到压缩后的视频,包括:
确定填充色值,所述填充色值未被所述帧图像占用、且色值最低;
利用所述填充色值对抠图处理后的帧图像中的抠除部分进行填充;
将填充后的帧图像进行合成,得到压缩后的视频。
其中,得到压缩后的视频之后,所述方法还包括:
确定同一拍摄镜头对应的连续N帧图像,所述连续N帧图像是填充处理后的帧图像;所述同一拍摄镜头是相同拍摄场景对应的拍摄镜头;N为大于1的整数;
对所述连续N帧图像中的每一帧图像进行还原,并确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值。
其中,确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:
对于第二帧,
若还原后的第二帧图像与还原后的第一帧图像的差异值大于或等于预设差异值,则不断降低第二帧当前尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后进行还原,直到抠除后还原的第二帧图像与还原后的第一帧图像的差异值小于预设差异值。
其中,确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:
对于第i帧,i为大于等于3、且小于等于N的整数;
若还原后的第i帧图像与还原后的第i-1帧图像的差异值大于或等于预设差异值,则根据光流算法和第i-1帧图像对第i帧图像中的背景元素进行抠图处理。
其中,所述得到压缩后的视频之后,还包括:
记录同一拍摄镜头对应的播放时段及还原图像所使用的算法;
将记录所述播放时段和所述算法的信息携带在压缩后的视频中。
本发明实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,
所述处理器执行所述计算机程序时实现如下方法步骤:
确定视频包含的帧图像;
识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;
对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;
将抠图处理后的帧图像进行合成,得到压缩后的视频。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如下方法步骤:
确定视频包含的帧图像;
识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;
对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;
将抠图处理后的帧图像进行合成,得到压缩后的视频。
本发明实施例提供的视频压缩处理方法、电子设备及存储介质,通过对视频的帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像,并将抠图处理后的帧图像进行合成,得到压缩后的视频,能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明视频压缩处理方法实施例流程图;
图2为本发明实施例背景元素说明示意图;
图3为本发明实施例对背景元素为草地进行抠图处理的示意图;
图4(a)-图4(f)分别为本发明实施例按照背景元素物体形状抠图处理流程示意图;
图5(a)-图5(c)分别为本发明实施例按照背景元素随机形状抠图处理流程示意图;
图6(a)-图6(b)分别为本发明实施例还原后的图像与原图像的对比效果图;
图7为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明视频压缩处理方法实施例流程图,如图1所示,本发明实施例提供的一种视频压缩处理方法,包括以下步骤:
S101:确定视频包含的帧图像。
具体的,确定视频包含的帧图像。执行该方法步骤的可以是计算机设备,对于本发明实施例,可以是视频压缩服务器,以下简称服务器。
S102:识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关。
具体的,识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关。需要说明的是:不同的场景可以对应不同的主要元素,例如体育比赛场景对应的主要元素是运动员;养花学习视频场景对应的主要元素是花朵。可以通过视频主题名称确定场景,例如名称为“怎样养好郁金香”的视频主题名称,可以确定为养花学习视频场景。对于影视剧中的视频,可以通过是否有人的存在,来确定主要元素,通常在有人存在的场景,则将人作为主要元素;对于没有人存在的场景,可以将图像中心区域的物体确定为主要元素。场景中视频的主要元素的识别可以包括:
识别视频中出现的人物:
具体可以包括:使用CNN神经网络模型等AI技术,识别视频中出现的人物。
通过人物的特定信息,例如台词、人脸等,识别视频中的主要人物:
具体可以包括:
a.利用活动形状模型(Active shape model,简称“ASM”),或活动外观模型(Active Appearance model,简称“AAM”)定位嘴唇特征。通过嘴唇特征点变化判断视频中人物是否在说话,说了什么话,并记录嘴唇动作的起始/结束时间点。
b.通过语音识别,或者光学字符识别(Optical Character Recognition,简称“OCR”)识别出台词内容。通过台词与嘴唇特征点变化(唇语识别)匹配出说本台词的人物。将台词与唇语识别结果相匹配的人物,确定为主要人物。
还可以包括:
建立明星人脸识别特征库,所有被识别出来的明星,都确定为主要人物。
还可以获取显示内容信息,当被识别的人物面积大于画画显示面积的预设百分比时,确定为主要人物,预设百分比可以根据实际情况自主设置,可选为30%。
本发明实施例中的背景元素为可反映整体图像背景的所有元素。图2为本发明实施例背景元素说明示意图,如图2所示,对于该类以人物为主的预设场景,背景元素包括天空、草地、马路;背景元素不包括花、草。可以通过神经网络算法识别出视频中的背景元素。
S103:对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素。
具体的,对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素。为获取视频的帧图像,可以对视频进行拆帧处理,具体如下:
使用ffmpeg对需要处理的视频进行拆帧处理,并记录该视频拆帧前的帧率;
使用ffmpeg抽离视频中的音频,并记录该视频抽离前音频的码率。ffmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。
可以根据背景元素的识别结果对背景元素进行分类,参照图2,可以分类为天空、草地、马路。以草地为例,进行抠图处理的说明,图3为本发明实施例对背景元素为草地进行抠图处理的示意图,如图3所示,图3中的黑色部分为被抠除部分图像,且保留了该场景下的完整的主要元素,即得到包含主要元素的抠图处理后的帧图像,图3的主要元素为人。对于与天空和马路分别对应的被抠除部分图像,不再赘述。
需要说明的是,该步骤通过对背景元素进行抠图尝试实现了对背景元素进行抠图处理,通过抠图尝试,保证对背景元素识别结果达到一定准确率的前提下,再对每帧图像中的每类背景元素分别进行抠图处理,保证对每帧图像中的每类背景元素对应的被抠除部分图像抠图的合理性。
S104:将抠图处理后的帧图像进行合成,得到压缩后的视频。
具体的,将抠图处理后的帧图像进行合成,得到压缩后的视频。参照图3,帧图像进行合成可以具体包括:使用ffmpeg把抠图处理后的帧图像,按照原有帧率及顺序,合成视频;使用ffmpeg把抠图处理后的帧图像,按照原有码率及顺序,合成音频。在合成完成之后,可以将压缩后的视频传输至终端,以供终端进行后续处理。
本发明实施例的方法,比现有压缩技术压缩比更高,而且还可以在现有压缩技术的基础上叠加使用。
本发明实施例提供的视频压缩处理方法,通过对视频的帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像,并将抠图处理后的帧图像进行合成,得到压缩后的视频,能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
在上述实施例的基础上,所述对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像,具体包括:
确定抠图形状。
具体的,确定抠图形状。可以根据所述帧图像中的背景元素的形状确定抠图形状;或者,随机生成抠图形状。图4(a)-图4(f)分别为本发明实施例按照背景元素物体形状抠图处理流程示意图,根据草地的形状确定的抠图形状如图4(a)所示。
从初始尺寸比例开始不断调高尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后识别背景元素,直至背景元素识别结果低于预设阈值时,以上一次抠除后的帧图像作为抠图处理后的帧图像;其中,抠除区域的中心为所述背景元素的中心,抠除区域的形状为所述抠图形状。
具体的,从初始尺寸比例开始不断调高尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后识别背景元素,直至背景元素识别结果低于预设阈值时,以上一次抠除后的帧图像作为抠图处理后的帧图像;其中,抠除区域的中心为所述背景元素的中心,抠除区域的形状为所述抠图形状。将草地的中心点作为抠除区域的中心,如图4(b)中的黑色圆点所示。对于还没有抠图的图像,对草地的识别结果为99.7%,如图4(c)所示。初始尺寸比例可以根据实际情况自主设置,可选为5%,即初始设定的抠图区域面积与背景元素总面积之比。
预设阈值可以根据实际情况自主设置,可选为65%。如图4(d)所示,第一次抠除尺寸比例对应的抠除区域如图4(d)中的黑色部分所示,在第一次抠除后,识别草地,此时对草地识别结果为90%,高于65%;如图4(e)所示,再调高尺寸比例,可以按照依次递增预设比例数值调高尺寸比例,预设比例数值可以根据实际情况自主设置,例如第二次尺寸比例为35%(相比第一次尺寸比例5%,调高了30%),第二次抠除尺寸比例对应的抠除区域如图4(e)中的黑色部分所示,在第二次抠除后,识别草地,此时对草地识别结果为70%,高于65%;如图4(f)所示,继续调高尺寸比例,例如第三次尺寸比例为65%(相比第二次尺寸比例35%,调高了30%),第三次抠除尺寸比例对应的抠除区域如图4(f)中的黑色部分所示,在第三次抠除后,识别草地,此时对草地识别结果为45%,低于65%,如图4(f)所示。因此,按照第二次尺寸比例为35%对草地进行抠图处理。
本发明实施例提供的视频压缩处理方法,有效、合理地获取抠图处理后的帧图像,从而能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
在上述实施例的基础上,所述确定抠图形状,具体包括:
将所述背景元素的形状确定为抠图形状;或者,随机生成抠图形状。
具体的,将所述背景元素的形状确定为抠图形状可参照上述说明,对于随机生成抠图形状,以草地作为某类背景元素a为例,随机生成的抠图形状具有一定的面积,可选为椭圆形。图5(a)-图5(c)分别为本发明实施例按照背景元素随机形状抠图处理流程示意图。
参照上述举例,第一次抠图后的草地识别结果为99.7%,高于65%,调高尺寸比例,可以按照依次递增预设比例数值调高尺寸比例,预设比例数值可以根据实际情况自主设置,例如第二次尺寸比例为35%,识别结果为90%,高于65%,如图5(b)所示,继续调高尺寸比例,例如第三次尺寸比例为65%,识别结果为50%,低于65%,如图5(c)所示。因此,按照第二次尺寸比例为35%对草地进行抠图处理,具体说明,可参照上述根据背景元素的形状确定抠图形状的说明,不再赘述。
本发明实施例提供的视频压缩处理方法,有效、合理地获取抠图处理后的帧图像,从而能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
在上述实施例的基础上,所述将抠图处理后的帧图像进行合成,得到压缩后的视频,包括:
确定填充色值,所述填充色值未被所述帧图像占用、且色值最低。
具体的,确定填充色值,所述填充色值未被所述帧图像占用、且色值最低。色值最低的色值可以是黑色对应的色值,如果在当前帧图像中除被抠除部分图像(对应抠除部分)以外的部分图像含有黑色对应色值,则确定所述被抠除部分图像的色值为第一目标色值,第一目标色值是与黑色对应色值在预设范围以内的非黑色色值;预设范围可以根据实际情况自主设置,非黑色色值并不是人眼所能识别的非黑色色值,可以是服务器所能够识别的非黑色色值,例如,黑色对应色值为#000000、对于色值#000010,就属于预设范围以内的非黑色色值,虽然人眼看上去色值#000010也为黑色。即如果除被抠除部分图像以外的部分图像包含#000000,则确定被抠除部分图像的色值为服务器所能够识别的与黑色接近的色值。
如果在当前帧图像中除被抠除部分图像以外的部分图像不包含黑色对应色值,则确定所述被抠除部分图像的色值为第二目标色值;所述第二目标色值是黑色对应色值。即如果除被抠除部分图像以外的部分图像不包含#000000,则确定被抠除部分图像的色值为#000000。
利用所述填充色值对抠图处理后的帧图像中的抠除部分进行填充。
具体的,利用所述填充色值对抠图处理后的帧图像中的抠除部分进行填充。采用上述的色值处理策略对被抠除部分图像进行填充处理,可以保证图像体积的最优化,进而更大限度地实现视频压缩。
将填充后的帧图像进行合成,得到压缩后的视频。
具体的,将填充后的帧图像进行合成,得到压缩后的视频。合成的过程可参照上述说明,不再赘述。需要说明的是:为了进一步压缩图像体积,不要采用png等带有透明通道的图像格式保存图像。
本发明实施例提供的视频压缩处理方法,通过对抠除部分进行填充色值,进一步能够显著地对视频进行压缩处理,进而明显提升视频储存效果和传输效果。
在上述实施例的基础上,得到压缩后的视频之后,所述方法还包括:
确定同一拍摄镜头对应的连续N帧图像,所述连续N帧图像是填充处理后的帧图像;所述同一拍摄镜头是相同拍摄场景对应的拍摄镜头;N为大于1的整数。
具体的,确定同一拍摄镜头对应的连续N帧图像,所述连续N帧图像是填充处理后的帧图像;所述同一拍摄镜头是相同拍摄场景对应的拍摄镜头;N为大于1的整数。例如百米赛跑直播视频片段先后包括运动员入场介绍、比赛阶段和赛后采访,则运动员入场介绍、比赛阶段和赛后采访分别对应三个同一拍摄镜头,运动员入场介绍对应的图像帧数可以是1~N帧,且这1~N帧图像中的所有背景元素都进行了抠图处理,是填充处理后的帧图像。
对所述连续N帧图像中的每一帧图像进行还原,并确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值。
具体的,对所述连续N帧图像中的每一帧图像进行还原,并确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值。具体说明如下:
可以使用还原图像算法(例如GAN网络)对第一帧进行还原、使用GAN网络对第二帧进行还原,将还原后的第二帧图像与还原后的第一帧图像进行差异对比,如果两者之间的差异值<M%(M%对应预设差异值,可以根据实际情况自主设置),继续使用GAN网络对第三帧进行还原,将还原后的第三帧图像与上述差异值<M%对应的还原后的第二帧图像进行差异对比,如果两者之间的差异值<M%,继续使用GAN网络对第四帧进行还原,将还原后的第四帧图像与上述差异值<M%对应的还原后的第三帧图像进行差异对比,以此类推,若所有次差异值都<M%,则确定验证通过同一拍摄镜头对应的连续N帧图像,并在确定验证通过同一拍摄镜头对应的连续N帧图像之后,发送验证通过的同一拍摄镜头对应的连续N帧图像至终端,以供终端对同一拍摄镜头对应的连续N帧图像进行还原。由于在服务器已经验证通过了同一拍摄镜头对应的连续N帧图像,使得终端在对同一拍摄镜头对应的连续N帧图像进行还原时,能够更加逼真地还原出原图像。
本发明实施例提供的视频压缩处理方法,通过相应的步骤验证同一拍摄镜头对应的连续N帧图像,有效保证了验证效果。
在上述实施例的基础上,所述确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:
对于第二帧,
若还原后的第二帧图像与还原后的第一帧图像的差异值大于或等于预设差异值,则不断降低第二帧当前尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后进行还原,直到抠除后还原的第二帧图像与还原后的第一帧图像的差异值小于预设差异值。
具体的,若还原后的第二帧图像与还原后的第一帧图像的差异值大于或等于预设差异值,则不断降低第二帧当前尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后进行还原,直到抠除后还原的第二帧图像与还原后的第一帧图像的差异值小于预设差异值。即将还原后的第二帧图像与还原后的第一帧图像进行差异对比,如果两者之间的差异值≥M%,则可以在第二帧图像的抠图处理中降低草地、天空和马路对应的尺寸比例,可以通过减少预设比例数值或初始尺寸比例来实现。如果减少预设比例数值或初始尺寸比例对第二帧图像中的每类背景元素进行抠图处理后,还是存在还原后的第二帧图像与还原后的第一帧图像差异值大于等于预设差异值的情况,可以重复执行,直到还原后的第二帧图像与还原后的第一帧图像的差异值小于预设差异值。
本发明实施例提供的视频压缩处理方法,通过采用合理地处理策略进行处理,保证了验证效果,不仅能够显著地对视频进行压缩处理,还能够保证终端对合成视频还原的图像效果。
在上述实施例的基础上,确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:
对于第i帧,i为大于等于3、且小于等于N的整数;
若还原后的第i帧图像与还原后的第i-1帧图像的差异值大于或等于预设差异值,则根据光流算法和第i-1帧图像对第i帧图像中的背景元素进行抠图处理。
具体的,若还原后的第i帧图像与还原后的第i-1帧图像的差异值大于或等于预设差异值,则根据光流算法和第i-1帧图像对第i帧图像中的背景元素进行抠图处理。以i=3为例,参照上述说明,如果还原后的第三帧图像与还原后的第二帧图像的差异值大于等于预设差异值,则根据光流算法和还原后的第二帧图像对还原后的第三帧图像中的每类背景元素进行抠图处理,对i的数值为3以外的其他数值的情况,可参照i=3的情况的说明,不再赘述。采用光流算法对每类背景元素进行抠图处理的方法为本领域成熟技术,不再赘述。
本发明实施例提供的视频压缩处理方法,通过采用合理地处理策略进行处理,保证了验证效果,不仅能够显著地对视频进行压缩处理,还能够保证终端对合成视频还原的图像效果。
在上述实施例的基础上,所述得到压缩后的视频之后,还包括:
记录同一拍摄镜头对应的播放时段及还原图像所使用的算法。
具体的,记录记录同一拍摄镜头对应的播放时段及还原图像所使用的算法。参照上述举例,还原图像所使用的算法可以为GAN网络。
将记录所述播放时段和所述算法的信息携带在压缩后的视频中。
具体的,将记录所述播放时段和所述算法的信息携带在压缩后的视频中。可以发送携带有该信息的压缩后的视频至终端,以供终端采用该信息中的算法对该播放时段的帧图像进行还原。图6(a)-图6(b)分别为本发明实施例还原后的图像与原图像的对比效果图,图6(a)为还原后的图像效果图,图6(b)为原图像效果图,对比图6(a)和图6(b),可以看出:还原后的图像与原图像非常接近,除了如图6(b)框选部分的细节丢失外,并不影响图像整体效果。
本发明实施例提供的视频压缩处理方法,通过将相应的信息携带于压缩后的视频中,有助于终端更便捷地还原压缩后的视频。
图7为本发明实施例提供的电子设备实体结构示意图,如图7所示,所述电子设备包括:处理器(processor)701、存储器(memory)702和总线703;
其中,所述处理器701、存储器702通过总线703完成相互间的通信;
所述处理器701用于调用所述存储器702中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:确定视频包含的帧图像;识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;将抠图处理后的帧图像进行合成,得到压缩后的视频。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:确定视频包含的帧图像;识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;将抠图处理后的帧图像进行合成,得到压缩后的视频。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:确定视频包含的帧图像;识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;将抠图处理后的帧图像进行合成,得到压缩后的视频。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种视频压缩处理方法,其特征在于,包括:
确定视频包含的帧图像;
识别所述帧图像中的背景元素和主要元素;所述主要元素与所述视频的场景所要表达内容相关;
对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像;其中,抠图处理后的帧图像包含所述主要元素;
将抠图处理后的帧图像进行合成,得到压缩后的视频;
得到压缩后的视频之后,所述方法还包括:
确定同一拍摄镜头对应的连续N帧图像,所述连续N帧图像是填充处理后的帧图像;所述同一拍摄镜头是相同拍摄场景对应的拍摄镜头;N为大于1的整数;对所述连续N帧图像中的每一帧图像进行还原,并确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值;
所述确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:对于第二帧,若还原后的第二帧图像与还原后的第一帧图像的差异值大于或等于预设差异值,则不断降低第二帧当前尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后进行还原,直到抠除后还原的第二帧图像与还原后的第一帧图像的差异值小于预设差异值。
2.根据权利要求1所述的视频压缩处理方法,其特征在于,所述对所述帧图像中的背景元素进行抠图处理,获取抠图处理后的帧图像,具体包括:
确定抠图形状;
从初始尺寸比例开始不断调高尺寸比例,以从所述背景元素中抠除尺寸比例对应的抠除区域、并在每次抠除后识别背景元素,直至背景元素识别结果低于预设阈值时,以上一次抠除后的帧图像作为抠图处理后的帧图像;
其中,抠除区域的中心为所述背景元素的中心,抠除区域的形状为所述抠图形状。
3.根据权利要求2所述的视频压缩处理方法,其特征在于,所述确定抠图形状,具体包括:
将所述背景元素的形状确定为抠图形状;或者,随机生成抠图形状。
4.根据权利要求1至3任一所述的视频压缩处理方法,其特征在于,所述将抠图处理后的帧图像进行合成,得到压缩后的视频,包括:
确定填充色值,所述填充色值未被所述帧图像占用、且色值最低;
利用所述填充色值对抠图处理后的帧图像中的抠除部分进行填充;
将填充后的帧图像进行合成,得到压缩后的视频。
5.根据权利要求1所述的视频压缩处理方法,其特征在于,确定还原后的非首帧图像与还原后的其前一帧图像的差异值小于预设差异值,包括:
对于第i帧,i为大于等于3、且小于等于N的整数;
若还原后的第i帧图像与还原后的第i-1帧图像的差异值大于或等于预设差异值,则根据光流算法和第i-1帧图像对第i帧图像中的背景元素进行抠图处理。
6.根据权利要求1所述的视频压缩处理方法,其特征在于,所述得到压缩后的视频之后,还包括:
记录同一拍摄镜头对应的播放时段及还原图像所使用的算法;
将记录所述播放时段和所述算法的信息携带在压缩后的视频中。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910804189.2A CN110517215B (zh) | 2019-08-28 | 2019-08-28 | 一种视频压缩处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910804189.2A CN110517215B (zh) | 2019-08-28 | 2019-08-28 | 一种视频压缩处理方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110517215A CN110517215A (zh) | 2019-11-29 |
CN110517215B true CN110517215B (zh) | 2022-03-25 |
Family
ID=68627701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910804189.2A Active CN110517215B (zh) | 2019-08-28 | 2019-08-28 | 一种视频压缩处理方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517215B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111294600A (zh) * | 2020-03-17 | 2020-06-16 | 广州致远电子有限公司 | 一种视频序列帧的压缩方法、解压方法及装置 |
CN113610865B (zh) * | 2021-07-27 | 2024-03-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN117576247B (zh) * | 2024-01-17 | 2024-03-29 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的图片生成方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101324963A (zh) * | 2008-07-24 | 2008-12-17 | 上海交通大学 | 基于静止图像的流体视频合成方法 |
CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
CN106210612A (zh) * | 2015-04-30 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、解码方法及其装置 |
CN108965746A (zh) * | 2018-07-26 | 2018-12-07 | 北京竞业达数码科技股份有限公司 | 视频合成方法及系统 |
CN109544587A (zh) * | 2018-10-31 | 2019-03-29 | 深圳变设龙信息科技有限公司 | 一种抠图处理方法、装置及终端设备 |
-
2019
- 2019-08-28 CN CN201910804189.2A patent/CN110517215B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101324963A (zh) * | 2008-07-24 | 2008-12-17 | 上海交通大学 | 基于静止图像的流体视频合成方法 |
CN106210612A (zh) * | 2015-04-30 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、解码方法及其装置 |
CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
CN108965746A (zh) * | 2018-07-26 | 2018-12-07 | 北京竞业达数码科技股份有限公司 | 视频合成方法及系统 |
CN109544587A (zh) * | 2018-10-31 | 2019-03-29 | 深圳变设龙信息科技有限公司 | 一种抠图处理方法、装置及终端设备 |
Non-Patent Citations (1)
Title |
---|
保持时间连贯性的视频抠图与合成;李亚星;《中国优秀硕士学位论文全文数据库》;20170531;I138-1115 * |
Also Published As
Publication number | Publication date |
---|---|
CN110517215A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145784B (zh) | 用于处理视频的方法和装置 | |
CN110517215B (zh) | 一种视频压缩处理方法、电子设备及存储介质 | |
CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
WO2022252372A1 (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
CN112312231A (zh) | 一种视频图像编码方法、装置、电子设备及介质 | |
KR20240089729A (ko) | 화상 처리 방법, 장치, 저장 매체 및 전자 기기 | |
CN113628100B (zh) | 视频增强方法、装置、终端及存储介质 | |
CN110807369B (zh) | 基于深度学习和注意力机制的短视频内容智能分类方法 | |
JP6162345B2 (ja) | 画像の記録または表示の前にシーン依存の画像修正を可能にする生のシーン認識 | |
CN113068034A (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
CN108985244B (zh) | 一种电视节目类型识别方法及装置 | |
CN112218159B (zh) | 多媒体信息播放方法、装置、存储介质及电子装置 | |
CN112860941A (zh) | 一种封面推荐方法、装置、设备及介质 | |
CN112866591B (zh) | 基于掩码检测的多帧图像融合的视频图像去噪方法 | |
CN118695051A (zh) | 数据生成方法、装置、产品、设备和介质 | |
CN111476866B (zh) | 视频优化与播放方法、系统、电子设备及存储介质 | |
CN111754412B (zh) | 构建数据对的方法、装置及终端设备 | |
CN115050083B (zh) | 矫正口型模型、模型的训练及其应用方法 | |
CN117440114A (zh) | 一种虚拟形象视频生成方法、装置、设备及介质 | |
CN118279722A (zh) | 模型的处理方法、平台及存储介质 | |
CN115687696A (zh) | 一种用于客户端的流媒体视频播放方法及相关装置 | |
CN113810629A (zh) | 一种融合平台多媒体信号的视频帧处理方法及装置 | |
CN115134676B (zh) | 一种音频辅助视频补全的视频重构方法及装置 | |
CN117714712B (zh) | 视频会议的数据隐写方法、设备及存储介质 | |
AU2021105232A4 (en) | Semantic feature based method for splitting news video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |