CN117750014B - 视频编码方法、装置及存储介质 - Google Patents
视频编码方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117750014B CN117750014B CN202211514738.0A CN202211514738A CN117750014B CN 117750014 B CN117750014 B CN 117750014B CN 202211514738 A CN202211514738 A CN 202211514738A CN 117750014 B CN117750014 B CN 117750014B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- frame
- code rate
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例涉及计算机技术领域,公开了视频编码方法、装置及存储介质,该方法包括:根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果。若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。最后,根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。采用本申请实施例,可在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及视频编码方法、装置及存储介质。
背景技术
码率控制是一种通过决定为每一帧图像分配多少比特数,以控制视频文件的大小和视频图像质量的方法。常用的视频编码的码率控制方式为固定比特因子(Constant RateFactor,CRF),即保持视频中各帧图像的图像质量不变,码率(数据传输时单位时间传送的比特数)可变。CRF主要是根据视频的平均码率和平均图像质量,选定图像质量参数和图像分辨率(也可称作选定原码点),以对视频进行编码。由于在保证视频质量的情况下,码率越小视频的数据量越小,也就越方便传输,但在多分辨率的情况下,原码点的图像分辨率在图像质量参数指示的视频质量下对应的码率不一定是最小的码率。因此,如何在保证视频的图像质量的情况下,决策出视频中每帧图像的最小码率,以对视频编码,是目前需要解决的问题。
发明内容
本申请实施例提供视频编码方法、装置及存储介质,可在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
一方面,本申请实施例提供了一种视频编码方法,包括:
对目标视频中的各帧图像进行特征提取处理,得到所述各帧图像的纹理特征,以及所述各帧图像的运动特征;
基于所述目标视频的预设图像质量,以及所述目标视频的预设图像分辨率,确定所述各帧图像的初始码率;
根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果;其中,所述分类结果用于指示在所述各帧图像的图像质量达到所述预设图像质量时,是否存在小于所述各帧图像的初始码率的码率;
若所述分类结果指示在所述各帧图像的图像质量达到所述预设图像质量时,存在小于所述各帧图像的初始码率的码率,则根据所述各帧图像的纹理特征和所述各帧图像的运动特征,确定所述各帧图像的目标码率;其中,所述各帧图像的目标码率指的是在所述各帧图像的图像质量达到所述预设图像质量时,所述各帧图像的码率;所述各帧图像的目标码率小于所述各帧图像的初始码率;
根据所述各帧图像的目标码率,对所述目标视频进行编码处理,得到编码后的目标视频。
一方面,本申请实施例提供了一种视频编码装置,所述视频编码装置包括处理单元和编码单元,其中:
所述处理单元,用于对目标视频中的各帧图像进行特征提取处理,得到所述各帧图像的纹理特征,以及所述各帧图像的运动特征;
所述处理单元,还用于基于所述目标视频的预设图像质量,以及所述目标视频的预设图像分辨率,确定所述各帧图像的初始码率;
所述处理单元,还用于根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果;其中,所述分类结果用于指示在所述各帧图像的图像质量达到所述预设图像质量时,是否存在小于所述各帧图像的初始码率的码率;
所述处理单元,还用于若所述分类结果指示在所述各帧图像的图像质量达到所述预设图像质量时,存在小于所述各帧图像的初始码率的码率,则根据所述各帧图像的纹理特征和所述各帧图像的运动特征,确定所述各帧图像的目标码率;其中,所述各帧图像的目标码率指的是在所述各帧图像的图像质量达到所述预设图像质量时,所述各帧图像的码率;所述各帧图像的目标码率小于所述各帧图像的初始码率;
所述编码单元,还用于根据所述各帧图像的目标码率,对所述目标视频进行编码处理,得到编码后的目标视频。
一方面,本申请实施例提供了一种电子设备,所述电子设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述视频编码方法。
一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行上述视频编码方法。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中;电子设备的处理器从所述计算机可读存储介质中读取所述计算机指令,所述处理器执行所述计算机指令,所述计算机指令被处理器执行时,用于执行上述视频编码方法。
本申请实施例中,会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。也就是说,本申请实施例在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频编码系统的结构示意图;
图2是本申请实施例提供的一种视频编码方法的流程示意图;
图3是本申请实施例提供的一种图像质量和码率的关系示意图;
图4是本申请实施例提供的另一种图像质量和码率的关系示意图;
图5是本申请实施例提供的另一种视频编码方法的流程示意图;
图6是本申请实施例提供的一种视频编码过程的示意图;
图7是本申请实施例提供的一种视频编码装置的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着互联网技术的不断发展,人工智能(Artificial Intelligence,AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术;其主要通过了解智能的实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器,使得智能机器具有感知、推理与决策等多种功能。相应的,AI技术是一门综合学科,其主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(MachineLearning,ML)/深度学习等几大方向。
其中,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心,是使计算机设备具有智能的根本途径;所谓的机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科;其专门研究计算机设备怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统,进行机器学习的技术;机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning,RL)、有监督学习、无监督学习、对比学习等多种技术;所谓的有监督学习是指采用类别已知(具有标注类别)的训练样本进行模型训练的处理方式,无监督学习是指采用类别未知(没有被标记)的训练样本进行模型训练的处理方式。
此外,视频是连续的图像序列,由连续的图像帧构成。视频编码则是通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。由于人眼的视觉暂留效应,当帧序列以一定的速率播放时,我们看到的就是动作连续的视频。而连续的图像之间相似性极高,因此为便于储存和传输,可以对原始的视频进行编码压缩,以去除视频中空间、时间维度的冗余。
另外,码率指的是单位时间传输的数据位数,视频中每帧图像的码率大小与视频的数据量相关。由于对视频压缩的比例不同,视频的数据量也会不同。通常来说,视频压缩的比例越大,视频的数据量就越小,也就越方便传输;但视频压缩的比例越大,视频的图像质量也就越差。因此,可以通过控制视频中各帧图像的码率的方式,平衡视频的图像质量和数据量大小。
基于此,本申请实施例提供了一种视频编码方案,该方案会根据目标视频中各帧图像的纹理特征和运动特征,对目标视频进行分类处理,以判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率。若判断出在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则可以根据各帧图像的纹理特征和运动特征,得到各帧图像的目标码率,以便根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。需要说明的是:各帧图像的目标码率指的是在各帧图像的图像质量达到预设图像质量时,各帧图像的码率;各帧图像的目标码率小于各帧图像的初始码率。
由于各帧图像的纹理特征可以反映各帧图像的内容复杂度,以及运动特征可以反映各帧图像的运动复杂度,故而可以通过各帧图像的纹理特征和运动特征确定各帧图像中的冗余信息。因此,本方案会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。由此可见,本方案在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
其中,所述各帧图像的初始码率是基于目标视频的预设图像质量,以及目标视频的预设图像分辨率得到的。所述预设图像质量指的是通过人为或者电子设备预先设定的目标视频的图像质量。其中,电子设备可以指的是下文中的终端设备或者服务器。可选地,可以是电子设备对目标视频的传输需求和/或存储需求进行分析之后,设定出一个合理的预设图像质量。也可以是电子设备直接设定出一个能够满足人眼观看需求的预设图像质量。举例来说,目标视频的传输需求为传输时间小于5秒,以及存储需求为存储空间小于800kB,那么电子设备可以根据目标视频的原始数据量,传输时间小于5秒,以及存储空间小于800kB等条件,分析得到满足该条件的预设图像质量。
具体实现中,当码率控制方式是固定比特因子(Constant Rate Factor,CRF)时,可以设定用于反映视频中图像质量的固定码率因子,即CRF。其中,CRF的取值范围为0至51,0为无损模式,即控制编码后的视频的图像质量为视频原本的图像质量;而CRF的数值越大,则说明编码后的视频的图像质量越差。因此,预设图像质量具体可以是预先设定的CRF值所指示的图像质量。
同时,所述预设图像分辨率指的是通过人为或者电子设备预先设定的目标视频的图像分辨率。可选地,电子设备可以是对目标视频的显示需求进行分析之后,得到预设图像分辨率。示例性地,由于待显示目标视频的电子设备的显示分辨率最高为720P,因此目标视频的显示需求为图像分辨率小于或等于720P,那么电子设备可以设定预设图像分辨率为720P、540P和360P。
具体来说,视频的图像分辨率指的是视频中各帧图像包括的像素点的数量。举例来说,720P的分辨率为1280*720像素(P,Progressive,即逐行扫描,其中多少P就表示区域纵向有多少行像素),1080P的分辨率为1920*1080像素,2k的分辨率为2560*1440像素。此外,同一个视频的预设图像分辨率可以有一个或多个。
此外,纹理特征指的是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。具体来说,纹理特征可以通过像素及其周围空间领域的灰度分布来表现,根据灰度范围大小可以分为局部纹理特征和全局纹理特征。运动特征包括各帧图像中的运动对象的运动轨迹和运动向量等。
基于上述视频编码方法,本申请实施例提供了一种视频编码系统,可参见图1,图1所示的视频编码系统可以包括多个终端设备101和多个服务器102,其中任一终端设备和任一服务器之间均建立有通信连接。终端设备101可以包括智能手机、平板电脑、笔记本电脑、台式计算机、智能车载以及智能可穿戴设备中的任意一种或多种。终端设备101内可以运行各式各样的应用程序(application,APP),如多媒体播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端,等等。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101以及服务器102之间可以通过有线或无线通信方式进行直接或间接地通信连接,本申请在此不做限制。
在一个实施例中,上述视频编码方法可以仅由图1所示视频编码系统中的终端设备101执行,具体执行过程为:终端设备101可以先对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征;同时,终端设备101还会通过目标视频的预设图像质量以及目标视频的预设图像分辨率,确定出各帧图像的初始码率。然后,终端设备101会根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的分类结果。若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则终端设备101会根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。之后,终端设备101可以根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。可选地,终端设备101还可以将编码后的目标视频传输至服务器102,以便服务器102可以将编码后的目标视频传输至其他终端设备。
可选地,上述视频编码方法也可以仅由图1所示的视频编码系统中的服务器102执行,其具体执行过程可参见上述终端设备101在视频编码时的具体执行过程,在此不再赘述。可选地,终端设备101还可以将编码后的目标视频传输至服务器102,然后服务器102可以将编码后的目标视频进行解码,得到解码后的视频;最后,服务器102可以显示解码后的视频或者将解码后的视频传输至其他终端设备。
在另一个实施例中,上述视频编码方法可以运行在视频编码系统中,视频编码系统可以包括终端设备和服务器。具体来说,所述视频编码方法可由图1所示的视频编码系统中所包含的终端设备101,以及服务器102来共同完成,具体执行过程为:终端设备101采集目标视频的预设图像质量以及目标视频的预设图像分辨率,然后将采集到的目标视频的预设图像质量和预设图像分辨率上传至服务器102。然后,服务器102会先对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征;同时,服务器102还会通过目标视频的预设图像质量以及目标视频的预设图像分辨率,确定出各帧图像的初始码率。之后,服务器102可以根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的分类结果。若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则服务器102会根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。最后,服务器102可以根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
可选地,服务器102还可以将编码后的目标视频传输至终端设备101,以便终端设备101可以将编码后的目标视频进行解码,然后显示解码后的目标视频。
可选地,可以是终端设备101先显示视频选择界面,其中视频选择界面包括多个视频标识,不同的视频标识指示不同的视频。可选地,为了方便使用终端设备101的对象能够确定自己想要看的视频,视频选择界面还可以包括多个视频缩略图,其中一个视频缩略图对应一个视频标识。具体来说,视频缩略图也就相当于视频的封面;视频标识可以是序号、视频名称等能够标识视频的字符或字符段,在此不限定。
然后,终端设备101可以响应对视频选择界面中多个视频标识的选择操作,得到目标视频标识。终端设备101采集预设图像质量和预设图像分辨率。其中,终端设备101采集预设图像质量以及预设图像分辨率的具体方式可以是:终端设备101显示视频格式编辑界面,其中视频格式编辑界面包括质量设置组件和分辨率设置组件;终端设备101响应对质量设置组件的编辑操作,获取预设图像质量;以及终端设备101响应对分辨率设置组件的编辑操作,获取预设分辨率。终端设备101根据目标视频标识,预设图像质量和预设分辨率,生成视频获取请求。最后,终端设备101将视频获取请求发送至服务器102。
服务器102在接收到视频获取请求之后,可以对视频获取请求进行解析,得到目标视频标识,预设图像质量和预设分辨率。服务器102先在预设视频库中查找视频标识为目标视频标识的目标视频;然后,服务器102对查找到的目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征。同时,服务器102还会通过解析出的预设图像质量以及预设图像分辨率,确定出各帧图像的初始码率。之后,服务器102可以根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的分类结果。若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则服务器102会根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。最后,服务器102可以根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
服务器102在得到编码后的目标视频之后,将编码后的目标视频发送至终端设备101。终端设备101在接收到编码后的目标视频之后,可以对编码后的目标视频进行解码,并显示解码后的目标视频。
基于上述视频编码方案以及视频编码系统,本申请实施例提供了一种视频编码方法。参见图2,为本申请实施例提供的一种视频编码方法的流程示意图。图2所示的视频编码方法可由服务器或者终端设备执行。图2所示的视频编码方法可包括步骤S201-S205:
S201,对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征。
在本申请实施例中,目标视频指的是待编码的视频。示例性地,当视频M被选为待编码的视频,以便于视频M的存储和传输时,视频M就是目标视频。同时,由于一个视频是由多帧图像按照一定的图像序列组成的,因此目标视频中的各帧图像指的就是组成目标视频的多帧图像中的各帧图像。
此外,纹理特征指的是反映图像中物体表面纹理的特征。可选地,视频中的纹理特征也可以称作空域复杂度。具体来说,纹理特征可以包括灰度变化特征,灰度共生矩阵(Gray-Level Coocurrence Matrix,CLCM)等用于表征图像纹理的一种或多种特征。具体来说,所述灰度变化特征指的是归一化相关性(Normalised Cross-Correlation,NCC)。
具体实现中,当纹理特征为灰度共生矩阵时,对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征的具体方式可以是:获取目标视频的各帧图像中各个像素点的灰度值;根据各帧图像中各个像素点的灰度值,构建各帧图像的灰度共生矩阵;其中,各帧图像的灰度共生矩阵用于表征:各帧图像中各个像素点与距离各个像素点预设范围内的像素点之间的灰度比值。需要说明的是,所述预设范围可以是人为设定的,也可以是系统设定的,在此不限定。举例来说,所述预设范围可以是5个像素点(即距离某个像素点预设范围内的像素点为距离某个像素点5个像素点内的像素点),10个像素点(即距离某个像素点预设范围内的像素点为距离某个像素点10个像素点内的像素点)等。
当纹理特征为灰度变化特征时,对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征的具体方式可以是:获取目标视频的各帧图像中各个像素点的灰度值;根据各帧图像中各个像素点的灰度值,构建各帧图像的灰度共生矩阵;其中,各帧图像的灰度共生矩阵用于表征:各帧图像中各个像素点与距离各个像素点预设范围内的像素点之间的灰度比值;针对各帧图像的灰度共生矩阵中的每一个灰度比值,统计各帧图像的灰度共生矩阵中灰度比值的数量,得到各帧图像的灰度变化特征。
可选地,纹理特征还可以包括灰度变化特征,灰度共生矩阵、Tamura纹理特征、小波变换等用于表征图像纹理的一种或多种特征,在此不限定。其中,Tamura纹理特征指的是Tamura等人提出了纹理特征的表达,Tamura纹理特征的六个分量对应于心理学角度上纹理特征的六种属性,分别是粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、线像度(linelikeness)、规整度(regularity)和粗略度(roughness)。需要说明的是,提取视频中各帧图像的Tamura纹理特征和小波变换的技术手段为本领域技术人员所惯用的技术手段,在此不赘述。
另外,运动特征指的是反映视频中各帧图像的图像内容的运动程度的特征。可选地,运动特征也可以称作时域复杂度。具体来说,运动特征可以包括加权峰值信噪比(ALOw-COMPLEXITY EXTENSION OF THEPERCEPTUALLY WEIGHTED PEAK SIGNAL-TO-NOISERATIO FOR HIGH-RESOLUTION VIDEOQUALITY ASSESSMENT,XPSNR),各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移。
需要说明的是,各帧图像的目标图像指的是在目标视频中的图像序列数与各帧图像在目标视频中的图像序列数之间的差值小于或等于预设阈值的图像。具体来说,预设阈值可以是人为设定的,也可以是系统设定的,在此不限定。举例来说,所述预设阈值可以是10、6、2等。当预设阈值为2时,目标视频中的图像A在目标视频中的图像序列数为10,那么,图像A的目标图像包括在目标视频中的图像序列数为8、9、11、12的图像。
具体实现中,各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移也就是运动估计(motion estimation)。当运动特征为各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移时,对目标视频中的各帧图像进行特征提取处理,得到各帧图像的运动特征的具体方式可以是:针对各帧图像中的每一个像素块,在各帧图像的目标图像中搜索与像素块匹配的目标像素块(即各帧图像的目标图像中相应像素块);其中,任一像素块包括至少一个像素点,像素块也可以称作图像的宏块。然后,基于各帧图像中的各个像素块在各帧图像中的位置信息,以及各帧图像中的各个像素块对应的目标像素块在各帧图像的目标图像中的位置信息,得到各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移。
可选地,上述针对各帧图像中的每一个像素块,在各帧图像的目标图像中搜索与所述像素块匹配的目标像素块的具体方式可以是:针对各帧图像中的每一个像素块,确定像素块在各帧图像的目标图像中的至少一个重叠像素块;基于像素块中各个像素点的灰度值,以及各个重叠像素块中各个像素点的灰度值,得到像素块与各个重叠像素块的像素块相似度;将像素块相似度最大的重叠像素块确定为目标像素块。
另外,加权峰值信噪比通常用于反映原始图像与被压缩后的原始图像之间的误差情况。提取加权峰值信噪比的技术手段为本领域技术人员所惯用的技术手段,在此不赘述。
S202,基于目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定各帧图像的初始码率。
在本申请实施例中,预设图像质量指的是人为或电子设备预先设定的图像质量。其中,图像质量可以是图像的失真情况,也可以是人眼感知到的图像的清晰情况等。也就是说,图像质量有多种评价标准,故而在此不赘述。此外,视频在采集、压缩、传输和存储等过程中会发生各种各样的畸变或失真,任何的畸变或失真都可能导致人眼视觉感知图像质量的下降,因此可以预先设定目标视频中的图像质量至少需要达到的图像质量,从而保证目标视频整体的图像质量。需要说明的是,预设图像质量可以是一个具体的数值,也可以是一个数值范围,在此不限定。
另外,预设图像分辨率指的是通过人为或者电子设备预先设定的目标视频的图像分辨率。视频的图像分辨率指的是视频中各帧图像包括的像素点的数量。本申请实施例中,由于同一个视频在终端设备上显示时通常可以显示多种分辨率,以方便终端设备的使用对象根据当前网络情况,选择最合适的分辨率,因此,本申请实施例中的预设图像分辨率可以为一个或多个。
具体实现中,当码率控制方式是固定比特因子(Constant Rate Factor,CRF)时,预设图像质量指的是人为或者系统预先设定的用于反映视频中图像质量的固定码率因子,即CRF。预设图像分辨率可以是人为或者系统根据视频的播放需求,设定的多个图像分辨率。举例来说,可以是设定CRF=23,预设图像分辨率包括360P、720P、1080P。
可选地,基于目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定各帧图像的初始码率的具体方式可以是:根据目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定目标视频中各帧图像的固定量化值(即Constant Quantizer,QP);基于各帧图像的固定量化值,以及各帧图像的数据量,得到各帧图像的初始码率。其中,确定目标视频中各帧图像的固定量化值为本领域技术人员所惯用的技术手段,在此不赘述。
S203,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果。
在本申请实施例中,分类结果指的是用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率。具体来说,分类结果指的是在保持各帧图像的图像质量达到最低的预设图像质量的情况下,各帧图像的码率在各帧图像的初始码率的基础上是否还可以更小。举例来说,分类结果可以是1或者0,同时预先设定1指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率;以及0指示在各帧图像的图像质量达到预设图像质量时,不存在小于各帧图像的初始码率的码率。
由于各帧图像的纹理特征可以反映各帧图像的内容复杂度(也可称为空域复杂度),以及运动特征可以反映各帧图像的运动复杂度(也可称为时域复杂度),而对视频进行编码压缩,就是为了去除视频中空间、时间维度的冗余。因此,可以通过各帧图像的纹理特征和运动特征确定各帧图像中的冗余信息,有利于后续确定各帧图像的码率是否还有降低的空间。
具体实现中,请参见附图3,示出了一种图像质量和码率的关系示意图。图3中的横坐标为码率,单位为k/bps;纵坐标为用于评价视频中图像质量的视频质量多方法评价融合参数(Visual Multimethod Assessment Fusion,VMAF)。其中,VMAF越高说明编码后的视频的图像质量越好,码率越低则说明编码后的视频越便于传输和存储。此外,可以设定视频M的预设图像质量为VMAF为94时指示的图像质量,视频M的预设图像分辨率为540P、720P和1080P。其中,图3中浅灰色曲线表示图像分辨率为540P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系;深灰色曲线表示图像分辨率为720P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系;黑色曲线表示图像分辨率为1080P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系。
首先,可以采用CRF的码率控制方式,根据视频M的平均码率和平均图像质量,确定出如图3所示的原码点,在VMAF为94时,原码点的码率为(即上述的初始码率)为900k/bps,以及图像分辨率为720P。
但如图3所示,在VMAF为94时,黑色曲线对应的码率比原码点的码率更小,因此实际上在VMAF为94时,原码点的码率并不是最小的码率,也就是说原码点并非最优码点,而最优码点的码率应该为750k/bps,图像分辨率为1080P。
同时,请参见附图4,示出了另一种图像质量和码率的关系示意图。图4中的横坐标为码率,单位为k/bps;纵坐标为VMAF。可以设定视频M的预设图像质量为VMAF为73时指示的图像质量,视频M的预设图像分辨率为540P、720P和1080P。其中,图4中浅灰色曲线表示图像分辨率为540P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系;深灰色曲线表示图像分辨率为720P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系;黑色曲线表示图像分辨率为1080P时,实际测量出视频M中某帧图像的码率与图像质量的对应关系。
首先,可以采用CRF的码率控制方式,根据视频M的平均码率和平均图像质量,确定出如图4所示的原码点,在VMAF为73时,原码点的码率为(即上述的初始码率)为2600k/bps,以及图像分辨率为720P。然后,如图4所示,在VMAF为73时,没有曲线对应的码率比2600k/bps更小。因此在VMAF为73时,原码点的码率就是最小的码率,原码点就是最优码点。
由此可见,通过码率控制方式确定出的原码点可能是最优码点,也可能不是最优码点;而分类结果所指示的在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率,也就相当于用于指示原码点是否是最优码点。
那么,可选地,若分类结果指示在各帧图像的图像质量达到预设图像质量时,不存在小于各帧图像的初始码率的码率,则根据各帧图像的初始码率,对目标视频进行编码处理,得到编码后的目标视频。
可选地,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果的具体方式可以是:调用分类模型,对各帧图像的纹理特征和各帧图像的运动特征进行分类处理,得到分类结果。具体来说,分类模型的训练过程是一个有监督训练的过程,因此可以通过多个训练视频,以及各个训练视频的分类标签,对初始分类模型进行训练,从而得到分类模型。其中,分类标签用于指示在各个训练视频中各帧图像的图像质量达到预设图像质量时,是否存在小于各个训练视频中各帧图像的初始码率的码率。各个训练视频中各帧图像的初始码率是基于各个训练视频的预设图像质量,以及各个训练视频的预设图像分辨率得到的。
具体实现中,可以采用自适应提升算法(Ada boosting)、梯度提升算法(GradientBoosting,GBDT)、XGBoost(eXtreme Gradient Boosting,一种基于决策树的集成机器学习算法,使用梯度上升框架)等多种boosting算法(一种可以用来减小监督式学习中偏差的机器学习算法)中的任一种算法对神经网络模型(即上述的初始分类模型)进行有监督训练,得到分类模型。其中,神经网络模型具体可以是循环神经网络模型(Recurrent NeuralNetwork,RNN),卷积神经网络模型(Convolutional Neural Network,CNN)、决策树模型等具有分类能力的多种模型中的一种。
可选地,由于步骤S201中提及各帧图像的纹理特征可以有一个或多个,以及各帧图像的运动特征可以有一个或多个;因此,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果的具体方式还可以是:将各帧图像的各个纹理特征进行拼接,得到各帧图像的目标纹理特征;以及将各帧图像的各个运动特征进行拼接,得到各帧图像的目标运动特征;最后,根据各帧图像的目标纹理特征,以及各帧图像的目标运动特征,对目标视频进行分类处理,得到分类结果。
S204,若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。
在本申请实施例中,各帧图像的目标码率指的是在所述各帧图像的图像质量达到预设图像质量时,各帧图像的码率;同时,各帧图像的目标码率小于各帧图像的初始码率。具体来说,参见图3和图4中的示例,原码点的码率指的是图像的初始码率,而最优码点的码率指的是在图像质量达到预设图像质量时图像的码率,且最优码点的码率小于原码点的码率。因此,在具体实现中,各帧图像的目标码率也就相当于是最优码点的码率;也就是说,确定出的各帧图像的目标码率,也就相当于确定出了各帧图像的最优码点的码率。
此外,根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率的具体方式可以是:调用回归预测模型,对各帧图像的纹理特征和各帧图像的运动特征进行回归预测处理,得到各帧图像的目标码率。具体来说,回归预测模型的训练过程是一个有监督训练的过程,因此可以通过多个训练视频,以及各个训练视频中各帧图像的训练码率,对初始回归预测模型进行训练,从而得到回归预测模型。其中,训练码率指的是在各个训练视频的各帧图像的图像质量达到训练图像质量时,各个训练视频的各帧图像的码率;训练码率小于各个训练视频的各帧图像的初始码率。训练图像质量可以参见预设图像质量的具体含义,在此不赘述。
具体实现中,可以采用自适应提升算法(Ada boosting)、梯度提升(GradientBoosting,GBDT)、XGBoost(eXtreme Gradient Boosting,一种基于决策树的集成机器学习算法,使用梯度上升框架)等多种boosting算法(一种可以用来减小监督式学习中偏差的机器学习算法)中的任一种算法对神经网络模型(即上述的初始回归预测模型)进行有监督训练,得到回归预测模型。其中,神经网络模型具体可以是深度神经网络模型(Deep NeuralNetworks,DNN),卷积神经网络模型(Convolutional Neural Network,CNN)、决策树模型等具有回归预测能力的多种模型中的一种。
可选地,由于步骤S201中提及各帧图像的纹理特征可以有一个或多个,以及各帧图像的运动特征可以有一个或多个;因此,根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率的具体方式还可以是:将各帧图像的各个纹理特征进行拼接,得到各帧图像的目标纹理特征;以及将各帧图像的各个运动特征进行拼接,得到各帧图像的目标运动特征;最后,根据各帧图像的目标纹理特征,以及各帧图像的目标运动特征,对目标视频进行回归预测处理,得到各帧图像的目标码率。
S205,根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
在本申请实施例中,所述根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频的具体方式可以是:根据各帧图像的目标码率,以及各帧图像的数据量,对目标视频中的相应图像进行编码处理,得到编码后的目标视频。
同理,步骤S204中据各帧图像的初始码率,对目标视频进行编码处理,得到编码后的目标视频的具体方式可以是:根据各帧图像的初始码率,以及各帧图像的数据量,对目标视频中的相应图像进行编码处理,得到编码后的目标视频。
本申请实施例中,会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。也就是说,本申请实施例在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
基于上述视频编码方案以及视频编码系统,本申请实施例提供了另一种视频编码方法。参见图5,为本申请实施例提供的另一种视频编码方法的流程示意图。图5所示的视频编码方法可由图1所示的服务器或者终端设备执行。图5所示的视频编码方法可包括如下步骤:
S501,对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征。
S502,基于目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定各帧图像的初始码率。
其中,步骤S501-S502的具体实施方式可参见步骤S201-S202的具体实施方式,在此不赘述。
S503,调用分类模型中的各个决策分类器,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行决策处理,得到各个决策分类器的决策结果。
在本申请实施例中,各个决策分类器的决策结果用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率。分类模型包括多个决策分类器。具体实现中,分类模型中的每一个决策分类器都是一个小型的用于分类的神经网络模型。
可选地,分类模型的训练过程具体可以是:首先,获取多个训练视频集;其中,任一训练视频集包括至少一个训练视频,至少一个训练视频中各个训练视频的目标决策结果,至少一个训练视频中各个训练视频的各帧图像的纹理特征和运动特征。然后,调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果。最后,根据多个训练视频集中各个训练视频的训练决策结果,以及多个训练视频集中各个训练视频的目标决策结果,对初始分类模型进行训练,得到分类模型。
具体实现中,调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果的具体过程可以是:遍历初始分类模型中的各个决策分类器,基于上一次遍历的决策分类器处理得到的上一次遍历的决策分类器对应的训练视频集中各个训练视频的训练决策结果,从多个训练视频集中确定当前遍历的目标决策分类器对应的目标训练视频集。然后,调用目标决策分类器,根据目标训练视频集中各个训练视频的各帧图像的纹理特征和运动特征,对目标训练视频集中的各个训练视频进行决策处理,得到目标训练视频集中的各个训练视频的训练决策结果。
具体来说,基于上一次遍历的决策分类器处理得到的上一次遍历的决策分类器对应的训练视频集中各个训练视频的训练决策结果,从多个训练视频集中确定当前遍历的目标决策分类器对应的目标训练视频集的方式可以是:当目标决策分类器是第一个遍历的决策分类器时,先从多个训练视频集中选取任一训练视频集作为第一个遍历的决策分类器的目标训练视频集;当目标决策分类器不是第一个遍历的决策分类器时,基于上一次遍历的决策分类器的目标训练视频集中训练决策结果与目标决策结果不相同的训练视频,以及多个训练视频集的剩余训练视频集中选取的一个训练视频集,得到目标决策分类器的目标训练视频集。
此外,还可以根据目标训练视频集中的各个训练视频的训练决策结果和目标决策结果,确定目标决策分类器的决策权重,以得到初始分类模型中的各个决策分类器的决策权重。
具体来说,在开始训练之前,初始分类模型中的各个决策分类器的决策权重是均匀分布的。举例来说,如果初始分类模型包括10个决策分类器,那么初始分类模型中的各个决策分类器的决策权重都是0.1。然后,会通过遍历过的各个决策分类器的目标训练视频集中的各个训练视频的训练决策结果是否与其目标决策结果相同的方式,确定遍历过的各个决策分类器的分类正确率;最后,通过遍历过的各个决策分类器的分类正确率,得到遍历过的各个决策分类器的决策权重。
S504,根据各个决策分类器的决策权重,以及各个决策分类器的决策结果,得到分类结果。
在本申请实施例中,分类模型中各个决策分类器的决策权重都是一个小于1的数值,分类模型中所有决策分类器的决策权重相加为1。由步骤S503可知,分类模型中各个决策分类器的决策权重是根据各个决策分类器在训练时的目标训练视频集中的各个训练视频的训练决策结果和目标决策结果得到的。在此不赘述。
此外,根据各个决策分类器的决策权重,以及各个决策分类器的决策结果,得到分类结果的具体方式可以是:将各个决策分类器的决策权重与相应决策分类器的决策结果相乘,得到各个决策分类器的加权决策结果;最后将分类模型中所有决策分类器的加权决策结果相加,得到分类结果。
S505,若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率。
本申请实施例中,根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率的具体方式可以是:调用回归预测模型中的各个回归预测器,对各帧图像的纹理特征和各帧图像的运动特征进行预测处理,得到各个回归预测器的预测码率;基于各个回归预测器的回归权重,以及各个回归预测器的预测码率,得到各帧图像的目标码率。具体来说,各个回归预测器的回归权重可以都相同,举例来说,各个回归预测器的回归权重可以都为1。
可选地,回归预测模型的训练过程具体可以是:首先,获取训练视频,训练视频的各帧图像的训练码率,以及训练视频的各帧图像的纹理特征和运动特征;其中,训练视频的各帧图像的训练码率指的是在训练视频的各帧图像的图像质量达到训练图像质量时,训练视频的各帧图像的码率;训练视频的各帧图像的训练码率小于训练视频的各帧图像的初始码率。然后,调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率。最后,根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型。
具体来说,调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率的过程可以是:遍历初始回归预测模型中的各个初始回归预测器,并调用当前遍历的初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到当前遍历的初始回归预测器的预测码率。
那么,根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型的过程可以是:基于训练视频的各帧图像的训练码率,以及遍历过的初始回归预测器的预测码率,确定当前遍历的初始回归预测器的残差码率;根据当前遍历的初始回归预测器的残差码率,以及遍历过的初始回归预测器的残差码率,对初始回归预测模型进行训练,得到回归预测模型。
也就是说,初始回归预测模型中的各个初始回归预测器都会对训练视频进行处理,预测得到一个预测码率;然后,训练视频的训练码率减去遍历过的初始回归预测器的预测码率以及当前遍历的初始回归预测器的预测码率,也就得到了当前遍历的初始回归预测器的残差码率。然后,通过按照减小每个初始回归预测器的残差码率的方向,对每个初始回归预测器进行训练的方式,对初始回归预测模型进行训练,从而得到回归预测模型。
可选地,除了可以根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率之外,还可以根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率和目标图像分辨率。其中,视频中各帧图像的目标图像分辨率可以是相同的。目标图像分辨率指的是在各帧图像的图像质量达到所述预设图像质量时,各帧图像的目标码率所对应的图像分辨率。
具体来说,根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率和目标图像分辨率的具体方式可以是:调用回归预测模型,对各帧图像的纹理特征和各帧图像的运动特征进行回归预测处理,得到各帧图像的目标码率和目标图像分辨率。
需要说明的是,由于此时回归预测模型可以预测各帧图像的目标码率和目标图像分辨率,因此回归预测模型可以通过多个训练视频,以及各个训练视频的训练码率和训练图像分辨率,对初始分类模型进行训练,从而得到分类模型。其中,训练图像分辨率指的是在各帧图像的图像质量达到训练图像质量时,各帧图像的训练码率所对应的图像分辨率。
S506,根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
其中,步骤S506的具体实施方式可参见步骤S205的具体实施方式,在此不赘述。
在实际应用中,请参见附图6,示出了一种视频编码过程的示意图。输入目标视频,并对目标视频进行解码,得到多帧预设视频格式的图像。其中,对目标视频进行解码的具体过程可以是:将目标视频的原始视频格式转换为预设视频格式。举例来说,预设视频格式可以是YUV(一种颜色编码方法。常使用在各个视频处理组件中,常见的YUV格式有YUV420p、YUV420sp、NV21等)、RGB(一种颜色标准)、Raw(一种未经处理、也未经压缩的视频格式)等,在此不限定。
在得到多帧预设视频格式的图像之后,可以提取各帧图像的纹理特征和运动特征,并将各帧图像的纹理特征和运动特征输入至分类模型,得到分类结果。若分类结果指示原码点为最优码点(即分类结果指示在各帧图像的图像质量达到预设图像质量时,不存在小于各帧图像的初始码率的码率),则根据各帧图像的初始码率,对目标视频进行编码处理,得到编码后的目标视频。
若分类结果指示原码点不为最优码点(即分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率),则将各帧图像的纹理特征和运动特征输入至回归预测模型,得到各帧图像的目标码率。最后根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
本申请实施例中,会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。也就是说,本申请实施例在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
此外,本申请实施例会根据分类模型中各个决策分类器对各帧图像的纹理特征和运动特征进行处理得到的多个决策结果,得到最终的分类结果,有利于提高分类结果的准确性。同时,本申请实施例还会根据回归预测模型中各个回归预测器对各帧图像的纹理特征和运动特征进行处理得到的各帧图像的多个预测码率,得到各帧图像的目标码率,有利于提高预测得到的码率的准确性。
基于上述视频编码方法的相关描述,本申请还公开了一种视频编码装置。该视频编码装置可以是运行与上述所提及的计算机设备中的一个计算机程序(包括程序代码)。该视频编码装置可以执行如图2和图5所示的视频编码方法,请参见图7,该视频编码装置至少可以包括:处理单元701和编码单元702。
处理单元701,用于对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征;
处理单元701,还用于基于目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定各帧图像的初始码率;
处理单元701,还用于根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果;其中,分类结果用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率;
处理单元701,还用于若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率;其中,各帧图像的目标码率指的是在各帧图像的图像质量达到预设图像质量时,各帧图像的码率;各帧图像的目标码率小于各帧图像的初始码率。
编码单元702,用于根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
在一种实施方式中,处理单元701在根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果时,还可以用于执行:
调用分类模型中的各个决策分类器,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行决策处理,得到各个决策分类器的决策结果;其中,决策结果用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率;
根据各个决策分类器的决策权重,以及各个决策分类器的决策结果,得到分类结果。
在又一种实施方式中,处理单元701还可用于执行:
获取多个训练视频集;其中,任一训练视频集包括至少一个训练视频,至少一个训练视频中各个训练视频的目标决策结果,至少一个训练视频中各个训练视频的各帧图像的纹理特征和运动特征;
调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果;
根据多个训练视频集中各个训练视频的训练决策结果,以及多个训练视频集中各个训练视频的目标决策结果,对初始分类模型进行训练,得到分类模型。
在又一种实施方式中,处理单元701在调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果时,具体还可用于执行:
遍历初始分类模型中的各个决策分类器,基于上一次遍历的决策分类器处理得到的上一次遍历的决策分类器对应的训练视频集中各个训练视频的训练决策结果,从多个训练视频集中确定当前遍历的目标决策分类器对应的目标训练视频集;
调用目标决策分类器,根据目标训练视频集中各个训练视频的各帧图像的纹理特征和运动特征,对目标训练视频集中的各个训练视频进行决策处理,得到目标训练视频集中的各个训练视频的训练决策结果。
在一种实施方式中,处理单元701在根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率时,具体可以用于执行:
调用回归预测模型中的各个回归预测器,对各帧图像的纹理特征和各帧图像的运动特征进行预测处理,得到各个回归预测器的预测码率;
基于各个回归预测器的回归权重,以及各个回归预测器的预测码率,得到各帧图像的目标码率。
在一种实施方式中,处理单元701,还可用于执行:
获取训练视频,训练视频的各帧图像的训练码率,以及训练视频的各帧图像的纹理特征和运动特征;其中,训练视频的各帧图像的训练码率指的是在训练视频的各帧图像的图像质量达到训练图像质量时,训练视频的各帧图像的码率,训练视频的各帧图像的训练码率小于训练视频的各帧图像的初始码率;
调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率;
根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型。
在又一种实施方式中,处理单元701在调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率时,具体可用于执行:
遍历初始回归预测模型中的各个初始回归预测器,并调用当前遍历的初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到当前遍历的初始回归预测器的预测码率;
处理单元701在根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型时,具体可用于执行:
基于训练视频的各帧图像的训练码率,以及遍历过的初始回归预测器的预测码率,确定当前遍历的初始回归预测器的残差码率;
根据当前遍历的初始回归预测器的残差码率,以及遍历过的初始回归预测器的残差码率,对初始回归预测模型进行训练,得到回归预测模型。
在又一种实施方式中,各帧图像的纹理特征包括如下至少一种:灰度变化特征,灰度共生矩阵;各帧图像的运动特征包括如下至少一种:加权峰值信噪比,各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移;其中,各帧图像的目标图像指的是在目标视频中的图像序列数与各帧图像在目标视频中的图像序列数之间的差值小于或等于预设阈值的图像。
处理单元701在根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果时,具体可以用于执行:
将各帧图像的各个纹理特征进行拼接,得到各帧图像的目标纹理特征;
将各帧图像的各个运动特征进行拼接,得到各帧图像的目标运动特征;
根据各帧图像的目标纹理特征,以及各帧图像的目标运动特征,对目标视频进行分类处理,得到分类结果。
根据本申请的一个实施例,图2和图5所示的方法所涉及各个步骤可以是由图7所示的视频编码装置中的各个单元来执行的。例如,图2所示的步骤S201至步骤S204可由图7所示的视频编码装置中的处理单元701来执行;步骤S205可由图7所示的视频编码装置中的编码单元702来执行。再如,图5所示的步骤S501至步骤S505可由图7所示的视频编码装置中的处理单元701来执行;步骤S506可由图7所示的视频编码装置中的编码单元702来执行。
根据本申请的另一个实施例,图7所示的视频编码装置中的各个单元是基于逻辑功能划分的,上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。在本申请的其它实施例中,上述基于视频编码装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算设备上,运行能够执行如图2或图5所示的方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7所示的视频编码装置,以及来实现本申请实施例的视频编码方法。计算机程序可以记载于例如计算机存储介质上,并通过计算机存储介质装载于上述计算机设备中,并在其中运行。
本申请实施例中,会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。也就是说,本申请实施例在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
基于上述的方法实施例以及装置实施例,本申请还提供了一种电子设备。参见图8,为本申请实施例提供的一种电子设备的结构示意图。图8所示的电子设备可至少包括处理器801、输入接口802、输出接口803以及计算机存储介质804。其中,处理器801、输入接口802、输出接口803以及计算机存储介质804可通过总线或其他方式连接。
计算机存储介质804可以存储在电子设备的存储器中,计算机存储介质804用于存储计算机程序,计算机程序包括程序指令,处理器801用于执行计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现上述视频编码方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory),计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速随机存取存储器(random access memory,RAM)存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器801加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2和图5的视频编码方法实施例中的方法的相应步骤,具体实现中,计算机存储介质中的一条或多条指令由处理器801加载并执行如下步骤:
处理器801对目标视频中的各帧图像进行特征提取处理,得到各帧图像的纹理特征,以及各帧图像的运动特征;
处理器801基于目标视频的预设图像质量,以及目标视频的预设图像分辨率,确定各帧图像的初始码率;
处理器801根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果;其中,分类结果用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率;
处理器801若分类结果指示在各帧图像的图像质量达到预设图像质量时,存在小于各帧图像的初始码率的码率,则根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率;其中,各帧图像的目标码率指的是在各帧图像的图像质量达到预设图像质量时,各帧图像的码率;各帧图像的目标码率小于各帧图像的初始码率;
处理器801根据各帧图像的目标码率,对目标视频进行编码处理,得到编码后的目标视频。
在一个实施例中,处理器801在根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果时,具体可用于执行:
调用分类模型中的各个决策分类器,根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行决策处理,得到各个决策分类器的决策结果;其中,决策结果用于指示在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率;
根据各个决策分类器的决策权重,以及各个决策分类器的决策结果,得到分类结果。
在一个实施例中,处理器801具体还可用于执行:
获取多个训练视频集;其中,任一训练视频集包括至少一个训练视频,至少一个训练视频中各个训练视频的目标决策结果,至少一个训练视频中各个训练视频的各帧图像的纹理特征和运动特征;
调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果;
根据多个训练视频集中各个训练视频的训练决策结果,以及多个训练视频集中各个训练视频的目标决策结果,对初始分类模型进行训练,得到分类模型。
在一个实施例中,处理器801在调用初始分类模型中的多个决策分类器,对多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到多个训练视频集中各个训练视频的训练决策结果时,具体可以用于执行:
遍历初始分类模型中的各个决策分类器,基于上一次遍历的决策分类器处理得到的上一次遍历的决策分类器对应的训练视频集中各个训练视频的训练决策结果,从多个训练视频集中确定当前遍历的目标决策分类器对应的目标训练视频集;
调用目标决策分类器,根据目标训练视频集中各个训练视频的各帧图像的纹理特征和运动特征,对目标训练视频集中的各个训练视频进行决策处理,得到目标训练视频集中的各个训练视频的训练决策结果。
在一个实施例中,处理器801在根据各帧图像的纹理特征和各帧图像的运动特征,确定各帧图像的目标码率时,具体可用于执行:
调用回归预测模型中的各个回归预测器,对各帧图像的纹理特征和各帧图像的运动特征进行预测处理,得到各个回归预测器的预测码率;
基于各个回归预测器的回归权重,以及各个回归预测器的预测码率,得到各帧图像的目标码率。
在一个实施例中,处理器801还可用于执行:
获取训练视频,训练视频的各帧图像的训练码率,以及训练视频的各帧图像的纹理特征和运动特征;其中,训练视频的各帧图像的训练码率指的是在训练视频的各帧图像的图像质量达到训练图像质量时,训练视频的各帧图像的码率,训练视频的各帧图像的训练码率小于训练视频的各帧图像的初始码率;
调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率;
根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型。
在一个实施例中,处理器801在调用初始回归预测模型中的各个初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到各个初始回归预测器的预测码率时,具体可用于执行:
遍历初始回归预测模型中的各个初始回归预测器,并调用当前遍历的初始回归预测器,对训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到当前遍历的初始回归预测器的预测码率;
处理器801在根据各个初始回归预测器的预测码率,以及训练视频的各帧图像的训练码率,对初始回归预测模型进行训练,得到回归预测模型时,具体可用于执行:
基于训练视频的各帧图像的训练码率,以及遍历过的初始回归预测器的预测码率,确定当前遍历的初始回归预测器的残差码率;
根据当前遍历的初始回归预测器的残差码率,以及遍历过的初始回归预测器的残差码率,对初始回归预测模型进行训练,得到回归预测模型。
在一个实施例中,各帧图像的纹理特征包括如下至少一种:灰度变化特征,灰度共生矩阵;各帧图像的运动特征包括如下至少一种:加权峰值信噪比,各帧图像中的各个像素块与各帧图像的目标图像中相应像素块之间的位移;其中,各帧图像的目标图像指的是在目标视频中的图像序列数与各帧图像在目标视频中的图像序列数之间的差值小于或等于预设阈值的图像;
处理器801在根据各帧图像的纹理特征和各帧图像的运动特征,对目标视频进行分类处理,得到分类结果时,具体可用于执行:
将各帧图像的各个纹理特征进行拼接,得到各帧图像的目标纹理特征;
将各帧图像的各个运动特征进行拼接,得到各帧图像的目标运动特征;
根据各帧图像的目标纹理特征,以及各帧图像的目标运动特征,对目标视频进行分类处理,得到分类结果。
本申请实施例中,会先通过各帧图像的纹理特征和运动特征,判断在各帧图像的图像质量达到预设图像质量时,是否存在小于各帧图像的初始码率的码率的方式,判断出各帧图像的码率是否还可以进一步降低。在确定了各帧图像的初始码率还有降低的空间之后,可以进一步通过各帧图像的纹理特征和运动特征,得到可以保证图像质量达到预设图像质量且小于各帧图像的初始码率的各帧图像的目标码率。也就是说,本申请实施例在确定出各帧图像的码率还可以降低之后,会进一步通过各帧图像的纹理特征和运动特征,得到小于各帧图像的初始码率的目标码率,以便对视频进行编码,从而在保证视频中各帧图像的图像质量达到预设图像质量的情况下,减小编码后的视频的数据量,有利于视频的存储和传输。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述如图2和图5所示的方法实施例。其中,计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本发明实施例中的视频编码方法主要以视频传输和存储领域进行举例说明,本发明实施例中的视频编码方法还可应用于视频显示等与视频编解码相关的场景,在此不限定。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。此外,本申请不对具体实施方式中的各个步骤的执行顺序作限定。
Claims (12)
1.一种视频编码方法,其特征在于,包括:
对目标视频中的各帧图像进行特征提取处理,得到所述各帧图像的纹理特征,以及所述各帧图像的运动特征;
基于所述目标视频的预设图像质量,以及所述目标视频的预设图像分辨率,确定所述各帧图像的初始码率;
根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果;其中,所述分类结果用于指示在所述各帧图像的图像质量达到所述预设图像质量时,是否存在小于所述各帧图像的初始码率的码率;
若所述分类结果指示在所述各帧图像的图像质量达到所述预设图像质量时,存在小于所述各帧图像的初始码率的码率,则调用回归预测模型,对所述各帧图像的纹理特征和所述各帧图像的运动特征进行回归预测处理,得到所述各帧图像的目标码率;其中,所述各帧图像的目标码率指的是在所述各帧图像的图像质量达到所述预设图像质量时,所述各帧图像的码率;所述各帧图像的目标码率小于所述各帧图像的初始码率;
根据所述各帧图像的目标码率,对所述目标视频进行编码处理,得到编码后的目标视频。
2.根据权利要求1所述的方法,其特征在于,所述根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果,包括:
调用分类模型中的各个决策分类器,根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行决策处理,得到所述各个决策分类器的决策结果;其中,所述决策结果用于指示在所述各帧图像的图像质量达到所述预设图像质量时,是否存在小于所述各帧图像的初始码率的码率;
根据所述各个决策分类器的决策权重,以及所述各个决策分类器的决策结果,得到所述分类结果。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取多个训练视频集;其中,任一训练视频集包括至少一个训练视频,所述至少一个训练视频中各个训练视频的目标决策结果,所述至少一个训练视频中各个训练视频的各帧图像的纹理特征和运动特征;
调用初始分类模型中的多个决策分类器,对所述多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到所述多个训练视频集中各个训练视频的训练决策结果;
根据所述多个训练视频集中各个训练视频的训练决策结果,以及所述多个训练视频集中各个训练视频的目标决策结果,对所述初始分类模型进行训练,得到所述分类模型。
4.根据权利要求3所述的方法,其特征在于,所述调用初始分类模型中的多个决策分类器,对所述多个训练视频集中各个训练视频的各帧图像的纹理特征和运动特征进行决策处理,得到所述多个训练视频集中各个训练视频的训练决策结果,包括:
遍历初始分类模型中的各个决策分类器,基于上一次遍历的决策分类器处理得到的所述上一次遍历的决策分类器对应的训练视频集中各个训练视频的训练决策结果,从所述多个训练视频集中确定当前遍历的目标决策分类器对应的目标训练视频集;
调用所述目标决策分类器,根据所述目标训练视频集中各个训练视频的各帧图像的纹理特征和运动特征,对所述目标训练视频集中的各个训练视频进行决策处理,得到所述目标训练视频集中的各个训练视频的训练决策结果。
5.根据权利要求1所述的方法,其特征在于,所述根据所述各帧图像的纹理特征和所述各帧图像的运动特征,确定所述各帧图像的目标码率,包括:
调用回归预测模型中的各个回归预测器,对所述各帧图像的纹理特征和所述各帧图像的运动特征进行预测处理,得到所述各个回归预测器的预测码率;
基于所述各个回归预测器的回归权重,以及所述各个回归预测器的预测码率,得到所述各帧图像的目标码率。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取训练视频,所述训练视频的各帧图像的训练码率,以及所述训练视频的各帧图像的纹理特征和运动特征;其中,所述训练视频的各帧图像的训练码率指的是在所述训练视频的各帧图像的图像质量达到训练图像质量时,所述训练视频的各帧图像的码率,所述训练视频的各帧图像的训练码率小于所述训练视频的各帧图像的初始码率;
调用初始回归预测模型中的各个初始回归预测器,对所述训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到所述各个初始回归预测器的预测码率;
根据所述各个初始回归预测器的预测码率,以及所述训练视频的各帧图像的训练码率,对所述初始回归预测模型进行训练,得到所述回归预测模型。
7.根据权利要求6所述的方法,其特征在于,所述调用初始回归预测模型中的各个初始回归预测器,对所述训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到所述各个初始回归预测器的预测码率,包括:
遍历所述初始回归预测模型中的各个初始回归预测器,并调用当前遍历的初始回归预测器,对所述训练视频的各帧图像的纹理特征和运动特征进行预测处理,得到所述当前遍历的初始回归预测器的预测码率;
所述根据所述各个初始回归预测器的预测码率,以及所述训练视频的各帧图像的训练码率,对所述初始回归预测模型进行训练,得到所述回归预测模型,包括:
基于所述训练视频的各帧图像的训练码率,以及遍历过的初始回归预测器的预测码率,确定所述当前遍历的初始回归预测器的残差码率;
根据当前遍历的初始回归预测器的残差码率,以及遍历过的初始回归预测器的残差码率,对所述初始回归预测模型进行训练,得到所述回归预测模型。
8.根据权利要求1所述的方法,其特征在于,所述各帧图像的纹理特征包括如下至少一种:灰度变化特征,灰度共生矩阵;所述各帧图像的运动特征包括如下至少一种:加权峰值信噪比,所述各帧图像中的各个像素块与所述各帧图像的目标图像中相应像素块之间的位移;其中,所述各帧图像的目标图像指的是在所述目标视频中的图像序列数与所述各帧图像在所述目标视频中的图像序列数之间的差值小于或等于预设阈值的图像;
所述根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果,包括:
将所述各帧图像的各个纹理特征进行拼接,得到所述各帧图像的目标纹理特征;
将所述各帧图像的各个运动特征进行拼接,得到所述各帧图像的目标运动特征;
根据所述各帧图像的目标纹理特征,以及所述各帧图像的目标运动特征,对所述目标视频进行分类处理,得到所述分类结果。
9.一种视频编码装置,其特征在于,所述视频编码装置包括处理单元和编码单元,其中:
所述处理单元,用于对目标视频中的各帧图像进行特征提取处理,得到所述各帧图像的纹理特征,以及所述各帧图像的运动特征;
所述处理单元,还用于基于所述目标视频的预设图像质量,以及所述目标视频的预设图像分辨率,确定所述各帧图像的初始码率;
所述处理单元,还用于根据所述各帧图像的纹理特征和所述各帧图像的运动特征,对所述目标视频进行分类处理,得到分类结果;其中,所述分类结果用于指示在所述各帧图像的图像质量达到所述预设图像质量时,是否存在小于所述各帧图像的初始码率的码率;
所述处理单元,还用于若所述分类结果指示在所述各帧图像的图像质量达到所述预设图像质量时,存在小于所述各帧图像的初始码率的码率,则调用回归预测模型,对所述各帧图像的纹理特征和所述各帧图像的运动特征进行回归预测处理,得到所述各帧图像的目标码率;其中,所述各帧图像的目标码率指的是在所述各帧图像的图像质量达到所述预设图像质量时,所述各帧图像的码率;所述各帧图像的目标码率小于所述各帧图像的初始码率;
所述编码单元,还用于根据所述各帧图像的目标码率,对所述目标视频进行编码处理,得到编码后的目标视频。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-8任一项所述的视频编码方法。
11.一种电子设备,其特征在于,所述电子设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-8任一项所述的视频编码方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机存储介质中,所述计算机指令适于由处理器加载并执行如权利要求1-8任一项所述的视频编码方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211514738.0A CN117750014B (zh) | 2022-11-24 | 2022-11-24 | 视频编码方法、装置及存储介质 |
PCT/CN2023/109319 WO2024109138A1 (zh) | 2022-11-24 | 2023-07-26 | 视频编码方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211514738.0A CN117750014B (zh) | 2022-11-24 | 2022-11-24 | 视频编码方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117750014A CN117750014A (zh) | 2024-03-22 |
CN117750014B true CN117750014B (zh) | 2024-11-26 |
Family
ID=90259776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211514738.0A Active CN117750014B (zh) | 2022-11-24 | 2022-11-24 | 视频编码方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117750014B (zh) |
WO (1) | WO2024109138A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118827979A (zh) * | 2024-09-19 | 2024-10-22 | 宁波康达凯能医疗科技有限公司 | 基于随机最优控制的帧间图像码率控制方法、装置及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
CN111107382A (zh) * | 2018-10-29 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 数据流的控制方法、装置和系统 |
CN111182300A (zh) * | 2018-11-09 | 2020-05-19 | 华为技术有限公司 | 编码参数的确定方法、装置、设备及存储介质 |
CN114554211A (zh) * | 2022-01-14 | 2022-05-27 | 百果园技术(新加坡)有限公司 | 内容自适应视频编码方法、装置、设备和存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103974060B (zh) * | 2013-01-31 | 2016-01-27 | 华为技术有限公司 | 视频质量调整方法和装置 |
CN105430422A (zh) * | 2015-11-06 | 2016-03-23 | 济南草履虫电子科技有限公司 | 一种防止医学影像重建视频闪烁的方法 |
CN108495130B (zh) * | 2017-03-21 | 2021-04-20 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法和装置、终端、服务器和存储介质 |
CN108769736B (zh) * | 2018-05-24 | 2019-09-17 | 重庆瑞景信息科技有限公司 | 面向显示的视频转码码率决策模型的建立及参数确定方法 |
CN111193924B (zh) * | 2019-12-26 | 2022-01-25 | 腾讯科技(深圳)有限公司 | 视频码率的确定方法、装置、计算机设备及存储介质 |
US20210360233A1 (en) * | 2020-05-12 | 2021-11-18 | Comcast Cable Communications, Llc | Artificial intelligence based optimal bit rate prediction for video coding |
CN111787318A (zh) * | 2020-06-24 | 2020-10-16 | 浙江大华技术股份有限公司 | 一种视频码率控制方法、装置、设备以及存储装置 |
CN113938682A (zh) * | 2020-06-29 | 2022-01-14 | 北京金山云网络技术有限公司 | 视频编码方法、装置和电子设备 |
CN114067007A (zh) * | 2020-07-30 | 2022-02-18 | 华为技术有限公司 | 图像处理方法与装置、神经网络训练的方法与装置 |
KR102472971B1 (ko) * | 2020-11-19 | 2022-12-02 | 네이버 주식회사 | 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램 |
CN114245209B (zh) * | 2021-12-22 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 视频分辨率确定、模型训练、视频编码方法及装置 |
CN114401404B (zh) * | 2022-03-24 | 2022-07-26 | 深圳比特微电子科技有限公司 | 一种vpu编码策略的实现方法和装置 |
-
2022
- 2022-11-24 CN CN202211514738.0A patent/CN117750014B/zh active Active
-
2023
- 2023-07-26 WO PCT/CN2023/109319 patent/WO2024109138A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
CN111107382A (zh) * | 2018-10-29 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 数据流的控制方法、装置和系统 |
CN111182300A (zh) * | 2018-11-09 | 2020-05-19 | 华为技术有限公司 | 编码参数的确定方法、装置、设备及存储介质 |
CN114554211A (zh) * | 2022-01-14 | 2022-05-27 | 百果园技术(新加坡)有限公司 | 内容自适应视频编码方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024109138A1 (zh) | 2024-05-30 |
CN117750014A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12137230B2 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA) | |
CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
CN111107395B (zh) | 一种视频转码的方法、装置、服务器和存储介质 | |
WO2020103674A1 (zh) | 自然语言描述信息的生成方法及装置 | |
CN113191495A (zh) | 超分模型的训练及人脸识别方法、装置、介质及电子设备 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
Karim et al. | Quality of service (QoS): measurements of image formats in social cloud computing | |
CN113452944B (zh) | 一种云手机的画面显示方法 | |
CN116233445B (zh) | 视频的编解码处理方法、装置、计算机设备和存储介质 | |
CN113192147A (zh) | 显著性压缩的方法、系统、存储介质、计算机设备及应用 | |
CN113658122A (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
CN110097010A (zh) | 图文检测方法、装置、服务器及存储介质 | |
JP2024511103A (ja) | 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第1のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
CN112883231B (zh) | 短视频流行度预测方法、系统、电子设备及存储介质 | |
CN117478886A (zh) | 多媒体数据编码方法、装置、电子设备及存储介质 | |
CN117750014B (zh) | 视频编码方法、装置及存储介质 | |
Micó-Enguídanos et al. | Per-title and per-segment CRF estimation using DNNs for quality-based video coding | |
CN118172713B (zh) | 视频标签的识别方法、装置、计算机设备和存储介质 | |
US20230412821A1 (en) | Encoding a Video Frame Using Different Compression Ratios for Text Blocks and Non-Text Blocks | |
CN113452996A (zh) | 一种视频编码、解码方法及装置 | |
CN117714702A (zh) | 视频编码方法、设备及存储介质 | |
CN116979971A (zh) | 数据编码、解码方法、装置、计算机设备和存储介质 | |
CN118354119B (zh) | 视频画质预测方法、装置、设备、存储介质和程序产品 | |
CN116778376B (zh) | 内容安全检测模型训练方法、检测方法和装置 | |
CN117729350B (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |