CN108737826A - 一种视频编码的方法和装置 - Google Patents
一种视频编码的方法和装置 Download PDFInfo
- Publication number
- CN108737826A CN108737826A CN201710253373.3A CN201710253373A CN108737826A CN 108737826 A CN108737826 A CN 108737826A CN 201710253373 A CN201710253373 A CN 201710253373A CN 108737826 A CN108737826 A CN 108737826A
- Authority
- CN
- China
- Prior art keywords
- bit rate
- frame image
- rate factor
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码的方法和装置,该方法包括:获取视频中第i帧图像的基准比特率因子、第i帧图像的增量比特率因子、第i帧图像的修正比特率因子;设置基准比特率因子与增量比特率因子之和乘以修正比特率因子,得到第i帧图像的可变比特率因子;根据第i帧图像的可变比特率因子对第i帧图像进行编码。本发明在确定该可变比特率因子之后,就可以使用该可变比特率因子对第i帧图像进行编码了,每帧图像的可变比特率因子都是计算出的可变比特率因子,进而每次编码的目标比特率都是自适应选取的,视频总体主观质量较好,且占用合理带宽。
Description
技术领域
本发明涉及通讯领域,特别是涉及一种视频编码的方法和装置。
背景技术
码率控制是视频编码器的关键技术,是编码器性能优劣的关键因子,它基于网络带宽和视频内容来控制输出视频的码率,以获得输出视频主观质量和带宽使用之间的平衡。
根据实际应用对码率平稳性和主观质量稳定性的要求不同,码率控制一般分为固定比特率(Constant Bit-rate,简称为CBR)和可变比特率(Variable Bit-rate,简称为VBR)两种方法。CBR偏重码率平稳,每帧分配的比特基本一致,在码率充足时,视频主观质量相对平稳,但内容简单帧存在浪费比特;在码率不足时,视频主观质量波动较大,内容复杂帧明显质量较差。VBR偏重视频质量稳定,为简单的内容分配较少比特,为复杂的内容分配较多比特,在输出带宽相同条件下,相比CBR,VBR编码内容主观质量要好,或者在输出主观质量接近前提下,VBR使用的带宽更少。
目前,随着网络条件不断升级和用户对主观体验的要求提高,VBR已渐渐成为视频编码器主流的码率控制技术。
在VBR控制中,每一帧目标比特率的选取是最重要的环节,如何根据网络带宽和视频内容设定一个合理的目标码率是VBR的技术难点之一,直接关系到码率控制性能的好坏。
现有目标比特率的选取方法相对简单,多数直接根据可用网络带宽调整当前帧目标比特率,或者根据前一帧客观质量指标峰值性噪比(Peak Signal to Noise Ratio,简称为PSNR)分段调整当前帧目标比特率。然而,现有这些方法没有考虑已编码帧和当前帧的主观质量指标,导致码率控制不够自适应,该少分配比特的帧依旧多分配,该多分配比特的帧却依旧分配不足,视频主观质量不稳定,所用带宽仍然较多。
发明内容
本发明提供一种视频编码的方法和装置,用以解决现有技术的如下问题:现有视频编码器使用可变比特率方式对视频进行编码时,目标比特率的选取方法较为简单,导致码率控制不够自适应,视频主观质量不稳定,所用带宽仍然较多,系统性能较低。
为解决上述技术问题,一方面,本发明提供一种视频编码的方法,包括:获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子;设置所述基准比特率因子与所述增量比特率因子之和乘以所述修正比特率因子,得到所述第i帧图像的可变比特率因子;根据所述第i帧图像的可变比特率因子对所述第i帧图像进行编码。
可选的,获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子,包括:读取视频中的第i-1帧图像,得到所述第i-1帧图像的图像模糊度,在通过视频编码器对所述第i-1帧图像进行编码后,得到所述第i-1帧图像的重构图像的图像模糊度;根据所述图像模糊度和所述重构图像的图像模糊度确定所述第i帧图像的增量比特率因子;根据所述第i-1帧图像和所述第i-1帧图像的重构图像确定结构相似度SSIM和峰值性噪比PSNR,并根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子;读取来自信源的视频中的第i帧图像,根据所述第i帧图像的图像模糊度确定所述第i帧图像的基准比特率因子。
可选的,根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子,包括:所述第i帧图像的修正比特率因子按照如下公式计算: 其中,γi-1为所述第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,取值范围为-5至+5;psnri-1为所述第i-1帧的PSNR值;ssimi-1为所述第i-1帧的SSIM值。
可选的,使用所述第i帧图像的可变比特率因子对所述第i帧图像进行编码,包括:获取视频编码器的预设最大目标比特率;根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率;使用所述目标比特率对所述第i帧图像进行编码。
可选的,根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率,包括:所述目标比特率按照如下公式确定:RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为所述第i帧图像分配到的所述目标比特率,αi为所述第i帧图像的基准比特率因子,βi-1为所述第i帧图像的增量比特率因子,γi-1为所述第i帧图像的修正比特率因子。
另一方面,本发明还提供一种视频编码的装置,包括:获取模块,用于获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子;确定模块,用于设置所述基准比特率因子与所述增量比特率因子之和乘以所述修正比特率因子,得到所述第i帧图像的可变比特率因子;编码模块,用于根据所述第i帧图像的可变比特率因子对所述第i帧图像进行编码。
可选的,所述获取模块包括:第一获取单元,用于读取视频中的第i-1帧图像,得到所述第i-1帧图像的图像模糊度,在通过视频编码器对所述第i-1帧图像进行编码后,得到所述第i-1帧图像的重构图像的图像模糊度;第一确定单元,用于根据所述图像模糊度和所述重构图像的图像模糊度确定所述第i帧图像的增量比特率因子;第二确定单元,用于根据所述第i-1帧图像和所述第i-1帧图像的重构图像确定结构相似度SSIM和峰值性噪比PSNR,并根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子;第三确定单元,用于读取来自信源的视频中的第i帧图像,根据所述第i帧图像的图像模糊度确定所述第i帧图像的基准比特率因子。
可选的,所述第二确定单元按照如下公式确定所述第i帧图像的修正比特率因子: 其中,γi-1为所述第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,取值范围为-5至+5;psnri-1为所述第i-1帧的PSNR值;ssimi-1为所述第i-1帧的SSIM值。
可选的,所述编码模块包括:第二获取单元,用于获取视频编码器的预设最大目标比特率;第四确定单元,用于根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率;编码单元,用于使用所述目标比特率对所述第i帧图像进行编码。
可选的,所述第四确定单元按照如下公式确定所述目标比特率:RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为所述第i帧图像分配到的所述目标比特率,αi为所述第i帧图像的基准比特率因子,βi-1为所述第i帧图像的增量比特率因子,γi-1为所述第i帧图像的修正比特率因子。
本发明先获取第i帧图像的图像参数,即基准比特率因子、增量比特率因子和修正比特率因子,还将第i帧图像的可变比特率因子设置为基准比特率因子与增量比特率因子之和乘以修正比特率因子,在确定该可变比特率因子之后,就可以使用该可变比特率因子对第i帧图像进行编码了,每帧图像的可变比特率因子都是计算出的可变比特率因子,进而每次编码的目标比特率都是自适应选取的,视频总体主观质量较好,且占用合理带宽,解决了现有技术的如下问题:现有视频编码器使用可变比特率方式对视频进行编码时,目标比特率的选取方法较为简单,导致码率控制不够自适应,视频主观质量不稳定,所用带宽仍然较多,系统性能较低。
附图说明
图1是本发明第一实施例中视频编码的方法的流程图;
图2是本发明第二实施例中视频编码的装置的结构示意图;
图3是本发明第二实施例中视频编码的装置获取模块的结构示意图;
图4是本发明第二实施例中视频编码的装置编码模块的结构示意图;
图5是本发明第三实施例中PSNR、SSIM与MOS呈指数型函数趋势图;
图6是本发明第三实施例中VBR比特分配策略架构示意图;
图7是本发明第三实施例中VBR比特自适应分配策略流程图。
具体实施方式
为了解决现有技术的如下问题:现有视频编码器使用可变比特率方式对视频进行编码时,目标比特率的选取方法较为简单,导致码率控制不够自适应,视频主观质量不稳定,所用带宽仍然较多,系统性能较低;本发明提供了一种视频编码的方法和装置,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
本发明第一实施例提供了一种视频编码的方法,该方法的流程如图1所示,包括步骤S102至S106:
S102,获取视频中第i帧图像的基准比特率因子、第i帧图像的增量比特率因子、第i帧图像的修正比特率因子;
S104,设置基准比特率因子与增量比特率因子之和乘以修正比特率因子,得到第i帧图像的可变比特率因子;
S106,根据第i帧图像的可变比特率因子对第i帧图像进行编码。
在视频编码器使用可变比特率因子方式对视频进行编码时,每一帧图像的目标比特率的选取是非常重要的,本发明实施例先获取第i帧图像的图像参数,即基准比特率因子、增量比特率因子和修正比特率因子。本领域技术人员知晓,在使用可变比特率因子方式进行编码时,上述图像参数都是可以知晓的。
本实施例第i帧图像的可变比特率因子设置为基准比特率因子与增量比特率因子之和乘以修正比特率因子,在确定该可变比特率因子之后,就可以使用该可变比特率因子对第i帧图像进行编码了,每帧图像的可变比特率因子都是计算出的可变比特率因子,进而每次编码的目标比特率都是自适应选取的,视频总体主观质量较好,且占用合理带宽,解决了现有技术的如下问题:现有视频编码器使用可变比特率方式对视频进行编码时,目标比特率的选取方法较为简单,导致码率控制不够自适应,视频主观质量不稳定,所用带宽仍然较多,系统性能较低。
在获取视频中第i帧图像的基准比特率因子、第i帧图像的增量比特率因子、第i帧图像的修正比特率因子时,每种图像参数的获取过程如下,包括:
对于第i帧图像的基准比特率因子:读取视频中的第i-1帧图像,得到第i-1帧图像的图像模糊度,在通过视频编码器对第i-1帧图像进行编码后,得到第i-1帧图像的重构图像的图像模糊度;根据图像模糊度和重构图像的图像模糊度就可以确定第i-1帧图像编码时根据图像模糊度确定的重构图像的一个修正量,将该修正量记为第i帧图像的增量比特率因子。
第i帧图像的修正比特率因子:根据第i-1帧图像和第i-1帧图像的重构图像可以确定第i-1帧的SSIM和PSNR,并根据SSIM和PSNR确定第i-1帧的目标比特率的倍率,并将其记为第i帧图像的修正比特率因子。
当需要对第i帧图像进行编码时,读取来自信源的视频中的第i帧图像,根据第i帧图像的图像模糊度就可以确定第i帧图像的基准比特率因子。
具体的,根据SSIM和PSNR确定第i帧图像的修正比特率因子时,第i帧图像的修正比特率因子可以按照如下公式计算:
其中,γi-1为第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,可以根据经验值设定,取值范围为-5至+5;psnri-1为第i-1帧的PSNR值;ssimi-1为第i-1帧的SSIM值。
在使用第i帧图像的可变比特率因子对第i帧图像进行编码时,可以先获取视频编码器的预设最大目标比特率,再根据预设最大目标比特率和可变比特率因子确定为第i帧图像分配目标比特率,最后使用目标比特率对第i帧图像进行编码。
在根据预设最大目标比特率和可变比特率因子确定为第i帧图像分配目标比特率时,目标比特率可以按照如下公式确定:
RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为第i帧图像分配到的目标比特率,αi为第i帧图像的基准比特率因子,βi-1为第i帧图像的增量比特率因子,γi-1为第i帧图像的修正比特率因子。
本发明第二实施例提供了一种视频编码的装置,该装置的结构示意如图2所示,包括:
获取模块10,用于获取视频中第i帧图像的基准比特率因子、第i帧图像的增量比特率因子、第i帧图像的修正比特率因子;确定模块20,与获取模块10耦合,用于设置基准比特率因子与增量比特率因子之和乘以修正比特率因子,得到第i帧图像的可变比特率因子;编码模块30,与确定模块20耦合,用于根据第i帧图像的可变比特率因子对第i帧图像进行编码。
上述获取模块10的结构示意可以如图3所示,包括:
第一获取单元101,用于读取视频中的第i-1帧图像,得到第i-1帧图像的图像模糊度,在通过视频编码器对第i-1帧图像进行编码后,得到第i-1帧图像的重构图像的图像模糊度;第一确定单元102,与第一获取单元101耦合,用于根据图像模糊度和重构图像的图像模糊度确定第i帧图像的增量比特率因子;第二确定单元103,与第一确定单元102耦合,用于根据第i-1帧图像和第i-1帧图像的重构图像确定结构相似度SSIM和峰值性噪比PSNR,并根据SSIM和PSNR确定第i帧图像的修正比特率因子;第三确定单元104,与第二确定单元103耦合,用于读取来自信源的视频中的第i帧图像,根据第i帧图像的图像模糊度确定第i帧图像的基准比特率因子。
其中,第二确定单元按照如下公式确定第i帧图像的修正比特率因子:
其中,γi-1为第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,取值范围为-5至+5;psnri-1为第i-1帧的PSNR值;ssimi-1为第i-1帧的SSIM值。
上述编码模块30的结构可以如图4所示,包括:
第二获取单元301,用于获取视频编码器的预设最大目标比特率;第四确定单元302,与第二获取单元301耦合,用于根据预设最大目标比特率和可变比特率因子确定为第i帧图像分配目标比特率;编码单元303,与第四确定单元302耦合,用于使用目标比特率对第i帧图像进行编码。
其中,第四确定单元按照如下公式确定目标比特率:
RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为第i帧图像分配到的目标比特率,αi为第i帧图像的基准比特率因子,βi-1为第i帧图像的增量比特率因子,γi-1为第i帧图像的修正比特率因子。
在视频编码器使用可变比特率因子方式对视频进行编码时,每一帧图像的目标比特率的选取是非常重要的,本发明实施例先获取第i帧图像的图像参数,即基准比特率因子、增量比特率因子和修正比特率因子。本领域技术人员知晓,在使用可变比特率因子方式进行编码时,上述图像参数都是可以知晓的。
本实施例先获取第i帧图像的图像参数,即基准比特率因子、增量比特率因子和修正比特率因子,还将第i帧图像的可变比特率因子设置为基准比特率因子与增量比特率因子之和乘以修正比特率因子,在确定该可变比特率因子之后,就可以使用该可变比特率因子对第i帧图像进行编码了,每帧图像的可变比特率因子都是计算出的可变比特率因子,进而每次编码的目标比特率都是自适应选取的,视频总体主观质量较好,且占用合理带宽,解决了现有技术的如下问题:现有视频编码器使用可变比特率因子方式对视频进行编码时,目标比特率的选取方法较为简单,导致码率控制不够自适应,视频主观质量不稳定,所用带宽仍然较多,系统性能较低。
本发明第三实施例提供一种视频编码的方法,该方法基于BLUR、SSIM和PSNR的连续自适应目标比特率分配机制,能够进一步提升视频编码器压缩性能,节省使用带宽,同时保证视频主观质量稳定性;解决了现有技术的如下问题:没有考虑已编码帧和当前帧的主观质量指标,导致码率控制不够自适应,该少分配比特的帧依旧多分配,该多分配比特的帧却依旧分配不足,视频主观质量不稳定,所用带宽仍有较大节省空间。下面对该方法进行详细说明。
本实施例引入用于描述视频图像的模糊度的因子BLUR,描述编码前和编码后两幅图像的相似度指数SSIM,以及描述信号失真的峰值信噪比PSNR,构建了三个模型,得到三个目标比特率分配因子,最终计算出分配比特数,根据该分配比特编码出的视频与主观质量评分(Mean Opinion Score,简称为MOS)达到高度的相似性。最终的实施例实验结果表明,相对CBR而言,在稳定的主观质量下,该发明技术能节省40%左右的码字。
首先,本实施例用到的三个模型如下:
(1)构建BLUR倍率模型。
假设在实时通信低延迟场景下的预设最大目标比特率为R。在进行视频编码前编码器需要加载信源的图像。加载完一帧信源图像时,计算得出图像模糊度记为BLUR-IN。视频图像的质量越高模糊度值越小,因此,当需要编一个较高质量的视频时,根据模糊度值为视频编码可以制定一个基准比特率因子。
实验表明,BLUR-IN的值越接近0,则图像纹理细节清晰,编码消耗的比特数越多;BLUR-IN的值越大,例如大于20时,则图像纹理细节粗糙,编码消耗的比特数相比CBR即使折半视觉仍可接受。建立BLUR-IN和CBR目标比特率的倍率关系的模型,如公式(1)所示。
αi=k·ln(bluri IN)+m (1)
其中,i表示视频序列中每帧的帧号,αi表示第i帧编码时需要投入的比特率的倍率,k为模型参数,bluri IN表示第i帧图像的模糊度BLUR-IN,m为常数通常取值范围为0.5~2.5。
(2)构建BLUR比值模型。
在编码器对每一帧图像进行编码后都会生成该图像的重构图像。计算重构图像的模糊度记为BLUR-OUT。当BLUR-OUT/BLUR-IN的比值在κ左右时,能够取得较好的视频编码质量。当比值大于κ时可少分配一些比特,而当比值小于κ时再多分配一些比特。用公式(2)来描述BLUR比值模型。
其中,βi表示在根据BLUR-IN定下基调后的一次修正量,κ为经验常数通常取值范围为0.5~1.5,bluri IN是第i帧原始图像的模糊度值,bluri OUT是第i帧重构图像的模糊度值。
(3)构建客观质量高阶模型。
视频质量评价有两个重要指标:客观质量和主观质量。客观质量可用PSNR和SSIM来刻画;主观质量可用MOS)来表示。MOS取值范围为0-100,其值越大表示该图像的主观感受越好。
PSNR是最普遍,最广泛使用的评鉴画质的客观量测法。PSNR的计算方法如公式(3)所示。
其中,表示PSNR的值,单位为dB,D为每像素的比特数,MSE表示当前图像和参考图像的均方误差。MSE的计算公式如公式(4)。
其中,w,h分别为图像的宽度和高度,fi,j,f'i,j分别为当前图像和参考图像相同位置的像素值。
在采用PSNR作为视频质量评价的体系中,通常只考虑Y方向上的PSNR。这种做法并未考虑U、V方向上的PSNR。本实施例采用了一种综合PSNR的方式评价视频质量,充分考虑到U、V方向上的影响。综合PSNR的计算方法如公式(5)所示。
其中,pnsrC表示综合PSNR,psnrY表示Y方向上的PSNR,psnrU表示U方向上的PSNR,psnrV表示V方向上的PSNR。
SSIM计算方法如公式(6)所示。
其中μx是x的平均值,μy是y的平均值,σx是x的方差,σy是y的方差,σxy是x和y的标准差。c1=(k1L)2,c2=(k2L)2是用来维持稳定的常数。L是像素值的动态范围。k1、k2的取值范围为0~0.05。结构相似性的范围为0到1。当两张图像完全相同时,SSIM的值等于1。
一般来说,当PSNR的值越大图像的主观得分越高,PSNR的值越小图像的主观质量得分越低。所以当PSNR足够大(如大于45)时,可以适当的减少下一帧比特的分配,也能保证视频有较好的主观质量。反之,当PSNR极小(小于30)时,需要为下一帧图像分配更多的比特,以期能够获得较好的主观质量。
SSIM与MOS的关系同PSNR与MOS的关系有类似的地方。当SSIM值极大(大于0.95)时,可适当减少比特分配亦可保证较好主观质量。当SSIM值极小(小于0.80)时,可通过适当增加比特来获取较好的主观质量。
本实施例采用联合SSIM和PSNR作为图像质量的评价方法。由于PSNR与图像平均印象得分MOS在坐标系中呈45度倾斜的S型趋势,SSIM与MOS呈指数型函数趋势,如图5所示。因此PSNR和SSIM与MOS的关系需要用高次多项式进行拟合建模。
在VBR中最终目标是期望根据MOS控制比特的分配:当前一帧的MOS得分较高时,可以适当减少当前帧的比特的分配;当前一帧的MOS得分较低时,可适当增加当前帧的比特的分配,以提高视频图像的质量。所以可以直接通过SSIM和PSNR来调整比特分配,实现以最小的比特代价获取最佳的视频的质量。
由于PSNR、SSIM与MOS的关系为高次多项式,因此PSNR和SSIM与目标比特率的比例关系也是一种高次多项式关系。为了模型的简单和稳定,本实施例采用二次多项式进行建模。模型如公式(7)所示。
γi=p5·ssimi 2+p4·psnri 2+p3·ssimi·psnri+p2·ssimi+p1·psnri+p0 (7)
其中,γi为目标比特率的倍率,p5,p4,p3,p2,p1,p0是模型参数,取值范围为-5~+5,ssimi为第i帧的SSIM值,psnri为第i帧的PSNR值。
(4)决策目标比特率。
视频编码的质量与视频图像自身的特征紧密相关。图像的纹理细节,物体的明暗对比等都能影响视频编码比特数的消耗。如果视频图像自身质量非常高,编码时便可少分配一些比特,这样也能保证有好编码结果;反之,如果视频图像自身质量非常低,编码时需要多分配一些比特,这样才能保证有好编码结果。
多数视频还有一个重要特点:时域上的冗余,即帧与帧之间的时域相关性。因而可以从前一帧的编码结果预测到当前帧的编码结果。如果上一帧编码结果非常好,就可以认为当前帧的编码结果也很好,即便少分配比特,也能获得不错的编码结果;反之,如果上一帧编码结果非常差,就可以认为当前帧的编码结果不够理想,必须多分配比特,才有可能获得不错的编码结果。
动态自适应的比特分配是码率控制的前提,对整个视频编码也极为重要。本实施例的自适应比特分配策略不仅对信源中图像本身的质量,同时也兼顾了前一帧编码结果对当前帧的影响。使得在整个编码过程中,能够很好的控制比特的分配。因此,最终的比特率决策由公式(8)给出。
RF(i)=(αi+βi-1)·γi-1·RT (8)
其中,i表示第i帧,RF(i)表示第i帧最后分配的比特,即目标比特率;RT表示系统预配置的极大目标比特率,即系统预设最大比特率;αi表示第i帧基准比例,即第i帧图像的基准乘积因子(也称为基准比特率因子);βi-1表示第i帧增量比例,即第i帧图像的增量乘积因子(也称为增量比特率因子);γi-1表示第i帧修正比例,即第i帧图像的修正乘积因子(也称为修正比特率因子)。该过程中,使用的βi-1和γi-1是第i帧图像上一帧在编码时计算出的值。
下面结合附图和实施例对本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。
本发明涉及一种基于BLUR、SSIM和PSNR的连续比特分配控制方法。具体实施例如图6所述,图6为VBR比特分配策略架构示意图。
实现时,读取原始序列的一帧图片,计算该帧图片的BLUR值记为BLUR-IN。将BLUR-IN代入公式(1),求出基准乘积因子;用编码器编码过程中的重构图像计算模糊度值BLUR并记为BLUR-OUT。将BLUR-OUT和BLUR-IN代入公式(2),求出增量乘积因子。读取编码统计信息SSIM和PSNR,将SSIM和PSNR代入公式(7),求得修正乘积因子;从配置中读取目标比特率;将目标比特率、基准乘积因子、增量乘积因子及修正乘积因子带入公式(8)求得VBR当前帧编码的实际比特率,并进入编码器编码。
图7为VBR比特自适应分配策略流程图,包括:
步骤S701:读取配置参数中的预设极大目标比特率。
步骤S702:读取信源的一帧原始图像。
步骤S703:编码前计算的原始图像的模糊度BLUR值,记为BLUR-IN。
步骤S704:根据BLUR倍率模型计算基准乘积因子。
步骤S705:判断当前帧是否为第0帧。如果是,则执行S706,否则执行S707。
步骤S706,根据目标比特率和基准乘积因子计算得到VBR比特率。执行S712。
步骤S707:从编码器中读取当前帧的重构图像,计算重构图像的模糊度值,记为BLUR-OUT。
步骤S708:根据BLUR-OUT和BLUR-IN计算增量乘积因子。
步骤S709:从编码器的统计信息中获取SSIM和PSNR。
步骤S710:将读取到的SSIM和PSNR代入客观质量高阶模型,计算修正乘积因子。
步骤S711,根据极大目标比特率、基准乘积因子和增量乘积因子及修正乘积因子得到VBR比特率。
步骤S712:编码器根据得到VBR比特率进行编码。
步骤S713:判断当前帧是否为最后一帧,如果不是,则返回步骤S702,否则执行S714。
步骤S714,结束视频编码。
表1是使用1024kps带宽情况下,使用CBR和本发明的VBR两种方式编码的结果对照表。表1中的测试序列使用的是HEVC标准测试序列,Class B为高清1080p测试序列,Class C为广播电视480p测试序列,Class D为广播电视240p测试序列,Class E为电话会议720p测试序列,Class F为屏幕图像编码测试序列。从表1中的统计数据来看,Bit-Rate平均节省40.85%。每一类视频的PSNR值在CBR和VBR都保持在30db以上。主观上来看,本发明VBR方法编码后的视觉质量是较好的,是用户愿意接受的。
表1
尽管为示例目的,已经公开了本发明的优选实施例,本领域的技术人员将意识到各种改进、增加和取代也是可能的,因此,本发明的范围应当不限于上述实施例。
Claims (10)
1.一种视频编码的方法,其特征在于,包括:
获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子;
设置所述基准比特率因子与所述增量比特率因子之和乘以所述修正比特率因子,得到所述第i帧图像的可变比特率因子;
根据所述第i帧图像的可变比特率因子对所述第i帧图像进行编码。
2.如权利要求1所述的方法,其特征在于,获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子,包括:
读取视频中的第i-1帧图像,得到所述第i-1帧图像的图像模糊度,在通过视频编码器对所述第i-1帧图像进行编码后,得到所述第i-1帧图像的重构图像的图像模糊度;
根据所述图像模糊度和所述重构图像的图像模糊度确定所述第i帧图像的增量比特率因子;
根据所述第i-1帧图像和所述第i-1帧图像的重构图像确定结构相似度SSIM和峰值性噪比PSNR,并根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子;
读取来自信源的视频中的第i帧图像,根据所述第i帧图像的图像模糊度确定所述第i帧图像的基准比特率因子。
3.如权利要求2所述的方法,其特征在于,根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子,包括:
所述第i帧图像的修正比特率因子按照如下公式计算:
其中,γi-1为所述第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,取值范围为-5至+5;psnri-1为所述第i-1帧的PSNR值;ssimi-1为所述第i-1帧的SSIM值。
4.如权利要求1至3中任一项所述的方法,其特征在于,使用所述第i帧图像的可变比特率因子对所述第i帧图像进行编码,包括:
获取视频编码器的预设最大目标比特率;
根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率;
使用所述目标比特率对所述第i帧图像进行编码。
5.如权利要求4所述的方法,其特征在于,根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率,包括:
所述目标比特率按照如下公式确定:
RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为所述第i帧图像分配到的所述目标比特率,αi为所述第i帧图像的基准比特率因子,βi-1为所述第i帧图像的增量比特率因子,γi-1为所述第i帧图像的修正比特率因子。
6.一种视频编码的装置,其特征在于,包括:
获取模块,用于获取视频中第i帧图像的基准比特率因子、所述第i帧图像的增量比特率因子、所述第i帧图像的修正比特率因子;
确定模块,用于设置所述基准比特率因子与所述增量比特率因子之和乘以所述修正比特率因子,得到所述第i帧图像的可变比特率因子;
编码模块,用于根据所述第i帧图像的可变比特率因子对所述第i帧图像进行编码。
7.如权利要求6所述的装置,其特征在于,所述获取模块包括:
第一获取单元,用于读取视频中的第i-1帧图像,得到所述第i-1帧图像的图像模糊度,在通过视频编码器对所述第i-1帧图像进行编码后,得到所述第i-1帧图像的重构图像的图像模糊度;
第一确定单元,用于根据所述图像模糊度和所述重构图像的图像模糊度确定所述第i帧图像的增量比特率因子;
第二确定单元,用于根据所述第i-1帧图像和所述第i-1帧图像的重构图像确定结构相似度SSIM和峰值性噪比PSNR,并根据所述SSIM和所述PSNR确定所述第i帧图像的修正比特率因子;
第三确定单元,用于读取来自信源的视频中的第i帧图像,根据所述第i帧图像的图像模糊度确定所述第i帧图像的基准比特率因子。
8.如权利要求7所述的装置,其特征在于,所述第二确定单元按照如下公式确定所述第i帧图像的修正比特率因子:
其中,γi-1为所述第i帧图像的修正比特率因子;p5、p4、p3、p2、p1和p0为预设模型参数,取值范围为-5至+5;psnri-1为所述第i-1帧的PSNR值;ssimi-1为所述第i-1帧的SSIM值。
9.如权利要求6至8中任一项所述的装置,其特征在于,所述编码模块包括:
第二获取单元,用于获取视频编码器的预设最大目标比特率;
第四确定单元,用于根据所述预设最大目标比特率和所述可变比特率因子确定为所述第i帧图像分配所述目标比特率;
编码单元,用于使用所述目标比特率对所述第i帧图像进行编码。
10.如权利要求9所述的装置,其特征在于,所述第四确定单元按照如下公式确定所述目标比特率:
RF(i)=(αi+βi-1)·γi-1·RT;其中,RF(i)为所述第i帧图像分配到的所述目标比特率,αi为所述第i帧图像的基准比特率因子,βi-1为所述第i帧图像的增量比特率因子,γi-1为所述第i帧图像的修正比特率因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710253373.3A CN108737826B (zh) | 2017-04-18 | 2017-04-18 | 一种视频编码的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710253373.3A CN108737826B (zh) | 2017-04-18 | 2017-04-18 | 一种视频编码的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108737826A true CN108737826A (zh) | 2018-11-02 |
CN108737826B CN108737826B (zh) | 2023-06-30 |
Family
ID=63924042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710253373.3A Active CN108737826B (zh) | 2017-04-18 | 2017-04-18 | 一种视频编码的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108737826B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110022463A (zh) * | 2019-04-11 | 2019-07-16 | 重庆紫光华山智安科技有限公司 | 动态场景下实现视频感兴趣区域智能编码方法及系统 |
CN111787323A (zh) * | 2020-05-23 | 2020-10-16 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202580A1 (en) * | 2002-04-18 | 2003-10-30 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling variable bit rate in real time |
CN1703737A (zh) * | 2002-10-11 | 2005-11-30 | 诺基亚有限公司 | 在自适应多速率宽带(amr-wb)和多模式可变比特率宽带(vmr-wb)编解码器之间互操作的方法 |
US20080075163A1 (en) * | 2006-09-21 | 2008-03-27 | General Instrument Corporation | Video Quality of Service Management and Constrained Fidelity Constant Bit Rate Video Encoding Systems and Method |
CN101188752A (zh) * | 2007-12-18 | 2008-05-28 | 方春 | 一种基于相关性的自适应码率控制方法 |
CN103634601A (zh) * | 2013-12-02 | 2014-03-12 | 国家广播电影电视总局广播科学研究院 | 基于结构相似度的高效视频编码感知码率控制优化方法 |
CN103686172A (zh) * | 2013-12-20 | 2014-03-26 | 电子科技大学 | 低延迟视频编码可变比特率码率控制方法 |
US20140169451A1 (en) * | 2012-12-13 | 2014-06-19 | Mitsubishi Electric Research Laboratories, Inc. | Perceptually Coding Images and Videos |
CN105681793A (zh) * | 2016-01-06 | 2016-06-15 | 四川大学 | 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法 |
-
2017
- 2017-04-18 CN CN201710253373.3A patent/CN108737826B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030202580A1 (en) * | 2002-04-18 | 2003-10-30 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling variable bit rate in real time |
CN1703737A (zh) * | 2002-10-11 | 2005-11-30 | 诺基亚有限公司 | 在自适应多速率宽带(amr-wb)和多模式可变比特率宽带(vmr-wb)编解码器之间互操作的方法 |
US20080075163A1 (en) * | 2006-09-21 | 2008-03-27 | General Instrument Corporation | Video Quality of Service Management and Constrained Fidelity Constant Bit Rate Video Encoding Systems and Method |
CN101188752A (zh) * | 2007-12-18 | 2008-05-28 | 方春 | 一种基于相关性的自适应码率控制方法 |
US20140169451A1 (en) * | 2012-12-13 | 2014-06-19 | Mitsubishi Electric Research Laboratories, Inc. | Perceptually Coding Images and Videos |
CN103634601A (zh) * | 2013-12-02 | 2014-03-12 | 国家广播电影电视总局广播科学研究院 | 基于结构相似度的高效视频编码感知码率控制优化方法 |
CN103686172A (zh) * | 2013-12-20 | 2014-03-26 | 电子科技大学 | 低延迟视频编码可变比特率码率控制方法 |
CN105681793A (zh) * | 2016-01-06 | 2016-06-15 | 四川大学 | 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法 |
Non-Patent Citations (2)
Title |
---|
胡晓飞等: "基于自适应变论域模糊理论的CBR视频码率控制策略", 《信号处理》 * |
陈晓等: "基于综合因子的H.264码率控制算法", 《数据采集与处理》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110022463A (zh) * | 2019-04-11 | 2019-07-16 | 重庆紫光华山智安科技有限公司 | 动态场景下实现视频感兴趣区域智能编码方法及系统 |
CN111787323A (zh) * | 2020-05-23 | 2020-10-16 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
CN111787323B (zh) * | 2020-05-23 | 2021-09-03 | 清华大学 | 一种基于对抗学习的可变比特率生成式压缩方法 |
US11153566B1 (en) * | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
Also Published As
Publication number | Publication date |
---|---|
CN108737826B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8654221B2 (en) | Image processing device and method, and program | |
CN102932641B (zh) | 一种恒定质量码率控制方法 | |
CN101527038B (zh) | 一种改进的基于直方图的图像对比度增强方法 | |
CN108810530A (zh) | 一种基于人眼视觉系统的avc码率控制方法 | |
US9749637B2 (en) | Transcoder for conversion by obtaining a period conversion factor from a bit rate ratio | |
US20110249727A1 (en) | Adaptive quantization based on spatial activity histogram | |
CN103973941B (zh) | 数码影像的动态对比度调整方法和系统 | |
JP2000059775A (ja) | フェード画像対応動画像符号化装置及び符号化方法 | |
CN107087192A (zh) | 目标码率调整方法及装置 | |
CN101233539A (zh) | 自适应图像对比度增强的方法 | |
CN107087163A (zh) | 一种提升hdr视频主观质量的编码方法 | |
US7714751B2 (en) | Transcoder controlling generated codes of an output stream to a target bit rate | |
CN108737826A (zh) | 一种视频编码的方法和装置 | |
CN100394766C (zh) | 图像信号处理装置和图像信号处理方法 | |
US20040096113A1 (en) | Coding method, coding apparatus and coding program of image information | |
JPH05219384A (ja) | 画像の直交変換符号化による圧縮・伸張方法 | |
CN107846595A (zh) | 一种视频编码的方法和视频编码器 | |
US20040161034A1 (en) | Method and apparatus for perceptual model based video compression | |
JP3324551B2 (ja) | 画像信号の符号化制御装置 | |
CN102685491B (zh) | 一种实现视频编码的方法和系统 | |
US20060039619A1 (en) | Image compression using a color visual model | |
US20080199153A1 (en) | Coding and Decoding Method and Device for Improving Video Error Concealment | |
CN114630120B (zh) | 基于自适应压缩率的视频压缩方法与电路系统 | |
CN106658010A (zh) | 一种hevc自适应视频码率控制方法及系统 | |
CN107040788A (zh) | 一种视频压缩方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |