CN101771868B - 对图像的量化处理方法及装置 - Google Patents
对图像的量化处理方法及装置 Download PDFInfo
- Publication number
- CN101771868B CN101771868B CN200810192932.5A CN200810192932A CN101771868B CN 101771868 B CN101771868 B CN 101771868B CN 200810192932 A CN200810192932 A CN 200810192932A CN 101771868 B CN101771868 B CN 101771868B
- Authority
- CN
- China
- Prior art keywords
- image
- region
- value
- coefficient matrix
- transform coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例公开了一种对图像的量化处理方法及其装置,以在更为简单、不影响编解码系统性能的基础上,提高量化编码后图像的主观质量。该方法包括对图像块进行变换,得到对应图像块的变换系数矩阵;按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理;统计划分出的各个区域的统计值;根据区域的统计值对图像块的变换系数矩阵中对应的区域进行量化调整。
Description
技术领域
本发明涉及图像编解码技术领域,尤其是涉及一种对图像的量化处理方法及装置。
背景技术
在图像编解码技术中,通常使用量化矩阵对图像变换后的系数进行量化,然后再将量化后的数据经过熵编码处理后得到压缩编码码流。所述的图像变换后的系数通常称为变换系数。本发明方案所选取实施例均为基于DCT(离散余弦变换,DiscreteCosineTransform)或类DCT变换的实现,故所述的图像变换后称为DCT变换,所述的图像变换后的系数称为DCT变换的系数。因此,在视频编码过程中,通过对量化矩阵的调整可以灵活的控制编码图像的质量。其中的图像包括静止图像、活动图像中的一幅、活动图像中相邻两幅图像的残差图像以及活动图像中任意幅图像经过运算所得的目标图像。
例如可以采用下面的量化矩阵来对图像变换系数进行量化处理:
其中,Coe(i,j)为图像块经过变换后的第(i,j)位置的像素值,简称为变换系数;QM为量化矩阵,QM(i,j)为量化矩阵中的系数值,Q(i,j)为量化取整后的变换系数值,简称为量化后系数值,[·]表示取整计算。
通常在JPEG,MPEG1,MPEG2,MPEG4等图像编码标准中,对于编码图像的量化均采用固定的量化矩阵来实现。其中在JPEG编码标准中,是将量化矩阵放在图像头中,按照图像头中的量化矩阵对图像块的变换系数进行量化处理;而在MPEG1、MPEG2及其MPEG4等编码标准中,则是将量化矩阵放在序列头中,按照序列头中的量化矩阵对序列中的图像变换系数进行量化处理;因此对于序列图像而言,在MPEG标准中每个序列拥有一个量化矩阵,即针对同一序列采用同一个固定的量化矩阵来实现对图像的量化处理。
对于不同内容的图像,其细节代表不同图像的频率,且不同部分的图像能够引起人眼不同的主观感觉,因此,针对不同部分的图像内容,应当尽量采用不同的符合人眼特性的量化方法。由于人眼在观看图像时对图像质量的评价是按照人眼察觉到的图像主观质量进行评价的,因而只有采用符合人眼视觉特性的量化方法对图像进行量化处理,才能获得较好的主观图像质量。即针对一个图像序列而言,需要选择合适的量化矩阵对其进行量化处理,才能获得令人满意的主观图像质量。
由于一个序列中的图像内容并不完全相同,通常会有较大变化,即同一图像序列中的图像细节各不相同,如果按照MPEG编码标准,在每个序列头中放一个固定的量化矩阵以对整个图像序列进行量化处理,显然将使得量化编码后的图像达不到最佳的图像主观质量。
为此在H.264/AVC编码标准中,在序列头和图像头中都提供了放置用户自定义的量化矩阵的能力,可以适时的选用序列头或图像头中的量化矩阵进行图像量化处理,因此实现了在图像级单位内改变量化矩阵的目的,更好地适应了视频序列图像之间的内容变化较大特点。但是采用这种方案,在图像编码过程中,可能需要分别调整每个图像头中量化矩阵的系数值,因此会增加图像量化处理的复杂度;同时在每个图像头中分别写有量化矩阵,在编码码流传输过程中必然会增加传输比特的开销,影响到系统的编码效率和传输性能。
发明内容
本发明实施例提出一种基于图像编解码的量化处理方法及装置,以在更为简单、不影响编解码系统性能的基础上,提高量化编码后图像的主观质量。
本发明实施例提出一种对图像的量化处理方法,包括:对图像块进行变换,得到对应图像块的变换系数矩阵;按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理;统计划分出的各个区域的统计值;根据区域的统计值以及对应区域的先验数据对图像块的变换系数矩阵中对应的区域进行量化调整,所述对应区域的先验数据为通过统计选定图像序列中的图像中的图像块的变换系数矩阵中的对应区域的系数而获得的统计值。
本发明实施例还提出一种对图像的量化处理装置,包括:用于对图像块进行变换,得到对应图像块的变换系数矩阵的单元;用于按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理的单元;用于统计划分出的各个区域的统计值的单元;用于根据区域的统计值以及对应区域的先验数据对图像块的变换系数矩阵中对应的区域进行量化调整,所述对应区域的先验数据为通过统计选定图像序列中的图像中的图像块的变换系数矩阵中的对应区域的系数而获得的统计值。
本发明实施例将当前编码图像的系数矩阵划分出若干具有一定统计特性的区域,在一个区域中变换系数通常具有相似的分布规律。根据区域的统计值对图像块的变换系数矩阵中对应的区域进行量化调整,因此可以较好的提高当前编码图像的主观及客观质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的对图像的量化处理的方法的流程示意图;
图2a为对图像变换后的DCT系数矩阵进行第一种块划分处理的示意图;
图2b为对图像变换后的DCT系数矩阵进行第二种块划分处理的示意图;
图3为本发明实施例提供的对图像的量化处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的对图像的量化处理方法包括:
S101、对图像块进行变换,得到对应图像块的变换系数矩阵;
具体地,这里的变化可以是DCT变换,相应地得到的是DCT变换系数矩阵。
S102、按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理;
具体地,从当前编码图像的DCT块系数矩阵或经运动估计后所得残差图像块的DCT系数矩阵中划分出若干具有一定统计特性的区域。
S103、统计划分出的各个区域的统计值;
S104、根据区域的统计值对图像块的变换系数矩阵中对应的区域进行量化调整。
具体地,可以根据区域的统计规律及IPB三种编码帧的预测特性来预测下一帧图像的DCT系数或残差图像块DCT系数的变化趋势,以自适应更新下一帧图像块的加权量化系数矩阵,使得下一帧编码图像的主观及客观质量均能有所提高。
本发明实施例中的上述统计方法由于是将一个DCT系数矩阵划分成若干区域,调整区域所对应的加权量化系数即能获得更新后的加权量化系数矩阵,无须对DCT系数矩阵中的每一元素所对应的加权量化系数进行逐一调整。因此本发明实施例的技术方案能提高主观及客观质量并且便于在编码和解码系统中实现。
对图像块进行离散余弦变换(DCT变换)处理后就可以得到该图像块对应的DCT系数矩阵,根据现有的关于对DCT系数矩阵进行统计的规律可知一个DCT系数矩阵块可以被划分为若干反映图像特性的区域。如图2a所示,一个8x8大小的DCT系数矩阵块可被划分为直流(DC)区域f1、垂直区域f2、水平区域f3,对角区域f4及其高频区域f5等,通过该划分处理可以反映出图像编码块的运动信息及平滑程度;同理,如图2b所示,一个8x8大小的DCT系数矩阵块可被划分为一个直流(DC)区域f1,三个对角区域f2,f3,f4及其一个高频区域f5等,通过该划分处理可以有效反映与图像主观质量相关的特性。
由于图像经DCT变换后得到的DCT系数矩阵反映了图像本身的图像特性,因此将图像DCT变换后得到的DCT系数矩阵块划分为若干能够反映图像特性的区域,然后对每个划分出的DCT系数块进行分析,就能够估计当前编码图像的图像特性。根据此原理,本发明技术方案提出在基于DCT系数矩阵主要区域划分的基础上,统计所有典型视频序列的DCT系数矩阵中划分出的不同区域的系数统计值,以得到先验数据;其中典型视频序列包含了若干特征的视频序列,例如:图像内容出现运动剧烈及运动缓慢的视频序列,图像中局部区域出现剧烈运动的视频序列,拍摄镜头发生伸缩及旋转的视频序列,在图像局部或大部分区域包含丰富细节特征的视频序列,相邻图像的光照条件发生剧烈变化的视频序列,相邻图像的光照条件几乎不发生变化的视频序列等。然后通过分析视频序列中图像经变换后DCT系数矩阵中各DCT系数块的系数统计值(先验数据),与当前待编码图像经DCT变换后DCT系数矩阵中对应DCT系数块的统计值(编码时获得)的差异,可以分析及获取当前待编码图像的统计特性,通过分析结果可以对当前待编码图像变换后的DCT系数矩阵进行加权调整。
下面列举实施例来说明统计所有典型视频序列的DCT系数矩阵中划分出的不同区域的系数统计值,以得到先验数据的处理过程。
由于在现行编码框架中,待编码图像要首先经过运动估计得到图像残差,再对图像残差进行DCT变换得到图像的DCT系数矩阵,然后再对得到的DCT系数矩阵进行量化及其熵编码处理。因此在本发明实施方案中,DCT系数块的数据统计值可以基于运动估计后得到的残差图像经DCT变换后,得到的DCT系数矩阵进行。
如上述图2b所示,经运动估计后得到的图像残差再经DCT变换后,得到的DCT系数矩阵中,其中直流区域f1为图像的低频段,通常代表的是图像轮廓信息;三个对角区域f2,f3,f4及其一个高频区域f5,则是图像的中频段及高频段,通常反映的是图像细节信息。而通常由于人眼对图像的敏感区域主要集中在图像的中频段,即集中在f2,f3,f4频段。因此本发明实施例可以主要对f2,f3,f4频段的3个DCT区域系数进行系数值统计处理。
具体统计方法可以但不限于使用如下方式:
1、一个8×8大小的图像块(具体应用中还可以为其他尺寸的图像块,如4×4、4×8、8×4、8×16、16×8和16×16等)进行DCT变换,得到对应的DCT系数矩阵;针对得到的DCT系数矩阵按照上述图2a或图2b的划分方式进行块划分处理;针对划分得到的DCT系数矩阵中各对角区域(f2,f3,f4),计算每个对角区域中包含的DCT系数的绝对值的平均值(当然也可以求取每个对角区域中包含的DCT系数的方差),将最终计算得到的每个对角区域中包含的DCT系数的绝对值的平均值记为D2(i,j),D3(i,j),D4(i,j),其中下角标2,3,4分别代表对角区域的标号,即分别对应区域f2,f3,f4,(i,j)代表区域在图像中的位置。
2、针对一幅图像中的所有8×8图像块,按照上述计算方式分别计算对应每个图像块的D2(i,j),D3(i,j),D4(i,j),然后分别求取对应各个图像块的D2(i,j),D3(i,j),D4(i,j)的平均值,记为:
3、计算一个视频序列中所有幅图像的的平均值,记为pf2,pf3,pf4。
4、分别计算pf2,pf3,pf4各数值与pf2,pf3,pf4各数值之和的比例,记为apf2,apf3,apf4。
5、针对所有典型视频序列,按照上述计算方式对每个视频序列求取到对应的apf2,apf3,apf4后,计算各个视频序列的apf2,apf3,apf4的平均值,得到统计意义上的图像块中的中频区域f2,f3,f4的相应DCT系数值的绝对值的统计值,记为af2,af3,af4。
此外,根据上述计算所得的数值,可计算得到统计意义上的图像块中的中频区域f2,f3,f4的相应DCT系数值的绝对值方差,记为vf2,vf3,vf4。由于图像经DCT变换后得到的DCT系数矩阵通常反映了图像的能量,图像的中高频段能量分布规律则在一定程度上反映了图像的细节分布规律。而上述统计得到的af2,af3,af4代表的是:中高频段能量值在编码图像中高频段能量总和中所占的比例,并且由于上述统计数据是针对具有典型特征的视频序列进行统计得到的,因此所得数据af2,af3,af4就可以作为本发明实施例的先验数据,以备后续对当前图像的DCT系数矩阵进行量化调整使用。
在求取了先验数据之后,本发明实施例后续的实施方式是根据视频序列中,当前编码图像与当前编码图像编码时刻之前或之后的编码图像在图像内容上通常具有一定的连续性,包括图像的亮度值、色度值、颜色分布及图像经DCT变换后的DCT系数值等的连续,因此可通过分析当前编码图像编码时刻之前或之后的编码图像与当前编码图像的对应DCT区域中,DCT系数值的变化量来预测下一待编码图像的对应DCT区域参数值的变化趋势,根据预测结果,以及预测结果与先验统计数据的关系来调整下一待编码图像的DCT系数矩阵。由于这种调整是基于图像的统计特性及图像内容的连续性,因此调整后的DCT系数矩阵能够更好的适合编码图像的特点,从而提高了图像的主观质量。另外,由于对DCT系数矩阵的调整是基于DCT系数矩阵的区域进行的,因此仅需调整若干参数就能达到对图像主观质量的调控。
在图像编解码处理时,对图像变换后的DCT系数矩阵进行加权量化可以很好的控制图像的主观质量。通常会使用两套或多套默认参数集来控制图像的主观质量,例如可以使用(wq10,wq20,wq30,wq40,wq50)与(wq11,wq21,wq31,wq41,wq51)参数据来进行图像主观质量的调整。其中,参数集(wq11,wq21,wq31,wq41,wq51)表示非保留图像细节参数集,(wq10,wq20,wq30,wq40,wq50)代表保留图像细节参数集,其中参数集中的每个元素可以统一表示为wqi,i=1,2,3,4,5,分别代表赋予上述图2a和图2b中划分出的5个DCT区域中DCT系数的加权值,即每个元素用于调整DCT系数矩阵中的一个区域。由于上述默认参数集也是通过统计及遍历搜索所得,其与之前统计得到的先验数据af2,af3,af4,或vf2,vf3,vf4均反映了图像的统计特性。因此通过上述统计出的先验数据值可简易分析及获得编码图像的特性,从而作为对待编码图像DCT系数矩阵进行更新加权量化的准则。
例如当选择使用保留图像细节参数集时,图像将会有更多细节信息被保留;当选择使用非保留图像细节参数集时,图像的部分细节信息将会被去除,以此来提高编码图像的压缩效率。其中在保留图像细节参数集中,对DCT系数进行加权量化的参数值越大,则该参数所对应图像区域的细节越有可能被保留;在非保留细节参数集中,对DCT系数进行加权量化的参数值越小,则该参数所对应图像区域的细节越有可能被去除。编码一幅图像时,具体使用保留图像细节参数集还是使用非保留图像细节参数集可由用户自行定义。
在编码一幅图像时可根据一定准则选取针对该幅图像的参数集(包括保留图像细节参数集与非保留图像细节参数集)的参数值。其中该准则可为以下任意一条准则或以下准则的组合:
1.若图像的某一DCT能量区域需要保留更多图像细节时,对该区域的DCT系数值赋予较大的加权量化值;当该区域不需要保留过多图像细节时,对该区域的DCT系数值赋予较小的加权量化值。
2.根据人眼视觉系统,DCT系数矩阵的中高频部分对图像主观质量有较大影响。若当前编码图像DCT系数矩阵的中高频能量部分在所有区域中所占比例低于先验数据的对应统计值时,对该中高频能量部分区域的DCT系数值赋予较大的加权量化值;若当前编码图像DCT系数矩阵的中高频能量部分在所有区域中所占比例高于先验数据对应的统计值时,对该中高频能量部分区域的DCT系数值赋予较小的加权量化值。
下面列举具体实施例对本发明技术方案的具体实现过程进行详尽的阐述。
实施例1:
对当前待编码图像进行DCT变换,得到对应的DCT系数矩阵,按照上述划分方式和对应区域的系数值统计方式,统计该得到的DCT系数矩阵中各个中频区域的统计值,记为af2’,af3’,af4’,分别对应于DCT系数矩阵中的中频区域f2、f3和f4;
然后求取af2’,af3’,af4’分别与对应的先验数据af2,af3,af4的差值,将求取到的差值分别记为df2,df3,df4;
若差值为正值,表明当前待编码图像的DCT系数矩阵中,中高频区域所占比例要大于统计意义上的比例值,当前待编码图像的DCT系数矩阵中的中高频区域更有可能反映当前图像的细节信息。更新方式可为:WQki′=WQki×(1+α·dfk/afk′),其中WQ′代表当前编码图像对应的DCT系数矩阵中区域进行量化调整后的系数值,WQ代表当前编码图像对应的DCT系数矩阵中区域进行量化调整前的系数值;k代表区域的索引值,i代表默认参数集中的保留细节或非保留细节参数集,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中dfk,k=2,3,4分别为上面求取到的差值(df2,df3,df4),kfa′,k=2,3,4分别为上面求取到的当前图像DCT系数矩阵中各个中频区域的统计值(af2’,af3’,af4’)。
假设下一幅编码图像的图像统计特性与当前编码图像的统计特性相类似,则通过上述方法可实时对每一幅编码图像的DCT系数矩阵进行加权量化处理,加权量化后的系数矩阵能够更好的适应下一幅编码图像的统计特性,以提高图像的主观质量。此外可以由系统或用户根据具体需要,自定义DCT系数矩阵中的中高频段区域(f2,f3,f4)所对应的系数是否需要加权量化处理。
实施例2:
对当前待编码图像的前一幅图像进行DCT变换,得到对应的DCT系数矩阵,按照上述划分方式和对应区域的系数值统计方式,统计该得到的DCT系数矩阵中各个中频区域的统计值,记为af20,af30,af40,分别对应于该DCT系数矩阵中的中频区域f2、f3和f4;
此外对当前待编码图像进行DCT变换,得到对应的DCT系数矩阵,按照上述划分方式和对应区域的系数值统计方式,统计该得到的DCT系数矩阵中各个中频区域的统计值,记为af21,af31,af41,分别对应于该DCT系数矩阵中的中频区域f2、f3和f4;
假设当前编码图像及其相邻编码图像具有相类似的统计特性,则可根据当前编码图像前一已编码图像与当前编码图像的统计数据预测得到下一待编码图像的统计数据。预测方式可以为:afk2=α·(afk1-afk0),其中afk2代表下一编码图像对应的DCT系数矩阵中,中高频区域(f2,f3,f4)的统计值,k代表区域f2,f3,f4的索引值,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中afk1,k=2,3,4分别为上面求取到的当前编码图像DCT系数矩阵中各个中频区域的统计值(af21,af31,af41),kfa0,k=2,3,4分别为上面求取到的当前图像的前一幅图像的DCT系数矩阵中各个中频区域的统计值(af20,af30,af40)。
根据上述预测得到的下一编码图像对应的DCT系数矩阵中,中高频区域(f2,f3,f4)的统计值(af22,af32,af42),计算其与对应的先验数据af2,af3,af4的差值,将求取到的差值分别记为df2,df3,df4;
然后使用更新方式进行更新:WQki′=WQki×(1+α·dfk/afk2),其中WQ代表下一编码图像DCT系数矩阵中区域量化调整之后的系数值,其中WQ′代表下一编码图像DCT系数矩阵中区域量化调整之前的系数值;k代表区域的索引值,i代表默认参数集中的保留细节或非保留细节参数集,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中dfk,k=2,3,4分别为上面求取到的差值(df2,df3,df4);afk2,k=2,3,4分别为上面求取到的下一编码图像DCT系数矩阵中各个中频区域的统计值(af22,af32,af42)。
此外,由于在视频编解码领域中,编解码图像可分为I帧、P帧、B帧三种编码图像,结合I帧、P帧、B帧三种编码图像的编码特性与图像块DCT系数矩阵中区域的统计特性及规律可以进一步准确预测后续编码图像DCT系数矩阵值的变化趋势,进而对后续编码图像的DCT系数矩阵进行加权量化调整,以提高后续待编码图像编码后的主观质量及客观质量。
经过初步的实践及统计分析,本发明实施例提出I帧图像的DCT系数矩阵的中高频区域系数值的统计数据,最能反映当前编码图像的图像特性。因此,本发明实施例可以基于对I帧图像进行DCT变换后得到的DCT系数矩阵中的中高频区域系数值的统计数据,来调整及刷新待编码图像的DCT系数矩阵,并将刷新后的结果作为对待编解码图像所在视频段进行加权调整的一个依据。这里的视频段可以为由若干具有相类似图像特性且显示时间上具有连续性的图像组成,通常为视频序列中两个I帧之间的待编码图像。
实施例3:
分别计算所有视频序列中I帧,P帧,B帧图像对应的DCT系数矩阵中各中高频区域系数值的绝对值的统计值,分别记为:(af2i,af3i,af4i),(af2p,af3p,af4p),(af2b,af3b,af4b),以作为先验数据。当然还可以统计得到中高频带(f2,f3,f4)变换系数绝对值的方差,分别记为:(vf2i,vf3i,vf4i),(vf2p,vf3p,vf4p),(vf2b,vf3b,vf4b),以作为先验数据。
根据当前编码图像(即P帧)、当前编码图像的前一幅图像(或前若干幅图像)(即I帧)、及当前编码图像的后一幅图像(或后若干幅图像)(即B帧)的编码预测特性,分别为I,P,B帧分与不同加权值,分别记为该加权值可以通过序列统计出来,也可以由用户自定义。
计算并保留当前编码图像之前一幅图像对应的DCT系数矩阵中的各中高频频带变换系数值的绝对值的统计值,分别记为af20,af30,af40。
计算并保留当前编码图像对应的DCT系数矩阵中的各中高频频带变换系数值的绝对值的统计值,分别记为af21,af31,af41。
由下述计算公式预测下一待编码图像对应的DCT系数矩阵中的各中高频频带变换系数值的绝对值的统计值: ,其中afk2代表下一编码图像对应的DCT系数矩阵中,中高频区域(f2,f3,f4)的统计值,k代表区域f2,f3,f4的索引值,分别代表赋予当前编码图像的前一幅图像(或前若干幅图像)及当前编码图像,以及当前编码图像的后一幅图像(或后若干幅图像)的加权值,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。
根据上述预测得到的下一待编码图像对应的DCT系数矩阵中,中高频区域(f2,f3,f4)的统计值(af22,af32,af42),计算其与对应的先验数据af2b,af3b,af4b的差值,将求取到的差值分别记为df2,df3,df4。
然后使用更新方式进行更新:WQki′=WQki×(1+α·dfk/afk2),其中WQ代表下一编码图像DCT系数矩阵中区域量化调整之后的系数值,其中WQ′代表下一编码图像DCT系数矩阵中区域量化调整之前的系数值;k代表区域的索引值,i代表默认参数集中的保留细节或非保留细节参数集,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中dfk,k=2,3,4分别为上面求取到的差值(df2,df3,df4);kfa2,k=2,3,4分别为上面求取到的下一待编码图像DCT系数矩阵中各个中频区域的统计值(af22,af32,af42)。
实施例4:
分别计算所有视频序列中I帧,P帧,B帧图像对应的DCT系数矩阵中各中高频区域系数值的绝对值的统计值,分别记为:(af1i,af2i,af3i,af4i,af5i),(af1p,af2p,af3p,af4p,af5p),(af1b,af2b,af3b,af4b,af5b),以作为先验数据。当然还可以统计得到中高频带(f1,f2,f3,f4,f5)变换系数绝对值的方差,分别记为:(vf1i,vf2i,vf3i,vf4i,vf5i),(vf1p,vf2p,vf3p,vf4p,vf5p),(vf1b,vf2b,vf3b,vf4b,vf5b),以作为先验数据。
在实际编码过程中,I帧是通过帧内预测而得到的残差图像,然后再对残差图像进行DCT变换。实验结果表明,帧内预测后所得残差图像经DCT变换后,得到的DCT系数统计规律与原图像经DCT变换后的DCT系数统计规律基本一致。因此在本实施例中,当I帧编码完成之后,统计当前I帧图像对应的DCT系数矩阵中各区域系数值的绝对值的统计值及其方差,然后更新I帧图像对应的DCT系数矩阵中的参数元素,更新方式与上述实施例1中相同,这里不再赘述。将更新后的加权矩阵参数记为:(wq′10,wq′20,wq′30,wq′40,wq′50)与(wq′11,wq′21,wq′31wq′41,wq′51),其中参数集各参数的意义与实施例1相同。将更新后的参数集作为对当前视频段对应的DCT系数矩阵进行加权处理的基准。当前视频段可以为由若干具有相类似图像特性且显示时间上具有连续性的图像组成,通常为视频序列中两个I帧之间的待编码图像。
根据当前编码图像(即P帧)、当前编码图像的前一幅图像(或前若干幅图像)(即I帧)、及当前编码图像的后一幅图像(或后若干幅图像)(即B帧)的编码预测特性,分别为I,P,B帧分与不同加权值,分别记为该加权值可以通过序列统计出来,也可以由用户自定义。
计算并保留当前编码图像之前一幅图像对应的DCT系数矩阵中的各中高频频带变换系数值的绝对值的统计值,分别记为af10,af20,af30,af40,af50。
计算并保留当前编码图像对应的DCT系数矩阵中的各中高频频带变换系数值的绝对值的统计值,分别记为af11,af21,af31,af41,af51。
针对当前编码图像帧(即P帧),根据上述预测得到的当前编码图像对应的DCT系数矩阵中,各区域(f1,f2,f3,f4,f5)的统计值(af11,af21,af31,af41,af51),计算其与对应的先验数据af1p,af2p,af3p,af4p,af5p的差值,将求取到的差值分别记为df11,df21,df31,df41,df51。
对当前待编码图像的DCT系数矩阵进行加权更新处理,更新方式可为:WQ″ki=WQ′ki×(1+α·dfk1/afk1),其中WQ″代表对当前编码图像的DCT系数矩阵进行加权更新处理后的更新系数值;WQ′为I帧编码图像DCT系数矩阵中的对应系数值;k代表区域的索引值,i代表默认参数集中的保留细节或非保留细节参数集,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中df1k,k=1,2,3,4,5分别为上面求取到的差值(df11,df21,df31,df41df51),kfa1,k=1,2,3,4,5分别为上面求取到的当前图像DCT系数矩阵中各个区域的统计值(af11,af21,af31,af41,af51)。
综上得到WQ″后,将WQ″与WQ′的差值编入码流中的特定位置,该位置可为图像头。在图像解码时,从码流中读出I帧所对应的加权参数集,再从P帧中的特定位置读出P帧的DCT系数矩阵中各区域的系数值与I帧加权参数集中对应参数的差值,将差值与已读出的I帧加权参数集中的对应参数进行相加,即可得到待解码P帧的DCT系数矩阵中的各区域系数值。
针对当前编码图像帧的下一帧编码图像帧(即B帧),由下述计算方式预测下一待编码图象帧DCT系数矩阵中的各区域系数值的统计数据:,其中afk2代表下一编码图像对应的DCT系数矩阵中,各区域(f1,f2,f3,f4,f5)的统计值,k代表区域f1,f2,f3,f4,f5的索引值,分别代表赋予当前编码图像的前一幅图像(或前若干幅图像)及当前编码图像,以及当前编码图像的后一幅图像(或后若干幅图像)的加权值,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。
根据上述预测得到的下一待编码图像帧对应的DCT系数矩阵中,各区域(f1,f2,f3,f4,f5)的统计值(af12,af22,af32,af42,af52),计算其与对应的先验数据af1b,af2b,af3b,af4b,af5b的差值,将求取到的差值分别记为df12,df22,df32,df42,df52。
对当前编码图像帧的下一编码图像帧的DCT系数矩阵进行加权更新处理,更新方式可为:WQ″ki=WQ′ki×(1+α·dfk2/afk2),其中WQ″代表对当前编码图像帧的下一编码图像帧的DCT系数矩阵进行加权更新处理后的更新系数值;WQ′为I帧编码图像DCT系数矩阵中的对应系数值;k代表区域的索引值,i代表默认参数集中的保留细节或非保留细节参数集,α代表量化调整系数更新变化的幅度,可根据实际应用由系统设置或用户自定义。其中dfk2,k=1,2,3,4,5分别为上面求取到的差值(df12,df22,df32,df42df52),kfa2,k=1,2,3,4,5分别为上面求取到的当前图像帧的下一编码图像帧DCT系数矩阵中各个区域的统计值(af12,af22,af32,af42,af52)。
综上得到WQ″后,将WQ″与WQ′的差值编入码流中的特定位置,该位置可为图像头。在图像解码时,从码流中读出I帧所对应的加权参数集,再从B帧中的特定位置读出B帧的DCT系数矩阵中各区域的系数值与I帧加权参数集中对应参数的差值,将差值与已读出的I帧加权参数集中的对应参数进行相加,即可得到待解码B帧的DCT系数矩阵中的各区域系数值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
如图3所示,为本发明实施例提供的对图像的量化处理装置的结构示意图,包括:
变换单元301,用于对图像块进行变换,得到对应图像块的变换系数矩阵;
划分单元303,用于按照预先设置的划分方式对变换单元301得到的变换系数矩阵进行区域划分处理;
统计单元305,用于统计划分单元303划分出的各个区域的统计值;
调整单元307,用于根据统计单元305得到的区域的统计值对编码图像块或解码图像块的变换系数矩阵中对应的区域进行量化调整。
统计单元305具体用于计算图像中每个划分出的区域中包含的变换系数的绝对值的平均值,作为对应区域的统计值;或者
计算图像中每个划分出的区域中包含的变换系数的方差,作为对应区域的统计值。
调整单元307具体用于通过下述计算方式,对图像块的变换系数矩阵中对应的区域进行量化调整:
WQk′=WQk×(1+α·(afk-afk′)/afk)
其中WQk′代表当前图像块的变换系数矩阵中各区域对应的量化调整系数调整后的系数值;
WQk代表当前图像块的变换系数矩阵中各区域对应的量化调整系数调整前的系数值;
k代表变换系数矩阵中对应的区域的索引值;
α代表量化调整系数更新变化的幅度;
afk为对图像中索引值为k的区域计算得到的第一统计值;
afk′为对图像中索引值为k的区域计算得到的第二统计值。
本发明实施例提供的对图像的量化处理的装置,可以用以执行本发明实施例提供的对图像量化处理的方法,并达到相应的有益效果,方法实施例描述的内容可以用于支持或解释装置实施例的相关内容,为了简洁起见,在此不再重复描述。
本发明实施例提供的对图像的量化处理的装置,可以用于编码器、解码器中,或用于包含有该装置的播放系统中。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种对图像的量化处理方法,其特征在于,包括:
对图像块进行变换,得到对应图像块的变换系数矩阵;
按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理;
统计划分出的各个区域的统计值;
根据区域的统计值以及对应区域的先验数据对图像块的变换系数矩阵中对应的区域进行量化调整,所述对应区域的先验数据为通过统计选定图像序列中的图像中的图像块的变换系数矩阵中的对应区域的系数而获得的统计值。
2.如权利要求1所述的方法,其特征在于,所述统计划分出的各个区域的统计值包括:
计算图像中每个划分出的区域中包含的变换系数的绝对值的平均值,作为对应区域的统计值;或者
计算图像中每个划分出的区域中包含的变换系数的方差,作为对应区域的统计值。
3.如权利要求1所述的方法,其特征在于,所述先验数据采用如下方式获得:
预先针对选定图像序列,先统计出每一个图像的每个图像块对应各划分区域中各对角区域的变换系数的绝对值的第一平均值,然后再统计每一个图像的所有图像块的所述第一平均值的第二平均值,然后再统计所述选定图像序列中的所有图像的所述第二平均值的第三平均值,然后再计算出所述第三平均值的数值和,然后再计算出所述第三平均值与所述数值和的比例,最后针对典型图像序列中的所有视频序列计算出所述比例的第四平均值,作为所述先验数据。
4.如权利要求1-3任意一项所述的方法,其特征在于,通过下述计算方式,对图像块的变换系数矩阵中对应的区域进行量化调整:
WQk′=WQk×(1+α·(afk-afk′)/afk)
其中WQk′代表图像块的变换系数矩阵中索引值为k的区域的量化调整系数调整后的系数值;
WQk代表图像块的变换系数矩阵中索引值为k的区域的量化调整系数调整前的系数值;
k代表变换系数矩阵中对应的区域的索引值;
α代表量化调整系数更新变化的幅度;
afk为图像块的变换系数矩阵中索引值为k的区域的统计值;
afk′为索引值为k的区域的先验数据。
5.如权利要求1或2所述的方法,其特征在于,所述的图像块是图像编码前经划分得到的块,或
是图像经运动估计得到的残差图像经划分得到的块。
6.一种图像处理的方法,其特征在于,具体包括:
对图像块进行变换,得到对应图像块的变换系数矩阵;
按照预先设置的划分方式对所述变换系数矩阵进行区域划分处理;
统计划分出的各个区域的统计值;
根据当前图像的前一幅或多幅图像的图像块的变换系数矩阵中各个区域的统计值,和当前图像的图像块的各个区域的统计值,通过下述计算方式,确定当前图像的下一图像的图像块的变换系数矩阵中索引值为k的区域的统计值:
afk′=α·(afk1-afk0)
其中afk′代表下一图像对应的图像块的变换系数矩阵中索引值为k的区域的统计值;
k代表各区域的索引值,α代表量化调整系数更新变化的幅度;
afk1代表当前图像的图像块对应的变换系数矩阵中各区域的统计值;
afk0代表当前图像的前一幅或多幅图像的图像块变换系数矩阵中索引值为k的区域块的统计值;
根据当前图像的下一图像的图像块的变换系数矩阵中索引值为k的区域的统计值以及对应区域的先验数据对图像块的变换系数矩阵中对应的区域进行量化调整,所述对应区域的先验数据为通过统计选定图像序列中的图像中的图像块的变换系数矩阵中的对应区域的系数而获得的统计值。
7.如权利要求6所述的方法,其特征在于,所述当前图像为当前编码图像;
所述当前图像的前一幅或多幅图像为当前编码图像的前一幅或多幅已编码图像;
所述下一图像为当前编码图像的下一幅待编码图像。
8.如权利要求6所述的方法,其特征在于,所述当前图像为当前解码图像;
所述当前图像的前一幅或多幅图像为当前解码图像的前一幅或多幅已解码图像;
所述下一图像为或当前解码图像的下一幅待解码图像。
9.一种对图像的量化处理装置,其特征在于,包括:
变换单元,用于对图像块进行变换,得到对应图像块的变换系数矩阵;
划分单元,用于按照预先设置的划分方式对所述变换单元得到的所述变换系数矩阵进行区域划分处理;
统计单元,用于统计所述划分单元划分出的各个区域的统计值;
调整单元,用于根据区域的统计值以及对应区域的先验数据对图像块的变换系数矩阵中对应的区域进行量化调整,所述对应区域的先验数据为通过统计选定图像序列中的图像中的图像块的变换系数矩阵中的对应区域的系数而获得的统计值。
10.如权利要求9所述的装置,其特征在于,所述统计单元具体用于计算图像中每个划分出的区域中包含的变换系数的绝对值的平均值,作为对应区域的统计值;或者
计算图像中每个划分出的区域中包含的变换系数的方差,作为对应区域的统计值。
11.如权利要求9或10所述的装置,其特征在于,所述调整单元具体用于通过下述计算方式,对图像块的变换系数矩阵中对应的区域进行量化调整:
WQk′=WQk×(1+α·(afk-afk′)/afk)
其中WQk′代表图像块的变换系数矩阵中索引值为k的区域的量化调整系数调整后的系数值;
WQk代表图像块的变换系数矩阵中索引值为k的区域的量化调整系数调整前的系数值;
k代表变换系数矩阵中对应的区域的索引值;
α代表量化调整系数更新变化的幅度;
afk为图像块的变换系数矩阵中索引值为k的区域的统计值;
afk′为索引值为k的区域的先验数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810192932.5A CN101771868B (zh) | 2008-12-31 | 2008-12-31 | 对图像的量化处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810192932.5A CN101771868B (zh) | 2008-12-31 | 2008-12-31 | 对图像的量化处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101771868A CN101771868A (zh) | 2010-07-07 |
CN101771868B true CN101771868B (zh) | 2016-03-02 |
Family
ID=42504416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200810192932.5A Expired - Fee Related CN101771868B (zh) | 2008-12-31 | 2008-12-31 | 对图像的量化处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101771868B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK2953356T3 (en) * | 2010-08-17 | 2018-12-10 | Samsung Electronics Co Ltd | Video decoding method using variable tree structure transformation unit |
KR20160034424A (ko) * | 2012-01-20 | 2016-03-29 | 소니 주식회사 | 유효성 맵 코딩의 복잡성 감소 |
DK3282708T3 (da) | 2012-02-29 | 2019-05-20 | Sony Corp | Anordning og fremgangsmåde til billedbehandling |
CN103391433B (zh) | 2012-05-09 | 2017-07-18 | 腾讯科技(深圳)有限公司 | 视频编码帧内预测扫描方法及视频编码方法 |
CN103051901B (zh) * | 2013-01-14 | 2015-10-28 | 北京华兴宏视技术发展有限公司 | 视频数据编码装置和视频数据编码方法 |
CN103561270B (zh) * | 2013-11-08 | 2016-08-17 | 武汉大学 | 一种用于hevc的编码控制方法及装置 |
CN105338352B (zh) | 2014-07-24 | 2019-04-19 | 华为技术有限公司 | 一种视频编码中自适应反量化方法及装置 |
WO2016074746A1 (en) | 2014-11-14 | 2016-05-19 | Huawei Technologies Co., Ltd. | Systems and methods for mask based processing of a block of a digital image |
CN108293125B (zh) | 2014-11-14 | 2020-08-07 | 华为技术有限公司 | 一种数字图像处理系统和方法 |
KR102138650B1 (ko) | 2014-11-14 | 2020-07-28 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디지털 이미지의 블록을 처리하는 시스템 및 방법 |
CN104902285B (zh) * | 2015-05-21 | 2018-04-20 | 北京大学 | 一种图像编码方法 |
CN107798282B (zh) * | 2016-09-07 | 2021-12-31 | 北京眼神科技有限公司 | 一种活体人脸的检测方法和装置 |
CN107105245B (zh) * | 2017-05-26 | 2019-08-06 | 西安电子科技大学 | 基于tms320c6678芯片的高速jpeg图像压缩方法 |
CN107820097A (zh) * | 2017-10-11 | 2018-03-20 | 惠科股份有限公司 | 一种画面存储方法和显示面板 |
CN109842803B (zh) * | 2018-09-19 | 2021-06-29 | 华为技术有限公司 | 一种图像压缩的方法及装置 |
KR20210093336A (ko) * | 2018-11-27 | 2021-07-27 | 오피 솔루션즈, 엘엘씨 | 픽처들에 대한 블록-기반 공간 활동 측정들 |
US11646983B1 (en) | 2019-07-16 | 2023-05-09 | Whatsapp Llc | Methods and systems for transmitting an image with thumbnail data |
CN110602494A (zh) * | 2019-08-01 | 2019-12-20 | 杭州皮克皮克科技有限公司 | 基于深度学习的图像编码、解码系统及编码、解码方法 |
CN114079772B (zh) * | 2020-08-21 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 视频解码方法、装置、计算机可读介质及电子设备 |
CN112565751B (zh) * | 2020-09-27 | 2021-09-10 | 腾讯科技(深圳)有限公司 | 视频解码方法、装置、计算机可读介质及电子设备 |
CN112543337B (zh) * | 2020-09-27 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 视频解码方法、装置、计算机可读介质及电子设备 |
CN114222132B (zh) * | 2022-01-13 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 视频解码反变换方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
US5724097A (en) * | 1993-10-18 | 1998-03-03 | Mitsubishi Denki Kabushiki Kaisha | Adaptive quantization of video based on edge detection |
CN1756353A (zh) * | 2004-09-29 | 2006-04-05 | 腾讯科技(深圳)有限公司 | 一种视频数据压缩的量化方法 |
CN1816145A (zh) * | 2005-02-03 | 2006-08-09 | 腾讯科技(深圳)有限公司 | 一种视频数据压缩量化和反量化的方法 |
CN1917645A (zh) * | 2005-08-15 | 2007-02-21 | 华为技术有限公司 | 对系数块进行编码的方法 |
-
2008
- 2008-12-31 CN CN200810192932.5A patent/CN101771868B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
US5724097A (en) * | 1993-10-18 | 1998-03-03 | Mitsubishi Denki Kabushiki Kaisha | Adaptive quantization of video based on edge detection |
CN1756353A (zh) * | 2004-09-29 | 2006-04-05 | 腾讯科技(深圳)有限公司 | 一种视频数据压缩的量化方法 |
CN1816145A (zh) * | 2005-02-03 | 2006-08-09 | 腾讯科技(深圳)有限公司 | 一种视频数据压缩量化和反量化的方法 |
CN1917645A (zh) * | 2005-08-15 | 2007-02-21 | 华为技术有限公司 | 对系数块进行编码的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101771868A (zh) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101771868B (zh) | 对图像的量化处理方法及装置 | |
US6831947B2 (en) | Adaptive quantization based on bit rate prediction and prediction error energy | |
RU2414093C2 (ru) | Способ и устройство, и программа кодирования/декодирования видео | |
EP1995971B1 (en) | A method and device for realizing quantization in coding-decoding | |
JP4514819B2 (ja) | 動画像復号装置 | |
CN103718556B (zh) | 利用灵活解块滤波的编码解码装置和方法 | |
CN101188755B (zh) | 一种对实时视频信号在avs编码过程中vbr码率控制的方法 | |
KR950030708A (ko) | 움직임화상 부호화방법 | |
CN101272489B (zh) | 视频图像质量增强的编解码装置与编解码方法 | |
CN103634601B (zh) | 基于结构相似度的高效视频编码感知码率控制优化方法 | |
CN109997360A (zh) | 基于感知度量分类对视频进行编码和解码的方法和装置 | |
CN101335891B (zh) | 视频速率控制方法及视频速率控制器 | |
CN1110776C (zh) | 压缩来自视频图像的数字数据的方法和设备 | |
KR20220013373A (ko) | 비디오 압축을 위한 전처리 | |
CN101998117A (zh) | 视频转码方法和装置 | |
CN116962694A (zh) | 视频编码方法、装置、电子设备和存储介质 | |
US9838713B1 (en) | Method for fast transform coding based on perceptual quality and apparatus for the same | |
CN112243129B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN100505874C (zh) | 一种视频编码速率控制的方法 | |
KR20040107850A (ko) | 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 | |
US20220264111A1 (en) | Video coding efficiency improvement using dynamic frame boost scaling | |
Baseri et al. | Region-based coding of images using a spline model | |
KR100464004B1 (ko) | 관심영역별 가중치를 이용한 영상의 양자화장치 | |
CN118870014A (zh) | 面向大屏展示的视频数据压缩方法及压缩系统 | |
WO2022174118A1 (en) | Video coding efficiency improvement using dynamic frame boost scaling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160302 Termination date: 20201231 |
|
CF01 | Termination of patent right due to non-payment of annual fee |