CN105306957A - 自适应环路滤波方法和设备 - Google Patents
自适应环路滤波方法和设备 Download PDFInfo
- Publication number
- CN105306957A CN105306957A CN201510698486.5A CN201510698486A CN105306957A CN 105306957 A CN105306957 A CN 105306957A CN 201510698486 A CN201510698486 A CN 201510698486A CN 105306957 A CN105306957 A CN 105306957A
- Authority
- CN
- China
- Prior art keywords
- filter shape
- filter
- sample window
- shape
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 76
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008569 process Effects 0.000 claims description 17
- 238000013139 quantization Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施方式公开了用于视频图像编解码的自适应环路滤波方法和设备,以及使用自适应环路滤波来处理编码的视频图像的方法和设备。对于自适应环路滤波,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。根据本发明实施方式的自适应环路滤波,在提高图像质量的同时,硬件消耗最低。
Description
技术领域
本发明涉及多媒体领域中的视频图像编解码的技术领域,尤其涉及一种视频图像编解码中使用的自适应环路滤波方法和设备以及使用自适应环路滤波来处理编码的视频图像的方法和设备。
背景技术
现代视频编解码技术都使用基于块的预测和量化的块变换。一般把当前编码帧划分成互不重合的编码单元,这个编码单元可以是AVC/H.264(运动图像专家组高级视频编码MPEG-4AVC)或AVS1(国内视频编码标准第1版)中的宏块(MB,macroblock),也可以是HEVC/H.265(HighEfficiencyVideoCoding;高效率视频编解码)或AVS2(国内视频编码标准第2版)中的编码单元(CU,codingunit)。编码单元还可以进一步作子划分为编码子单元。利用基于块的预测,重建的像素块可以用来预测其他像素块。基于块的预测和量化的块变换的使用可以导致沿区块边界的块效应以及区块内部的噪声等原始图像信息的损失。
在HEVC/H.265和AVS2标准中,采用了自适应环路滤波(ALF)来进一步消除区块内部的噪声,改善重建图像的质量,提高预测效率。ALF技术通过编码滤波形状和滤波系数,在解码器处对重建图像进行滤波,降低解码图像中的压缩失真,并为后续编解码图像提供高质量的预测参考图像,从而进一步提高压缩效率。滤波系数的构建使得重建图像与原始图像之间的均方差(MSE)达到最小。但是,ALF是这些编解码系统中的编码时间最长、计算量最大、复杂度最高的部分。为此,现有的ALF算法通常是在重建图像质量与ALF算法的复杂度、计算量、压缩效率等方面进行均衡。AVS2标准中的ALF相对于HEVC/H.265中的ALF已经进行了一定的简化。
另外,视频编码器和解码器通常是由硬件实现的,但是,现有的各种ALF算法并未朝着有利于硬件实现的方向进行设计和开发。
发明内容
本发明的目的旨在提供一种改进的自适应环路滤波方法,其在提高图像质量的同时,在硬件实现时代价更小。
根据本发明的第一方面,提供一种用于视频图像编解码的自适应环路滤波方法。该方法包括:将重建图像划分为多个区块;以及针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小。对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状。所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
进一步地,构成所述最终滤波形状的十字线型滤波形状为9×7尺寸,并且构成所述最终滤波形状的正方形滤波形状为3×3尺寸。
进一步地,构成所述最终滤波形状的十字线型滤波形状为7×5尺寸,并且构成所述最终滤波形状的正方形滤波形状分别为3×3尺寸。
进一步地,构成所述最终滤波形状的十字线型滤波形状为11×9尺寸,并且构成所述最终滤波形状的正方形滤波形状为4×4尺寸。
进一步地,对应于所述最终滤波形状的样本窗口的滤波系数是关于所述最终滤波形状中心对称或者象限对称的。
根据本发明的第二方面,提供一种用于视频图像编解码的自适应环路滤波设备。该设备包括:划分模块,用于将重建图像划分为多个区块;以及滤波模块,用于针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小。对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状。所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明的第三方面,提供一种使用自适应环路滤波来处理编码的视频图像的方法。该方法包括:接收对应于编码的视频图像数据的重建图像数据;将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及提供经滤波的视频数据。所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建。所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明的第四方面,提供一种使用自适应环路滤波来处理编码的视频图像的设备。该设备包括:接收模块,用于接收对应于编码的视频图像数据的重建图像数据;滤波模块,用于将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及提供模块,用于提供经滤波的视频数据。所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建。所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明各种实施方式所提出的十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,该最终滤波形状为相对于竖直方向更多地选取水平方向上的像素的非对称结构设计。从而,既提高了ALF滤波效果,又实现了在硬件实现时花费最少。
附图说明
结合附图并参考以下详细说明,本发明各实施方式的特征、优点及其他方面将变得更加明显。在附图中:
图1示出了根据HEVC/H.265标准的编码器的示意性框图;
图2示出了根据HEVC/H.265标准的解码器的示意性框图;
图3示出了HEVC/H.265标准的ALF所采用的5×5、7×7和9×7三种大小的二维钻石型滤波形状;
图4示出了AVS2标准的ALF所采用的大小为7×7的二维对称滤波形状;
图5示出了AVS标准的重建图像划分的基本区块单元及标号顺序示意图;
图6示出了根据本发明的一个实施方式的ALF所采用的二维非对称滤波形状;以及
图7示出了根据本发明的另一个实施方式的ALF所采用的二维非对称滤波形状。
具体实施方式
下文将结合附图参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。
在HEVC/H.265标准中,图像被划分成进行编码时的基本编码单元,即最大编码单元(LCU),例如64×64像素。根据编码流程的不同,又将LCU分为三部分,分别为编码单元(CU)、预测单元(PU)以及变换单元(TU)。
HEVC/H.265标准还采用了帧内预测和帧间预测技术,其中利用视频信号的空间和时间冗余性来达到信息压缩的目的:在压缩当前的编码单元或编码子单元时,利用其周围已编码的像素信息对当前的编码单元或编码子单元中的像素值作预测。预测过程一般是使用某几种预先定义的预测算法在邻近像素的基础上,生成当前编码单元/子单元的一个预测像素块。根据对率失真性能的评估,编码器选择效率最高的预测模式。与此有关的编码器的具体操作包括:1)编码所使用的预测模式的索引;2)当前编码单元/子单元与预测像素块作差,得到残差块;3)对残差块做变换、量化和熵编码。解码器的对应操作包括:1)解码预测模式的索引,根据索引得到预测模式,并计算相应的帧内预测块;2)熵解码变换系数、逆量化、逆变换得到残差块;3)相加预测块和残差块得到重建的像素块。
图1示出了根据HEVC/H.265标准的编码器的示意性框图,并且图2示出了根据HEVC/H.265标准的解码器的示意性框图。如图1所示,给定当前预测单元PU,用x表示,则可以通过帧内预测(或者帧间)预测来首先获得预测PU,用x’表示。预测PU、x’然后可以被从当前PU、x中减去,产生PU残差,用e表示。通过对与编码单元CU相关联的PU残差、e进行分组而生成的CU残差然后可以通过变换进行变换,每次一个变换单元TU,产生变换域中的PU残差,用E表示。所述变换可以例如使用正方形或者非正方形的块变换。
PU残差、E然后可以通过量化器模块118进行量化,从而将高精度变换系数转换成有限数目的可能值。如应当理解的,量化是有损操作,并且量化损失通常无法恢复。
经量化的系数然后可以通过熵编解码模块120进行熵编解码,产生最后的压缩比特。应当注意,取决于所执行的编解码标准,以上描述的预测、变换和量化可以针对任何视频数据块来执行,例如,针对CU的PU或TU,或者针对LCU。
为了促进时间和空间预测,还可采取经量化的变换系数E,并且利用逆量化模块122对其进行逆量化,从而产生经逆量化的变换系数E’。经逆量化的变换系数然后通过逆变换模块124进行逆变换,产生经重建的PU残差,用e’表示。经重建的PU残差、e’然后在时间上或在空间上被加入到相应的预测PU、x’,以形成经重建的PU,用x”表示。
在环路滤波器126中,可以在经重建的预测单元PU、x”上执行去块滤波器(“DFB”)操作,以首先减少块效应。可以在完成针对经解码的图像的去块滤波器处理之后有条件地执行自适应样点补偿(“SAO”)过程,这补偿经重建的像素与原始像素之间的像素值偏置。在DBF操作和SAO过程之后,还可以执行自适应环路滤波器ALF功能,该自适应环路滤波ALF功能可以在经重建的PU之上有条件地执行。自适应环路滤波ALF最小化在输入和输出图像之间的编解码失真。在一些实施例中,环路滤波器模块126在图像间预测环路期间工作。如果经重建的图像是参考图像,则它们可以被存储在参考缓冲器128中用于将来的时间预测。
如图2所示,其示出了根据HEVC/H.265标准的解码器的示意性框图。解码器145的熵解码模块146可以解码编码后码流。熵解码模块146可以结合熵编解码模块120来执行所描述的过程的逆过程。熵解码模块146然后可以将系数提供至逆量化模块147,其对系数矩阵进行逆量化,产生E’。逆量化模块147可以将经逆量化的系数提供到逆变换模块149。逆变换模块149可以对系数执行逆变换操作,产生e’。接着,可以以结合图1描述的方式应用环路滤波和空间预测。
就HEVC/H.265标准而言,如前所述,一个完整的环路滤波过程包括3个环节:去块滤波(DeblockingFilter,DBF)、自适应样点补偿(SampleAdaptiveOffset,SAO)、自适应环路滤波(AdaptiveLoopFilter,ALF)。重建图像在经过去块滤波和自适应补偿之后,区块内部仍然存在噪声。在HEVC/H.265标准中,自适应环路滤波(ALF)在SAO或者去块滤波后进行,用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小,以便进一步减少重建图像与源图像之间的失真。这样就进一步改善重建帧的图像质量,从而提供了运动补偿和运动估计的准确度。ALF采用二维维纳滤波器,滤波形状采用5×5、7×7和9×7三种大小的二维钻石型滤波器结构,如图3所示。滤波形状限定了在对一个像素进行滤波时需要考虑其周围的像素的位置。对应于滤波形状的样本窗口的滤波系数根据局部特性进行自适应计算。在编码器处,ALF根据维纳滤波原理计算出一组滤波器系数并将这组系数传送到解码器。这些滤波器结构的滤波系数通过自适应维纳滤波器进行计算,可以通过自适应训练得到。
对于每幅重建图像,ALF可以被用于一整帧,也可以用于其中的部分区块。根据滤波控制方式的不同,ALF可以分为三类:基于帧的ALF、基于区块的ALF、基于四叉树的ALF。基于帧的ALF是最早被提出的,可以针对整帧应用ALF,只有一个标志用来表示当前帧时候应用ALF进行滤波。使用基于帧的ALF有可能会导致做完滤波后,该帧图像中一些区域的图像质量会提高,但另一些区域的像素误差反而增大、图像质量下降,因而发展出了基于区块的ALF。基于四叉树的ALF采用更加精细的区块划分方法,在图像边缘与细节处使用更小的滤波区块,而对于图像平坦区使用更大的区块。区块的大小根据图像的不同区域的性质自动调节,从而提高了编码效率。
AVS2标准同样采用的是基于块的预测和量化方案,在其中同样采用了去块滤波DBF、SAO和自适应环路滤波ALF。图4示出了AVS2标准所采用的滤波形状和滤波系数(C0、C1、……C8)的布局。AVS2与HEVC/H.265标准相比,ALF滤波器的滤波形状采用更加简单的对称结构,并且滤波系数关于中心点中心对称,从而极大地简化了ALF滤波的计算量和复杂度。
在AVS2标准中,将当前图像划分为16个基本区域,如图5所示,基本区域的标号顺序可以是如5所示的顺序。对于每个基本区域可以采用如图4所示的7×7十字线型和3×3正方形叠加的对称形状的一个滤波器。滤波系数(C0、C1、……C8)为中心对称结构,可以按照均方误差最小的原则训练每个基本区域的滤波器的滤波系数,其中均方误差最小的原则即是重构像素值和原始像素值失真最小的原则。
在编码器处,可以将ALF功能所采用的滤波形状和滤波系数作为一个基本区域的ALF参数编码到码流中,传送到解码器。在解码器处,解码器可解析从编码器传来的ALF参数,获得滤波形状和滤波系数。在编解码过程中进行ALF滤波时,针对一个基本区域中的每个像素,根据该区域的滤波形状来选择对该像素进行滤波所使用的周围像素,把对应位置的像素点与相应的滤波系数相乘之和得到的新的像素来替代当前像素值,其中滤波形状的中心窗口对应于该像素。
在下文中,具体描述根据本发明的各种实施方式改进的ALF滤波形状。
由于在视频图像的编码与解码过程是按光栅扫描顺序(rasterscan)来进行,那么取垂直方向数据时,硬件实现上必须缓存整行数据,水平方向因为刚编解码出来,硬件中备份有对应的像素值,因此,如果在ALF滤波的实现中取一个像素的竖直方向上的邻居像素时,那么将采用存取上面几行数据和下面几行数据,则这需要若干行的存储空间资源。这对于硬件资源的消耗是非常大的,特别是面对4K的超清图像时,要存储的数据量非常大。因此,可以减少竖直方向上的像素选取,更多地选择水平方向上的邻居像素来进行ALF滤波。
为此,根据本发明的各种实施方式,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,或称为滤波模板,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目(对应于图6中的一个方块)。如此,通过水平方向增加滤波样本窗口(用于选择对应位置的像素)的选取,不仅提高了图像的质量,而且硬件实现花费的成本很少,也能够很好的提高图像的质量以及滤波效果。
图6示出了根据本发明一种实施方式的ALF功能的二维非对称结构的滤波模板。该滤波模板由9×7尺寸的十字线型滤波形状与3×3尺寸的正方形滤波形状在中心处叠加而成。滤波系数(C0、C1、……C9)采用了中心对称结构。可替换地,滤波系数(C0、C1、……C9)也可以采用非对称的结构。
图7示出了根据本发明另一种实施方式的ALF功能的二维非对称结构的滤波模板。该滤波模板由7×5尺寸的十字线型滤波形状与3×3尺寸的正方形滤波形状在中心处叠加而成。
根据本发明的又一种实施方式,ALF功能的二维非对称结构的滤波模板可以由11×9尺寸的十字线型滤波形状与3×3尺寸的正方形滤波形状在中心处叠加而成。
根据本发明的再一种实施方式,ALF功能的二维非对称结构的滤波模板可以由可以由11×9尺寸的十字线型滤波形状与4×4尺寸的正方形滤波形状在中心处叠加而成。
本发明实施方式通过在重建帧和原始帧之间使用改进的最终的非对称滤波形状(或滤波模板),例如如图6所示的9×7非对称模板,来优化环路滤波器。应当理解,本发明实施方式所提出的滤波模板可以结合HEVC/H.265标准、AVS2标准以及上述标准的演化版本而使用,能够替换它们中的相应部分。对应于多提出的ALF滤波模板的滤波系数可以按照如HEVC/H.265标准、AVS2标准中的均方误差最小的原则进行训练。附加地,本发明实施方式所提出的ALF滤波形状也可以应用在其他的视频编解码方案中。
虽然在上文的描述中,ALF被应用在DBF和SAO之后,但是本发明并不限制其与DBF和SAO的相对位置关系。例如,ALF可以位于DBF和SAO之间,或者独立于DBF和SAO而进行滤波。
应当理解,根据本发明的实施方式,如图5所示的当前图像的基本区域的划分和基本区域的标号顺序仅是一种示例,本发明实施方式的ALF滤波模板还可以与其他的基本区域划分方式和标号顺序相配合使用。
根据本发明的各种实施方式,提出一种用于视频图像编解码的自适应环路滤波方法,包括:
-将重建图像划分为多个区块;以及
-针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小。
对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
例如,重建图像被划分成的区块大小可以是64×64、32×32、16×16以及8×8。重建图像的区块还可以基于四叉树而被进一步划分成子区块,对这样的子区块应用根据本发明的各种实施方式ALF。
根据本发明的各种实施方式,还提出一种用于视频图像编解码的自适应环路滤波设备,包括:
-划分模块,用于将重建图像划分为多个区块;以及
-滤波模块,用于针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小。
对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明的各种实施方式,还提出了一种使用自适应环路滤波来处理编码的视频图像的方法,包括:
-接收对应于编码的视频图像数据的重建图像数据;
-将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及
-提供经滤波的视频数据。
所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明的各种实施方式,还提出了一种使用自适应环路滤波来处理编码的视频图像的设备,包括:
-接收模块,用于接收对应于编码的视频图像数据的重建图像数据;
-滤波模块,用于将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及
-提供模块,用于提供经滤波的视频数据。
所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
根据本发明的各种实施方式,与AVS2标准中采用的滤波形状相比,改变了水平方向与竖直方向上的滤波样本窗口(用于选择对应位置的像素)的选取个数,使得在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目,又提高了滤波图像的质量(选择了更多的邻居像素),又使得在硬件实现时的代价增加量很小。与传统的二维钻石型模板相比,重点选择当前中心样本窗口周边的窗口,降低了在滤波过程计算复杂性。
以如图6所示的本发明实施方式的9×7非对称滤波模板为例,通过在AVS2参考软件RD11.0上进行AVS2标准的ALF滤波(如图4所示的7×7模板)和采用该实施方式的9×7非对称滤波模板的ALF滤波的性能对比测试,测试结果如下表所示。
在上表的测试中,共选取了14个测试序列,其中包括UHD分辨率的2个图像序列、1080p分辨率的4个图像序列、WVGA分辨率的4个图像序列和720p分辨率的4个图像序列。对于这14个测试图像序列,分别选取了量化参数量化步长(QP)依次为27、32、38和45构建测试用例进行了测试。
由上表可见,采用如图6所示的9×7非对称滤波模板进行ALF滤波,与采用如图4所示的滤波形状进行ALF滤波相比,对于图像的亮度分量Y,RA平均有0.06%的提升,LD平均有0.2%的提升,AI平均有0.02%的提升;对于图像的色度分量U和V,RA分别平均有0.07%和0.28%的提升,LD分别平均有0.12%和0.02%的提升,AI分别平均有0.08%和0.08%的提升。
发明人还对如图6所示的9×7非对称滤波模板和包括如图7所示的7×5非对称滤波模板以及前述的11×9的两种非对称滤波模板进行了对比测试,测试结果表明图6所示的滤波形状在图像质量改善量和计算复杂度的均衡方面是效果最优。
应当理解,虽然本发明实施方式所提出的ALF方案特别适合于硬件实现,但是该方案也可以被实现为软件或硬件和软件的组合。硬件可通过被设计来执行上述功能的转用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微处理器、其他电子单元或其组合来实现。软件可通过执行上述功能的模块来实现。软件可被存储在存储单元中并由处理器运行。作为存储单元或处理器,可采用本领域技术人员公知的各种单元。
已经出于示出和描述的目的给出了本发明的说明书,但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。在不脱离本发明精神的前提下,做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。
Claims (10)
1.一种用于视频图像编解码的自适应环路滤波方法,包括:
将重建图像划分为多个区块;以及
针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小,
其特征在于,对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
2.根据权利要求1所述的方法,其特征在于,构成所述最终滤波形状的十字线型滤波形状为9×7尺寸,并且构成所述最终滤波形状的正方形滤波形状为3×3尺寸,如图6所示。
3.根据权利要求1所述的方法,其特征在于,构成所述最终滤波形状的十字线型滤波形状为7×5尺寸或11×9尺寸,并且构成所述最终滤波形状的正方形滤波形状分别为3×3尺寸或4×4尺寸。
4.根据权利要求1-3中任一项所述的方法,其特征在于,对应于所述最终滤波形状的样本窗口的滤波系数是关于所述最终滤波形状中心对称或者象限对称的。
5.一种用于视频图像编解码的自适应环路滤波设备,包括:
划分模块,用于将重建图像划分为多个区块;以及
滤波模块,用于针对所述多个区块中的每个区块,根据一定的滤波形状和滤波系数进行滤波,所述滤波形状由多个样本窗口构成,每个样本窗口用于选择对应位置的像素,并且设置有一个滤波系数,所述滤波系数被设计成使得所述重建图像与原始图像之间的均方差最小,
其特征在于,对于所述多个区块中的一个区块,构建十字线型滤波形状与正方形滤波形状在中心处叠加的最终滤波形状,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
6.一种使用自适应环路滤波来处理编码的视频图像的方法,包括:
接收对应于编码的视频图像数据的重建图像数据;
将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及
提供经滤波的视频数据,
其特征在于,所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
7.根据权利要求6所述的方法,其特征在于,构成所述最终滤波形状的十字线型滤波形状为9×7尺寸,并且构成所述最终滤波形状的正方形滤波形状为3×3尺寸。
8.根据权利要求6所述的方法,其特征在于,构成所述最终滤波形状的十字线型滤波形状为7×5尺寸或者3×3尺寸,并且构成所述最终滤波形状的正方形滤波形状分别为3×3尺寸或者4×4尺寸。
9.根据权利要求6-8任一项所述的方法,其特征在于,对应于所述最终滤波形状的样本窗口的滤波系数是关于所述最终滤波形状中心对称或者象限对称的。
10.一种使用自适应环路滤波来处理编码的视频图像的设备,包括:
接收模块,用于接收对应于编码的视频图像数据的重建图像数据;
滤波模块,用于将自适应环路滤波应用于所述重建的图像数据以生成经滤波的视频图像数据;以及
提供模块,用于提供经滤波的视频数据,
其特征在于,所述自适应环路滤波使用的最终滤波形状通过十字线型滤波形状与正方形滤波形状在中心处叠加来构建,其中所述十字线型滤波形状在水平方向上的样本窗口数目大于在竖直方向上的样本窗口数目。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698486.5A CN105306957B (zh) | 2015-10-23 | 2015-10-23 | 自适应环路滤波方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698486.5A CN105306957B (zh) | 2015-10-23 | 2015-10-23 | 自适应环路滤波方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105306957A true CN105306957A (zh) | 2016-02-03 |
CN105306957B CN105306957B (zh) | 2019-04-26 |
Family
ID=55203632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510698486.5A Active CN105306957B (zh) | 2015-10-23 | 2015-10-23 | 自适应环路滤波方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105306957B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133660A1 (en) * | 2016-02-04 | 2017-08-10 | Mediatek Inc. | Method and apparatus of non-local adaptive in-loop filters in video coding |
CN109479130A (zh) * | 2016-08-02 | 2019-03-15 | 高通股份有限公司 | 基于几何变换的自适应环路滤波 |
CN109862374A (zh) * | 2019-01-07 | 2019-06-07 | 北京大学 | 一种自适应环路滤波方法及装置 |
CN111801941A (zh) * | 2018-03-09 | 2020-10-20 | 华为技术有限公司 | 用于利用自适应乘数系数进行图像滤波的方法及装置 |
WO2021128265A1 (zh) * | 2019-12-27 | 2021-07-01 | 富士通株式会社 | 滤波方法及其装置 |
CN113824956A (zh) * | 2020-08-24 | 2021-12-21 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置、设备及机器可读存储介质 |
WO2022184109A1 (zh) * | 2021-03-05 | 2022-09-09 | 杭州海康威视数字技术股份有限公司 | 用于滤波的方法、装置及设备 |
WO2022218281A1 (en) * | 2021-04-12 | 2022-10-20 | Beijing Bytedance Network Technology Co., Ltd. | Guided filter in video coding |
CN115589484A (zh) * | 2019-12-06 | 2023-01-10 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040004781A1 (en) * | 2002-06-24 | 2004-01-08 | Masahito Kobayashi | Positioning control device for two-stage actuator |
CN101572542A (zh) * | 2008-04-28 | 2009-11-04 | 汤姆森特许公司 | 用于定时恢复的循环滑移检测 |
CN103051892A (zh) * | 2011-10-14 | 2013-04-17 | 联发科技股份有限公司 | 内嵌式回路滤波方法以及内嵌式回路滤波装置 |
CN103503456A (zh) * | 2011-05-10 | 2014-01-08 | 联发科技股份有限公司 | 用于减少环内滤波缓冲区的方法及其装置 |
CN103891292A (zh) * | 2011-10-24 | 2014-06-25 | 联发科技股份有限公司 | 非跨图块环路滤波方法及其装置 |
CN104702963A (zh) * | 2015-02-13 | 2015-06-10 | 北京大学 | 一种自适应环路滤波的边界处理方法及装置 |
CN104735450A (zh) * | 2015-02-26 | 2015-06-24 | 北京大学 | 一种在视频编解码中进行自适应环路滤波的方法及装置 |
-
2015
- 2015-10-23 CN CN201510698486.5A patent/CN105306957B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040004781A1 (en) * | 2002-06-24 | 2004-01-08 | Masahito Kobayashi | Positioning control device for two-stage actuator |
CN101572542A (zh) * | 2008-04-28 | 2009-11-04 | 汤姆森特许公司 | 用于定时恢复的循环滑移检测 |
CN103503456A (zh) * | 2011-05-10 | 2014-01-08 | 联发科技股份有限公司 | 用于减少环内滤波缓冲区的方法及其装置 |
CN103051892A (zh) * | 2011-10-14 | 2013-04-17 | 联发科技股份有限公司 | 内嵌式回路滤波方法以及内嵌式回路滤波装置 |
CN103891292A (zh) * | 2011-10-24 | 2014-06-25 | 联发科技股份有限公司 | 非跨图块环路滤波方法及其装置 |
CN104702963A (zh) * | 2015-02-13 | 2015-06-10 | 北京大学 | 一种自适应环路滤波的边界处理方法及装置 |
CN104735450A (zh) * | 2015-02-26 | 2015-06-24 | 北京大学 | 一种在视频编解码中进行自适应环路滤波的方法及装置 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133660A1 (en) * | 2016-02-04 | 2017-08-10 | Mediatek Inc. | Method and apparatus of non-local adaptive in-loop filters in video coding |
CN109479130B (zh) * | 2016-08-02 | 2021-04-20 | 高通股份有限公司 | 基于几何变换的自适应环路滤波 |
CN109479130A (zh) * | 2016-08-02 | 2019-03-15 | 高通股份有限公司 | 基于几何变换的自适应环路滤波 |
US11095922B2 (en) | 2016-08-02 | 2021-08-17 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
US11533480B2 (en) | 2018-03-09 | 2022-12-20 | Huawei Technologies Co., Ltd. | Method and apparatus for image filtering with adaptive multiplier coefficients |
CN111801941A (zh) * | 2018-03-09 | 2020-10-20 | 华为技术有限公司 | 用于利用自适应乘数系数进行图像滤波的方法及装置 |
CN111801941B (zh) * | 2018-03-09 | 2022-04-12 | 华为技术有限公司 | 用于利用自适应乘数系数进行图像滤波的方法及装置 |
CN109862374A (zh) * | 2019-01-07 | 2019-06-07 | 北京大学 | 一种自适应环路滤波方法及装置 |
CN115589484A (zh) * | 2019-12-06 | 2023-01-10 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
CN115589484B (zh) * | 2019-12-06 | 2024-12-24 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
WO2021128265A1 (zh) * | 2019-12-27 | 2021-07-01 | 富士通株式会社 | 滤波方法及其装置 |
CN113824956A (zh) * | 2020-08-24 | 2021-12-21 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置、设备及机器可读存储介质 |
CN114095726A (zh) * | 2020-08-24 | 2022-02-25 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
CN114095726B (zh) * | 2020-08-24 | 2022-12-23 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
JP7618783B2 (ja) | 2020-08-24 | 2025-01-21 | 杭州海康威視数字技術股▲フン▼有限公司 | フィルタリング方法、装置及び機器 |
WO2022184109A1 (zh) * | 2021-03-05 | 2022-09-09 | 杭州海康威视数字技术股份有限公司 | 用于滤波的方法、装置及设备 |
WO2022218281A1 (en) * | 2021-04-12 | 2022-10-20 | Beijing Bytedance Network Technology Co., Ltd. | Guided filter in video coding |
Also Published As
Publication number | Publication date |
---|---|
CN105306957B (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104883578B (zh) | 对帧内预测模式进行解码的方法 | |
CN105306957A (zh) | 自适应环路滤波方法和设备 | |
CN104221383B (zh) | 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 | |
CN102804776B (zh) | 采用自适应回路滤波器处理编码视频的方法和装置 | |
CN119299668A (zh) | 图像编码/解码方法以及存储比特流的记录介质 | |
CN118042123A (zh) | 图像编码/解码方法、存储介质以及图像数据的传输方法 | |
KR102140331B1 (ko) | 인트라 예측 방법 및 그 장치 | |
JP2010534015A (ja) | 画像処理方法及び対応する電子装置 | |
WO2022116113A1 (zh) | 一种帧内预测方法、装置及解码器和编码器 | |
CN105357538B (zh) | 自适应环路滤波方法和装置 | |
CN116980596A (zh) | 一种帧内预测方法、编码器、解码器及存储介质 | |
WO2022188114A1 (zh) | 帧内预测方法、编码器、解码器以及存储介质 | |
CN116114246A (zh) | 帧内预测平滑滤波器系统及方法 | |
CN118175311A (zh) | 视频数据处理方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190327 Address after: 411100 room 1006, innovation building, 9 Xiao Tang Road, hi tech Zone, Xiangtan, Hunan Applicant after: Xiangtan Zhongxing Electronics Co., Ltd. Address before: 100083 Beijing Haidian District 35 Xueyuan Road 16 building Applicant before: Beijing Vimicro Corporation |
|
GR01 | Patent grant | ||
GR01 | Patent grant |