[go: up one dir, main page]

CN102710936A - 用于视频压缩的高性能环路滤波器 - Google Patents

用于视频压缩的高性能环路滤波器 Download PDF

Info

Publication number
CN102710936A
CN102710936A CN2011104612501A CN201110461250A CN102710936A CN 102710936 A CN102710936 A CN 102710936A CN 2011104612501 A CN2011104612501 A CN 2011104612501A CN 201110461250 A CN201110461250 A CN 201110461250A CN 102710936 A CN102710936 A CN 102710936A
Authority
CN
China
Prior art keywords
coefficient
piece
filter
frame
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104612501A
Other languages
English (en)
Other versions
CN102710936B (zh
Inventor
张任奇
湛伟权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Publication of CN102710936A publication Critical patent/CN102710936A/zh
Application granted granted Critical
Publication of CN102710936B publication Critical patent/CN102710936B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于改进客观及主观视频编码性能的滤波器和方法。滤波器包括:参数估计单元,确定基于导频帧的平均值系数和方差系数;滤波器单元,接收视频编码过程中的量化残差系数,根据所述量化残差系数和所确定出的平均值与方差来修复编码系数;反整数余弦转换(ICT)单元,将所述反整数余弦转换应用于所修复的编码系数以获得过滤帧;信息率失真优化单元,确定四叉树块划分指示;以及自适应块选择单元,根据四叉树块划分指示选择最终块,最终块用于形成过滤帧。

Description

用于视频压缩的高性能环路滤波器
技术领域
本申请涉及用于视频压缩的高性能环路滤波器。
背景技术
由于图像和视频的数据量较大,所以在传输或存储时,总是将它们用压缩的形式表示。基于块的转换编码被广泛用于图像压缩方法。首先,采用8阶DCT(order-8DCT)来压缩信号能量,然后,对转换系数应用量化处理。基于块的转换编码还广泛用于视频数据,该视频数据先被帧内/帧间预测压缩以进一步压缩信号能量。然后,对视频信号的残差转换系数执行量化。这样的视频编码方法常由于其使用转换编码和预测编码而被称为混合视频编码。大多数视频编码标准(包括H.264/AVC)采用混合视频编码。在图像和视频编码系统中,量化是导致编码失真(例如块效应和环状假影)的主源。
为了减少混合视频编码中的失真,采用两种主要途径将去块滤波器(deblocking filter)集成到视频编解码器。去块滤波器可用作后处理滤波器或环路滤波器。后处理滤波器仅在编码环之外的显示缓冲上运行,因此在标准化过程中不是规范的。在编码环中运行的环路滤波器和过滤帧被用作后续编码帧的参考。编码和解码中使用的环路滤波器需要在标准化过程中进行指定。
图l示出H.264/AVC编码器的方块图。在图中示出了用于编码的输入视频帧Fn,并且在宏块单元中对该Fn进行处理。通过运动估计模块100将Fn与参考帧(例如先前的编码帧F′n-1)进行比较,然后通过运动补偿单元200和帧内预测单元300的常规处理生成运动补偿预测P。
将P从当前宏块中减去以产生残差块,该残差块由转换单元400转换,然后由量化单元500量化。量化的转换系数是由熵编码器600编码的熵。单元700反量化后获得量化的残差系数。然后,系数由反转换单元800反转换,以产生量化的残差块。运动补偿预测P被添加至量化的残差块来创建重构快。环路滤波器900被用以减少阻断失真的影响,然后根据一系列重构块创建重构参考帧。
一般而言,使用环路滤波器可获得比使用后处理滤波器更好的性能。
初期的环路滤波器使用基于增强的方式来减少编码失真。初期的环路滤波器在块边界附近应用低通滤波器。在本领域中,H.264/AVC标准建议并采用去块环路滤波器(DLF)。去块环路滤波器(DLF)通过执行围绕块边界的样本分析来运行,并调整每个块边界处的低通滤波器的滤波强度。然而,这些基于技术的增强不会导致显著的主观视觉质量或客观的峰值信噪比(PSNR)的改进。
还建议了基于修复的技术来优化地抑制量化噪声。优化的线性维纳滤波器(linear Wiener filter)是众所周知的抑制噪声的技术。线性维纳滤波器被建议如后处理滤波器或环路滤波器那样来减少视频中的量化噪声。可通过基于修复的技术来显著地提高客观质量。维纳滤波需要原始信号和噪声的自相关及交叉相关的知识,所以滤波器系数需要以视频编码方案的比特流进行传递。在解码器侧,从比特流提取滤波器系数来构建优化的维纳滤波器。由于需要大量比特数来表示滤波器系数,所以一个优化的自适应环路滤波器(ALF)仅用于一帧。ALF可整体地减少每帧的平均失真,但ALF不适合帧内的不同局部区域。
已开发出了虑及帧内不同局部区域的多种自适应方法。三维块匹配(BM3D)方法使用维纳滤波器阈值来对通过块匹配来分组的3D离散余弦转换(DCT)系数进行修复,该方法还具有在图像去噪上所获得的优越性能。在Jun Xu、Yunfei Zheng、Peng Yin、Joel sole、CristinaGomila和Dapeng Wu的“Sparsity-based Deartifacting Filtering in VideoCompression(用于压缩视频的基于稀疏性的假像滤波)”,IEEE Int.Conf.Image Process(ICIP2009),Cairo,Egypt,Nov.2009中示出的BM3D方法仅在编码帧内作为后处理工具有良好作用。已发现了使用BM3D方法作为用于编码帧内和编码帧间的环路滤波器的有效方式。
还建议了基于块的自适应方法。代表性的方法是基于四叉树(quadtree)的自适应环路滤波器,由T.Chujoh、N.Wada和G.Yasuda在“Quadtree-based adaptive loop filter(基于四叉树的自适应环路滤波器)”,ITU-TSG16 Contribution,C181,Geneva,Jan.2009文献进行了描述,基于四叉树的自适应环路滤波器是关键技术区域(KTA)软件中的编码效率改进工具之一。基于四叉树的自适应环路滤波器(QALF)允许将块过滤或不过滤,并使用四叉树表示边信息。KTA软件中的另一工具提供了进一步的改进,该工具被称为带有去块环路滤波器的基于四叉树的自适应环路滤波器(QALF+DLF)。该方案允许块被ALF或DLF过滤。边信息还可使用四叉树来表示。该方案在目标和视觉的质量改进上实现了现有技术的性能。然而,基于块的方法不完全捕获非均匀帧的局部统计。
Non-Local Kuan(NLK)滤波器基于最小均方误差(MMSE)修复来设计。这在以下文献中进行了描述:Renqi Zhang、Wanli Ouyang和Wai-kuen Cham的“Image Postprocessing by Non-local Kuan’s Filter(Non-Local Kuan滤波器进行的图像后处理)”,Journal of VisualCommunication and Image Representation,Elsevier。这些滤波器通过捕获图像中的局部自相似特性来工作。基于NLK的滤波器建议了两种图像后处理方法(即,DNLK和OCDNLK滤波器的方法)。这两种方法均使用双层的滤波处理。OCDNLK滤波器结合了过完备(overcomplete)转换和DNLK滤波器的优点。它们都在图像后处理方面具有现有技术水准的性能。
发明内容
一方面,本申请公开了一种视频环路滤波器,其包括:
参数估计单元,确定基于导频帧的平均值系数和方差系数;
滤波器单元,接收视频编码过程中的量化残差系数,并根据所述量化残差系数和所确定出的平均值与方差来修复系数;以及
反整数余弦转换(ICT)单元,对所修复的编码系数执行反整数余弦转换以获得过滤帧。
另一方面,本申请公开了一种用于改进视频编码性能的方法,其包括:
确定基于导频帧的平均值系数和方差系数;
在视频编码过程中检索量化残差系数;
根据所述量化残差系数以及确定出的平均值和方差来修复系数;以及
对所修复的编码系数执行反整数余弦转换以获得过滤帧。
附图说明
图1示出了现有技术中的H.264/AVC编码器;
图2示出了用于现有技术的图像中块的移块表示;
图3示出了根据现有技术的DNLK滤波器的方块图;
图4示出了根据本申请一个实施方式的NLK环路滤波器的方块图;
图5示出了获得残差块的操作;
图6示出了四叉树块划分示例;
图7示出了根据本申请一个实施方式的基于四叉树的NLK(QNLK)滤波器的方块图;
图8示出了用于CIF序列Carphone的I、P、B编码帧的基于四叉树的块划分;
图9示出了用于编码序列Foreman的R-D曲线;
图10示出了用于编码序列Akiyo的R-D曲线;以及
图11和图12分别示出了用于Carphone和Football序列的视觉质量比较实验结果。
具体实施方式
下面参照附图对本发明的实施方式进行描述,但这些附图仅用于说明目的而不是对本发明的限制。
为了易于理解本中请的实施方式,下面首先对Non-Local Kuan(NLK)滤波器的原理进行描述。
设Bm,n为帧内第m块的行和第n块的列处的M×M块,
Figure BSA00000652198600051
为相对于块Bm,n在水平方向具有k移位并在垂直方向具有l移位的块。图2分别给出当k=-1,l=-1和k=1,l=0时的两个示例。基于块的转换应用在每个移位块上。因此,对于Bm,n中每个量化系数y0,其相邻系数yi,i=1,2,...,k可从移位块
Figure BSA00000652198600052
中获得。
考虑噪声模型y=x+n,其中向量n表示噪声,向量y包含量化系数y0和来自移位块的相邻系数yi,i=1,2,...,K,向量x包含对应的原始系数x0和xi,i=1,2,...,K。根据线性最小均方误差(LMMSE)估计,可以获得
x ^ LMMSE = ( x ^ 0 , x ^ 1 , . . . , x ^ K ) T = E [ x ] + C xy C y - 1 ( y - E [ x ] ) , - - - ( 1 )
其中,E[x]是x的预期值,Cxy是x与y之间的交叉协方差,
Figure BSA00000652198600054
是信号y的反自协方差。
根据现有的假设,即原始系数x与量化噪声n不相关的情况下,LMMSE滤波器成为点式(point-wise)NLK滤波器:
x ^ 0 = x ‾ 0 + σ x 0 2 σ x 0 2 + σ n 0 2 ( y 0 - x ‾ 0 ) - - - ( 2 )
因此,滤波器不是对
Figure BSA00000652198600056
中的每个元素进行计算,而是仅对
Figure BSA00000652198600057
进行计算,
Figure BSA00000652198600058
是量化系数y0的LMMSE估计。均匀分布的量化噪声模型被多种方法广泛使用,所以量化系数y0的噪声方差
Figure BSA00000652198600059
可从如下所示的具体量化步骤Q0中确定:
σ n 0 2 = Q 0 2 / 12 . - - - ( 3 )
通过non-local技术估计的平均量
Figure BSA000006521986000511
和方差
Figure BSA000006521986000512
分别如等式(4)和(5)中所示:
x ‾ m , n ( u , v ) = Σ k = - L L Σ l = - L L w m , n k , l x m , n k , l ( u , v ) - - - ( 4 )
σ x m , n ( u , v ) 2 = Σ k = - L L Σ l = - L L w m , n k , l [ x m , n k , l ( u , v ) - x ‾ m , n ( u , v ) ] 2 . - - - ( 5 )
权重
Figure BSA000006521986000515
被定义为:
w m , n k , l = 1 Z m , n exp ( - Σ u = 0 M - 1 Σ v = 0 M - 1 | x m , n k , l ( u , v ) - x m , n ( u , v ) | 2 M × M × h 2 ) . - - - ( 6 )
其中,xm,n(u,v)和是图2所示的M×M块Bm,n的转换系数;u和v表示转换频带,并且u,v=0,...,M-1;h是控制指数函数衰减的参数,Zm,n是归一化因子。较大的欧几里得距离表示较小的权重
Figure BSA00000652198600064
图3示出包括两个NLK滤波器的双Non-Local Kuan(DNLK)滤波器的方块图。NLK滤波器的性能依赖于所估计的参数、平均值和方差的准确性。用于NLK滤波器的准确参数可从原始图像获得,但原始图像不可用。在DNLK滤波器中,在第一估计单元301中对编码参数、平均值和方差进行估计,然后由第一NLK滤波器302进行校正。在下文中,用于获得编码参数、平均值和方差的校正图像被称为“试验图像”。在第二估计单元304中,试验图像没有被用于估计参数,然后在第二NLK滤波器303中进行修复处理。在图像离散余弦转换(IDCT)单元305中应用IDCT处理和修复系数,从而形成最终图像。
相同的原理可用于视频数据。在上文中,在第一NLK滤波器之后从校正帧获得导频帧。有许多视频环路滤波器方法,例如背景技术中示出的ALF、QALF、QALF+DLF,其具有优越的性能而不需要精确的统计参数。这些方法中的任何方法可用于获得用于NLK滤波器的导频帧。结果表明,使用QALF+DLF来生成导频帧产生了最佳性能。在下文中,导频帧指的是使用QALF+DLF环路滤波器方法编码的帧。
实施方式1
图4示出根据本申请第一实施方式的滤波器100的方块图,在本申请中,滤波器可指NLK环路滤波器。如图4所示,NLK环路滤波器100包括参数估计单元10、NLK滤波器单元20和反ICT单元30。
参数估计单元10配置为接收导频帧,然后分别通过等式(4)和(5)根据导频帧的块确定平均值
Figure BSA00000652198600065
和方差图5示出获得导频帧中的当前残差块以及其转向残差块的运算,其中,Pm,n是与Bm,n相对应的预测块。Rm,n
Figure BSA00000652198600067
是残差块。
如上所述,使用QALF+DLF环路滤波器方法从编码过程中重新获得导频帧。
NLK滤波器单元20配置为接收每个量化残差系数y0。如图1所示,在编码过程中获得量化残差系数,这已在上文中进行了讨论。特别地,在由编码器中的单元700进行反量化之后获得量化残差系数。在解码器的情况下,来自编码器600的熵编码系数与边信息一同被传递至解码器,其中,编码系数被熵解码,然后被反量化以获得量化残差系数。
此外,NLK滤波器单元20接收估计的平均值
Figure BSA00000652198600071
和方差
Figure BSA00000652198600072
NLK滤波器单元20进行运算以根据每个接收到的系数y0、平均值和方差
Figure BSA00000652198600074
通过等式(2)所列出的规则对每个系数
Figure BSA00000652198600075
进行修复。
然后,反ICT单元30向修复后的系数执行反整数余弦转换(ICT),从而获得经过滤的帧。
在该实施方式中,NLK滤波器单元20可由OCNLK滤波器单元代替,OCNLK滤波器单元通过如现有技术中建议的OCNLK来运行。
根据该实施方式,环路滤波器方法QALF+DLF能够获得导频帧,然后直接使用NLK和OCNLK环路滤波器来修复量化残差系数。表I示出相同比特率下的一些编码的CIF序列的平均PSNR改进(ΔPSNR)。采取H.264/AVC方案与去块环路滤波器ON作为基准测试,OCNLK环路滤波器对于一些测试序列表现较好。但NLK环路滤波器对所有测试序列均失效。
Figure BSA00000652198600076
表1:NLK和OCNLK环路滤波器的实验结果,用于基准测试的具有DLFON的H.264/AVC方案
在本申请中,基于块的技术应用于NLK和OCNLK环路滤波器以在每帧中选择块。对于未被选择的块,则适用QALF+DLF结果。通过NLK或OCNLK滤波器使
Figure BSA00000652198600077
成为经过滤的帧中的块,通过QALF+DLF使fm,n成为导频帧中的块而无需NLK滤波器。因此,块控制信息Im,n需要确定当前的块是否使用
Figure BSA00000652198600081
或fm,n。块控制信息Im,n在编码器中被编码并被传递至解码器。需要考虑块控制信息Im,n和当前块失真的信息率。四叉树结构常用于将图像分解为若干空间区域以自适应地识别图像中的不同类型。所以运行四叉树结构的信息率失真优化来传递块控制信息Im,n
实施方式2
四叉树为树形数据结构,其中,每个内部节点准确地具有四个子节点。四叉树通常用于四等分地分割二维空间。图6示出四叉树块划分示例。如下文所述的基于四叉树的块划分指示意味着每块的NLK或OCNLK滤波器开或关。灰色的块被选为使用根据本申请的实施方式的滤波器,其它块没有被过滤。这些块控制由上下文的自适应二进制算术编码(CABAC)编码为边信息(side information)并传递至解码器。块的大小可以是4、8、16、32、64和128。然后,解码器确定在传递的块控制被解码之后是否使用建议的滤波器。
图7示出根据本申请第二实施方式的滤波器200的方块图,滤波器200可以是基于四叉树的NLK或OCNLK环路滤波器(QNLK或QOCNLK)。如图7所示,滤波器200包括参数估计单元10、NLK滤波器单元20、反ICT单元30、信息率失真优化单元40和自适应块选择单元50。
单元10、20和30与第一实施方式中所述的那些单元等同,此处省略其详细说明。信息率失真优化单元40配置成从反ICT单元30接收过滤帧。单元40还配置成通过不具有NLK或OCNLK过滤的QALF+DLF获得的导频帧。然后,对于过滤帧中的每个M×M块
Figure BSA00000652198600082
以及导频帧中的每个块fm,n,四叉树块划分Im,n通过信息率失真度量根据下述等式(7)来确定。
J=D+λR,         (7)
其中J为信息率失真成本,D为处理帧与原始帧之间的失真,R为用于块控制边信息的比特,λ为用于D和R的拉格朗日缩放因子。四叉树块划分Im,n通过将信息率失真成本J最小化来确定。
基于所确定的四叉树块划分Im,n,自适应块选择单元50根据下列等式(8)从
Figure BSA00000652198600091
和fm,n选择块作为每帧中的最终块pm,n,然后获得最终帧。
p m , n = f ^ m , n × I m , n + f m , n × ( 1 - I m , n ) . - - - ( 8 )
图8示出用于CIF序列Carphone的I,P,B编码帧的基于四叉树的块划分。如图8所示,一些因素可确定块选择。首先,NLK或OCNLK滤波器利用了视频信号的局部自相似特性。由于自相似性,局部相邻的DCT系数具有较高的相关性,本文的滤波器通过捕获较高的相关性而良好地运行。在具有较高的自相似性的那些局部区域滤波器可更好地运行。其次,视频编码标准使用帧内和帧间预测,帧内和帧间预测实际上利用视频信号的自相似特性。当帧内和帧间预测块对于当前块足够准确时,就无需应用滤波器。第三,在信息率失真优化中对块控制信息的比特进行计数。块控制信息的比特通过CABAC被编码为边信息。因此,所选的块更容易积累至某个区域。如图8所示,以上这些因素将影响块选择结果。
实验结果以及所建议的环路滤波器分析
实验在KTA参考软件内进行。在表II中列出测试条件。表III示出QALF+DLF、QNLK或QOCNLK方法的实验结果。三种方法都实现了显著的PSNR改进,并比基准测试任务H.264编码序列节省了大量比特率。与现有技术相比,QALF+DLF、QNLK或QOCNLK方法还实现了平均1.5%和2.72%的比特率减少。
  软件   KTA
  测试序列   352X288
  编码结构   IBBPBBP
  熵编码   CABAC
  R-D优化   开
  QP   20、26、32、38
  帧数   100
表II:测试条件
表III:QNLK和QOCNLK环路滤波器的实验结果
图9和图10示出两个编码序列的曲线:Foreman和Akiyo。所建议的两种方法在任何编码质量设置下都可良好地运行。图11和图12给出实验的视觉质量比较。Carphone和Football序列被用作示例。与H.264编码帧相比,QALF+DLF方法获得了较高的PSNR值,但对图片视觉质量没有很大改进。可以明显的看出,QNLK和QOCNLK过滤帧的视觉质量好于QALF+DLF和H.264编码帧。在Carphone序列中,通过所建议的两种方法有效地去除了块效应。在Football序列中,通过本文的方法在过滤帧中具有较少的块失真和环状失真。此外,QOCNLK滤波器比QNLK方法略微较好地运行。在其它测试序列中也可获得相似的结论。
现有技术中的去块环路滤波器(DLF)基于增强技术,因为该去块环路滤波器仅在块失真边界上运行简单的低通滤波器。自适应环路滤波器(ALF)方法基于修复技术。ALF方法修复帧中的原始像素值。仅有一组滤波器系数被用于整帧,所以ALF方法不适用于局部区域。滤波器系数需要被传递至解码器。NLK滤波器设计为通过MMSE修复量化的转换系数。NLK滤波器还可去除编码失真,从而较好地提高图片质量。滤波器通过捕获相邻转换系数之间的高相关性适用于局部统计。从导频帧估计NLK和OCNLK滤波器的参数。较好的估计参数可使NLK和OCNLK滤波器更好地运行。因此,NLK和OCNLK滤波器可利用任何新出现的方法来获得导频帧。
结合本文所公开的特殊的方面、实施方式、执行或示例描述的特点、整体、特征或组合应理解为可应用于任何其它方面、实施方式、执行或示例,除非这些特征、整体、特点或组合与其它方面、实施方式、执行或示例相冲突。本申请公开的全部特征(包括任何权利要求、摘要和附图)和/或公开的任何方法或过程的所有步骤能够以任意适当的方式结合,除非这种结合中的至少部分特征和/或步骤是互斥的。本发明在细节上不限于上述实施方式,而是扩展至本说明书(包括任何权利要求、摘要和附图)公开特征的任何新特征或任何新组合,或扩展至所公开的任何方法或过程步骤的任何新步骤或任何新组合。

Claims (18)

1.一种视频环路滤波器,包括:
参数估计单元,确定基于导频帧的平均值系数和方差系数;
滤波器单元,接收视频编码过程中的量化残差系数,并根据所述量化残差系数和所确定出的平均值系数与方差系数来修复编码系数;以及
反整数余弦转换(ICT)单元,对所修复的编码系数执行反整数余弦转换以获得过滤帧。
2.根据权利要求1所述的滤波器,其中,所述滤波器单元包括NLK滤波器单元或OCNLK滤波器单元。
3.根据权利要求1所述的滤波器,其中,所述导频帧为使用QALF+DLF环路滤波器获得的编码帧。
4.根据权利要求1所述的滤波器,其中,所述滤波器单元通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
5.根据权利要求1所述的滤波器,其中,所述滤波器单元通过
x ^ 0 = x ‾ 0 + σ x 0 2 σ x 0 2 + σ n 0 2 ( y 0 - x ‾ 0 ) .
确定所修复的编码系数,其中
Figure FSA00000652198500012
表示所修复的编码系数;以及
Figure FSA00000652198500013
Figure FSA00000652198500014
分别表示所确定的平均值系数和方差系数,y0表示所述量化残差系数。
6.根据权利要求1所述的滤波器,还包括:
信息率失真优化单元,根据所述过滤帧中的块和所述导频帧中的块确定四叉树块划分指示;以及
自适应块选择单元,根据所述四叉树块划分指示从所述过滤帧中的块和所述导频帧中的块中选择最终块,所述最终块用于形成所述过滤帧。
7.根据权利要求6所述的滤波器,其中,所述信息率失真优化单元通过将(D+λR)最小化来确定所述四叉树块划分指示Im,n
其中
D表示经处理的帧与原始帧之间的失真,
R表示用于块控制边信息的比特,以及
λ为用于D和R的拉格朗日缩放因子。
8.一种用于改进视频编码性能的方法,包括:
确定基于导频帧的平均值系数和方差系数;
在视频编码过程中检索量化残差系数;
根据所述量化残差系数以及确定出的平均值系数和方差系数来修复编码系数;以及
对所修复的编码系数执行反整数余弦转换以获得过滤帧。
9.根据权利要求8所述的方法,其中,所述导频帧为使用QALF+DLF环路滤波器获得的编码帧。
10.根据权利要求8所述的方法,其中,所述修复的步骤还包括:
通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
11.根据权利要求8所述的方法,其中,所修复的编码系数通过以下计算来确定:
x ^ 0 = x ‾ 0 + σ x 0 2 σ x 0 2 + σ n 0 2 ( y 0 - x ‾ 0 ) .
其中
Figure FSA00000652198500022
表示所修复的编码系数;以及
Figure FSA00000652198500031
分别表示所确定的平均值和方差,y0表示所述量化残差系数。
12.根据权利要求8所述的方法,还包括:
基于信息率失真优化从所述过滤帧中的块和所述导频帧中的块确定四叉树块划分指示;以及
根据所述四叉树块划分指示选择最终块,所述最终块用于形成所述过滤帧。
13.根据权利要求12所述的方法,其中,所述四叉树块划分指示通过将(D+λR)最小化来确定,
其中
D表示经处理的帧与原始帧之间的失真,
R表示用于块控制边信息的比特,以及
λ为用于D和R的拉格朗日缩放因子。
14.视频环路滤波器,包括:
参数估计单元,确定基于导频帧的平均值系数和方差系数;
滤波器单元,接收来自图像编码过程的量化残差系数,并根据所述量化残差系数和所确定出的平均值系数与方差系数来修复编码系数;以及
反整数余弦转换(ICT)单元,对所修复的编码系数执行反整数余弦转换以获得过滤帧;
信息率失真优化单元,基于所述过滤帧中的块和所述导频帧中的块来确定四叉树块划分指示;以及
自适应块选择单元,根据所述四叉树块划分指示从所述过滤帧中的块和所述导频帧中的块中选择最终块,所述最终块用于形成所述过滤帧。
15.根据权利要求14所述的滤波器,其中,所述滤波器单元包括NLK滤波器单元或OCNLK滤波器单元。
16.根据权利要求14所述的滤波器,其中,所述滤波器单元通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
17.根据权利要求14所述的滤波器,其中,所述滤波器单元通过
x ^ 0 = x ‾ 0 + σ x 0 2 σ x 0 2 + σ n 0 2 ( y 0 - x ‾ 0 ) .
确定所修复的编码系数,其中
Figure FSA00000652198500042
表示所修复的编码系数;以及
Figure FSA00000652198500043
Figure FSA00000652198500044
分别表示所确定的平均值和方差,y0表示所述量化残差系数。
18.根据权利要求14所述的滤波器,其中,所述信息率失真优化单元通过将(D+λR)最小化来确定所述四叉树块划分指示Im,n,
其中
D表示经处理的帧与原始帧之间的失真,
R表示用于块控制边信息的比特,以及
λ为用于D和R的拉格朗日缩放因子。
CN201110461250.1A 2011-01-04 2011-12-30 用于视频压缩的高性能环路滤波器 Expired - Fee Related CN102710936B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/984,464 US8630356B2 (en) 2011-01-04 2011-01-04 High performance loop filters in video compression
US12/984,464 2011-01-04

Publications (2)

Publication Number Publication Date
CN102710936A true CN102710936A (zh) 2012-10-03
CN102710936B CN102710936B (zh) 2015-03-18

Family

ID=46380773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110461250.1A Expired - Fee Related CN102710936B (zh) 2011-01-04 2011-12-30 用于视频压缩的高性能环路滤波器

Country Status (2)

Country Link
US (1) US8630356B2 (zh)
CN (1) CN102710936B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049846A (zh) * 2015-08-14 2015-11-11 广东中星电子有限公司 图像和视频编解码的方法和设备
WO2021128265A1 (zh) * 2019-12-27 2021-07-01 富士通株式会社 滤波方法及其装置
CN113632469A (zh) * 2019-03-23 2021-11-09 北京字节跳动网络技术有限公司 默认的环内整形参数
CN113873237A (zh) * 2016-12-01 2021-12-31 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010065060A1 (en) * 2008-11-25 2010-06-10 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
CN103891277B (zh) * 2011-10-14 2018-01-26 寰发股份有限公司 回路滤波方法及其装置
CN106559668B (zh) * 2015-09-25 2018-07-27 电子科技大学 一种基于智能量化技术的低码率图像压缩方法
CN110827206B (zh) * 2018-08-14 2024-05-28 钰创科技股份有限公司 过滤信号的数位滤波器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006125A1 (en) * 2004-07-08 2006-01-19 Freescale Semiconductor, Inc. Method and system for performing deblocking filtering
WO2006128081A2 (en) * 2005-05-25 2006-11-30 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
CN101106710A (zh) * 2006-07-10 2008-01-16 上海杰得微电子有限公司 一种高效去方块效应滤波器电路及其方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181085B1 (en) * 2002-04-04 2007-02-20 Acorn Technologies, Inc. Adaptive multistage wiener filter
US7167522B2 (en) 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US20050013494A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7010044B2 (en) * 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
NO322722B1 (no) 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
SG140508A1 (en) 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
KR101370287B1 (ko) 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
US20080123750A1 (en) 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US20090067495A1 (en) * 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
KR100973657B1 (ko) * 2007-11-01 2010-08-02 경희대학교 산학협력단 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006125A1 (en) * 2004-07-08 2006-01-19 Freescale Semiconductor, Inc. Method and system for performing deblocking filtering
WO2006128081A2 (en) * 2005-05-25 2006-11-30 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
CN101106710A (zh) * 2006-07-10 2008-01-16 上海杰得微电子有限公司 一种高效去方块效应滤波器电路及其方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049846A (zh) * 2015-08-14 2015-11-11 广东中星电子有限公司 图像和视频编解码的方法和设备
CN113873237B (zh) * 2016-12-01 2023-12-29 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
CN113873237A (zh) * 2016-12-01 2021-12-31 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11627333B2 (en) 2019-02-01 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
US12096021B2 (en) 2019-02-01 2024-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US12238305B2 (en) 2019-03-14 2025-02-25 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
CN113632469A (zh) * 2019-03-23 2021-11-09 北京字节跳动网络技术有限公司 默认的环内整形参数
CN113632469B (zh) * 2019-03-23 2022-12-13 北京字节跳动网络技术有限公司 默认的环内整形参数
US12063362B2 (en) 2019-03-23 2024-08-13 Beijing Bytedance Network Technology Co., Ltd Restrictions on adaptive-loop filtering parameter sets
WO2021128265A1 (zh) * 2019-12-27 2021-07-01 富士通株式会社 滤波方法及其装置

Also Published As

Publication number Publication date
CN102710936B (zh) 2015-03-18
US8630356B2 (en) 2014-01-14
US20120170668A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
CN102710936B (zh) 用于视频压缩的高性能环路滤波器
US11240496B2 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
KR101460608B1 (ko) 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101224554B1 (ko) 비디오 압축용 루프내 충실도 향상
EP2595382B1 (en) Methods and devices for encoding and decoding transform domain filters
KR102053242B1 (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR101680915B1 (ko) 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치
EP2141927A1 (en) Filters for video coding
EP2192786A1 (en) Frequency domain filters for video coding
CN103581670B (zh) H264自适应帧内模式选择码率估计的率失真优化方法及其装置
JP5043874B2 (ja) 画像データのイントラ予測符号化方法
WO2008004768A1 (en) Image encoding/decoding method and apparatus
KR20090061249A (ko) 양자화 방법 및 장치, 역양자화 방법 및 장치
US11265582B2 (en) In-loop filter apparatus and method for video coding
US10827200B2 (en) Mixed domain collaborative in-loop filter for lossy video coding
CN105357538B (zh) 自适应环路滤波方法和装置
US20060193526A1 (en) Video encoder with low complexity noise reduction
KR20130053645A (ko) 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
CN110115033B (zh) 用于有损静止图像编码的混合域协同后滤波器
KR100711025B1 (ko) 동영상 표준 부호화 방식의 성능 향상을 위한 잔여신호 필터링 방법
KR101902933B1 (ko) 영상 부호화/복호화 장치 및 방법
Zhang et al. High performance deartifacting filters in video compression
Kang et al. Improved FOR/SOR-based video coding and its performance analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150318

Termination date: 20211230