[go: up one dir, main page]

CN108111851B - 一种去块滤波方法及终端 - Google Patents

一种去块滤波方法及终端 Download PDF

Info

Publication number
CN108111851B
CN108111851B CN201611061582.XA CN201611061582A CN108111851B CN 108111851 B CN108111851 B CN 108111851B CN 201611061582 A CN201611061582 A CN 201611061582A CN 108111851 B CN108111851 B CN 108111851B
Authority
CN
China
Prior art keywords
filtering
pixel
boundary
block
filtered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611061582.XA
Other languages
English (en)
Other versions
CN108111851A (zh
Inventor
马祥
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611061582.XA priority Critical patent/CN108111851B/zh
Priority to EP17874834.9A priority patent/EP3531698A4/en
Priority to PCT/CN2017/098647 priority patent/WO2018095087A1/zh
Publication of CN108111851A publication Critical patent/CN108111851A/zh
Priority to US16/416,798 priority patent/US20190273929A1/en
Application granted granted Critical
Publication of CN108111851B publication Critical patent/CN108111851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种去块滤波方法和终端,该方法包括:确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域;基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。采用本发明,能够提高去块滤波的效果。

Description

一种去块滤波方法及终端
技术领域
本发明涉及计算机技术领域,尤其涉及一种去块滤波方法及终端。
背景技术
目前的视频编码技术大致包含帧内预测(英文:Intra Prediction)、帧间预测(英文:Inter Prediction)、变换(英文:Transformation)、量化(英文:Quantization)、熵编码(英文:Entropy encode)、去块滤波(英文:de-blocking filtering)等环节。由于视频中一幅图像的各个块的重建过程(包括预测、变换、量化等操作,会损失掉一些信息)较为独立,因此图像易出现块效应(英文:Blocking artifacts),在低码率的时候块效应更明显,严重影响图像的主观质量。另外,重建后的图像也会作为后续编码图像的参考帧,因此块效应还会影响后续图像的编码效率。
编码和解码过程中往往会采用去块滤波技术来对改善编码质量,即遍历重建后的图像中的块,对每个遍历到的块的边界进行平滑滤波以降低块边界处的块效应。随着全景视频(也称虚拟现实(英文:virtual reality,简称:VR)视频)的发展,去块滤波技术也面临新的挑战。
全景视频中的图像经过处理后近似于球形的全景图像,为了编码方便通常需要将该三维的全景图像转换为二维平面,目前较常用的做法是将该三维全景图像转换为经纬图,然而经纬图中邻近南北两极区域经过了拉伸,存在严重的失真和数据冗余。为了避免失真和数据冗余,本领域的技术人员正在尝试将全景图像上的像素点映射到一个正多面体表面上,从而将全景图像通过若干等大小的多边形平面图像表示。如1所示,a部分正四面体包围全景图像、b部分为正六面体包围全景图像、c部分为正八面体包围全景图像、d部分为正十二面体包围全景图像、e部分为正二十面体包围全景图像等。将多面体表面展开为二维平面图像,f部分为正四面体展开得到的一种二维平面图像、g部分为正六面体展开得到的一种二维平面图像、h部分为正八面体展开得到的一种二维平面图像、i部分为正十二面体展开得到的一种二维平面图像和j部分为正二十面体展开得到的一种二维平面图像。
将全景图像上的像素点映射到一个正多面体表面上的具体过程为,使多面体包围全景图像;将全景图像的球心与全景图像上某像素点连线并延长相交于多面体表面,相交点的像素值等于该某像素点的像素值;对该全景图像中所有像素点均执行这样的映射操作。若该多面体上其他像素点未被映射像素值,则可根据插值法结合该其他像素点周围的像素点的像素值得到该其他像素点的像素值(可以理解的是,为了得到多面体上某像素点的像素值,也可以将该像素点与球心连线以交于全景图像上的某点,然后将该某点的像素值作为该某像素点的像素值)。以六面体映射过程为例,将全景图像内切于图2中的六面体ABCDEFGH中,为了得到多面体上M’点位置处的像素值,将球心O与M’连线,并交于球面M点,则M点处的像素值即为M’点处的像素值。按照此方法可以得到平面A’B’C’D’上ABCD面内所有像素点的像素值,ABCD面内像素点构成一个像素区域(或者称为面图像),平面A’B’C’D’称为ABCD面的投影平面(projection plane)。同理可得六面体其他面对应的像素区域以及投影平面。
将该六面体上各个面的像素区域展开拼接成一个二维平面图像,如图3所示,n部分的二维平面可以由m部分的六面体展开后拼接得到,六面体表面上顶部Top的像素区域成为该二维平面图像中左上角的像素区域,底部Bottom的像素区域成为该二维平面图像中左下角的像素区域,正面Front的像素区域、右侧Right的像素区域、背部Rear的像素区域和Left左侧的像素区域如n部分所示,此处不再一一赘述。在编码图像的过程中往往以矩形图像作为编码对象,因此可以可直接将包围该二维平面图像的最小矩形中除该二维平面图像外的部分填充为黑色、或者灰色,或者白色等。除此之外,还可以直接将这些像素区域拼接成一个矩形的二维平面图像,以避免填充操作。
现有技术中,会涉及到对由全景图像映射得到的二维平面图像进行去块滤波,当该二维平面图像中某个块的滤波边界处于两个像素区域的交界线上时,会采用该两个像素区域的块中的像素点的像素值对该滤波边界滤波,由于该二维平面图像中的像素区域的拼接方式存在较多可能性,因此这两个像素区域在全景图像中可能不是真实相邻,很可能出现该滤波边界两侧的像素点的像素值差异较大的情况,从而导致滤波后该滤波边界两侧出现模糊。
发明内容
为了更好地理解本发明实施例方案,以下先描述一些可能涉及的相关技术。
布局信息:
球形的全景图像映射到多面体表面形成的面可以称为面图像,也可以称为像素区域,再将多面体的面图像展开成为多面体格式二维平面图像时,该二维平面图像可选的布局方式有很多,布局方式可以通过布局信息来描述,不同布局方式的布局信息不同,这里布局信息可以包括以下信息:
(1)球面映射到多面体表面过程中所述多面体的面数量信息。
(2)多面体表面展开成为二维图像时的面图像排布方式信息。
(3)多面体表面展开成为二维图像时的面图像排列顺序信息。
(4)多面体表面展开成为二维图像时的面图像的旋转信息。
举例来说,球形全景图像可以映射到不同多面体的表面,如六面体的表面,或者八面体的表面,或者其他多面体的表面,具体映射到几面体可以通过该面数量信息来体现。根据该面数量信息确定为哪种多面体后,其表面展开成为二维平面图像时,该二维平面图像还有多种排布方式,以六面体为例,如图3所示,n部分为4x3型,r部分和s部分为3x2型,t部分和u部分为6x1型,其余类型不再一一举例,此处的排布方式信息用于表明采用了哪种排布方式。另外,即便是排布方式相同各个面的排列顺序也可以存在区别,如图3所示,t部分和u部分的排列顺序不同,该排列顺序信息可以体现各个面的排列顺序。除此之外,每个面还可以进行旋转等操作,例如,图3的t部分的Font相较于u部分的Front存在角度旋转,该旋转信息即可体现各个面的旋转情况。该布局信息还可以包括其他信息,该布局信息可以得到该二维平面图像中的各个面图像的布局方式,可以理解的是,当获知了该布局信息和各个面在二维平面图像中的布局方式后,也可以反推出该平面图像中各个面在多面体中的连接关系。
去块滤波中的几个重要环节:
1、确定滤波边界,具体包括在图像中遍历块(当前遍历到的块可以称为待滤波块)并按照预先设定的规则从该块中确定滤波边界,不同的编码器选择滤波边界的方法可能不同,例如,在H.264中,以4x4块的边界为滤波边界;在H.265中,遍历编码单元(CU)中每一个8x8子块的边界,若该边界为该编码单元的变换单元划分边界,则将该8x8子块上边界和左边界确定为变换滤波边界;若该边界为编码单元的预测单元划分边界,则将8x8子块上边界和左边界设置为预测滤波边界,若某个边界变换滤波边界或者预测滤波边界,则确定该边界为滤波边界;另外,该本发明实施例中提到的“边界”也可以称作边缘。
2、计算滤波边界的边界滤波强度(英文:Boundary filtering strength,简称:BS),边界滤波强度通常是依据边界两边的块的编码信息计算得到,例如量化参数,编码模式,量化残差系数,运动参数等均属于编码信息。因为不同边界滤波强度的块效应,适宜选用不同强度的滤波器。
例如,在H.265中,遍历每一个8x8子块的边界,若该边界不是滤波边界,则将边界滤波强度BS设置为0;否则,若为水平滤波边界,则P为水平边界上方子块,Q为水平边界下方子块;若为竖直滤波边界,则P为竖直边界左方子块,Q为竖直边界右方子块;总而言之,对滤波边界滤波可以为该滤波边界确定该滤波边界两侧的块以方便操作。根据子块P的信息和子块Q的信息确定该滤波边界的边界滤波强度如下:
若P或者Q所在的编码单元至少有一个为帧内预测模式,则将BS设置为2;
否则,若该滤波边界为变换单元划分边界,并且P或者Q所在的变换单元至少存在一个非零系数(标准中一般使用编码块标识(英文:Coded block flag,简称:CBF))表示一个编码单元中是否存在非零系数,如果存在非零系数,则CBF为1;否则CBF为0。因此这个条件也可以表述为CBF等于1),则将BS设置为1;
否则,设运动矢量差阈值T为4个1/4亮度采样精度,若以下条件存在一个为真,则将BS设置为1。
条件1:P和Q所在的预测单元的参考图像或者运动矢量个数不同;P所在的预测单元的运动矢量个数为1,Q所在的预测单元的运动矢量个数为1,并且这两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于T;
条件2:P所在的预测单元的运动矢量个数为2且参考图像不同,Q所在的预测单元的运动矢量个数为2且参考图像不同,并且使用相同预测图像的两个运动矢量之间的水平分量或者竖直分量的运动矢量差值大于或等于T;
条件3:P所在的预测单元的运动矢量个数为2且参考图像相同,Q所在的预测单元的运动矢量个数为2且参考图像相同,并且下面条件a和b都为真:
条件a:List 0中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于T,或者list 1中的两个运动矢量之间的水平分量或者竖直分量的差值大于或等于T;
条件b:P所在的预测单元的list 0的运动矢量与Q所在的预测单元的list 1的运动矢量之间的水平分量或者竖直分量的差值大于或等于T,或者P所在的预测单元的list 1的运动矢量与Q所在的预测单元的list0的运动矢量之间的水平分量或者竖直分量的差值大于或等于T。
否则,则将BS设置为0。
3、滤波决策,该滤波决策用于决策是否对滤波边界进行去块滤波,若滤波那么是进行强滤波还是弱滤波等。滤波边界处有可能存在真正的边界,即一开始拍摄到的原始图像中该滤波边界两侧的像素值的差异本来就非常大。为了防止对真实的边界进行滤波,需要对边界两边的像素点的像素值进行分析,并依据分析的结果判断是否进行滤波以及采用何种强度的滤波,分析的过程需要用到边界滤波强度BS。
例如,在H.265中,若BS为0,则不进行滤波。否则,将每一个8x8子块的滤波边界的边界滤波强度BS,码流中传递的偏移值slice_beta_Offset_div2,slice_tc_Offset_div2,该滤波边界相邻像素点所在的块的量化参数QpQ和QpP代入以下公式:
qPL=((QpQ+QpP+1)>>1) 1-1
Q1=Clip3(0,51,qPL+(slice_beta_Offset_div2<<1)) 1-2
Q2=Clip3(0,53,qPL+2*(BS-1)+(slice_tc_Offset_div2<<1)) 1-3
通过式1-1得到qPL,然后将qPL带入到式1-2和1-3得到Q1和Q2,Q1和Q2均属于Q值,其中,然后根据Q1查如图4所示的表得到β′以及根据Q2查如图4所示的表得到tc′,其中,Q1和Q2均属于图4所示的表中的Q值。最后将β′和tc′值代入到以下公式得到β和tc值。
β=β’*(1<<(BitDepth-8)) 1-4
tC=tC′*(1<<(BitDepth-8)) 1-5
计算得到tc和β后根据tc、β和滤波边界两侧的像素值的差值来确定对该滤波边界采用强滤波、还是弱滤波,还是不滤波。以图5为例,假设滤波边界两侧的块分别为P块和Q块,在P块和Q块中共有N行像素点,每行像素点所在的直线均与该滤波边界垂直,对于该N行像素点中的第X行像素点来说,在滤波时需要从第X行像素点中确定j个像素点(j为偶数),该j个像素点一半来自该P块一半来自该Q块,该j个像素点顺序排列且该j个像素点中任意两个相邻像素点之间的距离均等于最小像素距离,此处的最小像素距离是指该P块和该Q块中两个最近的像素点之间的距离。
假设滤波边界两侧为P块和Q块,有4行像素点所在的直线与该滤波边界垂直,P块第1行靠近该滤波边界的4像素点依次为P0,0、P1,0、P2,0和P3,0;P块第2行靠近该滤波边界的4像素点依次为P0,1、P1,1、P2,1和P3,1;P块第X行靠近该滤波边界的4像素点依次为P0,0、P1,0、P2,0和P3,0;P块第4行靠近该滤波边界的4像素点依次为P0,3、P1,3、P2,3和P3,3。像素点P0,0的像素值可以表示为p0,0、像素点P1,0的像素值可以表示为p1,0,P块中其他像素点的像素值依此类推。Q块第1行靠近该滤波边界的4像素点依次为Q0,0、Q1,0、Q2,0和Q3,0;Q块第2行靠近该滤波边界的4像素点依次为Q0,1、Q1,1、Q2,1和Q3,1;Q块第3行靠近该滤波边界的4像素点依次为Q0,2、Q1,2、Q2,2和Q3,2;Q块第4行靠近该滤波边界的4像素点依次为Q0,3、Q1,3、Q2,3和Q3,3;。像素点Q0,0的像素值可以表示为q0,0、像素点Q1,0的像素值可以表示为q1,0,Q块中其他像素点的像素值依此类推。
决定采用强滤波、还是弱滤波,还是不滤波可以依据公式1-6、1-7、1-8和1-9来进行,如果公式1-6的关系成立则会采取滤波,否则不会滤波;在公式1-6成立的前提下,如果公式1-7、1-8和1-9同时成立则采取强滤波(i取0和取3时这三个式子均成立),否则采取弱滤波。
|p2,0-2p1,0+p0,0|+|p2,3-2p1,3+p0,3|+|q2,0-2q1,0+q0,0|+
|q2,3-2q1,3+q0,3|<β 1-6
|p2,i-2p1,i+P0,i|+|q2,i-2q1,i+q0,i|<β/8 1-7
|p3,i-p0,i|+|q0,i-q3,i|<β/8 1-8
|p0,i-q0,i|<2.5tc 1-9
4、滤波操作,根据滤波决策确定滤波边界不需要滤波时则不对该滤波边界滤波,当确定需要进行强滤波时则进行强滤波,当确定需要进行弱滤波时则进行弱滤波。例如,在H.265中,若为强滤波,则依赖垂直于滤波边界的每行中8个像素点,其中,滤波边界两侧各4个像素点;若为弱滤波,则依赖垂直于滤波边界的每行中6个像素点,其中,滤波边界两侧各3个像素点。同样以图5为例,滤波的过程需要使用该j个像素点的像素值计算出j-2个新的像素值以替代该j-2个像素点的像素值,j为大于2的偶数,具体操作如下。
使用像素值p0,0、p1,0、p2,0、p3,0、q0,0、q1,0、q2,0和q3,0计算出新的像素值p′0,0、p′1,0、p′2,0、q′0,0、q′1,0和q′2,0,然后,将p′0,0替代p0,0作为像素点P0,0的像素值,将p′1,0替代p1,0作为像素点P1,0的像素值,将p′2,0替代p2,0作为像素点P2,0的像素值;将q′0,0替代q0,0作为像素点P0,0的像素值,将q′1,0替代q1,0作为像素点P1,0的像素值,将q′2,0替代q2,0作为像素点P2,0的像素值,从而完成与该滤波边界垂直的4行像素点中第1行像素点的滤波。以下以举例讲述p′0,0、p′1,0、p′2,0、q′0,0、q′1,0和q′2,0的计算方式。
p′0,0=Clip3(p0,0-2*tC,p0,0+2*tC,(p2,0+2*p1,0+2*p0,0+2*q0,0+q1,0+4)>>3)
p′1,0=Clip3(p1,0-2*tC,p1,0+2*tC,(p2,0+p1,0+p0,0+q0,0+2)>>2)
p′2,0=Clip3(p2,0--2*tC,P2,0+2*tC,(2*p3,0+3*P2,0+p1,0+p0,0+q0,0+4)>>3)
q′0,0=Clip3(q0,0-2*tC,q0,0+2*tC,(p1,0+2*p0,0+2*q0,0+2*q1,0+q2,0+4)>>3)
q′1,0=Clip3(q1,0-2*tC,q1,0+2*tC,(p0,0+q0,0+q1,0+q2,0+2)>>2)
q′2,0=Clip3(q2,0--2*tC,q2,0+2*tC,(p0,0+q0,0+q1,0+3*q2,0+2*q3,0+4)>>3)
需要说明的是,对该4行中其他列的像素点的滤波方式参照对该第1行像素点的滤波方式,此处不再赘述。另外,去块滤波过程可以存在于坏内,也可以存在于环外,环外是指滤波之后的图像仅用于显示,并不用于后续编码图像的参考或者预测,换内是指滤波之后的图像要用于后续编码图像的参考或预测,还可能用于显示。
本发明实施例旨在提供一种去块滤波方法和终端,用于提高去块滤波效果。在“去块滤波中的几个重要环节”的原理的基础上,对部分环节进行了改进,改进点的具体描述如下。
第一方面,本发明实施例提供一种去块滤波方法,该方法包括:确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
通过执行上述步骤,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第一方面,在第一方面的第一种可能的实现方式中,该确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界之后,该基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之前,该方法还包括:根据预先配置的布局信息在该目标图像中确定该第一待滤波块的滤波参考块,该布局信息指示了该M个像素区域在该M面体中的连接关系。
结合第一方面或者第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,该确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,包括:根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界。
结合第一方面,或者第一方面的第一种可能的实现方式,或者第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,该基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,包括:根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。
结合第一方面,或者第一方面的第一种可能的实现方式,或者第一方面的第二种可能的实现方式,或者第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,该方法还包括:确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第一方面,或者第一方面的第一种可能的实现方式,或者第一方面的第二种可能的实现方式,或者第一方面的第三种可能的实现方式,或者第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,该基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,该方法还包括:生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
第二方面,本发明实施例提供一种去块滤波方法,该方法包括:确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
结合第二方面,在第二方面的第一种可能的实现方式中,该方法还包括:确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第二方面,或者第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第二方面,或者第二方面的第一种可能的实现方式,或者第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第二方面的第二种可能的实现方式,或者第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第二方面,或者第二方面的第一种可能的实现方式,或者第二方面的第二种可能的实现方式,或者第二方面的第三种可能的实现方式,或者第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
第三方面,本发明实施例提供一种终端,该终端包括第一确定单元和滤波单元,其中,第一确定单元用于确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;滤波单元用于基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第三方面,在第三方面的第一种可能的实现方式中,还包括第二确定单元,该第二确定单元用于在该第一确定单元确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界之后,以及该滤波单元基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之前,根据预先配置的布局信息在该目标图像中确定该第一待滤波块的滤波参考块,该布局信息指示了该M个像素区域在该M面体中的连接关系。
结合第三方面或者第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,该第一确定单元具体用于根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界。
结合第三方面,或者第三方面的第一种可能的实现方式,或者第三方面的第二种可能的实现方式,在第三方面的第三种可能的实现方式中,该滤波单元具体用于根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。
结合第三方面,或者第三方面的第一种可能的实现方式,或者第三方面的第二种可能的实现方式,或者第三方面的第三种可能的实现方式,在第三方面的第四种可能的实现方式中,该第一确定单元还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;该滤波单元还用于根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第三方面,或者第三方面的第一种可能的实现方式,或者第三方面的第二种可能的实现方式,或者第三方面的第三种可能的实现方式,或者第三方面的第四种可能的实现方式,在第三方面的第五种可能的实现方式中,还包括生成单元,该生成单元用于在该滤波单元基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
第四方面,本发明实施例提供一种终端,该终端包括第一确定单元和滤波单元,其中,第一确定单元用于确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;滤波单元用于使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
结合第四方面,在第四方面的第一种可能的实现方式中,该第一确定单元还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;该滤波单元还用于根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第四方面,或者第四方面的第一种可能的实现方式,在第四方面的第二种可能的实现方式中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第四方面,或者第四方面的第一种可能的实现方式,或者第四方面的第二种可能的实现方式,在第四方面的第三种可能的实现方式中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第四方面的第二种可能的实现方式,或者第四方面的第三种可能的实现方式,在第四方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第四方面,或者第四方面的第一种可能的实现方式,或者第四方面的第二种可能的实现方式,或者第四方面的第三种可能的实现方式,或者第四方面的第四种可能的实现方式,在第四方面的第五种可能的实现方式中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
第五方面,本发明实施例提供一种终端,该终端包括处理器和存储器,其中,该存储器用于存储数据和程序;该处理器调用该存储器中的程序用于执行如下操作:确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
通过执行上述步骤,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第五方面,在第五方面的第一种可能的实现方式中,该处理器确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界之后,该处理器基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之前,该处理器还用于根据预先配置的布局信息在该目标图像中确定该第一待滤波块的滤波参考块,该布局信息指示了该M个像素区域在该M面体中的连接关系。
结合第五方面或者第五方面的第一种可能的实现方式,在第五方面的第二种可能的实现方式中,该处理器确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,具体为:根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界。
结合第五方面,或者第五方面的第一种可能的实现方式,或者第五方面的第二种可能的实现方式,在第五方面的第三种可能的实现方式中,该处理器基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,具体为:根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。
结合第五方面,或者第五方面的第一种可能的实现方式,或者第五方面的第二种可能的实现方式,或者第五方面的第三种可能的实现方式,在第五方面的第四种可能的实现方式中,该处理器还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第五方面,或者第五方面的第一种可能的实现方式,或者第五方面的第二种可能的实现方式,或者第五方面的第三种可能的实现方式,或者第五方面的第四种可能的实现方式,在第五方面的第五种可能的实现方式中,该处理器基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,还用于生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
第六方面,本发明实施例提供一种终端,该终端包括处理器和存储器,其中,该存储器用于存储数据和程序;该处理器调用该存储器中的程序用于执行如下操作:确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
结合第六方面,在第六方面的第一种可能的实现方式中,该处理器还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
结合第六方面,或者第六方面的第一种可能的实现方式,在第六方面的第二种可能的实现方式中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第六方面,或者第六方面的第一种可能的实现方式,或者第六方面的第二种可能的实现方式,在第六方面的第三种可能的实现方式中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
结合第六方面的第二种可能的实现方式,或者第六方面的第三种可能的实现方式,在第六方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第六方面,或者第六方面的第一种可能的实现方式,或者第六方面的第二种可能的实现方式,或者第六方面的第三种可能的实现方式,或者第六方面的第四种可能的实现方式,在第六方面的第五种可能的实现方式中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
第七方面,本发明实施例提供一种去块滤波方法,该方法包括:确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;在该目标图像中确定该待滤波块的滤波参考块;根据该待滤波块和该滤波参考块,对该滤波边界滤波。
通过执行上述步骤,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第七方面,在第七方面的第一种可能的实现方式中,该确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,包括:根据该滤波边界在该目标图像中的坐标以及预先确定的该M面体的面图像的边界的像素点在该目标图像中的坐标,确定该滤波边界属于该面图像的边界。
结合第七方面,或者第七方面的第一种可能的实现方式,在第七方面的第二种可能的实现方式中,该根据该待滤波块和该滤波参考块,对该滤波边界滤波,包括:根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。
结合第七方面,或者第七方面的第一种可能的实现方式,或者第七方面的第二种可能的实现方式,在第七方面的第三种可能的实现方式中,该根据该待滤波块和该滤波参考块,对该滤波边界滤波,包括:根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。
结合第七方面的第三种可能的实现方式,在第七方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第七方面,或者第七方面的第一种可能的实现方式,或者第七方面的第二种可能的实现方式,或者第七方面的第三种可能的实现方式,或者第七方面的第四种可能的实现方式,在第七方面的第五种可能的实现方式中,在该目标图像中确定该待滤波块的滤波参考块,包括:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。
结合第七方面,或者第七方面的第一种可能的实现方式,或者第七方面的第二种可能的实现方式,或者第七方面的第三种可能的实现方式,或者第七方面的第四种可能的实现方式,或者第七方面的第五种可能的实现方式,在第七方面的第六种可能的实现方式中,该在该目标图像中确定该待滤波块的滤波参考块,包括:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。
结合第七方面的第六种可能的实现方式,在第七方面的第七种可能的实现方式中,在该确定该第二邻接块为该滤波参考块之后,还包括:确定该滤波参考块的像素点的校正像素值。对应的,该根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,包括:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略。
结合第七方面的第七种可能的实现方式,在第七方面的第八种可能的实现方式中,该确定该滤波参考块的像素点的校正像素值,包括:确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。
也即是说,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,使用该待滤波块的滤波边界所在的像素边界的另一侧的面图像中的像素点的像素值滤波,这些像素点与该待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该待滤波块的内容到该另一侧的面图像中的内容之间形变较小,去块滤波效果较好。
结合第七方面的第八种可能的实现方式,在第七方面的第九种可能的实现方式中,当该交点与该一个面图像中的所有整像素点不重合时,包括:采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;将该插值获得的像素值作为该对应点的像素值。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
结合第七方面,或者第七方面的第一种可能的实现方式,或者第七方面的第二种可能的实现方式,或者第七方面的第三种可能的实现方式,或者第七方面的第四种可能的实现方式,或者第七方面的第五种可能的实现方式,或者第七方面的第六种可能的实现方式,或者第七方面的第七种可能的实现方式,或者第七方面的第八种可能的实现方式,或者第七方面的第九种可能的实现方式,在第七方面的第十种可能的实现方式中,当该确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,包括:根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。
结合第七方面,或者第七方面的第一种可能的实现方式,或者第七方面的第二种可能的实现方式,或者第七方面的第三种可能的实现方式,或者第七方面的第四种可能的实现方式,或者第七方面的第五种可能的实现方式,或者第七方面的第六种可能的实现方式,或者第七方面的第七种可能的实现方式,或者第七方面的第八种可能的实现方式,或者第七方面的第九种可能的实现方式,或者第七方面的第十种可能的实现方式,在第七方面的第十一种可能的实现方式中,该根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,还包括:生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
第八方面,本发明实施例提供一种终端,该终端包括第一确定单元、第二确定单元和滤波单元,其中,第一确定单元,用于确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;第二确定单元,用于在该目标图像中确定该待滤波块的滤波参考块;滤波单元,用于根据该待滤波块和该滤波参考块,对该滤波边界滤波。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第八方面,在第八方面的第一种可能的实现方式中,该第一确定单元具体用于根据该滤波边界在该目标图像中的坐标以及预先确定的该M面体的面图像的边界的像素点在该目标图像中的坐标,确定该滤波边界属于该面图像的边界。
结合第八方面,或者第八方面的第一种可能的实现方式,在第八方面的第二种可能的实现方式中,该第二确定单元具体用于根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。
结合第八方面,或者第八方面的第一种可能的实现方式,或者第八方面的第二种可能的实现方式,在第八方面的第三种可能的实现方式中,该第二确定单元具体用于根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。
结合第八方面的第三种可能的实现方式,在第八方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第八方面,或者第八方面的第一种可能的实现方式,或者第八方面的第二种可能的实现方式,或者第八方面的第三种可能的实现方式,或者第八方面的第四种可能的实现方式,在第八方面的第五种可能的实现方式中,该第二确定单元在该目标图像中确定该待滤波块的滤波参考块,具体为:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。
结合第八方面,或者第八方面的第一种可能的实现方式,或者第八方面的第二种可能的实现方式,或者第八方面的第三种可能的实现方式,或者第八方面的第四种可能的实现方式,或者第八方面的第五种可能的实现方式,在第八方面的第六种可能的实现方式中,该第二确定单元具体用于:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。
结合第八方面的第六种可能的实现方式,在第八方面的第七种可能的实现方式中,该终端还包括:第三确定单元,用于确定该滤波参考块的像素点的校正像素值;对应的,该第二确定单元根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,具体为:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略。
结合第八方面的第七种可能的实现方式,在第八方面的第八种可能的实现方式中,该第三确定单元具体用于确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。
也即是说,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,使用该待滤波块的滤波边界所在的像素边界的另一侧的面图像中的像素点的像素值滤波,这些像素点与该待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该待滤波块的内容到该另一侧的面图像中的内容之间形变较小,去块滤波效果较好。
结合第八方面的第八种可能的实现方式,在第八方面的第九种可能的实现方式中,该终端还包括:计算单元,用于在当该交点与该一个面图像中的所有整像素点不重合时,采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;获取单元,用于将该插值获得的像素值作为该对应点的像素值。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
结合第八方面,或者第八方面的第一种可能的实现方式,或者第八方面的第二种可能的实现方式,或者第八方面的第三种可能的实现方式,或者第八方面的第四种可能的实现方式,或者第八方面的第五种可能的实现方式,或者第八方面的第六种可能的实现方式,或者第八方面的第七种可能的实现方式,或者第八方面的第八种可能的实现方式,或者第八方面的第九种可能的实现方式,在第八方面的第十种可能的实现方式中,当确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,该滤波单元用于根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。
结合第八方面,或者第八方面的第一种可能的实现方式,或者第八方面的第二种可能的实现方式,或者第八方面的第三种可能的实现方式,或者第八方面的第四种可能的实现方式,或者第八方面的第五种可能的实现方式,或者第八方面的第六种可能的实现方式,或者第八方面的第七种可能的实现方式,或者第八方面的第八种可能的实现方式,或者第八方面的第九种可能的实现方式,或者第八方面的第十种可能的实现方式,在第八方面的第十一种可能的实现方式中,还包括:生成单与,用于在该滤波单元根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
第九方面,本发明实施例提供一种终端,该终端包括处理器和存储器,该存储器用于存储程序和数据,该处理器调用该存储器中的程序用于执行如下操作:确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;在该目标图像中确定该待滤波块的滤波参考块;根据该待滤波块和该滤波参考块,对该滤波边界滤波。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
结合第九方面,在第九方面的第一种可能的实现方式中,该处理器确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,具体为:根据该滤波边界在该目标图像中的坐标以及预先确定的该M面体的面图像的边界的像素点在该目标图像中的坐标,确定该滤波边界属于该面图像的边界。
结合第九方面,或者第九方面的第一种可能的实现方式,在第九方面的第二种可能的实现方式中,该处理器根据该待滤波块和该滤波参考块,对该滤波边界滤波,具体为:根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。
结合第九方面,或者第九方面的第一种可能的实现方式,或者第九方面的第二种可能的实现方式,在第九方面的第三种可能的实现方式中,该处理器根据该待滤波块和该滤波参考块,对该滤波边界滤波,具体为:根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。
结合第九方面的第三种可能的实现方式,在第九方面的第四种可能的实现方式中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
结合第九方面,或者第九方面的第一种可能的实现方式,或者第九方面的第二种可能的实现方式,或者第九方面的第三种可能的实现方式,或者第九方面的第四种可能的实现方式,在第九方面的第五种可能的实现方式中,该处理器在该目标图像中确定该待滤波块的滤波参考块,具体为:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。
结合第九方面,或者第九方面的第一种可能的实现方式,或者第九方面的第二种可能的实现方式,或者第九方面的第三种可能的实现方式,或者第九方面的第四种可能的实现方式,或者第九方面的第五种可能的实现方式,在第九方面的第六种可能的实现方式中,该处理器在该目标图像中确定该待滤波块的滤波参考块,具体为:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。
结合第九方面的第六种可能的实现方式,在第九方面的第七种可能的实现方式中,在该确定该第二邻接块为该滤波参考块之后,该处理器还用于:确定该滤波参考块的像素点的校正像素值;对应的,该根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,包括:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略。
结合第九方面的第七种可能的实现方式,在第九方面的第八种可能的实现方式中,该处理器确定该滤波参考块的像素点的校正像素值,具体为:确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。
也即是说,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,使用该待滤波块的滤波边界所在的像素边界的另一侧的面图像中的像素点的像素值滤波,这些像素点与该待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该待滤波块的内容到该另一侧的面图像中的内容之间形变较小,去块滤波效果较好。
结合第九方面的第八种可能的实现方式,在第九方面的第九种可能的实现方式中,当该交点与该一个面图像中的所有整像素点不重合时,该处理器还用于:采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;将该插值获得的像素值作为该对应点的像素值。
该实施例技术效果的实现在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值,提高了像素值的准确性。
结合第九方面,或者第九方面的第一种可能的实现方式,或者第九方面的第二种可能的实现方式,或者第九方面的第三种可能的实现方式,或者第九方面的第四种可能的实现方式,或者第九方面的第五种可能的实现方式,或者第九方面的第六种可能的实现方式,或者第九方面的第七种可能的实现方式,或者第九方面的第八种可能的实现方式,或者第九方面的第九种可能的实现方式,在第九方面的第十种可能的实现方式中,当该确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,该处理器还用于:根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。
结合第九方面,或者第九方面的第一种可能的实现方式,或者第九方面的第二种可能的实现方式,或者第九方面的第三种可能的实现方式,或者第九方面的第四种可能的实现方式,或者第九方面的第五种可能的实现方式,或者第九方面的第六种可能的实现方式,或者第九方面的第七种可能的实现方式,或者第九方面的第八种可能的实现方式,或者第九方面的第九种可能的实现方式,或者第九方面的第十种可能的实现方式,在第九方面的第十一种可能的实现方式中,该处理器根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,还用于:生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波。
该实施例技术效果的实现在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波,避免了重复计算。
通过实施本发明实施例,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种全景图像与多面体的映射关系示意图;
图2是本发明实施例提供的一种全景图像与多面体的映射原理示意图;
图3是本发明实施例提供的一种六面体的六个平面拼接的场景示意图;
图4是本发明实施例提供的一种参数对应表的示意图;
图5是本发明实施例提供的一种P块和Q块中像素点的排布方式示意图;
图6是本发明实施例提供的一种去块滤波方法的流程示意图;
图7是本发明实施例提供的一种像素区域的对应关系示意图;
图8是本发明实施例提供的又一种去块滤波方法的流程示意图;
图9是本发明实施例提供的又一种去块滤波方法的流程示意图;
图10是本发明实施例提供的一种终端的结构示意图;
图11是本发明实施例提供的又一种终端的结构示意图;
图12是本发明实施例提供的又一种终端的结构示意图;
图13是本发明实施例提供的又一种终端的结构示意图;
图14是本发明实施例提供的又一种终端的结构示意图;
图15是本发明实施例提供的又一种终端的结构示意图;
图16是本发明实施例提供的又一种终端的结构示意图;
图17是本发明实施例提供的一种视频编解码系统的结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚地描述。以下实施例均为对发明内容部分的“去块滤波中的几个重要环节”的补充,重点讲述与现有技术的区别部分。
本发明实施例所描述的终端可以为具有图像编码或者图像解码功能的设备或者装置,例如,手机,电视机,平板电脑、笔记本电脑、掌上电脑、移动互联网设备(英文:mobileinternet device,简称:MID)、可穿戴设备(例如智能手表(如iWatch等)、智能手环、计步器等)等。
请参见图6,图6是本发明实施例提供的一种去块滤波方法的流程示意图,该方法包括但不限于如下步骤。
步骤S601:终端确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界。
具体地,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,其中,该全景图像通常是通过多个摄像头采集到的图像经过处理后得到的,通常可以将这些图像处理成一幅球形的全景图像,同一空间内不同时刻的球形全景图像组成了全景视频,也可称为VR视频等。若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4,优选的,M等于6。此处的三点一线可以通过如下方式实现:
方式一:在该M面体上的每个面上规划像素点,使得每个面上的像素点形成阵列(组成该阵列的像素点可以称为整数像素点),然后将每个面上的每个像素点与该全景图像的圆心连线以交于该全景图像,与该全景图像的交点往往不是该全景图像上的整点像素点,如果该交点不是整点像素点则采用插值法对该交点周围的整点像素点的像素值进行处理,从而计算出该交点处的像素值,然后将该交点的像素值作为该多面体上与该圆心、该交点三点一线的像素点点的像素值。相应地,该M面体上的点用于构成包含像素点的该像素区域具体是指,M面体上的各个存在像素值的像素点用于构成像素区域。
方式二:将该全景图像的圆心与该全景图像上的每个整点像素点连线并交于该M面体,若连线的与该M面体的某个交点、该圆心以及该全景图像上的某个像素点三点一线,则将该某个像素点的像素值作为该某个交点的像素值;进一步地,在该M面体上的每个面上规划像素点,使每个面上的像素点形成阵列。相应地,该M面体上的点用于构成包含像素点的该像素区域具体是指,若该M面体上的某个像素点与该M面体上的一个交点重合则将该交点的像素值作为该像素点的像素值,若该某个像素点不与该M面体上的交点重合,则采用插值法对该像素点周围的交点进行处理从而计算出该像素点的像素值,这些存在像素值的像素点构成该像素区域。
另外,该终端中可以预存用于描述该第一滤波边界的信息,以及该目标图像的像素区域的边界的信息,通过这些信息对比即可确定第一滤波边界是否为该像素区域的边界的一部分,若为该像素区域的边界的一部分则表明该第一滤波边界属于该像素区域的边界。举例来说,可以根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界;具体来说,该目标图像中预先建立了坐标系,可以根据该第一滤波边界上的点的坐标,以及该像素区域上的点的坐标来确定该第一滤波边界是否属于该像素区域的边界。
步骤S602:终端基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波。
具体地,该M面体上的任意一个像素区域,以及任意一个块在该M面体上存在固定的位置,该任意一个像素区域,以及该任意一个块在该目标图像中也存在一个固定位置。该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合,如图7所示,若P块为该第一待滤波块,那么Q块为该滤波参考块而不是该Q1,因为该P块与该Q块在该多面体中的关系满足以上描述的滤波参考块和第一待滤波块的关系,该第一待滤波块中距离该棱的距离由近到远的像素点依次为P0,X、P1,X、P2,X、P3,X等;该滤波参考块中距离该棱由近到远的像素点依次为P0,X、Q1,X、Q2,X、Q3,X等,此处的X可以取0、1、2和3。可选的,可以预先配置布局信息来标记各个块在该M面体上的位置与在该全景图像上的位置的对应关系,或者该M个像素区域在该M面体中的连接关系,该终端可以根据该布局信息在该目标图像中确定该第一待滤波块的滤波参考块。
可选的,根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。此处的待滤波块和滤波参考块分别对应于“发明内容”部分中描述的P块和Q块,此处的第一滤波边界属于滤波边界,对该第一滤波边界滤波用到的该待滤波块中的像素点和用到的该滤波参考块中的像素点顺序排列,且任意两个相邻像素点之间的距离等于最小像素距离。用到的像素点的确定方式、根据像素点的像素值计算新的像素值来替代这些像素点的像素值以实现对该第一滤波边界滤波等,都可以参照前面对P块和Q块之间的滤波边界滤波的描述。
在一种可选的方案中,该基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,该去块滤波方法还可以包括:生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。也即是说,该终端在去块滤波的过程中如果遍历到了该滤波参考块,则可根据该参考标识获知该滤波参考块与中靠近该第一待滤波块的滤波边界已经滤过波,从而不需要再对该滤波参考块中靠近该第一滤波块的滤波边界滤波。这样做的原因在于,该滤波参考块中靠近该第一滤波块的滤波边界其实与该第一滤波边界重合,也即是说,在对该第一滤波边界滤波时已经计算出了新的像素值来替代该第一待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该第一待滤波块的滤波边界滤波。应理解,本发明实施例中的遍历是指对整个目标图像进行滤波操作,在一种可选的方案中,对整个目标图像进行滤波操作包括:对于一个目标图像,按照顺序依次遍历每一个面图像;对于一个面图像,依次遍历每一个滤波区域,即边界待滤波的区域;对于每一个滤波区域,依次遍历每一个块。例如,可以按照扫描顺序遍历当前图像中的每一个面图像;按照上边界,右边界,下边界,左边界的顺序,遍历当前面的每一个滤波区域;按照从上到下,从左到右的顺序遍历当前滤波区域的每一个小块。
在又一种可选的方案中,该去区块滤波方法还包括:终端确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;终端根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
也即是说,当该终端在去块滤波的过程中如果遍历到了第二待滤波块,判断该第二待滤波块的滤波边界是否属于像素区域的边界,该第二待滤波块的滤波边界可以称为第二滤波边界;判断该第二滤波边界是否属于像素区域的边界的方式与判断该第一滤波边界是否属于像素区域的边界的方式相同。若该第二滤波边界为不为该像素区域的边界,则像现有技术一样直接使用该目标图像中该第二滤波边界两侧的块中的像素点对该第二滤波边界滤波。
在图6所描述的方法中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
请参见图8,图8是本发明实施例提供的又一种去块滤波方法的流程示意图,该方法包括但不限于如下步骤。
步骤S801:终端确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界。
具体地,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4。步骤S801可以参照前面对步骤S601的详细分析,此处不再赘述。
步骤S802:终端使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波。
具体地,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上,该第一待滤波块中距离该第一滤波边界的距离由近到远的像素点依次为P0,X、P1,X、P2,X、P3,X等,此处的X可以取0、1、2和3。
在一种可选的方案中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。这么做的原因在于,满足上述几何关系的多个参考像素点中可能存在整点像素点,也可能存在非整点像素点即该特殊像素点,通常情况下该特殊像素点预先是没有像素值的,因此需要使用该特殊像素点周围的整点像素点采用插值法计算出该特殊像素点的像素值。
在又一种可选的方案中,该该区块滤波方法还包括:终端确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;终端根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
也即是说,当该终端在去块滤波的过程中如果遍历到了第二待滤波块,判断该第二待滤波块的滤波边界是否属于像素区域的边界,该第二待滤波块的滤波边界可以称为第二滤波边界;判断该第二滤波边界是否属于像素区域的边界的方式与判断该第一滤波边界是否属于像素区域的边界的方式相同。若该第二滤波边界不为该像素区域的边界,则像现有技术一样直接使用该目标图像中该第二滤波边界两侧的块中的像素点对该第二滤波边界滤波。
在又一种可选的方案中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该编码信息包括量化参数(例如,QP)、编码模式(例如,帧内预测、帧间预测)、量化残差系数(例如,CBF)、运动参数(例如,参考图像索引,运动矢量)等,关于边界滤波强度BS的计算在“发明内容”部分有介绍,此处不再赘述。该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合,前面有关于滤波参考块的描述,此处不再赘述。
在又一种可选的方案中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,关于滤波决策的确定方式在“发明内容”中有介绍,此处不再赘述。
在图8所描述的方法中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
请参见图9,图9是本发明实施例提供的又一种去块滤波方法的流程示意图,该方法包括但不限于如下步骤:
步骤S901:终端确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界。
具体地,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M为大于等于4的整数。在一种可选的方案中,该目标图像为M个面图像所拼接成的平面图像,该M个面图像为包围球形的全景图像的M面体的M个面,其中,该全景图像通常是通过多个摄像头采集到的图像经过处理后得到的,通常可以将这些图像处理成一幅球形的全景图像,同一空间内不同时刻的球形全景图像组成了全景视频,也可称为VR视频等。若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该面图像,M大于等于4,优选的,M等于6。此处的三点一线可以通过如下方式实现:
方式一:在该M面体上的每个面上规划像素点,使得每个面上的像素点形成阵列(组成该阵列的像素点可以称为整数像素点),然后将每个面上的每个像素点与该全景图像的圆心连线以交于该全景图像,与该全景图像的交点往往不是该全景图像上的整点像素点,如果该交点不是整点像素点则采用插值法对该交点周围的整点像素点的像素值进行处理,从而计算出该交点处的像素值,然后将该交点的像素值作为该多面体上与该圆心、该交点三点一线的像素点点的像素值。相应地,该M面体上的点用于构成包含像素点的该面图像具体是指,M面体上的各个存在像素值的像素点用于构成面图像。
方式二:将该全景图像的圆心与该全景图像上的每个整点像素点连线并交于该M面体,若连线的与该M面体的某个交点、该圆心以及该全景图像上的某个像素点三点一线,则将该某个像素点的像素值作为该某个交点的像素值;进一步地,在该M面体上的每个面上规划像素点,使每个面上的像素点形成阵列。相应地,该M面体上的点用于构成包含像素点的该面图像具体是指,若该M面体上的某个像素点与该M面体上的一个交点重合则将该交点的像素值作为该像素点的像素值,若该某个像素点不与该M面体上的交点重合,则采用插值法对该像素点周围的交点进行处理从而计算出该像素点的像素值,这些存在像素值的像素点构成该面图像。
另外,该终端中可以预存用于描述该滤波边界的信息,以及该目标图像的面图像的边界的信息,通过这些信息对比即可确定滤波边界是否为该面图像的边界的一部分,若为该面图像的边界的一部分则表明该滤波边界属于该面图像的边界。举例来说,可以根据预存的目标图像的面图像的边界上的点的坐标以及该待滤波块的滤波边界上的点的坐标,确定该滤波边界属于该面图像的边界;具体来说,该目标图像中预先建立了坐标系,可以根据该滤波边界上的点的坐标,以及该面图像上的点的坐标来确定该滤波边界是否属于该面图像的边界。
步骤S902:终端在该目标图像中确定该待滤波块的滤波参考块。
具体地,该M面体上的任意一个面图像,以及任意一个块在该M面体上存在固定的位置,该任意一个面图像,以及该任意一个块在该目标图像中也存在一个固定位置。该滤波参考块存在一条边界与该滤波边界在该M面体的一条棱上重合,如图7所示,若P块为该待滤波块,那么Q块为该滤波参考块而不是该Q1,因为该P块与该Q块在该多面体中的关系满足以上描述的滤波参考块和待滤波块的关系,该待滤波块中距离该棱的距离由近到远的像素点依次为P0,X、P1,X、P2,X、P3,X等;该滤波参考块中距离该棱由近到远的像素点依次为P0,X、Q1,X、Q2,X、Q3,X等,此处的X可以取0、1、2和3。可选的,可以预先配置布局信息来标记各个块在该M面体上的位置与在该全景图像上的位置的对应关系,或者该M个面图像在该M面体中的连接关系,该终端可以根据该布局信息在该目标图像中确定该待滤波块的滤波参考块。
在一种可选的方案中,该在该目标图像中确定该待滤波块的滤波参考块,包括:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。也即是说,各个块在M面体中的位置关系来确定该待滤波块的滤波参考块,具体将于该待滤波块有一条边界重合且处于该M面体的一个棱上的块作为该滤波参考块。为了与后续可选方案中的相关量区分,可以称这种可选方案为可选方案A。
步骤S903:终端根据该待滤波块和该滤波参考块,对该滤波边界滤波。
在一种可选的方案中,根据该待滤波块和该滤波参考块,对该滤波边界滤波,包括:根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。可以理解的是,该第一像素点集合中的像素点类似与图7中的P0,X、P1,X、P2,X、P3,X等;该第二像素点结合中的像素点类似于图7中的P0,X、Q1,X、Q2,X、Q3,X等,此处的X可以取0、1、2和3。
在又一种可选的方案中,根据该待滤波块和该滤波参考块,对该滤波边界滤波,包括:根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。也即是说,对该滤波边界滤波时参照的边界滤波强度BS为根据该待滤波块的编码信息和滤波参考块的编码信息计算得到,该编码信息包括量化参数(例如,QP)、编码模式(例如,帧内预测、帧间预测)、量化残差系数(例如,CBF)、运动参数(例如,参考图像索引,运动矢量)等,关于边界滤波强度BS的计算在“发明内容”部分有介绍,此处不再赘述。
在又一种可选的方案中,当确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,还包括:根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。也即是说,若确定该滤波边界不属于任一面图像的边界,则像现有技术一样直接使用该目标图像中该滤波边界两侧的块中的像素点对该滤波边界滤波。
在又一种可选的方案中,根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,还包括:生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波。也即是说,该终端在去块滤波的过程中如果遍历到了该滤波参考块,则可根据该标识获知该滤波参考块与中靠近该待滤波块的滤波边界已经滤过波,从而不需要再对该滤波参考块中靠近该滤波块的滤波边界滤波。这样做的原因在于,该滤波参考块中靠近该滤波块的滤波边界其实与该滤波边界重合,也即是说,在对该滤波边界滤波时已经计算出了新的像素值来替代该待滤波块和该滤波参考块中的相应像素点的像素值,因此遍历到该滤波参考块时不需要再对该滤波参考块中靠近该待滤波块的滤波边界滤波。应理解,本发明实施例中的遍历是指对整个目标图像进行滤波操作,在一种可选的方案中,对整个目标图像进行滤波操作包括:对于一个目标图像,按照顺序依次遍历每一个面图像;对于一个面图像,依次遍历每一个滤波区域,即边界待滤波的区域;对于每一个滤波区域,依次遍历每一个块。例如,可以按照扫描顺序遍历当前图像中的每一个面图像;按照上边界,右边界,下边界,左边界的顺序,遍历当前面的每一个滤波区域;按照从上到下,从左到右的顺序遍历当前滤波区域的每一个小块。
在又一种可选的方案中,在该目标图像中确定该待滤波块的滤波参考块,包括:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。确定该第二邻接块为该滤波参考块,为了与前面的可选方案进行区分,可以称此可选方案为可选方案B。可选的,在该确定该第二邻接块为该滤波参考块之后,还包括:确定该滤波参考块的像素点的校正像素值;对应的,该根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,包括:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略,包括对该滤波边界滤波。可选的,该确定该滤波参考块的像素点的校正像素值,包括:确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。这么做的原因在于,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,使用该待滤波块的滤波边界所在的像素边界的另一侧的面图像中的像素点的像素值滤波,这些像素点与该待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该待滤波块的内容到该另一侧的面图像中的内容之间形变较小,去块滤波效果较好。需要说明的是,此可选方案中对滤波边界滤波用到的滤波强度可以为根据该待滤波块的编码信息和可选方案A中的滤波参考块(不是可选方案B中的滤波参考块)的编码信息计算得到。对该滤波边界滤波时参照的滤波决策用到的像素值为待滤波块中的像素点的像素值和校正像素值;用到的编码信息为该待滤波块的编码信息和该可选方案A中的滤波参考块(不是可选方案B中的滤波参考块)的编码信息。
可选的,当该交点与该一个面图像中的所有整像素点不重合时,还包括:采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;将该插值获得的像素值作为该对应点的像素值;这么做的原因在于,满足上述几何关系的对应点可能与整点像素点重合,也可能与分数像素点重合,若该对应点与分数像素点重合则该分数像素点通常是没有像素值的,因此需要使用该对应点周围的整点像素点采用插值法计算出该对应点的像素值。
在图9所示的方法中,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
上述详细阐述了本发明实施例的方法,为了便于更好地实施本发明实施例的上述方案,相应地,下面提供了本发明实施例的装置。
请参见图10,图10是本发明实施例提供的一种终端100的结构示意图,该终端100可以包括第一确定单元1001和滤波单元1002,各个单元的详细描述如下。
第一确定单元1001用于确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;
滤波单元1002用于基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
在一种可选的方案中,该终端100还包括第二确定单元,第二确定单元用于在该第一确定单元1001确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界之后,以及该滤波单元1002基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之前,根据预先配置的布局信息在该目标图像中确定该第一待滤波块的滤波参考块,该布局信息指示了该M个像素区域在该M面体中的连接关系。
在又一种可选的方案中,该第一确定单元1001具体用于根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界。
在又一种可选的方案中,该滤波单元1002具体用于根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。
在又一种可选的方案中,该第一确定单元还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;该滤波单元还用于根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
在又一种可选的方案中,该终端100还包括生成单元,生成单元用于在该滤波单元基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。
需要说明的是,各个单元的具体实现还可以对应参照图6所示的方法实施例的相应描述。
在图10所描述的终端100中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
请参见图11,图11是本发明实施例提供的又一种终端110的结构示意图,该终端110可以包括第一确定单元1101和滤波单元1102,其中,各个单元的详细描述如下。
第一确定单元901用于确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4。
滤波单元902用于使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
在一种可选的方案中,该第一确定单元1101还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;该滤波单元1102还用于根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
在又一种可选的方案中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
在又一种可选的方案中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
在又一种可选的方案中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
在又一种可选的方案中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。
需要说明的是,各个单元的具体实现还可以对应参照图8所示的方法实施例的相应描述。
在图11所描述的终端110中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
请参见图12,图12是本发明实施例提供的又一种终端120,该终端120包括处理器1201和存储器1202,该处理器1201和存储器1202通过总线相互连接。
存储器1202包括但不限于是随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、或便携式只读存储器(CD-ROM),该存储器1202用于相关指令及数据。
处理器1201可以是一个或多个中央处理器(英文:Central Processing Unit,简称:CPU),在处理器1201是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该终端120中的处理器1201用于读取该存储器1202中存储的程序代码,执行以下操作:
确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;
基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
在一种可选的方案中,该处理器1201确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界之后,该处理器1201基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之前,还用于根据预先配置的布局信息在该目标图像中确定该第一待滤波块的滤波参考块,该布局信息指示了该M个像素区域在该M面体中的连接关系。
在又一种可选的方案中,该处理器1201确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,具体为:根据预存的目标图像的像素区域的边界上的点的坐标以及该第一待滤波块的第一滤波边界上的点的坐标,确定该第一滤波边界属于该像素区域的边界。
在又一种可选的方案中,该处理器1201基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波,具体为:根据该M面体中该第一滤波边界两侧的像素点对该第一滤波边界滤波。
在又一种可选的方案中,该处理器1201还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
在又一种可选的方案中,该处理器1201基于该第一待滤波块中的像素点和该目标图像中的滤波参考块中的像素点对该第一滤波边界滤波之后,还用于生成参考标识,该参考标识用于指示滤波过程中遍历到该滤波参考块时不再对该滤波参考块中靠近该第一待滤波块的边界滤波。
需要说明的是,各个操作的具体实现还可以对应参照图6所示的方法实施例的相应描述。
在图12所描述的终端120中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
请参见图13,图13是本发明实施例提供的又一种终端130,该终端130包括处理器1301和存储器1302,该处理器1301和存储器1302通过总线相互连接。
存储器1302包括但不限于是随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、或便携式只读存储器(CD-ROM),该存储器1302用于相关指令及数据。
处理器1301可以是一个或多个中央处理器(英文:Central Processing Unit,简称:CPU),在处理器1301是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该终端130中的处理器1301用于读取该存储器1302中存储的程序代码,执行以下操作:
确定目标图像中的第一待滤波块的第一滤波边界属于该目标图像的像素区域的边界,该目标图像为M个像素区域所拼接成的平面图像,该M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和该全景图像的球心三点一线,则该第一点的像素值等于该第二点的像素值,该第一点属于该M面体上的点,该第二点属于该全景图像上的点;该M面体上的点用于构成包含像素点的该像素区域,M大于等于4;
使用多个参考像素点和该第一待滤波块中的多个目标像素点对该第一滤波边界滤波,该第一待滤波块在第一像素区域内且该参考像素点在第二像素区域内,该第一像素区域和该第二像素区域在该M面体中相接,该球心与该多个参考像素点的连线的延长线与该第一待滤波块所属的像素区域所在的平面的多个交点,与该多个目标像素点以该第一滤波边界为对称轴对称,在该M面体中该第一滤波边界在该第一像素区域和该第二像素区域相接的棱上。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
在一种可选的方案中,该处理器1301还用于确定第二待滤波块的第二滤波边界不属于该目标图像的像素区域的边界;根据该目标图像中该第二滤波边界两侧的像素点对该第二滤波边界滤波。
在又一种可选的方案中,对该第一滤波边界滤波时参照的边界滤波强度BS为根据该第一待滤波块的编码信息和滤波参考块的编码信息计算得到,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
在又一种可选的方案中,对该第一滤波边界滤波时参照的滤波决策用到的像素值为该多个目标像素点的像素值和该多个参考像素点的像素值;用到的编码信息为该第一待滤波块的编码信息和滤波参考块的编码信息,该滤波参考块存在一条边界与该第一滤波边界在该M面体的一条棱上重合。
在又一种可选的方案中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
在又一种可选的方案中,该多个参考像素点包括至少一个特殊像素点,该特殊像素点的像素值为使用该特殊像素点周围的像素点的像素值采用插值法计算得到。
需要说明的是,各个操作的具体实现还可以对应参照图8所示的方法实施例的相应描述。
在图13所描述的终端130中,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,使用该第一待滤波块的第一滤波边界所在的像素边界的另一侧的像素区域中的像素点的像素值滤波,这些像素点与该第一待滤波块中将要用到的像素点在全景图像中的连线基本构成平滑的弧线,因此该第一待滤波块的内容到该另一侧的像素区域中的内容之间形变较小,去块滤波效果较好。
请参见图14,图14是本发明实施例提供的又一种终端140的结构示意图,该终端140可以包括第一确定单元1401、第二确定单元1402滤波单元1403,其中,各个单元的详细描述如下。
第一确定单元1401用于确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4。第二确定单元1402用于在该目标图像中确定该待滤波块的滤波参考块。滤波单元1403用于根据该待滤波块和该滤波参考块,对该滤波边界滤波。
通过运行上述单元,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
在一种可选的方案中,该第一确定单元1401具体用于根据该滤波边界在该目标图像中的坐标以及预先确定的该M面体的面图像的边界的像素点在该目标图像中的坐标,确定该滤波边界属于该面图像的边界。
在又一种可选的方案中,该第二确定单元1402具体用于根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。
在又一种可选的方案中,该第二确定单元1402具体用于根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。
在又一种可选的方案中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
在又一种可选的方案中,该第二确定单元在该目标图像中确定该待滤波块的滤波参考块,具体为:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。
在又一种可选的方案中,该第二确定单元1402具体用于:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。
在又一种可选的方案中,该终端140还包括:第三确定单元,用于确定该滤波参考块的像素点的校正像素值;对应的,该第二确定单元根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,具体为:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略。
在又一种可选的方案中,该第三确定单元具体用于确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。
在又一种可选的方案中,该终端还包括:计算单元,用于在当该交点与该一个面图像中的所有整像素点不重合时,采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;获取单元,用于将该插值获得的像素值作为该对应点的像素值。
在又一种可选的方案中,当确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,该滤波单元用于根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。
在又一种可选的方案中,还包括:生成单与,用于在该滤波单元根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波。
需要说明的是,各个操作的具体实现还可以对应参照图9所示的方法实施例的相应描述。
在图14所描述的终端140中,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
请参见图15,图15是本发明实施例提供的又一种终端150,该终端150包括处理器1501和存储器1502,该处理器1501和存储器1502通过总线相互连接。
存储器1502包括但不限于是随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、或便携式只读存储器(CD-ROM),该存储器1502用于相关指令及数据。
处理器1501可以是一个或多个中央处理器(英文:Central Processing Unit,简称:CPU),在处理器1501是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该终端150中的处理器1501用于读取该存储器1502中存储的程序代码,执行以下操作:
确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,该目标图像为M面体的该面图像拼接成的平面图像,该面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;在该目标图像中确定该待滤波块的滤波参考块;根据该待滤波块和该滤波参考块,对该滤波边界滤波。
通过执行上述操作,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
在一种可选的方案中,该处理器1501确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,具体为:根据该滤波边界在该目标图像中的坐标以及预先确定的该M面体的面图像的边界的像素点在该目标图像中的坐标,确定该滤波边界属于该面图像的边界。
在又一种可选的方案中,该处理器1501根据该待滤波块和该滤波参考块,对该滤波边界滤波,具体为:根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,该第一像素点集合和该第二像素点集合分别和该滤波边界相邻。
在又一种可选的方案中,该处理器1501根据该待滤波块和该滤波参考块,对该滤波边界滤波,具体为:根据该待滤波块的编码信息和该滤波参考块的编码信息,确定用于该滤波的滤波强度。
在又一种可选的方案中,该编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
在又一种可选的方案中,该处理器1501在该目标图像中确定该待滤波块的滤波参考块,具体为:在该M面体中确定该待滤波块的第一邻接块,该第一邻接块和该待滤波块的交界与该滤波边界重合;根据预先配置的布局信息确定该第一邻接块在该目标图像中的位置,该布局信息表征了该M面体的面图像在该目标图像中的拼接关系,该拼接关系包括该M面体的各个面图像在该目标图像中拼接的排列顺序和旋转角度中的至少一者;确定该位置处的该第一邻接块为该滤波参考块。
在又一种可选的方案中,该处理器1501在该目标图像中确定该待滤波块的滤波参考块,具体为:在该目标图像中确定该待滤波块的第二邻接块作为该滤波参考块,该第二邻接块和该待滤波块的交界与该滤波边界重合。
在又一种可选的方案中,在该确定该第二邻接块为该滤波参考块之后,该处理器1501还用于:确定该滤波参考块的像素点的校正像素值;对应的,该根据该待滤波块的第一像素点集合中的每个像素点的像素值和该滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于该滤波的滤波策略,包括:根据该待滤波块的第一像素点集合的像素值和该滤波参考块的第二像素点集合的校正像素值,确定用于该滤波的滤波策略。
在又一种可选的方案中,该处理器1501确定该滤波参考块的像素点的校正像素值,具体为:确定该滤波参考块的像素点的对应点的像素值作为该校正像素值,该对应点在该M面体中位于该滤波参考块的像素点和该M面体的体心的连线与该M面体的一个面图像的交点,该滤波参考块的像素点和该交点不在同一个面图像上。
在又一种可选的方案中,当该交点与该一个面图像中的所有整像素点不重合时,该处理器1501还用于:采用该一个面图像中该交点周边的像素点插值计算出该交点的像素值;将该插值获得的像素值作为该对应点的像素值。
在又一种可选的方案中,当该确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,该处理器1501还用于:根据该目标图像中该滤波边界两侧的像素点对该滤波边界滤波。
在又一种可选的方案中,该处理器1501根据该待滤波块的像素点和该滤波参考块的像素点,对该滤波边界滤波之后,还用于:生成标识,该标识用于表征已完成对该待滤波块的该滤波边界的滤波
需要说明的是,各个操作的具体实现还可以对应参照图9所示的方法实施例的相应描述。
在图15所描述的终端150中,终端在对由球形的全景图像的像素点映射到M面体形成M个面图像所拼接出的二维平面图像中的待滤波块滤波时,不使用该二维平面中与该待滤波块以该滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该待滤波块以该滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该待滤波块中的内容的连续性较强,去块滤波效果较好。
下面针对对本发明实施例中的终端的结构做一下补充说明。
图16是视频编解码装置或终端160的示意性框图,该装置或终端160可以为上述终端100、终端110、终端120、终端130、终端140、终端150等。
终端50可以例如是无线通信系统的移动终端或者用户设备。应理解,可以在可能需要对视频图像进行编码和解码,或者编码,或者解码的任何终端或者装置内实施本发明的实施例。
装置160可以包括用于并入和保护设备的壳90。装置160还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中,显示器可以是适合于显示图像或者视频的任何适当的显示器技术。装置160还可以包括小键盘34。在本发明的其它实施例中,可以运用任何适当的数据或者用户接口机制。例如,可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入,该音频输入可以是数字或者模拟信号输入。装置160还可以包括如下音频输出设备,该音频输出设备在本发明的实施例中可以是以下各项中的任何一项:耳机38、扬声器或者模拟音频或者数字音频输出连接。装置160也可以包括电池40,在本发明的其它实施例中,设备可以由任何适当的移动能量设备,比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中,装置160还可以包括任何适当的近程通信解决方案,比如蓝牙无线连接或者USB/火线有线连接。
装置160可以包括用于控制装置160的控制器56或者处理器。控制器56可以连接到存储器58,该存储器在本发明的实施例中可以存储形式为图像的数据和音频的数据,和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器电路54。
装置160还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46,例如UICC和UICC读取器。
装置160还可以包括无线电接口电路52,该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置160还可以包括天线44,该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本发明的一些实施例中,装置160包括能够记录或者检测单帧的相机,编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本发明的一些实施例中,装置可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本发明的一些实施例中,装置160可以通过无线或者有线连接接收图像用于编码/解码。
图17是根据本发明实施例的另一视频编解码系统170的示意性框图。如图17所示,视频编解码系统170包含源装置62及目的地装置72。源装置62产生经编码视频数据。因此,源装置62可被称作视频编码装置或视频编码设备。目的地装置72可解码由源装置62产生的经编码视频数据。因此,目的地装置72可被称作视频解码装置或视频解码设备。源装置62及目的地装置72可为视频编解码装置或视频编解码设备的实例。源装置62及目的地装置72可包括广泛范围的装置,包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者。本发明各个实施例中的终端可以为该源装置62,也可能为该目的装置72。
目的地装置72可经由信道16接收来自源装置62的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置62移动到目的地装置72的一个或多个媒体及/或装置。在一个实例中,信道16可包括使源装置62能够实时地将编码后的视频数据直接发射到目的地装置72的一个或多个通信媒体。在此实例中,源装置62可根据通信标准(例如,无线通信协议)来调制编码后的视频数据,且可将调制后的视频数据发射到目的地装置72。所述一个或多个通信媒体可包含无线及/或有线通信媒体,例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站,或促进从源装置62到目的地装置72的通信的其它设备。
在另一实例中,信道16可包含存储由源装置62产生的编码后的视频数据的存储媒体。在此实例中,目的地装置72可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道16可包含文件服务器或存储由源装置62产生的编码后的视频数据的另一中间存储装置。在此实例中,目的地装置72可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置72的服务器类型。实例文件服务器包含web服务器(例如,用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置,及本地磁盘驱动器。
目的地装置72可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用场景,示例性的,可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统170可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图17的实例中,源装置62包含视频源18、视频编码器70及输出接口22。在一些实例中,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器70可编码来自视频源18的视频数据。在一些实例中,源装置62经由输出接口22将编码后的视频数据直接发射到目的地装置72。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置72稍后存取以用于解码及/或播放。
在图17的实例中,目的地装置72包含输入接口28、视频解码器90及显示装置32。在一些实例中,输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置72整合或可在目的地装置72外部。一般来说,显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器70及视频解码器90可根据视频压缩标准(例如,高效率视频编解码H.265标准)而操作,且可遵照HEVC测试模型(HM)。
或者,视频编码器70及视频解码器90可根据其它专属或行业标准而操作,所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual,ITU-TH.264(还称为ISO/IECMPEG-4AVC),包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解,本发明的技术不限于任何特定编解码标准或技术。
此外,图17仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如,单侧的视频编码或视频解码)。在其它实例中,从本地存储器检索数据,经由网络流式传输数据,或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器,及/或解码装置可从存储器检索数据且解码该数据。较多情况下,通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。
视频编码器70及视频解码器90各自可实施为多种合适电路中的任一者,例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施,则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中,且可使用一个或多个处理器执行硬件中的指令以执行本发明的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器70及视频解码器90中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
本发明大体上可指代视频编码器70将某一信息“用信号发送”到另一装置(例如,视频解码器90)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者,此通信可在一时间跨度上发生,例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生,所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。
综上所述,通过实施本发明实施例,终端在对由球形的全景图像的像素点映射到M面体形成M个像素区域所拼接出的二维平面图像中的第一待滤波块滤波时,不使用该二维平面中与该第一待滤波块以该第一滤波边界为界线的块中的像素点的像素值来滤波,而是使用该多面体上与该第一待滤波块以该第一滤波边界为界线的滤波参考块中的像素点的像素值滤波,由于该滤波参考块中的像素值与该第一待滤波块中的像素值是由全景图像中相邻部分的像素值映射得到,因此该滤波参考块与该第一待滤波块中的内容的连续性较强,去块滤波效果较好。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟等各种可以存储程序代码的介质。
以上实施例仅揭露了本发明中较佳实施例,不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (44)

1.一种去块滤波方法,其特征在于,包括:
确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界,所述目标图像为M个像素区域所拼接成的平面图像,所述M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和所述全景图像的球心三点一线,则所述第一点的像素值等于所述第二点的像素值,所述第一点属于所述M面体上的点,所述第二点属于所述全景图像上的点;所述M面体上的点用于构成包含像素点的所述像素区域,M大于等于4;
基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
2.根据权利要求1所述的方法,其特征在于,所述确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界之后,所述基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波之前,所述方法还包括:
根据预先配置的布局信息在所述目标图像中确定所述第一待滤波块的滤波参考块,所述布局信息指示了所述M个像素区域在所述M面体中的连接关系。
3.根据权利要求1或2所述的方法,其特征在于,所述确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界,包括:
根据预存的目标图像的像素区域的边界上的点的坐标以及所述第一待滤波块的第一滤波边界上的点的坐标,确定所述第一滤波边界属于所述像素区域的边界。
4.根据权利要求1或2所述的方法,其特征在于,所述基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波,包括:
根据所述M面体中所述第一滤波边界两侧的像素点对所述第一滤波边界滤波。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
确定第二待滤波块的第二滤波边界不属于所述目标图像的像素区域的边界;
根据所述目标图像中所述第二滤波边界两侧的像素点对所述第二滤波边界滤波。
6.根据权利要求1或2所述的方法,其特征在于,所述基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波之后,所述方法还包括:
生成参考标识,所述参考标识用于指示滤波过程中遍历到所述滤波参考块时不再对所述滤波参考块中靠近所述第一待滤波块的边界滤波。
7.一种去块滤波方法,其特征在于,包括:
确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界,所述目标图像为M个像素区域所拼接成的平面图像,所述M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和所述全景图像的球心三点一线,则所述第一点的像素值等于所述第二点的像素值,所述第一点属于所述M面体上的点,所述第二点属于所述全景图像上的点;所述M面体上的点用于构成包含像素点的所述像素区域,M大于等于4;
使用多个参考像素点和所述第一待滤波块中的多个目标像素点对所述第一滤波边界滤波,所述第一待滤波块在第一像素区域内且所述参考像素点在第二像素区域内,所述第一像素区域和所述第二像素区域在所述M面体中相接,所述球心与所述多个参考像素点的连线的延长线与所述第一待滤波块所属的像素区域所在的平面的多个交点,与所述多个目标像素点以所述第一滤波边界为对称轴对称,在所述M面体中所述第一滤波边界在所述第一像素区域和所述第二像素区域相接的棱上。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
确定第二待滤波块的第二滤波边界不属于所述目标图像的像素区域的边界;
根据所述目标图像中所述第二滤波边界两侧的像素点对所述第二滤波边界滤波。
9.根据权利要求7或8所述的方法,其特征在于,对所述第一滤波边界滤波时参照的边界滤波强度BS为根据所述第一待滤波块的编码信息和滤波参考块的编码信息计算得到,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
10.根据权利要求7或8所述的方法,其特征在于,对所述第一滤波边界滤波时参照的滤波决策用到的像素值为所述多个目标像素点的像素值和所述多个参考像素点的像素值;用到的编码信息为所述第一待滤波块的编码信息和滤波参考块的编码信息,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
11.根据权利要求9所述的方法,其特征在于,所述编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
12.根据权利要求7或8所述的方法,其特征在于,所述多个参考像素点包括至少一个特殊像素点,所述特殊像素点的像素值为使用所述特殊像素点周围的像素点的像素值采用插值法计算得到。
13.一种终端,其特征在于,包括:
第一确定单元,用于确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界,所述目标图像为M个像素区域所拼接成的平面图像,所述M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和所述全景图像的球心三点一线,则所述第一点的像素值等于所述第二点的像素值,所述第一点属于所述M面体上的点,所述第二点属于所述全景图像上的点;所述M面体上的点用于构成包含像素点的所述像素区域,M大于等于4;
滤波单元,用于基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
14.根据权利要求13所述的终端,其特征在于,还包括:
第二确定单元,用于在所述第一确定单元确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界之后,以及所述滤波单元基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波之前,根据预先配置的布局信息在所述目标图像中确定所述第一待滤波块的滤波参考块,所述布局信息指示了所述M个像素区域在所述M面体中的连接关系。
15.根据权利要求13或14所述的终端,其特征在于,所述第一确定单元具体用于根据预存的目标图像的像素区域的边界上的点的坐标以及所述第一待滤波块的第一滤波边界上的点的坐标,确定所述第一滤波边界属于所述像素区域的边界。
16.根据权利要求13或14所述的终端,其特征在于,所述滤波单元具体用于根据所述M面体中所述第一滤波边界两侧的像素点对所述第一滤波边界滤波。
17.根据权利要求13或14所述的终端,其特征在于:
所述第一确定单元还用于确定第二待滤波块的第二滤波边界不属于所述目标图像的像素区域的边界;
所述滤波单元还用于根据所述目标图像中所述第二滤波边界两侧的像素点对所述第二滤波边界滤波。
18.根据权利要求13或14所述的终端,其特征在于,还包括:
生成单元,用于在所述滤波单元基于所述第一待滤波块中的像素点和所述目标图像中的滤波参考块中的像素点对所述第一滤波边界滤波之后,生成参考标识,所述参考标识用于指示滤波过程中遍历到所述滤波参考块时不再对所述滤波参考块中靠近所述第一待滤波块的边界滤波。
19.一种终端,其特征在于,包括:
第一确定单元,用于确定目标图像中的第一待滤波块的第一滤波边界属于所述目标图像的像素区域的边界,所述目标图像为M个像素区域所拼接成的平面图像,所述M个像素区域为包围球形的全景图像的M面体的M个面,若第一点、第二点和所述全景图像的球心三点一线,则所述第一点的像素值等于所述第二点的像素值,所述第一点属于所述M面体上的点,所述第二点属于所述全景图像上的点;所述M面体上的点用于构成包含像素点的所述像素区域,M大于等于4;
滤波单元,用于使用多个参考像素点和所述第一待滤波块中的多个目标像素点对所述第一滤波边界滤波,所述第一待滤波块在第一像素区域内且所述参考像素点在第二像素区域内,所述第一像素区域和所述第二像素区域在所述M面体中相接,所述球心与所述多个参考像素点的连线的延长线与所述第一待滤波块所属的像素区域所在的平面的多个交点,与所述多个目标像素点以所述第一滤波边界为对称轴对称,在所述M面体中所述第一滤波边界在所述第一像素区域和所述第二像素区域相接的棱上。
20.根据权利要求19所述的终端,其特征在于:
所述第一确定单元还用于确定第二待滤波块的第二滤波边界不属于所述目标图像的像素区域的边界;
所述滤波单元还用于根据所述目标图像中所述第二滤波边界两侧的像素点对所述第二滤波边界滤波。
21.根据权利要求19或20所述的终端,其特征在于,对所述第一滤波边界滤波时参照的边界滤波强度BS为根据所述第一待滤波块的编码信息和滤波参考块的编码信息计算得到,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
22.根据权利要求19或20所述的终端,其特征在于,对所述第一滤波边界滤波时参照的滤波决策用到的像素值为所述多个目标像素点的像素值和所述多个参考像素点的像素值;用到的编码信息为所述第一待滤波块的编码信息和滤波参考块的编码信息,所述滤波参考块存在一条边界与所述第一滤波边界在所述M面体的一条棱上重合。
23.根据权利要求21所述的终端,其特征在于,所述编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
24.根据权利要求19或20所述的终端,其特征在于,所述多个参考像素点包括至少一个特殊像素点,所述特殊像素点的像素值为使用所述特殊像素点周围的像素点的像素值采用插值法计算得到。
25.一种去块滤波方法,其特征在于,包括:
确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,所述目标图像为M面体的所述面图像拼接成的平面图像,所述面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;
在所述目标图像中确定所述待滤波块的滤波参考块;
根据所述待滤波块和所述滤波参考块,对所述滤波边界滤波;
所述在所述目标图像中确定所述待滤波块的滤波参考块,包括:
在所述目标图像中确定所述待滤波块的第二邻接块作为所述滤波参考块,在所述M面体中所述第二邻接块和所述待滤波块的交界与所述滤波边界重合。
26.根据权利要求25所述的方法,其特征在于,所述确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,包括:
根据所述滤波边界在所述目标图像中的坐标以及预先确定的所述M面体的面图像的边界的像素点在所述目标图像中的坐标,确定所述滤波边界属于所述面图像的边界。
27.根据权利要求25或26所述的方法,其特征在于,所述根据所述待滤波块和所述滤波参考块,对所述滤波边界滤波,包括:
根据所述待滤波块的第一像素点集合中的每个像素点的像素值和所述滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于所述滤波的滤波策略,所述第一像素点集合和所述第二像素点集合分别和所述滤波边界相邻。
28.根据权利要求25或26所述的方法,其特征在于,所述根据所述待滤波块和所述滤波参考块,对所述滤波边界滤波,包括:
根据所述待滤波块的编码信息和所述滤波参考块的编码信息,确定用于所述滤波的滤波强度。
29.根据权利要求28所述的方法,其特征在于,所述编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
30.根据权利要求25或26所述的方法,其特征在于,在所述确定所述第二邻接块为所述滤波参考块之后,还包括:
确定所述滤波参考块的像素点的校正像素值;
对应的,所述根据所述待滤波块的第一像素点集合中的每个像素点的像素值和所述滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于所述滤波的滤波策略,包括:
根据所述待滤波块的第一像素点集合的像素值和所述滤波参考块的第二像素点集合的校正像素值,确定用于所述滤波的滤波策略。
31.根据权利要求30所述的方法,其特征在于,所述确定所述滤波参考块的像素点的校正像素值,包括:
确定所述滤波参考块的像素点的对应点的像素值作为所述校正像素值,所述对应点在所述M面体中位于所述滤波参考块的像素点和所述M面体的体心的连线与所述M面体的一个面图像的交点,所述滤波参考块的像素点和所述交点不在同一个面图像上。
32.根据权利要求31所述的方法,其特征在于,当所述交点与所述一个面图像中的所有整像素点不重合时,还包括:
采用所述一个面图像中所述交点周边的像素点插值计算出所述交点的像素值;
将所述插值获得的像素值作为所述对应点的像素值。
33.根据权利要求25或26所述的方法,其特征在于,当所述确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,还包括:
根据所述目标图像中所述滤波边界两侧的像素点对所述滤波边界滤波。
34.根据权利要求25或26所述的方法,其特征在于,所述根据所述待滤波块的像素点和所述滤波参考块的像素点,对所述滤波边界滤波之后,还包括:
生成标识,所述标识用于表征已完成对所述待滤波块的所述滤波边界的滤波。
35.一种终端,其特征在于,包括:
第一确定单元,用于确定目标图像中的待滤波块的滤波边界属于任一个面图像的边界,所述目标图像为M面体的所述面图像拼接成的平面图像,所述面图像为全景图像在一个方向上的投影平面图像,其中M大于等于4;
第二确定单元,用于在所述目标图像中确定所述待滤波块的滤波参考块;
滤波单元,用于根据所述待滤波块和所述滤波参考块,对所述滤波边界滤波;
在所述目标图像中确定所述待滤波块的滤波参考块方面,所述第二确定单元具体用于:在所述目标图像中确定所述待滤波块的第二邻接块作为所述滤波参考块,在所述M面体中所述第二邻接块和所述待滤波块的交界与所述滤波边界重合。
36.根据权利要求35所述的终端,其特征在于,所述第一确定单元具体用于根据所述滤波边界在所述目标图像中的坐标以及预先确定的所述M面体的面图像的边界的像素点在所述目标图像中的坐标,确定所述滤波边界属于所述面图像的边界。
37.根据权利要求35或36所述的终端,其特征在于,所述第二确定单元具体用于根据所述待滤波块的第一像素点集合中的每个像素点的像素值和所述滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于所述滤波的滤波策略,所述第一像素点集合和所述第二像素点集合分别和所述滤波边界相邻。
38.根据权利要求35或36所述的终端,其特征在于,所述第二确定单元具体用于根据所述待滤波块的编码信息和所述滤波参考块的编码信息,确定用于所述滤波的滤波强度。
39.根据权利要求38所述的终端,其特征在于,所述编码信息包括量化参数、编码模式、量化残差系数和运动参数中至少一项。
40.根据权利要求35或36所述的终端,其特征在于,所述终端还包括:
第三确定单元,用于确定所述滤波参考块的像素点的校正像素值;
对应的,所述第二确定单元根据所述待滤波块的第一像素点集合中的每个像素点的像素值和所述滤波参考块的第二像素点集合中的每个像素点的像素值,确定用于所述滤波的滤波策略,具体为:
根据所述待滤波块的第一像素点集合的像素值和所述滤波参考块的第二像素点集合的校正像素值,确定用于所述滤波的滤波策略。
41.根据权利要求40所述的终端,其特征在于,所述第三确定单元具体用于确定所述滤波参考块的像素点的对应点的像素值作为所述校正像素值,所述对应点在所述M面体中位于所述滤波参考块的像素点和所述M面体的体心的连线与所述M面体的一个面图像的交点,所述滤波参考块的像素点和所述交点不在同一个面图像上。
42.根据权利要求41所述的终端,其特征在于,所述终端还包括:
计算单元,用于在当所述交点与所述一个面图像中的所有整像素点不重合时,采用所述一个面图像中所述交点周边的像素点插值计算出所述交点的像素值;
获取单元,用于将所述插值获得的像素值作为所述对应点的像素值。
43.根据权利要求35或36所述的终端,其特征在于,当确定目标图像中的待滤波块的滤波边界不属于任一面图像的边界时,所述滤波单元用于根据所述目标图像中所述滤波边界两侧的像素点对所述滤波边界滤波。
44.根据权利要求35或36所述的终端,其特征在于,还包括:
生成单与,用于在所述滤波单元根据所述待滤波块的像素点和所述滤波参考块的像素点,对所述滤波边界滤波之后,生成标识,所述标识用于表征已完成对所述待滤波块的所述滤波边界的滤波。
CN201611061582.XA 2016-11-25 2016-11-25 一种去块滤波方法及终端 Active CN108111851B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611061582.XA CN108111851B (zh) 2016-11-25 2016-11-25 一种去块滤波方法及终端
EP17874834.9A EP3531698A4 (en) 2016-11-25 2017-08-23 METHOD AND TERMINAL OF RELEASE FILTER
PCT/CN2017/098647 WO2018095087A1 (zh) 2016-11-25 2017-08-23 一种去块滤波方法及终端
US16/416,798 US20190273929A1 (en) 2016-11-25 2019-05-20 De-Blocking Filtering Method and Terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611061582.XA CN108111851B (zh) 2016-11-25 2016-11-25 一种去块滤波方法及终端

Publications (2)

Publication Number Publication Date
CN108111851A CN108111851A (zh) 2018-06-01
CN108111851B true CN108111851B (zh) 2020-12-22

Family

ID=62194747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611061582.XA Active CN108111851B (zh) 2016-11-25 2016-11-25 一种去块滤波方法及终端

Country Status (4)

Country Link
US (1) US20190273929A1 (zh)
EP (1) EP3531698A4 (zh)
CN (1) CN108111851B (zh)
WO (1) WO2018095087A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
WO2020003257A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Boundary filtering for sub-block
WO2020007094A1 (zh) * 2018-07-02 2020-01-09 浙江大学 一种全景图像滤波方法及装置
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
WO2020042185A1 (zh) * 2018-08-31 2020-03-05 深圳市大疆创新科技有限公司 视频处理方法及相关装置
CN110942428A (zh) * 2018-09-24 2020-03-31 浙江大学 一种全景图像滤波方法及装置
CN113994671B (zh) * 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
KR20220020268A (ko) 2019-06-14 2022-02-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 유닛 경계들 및 가상 경계들의 처리
EP3981150A4 (en) 2019-07-09 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. SAMPLE DETERMINATION FOR ADAPTIVE LOOP FILTERING
PH12022550067A1 (en) 2019-07-11 2023-04-12 Beijing Bytedance Network Tech Co Ltd Sample padding in adaptive loop filtering
CN114175637B (zh) 2019-07-15 2024-04-12 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
WO2021054677A1 (ko) * 2019-09-18 2021-03-25 주식회사 비원 영상기술연구소 인-루프 필터 기반의 영상 부호화/복호화 방법 및 장치
PH12022550699A1 (en) 2019-09-18 2023-04-03 B1 Institute Image Technology Inc In-loop filter-based image encoding/decoding method and apparatus
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
CN117956146A (zh) 2019-10-10 2024-04-30 北京字节跳动网络技术有限公司 自适应环路滤波中不可用样点位置处的填充处理

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004196A (zh) * 2010-06-25 2013-03-27 高通股份有限公司 在经压缩位流中包含切换式内插滤波器系数
CN104641652A (zh) * 2012-09-20 2015-05-20 高通股份有限公司 用于视频译码的帧封装立体三维(3d)视频数据的指示

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787207A (en) * 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
KR20130079261A (ko) * 2011-12-30 2013-07-10 (주)휴맥스 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치
CN102685532B (zh) * 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
KR102457810B1 (ko) * 2014-03-19 2022-10-21 삼성전자주식회사 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
CN104010180B (zh) * 2014-06-13 2017-01-25 华为技术有限公司 三维视频滤波方法和装置
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
CN106664403B (zh) * 2014-10-20 2020-10-16 谷歌有限责任公司 连续预测域
CN105163129B (zh) * 2015-09-22 2018-01-23 杭州电子科技大学 梯度图引导的基于深度重采样3d‑hevc编解码方法
EP3354029B1 (en) * 2015-09-23 2025-01-15 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video
KR102523997B1 (ko) * 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
CN105959702B (zh) * 2016-05-30 2019-03-22 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN106162139B (zh) * 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
EP3301929A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004196A (zh) * 2010-06-25 2013-03-27 高通股份有限公司 在经压缩位流中包含切换式内插滤波器系数
CN104641652A (zh) * 2012-09-20 2015-05-20 高通股份有限公司 用于视频译码的帧封装立体三维(3d)视频数据的指示

Also Published As

Publication number Publication date
EP3531698A1 (en) 2019-08-28
CN108111851A (zh) 2018-06-01
US20190273929A1 (en) 2019-09-05
WO2018095087A1 (zh) 2018-05-31
EP3531698A4 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN108111851B (zh) 一种去块滤波方法及终端
US11798166B2 (en) Sphere pole projections for efficient compression of 360-degree video
JP7461974B2 (ja) クロマ予測方法及びデバイス
US11463700B2 (en) Video picture processing method and apparatus
US10484682B2 (en) Reference picture derivation and motion compensation for 360-degree video coding
US10699389B2 (en) Fisheye rendering with lens distortion correction for 360-degree video
KR20190054060A (ko) 360도 비디오 정보의 시그널링을 위한 방법 및 시스템
TW201840178A (zh) 適應性擾動立方體之地圖投影
CN109922348B (zh) 图像编解码方法和装置
WO2018107800A1 (zh) 一种运动矢量解码方法及解码器
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
US12155853B2 (en) Picture encoding and decoding method and apparatus for video sequence
CN111246208B (zh) 视频处理方法、装置及电子设备
CN112352434B (zh) 用于帧内预测的基于宽高比滤波的方法和装置
US20230017934A1 (en) Image encoding and decoding methods and apparatuses
US11706444B2 (en) Inter prediction method and apparatus
EP3841558B1 (en) Method and apparatus for intra reference sample interpolation filter switching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant