CN110505488B - 扩展预测像素数组的图像编码或解码方法 - Google Patents

Abstract

本发明提供一种图像压缩方法。对一个当前块进行2维匹配方式的编码或解码时，每当有新的已重构的参考像素样值产生，即有新的参考区域产生从而有新出现的新形状的参考区域边界时，首先对已重构的参考像素样值的区域进行扩展，即在边界（至少包括所述新出现的新形状的参考区域边界，也允许包括部分或全部原有边界）外一定范围内填充按照预先制定的规则得到的像素数值，从而在2维匹配编码或解码的过程中，允许匹配参考串块延伸到已重构的参考像素样值的区域之外。

Description

扩展预测像素数组的图像编码或解码方法

本申请是下列原申请的的分案申请：

原申请的申请日：2015-03-18

原申请的申请号：2015101185917

原申请的发明创造名称：扩展参考像素样值集的图像编码或解码方法

技术领域

本发明涉及一种数字视频压缩编码及解码系统，特别是计算机屏幕图像和视频的编码及解码的方法。

背景技术

图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是按照一定顺序对一帧一帧图像进行编码。在任一时刻，正在编码中的那一帧称为当前编码帧。同样，对压缩的数字视频信号的视频码流进行解码就是按照同样顺序对一帧一帧图像的视频码流进行解码。在任一时刻，正在解码中的那一帧称为当前解码帧。当前编码帧或当前解码帧都统称为当前帧。

在几乎所有视频图像编码的国际标准如MPEG-1/2/4，H.264/AVC以及最新国际视频压缩标准HEVC（High Efficiency Video Coding）中，对一帧图像进行编码（以及相应的解码）时，把一帧图像划分成若干块MxM像素的子图像，称为“编码单元（Coding Unit简称CU）”，以CU为基本编码单位，对子图像一块一块进行编码。常用的M的大小是8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧的各个编码单元依次进行编码。同样，解码时也是对各帧的各个编码单元按照同样的顺序依次进行解码，最终重构出整个视频图像序列。

为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一帧图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一帧图像总是先划分成大小完全相同具有NxN像素的“最大编码单元（Largest Coding Unit简称LCU）”，然后每个LCU再进一步划分成树状结构的多个大小不一定相同的CU。因此，LCU也称为“编码树单元（Coding Tree Unit简称CTU）”。与CTU同样大小的CU称为深度D为0（D=0）的CU。把一个D=0的CU四等分得到的四分之一大小的CU称为深度D为1（D=1）的CU。把一个D=1的CU再四等分得到的大小更小的CU称为深度D为2（D=2）的CU。把一个D=2的CU再四等分得到的大小更小的CU称为深度D为3（D=3）的CU。把一个D=3的CU再四等分得到的大小更小的CU称为深度D为4（D=4）的CU。使用“深度”和“序号”的概念是为了简便地表示CU的形状与大小。例如，一帧图像先划分成大小完全相同的64x64像素的深度D=0的LCU（N＝64）。一个LCU可以如图1所示由2个32x32像素的D=1的CU（图1中编号为0和15的CU）、6个16x16像素的D=2的CU（图1中编号为1、2、3、4、9和10的CU）和8个8x8像素的D=3的CU（图1中编号为5、6、7、8、11、12、13和14的CU）构成。这样16个成树状结构的CU构成一个CTU。一个LCU也可以如图2所示由3个32x32像素的D=1的CU（图2中编号为0、5和6的CU）和4个16x16像素的D=2的CU（图2中编号为1、2、3和4的CU）构成，这样7个成树状结构的CU也构成一个CTU。因此，在预定的树状结构划分规则（如最简单的单纯四等分）下，深度和序号本身没有特别含义，仅是树状结构的CU的形状与大小的一种简便的等价的表示方式。对一帧图像进行编码，就是依次对一个一个CTU中的一个一个CU进行编码。在任一时刻，正在编码中的CU称为当前编码CU。对一帧图像进行解码，也是按照同样的顺序依次对一个一个CTU中的一个一个CU进行解码。在任一时刻，正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU都统称为当前CU。图1和图2中的CU编号的顺序也正是对一个一个CU进行编码或解码的顺序。

一个CTU内的所有CU，都有一个深度D和一个序号。如图3所示，深度D=0的CU只有一个，其序号为0。如图4所示，深度D=1的CU有4个，其序号为0~3。如图5所示，深度D=2的CU有16个，其序号为0~15。如图6所示，深度D=3的CU有64个，其序号为0~63。如图7所示，深度D=4的CU有256个，其序号为0~255。

更一般地来说，图3~7也表示了对CTU的树状分割。图3是对CTU的深度D=0的分割，只有一个分割，其序号为0。图4是对CTU的深度D=1的分割，共有4个分割，其序号为0~3。图5是对CTU的深度D=2的分割，共有16个分割，其序号为0~15。图6是对CTU的深度D=3的分割，共有64个分割，其序号为0~63。图7是对CTU的深度D=4的分割，共有256个分割，其序号为0~255。

在以MPEG-1/2/4，H.264/AVC以及HEVC等为代表的现有技术中，为了提高编码效率，通常还将一个CU（最大的CU也允许是一帧图像本身）进一步划分成更小的子区域。所述子区域包括但不限于：预测单元（PU），变换单元（TU），不对称划分（AMP）的区域，二划分产生的区域，宏块，块，微块，条（宽度或高度为一个像素或一个像素分量的区域），可变大小的矩形区域，可变大小的像素串（段）或像素分量串（段）或像素索引串（段）。对一个CU进行编码（以及相应的解码）就是对一个一个子区域进行编码（以及相应的解码）。在编码中，子区域称为编码子区域，而在解码中，子区域称为解码子区域。编码子区域和解码子区域统称为编解码子区域。在现有技术中，所述子区域（特别是预测单元，变换单元，不对称划分的区域，宏块，块，微块，条的情形）常常仍然称为“块”。所以，编码子区域和解码子区域在很多情况下常分别称为编码块和解码块，统称为编解码块。相应地，在将CU进一步划分成更小的编解码子区域也称编解码块的过程中，划分的深度也进一步加大并产生新的序号，变得不再简便，特别是在非等分划分的情形下，用深度和序号来表示编解码块的形状与大小实际上已变得很复杂，因此，使用深度和序号还不如直接使用编解码块的形状与大小更方便、更清楚、更简单。

一个彩色像素有3个分量（component）组成。最常用的两种像素色彩格式（pixelcolor format）是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度（luma）分量及两个色度（chroma）分量组成的通称YUV色彩格式如YCbCr色彩格式。因此，对一个CU进行编码时，可以把一个CU分成3个分量平面（G平面、B平面、R平面或Y平面、U平面、V平面），对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像（及其CU）的平面格式（planar format），而后一种像素及其分量的排列方式称为图像（及其CU）的叠包格式（packed format）。

以像素的GBR色彩格式p[x][y]＝{g[x][y], b[x][y], r[x][y]}为例，一种平面格式的排列方式是先排列宽度为W个像素高度为H个像素的一帧图像（或者一个CU）的所有WxH个G分量，然后排列所有WxH个B分量，最后排列所有WxH个R分量：

g[1][1],g[2][1],…,g[W-1][1],g[W][1],

g[1][2],g[2][2],…,g[W-1][2],g[W][2],

………………………………………,

………………………………………,

g[1][H],g[2][H],…,g[W-1][H],g[W][H],

b[1][1],b[2][1],…,b[W-1][1],b[W][1],

b[1][2],b[2][2],…,b[W-1][2],b[W][2],

………………………………………,

………………………………………,

b[1][H],b[2][H],…,b[W-1][H],b[W][H],

r[1][1],r[2][1],…,r[W-1][1],r[W][1],

r[1][2],r[2][2],…,r[W-1][2],r[W][2],

………………………………………,

………………………………………,

r[1][H],r[2][H],…,r[W-1][H],r[W][H]。

而一种叠包格式的排列方式是先排列第一个像素的G分量，然后排列其B分量和R分量，接着排列第二个像素的G分量、B分量和R分量，等等，最后排列最后一个（第WxH个）像素的G分量、B分量和R分量：

g[1][1],b[1][1],r[1][1], g[2][1],b[2][1],r[2][1], …………, g[W][1],b[W][1],r[W][1],

g[1][2],b[1][2],r[1][2], g[2][2],b[2][2],r[2][2], …………, g[W][2],b[W][2],r[W][2],

………………………………………………………………………………………,

………………………………………………………………………………………,

g[1][H],b[1][H],r[1][H], g[2][H],b[2][H],r[2][H], ………, g[W][H],b[W][H],r[W][H]。

这种叠包格式的排列方式也可以简化地表示为：

p[1][1],p[2][1],……,p[W-1][1],p[W][1],

p[1][2],p[2][2],……,p[W-1][2],p[W][2],

…………………………………………,

…………………………………………,

p[1][H],p[2][H],……,p[W-1][H],p[W][H]。

除了以上的平面格式的排列方式和叠包格式的排列方式外，按照三个分量的不同顺序，还可以有其他多种平面格式的排列方式和叠包格式的排列方式。

YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式：1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值（pixel sample）或简单地称为一个样值（sample）。一个样值可以是一个8比特的数即一个样值占用一个字节。一个样值也可以是一个10比特的数或一个12比特的数或一个14比特的数或一个16比特的数。

在对任一个编解码块进行编码或解码时，都会产生重构像素，又分为编码或解码过程之中产生的不同程度的部分重构像素和编码或解码过程全部完成后产生的完全重构像素。如果完全重构像素样值与编码之前的原始输入像素样值有相等的数值，则所经历的编码和解码过程称为无损编码和解码。如果完全重构像素样值与编码之前的原始输入像素样值有不相等的数值，则所经历的编码和解码过程称为有损编码和解码。在对一个一个编解码块依次进行编码或解码时，所产生的重构像素样值通常都作为历史数据保存起来，用作后续编解码块的编码或解码时的参考像素样值。由于参考像素样值的唯一用途是用作后续编解码块的编码或解码时的预测像素样值，参考像素样值也称为预测像素样值或称为匹配像素样值。保存重构像素历史数据作为参考像素样值的存储空间称为参考像素样值存储空间，也称为参考像素样值集或简称为参考区域，或者也称为预测像素样值数组或称为匹配像素样值数组。参考像素样值存储空间都是有限的，只能保存一部分历史数据。参考像素样值存储空间中的历史数据也可以包括当前编解码块的重构像素样值。

随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端（云）到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量巨大，对计算机屏幕图像必须进行高效高质量的数据压缩。

充分利用计算机屏幕图像的特点，对计算机屏幕图像进行超高效率的压缩，也是最新国际视频压缩标准HEVC的一个主要目标。

计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样（pixel pattern）。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。现有的屏幕图像和视频压缩技术中使用了各种匹配方式，包括帧内预测方式、块匹配（也称为帧内运动补偿或帧内块复制）方式、微块匹配方式、微块串匹配方式、精细划分匹配方式、调色板匹配方式、1维串匹配方式，2维保形串匹配（简称为2维保形匹配）来找到各种不同大小和形状的匹配，实现对屏幕图像的高效编码。各种匹配方式中，块匹配方式具有匹配参数少从而在某些情形能够达到很高的编码效率，而包括块匹配在内的更一般的2维保形匹配方式能够在很大范围内找到相当精确的匹配从而在某些情形能够达到很高的编码效率。

块匹配方式就是用参考像素样值存储空间中的若干合适的像素样值块（称为匹配参考块或简称参考块）来近似或精确地匹配（即代表）当前CU中的像素样值块（称为匹配当前块或简称当前块）并用划分模式和/或匹配位置（统称为匹配关系参数）来记录并通过视频码流来传输匹配参考块与匹配当前块之间的关系，从而在解码端使用参考像素样值存储空间中的匹配参考块和匹配关系参数就能得到匹配当前块。匹配关系参数通常只占用很少的比特数，远少于匹配当前块本身占用的比特数，因而能达到很好的数据压缩效果。

块匹配方式中，如图8所示，匹配当前块与匹配参考块通常有相同的大小和2维形状（宽度和高度）。

块匹配方式中，把块进一步细分成微块，就成为微块匹配方式。

块匹配方式中，把块再做精细划分，就成为精细划分匹配方式。

2维保形匹配方式就是用参考像素样值集内的若干合适的像素样值（称为匹配参考样值）来近似或精确地匹配（即代表）当前CU中的像素样值（称为匹配当前样值）并用匹配位置、匹配长度和未匹配样值（统称为匹配关系参数）来记录并通过视频码流来传输匹配参考样值与匹配当前样值之间的关系，从而在解码端使用参考像素样值集内的匹配参考样值和匹配关系参数就能得到匹配当前样值。匹配关系参数通常只占用很少的比特数，远少于匹配当前样值本身占用的比特数，因而能达到很好的数据压缩效果。

2维保形匹配方式中，如图8所示，当前CU中的像素样值被分成一段一段的像素样值串，这些像素样值串（称为匹配当前串或简称当前串）都在参考像素样值集内有相应的匹配参考串或简称参考串。当前CU中在参考像素样值集内没有相应的参考像素样值的像素样值称为未匹配样值。2维保形匹配的特点是匹配当前串与匹配参考串有完全相同的2维形状。在垂直2维保形匹配中，所有匹配串的高度都一样，就是当前CU的高度。在水平2维保形匹配中，所有匹配串的宽度都一样，就是当前CU的宽度。

2维保形匹配方式是一种串匹配方式。

由于编码和解码都是以CU为单位一个一个CU进行的，在对一个当前CU进行编码或解码时，已重构的像素样值的区域和尚未编码或解码的像素样值的区域是交错连接在一起的，如图9所示。匹配参考串（块）必须保持与匹配当前串（块）完全相同的形状，因此匹配参考串（块）很有可能延伸到已重构的像素样值的区域（即参考像素样值集）之外（但匹配参考串或块不可能整个都在已重构的像素样值的区域之外），如图9中的5个匹配参考串和3个匹配参考块所示，最左边的匹配参考串有4x2个像素延伸出来，左二的匹配参考串有8x1个像素延伸出来，中间的匹配参考串有1x10个像素延伸出来，中间的匹配参考串下面的匹配参考块有2x8个像素延伸出来，右二的匹配参考串有2x1个像素延伸出来，最右边的匹配参考串有3x2个像素延伸出来，最上方的匹配参考块有8x1个像素延伸到当前图像的上边界之外，最右方的匹配参考块有1x8个像素延伸到当前图像的右边界之外。但在现有2维保形匹配方式和块匹配方式中，匹配参考串（块）是不能延伸到已重构的像素样值的区域之外，所以匹配参考串（块）必须在区域边界被截断，匹配当前串（块）也就必须被截断。这样，不但现有2维保形匹配方式和块匹配方式必须有繁复的出界处理机制，每时每刻检查匹配参考串（块）是否出界，若出界就要做特殊处理，导致运算复杂度非常大，而且也不能充分发挥2维保形匹配方式和块匹配方式的优越性。

在本专利申请中，为叙述简洁起见，2维保形匹配、微块匹配和块匹配统称为2维匹配，匹配串、匹配微块和匹配块统称为匹配串块，匹配参考串、匹配参考微块和匹配参考块统称为匹配参考串块，匹配当前串、匹配当前微块和匹配当前块统称为匹配当前串块，参考串、参考微块和参考块统称为参考串块，当前串、当前微块和当前块统称为当前串块。

需要说明的是，“匹配”是编码的操作，对应的重构和解码操作常常是“复制”。因此，各种匹配方式如块匹配方式、微块匹配方式、精细划分匹配方式、串匹配方式、2维保形匹配方式等也称为块复制方式、微块复制方式、精细划分复制方式、串复制方式、2维保形复制方式等。在编码和解码中，“匹配”本质上都是使用参考像素来预测当前编解码中的像素，因此，匹配编解码在传统上也常称为预测编解码。

发明内容

本发明的主要技术特征是在对一个当前块（如当前PU或者当前CU或者当前CTU或者当前条带或者当前图像）进行2维匹配方式的编码或解码时，每当有新的已重构的参考像素样值也称为预测像素样值或者称为匹配像素样值产生，即有新的参考区域也称为预测像素样值数组或称为匹配像素样值数组产生从而有新出现的新形成的参考区域边界也称为预测像素样值数组边界或称为匹配像素样值数组边界时，首先对已重构的参考像素样值的区域进行扩展，即在边界（至少包括所述新出现的新形成的参考区域边界也称为预测像素样值数组边界或称为匹配像素样值数组边界，也允许包括部分或全部原有边界）外一定范围内填充按照预先制定的规则得到的像素数值，从而在2维匹配编码或解码的过程中，允许匹配参考串块延伸到已重构的参考像素样值的区域之外，不需要时刻检查匹配参考串块是否出界，也可以得到更完整的匹配参考串块从而提高编码性能。从这个主要技术特征导出的一个从属技术特征是在整个编码或解码过程中的不同阶段（例如，对不同序号的当前CU进行编码或解码时）允许对同一参考区域及其边界进行多次不同的扩展，即各次扩展时，扩展的像素样值的数值不一定各次都互相相同。

图10是在对序号n的CTU的深度为2序号为2的CU进行编码或解码时，为了避免匹配参考串块的繁复的出界处理机制和提高编码性能所需要的最小扩展区域的一个例。当前CU的深度D=2（16x16像素），序号为2。新的参考区域边界是序号n的CTU中深度为2序号为1的CU的右边界和下边界。由于匹配参考串块至少有一部分在已重构的像素样值的区域之内，而匹配参考串块本身的宽度和高度不可能超过当前CU的宽度和高度，所以已重构的像素样值的区域的右边界的最小扩展区域的宽度是当前CU的宽度减一（以像素样值为单位），已重构的像素样值的区域的下边界的最小扩展区域的高度是当前CU的高度减一（以像素样值为单位）。图10也说明了对同一参考区域及其边界，可多次进行扩展，每次扩展的像素样值的数值不一定都相同。例如，图10中，对序号n的当前CTU的上边界，在进行深度为2序号为1的CU的编码或解码时，进行第一次扩展，在进行深度为2序号为2的CU的编码或解码时，进行第二次扩展，两次扩展采用不同的规则来计算扩展的像素样值的数值。再例如，图10中，对图像上边界，在参考像素是未经过去块效应滤波的重构像素时进行第一次扩展，在参考像素是经过去块效应滤波的重构像素时再进行第二次扩展，两次扩展的像素样值的数值显然不一定都相同。

本发明的编码方法中，最基本的特有技术特征就是，每编码一个当前块（如当前PU或者当前CU或者当前CTU或者当前条带或者当前图像），有新的已重构的参考像素样值产生，即有新的参考区域产生从而有新出现的新形成的参考区域边界时，首先根据当前块的深度和序号或者直接根据当前块的形状和大小，对2维的参考像素样值集区域进行边界外 扩展，即在2维的参考像素样值集区域边界（至少包括所述新形成的参考区域边界，也允许包括部分或全部原有边界）也称为预测像素样值数组边界外一定范围内填充按照预先制定的规则得到的像素数值，形成一个扩展后的参考像素样值集，然后在扩展后的参考像素样值集内进行2维匹配编码也称为预测编码，在编码过程中，允许匹配参考串块出界，无需检查匹配参考串块是否出界；在编码过程中，也可以按照预先制定的规则更新扩展区域的像素数值。

本发明的解码方法中，最基本的特有技术特征就是，依据从视频码流数据中读出的信息或者依据解码顺序计算得到当前块的深度和序号或者当前块的形状和大小，每解码一个当前块（如当前PU或者当前CU或者当前CTU或者当前条带或者当前图像），有新的已重构的参考像素样值产生，即有新的参考区域产生从而有新出现的新形成的参考区域边界 时，首先根据当前块的深度和序号或者直接根据当前块的形状和大小，对2维的参考像素样值集区域进行边界外扩展，即在2维的参考像素样值集区域边界（至少包括所述新出现的新形成的参考区域边界，也允许包括部分或全部原有边界）也称为预测像素样值数组边界外一定范围内填充按照预先制定的规则得到的像素数值，形成一个扩展后的参考像素样值集，然后在扩展后的参考像素样值集内进行2维匹配解码也称为预测解码，在解码过程中，允许匹配参考串块出界，无需检查匹配参考串块是否出界；在解码过程中，也可以按照预先制定的规则更新扩展区域的像素数值。

毫无疑问，编码和解码必须使用互相一致的像素数值进行扩展。

以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

根据本发明的一个方面，提供了一种图像编码方法，至少包括下列步骤的至少之一：

1）在编码中产生新的参考像素样值也称为预测像素样值，即产生新的参考区域也称为预测像素样值数组从而有新出现的新形成的参考区域边界也称为预测像素样值数组边界时，对参考像素样值集区域也称为预测像素样值数组进行扩展，即按照预先制定的规则，对参考像素样值集区域边界（至少包括所述新出现的新形成的参考区域边界，也允许包括部分或全部原有边界）也称为预测像素样值数组边界外一定范围的区域（如前述最小扩展区域或与边界直接相邻像素的区域）赋予像素数值，形成一个扩展的参考像素样值集也称为预测像素样值数组；

2）至少使用所述扩展的参考像素样值集也称为预测像素样值数组对编码块继续进行编码，并将编码结果写入视频码流。

根据本发明的另一个方面，还提供了一种图像解码方法，至少包括下列步骤的至少之一：

1）在解码中产生新的参考像素样值也称为预测像素样值，即产生新的参考区域也称为预测像素样值数组从而有新出现的新形成的参考区域边界也称为预测像素样值数组边界时，对参考像素样值集区域也称为预测像素样值数组进行扩展，即按照预先制定的规则，对参考像素样值集区域边界（至少包括所述新出现的新形成的参考区域边界，也允许包括部分或全部原有边界）也称为预测像素样值数组边界外一定范围的区域（如前述最小扩展区域或与边界直接相邻像素的区域）赋予像素数值，形成一个扩展的参考像素样值集也称为预测像素样值数组；

2）解析视频码流，至少使用所述扩展的参考像素样值集也称为预测像素样值数组对解码块继续进行解码。

本发明中，所述编码块或解码块是图像的一个编码区域或一个解码区域，包括以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、子编码单元SubCU、编码子块coding subblock、预测块、预测子块prediction subblock、预测单元PU、PU的子区域、子预测单元SubPU、宏块。

附图说明

图1是一个CTU的一种CU划分和树状结构例

图2是一个CTU的另一种CU划分和树状结构例

图3是一个CTU内深度D=0的CU或分割的序号

图4是一个CTU内深度D=1的4个CU或分割的序号

图5是一个CTU内深度D=2的16个CU或分割的序号

图6是一个CTU内深度D=3的64个CU或分割的序号

图7是一个CTU内深度D=4的256个CU或分割的序号

图8是2维匹配的匹配当前串（块）和匹配参考串（块）的例

图9是2维匹配的匹配参考串（块）延伸到已重构的参考像素样值集之外的情形的例

图10是为了避免匹配参考串（块）的繁复的出界处理机制所需要的最小扩展区域

图11是本发明的一个实施例的编码方法流程示意图

图12是本发明的一个实施例的解码方法流程示意图

具体实施方式

本发明的编码方法的一个实施例，其流程示意图如图11所示，至少包括如下步骤的至少之一：

1)编码块特性分析评估、前处理和编码方式选择步骤；对当前编码块和邻近编码块的像素样值特性进行分析评估，包括对像素样值进行必要的前处理，预先判断2维匹配编码方式是否适合用来对当前编码块进行编码，本步骤是可选的，即可以跳过本步骤，直接进入下一步骤；所述分析评估的办法的例：依据或参考邻近编码块的编码结果的办法，计算当前编码块中不同颜色的像素的个数的办法；所述前处理的例：样值量化、颜色量化和基于颜色的像素聚类、用调色板和索引来表示输入原始像素的颜色；

2)扩展参考像素样值集步骤；根据当前编码块的深度和序号或者直接根据当前编码块的形状和大小，对2维的参考像素样值集区域进行扩展，即在2维的参考像素样值集区域边界外一定范围内填充按照预先制定的规则得到的像素数值，所述参考像素样值集加上扩展的区域合起来形成扩展后的参考像素样值集；对参考像素样值集区域的右边界，扩展的最小宽度（以像素样值为单位）是当前编码块的宽度减一；对参考像素样值集区域的下边界，扩展的最小高度（以像素样值为单位）是当前编码块的宽度减一；这是为了避免匹配参考串块的繁复的出界处理机制所需要的最小扩展区域；实际的扩展区域可以大于所述最小扩展区域；扩展填充通常在步骤3）之前进行，但也可以在步骤3）之中再进行；扩展的区域可以全部或部分覆盖当前编码块的区域；

3)2维匹配编码步骤；使用2维匹配编码方式和所述扩展后的参考像素样值集对当前编码块进行2维匹配编码运算；在编码过程中，也可以按照预先制定的规则更新扩展区域的像素数值；所述2维匹配编码的输入是输入原始像素或其经过前处理的像素；所述2维匹配编码的输出是匹配位置、可选的匹配长度，可选的未匹配样值，匹配残差；所述匹配位置是用来表示与所述当前编码块中匹配当前样值相匹配的匹配参考样值在所述参考像素样值集内的什么位置的变量；可选地，2维匹配编码方式以可变长度的像素样值串（称为匹配当前串，其位置既可用一个2维坐标也可用一个线性地址来表示）为单位进行匹配编码；所述匹配参考样值形成所述参考像素样值集内的一个匹配串块，称为匹配参考串块，其位置也是既可用一个2维坐标也可用一个线性地址来表示，因而在2维匹配编码方式中，所述匹配位置既可用匹配参考串块的2维坐标与匹配当前串块的2维坐标之差也可用匹配参考串块的线性地址与匹配当前串块的线性地址之差，通称为位移矢量来表示；可选地，由于匹配参考串的长度（等于匹配当前串的长度）是可变的，所以可选地，还需要另一个称为匹配长度的变量来表示其长度；可选地，所述未匹配样值是依据预先确定的匹配准则在所述参考像素样值集内未找到匹配的输入原始像素样值；匹配当前串块与对应的匹配参考串块有相同的2维形状；可选地，所述未匹配样值是一个输入原始像素样值，所以也可以用其在当前编码块中的位置来表示；可选地，所述未匹配样值也可以用一个通过计算得到的有损的仿匹配样值来近似；所述匹配残差是输入原始像素样值与所述匹配参考样值之差，如果2维匹配编码方式预先确定的匹配准则是绝对精确的无损匹配，则所述匹配残差为零，即这种2维匹配编码方式就没有匹配残差作为输出，如果一种2维匹配编码方式预先确定的匹配准则是近似的有损匹配，则所述匹配残差可能不为零，另一种有损匹配的情形是首先对输入原始像素样值进行样值量化、颜色量化或者基于颜色的像素聚类的前处理，然后再进行2维匹配编码，在这种情形，由于样值量化、颜色量化或者基于颜色的像素聚类是有损的，即使2维匹配编码本身是无损的，所述匹配残差（即输入原始像素样值与所述匹配参考样值之差）也可能不为零；对所述当前编码块进行2维匹配编码的结果是I（I ≥ 0）个匹配串块和可选的J（J ≥ 0）个未匹配像素样值，输出I对（位移矢量，可选的匹配长度）和可选的J个未匹配像素样值，其中I和J不可能同时为零；

4)其余各种常用编码和重构运算步骤，完成当前编码块的所有其余编码和重构运算，对输入的原始像素、各种参数和变量进行各种常用技术，如帧内预测、帧间预测、块匹配、调色板匹配、仿匹配样值预测插值、变换、量化、逆变换、反量化、对应于预测残差和匹配残差的补偿（即取残差运算的逆运算）、预测并求残差、DPCM、一阶和高阶差分、映射、游程、索引、去块效应滤波、样值自适应补偿（Sample Adaptive Offset），的编码和重构运算以及熵编码运算；本步骤的输入是上述步骤3）的输出和输入原始像素以及来自参考像素样值存储空间和参考像素样值集的参考像素；本步骤的输出是重构像素（包括完全重构像素和不同程度的部分重构像素）和含2维匹配编码结果和其他编码结果的视频码流；所述重构像素放入参考像素样值存储空间中，用作后续2维匹配编码运算、其余各种常用编码和重构运算步骤所需要的参考像素；所述视频码流是本编码方法的最后输出，包含了对应的解码方法进行解码和重构所需要的全部语法元素，特别是匹配位置（即位移矢量）、匹配长度、未匹配样值或其位置等语法元素。

本发明的解码方法的一个实施例，其流程示意图如图12所示，至少包括如下步骤的至少之一：

1)视频码流数据解析与部分解码步骤；对输入的含匹配位置、匹配长度、未匹配样值（或其位置）的压缩数据以及所有其他语法元素压缩数据的视频码流进行熵解码，并解析出熵解码得到的各种数据的意义；把解析和部分解码（如变换解码、预测并做补偿即求残差运算的逆运算、DPCM解码、一阶和高阶差分解码、映射解码、游程解码、索引解码）后得到的匹配位置（即位移矢量）、匹配长度、未匹配样值（或其位置）等匹配关系参数输出给后续2维匹配解码步骤；把解析得到的当前解码块的深度和序号输出给后续扩展参考像素样值集步骤；特别是，依据从视频码流数据中解析得到的信息或者依据从视频码流数据中解析得到的信息再加上对当前解码块以及邻近解码块的特性进行分析评估的结果，确定新的参考区域及其新的边界；所述分析评估的办法的例：依据或参考邻近解码块的若干解码结果的办法，使用2维匹配解码方式和其他解码方式对当前解码块先做一轮部分预解码并评估部分预解码结果的办法；

2)扩展参考像素样值集步骤；根据当前解码块的深度和序号或者直接根据当前解码块的形状和大小以及在步骤1）获得的信息和结果，对2维的参考像素样值集区域进行扩展，即在2维的参考像素样值集区域边界（包括所述新的边界和部分或全部原有边界）外一定范围内填充按照预先制定的规则得到的像素数值，所述参考像素样值集加上扩展的区域合起来形成扩展后的参考像素样值集；对参考像素样值集区域的右边界，扩展的最小宽度（以像素样值为单位）是当前解码块的宽度减一；对参考像素样值集区域的下边界，扩展的最小高度（以像素样值为单位）是当前解码块的宽度减一；这是为了避免匹配参考串块的繁复的出界处理机制所需要的最小扩展区域；实际的扩展区域可以大于所述最小扩展区域；扩展填充通常在步骤3）之前进行，但也可以在步骤3）之中再进行；扩展的区域可以全部或部分覆盖当前解码块的区域；

3)2维匹配解码步骤；使用2维匹配解码方式和所述扩展后的参考像素样值集对当前解码块进行2维匹配解码运算；在解码过程中，也可以按照预先制定的规则更新扩展区域的像素数值；所述2维匹配解码运算的输入是在步骤1）中从视频码流数据中解析和解码得到的I（I ≥ 0）对（匹配位置，可选的匹配长度）和可选的J（J ≥ 0）个未匹配样值（或其位置），其中I和J不可能同时为零；所述匹配位置是用来表示从参考像素样值集内的什么位置复制匹配参考样值并将其粘贴到当前解码块的匹配当前样值的位置；显而易见，匹配当前样值是匹配参考样值的复制品，两者在数值上是相等的；可选地，2维匹配解码方式以可变长度的像素样值串（称为匹配当前串，其位置既可用一个2维坐标也可用一个线性地址来表示）为单位进行2维匹配解码；所述匹配参考样值形成所述参考像素样值集内的一个匹配串块，称为匹配参考串块，其位置也是既可用一个2维坐标也可用一个线性地址来表示，因而在2维匹配解码方式中，所述匹配位置既可用匹配参考串块的2维坐标与匹配当前串块的2维坐标之差也可用匹配参考串块的线性地址与匹配当前串块的线性地址之差，通称为位移矢量来表示，可选地，由于匹配参考串的长度（等于匹配当前串的长度）是可变的，所以还需要另一个称为匹配长度的变量来表示其长度；匹配当前串块与对应的匹配参考串块有相同的2维形状；可选地，所述未匹配样值是直接从视频码流数据中解析和解码得到的像素样值并将其粘贴到当前解码块的当前解码中像素样值的位置，所述未匹配样值通常不存在于所述参考像素样值集；可选地，如果从视频码流数据中解析和解码得到的不是未匹配样值本身而是未匹配样值的位置，那么就把未匹配样值的位置输出到后续步骤4）以计算仿匹配样值；所述2维匹配解码运算的输出是所述匹配当前样值（在数值上与匹配参考样值相等）加上可选的所述未匹配样值（或其位置）；所述匹配当前样值和可能存在的所述未匹配样值（或其位置）全部合起来就构成所述当前解码块的完整的2维匹配解码输出。

本发明适用于叠包格式图像或CU的编码和解码。本发明也同样适用于分量平面格式图像或CU的编码和解码。本发明适用于无损2维匹配编码和解码。本发明也同样适用于有损2维匹配编码和解码。

以上所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明直接有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

以下是本发明的更多的实施细节和变体。

扩展参考像素样值集的实施例1

对所述参考像素样值集区域边界也称预测像素样值数组边界外像素进行扩展填充所赋予的像素数值是边界内相邻的像素的像素数值以预定方式的复制；例如，水平方向的重复或垂直方向的重复或其他角度的方向的重复。

扩展参考像素样值集的实施例2

在所述参考像素样值集区域边界外填充的像素数值是边界内一些像素形成的特定图案的自然延伸；例如，边界内一条或几条直线的自然延伸，边界内一条或几条曲线的外插延伸，边界内具有明显分界线的若干不同颜色的区域的自然延伸。

扩展参考像素样值集的实施例3

在所述参考像素样值集区域边界外填充的像素数值是边界内与边界相邻的匹配当前串块所对应的匹配参考串块在所述参考像素样值集区域内的自然延伸；例如，在水平2维匹配的情形，一条垂直边界内与边界相邻的三个匹配当前串如图8中CU m+1中的三个匹配当前串所示，他们的对应的匹配参考串在所述参考像素样值集区域内都可以向右自然延伸，这些向右自然延伸的像素被复制和用作填充的像素数值。

扩展参考像素样值集的实施例4

在所述参考像素样值集区域边界外填充的像素数值是单一颜色的像素数值；例如，一种黑色的像素数值，或者一种灰色的像素数值，或者当前帧的前一帧中出现频率最高的一种颜色的像素数值，或者所述参考像素样值集区域边界上出现频率最高的一种颜色的像素数值。

扩展参考像素样值集的实施例5

将所述参考像素样值集区域边界分成若干段，在每段上使用不同的预先制定的规则决定该段边界外填充的像素数值。

扩展参考像素样值集的实施例6

由已重构像素样值组成的所述2维的参考像素样值集区域，可以是从未编码或解码的像素样值的区域逐步转变过来的；在对当前帧进行编码或解码开始的时候，整帧的准备存放已重构像素样值的区域实际上都是未编码或解码的像素样值的区域；在编码或解码过程中，每产生一部分重构像素样值，就有一部分未编码或解码的像素样值的区域转变成参考像素样值集区域的一部分；因此，所述扩展参考像素样值集步骤，并不一定每开始对一个当前块进行编码或解码时都进行一次，而是可以每开始对一个当前CTU进行编码或解码时进行一次；在开始对当前CTU进行编码或解码的时候，就把当前CTU的内部和周围（一般是右部和下部）一定范围都用按照预先制定的规则得到的像素数值填充起来，这样，在对当前CTU中的一个一个块进行编码或解码时，就不必要每个块都进行所述扩展参考像素样值集步骤。

扩展参考像素样值集的实施例7

所述扩展参考像素样值集步骤，并不一定每开始对一个当前块或当前CTU进行编码或解码时都进行一次，而是可以每开始对一个当前帧进行编码或解码时进行一次，把整个当前帧的内部和周围（右部和下部）一定范围都用按照预先制定的规则得到的像素数值填充起来。

扩展参考像素样值集的实施例8

对当前帧内的不同的CTU，可以使用不同的预先制定的规则来得到用于扩展区域的填充的像素数值；对当前帧内或者当前CTU内的不同的块，可以使用不同的预先制定的规则来得到用于扩展区域的填充的像素数值。

扩展参考像素样值集的实施例9

所述新的参考区域边界至少是在下列情形之一或其组合中产生的参考区域边界：

1）对一个编码块或一个解码块进行编码或解码的过程中；

2）对一个编码块或一个解码块完成了编码或解码之后；

3）对一个条带进行编码或解码的过程中；

4）对一个条带完成了编码或解码之后；

5）对一组编码块或一组解码块进行编码或解码的过程中；

6）对一组编码块或一组解码块完成了编码或解码之后；

7）对一组CTU进行编码或解码的过程中；

8）对一组CTU完成了编码或解码之后；

9）对一行或多行CTU进行编码或解码的过程中；

10）对一行或多行CTU完成了编码或解码之后；

11）对一列或多列CTU进行编码或解码的过程中；

12）对一列或多列CTU完成了编码或解码之后；

13）对一个CTU阵列进行编码或解码的过程中；

14）对一个CTU阵列完成了编码或解码之后；

15）对一帧图像进行编码或解码的过程中；

16）对一帧图像完成了编码或解码之后。

扩展参考像素样值集的实施例10

所述新的参考区域边界至少是在下列情形之一产生的参考区域边界：

1）参考像素是不同程度的部分重构像素；

2）参考像素是完全重构像素；

3）参考像素是预测后但未经过其他重构步骤的重构像素；

4）参考像素是复制后但未经过其他重构步骤的重构像素；

5）参考像素是未经过去块效应滤波和/或样值自适应补偿（Sample AdaptiveOffset 即SAO）步骤的重构像素；

6）参考像素是经过了去块效应滤波和/或样值自适应补偿（Sample AdaptiveOffset 即SAO）步骤的重构像素。

扩展参考像素样值集的实施例11

在编码或解码中，对一帧图像中的同一个区域及其边界，进行至少二次扩展。至少二次扩展的例：

例1）在深度D＝1的编码或解码时进行第一次扩展，在深度D＝2的编码或解码时进行第二次扩展；

例2）在参考像素是未经过去块效应滤波和/或SAO的重构像素时进行第一次扩展，在参考像素是经过了去块效应滤波或/和SAO的重构像素时进行第二次扩展。

扩展参考像素样值集的实施例12

对参考区域及其边界的扩展的一种具体实施方式，至少使用下列方法之一或其组合来实现：

1）使用一个表示扩展区域的数组，把扩展区域的像素样值的数值赋值予所述数组；

2）使用一个从扩展前区域的坐标及其像素样值的数值和扩展后区域的坐标来确定扩展后区域的坐标上像素样值的数值的规则，使用所述规则来对参考区域进行“间接即不直接使用表示扩展区域的数组的”扩展；

3）使用一个把扩展后区域的坐标转换成扩展前区域的坐标的映射，再使用扩展前区域的坐标上像素样值的数值来确定扩展后区域的坐标上像素样值的数值，来对参考区域进行“间接即不直接使用表示扩展区域的数组的”扩展。

方法3）实际上是方法2）的一种特殊情形。

方法2）和方法3）的一个例：

参考区域（扩展前区域）的坐标（x，y）的取值范围是0≤ x < W并且0≤y<H，坐标上像素样值的数值是P（x，y）；对于参考区域边界外的区域（扩展后区域），其坐标（x，y）的取值范围是x<0或x≥W或y<0或y≥H；使用下列限界Clip操作

把扩展后区域的坐标（x，y）转换（映射）成扩展前区域的坐标（x₀，y₀），其中：

x₀＝Clip（0，W－1，x）

y₀＝Clip（0，H－1，y）

之后，扩展前和扩展后区域的坐标上像素样值的数值都统一用下列计算规则获得：

P（Clip（0，W－1，x），Clip（0，H－1，y））。

Claims (10)

1.一种图像编码方法，其特征在于至少包括以下步骤：

1）扩展预测像素样值数组步骤：当在编码中产生新的预测像素样值即产生新的预测像素样值数组从而有新出现和/或新形成的预测像素样值数组边界时，按照预先制定的规则，对所述新出现和/或新形成的预测像素样值数组边界外一定范围的区域赋予像素数值，所述预测像素样值数组加上扩展的区域合起来形成扩展后的预测像素样值数组；

2）继续编码步骤：至少使用2维匹配编码也称预测编码的方式和所述扩展后的预测像素样值数组对当前编码块继续进行编码；在编码过程中，也允许按照预定方式来更新扩展后的预测像素样值数组；并将编码结果写入视频码流。

2.一种图像解码方法，其特征在于至少包括以下步骤：

1）视频码流数据解析与熵解码步骤：对输入的视频码流进行熵解码，并解析出熵解码得到的各种数据的意义；依据从视频码流数据中解析得到的信息或者依据从视频码流数据中解析得到的信息再加上至少对当前解码块进行部分解码操作的结果，确定新的预测像素样值数组从而产生新出现和/或新形成的预测像素样值数组边界；

2）扩展预测像素样值数组步骤：当在解码中产生新的预测像素样值即产生新的预测像素样值数组从而有新出现和/或新形成的预测像素样值数组边界时，按照预先制定的规则进行边界外扩展，对所述新出现和/或新形成的预测像素样值数组边界外一定范围的区域赋予像素数值，所述预测像素样值数组加上扩展的区域合起来形成扩展后的预测像素样值数组；

3）继续解码步骤；至少使用2维匹配解码也称预测编码的方式和所述扩展后的预测像素样值数组对当前解码块继续进行解码；在解码过程中，也允许按照预定方式来更新扩展后的预测像素样值数组。

3.根据权利要求2所述的解码方法，其特征在于所述预先制定的规则是至少根据当前块的深度和序号或者直接根据当前块的形状和大小，对预测像素样值数组进行边界外扩展。

4.根据权利要求2所述的解码方法，其特征在于所述新出现和/或新形成的预测像素样值数组边界至少是在下列情形之一或其组合中产生的预测像素样值数组边界：

1）对一个解码块进行解码的过程中；

2）对一个解码块完成了解码之后；

3）对一个条带进行解码的过程中；

4）对一个条带完成了解码之后；

5）对一组解码块进行解码的过程中；

6）对一组解码块完成了解码之后；

7）对一组CTU进行解码的过程中；

8）对一组CTU完成了解码之后；

9）对一行或多行CTU进行解码的过程中；

10）对一行或多行CTU完成了解码之后；

11）对一列或多列CTU进行解码的过程中；

12）对一列或多列CTU完成了解码之后；

13）对一个CTU阵列进行解码的过程中；

14）对一个CTU阵列完成了解码之后；

15）对一帧图像进行解码的过程中；

16）对一帧图像完成了解码之后。

5.根据权利要求2所述的解码方法，其特征在于所述新出现和/或新形成的预测像素样值数组边界至少是在下列情形之一或其组合中产生的预测像素样值数组边界：

1）预测像素是不同程度的部分重构像素；

2）预测像素是完全重构像素；

3）预测像素是预测后但未经过其他重构步骤的重构像素；

4）预测像素是复制后但未经过其他重构步骤的重构像素；

5）预测像素是未经过去块效应滤波和/或样值自适应补偿Sample Adaptive Offset即SAO步骤的重构像素；

6）预测像素是经过了去块效应滤波和/或样值自适应补偿Sample Adaptive Offset即SAO步骤的重构像素。

6.根据权利要求2所述的解码方法，其特征在于：

对预测像素样值数组及其边界的扩展的一种具体实施方式，至少使用下列方法之一或其组合来实现：

1）使用一个表示扩展区域的数组，把扩展区域的像素样值的数值赋值予所述数组；

2）使用一个从扩展前区域的坐标及其像素样值的数值和扩展后区域的坐标来确定扩展后区域的坐标上像素样值的数值的规则，使用所述规则来对预测像素样值数组进行扩展；

3）使用一个把扩展后区域的坐标转换成扩展前区域的坐标的映射，再使用扩展前区域的坐标上像素样值的数值来确定扩展后区域的坐标上像素样值的数值，来对预测像素样值数组进行扩展。

7.根据权利要求6所述的解码方法，其特征在于：

预测像素样值数组即扩展前区域的坐标（x，y）的取值范围是0≤ x < W并且0≤y<H，坐标上像素样值的数值是P（x，y）；对于预测像素样值数组边界外的区域，其坐标（x，y）的取值范围是x<0或x≥W或y<0或y≥H；使用下列限界Clip操作

把扩展后区域的坐标（x，y）转换即映射成扩展前区域的坐标（x₀，y₀），其中：

x₀＝Clip（0，W－1，x）

y₀＝Clip（0，H－1，y）

之后，扩展前和扩展后区域的坐标上像素样值的数值都统一用下列计算规则获得：

P（Clip（0，W－1，x），Clip（0，H－1，y））。

8.根据权利要求2所述的解码方法，其特征在于：

对所述预测像素样值数组边界外直接相邻像素进行扩展填充所赋予的像素数值是边界内直接相邻像素的像素数值的复制。

9.根据权利要求2所述的解码方法，其特征在于：

对不同的解码块，允许使用不同的预先制定的规则来得到用于扩展区域的填充的像素数值。

10.根据权利要求2至9中任一权利要求所述的解码方法，其特征在于：

所述解码块或者当前块是图像的一个解码区域，包括以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、子编码单元SubCU、编码子块codingsubblock、预测块、预测子块prediction subblock、预测单元PU、PU的子区域、子预测单元SubPU、宏块。

Images