CN101828400A - 插补滤波方法、图像编码方法、图像解码方法、插补滤波装置、程序及集成电路 - Google Patents

Abstract

插补滤波方法包括：像素选择步骤(S33)，从图像中选择用于插补对象像素的插补的多个像素；加权系数决定步骤(S34)，决定与像素选择步骤所选择的多个像素分别对应的加权系数；以及插补步骤(S35)，利用加权系数决定步骤(S34)所决定的加权系数，对多个像素的像素值进行加权相加，来计算插补对象像素的像素值。另外，在加权系数决定步骤(S34)中，在多个像素之中的某一个像素属于与插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于对象块的情况小。

Description

插补滤波方法、图像编码方法、图像解码方法、插补滤波装置、程序及集成电路

技术领域

本发明涉及影像的编码以及解码，尤其涉及在利用小数像素精度的运动补偿预测的以块为单位的影像编码解码器中插补像素值的方法。

背景技术

关于影像数据的压缩，整理出了多种影像编码规格。在这样的影像规格中，包括规定H.26系的ITU-T建议、规定MPEG系的ISO/IEC规格等。现在，最新而且最高标准的影像编码规格是被称为H.264/MPEG-4AVC的规格。

这些规格都将包括以下主要步骤的混合影像编码作为基本。

(a)为了以块等级进行各影像帧的数据压缩，将各影像帧分隔为2维的像素块。

(b)对各块适用时空间预测方法，将预测误差从空间域变换为频域，并计算系数，由此使时空间影像信息非相关。

(c)对计算出的系数进行量化，由此减少数据的整体量。

(d)通过熵编码算法，对量化的系数以及预测参数进行编码，由此压缩该数据。

像这样，在现有技术的影像规格中，只是采用了差分脉冲编码调制(Differential Pulse Code Modulation：DPCM)方式，即：传输输入视频序列的块与基于已经编码的块的预测之间的差分。

作为在3种影像编码规格中可以采用的预测方法之一，有运动补偿预测。在该预测方法中，为了显示与被摄体以及/或者摄像机的移动相伴的图像变位，对影像数据的每个块决定至少1个运动矢量。如果根据决定的运动矢量，则根据已经编码的块的图像内容，至少在某种程度上能够预测1个块的图像内容。预测图像内容与实际的输入图像内容的差异被称为预测误差。不是实际的输入图像内容，而是该差异与运动矢量一起被编码。根据该方法，对于几乎全部“自然”影像的序列，能够在实质上减少编码对象的信息量。

图1A是表示基于H.264/AVC规格的以往的图像编码装置100的模块示意图。该图像编码装置100具备减法器110，该减法器110用于求出预测误差信号，该预测误差信号是影像(输入信号)的当前块与基于已经编码并存放在存储器140中的块(局部解码图像)的当前块的预测信号之间的差分。像这样，存储器140作为能够将当前信号值与根据以前的信号值生成的预测信号进行比较的延迟部发挥作用。变换·量化部120将计算出的预测误差信号从空间域变换至频域，并量化得到的量化系数。熵编码部190对量化系数进行熵编码。

局部解码图像由装入图像编码装置100中的解码部制作。解码部逆向进行编码步骤。反量化·反变换部130对量化系数进行反量化，并对反量化的系数进行反变换。加法器135将被解码的量化预测误差信号与预测信号相加，生成重构信号。

通过量化，在重构影像信号的基础上重叠量化噪声。如果在块方向上编码，则该重叠噪声多体现出区块特性，有些人有时会感到碍眼。为了缓和区块特性，也可以对每个重构宏块适用解块滤波器137。解块滤波器137适用于作为预测信号与量化预测误差信号的合计值的重构信号。被解块的信号是解码信号，一般对其进行显示。

H.264/AVC的解块滤波器137具有局部适应功能。在区块噪声较多的情况下，适用高强度的低通滤波器，在区块噪声较少的情况下，适用低强度的低通滤波器。解块滤波器137的强度由所谓的边界强度bS以及夹着边界的像素值彼此的梯度来决定。边界强度bS是按照对位于边界的两侧的块p以及块q进行编码的方法、如以下的表1所示设定的参数。

[表1]

bS＝4	p或q是被帧内编码的块，边界是宏块边界。
		bS＝3	p或q是被帧内编码的块，边界不是宏块边界。
bS＝2	p和q都不是被帧内编码的块，p或q包括被编码的系数
		bS＝1	p和q都不是被帧内编码的块，p或q都不包括被编码的系数，
	p以及q的参照帧、参照帧号码、或运动矢量值不同。
		bS＝0	p和q都不是被帧内编码的块，p或q都不包括被编码的系数，p以及q的参照帧以及运动矢量分别相同。

作为块边界的解块的例子，设置使用4个系数的线形解块滤波器。该滤波器适用于相邻的6个输入样本p₂、p₁、p₀、q₀、q₁、q₂。此时，边界位于p₀与q₀之间。

另外，滤波器输出p_0.new以及q_0.new如下求出。

p_0，new＝(p₂-(p₁＜＜1)+(p₀+q₀+1)＞＞1)＞＞1

q_0，new＝(q₂-(q₁＜＜1)+(q₀+p₀+1)＞＞1)＞＞1

图像编码装置100所使用的预测的种类根据宏块由“帧内”模式进行编码还是由“帧间”模式进行编码来决定。在“帧内”模式的情况下，影像编码规格H.264/AVC为了预测后续的宏块，使用基于同一图像的已经编码的宏块的预测方法。在“帧间”模式的情况下，通过数个连续的帧所对应块彼此来进行运动补偿预测。

仅由帧内编码图像(I类型图像)，而不参照已经解码的图像，就能够进行解码。I类型图像对于编码的视频序列具有容错性。进而，为了能够进行随机访问，即为了能够对位于编码影像的序列内的I类型的图像进行访问，编码数据向比特流的接入点由I类型的图像提供。帧内类型即帧内预测部150的处理与帧间模式即运动补偿预测部160的处理之间的切换，由开关180(帧内/帧间切换部)进行控制。

在“帧间”模式中，宏块根据以前的帧所对应的块，利用运动补偿预测来预测。预测接收当前输入信号以及局部解码图像并由运动预测部170进行。通过运动预测，生成2维的运动矢量，示出当前块与已经解码完成的帧所对应的块的变位。根据预测的运动，运动补偿预测部160发出预测信号。

为了使预测精度最优，也可以按照1/2像素精度或1/4像素精度等子像素精度来求出运动矢量。子像素精度的运动矢量有时表示没有已经解码完成的有效像素值的帧内的位置、即子像素位置。因此，为了进行运动补偿，需要像素值的空间插补。这通过插补滤波器162来进行。根据H.264/AVC规格，为了求出子像素位置的像素值，滤波系数适用固定的6阶的维纳插补滤波器以及双一次滤波器。

为了提高预测精度，也可以替代H.264/AVC规格的固定插补滤波器，而使用合适的插补滤波器。通过作为参照文献举出的专利文献1而众所周知的非分离式的2维插补滤波器，通过使预测误差能量最小，来对每帧分别计算。对于插补对象的各小数像素位置，个别地由编码器侧决定滤波系数的设置，并作为辅助信息如图1A的虚线那样发送给图像解码装置。

在“帧内”编码模式中和在“帧间”编码模式中，都由变换·量化部120对当前输入信号与预测信号之间的差分即预测误差信号进行变换并量化，来得到量化系数。一般地，进行2维离散余弦变换(Discrete CosineTransformation：DCT)或其整数版本等的正交变换。

对系数进行量化是为了减少编码对象的数据量。量化步骤通过量化表进行控制，该量化表表示精度、以及以该精度对各频率系数进行量化所使用的比特数。通常，为了提高图像品质，低频成分比高频成分重要，因此低频成分的编码所使用的比特数比高频成分的编码多。

量化之后，为了将量化系数传递给熵编码部190，必须将量化系数的2维排列变换为1维的列。该变换通过在规定的序列中对排列进行扫描来进行。对这样得到的量化系数的1维序列，熵编码部190通过可变长度编码(variable length code：VLC)进行压缩编码。得到的比特流被运动信息复用，并存放至记录介质，或发送至图像解码装置侧。

为了在图像解码装置侧对编码的图像进行重构，逆向进行编码处理。图2A是表示对应的图像解码装置的构造的简略模块图。

在图2A的图像解码装置101中，首先，熵解码部191逆向进行系数以及运动信息的熵编码。在该步骤中，还包括用于将解码的系数的列变换为反变换所需的2维的数据排列的逆扫描。其后，将量化系数的解码块传递给反量化·反变换部121，并且将解码的运动信息发送至运动补偿预测部160。

根据运动矢量的实际的值，有时为了进行运动补偿预测而需要像素值的插补。该插补由插补滤波器162进行。在使用适应性插补滤波器的情况下，滤波系数也由熵解码部191解码，如图2A的虚线那样供给至插补滤波器162。

反变换的结果是空间域的量化预测误差信号，通过加法器135，与从帧内模式的运动补偿预测部160或帧间模式的帧内预测部150发送的预测信号相加。重构图像有时也通过解块滤波器137，得到的解码信号存放至存储器140之后传递给帧内预测部150或运动补偿预测部160。

专利文献1：WO2006/108654A2号公报

无论是否有解块滤波器137，在块边界都容易发生碍眼的区块伪像。更坏的是，在进行运动补偿预测时，根据运动补偿预测的值不同，参照帧内的块边界附近的图像部分有时映在预测对象块的中心，在这种情况下，这样的伪像有显著增加的趋势。结果，预测精度下降，因此编码效率下降。

发明内容

因此，本发明的目的在于，提供影像的编码以及解码的改良方法以及改良装置。进而，本发明的目的还在于，提供以小数像素精度进行运动补偿预测所需的运动补偿预测的改良方法以及像素值插补的改良方法。

本发明的一个方式所涉及的插补滤波方法以块为单位对编码的图像的像素进行插补。具体而言，包括：像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；以及插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值。另外，在上述加权系数决定步骤中，在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

根据上述结构，能够相对增大与插补对象像素属于相同的块的像素的权重，并相对减小与插补对象像素属于不同的块的像素的权重。由此，对每个块由于编码所引起的失真的影响最小。结果，能够生成更加正确的预测块。

另外，在上述加权系数决定步骤中，计算从上述插补对象像素到上述对象块的边界的距离。另外，也可以对于上述多个像素，分别利用计算出的距离来判断从上述插补对象像素到该像素之间是否存在上述对象块的块边界，由此判断该像素是否属于上述对象块。

进而，也可以在上述加权系数决定步骤中，上述对象块与上述周边块之间的块边界的边界强度越高，使属于上述周边块的像素的加权系数越小。例如，在对象块与周边块之间的块失真大的情况下，将属于周边像素的像素的加权系数设定为极小的值即可。像这样，根据块边界的特性来决定加权系数，能够期待预测块的精度进一步提高。

作为一个方式，也可以在上述加权系数决定步骤中，在上述对象块以及上述周边块的至少一方被帧间预测编码的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的双方被帧内预测编码的情况小。

进而，也可以在上述加权系数决定步骤中，在上述块边界是宏块边界的情况下，使属于上述周边块的像素的加权系数比上述块边界不是宏块边界的情况小。

进而，也可以在上述加权系数决定步骤中，在上述对象块以及上述周边块的至少一方包括编码系数的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的双方都不包括编码系数的情况小。

进而，也可以在上述加权系数决定步骤中，在上述对象块以及上述周边块的参照帧、参照帧号码以及运动矢量值的至少1个不同的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的参照帧、参照帧号码以及运动矢量全部相同的情况小。

进而，也可以在上述加权系数决定步骤中，上述多个像素之中，夹着上述对象块与上述周边块的边界的2个像素的像素值的梯度越大，使属于上述周边块的像素的加权系数越小。由此，能够期待预测块的精度进一步提高。

本发明的一个实施方式所涉及的图像编码方法依次对多个编码对象块进行编码。具体而言，包括：预测块生成步骤，生成上述编码对象块的预测块；以及编码步骤，利用上述预测块，对上述编码对象块进行编码。上述预测块生成步骤包括：像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；以及预测步骤，根据插补了像素的上述图像，生成上述预测块。另外，在上述加权系数决定步骤中，在上述像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。根据上述结构，能够生成精度高的预测块，因此能够提高编码对象块的编码效率。

进而，在上述编码步骤中，也可以对上述加权系数进行编码。由此，能够省略在解码器侧计算加权系数的步骤。

本发明的一个方式所涉及的图像解码方法对编码信号进行解码并生成解码块。具体而言，包括：预测块生成步骤，生成上述解码块的预测块；以及解码步骤，利用上述预测块，对上述编码信号进行解码。上述预测块生成步骤包括：像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；以及预测步骤，根据插补了像素的上述图像，生成上述预测块。另外，在上述加权系数决定步骤中，在上述像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

如果像上述结构那样，在解码器侧也根据与编码器侧相同的规则来计算加权系数，则无需对加权系数进行解码。由此，能够进一步提高编码对象块的编码效率。

本发明的一个方式所涉及的插补滤波装置以块为单位对编码的图像的像素进行插补。具体而言，包括：像素选择部，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定部，决定与上述像素选择部所选择的上述多个像素分别对应的加权系数；以及插补部，利用上述加权系数决定部所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值。另外，上述加权系数决定部在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

本发明的一个方式所涉及的程序使计算机以块为单位对编码的图像的像素进行插补。具体而言，包括：像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；以及插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值。另外，在上述加权系数决定步骤中，在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

本发明的一个方式所涉及的集成电路以块为单位对编码的图像的像素进行插补。具体而言，包括：像素选择部，从上述图像中选择用于插补对象像素的插补的多个像素；加权系数决定部，决定与上述像素选择部所选择的上述多个像素分别对应的加权系数；以及插补部，利用上述加权系数决定部所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值。另外，上述加权系数决定部在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

另外，本发明不仅能够作为插补滤波方法(装置)实现，而且也能够作为实现这些功能的集成电路实现，或作为使计算机执行这样的功能的程序实现。另外，这样的程序显然能够通过CD-ROM等记录介质以及互联网等传输介质来流通。

这些通过独立权利要求所记载的特征达成。

优选实施方式是从属权利要求的主题。

本发明的手法是对于插补位于某个特定位置的像素值的插补滤波器，根据从该特定的位置到相邻的块边界的距离来进行选择。

作为本发明的第一方式，提供在利用小数像素精度的运动补偿预测的以块为单位的影像编码器或影像解码器中插补像素值的方法。该方法包括将从多个插补滤波器中选择的1个插补滤波器适用于插补对象的像素值的步骤，插补滤波器根据从求出插补值的图像位置到垂直方向的最相邻块边界为止的水平方向的距离、及/或从求出插补值的图像位置到水平方向的最相邻块边界为止的垂直方向的距离来选择。

优选的是，本发明的方法还包括判断从求出插补值的图像位置在规定的水平方向距离及/或规定的垂直方向距离上是否存在块边界的步骤，根据该判断步骤的结果来选择插补滤波器。这样，例如根据水平方向或垂直方向的块边界是否位于附近，选择最佳的插补滤波器即可。

更优选的是，规定的水平方向距离以及规定的垂直方向距离分别是插补滤波器的水平方向以及垂直方向的阶数的二分之一。另外，规定的水平方向距离以及规定的垂直方向距离也可以分别设定为比插补滤波器的水平方向以及垂直方向的阶数的二分之一小的值。无论在哪一种情况下，能够根据滤波器支撑是否与块边界相接，换言之，根据滤波器的阶是否与块边界交叉，来选择插补滤波器。

优选的是，本发明的方法还包括：求取从求出插补值的图像位置到右侧相邻的垂直方向的块边界为止的第一水平方向距离的步骤；求取从求出插补值的图像位置到左侧相邻的垂直方向的块边界为止的第二水平方向距离的步骤；求取从求出插补值的图像位置到上方相邻的水平方向的块边界为止的第一垂直方向距离的步骤；以及求取从求出插补值的图像位置到下方相邻的水平方向的块边界为止的第二垂直方向距离的步骤。因此，优选的是，能够根据第一水平方向距离、第二水平方向距离、第一垂直方向距离以及第二垂直方向距离，来选择插补滤波器。此时，按照到周边的块边界的距离来选择最佳的插补滤波器即可。另外，插补滤波器也可以根据第一水平方向距离和第二水平方向距离的最小值以及第一垂直方向距离和第二垂直方向距离的最小值来选择。这一点在插补滤波器左右对称的情况，例如左侧的滤波器阶与位于其右侧的对称位置的滤波器阶以相同的系数被加权的情况下，变得特别有利。

优选的是，插补滤波器还根据表示位于垂直方向的块边界的左侧以及右侧的块的编码方法的编码参数、及/或位于水平方向的块边界的上方以及下方的块的编码方法的编码参数来选择。更优选的是，编码参数表示：对各块进行帧内编码还是帧间编码、及/或各块所属的片是否不同、及/或各块所属的宏块是否不同、及/或各块是否包括编码系数、及/或是否存在各块共通的参照帧、及/或各块是否具有相同的运动矢量。更优选的是，也可以按照对存在参照帧的特别规定的边界适用的解块滤波器及/或环路滤波器的种类以及强度，来决定插补滤波器的种类。也可以在适用了高强度的解块及/或环路滤波器的块边界、以及滤波程度比其低的块边界、或者完全没有被滤波的块边界，适用不同的插补滤波器。因此，也可以按照附近的块边界的种类来选择最佳的插补滤波器。所适用的插补滤波器可以例如根据块边界是否为不同的片与片的边界、是否为宏块边界、是否为宏块内的块边界来改变。上述编码参数也可以成为表示可能出现在该特别规定的边界上的区块伪像的程度的指标，因此也可以据此来选择最佳的插补滤波器。上述编码参数还能够表示出边界的上方(左侧)的块和下方(右侧)的块的哪一个更忠实地被编码，因此为了提高预测精度，也可以着眼于边界的一方侧的像素值来进行插补。

优选的是，插补滤波器还根据夹着垂直方向的块边界的像素值之间的梯度、及/或夹着水平方向的块边界的像素值之间的梯度来选择。梯度也可以成为关于在块边界上出现的区块伪像的程度的某种指标，因此也可以据此来选择最佳的插补滤波器。在区块伪像显著的块边界，有时在插补像素的运算时一概不考虑其边界的另一方侧的像素、或着眼于与该边界不相邻的像素更好。

作为本发明的其他方式，提供对运动图像序列进行编码及/或解码的方法。该方法为了以块为单位对图像进行编码或解码，包括将运动图像序列的各图像分割为多个块的步骤、以及为了根据已经编码或已经解码的块来预测多个块之中的1个块而适用运动补偿预测的步骤，利用按照本发明的第一方式的像素值插补方法来求出所预测的块的像素值。

优选的是，该编码方法还包括使预测误差能量最小、由此使多个插补滤波器相对于运动图像序列适应化的步骤。具体而言，计算预测块和与其对应的编码对象的运动图像序列的块之间的差分，来求出预测误差能量。由此，能够决定与编码对象的运动图像序列对应的最佳的插补滤波器的集合。根据最佳的插补滤波器来进行运动补偿预测，由此能够提高预测精度，结果，整体的编码效率上升。

优选的是，对表示进行了适应化的多个插补滤波器的滤波器信息进行编码，由此将适应结果发送至解码器侧。其后，也可以在解码器侧，对表示多个插补滤波器的滤波器信息进行解码之后，使用进行了适应化的插补滤波器。

作为本发明的另外的其他方式，提供一种影像编码器以及影像解码器，构成为按照本发明的第二方式对运动图像序列进行编码或解码。

最后，按照本发明的方式，提供一种计算机程序制品，具备记录了进行了适应以便能够执行方法的计算机可读取的程序代码的、可由计算机读取的介质。

根据本发明，能够相对增大与插补对象像素属于相同的块的像素的权重，并相对减小与插补对象像素属于不同的块的像素的权重。由此，对每个块由于编码所引起的失真的影响最小。结果，能够生成更加正确的预测块。

附图说明

图1A是表示图像编码装置的模块图。

图1B是表示图1A的图像编码装置的动作的流程图。

图2A是表示图像解码装置的模块图。

图2B是表示图2A的图像解码装置的动作的流程图。

图3A是表示插补滤波器的模块图。

图3B是表示图3A的插补滤波器的动作的流程图。

图4是表示用于运动补偿预测的影像数据的块以及插补滤波器的图。

图5是表示按照本发明的实施方式的插补滤波器的选择方式的概略图。

图7A是表示滤波器阶不越过块边界的状态的图。

图7B是表示滤波器阶的一部分(1个像素)越过块边界的状态的图。

图7C是表示滤波器阶的一部分(2个像素)越过块边界的状态的图。

图7D是表示插补对象像素位于块边界的状态的图。

图7E是与图7C对称的图。

图7F是与图7B对称的图。

图7G是表示在滤波器阶的2个位置越过块边界的状态的图。

符号说明

100图像编码装置

101图像解码装置

110减法器

120变换·量化部

121、130反量化·反变换部

135加法器

137解块滤波器

139后滤波器

140存储器

150帧内预测部

160运动补偿预测部

162插补滤波器

162a像素选择部

162b加权系数决定部

162c插补部

170运动预测部

180开关

190熵编码部

191熵解码部

301、302、303位移矢量

310、311、312、313虚线

320插补对象像素

610块边界

620四角

630圆

具体实施方式

关于本发明，参照附图，在后述的记载以及优选实施方式中，使上述目的以及特征和其他目的以及特征更加明确。

首先，参照图1A以及图1B，说明本发明的一个实施方式所涉及的图像编码装置100的结构以及动作。图1A是图像编码装置100的模块图。图1B是表示图像编码装置100的动作的流程图。其中，图像编码装置100的基本结构在现有例和本申请发明中共通。

图像编码装置100如图1A所示，具备减法器110、变换·量化部120、反量化·反变换部130、加法器135、解块滤波器137、熵编码部190以及预测块生成部(省略图示)。该图像编码装置100依次对构成编码对象图像的多个编码对象块进行编码。

减法器110从符号对象块(输入信号)中减去预测块(预测信号)来生成预测误差信号。变化·量化部120对预测误差信号进行DCT变换(Discrete Cosine Transformation，离散余弦变换)，并且进行量化来生成量化系数。熵编码部190对量化系数进行熵编码，来生成编码信号。其中，也可以与量化系数一起，还包括由运动预测部170生成的运动补偿数据或插补滤波器162的滤波系数在内进行熵编码。

反量化·反变换部130对量化系数进行反量化，并且进行DCT反变换来生成量化预测误差信号。加法器135将量化预测误差信号与预测块相加，来生成重构信号。解块滤波器137从重构信号中除去块失真，来生成解码信号。

预测块生成部根据编码对象块(输入信号)之前被编码的图像，生成对该编码对象块进行了预测的预测块。该预测块生成部由存储器140、帧内预测部150、运动补偿预测部160、插补滤波器162、运动预测部170以及开关180构成。

存储器140作为暂时存储解码信号的延迟器发挥作用。更具体而言，依次存储由变换·量化部120量化、并由反量化·反变换部反量化的块，存储1张图像(图片)。帧内预测部150对解码信号进行帧内预测，来生成预测信号。插补滤波器162在运动补偿预测之前，在空间上对解码信号的像素值进行插补。运动预测部170根据解码信号和下一个编码对象块进行运动预测，生成运动数据(运动矢量)。运动补偿预测部160根据解码信号和运动数据，进行运动补偿预测，生成预测块。开关180选择“帧内”模式以及“帧间”模式的某一个作为预测模式。另外，从开关180输出的预测块成为对下一个编码对象块进行了预测的信号。

接着，参照图1B说明图像编码装置100的动作。

首先，减法器110从编码对象块中减去预测块，生成预测误差信号(S11)。接着，变化·量化部120对预测误差信号进行DCT变换，并且进行量化来生成量化系数(S12)。接着，熵编码部190对量化系数、运动数据以及滤波系数进行熵编码，生成编码信号(S13)。

另一方面，与熵编码部190的动作平行，反量化·反变换部130对量化系数进行反量化，并且进行DCT反变换来生成量化预测误差信号(S14)。另外，加法器135将量化预测误差信号与预测块进行相加来生成重构信号。解块滤波器137从重构信号中除去块失真，生成解码信号。然后，预测块生成部根据解码信号生成预测块(S15)。另外，预测块的生成处理的详细情况留待后述。

接着，参照图2A以及图2B，说明本发明的一个实施方式涉及的图像解码装置101的结构以及动作。图2A是图像解码装置101的模块图。图2B是表示图像解码装置101的动作的流程图。其中，图像解码装置101的基本结构在现有例和本申请发明中共通。

图像解码装置101如图2A所示，具备熵解码部191、反量化·反变换部121、加法器135、解块滤波器137、后滤波器139和预测块生成部(省略图示)。该图像解码装置101对由图1A所示的图像编码装置100编码的编码信号进行解码，生成解码块(解码信号)。其中，对于与图1A所示的图像编码装置100共通的功能模块，附加相同的参照符号并省略详细的说明。

熵解码部191对从图像编码装置100输出的编码信号(输入信号)进行熵解码，取得量化系数、运动数据以及滤波系数。后滤波器139例如是适用于解码信号的维纳滤波器，改善图像的主观的画质。

预测块生成部具备存储器140、帧内预测部150、运动补偿预测部160、插补滤波器162以及开关180。该预测块生成部的基本的结构以及动作是共通的，但在省略运动预测部170并从熵解码部191取得运动数据这一点上，以及从熵解码部191取得插补滤波器162的滤波系数这一点上不同。

接着，参照图2B，说明图像解码装置101的动作。

首先，熵解码部191对编码信号进行熵解码，取得量化系数、运动数据以及滤波系数(S21)。接着，反量化·反变换部121对量化系数进行反量化，并且进行DCT反变换，由此生成量化预测误差信号(S22)。接着，加法器135将量化预测误差信号与预测块相加，生成重构信号。另外，解块滤波器137从重构信号中除去块失真，来生成解码块(S23)。进而，图2A所示的图像解码装置101对解码块适用后滤波器139，生成输出信号。

另一方面，与后滤波器139的滤波处理平行，预测块生成部生成预测块(S15)。预测块的生成处理的详细情况留待后述。另外，在上述例子中，示出了从熵解码部191取得滤波系数而动作的插补滤波器162的例子，但不限定于此。即，也可以图像编码装置100以及图像解码装置101双方的插补滤波器162以相同的方法来决定滤波系数。由此，在编码信号中无需包括滤波系数，因此编码效率提高。

接着，参照图3A以及图3B，说明插补滤波器162的结构以及预测块生成部的动作(预测块生成处理)。其中，图3A是插补滤波器162的模块图。图3B是表示预测块生成处理的流程图。

插补滤波器162如图3A所示，具备像素选择部162a、加权系数决定部162b和插补部162c。该插补滤波器162对存储器140中存放的图像的像素进行空间插补。

像素选择部162a从存储器140中存放的图像中，选择用于插补对象像素的插补的多个像素。加权系数决定部162b决定与像素选择部162a所选择的多个像素分别对应的加权系数。插补部162c利用加权系数决定部162b所决定的加权系数，对多个像素的像素值进行加权相加，计算插补对象像素的像素值。

接着，参照图3B，说明预测块生成处理。

首先，预测块生成部决定对于与接下来要编码的编码对象块对应的预测块，是以“帧间”模式进行预测还是以“帧内”模式进行预测，并切换开关180(S31)。在以“帧间”模式进行预测的情况(S31中为“帧间”)下，帧内预测部150利用从存储器140中读出的解码信号，生成预测块(S32)。

另一方而，在以“帧内”模式进行预测的情况(S31中为“帧内”)下，插补滤波器162在运动补偿预测之前，对图像的像素进行插补。

首先，像素选择部162a选择用于插补对象像素的插补的像素(S33)。例如，选择插补对象像素的右侧的3个整数像素、以及左侧的3个整数像素这合计6个像素。

接着，加权系数决定部162b决定由像素选择部162a选择的各像素各自的加权系数(S34)。例如，与上述例子(选择了6个像素的例子)对应的加权系数为(-2，-1，0，1，2，3)。

另外，加权系数根据由像素选择部162a选择的各像素属于插补对象像素所属的对象块还是属于与对象块不同的周边块，而成为不同的值。具体而言，在各像素属于对象块的情况下，分配比属于周边块的情况更大的加权系数。例如，上述例子(-2，-1，0，1，2，3)设为6个像素全部属于对象块的情况下使用的加权系数。与此相对，在仅右侧的像素属于周边块的情况下，例如分配(-2，-1，0，1，2，2)这样的加权系数。

另外，在加权系数决定部162b中，判断各像素是否属于对象块的具体方法不特别限定。例如，首先计算从插补对象像素到对象块的边界为止的距离(水平方向及/或垂直方向)。然后，对于各像素，根据在从插补对象像素到该像素之间是否存在对象块的块边界，来判断该像素是否属于对象块也可以。

接着，插补部162c利用由加权系数决定部162b决定的加权系数，对由像素选择部162a选择出的各像素的像素值进行加权相加(S35)。由此，计算插补对象像素的像素值。另外，S33～S35的处理对于全部插补对象像素执行。接着，运动补偿预测部160利用插补后的图像、以及运动预测部170所生成的运动数据，生成预测块(S36)。

上述处理是在插补参照图像的像素时，使与插补对象像素属于相同的块的像素的权重相对增大，并使与插补对象像素属于不同的块的像素的权重相对缩小。由此，能够对每个块使由于编码引起的失真的影像最小。结果，能够生成更正确的预测块。

另外，在S34中，属于周边块的像素的加权系数也可以按照对象块与周边块的块边界的边界强度bS来改变值。具体而言，表1所示的边界强度bS越强(数值越大)，使加权系数越小即可。

例如，关于对象块以及周边块的至少一方被帧间预测编码的情况(bS＝3，4)与对象块以及周边块的双方被帧内预测编码的情况(bS＝0，1，2)，对前者的情况分配更小的加权系数即可。

另外，在对象块以及周边块的至少一方被帧间预测编码的情况下，关于块边界是宏块边界的情况(bS＝4)与块边界不是宏块边界的情况(bS＝3)，对前者的情况分配更小的加权系数即可。

另外，在对象块以及周边块的双方被帧内编码的情况下，关于对象块以及周边块的至少一方包括编码系数的情况(bS＝2)与对象块以及周边块的双方都不包括编码系数的情况(bS＝1)，对前者的情况分配更小的加权系数即可。

进而，在对象块以及周边块的双方都不包括编码系数的情况下，关于对象块以及周边块的参照帧、参照帧号码以及运动矢量值的至少一个不同的情况(bS＝1)与对象块以及周边块的参照帧、参照帧号码以及运动矢量全部相同的情况(bS＝0)，对前者的情况分配更小的加权系数即可。

进而，在S34中，属于周边块的像素的加权系数也可以按照由像素选择部162a选择的像素之中、夹着对象块以及周边块的边界的2个像素的像素值的梯度来改变值。具体而言，梯度越大，使加权系数越小即可。

接着，参照图4～图7G，说明插补滤波器162的处理的具体例子(主要是加权系数决定部162b的加权系数的决定方法)。

图4是影像数据的块的概略图。涂黑的圆表示全像素的位置、即原图像的样本位置，涂白的圆表示像素值成为插补对象的子像素的位置。以下举出的附图所示的是1/4像素精度，但本发明只要是小数像素精度便不做限定，1/2像素或1/4像素或1/8像素甚至是在垂直方向和水平方向上不同的小数像素精度，也能够适用。

图4中的虚线310、311以及虚线312、313分别表示水平方向的块边界以及垂直方向的块边界、即4×4块的边界。另外，例如根据H.264规格分割为分别的宏块，则无论4×4、8×4、4×8、8×2、2×8、8×8、16×16、32×16、16×32、32×32、64×32、32×64、64×64等块的大小，只要是在1帧内对不同大小的块进行组合，都能够适用本发明。

以下，n表示子像素精度。即，在1/2像素时n＝2，在1/4像素时n＝4。另外，原图像(即影像数据的块)通过全像素位置(x，y)上的像素值即S_x，y来表示。对原图像在水平方向以及垂直方向进行插补的图像由S^_nx+p，ny+q来表示。在此，子像素位置如图4所示，由p＝0，…，n-1，q＝0，…，n-1表示。因此，插补图像的全像素位置(nx，ny)上的像素与原图像的像素(x，y)对应。在此，记号“～(帽)”分别表示在紧前的文字之上附加的记号，在本说明书中，以下也按照相同的意思来使用记号“～(帽)”。

如上所述，以往的适应性插补滤波器对各子像素位置(p，q)分别规定。因此，这样的以往的适应性插补滤波器能够由线形算子f^(p，q)来规定，该线形算子f^(p，q)相对于在水平方向以及垂直方向上对原图像进行了插补的图像，确定该原图像的位置。即，式1成立。

[数学式1]

${\hat{S}}_{\mathrm{nx}+p,\mathrm{ny}+q}=\underset{i,j}{\mathrm{\Σ}}{f}_{i,j}^{(p,q)}{S}_{x-i,y-j}.$ (式1)

在此，f_i，j ^(p，q)是插补滤波器的离散滤波系数(加权系数)，例如在6×6阶滤波器的情况下，i＝-2，-1，0，1，2，3，j＝-2，-1，0，1，2，3。滤波系数f_i，j ^(p，q)不为0的点(i，j)的集合、例如对6×6阶滤波器的结果造成影像的6×6像素的集合通常被称为滤波器支撑。因此，式1以及以下的式2中的总和超过所使用的滤波器的支撑。

以往的适应性插补滤波器按照每个子像素位置分别规定，但为了插补位于块的中心的子像素位置的像素值(即，用于插补的全部的像素属于对象块。以下相同)，或为了插补位于该块的边界附近的子像素位置的像素值(即，用于插补的像素的一部分属于周边块。以下相同)，都使用完全相同的插补滤波器。但是，这在以块为单位的影像编码解码器中，尤其是在存在显眼的区块伪像的情况下，有时产生不佳的情况。

本发明考虑到块边界的存在，由此，例如在插补块边界附近的像素值时与插补该块的中心部的像素值时，使用不同的插补滤波器，从而解决上述问题。作为插补滤波器的种类，举出滤波系数不同的滤波器，或8阶、6阶、4阶、2阶、0阶等滤波器长度不同的滤波器。

另外，上述说明不只是在物理上设置多个插补滤波器，还能够通过使用可任意改变滤波系数的插补滤波器来实现。另外，通过将与属于周边块的像素对应的加权系数设为0，能够在实质上改变滤波器长度。

作为进行该区别所用的最一般的方法，对插补图像的每个像素(nx+p，ny+q)使用分别的插补滤波器。因此，本发明涉及的插补滤波器可以由线形算子f^{(x，y，p，q)}来规定，该线形算子f^{(x，y，p，q)}相对于在水平方向以及垂直方向上对原图像进行了插补的图像，确定该原图像的位置。即，式2成立。

[数学式2]

${\hat{S}}_{\mathrm{nx}+p,\mathrm{ny}+q}=\underset{i,j}{\mathrm{\Σ}}{f}_{i,j}^{(x,y,p,q)}{S}_{x-i,y-j},$ (式2)

在此，f_i，j ^{(x，y，p，q)}是插补滤波器的离散滤波系数(加权系数的集合)，x，y，p，q根据子像素精度的当前位置(nx+p，ny+q)而变化。

如果采用这种方法，则对解码器侧发送的滤波系数显然会成为庞大的数量。为了将该信令总开销减少为合适的数量，可以利用对称性和不变性。例如，有时，(对于某特别指定的子像素位置)如果是中心部的内侧，则假设插补滤波器全部相同即如式3那样是妥当的。

[数学式3]

$f_{i,j}^{(x,y,p,q)}=f_{i,j}^{(x^{\′},y^{\′},p,q)}$ (式3)

块的中心部例如定义为滤波器阶不与块边界接触的部分。进而，设不同的块彼此对应的位置所使用的插补滤波器相同。例如，式4成立。

[数学式4]

$f_{i,j}^{(x,y,p,q)}=f_{i,j}^{(x\mathrm{mod}N,y\mathrm{mod}N,p,q)}$ (式4)

在此，以将图像一律分割为N×N的大小的块作为前提。

因此，对于每个全像素位置(x，y)，从有限的插补滤波器组{f_{i ，j} ^(0，p，q)，…，f_i，j ^{(rmax，p，q)}}中选择f_i，j ^(r，p，q)，由此，插补滤波器对于全像素位置(x，y)的依赖度下降。因此，插补滤波器由指数r表示。该指数r可以是x和y的函数。

图5表示将这样的插补滤波器分配至块内的不同位置的例子。在此，将4×4块分割为9个区域r＝0，……，8。在各区域r内，如果要插补的子像素位置(p，q)相同，则使用相同的滤波器f_i，j ^(r，p，q)。图5所示的区域的数量以及排列显然只是示例，因此区域比其多也可以，比其少也可以。另外，一般而言，即使在1个区域内，如果子像素位置不同，也使用不同的滤波器。

图5所示的各种区域可以按照插补滤波器的大小或支撑、即按照滤波系数f_i，j ^(r，p，q)的数量或规定插补滤波器的阶的数量来决定。例如，如果是6×6阶的非分离式的滤波器，则i＝-2，-1，0，1，2，3，j＝-2，-1，0，1，2，3，因此由36个系数f_i，j ^(r，p，q)来规定。此时，根据从当前的位置向左3个像素、向右3个像素、向上3个像素、向下3个像素的范围所包括的像素值来求出插补值。

图5的区域例如也可以规定为：根据离插补位置在某个特别指定的距离内是否有块边界，来选择插补滤波器。该距离优选设定为水平方向或垂直方向的滤波器阶数的一半。因此，对于6×6阶滤波器，该距离设定为3。此时，插补滤波器以是否与块边界接触作为基准被选择。但是，并不限定为该距离，特别是可以采用比水平方向或垂直方向的滤波器阶数的一半更短的距离。离相邻的块边界比水平方向或垂直方向的滤波器阶数的一半更长的距离处的像素值“不感到”块边界，所以仅考虑子像素位置p，q，由一般的插补滤波器进行插补即可。

图6表示在块内的不同位置分配插补滤波器的其他例子。在该例子中，根据从插补对象像素320的位置到4条块边界为止的距离(d₁，d₂，d₃，d₄)，来选择插补滤波器。因此，r为多重指数r＝(d₁，d₂，d₃，d₄)。另外，也可以对于块内的多个不同位置，例如对于图5中附加了纵横网格的范围(r＝4)内的全部位置，选择完全相同的插补滤波器。这样，将比某个特别指定的最大值d_max更长的距离全部设定为最大值。即，r设为(min(d₁，d_max)，…，min(d₄，d_max)即可。

进而，也可以仅根据到最近的块边界为止的水平方向及/或垂直方向的距离，即作为r＝min(d₁，d₂，d₃，d₄)或r＝(min(d₁，d₃)，min(d₂，d₄))，来选择插补滤波器。进而，插补滤波器一般都以子像素位置作为基准，所以也可以仅由全像素精度来求出距离(d₁，d₂，d₃，d₄)。

也可以不仅考虑从插补对象的位置到1个或多个块边界的距离，而且还考虑边界本身的特性。根据本发明的优选的实施方式，也可以在最佳插补滤波器的选择中还使用边界强度bS(参照上述表1)。此时，例如通过设定为r＝(bS，d₁，d₂，d₃，d₄)，从而在指数r中还包括参数bS的值。这样，也可以在某个特别指定的像素被宏块边界或片边界等“高强度”的边界分割的情况下，或者仅限于这样的情况，在取得插补滤波器时，进行不考虑这些像素的插补滤波器的设定。进而，也可以根据某个特别指定的像素是否属于当前块或相邻块、或者根据这2个块是否被更忠实地编码，来选择性地强调由这些像素带来的插补作用。

以下，简单说明为了进行最佳运动补偿预测而对插补滤波器进行适应化的方法。首先要求的是，生成各插补滤波器位于全像素位置上的原像素值。因此，式(5)成立。

[数学式5]

$f_{i,j}^{(r,\mathrm{0,0})}={\mathrm{\δ}}_{i,0}{\mathrm{\δ}}_{j,0}$ (式5)

在此，δ_k，1是克罗内克δ函数，k＝1时δ_k，1＝1，k≠1时δ_k，1＝0。

再次参照图4，移位矢量(301、302、303)由v^→＝(v_x，v_y)表示。在此，记号“^→(矢量)”分别表示附加在紧前面的文字之上的记号，在本说明书中，以下按照相同的意思来使用记号“^→(矢量)”。成分V_x以及成分V_y表示小数像素位置。V_xmodn＝0的移位矢量设为朝向X轴方向的全像素位置的移位矢量(表示X轴方向的全像素的移动的移位矢量)。

V_xmodn＝1，……，(n-1)的移位矢量设为朝向X轴方向的子像素位置的移位矢量(表示X轴方向的子像素的移动的移位矢量)。对于Y轴方向，也利用相同的用语。

在此，特别参照图5以及图6，对于任意的子像素位置(p，q)，如下求出某个特别指定的滤波器集合r的滤波系数f_i，j ^(r，p，q)。Px，y表示已经解码完成的参照图像，v^→＝(v_x，v_y)表示朝向子像素位置(p，q)的子像素位置上的移位矢量、即p＝v_xmodn、q＝v_ymodn的移位矢量。对于该变位的预测误差能量由式6表示。

[数学式6]

${\left(e_{p,q}\right)}^2=\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i,j}{\mathrm{\Σ}}{f}_{i,j}^{(r,p,q)}{P}_{\tilde{x}-i,\tilde{y}-j})}^2$ (式6)

在此，x^～＝x+[v_x/n]、y^～＝y+[v_y/n]，[……]表示比算子的独立变量(舍去算子)小的整数之中的、作为最大值的FLOOR算子。在此，记号“^～(Tilde)”分别表示附加在紧前面的文字之上的记号，在本说明书中，以下按照相同的意思来使用记号“^～(Tilde)”。对于原图像之中、移位矢量有效且分配了集合r的插补滤波器的范围，求出x以及y的总和。该范围相当于求出了移位矢量的宏块的特别指定的区域。另外，该区域通过将分配了集合r的插补滤波器、而且包括朝向相同的子像素位置的移位矢量即v_xmodn＝p、v_ymodn＝q的移位矢量的(1个或多个影像)区域的一部分或全部(无连接地)结合来构成。

在此，求出滤波系数f_i，j ^(r，p，q)，使得式6的预测误差能量最小。在进行最佳化的情况下，只要是梯度下降法、退火(焼き鈍し)法等本领域公知的数值最佳化算法，可以使用任何算法。其中，也可以像这次一样，对于滤波系数f_i，j ^(r，p，q)，通过对求出式6的偏导函数而得到的联立一次方程式求解，来求出最佳的滤波系数。即，式7成立。

[数学式7]

$0=\frac{\∂}{\∂f_{k,l}^{(r,p,q)}}\underset{x,y}{\mathrm{\Σ}}{(S_{x,y}-\underset{i,j}{\mathrm{\Σ}}{f}_{i,j}^{(r,p,q)}{P}_{\tilde{x}-i,\tilde{y}-j})}^2=$

(式7)

$=-2\underset{x,y}{\mathrm{\Σ}}{P}_{\tilde{x}-k,\tilde{y}-l}(S_{x,y}-\underset{i,j}{\mathrm{\Σ}}{f}_{i,j}^{(r,p,q)}{P}_{\tilde{x}-i,\tilde{y}-j})$

如果能够分离2维插补滤波器f^(r，p，q)，则也可以记载为2个1维滤波器g^(r，p，q)以及h^(r，p，q)的合成。即，式8成立。

[数学式8]

${\hat{S}}_{\mathrm{nx}+p,\mathrm{ny}+q}=\underset{j}{\mathrm{\Σ}}{h}_j^{(r,p,q)}\underset{i}{\mathrm{\Σ}}{g}_i^{(r,p,q)}{S}_{x-i,y-j}$ (式8)

在此，g_i ^(r，0，0)＝δ_i，0，h_j ^(r，0，0)＝δ_j，0。

通常，假设水平方向的插补滤波器g^(r，p，q)与垂直方向的子像素位置q没有关系。即，g^(r，p，q)＝g^(r，p)，垂直方向的插补滤波器不对关于全像素的行的插补结果造成影响，即h_j ^(r，p，0)＝δ_j，0。此时，2维插补可以认为是2阶段处理。在第一阶段，为了求出位于“全像素行“的子像素位置的像素值，而在水平方向进行插补。在第二阶段，通过对第一阶段求出的像素值进行垂直方向的插补，来求出子像素行的像素值。根据这些假设，g^(r，p)以及h^(r，p，q)的滤波系数容易根据式6及/或式7求出。进而，也可以假设垂直方向的插补滤波器与水平方向的子像素位置p没有关系，即h^(r，p，q)＝h^(r，q)。根据该假设，能够进一步减少滤波系数。

图7A～图7G是表示基于块边界相对于滤波器阶的位置的插补滤波器的选择的概略图。用圆630表示插补对称的1/2像素位置，用四角620表示插补滤波器(在此为6阶滤波器)所作用的全像素位置。另外，图7A表示滤波器阶没有越过块边界的情况下的、块的中央部的状况。图7B～图7F表示能够取得插补对象的子像素位置的5个地点以及相邻的块边界610。最后，图7G表示在插补滤波器的支撑内存在2条块边界的情况的状况。可以看到这种状况的是：在块是4×4等较小的尺寸时滤波器支撑较大的情况，以及阶数超过块的边缘长度的“大“滤波器的情况。

根据本发明，对于图7A～图7G所示的7个例子分别使用特殊的插补滤波器。其中，特殊的插补滤波器的数量按照滤波器的大小、子像素精度、块的大小而发生增减。另外，不一定必须对图7A～图7G所示的全部例子都通过特殊的插补滤波器进行处理。如果滤波器是对称的，则例如图7B以及图7C所使用的滤波器也可以分别与图7F以及图7E所使用的滤波器相同。另外，图7G的滤波器也可以与图7B的滤波器和图7F的滤波器相同。

另外，为了简化，在图7A～图7G中仅表示1维的实施例。这些1维的实施例在能够分离的插补滤波器的情况下，可以直接适用于2个1维的插补滤波器g^(r，p)以及h^(r，p，q)，但(非分离式的)2维插补滤波器也能够通过水平方向及/或垂直方向的边界的、相对于滤波器支撑的位置，来进行同样的区别。

其中，为了选择最佳的插补滤波器，也可以进行基于块边界的其他的区别。以下示出这种区别的例子。

·完全没有边缘/存在1个以上边缘

·完全没有边缘/存在1个边缘/存在2个边缘

·完全没有边缘/在中央存在边缘/其他也存在多个边缘

·完全没有边缘/在中央存在边缘/在不同的位置上存在1个边缘/存在2个边缘

·完全没有边缘/在中央存在边缘/在右侧存在多个(1个)边缘/在左侧存在多个(1个)边缘/存在2个边缘

·完全没有边缘/在中央存在边缘/离中央2个像素的右侧存在多个边缘/离中央1个像素的右侧存在多个边缘/离中央2个像素的左侧存在多个边缘/离中央1个像素的左侧存在多个边缘/存在2个边缘

·在对称滤波器的情况下，完全没有边缘/在中央存在边缘/离开中央2个像素的地方存在多个边缘/离开中央1个像素的地方存在多个边缘

也可以进行此外的选择及其组合，特别是与边界强度bS等对块边界进行确定的参数之间的组合等。另外，参数需要将为了对之前帧进行解码而在比特流上发送的参数、以及用于滤波器的选择的参数，与相关的参照帧一起进行保存，为了保存这些编码参数，也可以追加新的存储器。

在选择插补滤波器时，具体地，将从插补对象样本到全像素精度下最近的块边界为止的距离设为d1～d4，使用通过min(d1，d3)以及min(d2，d4)来确定插补滤波器指数k的参照表(参照图6)。如果在影像编码方法中分割为块，则块边界可以是4×4、8×4、4×8、8×2、2×8、8×8、16×16、32×16、16×32、32×32、64×32、32×64、64×64等所有的大小的块的边界，也可以是在1帧内对不同的大小的块进行组合的边界。另外，各滤波器指数k表示在编码器侧被预测并发送至解码器的插补滤波器。插补滤波器的滤波系数可以不同，也可以为8阶、6阶、4阶、2阶、0阶等滤波器长度不同。

进一步优选的是，在6阶的插补滤波器的情况下，这种参照表如下确定。

全像素精度单位下的min(d1，d3)	全像素精度单位下的min(d2，d4)	滤波器指数k
			0	0	0
0	1或2	1
			0	＞2	2
1或2	0	3
			1或2	1或2	4
1或2	＞2	5
			＞2	0	6
＞2	1或2	7
			＞2	＞2	8

如果发送了适应性滤波器的系数，则追加比特率变大，因此，尤其是在低空间析像度的影像序列的情况或非分离式的滤波器的情况下，有时整体的编码增益由于开销信息而下降。为了减少辅助信息，也可以假设图像的统计特性对称。这样，在全像素位置彼此到当前的子像素位置的距离相同的情况下，可以想到滤波系数相等。其中，由于存在锯齿等的信号的伪像或变位预测误差，因此对称性的假设不能说对全部的序列都适用。因此，滤波器的适应对于信号统计值存在极限，所以有时导致编码效率的增益的损失。

通过适用对称的插补滤波器和非对称的插补滤波器，能够控制通过发送滤波系数而追加至比特流的开销信息的量。例如，对于高析像度的序列，发送非对称插补滤波器以成为最适于信号的统计的滤波器，但另一方面，对于低析像度的序列，为了减少开销信息的量而适用对称滤波器即可。每次利用对称性时，将不同的各子像素位置所对应的滤波器彼此统一进行最佳化。结果，在输入信号包括锯齿的情况或运动预测不正确的情况下，有时预测效率下降。另外，为了进行运动补偿预测精度的最佳化或开销发送的最佳化，能够按照子像素位置，相互切换对称滤波器和非对称滤波器。

总之，本发明涉及基于小数像素精度的运动补偿预测的影像编码以及影像解码。根据本发明，在求出某个特别指定的子像素位置的像素值时，根据从该子像素位置到相邻的块边界为止的距离，来适用从多个滤波器候选中选择的插补滤波器。这样，多个滤波器候选构成为能够对离相邻的块边界具有特别指定的距离的像素进行最佳插补。在此基础上，在选择最佳的滤波器时也可以将边界的种类或强度加入考虑对象。

(其他变形例)

其中，根据上述实施方式说明了本发明，但本发明当然不限定于上述实施方式。以下的情况也包含在本发明中。

上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。RAM或硬盘单元中存储着计算机程序。微处理器根据计算机程序动作，由此各装置实现其功能。在此，计算机程序为了实现规定的功能，将多个表示对计算机的指令的命令代码进行组合而构成。

构成上述各装置的结构要素的一部分或全部也可以由1个系统LIS(Large Scale Integration：大规模集成电路)构成。系统LSI是在1个芯片上集成了多个结构要素部分来制造的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。在RAM中存储着计算机程序。微处理器根据计算机程序动作，由此系统LSI实现其功能。

构成上述各装置的结构要素的一部分或全部也可以由各装置上可装卸的IC卡或单独的模块来构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包括上述超多功能LSI。微处理器根据计算机程序动作，由此IC卡或模块实现其功能。该IC卡或该模块也可以具有防破解性。

本发明也可以是上面所示的方法。另外，即可以是通过计算机实现这些方法的计算机程序，也可以是由计算机程序构成的数字信号。

另外，本发明也可以是将计算机程序或数字信号记录至计算机可读取的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc，蓝光盘)、半导体存储器等中的方式。另外，也可以是这些记录介质中记录的数字信号。

另外，本发明也可以是将计算机程序或数字信号经由电气通信线路、无线或有限通信线路、以互联网为代表的网络、数据广播等来传送的方式。

另外，本发明也可以是具备微处理器和存储器的计算机系统，存储器存储上述计算机程序，微处理器根据计算机程序动作。

另外，也可以通过将程序或数字信号记录在记录介质中并转发，或通过将程序或数字信号经由网络等转发，来通过独立的其他计算机系统实施。

另外，在上述实施方式中，说明了具备图3A所示的插补滤波器162的图像编码装置100以及图像解码装置101的例子，但不限于此，本发明也可以作为插补滤波器162单独成立。即，能够将搭载在图像编码装置100以及图像解码装置101中的插补滤波器162模块化，作为插补滤波器装置、插补滤波器方法、插补滤波器程序以及插补滤波器集成电路等进行提供。

也可以分别组合上述实施方式以及上述变形例。

以上参照附图说明了本发明的实施方式，但本发明不限于图示的实施方式。对于图示的实施方式，在与发明相同的范围内或在均等的范围内，能够施加各种修改和变形。

工业可利用性

本发明在利用运动补偿预测的图像编码方法以及图像解码方法中特别有用。

Claims (14)

1.一种插补滤波方法，以块为单位对编码的图像的像素进行插补，包括：

像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；以及

插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；

在上述加权系数决定步骤中，在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

2.如权利要求1记载的插补滤波方法，其中，

在上述加权系数决定步骤中，计算从上述插补对象像素到上述对象块的边界的距离；

对于上述多个像素的各个像素，利用计算出的距离来判断从上述插补对象像素到该像素之间是否存在上述对象块的块边界，由此判断该像素是否属于上述周边块。

3.如权利要求1记载的插补滤波方法，其中，

在上述加权系数决定步骤中，上述对象块与上述周边块之间的块边界的边界强度越高，使属于上述周边块的像素的加权系数越小。

4.如权利要求3记载的插补滤波方法，其中，

在上述加权系数决定步骤中，在上述对象块以及上述周边块的至少一方被帧间预测编码的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的双方被帧内预测编码的情况小。

5.如权利要求4记载的插补滤波方法，其中，

在上述加权系数决定步骤中，进而在上述块边界是宏块边界的情况下，使属于上述周边块的像素的加权系数比上述块边界不是宏块边界的情况小。

6.如权利要求4记载的插补滤波方法，其中，

在上述加权系数决定步骤中，进而在上述对象块以及上述周边块的至少一方包括编码系数的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的双方都不包括编码系数的情况小。

7.如权利要求6记载的插补滤波方法，其中，

在上述加权系数决定步骤中，进而在上述对象块以及上述周边块的参照帧、参照帧号码以及运动矢量值的至少1个不同的情况下，使属于上述周边块的像素的加权系数比上述对象块以及上述周边块的参照帧、参照帧号码以及运动矢量全部相同的情况小。

8.如权利要求3记载的插补滤波方法，其中，

在上述加权系数决定步骤中，进而，上述多个像素之中，夹着上述对象块与上述周边块的边界的2个像素的像素值的梯度越大，使属于上述周边块的像素的加权系数越小。

9.一种图像编码方法，依次对多个编码对象块进行编码，包括：

预测块生成步骤，生成上述编码对象块的预测块；以及

编码步骤，利用上述预测块，对上述编码对象块进行编码；

上述预测块生成步骤包括：

像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；

插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；以及

预测步骤，根据插补了像素的上述图像，生成上述预测块；

在上述加权系数决定步骤中，在上述像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

10.如权利要求9记载的图像编码方法，其中，

在上述编码步骤中，进而对上述加权系数进行编码。

11.一种图像解码方法，对编码信号进行解码并生成解码块，包括：

预测块生成步骤，生成上述解码块的预测块；以及

解码步骤，利用上述预测块，对上述编码信号进行解码；

上述预测块生成步骤包括：

像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；

插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；以及

预测步骤，根据插补了像素的上述图像，生成上述预测块；

在上述加权系数决定步骤中，在上述像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

12.一种插补滤波装置，以块为单位对编码的图像的像素进行插补，包括：

像素选择部，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定部，决定与上述像素选择部所选择的上述多个像素分别对应的加权系数；以及

插补部，利用上述加权系数决定部所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；

上述加权系数决定部在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

13.一种程序，使计算机以块为单位对编码的图像的像素进行插补，包括：

像素选择步骤，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定步骤，决定与上述像素选择步骤所选择的上述多个像素分别对应的加权系数；以及

插补步骤，利用上述加权系数决定步骤所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；

在上述加权系数决定步骤中，在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

14.一种集成电路，以块为单位对编码的图像的像素进行插补，包括：

像素选择部，从上述图像中选择用于插补对象像素的插补的多个像素；

加权系数决定部，决定与上述像素选择部所选择的上述多个像素分别对应的加权系数；以及

插补部，利用上述加权系数决定部所决定的加权系数，对上述多个像素的像素值进行加权相加，来计算上述插补对象像素的像素值；

上述加权系数决定部在上述多个像素之中的某一个像素属于与上述插补对象像素所属的对象块不同的周边块的情况下，使该像素的加权系数比该像素属于上述对象块的情况小。

Images