[go: up one dir, main page]

CN101411201A - 图像编码装置以及图像解码装置 - Google Patents

图像编码装置以及图像解码装置 Download PDF

Info

Publication number
CN101411201A
CN101411201A CN200780011050.8A CN200780011050A CN101411201A CN 101411201 A CN101411201 A CN 101411201A CN 200780011050 A CN200780011050 A CN 200780011050A CN 101411201 A CN101411201 A CN 101411201A
Authority
CN
China
Prior art keywords
picture
cross
decoded
correlation data
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780011050.8A
Other languages
English (en)
Other versions
CN101411201B (zh
Inventor
S·维特曼
T·韦丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP06007740A external-priority patent/EP1845729A1/en
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority claimed from PCT/JP2007/056180 external-priority patent/WO2007111292A1/ja
Publication of CN101411201A publication Critical patent/CN101411201A/zh
Application granted granted Critical
Publication of CN101411201B publication Critical patent/CN101411201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种图像解码装置，防止编码后解码后的图像的画质降低。图像解码装置(200)包括：反量化反正交变换部(220)以及加法器(230)，通过对编码流(Str)中包含的编码图像进行解码，从而生成解码图像(Rc)；熵解码部(210)，从编码流(Str)中抽出互相关数据(p)，该互相关数据示出与解码图像(Rc)相对应的未被编码的图像和解码图像(Rc)之间的相关性；以及自适应滤波器(240)，根据所抽出的互相关数据(p)计算滤波参数(w)，对该解码图像(Rc)进行根据该滤波参数(w)的滤波运算。

Description

图像编码装置以及图像解码装置
技术领域
本发明涉及编码并解码图像的图像编码装置以及图像解码装置，尤其涉及对解码后的图像进行滤波的图像编码装置以及图像解码装置。
背景技术
运动图像，在可视电话或电视会议、以及数字电视或DVD(DigitalVersatile Disc)的许多应用程序上被采用。在将运动图像作为数字数据发送或记录时，需要将大量的数据通过频域有限的传输信道发送，且需要将大量的数据存储到容量有限的存储介质中。因此，在将示出运动图像的数字数据发送或记录时，有必要压缩该数字数据来抑制数据量。
于是，开发了关于运动图像编码的许多标准。例如，有以H.26x所示的ITU-T(国际电信联盟电信标准化部门)标准、和以MPEG(运动图像专家组)-x所示的ISO(国际标准化组织)/IEC(国际电工委员会)标准。最新的运动图像编码标准是以H.264/AVC或MPEG-4/AVC所示的标准。
在该标准中，基本上，首先，为了以块级来压缩数据，将一张运动图像的帧(图片(picture))分割为块(宏块)。而且，通过将块的空间区域变换为频率区域，从而生成变换系数，并减少帧的空间冗余度。再者，对该变换系数进行量化。通过这些运动图像的编码，可以减少运动图像的数据量。而且，对该量化后的变换系数进行熵编码。
在此，由于因所述的量化而损失数据，因此不能根据量化后的变换系数恢复原来的变换系数。即，若对运动图像进行编码，则因量化噪声而使画质降低。
并且，在所述的标准中，为了进一步抑制编码后的运动图像的数据量，可以利用帧间的块的时间上的依赖度，来只发送帧间的差分。通过运动检测以及运动补偿的技术，可以实现所述内容。
所述的运动图像压缩技术(图像编码方法)是被称为混合编码技术的技术，也是在各种运动图像压缩技术中最有效的技术。混合编码技术是，将时间以及空间压缩技术和统计编码技术结合的技术。而且，混合编码技术具有运动补偿DPCM(Differential Pulse Code Modulation：差分脉冲编码调制)、二维DCT(Discrete Cosine Transform：离散余弦变换)、DCT系数的量化和VLC(Variable Length Coding：可变长编码)。
在运动补偿DPCM中，检测处理对象帧和处理后的帧之间的图像的运动，并根据该检测出的运动来预测处理对象帧，从而生成处理对象帧和预测结果的差分。
若如此对图像进行编码、再进行解码，则使图像产生混乱。例如，在对DCT系数进行量化时，发生量化噪声。再者，通过按每个块对图像进行编码，从而发生块失真。
以下，用附图说明利用混合编码技术的以往的图像编码装置以及图像解码装置。
图1是以往的图像编码装置的结构框图。
图像编码装置1000具备减法器1100、正交变换量化部1200、反量化反正交变换部1300、加法器1350、解块滤波器1400、存储器1500、帧内预测部1600、运动补偿部1650、运动检测部1700、切换部1800以及熵编码部1900。
减法器1100计算输入图像信号In示出的输入图像、和从帧内预测部1600或运动补偿部1650输出的预测图像Pre之间的差分，以作为预测误差Res。
正交变换量化部1200，通过将减法器1100计算出的预测误差Res变换为频率成分(例如，离散余弦变换)，对该频率成分进行量化，从而将该频率成分压缩编码为量化系数Qc。
反量化反正交变换部1300，通过对从正交变换量化部1200输出的量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部1300，通过对该频率成分进行反正交变换(例如，反离散余弦变换)，从而将该频率成分变换为预测误差Dr。
加法器1350，通过对所述的预测图像Pre和预测误差Dr进行加法运算，从而生成局部解码图像Rc，并将该局部解码图像Rc输出给解块滤波器1400。
解块滤波器1400，为了从加法器1350输出的局部解码图像Rc中消除块失真，对该局部解码图像Rc进行滤波。即，由于以构成图片的块为单位进行到生成局部解码图像Rc为止的所述处理，因此该局部解码图像Rc中包含块失真。于是，解块滤波器1400，将该块失真从局部解码图像Rc中消除。
解块滤波器1400，例如，通过对局部解码图像Rc的各个块的边界进行线性滤波，从而使各个块的边缘平滑。而且，解块滤波器1400，将被滤波后的局部解码图像Rc作为局部解码图像Rdf存储到存储器1500。
帧内预测部1600，在以帧内模式编码输入图像的宏块时，从存储器1500中取出与编码对象的输入图像相对应的一个或多个局部解码图像Rdf，以作为参考图像Ref，并利用这些参考图像Ref来生成针对编码对象的输入图像的预测图像Pre。
运动检测部1700，将在输入图像的编码对象图片之前编码了的图片、即存储在存储器1500的局部解码图像Rc作为参考图像Ref来参考，并且，例如按编码对象图片包含的每个宏块检测运动矢量MV。
运动补偿部1650，在以帧间模式编码输入图像的宏块时，从存储在存储器1500的参考图像Ref中取出运动检测部1700检测出的运动矢量MV所示的区域的图像，将其作为预测图像Pre输出。
切换部1800，在编码对象宏块的编码模式是帧内模式时，使减法器1100和帧内预测部1600连接，使得从帧内预测部1600输出的预测图像Pre被利用于减法器1100中的处理。并且，切换部1800，在编码对象宏块的编码模式是帧间模式时，使减法器1100和运动补偿部1650连接，使得从运动补偿部1650输出的预测图像Pre被利用于减法器1100的处理。
熵编码部1900，通过对正交变换量化部1200所生成的量化系数Qc、和运动检测部1700检测出的运动矢量MV进行熵编码(可变长编码)，从而生成编码流Str。
在这些图像编码装置1000中，进行预测图像Pre的生成、正交变换或量化、从输入图像中的预测图像Pre的减法等，以作为输入图像的编码，进一步，进行对量化系数Qc的反量化或反正交变换、预测误差Dr和预测图像Pre的加法等，以作为编码后的输入图像的解码。
图2是以往的图像解码装置的结构框图。
图像解码装置2000具备熵解码部2100、反量化反正交变换部2200、加法器2300、解块滤波器2400、存储器2500、帧内预测部2600、运动补偿部2650以及切换部2700。
熵解码部2100，获得编码流Str，对该编码流Str进行熵解码(可变长解码)。而且，熵解码部2100，从该熵解码后的编码流Str中抽出量化系数Qc和运动矢量MV。
反量化反正交变换部2200，获得熵解码部2100所抽出的量化系数Qc，对该量化系数Qc进行反量化，通过对该量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部2200，通过对该频率成分进行反正交变换(例如，离散余弦变换)，从而将该频率成分变换为预测误差Dr。
加法器2300，通过向从反量化反正交变换部2200输出的预测误差Dr加上从帧内预测部2600或运动补偿部2650输出的预测图像Pre，从而生成解码图像Rc。并且，加法器2300，将该所生成的解码图像Rc输出给解块滤波器2400。
解块滤波器2400，为了从加法器2300输出的解码图像Rc中消除块失真，对该解码图像Rc进行滤波。即，由于以构成图片的块为单位进行到生成解码图像Rc为止的所述处理，因此该解码图像Rc中包含块失真。
解块滤波器2400，例如，通过对解码图像Rc的各个块的边界进行线性滤波，从而使各个块的边缘平滑。而且，解块滤波器2400，将被滤波后的解码图像Rc作为输出图像Ds输出，并且，将该解码图像Rc作为参考图像Ref存储到存储器2500。
帧内预测部2600，在应该对编码流Str中包含的解码对象宏块以帧内模式进行解码时，从存储器2500中取出与预测误差Dr相对应的一个或多个参考图像Ref，并利用这些参考图像Ref来生成预测图像Pre。
运动补偿部2650，在应该对编码流Str中包含的解码对象宏块以帧间模式进行解码时，从存储在存储器2500的参考图像Ref中取出熵解码部2100所抽出的运动矢量MV所示的区域的图像，将其作为预测图像Pre输出。
切换部2700，在解码对象宏块的编码模式是帧内模式时，使加法器2300和帧内预测部2600连接，使得从帧内预测部2600输出的预测图像Pre被利用于加法器2300中的处理。并且，切换部2700，在解码对象宏块的解码模式是帧间模式时，使加法器2300和运动补偿部2650连接，使得从运动补偿部2650输出的预测图像Pre被利用于加法器2300中的处理。
在这些图像解码装置2000中，进行对量化系数Qc的反量化或反正交变换、预测误差Dr和预测图像Pre的加法等，以作为解码。
如此，在以往的图像编码装置1000以及图像解码装置2000中，通过进行图像的编码以及解码，图像编码装置1000中的局部解码图像Rc、或图像解码装置2000中的解码图像Rc的画质，劣于与这些图像相对应的输入图像的画质。即，局部解码图像Rc以及解码图像Rc中包含的混乱、因编码以及解码而引起的噪声，比输入图像多。在噪声中，有量化噪声或块失真等。
于是，解块滤波器1400、2400是为了使局部解码图像Rc或解码图像Rc的画质提高而具备的。
但是，以这些解块滤波器1400、2400，不能使局部解码图像Rc或解码图像Rc的画质充分提高。即，解块滤波器1400、2400，只试图使块的边界平滑而消除块失真，而不消除其它的噪声，也不提高边界以外的区域的画质。再者，解块滤波器1400、2400，由于与局部解码图像Rc以及解码图像Rc的内容(清晰度或平滑度等)无关，以预定的滤波系数进行线性滤波，因此不能进行适于该局部解码图像Rc或解码图像Rc的滤波。
于是，提出了所谓自适应滤波，该自适应滤波中，为了试图提高画质，通过解析图像的内容，从而进行适于该图像的滤波。例如，编码后再解码后的图像被解析，对应于该解析结果的滤波参数(滤波系数)被用于针对该图像的滤波。
在专利文献1中有，关于针对运动图像的自适应滤波器的记载。该专利文献1的自适应滤波器，检测解码图像的运动或噪声，计算对应于该检测结果的滤波参数，对该解码图像进行根据该滤波参数的滤波。通过所述的检测，反复地计算滤波参数。
专利文献1：美国专利申请公开编号第2005/0105627号说明书
然而，存在的问题是，即使以所述专利文献1的自适应滤波器，也不能将解码图像的画质充分地接近于输入图像的画质。
即，所述专利文献1的自适应滤波器，由于根据包含失真或噪声的、混乱的解码图像来决定滤波参数，因此画质的提高受限制。然而，若提高包含编码后的输入图像的编码流Str的比特率，则可以提高解码图像的画质。但是，在此情况下，为了存储编码流Str而需要具有大容量的记录介质，为了发送编码流Str而需要频带宽度较宽的通信介质。
发明内容
于是，鉴于所述问题，本发明的目的在于提供图像编码装置及图像解码装置，确实防止编码并解码后的图像的画质降低。
为了实现所述目的，本发明涉及的图像解码装置，对编码图像进行解码，其特点是，包括：解码单元，通过对编码流中包含的编码图像进行解码，从而生成解码图像；抽出单元，从所述编码流中抽出互相关数据，该互相关数据示出与所述解码图像相对应的未被编码的图像和所述解码图像之间的相关性；参数计算单元，根据所述抽出单元所抽出的所述互相关数据计算滤波参数；以及滤波单元，对所述解码图像进行根据所述滤波参数的滤波运算。例如，所述参数计算单元，通过生成示出所述解码图像内的相关性的自相关数据，并利用所述自相关数据和所述互相关数据进行运算，从而计算所述滤波参数。并且，所述参数计算单元，计算所述滤波参数，以作为维纳滤波的滤波系数。
据此，图像解码装置，例如，通过获得互相关数据，来对该解码图像进行维纳滤波，从而可以将解码图像接近于所述不混乱的原来的图像，所述互相关数据示出含有失真的混乱的解码图像、和成为该解码图像的基础的未被编码且不混乱的图像之间的相关性。其结果是，确实防止编码并解码后的图像的画质降低。
并且，其特点可以是，所述抽出单元，从所述编码流中包含的、编码后的块、片、图片或汇总多个图片的区域的头部中抽出所述互相关数据。并且，其特点可以是，所述抽出单元，从所述编码流中包含的、编码后的图片的补充增强信息中抽出所述互相关数据。
据此，由于互相关数据在于补充增强信息，因此，图像解码装置，可以利用该互相关数据来对解码图像进行维纳滤波，也可以跳读该互相关数据而不进行维纳滤波。
并且，其特点可以是，所述参数计算单元，按所述解码图像的每个区域生成所述自相关数据，并按每个所述区域计算所述滤波参数。例如，所述参数计算单元，将块、片、图片或多个图片分别作为一个所述区域，并按每个所述区域计算所述自相关数据以及所述滤波参数。
据此，按照块或片等区域，可以计算适于该区域的滤波参数。即，例如，在一个片内的各个块共享互相关数据的情况下，也可以按每个块计算适于该块的滤波参数，还可以更确实防止编码后解码后的图像的画质降低。
为了实现所述目的，本发明涉及的图像编码装置，对输入图像进行编码，其特点是，包括：编码单元，通过对输入图像进行编码，从而生成编码图像；解码单元，通过对编码图像进行解码，从而生成解码图像；互相关数据生成单元，生成互相关数据，该互相关数据示出所述输入图像和所述解码图像之间的相关性；以及插入单元，向包含所述编码单元所生成的编码图像的编码流中插入所述互相关数据。例如，所述图像编码装置，还包括：参数计算单元，通过生成示出所述解码图像内的相关性的自相关数据，并利用所述自相关数据和所述互相关数据进行运算，从而计算滤波参数；以及滤波单元，对所述解码图像进行根据所述滤波参数的滤波运算。并且，所述参数计算单元，计算所述滤波参数，以作为维纳滤波的滤波系数。
据此，获得编码流的图像解码装置，例如，可以获得互相关数据，并通过对该解码图像进行维纳滤波，从而可以将解码图像接近于所述不混乱的原来的图像，所述互相关数据示出含有失真的混乱的解码图像、和成为该解码图像的基础的未被编码且不混乱的图像之间的相关性。其结果是，确实防止编码并解码后的图像的画质降低。
并且，其特点可以是，所述插入单元，向所述编码流中包含的、编码后的块、片、图片或汇总多个图片的区域的头部插入所述互相关数据。并且，其特点可以是，所述插入单元，向所述编码流中包含的、编码后的图片的补充增强信息插入所述互相关数据。
据此，由于互相关数据被插入到补充增强信息，因此，获得编码流的图像解码装置，可以利用该互相关数据来对解码图像进行维纳滤波，也可以跳读该互相关数据而不进行维纳滤波。
并且，其特点可以是，所述互相关数据生成单元，按图像的每个区域生成所述互相关数据。例如，所述互相关数据生成单元，将块、片、图片或多个图片分别作为一个所述区域，并按每个所述区域生成所述互相关数据。
据此，获得编码流的图像解码装置，可以按每个块或片等的区域计算适于该区域的滤波参数，可以更确实防止画质降低。并且，若按块等每个小的区域生成互相关数据，则该区域越小越可以防止画质降低，若按多个图片等每个大的区域生成互相关数据，则该区域越大越可以使编码流中包含的互相关数据的数据量变小、抑制编码流的数据量。
而且，本发明，不仅可以以所述的图像编码装置以及图像解码装置来实现，也可以以此方法或程序、存储此程序的存储介质、集成电路来实现。
本发明的图像编码装置以及图像解码装置，可以实现确实防止编码后解码后的图像的画质降低的效果。
附图说明
图1是以往的图像编码装置的结构框图。
图2是以往的图像解码装置的结构框图。
图3是本发明的实施例的图像编码装置的结构框图。
图4是同上的编码流的结构图。
图5是示出同上的SEI的句法的一个例子的图。
图6是示出同上的互相关数据的句法的一个例子的图。
图7是同上的图像编码装置的工作的流程图。
图8A是同上的图像解码装置的结构框图。
图8B是同上的自适应滤波器的结构框图。
图9是同上的图像解码装置的工作的流程图。
图10是同上的变形例1涉及的图像编码装置的结构框图。
图11是同上的变形例1涉及的自适应滤波器的结构框图。
图12是同上的变形例1涉及的图像解码装置的结构框图。
图13是同上的变形例2涉及的图像编码装置的结构框图。
图14是同上的变形例2涉及的图像解码装置的结构框图。
图15是同上的变形例3涉及的图像编码装置的结构框图。
图16是同上的变形例3涉及的图像解码装置的结构框图。
图17是同上的变形例4涉及的图像编码装置的结构框图。
图18是同上的变形例4涉及的图像解码装置的结构框图。
图19是同上的变形例5涉及的图像编码装置的结构框图。
图20是同上的变形例5涉及的图像解码装置的结构框图。
图21是示出同上的变形例6涉及的SEI的滤波参数的句法的一个例子的图。
符号说明
100 图像编码装置
110 减法器
120 正交变换量化部
130 反量化反正交变换部
135 加法器
140 互相关数据生成部
150 存储器
160 帧内预测部
165 运动补偿部
170 运动检测部
180 切换部
190 熵编码部
200 图像解码装置
210 熵解码部
220 反量化反正交变换部
230 加法器
240 自适应滤波器
250 存储器
260 帧内预测部
265 运动补偿部
270 切换部
Dr  预测误差
Ds  输出图像
In  输入图像信号
MV  运动矢量
p   互相关数据
Pre 预测图像
Qc  量化系数
R   自相关数据
Rc  局部解码图像、解码图像
Ref 参考图像
Res 预测误差
Str 编码流
w   滤波参数
具体实施方式
以下，参照附图说明本发明的实施例的图像编码装置以及图像解码装置。
图3是本发明的实施例的图像编码装置的结构框图。
本实施例的图像编码装置100，向图像解码装置输出互相关数据，使得在图像解码装置对图像解码装置所解码的图像适当地进行滤波，从而可以防止画质降低。
即，本实施例的图像编码装置100，通过获得并编码输入图像信号In示出的输入图像，从而生成编码流Str，并且，生成互相关数据，并将该互相关数据插入到编码流Str。
具体而言，图像编码装置100具备减法器110、正交变换量化部120、反量化反正交变换部130、加法器135、互相关数据生成部140、存储器150、帧内预测部160、运动补偿部165、运动检测部170、切换部180以及熵编码部190。而且，在本实施例中，减法器110以及正交变换量化部120被构成为编码单元，反量化反正交变换部130以及加法器135被构成为解码单元。再者，熵编码部190被构成为插入单元，帧内预测部160、运动补偿部165以及运动检测部170被构成为预测单元。
减法器110计算输入图像信号In示出的输入图像、和从帧内预测部160或运动补偿部165输出的预测图像Pre之间的差分，以作为预测误差Res。
正交变换量化部120，通过将减法器110计算出的预测误差Res变换为频率成分(例如，离散余弦变换)，并对该频率成分进行量化，从而将该频率成分压缩编码为量化系数Qc。
反量化反正交变换部130，通过对从正交变换量化部120输出的量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部130，通过对该频率成分进行反正交变换(例如，反离散余弦变换)，从而将该频率成分变换为预测误差Dr。
加法器135，通过对所述的预测图像Pre和预测误差Dr进行加法运算，从而生成局部解码图像Rc，并将该局部解码图像Rc存储到存储器150。
帧内预测部160，在输入图像的宏块以帧内模式被编码时，从存储器150中取出与编码对象的输入图像相对应的一个或多个局部解码图像Rc，以作为参考图像Ref，并利用这些参考图像Ref来生成针对编码对象的输入图像的预测图像Pre。
运动检测部170，将在输入图像的编码对象图片之前编码了的图片、即存储在存储器150的局部解码图像Rc作为参考图像Ref来参考，并且，例如按编码对象图片包含的每个宏块检测运动矢量MV。
运动补偿部165，在输入图像的宏块以帧间模式被编码时，从存储在存储器150参考图像Ref中取出运动检测部170检测出的运动矢量MV所示的区域(宏块)的图像，将其作为预测图像Pre输出。
切换部180，在编码对象宏块的编码模式是帧内模式时，使减法器110和帧内预测部160连接，使得从帧内预测部160输出的预测图像Pre被利用于减法器110中的处理。并且，切换部180，在编码对象宏块的编码模式是帧间模式时，使减法器110和运动补偿部165连接，使得从运动补偿部165输出的预测图像Pre被利用于减法器110中的处理。
互相关数据生成部140，根据输入图像信号In示出的输入图像、和与该输入图像相对应的局部解码图像Rc，生成示出输入图像和局部解码图像Rc的相关(差异)的互相关数据(互相关矩阵或互相关矢量)p。
例如，互相关数据生成部140，按构成图片的每个块或宏块(以下，将块以及宏块简单地称为块，以作为总称)、按由多个块构成的每个片(slice)、按每个图片、或者按由多个图片构成的每个场面或GOP(Group OfPicture：图像组)，生成一个互相关数据p。因此，在按每个图片生成互相关数据p的情况下，针对该图片中包含的所有的块的滤波利用共通的互相关数据p。同样，在按每个片生成互相关数据p的情况下，针对该片中包含的所有的块的滤波利用共通的互相关数据p。
并且，在按诸如红色(R)、绿色(G)以及蓝色(B)、或亮度(Y)以及色差(Cr，Cb)之类的每个颜色成分，对输入图像进行编码的情况下，互相关数据生成部140，可以按每个该颜色成分生成互相关数据p。据此，可以进行对各个颜色成分适当的滤波。
熵编码部190，通过对正交变换量化部120所生成的量化系数Qc、互相关数据生成部140所生成的互相关数据p和运动检测部170检测出的运动矢量MV进行熵编码(可变长编码)，从而生成编码流Str。
即，本实施例的熵编码部190，对互相关数据p进行熵编码，将该熵编码后的互相关数据p插入到包含编码后的输入图像的编码流Str。
据此，在互相关数据生成部140以场面为单位或以图片为单位、即以图像的大的空间区域为单位生成互相关数据p的情况下，由于所有的互相关数据p的数据量少，因此可以抑制编码流Str的数据量。另一方面，在互相关数据生成部140以块为单位或以序列为单位、即以图像的小的空间区域为单位生成互相关数据p的情况下，由于可以按每个块或序列进行适当的滤波，因此可以试图更提高画质。
在这些图像编码装置100中，以块为单位进行预测图像Pre的生成、正交变换或量化、从输入图像中的预测图像Pre的减法等，以作为输入图像的编码，进一步，以块为单位进行对量化系数Qc的反量化或反正交变换、预测误差Dr和预测图像Pre的加法等，以作为编码后的输入图像的解码。
并且，本实施例的图像编码装置100，如上所述，通过将互相关数据p插入到编码流Str，从而在获得并解码该编码流Str的图像解码装置，可以获得互相关数据p。其结果是，根据该互相关数据p计算维纳滤波的滤波参数，并以维纳滤波对解码图像进行滤波，从而可以提高解码图像的画质。
在此，对维纳滤波进行详细说明。
如(公式1)，利用自相关矩阵R和互相关矢量(互相关数据)p来示出维纳滤波的滤波参数w。而且，在自相关矩阵R是由M×M个(M是自然数)要素组成的矩阵、互相关矢量p是由M×1个要素组成的矢量的情况下，滤波参数w被示出为由M个滤波系数组成的矩阵。并且，R-1是自相关矩阵R的逆矩阵。
【公式1】
w＝R-1×p
维纳滤波的滤波参数w，对滤波对象的图像进行卷积处理来进行滤波，例如(公式2)示出，若是二维的3×3抽头的滤波，则具有9个滤波系数。
【公式2】
w = w 11 w 12 w 13 w 21 w 22 w 23 w 31 w 32 w 33
在计算如(公式2)示出的、具有3×3个滤波系数的滤波参数w的情况下，如(公式3)示出，自相关矩阵R具有9×9个要素。
【公式3】
Figure A20078001105000211
并且，在计算如(公式2)示出的、具有3×3个滤波系数的滤波参数w的情况下，如(公式3)示出，如(公式4)示出，自相关矢量p具有9×1个要素。
【公式4】
p = p 1 · · · p 9
利用输入图像和局部解码图像Rc来推定互相关矢量p，只利用局部解码图像Rc来推定自相关矩阵R。而且，通过进行(公式1)的矩阵运算，从而可以获得例如(公式5)中的、组成为3×3个的滤波参数w。
【公式5】
w 3 × 3 = - 0.03495 0.05748 - 0.02351 0.05896 0.88896 0.05978 - 0.02719 0.06011 - 0.03945
例如，在利用针对图像而得的滤波参数w来进行滤波处理的情况下，进行(公式6)示出的矩阵运算。即，生成由该图像中成为滤波的对象的像素的像素值(229)、和在该像素的周围的多个像素的像素值(192，225，225等)组成的矩阵。而且，计算由该多个像素值组成的矩阵和所述的滤波参数w的乘积。这些滤波运算(矩阵运算)的结果是，所述的像素的像素值(229)成为227.47。
【公式6】
S f = 192 225 255 146 229 255 132 198 252 · w = 227 · 47
而且，示出滤波运算的结果的像素值的227.47，通过小数点以下舍去，从而成为227。
如上所述的获得编码流Str的图像解码装置，通过从该编码流Str中抽出互相关数据(互相关矢量)p，从而可以利用所述的维纳滤波。即，图像解码装置，对编码流Str进行解码来生成解码图像，根据该解码图像生成自相关矩阵R。而且，如(公式1)示出，图像解码装置，可以利用自相关矩阵R和互相关矢量p来计算维纳滤波的滤波参数w。
其结果是，如(公式6)示出，图像解码装置，通过利用滤波参数w对解码图像的各个像素进行滤波运算，从而可以消除解码图像中包含的块失真或量化噪声等的噪声，并可以将解码图像的画质接近于输入图像的画质。
即，若输入图像被编码后再被解码，则依据该编码以及解码来在解码图像中包含块失真或量化噪声，因此解码图像的画质劣于输入图像的画质。维纳滤波被设计为，使对该解码图像进行滤波而获得的图像和输入图像之间的差分(像素值的差分的平方平均值)成为最小。因此，通过以维纳滤波对解码图像进行滤波，从而可以将该解码图像确实接近于原来的输入图像。
而且，在所述的例子中，构成滤波参数w的滤波系数的的数量(抽头数)是3×3个，但是，滤波系数的的数量可以是任意的，也可以是7×7个。并且，滤波参数w是二维矩阵，但是，也可以是一维矩阵。并且，滤波系数的数量越多，越可以提高滤波的精确度。
图4是编码流Str的结构图。
编码流Str，在结构上包含以编码后的多个图片为一组的多个GOP(Group Of Picture：图像组)。并且，GOP，在结构上包含由多个参数构成的SPS(序列参数集)、和多个图片，该多个参数被利用于该GOP中包含的所有的图片的解码。
再者，在图片中，从开头依次包含由多个参数构成的PPS(图像参数集)、作为补充增强信息的SEI、和一个或多个片，该多个参数被利用于该图片的解码，所述一个或多个片利用该SEI被解码。并且，在图片中包含一个或多个组，该组由所述的SEI和一个或多个片构成。
例如，在互相关数据生成部140按每个片生成互相关数据p的情况下，熵编码部190向位于片的前面的、用于该片的解码的SEI插入针对该片所生成的互相关数据p。在此情况下，针对片中包含的所有的块的滤波利用共通的互相关数据p。
并且，在向多个片分配一个SEI的情况下，熵编码部190向该SEI插入针对该多个片所生成的共通的互相关数据p。在此情况下，针对多个片中包含的所有的块的滤波利用共通的互相关数据p。
如此，互相关数据p被插入到作为编码后的图片的头部的SEI。
图5是示出同上的SEI的句法的一个例子的图。
在SEI，按照有效负载类型所需要的信息被插入。例如，在有效负载类型为22时，互相关数据p被插入到SEI的附加数据字段。即，互相关数据p，作为可选的后面滤波的提示(post-filter hint)被插入到SEI。
其结果是，本实施例的图像解码装置，通过抽出该编码流Str的SEI中包含的互相关数据p，从而可以进行以维纳滤波的滤波。并且，即使以往的图像解码装置获得本实施例的编码流Str，以往的图像解码装置也可以跳读该编码流Str的SEI中包含的互相关数据p，因此可以进行按照以往的方法的解码。即，本实施例的编码流Str与以往的编码流Str之间具有互换性。
图6是示出互相关数据p的句法的一个例子的图。
作为示出互相关数据p的信息，该矩阵p中包含的要素的数量(number_of_elements)、对要素的加权(scaling_factor)和各个要素的值(filter_hint[element])被插入到SEI。而且，在图像解码装置，互相关数据p的各个要素的值，除以scaling_factor示出的加权，并被利用。
图7是本实施例的图像编码装置100的工作的流程图。
首先，图像编码装置100，获得输入图像信号In示出的输入图像(步骤S100)，通过对该输入图像进行编码，从而生成量化系数Qc(步骤S102)。再者，图像编码装置100，通过对量化系数Qc进行解码，从而生成局部解码图像Rc(步骤S104)。
而且，图像编码装置100，根据输入图像、和与该输入图像相对应的局部解码图像Rc，生成互相关数据p(步骤S106)。图像编码装置100，通过对生成的互相关数据p和量化系数Qc进行熵编码，从而生成包含互相关数据p的编码流Str(步骤S108)。即，图像编码装置100，向包含编码后的输入图像的编码流Str插入互相关数据p。而且，图像编码装置100，输出该编码流Str(步骤S110)。
而且，图像编码装置100的熵编码部190，也可以将识别信息和互相关数据p一起插入到编码流Str，该识别信息示出应该对编码后的图片等的图像区域中的哪个图像区域进行滤波。据此，图像解码装置，可以只对该识别信息示出的图像区域(例如，I帧、P帧以及B帧等)进行维纳滤波。
图8A是本实施例的图像解码装置的结构框图。
本实施例的图像解码装置200，通过利用从图像编码装置100发送来的互相关数据p，从而可以对解码图像适当地进行滤波而防止画质降低。
即，本实施例的图像解码装置200，获得并解码从图像编码装置100输出的编码流Str来生成解码图像，并且，从编码流Str中抽出互相关数据p。而且，图像解码装置200，利用该互相关数据p来计算维纳滤波的滤波参数w，并以该滤波参数w对解码图像进行滤波。
具体而言，图像解码装置200具备熵解码部210、反量化反正交变换部220、加法器230、自适应滤波器240、存储器250、帧内预测部260、运动补偿部265，和切换部270。而且，在本实施例中，反量化反正交变换部220以及加法器230被构成为解码单元，熵解码部210被构成为抽出单元。再者，自适应滤波器240被构成为参数计算单元以及滤波单元，帧内预测部260以及运动补偿部265被构成为预测单元。
熵解码部210，获得编码流Str，对该编码流Str进行熵解码(可变长解码)。而且，熵解码部210，从该熵解码后的编码流Str中抽出量化系数Qc、互相关数据p和运动矢量MV。
反量化反正交变换部220，获得熵解码部210所抽出的量化系数Qc，对该量化系数Qc进行反量化，通过对该量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部220，通过对该频率成分进行反正交变换(例如，反离散余弦变换)，从而将该频率成分变换为预测误差Dr。
加法器230，通过向从反量化反正交变换部220输出的预测误差Dr加上从帧内预测部260或运动补偿部265输出的预测图像Pre，从而生成解码图像Rc。并且，加法器230将该所生成的解码图像Rc输出给自适应滤波器240，并且，将该解码图像Rc存储到存储器250。
帧内预测部260，在应该对编码流Str中包含的解码对象宏块以帧内模式进行解码时，从存储器250中取出与预测误差Dr相对应的一个或多个参考图像Ref，并利用这些参考图像Ref来生成预测图像Pre。
运动补偿部265，在应该对编码流Str中包含的解码对象宏块以帧间模式进行解码时，从存储在存储器250的参考图像Ref中取出熵解码部210所抽出的运动矢量MV所示的区域的图像，将其作为预测图像Pre输出。
切换部270，在解码对象宏块的解码模式是帧内模式时，使加法器230和帧内预测部260连接，使得从帧内预测部260输出的预测图像Pre被利用于加法器230中的处理。并且，切换部270，在解码对象宏块的解码模式是帧间模式时，使加法器230和运动补偿部265连接，使得从运动补偿部265输出的预测图像Pre被利用于加法器230中的处理。
自适应滤波器240，获得熵解码部210所抽出的互相关数据p、和从加法器230输出的解码图像Rc。而且，自适应滤波器240，根据该互相关数据p计算维纳滤波的滤波参数w，并利用该滤波参数w来对该解码图像Rc进行按照解码图像Rc的滤波。其结果是，自适应滤波器240，将被滤波后的解码图像Rc作为输出图像Ds输出。
图8B是自适应滤波器240的结构框图。
自适应滤波器240具备自相关数据生成部241、滤波参数计算部242、滤波处理部243。
自相关数据生成部241，通过获得解码图像Rc、并解析该解码图像Rc，从而生成并输出自相关矩阵(自相关数据)R。
滤波参数计算部242，如(公式1)示出，通过进行利用自相关数据R和互相关数据p的运算，从而计算维纳滤波的滤波参数w。
滤波处理部243，利用滤波参数w来对解码图像Rc进行滤波处理(滤波)。即，滤波处理部243，如(公式6)示出，对解码图像Rc进行以滤波参数w的滤波。通过进行这些滤波，从而输出图像Ds被生成并输出。
其结果是，可以消除解码图像Rc中包含的块失真或量化噪声等的噪声，也可以将被滤波后的解码图像Rc(即，输出图像Ds)的画质接近于输入图像的画质。
而且，自适应滤波器240，可以只对I帧进行滤波，也可以对I帧、P帧以及B帧的全部进行滤波。即，自适应滤波器240，获得由熵解码部210从编码流Str中抽出的所述的识别信息，只对该识别信息示出的图像区域进行滤波。
在这些图像解码装置200中，以块为单位，进行对量化系数Qc的反量化，或者，进行反正交变换、预测误差Dr和预测图像Pre的加法等，以作为解码。
图9是本实施例的图像解码装置200的工作的流程图。
图像解码装置200，获得编码流Str(步骤S200)，对该编码流Str进行熵解码，从熵解码后的编码流Str中抽出互相关数据p(步骤S202)。
再者，图像解码装置200，还通过对熵解码后的编码流Str进行解码，从而生成解码图像Rc(步骤S204)。即，图像解码装置200，对编码流Str中包含的量化系数Qc进行反量化以及反正交变换，还加上预测图像Pre，从而生成解码图像Rc。
而且，图像解码装置200，根据该解码图像Rc来生成自相关数据R(步骤S206)，从而计算按照在步骤S202抽出的互相关数据p和自相关数据R的、维纳滤波的滤波参数w(步骤S208)。
图像解码装置200，利用计算出的滤波参数w来执行对解码图像Rc的滤波处理(滤波)(步骤S210)，将被滤波后的解码图像Rc作为输出图像Ds输出(步骤S212)。
如此，本实施例的图像解码装置200，从编码流Str中抽出互相关数据p，计算维纳滤波的滤波参数w，对解码图像Rc进行依据滤波参数w的滤波。据此，可以将作为被滤波后的解码图像Rc的输出图像Ds的画质接近于输入图像的画质。并且，图像解码装置200，由于不是从编码流Str中抽出维纳滤波的滤波参数w，而是抽出互相关数据p，因此可以计算并利用按照该图像解码装置200的状况(资源的状况)的滤波参数w。
例如，在图像解码装置200被具备在移动终端、且该移动终端具备慢的处理器和小的显示器的情况下，图像解码装置200计算滤波系数的数量少的滤波参数w。而且，图像解码装置200，简单地进行利用该滤波参数w的滤波。另一方面，在图像解码装置200被具备在高功能的终端、且该移动终端具备快的处理器和大的显示器的情况下，图像解码装置200计算滤波系数的数量多的滤波参数w。而且，图像解码装置200，复杂地进行利用该滤波参数w的滤波。
并且，即使同一的图像解码装置200，也可以针对同一的互相关数据p计算不同的滤波参数w。例如，图像解码装置200，在节能模式的情况下，计算滤波系数的数量少的滤波参数w，在高画质模式的情况下，计算滤波系数的数量多的滤波参数w。
并且，图像解码装置200的自相关数据生成部241，可以与互相关数据p被适用的图像区域无关，按任意的每个图像区域，例如，按构成图片的每个块、按由多个块构成的每个片、按每个图片、或者按由多个图片构成的每个场面或GOP(Group Of Picture)，生成一个自相关数据R。在此情况下，滤波参数计算部242，可以计算各个图像区域的适当的滤波参数w，利用该滤波参数w，从而可以将作为被滤波后的解码图像Rc的输出图像Ds的画质接近于输入图像的画质。
即，图像解码装置200可以提高滤波参数w的自由度。
(变形例1)
在此，说明所述实施例的图像编码装置以及图像解码装置的变形例1。
本变形例的图像编码装置的特点是，对局部解码图像Rc进行按照该局部解码图像Rc的滤波，将被滤波后的局部解码图像Rc作为参考图像Ref存储到存储器150。
图10是本变形例涉及的图像编码装置的结构框图。
本变形例涉及的图像编码装置300，取代所述实施例的图像编码装置100具有的互相关数据生成部140，而具备自适应滤波器340。
自适应滤波器340，根据局部解码图像Rc和输入图像，生成互相关数据p以及自相关数据R。再者，自适应滤波器340，根据该所生成的互相关数据p以及自相关数据R，计算维纳滤波的滤波参数w。而且，自适应滤波器340，将该互相关数据p输出给熵编码部190，并且，利用计算出的滤波参数w来对局部解码图像Rc进行滤波。其结果是，自适应滤波器340，将被滤波后的局部解码图像Rc作为滤波解码图像Rcf存储到存储器150。
即，在本变形例中，自适应滤波器340被构成为参数计算单元以及滤波单元。
据此，可以提高利用于帧内预测部160、运动补偿部165以及运动检测部170的参考图像Ref或预测图像Pre的画质，并将其接近于输入图像。再者，由于预测图像Pre接近于输入图像，因此可以使预测误差Res的数据量变小，其结果是，可以抑制编码流Str的数据量。
图11是本变形例涉及的自适应滤波器340的结构框图。
自适应滤波器340具备互相关数据生成部341、自相关数据生成部342、滤波参数计算部343、滤波处理部344。
互相关数据生成部341，根据输入图像信号In示出的输入图像、和与该输入图像相对应的局部解码图像Rc，生成互相关数据(互相关矢量)p。例如，互相关数据生成部341，按每个图片、或按构成图片的每个块或宏块、按每个片，生成互相关数据p。
自相关数据生成部342，通过获得局部解码图像Rc、并解析该局部解码图像Rc，从而生成并输出作为自相关矩阵的自相关数据R。
滤波参数计算部343，通过进行利用自相关数据R和互相关数据p的运算，从而计算维纳滤波的滤波参数w。
滤波处理部344，利用滤波参数w来对局部解码图像Rc进行滤波，从而生成滤波解码图像Rcf，并将其存储到存储器150。
图12是本变形例涉及的图像解码装置的结构框图。
本变形例涉及的图像解码装置400是一种装置，对本变形例涉及的图像编码装置300所生成的编码流Str进行解码。
即，本变形例涉及的图像解码装置400，不像所述实施例的图像解码装置200那样、将解码图像Rc存储到存储器250，而将从自适应滤波器240输出的输出图像Ds作为参考图像Ref存储到存储器250。即，自适应滤波器240，将输出图像Ds输出，并且，将作为参考图像Ref利用的输出图像Ds存储到存储器250。
据此，本变形例涉及的图像解码装置400，可以生成与图像编码装置300所生成的预测图像Pre相同的预测图像Pre，可以对图像编码装置300所生成的编码流Str适当地进行解码。
(变形例2)
在此，说明所述实施例的图像编码装置以及图像解码装置的变形例2。
本变形例的图像编码装置的特点是，具备所述变形例1的图像编码装置300的各个构成要素，并且，具备解块滤波器。
图13是本变形例涉及的图像编码装置的结构框图。
本变形例的图像编码装置500，具备所述变形例1的图像编码装置300的各个构成要素，并且，具备解块滤波器510。
解块滤波器510，为了从加法器135输出的局部解码图像Rc中消除块失真，对该局部解码图像Rc进行滤波。而且，解块滤波器510，将被滤波后的局部解码图像Rc作为局部解码图像Rcd输出给自适应滤波器340。这些解块滤波器510的处理，与以往的解块滤波器的处理相同。
自适应滤波器340，与所述的变形例1的情况相同，根据局部解码图像Rcd和输入图像，生成互相关数据p以及自相关数据R。再者，自适应滤波器340，根据该所生成的互相关数据p以及自相关数据R，计算维纳滤波的滤波参数w。而且，自适应滤波器340，将该互相关数据p输出给熵编码部190，并且，利用计算出的滤波参数w来对局部解码图像Rcd进行滤波。其结果是，自适应滤波器340，将被滤波后的局部解码图像Rcd作为滤波解码图像Rcf存储到存储器150。
图14是本变形例涉及的图像解码装置的结构框图。
本变形例涉及的图像解码装置600是一种装置，其特点是，对本变形例涉及的图像编码装置500所生成的编码流Str进行解码，对解码图像Rc进行解块滤波。
图像解码装置600，具备所述变形例1的图像解码装置400的各个构成要素，并且，具备解块滤波器610。
解块滤波器610，为了从加法器230输出的解码图像Rc中消除块失真，对该解码图像Rc进行滤波。而且，解块滤波器610，将被滤波后的解码图像Rc作为解码图像Rcd输出给自适应滤波器240。这些解块滤波器610的处理，与以往的解块滤波器的处理相同。
自适应滤波器240，获得熵解码部210所抽出的互相关数据p、和从解块滤波器610输出的解码图像Rcd。而且，自适应滤波器240，根据该互相关数据p来计算维纳滤波的滤波参数w，利用该滤波参数w来对解码图像Rcd进行按照该解码图像Rcd的滤波。其结果是，自适应滤波器240，将被滤波后的解码图像Rcd作为输出图像Ds输出。再者，自适应滤波器240，将作为参考图像Ref利用的输出图像Ds存储到存储器250。
如此，本变形例中，由于具备解块滤波器510、516、和自适应滤波器340、240，因此可以试图更提高解码图像(输出图像)的画质。再者，针对以往的图像编码装置以及图像解码装置，具备自适应滤波器340、240，从而可以简单地实现本变形例。
(变形例3)
在此，说明所述实施例的图像编码装置以及图像解码装置的变形例3。
本变形例的图像编码装置的特点是，虽然，与所述变形例1的图像编码装置300相同具备自适应滤波器340，但是，根据预测图像Pre生成互相关数据p，并且，对预测图像Pre进行滤波。
图15是本变形例涉及的图像编码装置的结构框图。
本变形例涉及的图像编码装置700的自适应滤波器340，根据预测图像Pre和输入图像，生成互相关数据p以及自相关数据R。再者，自适应滤波器340，根据该所生成的互相关数据p以及自相关数据R，计算维纳滤波的滤波参数w。而且，自适应滤波器340，将该互相关数据p输出给熵编码部190，并且，利用计算出的滤波参数w来对预测图像Pre进行滤波。其结果是，自适应滤波器340，将被滤波后的预测图像Pre作为滤波预测图像Prf输出给减法器110以及加法器135。
减法器110以及加法器135，对从自适应滤波器340输出的滤波预测图像Prf进行与预测图像Pre相同的处理，而进行与所述实施例相同的处理。
图16是本变形例涉及的图像解码装置的结构框图。
本变形例涉及的图像解码装置800的自适应滤波器240，获得熵解码部210所抽出的互相关数据p、和从帧内预测部260或运动补偿部265输出的预测图像Pre。而且，自适应滤波器240，根据该互相关数据p来计算维纳滤波的滤波参数w，利用该滤波参数w来对预测图像Pre进行按照该预测图像Pre的滤波。其结果是，自适应滤波器240，将被滤波后的预测图像Pre作为滤波预测图像Prf输出。
加法器230，对从自适应滤波器240输出的滤波预测图像Prf进行与预测图像Pre相同的处理，而进行与所述实施例相同的处理。
据此，本变形例中，可以提高预测图像Pre(滤波预测图像Prf)的画质，并将其接近于输入图像，其结果是，可以使预测误差Res的数据量变小。因此，可以抑制编码流Str的数据量。
(变形例4)
在此，说明所述实施例的图像编码装置以及图像解码装置的变形例4。
本变形例涉及的图像编码装置的特点是，不计算预测误差Res，而对输入图像信号In示出的输入图像进行正交变换以及量化。
图17是本变形例涉及的图像编码装置的结构框图。
本变形例涉及的图像编码装置900具备正交变换量化部120、反量化反正交变换部130、互相关数据生成部140以及熵编码部190。
正交变换量化部120，通过将输入图像信号In示出的输入图像变换为频率成分，并对该频率成分进行量化，从而将该频率成分压缩编码为量化系数Qc。
反量化反正交变换部130，通过对从正交变换量化部120输出的量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部130，通过对该频率成分进行反正交变换，从而将该频率成分变换为局部解码图像Dec。
互相关数据生成部140，根据输入图像信号In示出的输入图像、和与该输入图像相对应的局部解码图像Dec，生成互相关数据(互相关矢量)p。例如，互相关数据生成部140，按每个图片、按构成图片的块、或按每个片，生成互相关数据p。
熵编码部190，通过对正交变换量化部120所生成的量化系数Qc、和互相关数据p进行熵编码(可变长编码)，从而生成编码流Str。
图18是本变形例涉及的图像解码装置的结构框图。
本变形例涉及的图像解码装置910是对本变形例涉及的图像编码装置900所生成的编码流Str进行解码的装置，具备熵解码部210、反量化反正交变换部220、自适应滤波器240。
熵解码部210，获得编码流Str，对该编码流Str进行熵解码(可变长解码)。而且，熵解码部210，从该熵解码后的编码流Str中抽出量化系数Qc和互相关数据p。
反量化反正交变换部220，获得熵解码部210所抽出的量化系数Qc，通过对该量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部220，通过对该频率成分进行反正交变换，从而将该频率成分变换为解码图像Dec。
自适应滤波器240，获得熵解码部210所抽出的互相关数据p、和从反量化反正交变换部220输出的解码图像Dec。而且，自适应滤波器240，根据该互相关数据p来计算维纳滤波的滤波参数w，利用该滤波参数w来对解码图像Dec进行按照该解码图像Dec的滤波。其结果是，自适应滤波器240，将被滤波后的解码图像Dec作为滤波输出图像Ds输出。
(变形例5)
在此，说明所述实施例的图像编码装置以及图像解码装置的变形例5。
所述实施例的图像编码装置100，生成为了计算维纳滤波的滤波参数w所需要的互相关数据p，并将其插入到编码流Str。但是，也可以不将这些互相关数据p包含在编码流Str。即，只要计算像使在图像解码装置所生成的解码图像接近于输入图像那样的、适当的滤波参数，则可以将所述的互相关数据p以外的其它数据插入到编码流Str。
因此，本变形例涉及的图像编码装置，生成为了根据输入图像计算滤波参数所需要的源数据，并将该源数据插入到编码流Str。
图19是本变形例涉及的图像编码装置的结构框图。
本变形例涉及的图像编码装置920具备正交变换量化部120、源数据生成部921以及熵编码部190。
正交变换量化部120，通过将输入图像信号In示出的输入图像变换为频率成分，并对该频率成分进行量化，从而将该频率成分压缩编码为量化系数Qc。
源数据生成部921，根据图像信号In示出的输入图像，生成并输出所述的源数据Kc。
源数据Kc，可以示出例如输入图像的对比、亮度、颜色特性、或输入图像的高频成分和低频成分的比率。并且，源数据Kc，可以示出像素值的标准偏差等的统计性特性、或输入图像是否为精细的图像。并且，源数据Kc，可以示出输入图像的频率的变化或程度、发生场面的变化的位置。并且，源数据Kc，可以直接地示出输入图像的特性，也可以使用参数来间接地示出输入图像的特性。再者，源数据Kc，可以示出输入图像的种类，例如体育、新闻、实录、音乐等。
熵编码部190，通过对从正交变换量化部120输出的量化系数Qc、和从源数据生成部921输出的源数据Kc进行熵编码，从而生成编码流Str。
图20是本变形例涉及的图像解码装置的结构框图。
本变形例涉及的图像解码装置930具备熵解码部210、反量化反正交变换部220、滤波参数选定部931以及滤波处理部932。
熵解码部210，获得编码流Str，对该编码流Str进行熵解码(可变长解码)。而且，熵解码部210，从该熵解码后的编码流Str中抽出量化系数Qc和源数据Kc。
反量化反正交变换部220，获得熵解码部210所抽出的量化系数Qc，通过对该量化系数Qc进行反量化，从而将该量化系数Qc变换为频率成分。再者，反量化反正交变换部220，通过对该频率成分进行反正交变换，从而将该频率成分变换为解码图像Dec。
滤波参数选定部931，根据熵解码部210所抽出的源数据Kc，选定滤波参数w。
例如，滤波参数选定部931，预先保持多个滤波参数，而选择与所抽出的源数据Kc示出的内容合适的滤波参数。具体而言，滤波参数选定部931，在源数据Kc示出平坦的图像的情况下，选择进行平滑化的滤波参数，在源数据Kc示出精细的图像的情况下，选择使轮廓等显眼的滤波参数。
并且，滤波参数选定部931，可以根据源数据Kc示出的数值(例如，对比、亮度、颜色特性、高频成分和低频成分的比率等)，来计算滤波参数。
滤波处理部932，通过对解码图像Dec进行根据如上选定的滤波参数的滤波运算，从而生成输出图像Ds。
(变形例6)
在所述实施例中，图像编码装置100将互相关数据p插入到编码流Str，但是，也可以取代互相关数据p而插入滤波参数w。
图21是示出SEI的滤波参数w的句法的一个例子的图。
作为示出滤波参数w的信息，滤波参数w(矩阵)的维数(filter_dimension)、在滤波参数w的各个维数的滤波系数的数量(filter_length)、对滤波系数的加权(scaling_factor)、滤波系数(filter_coeffs[color_component][cy]或filter_coeffs[color_component][cy][cx])，被插入到SEI。
在filter_dimension为0时，该filter_dimension示出一维，在filter_dimension为1时，该filter_dimension示出二维。filter_length示出滤波的长度，即示出滤波的抽头数。scaling_factor示出滤波系数的加权，而各个滤波系数除以该加权。即，scaling_factor示出滤波系数的精确度。filter_coeffs[color_component][cy]或filter_coeffs[color_component][cy][cx]示出一个滤波系数，color_component示出被滤波的颜色成分。cy示出矩阵中包含的滤波系数的垂直方向的位置(计数器)，在二维矩阵的情况下，cx示出该矩阵中包含的滤波系数的水平方向的位置。在filter_dimension示出二维的情况下，滤波参数w的多个滤波系数，作为二维FIR(Finite ImpulseResponse：有限脉冲响应)滤波被适用，在filter_dimension示出一维的情况下，滤波参数w的多个滤波系数，首先，作为对水平方向的一维FIR滤波被适用，其次，作为对垂直方向的一维FIR滤波被适用。
以上，对于本发明涉及的图像编码装置以及图像解码装置，利用实施例以及该变形例进行了说明，但是，本发明不仅限于这些内容。
例如，在实施例以及该变形例中，将互相关数据p插入到编码流Str，但是，也可以与编码流Str分开发送互相关数据p。
并且，框图(图1～图3、图8A、图8B、图10～图20)中的各个功能框，是以典型的集成电路即LSI被实现。这些可以分别被单芯片化，也可以以包含一部分或全部的状态被单芯片化。(例如，可以存储器以外的功能框被单芯片化。)在此，作为LSI，但是，根据集成度不同而有时被称为IC、系统LSI、超级(Super)LSI、超大(Ultra)LSI。
集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。可以利用FPGA(Field Programmable Gate Array：现场可编程门阵列)，其制造LSI后可以编程；也可以利用可重构处理器，其可以重新构成LSI内部的电路单元的连接或设定。
进一步，若根据半导体技术的进步或枝生出的其它技术，出现取代LSI的集成电路化的技术，则当然可以利用该技术进行功能框的集成化。存在适应生物技术等的可能性。
并且，也可以只将各个功能框中的、存储成为编码或解码的对象的数据的单元不单芯片化而不同结构。
本发明的图像编码装置以及图像解码装置，可以实现确实防止编码后解码后的图像的画质降低的效果，可以适用于例如数字录像机、处理运动图像的移动电话、个人计算机等。

Claims (26)

1、一种图像解码装置，对编码图像进行解码，其特征在于，包括：
解码单元，通过对编码流中包含的编码图像进行解码，从而生成解码图像；
抽出单元，从所述编码流中抽出互相关数据，该互相关数据示出与所述解码图像相对应的未被编码的图像和所述解码图像之间的相关性；
参数计算单元，根据所述抽出单元所抽出的所述互相关数据计算滤波参数；以及
滤波单元，对所述解码图像进行根据所述滤波参数的滤波运算。
2、如权利要求1所述的图像解码装置，其特征在于，
所述参数计算单元，通过生成示出所述解码图像内的相关性的自相关数据，并利用所述自相关数据和所述互相关数据进行运算，从而计算所述滤波参数。
3、如权利要求2所述的图像解码装置，其特征在于，
所述参数计算单元，计算所述滤波参数，以作为维纳滤波的滤波系数。
4、如权利要求3所述的图像解码装置，其特征在于，
所述滤波单元，将被进行所述滤波运算后的所述解码图像作为滤波解码图像输出，
所述解码单元，利用所述滤波解码图像，对所述编码图像的后续的编码图像进行解码。
5、如权利要求4所述的图像解码装置，其特征在于，
所述图像解码装置，还包括：
记忆单元，具有用于记忆参考图像的区域；以及
预测单元，通过从所述记忆单元所记忆的多个参考图像中选择与所述编码图像的后续的编码图像相对应的参考图像，从而生成针对所述后续的编码图像的预测图像，
所述滤波单元，将所述滤波解码图像作为所述参考图像存储到所述记忆单元，
所述解码单元，通过对所述后续的编码图像和所述预测图像进行加法运算，从而对所述后续的编码图像进行解码。
6、如权利要求4所述的图像解码装置，其特征在于，
所述图像解码装置，还包括：
记忆单元，具有用于记忆参考图像的区域；以及
预测单元，通过从所述记忆单元所记忆的多个参考图像中选择与所述编码图像的后续的编码图像相对应的参考图像，从而生成针对所述后续的编码图像的预测图像，
所述滤波单元，通过对所述预测图像进行根据所述滤波参数的滤波运算，从而生成所述滤波解码图像，
所述解码单元，将所生成的所述解码图像作为所述参考图像存储到所述记忆单元，并且，通过对所述后续的编码图像和所述滤波解码图像进行加法运算，从而对所述后续的编码图像进行解码。
7、如权利要求2所述的图像解码装置，其特征在于，
所述参数计算单元，按所述解码图像的每个区域生成所述自相关数据，并按每个所述区域计算所述滤波参数。
8、如权利要求7所述的图像解码装置，其特征在于，
所述参数计算单元，将块、片、图片或多个图片分别作为一个所述区域，并按每个所述区域计算所述自相关数据以及所述滤波参数。
9、如权利要求1所述的图像解码装置，其特征在于，
所述抽出单元，从所述编码流中包含的、编码后的块、片、图片或汇总多个图片的区域的头部中抽出所述互相关数据。
10、如权利要求1所述的图像解码装置，其特征在于，
所述抽出单元，从所述编码流中包含的、编码后的图片的补充增强信息中抽出所述互相关数据。
11、一种图像编码装置，对输入图像进行编码，其特征在于，包括：
编码单元，通过对输入图像进行编码，从而生成编码图像；
解码单元，通过对编码图像进行解码，从而生成解码图像；
互相关数据生成单元，生成互相关数据，该互相关数据示出所述输入图像和所述解码图像之间的相关性；以及
插入单元，向包含所述编码单元所生成的编码图像的编码流中插入所述互相关数据。
12、如权利要求11所述的图像编码装置，其特征在于，
所述图像编码装置，还包括：
参数计算单元，通过生成示出所述解码图像内的相关性的自相关数据，并利用所述自相关数据和所述互相关数据进行运算，从而计算滤波参数；以及
滤波单元，对所述解码图像进行根据所述滤波参数的滤波运算。
13、如权利要求12所述的图像编码装置，其特征在于，
所述参数计算单元，计算所述滤波参数，以作为维纳滤波的滤波系数。
14、如权利要求13所述的图像编码装置，其特征在于，
所述滤波单元，将被进行所述滤波运算后的所述解码图像作为滤波解码图像输出，
所述编码单元，利用所述滤波解码图像，对所述输入图像的后续的输入图像进行编码。
15、如权利要求14所述的图像编码装置，其特征在于，
所述图像编码装置，还包括：
记忆单元，具有用于记忆参考图像的区域；以及
预测单元，通过从所述记忆单元所记忆的多个参考图像中选择与所述输入图像的后续的输入图像类似的参考图像，从而生成针对所述后续的输入图像的预测图像，
所述解码单元，通过对与所述输入图像相对应的所述编码图像进行解码，从而生成所述解码图像，
所述滤波单元，将所生成的所述滤波解码图像作为所述参考图像存储到所述记忆单元，
所述编码单元，通过从所述后续的输入图像中减去所述预测图像，从而对所述后续的输入图像进行编码。
16、如权利要求11所述的图像编码装置，其特征在于，
所述图像编码装置，还包括：
记忆单元，具有用于记忆参考图像的区域；以及
预测单元，通过从所述记忆单元所记忆的多个参考图像中选择与所述输入图像的后续的输入图像类似的参考图像，从而生成针对所述后续的输入图像的预测图像，
所述解码单元，将所生成的所述解码图像作为所述参考图像存储到所述记忆单元，
所述互相关数据生成单元，生成所述互相关数据，该互相关数据示出所述后续的输入图像和所述预测图像之间的相关性，
所述滤波单元，通过对所述预测图像进行根据所述滤波参数的滤波运算，从而生成所述滤波解码图像，
所述编码单元，通过从所述后续的输入图像中减去所述滤波解码图像，从而对所述后续的输入图像进行编码。
17、如权利要求11所述的图像编码装置，其特征在于，
所述插入单元，向所述编码流中包含的、编码后的块、片、图片或汇总多个图片的区域的头部插入所述互相关数据。
18、如权利要求11所述的图像编码装置，其特征在于，
所述插入单元，向所述编码流中包含的、编码后的图片的补充增强信息插入所述互相关数据。
19、如权利要求11所述的图像编码装置，其特征在于，
所述互相关数据生成单元，按图像的每个区域生成所述互相关数据。
20、如权利要求19所述的图像编码装置，其特征在于，
所述互相关数据生成单元，将块、片、图片或多个图片分别作为一个所述区域，并按每个所述区域生成所述互相关数据。
21、一种图像解码方法，对编码图像进行解码，其特征在于，包括以下步骤：
解码步骤，通过对编码流中包含的编码图像进行解码，从而生成解码图像；
抽出步骤，从所述编码流中抽出互相关数据，该互相关数据示出与所述解码图像相对应的未被编码的图像和所述解码图像之间的相关性；
参数计算步骤，根据在所述抽出步骤所抽出的所述互相关数据计算滤波参数；以及
滤波步骤，对所述解码图像进行根据所述滤波参数的滤波运算。
22、一种图像编码方法，对输入图像进行编码，其特征在于，包括以下步骤：
编码步骤，通过对输入图像进行编码，从而生成编码图像；
解码步骤，通过对编码图像进行解码，从而生成解码图像；
互相关数据生成步骤，生成互相关数据，该互相关数据示出所述输入图像和所述解码图像之间的相关性；以及
插入步骤，向包含在所述编码单元所生成的编码图像的编码流中插入所述互相关数据。
23、一种程序，用于对编码图像进行解码，其特征在于，使计算机执行以下步骤：
解码步骤，通过对编码流中包含的编码图像进行解码，从而生成解码图像；
抽出步骤，从所述编码流中抽出互相关数据，该互相关数据示出与所述解码图像相对应的未被编码的图像和所述解码图像之间的相关性；
参数计算步骤，根据在所述抽出步骤所抽出的所述互相关数据计算滤波参数；以及
滤波步骤，对所述解码图像进行根据所述滤波参数的滤波运算。
24、一种程序，用于对输入图像进行编码，其特征在于，使计算机执行以下步骤：
编码步骤，通过对输入图像进行编码，从而生成编码图像；
解码步骤，通过对编码图像进行解码，从而生成解码图像；
互相关数据生成步骤，生成互相关数据，该互相关数据示出所述输入图像和所述解码图像之间的相关性；以及
插入步骤，向包含在所述编码单元所生成的编码图像的编码流中插入所述互相关数据。
25、一种集成电路，对编码图像进行解码，其特征在于，包括：
解码单元，通过对编码流中包含的编码图像进行解码，从而生成解码图像；
抽出单元，从所述编码流中抽出互相关数据，该互相关数据示出与所述解码图像相对应的未被编码的图像和所述解码图像之间的相关性；
参数计算单元，根据所述抽出单元所抽出的所述互相关数据计算滤波参数；以及
滤波单元，对所述解码图像进行根据所述滤波参数的滤波运算。
26、一种集成电路，对输入图像进行编码，其特征在于，包括：
编码单元，通过对输入图像进行编码，从而生成编码图像；
解码单元，通过对编码图像进行解码，从而生成解码图像；
互相关数据生成单元，生成互相关数据，该互相关数据示出所述输入图像和所述解码图像之间的相关性；以及
插入单元，向包含所述编码单元所生成的编码图像的编码流中插入所述互相关数据。
CN200780011050.8A 2006-03-27 2007-03-26 图像编码装置以及图像解码装置 Active CN101411201B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP06006302.1 2006-03-27
EP06006302A EP1841230A1 (en) 2006-03-27 2006-03-27 Adaptive wiener filter for video coding
EP06007740A EP1845729A1 (en) 2006-04-12 2006-04-12 Transmission of post-filter hints
EP06007740.1 2006-04-12
PCT/JP2007/056180 WO2007111292A1 (ja) 2006-03-27 2007-03-26 画像符号化装置および画像復号化装置

Publications (2)

Publication Number Publication Date
CN101411201A true CN101411201A (zh) 2009-04-15
CN101411201B CN101411201B (zh) 2010-12-08

Family

ID=36922252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780011050.8A Active CN101411201B (zh) 2006-03-27 2007-03-26 图像编码装置以及图像解码装置

Country Status (2)

Country Link
EP (1) EP1841230A1 (zh)
CN (1) CN101411201B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075761A (zh) * 2010-11-17 2011-05-25 威盛电子股份有限公司 图像压缩系统、图像解压缩方法及存储器频宽降低方法
CN102474617A (zh) * 2009-07-01 2012-05-23 索尼公司 图像处理装置和方法
CN104601994A (zh) * 2009-08-26 2015-05-06 索尼公司 图像处理装置和方法
CN106454356A (zh) * 2010-06-17 2017-02-22 夏普株式会社 解码装置及编码装置
CN107071429A (zh) * 2010-09-30 2017-08-18 太阳专利托管公司 解码方法及解码装置
CN104053003B (zh) * 2008-07-02 2018-01-26 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
USRE48726E1 (en) 2010-09-29 2021-09-07 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
CN114175639A (zh) * 2019-08-07 2022-03-11 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2023185305A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 编码方法、装置、存储介质及计算机程序产品

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
CN101965732B (zh) * 2008-01-07 2015-03-25 汤姆森特许公司 用于使用参数滤波进行视频编码和解码的方法和装置
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JPWO2009110160A1 (ja) * 2008-03-07 2011-07-14 株式会社東芝 動画像符号化／復号化方法及び装置
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8184693B2 (en) 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
EP2141927A1 (en) 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
US8325801B2 (en) 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8774541B2 (en) 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
WO2010065060A1 (en) * 2008-11-25 2010-06-10 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
EP2192786A1 (en) 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
KR101255880B1 (ko) 2009-09-21 2013-04-17 한국전자통신연구원 기저계층의 화질을 향상시키는 스케일러블 비디오 부/복호화 방법 및 장치
CN102577382B (zh) * 2009-10-15 2016-08-03 汤姆森特许公司 用于视频编码器和解码器的有效自适应滤波的方法和装置
USRE47243E1 (en) 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8259819B2 (en) 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
EP2334078A1 (en) 2009-12-14 2011-06-15 Panasonic Corporation Constrained post processing
US8165553B2 (en) 2010-01-06 2012-04-24 Hong Kong Applied Science and Technology Research Institute Company Limited Current-matching intermodulation suppression
EP2375747B1 (en) 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
EP2617199B1 (en) * 2010-09-14 2018-01-24 BlackBerry Limited Methods and devices for data compression with adaptive filtering in the transform domain
KR101263090B1 (ko) 2010-11-08 2013-05-09 성균관대학교산학협력단 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
CN106162186B (zh) * 2011-01-03 2020-06-23 寰发股份有限公司 基于滤波单元的回路滤波方法
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
WO2013074365A1 (en) * 2011-11-18 2013-05-23 Dolby Laboratories Licensing Corporation Subjective based post-filter optimization
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
KR101703332B1 (ko) * 2015-01-30 2017-02-06 삼성전자 주식회사 영상의 복호화 방법 및 장치
KR101683177B1 (ko) * 2015-04-14 2016-12-06 삼성전자주식회사 영상의 복호화 방법 및 장치
KR101649276B1 (ko) * 2015-07-24 2016-08-18 삼성전자주식회사 영상의 복호화 방법 및 장치
KR101699529B1 (ko) * 2015-07-24 2017-01-24 삼성전자 주식회사 영상의 복호화 방법 및 장치
KR101700369B1 (ko) * 2015-07-24 2017-01-26 삼성전자주식회사 영상의 복호화 방법 및 장치
BR112018006041A2 (pt) * 2015-09-25 2018-10-09 Huawei Tech Co Ltd codificador de vídeo, decodificador de vídeo e métodos para codificação e decodificação preditiva
RU2696309C1 (ru) * 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ компенсации движения видео
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
WO2017052405A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
AU2015410095C1 (en) 2015-09-25 2020-01-16 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
KR102287414B1 (ko) 2016-12-23 2021-08-06 후아웨이 테크놀러지 컴퍼니 리미티드 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
WO2018117895A1 (en) 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd Mixed domain collaborative in-loop filter for lossy video coding
EP3529985A1 (en) 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Mixed domain collaborative post filter for lossy still image coding
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
KR102357142B1 (ko) 2017-11-07 2022-02-08 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CN111213383B (zh) 2017-11-13 2022-04-05 华为技术有限公司 用于视频编码的环内滤波装置及方法
KR101940255B1 (ko) * 2018-01-25 2019-01-18 삼성전자주식회사 영상의 부호화 방법 및 장치, 컴퓨터로 판독가능한 기록매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796875A (en) * 1996-08-13 1998-08-18 Sony Electronics, Inc. Selective de-blocking filter for DCT compressed images
CN1220391C (zh) * 2001-06-29 2005-09-21 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
AU2002349735B2 (en) * 2001-11-29 2009-01-15 Godo Kaisha Ip Bridge 1 Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
US7295616B2 (en) 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053003B (zh) * 2008-07-02 2018-01-26 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
CN102474617B (zh) * 2009-07-01 2016-11-16 索尼公司 图像处理装置和方法
CN102474617A (zh) * 2009-07-01 2012-05-23 索尼公司 图像处理装置和方法
US9992516B2 (en) 2009-08-26 2018-06-05 Sony Corporation Image processing device and method
CN104601994A (zh) * 2009-08-26 2015-05-06 索尼公司 图像处理装置和方法
CN104602002A (zh) * 2009-08-26 2015-05-06 索尼公司 图像处理装置和方法
US11051044B2 (en) 2009-08-26 2021-06-29 Sony Corporation Image processing device and method
CN104601994B (zh) * 2009-08-26 2018-04-27 索尼公司 图像处理装置和方法
US10250911B2 (en) 2009-08-26 2019-04-02 Sony Corporation Image processing device and method
CN110430428A (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置、编码装置、解码方法以及编码方法
CN106454356A (zh) * 2010-06-17 2017-02-22 夏普株式会社 解码装置及编码装置
CN106454356B (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
USRE48726E1 (en) 2010-09-29 2021-09-07 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
USRE49991E1 (en) 2010-09-29 2024-05-28 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
US10616579B2 (en) 2010-09-30 2020-04-07 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
CN107071429A (zh) * 2010-09-30 2017-08-18 太阳专利托管公司 解码方法及解码装置
US11310500B2 (en) 2010-09-30 2022-04-19 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US11729389B2 (en) 2010-09-30 2023-08-15 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
CN102075761A (zh) * 2010-11-17 2011-05-25 威盛电子股份有限公司 图像压缩系统、图像解压缩方法及存储器频宽降低方法
CN102075761B (zh) * 2010-11-17 2013-04-10 威盛电子股份有限公司 图像压缩系统、图像解压缩方法及存储器频宽降低方法
CN114175639A (zh) * 2019-08-07 2022-03-11 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2023185305A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 编码方法、装置、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN101411201B (zh) 2010-12-08
EP1841230A1 (en) 2007-10-03

Similar Documents

Publication Publication Date Title
CN101411201A (zh) 图像编码装置以及图像解码装置
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
CN103563383B (zh) 图像处理装置和图像处理方法
CN100452668C (zh) 用于在视频编码中选择插值滤波器类型的方法和系统
CN114009048B (zh) 视频译码中的滤波装置和方法
CN101990099B (zh) 图像处理设备和方法
CN101939993B (zh) 对滤波器系数进行编码
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
CN101273638A (zh) 图像处理装置、图像处理方法以及程序
US20090141808A1 (en) System and methods for improved video decoding
CN106851289A (zh) 图像处理装置和图像处理方法
TW201313028A (zh) 在視訊寫碼中之係數掃描
CN104639942A (zh) 图像编码装置、图像编码方法以及图像解码装置
CN102577390A (zh) 图像处理设备和方法
CN103563374A (zh) 图像处理设备及方法
KR20210021580A (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
CN102160380A (zh) 图像处理设备和方法
CN103155564A (zh) 图像处理装置和方法
CN102668569A (zh) 图像处理设备和方法及程序
US7747096B2 (en) Method, medium, and system encoding/decoding image data
CN104104967A (zh) 图像处理设备及图像处理方法
EP1845729A1 (en) Transmission of post-filter hints
CN102792693A (zh) 图像处理设备和方法
KR20120117613A (ko) 동영상 부호화 장치 및 방법
CN106031173A (zh) 视频译码中的闪烁检测及缓解

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170122

Address after: The United States of New York No. 450 Lexington Avenue 38 floor 10017

Patentee after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA