[go: up one dir, main page]

CN104041035A - 用于复合视频的无损编码及相关信号表示方法 - Google Patents

用于复合视频的无损编码及相关信号表示方法 Download PDF

Info

Publication number
CN104041035A
CN104041035A CN201280032346.9A CN201280032346A CN104041035A CN 104041035 A CN104041035 A CN 104041035A CN 201280032346 A CN201280032346 A CN 201280032346A CN 104041035 A CN104041035 A CN 104041035A
Authority
CN
China
Prior art keywords
conversion
mark
region
over
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280032346.9A
Other languages
English (en)
Other versions
CN104041035B (zh
Inventor
高文
乔治·库克
杨名远
于浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104041035A publication Critical patent/CN104041035A/zh
Application granted granted Critical
Publication of CN104041035B publication Critical patent/CN104041035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于视频编码的设备，其包括处理器，所述处理器用于：接收视频帧；选择所述视频帧中的至少一个区域；在对所述至少一个区域进行编码的过程中略过量化步骤；针对所述至少一个区域中的当前块，生成预测块；从所述当前块中减去所述预测块，以生成残余块；以及在对所述残余块进行编码的过程中选择性地略过变换步骤。

Description

用于复合视频的无损编码及相关信号表示方法
相关申请案的交叉参考
本发明要求2011年6月30日由高文（Wen Gao）等人递交的发明名称为“用于复合视频的无损编码工具（Lossless Coding Tools forCompound Video）”的第61/503,534号美国临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文本中，如全文再现一般。
关于由联邦资助的研发的声明
不适用。
参考缩微胶片附录
不适用。
技术领域
无
背景技术
由于即使叙述相对较短的影片，也需要大量的视频数据，这样一来，当数据要在带宽容量受限的通信网络中流过或以其他方式传送时，可能会造成一些困难。因此，视频数据通常要先压缩然后再在现代电信网络中传送。视频压缩装置通常在源处使用软件和/或硬件，以在传输视频数据之前先对其进行编码，从而减少用来表示数字视频图像所需的数据量。接着，压缩数据在目的地处由视频解压装置接收，该视频解压装置用于对视频数据进行解码。在网络资源受限而对更高质量的视频需求不断增加的情况下，需要改进压缩和解压技术来提高图像质量，而同时不会增加比特率。
发明内容
在一项实施例中，本发明包含一种用于视频编码的设备，所述设备包括处理器，所述处理器用于：接收视频帧；选择所述视频帧中的至少一个区域；在对所述至少一个区域进行编码的过程中略过（bypass）量化步骤；针对所述至少一个区域中的当前块，生成预测块；从所述当前块中减去所述预测块，以生成残余块；以及在对所述残余块进行编码的过程中选择性地略过变换步骤。
在另一项实施例中，本发明包含一种用于视频编码的方法，所述方法包括：接收视频帧；选择所述视频帧中的至少一个区域；在对所述至少一个区域进行编码的过程中略过量化步骤；针对所述至少一个区域中的当前块，生成预测块；从所述当前块中减去所述预测块，以生成残余块；以及在对所述残余块进行编码的过程中选择性地略过变换步骤。
在又一项实施例中，本发明包含一种用于视频解码的设备，所述设备包括处理器，所述处理器用于：接收包括编码视频帧序列的比特流，其中所述比特流进一步包括语法中的区域指示信息；以及对所述编码视频帧序列执行熵解码，以生成解码视频帧序列，其中生成解码视频帧包含识别编码视频帧中的一个或多个无损编码区域，以及在对所述一个或多个无损编码区域进行熵解码的过程中略过去量化步骤。
在再一项实施例中，本发明包含一种用于视频编码的设备，所述设备包括处理器，所述处理器用于：针对当前块生成残余块，其中所述残余块包括多个残余值；基于率失真优化（RDO）过程，确定在对所述残余块进行编码的过程中是否略过变换步骤；针对所述当前块设置至少一个变换略过标记；对所述至少一个变换略过标记执行熵编码，以生成至少一个编码变换略过标记；以及如果略过所述变换步骤，则对所述多个残余值中的至少一部分执行熵编码，以生成编码残余值，否则，如果并不略过所述变换步骤，则将所述残余块变换成包括多个变换系数的变换矩阵，并且对所述多个变换系数执行熵编码，以生成多个编码变换系数。
通过结合附图和所附权利要求书进行的以下详细描述将更清楚地理解这些和其他特征。
附图说明
为了更完整地理解本发明，现在参考以下结合附图和详细描述进行的简要描述，其中相同参考标号表示相同部分。
图1是变换略过编码方案的一项实施例的示意图。
图2是变换略过解码方案的一项实施例的示意图。
图3是无量化变换编码方案的一项实施例的示意图。
图4是无量化变换解码方案的一项实施例的示意图。
图5是有损编码方案的一项实施例的示意图。
图6是有损解码方案的一项实施例的示意图。
图7是编码方法的一项实施例的流程图。
图8是解码方法的一项实施例的流程图。
图9是网络单元的一项实施例的示意图。
图10是通用计算机系统的示意图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所揭示的系统和/或方法可以使用任何数目的技术来实施，无论该技术是当前已知的还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包含本文本所说明并描述的示例性设计和实施方案，而是可以在所附权利要求书的范围以及其等效物的完整范围内修改。
通常，视频媒体涉及相对较快地连续显示一系列静态图像或帧，从而让观察者感觉到运动。每个帧可以包括多个图像元素或像素，每个像素可以表示帧中的单个参考点。在数字处理过程中，每个像素可以被分配一个整数值（例如，0、1、……，或255），所述整数值表示对应参考点处的图像质量或特征，例如，亮度或色度。使用时，图像或视频帧可以包括大量像素（例如，1920×1080的帧中包括2,073,600个像素），因此对每个像素进行独立编码和解码（下文中简称为编码）可能繁琐而低效。为了提高编码效率，通常将视频帧分成多个矩形块或宏块，所述矩形块或宏块可以作为预测、变换以及量化等处理过程的基本单元。例如，典型的NxN块可以包括N2个像素，其中N是大于1的整数，并且通常是四的倍数。
在国际电信联盟（ITU）电信标准化部门（ITU-T）和国际标准化组织（ISO）/国际电工技术委员会（IEC）的工作草案中，准备将高性能视频编码（HEVC）作为下一个视频标准，并且已经引入了新的块概念。例如，编码单元（CU）可以指划分为大小相等或不同的矩形块的视频帧子分区。在HEVC中，CU可以取代先前标准的宏块结构。根据帧间或帧内预测模式，一个CU可以包括一个或多个预测单元（PU），每个预测单元可以用作预测的基本单元。例如，对于帧内预测而言，一个64x64的CU可以对称地分为四个32x32的PU。又例如，对于帧间预测而言，一个64x64的CU可以非对称地分为一个16x64的PU和一个48x64的PU。类似地，一个PU可以包括一个或多个变换单元（TU），每个变换单元可以用作变换和/或量化的基本单元。例如，一个32x32的PU可以对称地分为四个16x16的TU。一个PU的多个TU可能共享相同的预测模式，但是可以单独地进行变换。本文本中，术语“块”大体可以指宏块、CU、PU或TU中的任一者。
根据具体应用，块可以在无损模式（即，不存在失真或信息损失）或有损模式（即，存在失真）下进行编码。使用时，高质量视频（例如，YUV子采样为4:4:4）可以使用无损模式进行编码，而低质量视频（例如，YUV子采样为4:2:0）可以使用有损模式进行编码。有时，单个视频帧或切片（例如，YUV子采样为4:4:4或4:2:0）可以采用无损模式和有损模式对多个区域进行编码，所述区域可以是矩形或不规则形状的。每个区域都可以包括多个块。例如，复合视频可以包括不同类型内容的组合，例如，文本、计算机图形以及自然景观内容（例如，摄像机采集的视频）。在复合帧中，文本和图形区域可以在无损模式下编码，而自然景观内容区域可以在有损模式下编码。例如，在计算机屏幕共享应用中，可能期望对文本和图形进行无损编码，这是因为有损编码可能会导致文本和图形的质量或保真度较差，从而造成眼睛疲劳。当前的HEVC测试模型（HM），例如，HM3.0，可以相当有效地对自然景观内容进行编码。然而，当前的HM可能缺少无损编码模式，因此它们对某些视频（例如，复合视频）的编码效率可能会受到限制。即使质量设置达到最高，量化参数（QP）设置为零，编码效率可能仍不尽如人意。
本文本揭示用于改进视频编码的系统和方法。本发明提供无损编码模式，所述无损编码模式可以在对诸如复合视频等视频进行编码的过程中补充有损编码模式。无损模式可以包含变换略过编码方案以及无量化变换编码方案。在变换略过方案中，跳过了变换和量化这两个步骤，因此，残余块直接使用熵编码器进行编码。在无量化变换方案中，包含变换，但略过量化。在无量化变换方案的一项实施例中，如果变换算法并非完全可逆，那么可能会引起少量的失真或信息损失，这也可称为近无损。使用时，基于视频帧或切片的内容，某些区域（例如，含有文本和/或图形的区域）可以在无损模式下编码，而其他区域（例如，含有自然景观内容的区域）可以在有损模式下编码。为了对编码视频帧进行适当解码，本发明可以将区域指示信息加入到比特流的高阶语法中，从而可以用信号表示一个或多个无损编码区域和/或有损编码区域。此外，对于无损编码区域中的块（例如，PU或TU）而言，本发明可以针对亮度和色度像素设置一个或两个变换略过标记，以表明在编码过程中是否略过变换。所述变换略过标记可以进行熵编码并且合并到比特流中。基于比特流中所含的信息，视频解码器可以相应地重建视频帧。
在实际使用中，编码器之前存在一个模块，用以分析视频帧的内容，并且识别出需要无损编码的某些区域（例如，文本和/或图形区域）。关于哪些区域在无损模式下进行编码的信息或指令可以传递到编码器。基于该信息，编码器可以使用无损模式对识别出的区域进行编码。或者，用户可以手动将某些区域确定为使用无损模式进行编码，并且向编码器提供识别这些区域的信息。因此，根据编码器接收到的信息，视频（例如，复合视频）可以在无损模式和/或有损模式下进行编码。本文本中，无损编码模式可以包含变换略过编码以及无量化变换编码。这两种无损编码方案以及有损编码方案在本文本中都有所描述。
同样，基于接收到的比特流中所含的信息，视频解码器可以使用无损模式和/或有损模式对视频帧进行解码。所述无损解码模式可以包含变换略过解码以及无量化变换解码。这两种无损解码方案以及有损解码方案在本文本中都有所描述。
图1示出了可以在视频编码器中实施的变换略过编码方案100的一项实施例。变换略过编码方案100可以包括如图1所示进行布置的率失真优化（RDO）模块110、预测模块120、熵编码器130以及重建模块140。在操作时，包括视频帧（或切片）序列的输入视频可以由编码器接收。本文本中，帧可以指预测帧（P帧）、帧内编码帧（I帧）或者双向预测帧（B帧）中的任一者。同样，切片可以指P切片、I切片或B切片中的任一者。
RDO模块110可以用于为一个或多个其他模块作出逻辑决策。在一项实施例中，基于一个或多个先前编码的帧，RDO模块110可以确定正被编码的当前帧（或切片）如何分成多个CU，以及CU如何分成一个或多个PU和TU。例如，当前帧的均质区域（即，这些区域中的像素值没有差别或差别很小）可以分成相对较大的块，而当前帧的细节区域（即，这些区域中的像素值差别很大）可以分成相对较小的块。
此外，RDO模块110可以通过确定如何预测当前帧来控制预测模块120。当前帧可以采用帧间和/或帧内预测进行预测。帧间预测（即，帧之间的预测）可以利用帧序列中的时间冗余，例如，连续帧的对应块之间的相似性，以便减少压缩数据。在帧间预测中，基于一个或多个参考帧中的对应块，RDO模块110可以确定当前帧中的块的运动矢量。另一方面，帧内预测可以利用单个帧内的空间冗余，例如，邻近块之间的相似性，以便减少压缩数据。在帧内预测中，邻近当前块的参考像素可以用于生成预测块。帧内预测（即，帧内部的预测）可以使用多个可用的预测模式或方向（例如，HEVC中亮度分量的35个模式）中的任一者来实施，具体由RDO模块110来确定。例如，RDO模块110可以针对每个预测模式来计算绝对误差之和（SAE），并且选择产生最小SAE的预测模式。
基于RDO模块110作出的逻辑决策，预测模块120可以利用一个或多个参考帧（帧间预测）或多个参考像素（帧内预测）来生成预测块，所述预测块可能是对当前块的估计。随后，可以从当前块中减去预测块，从而生成残余块。残余块可以包括多个残余值，每个残余值都可以指示当前块中的像素与预测块中的对应像素之间的差值。随后，残余块的所有值都可以由熵编码器130扫描并编码成编码比特流。熵编码器130可以采用任何熵编码方案，例如，内容自适应二进制算术编码（CABAC）编码、指数哥伦布（Golomb）编码或固定长度编码，或者以上项的任意组合。在变换略过编码方案100中，由于在没有变换步骤或量化步骤的情况下对残余块进行编码，因此编码过程中不会引起任何信息损失。
为了促进视频帧的连续编码，残余块也可以送入重建模块140中，该重建模块可以生成参考像素，以用于未来块的帧内预测，或者生成参考帧，以用于未来帧的帧间预测。如果需要，可以在参考帧/像素用于帧间/帧内预测之前对它们执行滤波。由于所属领域的技术人员熟悉预测模块120和重建模块140的功能，因此这些模块将不再进一步描述。应注意，图1可能是视频编码器的简化图示，因此它可能只包含编码器中出现的模块中的一部分。其他模块（例如，滤波器、扫描仪以及发射器）虽然未在图1中示出，但是也可以包含在内，以促进视频编码。在从编码器处进行传输之前，编码比特流可以进一步配置成包含其他信息，例如，视频分辨率、帧速率、块分区信息（大小、坐标）、预测模式等，从而视频帧的编码序列可以适当进行解码。
图2示出了可以在视频解码器中实施的变换略过解码方案200的一项实施例。变换略过解码方案200可以对应于变换略过编码方案100，而且可以包括如图2所示进行布置的熵解码器210、预测模块220以及重建模块230。在操作时，含有视频帧序列信息的编码比特流可以由熵解码器210接收，该熵解码器可以将比特流解码成未压缩格式。熵解码器210可以采用任何熵解码方案，例如，CABAC解码、指数哥伦布解码或固定长度编码，或者以上项的任意组合。
对于正被解码的当前块而言，在使用熵解码器210之后，可以生成残余块。此外，熵解码器210还可以对含有当前块的预测模式的信息进行解码。随后，基于所述预测模式，预测模块220可以基于先前解码的块或帧而针对当前块生成预测块。如果所述预测模式为帧间模式，那么可以使用一个或多个先前解码的参考帧来生成预测块。否则，如果预测模式为帧内模式，那么可以使用多个先前解码的参考像素来生成预测块。随后，重建模块230可以将残余块与预测块结合起来，以生成重建块。此外，为了促进视频帧的连续解码，可以在参考帧中使用重建块，以对未来帧进行帧间预测。重建块的一些像素也可以用作参考像素，以便对同一帧中的未来块进行帧内预测。
在实际使用中，如果使用变换略过编码方案100和变换略过解码方案200等无损方案对原始块进行编码和解码，那么整个编码过程中将不会引起信息损失。因此，除非传输过程中引起失真，否则重建块可以与原始块完全相同。这种编码的保真度较高，可以改善用户在查看文本和图形等视频内容时的体验。
在对视频帧中的某些区域进行无损编码的过程中，有时可能需要将变换步骤加入到编码过程中。例如，对于文本区域的一些块而言，与变换略过编码方案相比，添加的变换步骤可以生成更加短的比特流。在一项实施例中，RDO模块可以用于确定是否包含所述变换步骤。例如，可以执行测试变换来将残余块转换为变换系数的矩阵。如果与对残余块中的残余值进行编码所需的比特数相比，对变换系数进行编码所需的比特数可以更小，那么可以包含变换步骤。否则，可以略过变换步骤。图3示出了无量化变换编码方案300的一项实施例，所述无量化变换编码方案可以包括RDO模块310、预测模块320、变换模块330、熵编码器340、逆变换模块350，以及重建模块360。无量化变换编码方案300的一些方面可以与图1中的变换略过编码方案100相同或类似，因此为了简明起见，类似方面将不再进一步描述。
无量化变换编码方案300可以在视频编码器中实施，所述视频编码器可以接收包括视频帧序列的输入视频。RDO模块310可以用于控制一个或多个其他模块，并且可以与图1中的RDO模块110相同或类似。基于RDO模块310作出的逻辑决策，预测模块320可以利用参考帧（帧间预测）或参考像素（帧内预测）来生成预测块，所述预测块是对当前块的估计。随后，可以从当前块中减去预测块，从而生成残余块。预测模块320可以与图1中的预测模块120相同或类似。
无量化变换编码方案300中的残余块可以首先由变换模块330从空间域变换到频域，而不是直接进行熵编码。变换模块330可以将残余块的值（即，残余值）转换成包括多个变换系数的变换矩阵。变换模块330可以使用任何合适的算法来实施，例如，离散余弦变换（DCT）、分形变换（FT），或离散小波变换（DWT）。在使用时，H.264/高级视频编码（AVC）中定义的4x4整数变换等的一些算法可能不会引起任何信息损失，而HEVC工作草案中定义的8x8整数DCT变换等的其他算法可能会引起少量的信息损失。例如，由于HEVC中的8x8整数DCT变换可能并非完全可逆，因此逆变换模块350之后的残余块的恢复值可能略微不同于（例如，最多相差±2个值）变换模块330之前的残余块的原始值。当引起少量信息损失时，编码可能近无损，而非无损。然而，与量化步骤相比，由变换步骤引起的信息损失可能并不显著或并不明显，因此无量化变换编码方案300在本文本中也可以被视作无损编码方案。
变换模块330生成的变换系数可以由熵编码器340扫描并编码成编码比特流。熵编码器340可以与熵编码器130相同或类似。为了促进视频帧的连续编码，变换系数也可以送入逆变换模块350中，该逆变换模块可以执行变换模块330的逆过程，并且生成残余块的精确版本（即，无损）或近似版本（即，近无损）。随后，残余块可以送入重建模块360中，该重建模块可以生成参考像素，以用于未来块的帧内预测，或者生成参考帧，以用于未来帧的帧间预测。重建模块360可以与图1中的重建模块140相同或类似。在从编码器处进行传输之前，编码比特流可以包含其他信息，例如，视频分辨率、帧速率、块分区信息（大小、坐标）、预测模式等，从而视频帧的编码序列可以适当进行解码。
图4示出了可以在视频解码器中实施的无量化变换解码方案400的一项实施例。无量化解码方案400可以对应于无量化变换编码方案300，而且可以包括如图4所示进行布置的熵解码器410、逆变换模块420、预测模块430，以及重建模块440。在操作时，含有视频帧序列信息的编码比特流可以由熵解码器410接收，该熵解码器可以将比特流解码成未压缩格式。熵解码器410可以与图2中的熵解码器210相同或类似。
在使用熵解码器410之后，可以生成变换系数的矩阵，该矩阵随后可以送入逆变换模块420中。逆变换模块420可以将频域中的变换系数转换为空间域中的残余像素值。在使用时，根据逆变换模块420使用的算法是否完全可逆，可以生成残余块的精确版本（即，无损）或近似版本（即，近无损）。逆变换模块420可以与图3中的逆变换模块350相同或类似。
此外，熵解码器410还可以对含有当前块的预测模式的信息进行解码。基于所述预测模式，预测模块430可以针对当前块生成预测块。预测模块430可以与图2中的预测模块220相同或类似。随后，重建模块440可以将残余块与预测块结合起来，以生成重建块。此外，为了促进视频帧的连续解码，可以在参考帧中使用重建块，以对未来帧进行帧间预测。重建块的一些像素也可以用作参考像素，以便对同一帧中的未来块进行帧内预测。
在实际使用中，如果使用无量化变换编码方案300和无量化变换解码方案400等近无损方案对原始块进行编码和解码，那么只有编码过程会引起少量的失真。因此，除非传输过程中引起明显的失真，否则重建块可以几乎与原始块相同。有时可能需要无量化变换编码方案，这是因为与变换略过方案相比，无量化变换编码方案可以获得更高的压缩率，而不会明显降低编码保真度，从而可以大大促进实时编码过程。
有时，不必使用无损模式对整个视频帧进行编码。例如，由于原始视频质量可能已经受限，或者因有损编码引起的失真可能并不显著或并不明显，因此，复合视频中含有自然景观内容（例如，由摄像机采集的内容）的区域可以不需要无损编码。图5示出了有损编码方案500的一项实施例，所述有损编码方案可以与当前HM中使用的编码方案相同或类似。有损编码方案500可以包括RDO模块510、预测模块520、变换模块530、量化模块540、熵编码器550、去量化模块560、逆变换模块570，以及重建模块580。有损编码方案500的一些方面可能与图3中的无量化变换编码方案300相同或类似，因此为了简明起见，类似方面将不再进一步描述。
有损编码方案500可以在视频编码器中实施，所述视频编码器可以接收视频帧序列。RDO模块510可以用于控制一个或多个其他模块。基于由RDO模块510作出的逻辑决策，预测模块520可以利用参考帧或参考像素来生成预测块。随后，可以从来自输入视频的当前块中减去预测块，以生成残余块。残余块可以送入变换模块530中，该变换模块可以将残余像素值转换成变换系数的矩阵。
与无量化变换编码方案300相比，在有损编码方案500中，变换系数在被送入熵编码器550之前，可以由量化模块540进行量化。量化模块540可以改变变换系数的标度并且将它们四舍五入为整数，从而可以减少非零系数的数目。因此，以信息损失为代价，可以增加压缩比。
量化模块540生成的量化变换系数可以由熵编码器550扫描并编码成编码比特流。量化变换系数也可以送入去量化模块560中，以恢复变换系数的原始标度。随后，逆变换模块570可以执行变换模块530的逆过程，并且生成原始残余块的有干扰版本。随后，有损残余块可以送入重建模块580中，该重建模块可以生成参考像素，以用于未来块的帧内预测，或者生成参考帧，以用于未来帧的帧间预测。
图6示出了可以在视频解码器中实施的有损解码方案600的一项实施例。有损解码方案600可以对应于有损编码方案500，而且可以包括如图6所示进行布置的熵解码器610、去量化模块620、逆变换模块630、预测模块640，以及重建模块650。在操作时，含有视频帧序列信息的编码比特流可以由熵解码器610接收，该熵解码器可以将比特流解码成未压缩格式。可以生成量化变换系数的矩阵，随后该矩阵送入去量化模块620中，所述去量化模块可以与图5中的去量化模块560相同或类似。随后，去量化模块620的输出可以送入逆变换模块630中，所述逆变换模块可以将变换系数转换为残余块的残余值。此外，熵解码器610还可以对含有当前块的预测模式的信息进行解码。基于所述预测模式，预测模块640可以针对当前块生成预测块。随后，重建模块650可以将残余块与预测块结合起来，以生成重建块。此外，为了促进连续解码，可以在参考帧中使用重建块，以对未来帧进行帧间预测。重建块的一些像素也可以用作参考像素，以便对同一帧中的未来块进行帧内预测。
在一项实施例中，如果需要，可以在单个编码器中实施上述所有编码方案，包含变换略过编码方案100、无量化变换编码方案300，以及有损编码方案500。例如，当对复合视频进行编码时，编码器可以接收有关以下内容的信息：哪些区域应在无损模式下进行编码和/或哪些区域应在有损模式下进行编码。基于所述信息，编码器可以使用有损模式对某些区域进行编码，而使用无损模式对其他区域进行编码。在无损模式下，在将变换略过编码方案100生成的比特流长度与无量化变换编码方案300生成的比特流长度进行比较之后，编码器的RDO模块（例如，图1中的RDO模块110）可以确定是否略过变换步骤。类似地，如果需要，可以在单个解码器中实施上述所有解码方案，包含变换略过解码方案200、无量化变换解码方案400，以及有损解码方案600。
为了使解码器适当地重建编码视频帧，所述解码器应识别出用于对视频帧进行编码的一个或多个编码方案。由于无损编码仅可以应用于视频帧的一些区域（下文中称为无损编码区域），因此有损编码可以应用于其他区域（下文中称为有损编码区域或常规编码区域）。用信号表示无损编码区域和/或有损编码区域的信息可以在携带编码视频帧的比特流中进行传送。在使用时，此类信息可以包在高阶语法结构中，例如，比特流的序列参数集（SPS）或图像参数集（PPS）。SPS或PPS可以是比特流的关键规范部分，并且可以由视频编码标准来定义。在接收到比特流之后，解码器可以从SPS或PPS中提取区域指示信息，随后根据编码模式来重建每个区域。在一项实施例中，SPS或PPS可以包含多个矩形无损编码区域以及识别出这些区域在视频帧中的位置的信息（例如，左上和右下坐标，或者右上和左下坐标）。在另一项实施例中，SPS或PPS可以包含多个矩形有损编码区域以及识别出这些区域在视频帧中的位置的信息（例如，左上和右下坐标，或者右上和左下坐标）。
在一些应用中，例如，在视频会议期间共享屏幕，视频的某些区域可以在多个视频帧中保持稳定，而不会有任何的内容变化。在这种情况下，区域指示信息可能只会以相对较低的频率发生变化（例如，几十秒一次），因此由这种信号表示方法引起的比特率开销可以忽略不计。
在无损编码区域内，可以使用变换略过方案和/或无量化变换方案。为了进行适当的解码，比特流也可以含有关于以下内容的信息：哪些块已经采用变换略过方案进行编码，以及哪些块已经采用无量化变换方案进行编码。在一项实施例中，针对无损编码区域中的每个PU，可以引入两个变换略过标记。亮度变换略过标记可以指示在对PU的亮度像素进行编码的过程中是否略过（或跳过）变换步骤，而色度变换略过标记可以指示在对PU的色度像素进行编码的过程中是否略过变换步骤。例如，如果对于亮度像素而言，略过变换模块（例如，图3中的变换模块330），那么亮度变换略过标记可以设置为‘1’。否则，如果使用变换模块，但略过量化模块（例如，量化模块540），那么亮度变换略过标记可以设置为‘0’。或者，如果需要，亮度变换略过标记可以在略过变换模块的情况下设置为‘0’，而在使用变换模块的情况下设置为‘1’。色度变换略过标记可以使用与亮度变换略过标记相同或类似的方法进行设置。
亮度变换略过标记和色度变换略过标记都可以由熵编码器（例如，图1中的熵编码器130）进行编码。所述熵编码器可以使用CABAC算法，所述算法可以使用多个内容模型。在一项实施例中，针对每个亮度变换略过标记和色度变换略过标记，可以使用三个内容模型。为了提高编码效率，熵编码器可以基于一个索引来选择内容模型，所述索引可以与邻近PU的变换略过标记相关。例如，考虑对当前PU的亮度变换略过标记进行编码，并且假设当前PU的色度变换略过标记可以采用相同或类似的方式进行编码。两个邻近的PU，即，上方PU和左侧PU，也可以具有亮度变换略过标记。两个亮度变换略过标记之和可以配置成内容模型的索引。如果上方PU或左侧PU都不具有亮度变换略过标记（例如，当前PU处于无损编码区域的边界），那么可以将‘0’分配给亮度变换略过标记。在使用选定的内容模型进行熵编码之后，编码后的亮度变换标记和色度变换标记可以加入比特流中。
在一项实施例中，PU的亮度分量和色度分量可以共享相同的无损编码方案，并且这两个分量都可以在它们的编码过程中略过或者包含变换步骤。在这种情况下，针对这两个分量可以使用单个变换略过标记。与针对亮度分量和色度分量使用单独的变换略过标记相比，单个变换略过标记可以使比特流中的信令开销更少。此外，应注意，虽然在以上描述中，变换略过标记（亮度和/或色度）是在PU水平上进行设置的，但是如果需要，变换略过标记也可以采用类似方式在TU水平上进行设置，从而可以使粒度更加细化，但信令开销会更大。
图7是编码方法700的一项实施例的流程图，所述编码方法可以在视频编码器中实施上述一些或所有编码方案。方法700可以在步骤702处开始，在此步骤中，可以接收到包括视频帧或切片序列的输入视频。对于每个帧或一组帧而言，也可以接收到指示一个或多个无损编码区域和/或有损编码区域的信息或指令。接下来，在步骤703中，可以将区域指示信息添加到压缩比特流的高阶语法中，从而可以识别这些无损编码区域和/或有损编码区域。所述语法可以包含在比特流的SPS或PPS中。在一项实施例中，区域指示信息可以包含多个矩形无损编码区域以及这些区域在视频帧中的位置（例如，左上和右下坐标，或者右上和左下坐标）。在另一项实施例中，区域指示信息可以包含多个矩形有损编码区域以及这些区域在视频帧中的位置（例如，左上和右下坐标，或者右上和左下坐标）。接下来，在步骤704中，基于接收到的信息，方法700可以确定当前正被编码的区域（例如，矩形区域）是否为无损编码区域。如果满足块704中的条件，那么方法700可以前进到步骤706，以在无损模式下对当前区域进行编码（例如，使用变换略过编码方案100和/或无量化变换编码方案300）。否则，方法700可以前进到步骤730，以在有损模式下对当前区域进行编码（例如，使用有损编码方案500）。
接下来，在步骤706中，可以针对当前区域的每个块生成残余块。为了生成残余块，RDO模块（例如，图1中的RDO模块110）可以作出逻辑决策，例如，为当前区域选择最佳的块分区方案，以及为当前块（例如，PU）确定最佳的帧间或帧内预测模式。基于RDO模块的逻辑决策，预测模块（例如，预测模块120）可以生成预测块，随后可以从当前块中减去预测块，获得残余块。
接下来，在步骤708中，方法700可以确定针对当前块的亮度分量和/或色度分量，是否应略过变换步骤，这可以由RDO模块来实施。如果满足块708中的条件，那么方法700可以前进到步骤710，在此步骤中，可以将当前块的一个或多个变换略过标记设置为‘1’。否则，方法700可以前进到步骤720，在此步骤中，可以将一个或多个变换略过标记设置为‘0’。二进制值可以任意设置。例如，如果需要，在步骤710中，可以将一个或多个变换略过标记设置为‘0’，而在步骤720中，设置为‘1’。在使用时，亮度分量和色度分量可以使用单独的变换略过标记。如果这两个分量总是使用相同的编码方案，那么它们也可以共享一个变换略过标记。
步骤710之后可以是步骤712，在步骤712中，可以使用熵编码器（例如，图1中的熵编码器130）将残余块编码成压缩比特流。所述熵编码器可以使用任何合适的算法，例如，CABAC算法。此外，一个或多个‘1’变换略过标记可以由熵编码器进行编码。在一项实施例中，针对每个亮度分量和色度分量，可以使用三个内容模型。
步骤720之后可以是步骤722，在步骤722中，可以在变换模块（例如，图3中的变换模块330）中将残余块转换为变换系数的二维矩阵。所述变换模块可以使用任何合适的变换，例如，整数DCT变换和类整数DCT变换。接下来，在步骤724中，可以使用熵编码器（例如，图3中的熵编码器340）将变换系数编码成压缩比特流。此外，一个或多个‘0’变换略过标记可以由熵编码器进行编码。
如果在步骤704中为当前区域选择了有损编码模式，那么方法700可以前进到步骤730，在此步骤中，针对当前区域的每个块可以生成残余块。为了生成残余块，RDO模块（例如，图5中的RDO模块510）可以为当前区域选择块分区方案，并且为当前块（例如，PU）选择帧间或帧内预测模式。基于RDO模块的逻辑决策，预测模块（例如，预测模块520）可以生成预测块，随后可以从当前块中减去预测块，获得残余块。接下来，在步骤732中，可以在变换模块（例如，变换模块530）中将残余块转换成变换系数的矩阵。接下来，在步骤734中，可以在量化模块（例如，量化模块540）中将所述矩阵量化成量化变换系数的另一矩阵。接下来，在步骤736中，可以使用熵编码器（例如，熵编码器550）将量化变换系数编码成比特流，所述比特流可能已经具有区域指示信息。
当前区域的每个块都可以使用步骤702到736中的一些步骤进行编码。在一项实施例中，对当前区域中的所有块进行编码之后，在步骤740中，可以通过网络等将压缩比特流传输给解码器。应理解，方法700可能只包含所有必要编码步骤中的一部分，因而诸如去量化和逆变换等其他步骤也可以在必要时并入到编码过程。
图8是解码方法800的一项实施例的流程图，所述解码方法可以对应于编码方法700，并且可以在视频解码器中实施上述一些或所有解码方案。方法800可以在步骤802处开始，在此步骤中，可以接收到包括视频帧序列的比特流。接下来，在步骤804中，可以针对区域指示信息来检查比特流的高阶语法（例如，SPS或PPS），从而可以用信号表示一个帧或一组帧中的哪些区域已在无损模式下编码。接下来，在步骤806中，基于区域指示信息，方法800可以确定当前正被解码的区域（例如，矩形区域）是否已在无损模式下编码。如果满足块806中的条件，那么方法800可以前进到步骤808，以在无损模式下对当前区域进行解码（例如，使用变换略过解码方案200和/或无量化变换解码方案400）。否则，方法800可以前进到步骤830，以在有损模式下对当前区域进行解码（例如，使用有损解码方案500）。
对于当前区域的每个块而言，在步骤808中，可以在熵解码器（例如，图2中的熵解码器210）中对一个或多个编码变换略过标记进行解码，所述熵解码器可以执行熵编码器的逆过程。如果当前块的亮度分量和色度分量使用单独的变换略过标记，那么针对当前块可以对两个标记进行解码。或者，如果亮度分量和色度分量共享一个变换略过标记，那么可以对一个标记进行解码。接下来，在步骤810中，方法800可以确定变换略过标记是否为‘1’。如上所述，变换略过标记‘1’可以表明在当前块的编码过程中已经略过变换步骤，而变换略过标记‘0’可以表明在没有量化的情况下使用了变换步骤。应理解，可以基于对应的编码方法（例如，方法700）来解读本文本中的二进制值。例如，如果方法700将‘1’和‘0’的意义互换，那么方法800可能也要做出相应调整。如果满足块810中的条件，那么方法800可以前进到步骤812，在此步骤中，可以使用熵解码器将当前块的残余块解码成未压缩格式。否则，方法800可以前进到步骤820，在此步骤中，可以使用熵解码器对变换系数的矩阵进行解码。步骤820之后可以是步骤822，在步骤822中，可以使用逆变换模块（例如，图4中的逆变换模块420）将变换系数转换成当前块的残余块。
如果当前区域需要在有损解码模式下进行解码（由块806确定），那么方法800可以前进到步骤830，在此步骤中，可以在熵解码器（例如，图6的熵解码器610）中对量化变换系数的矩阵进行解码。接下来，在步骤832中，可以对量化变换系数进行去量化，以恢复变换系数的原始标度。接下来，在步骤834中，可以将变换系数逆变换成当前块的残余块。
在使用无损解码模式或有损解码模式获得残余块之后，在步骤840中，可以生成预测块。预测块可以基于包括预测模式的信息（使用熵编码器从比特流解码而来），以及一个或多个先前编码的帧或块。接下来，在步骤842中，可以将残余块添加到预测块中，从而生成重建块。根据所使用的编码和解码方案，重建块可以是原始块（编码之前）的精确版本、近似版本，或者有干扰版本。除非传输过程中引起失真，否则在变换略过编码过程中可以保留来自原始块的所有信息。根据变换和逆变换的特性，无量化变换编码中可以保留所有（或几乎所有）的信息。某些信息可能会在有损编码过程中损失，而损失的程度可能主要取决于量化步骤和去量化步骤。为了促进块的连续解码，重建块的一些像素也可以用作参考像素，以用于对未来块进行解码。同样，当前帧也可以用作参考帧，以用于对未来帧进行解码。
图9示出了网络单元900的一项实施例，所述网络单元可以包括编解码器，所述编解码器可以如上文所述，例如，在网络或系统内处理视频帧。网络单元900可以包括：多个输入端口910和/或接收器单元（Rx）912，用于从其他网络单元或部件接收数据；逻辑单元或处理器920，用于处理数据并且确定将数据发送到哪个网络单元；以及多个输出端口930和/或发射器单元（Tx）932，用于将数据传输到其他网络单元。逻辑单元或处理器920可以用于实施本文本中所述的任何方案，例如，变换略过编码方案100、无量化变换编码方案300，和/或以下方法中的至少一种方法：编码方法700和解码方法800。逻辑单元920可以使用硬件、软件或这两者来实施。
上述方案可以在任何通用网络部件上实施，例如，计算机或特定网络部件，其具有足够的处理能力、存储资源以及网络吞吐能力来处理其上的必要工作量。图10示出了典型的通用网络部件或计算机系统1000的示意图，所述网络部件或计算机系统适用于实施本文本所揭示的方法的一项或多项实施例，例如，编码方法700和解码方法800。通用网络部件或计算机系统1000包含处理器1002（可以称为中央处理器单元或CPU），所述处理器与包含以下项的存储装置通信：辅助存储器1004、只读存储器（ROM）1006、随机存取存储器（RAM）1008、输入/输出（I/O）装置1010，以及网络连接装置1012。尽管处理器1002被示为单个处理器，但是它并非受限于此，而是可以包括多个处理器。处理器1002可以作为一个或多个CPU芯片、核（例如，多核处理器）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）和/或数字信号处理器（DSP）来实施，和/或可以是一个或多个ASIC的一部分。处理器1002可以用于实施本文本中所述的任何方案，包含变换略过编码方案100、无量化变换编码方案300，和/或以下方法中的至少一种方法：编码方法700和解码方法800。处理器1002可以使用硬件、软件或这两者来实施。
辅助存储器1004通常包括一个或多个磁盘驱动器或磁带驱动器，用于数据的非易失性存储，而且如果RAM1008的容量不足以存储所有工作数据，所述辅助存储器则用作溢流数据存储装置。辅助存储器1004可以用于存储程序，当选择执行这些程序时，所述程序将加载到RAM1008中。ROM1006用于存储在程序执行期间读取的指令以及可能的数据。ROM1006为非易失性存储装置，其存储容量相对于辅助存储器1004的较大存储容量而言通常较小。RAM1008用于存储易失性数据，还可能用于存储指令。访问ROM1006和RAM1008通常比访问辅助存储器1004要快。
本发明揭示至少一项实施例，且所属领域的技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改在本发明的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确陈述数值范围或限制的情况下，应将此类表达范围或限制理解成包含属于明确陈述的范围或限制内的类似量值的迭代范围或限制（例如，从约为1到约为10包含2、3、4等；大于0.10包含0.11、0.12、0.13等）。例如，只要揭示具有下限Rl和上限Ru的数值范围，则也具体揭示属于此范围内的任何数字。具体而言，特别揭示所述范围内的以下数字：R=Rl+k*(Ru-Rl)，其中k为从1%到100%范围内以1%递增的变量，即，k为1%、2%、3%、4%、7%、……、70%、71%、72%、……、95%、96%、97%、98%、99%或100%。此外，还特别揭示由如上文所定义的两个R数字定义的任何数值范围。除非另有说明，否则术语“约”是指随后数字的+10%。相对于权利要求的任一元件使用术语“任选地”意味着需要所述元件，或者不需要所述元件，这两种替代方案均在所述权利要求的范围内。应将使用“包括”、“包含”和“具有”等范围较大的术语理解成支持“由……组成”、“基本上由……组成”以及“大体上由……组成”等范围较小的术语。因此，保护范围不受上文所述描述的限制，而是由所附权利要求书界定，所述范围包含所附权利要求书的标的物的所有等效物。每一和每条权利要求作为进一步揭示内容并入说明书中，且权利要求书是本发明的实施例。揭示内容中对参考的论述并非承认其为现有技术，尤其是公开日期在本申请案的在先申请优先权日期之后的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容以引入的方式并入本文本中，以提供补充本发明的示例性、程序性或其他细节。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，所揭示的系统和方法可以许多其他具体形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其他系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦接或直接耦接或通信的其他项也可以采用电方式、机械方式或其他方式通过某一接口、装置或中间部件间接地耦接或通信。其他变化、替代和改变实例可以由所属领域的一般技术人员确定，且可以在不脱离本文本所揭示的范围和精神的情况下作出。

Claims (40)

1.一种用于视频编码的设备，其包括：
处理器，所述处理器用于：
接收视频帧；
选择所述视频帧中的至少一个区域；
在对所述至少一个区域进行编码的过程中略过量化步骤；
针对所述至少一个区域中的当前块，
生成预测块；
从所述当前块中减去所述预测块，以生成残余块；以及
在对所述残余块进行编码的过程中选择性地略过变换步骤。
2.根据权利要求1所述的设备，其中所述残余块包括多个残余值；而且其中所述处理器进一步用于：
如果略过所述变换步骤，
则对所述多个残余值中的至少一部分执行熵编码，以生成编码残余值；
否则，
将所述残余块变换成包括多个变换系数的变换矩阵；以及
对所述多个变换系数执行熵编码，以生成多个编码变换系数。
3.根据权利要求2所述的设备，其中所述处理器进一步用于：
在比特流中传输所述经编码的至少一个区域；以及
将区域指示信息添加到所述比特流的语法中，其中所述区域指示信息识别出所述至少一个区域。
4.根据权利要求3所述的设备，其中所述处理器进一步用于：
针对所述当前块设置至少一个变换略过标记；
对所述至少一个变换略过标记执行熵编码，以生成至少一个编码变换略过标记；以及
将所述至少一个编码变换略过标记添加到所述比特流中。
5.根据权利要求4所述的设备，其中所述处理器进一步用于：
如果略过所述变换步骤，则将所述变换略过标记设置为‘1’；
如果并不略过所述变换步骤，则将所述变换略过标记设置为‘0’。
6.根据权利要求5所述的设备，其中对所述至少一个变换略过标记执行熵编码包含针对所述至少一个变换略过标记中的每者使用三个上下文模型，其中所述三个上下文模型可经由一个索引来选择，所述索引等于属于所述当前块的上方块的第一变换略过标记与属于所述当前块的左侧块的第二变换略过标记之和。
7.根据权利要求6所述的设备，其中所述当前块为预测单元（PU）。
8.根据权利要求4所述的设备，其中所述当前块为变换单元（TU）。
9.根据权利要求4所述的设备，其中所述处理器进一步用于：
如果略过所述变换步骤，则将所述变换略过标记设置为‘0’；
如果并不略过所述变换步骤，则将所述变换略过标记设置为‘1’。
10.根据权利要求4所述的设备，其中所述至少一个变换略过标记是应用于所述当前块的亮度分量和色度分量的单个变换略过标记。
11.根据权利要求3所述的设备，其中所述语法包括序列参数集（SPS）或图像参数集（PPS），其中所述区域指示信息包括：
大量的一个或多个无损编码区域；以及
用于所述一个或多个无损编码区域中的每者的多个坐标，以指示出所述区域在所述视频帧中的位置。
12.根据权利要求3所述的设备，其中所述语法包括SPS或PPS，其中所述区域指示信息包括：
大量的一个或多个有损编码区域；以及
用于所述一个或多个有损编码区域中的每者的多个坐标，以指示出所述区域在所述视频帧中的位置。
13.根据权利要求2所述的设备，其中所述视频帧包括复合视频。
14.根据权利要求2所述的设备，其中所述变换矩阵是使用整数离散余弦变换（DCT）生成的。
15.一种用于视频编码的方法，其包括：
接收视频帧；
选择所述视频帧中的至少一个区域；
在对所述至少一个区域进行编码的过程中略过量化步骤；
针对所述至少一个区域中的当前块，
生成预测块；
从所述当前块中减去所述预测块，以生成残余块；以及
在对所述残余块进行编码的过程中选择性地略过变换步骤。
16.根据权利要求15所述的方法，其中所述残余块包括多个残余值，而且其中所述方法进一步包括：
如果略过所述变换步骤，
则对所述多个残余值中的至少一部分执行熵编码，以生成编码残余值；
否则，
将所述残余块变换成包括多个变换系数的变换矩阵；以及
对所述变换系数执行熵编码，以生成多个变换系数，从而生成多个编码变换系数。
17.根据权利要求16所述的方法，其进一步包括：
在比特流中传输经编码的至少一个区域；以及
将区域指示信息添加到所述比特流的语法中，其中所述区域指示信息识别出所述至少一个区域。
18.根据权利要求17所述的方法，其进一步包括：
针对所述当前块设置至少一个变换略过标记；
对所述至少一个变换略过标记执行熵编码，以生成至少一个编码变换略过标记；以及
将所述至少一个编码变换略过标记添加到所述比特流中。
19.根据权利要求18所述的方法，其进一步包括：
如果略过所述变换步骤，则将所述变换略过标记设置为‘1’；
如果并不略过所述变换步骤，则将所述变换略过标记设置为‘0’。
20.根据权利要求19所述的方法，其中对所述至少一个变换略过标记执行熵编码包含针对所述至少一个变换略过标记中的每者使用三个内容模型，其中所述三个内容模型可经由一个索引来选择，所述索引等于属于所述当前块的上方块的第一变换略过标记与属于所述当前块的左侧块的第二变换略过标记之和。
21.根据权利要求20所述的方法，其中所述当前块为预测单元（PU）。
22.根据权利要求18所述的方法，其中所述当前块为变换单元（TU）。
23.根据权利要求18所述的方法，其进一步包括：
如果略过所述变换步骤，则将所述变换略过标记设置为‘0’；
如果并不略过所述变换步骤，则将所述变换略过标记设置为‘1’。
24.根据权利要求18所述的方法，其中所述至少一个变换略过标记是应用于所述当前块的亮度分量和色度分量的单个变换略过标记。
25.根据权利要求17所述的方法，其中所述语法包括序列参数集（SPS）或图像参数集（PPS），其中所述区域指示信息包括：
大量的一个或多个无损编码区域；以及
用于所述一个或多个无损编码区域中的每者的多个坐标，以指示出所述区域在所述视频帧中的位置。
26.根据权利要求17所述的方法，其中所述语法包括SPS或PPS，其中所述区域指示信息包括：
大量的一个或多个有损编码区域；以及
用于所述一个或多个有损编码区域中的每者的多个坐标，以指示出所述区域在所述视频帧中的位置。
27.根据权利要求16所述的方法，其中所述视频帧包括复合视频。
28.根据权利要求16所述的方法，其中所述变换矩阵是使用整数离散余弦变换（DCT）生成的。
29.一种用于视频解码的设备，其包括：
处理器，所述处理器用于：
接收包括编码视频帧序列的比特流，其中所述比特流进一步包括语法中的区域指示信息；以及
对所述编码视频帧序列进行解码，以生成解码视频帧序列，其中生成解码视频帧包含识别编码视频帧中的一个或多个无损编码区域，以及在对所述一个或多个无损编码区域进行解码的过程中略过去量化步骤。
30.根据权利要求29所述的设备，其中所述语法包括序列参数集（SPS）或图像参数集（PPS），其中所述SPS或PPS含有所述区域指示信息。
31.根据权利要求30所述的设备，其中所述比特流进一步包括用于每个无损编码区域中的每个块的至少一个变换略过标记，其中所述处理器进一步用于：
基于所述至少一个变换略过标记，确定在对无损编码区域中的块进行解码的过程中是否略过逆变换步骤。
32.根据权利要求31所述的设备，其中如果所述至少一个变换略过标记的值为‘1’，则略过所述逆变换步骤，而且其中如果所述至少一个变换略过标记的值为‘0’，则包含所述逆变换步骤。
33.根据权利要求31所述的设备，其中所述块为预测单元（PU）。
34.根据权利要求31所述的设备，其中所述块为变换单元（TU）。
35.根据权利要求31所述的设备，其中如果所述至少一个变换略过标记的值为‘0’，则略过所述逆变换步骤，而且其中如果所述至少一个变换略过标记的值为‘1’，则包含所述逆变换步骤。
36.一种用于视频编码的设备，其包括：
处理器，所述处理器用于：
针对当前块生成残余块，其中所述残余块包括多个残余值；
基于率失真优化（RDO）过程，确定在对所述残余块进行编码的过程中是否略过变换步骤；
针对所述当前块设置至少一个变换略过标记；
对所述至少一个变换略过标记执行熵编码，以生成至少一个编码变换略过标记；以及
如果略过所述变换步骤，
则对所述多个残余值中的至少一部分执行熵编码，以生成编码残余值；
否则，如果并不略过所述变换步骤，
则将所述残余块变换成包括多个变换系数的变换矩阵；以及
对所述多个变换系数执行熵编码，以生成多个编码变换系数。
37.根据权利要求35所述的设备，其中所述处理器进一步用于：
如果略过所述变换步骤，则将所述变换略过标记设置为‘1’；以及
如果并不略过所述变换步骤，则将所述变换略过标记设置为‘0’；
其中对所述至少一个变换略过标记执行熵编码包含针对所述至少一个变换略过标记中的每者使用三个内容模型，其中所述三个内容模型可经由一个索引来选择，所述索引等于属于所述当前块的上方块的第一变换略过标记与属于所述当前块的左侧块的第二变换略过标记之和。
38.根据权利要求36所述的设备，其中所述处理器进一步用于：
如果所述上方块并不具有任何变换略过标记，则将‘0’分配给所述第一变换略过标记；以及
如果所述左侧块并不具有任何变换略过标记，则将‘0’分配给所述第二变换略过标记。
39.根据权利要求37所述的设备，其中所述至少一个变换略过标记是应用于所述当前块的亮度分量和色度分量的单个变换略过标记。
40.根据权利要求37所述的设备，其中所述至少一个变换略过标记包含应用于所述当前块的亮度分量的亮度变换略过标记，以及应用于所述当前块的色度分量的色度变换略过标记。
CN201280032346.9A 2011-06-30 2012-06-29 用于复合视频的无损编码及相关信号表示方法 Active CN104041035B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161503534P 2011-06-30 2011-06-30
USUS61/503534 2011-06-30
US61/503,534 2011-06-30
PCT/US2012/045133 WO2013003823A1 (en) 2011-06-30 2012-06-29 Lossless coding and associated signaling methods for compound video

Publications (2)

Publication Number Publication Date
CN104041035A true CN104041035A (zh) 2014-09-10
CN104041035B CN104041035B (zh) 2017-06-27

Family

ID=46489494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032346.9A Active CN104041035B (zh) 2011-06-30 2012-06-29 用于复合视频的无损编码及相关信号表示方法

Country Status (6)

Country Link
US (1) US20130003838A1 (zh)
EP (1) EP2705667B1 (zh)
JP (1) JP5777080B2 (zh)
KR (1) KR101572535B1 (zh)
CN (1) CN104041035B (zh)
WO (1) WO2013003823A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664405A (zh) * 2015-06-09 2017-05-10 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN107925761A (zh) * 2015-08-25 2018-04-17 凯迪迪爱通信技术有限公司 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法以及程序
CN110268715A (zh) * 2017-02-28 2019-09-20 谷歌有限责任公司 变换核选择与熵编译
CN110892720A (zh) * 2017-07-13 2020-03-17 松下电器（美国）知识产权公司 编码装置、编码方法、解码装置及解码方法
US10652576B2 (en) 2013-10-14 2020-05-12 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN113170133A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 用于图片的基于块的空间活动度量

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101441903B1 (ko) * 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US11184623B2 (en) * 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
CN104378639B (zh) 2011-10-19 2018-05-04 株式会社Kt 解码视频信号的方法
US10645398B2 (en) 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
US10390046B2 (en) * 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
AU2012200345B2 (en) * 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
EP4149113A1 (en) 2012-05-25 2023-03-15 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CN103650500B (zh) 2012-05-25 2018-10-02 威勒斯媒体国际有限公司 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置
WO2013175736A1 (ja) * 2012-05-25 2013-11-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置
SG10201608534XA (en) 2012-06-04 2016-12-29 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
US20140056347A1 (en) * 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
US9936200B2 (en) * 2013-04-12 2018-04-03 Qualcomm Incorporated Rice parameter update for coefficient level coding in video coding process
US10003792B2 (en) * 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
US10021419B2 (en) 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
CN105359531B (zh) 2014-03-17 2019-08-06 微软技术许可有限责任公司 用于针对屏幕内容编码的编码器侧判定的方法和系统
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
CN116634139A (zh) 2016-08-03 2023-08-22 株式会社Kt 用于对视频进行编码和解码的方法和装置
KR102401851B1 (ko) * 2017-06-14 2022-05-26 삼성디스플레이 주식회사 영상 압축 방법 및 이를 수행하는 표시 장치
JP7036123B2 (ja) * 2017-12-05 2022-03-15 株式会社ソシオネクスト 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
CN113826383B (zh) 2019-05-13 2022-10-11 北京字节跳动网络技术有限公司 变换跳过模式的块维度设置
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
EP3977732B1 (en) * 2019-05-31 2024-11-06 InterDigital VC Holdings, Inc. Implicit multiple transform selection
US11375183B2 (en) 2020-04-13 2022-06-28 Op Solutions, Llc Methods and systems for combined lossless and lossy coding
TWI861393B (zh) * 2020-05-01 2024-11-11 美商Ｏｐ解決方案公司 用於組合無損和有損寫碼之方法和系統
US11546617B2 (en) 2020-06-30 2023-01-03 At&T Mobility Ii Llc Separation of graphics from natural video in streaming video content
WO2022047129A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems for combined lossless and lossy coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098507A (zh) * 2010-06-08 2011-06-15 同济大学 图像统合压缩方法及装置
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256341A (ja) * 1995-03-17 1996-10-01 Sony Corp 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置
JP2005167655A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
KR100813963B1 (ko) * 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
PT2950544T (pt) * 2006-01-09 2019-07-10 Hans Georg Musmann Codificação adaptativa do erro de predição em codificação de vídeo híbrida
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
US8275208B2 (en) * 2008-07-02 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using image separation based on bit location
US8270476B2 (en) * 2008-12-31 2012-09-18 Advanced Micro Devices, Inc. Face detection system for video encoders
US8385666B2 (en) * 2010-03-31 2013-02-26 Microsoft Corporation Classification and encoder selection based on content
EP2559166B1 (en) * 2010-04-13 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
EP2685721B1 (en) * 2011-03-09 2019-10-30 Panasonic Intellectual Property Corporation of America Video image encoding device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof
CN102098507A (zh) * 2010-06-08 2011-06-15 同济大学 图像统合压缩方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKAMURA S,ETAL: "H.264-based Lossless Video Coding using Adaptive Transforms", 《2005 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652576B2 (en) 2013-10-14 2020-05-12 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN106664405A (zh) * 2015-06-09 2017-05-10 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN107925761A (zh) * 2015-08-25 2018-04-17 凯迪迪爱通信技术有限公司 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法以及程序
US10819988B2 (en) 2015-08-25 2020-10-27 Kddi Corporation Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, and computer readable storage medium
CN107925761B (zh) * 2015-08-25 2021-02-12 凯迪迪爱通信技术有限公司 动态图像编、解码装置及方法、以及计算机可读记录介质
CN110268715A (zh) * 2017-02-28 2019-09-20 谷歌有限责任公司 变换核选择与熵编译
CN110892720A (zh) * 2017-07-13 2020-03-17 松下电器（美国）知识产权公司 编码装置、编码方法、解码装置及解码方法
CN110892720B (zh) * 2017-07-13 2022-01-28 松下电器（美国）知识产权公司 编码装置、编码方法、解码装置及解码方法
CN113170133A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 用于图片的基于块的空间活动度量

Also Published As

Publication number Publication date
JP2014520493A (ja) 2014-08-21
JP5777080B2 (ja) 2015-09-09
KR101572535B1 (ko) 2015-11-27
EP2705667B1 (en) 2016-09-21
KR20140010185A (ko) 2014-01-23
US20130003838A1 (en) 2013-01-03
EP2705667A1 (en) 2014-03-12
CN104041035B (zh) 2017-06-27
WO2013003823A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
JP7529348B2 (ja) エンコーダ、デコーダ、および対応するイントラ予測方法
CN103782598A (zh) 用于无损编码的快速编码方法
JP7401556B2 (ja) イントラ予測のためのエンコーダ、デコーダおよび対応する方法
CN108028944B (zh) 用于处理经解码视频数据的方法、系统和存储介质
JP6749922B2 (ja) 高効率ビデオ符号化（ｈｅｖｃ）画面コンテンツ符号化（ｓｃｃ）における改善されたパレットモード
CN102150427B (zh) 用于使用自适应环路滤波器进行视频编码的系统和方法
CN114009048B (zh) 视频译码中的滤波装置和方法
CN103650496B (zh) 用于在hevc中编码的基于像素的帧内预测
KR102120571B1 (ko) 넌-4:4:4 크로마 서브-샘플링의 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
JP7343668B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
CN104185989A (zh) 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测
CN104396245A (zh) 用于对图像进行编码或解码的方法和装置
CN105230023A (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
KR20170016849A (ko) 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
CN104704826B (zh) 两步量化和编码方法和装置
KR20130098122A (ko) 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
JP7251882B2 (ja) Ｃｂｆフラグの効率的なシグナリング方法
CN110650337B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
CN113660489B (zh) 用于帧内子划分的解码方法、装置、解码器和存储介质
CN112385227A (zh) 用于帧内预测的方法和装置
KR20180102565A (ko) 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
KR102779365B1 (ko) 제산 없는 인트라 예측을 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant