[go: up one dir, main page]

CN1072051A - 具有多分辨率特征的运动视频信号压缩系统 - Google Patents

具有多分辨率特征的运动视频信号压缩系统 Download PDF

Info

Publication number
CN1072051A
CN1072051A CN92111430A CN92111430A CN1072051A CN 1072051 A CN1072051 A CN 1072051A CN 92111430 A CN92111430 A CN 92111430A CN 92111430 A CN92111430 A CN 92111430A CN 1072051 A CN1072051 A CN 1072051A
Authority
CN
China
Prior art keywords
resolution
scale
data
scales
mpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN92111430A
Other languages
English (en)
Other versions
CN1036303C (zh
Inventor
塞瑟尔·奥古斯托·贡扎里斯
多夫·N·莱姆
艾里克·N·维西托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1072051A publication Critical patent/CN1072051A/zh
Application granted granted Critical
Publication of CN1036303C publication Critical patent/CN1036303C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

用于处理一串视频图象数据以产生复用对应于 分辨率或比特串标度原数据的视频表示的系统和方 法。该表示可在所有分辩率和比特串标度下保存 MPEG—1ISO标准的基本宏观块(MB)的身分。 MB与一系列可影响包括在MPEG—1压缩数据串 中的开销数据量的特性有关，因此通过在多个分辨率 和比特串标度下保存MB身分，这些标度就可分享 这种开销，从而只需在数据串中将其包括一次。在后 一种情况下，在较高的分辨率标度可加上一附加的修 正，以改善运动矢量数据的精度。

Description

本发明涉及数据压缩领域，更具体地说，是涉及在多种标度下压缩和解压数字运动视频信号的系统和技术。该技术扩展了与国际标准组织的运动图象专家组（International    Standards    Organization′s    Moving    Picture    Experts    Gronp）（MPEG）提出的MPEG标准类似的方法。
数字传送网络、数字存贮介质、超大规模集成装置、以及视频和音频信号的数字压缩方面的技术进展，都趋向于使数字视频信号的存贮和传送在广大的应用范围内变得更加经济。由于数字视频信号的存贮和传送对众多应用都是至关重要的，且视频信号的未压缩表示要求存贮量大，故在此先进技术中数字视频压缩技术是关键的。因此，在过去十年中出现了几个用于数字视频信号压缩的国际标准，且更多的在正在出现中。这些标准适用于在各种应用中传送及存贮压缩数字视频信号的方法，包括：图象电话和电话会议;同轴和光纤网络及地面广播和直接广播卫星上的高质量数字电视传送;及CD-ROM、数字录音带、及温盘装置上的相互作用的多媒介产品。
这些标准中的几个包括基于压缩技术的公共核的方法，如CCITT（国际电报及电话咨询委员会，Consultative    Committee    on    International    Telegraphy    and    Telephony）建议H.120、CCITT建议H.261、及ISO/IEC    MPEG标准。此MPEG法是由运动图象专家组（MPEG）建立的，该组织是国际标准组织（ISO）和国际电技术协会（IEC）的联合技术委员会的一部分。该MPEG委员会正为视频和音频信号的多重复用压缩表示建立一草案标准。该标准规定了压缩此特串的句法及在一定空间分辨率下解译数字视频信号的方法。该草案标准将被称作MPEG-1标准或算法，以区别于该委员会时下正在讨论的更新的算法。此MPEG-1草案标准在1991年5月的文件ISO/IEG    JTCI/SC2    WG11    MPEG    91/090中作了描述。
由于本发明可被用于扩展MPEG-1解码器的功能，以从同一压缩比特串产生多种视频分辨率，故将提到MPEG-1视频压缩算法中的一些有关的部分。但应注意的是，本发明还可用于其他的、具有MPEG法的某些特征的视频编码算法。
MPEG-1视频信号压缩算法
首先应理解的是，任何数据体，如书中的一页，一幅图象、一段讲话、或一列视频信号，它们的压缩均可被视为一系列步骤，包括：1）将该数据体分解成一组符号;2）用在某些情况下有最小长度的二进数串来表示这些符号;3）以确定的顺序连接这些数串。步骤2和3是无失真的，即在逆变换时原始数据是可复原的，而且步骤2也叫熵编码。（参见T.BERGER的Rate    Distortion    Theory，NJ：Prentice-Hall，1977;R.McELIECE的The    Theory    of    Information    and    Coding，Reacling，MA：Addison-Wesley，1971;D.A.HUFFMAN的A    Method    for    the    Construction    of    Minimum    Redundancy    Codes，“Proc.IRE，pp    1098-1101，September    1952;G.G.LANGDON的“An    Introduction    to    Arithnetic    Coding，”IBM    J.Res.Decelop，Vo（28，pp.135-149，March    1984）。步骤1通常即可是无失真的，也可是失真的、多数视频压缩算法是失真的。成功的失真压缩算法消掉多余和无关的信息、在错误看上去不明显时能容许较多的错误、并并刻意表现人类观察者非常注意的序列部分。在MPEG-1法中采用的步骤1的技术可称为预测/内插运动补偿混合PCT/DPCM编码（Predicative/interpolative    motion-compensated    hydrid    DCT/DPCM    coding）。Huffman编码，也叫可变长度编码（见上面所列的Huffman    1952年的文章，被用在步骤2中。尽管MPEG-1标准实际上是一解码器和压缩比特串句法的规范，但为说明方便起见，以下的MPEG-1规范描述主要是从编码器的角度进行的。
MPEG-1视频标准规定了数据存贮介质的视频编码表示，如1991年MPEG委员会草案ISO-IEC    JTC1/SC2/WG11    MPEG    CD-11172中所规定的那样。该算法是为在无交错分量视频信号中使用而设计的，尽管它可通过把两个依次的交错场合成一个图象而扩展应用到交错视频图象上。每个图象有三个分量：亮度（y）、红色差（Cr）和兰色差（Cb）。Cr和Cb分量各自在垂直及水平方向的取样均只有y分量的一半。另外，此算法是以单一的视频分辨率水平进行的。
MPEG-1序列的分层结构
一个MPEG-1数据串由一视频数串和一音频数串组成，这些数串与系统信息及其他可能出现的比特串一起，被装入一可视为有分层结构的系统数据串中。在MPEG-1数据串的视频层中，压缩数据被进一步分层。最高的一层是视频序列层，它包含控制信息及整个序列的参量。对其他层的组成的描述会有助于理解本发明。MPEG-1视频分层结构的这些层在图1至4中显示。在这些图中：
图1显示了图象组（GOP）;
图2显示了图象的宏观块划分;
图3显示了图象（例）的片划分;
图4显示了宏观块的块划分。
这些层关系到压缩算法操作及压缩比特率组合。如前所述，最高层是包含控制信息及整个序列的参量的视频序列层。在下一层中，序列被分成依次图象的组，每个被称为图象组（GOP）。在图1中概括地显示了这种层。解码可始于任何GOP的开始处，基本上与前面的GOP无关。GOP中的图象数目是没有限制的，所有GOP中的图象数目也不必是相同的。
第三或图象层是一幅图象。图2中一般地显示了该层。解码可始于任一GOP的开始处;各图象的亮度分量基本被分成16×16个区，而色差分量则被分成与16×16个亮度区在空间上同处（Co-sited）的8×8个区。同处的亮度区和色差区一同构成了第五层，叫做宏观块（MB）。
在图象和MB层之间是第四或“片”层。各片由任意或选定数目的依次MB组成。一个图象内或不同图象中的片不必是大小一致的。它们的大小可以仅有几个宏观块，也是延伸过几列MB（如图3所示）。
一个MB是一基本层，它可联系有各种特性，这在下面可以看出。如图4所示，MB的基本结构包括四个亮度块和两个度块。在MPEG-1中，所有这些块的大小均为8×8。本发明的一个目的，是在多个图象分辨率下保存MB的结构和特性（不一定是其大小）。
在一个GOP内，会出现三种类型的图象。各类图象的区别在于所用的压缩方法。“内模式”图象或I图象是与其他图象独立地压缩的。尽管I图象的间距没有上限，但希望它们的频繁地在整个序列中，以利于随机存取及其他模式的操作。各GOP必须以一个I图象开头、且其他的I图象可出现在此GOP中。其他类型的图象，即预计运动补偿图象（P图象）和双向运动补偿图象（B图象）将在下面对运动补偿的讨论中描述。在图5中给出了一般的说明。
运动补偿
大多数视频信号序列都表现出依次的图象之间的高度相关性。在编码图象之前消除这种冗余的一种有利方法是“运动补偿”。运动补偿需要有装置来模拟并测定一个场面中的运动。在MPEG-1中，各图象被分成宏观块，且把各MB与一或多个预计图象中处于相同大致空间位置的16×16个区相比较。预计图象中与某些场面中的MB最匹配的区被作为预计。MB的空间位置与预计者的空间位置间的差别被称为“运动矢图”。这样，用于一MB的运动估计和补偿就是运动矢量和运动补偿差宏观块。这些一般可得此原有MB本身更多地压缩。用以前的（即在顺序中在时间上是向前的）单一预计图象来预计运动补偿的图象，叫做P图象。
在MPEG-1中，P图象和其预计图像间的时间间隔可大于一个图象间隔。对P图象之间或I图象与P图象间的图象，除了时间上向前的预计外，也可采用时间上向后的预计，这种图象叫双向运动补偿图象（B图象）。对B图象，除了向前和向后的预计，还允许内插运动补偿，其中的预计为来自以前预计图象的块与来自未来预计图象的块的平均。在此情况，需要两个运动矢量。
采用双向运动补偿导致了一个两级运动补偿结构，如图5所示。各箭头表示用与点相接触的图象对触到箭头头部的图象所作的补偿。各P图象均用前-P图象（或I图象，如实际可能出现的）进行运动补偿。各B图象均用紧邻它的前或和后一幅P或I图象进行运动补偿。这些预计图象有时叫做“锚”图象。对锚图象们的间距反I图象们的间距，MPEG-1中都没作限定。实际上，在一个整个序列中，这些参数不必是常数。若以N表示I图象间的距离而以M表示P图象间的距离，则图5所示的序列有（N，M）＝（9，3）
因此应当理解，MPEG-1序列由一系列I图象组成，这些I图象间可夹有一或多个或根本没有P图象。这些I和P图象间可根本没有或夹有一或多个B图象，在后一种情况下它们是锚图象。
MB的变换和量化（quantization）
一种非常有用的图象压缩技术是变换编码。（参见N.S.JAYANT和P.NOLL的"digital    Coding    of    Waveforms，principles    and    Applications    to    Speech    and    video"，Englewood    Cliffs，N.J;Prentice-Hall，1984和A.G.TESCHER，"Transform    Image    Transmission    Techniques，pp113-115，New    York，NY：Academic    Press1979.）在MPEG-1和其他几种压缩标准中，分立余弦变换（DCT）是所适用的变换。（见K、R、RAO和P、YIP的“Discrete    Cosine    Transformation，Algorithms，Advantages，Applications"，San    Diego，CA：Academic    Press，1990，和N.AHMED、T.NATRAJAN和K、R、RAO的"Discrete    cosine    Transformation，"IEEE    Transations    on    Computers，pp.90-93，January    1974）比如，一辐I图象的压缩，是通过在MB内取亮度及色度象素（pixel）的块的DCT、量化该DCT的系数、并对其结果作Huffman编码而实现的。类似的原则也适用于P和B图象的压缩，只是在这些情况下，DCT可被用于一个MB中的象素块之间的差和它们的相应运动补偿预计。PCT把n×n个象素转换成n×n组变换系数。DCT在压缩变换中是非常有用的，因为它倾向于把象素块数据的能力集中到几个DCT系数之中，而且这些DCT系数几乎是相互独立的。象几个国际压缩标准，MPEG-1法采用了一个8×9的DCT块，这时应于MB内的块的大小。本发明的一个目的，是利用更大或更小的DCT，从而变量MB的大小，以支持有多重分辨率的图象。
下一个步骤是DCT系数的量化，这在MPEG-1法中是主要的失真源。用Cmm表示DCT系数的二维阵列中的元素，其中m和n可从0至7，则除了舍位和近似修正之外，量化是通过用WmnXQP来除各个DCT系数而实现的，其中Wmn是加权因子，而QP是量化参数。加权因子Wmn使较粗略的量化能被用于看上去较次要的系数。这些权可以有两组，一组用于I图象，另一组用于P和B图象。常规的权可在视频序列层中传送。量化参量QP是在MPEG-1中权衡质量和比特率的主要手段。应注意的是，在一幅图象中不同MB的QP可以不同。还应注意到，在本发明中，可选择为其他大小的DCT提供单独的加权短阵，或提供在数字上关联的、大小不同的加权知阵，以利于解码。
在量化之后，各MB的DCT系数信息得到组织并用Huff-man码进行编码。此步骤的细节对理解本发明并不是重要的，因此这里就不作说明了，但其进一步的情况可参见前面引用的HUFFMAN1952年的文章。
与运动补偿有关的宏观块特性
可以想见，有三种运动补偿可被用于MB：向前的、向后的、和内插的。编码器须选择这些模式中的一种。对某些MB，没有一种运动补偿能给出精确的预计。在这种情况下，可将此MB选出，以作内模式编码，就象对I图象那样。这样，根据运动补偿模式，MB可以是下列型式的：
＊向前的
＊向后的
＊内插的
＊内的
在P图象中，根据运动矢量的值，MB可以是带零运动矢量或非零运动矢量类型的。这些类型连同所需运动矢量数据与各MB一起被编码，作为开销（overhead）数据。例外是忽略的MB，如下面所要描述的。与变换帮量化有关的宏观块特性。
如前所述，QP参量可随不同的MB而改变，当这种改变出现时，用附加的MB类型表示应该使用新的QP。该新QP值本身与MB一同传送。
当时MB中的块作DCT及量化后，有些块会只含有零。这些块不用再作编码，并用所谓编码块图案码来标示。这种码代表额外的，开销项目。
最后，每当MB不含新信息时，都可将其略去。为传达这个信息，把一MB地址与各未省略MB一同传送。
在此应注意，MB们携带着一系列的特性，这些特性可通过使各编码MB包含开销数据而得到描述。本发明的一个目的，是在多种量度下保存MB们的身份，从而使经常项目只用包含一次，当然在某些参数（如运动矢量的精确度）的精细化方面除外。
因此，从前面对MPEG-1视频信号法的描述，应当理解到MPEG-1的目的，是规定于视频序列的压缩此特串的句法，并规定在单一的空间分辨率水平下解码该序列所用的方法。本发明所要解决的问题，是扩展MPEG-1的句法及解码方法规范，从而可以多种比例（scale）对数字视频序列进行解码和编码。为这些目的，有两种定标（scaling）类型：
1.分辨率定标：指产生一种比特率的能力，这种比特串可通过选择该比特串的不同部分而以多种空间分辨率进行解码。此特征在要把多个视频窗口显示地完全分辨率屏幕上的某些应用中是需要的。另外，它的有用之处还在于，它可使解码器能在没的复杂程度下使用，从而有可能用极简单的解码器来解译较低的空间分辨率。
2.比特串定标：指产生一种比特串的能力，该比特串中的某些编码比特可被省去，而有用的图象仍能产生。分辨率可定标算法也是比不用再作编码，并用所谓编码块图案码来标示。这种码代表额外的，开销项目。
最后，每当MB不含新信息时，都可将其略去。为传达这个信息，把一MB地址与各未省略MB一同传送。
在此应注意，MB们携带着一系列的特性，这些特性可通过使各编码MB包含开销数据而得到描述。本发明的一个目的，是在多种量度下保存MB们的身份，从而使经常项目只用包含一次，当然在某些参数（如运动矢量的精确度）的精细化方面除外。
因此，从前面对MPEG-1视频信号法的描述，应当理解到MPEG-1的目的，是规定于视频序列的压缩此特串的句法，并规定在单一的空间分辨率水平下解码该序列所用的方法。本发明所要解决的问题，是扩展MPEG-1的句法及解码方法规范，从而可以多种比例（scale）对数字视频序列进行解码和编码。为这些目的，有两种定标（scaling）类型：
1.分辨率定标：指产生一种比特率的能力，这种比特串可通过选择该比特串的不同部分而以多种空间分辨率进行解码。此特征在要把多个视频窗口显示地完全分辨率屏幕上的某些应用中是需要的。另外，它的有用之处还在于，它可使解码器能在没的复杂程度下使用，从而有可能用极简单的解码器来解译较低的空间分辨率。
2.比特串定标：指产生一种比特串的能力，该比特串中的某些编码比特可被省去，而有用的图象仍能产生。分辨率可定标算法也是比JPEG    N-260，February    1989。
＊“Setup    of    CCIR    601    multi-purpose    coding    scheme，”PTT    RESEARCH，the    Netherlands，ISO/IEC    JYC1/SC2/WG11    MPEG91/051，May    1991。
＊“Compatible    Coding    of    CCIR    601    Image：Predict    the    prediction    error，”PTT    RESEARCH，the    Netherlands，ISO/JTC1/SC2/WG11    MPEG.91/114，August    1991。
第一个文件描述了压缩多分辨率静止图象的分级方案，其中用低分辨率图象的DCT系数来预计较高分辨率的DCT系数。该方案与本发明的不同之处是DCT的大小总是相同的。另外，也没有考虑采用压缩被分成有共同特性的象素的块的影象的方案。第二个和第三个（尤其是第三个）文件描述的方案在应用于两层分辨率标度时与本发明相类似。这些文件中的该方案的目的，是利用具有两级分辨率标度，以产生与CCIR601格式和MPEG-1    SIR格式相兼容的图象。但没有试图将该技术扩展到在分辨率及比特串方面可定标的编码器。另外，在两个标度水平只未保持宏观块的特性，特别是在较高分辨率标度下的运动补偿矢量被定在16×8块的水平，而不是36×16的CCIR601宏观块水平。这意味着各分辨率标度并不都具有这一特性。另外，在如何处理其他特性上也未给出细节。
与前述先有技术系统和方法不同，本发明的目的在于提供一种用于压缩图象信号序列原灵活句法和编/解码方案，这些使得能在多种空间分辨率和比特串标度下对视频信号进行解码。本发明的另一目的，是提供用于以扩展MPEG-1标准的已有句法及方法的方式来支持多种标度原系统和算法。这种扩展是在只加上最少额外经常信息的情况下进行的。
本发明的再一个目的，是提供与本发明的系统和算法相符合的编码器和解码器实施方案。
本发明包括用于以产生图象数据的一种表示的方式处理一系列视频图象数据的系统和方法，此表示根据分辨率及比特串标度对数据进行多路。该表示可在所有分辨率及比特串标度下保存MPEG-1的基本宏观块（MB）结构的身份。图6显示MB身份是如何通过在四个分辨率水平上定标而得以保存的。保存此身份的重要性在于MB是与一系列特性相联系的，这些特性影响着包含在MMPEG-1压缩数据串中的开销数据量。通过在多种分辨率及比特串标度下保存MB身份，这些标度就能分享这些开销数据，从而只需将其在数据串中包含一次。
保存MB身份大大简化了除最高分辨率以外的所有分辨率标度下的运动测定矢量数据的寻出。对应于任何分辨率标度的运动矢量数据基本上都可通过适当降低最高分辨率运动矢量数据的标度而从其寻出。比如，1/4分辨率的x和y运动矢量分量是相应的完全分辨率分量的1/2。另一方面，完全分辨率运动矢量可通过适当提高较低分辨率运动矢量的标度而导出。在后一情况下，可把附加的修正加在较高的分辨率标度，以改善运动矢量数据的精度。
本发明的第二个方面是MB的编码方法也得到了保存。如前所述，在MPEG-1中，一个MB被分成六个8×8的亮度和色度信息块，每块均用8×8分之余弦度换（DCT）编码。在本技术中，各标定的MB也被分成六个亮度和色度信息块，各块用适当大小的DCT编码。这种对图6中R1/4分辨的MB，将用4×4大小的DCT。另外还应注意，这种4×4大小的DCT，作为一个例子，还可以多种方式从相应的8×8DCT系数导出，这样就不必直接执行4×4的DCT。
最后，本发明的第三个方面涉及产生以最终分辨率标度重建图象所需的DCT块数据的方法。在本发明的技术中，任何分辨率或比特串标度下的DCT系数数据，均由采用标度等级较低的DCT数据作为预测值的标准微分编码技术，进行了编码。
图1-4显示了MPEG-1数据串的视频压缩层中的压缩数据层，即图1描述了帧或图象组（GOP），图2描述了图象的宏观（MB）分割，图3描述了作为例子的一个帧的分割，图4描述了一宏观块的块分割。
图5显示了在MPEG-1标准中采用的一个GOP中的图象中的两级运动补偿。
图6显示如何根据本发明来把宏观块定标在各种标度。请注意也可把宏观块定标到高于该图中所示的完全分辨率的分辨率上。
图7显示了对应于图6中所示标度的DCT系数的分级预测。
图8是可解译图6和7的三或四个分辨率标度的解码器的框图。注意如输出只需一个分辨率标度时可略去若干个框。
图9是具有比特串可定标性的解码器的框图。
图10是带预测前的非量化的分级解码器的框图。
图11是可与本发明连用的灵活可定标视频压缩编码器方案的框图。
图12a是可用于图11的灵活可定标视频压缩编码器方案的变换单元一种型式。
图12b是可用于图11的灵活可定标视频压缩编码器方案的变换单元的另一种型式。
图13a是可用于图11的灵活可定标视频压缩编码方案的分级预测单元的一种型式。
图13b是可用于图11的灵活可定标视频压缩编码器方案的分级预测单元的另一种型式。
在给出本发明具体实施例原描述之前，应解释的是，在涉及数字视频信号的大量应用，对视频信号压缩算法提出了很大相互矛盾的要求，这些矛盾表现在标准的兼容、编码器和解码器方案的复杂性、功能、图象质量等方面。不能指望用一种编码法来满足所有这些相互矛盾的要求，但可要求一种灵活性可用来满足这些相互矛盾的要求中的许多个，同时仍保存不同设计方案之间的广泛兼容性。据信，例如，虽然不同的应用会要求不同的编码器方案，实现能解译所有符合该灵活设计有所有比特串的单一解码器是有可能的。此外，相信这种通用解码器应不会太复杂。本发明一个目的就是提供这样的通用解码器。
若干种应用将得益于上述的分辨率及比特串可定标性特性。本发明的方法和装置支持用8×8DCT分量分极编码分辨率和比特串定标。虽然也可采用其他大小的DCT，最佳实施例仍以8×8DCT开始，因为它为几种标准压缩算法所选用。
对分辨率定标，本发明可被用于提供多达四级的分辨率。最低的可能分辨率是通过编码8×8DCT块的左上分量的等值量来达到的，该分辨率是原分辨率的1/64。原分辨率的1/16的分辨率，可通过编码DCT块的左上2×2个系数的等值量而获得。编码左上4×4个系数的等值量则得到原分辨率1/4的分辨率。最后，编码所有8×8个系数将给出完全的影象分辨率。
给定一固定的分辨率，则本发明通过以同样的分辨率对多个分级层进行编码，来支持砒特串定标。但是，随着量化因子越来越精细，这些层将导致具有相同空间分辨率和改进的质量的影象。在此情况下，分级结构中的第一个和最低的层将得到粗略的量化编码，而较高的层将得到越来越精确的量化编码。
该方案是灵活的：可将一或多个这些分级层按分辨率或精度增加的顺序叠置起来，从而可用在某一级分辨率下重建的系数去预测下一级分辨率下的相应系数。除了最低的分级层，任何层的变换系数均相对其预测进行差分编码。例如，可选用一编码器来产生只包含完全以及1/16分辨率标度的数据的比特串。在这种情况下，1/16分辨率层的系数将被用来预测完全分辨率下的系数。或者，对比特串定标，某一层中的粗略量化的8×8DCT系数组可被用来预测下一层中的相应8×8系数组，其中后者的量化更为精确。
本发明的方案的基本特性，是MPEG-1的宏观块（MB）的身份在所有分辨率和精度层上均得到保存。图6显示了对四层分辨率编码时的这一特性。保存该身份的重要性在于，如在MPEG-1算法时提到的，MB是关系到一系列特性的，这些特性将决定包含在压缩数据串中的开销数据的量。保存MB身份使得能在所有分级层中重复使用这种开销数据。例如，对应于任何分辨率标度的运动矢量数据，可通过适当定标，从最高的分辨率运动矢量数据导出。
标定层的多路化
虽然不是本发明的内容，但也应注意的是，在传送和存贮之前，各标度的数据均要用编码装置作为多路处理。实施这种多路处理可有多种选择。例如，可按分辨率和精度从低到高的顺序，把各级的完整图象连接起来。应理解的是，该数据包含代表与所处理的影象的象元或象素有关的信息。这些信号是用适当电子装置处理的通常的电信号，这些装置可是摄象机、计算机、以及本领域人员完全熟悉和理解的辅助设备。
分辨率和比特串的标度的量化
在最佳实施例中，各分级层的量化采用MPEG-1中规定的相同的矩阵。这样，各分辨率标度的DCT数据均从完全分辨率8×8DCT矩阵导出。若MPEG-1权重量化矩阵用Q8表示，则较低分辨率DCT的权重矩阵的导出如下：
量化子    DCT    因子
Q11×1 1/8Q8
Q22×2 1/4Q8
Q44×4 1/2Q8
应注意，本发明也包括在各标度采用类属量化矩阵的情况，但此时解码装置将变得更复杂。
分辨率和比特串标度的分级预测
在最佳实施例，用分级层中的DCT系数来预测分级结构中下一层的相应系数。在图7中显示了一个例子，其中显示了4个分辨率层的分级结构。预测算法在此为适当定标的系数的简单适当定标的系数一对一映射。但是，应注意的是，这里又一次可在复杂性加大的情况下采用其他的预测算法。
对分级层速率控制的规定
在最佳实施例中MPEG-1的量化参数QP被用在分级结构的最低层。分级结构其他层的QP参数均参照此较低层QP来规定。例如，一高层的QP参数可被定为较低层QP的两倍。
可定标解码器实施方案
本发明包括具有可变数目的分级层的方案。然而，为说明方便起见，将描述两个三级解码器，它们体现了分辨率和比特串定标的特性。这种解码器装置，如图8所示，支持2×2（低）、4×4（中）、和8×8（高）分辨率标度。只有一个分辨率标度的解码器，可通过消去图8中与实现该分辨率标度无关的方框来实现。在对三个分辨率标度的压缩数据作熵解码和信号分离之后，对每一8×8块数据都可相应的2×2和4×4块数据，所有这些都是建立最终的8×8DCT系数矩阵所必需的。
在最佳实施例中，进行了如下步骤来得到最终的完全分辨率8×8DCT系数。在用2×2层原gp2量化参数进行非量化之后，低分辨率的2×2块被用作对相应4×4块的四个最低级系数的预测。将这些预测值与非量化的4×4系数相加，其中4×4系数的非量化是由qp4量化系数进行的。前述的求和结果类似地被用作相应8×8块的16个最低级系数的预测。这些预测值被加到非量化的8×8系数上，其中8×8系数的非量化是由qp8量化参数进行的。
注意DCT系数只是在重建最终的系数矩阵时电量化参数来非量化的。由权重量化矩阵进行的非量化蛤是在一旦达到最终分辨率时才需要。这种特征之所以可能，是因为在最佳实施例中，各标度下的权重矩阵是比例相关的，如上面所述。
现在可利用MPEG-1技术，包括运动补偿预测，用最后的8×8系数矩阵来重建完全分辨率图象。参见图8，可看出在完全分辨率水平下，16×16MCP单元表示在MB上运行的类属MPEG-1运动补偿预测单元;IDCT框是执行标准MPEG-18×8逆变换原单元;而Q8-1框表示用相应MPEG-1标重矩阵进行反量化的单元。
为在其他分辨率标度下进行视频图象解码，要进行类似原程度，只是把预测值与非量化系数数据相加的步骤终止于需要解码的分辨率上。用权重矩阵（用Q4-1和Q2-1表示）作非量化的操作，采用了最佳实施例的定标矩阵。逆变换操作是用适当大小的变换进行的。这样，要在1/4分辨率下解码，就要用4×4的逆DCT。适于在所支持的三个“定标的”分辨率下解码的一维DCT矩阵是：
DCT（1×1）＝1
DCT ( 2 × 2 ) = 1 2 1 1 1 - 1
                                                            ＊
DCT（1×1）和DCT（2×2）都是不难的，并易于实施，即使是在软件中。
应注意，其他分辨率正的MCP单元具有相同的运动矢量数据，MV，以在不同分辨率标度下产生用于标定的MB的运动补偿预测。应特别注意的是，当采用运动补偿技术时，应适当标定完全分辨矢量，以与解码器分辨率相匹配。这已在前面描述过。
在图9中显示了实施比特串定标的解码器。该解码器的运行与图8中的很相似，不同之处是只采用了8×8操作，以产生质量更高的输出图象。因此，可用单一硬件来在实体上构成不同的单元，而不同的分级层可共用这些单元。
最后，在图10中显示了另一种解码器实施例，它不是本发明的最佳实施例，但仍属于本发明。该解码器的运行方式与图8的相同。然而，它允许在各分级层采用任何的量化权重矩阵。它还构成从较低分级层预测DCT系数的类属装置。在此方面，P2被用来从2×2系数预测4×4系数，而P4被用来从4×4系数预测8×8。可采用的预测算法有多种，包括最佳实施例中的一对一映射。
编码器实施方案
与上述本发明解码器兼容的编码器的实施方案可有许多种，但作为例子，这里将只描述两种这类编码器，每种都是只为分辨率定标而设计的。在图11中显示了三分辨率层编码器的一般结构。该编码器分为三部分。第一部分为一变换单元，它接纲数字视频信号输入并输出用于三个分辨率层的DCT数据：d（8×8）、d（4×4）、和d（2×2）。第二部分是一分级预测单元，它接收变换单元的DCT输出，并输出所有分辨率层下的量化差分DCT数据：q（8×8）、q（4×4）。该输出在第三部分中被多路化并得到熵编码，以产生最终的压缩视频信号。该预测单元还产生重建的DCT数据：b（8×8）、b（4×4）、和b（2×2），该数据被反馈到变换单元，以完成通常的混合变换编码回路。
图12a显示了变换单元的一个简单实施方案。在此实施方案中，8×8层包含也是MPEG-1编码器一部分并且更一般地是运动补偿混合变换编码器的一部分的元素。上支路包括：产生运动补偿预测差的加法器（∑）;一向前的8×8DCT变换，以产生所述预测差原8×8变换系数;用于由权重矩阵（Q8）进行量化的单元。输出是一组部分量化的DCT系数d（8×8）。返回或反馈支路接收一组部分重组DCT系数b（8×8），并随后用下列单元对其进行处理：一用于权重矩阵（Q8-1）的非量化器和重建预测差原逆DCT变换器（IDCT8×8）;一加法器，用于把重建的预测差与运动补偿预测值相加，从而重建最初的图象数据;用于产生下一图象的预测的运动补偿预测（MCP）单元。在MPEG-1中，该MCP单元在16×16MB上运动（如图所示），但也可采用其他尺寸的块。大此变换单元实施方案中，d（2×2）和d（4×4）系数是从相应的d（8×8）系数中简单地摘取出来。应注意的是，也可通过把其他处理或加权算法作用到8×8系数上来导出d（2×2）和d（4×4）系数。
注意由于在较低分辨率标度下没有反馈环路，在这些分辨率标度此编码器将产生量化和运动补偿误差的累积。但这种误差在开始新的图象组时将被自动复位到零。虽然这种误差累积限制了较低分辨率层的质量，但编码器的简化使这一途经仍具吸引力。特别地，如果所需的仅是比特串定标，则这一途径就可满足全部需要。
图12b中显示了变换单元的另一实施方案。此方案与图12a中所示的类似，但d（2×2）和d（4×4）是由类似但完全独立并在各自分辨率标度运行的环路产生的。在此情况下H4和H2单元被用来在每种情况下把输入视频信号的分辨率滤波并降低1/4。以此方式，各层均接收具有近似分辨率的输入。所有操作，如DCT、量化、和MCP，均按该层的分辨率来定标。
在复杂性增大的情况下，此方案通常此图12a的单元能产生质量更好的图象。在此情况下，编码误差的织累将不超过一个图象周期。但应注意，16×16运动估计的结果可以是所有分辨率环路所共有的，因为在本发明中，运动矢量所有标度下的MB所共有的一个特性。此实施方案更适合于那些低分辨率图象的质量较为重要的应用。
图13a显示了分级预测单元的一个实施方案。首先，在加法器中产生4×4和8×8层的分级预测差。随后，所有层均由各自的量化参数量化，其结果作为q（2×2）、q（4×4）、及q（8×8）输出。这些结果还由相应的量化参数进行反量化并随后在其他两个加法器中被加起来，以产生部分重建的d（2×2）、b（4×4）、及b（8×8）数据，这些数据被馈回到变换单元。图13b显示了可用作分级预测单元另一种实施方案的同样元件的重新设置。
应理解，本领域原技术人员可设计出其他符合本发明解码方法和方案原编码方案。

Claims (6)

1、用于产生一种压缩视频数据表示的方法，该视频数据表面能在解除压缩后以多种图象分辨率和/或质量的分极标度显示在图象屏幕上，其特征在于下列步骤：
提供表示空间块单元即宏观块的视频频图象元素数据信号，所述宏观块与压缩图象数据的信息及包括编码决定、运动补偿矢量、及量化参量的一组编码特性有关；
为每一所述宏观块在所述多个标度的每隔一个标度下产生一相应的定标宏观块，从而使所述定标宏观块也具有相同的编码特性
2、如权利要求1的方法，其特征在于与给定宏观块相联系所述压缩图象数据对应于适当标度的量化变换系数。
3、如权利要求1的方法，其特征在于关于所述特性组的所述信息使所述特性在解除对所述有关信息的压缩时能得到适当修正以符合所述定标宏观块的标度。
4、如权利要求1的方法，其特征在于选定压缩止标标度并只在该目标标度下进行逆变换操作的步骤，所述逆变换作用在最终变换系数数据上，止标标度宏观块的所述最终变换系数数据是从所有较低标度的相应定标宏观块的变换系数及止标标度的变换系数数据导出的。
5、如权利要求1的方法，其特征在于所述产生步骤包括把关于分辨率标度的可变数目的信息与比特串标度的可变数目相混合。
6、如权利要求1的方法，其特征在于当某些定标MB被发现是错误的时候将其舍去的步骤。
CN92111430A 1991-10-31 1992-10-09 具有多分辨率特征的运动视频信号压缩系统 Expired - Lifetime CN1036303C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/786,233 1991-10-31
US07/786,233 US5414469A (en) 1991-10-31 1991-10-31 Motion video compression system with multiresolution features

Publications (2)

Publication Number Publication Date
CN1072051A true CN1072051A (zh) 1993-05-12
CN1036303C CN1036303C (zh) 1997-10-29

Family

ID=25137996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN92111430A Expired - Lifetime CN1036303C (zh) 1991-10-31 1992-10-09 具有多分辨率特征的运动视频信号压缩系统

Country Status (8)

Country Link
US (1) US5414469A (zh)
EP (1) EP0539833B1 (zh)
JP (1) JP2935934B2 (zh)
KR (1) KR950006772B1 (zh)
CN (1) CN1036303C (zh)
DE (1) DE69226749T2 (zh)
SG (1) SG43716A1 (zh)
TW (1) TW278299B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678468B2 (en) 1996-10-15 2004-01-13 Matsushita Electric Industrial Co., Ltd. Video and audio coding method, coding apparatus, and coding program recording medium
WO2019242490A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649029A (en) * 1991-03-15 1997-07-15 Galbi; David E. MPEG audio/video decoder
AU694096B2 (en) * 1992-11-16 1998-07-16 Multimedia Systems Corporation Method for the production and transmission of enhanced interactive multimedia information
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
FR2700037B1 (fr) * 1992-12-24 1995-01-27 Thomson Csf Dispositif d'estimation hiérarchique du mouvement de séquence d'images.
JPH06233277A (ja) * 1993-02-05 1994-08-19 Sharp Corp 画像符号化装置
US5585852A (en) * 1993-06-16 1996-12-17 Intel Corporation Processing video signals for scalable video playback using independently encoded component-plane bands
US5638068A (en) * 1993-11-24 1997-06-10 Intel Corporation Processing images using two-dimensional forward transforms
EP0661885A1 (en) * 1993-12-28 1995-07-05 Canon Kabushiki Kaisha Image processing method and apparatus for converting between data coded in different formats
US5729484A (en) * 1994-02-28 1998-03-17 Intel Corporation Processes, apparatuses, and systems of encoding and decoding signals using transforms
US5557538A (en) * 1994-05-18 1996-09-17 Zoran Microelectronics Ltd. MPEG decoder
JP3089160B2 (ja) * 1994-05-20 2000-09-18 シャープ株式会社 ディジタル記録再生装置
EP1701552B1 (en) 1994-06-08 2008-07-30 Matsushita Electric Industrial Co., Ltd. Image conversion apparatus
US5512953A (en) * 1994-08-09 1996-04-30 At&T Corp. Method and apparatus for conversion of compressed bit stream representation of video signal
US5708473A (en) * 1994-08-30 1998-01-13 Hughes Aircraft Company Two stage video film compression method and system
JP3172643B2 (ja) * 1994-11-14 2001-06-04 シャープ株式会社 ディジタル記録再生装置
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
US5872874A (en) * 1995-04-26 1999-02-16 Hewlett-Packard Company Method and apparatus for scaling down images that are provided in a compressed data format
US5914712A (en) * 1995-05-08 1999-06-22 Video Jukebox Network, Inc. Interactive video system
US6480664B1 (en) * 1995-06-07 2002-11-12 Hou-Chun Ting Trick mode VTR which generates trick play data from a stream of images containing intra-pictures and predictive pictures and selects specific DCT coefficients for intra-pictures
AU713904B2 (en) * 1995-06-29 1999-12-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
US5742350A (en) * 1995-06-29 1998-04-21 Motorola, Inc. Video system performing non-uniform interpolation of color space signals and method of using same
US5717466A (en) * 1995-06-29 1998-02-10 Motorola, Inc. Circuit for interpolating scan lines of a video signal and method of using same
US5729691A (en) * 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
US6571019B1 (en) * 1995-10-26 2003-05-27 Hyundai Curitel, Inc Apparatus and method of encoding/decoding a coded block pattern
WO1997016926A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence
US5872572A (en) * 1995-12-08 1999-02-16 International Business Machines Corporation Method and apparatus for generating non-uniform resolution image data
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6049362A (en) * 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
US5748240A (en) * 1996-03-15 1998-05-05 International Business Machines Corporation Optimal array addressing control structure comprising an I-frame only video encoder and a frame difference unit which includes an address counter for addressing memory addresses
US6571016B1 (en) * 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6404923B1 (en) 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US5835151A (en) * 1996-05-15 1998-11-10 Mitsubishi Electric Information Technology Center America Method and apparatus for down-converting a digital signal
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
US6215821B1 (en) * 1996-08-07 2001-04-10 Lucent Technologies, Inc. Communication system using an intersource coding technique
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
WO1998034395A2 (en) * 1997-02-04 1998-08-06 Media 100, Inc. Compression/decompression of stream of video data
JPH10224794A (ja) * 1997-02-10 1998-08-21 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像符号化データの階層化方法および装置
US6584226B1 (en) 1997-03-14 2003-06-24 Microsoft Corporation Method and apparatus for implementing motion estimation in video compression
US6639945B2 (en) 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US5903673A (en) * 1997-03-14 1999-05-11 Microsoft Corporation Digital video signal encoder and encoding method
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
JPH10257502A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
EP0914007B9 (en) * 1997-04-01 2009-09-09 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
US6067322A (en) 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP3596728B2 (ja) * 1997-07-09 2004-12-02 株式会社ハイニックスセミコンダクター スケーラブル二進映像符号化／復号化方法及び装置
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6343098B1 (en) * 1998-02-26 2002-01-29 Lucent Technologies Inc. Efficient rate control for multi-resolution video encoding
US6104441A (en) * 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
JP3709092B2 (ja) * 1999-03-09 2005-10-19 ペンタックス株式会社 画像圧縮装置および画像伸張装置
JP3857829B2 (ja) * 1999-03-09 2006-12-13 ペンタックス株式会社 画像圧縮装置および画像伸張装置
JP2000270322A (ja) 1999-03-17 2000-09-29 Fujitsu Ltd 動画像符号化装置及び動画像符号化方法
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US7885340B2 (en) * 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
US6421466B1 (en) 1999-09-29 2002-07-16 Neomagic Corp. Hierarchical motion estimation with levels of varying bit width for digital video compression
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US6621865B1 (en) 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
US8776153B2 (en) * 2001-04-25 2014-07-08 At&T Intellectual Property I, Lp Method and system for transferring content to a networked unit
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP2003037842A (ja) 2001-07-26 2003-02-07 Monolith Co Ltd 画像符号化方法、復号方法および画像符号化装置、復号装置
DE10200901B4 (de) * 2001-09-14 2004-09-16 Siemens Ag Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
US7099513B2 (en) * 2002-06-18 2006-08-29 Pts Corporation Bit allocation process for multi-stage image compression
JP3704107B2 (ja) * 2002-07-30 2005-10-05 株式会社東芝 映像データ再生装置及び映像データ再生方法
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US7822123B2 (en) * 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7454068B2 (en) * 2003-11-12 2008-11-18 International Business Machines Corporation System and method for providing black white image compression
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7653265B2 (en) * 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage
US7308159B2 (en) * 2004-01-16 2007-12-11 Enuclia Semiconductor, Inc. Image processing system and method with dynamically controlled pixel processing
US9292904B2 (en) * 2004-01-16 2016-03-22 Nvidia Corporation Video image processing with parallel processing
US7760968B2 (en) * 2004-01-16 2010-07-20 Nvidia Corporation Video image processing with processing time allocation
US7515758B2 (en) * 2004-02-03 2009-04-07 International Business Machines Corporation Black white image compression having print density control
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
EP1816870A4 (en) 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
US20060152627A1 (en) * 2005-01-13 2006-07-13 Ruggiero Carl J Video processing system and method with dynamic tag architecture
US7853044B2 (en) * 2005-01-13 2010-12-14 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7738740B2 (en) * 2005-01-13 2010-06-15 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7869666B2 (en) 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7830552B2 (en) * 2005-04-15 2010-11-09 International Business Machines Corporation Black white image scaling having print density control and polarity detection
US8761259B2 (en) * 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
EP1972149B1 (en) * 2006-01-10 2017-12-13 Thomson Licensing DTV Methods and apparatus for parallel implementations of 4:4:4 coding
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US8077775B2 (en) * 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化
US8054886B2 (en) 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP5151919B2 (ja) * 2008-11-11 2013-02-27 ソニー株式会社 画像復号化装置と画像復号化方法およびコンピュータ・プログラム
KR101648455B1 (ko) * 2009-04-07 2016-08-16 엘지전자 주식회사 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US20110002554A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by residual decimation
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
FR2990814B1 (fr) * 2012-05-18 2014-05-16 Assistance Tech Et Etude De Materiels Electroniques Procede et systeme de traitement pour generer au moins deux flux video compresses
KR20140071809A (ko) * 2012-12-04 2014-06-12 삼성전자주식회사 비디오 데이터의 처리 방법 및 장치
JP5812028B2 (ja) * 2013-03-08 2015-11-11 ソニー株式会社 映像処理装置および映像処理方法
US10095759B1 (en) * 2014-01-27 2018-10-09 Microstrategy Incorporated Data engine integration and data refinement
US11386085B2 (en) 2014-01-27 2022-07-12 Microstrategy Incorporated Deriving metrics from queries
US10255320B1 (en) 2014-01-27 2019-04-09 Microstrategy Incorporated Search integration
US9952894B1 (en) 2014-01-27 2018-04-24 Microstrategy Incorporated Parallel query processing
US11921715B2 (en) 2014-01-27 2024-03-05 Microstrategy Incorporated Search integration
US10846318B1 (en) 2017-04-18 2020-11-24 Microstrategy Incorporated Natural language visualizations
JP6766203B2 (ja) * 2018-03-30 2020-10-07 香港商科科串流股▲フン▼有限公司ＫＫＳｔｒｅａｍ Ｌｉｍｉｔｅｄ ビデオ最適化処理システム及び方法
US11195050B2 (en) 2019-02-05 2021-12-07 Microstrategy Incorporated Machine learning to generate and evaluate visualizations
US11614970B2 (en) 2019-12-06 2023-03-28 Microstrategy Incorporated High-throughput parallel data transmission
US11567965B2 (en) 2020-01-23 2023-01-31 Microstrategy Incorporated Enhanced preparation and integration of data sets

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4222076A (en) * 1978-09-15 1980-09-09 Bell Telephone Laboratories, Incorporated Progressive image transmission
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
JPS60148279A (ja) * 1983-12-28 1985-08-05 インタ−ナショナル　ビジネス　マシ−ンズ　コ−ポレ−ション 画像処理システム
US4712140A (en) * 1983-12-30 1987-12-08 International Business Machines Corporation Image reduction method
GB8429879D0 (en) * 1984-11-27 1985-01-03 Rca Corp Signal processing apparatus
US4709394A (en) * 1985-08-23 1987-11-24 Rca Corporation Multiplexed real-time pyramid signal processing system
US4858026A (en) * 1986-04-14 1989-08-15 U.S. Philips Corporation Image display
GB2189106B (en) * 1986-04-14 1990-02-14 Philips Electronic Associated Image display
EP0280313B1 (en) * 1987-02-25 1994-05-18 Fuji Photo Film Co., Ltd. Method of compressing image signals by vector quantization
US4817182A (en) * 1987-05-04 1989-03-28 General Electric Company Truncated subband coding of images
US4858017A (en) * 1988-01-22 1989-08-15 The Trustees Of Columbia University In The City Of New York System and method for hierarchal image encoding and decoding
US5086487A (en) * 1988-11-24 1992-02-04 Canon Kabushiki Kaisha Method and apparatus for image encoding in which reference pixels for predictive encoding can be selected based on image size
FR2643531B1 (fr) * 1989-02-21 1996-04-26 Thomson Csf Procede et dispositif de compression de l'information destine au decodage compatible d'une famille de signaux de television de resolutions croissantes
JP2841453B2 (ja) * 1989-04-14 1998-12-24 ソニー株式会社 画像伝送装置及び画像伝送方法並びに画像復号装置及び画像受信方法
US5060285A (en) * 1989-05-19 1991-10-22 Gte Laboratories Incorporated Hierarchical variable block size address-vector quantization using inter-block correlation
US5031053A (en) * 1989-06-01 1991-07-09 At&T Bell Laboratories Efficient encoding/decoding in the decomposition and recomposition of a high resolution image utilizing pixel clusters
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
US5048111A (en) * 1989-11-06 1991-09-10 Eastman Kodak Company Hybrid subband-based hierarchical storage and display method for high resolution digital images in a multiuse environment
FR2661062A2 (fr) * 1989-11-20 1991-10-18 Thomson Csf Procede et dispositif de codage et de decodage compatible d'images de television de resolutions differentes.
US5050230A (en) * 1989-11-29 1991-09-17 Eastman Kodak Company Hybrid residual-based hierarchical storage and display method for high resolution digital images in a multiuse environment
JPH03252287A (ja) * 1990-02-28 1991-11-11 Victor Co Of Japan Ltd 動画像圧縮装置
US5043808A (en) * 1990-03-19 1991-08-27 At&T Bell Laboratories High definition television arrangement employing motion compensated prediction error signals
FR2660139B1 (fr) * 1990-03-23 1995-08-25 France Etat Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants.
US5166987A (en) * 1990-04-04 1992-11-24 Sony Corporation Encoding apparatus with two stages of data compression
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
US5134478A (en) * 1991-02-19 1992-07-28 Intel Corporation Method and apparatus for compressing and decompressing a digital video signal using predicted and error images
US5218435A (en) * 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
US5235420A (en) * 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678468B2 (en) 1996-10-15 2004-01-13 Matsushita Electric Industrial Co., Ltd. Video and audio coding method, coding apparatus, and coding program recording medium
WO2019242490A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US11323739B2 (en) 2018-06-20 2022-05-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding
US12041264B2 (en) 2018-06-20 2024-07-16 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding

Also Published As

Publication number Publication date
EP0539833A2 (en) 1993-05-05
SG43716A1 (en) 1997-11-14
DE69226749D1 (de) 1998-10-01
EP0539833A3 (zh) 1994-04-06
JP2935934B2 (ja) 1999-08-16
TW278299B (zh) 1996-06-11
JPH05236447A (ja) 1993-09-10
DE69226749T2 (de) 1999-04-15
CN1036303C (zh) 1997-10-29
KR950006772B1 (ko) 1995-06-22
US5414469A (en) 1995-05-09
EP0539833B1 (en) 1998-08-26
KR930009416A (ko) 1993-05-22

Similar Documents

Publication Publication Date Title
CN1036303C (zh) 具有多分辨率特征的运动视频信号压缩系统
EP0833517B1 (en) Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
Marcellin et al. An overview of JPEG-2000
EP1529401B1 (en) System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
Aravind et al. Image and video coding standards
US7469011B2 (en) Escape mode code resizing for fields and slices
KR100253931B1 (ko) 디지탈 영상 시퀀스의 디코딩 방법 및 장치
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
US20040136457A1 (en) Method and system for supercompression of compressed digital video
CN1684517A (zh) 用于支持运动可缩放性的方法和设备
KR20130105912A (ko) 전이 영역 내의 샘플들의 식별
KR101066051B1 (ko) 다중 디스크립션 인코딩용 장치 및 방법
KR100238622B1 (ko) 새로운 적응형 양자화기를 이용한 동영상 압축 시스템 및 방법
US9077960B2 (en) Non-zero coefficient block pattern coding
Morrison Video coding standards for multimedia: JPEG, H. 261, MPEG
US6377627B1 (en) Method and apparatus for decoding MPEG video data
JP2021510943A (ja) 高周波ゼロイングに基づいて変換係数スキャン順序を決定する方法及び装置
KR960013232B1 (ko) 비트 고정을 위한 영상 압축 부호화 및 복호화 방식
Lee Standard coding for mpeg-1, mpeg-2 and advanced coding for mpeg-4
JP2003163931A (ja) 画像圧縮装置及び画像復号装置
Shum et al. Image Compression Techniques

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C15 Extension of patent right duration from 15 to 20 years for appl. with date before 31.12.1992 and still valid on 11.12.2001 (patent law change 1993)
OR01 Other related matters
C17 Cessation of patent right
CX01 Expiry of patent term

Expiration termination date: 20121009

Granted publication date: 19971029