[go: up one dir, main page]

CN101232615A - 用于在视频编码中随机存取和逐步更新图像的方法 - Google Patents

用于在视频编码中随机存取和逐步更新图像的方法 Download PDF

Info

Publication number
CN101232615A
CN101232615A CNA2008100031856A CN200810003185A CN101232615A CN 101232615 A CN101232615 A CN 101232615A CN A2008100031856 A CNA2008100031856 A CN A2008100031856A CN 200810003185 A CN200810003185 A CN 200810003185A CN 101232615 A CN101232615 A CN 101232615A
Authority
CN
China
Prior art keywords
picture
coded
indication
intra
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008100031856A
Other languages
English (en)
Inventor
M·M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=30115983&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101232615(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101232615A publication Critical patent/CN101232615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种用于在视频编码中随机存取和逐步更新图像的方法。逐步解码器更新是通过使用隔离区域、灵活的宏块顺序和在切片边界关闭环路滤波器来实现的。还提供一种用于随机存取操作的可靠检测和引导帧及开路解码器更新(ODR)图像的可靠信令的机制。

Description

用于在视频编码中随机存取和逐步更新图像的方法
相关申请的参考
本申请是国家申请号为03816727.1的申请的分案申请，该申请的国际申请日是2003年7月16日，国际申请号是PCT/US2003/022262，发明名称是“AMETHODFOR RANDOM ACCESS AND GRADUAL PICTURE REFRESH IN VIDEOCODING(用于在视频编码中随机存取和逐步更新图像的方法)”。
相关申请的交叉参考
本专利申请要求申请号为60396200，申请日为2002年4月16的申请的优先权。
技术领域
本发明主要涉及对视频图像的随机存取和逐步更新。特别地，本发明涉及一种在根据ITU-T H.264|ISO/IEC MPEG-4第十部分视频编码标准编码的视频序列中的视频图像的随机存取和逐步更新的方法。
背景技术
视频序列由一系列的静止图像或帧组成。视频压缩方法基于减少视频序列的冗余的以及与感知上不相关的部分。视频序列中的冗余可以分类为频谱、空间和时间冗余。频谱冗余涉及到同一图像中不同颜色成分之间的相似性，而空间冗余是由于图像中的相邻象素之间的相似性造成的。时间冗余是因为在先前图像中出现的物体在当前图像中很可能还会出现而存在的。压缩可以通过利用时间冗余和根据另一个被称为锚定或参考图像的图像来预测当前图像来完成。实际上，这是通过产生一个描述在当前图像和先前图像之间的运动的运动补偿数据来完成的。
视频压缩方法典型地区分利用时间冗余减少的图像和那些不利用时间冗余减少的图像。不利用时间冗余减少方法的压缩图像通常被称为INTRA(或I)帧或图像。在时间上预测的图像通常是根据在当前图像之前出现的图像向前预测出的，并且被称为INTER或P帧。在INTER帧的情况下，预测的运动补偿图像很难足够精确，因而空间压缩的预测误差帧会伴随着每一个INTER帧。INTER图像可以包括INTRA编码区域。
很多视频压缩方案也使用时间上双向预测帧，该帧通常被称为B图像或B帧。B图像被插入到I和/或P帧的锚定图像对之间，并根据其中的一个或两个锚定图像来预测。B图像通常产生与向前预测的INTER编码的P图像相比增强的压缩。B图像不当作固定器(anchor)图像使用，也就是，其它的图像不根据它们来预测。因此，它们可以被丢弃(有意地或无意地)，而不会影响将来的图像的图像质量。同时，与P图像比较，B图像可以改善压缩性能，它们的产生需要更大的计算复杂性和存储器使用，并且它们还会引入附加的延时。对于例如视频流的非实时应用来说这可能不是一个问题，但是对于例如视频会议的实时应用来说就会引起问题。
因而，如上面所阐述的，一个压缩的视频剪辑典型地由图像序列组成，该图像序列被粗略地分类为在时间上独立的INTRA图像，在时间上被不同编码的INTER图像和(可能的)双向预测B图像。由于INTRA编码图像的压缩效率通常低于INTER编码图像的压缩效率，所以使用INTRA图像比较节约，特别是在低比特率应用中。然而，因为INTRA编码图像可以独立于视频序列中的其它图像而被解码，所以每一个INTRA图像代表一个进入编码的视频序列的入口(或者随机存取点)，也就是一个解码的起始点。因而，在编码的视频序列中包含一定数量的INTRA编码图像是有利的，例如每隔一定间隔，以便允许随机存取该序列。此外，一个典型的视频序列包含很多的场景和连续镜头。由于图像内容在一个场景和另一个场景之间可能有很值得注意的区别，因此将每一个新场景的第一图像以INTRA格式进行编码也是有利的。这样，即使没有其它的INTRA编码帧包含在编码序列中，至少每一个场景中的第一帧提供了一个随机存取点。编码视频序列中的每一组可独立解码的图像都以INTRA编码帧(构成随机存取点)开始并且以紧接在下一个INTRA编码帧之前的帧结束，它通常被称为图像组或简写为GOP。
某些随机存取操作是由终端用户产生的(例如，视频序列的观众)，例如由于用户在流传输的视频文件中搜索新位置。在这种情况下，解码器很可能得到用户产生的随机存取操作的指示并且可以相应地执行。但是，在一些情况下，随机存取操作不是由终端用户控制的。例如，在编码数据流中，拼接或编辑过的数据流可能包括一些具有与用户实施的随机存取操作相似的特点的“切入口(cut)”。但是，在后面的这种情况下，解码器就可能接收不到这样的切入口已经产生的指示，并且可能不能正确地解码序列中随后的图像。因此为视频解码器提供一种用于检测编码视频流中的随机存取操作或切入口的可靠的方法是很重要的。
现代视频编码标准定义了一个自给自足的视频比特流的语法。在撰写本文时最流行的标准是国际电信联盟ITU-T建议H.263，“用于低比特率通信的视频编码(Video coding for low bit rate communication)”，1998年2月；国际标准化组织/国际电子工程委员会ISO/IEC 14496-2，“音视频对象的普通编码第二部分：视频(Generic Coding of Audio-Visual Object.Part2：Visual)”，1999年(称为MPEG-4)；以及ITU-T建议H.262(ISO/IEC 13818-2)(称为MPEG-2)。这些标准为比特流以及相应地为图像序列及图像定义了一个级别。此外的视频编码标准仍在发展中。特别是，对H.263的长期接任者的研究的标准化努力，如已知的ITU-T H.264|ISO/IECMPEG-4第十部分正在被称为ISO/IEC MPEG(运动图像专家组)的联合视频组(JVT)和ITU-T VCEG(视频编码专家组)的标准化主体的联合支持下进行。这些标准的一些特殊方面和特别是与本发明相关的H.264视频编码标准的那些特性在下面将被描述。
附图1表示了一个传统的编码图像序列，包括INTRA编码的I图像，INTER编码的P图像和双向编码的B图像，并被排列为具有形式IB B P...等等的模式。方框表明以显示顺序排列的帧，箭头表明运动补偿，方框中的字母表明帧的类型，并且方框中的数值是帧的编号(如根据H.264视频编码标准指定的)，表明帧的编码/解码顺序。
术语“引导帧”或“引导图像”被用于描述任何在随机地存取先前的I帧之后不能被正确地解码的帧或图像，并且它们的显示时间是在I帧的显示时间之前(附图1中的B帧B17是引导帧的例子)。在该描述中，术语“开路解码器更新”(ODR)图像被用于标识一个具有引导图像的可随机存取的帧。
与附图1所示的相类似的编码帧的模式是普遍的，并且使得对ODR图像的随机存取尽可能地简单是希望得到的。
已经存在很多可供选择的办法来存取ODR图像。一个典型的解决方案只是简单地丢弃一些引导B图像。这是一种在不允许参考图像选择及解码和显示顺序的去耦的视频编码标准中典型采用的方法，其中I图像始终是一个随机存取点。
该问题的另一个解决方案是将紧随在一个I帧(按照编码/解码顺序)后面的所有未存储的帧视为引导帧。当该方法在附图1所描述的简单的情况下工作时，它缺少处理存储的引导帧的性能。附图2示出了一个编码方案的例子，其中在可随机存取的I帧之前具有一个存储的引导帧。在该例子中，刚才描述的引导帧的简单的隐藏标识符并没有正确地工作。
另外一个简明的想法是将所有在I帧(按照编码/解码顺序)之后出现的B图像视为引导图像。但是，引导图像并不是始终是B图像。例如，由MiskaM.Hannuksela写的科学论文，题目为：“Simple Packet Loss Recovery Method for VideoStreaming”，Proceedings of Packet Video Workshop 2001，Kyongju，韩国，2001年4月30日-5月1日以及ITU-T SG16/Q15文献Q15-K38提出一种用于改善在视频编码中的误差弹性(error resiliency)的INTRA帧延迟方法，该方法的采用使得这个用于标识引导帧的简单方法不可行。附图3示出了一个被延迟了一个存储的帧间隔的INTRA帧的例子。因此，有一个按照显示顺序先于INTRA帧的P帧(P17)。
JVT文献JVT-B063提出一帧可以与预置延迟相关联(在视频比特流中提供作为补充增强信息)，其用于指示在从一个特定的帧开始解码之后用于按照显示顺序的所有连续的帧在内容上被完全校正所占用的时间。在存取ODR图像时，可以使用该预置延迟SEI信息。但是，有三个缺点伴随着这种方法。第一，用于处理SEI信息的解码器处理是非标准化的，也就是它不是H.264标准的命令部分并且因而不必由所有的根据H.264实现的解码器支持。因此，可以有一个服从标准的不知道SEI的解码器来随机存取服从标准的流，但是由于它缺少用于引导图像的参考帧而不能解码该数据流。第二，解码器可能会不必要地解码一些数据，如存储的引导帧，因为它并不知道它们对更新操作来说是无用的。第三，参考缺少的帧的数量的解码器操作变得更复杂。因此，该方法作为ODR图像随机存取的解决方案不是优选的。
H264视频编码标准(如在JVT委员会草案中指定的)包括“瞬时解码器更新”和“独立GOP”的概念。术语“瞬时解码器更新”涉及到一种“整洁”的随机存取方法，其中在解码过程中，不设计先于INTRA帧的数据。一个独立GOP是一个可以独立于先前或以后的图像被解码的图像组。一个“瞬时解码器更新”(IDR)图像发出一个新的独立GOP开始的信号。因此，根据H264，一个IDR图像可以当作一个随机存取点使用。(详情参见文献JVT-B041，它分析了瞬时解码器更新的必要条件，和JVT-C083，其提出了该特性的语法，语义，和标准文本。)
建议包含在H.264视频编码标准中的另一个概念是“逐步解码器更新”(GDR)。它被称为“不整洁”的随机存取，其中涉及先前编码的但可能没有接收到的数据，并且正确的图像内容根据多于一幅编码图像被逐步地恢复。GDR允许使用任何一种帧的随机存取功能。一种用于GDR的信令机制首先在JVT文献JVT-B063中提出(并且随后在JVT出版文献JVT-B109中)。JVT-B063断定主要有两个基本的可供选择的办法来预置GDR解码处理，“最佳效果解码”和“保险解码”。在最佳效果解码中，所有不可用的帧都被预置为中间等级灰度，开始所有帧的解码，但仅仅在确定的指示条件满足之后才认为它们在内容上完全正确。在“保险解码”中解码器从一个I帧开始解码，然后在试图解码任何更多的非I帧之前等待，以确保剩余的帧不包含对不可用的数据的参考。该“最佳成果”可供选择的方法在JVT-B063中是首选的。
关于逐步解码器更新的编码的问题在JVT文献JVT-C074中研究。该文献断定GDR不可能实现使用在当时有效的JVT H.264编码解码器版本，并提出一种称为“隔离区域技术”(IREG)的方法应被用于GDR编码。
该隔离区域技术是在JVT文献JVT-C072中提出的。该隔离区域是宏块的一个可靠区域，用于定义边界的形状，环路滤波在穿过该边界时应被关闭以及空间图像内预测被限制于该边界。参考帧中的隔离区域外面的时间预测也应被禁止。在大量连续的编码图像期间，隔离区域的形状可以是发展的。在图像组(GOP)中，隔离区域的形状取决于先前图像中的相应的隔离区域的形状，并且该图像组包括具有在未进行时间预测的情况下编码的原始隔离区域的图像，这种图象组被称为“具有进化的隔离区域的图像组”(IREG GOP)。相应的周期(根据编码参考帧)被称为“进化的隔离区域周期”或者“IREG周期”。
如上面所述，IREG提供了一种实实现GDR功能的极好的方法并且可以被用于提供误差弹性和恢复(参见JVT文献JVT-C073)，感兴趣区域编码和优先化，画中画功能，和遮掩的视频场景转变的编码(参见文献JVT-C075)。基于IREG的逐步随机存取，能实现接收机的媒体信道的转换，服务器的比特流转换，并且还允许新来者在多点传输流应用中很容易进行存取。
改进的隔离区域的误差弹性特性和逐步解码器更新特性可以同时应用。因此，当一个编码器使用隔离区域来完成逐步解码器更新时，不用附加的比特率和复杂性的代价可以“免费”得到改进的误差弹性。
包含在H.264视频编码标准中的另外一个概念是“灵活的宏块顺序”(FMO)。FMO首先在JVT文献JVT-C089中提出，随后被包含在H.264标准的JVT委员会草案中。通过将图像分割为切片组，FMO允许以一种不同于典型的光栅扫描顺序的顺序编码宏块。由该机制实现的主要应用是误差弹性方法、例如离散切片(slice)(参见JVT文献JVT-C090)和切片交织(如在JVT文献JVT-C091中提出的)的执行。由于它的灵活性，具有灵活的宏块顺序的其它应用也是可以的。JVT文献JVT-D095提出了一些对FMO的增强。
在文献JVT-C117中提出了在切片边界上关闭环路滤波器来改善误差弹性和支持理想的GDR。该环路滤波器的限制具有两个另外的优点：第一，提供了一种关于FMO技术中固有的并行处理问题的很好的解决方案，并且第二，它是及时实现乱序切片的正确解码所必须的。
发明内容
本发明引入用于实现随机存取和逐步更新编码视频序列中的图像的方法。它特别是基于在H.264视频编码标准的发展期间提出的逐步解码器更新的方法并且提出了一种用于在H.264视频编码解码器环境中的GDR的可行实现方案。但是，应该知道本发明并不仅限于在H.264标准的限制范围的应用而可以应用于其它视频编码标准，其中视频序列使用INTRA和INTER编码帧的组合来编码，并且其采用了与在H.264中所使用的语法相类似的语法。
更明确地，本发明提出了通过使用隔离区域、可变换宏块顺序和在切片边界上关闭环路滤波器来实现逐步解码器更新的实现方案。特别是，本发明使得JVT-C072的初始的隔离区域技术适合于被包含在H.264视频编码标准中，并且引入了一种用于逐步解码器更新的信令方法。
本发明还提出了一种用于可靠地检测随机存取操作的机制。
本发明还提出了用于引导帧和ODR图像的可靠的信令机制。
附图说明
附图1描述了一个IBBP编码帧模式并示出了引导B帧的位置；
附图2示出了具有存储的引导帧的可随机存取的I帧；
附图3描述了INTRA帧延迟的技术；和
附图4描述了根据本发明的方框外部顺时针方向形状发展的增长顺序。
具体实施方式
现在描述一个根据本发明的逐步解码器更新的可行实现方案。
如同本发明的背景技术中所描述的，在切片边界上环路滤波的关闭有利于逐步解码器更新的执行。特别是，穿过已更新的区域边界的环路滤波应该被关闭以避免在正常解码时和在随机存取后的解码期间的象素值失配。没有环路滤波器限制(也就是具有仍激活的环路滤波的)的逐步解码器更新是可能的并且令人厌恶的失配不是非常可能产生，但是控制失配的振幅和传播很困难，所以关闭环路滤波器是更可取的。因此，本发明建议用以下方式来限制环路滤波，即将切片边界作为图像边界进行处理。这个限制可以在逐图像的基础上用信令发送。更特别地，根据本发明的一个优选实施例，如果一个宏块及其左边的相邻宏块属于不同的切片，该宏块如同在图像左边界一样被滤波。如果一个宏块及其上面的相邻宏块属于不同的切片，则该宏块如同在图像中最上面一行宏块中一样被滤波。
本发明进一步引入用于结合逐步解码器更新一起使用的概念“切片组”。根据本发明，一个切片组被定义为覆盖图像的一定区域的一组切片，在该组中的每一个切片的尺寸是可以独立调整的。有利地，一个切片的编码尺寸根据优选的传输包尺寸进行调整。一个切片组，如根据本发明定义的，对于执行采用隔离区域方法的逐步解码器更新(如JVT文献JVT-C072介绍和先前在本文中描述的)来说是理想的。特别是，一个隔离区域覆盖一定的空间区域，该区域可以包括多于一个切片并且它的边界应当采用与切片边界相似的方式进行处理(特别是，环路滤波和内部预测必须停止)。当隔离区域被用于执行逐步解码器更新时，隔离区域的形状，尺寸，位置产生演化，因为逐步更新的区域典型地在图像之间增长。当这种形状发展可以通过H.264视频编码标准的FMO语法来传达时，当用于形状演变的特定的FMO语法被定义时，很多比特可以被节省。
根据本发明，在连续帧中的隔离区域的形状和位置信息被存储。上述信息被用于运动估计。执行运动估计/补偿的方法也被修改来促进隔离区域的使用。特别的，当进行全象素运动估计时，在相应的参考帧中的涉及隔离区域外的运动向量被丢弃而不计算编码成本。在对非整数象素分辨率执行运动估计/补偿时，特定的措施也是很必要的。H.264视频编码标准允许对1/4或1/8象素精确度执行运动估计/补偿。不同的内插滤波器被用于内插1/4和1/8子象素。对于1/4象素精确度，1/2抽样位置使用6抽头滤波来内插，并且1/4抽样位置通过平均在整数或1/2抽样位置上的两个最近的抽样来内插。有一个不同于上述一般规则的例外，被称为“奇特位置”，它通过平均最近的四个整数抽样来获得。内插处理的结果是，某些“剩余(left-over)”区域影响位于内部但是距离隔离区域边界少于两个整数象素的子象素。根据本发明，当执行对子象素分辨率的运动估计时，这一事实被考虑。更特别地，涉及距离隔离区域边界近于两个象素的块的运动向量被丢弃而不用计算编码成本。当1/8象素分辨率用于运动估计/补偿时，进行一个类似的操作。
如上面阐明的，当使用隔离区域进行逐步解码器更新时，隔离区域在尺寸，形状和位置上产生演化。最终，作为逐步解码器更新处理的结果，获得一个可靠的(即完全重建的)帧。这在隔离区域演变为等于整个帧(即覆盖了整个图像区域)时实现。根据本发明，一旦达到这种情况，下面的限制就会强加于后面帧的编码：
1.新的隔离区域必须避免根据先前的IREG GOP进行预测；
对于剩余区域，应该避免参考先于可靠帧的帧中的剩余区域的预测和参考在时间上处于先前的IREG GOP之前的帧中任何块的预测。应用适当的类似于上面描述的参考帧限制和运动向量限制来满足这两个要求。
在使用了利用根据本发明实现的隔离区域的GDR技术的帧中，每一幅图像包括一个隔离区域和一个剩余区域。该隔离区域是一个切片组，并且剩余区域是另一个切片组。根据用信令通知的区域的增长率，两个切片组的区域形状发展变化并随着图像之间的隔离区域发展。
本发明还引入了另外的包含在H.264视频编码标准中的用于启动隔离区域的信令的语法。更特别，根据本发明，一些新的mb_allocation_map_types被增加到H.264标准语法中。这些在下面的表格1中示出，其中增加的被引入以支持隔离区域的语法元素由右手列中的“IREG”表示以及“RECT”表示矩形切片组(如JVT-D095中提出的)：
Num_slice_group_minusl   0   U(3)
If(num_slice_group_minusl＞0){/*use of Flexible MBOrder*/
    Mb_allocation_map_type   0   e(v)
    if(mb_allocation_map_type＝＝0)
      for(i＝0；j＜＝max_slice_group_id；i++)
         run_length   0   e(v)
    Else_if(mb_allocation_map_type＝＝2)
      for(i＝0；i＜＝num_mbs_in_picture；i++)
         slice_group_id   0   u(3)
    Else_if(mb_allocation_map_type＝＝3){   RECT
for(i＝0；I＜＝max_slice_group_id；i++){   RECT
top_left_mb   0   u(v)   RECT
Bottom_right_mb   0   u(v)   RECT
}   RECT
}   RECT
else_if(mb_allocation_map_type＝＝4‖mb_allocation_map_type＝＝5‖mb_allocation_map_type＝＝6){   IREG
Evolution_direction   0   u(l)   IREG
Growth_rate   0   e(v)   IREG
}   IREG
}
表格1：根据本发明的用于支持独立区域的语法
在表格1中，当mb_allocation_map_type是4，5，或6的时候(也就是只有两个切片组在图像中)，参数num_slice_group_minusl被设定为1。参数growth_rate表示每幅图像中隔离区域增长的宏块的数量。使用growth_rate参数和得知将被更新的图像的尺寸，一个解码器可以决定完全更新整个图像所需要的时间(称为GDR周期)。例如，在QCIF图像(在11×9的矩形阵列中其包括99个16×16的象素宏块)和每幅图像中10个宏块的growth_rate的情况下，完成一个完全更新的图像需要从GDR周期开始(包含的)的ceil(99/10)＝10幅图像。
新的mb_allocation_map_types 4，5，6和根据本发明定义的并在表格1中示出的evolution_directions定义隔离区域的六个切片组演化模式，如下面表格2所示：
    (mb_allocation_map_type，evolution_directions)     区域演化模式
    (4，0)     方框外部顺时针方向
    (4，1)     方框外部反时针方向
    (5，0)     光栅扫描
    (5，1)     反向光栅扫描
    (6，0)     向右擦除
    (6，1)     向左擦除
表格2：根据本发明的新切片组演化模式
在表格2中示出的六个区域演化模式定义如下：
1.光栅扫描：隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域以光栅扫描的顺序增长。
2.反向光栅扫描：隔离区域的第一个宏块是图像底部最右边的宏块。隔离区域以反向光栅扫描的顺序增长。
3.向右擦除：隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域从顶部向底部增长。在一列的最底部的宏块之后的下一个宏块是该列右手侧的那列的最顶部的宏块。
4.向左擦除：隔离区域的第一个宏块是图像底部最右边的宏块。隔离区域从底部向顶部增长。在一列的最顶部的宏块之后的下一个宏块是在该列的左手侧一列的底部宏块。
5.方框外部顺时针方向：使用一个原点在顶端最左边宏块处并且具有宏块间隔尺寸的(x，y)坐标系，以及使用H来表示图像中编码宏块的行数，使用W来表示图像中编码宏块的列数，隔离区域中的第一宏块是具有坐标(x0，y0)＝(W/2，H/2)的宏块。“/”表示舍位除法(division by runcation)。隔离区域增长顺序的定义如附图4中所示。
6.方框外部反时针方向：使用与在上面5中所介绍的相同的坐标系，变量和数学运算的定义，隔离区域中的第一宏块是具有坐标为(x0，y0)＝((W-1)/2，((H-1)/2)的宏块。增长顺序与附图4所示的相似，但是沿反时针方向。
为了使解码器、编码范围编辑单元和网络单元容易辨别一个随机存取点，本发明的一个优选实施例提出GDR周期的开始根据网络适配层(NAL)单元类型的H.264语法用信令发送。GDR周期的第一幅图像被称为一个GDR图像。并不需要精确的语法，但是可能使用的示例的语法可以在JVT-C074工作草案中找到。
本发明还提出了用于可靠的指示ODR图像和引导帧的机制。
以与刚才结合GDR图像的信令所讨论的相类似的方式，本发明提出了带有专用的NAL单元类型的ODR图像。
此外，在本发明的一个优选实施例中，引导帧被明确地标识出。由于其对编码器执行没有强加任何限制和复杂化，并且提供了一种机制，编码器可以通过该机制容易地识别出引导帧，因此该方法是首选的。根据本发明，引导图像可以是任何运动补偿图像，例如，P，B和SP图像(SP图像类型是根据H.264定义的运动补偿图像的特殊类型)。有利地，一个标记(被称为leading_picture_flag)与这些图像类型相关并被加入到H.264 NAL单元类型语法中或者图像或切片报头语法中，以提供一个明确的指示即提供的图像是一个引导图像。这一选择是非常有利的，由于它需要很少或不需要比特率开销并且易于编码器和解码器的使用。
根据本发明，使用如JVT文献JVT-D098中所描述的“子序列标识符”来指示随即存取点。
用于GDR和ODR图像以及引导图像的信令的准确的语法可以根据应用于H.264视频编码标准的NAL单元类型语法的细节来改变。
根据本发明定义的一个ODR图像具有以下特征：
1.解码处理可以在一个随机存取操作后从一个ODR图像开始或重新开始。
2.一个ODR图像只包括I或SI切片；
3.ODR NAL单元包括一个切片EBSP；以及
4.ODR NAL单元类型用于所有包含一个ODR图像的编码宏块数据的NAL单元。
根据本发明定义的一个GDR图像具有以下特征：
1.解码处理可以在一个随机存取操作后从一个GDR图像开始或重新开始。
2.一个GDR图像可以以任何编码类型进行编码。
3.GDR NAL单元类型用于所有包含一个GDR图像的编码宏块数据的NAL单元。
根据本发明，与引导图像相关联的leading_picture_flag具有以下特征：
1.如果解码处理开始于按照解码顺序的的前一幅ODR图像并且按照解码顺序在当前图像和该ODR图像之间没有出现一个IDR图像，则leading_picture_flag标明一个不应该被解码的图像。
2.leading_picture_flag使能对ODR图像的随机存取，该图像被用作为按照显示顺序在时间上在先的图像的运动补偿参考，如果ODR图像被随机存取，则不解码这些不能被正确重建的帧。
在H.264解码处理中的以下改变是由于采用ODR和GDR图像和随机存取点的信令机制以及如根据本发明定义的引导帧而导致的：
1.如果一个GDR或ODR图像的子序列标识符与先前接收到的子序列标识符不同，则解码器推断一个GDR或ODR图像更新操作，并且最大的长期帧索引重置为0。
2.如果一个ODR操作开始于一个ODR图像并且如果自从原始ODR图像没有ODR或IDR图像被解码，一个具有leading_picture_flag等于“1”的图像不被解码。
3.如果一个GDR操作开始于一个GDR图像，解码器不解码任何剩余区域并且如果没有接收到剩余区域，就不推断数据的丢失。

Claims (25)

1.一种对视频序列进行编码的方法，包括：
在编码的比特流中提供第一指示，该第一指示表明当从INTRA编码的图像开始解码过程时，在该INTRA编码的图像处以及按照显示顺序在该INTRA编码的图像之后的所有编码图像是否可以被正确解码；以及
参考一个或多个先前编码的参考图像，使用运动补偿预测对第一编码图像进行编码，该第一图像具有在该INTRA编码的图像之前的显示顺序和在该INTRA编码的图像之后的编码顺序；
参考该第一编码图像对第二图像的至少一部分执行运动补偿预测。
2.根据权利要求1的方法，还包括：
在该编码的比特流中提供第二指示，该第二指示表明当从该INTRA编码的图像开始该解码过程时，该第一编码图像是否可以被正确解码。
3.根据权利要求1的方法，其中在网络抽象层单元类型语法中提供该第一指示。
4.根据权利要求1的方法，其中在图像报头中提供该第一指示。
5.根据权利要求1的方法，其中在切片报头中提供该第一指示。
6.根据权利要求1的方法，还包括使用子序列标识符来提供随机存取点的指示。
7.一种对视频序列进行编码的方法，包括：
在编码的比特流中提供与INTRA编码的图像对应的第一指示，该第一指示表明至少一个图像的至少一部分是否参考按照编码顺序在该INTRA编码的图像之前的图像被编码，该至少一个图像具有在该INTRA编码的图像之后的编码顺序；以及
参考该至少一个图像对第二图像执行运动补偿预测。
8.根据权利要求7的方法，其中在网络抽象层单元类型语法中提供该第一指示。
9.根据权利要求7的方法，其中在图像报头中提供该第一指示。
10.根据权利要求7的方法，其中在切片报头中提供该第一指示。
11.根据权利要求7的方法，还包括使用子序列标识符来提供随机存取点的指示。
12.一种对编码的比特流进行解码的方法，包括：
从该编码的比特流中检索与INTRA编码的图像对应的第一指示，该第一指示表明当从该INTRA编码的图像开始解码过程时，在该INTRA编码的图像处以及按照显示顺序在该INTRA编码的图像之后的所有解码的编码图像是否可以被正确解码；以及
基于该解码的第一指示，从该INTRA编码的图像以及按照显示顺序的随后的图像开始解码。
13.根据权利要求12的方法，还包括：
从该编码的比特流中对与第一编码图像对应的第二指示进行解码，该第二指示表明当从该INTRA编码的图像开始解码时，该第一编码图像是否可以被正确解码；
在没有解码的情况下丢弃该第一编码图像；以及
利用按照解码顺序在该第一编码图像之后的编码图像来继续该解码过程。
14.根据权利要求12的方法，其中从网络抽象层单元类型语法中检索该指示。
15.根据权利要求12的方法，其中从图像报头中检索该指示。
16.根据权利要求12的方法，其中从切片报头中检索该指示。
17.根据权利要求12的方法，其中通过对编码的图像检查子序列标识符来确定随机存取位置。
18.一种对编码的比特流进行解码的方法，包括：
从该编码的比特流中检索与INTRA编码的图像对应的第一指示，该第一指示表明至少一个图像的至少一部分是否参考按照编码顺序在该INTTRA编码的图像之前的图像被编码，该至少一个图像具有在该INTRA编码的图像之后的解码顺序，该至少一个图像对于至少另一个图像被用作用于运动补偿预测的参考图像；以及
基于该解码的第一指示，从该INTRA编码的图像以及按照显示顺序的随后的图像开始解码。
19.根据权利要求18的方法，还包括：如果该指示表明该至少一个图像的至少一部分是参考按照编码顺序在该INTRA编码的图像之前的图像被编码的，那么：
在没有解码的情况下丢弃该至少一个图像；以及
利用按照解码顺序在该第一图像之后的编码图像来继续该解码过程。
20.根据权利要求18的方法，其中从网络抽象层单元类型语法中检索该指示。
21.根据权要求求18的方法，其中从图像报头中检索该指示。
22.根据权利要求18的方法，其中从切片报头中检索该指示。
23.根据权利要求18的方法，其中通过对编码的图像检查子序列标识符来确定随机存取位置。
24.一种对编码的比特流进行解码的方法，该方法包括：
接收与INTRA编码的图像对应的指示，该指示表明至少一个图像的至少一部分是否参考按照编码顺序在该INTRA编码的图像之前的图像被编码，该至少一个图像具有在该INTRA编码的图像之后的解码顺序，该至少一个图像对于至少另一个图像被用作用于运动补偿预测的参考图像；以及
基于该解码的指示，从该INTRA编码的图像以及按照显示顺序的随后的图像开始解码。
25.根据权利要求24的方法，还包括：如果该指示表明该至少一个图像的至少一部分是参考按照编码顺序在该INTRA编码的图像之前的图像被编码的，那么：
在没有解码的情况下丢弃该至少一个图像；以及
利用按照解码顺序在该第一图像之后的编码图像来继续该解码过程。
CNA2008100031856A 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法 Pending CN101232615A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39620002P 2002-07-16 2002-07-16
US60/396200 2002-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA038167271A Division CN1669321A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Publications (1)

Publication Number Publication Date
CN101232615A true CN101232615A (zh) 2008-07-30

Family

ID=30115983

Family Applications (3)

Application Number Title Priority Date Filing Date
CNA038167271A Pending CN1669321A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CN200810003744.3A Expired - Lifetime CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CNA2008100031856A Pending CN101232615A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CNA038167271A Pending CN1669321A (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法
CN200810003744.3A Expired - Lifetime CN101232616B (zh) 2002-07-16 2003-07-16 用于在视频编码中随机存取和逐步更新图像的方法

Country Status (11)

Country Link
US (1) US8300690B2 (zh)
EP (2) EP3177020B1 (zh)
JP (2) JP2005533444A (zh)
KR (1) KR100754419B1 (zh)
CN (3) CN1669321A (zh)
AU (1) AU2003251964A1 (zh)
BR (1) BR0312657A (zh)
CA (1) CA2492751C (zh)
HK (1) HK1123653A1 (zh)
MX (1) MXPA05000558A (zh)
WO (1) WO2004008735A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054339A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 用信号通知视频译码中的解块滤波器参数
CN104350750A (zh) * 2012-04-16 2015-02-11 微软公司 用于简化视频随机访问的约束和单元类型
CN104396257A (zh) * 2012-06-28 2015-03-04 高通股份有限公司 在视频译码中长期参考图片的随机存取和发信
CN105637883A (zh) * 2013-10-15 2016-06-01 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
US9788003B2 (en) 2011-07-02 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US8249113B2 (en) 2004-03-19 2012-08-21 Broadlogic Network Technologies, Inc. Method and system for providing faster channel switching in a digital broadcast system
US7418651B2 (en) * 2004-05-07 2008-08-26 Digital Fountain, Inc. File download and streaming system
KR100982518B1 (ko) * 2004-06-11 2010-09-16 삼성전자주식회사 영상 데이터 유닛의 ｄｃ 계수 예측 방법 및 그 장치
JP4680608B2 (ja) * 2005-01-17 2011-05-11 パナソニック株式会社 画像復号装置及び方法
US7697783B2 (en) * 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
KR100770872B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 채널 전환 시간 단축을위한 데이터 수신장치 및 방법
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US8077626B2 (en) 2006-07-14 2011-12-13 Qualcomm Incorporated Quality of service (QoS) aware establishment of communication sessions
EP2095641A2 (en) * 2006-11-14 2009-09-02 QUALCOMM Incorporated Systems and methods for channel switching
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
CN100499815C (zh) * 2007-01-12 2009-06-10 清华大学 一种支持视频帧随机读取的视频编解码方法
KR100834443B1 (ko) * 2007-02-27 2008-06-04 삼성전자주식회사 비디오 코덱을 위한 메모리 구조 및 메모리 액세스 방법
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US9237101B2 (en) * 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
JP2010103969A (ja) * 2008-09-25 2010-05-06 Renesas Technology Corp 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
WO2011017336A1 (en) 2009-08-03 2011-02-10 General Instrument Corporation Method of encoding video content
EP2475173B1 (en) * 2009-09-03 2016-10-12 Nec Corporation Video encoding device, video encoding method and video encoding program
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
RU2538284C2 (ru) * 2010-04-22 2015-01-10 Медиатэк, Инк. Способ предсказания движения
US9049497B2 (en) * 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US8964056B2 (en) 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
WO2013162249A1 (ko) 2012-04-23 2013-10-31 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same
JP6045222B2 (ja) 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
AU2015213423B2 (en) * 2012-06-28 2016-12-01 Ntt Docomo, Inc. Dynamic image predictive encoding and decoding device, method, and program
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
WO2014042460A1 (ko) 2012-09-13 2014-03-20 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
KR20150035667A (ko) * 2012-09-28 2015-04-07 삼성전자주식회사 랜덤 액세스를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2015025747A1 (ja) * 2013-08-22 2015-02-26 ソニー株式会社 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US20170094292A1 (en) * 2015-09-28 2017-03-30 Samsung Electronics Co., Ltd. Method and device for parallel coding of slice segments
JPWO2020045248A1 (ja) * 2018-08-29 2021-08-12 シャープ株式会社 動画像復号装置および動画像符号化装置
EP3900345A4 (en) * 2018-12-20 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) NORMATIVE RECOVERY POINT INDICATION
BR112021017985A2 (pt) * 2019-03-11 2021-11-16 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
EP3928522A4 (en) 2019-03-12 2022-04-06 Huawei Technologies Co., Ltd. DISTRIBUTED DECODING REFRESH DESIGN IN VIDEO CODING
KR20200110213A (ko) 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Ｎｔｔドコモ 動画像予測復号方法
US11792432B2 (en) 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries
US20240179304A1 (en) * 2022-11-29 2024-05-30 Tencent America LLC Systems and methods for signaling of downsampling filters for chroma from luma intra prediction mode
US12267489B2 (en) 2022-12-06 2025-04-01 Realtek Semiconductor Corp. Coding algorithm for realizing distributed gradual decoding refresh

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
DE69619002T2 (de) * 1995-03-10 2002-11-21 Kabushiki Kaisha Toshiba, Kawasaki Bildkodierungs-/-dekodierungsvorrichtung
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
JP3297293B2 (ja) * 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
JP3698805B2 (ja) * 1996-03-25 2005-09-21 パイオニア株式会社 情報記録装置及び方法、情報処理装置及び方法並びに情報再生装置及び方法
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6310609B1 (en) * 1997-04-17 2001-10-30 Nokia Mobile Phones Limited User interface with guide lights
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
EP1340372A2 (en) * 2000-10-10 2003-09-03 Broadcom Corporation System and method for special reproduction modes of a digitally encoded video data stream
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US20030169816A1 (en) * 2002-01-22 2003-09-11 Limin Wang Adaptive universal variable length codeword coding for digital video content
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9788003B2 (en) 2011-07-02 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data
TWI604720B (zh) * 2011-07-02 2017-11-01 三星電子股份有限公司 視訊解碼裝置
CN104054339A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 用信号通知视频译码中的解块滤波器参数
US9723331B2 (en) 2012-01-19 2017-08-01 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN104350750A (zh) * 2012-04-16 2015-02-11 微软公司 用于简化视频随机访问的约束和单元类型
CN104350750B (zh) * 2012-04-16 2018-10-23 微软技术许可有限责任公司 用于简化视频随机访问的约束和单元类型的方法
US10432973B2 (en) 2012-04-16 2019-10-01 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
CN104396257A (zh) * 2012-06-28 2015-03-04 高通股份有限公司 在视频译码中长期参考图片的随机存取和发信
CN104396257B (zh) * 2012-06-28 2018-01-19 高通股份有限公司 在视频译码中长期参考图片的随机存取和发信
CN105637883A (zh) * 2013-10-15 2016-06-01 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
US10264272B2 (en) 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
CN105637883B (zh) * 2013-10-15 2019-06-07 高通股份有限公司 用于视频信息的可缩放译码的装置和方法

Also Published As

Publication number Publication date
EP1547382A4 (en) 2013-10-30
WO2004008735A3 (en) 2004-03-18
CN101232616A (zh) 2008-07-30
EP3177020A1 (en) 2017-06-07
EP3177020B1 (en) 2023-04-19
MXPA05000558A (es) 2005-04-19
AU2003251964A8 (en) 2004-02-02
WO2004008735A2 (en) 2004-01-22
US8300690B2 (en) 2012-10-30
CN1669321A (zh) 2005-09-14
HK1123653A1 (zh) 2009-06-19
AU2003251964A1 (en) 2004-02-02
BR0312657A (pt) 2007-06-26
CA2492751C (en) 2012-06-12
CN101232616B (zh) 2015-07-22
US20040066854A1 (en) 2004-04-08
JP4695129B2 (ja) 2011-06-08
JP2008099325A (ja) 2008-04-24
CA2492751A1 (en) 2004-01-22
JP2005533444A (ja) 2005-11-04
KR20050019864A (ko) 2005-03-03
KR100754419B1 (ko) 2007-08-31
EP1547382A2 (en) 2005-06-29

Similar Documents

Publication Publication Date Title
CN101232616B (zh) 用于在视频编码中随机存取和逐步更新图像的方法
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
CN100521793C (zh) 视频编码中的随机访问点
US8422803B2 (en) Image encoding device, image decoding device, image encoding method and image decoding method
JPWO2007034601A1 (ja) 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
CN115086671A (zh) 资源受约束的视频编码
CN101459851B (zh) 压缩视频数据流的交换方法
KR101038794B1 (ko) 인터레이스형 비디오의 코딩 및 디코딩
CN111656782A (zh) 视频处理方法和设备
CA2542026C (en) Indicating regions within a picture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1121319

Country of ref document: HK

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20080730

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1121319

Country of ref document: HK