[go: up one dir, main page]

CN102231833A - 增强层中的参考帧放置 - Google Patents

增强层中的参考帧放置 Download PDF

Info

Publication number
CN102231833A
CN102231833A CN2011101757000A CN201110175700A CN102231833A CN 102231833 A CN102231833 A CN 102231833A CN 2011101757000 A CN2011101757000 A CN 2011101757000A CN 201110175700 A CN201110175700 A CN 201110175700A CN 102231833 A CN102231833 A CN 102231833A
Authority
CN
China
Prior art keywords
frame
base layer
layer
identification
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101757000A
Other languages
English (en)
Inventor
陈培松
史考特·T·斯韦泽伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102231833A publication Critical patent/CN102231833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及增强层中的参考帧放置。本发明涉及用于在基础层与一个或一个以上增强层之间分配数据帧的技术。本文中所描述的所述技术允许在所述基础层与所述增强层之间选择性地放置帧以较好地利用所述增强层中未使用的带宽。在某些方面中，编码装置可将在时间上恰位于帧内编码帧之前的参考帧分配给所述增强层。在其它方面中，所述编码装置可将位于包括多个帧的数据区段的末端处的参考帧(例如超帧)分配给所述增强层。可利用所述所描述的技术来帮助平衡所述基础层与所述一个或一个以上增强层之间的带宽。

Description

增强层中的参考帧放置
分案申请的相关信息
本申请为发明名称为“增强层中的参考帧放置”的原中国发明专利申请的分案申请。原申请的申请号为200780047177.5；原申请的申请日为2007年12月22日；原发明专利申请案的优先权日为2006年12月22日。
本申请案主张2006年12月22日申请的第60/871,655号美国临时申请案，和2007年3月1日申请的第60/892,356号美国临时申请案的权益。这些申请案的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及多媒体编码和经编码的多媒体内容的传送。
背景技术
数字多媒体能力可并入到广泛范围的装置中，包括数字电视、数字直接广播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式电话或卫星无线电话等。数字多媒体装置可实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分增强型视频编码(AVC)的编码技术以较有效地发送并接收数字视频数据。这些编码技术可经由空间和时间预测来执行压缩以减小或移除多媒体序列中的冗余。
某视频编码利用可缩放技术。举例来说，可缩放视频编码(SVC)是指其中使用基础层和一个或一个以上可缩放增强层的编码。对于SVC来说，基础层通常以基础水平质量载送多媒体数据。一个或一个以上增强层载送额外多媒体数据以支持较高空间、时间和/或信噪比(SNR)水平。作为一实例，基础层可以比增强层的传输可靠的方式来传输。增强层可向基础层的帧添加空间分辨率、添加额外帧以增加整体帧速率，或添加额外位以改进信噪比。在一个实例中，经调制的信号的最可靠部分可用以传输基础层，而经调制的信号的较不可靠部分可用以传输增强层。
SVC可用于广泛各种编码应用中。通常使用SVC技术的一个特定领域是在无线多媒体广播应用中。多媒体广播技术的实例包括被称为仅前向链路(FLO)、数字多媒体广播(DMB)和手持式数字视频广播(DVB-H)的技术。
发明内容
在本发明的某些方面中，一种用于处理多媒体数据的方法包含：编码多媒体数据的多个帧，其中所述多个帧包括一个或一个以上参考帧；以及在基础层位流与至少一个增强层位流之间分配所述多个帧中的每一者以使得所述一个或一个以上参考帧中的至少一者被分配给增强层位流。
在本发明的某些方面中，一种用于处理多媒体数据的设备包含：编码模块，其编码多媒体数据的多个帧，其中所述多个帧包括一个或一个以上参考帧；以及分配模块，其在基础层位流与至少一个增强层位流之间分配所述多个帧中的每一者以使得所述一个或一个以上参考帧中的至少一者被分配给增强层位流。
在本发明的某些方面中，一种用于处理多媒体数据的设备包含：用于编码多媒体数据的多个帧的装置，其中所述多个帧包括一个或一个以上参考帧；以及用于在基础层位流与至少一个增强层位流之间分配多个帧中的每一者以使得所述一个或一个以上参考帧中的至少一者被分配给增强层位流的装置。
在本发明的某些方面中，一种用于处理多媒体数据的计算机程序产品包含在上面具有指令的计算机可读媒体。所述指令包含：用于编码多媒体数据的多个帧的代码，其中所述多个帧包括一个或一个以上参考帧；以及用于在基础层位流与至少一个增强层位流之间分配所述多个帧中的每一者以使得所述一个或一个以上参考帧中的至少一者被分配给增强层位流的代码。
在本发明的某些方面中，一种用于处理多媒体数据的方法包含：识别可缩放编码方案的基础层位流的参考增强层位流的参考帧的至少一部分的至少一个帧；以及当接收到所述增强层位流时，使用由所述基础层位流的经识别的帧参考的所述增强层位流的所述参考帧的所述部分来解码基础层位流的所述经识别的帧。
在本发明的某些方面中，一种用于处理多媒体数据的设备包含：参考数据分析模块，其识别可缩放编码方案的基础层位流的参考增强层位流的参考帧的至少一部分的至少一个帧；以及解码模块，当接收到所述增强层位流时，其使用由所述基础层位流的经识别的帧参考的所述增强层位流的所述参考帧的所述部分来解码基础层位流的所述经识别的帧。
在本发明的某些方面中，一种用于处理多媒体数据的设备包含：用于识别可缩放编码方案的基础层位流的参考增强层位流的参考帧的至少一部分的至少一个帧的装置；以及用于当接收到所述增强层位流时使用由所述基础层位流的经识别的帧参考的所述增强层位流的所述参考帧的所述部分来解码基础层位流的所述经识别的帧的装置。
在本发明的某些方面中，一种用于处理多媒体数据的计算机程序产品包含在上面具有指令的计算机可读媒体。所述指令包含：用于识别可缩放编码方案的基础层位流的参考增强层位流的参考帧的至少一部分的至少一个帧的代码；以及用于当接收到所述增强层位流时使用由所述基础层位流的经识别的帧参考的所述增强层位流的所述参考帧的所述部分来解码基础层位流的所述经识别的帧的代码。
在附图和以下描述内容中阐述一个或一个以上实例的细节。其它特征、目的和优点从描述内容和图式以及从权利要求书将显而易见。
附图说明
图1是说明支持编码可缩放性的实例多媒体编码系统的框图。
图2是说明形成图1的系统的一部分的实例编码装置的框图。
图3是说明形成图1的系统的一部分的实例解码装置的框图。
图4是说明在增强层位流中放置恰在内帧之前的参考帧的实例经编码的多媒体序列的一部分的图。
图5是说明在增强层位流中放置恰在信道切换帧之前的参考帧的另一实例经编码的多媒体序列的一部分的图。
图6是说明在增强层位流中放置位于数据区段的末端处的参考帧的另一实例经编码的多媒体序列的一部分的图。
图7是说明根据本发明的技术编码装置在分配一个或一个以上参考帧时的示范性操作的流程图。
图8是说明解码装置在选择性地解码基础层的帧时的示范性操作的流程图。
具体实施方式
本发明描述用于在可缩放编码方案(例如，可缩放视频编码(SVC))中在至少两个层之间分配多媒体序列的数据的帧的技术。在SVC中，经编码的多媒体序列包括基础层和一个或一个以上增强层。出于说明的目的，将参考一基础层和仅一个增强层来描述本发明的技术。然而，所属领域的技术人员应了解，所述技术可延伸到利用一个以上增强层的SVC方案。
基础层是指载送用于多媒体解码的最小量数据且提供基础水平质量的位流。增强层是指载送额外数据的位流，所述额外数据增强经解码的多媒体的质量。一般来说，增强层位流仅可结合基础层而解码，即，增强层的帧含有对经解码的基础层的一个或一个以上帧的参考。然而，在其它方面中，可在无基础层的情况下至少部分地解码增强层。
使用阶层式调制，可在相同载波或副载波上但以导致不同可靠性的不同传输特性来传输基础层和增强层。换句话说，经由经调制的信号的较可靠部分来传输基础层，而经由经调制的信号的较不可靠部分来传输增强层。举例来说，可以不同包错误率(PER)来传输基础层和增强层。特定来说，可以较低PER传输基础层以用于贯穿覆盖区域的较可靠接收，而以较高PER传输增强层。以此方式，载送用于解码基础层的数据的位流具有较可靠接收，进而允许用户在原本将不提供接收的区域中检视多媒体序列的内容(即使以较低水平质量)。
在未接收到增强层的状况下，解码装置可仅解码基础层。另外，当接收到基础层和增强层两者时，解码装置可解码基础层加上增强层以提供较高质量。
本发明提议用于在基础层与一个或一个以上增强层之间分配数据的帧的技术。本文中所描述的技术允许在基础层与增强层之间的帧的选择性放置以较好地利用增强层中的未使用的带宽。在某些方面中，编码装置可将在时间上位于帧内编码帧之前和附近的参考帧分配给增强层。因为帧内编码帧是在未参考任何其它在时间上定位的帧的情况下来编码，所以移动在时间上位于帧内编码帧之前和附近的参考帧并不影响后续帧的解码。
在其它方面中，编码装置可将位于包括多个帧的数据区段(例如，超帧)的末端附近的参考帧分配给增强层。在此状况下，基础层中的帧对移动到增强层的参考帧的参考可经消除以减小对后续帧的解码的影响。或者，基础层中的帧对移动到增强层的参考帧的参考可保持，且解码装置可基于是否接收到增强层而选择性地解码接收到的帧。所描述的技术可用以帮助平衡基础层与一个或一个以上增强层之间的带宽。
图1是说明支持视频可缩放性的示范性多媒体编码系统10的框图。多媒体编码系统10包括由网络16连接的编码装置12和解码装置14。编码装置12从至少一个源18获得数字多媒体序列，编码数字多媒体序列且在网络16上将经编码的序列传输到解码装置14。
在某些方面中，源18可包含一个或一个以上视频内容提供者，所述一个或一个以上视频内容提供者(例如，经由卫星)而广播数字多媒体序列。在其它方面中，源18可包含俘获数字多媒体序列的图像俘获装置。在此状况下，图像俘获装置可集成于编码装置12内或耦合到编码装置12。虽然源18在图1中被说明为外部源，但在某些实施例中，编码装置12可从编码装置12内或耦合到编码装置12的存储器或档案库接收多媒体序列。
多媒体序列可包含待编码且作为广播或按需序列而传输的直播实时或近实时视频和/或音频序列，或可包含待编码且作为广播或按需序列而传输的预先记录且存储的视频和/或音频序列。在某些方面中，可由计算机产生多媒体序列的至少一部分，例如，在游戏状况下。
可依据图片序列而描述从源18接收到的数字多媒体序列，所述图片序列包括帧(整个图片)或域(field)(例如，图片的交替奇数或偶数线的域)。另外，每一帧或域可进一步包括帧或域的两个或两个以上片段或子部分。如本文中所使用，术语“帧”可指代图片、帧、域或其片段。
编码装置12编码多媒体序列以用于传输到解码装置14。编码装置12可根据视频压缩标准来编码多媒体序列，例如，移动图片专家组(MPEG)-1、MPEG-2、MPEG-4、国际电信联盟标准化组(ITU-T)H.263或ITU-T H.264(其对应于MPEG-4第10部分增强型视频编码(AVC))。此类编码和通过延伸的解码方法可针对压缩帧的内容以用于传输和/或存储的无损耗或有损耗压缩算法。压缩可大体被视为从多媒体数据移除冗余的处理。
在某些方面中，本发明预期应用于增强型H.264视频编码，其用于在陆地移动多媒体多播(TM3)系统中使用仅前向链路(FLO)空中接口规范“陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air Interface Specification for TerrestrialMobile Multimedia Multicast)”(2006年8月作为技术标准TIA-1099(“(FLO规范)FLOSpecification”)公开)来传递实时多媒体服务。然而，本发明中所描述的信道切换技术并不限于任一特定类型的广播、多播、单播或点对点系统。
由ITU-T视频编码专家组(VCEG)与ISO/IEC移动图片专家组(MPEG)编制H.264/MPEG-4(AVC)标准，作为被称为联合视频工作组(JVT)的集体合作伙伴关系的产物。由ITU-T研究组于2005年3月在ITU-T建议H.264，一般视听服务的高级视频编码(Advanced video coding for generic audiovisual services)中描述H.264标准，其在本文中可被称为H.264标准或H.264规范或H.264/AVC标准或规范。
联合视频工作组(JVT)继续致力于H.264/MPEG-4AVC的可缩放视频编码(SVC)延伸。演进SVC延伸的规范呈联合草案(JD)的形式。由JVT产生的联合可缩放视频模型(JSVM)实施用于可缩放视频中的工具，其可在系统10内用于本发明中所描述的各种编码任务。关于精细粒度SNR可缩放性(FGS)编码的详细信息可查阅联合草案文献，例如查阅联合草案6(SVC JD6)，托马斯·韦根(Thomas Wiegand)、加里·沙利文(GarySullivan)、朱利安·赖歇尔(Julien Reichel)、海科·史华慈(Heiko Schwarz)和马蒂亚斯·维恩(Mathias Wien)的“联合草案6：可缩放视频编码(Joint Draft 6：Scalable VideoCoding)”，JVT-S 201，2006年4月，日内瓦(Geneva)和联合草案9(SVC JD9)，托马斯·韦根、加里·沙利文、朱利安·赖歇尔、海科·史华慈和马蒂亚斯·维恩的“SVC修正的联合草案9(Joint Draft 9 of SVC Amendment)”，JVT-V 201，2007年1月，摩洛哥的马拉喀什(Marrakech，Morocco)。
编码装置12使用一个或一个以上编码技术来编码序列的帧中的每一者。举例来说，编码装置12可使用帧内编码技术来编码帧中的一者或一者以上。通常被称为帧内(“I”)帧的使用帧内编码技术来编码的帧在未参考其它帧的情况下来编码。然而，使用帧内编码来编码的帧可使用空间预测以利用位于同一帧中的其它多媒体数据中的冗余。
编码装置12还可使用帧间编码技术来编码帧中的一者或一者以上。使用帧间编码技术来编码的帧参考本文中被称为参考帧的一个或一个以上其它帧来编码。帧间编码的帧可包括一个或一个以上预测(“P”)帧、双向(“B”)帧或其组合。P帧参考至少一个在时间上先前的帧来编码，而B帧参考至少一个在时间上未来的帧和至少一个在时间上先前的帧来编码。在时间上先前的帧和/或在时间上未来的帧被称为“参考帧”。以此方式，帧间编码越过时间帧而利用多媒体数据中的冗余。
编码装置12可进一步经配置以通过将帧分割为多个像素子集且单独编码像素子集中的每一者而编码序列的帧。这些像素子集可被称为区块或宏区块，且可包括(例如)16×16像素子集，16×16像素子集包括16行像素和16列像素。编码装置12可进一步将每一区块分割为两个或两个以上子区块。作为一实例，16×16区块可包含四个8×8子区块，或其它子分割区块。举例来说，H.264标准准许编码具有各种不同大小(例如，16×16、16×8、8×16、8×8、4×4、8×4和4×8)的区块。另外，通过延伸，任何大小的子区块可包括于区块内，例如，2×16、16×2、2×2、4×16、8×2等。大于16行或列的区块也是可能的。如本文中所使用，术语“区块”可指任何大小的区块或子区块。
无关于帧是使用帧内编码还是使用帧间编码来编码，序列的帧中的每一者可被表征为参考帧或非参考帧。如上所述，术语“参考帧”是指包括多媒体数据的帧，所述多媒体数据由编码装置12使用以用于压缩帧中的另一者的至少一部分。换句话说，参考帧用于成功解码依赖于参考帧的帧。参考帧可为帧内编码帧或帧间编码帧，即，I帧、B帧或P帧。相反，术语“非参考帧”是指未由编码装置12用于压缩其它帧的帧。换句话说，无其它帧依赖于来自非参考帧的多媒体数据来用于成功解码。因此，如果在传输中丢失非参考帧，那么将不存在对解码序列的其它帧的影响。类似于参考帧，非参考帧可为帧内编码帧或帧间编码帧。然而，通常仅使用P帧和B帧作为非参考帧。
为了支持可缩放视频，编码装置12在基础层位流(本文中被称为“基础层”)与至少一个增强层位流(本文中被称为“增强层”)之间分配经编码的帧。如上所述，基础层载送用于多媒体解码的最小量数据。因而，基础层经由经调制的信号的较可靠部分(例如)以较低PER来传输。增强层载送增强基础层的经解码的多媒体的质量的额外数据。增强层经由经调制的信号的较不可靠部分(例如)以较高PER来传输。在某些状况下，增强层可能仅可结合基础层来解码，即，增强层的帧含有对经解码的基础层的一个或一个以上帧的参考。然而，在其它状况下，可在无基础层的情况下至少部分地解码增强层。
在某些方面中，例如根据FLO空中接口规范，可能需要基础层的大小与增强层的大小为大体上相同的。换句话说，编码装置12可在增强层中传输大体上与在基础层中传输的位的数目相同的数目的位。在帧的初始分配导致层的大小之间的不平衡的状况下，编码模块12可根据本文中所描述的技术来重新分配帧。如下所述的帧的重新分配消除编码模块12浪费带宽以发送填充位(即，经添加以平衡层的大小但未由解码模块14使用的信息)的需要。虽然本文中所描述的实例针对将来自基础层的帧重新分配给增强层，但类似技术可用于将来自增强层的帧初始分配给基础层。
本文中所描述的技术允许在基础层或增强层内的帧的选择性放置以在基础层与增强层之间重新分配帧。特定来说，在某些方面中，可将至少一个参考帧从基础层移动到增强层以便在不同层之间实现数据的较好平衡。在某些方面中，编码装置12可移动在时间上位于帧内编码帧之前和附近的参考帧。举例来说，编码装置12可移动在时间上恰位于帧内编码帧之前的参考帧。在其它方面中，编码装置12可移动位于包括多个帧的数据区段(例如，超帧)的末端附近的参考帧。所描述的技术可帮助平衡基础层与一个或一个以上增强层之间的带宽。
编码装置12在网络16上将经编码的序列传输到解码装置14以用于解码和呈现给解码装置14的用户。网络16可包含一个或一个以上有线或无线通信网络，包括以太网、电话(例如，POTS)、电缆、电力线和光纤系统和/或无线系统中的一者或一者以上，所述无线系统包含以下各物中的一者或一者以上：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDM)系统、时分多址(TDMA)系统(例如，GSM/GPRS(通用分组无线业务)/EDGE(增强型数据GSM环境))、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1xEV-DO或1xEV-DO黄金(Gold)多播)系统、IEEE 802.11系统、FLO系统、数字媒体广播(DMB)系统、手持式数字视频广播(DVB-H)系统、陆地集成服务数字广播(ISDB-T)系统等。
在某些方面中，编码装置12可编码、组合并传输在一时间周期内接收到的帧。举例来说，在某些多媒体编码系统中，多媒体数据的多个帧被一起分组为有时被称为“超帧”的多媒体数据区段。如本文中所使用，术语“超帧”是指在一时间周期或时窗内所收集以形成数据区段的帧群组。在利用FLO技术的编码系统中，超帧可包含可标称地具有30个帧的二分之一数据区段。然而，超帧可包括任何数目的帧。所述技术还可用于编码、组合并传输其它数据区段，例如，用于在可能为或可能不为固定时间周期的不同时间周期内接收到的数据区段，或用于个别帧或数据帧的集合。换句话说，超帧可经界定以涵盖大于或小于二分之一时间周期的时间间隔或甚至可变时间间隔。注意，贯穿本发明，特定多媒体数据区段(类如，类似于超帧的概念)是指特定大小和/或持续时间的任何多媒体数据块(chunk)。
在某些方面中，编码装置12可形成用以广播多媒体数据的一个或一个以上信道的广播网络组件的一部分。因而，经编码的序列中的每一者可对应于多媒体数据的信道。多媒体数据信道中的每一者可包含一基础层和至少一个增强层。作为一实例，编码装置12可形成用以将经编码的多媒体数据的一个或一个以上信道广播到无线装置的无线基站、服务器或任何基础架构节点的一部分。在此状况下，编码装置12可将经编码的数据传输到例如解码装置14的多个无线装置。然而，为了简单起见，在图1中说明单一解码装置14。
解码装置14从网络16接收经编码的序列且解码经编码的序列。依据解码装置14相对于网络16的位置，解码装置14可能或可能不接收增强层。举例来说，在无线情形下，当解码装置14较接近网络16内的传输塔时，解码装置14可接收基础层和增强层两者。然而，当解码装置14进一步远离网络16内的传输塔时，解码装置14可仅接收基础层。换句话说，当解码装置14在适用覆盖区域内时，由解码装置14较可靠地接收基础层，因为基础层是以较高功率来传输。
在未接收到增强层的状况下，解码装置14可仅解码基础层。在此状况下，解码装置14能够呈现由基础层提供的多媒体序列的内容(虽然是以最低质量水平)。然而，当接收到基础层和增强层两者时，解码装置14能够解码并组合基础层和增强层的数据以呈现较高质量的视频。因此，由解码装置14获得的视频在增强层可被解码且添加到基础层以增加经解码的视频的质量的意义上为可缩放的。然而，可缩放性仅在增强层数据存在时为可能的。
解码装置14可(例如)实施为以下各物的一部分：数字电视、无线通信装置、游戏装置、便携式数字助理(PDA)、膝上型计算机或台式计算机、数字音乐和视频装置(例如，以商标“iPod”出售的装置)或无线电话(例如，蜂窝式、卫星或基于陆地的无线电话)，或经装备以用于视频和/或音频串流、视频电话或两者的其它无线移动终端。解码装置14可与移动装置或固定装置相关联。在其它方面中，解码装置14可包含耦合到有线网络的有线装置。
图2是进一步详细说明编码装置12的框图。如图2中所示，编码装置12包括编码模块20、分配模块22、参考数据产生器24和调制器/传输器26。编码模块20包括帧内编码模块28和帧间编码模块29。
编码模块20从源18(图1)接收一个或一个以上输入多媒体序列且选择性编码接收到的多媒体序列的帧。特定来说，帧内编码模块28在未参考其它帧的情况下编码序列的帧中的一者或一者以上。帧内编码模块28可(例如)在视频序列开始时或在场景改变时将序列的帧编码为I帧。或者或另外，帧内编码模块28可帧内编码帧以用于帧内再新或用于信道切换。如上所述，帧内编码模块28可使用空间预测以利用位于同一帧中的其它多媒体数据中的冗余而编码帧。
帧间编码模块29参考一个或一个以上其它在时间上定位的帧而编码序列的帧中的一者或一者以上，即，编码为I帧、P帧、B帧或其组合。帧间编码模块29可利用其它在时间上定位的帧(即，参考帧)(例如，在帧的时间序列中彼此接近的一个或一个以上帧)中的冗余。参考帧可具有为与待编码的帧的一个或一个以上区块的匹配或至少部分匹配的一个或一个以上区块。在此状况下，帧间编码模块29可越过时间帧参考数据的区块使用运动补偿预测而编码帧。具体来说，帧间编码模块29可将帧编码为包含用于帧的特定分割的一个或一个以上运动向量和残余的数据。
参考数据产生器24可产生指示由编码模块20产生的经帧内编码和经帧间编码的多媒体数据的位置的参考数据。由参考数据产生器24产生的参考数据可(例如)识别帧是I帧、P帧、B帧还是其它类型帧。另外，参考数据可包括识别区块的一个或一个以上区块识别符和用以编码帧内的区块的编码类型。参考数据还可包括帧序号，所述帧序号识别多媒体序列内的一个或一个以上参考帧的位置。
分配模块22在基础层位流与至少一个增强层位流之间分配经编码的帧。在某些方面中，分配模块22基于帧是否被用作参考帧而分配帧。分配模块22可(例如)最初将参考帧指派给基础层且将非参考帧指派给增强层。因为B帧通常并未被用作参考帧且通常参考先前和后续P帧，所以此分配方案通常将I帧和P帧分配给基础层且将B帧分配给增强层。然而，编码装置12可将I帧或P帧编码为非参考帧且将非参考I帧或P帧指派给增强层。类似地，编码装置12可将一个或一个以上B帧编码为参考帧且将参考B帧指派给基础层。此外，分配模块22可使用初始分配方案，在所述初始分配方案中将一个或一个以上非参考帧初始指派给基础层。举例来说，分配模块22可将所有I帧和P帧初始分配给基础层，而无论P帧为参考帧还是非参考帧。此外，分配模块22可进一步将一个或一个以上非参考B帧初始分配给基础层。
在某些方面中，例如根据FLO空中接口规范，可能需要基础层与增强层大体上为相同大小。在常规编码系统中，编码装置可通过在大体上较小的层的位流中并入填充位(即，基础层与增强层中的位数目之间的差异超出预定阈值)而平衡基础层与增强层。填充位在解码处理期间被解码器忽略。本文中所描述的技术允许在基础层与增强层之间选择性放置帧以在层之间较好地分配位。
特定来说，分配模块22可分析基础层与增强层之间的多个帧的分配且在基础层与增强层之间重新分配帧中的一者或一者以上。分配模块22试图最小化基础层与增强层的大小之间的差异。举例来说，如果基础层的位流中的位数目(即，大小)小于增强层的位流中的位数目一预定裕度或阈值，那么分配模块22可将增强层的帧中的一者或一者以上重新指派给基础层。或者，编码模块20可编码额外帧以包括于基础层中。以此方式，分配模块22平衡基础层与增强层的大小以使得大小大体上相同。编码模块20可另外将填充位添加到基础层或增强层以使得层为相同大小。然而，层之间的差异越小，由填充位浪费的带宽越少。
如果增强层的位流的位数目(即，大小)小于基础层的位数目一预定裕度或阈值，那么分配模块22可将基础层的帧中的一者或一者以上重新指派给增强层以使得大小为大体上相同。如果在基础层中存在非参考帧，那么分配模块22可将非参考帧重新指派给增强层。通过将非参考帧移动到增强层，当解码装置14未接收到增强层时，不存在对解码后续帧的影响。
如果在基础层中不存在非参考帧，那么分配模块22选定至少一个参考帧以从基础层移动到增强层。在某些方面中，分配模块22可移动在时间上位于帧内编码帧之前和附近的参考帧。举例来说，分配模块22可重新指派在时间上恰位于I帧或信道切换帧(CSF)之前的参考帧。CSF一般将被帧内编码以有助于立即存取信道。因为帧内编码帧是在未参考任何其它在时间上定位的帧的情况下来编码，所以移动在时间上恰位于帧内编码帧之前的参考帧并不影响后续帧的解码。此外，就参考帧是由增强层中的一个或一个以上帧参考来说，如果接收到依赖于参考帧的增强层中的帧，那么将接收到参考帧。在其它方面中，分配模块22可移动在时间上位于帧内编码帧之前和附近的参考帧，例如，帧内编码帧之前的两个或三个帧。
在其它方面中，分配模块22可移动位于超帧或其它数据区段的末端附近的参考帧。在此状况下，编码装置12可调整一个或一个以上参考数据。举例来说，分配模块22可请求编码模块20重新编码基础层的依赖于经重新指派的参考帧的一个或一个以上帧以包括对基础层中的不同帧的参考。或者，如果依赖于经重新指派的帧的帧是使用多个参考帧来编码的，那么参考数据产生器24可仅移除对重新指派给增强层的参考帧的参考。当解码基础层的后续帧时，调整参考数据可减小未接收到增强层的影响。然而，在某些方面中，编码装置12可不调整任何参考数据，且改为仅留下对经重新指派的帧的参考。在此状况下，如果接收到具有参考帧的增强层，那么解码装置14可正常解码数据。如果未接收到包括参考帧的增强层，那么解码装置14可执行错误校正以计及参考帧的遗失数据。
在基础层与增强层之间分配帧之后，编码装置12经由调制器/传输器26在网络16(图1)上传输帧。调制器/传输器26可包括适当的调制解调器、放大器、滤波器和频率转换组件以支持在网络16上调制和无线传输经编码的多媒体序列。如上所述，调制器/传输器26可使用阶层式调制以在相同载波或副载波上但以导致不同可靠性的不同传输特性来传输基础层和增强层。换句话说，经由经调制的信号的较可靠部分来传输基础层，而经由经调制的信号的较不可靠部分来传输增强层。举例来说，可采用不同的PER来传输基础层和增强层，使得较可靠地接收到基础层。在某些方面中，编码装置12可经装备以用于双向通信，且因此可包括发射组件和接收组件两者且能够编码并解码多媒体数据。
前述技术可个别实施于编码装置12中，或此类技术中的两者或两者以上或全部此类技术可一起实施于编码装置12中。编码装置12中的组件是适用于实施本文中所描述的技术的组件的示范。然而，编码装置12可包括许多其它组件(如果需要)以及组合上述模块中的一者或一者以上的功能性的较少组件。然而，为了易于说明，在图2中未展示此类组件。
编码装置12中的组件可实施为一个或一个以上处理器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。将不同特征描绘为模块旨在强调编码装置12的不同功能方面且未必暗示此类模块必须由单独硬件或软件组件来实现。事实上，与一个或一个以上模块相关联的功能性可集成于共同或单独硬件或软件组件内。因此，本发明不应限于编码装置12的实例。
图3是进一步详细说明解码装置14的框图。解码装置14包括解调器/接收器30、选择性解码模块32和参考数据分析模块38。解调器/接收器30经由网络16而接收经编码的帧序列。类似于调制器/传输器26，解调器/接收器30可包括适当调制解调器、放大器、滤波器和频率转换组件以支持来自网络16(图1)的经编码的多媒体序列的接收和解调。在某些方面中，解码装置14可经装备而用于双向通信，且因此可包括发射组件和接收组件两者且能够编码并解码多媒体数据。
如上所述，编码装置12可使用阶层式调制以传输具有导致不同可靠性的不同传输特性的基础层和增强层中的经编码的帧序列。因此，在某些情况下，例如，当解码装置14远离网络16的传输塔时，解码装置14可仅接收基础层的经编码的帧。在其它情况下，例如，当解码装置14较接近网络16的传输塔时，解码装置14可从基础层和增强层两者接收帧。
选择性解码模块32解码接收到的序列的经编码的帧。特定来说，如果接收到增强层，那么选择性解码模块32解码基础层的帧和增强层的帧。在解码经编码的帧时，选择性解码模块32使用用于编码帧的冗余而解码帧。特定来说，选择性解码模块32使用同一帧内的空间冗余以解码帧内编码帧。类似地，选择性解码模块32使用一个或一个以上参考帧的时间冗余以解码帧间编码帧。
选择性解码模块32根据来自参考数据分析模块38的参考数据而解码序列的经编码的帧。参考数据分析模块38识别指示接收到的经编码的多媒体序列中的帧内编码帧或区块和帧间编码帧或区块定位之处的参考数据。另外，参考数据分析模块38可识别指示帧间编码帧的参考帧的位置的参考数据。选择性解码模块32使用经识别的参考帧(如果可用)来解码帧间编码帧。
如上所述，增强层包括从基础层移动以平衡基础层与增强层的大小的至少一个参考帧。必要时，当接收到增强层时，选择性解码模块32使用增强层中的参考帧的数据来解码基础层的至少一个帧。然而，当未接收到增强层时，选择性解码模块32不具有来自增强层中的参考帧的数据来成功解码基础层的帧。在某些方面中，选择性解码模块32可解码与帧对应的CSF，所述帧包括对增强层的遗失参考帧的参考。在另一实例中，参考遗失参考帧的帧可参考多个参考帧来编码，且选择性解码模块32可仅使用其它参考帧而解码参考遗失参考帧的帧。另外，错误校正模块(未图示)可使用一个或一个以上错误校正算法以试图校正错误。
当增强层数据为可用的，即，当已成功接收到增强层数据时，选择性解码模块32组合给定帧或宏区块的基础层和增强层多媒体数据。因此，当接收到基础层和增强层两者时，选择性解码模块32组合所述层以提供高于当仅接收到基础层时的质量的质量。
前述技术可个别实施于解码装置14中，或此类技术中的两者或两者以上或全部此类技术可一起实施于解码装置14中。解码装置14中的组件示范适用于实施本文中所描述的技术的组件。然而，解码装置14可包括许多其它组件(如果需要)以及组合上述模块中的一者或一者以上的功能性的较少组件。此外，解码装置14可包括用于发射和接收经编码的视频的适当调制组件、解调组件、频率转换组件、滤波组件和放大器组件，包括射频(RF)无线组件和天线(适用时)。然而，为了易于说明，在图3中未展示此类组件。
解码装置14中的组件可实施为一个或一个以上处理器、数字信号处理器、ASIC、FPGA、离散逻辑、软件、硬件、固件或其任何组合。将不同特征描绘为模块希望强调解码装置14的不同功能方面且未必暗示此类模块必须由单独硬件或软件组件实现。事实上，与一个或一个以上模块相关联的功能性可集成于共同或单独硬件或软件组件内。因此，本发明不应限于解码装置14的实例。
图4是说明示范性经编码的多媒体序列40的一部分的图。图4中所示的经编码的序列40可对应于多媒体数据的信道。作为一实例，经编码的序列40可对应于ESPN、FOX、MSNBC或另一电视信道。虽然图4中所说明的实例展示用于仅一个信道的经编码的序列40，但本发明的技术适用于用于任何数目的信道的任何数目的经编码的序列。
经编码的序列40包括多个经编码的帧。经编码的帧表示由各种帧间编码技术或帧内编码技术编码的相应输入帧的经压缩的型式。在图4的实例中，经编码的序列40包括I帧I1、P帧P1到P5和B帧B1到B7。帧I1和P1到P5为参考帧。换句话说，经编码的序列40中的至少一个其它帧具有对帧I1和P1到P5中的每一者中的数据的至少一个区块的参考。作为一实例，帧P4可为帧B4和B5的参考帧。另一方面，帧B1到B7为非参考帧，即，无其它帧具有对帧B1到B7的任何区块数据的参考。在参看图4所描述的实例中，虽然所有P帧和I帧为参考帧且所有B帧为非参考帧，但一个或一个以上P或I帧可为非参考帧且一个或一个以上B帧可为参考帧。
如上所述，分配模块22在基础层位流42与增强层位流44之间分配经编码的帧。虽然在图4的实例中仅展示一个增强层，但本文中所描述的技术可用以将来自基础层的帧分配到一个以上增强层或在增强层之间分配来自基础层的帧。基础层位流42初始包括参考帧I1和P1到P5。增强层位流44初始包括非参考帧B1到B7。以虚线说明的帧(即，参考帧P4)指示帧的初始位置。虽然图4中所说明的帧的初始分配使得基础层42包括所有参考帧且增强层44包括所有非参考帧，但分配模块22可将一个或一个以上非参考帧(例如，图4的实例中的帧B1到B7中的一者)初始指派给基础层42。
如上所述，分配模块22可分析基础层42与增强层44之间的帧的分配且基于分析而重新分配一个或一个以上帧。举例来说，当增强层44含有大体上少于基础层42的位的位时，分配模块22可将来自基础层42的帧中的一者或一者以上重新分配给增强层44。具体来说，当基础层42中的位数目超出增强层44中的位数目一阈值时，分配模块22可重新分配一个或一个以上帧。最初，分配模块可将位于基础层42中的任何非参考帧重新指派给增强层44。在图4的实例中，未有非参考帧被初始指派给基础层42。因此，分配模块22选择参考帧中的至少一者以从基础层42移动到增强层44。
如图4中所示，分配模块将参考帧P4从基础层42移动到增强层44。参考帧P4在时间上恰位于帧内编码帧(即，帧I1)之前。因为经帧内编码的(I)帧是在未参考任何其它在时间上定位的帧的情况下来编码，所以移动恰在帧内编码帧之前的参考帧并不会不利地影响后续帧(即，帧I1)的解码。然而，当未接收到增强层44时，移动参考帧P4可在解码装置14处导致稍慢的帧速率且因此在经解码的多媒体序列40中产生某些轻微假象。如上所述，参考帧P4可充当非参考帧B4和B5的参考帧。参考帧P4可继续充当那些帧的参考帧，因为如果接收到包括对帧P4的参考的非参考帧B4和B5，那么将有可能接收到参考帧P4。
说明于图4中的经编码的序列40仅出于示范性目的。如上所述，经编码的序列40可包括帧的不同布置和类型。举例来说，经编码的序列可包括参考帧和非参考帧的不同布置。此外，在时间上位于帧I1之前和附近的参考帧中的任一者可从基础层42移动到增强层44。在其它状况下，例如，帧P2或P3中的一者可从基础层42移动到增强层44。然而，在将P2移动到增强层之前首先将最接近帧I1而定位的参考帧移动到增强层(即，将P3移动到增强层)可为有利的。
图5是说明另一示范性经编码的多媒体序列50的一部分的图。经编码的多媒体序列50大体上与图4的经编码的多媒体序列40一致，只是经编码的多媒体序列50并不包括I帧。事实上，图4的帧I1由另一P帧(即，帧P6)替代。不同于帧I1，帧P6并非帧内编码帧，而是为包括对帧P4的至少一个参考的帧间编码帧。
经编码的多媒体序列50还包括信道切换帧(CSF1)。在此实例中，CSF1为相应输入帧的至少一部分的经帧内编码的型式。换句话说，CSF1是在未参考其它帧的情况下来编码，且因此为可独立解码的。在某些方面中，CSF1可以低于经编码的序列50的其它帧的质量的质量来编码。此外，在序列内的CSF1的时间位置对应于同一多媒体序列中的对应帧间编码帧的时间位置的意义上，CSF1可与帧间编码帧的对应一者在时间上共同定位。在图5中说明的实例中，CSF1与帧P6共同定位。在此状况下，CSF1可被看作对应帧P6中编码的多媒体数据的至少一部分的第二经帧内编码的型式。
在某些方面中，解码装置14可依据是否接收到增强层44而选择性地解码经编码的多媒体序列50。特定来说，当接收到增强层44时，解码装置14可将帧P4用作帧P6的参考帧的来解码帧P6。因此，位于基础层42中的帧P6参考增强层44中的帧。然而，如果解码装置14未接收到增强层44，那么解码装置14可解码CSF1而非帧P6。因为CSF1为帧内编码帧，所以将参考帧P4移动到增强层44并不影响后续帧的解码。
说明于图5中的经编码的序列50仅出于示范性目的。如上所述，经编码的序列50可包括帧的不同布置和类型。举例来说，经编码的序列可包括参考帧和非参考帧的不同布置。此外，在时间上位于CSF1之前和附近的参考帧中的任一者可从基础层42移动到增强层44。举例来说，帧P6(即，对应于CSF1的时间位置的帧)可被移动到增强层位流44。在其它状况下，例如帧P2或P3的其它参考帧可从基础层42移动到增强层44。在这些状况下，如果解码装置14未接收到增强层44，那么解码装置14可解码后续CSF(即，CSF1)。
图6是说明另一示范性经编码的多媒体序列60的一部分的图。经编码的多媒体序列60大体上分别与图4的经编码的多媒体序列40和图5的经编码的多媒体序列50一致，只是经编码的多媒体序列60不包括帧内编码帧(即，I帧或CSF)。事实上，说明于图6中的多媒体序列60的所述部分包括基础层42和包括全部帧间编码帧的增强层44。
多媒体序列60的所述部分包括两个数据区段(例如，超帧SF1和SF2)的一部分。超帧SF1至少包括帧P1到P4和帧B1到B4。超帧SF2至少包括帧P5和P6以及帧B5到B7。然而，超帧SF1和SF2可包括更多或更少帧。另外，超帧SF1和SF2可包括一个或一个以上帧内编码帧(例如，I帧或CSF)。
如图6中所说明，如由箭头62所表示，超帧SF2的第一帧(即，P5)参考超帧SF1的最后帧(即，P4)。换句话说，编码模块20使用帧P4中的时间冗余而编码帧P5的一个或一个以上区块。根据本发明的技术，分配模块22可将来自基础层42的参考帧P4重新指派给增强层44以平衡层的大小。
在某些状况下，编码装置12可在将帧P4从基础层42移动到增强层44后调整帧P5之前向参考。在某些方面中，编码模块20可参考基础层42的帧中的另一帧来重新编码帧P5。在所说明的实例中，如由箭头64所表示，编码装置20可使用帧P3中的时间冗余来重新编码帧P5。在其它方面中，编码模块20可初始参考在时间上先前的一个以上帧(即，帧P3和P4)来编码帧P5。在此状况下，编码模块20可能不重新编码帧P5，而是消除对P4的参考。
在其它状况下，编码装置12可不调整帧P5的前向参考。事实上，编码装置12可留下对P4的参考，即使P4位于增强层44中也如此。在此状况下，解码装置14可基于是否接收到增强层44而选择性地解码接收到的序列。当接收到增强层44时，解码装置14参考增强层中的帧P4而解码帧P5。然而，当未接收到增强层44时，解码装置14使用一个或一个以上错误校正技术以重建帧P5或等待帧内编码帧。
说明于图6中的经编码的序列60仅出于示范性目的。如上所述，经编码的序列60可包括帧的不同布置和类型。举例来说，经编码的序列可包括参考帧和非参考帧的不同布置。此外，虽然在图6中所说明的实例中，超帧SF1的最后参考帧被重新分配给增强层44，但参考帧中的任一者可从基础层42移动到增强层44。
图7是说明根据本发明的技术的编码装置(例如，编码装置12)重新分配一个或一个以上参考帧的示范性操作的流程图。最初，分配模块22在基础层位流与至少一个增强层位流之间分配经编码的帧(70)。在某些方面中，分配模块22基于帧是否被用作参考帧而分配帧。分配模块22可(例如)最初将参考帧指派给基础层且将非参考帧指派给增强层。或者，分配模块22可使用初始分配方案，在所述初始分配方案中一个或一个以上非参考帧被初始指派给基础层。
分配模块22分析所述帧在基础层与增强层之间的分配以确定基础层与增强层是否为大体上相同的大小(72)。当增强层与基础层并非为大体上相同大小时，分配模块22确定增强层是否小于基础层达一预定裕度或阈值(73)。当增强层大于基础层达一预定阈值(即，增强层包括较多位)时，分配模块22将来自增强层的至少一个帧重新分配给基础层(74)。如果存在初始分配给增强层的任何参考帧，那么分配模块22可首先重新分配一个或一个以上参考帧。否则，分配模块22可重新分配以非参考I帧和非参考P帧开始的非参考帧。
当增强层小于基础层达一预定阈值(即，基础层包括较多位)时，分配模块22确定在基础层中是否存在任何非参考帧(75)。当在基础层中存在非参考帧时，分配模块22将来自基础层的非参考帧重新分配给增强层(76)。通过将非参考帧移动到增强层，当解码装置14未接收到增强层时不存在对解码后续帧的影响。
如果在基础层中不存在非参考帧，那么分配模块22将来自基础层的至少一个参考帧重新分配给增强层(77)。在某些方面中，分配模块22可移动在时间上位于帧内编码帧(即，I帧或信道切换帧(CSF))之前和附近的参考帧。举例来说，分配模块22可移动在时间上恰位于帧内编码帧之前的参考帧。因为帧内编码帧是在未参考任何其它在时间上定位的帧的情况下来编码的，所以移动在时间上恰位于帧内编码帧之前的参考帧并不影响后续帧的解码。在其它方面中，分配模块22可移动位于超帧或其它数据区段的末端附近的参考帧。
编码装置12可调整包括对经重新分配的参考帧的参考的一个或一个以上帧的参考数据(78)。举例来说，分配模块22可请求编码模块20重新编码基础层的依赖于经重新指派的参考帧的一个或一个以上帧以包括对基础层中的不同帧的参考。或者，如果依赖于经重新指派的帧的帧是使用多个参考帧来编码的，那么参考数据产生器24可仅移除对重新指派给增强层的参考帧的参考。然而，编码装置12可不调整任何参考数据，且改为仅留下对经重新指派的参考帧的参考。在此状况下，如果接收到具有参考帧的增强层，那么解码装置14可正常解码数据。如果未接收到包括参考帧的增强层，那么解码装置14可执行错误校正以计及参考帧的遗失数据。以此方式，分配模块22平衡基础层与增强层的大小。
当基础层与增强层为大体上相同的大小时，编码装置12传输所述层的帧(79)。调制器/传输器26可使用阶层式调制以在相同载波或副载波上但以导致不同可靠性的不同传输特性来传输基础层和增强层。举例来说，基础层和增强层可以不同PER来传输，使得较可靠地接收到基础层。
图8是说明解码装置(例如，解码装置14)选择性地解码基础层的帧的示范性操作的流程图。解码装置14接收多媒体序列帧(80)。如上所述，解码装置14可依据解码装置14相对于网络16(图1)的位置而仅接收基础层的经编码的帧或接收基础层和增强层两者的经编码的帧。
解码装置14识别基础层中的参考增强层中的帧的内容的帧(82)。解码装置14可分析接收到的参考数据以识别所关注的帧。解码装置14确定是否接收到增强层(84)。当接收到增强层时，解码装置14使用增强层中的对应参考帧的数据来解码基础层中的经识别的帧(86)。
当未接收到增强层时，解码装置14确定是否存在对应于经识别的帧或在经识别的帧之后的CSF(87)。当存在对应于经识别的帧或在经识别的帧之后的CSF时，解码装置14解码CSF而非解码经识别的帧(88)。当不存在对应于经识别的帧的CSF时，解码装置14在不具有来自增强层中的参考帧的数据的情况下解码帧(89)。在某些方面中，例如，当经识别的帧包括对一个以上帧的参考时，解码装置14可使用其它参考帧的数据来解码经识别的帧。在其它方面中，解码装置14可使用一个或一个以上错误校正技术来重建经识别的帧。
基于本文中所描述的教示，应了解，本文中所揭示的方面可独立于任何其它方面而实施且这些方面中的两者或两者以上方面可以各种方式进行组合。本文中所描述的技术可以硬件、软件、固件或其任一组合实施。如果以硬件实施，那么可使用数字硬件、模拟硬件或其组合来实现所述技术。如果以软件实施，那么可至少部分地由包括计算机可读媒体的计算机程序产品来实现所述技术，计算机可读媒体上面存储一个或一个以上指令或代码。
以实例且并非限制的方式，此类计算机可读媒体可包含RAM(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以载送或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它有形媒体。
与计算机程序产品的计算机可读媒体相关联的指令或代码可由计算机来执行，例如，由一个或一个以上处理器(例如，一个或一个以上数字信号处理器(DSP))、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路来执行。
已描述若干方面和实例。然而，对这些实例的各种修改是可能的，且本文中呈现的原理也可应用于其它方面。这些和其它方面在所附权利要求书的范围内。

Claims (15)

1.一种用于处理多媒体数据的方法，所述方法包含：
识别可缩放编码方案的基础层位流中的参考增强层位流的参考帧的至少一部分的至少一个帧；以及
当接收到所述增强层位流时，使用所述增强层位流的所述参考帧中的由所述基础层位流的所述经识别的帧参考的所述部分来解码所述基础层位流的所述经识别的帧。
2.根据权利要求1所述的方法，其进一步包含当未接收到所述增强层位流时，解码对应于所述基础层位流的所述经识别的帧的信道切换帧。
3.根据权利要求1所述的方法，其进一步包含当未接收到所述增强层位流时，解码在所述基础层位流的所述经识别的帧之后的信道切换帧。
4.根据权利要求1所述的方法，其中参考所述增强层位流的所述参考帧的所述部分且参考所述基础层位流中的至少一个参考帧来编码所述基础层位流的所述经识别的帧，所述方法进一步包含当未接收到所述增强层位流时，使用所述基础层位流中的所述至少一个参考帧的数据来解码所述基础层位流的所述经识别的帧。
5.根据权利要求1所述的方法，其进一步包含当未接收到所述增强层位流时，利用一个或一个以上错误校正算法来重建基础层位流的所述经识别的帧。
6.一种用于处理多媒体数据的设备，所述设备包含：
参考数据分析模块，其识别可缩放编码方案的基础层位流中的参考增强层位流的参考帧的至少一部分的至少一个帧；以及
解码模块，当接收到所述增强层位流时，所述解码模块使用所述增强层位流的所述参考帧中的由所述基础层位流的所述经识别的帧参考的所述部分来解码所述基础层位流的所述经识别的帧。
7.根据权利要求6所述的设备，其中当未接收到所述增强层位流时，所述解码模块解码对应于所述基础层位流的所述经识别的帧的信道切换帧。
8.根据权利要求6所述的设备，其中当未接收到所述增强层位流时，所述解码模块解码在所述基础层位流的所述经识别的帧之后的信道切换帧。
9.根据权利要求6所述的设备，其中：
所述基础层位流的所述经识别的帧是参考所述增强层位流的所述参考帧的所述部分且参考所述基础层位流中的至少一个参考帧来编码的，且
当未接收到所述增强层位流时，所述解码模块使用所述基础层位流中的所述至少一个参考帧的数据来解码所述基础层位流的所述经识别的帧。
10.根据权利要求6所述的设备，其中当未接收到所述增强层位流时，所述解码模块利用一个或一个以上错误校正算法来重建基础层位流的所述经识别的帧。
11.一种用于处理多媒体数据的设备，所述设备包含：
用于识别可缩放编码方案的基础层位流中的参考增强层位流的参考帧的至少一部分的至少一个帧的装置；以及
用于当接收到所述增强层位流时使用所述增强层位流的所述参考帧中的由所述基础层位流的所述经识别的帧参考的所述部分来解码所述基础层位流的所述经识别的帧的装置。
12.根据权利要求11所述的设备，其中当未接收到所述增强层位流时，所述解码装置解码对应于所述基础层位流的所述经识别的帧的信道切换帧。
13.根据权利要求11所述的设备，其中当未接收到所述增强层位流时，所述解码装置解码在所述基础层位流的所述经识别的帧之后的信道切换帧。
14.根据权利要求11所述的设备，其中：
所述基础层位流的所述经识别的帧是参考所述增强层位流的所述参考帧的所述部分且参考所述基础层位流中的至少一个参考帧来编码的，且
当未接收到所述增强层位流时，所述解码装置使用所述基础层位流中的所述至少一个参考帧的数据来解码所述基础层位流的所述经识别的帧。
15.根据权利要求11所述的设备，其中当未接收到所述增强层位流时，所述解码装置利用一个或一个以上错误校正算法来重建基础层位流的所述经识别的帧。
CN2011101757000A 2006-12-22 2007-12-22 增强层中的参考帧放置 Pending CN102231833A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US87165506P 2006-12-22 2006-12-22
US60/871,655 2006-12-22
US89235607P 2007-03-01 2007-03-01
US60/892,356 2007-03-01
US11/771,835 US20080152006A1 (en) 2006-12-22 2007-06-29 Reference frame placement in the enhancement layer
US11/771,835 2007-06-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN 200780047177 Division CN101578864A (zh) 2006-12-22 2007-12-22 增强层中的参考帧放置

Publications (1)

Publication Number Publication Date
CN102231833A true CN102231833A (zh) 2011-11-02

Family

ID=39476426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101757000A Pending CN102231833A (zh) 2006-12-22 2007-12-22 增强层中的参考帧放置

Country Status (7)

Country Link
US (1) US20080152006A1 (zh)
EP (1) EP2119237A2 (zh)
JP (1) JP2010515304A (zh)
KR (1) KR101059712B1 (zh)
CN (1) CN102231833A (zh)
TW (1) TW200841745A (zh)
WO (1) WO2008080157A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464910A (zh) * 2014-06-26 2017-02-22 高通股份有限公司 可缩放视频译码中的位流符合性约束

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
JP4691062B2 (ja) * 2007-03-30 2011-06-01 株式会社東芝 情報処理装置
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
CN102067210B (zh) * 2008-05-09 2013-05-15 诺基亚公司 用于对音频信号进行编码和解码的设备和方法
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) * 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) * 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
WO2010030569A2 (en) * 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
US9747371B2 (en) * 2008-10-14 2017-08-29 Disney Enterprises, Inc. Method and system for producing customized content
US8320465B2 (en) * 2008-11-12 2012-11-27 Cisco Technology, Inc. Error concealment of plural processed representations of a single video signal received in a video program
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US20120076204A1 (en) * 2010-09-23 2012-03-29 Qualcomm Incorporated Method and apparatus for scalable multimedia broadcast using a multi-carrier communication system
US20120170490A1 (en) * 2011-01-04 2012-07-05 Qualcomm Incorporated Multimedia content delivery over femtocell
US9241166B2 (en) * 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
KR101507997B1 (ko) * 2012-12-12 2015-04-07 연세대학교 산학협력단 참조 영상 버퍼 관리 장치와 방법 및 상기 장치를 구비하는 영상 부호화 장치
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
CN111093090A (zh) * 2018-10-24 2020-05-01 玲珑视界科技（北京）有限公司 一种基于tcp的组播频道快速切换系统及方法
US20210392352A1 (en) * 2021-07-13 2021-12-16 Intel Corporation Method and system of multi-layer video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464910A (zh) * 2014-06-26 2017-02-22 高通股份有限公司 可缩放视频译码中的位流符合性约束
CN106464910B (zh) * 2014-06-26 2019-10-18 高通股份有限公司 可缩放视频译码中的位流符合性约束

Also Published As

Publication number Publication date
JP2010515304A (ja) 2010-05-06
WO2008080157A2 (en) 2008-07-03
KR20090104038A (ko) 2009-10-05
US20080152006A1 (en) 2008-06-26
KR101059712B1 (ko) 2011-08-30
TW200841745A (en) 2008-10-16
EP2119237A2 (en) 2009-11-18
WO2008080157A3 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
CN102231833A (zh) 增强层中的参考帧放置
CN101578870B (zh) 对可缩放视频译码(svc)方案的增强层进行译码的方法和装置
RU2475998C2 (ru) Многоуровневая структура кодированного битового потока
CN101578871B (zh) 用于可缩放视频译码的粗粒度可缩放性增强层译码的上下文自适应可变长度译码增强
CN101438520B (zh) 无线设备中的多节目观看
JP5307017B2 (ja) リファインメント係数符号化のためのビデオブロックに基づいた可変長符号化テーブル選択
CN101563929B (zh) 用于基础层与增强层之间的多媒体数据重组的方法和设备
CN101627636B (zh) 可缩放视频译码增强层中的精细化和有效系数的组合式游程长度译码的方法和装置
CN101828399B (zh) 用于可缩放位深度的可缩放视频译码方法和设备
CN101637024B (zh) 用于经译码块模式的可变长度译码技术
CN101379741B (zh) 用于无线设备中的多节目观看的多媒体数据处理方法及装置
US8910223B2 (en) Layered coded streaming control for unicast/MBMS interaction
KR101217430B1 (ko) 고속 채널 변경
US20050094726A1 (en) System for encoding video data and system for decoding video data
EP2568708A1 (en) Refinement coefficient coding based on history of corresponding transform coefficient values
CN101822057A (zh) 视频块标头信息的自适应译码
WO2003090472A1 (fr) Procede de codage de longueur variable et procede de decodage de longueur variable
CN101663892A (zh) 数字多媒体信道切换
KR20150043218A (ko) 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
US9264782B2 (en) Method and system for providing realistic broadcasting image
KR20140123914A (ko) 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
EP2852158A1 (en) Image processing device and image processing method
CN101578864A (zh) 增强层中的参考帧放置
KR20060068254A (ko) 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
KR20140106121A (ko) 계층적 위성 방송을 제공하는 다계층 위성방송 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111102