CN1689332A - 用于经ip网络发送可伸缩编码视频的系统和方法 - Google Patents

Abstract

提供一种系统和方法以利于经IP网络(204)传输可伸缩编码视频。公开了一种建议的预处理方法(这里称为多轨道提示)，有效地将分层视频(400)构造为灵活的格式，从而能够按照变化的网络条件、复杂度限制和用户喜好来经数据包切换网络(204)容易地流化分层视频。通用MPEG服务器(205)不需要大规模修改就能够自动使用多个信道(即RTP连接)，从而通过调整要发送的可伸缩层的数目为流化系统提供灵活性，以适应变化的网络条件、复杂度限制和用户喜好。因此，多轨道提示方法扩展了标准互联网流化协议(RTSP、SDP)的功能，使得能够实现灵活的自适应。

Description

用于经IP网络发送可伸缩编码视频的系统和方法

本发明总的来说涉及视频编码方法，更详细地，涉及一种用于经IP网络流化(streaming)可伸缩(scalable)编码视频的方法。

随着宽带技术的迅速发展，可以预见，在不远的将来，视频流化将成为主要的互联网应用。多媒体内容经数据网络包括互联网的实时流化在近年已经逐渐成为普通应用。交互和非交互多媒体应用的范围很广，例如新闻点播、实况网络电视观看、视频会议等，这些都依赖于端到端流化视频技术。为了支持这种发展，WLAN产品成本的降低和由新WLAN技术例如IEEE802.11a和802.11g提供的更高的带宽将最终使它们在视频传输上的应用日益增长。因此，未来的无线视频应用将必须工作在具有有线主干和无线扩展的开放、分层、互联网型的网络上。因此，对于贯穿网络的有线和无线部分的传输将必须使用通用协议。这些协议极可能是基于互联网协议(IP)的现有协议的未来扩展。

由于互联网和无线网络固有的资源共享，未来的多媒体通信将主要使用可变带宽信道。因此，如果使用可变带宽信道经网络执行视频内容的流化，瞬间数据率必须经常调整以适应可用的资源。这可以通过可伸缩视频编码实现。可伸缩视频编码方案能够为经异构网络的传输提供简单灵活的框架，这有许多原因，包括(1)使流化服务器能够在输出大量同时单播(unicast)(点播)的流时执行最小实时处理和速率控制；(2)高度自适应不可预测的带宽变化归因于接收机(例如模拟调制解调器、线缆调制解调器、xDSL等)的异构接入技术和归因于网络条件中的动态变换(例如拥塞事件)；(3)使具有低计算能力的处理器能够仅解码可伸缩视频流的子集；(4)支持组播(multicast)和单播应用；和(5)对数据包和比特误差损失有恢复力。

可伸缩编码方案的例子包括例如MPEG-4精细粒度可伸缩(FGS)、高级FGS、数据分割、MPEG-4空间和数据可伸缩和上升运动补偿小波方案。

MPEG-4系统组已经开发了一种标准媒体文件格式(.mp4)，它本地或远程(例如流化)地包含多媒体表示的定时媒体信息。该格式是专门以高灵活性和扩张性设计的，以利于媒体的互换、管理、编辑和显示。

图1高度抽象地说明了MPEG-4电影文件(即.mp4文件)100的结构，它的结构可以看作是包含了：由编码器产生的基本比特流(即基本比特流(音频)102、基本比特流(视频)104)、引导播放器进行本地重放并且包含例如播放器可用其在适当时间提取正确的媒体数据来显示的定时和数据指针的数据的电影轨道(movie track)(即音频电影轨道106、视频电影轨道108)、用于经基于数据包的网络流化媒体的提示轨道(即音频提示轨道110、视频提示轨道112)，其包含例如服务器可用其从基本比特流产生数据包的数据包头的定时、数据指针和数据的信息。

箭头示出上述各种流之间存在的关系。详细地，视频电影轨道108与视频基本比特流104有关；音频电影轨道106与音频基本比特流102有关；视频提示轨道112与视频电影轨道108有关；和音频提示轨道110与音频电影轨道106有关。

当在流化应用中使用.mp4文件格式时，通常服务器将建立和文件中包含的提示轨道一样多的(实时传输协议)RTP连接。换句话说，在RTP连接和提示轨道之间存在一对一的关系。每个RTP连接将分配一个提示轨道，并负责传送从该轨道产生的数据包。RTP是互联网协议，用于发送实时数据，例如音频和视频。RTP本身并不保证数据的实时传送，但是它提供了发送和接收应用以支持流化数据的机制。通常，RTP运行在UDP协议之上，虽然规范一般足够支持其它传输协议。用户数据报协议是象TCP一样运行在IP网络之上的无连接协议。与TCP/IP不同，UDP/IP几乎不提供误差校正范围，而是以直接的方式经IP网络发送和接收数据报。

上述.mp4文件格式的一个缺点在于它没有明确地解决分层视频流化的要求。如公知的，在分层视频编码中，压缩视频被构建为多个子层。这些层可以逐渐加入来改善视频质量。分层视频编码通常产生一个基本比特流，可以划分为基于不同优先级的子层。对多分层视频流应用普通mp4文件格式的限制是：仅一个RTP连接可用来流化分层视频。这在可伸缩编码中是不希望的，因为这种固定的流化策略不允许对信道通信、复杂度等进行希望的自适应。

因此，本领域需要一种经IP网络流化可伸缩编码视频的结构框架，使服务器能够创建多个RTP连接以便能适应分层视频流的每个子层，该每个子层使得能够获得希望的对信道特性、复杂度等的自适应。

针对前述的需要，本发明提供一种经IP网络流化可伸缩编码视频的结构框架。该新颖的结构对单播和组播均使用多个IP连接来传送可伸缩编码视频。

因此，按照一个方面，本发明是一种用于灵活可伸缩的视频打包的系统(即预处理提示方法、装置和计算机可执行处理步骤)。建议的预处理方法，在这里称为多轨道提示，它有利地向后兼容目前的MPEG-4媒体文件格式标准，因此使它能够使用通用MPEG-4流化服务器，以便按照变化的信道特性、复杂度限制和用户喜好来有效地流化分层视频。即，服务器不需要大规模修改就能够自动使用多个信道(即RTP连接)，从而通过调整要发送的可伸缩层的数目为流化系统提供灵活性以适应网络条件。因此，多轨道提示方法扩展了标准互联网流化协议(RTSP、SDP)的功能，使得能够实现灵活的自适应。

有利地，本发明的提示方法克服了现有技术的限制，即.mp4文件格式不是明确地解决分层视频流化的需求。因此，仅一个RTP连接可用于经IP网络流化分层视频。单个RTP连接是不希望的，这有许多原因，包括不能适用变化的信道特性、复杂度限制和用户喜好。

现在参考附图，其中相同的参考符号始终表示对应的部分：

图1说明了按照现有技术的MPEG-4电影文件的结构；

图2说明了本发明的方法可以在其中实施的视频分配系统；

图3a是图2的视频编码器220的更详细的说明；

图3b是图2的客户机的更详细的说明；和

图4概念地说明了按照发明的一个实施例构建的经IP网络传输的可伸缩编码比特流的分层编码方案。

所附的打印附录结合并构成该说明书的一部分，它说明了本发明的实施例，并和描述一起用于解释本发明的原理。附录以伪码书写。

附录1包含对于FGS多轨道提示的算法的描述。函数max_channel_allocation(i)将确定分配给与第i个提示轨道关联的第i个RTP连接的比特率。因此，算法在提示阶段预定了流化信道的比特率。还要注意，在考虑特定网络条件和编解码器特性时，也可以改良算法，使打包和速率分配更优化。但是，这些算法是专用的，将不在此文中进一步讨论。

在以下描述中，为了解释而不是限制的目的，提出了特定的细节，例如特定结构、接口、技术等，以便于彻底理解本发明。为了简单明了，省略了公知装置、电路和方法的细节描述，以免本发明的描述被不必要的细节模糊。

通常，以下描述的技术可以结合在各种可伸缩编码方案中来改善增强层的稳健性。编码方案是在经网络(例如互联网或无线网络)传送可伸缩比特流的环境中描述的。但是，分层视频编码方案普遍适用于各种环境。此外，技术是在MPEG-4编码方案的环境中描述的，虽然技术也可应用于其它基于运动补偿的多层视频编码技术。

MPEG-4系统组已经开发并标准化了经IP网络对“不可伸缩”编码视频流化的策略。但是，发明者已经认识到，需要一种新颖的用于“可伸缩”视频格式的传输的流化结构，以能够有效地适应变化的频道条件、复杂度限制和用户喜好。发明者还进一步认识到，可伸缩视频流化系统结构应当兼容MPEG-4系统组定义的不可伸缩流化系统结构，以使通用MPEG-4流化服务器能够发送可伸缩和不可伸缩视频格式。

为此，发明涉及解决由MPEG-4系统组定义的.mp4文件格式中出现的问题，因为.mp4文件格式没有明确地解决分层视频流化的需求。详细地，目前还没有机制用于创建多个RTP连接，以利用分层编码提供的可伸缩性的优点。因此，本发明提供一种经IP网络流化可伸缩编码视频的结构框架，使服务器能够创建多个RTP连接以便适应分层视频流的每个子层，该每个子层使得能够获得希望的对信道特性、复杂度、客户喜好等的自适应。

虽然将不在这里提供MPEG-4标准的详细描述，但是将提出该标准的某些方面的概述，以利于理解本发明。

MP4文件格式最初基于QuickTime，设计为将MPEG-4显示的媒体信息包含在有助于媒体的互换、管理、编辑和显示的灵活的、可扩展的格式中。MP4中的媒体数据和描述标题一起封装在帧中。元数据通过参考而不是包含地用于描述媒体数据特性(媒体类型、时间戳、尺寸...)。MPEG-4系统的规范使用“.mp4”作为文件标识扩展名，它具有特定的方式来处理经IP网络对不可伸缩编码视频的流化：编码的内容作为媒体轨道(例如音频是一个媒体轨道，视频是另一个媒体轨道等)存储在.mp4文件格式中(参见图1)。此外，传输机制可以通过增加特定提示轨道存储在文件中，每个媒体轨道一个：通过这样的机制，在媒体轨道中，单个文件可以作为媒体数据自身的单个容器使用，在提示轨道中，对于传输特定数据也是如此。MPEG-4文件格式定义得很标准：存储在媒体轨道中的数据条目是MPEG-4访问单元，其通常大于网络数据包。提示轨道的任务则是存储有关网络数据包如何形成、如何填充的信息：提示轨道实际包含预分段信息，以便服务器知道如何将每个访问单元分割为网络数据包。因此，可以先产生媒体轨道并将它们存在.mp4文件中，然后使用分立的提示器程序，以便解析该文件、分析访问单元结构并产生适当的附加提示轨道。

图2示出了视频分配系统200，其中视频源(例如摄像机)产生要被编码器220编码的视频内容，然后由提示器230从中产生一个或多个提示轨道，用于经IP网络204由通用MPEG-4流化服务器205至客户机206分配。网络204是多种不同类型的网络的表示，包括互联网、LAN(局域网)、WAN(广域网)、SAN(存储域网)和无线网(例如卫星、蜂窝、RF等)。虽然说明的示例描述了视频内容经网络204的分配，但是本发明可以更广泛地应用于多媒体内容的分配，包括视频、音频、图形、文本等。图2还示出了视频存储单元210，用于存储例如可由视频源202产生的数字视频文件。

视频编码器220可以在软件、固件和/或硬件中实现。编码器220为了讨论的目的而显示为分立的独立模块，但是可以构造为处理器(未示出)的一部分或结合在操作系统(未示出)或其它应用(未示出)中。

图3a是图2的视频编码器220的更详细的说明。如所示，视频编码器220配备有基层编码部件222和增强层编码部件224。视频编码器220将视频数据编码到多个层中，包括基层和增强层。基层编码部件222将视频数据编码到基层中。基层编码部件222产生基层基本比特流(基层视频)402(参见图4)，它可以被传统的误差防护技术(例如FEC(前向纠错)技术)保护。

视频编码器220增强层编码部件224编码增强层。增强层编码部件224创建单个基本比特流(增强层视频)404(参见图4)，它独立于基层比特流，经网络204由通用MPEG-4流化服务器205至客户机206全部或部分发送。增强层编码器将唯一再同步标记和标题扩展码插入增强比特流，以利于增强比特流的句法和语义误差检测和防护。

图3b是图2的客户机206的更详细的说明。如所示，客户机206配备有处理器330、存储器332、适配器340、重组器(reassembler)342、视频解码器344和一个或多个媒体输出装置346。视频解码器344具有基层解码部件352和增强层解码部件354，以及任选地具有比特平面编码部件356。

在解码以后，客户机206将视频存储在存储器332中，和/或经一个或多个媒体输出装置346播放视频。客户机206可以以许多不同的方式实现，包括计算机、手持娱乐装置、机顶盒、电视机、专用集成电路(ASIC)等。

图4概念地说明了由图2的视频编码器220执行的分层编码方案400。为了构成经IP网络传输的可伸缩编码比特流，比特流必须被分层。

按照本发明的原理，编码器220将多帧视频数据压缩编码为多个层，包括基层(例如基层视频402)和多个增强层(例如增强层视频404)。

为了讨论的目的，图4说明了九个层：构成高优先级部分(partition)的基本比特流(基层视频)402、构成低优先级部分的基本比特流(增强层视频)404、基层电影轨道406(高优先级部分)、增强层电影轨道408(低优先级部分)、基本比特流(基层视频)402的提示轨道410、和作为本发明关键特征的增强层电影轨道408的多个提示轨道412、414、416、418。

为了克服现有技术的限制，本发明引入产生多个提示轨道412、414、416、418的概念，从而有利于使视频数据通过网络204的发送自适应于变化的信道特性、复杂度限制和用户喜好。当单个电影轨道(例如增强层电影轨道408)由多个提示轨道(例如提示轨道412、414、416、418)提示时，由增强层电影轨道408指示的基本流将被多个RTP连接经网络传送。如此，提供了现有技术所没有的灵活性，其中流化系统能够使视频质量适应网络条件。即，仅那些提示轨道会被服务器用于从相应的基本比特流提取数据来发送。

换句话说，在多个可用的提示轨道(例如412、414、416、418)中，仅使用满足以下一个或多个准则的那些提示轨道：现行的网络通信条件、复杂度限制、用户喜好。例如，在网络条件改变时，服务器可以从多个可用的提示轨道中使用更多或更少的提示轨道以便于电影轨道408的传输。

本发明的另一关键特征是多个可用的提示轨道(例如412、414、416、418)包含可被任意通用MPEG-4流化服务器(例如服务器205)使用的数据信息，避免了使用专门或特定硬件的需要。

还应当认识到，增强层电影轨道408仅被虚拟地划分为多个提示轨道412、414、416、418。即，增强层电影轨道408保持物理不变，因此和原始为本地重放构造的一样可用并且完整。

进一步要认识到，本发明的多轨道提示方案不限于上述分层编码情况。而是，该方案具有更通用的应用，例如可以通过将提示轨道与每个不同种类的视频帧(即I、P和B帧)关联来适用于视频流。由此，容易地实现了时间视频可伸缩。

可以理解这里描述的系统、功能、方法和模块可以在硬件、软件或硬件和软件的组合中实现。它们可以通过任意种类的计算机系统或其它适于执行这里描述的方法的装置实现。硬件和软件的典型组合可以是通用计算机系统，具有在装载和执行时控制计算机从而执行这里描述的方法的计算机程序。可替换地，可以使用包含用于执行本发明的功能任务的一个或多个的特定硬件的专用计算机。本发明还可嵌入计算机程序产品中，其包括所有使这里描述的方法和功能能够实现的特征，在装载到计算机系统中时，能够执行这些方法和功能。本发明文中的计算机程序、软件程序、程序、程序产品或软件是指一组用于使具有信息处理能力的系统直接或在如下步骤之后执行特定功能的代码或表示法的任何语言的表达：(a)转换为另一种语言、代码或表示法；和/或(b)以不同的材料形式重现。

为了说明和描述的目的，以上已经提出了对本发明优选实施例的描述。这些不是详尽的，也不是将发明限于公开的精确形式，显然，按照以上教导可以进行许多修改和变化。这些修改和变化对于本领域技术人员来说是显而易见的，应当包括在所附权利要求定义的本发明的范围内。

Claims (13)

1.一种用于经网络(204)流化可伸缩编码视频的方法，该方法包括：

a)编码表示所述可伸缩编码视频的基层(406)的第一比特流；

b)编码表示所述可伸缩编码视频的增强层(408)的第二比特流；

c)产生第一提示轨道(410)，以利于经所述网络(204)传输所述编码的第一比特流(基层)(406)；和

d)产生多个增强层提示轨道(412)、(414)、(416)、(418)，以利于经所述网络(204)传输所述第二比特流(增强层)(408)的至少一部分。

2.如权利要求1的方法，进一步包括步骤：

e)按照所述第一提示轨道(410)内包含的数据元经所述网络(204)发送所述编码的第一比特流(基层)(406)；

f)确定要经所述网络(204)发送的所述编码的第二比特流(增强层)(408)的所述至少一部分；和

g)按照所述多个增强层提示轨道(412)、(414)、(416)、(418)中的一个或多个增强层提示轨道内包含的数据元，经所述网络(204)发送所述编码的第二比特流(增强层)(408)的所述确定部分。

3.如权利要求2的方法，其中确定要发送的所述编码的第二比特流(408)的一部分的所述步骤(f)，按照现行网络条件、网络带宽变化、网络复杂度限制和用户喜好中的至少一个来进行。

4.如权利要求2的方法，其中发送所述编码的第二比特流(408)的所述确定部分的所述步骤(g)进一步包括步骤：

1)从所述多个增强层提示轨道(412)、(414)、(416)、(418)中识别满足要发送的所述确定部分所需的那些增强层提示轨道；和

2)为每个所述识别的增强层提示轨道建立独立的端到端网络连接。

5.如权利要求4的方法，其中所述建立的端到端网络连接是RTP连接。

6.如权利要求1的方法，其中d)产生多个增强层提示轨道(412)、(414)、(416)、(418)以利于经所述网络传输所述第二比特流(增强层)(408)的至少一部分的所述步骤(d)进一步包括保持所述增强层(408)用于本地重放。

7.一种用于经网络(204)流化可伸缩编码视频的系统，该系统包括：

用于编码(220)表示所述可伸缩编码视频的基层(406)的第一比特流的装置；

用于编码(220)表示所述可伸缩编码视频的增强层(408)的第二比特流的装置；

用于产生(230)第一提示轨道(410)，以利于经所述网络(204)传输所述编码的第一比特流(基层)(406)的装置；和

用于产生(230)多个增强层提示轨道(412)、(414)、(416)、(418)，以利于经所述网络(204)传输所述第二比特流(增强层)(408)的至少一部分的装置。

8.如权利要求1的系统，进一步包括：

用于按照所述第一提示轨道(410)内包含的数据元经所述网络(204)发送所述编码的第一比特流(基层)(406)的装置；

用于确定要经所述网络(204)发送的所述编码的第二比特流的所述至少一部分的装置；和

用于按照所述多个增强层提示轨道(412)、(414)、(416)、(418)中的一个或多个增强层提示轨道内包含的数据元，经所述网络(204)发送所述编码的第二比特流(增强层)(408)的所述至少一部分的装置。

9.如权利要求8的系统，其中用于确定要发送的所述编码的第二比特流的所述至少一部分的所述装置，按照现行网络条件、网络带宽变化、网络复杂度限制和用户喜好中的至少一个来制造。

10.如权利要求8的系统，其中用于发送所述编码的第二比特流(408)的所述确定部分的所述装置进一步包括：

用于从所述多个增强层提示轨道(412)、(414)、(416)、(418)中识别满足要发送的所述编码的第二比特流(408)的所述至少一部分所需的那些增强层提示轨道的装置；和

用于为所述多个增强层提示轨道(412)、(414)、(416)、(418)中的每个所述识别的增强层提示轨道建立独立的端到端网络连接的装置。

11.如权利要求10的系统，其中所述建立的端到端网络连接是RTP连接。

12.如权利要求7的系统，进一步包括用于保持所述增强层(408)以用于本地重放的装置。

13.如权利要求7所述的系统，其中所述编码器(220)是MPEG-4编码器。

Images