[go: up one dir, main page]

CN104285411A - 在多个无线电链路上分发分层多媒体流 - Google Patents

在多个无线电链路上分发分层多媒体流 Download PDF

Info

Publication number
CN104285411A
CN104285411A CN201280073120.3A CN201280073120A CN104285411A CN 104285411 A CN104285411 A CN 104285411A CN 201280073120 A CN201280073120 A CN 201280073120A CN 104285411 A CN104285411 A CN 104285411A
Authority
CN
China
Prior art keywords
radio
layer
computing device
systems
media stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280073120.3A
Other languages
English (en)
Inventor
N·希玛亚特
V·古普塔
V·S·索马雅祖鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104285411A publication Critical patent/CN104285411A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在此描述了用于在多个无线电链路上编码和传送分层多媒体流的装置、计算机实现的方法、系统、设备和计算机可读介质的实施例。在各种实施例中，可以在多无线电计算设备处通过第一无线电链路接收多媒体流的第一层。在各种实施例中，可以在多无线电计算设备处通过第二无线电链路接收多媒体流的第二层。在各种实施例中，由多无线电计算设备通过第一或第二无线电链路把关于第一和第二无线电链路的反馈传送给被配置为在第一和第二无线电链路当中分发多媒体流的各层的远程计算设备。

Description

在多个无线电链路上分发分层多媒体流
领域
本发明的各实施例通常涉及数据处理的技术领域，尤其涉及在多个无线电链路上分发分层多媒体流。
背景
在此提供的背景描述用于一般地呈现本公开内容的上下文的目的。当前署名的发明人的工作(在此背景部分中描述的程度上)以及在提交申请时可能无法以其他方式有资格成为现有技术的本说明书的各方面，既不明示也不暗示地被承认是针对本公开内容的现有技术。除非本文另有说明，否则本节中描述的方法对本公开内容中的权利要求来说不是现有技术，并且通过包括在该部分中不承认其为现有技术。
多媒体流量的增长，尤其是流向便携式计算设备例如智能电话和平板的多媒体流量的增长，可能会使包括蜂窝式网络的各种网络的容量紧张。多种计算设备可以具有多个无线电接口，例如蜂窝式接口和无线局域网(“WLAN”)接口，例如Wi-Fi(IEEE 802.11系列)接口。
可以用分层流传输各种类型的多媒体例如音频(例如，音乐、IP语音或“VOIP”)和视频。举例来说，视频流可经由相对低分辨率的基础层和用于增强基础层的一个或多个增强层来分发。基础层可以是最重要的层，且因此可以确保最可靠的传送机制。举例来说，基础层可以提供足够的数据以便实施低分辨率视频会议，但是可能不容许太多的细节。另一方面，增强层可被给予较低的优先级，这是因为尽管它们可以增强多媒体体验，但它们对于基本流传播来说可能不是必要的。基础层可以与一个或多个增强层组合，以提供在空间、时间和质量维度上增加的视频质量。如果客户机拥有微弱的蜂窝式信号(例如，在郊区)，客户机可以选择接收基础层而不是增强层。
附图简述
通过下列详细描述，结合附图，可以容易理解各实施例。为了促进这一描述，类似的标号指定类似的结构元素。在附图的各图中，作为示例而非限制阐释各实施例。
图1示意性地阐释根据各种实施例的可以在其上传送分层多媒体流的示例分发多无线电网络。
图2示意性地阐释根据各种实施例的带有集成多无线电网络接入节点的示例多无线电网络。
图3示意性地阐释根据各种实施例的示例对等多无线电网络。
图4示意性地阐释根据各种实施例具有带有缓存能力的中间节点的示例多无线电网络。
图5示意性地阐释根据各种实施例如何分层多媒体分层并将其从内容提供商计算设备递送给多无线电客户机计算设备的示例。
图6示意性地叙述根据各种实施例由多无线电客户机计算设备实现的示例方法。
图7示意性地叙述根据各种实施例由内容提供商计算设备或中间网络节点实现的示例方法。
图8示意性地叙述根据各种实施例可以在其上实现所公开的方法和计算机可读介质的示例计算设备。
详细描述
在下列详细描述中，参见附图，附图形成下列详细描述的一部分，其中，类似的数字始终指示类似的部分，且附图中，作为举例示出可以实践的实施例。应理解，可以利用其他实施例，且可以在不偏离本公开内容的范围的前提下做出结构或逻辑改变。因此，不应以限制意义来理解下列详细描述，且各实施例的范围由所附权利要求及其等效物界定。
可以以最有助于理解所要求保护的本主题的方式把各种操作描述为依次的多个独立的动作或操作。然而，不应把描述的次序解释成暗示这些操作必定与次序有关。尤其，可以不按照呈现的次序执行这些操作。可以按与所描述的实施例不同的次序来执行所描述的操作。可以执行各种额外的操作，和/或，在额外的实施例中可以忽略所描述的操作。
对于本公开内容的目的，短语“A和/或B”意味着(A)、(B)、或(A和B)。出于本公开内容的目的，短语“A、B和/或C”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
本描述可以使用短语“在一实施例中”或“在各实施例中”，它们都可以是指一个或多个相同的或不同的实施例。此外，相对于本公开内容的各实施例使用的术语“包括”、“包含”、“具有”等等是同义的。
在此所使用的术语“模块”可以是指执行一个或多个软件或固件程序、组合逻辑电路和/或提供所描述的功能性的其他合适的组件的专用集成电路(“ASIC”)、电子电路、处理器(共享、专用、或组)和/或存储器(共享、专用、或组)，可以是它们的一部分，或者可以包括它们。
如背景部分中所指出的，多种计算设备，尤其是诸如智能电话和平板等的便携式计算设备，可以包括多个无线电接口。在多个网络路径上的同时数据传送，包括到多无线电计算设备的多个无线电接口的同时数据传送，可以跨越日益稀缺的网络资源允许利用更多带宽。它也可以促进增加的可靠性和/或冗余度。
分层多媒体流传播应用可以利用诸如传输控制协议(“TCP”)等的所谓的“可靠”传输层协议，和/或诸如用户数据报协议(“UDP”)等的所谓的“尽力而为(best effort)”传输协议。在传输协议的上面，这些应用可以把实时传输协议(在征求注解文件(Request for Comments)3350所定义的“RTP”)用于定时和同步。
在各种实施例中，接收多媒体流的计算设备可以使用实时控制协议(“RTCP”)来提供与形成多媒体流RTP流相关的服务质量(“QoS”)反馈。接收计算设备也可以使用RTCP来同步多个相关的RTP数据流，例如，对应于相同的多媒体流的音频和视频。在各种实施例中，RTP和RTCP可以与实时流传播协议(在征求注解文件2326中定义的“RTSP”)联合使用，该协议可以控制介质递送和呈现。在各种实施例中，可以使用会话发起协议(在征求注解文件3261中定义的“SIP”)来发起多媒体流，且可以使用会话描述协议(在征求注解文件4566中定义“SDP”)来描述多媒体流的特性。
分层多媒体流可以包括多个层。举例来说，如背景中所指出的，分层视频流可以包括基础层和增强层。在各种实施例中，H.264高级视频编码(“AVC”)标准可以用于视频录制、视频的压缩和分发，包括高清(“HD”)视频。
H.264可缩放视频编码(“SVC”)标准是H.264 AVC标准的扩展，它可以给H.264 AVC提供分层能力。SVC也可以通过层选择和修剪来允许编码后的比特率改变。与提供视频编码层(“VCL”)和独立的网络改变层(“NAL”)的整体H.264方法一致，SVC可以定义标识携带已编码视频的每一分组的关键可缩放性特性的NAL分组首部扩展。征求注解文件6190描述可以允许在RTP分组中包括SVC NAL单元的有效载荷格式。除了其他事项以外，RTP有效载荷格式可以促进在单个和多个会话(例如，RTP会话)两者上传送SVC编码视频。由于可以使用例如征求注解文件6184中描述的用于H.264视频的RTP有效载荷格式来把视频流的基础层封装在其自己的RTP流中，这可以与H.264 AVC保持向后兼容性。
如在此描述的，这些协议(例如，SVC、RTP、RTCP、SIP、SDP)可以用来促进分层多媒体流在多无线电网络上的有效的和/或可靠的端对端传输。在此描述的控制和递送机制和技术可以用于各种多无线电网络配置。
图1中示意性地叙述多无线电网络的第一配置100。配置100可以被称为“分布式”配置，这是因为在基础设施上的不同的接入网络之间可以不存在耦合。多无线电客户机计算设备102可以包括到第一类型无线电网络的第一无线电接口104。在图1中，第一无线电接口104是无线局域网(“WLAN”)接口，但不要求如此。在各种实施例中，第一无线电接口104可以包括天线。第一无线电接口104可以在无线电波上与第一无线电网络接入节点106交换数据，图1中第一无线电网络接入节点106被示出为Wi-Fi(IEEE 802.11系列，在此称为“WiFi”)接入点。多无线电客户机计算设备102也可以包括第二无线电接口108，图1中第二无线电接口108被示出为蜂窝式无线广域网(“WWAN”)接口。在一些实施例中，第二无线电接口108可以包括与另一无线电网络接入节点110通信的天线，图1中另一无线电网络接入节点110被示出为蜂窝式节点(被标记为“蜂窝”)。在各种实施例中，无线电网络接入节点110可以是各种类型的WWAN接入点，例如节点B、演进节点B(“eNB”)、毫微微eNB，WiMAX(IEEE 802.16系列)基站等等。多无线电客户机计算设备102可以是各种类型的设备，例如智能电话、平板、膝上型计算机、机顶盒、游戏控制台等等。
在各种实施例，例如图1中所叙述的实施例中，第一无线电接口104和第二无线电接口108可以具有两个独立的地址，例如IP地址A和IP地址B。然而，这不意味着限制，且如下面将描述的，在一些实施例中，客户机设备上的多个无线电接口可以共享单个IP地址。
尽管是独立的，但在各种实施例中，无线电网络接入节点106和110可以是单个运营商管理的网络的一部分。在各种实施例中，无线电网络接入节点106和110可以独立地连接到分组数据网络(“PDN”)网关(“GW”)112。在各种实施例中，PDN GW 112可以通过一个或多个局域网和广域网(诸如因特网114)连接到内容提供商计算设备116。内容提供商计算设备116可以是各种类型的计算设备，例如服务器计算设备、台式计算机或膝上型计算机、或可以被配置为编码视频流和/或把视频流分发给一个或多个多无线电客户机计算设备(例如，102)的任何其他设备。
图2中示意性地叙述多无线电网络体系结构的第二配置200。图2中的大多数组件类似于图1中的那些组件。多无线电客户机计算设备202可以包括第一无线电接口204(被示为WLAN)和第二无线电接口208(被示为WWAN)，它们可以分别与第一无线电网络接入节点206和第二无线电网络接入节点210通信。然而，配置200与图1的不同之处在于，用于多种类型的无线电网络的多个无线电网络接入节点可以协同工作，且在一些情况中可以是单个计算设备的一部分。举例来说，在图2中，第一无线电网络接入节点206和第二无线电网络接入节点210被组合到集成式无线电网络接入节点218中。因而，第一无线电网络接入节点206和第二无线电网络接入节点2210可以具有到PDN GW 212的单个连接，PDN GW 212又可以通过因特网214连接到内容提供商计算设备216。在这一示例中，多无线电客户机计算设备202可以具有用于第一无线电接口204和第二无线电接口208两者的单个IP地址，但不要求如此。在各种实施例中，基于来自多无线电客户机计算设备202的反馈，集成无线电网络接入节点218可以利用无线电资源控制(“RRC”)来跨越多个无线电链路把多媒体流的各层(例如，视频流的SVC层)映射到例如第一无线电接口204、第二无线电接口208。
图3中示意性地叙述第三多无线电网络配置300。由于至少一个多无线电客户机计算设备302本身充当内容服务器，配置300可以被描述为“对等”。举例来说，当用户使用视频聊天通信时，可以应用这种配置。多个无线电网络接入节点306和310可以连接多个多无线电客户机计算设备302。在一些实施例中，多无线电客户机计算设备302可以被配置为直接地相互通信而不需要任何中间节点(例如，无需PDN GW 312或无线电网络接入节点306/310)。在图3的实施例中，每一多无线电客户机计算设备302上的第一无线电接口304和第二无线电接口308具有其自己的IP地址，但不要求如此。
多无线电网络基础设施的其他节点也可以作为内容提供商工作。图4示出一个这样的示例配置400。大多数组件类似于图1和图2中所示出的那些，且将不再次描述。然而，在这一示例中，集成无线电网络接入节点418可以包括高速缓存存储器460，用于缓存本地分层多媒体数据以供递送给多无线电客户机计算设备402。类似地，PDN GW 412也可以包括高速缓存存储器462，用于缓存本地分层多媒体数据以供递送给集成无线电网络接入节点418。在一些实施例中，集成无线电网络接入节点418和/或PDN GW 412可以包括用于基于来自多无线电客户机计算设备402的反馈跨越多个无线电链路映射多媒体流的各层(例如，映射到第一无线电接口404和/或第二无线电接口408)的逻辑(未示出)。在一些实施例中，诸如集成LTE/WiFi基站等的毫微微节点也可以被配置为跨越多个无线电链路映射多媒体流的各层。作为另一示例，充当多个连接的移动通信锚点的“归属代理(home agent)”也可以被配置为跨越多个无线电链路映射多媒体流的各层。
可以以各种方式在图1-图4中所示出的各种体系结构上把分层多媒体流从内容提供商计算设备(例如，116、216、302、416)传送给多无线电客户机计算设备(例如，102、202、302、402)。参见图1，在一些实施例中，多无线电客户机计算设备102和内容提供商计算设备116可以利用专有协议来自促进分层多媒体流从内容提供商计算设备116到多无线电客户机计算设备102的传送。其他实施例可以利用非专有协议，例如RTCP和SDP。
可以在内容提供商计算设备(例如，116、216、302、416)和多无线电客户机计算设备(例如，102、202、302、402)之间建立单个或多个会话，以便传送分层多媒体流。例如，多无线电客户机计算设备102可以利用诸如SIP和SDP等的协议来与内容提供商计算设备116建立单个会话(例如，RTP会话)，以供传送分层多媒体流。在各种实施例中，可以使用SIP来发起会话，且可以使用SDP来描述会话。多无线电客户机计算设备102也可以与内容提供商计算设备116建立多个会话(例如，RTP会话)以便传送分层多媒体流。然后，基于从多无线电客户机计算设备102接收到的反馈，内容提供商计算设备116可以跨越多个RTP会话调节和/或映射多媒体流的各层(例如，H.264 SVC层)。
在各种实施例中，可以由内容提供商计算设备(例如，116、216、302、416)例如在第一无线电接口104和第二无线电接口108处把特定会话(例如，RTP会话)的分组传送给单个IP地址(例如，单个UDP/IP会话)或多个IP地址(例如，多个UDP/IP会话)。例如，SVC可以用来把视频流的多个层(例如基础层和一个或多个增强层)映射到第一无线电接口104和第二无线电接口108。在各种实施例中，SDP“连接描述符”可以被配置为给单个会话(例如RTP会话)指定多个单播IP地址。
参见图1，在各种实施例中，可以在内容提供商计算设备116和多无线电客户机计算设备102之间建立控制链路120(图1中用虚线示出)。如上所述，诸如专有协议或在此描述的其他协议等的各种协议可以用来建立控制链路120和/或在控制链路120上交换信息。可以基于各种准则(例如哪个无线电链路更可靠)通过第一无线电接口104或第二无线电接口108中的任一种建立控制链路120。控制链路120可以用来交换关于多个无线电链路和/或多无线电客户机计算设备102的控制信息。从多无线电客户机计算设备102发送到内容提供商计算设备116的控制信息可以被称为“反馈”。
在各种实施例中，反馈可以包括但不限于关于链路质量、体验质量(“QoE”)、在多个链路当中的IP连通性、多无线电客户机计算设备102的能力(例如，所支持的显示器分辨率)的信息以及其他信息，例如多无线电客户机计算设备102所请求的多媒体流层的数量和/或所请求的分辨率和/或多媒体流的每层的数据率。
在各种实施例中，多无线电客户机计算设备102可以在各种类型的基于IP的连接(例如UDP/IP或TCP/IP连接)上与内容提供商计算设备116建立控制链路120。在各种实施例中，TCP连接可以用于可靠递送。可以与诸如RTP等的另一协议组合的UDP连接可以允许更快的反馈。类似于控制链路120，可以分别以在图2、3和4中示出的多无线电网络配置建立控制链路220、320和420。
在图3中，可以以各种方式在网络的各个跨跳(hop)之间建立控制链路320。举例来说，最下层的多无线电客户机计算设备302具有通过第一无线电网络接入节点306(在图3中是WiFi)到PDN GW 312的控制链路。相反，在最上层的多无线电客户机计算设备302和PDN GW 312之间的控制链路320通过第二种类型的无线电接入节点，在此情形中为蜂窝式节点。在任何情况中，可以通过接收多无线电客户机计算设备302在控制链路320上把反馈发送给发送方多无线电客户机计算设备302。
回去参见图1，基于在控制链路120上从多无线电客户机计算设备102接收的反馈，内容提供商计算设备116可以确定要创建多少多媒体流层(例如，SVC视频流层)。基于在控制链路120上从多无线电客户机计算设备102接收到的反馈，内容提供商计算设备116也可以跨越不同的UDP或TCP流映射多媒体流的各层(例如，映射到第一无线电接口104和/或第二无线电接口108)。例如，基于经由RTCP从多无线电客户机计算设备102接收的每个链路的反馈，内容提供商计算设备116可以跨越不同的UDP/IP流调节和映射多个视频流层。在各种实施例中，反馈可以包括2层信息，该2层信息可以使用例如应用层RTCP分组的扩展字段来传送。在各种实施例中，应用层RTCP分组的扩展字段也可以用来支持视频QoE指标。
参见图2，在集成无线电网络接入节点218促进两种不同类型的无线电链路(例如WiFi 206和蜂窝式210)的场合，可以利用不同的机制和协议。如上所述，在这一示例中，多无线电客户机计算设备202可以仅具有用于第一无线电接口204和第二无线电接口208的单个IP地址。在这样的实施例中，内容提供商计算设备216可能不知晓多个无线电链路。相反，内容提供商计算设备216可以仅创建和调节多媒体流的各层，例如，以便用于经由单个会话(例如，单个H.264/RTP/UDP/IP会话)的、目的地为多无线电客户机计算设备202的单个IP地址的传送。集成无线电网络接入节点218可以被配置为跨越无线电链路映射各层，例如，映射到第一无线电接口204和第二无线电接口208。
使用诸如专有协议、RTP、RTCP等等的已经讨论的各种协议，多无线电客户机计算设备202可以在控制链路220上返回反馈。在一些情况中，反馈可以不控制跨越多个无线电链路映射视频流层，且因此，反馈中不必包括2层信息，例如在多个链路当中的链路质量或IP连通性。
为了跨越多个无线电链路映射多媒体流的各层，集成无线电网络接入节点218可以被配置为执行“深度分组检查(deep packet inspection)”。在一些实施例中，集成无线电网络接入节点218可以检查去往多无线电客户机计算设备202的单个IP地址的传入分组的首部和/或有效载荷(例如，NAL分组)。基于这种检查和从多无线电客户机计算设备202接收到的反馈，集成无线电网络接入节点218可以把不同的层(例如SVC层)映射到不同的无线电链路。在一些实施例中，RTP首部扩展可以用来指示各种分组(例如RTP分组)的优先级水平(例如，可以给予基础层比增强层更高的优先级)。在其中使用多个会话(例如，RTP会话)来把多个视频流层传送给单个IP地址的实施例中(这可以是图2中的情况)，集成无线电网络接入节点218可以检查会话分组首部以便筛选各层(例如，SVC层)。
在各种实施例中，RTP首部可以用来指示视频流中总的层数(例如，基础层加上增强层)。以这种方式使用RTP首部也可以促进总体视频流层的数量的实时更新和动态调节，这可以辅助在多无线电客户机计算设备202处同步、解码和重构整个视频流，并避免分组丢包和/或延迟。
分层多媒体流提供商(例如，内容提供商计算设备116、216、302、416)和分层多媒体流客户机(例如，多无线电客户机计算设备102、202、302、402)两者都可以被配置为执行额外的操作以便实践所公开的技术。在客户机侧，多无线电客户机计算设备(例如，102、202、302、402)可以被配置为重构和解码跨越多个无线电接口(例如，104、108、204、208、304、308、404、408)接收的视频流。在各种实施例中，可以根据跨越多个无线电链路可能经历的最大分组延迟调节在多无线电客户机计算设备处的一个或多个回放缓冲器队列(未示出)的大小。例如，用于借助于高吞吐量链路的高质量/分辨率的层的缓冲器队列可以大于用于较低质量/分辨率的层或具有较低吞吐量的链路的缓冲器队列。
在发送器侧，也可以检查交叉层和交叉链路设计以便选择视频流层的合适数量、每一层的比特率和每一层到无线电链路的映射。举例来说，在内容提供商计算设备(例如，116、216、302、416)或无线电网络接入节点(例如，218、418)了解网络阻塞或改变的链路条件时，它可以被配置为减少在具体链路上的视频流层的比特率。另外或替代地，可以调节在具体的无线电链路上传送的层数或各层的类型，例如，以便平衡在不同的无线电链路上的有效载荷。在一些实施例中，诸如基础层等的较低分辨率/比特率的层可以被静态映射到最可靠的传送链路，例如，蜂窝式链路(例如，110、210、310、410)。基于链路条件，可以调节增强层的数量，以便跨越最具投机性的尽力而为型链路(the most opportunistic best effort links)而发送。在各种实施例中，尤其是实现在征求注解文件6190中描述的技术的那些，可以存在支持IP级的层映射和改编的足够灵活性，而不排除对较低级的层映射和修改的支持(例如在无线电链路层)。
现在参见图5，详细阐释发送/接收多媒体流的多个层的方式。多无线电客户机计算设备502可以包括接收器530、解码器532和链路质量监视器533。在各种实施例中，多无线电客户机计算设备502可以包括多个无线电接口，例如第一无线电接口504、第二无线电接口508和第三无线电接口534。在各种实施例中，链路质量监视器533可以监视器一个或多个无线电链路(例如，无线电接口504、508和534连接到其的无线电链路)的质量。链路质量监视器533可以与解码器532通信，且它们可以一起贡献最终被包括在由多无线电客户机计算设备502在例如在控制链路520上提供给发送器542的反馈中的信息。
编码器540可以是内容提供商计算设备(例如，16、216、302、416)、无线电网络接入节点(例如，216、416)或被配置为把多媒体内容(例如，音频、视频)编码成分层多媒体流的任何其他网络节点(例如，毫微微eNB)的一部分。在编码之后，编码器540可以把多媒体流的各层(例如，NAL单元)发送给发送器542，以供在多个无线电链路当中分发/映射到多无线电客户机计算设备502。
发送器542可以是内容提供商计算设备(例如，116、216、302、416)、无线电网络接入节点(例如，216、416)或被配置为在多个无线电链路当中分发/映射分层多媒体流的各层(例如，分发/映射到第一无线电接口504、第二无线电接口508和/或第三无线电接口534)的任何其他网络节点(例如，毫微微eNB)的一部分。在诸如图1和图3中所示出的实施例等的各实施例中，编码器540和发送器542两者可以在相同的计算设备，例如内容提供商计算设备(例如，116、302)，上操作。在诸如图2和图4中所选择的实施例等的各实施例中，编码器540可以在内容提供商计算设备(例如，116、302)上操作，且发送器542可以在诸如集成无线电网络接入节点(例如，218、418)等的更接近最终接收者的独立的计算设备上操作。
在各种实施例中，发送器542可以包括被配置为跨越各种无线电链路映射多媒体层的发送器控制模块544。在各种实施例中，可以以软件、硬件、固件或其任何组合实现发送器控制模块544。编码器540可以把分层多媒体流的各层(例如，诸如基础层和/或增强层等的NAL单元)提供给发送器控制模块544。发送器控制模块544可以把各层映射到另一协议，例如RTP。发送器控制模块544还可以把RTP分组映射到一个或多个传输级协议(例如，TCP/IP和/或UDP/IP)。然后，发送器控制模块544可以把所映射的单元发送给发送队列546，该发送队列546又可以被传送给去往多无线电客户机计算设备502的下一跨跳。
如在发送器542和多无线电客户机计算设备502之间的三个点所指示的，任何数量的网络和网络节点可以位于这两个设备之间。在其中在直接连接到多无线电客户机计算设备502的无线电接口504、508、534的无线电网络接入节点(例如，218、418)上实现发送器542的实施例中，发送器542可以包括对应于无线电接口504、508和534的独立的无线电接口(未示出)。
一旦分组到达接收器530的无线电接口(例如，504、508、534)，分组可以被组织到有序(例如，带时间戳的)帧缓冲器。在图5中，在第一无线电接口504上到达的分组可以形成视频流的基础层，这暗示(但不要求)第一无线电接口504可能是最可靠的无线电接口。在第二无线电接口508和第三无线电接口534上到达的分组可以形成视频流的增强层，这暗示(但不要求)第二无线电接口508和第三无线电接口534相比于比第一无线电接口504可以较不可靠。解码器532可以从各种帧缓冲器接收分组且可以组装各帧并处理错误。
可以存在发生在诸如在此描述的多无线电网络等的复杂系统中的各种错误。因而，可以在各种网络节点处实现各种错误检测和修正机制。
在各种实施例中，端对端延迟可以是有界的。如果在发送器542处分组/帧延迟了超过某个阈值，可以丢弃各分组。在各种实施例中，可以通过例如在发送器542处把生存时间(time-to-live：TTL)标记附加到发送队列546中的分组来实现这一点。类似地，如果在预先确定的时间量期满之前(例如，从接收帧的第一分组开始)在接收器530处没有接收到该帧的一些分组，可以丢弃已经达到的帧的各分组。在一些实施例中，接收器530可以请求发送器542再次发送该帧。
为了在发送器处丢弃基础层而不是增强层分组，调度器(未示出)可以监视器链路质量和网络吞吐量。在带有集成无线电网络接入节点的实施例(例如图2中所示出的实施例)中，调度器可以采用逐个分组调度决策来接入可用无线电载体，以便优化QoE。举例来说，如果已经传送了特定视频帧的大多数分组但是最后的分组处于被丢弃的危险(例如，由于阻塞、链路质量等等)，那么，调度器可以在另一无线链路上传送该分组，以便确保多无线电客户机计算设备(例如，102、202、302、402，502)不丢弃已经接收到的多个视频帧分组且遭受降级的QoE结果。在一些实施例中，尤其是在其中跨越多个流水线可以获得可见性的实施例中，多于一个的中间节点可以把多媒体流层从内容提供商调度到客户机。
在各种实施例中，分组可以乱序且在不同的无线电接口上到达接收器530。这使得难以预测分组到达序列。在分组被接收器530丢弃前，可能不能适当地构建该帧。相应地，在各种实施例中，可以监视到达的用于不同帧的分组，且基于该信息，接收器530或其他组件可以确定该帧的分组已经丢失，且可以把反馈发送给发送器542以便丢弃该帧。在各种实施例中，RTCP立即反馈可以用于这种反馈。在各种实施例中，也可以检测和处理反馈信道本身(例如，控制链路120、220、320)中的错误。
为了确保在发送器542和接收器530之间传输多媒体流编码的改变(例如，由于链路质量的改变)，可以使用水印(water mark)和其他流度量。发送器542和/或接收器530可以在要使用的增强层的合适数量、每一层上的内容的质量/分辨率、要使用的链路的数量、在每一链路上发送多少层等等之间做出适当的折衷。使用更多的链路和更大数量的增强层可以允许更多的灵活性，以便提供更高的总体内容质量，但可能增加系统开销(尤其是在附加的传输信道方面)、更大的同步努力以及对系统和网络错误的灵敏度。
除了在此描述的网络配置和技术之外，预期其他配置和技术。例如，尽管在此描述的大多数实施例利用了单播会话，但所公开的技术可以同等地适用于跨越多个无线电链路的多播会话。另外，在各种实施例中，分层多媒体流可以由经优化的内容递送网络或“CDN”在一个或多个网络的边或通过诸如高速小区/企业网关等的其他专用网关来递送。在一些实施例中，这样的元素可以收集跨越多个无线电网络的近期无线电链路反馈，且然后在IP级或更高的级别跨越不同的网络分区多媒体层。这种配置也可以与各种3GPP网络功能部件联合使用，以使得以最小可察觉用户影响把个体多媒体层的流移交或切换到不同的接入网络成为可能。另外，所公开的技术可以用于各种应用，包括但不限于视频会议、在移动网络上的实况/已存储内容的广播、流音频、流视频等等。
相对于在此描述的各种实施例提及各种特定的技术和协议。然而，这并不意味着是限制，且可以改为使用各种其他技术和协议。例如，在其中提到使用了UDP的任何实例中，比UDP或多或少可靠的协议例如TCP可以取而代之。作为另一示例，在此重复提到视频流的H.264 SVC分层，但是任何可扩展多媒体分发方案可以用于任何多媒体流。
图6叙述根据各种实施例可以在多无线电客户机计算设备(例如，102、202、302、402、502)上实现的示例方法600。在框602，例如由多无线电客户机计算设备通过第一无线电链路接收诸如SVC视频流等的可以分层多媒体流的第一层。在框604，例如由多无线电客户机计算设备通过第二无线电链路接收分层多媒体流的第二层。
在框606，可以例如由多无线电客户机计算设备收集可用来判断第一和第二无线电链路中的哪一个更可靠的信息。在框608，可以例如由多无线电客户机计算设备收集可用来判断第一和第二无线电链路中的哪一个具有更多带宽的信息。
在框610，例如由多无线电客户机计算设备基于所收集的信息和/或基于以上所描述的其他信息(例如，设备能力、QoE指标等等)生成反馈。在各种实施例中，这种反馈可以向被配置为在第一和第二无线电链路当中分发分层多媒体流的各层的远程计算设备——例如内容提供商计算设备(例如，116、216、302、416、516)、集成无线电网络接入节点(例如，218、418)或其他网络节点(例如，毫微微eNB)——通知关于第一和第二无线电链路中的哪一个更适合用于接收分层多媒体流的特定层。例如，该反馈可以向远程计算设备通知关于哪一无线电链路更可靠，且因此应当用来传输分层视频流的基础层。另外或替代地，该反馈可以向远程计算设备通知关于哪一无线电链路具有更多带宽，且因此应当用来传输分层视频流的增强层(在一些情况中，增强层可以包括比基础层更多的数据)。
在框612，可以例如由多无线电客户机计算设备把所生成的反馈传送给远程计算设备。如上所述且在图7中示出，远程计算设备可以利用这种反馈来控制如何在多个无线电链路上把分层多媒体流递送给多无线电客户机计算设备。如果远程计算设备是内容提供商，则它可以调节如何创建多少和什么类型的层。不管远程计算设备是内容提供商还是中间网络节点，它都可以确定如何在第一和第二无线电链路当中分发所创建的各层。如箭头所示出的，然后，方法600可以回到框602，除非多媒体流的递送已经完成(或者停止)，在这种情况中，方法600可以结束。
图7叙述根据各种实施例可以由发送器控制模块(例如，544)实现的示例方法700。如上所述，发送器控制模块544可以以下设备上实现：内容提供商计算设备(例如，116、216、302、416、516)或其他中间网络节点，例如集成无线电网络接入节点(例如，218、418)，或者甚至是如图3中所示出的希望把多媒体流对等地传送给另一多无线电客户机计算设备(例如，302)的多无线电客户机计算设备(例如，302)。
在框702，可以接收关于第一和第二无线电链路的反馈，诸如多无线电客户机计算设备(例如，102、202、302、402、502)等的远程客户机计算设备被配置为通过第一和第二无线电链路接收分层多媒体流的至少两个层。在各种实施例中，可以在控制链路(例如，120、220、320、420、520)上接收这种反馈。
在框704，基于所接收的反馈，可以确定用于在第一和第二无线电链路当中分发多媒体流的各层的方案。例如，发送器控制模块544可以从该反馈判断第一无线电链路(例如，到多无线电客户机计算设备的无线电接口)更可靠，且因此可能更适用于接收分层视频流的基础层。作为另一示例，发送器控制模块544可以从该反馈判断，第一无线电链路具有更多带宽，且因此可以更适用于接收分层视频流的一个或多个高分辨率(例如，增强)层。
在框706，可以例如由内容提供商计算设备(例如，116、216、302、416、516)或集成无线电网络接入节点(例如，218、418)根据在框704确定的方案控制至少两个多媒体流的各层的传送。控制传送(即，框706)可以涉及各种额外的操作，这取决于设备或系统执行方法700是内容提供商还是另一网络节点。如果是内容提供商，那么，在框708，可以根据该方案编码多媒体流的各层。举例来说，在内容提供商(例如，116、216、302、416)上操作的编码器(例如，540)可以把视频流编码成基础层和一个或多个增强层。在框710，内容提供商可以把经编码的层传送给朝向最终接收者的下一跨跳，例如多无线电客户机计算设备(例如，102、202、303、402、502)。然而，如果执行方法700计算设备不是内容提供商，那么，在框712，可根据在框704确定的方案在第一和第二无线电链路上把各层传送给远程客户机计算设备。在任一种情况中，方法700可以回到框702，除非多媒体流的递送已经完成(或以其他方式停止)，在这种情况中，方法700可以结束。
图8阐释，根据各种实施例的示例计算设备800。计算设备800可以包括多种组件、处理器804和至少一个通信芯片806。在各种实施例中，处理器804可以是处理器核心。在各种实施例中，至少一个通信芯片806也可以物理上和电气上耦合到处理器804。在进一步的实现中，通信芯片806可以是处理器804的一部分。在各种实施例中，计算设备800可以包括印刷电路板(“PCB”)802。对于这些实施例，处理器804和通信芯片806可以被放置在其上。在替代的实施例中，无须采用PCB 802就可以耦合各种组件。
取决于其应用，计算设备800可以包括其他组件，例如在此讨论的平台实体中的一个或多个，它们可以物理上和电气上耦合或者不耦合到PCB 802。这些其他组件包括但不限于易失性存储器(例如、动态随机存取存储器808，也称为“DRAM”)、非易失性存储器(例如，只读存储器810，也被称为“ROM”)、闪速存储器812、图形处理器814、数字信号处理器(未示出)、加密处理器(未示出)、输入/输出(“I/O”)控制器816、一个或多个天线818(例如，在其中计算设备800是多无线电客户机计算设备的一些实施例中，两个或更多个天线)、显示器(未示出)、触摸屏显示器820、触摸屏控制器822、电池824、音频编解码器(未示出)、视频编解码器(未示出)、全球定位系统(“GPS”)设备828、罗盘830、加速度计(未示出)、陀螺仪(未示出)、扬声器832、照相机834和大容量存储设备(例如硬盘驱动器、固态驱动器、紧致盘(“CD”)、数字多用盘(“DVD”))(未示出)等等。在各种实施例中，处理器804可以与其他组件集成在相同的管芯上，以便形成片上系统(“SoC”)。在其中计算设备800把多媒体流的各层映射到多个无线电链路的实施例中，计算设备800还可以包括发送器控制模块844。
在各种实施例中，易失性存储器(例如，DRAM 808)、非易失性存储器(例如，ROM 810)、闪速存储器812和大容量存储设备可以包括编程指令，这些编程指令被配置为响应于由(多个)处理器804执行允许计算设备800实践方法600和/或方法700的所有或经选择的各方面。例如，诸如易失性存储器(例如，DRAM808)、非易失性存储器(例如，ROM 810)、闪速存储器812和大容量存储设备等的存储器组件中的一个或多个可以包括指令的临时的和/或持久的副本(例如，如图8中的控制模块846所叙述的)，这些副本被配置为允许计算设备800实践所公开的技术，例如方法600和/或方法700的所有或所选择的各方面。
通信芯片806(图8被标记为通信芯片“A”和“B”)可以允许用于传递去往和来自计算设备800的数据的有线和/或无线通信。术语“无线”及其衍生物可以用来描述可以通过非固态介质通过使用经调制的电磁辐射来传输数据的电路、设备、系统、方法、技术、通信信道等等。该术语不暗示所关联的设备不包含任何线路，但在一些实施例中它们可以不包含任何线路。作为示例，在此描述的大多数实施例包括WiFi和蜂窝式无线电接口。然而，通信芯片806可以实现多种无线标准或协议中的任何，包括但不限于WiMAX、IEEE 802.20、长期演进(“LTE”)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、其衍生物、以及被称为3G、4G、5G和更高的任何其他无线协议。计算设备800可以包括多个通信芯片806。举例来说，第一通信芯片806(例如，通信芯片A)可以专用诸如Wi-Fi和蓝牙等的短距离无线通信，且第二通信芯片806(例如，通信芯片B)可以专用于诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO和其他等的远距离无线通信。
在各种实现中，计算设备800可以是膝上型计算机、上网本、笔记本、超极本、智能电话、计算平板、个人数字助理(“PDA”)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如、游戏控制台)、数码相机、便携式音乐播放器或数字录像机。在进一步的实现中，计算设备800可以是处理数据的任何其他电子设备。
在此描述了用于在多个无线电链路上编码和传送分层多媒体流的装置、计算机实现的方法、系统、设备和计算机可读介质的实施例。在各种实施例中，可以在计算设备处通过第一无线电链路接收多媒体流的第一层，例如分层视频流的基础层。在各种实施例中，可以在计算设备处通过第二无线电链路接收多媒体流的第二层，例如分层视频流的增强层。在各种实施例中，可以由计算设备通过第一或第二无线电链路把关于第一和第二无线电链路的反馈传送给被配置为在第一和第二无线电链路当中分发多媒体流的各层的远程计算设备。
在各种实施例中，远程计算设备可以是被配置为编码多媒体流的远程内容服务器。在各种实施例中，第一无线电链路可以在计算设备和第一无线电网络接入节点之间，且第二无线电链路可以在计算设备和不同于第一无线电网络接入节点的第二无线电网络接入节点之间。
在各种实施例中，远程计算设备可以是无线电网络接入节点。在各种实施例中，无线电网络接入节点可以是被配置为在第一和第二无线电链路上与计算设备通信的多无线电基站。在各种实施例中，无线电网络接入节点可以是被配置为在第一和第二无线电链路上与计算设备通信的多无线电演进节点B。
在各种实施例中，接收多媒体流的第一层可以包括在具有第一因特网协议地址的计算设备的第一无线接口处接收多媒体流的第一层。在各种实施例中，接收多媒体流的第二层还可以包括在具有第二因特网协议地址的计算设备的第二无线接口处接收多媒体流的第二层。
在各种实施例中，接收多媒体流的第一层可以包括在具有因特网协议地址的计算设备的第一无线接口处接收多媒体流的第一层。在各种实施例中，接收多媒体流的第二层可以包括在具有相同的因特网协议地址的计算设备的第二无线接口处接收多媒体流的第二层。
在各种实施例中，反馈可以包括链路质量数据、体验质量数据或关于计算设备的能力的信息中的一种或多种。在各种实施例(包括其中多媒体流是分层视频流的那些实施例)中，该反馈可以包括关于计算设备支持的显示器分辨率、由计算设备请求的视频流层的数量或视频流的每层的分辨率或数据率。
在各种实施例中，可以使用RTP接收第一或第二层中的至少之一。在各种实施例中，可以使用RTCP编码该反馈以供传送。在各种实施例中，使用H.264 SVC标准接收第一或第二层中的至少之一。
在各种实施例中，第一和第二层的接收和反馈的传送可以一起包括一个会话中。在各种实施例中，可以使用SIP发起该会话，以及/或者使用SDP描述该会话。在各种实施例中，可以由计算设备使用用户数据报控制协议接收多媒体流的第一或第二层。在各种实施例中，可以由计算设备使用传输控制协议传送关于第一和第二无线电链路的反馈。
在各种实施例中，可以由计算设备收集可用来判断第一和第二无线电链路中的哪一个更可靠的信息。在各种实施例中，所收集的信息可以由计算设备包括在反馈中。
在各种实施例中，计算设备可以判断第一和第二无线电链路中的哪一个具有更多带宽。在各种实施例中，计算设备可以在反馈中包括关于第一和第二无线电链路中的哪一个具有更多带宽的信息。
在各种实施例中，尤其是在其中多媒体流是分层视频流的实施例中，计算设备可以生成反馈，以便向远程计算设备告知第一和第二无线电链路中的哪一个更适合用于接收视频流的基础层，且第一和第二无线电链路中的哪一个更适合用于接收视频流的增强层。
尽管出于描述的目的在此已经阐释和描述了某些实施例，但本申请旨在覆盖在此讨论的各实施例的任何修改或变更。因此，显然预期在此描述的各实施例仅受权利要求限制。
在本公开内容提及“一个”或“第一”元素或其等效物时，这样的公开内容包括一个或多个这样的元素，既不要求也不排除两个或更多个这样的元素。进一步，所标识的元素的顺序指示符(例如，第一、第二或第三)用来区分各元素，且除非另有特别说明，否则不指示或暗示所要求的或受限的数量的这样的元素，也不指示这样的元素的特定的位置或次序。

Claims (65)

1.一种计算机实现的方法，包括：
在计算设备处通过第一无线电链路接收多媒体流的第一层；
在所述计算设备处通过第二无线电链路接收所述多媒体流的第二层；以及
由所述计算设备通过所述第一或第二无线电链路把关于所述第一和第二无线电链路的反馈传送给被配置为在所述第一和第二无线电链路当中分发所述多媒体流的各层的远程计算设备。
2.如权利要求1所述的计算机实现的方法，其特征在于，所述远程计算设备是被配置为编码所述多媒体流的远程内容服务器。
3.如权利要求1所述的计算机实现的方法，其特征在于，所述第一无线电链路是在所述计算设备和第一无线电网络接入节点之间，且所述第二无线电链路是在所述计算设备和不同于所述第一无线电网络接入节点的第二无线电网络接入节点之间。
4.如权利要求1所述的计算机实现的方法，其特征在于，所述远程计算设备是无线电网络接入节点。
5.如权利要求4所述的计算机实现的方法，其特征在于，所述无线电网络接入节点是被配置为在所述第一和第二无线电链路上与所述计算设备通信的多无线电基站。
6.如权利要求4所述的计算机实现的方法，其特征在于，所述无线电网络接入节点是被配置为在所述第一和第二无线电链路上与所述计算设备通信的多无线电演进节点B。
7.如权利要求1所述的计算机实现的方法，其特征在于，接收多媒体流的第一层进一步包括在具有第一因特网协议地址的所述计算设备的第一无线接口处接收所述多媒体流的所述第一层，且其中接收多媒体流的第二层进一步包括在具有第二因特网协议地址的所述计算设备的第二无线接口处接收所述多媒体流的所述第二层。
8.如权利要求1所述的计算机实现的方法，其特征在于，接收多媒体流的第一层进一步包括在具有一个因特网协议地址的所述计算设备的第一无线接口处接收所述多媒体流的所述第一层，且其中接收多媒体流的第二层进一步包括在具有所述因特网协议地址的所述计算设备的第二无线接口处接收所述多媒体流的所述第二层。
9.如权利要求1所述的计算机实现的方法，其特征在于，所述反馈包括链路质量数据、体验质量数据或关于所述计算设备的能力的信息中的一种或多种。
10.如权利要求1所述的计算机实现的方法，其特征在于，所述反馈包括关于所述计算设备支持的显示器分辨率、由所述计算设备请求的多媒体流层的数量或所述多媒体流中每层的分辨率或数据率的信息。
11.如权利要求1-10中的任何一项所述的所述计算机实现的方法，其特征在于，使用所述实时传输协议(“RTP”)接收所述第一或第二层中的至少之一，且编码所述反馈以供使用所述RTP控制协议(“RTCP”)来传送。
12.如权利要求11所述的计算机实现的方法，其特征在于，所述多媒体流是分层视频流，且使用所述H.264可缩放视频编码(“SVC”)标准接收所述第一或第二层中的至少之一。
13.如权利要求1-10所述的计算机实现的方法，其特征在于，所述第一和第二层的接收和所述反馈的传送一起包括会话，其中使用所述会话发起协议(“SIP”)来发起所述会话，且使用所述会话描述协议(“SDP”)来描述所述会话。
14.如权利要求1-10中的任何一项所述的计算机实现的方法，其特征在于，由所述计算设备使用用户数据报控制协议接收所述多媒体流的所述第一或第二层，且由所述计算设备使用传输控制协议传送关于所述第一和第二无线电链路的所述反馈。
15.如权利要求1-10中的任何一项所述的计算机实现的方法，其特征在于，还包括：
由所述计算设备收集能用来判断所述第一和第二无线电链路中的哪一个更可靠的信息；以及
由所述计算设备在所述反馈中包括能用来判断所述第一和第二无线电链路中的哪一个更可靠的信息。
16.如权利要求1-10中的任何一项所述的计算机实现的方法，其特征在于，进一步包括：
由所述计算设备判断所述第一和第二无线电链路中的哪一个具有更多带宽；以及
由所述计算设备在所述反馈中包括关于所述第一和第二无线电链路中的哪一个具有更多带宽信息的信息。
17.如权利要求1-10中的任何一项所述的计算机实现的方法，其特征在于，所述多媒体流是分层视频流，且所述方法进一步包括由所述计算设备生成所述反馈，以便向所述远程计算设备告知所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的基础层，以及所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的增强层。
18.至少一种机器可读介质，其包括多个指令，所述指令响应于在计算设备上被执行，引起所述计算设备执行如权利要求1-17中的任何一项所述的计算机实现的方法。
19.一种装置，其被配置为执行如权利要求1-17中的任何一项所述的计算机实现的方法。
20.一种计算机实现的方法，包括：
在计算设备处接收关于第一和第二无线电链路的反馈，远程客户机计算设备被配置为通过所述第一和第二无线电链路接收多媒体流中的至少两层；
基于所接收的反馈，由所述计算设备确定用于在所述第一和第二无线电链路当中把所述多媒体流的各层分发给所述远程客户机计算设备的方案；以及
由所述计算设备根据所确定的方案控制所述多媒体流中的所述至少两层到所述远程客户机计算设备的传送。
21.如权利要求20所述的计算机实现的方法，其特征在于，所述计算设备包括具有到所述第一无线电链路的第一接口和到所述第二无线电链路的第二接口的无线电接入网络节点，且其中所述传送进一步包括由所述无线电接入网络节点基于所确定的方案通过所述第一接口把所述多媒体流的一个或多个层传送给所述远程客户机计算设备，并通过所述第二接口把所述多媒体流的一个或多个层传送给所述远程客户机计算设备。
22.如权利要求20所述的计算机实现的方法，其特征在于，所述计算设备包括所述多媒体流的提供商，且其中所述方法进一步包括由所述提供商根据所确定的方案生成所述多媒体流的第一层以供在所述第一无线电链路上传输，且生成所述多媒体流的第二层以供在所述第二无线电链路上传送。
23.如权利要求22所述的计算机实现的方法，其特征在于，生成所述多媒体流的所述第一层以供在第一用户数据报协议会话上传送，且生成所述多媒体流的所述第二层以供在第二用户数据报协议会话上传送。
24.如权利要求22所述的计算机实现的方法，其特征在于，把所述多媒体流的所述第一层传送给与所述远程客户机计算设备相关联的第一因特网协议地址，且把所述多媒体流的所述第二层传送给与所述远程客户机计算设备相关联的第二因特网协议地址。
25.如权利要求22所述的计算机实现的方法，其特征在于，把所述多媒体流的所述第一和第二层传送给与所述远程客户机计算设备相关联的单个因特网协议地址。
26.如权利要求20所述的计算机实现的方法，其特征在于，所述多媒体流是分层视频流，且其中所述判断进一步包括由所述计算设备基于所接收的反馈判断所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的基础层，以及所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的增强层。
27.如权利要求20所述的计算机实现的方法，其特征在于，所述判断进一步包括由所述计算设备基于所述反馈判断所述远程客户机计算设备的所述第一还是第二无线电链路更可靠。
28.如权利要求20所述的计算机实现的方法，其特征在于，所述判断进一步包括由所述计算设备基于所述反馈判断所述远程客户机计算设备的所述第一还是第二无线电链路具有更多带宽。
29.至少一种机器可读介质，其包括多个指令，所述指令响应于在计算设备上执行，引起所述计算设备执行如权利要求20-28中的任何一项所述的计算机实现的方法。
30.一种装置，其被配置为执行如权利要求20-28中的任何一项所述的计算机实现的方法。
31.一种系统，包括：
处理器；
存储器，其操作地耦合到所述处理器；
至第一通信链路的第一通信接口；
至第二通信链路的第二通信接口；以及
控制模块，其被配置为：
通过所述第一通信接口接收分层多媒体流的第一层；
通过所述第二通信接口接收分层多媒体流的第二层；以及
通过所述第一或第二通信接口把反馈传送给被配置为在所述第一和第二通信链路当中分发所述分层多媒体流的各层的远程计算设备，以便引起所述远程计算设备调节所述各层在所述第一和第二通信链路当中的分发。
32.如权利要求31所述的系统，其特征在于，所述控制模块还被配置为基于所接收的所述分层多媒体流的第一和第二层组装所述分层多媒体流。
33.如权利要求31所述的系统，其特征在于，所述分层多媒体流包括分层视频流。
34.如权利要求33所述的系统，其特征在于，所述反馈包括关于所述系统支持的显示器分辨率、所述系统请求的视频流层的数量或所述视频流中每层的分辨率或数据率的信息。
35.如权利要求31所述的系统，其特征在于，所述分层多媒体流包括分层音频流。
36.如权利要求31所述的系统，其特征在于，所述第一和第二通信链路是无线电链路，且所述第一和第二通信接口是到所述各无线电链路的无线电接口。
37.如权利要求31所述的系统，其特征在于，所述远程计算设备是被配置为编码所述分层多媒体流的远程内容服务器。
38.如权利要求31所述的系统，其特征在于，所述第一通信链路是在所述第一通信接口和第一无线电网络接入节点之间，且所述第二通信链路是在所述第二通信接口和不同于所述第一无线电网络接入节点的第二无线电网络接入节点之间。
39.如权利要求31-38中的任何一项所述的系统，其特征在于，所述远程计算设备是无线电网络接入节点。
40.如权利要求39所述的系统，其特征在于，所述无线电网络接入节点是被配置为在所述第一和第二通信链路上与所述系统通信的多无线电集成基站。
41.如权利要求40所述的系统，其特征在于，所述无线电网络接入节点是被配置为在所述第一和第二通信链路上与所述系统通信的多无线电演进节点B。
42.如权利要求31-38中的任何一项所述的系统，其特征在于，所述第一和第二通信接口具有不同的因特网协议地址。
43.如权利要求31-38中的任何一项所述的系统，其特征在于，所述第一和第二通信接口具有相同的因特网协议地址。
44.如权利要求31-38中的任何一项所述的系统，其特征在于，所述反馈包括链路质量数据、体验质量数据或关于所述系统的能力的信息中的一种或多种。
45.如权利要求31-38中的任何一项所述的系统，其特征在于，使用用户数据报控制协议接收所述多媒体流的所述第一或第二层，且使用传输控制协议传送关于所述第一和第二通信链路的所述反馈。
46.如权利要求31-38中的任何一项所述的系统，其特征在于，使用所述实时传输协议(“RTP”)接收所述第一或第二层中的至少之一，且编码所述反馈以供使用所述RTP控制协议(“RTCP”)传送。
47.如权利要求46所述的系统，其特征在于，使用所述H.264可缩放视频编码(“SVC”)标准接收所述第一或第二层中的至少之一。
48.如权利要求46所述的系统，其特征在于，作为会话的一部分接收所述第一和第二层，其中使用所述会话发起协议(“SIP”)发起所述会话，且使用所述会话描述协议(“SDP”)描述所述会话。
49.如权利要求31-38中的任何一项所述的系统，其特征在于，所述控制模块还被配置为：
收集能用来判断所述第一和第二通信链路中的哪一个更可靠的信息；以及
在所述反馈中包括能用来判断所述第一和第二通信链路中的哪一个更可靠的信息。
50.如权利要求31-38中的任何一项所述的系统，其特征在于，所述控制模块还被配置为：
确定所述第一和第二通信链路中的哪一个具有更多带宽；以及
在所述反馈中包括关于所述第一和第二通信链路中的哪一个具有更多带宽的信息。
51.如权利要求31-38中的任何一项所述的系统，其特征在于，所述控制模块还被配置为生成所述反馈，以便向所述远程计算设备告知所述第一和第二通信链路中的哪一个更适合用于接收所述分层多媒体流中具有第一分辨率的层，以及所述第一和第二通信链路中的哪一个更适合用于接收所述多媒体流中具有高于所述第一分辨率的第二分辨率的层。
52.如权利要求31-38中的任何一项所述的系统，其特征在于，进一步包括触摸屏显示器。
53.一种系统，包括：
处理器；
存储器，其操作地耦合到所述处理器；以及
发送器控制模块，其被配置为：
接收关于第一和第二无线电链路的反馈，远程客户机计算设备被配置为通过所述第一和第二无线电链路接收视频流中的至少两个层；
基于所接收的反馈，确定用于在所述第一和第二无线电链路当中把视频流的至少一个基础层和至少一个增强层分发给所述远程客户机计算设备的方案；以及
根据所确定的方案，控制所述视频流的所述至少一个基础层和所述至少一个增强层到所述远程客户机计算设备的传送。
54.如权利要求53所述的系统，其特征在于，所述系统进一步包括：
到所述第一无线电链路的第一无线电接口；以及
到所述第二无线电链路的第二接口；
其中，所述发送器控制模块还被配置为基于所确定的方案通过所述第一无线电接口把所述视频流的所述至少一个基础层传送给所述远程客户机计算设备，且通过所述第二无线电接口把所述视频流的所述至少一个增强层传送给所述远程客户机计算设备。
55.如权利要求53所述的系统，其特征在于，所述发送器控制模块还被配置为根据所确定的方案生成所述视频流的所述至少一个基础层以供在所述第一无线电链路上传送，且生成所述视频流的所述至少一个增强层以供在所述第二无线电链路上传送。
56.如权利要求55所述的系统，其特征在于，生成所述视频流的所述至少一个基础层以供在第一用户数据报协议会话上传送，且生成所述视频流的所述至少一个增强层是以供在第二用户数据报协议会话上传送。
57.如权利要求55所述的系统，其特征在于，把所述视频流的所述至少一个基础层传送给与所述远程客户机计算设备相关联的第一因特网协议地址，且把所述视频流的所述至少一个增强层传送给与所述远程客户机计算设备相关联的第二因特网协议地址。
58.如权利要求55所述的系统，其特征在于，把所述视频流的所述至少一个基础层和至少一个增强层传送给与所述远程客户机计算设备相关联的单个因特网协议地址。
59.如权利要求53所述的系统，其特征在于，所述发送器控制模块还被配置为基于所接收的反馈判断所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的所述至少一个基础层，以及所述第一和第二无线电链路中的哪一个更适合用于接收所述视频流的所述至少一个增强层。
60.如权利要求59所述的系统，其特征在于，所述发送器控制模块还被配置为基于所接收的反馈判断所述远程客户机计算设备的所述第一还是第二无线电链路更可靠。
61.如权利要求53所述的系统，其特征在于，所述发送器控制模块还被配置为基于所接收的反馈判断所述远程客户机计算设备的所述第一还是第二无线电链路具有更多带宽。
62.如权利要求53-61中的任何一项所述的所述系统，其特征在于，编码所述基础层或增强层中的至少一个，以供由所述发送器控制模块使用所述实时传输协议(“RTP”)传送，且使用所述RTP控制协议(“RTCP”)接收所述反馈。
63.如权利要求62所述的系统，其特征在于，编码所述基础层或增强层中的至少一个以供由所述发送器控制模块使用所述H.264可缩放视频编码(“SVC”)标准发送。
64.如权利要求62所述的系统，其特征在于，作为会话的一部分传送所述至少一个基础层和至少一个增强层，使用所述会话发起协议(“SIP”)发起所述会话，且使用所述会话描述协议(“SDP”)描述所述会话。
65.如权利要求64所述的系统，其特征在于，所述发送器控制模块还被配置为利用SDP连接描述符来指定用于与所述客户机计算设备进行的单个RTP会话的多个单播IP地址。
CN201280073120.3A 2012-06-11 2012-06-11 在多个无线电链路上分发分层多媒体流 Pending CN104285411A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/041930 WO2013187873A1 (en) 2012-06-11 2012-06-11 Distribution of layered multi-media streams over multiple radio links

Publications (1)

Publication Number Publication Date
CN104285411A true CN104285411A (zh) 2015-01-14

Family

ID=49758555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073120.3A Pending CN104285411A (zh) 2012-06-11 2012-06-11 在多个无线电链路上分发分层多媒体流

Country Status (4)

Country Link
US (1) US20140201329A1 (zh)
EP (1) EP2870730A4 (zh)
CN (1) CN104285411A (zh)
WO (1) WO2013187873A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254381A (zh) * 2016-07-22 2021-08-13 英特尔公司 支持用于一组公共互连连接器的多种互连协议的技术

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110083156A1 (en) * 2009-10-07 2011-04-07 Canon Kabushiki Kaisha Network streaming of a video stream over multiple communication channels
WO2013162582A1 (en) * 2012-04-26 2013-10-31 Empire Technology Development Llc Multimedia application rental and billing
US9241197B2 (en) * 2013-01-25 2016-01-19 Cisco Technology, Inc. System and method for video delivery over heterogeneous networks with scalable video coding for multiple subscriber tiers
US9137091B2 (en) * 2013-02-20 2015-09-15 Novatel Wireless, Inc. Dynamic quality of service for control of media streams using feedback from the local environment
US9516356B2 (en) 2013-12-06 2016-12-06 Cable Television Laboratories, Inc. Parallel scheduling of multilayered media
US9392090B2 (en) * 2013-12-20 2016-07-12 Plantronics, Inc. Local wireless link quality notification for wearable audio devices
US9258525B2 (en) * 2014-02-25 2016-02-09 Alcatel Lucent System and method for reducing latency in video delivery
GB2538215B (en) * 2014-12-17 2017-10-25 Canon Kk Method of assessing the quality of a wireless link in a multi-radio communication system
US10715574B2 (en) 2015-02-27 2020-07-14 Divx, Llc Systems and methods for frame duplication and frame extension in live video encoding and streaming
FR3034608A1 (fr) * 2015-03-31 2016-10-07 Orange Procede de priorisation de flux medias dans un reseau de communications
US10327164B2 (en) * 2015-10-29 2019-06-18 Cable Television Laboratories, Inc. Multichannel communication systems
US10038569B2 (en) * 2016-03-29 2018-07-31 Intel IP Corporation Self-adapting baud rate
KR20180021997A (ko) * 2016-08-23 2018-03-06 삼성전자주식회사 영상 전송을 위한 무선 송신 장치, 시스템온칩 및 그 방법
US10868357B2 (en) * 2016-12-14 2020-12-15 Intel Corporation Massive antenna array architecture for base stations designed for high frequency communications
US11431781B1 (en) * 2021-05-10 2022-08-30 Cisco Technology, Inc. User-defined quality of experience (QoE) prioritizations

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060068777A1 (en) * 2004-06-30 2006-03-30 Sadowsky John S Air interface cooperation between WWAN and WLAN
US20080316997A1 (en) * 2007-06-20 2008-12-25 Motorola, Inc. Multi-radio node with a single routing module which manages routing for multiple different radio modules
US8095680B2 (en) * 2007-12-20 2012-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Real-time network transport protocol interface method and apparatus
US8462695B2 (en) * 2009-05-18 2013-06-11 Intel Corporation Apparatus and methods for multi-radio coordination of heterogeneous wireless networks
US8483156B2 (en) * 2010-05-03 2013-07-09 Nokia Siemens Networks Oy Feedback for inter-radio access technology carrier aggregation
WO2011157235A1 (en) * 2010-06-18 2011-12-22 Mediatek Inc. System and method for coordinating multiple radio transceivers within the same device platform
US20120144433A1 (en) * 2010-12-07 2012-06-07 Electronics And Telecommunications Research Institute Apparatus and method for transmitting multimedia data in wireless network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254381A (zh) * 2016-07-22 2021-08-13 英特尔公司 支持用于一组公共互连连接器的多种互连协议的技术
CN113254381B (zh) * 2016-07-22 2024-05-21 英特尔公司 用于支持多种互连协议的方法和装置

Also Published As

Publication number Publication date
US20140201329A1 (en) 2014-07-17
EP2870730A1 (en) 2015-05-13
WO2013187873A1 (en) 2013-12-19
EP2870730A4 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
CN104285411A (zh) 在多个无线电链路上分发分层多媒体流
JP6487076B2 (ja) インターネットプロトコル（ｉｐ）マルチメディア・サブシステム（ｉｍｓ）ベースのピアツーピア（ｐ２ｐ）コンテンツ配信
JP6279621B2 (ja) インターネットプロトコル（ｉｐ）マルチメディア・サブシステム（ｉｍｓ）ベースのピアツーピア（ｐ２ｐ）コンテンツ配信
US8625667B2 (en) Method of opportunity-based transmission of wireless video
US10476930B2 (en) Client/server signaling commands for dash
Han et al. AMVS-NDN: Adaptive mobile video streaming and sharing in wireless named data networking
US20120173748A1 (en) Hybrid transport-layer protocol media streaming
CN107113461A (zh) 媒体内容流
BR112015031512B1 (pt) Mediar entrega de conteúdo via um ou mais serviços
KR101555895B1 (ko) 근접한 헬퍼들을 이용한 멀티 디스크립션 코딩된 컨텐츠의 공유
US10243837B2 (en) Enabling split sessions across hybrid public safety and LTE networks
WO2012018339A1 (en) Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
Liu et al. Cross-layer design for UAV-based streaming media transmission
CN101764676A (zh) 服务质量保障方法与装置
US10813112B2 (en) Application aware scheduling and resource management
US7596138B2 (en) Method of sending a multipoint stream in a local area network and connection device implementing the method
KR102140679B1 (ko) 패킷을 전송하는 네트워크 장치 및 방법, 그리고 패킷을 수신하는 디바이스
CN103634614A (zh) 通信传输方法、系统、基站以及用户设备
WO2024055692A1 (zh) 通信方法、通信装置和通信系统
US12160322B2 (en) System and method for retrieving missing multicast or broadcast media segments using D2D communication
WO2024060991A1 (zh) 一种多路径的数据流引流方法及装置
US20230199439A1 (en) Multicast and broadcast service session reception mode switching in wireless communication networks
CN117768943A (zh) 一种通信系统中传输数据的方法和通信装置
한빙 A Testbed for Mobile Named-Data Network integrated with 4G networking devices
KR20140093174A (ko) 미디어 클라이언트로부터의 수신 상태정보에 기반한 적응적 미디어 전달 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150114

RJ01 Rejection of invention patent application after publication