[go: up one dir, main page]

CN105230024B - 一种媒体表示自适应方法、装置及计算机存储介质 - Google Patents

一种媒体表示自适应方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN105230024B
CN105230024B CN201480028840.7A CN201480028840A CN105230024B CN 105230024 B CN105230024 B CN 105230024B CN 201480028840 A CN201480028840 A CN 201480028840A CN 105230024 B CN105230024 B CN 105230024B
Authority
CN
China
Prior art keywords
media
metadata
fragment
information
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480028840.7A
Other languages
English (en)
Other versions
CN105230024A (zh
Inventor
张少波
王新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105230024A publication Critical patent/CN105230024A/zh
Application granted granted Critical
Publication of CN105230024B publication Critical patent/CN105230024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

处理器执行一种计算机程序产品时，所述计算机程序产品使网络设备获取包括指令的媒体呈现描述(MPD)，所述指令用于：从多个自适应集中提取一个或多个片段；根据所述MPD中提供的指令发送从第一自适应集获取一个或多个片段的第一片段请求；从所述第一自适应集接收所述片段；基于所述第一自适应集中的所述一个或多个片段从第二自适应集选取一个或多个片段；发送从所述第二自适应集请求所述一个或多个片段的第二片段请求；从所述第二自适应集接收所述一个或多个片段以响应所述第二片段请求；其中，所述第一自适应集包括定时元数据信息，所述第二自适应集包括媒体内容。

Description

一种媒体表示自适应方法、装置及计算机存储介质
相关申请案交叉申请
本发明要求2013年7月19日由张少波等人递交的发明名称为“流媒体内容的质量信息的指示及携带(Signaling and Carriage of Quality Information of StreamingContent)”的第61/856,532号美国临时专利申请案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。
关于由联邦政府赞助研究或开发的声明
不适用。
参考缩微胶片附录
不适用。
背景技术
媒体内容提供商或分发商可以使用适合不同设备(例如，电视、笔记本电脑、台式电脑和移动手机)的不同加密和/或编码方案将各种媒体内容传送给订户或用户。如国际标准化组织(International Organization for Standardization，ISO)/国际电工技术委员会(International Electrotechnical Commission，IEC)13818-1中的名称为“信息技术—运动图像及其伴音信息的通用编码：系统(Information Technology–Generic Coding ofMoving Pictures and Associated Audio Information:Systems)”所述，基于超文本传输协议的动态自适应流媒体(Dynamic Adaptive Streaming over Hypertext TransferProtocol，DASH)定义了描述格式，即媒体呈现描述(MPD)，以及片段格式，所述描述格式基于ISO基本媒体文件格式(ISO Base Media File Format，ISO-BMFF)，而所述片段格式基于MPEG-2标准族中的运动图像专家组(Moving Picture Expert Group，MPEG)传输流。DASH系统可根据国际标准组织(ISO)/国际电工技术委员会(IEC)23009-1中的名称为“信息技术—基于HTTP的动态自适应流媒体(DASH)—第1部分：媒体呈现描述及片段格式(InformationTechnology–Dynamic Adaptive Streaming over HTTP(DASH)–part 1:MediaPresentation Description and Segment Formats)”实施。
传统的DASH系统可能需要在服务器上有多个可替代媒体内容的比特率或多个表示表示可用。其它媒体表示可以是以固定比特率(constant bitrate， CBR)或可变比特率(variable bitrate，VBR)编码的版本。对于CBR表示，比特率是可控的且可为恒定的，但是除非比特率足够高，否则质量波动可能很大。像切换新闻频道中的运动/静态场景等变化内容，视频编码器难以在产生有指定比特率的比特流的同时提供质量的稳定。对于VRB表示，可以将较大的比特率分配给较为复杂的场景，而将较少比特分配给不太复杂的场景。当使用不受约束的VRB表示时，编码内容的质量可能不是恒定的，并且/或者存在一种或多种限制(例如，最大带宽)。质量波动可能是内容编码所固有的，而非DASH应用特有的。
另外，可用带宽可能会不断地变化，对流媒体内容来说这可能是个大难题。传统的自适应方案可配置用于适应设备的能力(例如，解码能力或显示分辨率)或用户的喜好(例如，语言或字幕)。在传统的DASH系统中，对变化的可用带宽的自适应可以通过在具有不同比特率的可替代表示之间进行切换来实现。表示或片段的比特率可以匹配到可用带宽。然而，表示的比特率可能与媒体内容的质量没有直接的相关性。多个表示的比特率可以表示这些表示的相对质量，而可能无法提供关于表示中片段的质量的信息。例如，在比特率相同时，低比特率的画面(例如，低空间复杂度或低运动水平)可以编码成高质量级别，或者高比特率的画面可以编码成低质量级别。因此，带宽波动导致相同比特率下的体验质量相对低些。在不使用或不需要相对高的带宽时，带宽还会被浪费。激进的带宽消耗还会导致所支持的用户的数量受到限制，并导致带宽耗费高，和/或功耗高。
发明内容
在一项实施例中，本发明包括一种媒体表示自适应方法，包括：获取包括用于提取多个媒体片段以及与所述多个媒体片段相关联的多个元数据片段的信息的媒体呈现描述(media presentation description，MPD)，其中，所述多个元数据片段包括与所述多个媒体片段相关联的定时元数据信息；根据所述MPD中提供的所述信息，发送对一个或多个所述元数据片段的元数据片段请求；接收所述一个或多个元数据片段；基于所述一个或多个元数据片段的所述定时元数据信息，选取一个或多个媒体片段；发送请求所述选取的媒体片段的媒体片段请求；接收所述选取的媒体片段以响应所述媒体片段请求。
在另一项实施例中，本发明包括一种计算机程序产品，包括存储在非瞬时性计算机可读存储介质上的计算机可执行指令，其中，当处理器执行所述计算机程序产品时，所述计算机程序产品使网络设备执行以下操作：获取包括用于从多个自适应集中提取一个或多个片段的信息的MPD；根据所述MPD中提供的所述信息，发送对第一自适应集中的一个或多个片段的第一片段请求，其中，所述第一自适应集包括与第二自适应集中多个片段相关联的定时元数据信息；接收所述第一自适应集中的所述片段；基于所述第一自适应集中的所述一个或多个片段，从所述第二自适应集的所述多个片段中选取一个或多个片段，其中，从所述第二自适应集的所述多个片段中选取的所述一个或多个片段包括媒体内容；发送请求所述第二自适应集中的所述一个或多个片段的第二片段请求；接收从所述第二自适应集选取的一个或多个片段以响应所述第二片段请求。
在又一项施例中，本分明包括一种装置，所述装置用于根据包括用于从第一自适应集中提取多个媒体片段以及从第二自适应集中提取多个元数据片段的信息的MPD进行媒体表示自适应，所述装置包括存储器，以及耦合到所述存储器的处理器，其中，所述存储器包括指令；当所述处理器执行所述指令时，所述指令使所述装置执行以下操作：根据所述MPD发送元数据片段请求；接收包括与一个或多个所述媒体片段相关联的定时元数据信息的一个或多个元数据片段；使用所述元数据信息选取一个或多个媒体片段；发送请求所述一个或多个媒体片段的媒体片段请求；根据所述MPD 接收所述一个或多个媒体片段。
这些特征及其它特征将在下面的和附图及权利要求相结合的具体描述中变得更清晰。
附图说明
为了更透彻地理解本发明，现参阅以下结合附图和具体实施方式而描述的简要说明，其中的相同参考标号表示相同部分。
图1为基于超文本传输协议的动态自适应流媒体(Dynamic Adaptive Streamingover Hypertext Transfer Protocol，DASH)的实施例的示意图；
图2为网元的实施例的示意图；
图3为DASH自适应方法的实施例的协议图；
图4为媒体呈现描述的实施例的示意图；
图5为样本层元数据关联的实施例的示意图；
图6为轨迹运行层元数据关联的实施例的示意图；
图7为轨迹分片层元数据关联的实施例的示意图；
图8为电影分片层元数据关联的实施例的示意图；
图9为子片段层元数据关联的实施例的示意图；
图10为媒体片段层元数据关联的实施例的示意图；
图11为自适应集层元数据关联的实施例的示意图；
图12为媒体子片段层元数据关联的实施例的示意图；
图13为DASH客户端使用的表示自适应方法的实施例的流程图；
图14为使用元数据信息的表示自适应方法的实施例的流程图；
图15为使用元数据信息的表示自适应方法的另一实施例的流程图；
图16为服务器使用的表示自适应方法的另一实施例的流程图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
本发明公开了基于超文本传输协议的动态自适应流媒体(Dynamic AdaptiveStreaming Over Hypertext Transfer Protocol，DASH)系统中用于传送及指示媒体内容元数据信息(例如质量信息)的多个实施例。具体地，在DASH系统中，可使用多个表示间的关联来传送和/或指示元数据信息以进行表示自适应。多个表示间的关联可在表示层和/或自适应集层实施。例如，关联可存在于媒体内容对应的第一表示和元数据信息对应的第二表示之间。包括元数据信息的自适应集可称为元数据集。DASH客户端可使用元数据集获取与包括媒体内容及多个媒体片段的自适应集相关联的元数据信息，从而做出表示自适应决策。
在一项实施例中，自适应集关联可允许使用带外信令传送元数据信息，和/或使用外部索引文件携带元数据信息。使用带外信令可减少因添加、删除和/或修改元数据信息对媒体数据造成的影响。元数据信息可在片段或子片段层指示以有效地支持直播和/或点播业务。元数据信息可在请求一个或多个媒体片段之前单独提取。例如，元数据信息可在媒体内容开始流式传输前就可用了。媒体数据的元数据信息中可提供其他接入信息(例如子片段大小或时长)，这可减少对相关比特率信息和质量信息的交叉引用需求。使用元数据信息做出的自适应决策可减少流式传输内容的质量波动，可提高体验质量，并可更有效地利用带宽。元数据信息可按条件使用、修改和/ 或生成，且可不对媒体数据的流式传输操作造成影响。媒体呈现描述(media presentation description，MPD)更新的频率也可降低。媒体内容和元数据信息可在内容准备的不同阶段生成，和/或由不同的人来生成。使用元数据信息可支持在播放列表和模板中指示和/或生成通用资源定位器(uniform resourcelocator，URL)。在MPD中，可不为每个片段指示元数据信息，否则，可能会使MPD内容过多。元数据信息对启动延迟没太大影响，并可尽可能少地消耗网络流量。
图1为本发明实施例可运行的DASH系统100的实施例的示意图。 DASH系统100一般可包括内容源102、HTTP服务器104、网络106、以及一个或多个DASH客户端108。在本实施例中，HTTP服务器104与DASH 客户端108可通过网络106进行数据通信。此外，HTTP服务器104可与内容源102进行数据通信。可替代地，DASH系统100可进一步包括一个或多个其他内容源102和/或HTTP服务器104。网络106可包括用于提供HTTP 服务器104与DASH客户端108间通过有线和/或无线信道进行的数据通信的任何网络。例如，网络106可为因特网和/或移动电话网。DASH系统100 执行的操作的描述通常可指一个或多个DASH客户端108的实例。注意，术语DASH在本发明中可包括任何自适应流媒体，如HTTP直播流媒体 (HTTP livestreaming，HLS)、微软平滑流媒体、或因特网信息服务(Internet information services，IIS)，并可不仅限于指第三代合作伙伴(the Third Generation Partnership，3GP)-DASH或移动运动图像专家组(Moving Picture Expert Group，MPEG)-DASH。
内容源102可为媒体内容提供商或分发商，可用于使用适合不同设备 (如电视机、笔记本电脑和/或手机)的不同加密和/或编码方案将各种媒体内容传送给订户或用户。内容源102可用于支持多个媒体编码器和/或解码器(例如编解码器)、媒体播放器、视频帧率、空间分辨率、比特率、视频格式或其组合。媒体内容可从源或原呈现转化为其他各种表示以适应不同的用户。
HTTP服务器104可为任意网络节点，例如用于通过HTTP与一个或多个DASH客户端108通信的电脑服务器。HTTP服务器104可包括用于通过HTTP发送和接收数据的服务器DASH模块(DASH module，DM)110。在一项实施例中，HTTP服务器104可根据国际标准化组织(International Organization for Standardization，ISO)/国际电工技术委员会(International Electrotechnical Commission，IEC))23009-1中的名称为“信息技术—基于 HTTP的动态自适应流媒体—第1部分：媒体呈现描述与片段格式 (InformationTechnology–Dynamic Adaptive Streaming over HTTP(DASH) –part 1:MediaPresentation Description and Segment Formats)”中描述的 DASH标准运行，该标准的全部内容以引入的方式并入本文本中。HTTP服务器104可用于(例如在存储器或缓存中)存储媒体内容和/或转发媒体内容片段。每个片段可用多种比特率和/或表示编码。HTTP服务器104可组成内容分发网络(content delivery network，CDN)的一部分，CDN可指为了分发内容而在多个主干网上的多个数据中心部署的服务器的分发系统。 CDN可包括一个或多个HTTP服务器104。虽然图1示出了HTTP服务器 104，但是其他DASH服务器，例如源服务器、网络服务器和/或任何其他合适类型的服务器均可存储媒体内容。
DASH客户端108可为任意的网络节点，例如，用于通过HTTP与HTTP 服务器104通信的硬件设备。DASH客户端108可为笔记本电脑、平板电脑、台式电脑、移动电话或任何其他设备。DASH客户端108可用于解析 MPD以提取媒体内容相关信息，例如节目时间、媒体内容可用性、媒体类型、分辨率、最小和/或最大带宽、是否存在媒体成分的各种编码的替代选择、可访问性特征和所需的数字权限管理(digital right management，DRM)、每个媒体成分(例如，音频数据片段和视频数据片段)在网络上的位置和/ 或媒体内容的其他特性。DASH客户端108还可用于根据从MPD中提取的信息选取媒体内容的合适编码版本，并用于通过取出位于HTTP服务器104 上的媒体片段对媒体内容进行流式传输。媒体片段可包括从所述媒体内容中获取的音频和/或视频样本。DASH客户端108可包括客户端DM 112、应用114及图形用户界面(graphical user interface，GUI)116。客户端DM 112 可用于通过HTTP与DASH协议(例如ISO/IEC 23009-1)发送及接收数据。客户端DM 112可包括DASH接入引擎(DASHaccess engine，DAE)118 和媒体输出(media output，ME)120。DAE 118可配置为用于从HTTP服务器104(例如服务器DM 110)接收原始数据及将该数据构造成适合观看的格式的主成分。例如，DAE 118可将该数据和定时数据一起格式化为 MPEG容器格式，然后将格式化后的数据输出给ME 120。ME 120可负责初始化、播放及其他与内容相关的功能，并可将该内容输出给应用114。
应用114可为网页浏览器或其他用于下载及呈现内容的具有界面的应用。应用114可耦合到GUI 116，以便与DASH客户端108相关联的用户可看到应用114的各种功能。在一项实施例中，应用114可包括搜索栏以便用户能输入文字串来搜索内容。若应用114为媒体播放器，那么应用114 可包括搜索栏以便用户能输入文字串来搜索电影。应用114可呈现搜索结果列表，用户可从搜索结果中选取需要的内容(例如电影)。一旦选取，应用114可发送指令到客户端DM 112以下载该内容。客户端DM 112可下载并处理该内容以便将该内容输出到应用114。例如，应用114可提供指令给 GUI 116以显示表示该内容的时间进度的进度条。GUI 116可为用于显示应用114的功能以便用户可操作应用114的任何GUI。如上所述，GUI116可显示应用114的各种功能，以便用户能够选取及下载内容。然后，GUI 116 可显示用户要观看的内容。
图2为可用于通过图1所示的DASH系统100的至少一部分传输及处理数据流的网元200的实施例的示意图。本发明描述的至少一些特征/方法可在网元中实施。例如，本发明的特征/方法可在硬件、固件和/或在该硬件上运行的安装软件中实施。网元200可为通过网络、系统和/或域传输数据的任何设备(例如，服务器、客户端、基站、用户设备、移动通信设备等)。此外，除非本发明明确说明和/或声明，术语网络“单元”、网络“节点”、网络“设备”、网络“组件”、网络“模块”和/或类似的术语没有具体或特别的含义，在通常描述网络设备时可互换使用。在一项实施例中，网元200 可为用于传送自适应集中的元数据信息的装置，以实现DASH和/或建立 HTTP连接及通过HTTP连接通信。例如，网元200可为或可集成到图1中描述的HTTP服务器104或DASH客户端108。
网元200可包括耦合到收发器(transceiver，Tx/Rx)220的一个或多个下行端口210，该收发器可为传输器、接收器、或其组合。
Tx/Rx 220可通过下行端口210从其他网络节点传输和/或接收帧。类似地，网元200可包括耦合到多个上行端口240的其他Tx/Rx 220，其中Tx/Rx 220可通过所述上行端口240从其他网络节点传输和/或接收帧。所述下行端口210和/或所述上行端口240可包括电和/或光传输和/或接收组件。
在另一项实施例中，网元200可包括耦合到Tx/Rx 220的一个或多个天线。Tx/Rx220可通过一个或多个天线以无线方式从其他网元传输和/或接收数据(例如报文)。
处理器230可耦合到Tx/Rx 220，且可用于处理帧和/或确定用于发送 (例如传输)报文的节点。在一项实施例中，处理器230可包括一个或多个多核处理器和/或存储器模块250，所述存储器模块250可用作数据存储器、缓冲区等。处理器230可实施为通用处理器或为一个或多个专用集成电路(specific integrated circuit，ASIC)、一个或多个现场可编程门阵列 (field-programmable gate array，FPGA)和/或一个或多个数字信号处理器(digital signal processor，DSP)中的一部分。虽然处理器230示为单个处理器但是其并不限于此且可包括多个处理器。处理器230可用于实现传送和/或指示元数据信息的任何自适应方案。
图2示出了存储器模块250可耦合到所述处理器230，且可为用于存储各种类型的数据的非瞬时性介质。存储器模块250可包括存储设备，如辅助存储器、只读存储器(read-only memory，ROM)、随机存取存储器 (random-access memory，RAM)。辅助存储器通常由一个或多个磁盘驱动器、一个或多个光驱动器、一个或多个固态磁盘(solid-state drive，SSDs) 和/或一个或多个磁带驱动器组成，用于数据的非瞬时性存储，以及当RAM 空间不足以存储所有工作数据时用作溢出存储设备。所述辅助存储器可用于存储加载到RAM中的选取的待执行程序。ROM用于存储指令并可能存储在程序执行过程中读取的数据。ROM为存储容量一般较辅助存储器小的非瞬时性存储设备。RAM用于存储瞬时性数据并可能存储指令。访问ROM 及RAM通常比访问辅助存储器的速度快。
存储器模块250可用于存储实施本发明中描述的系统以及方法的指令。在一项实施例中，存储器模块250可包括可在处理器230上实施的表示自适应模块260或元数据模块270。在一项实施例中，表示自适应模块260可在客户端上实施以使用元数据信息(例如质量信息)为媒体内容片段选取表示。在另一项实施例中，元数据模块270可在服务器上实施以将元数据信息及媒体内容片段关联和/或传送到一个或多个客户端。
可以理解的是，通过将可执行指令编程和/或加载到网元200，处理器 230、缓存、长期存储器中至少有一个发生了改变，即将网元200部分转化成特定的机器或装置，例如，具有本发明所提出的新功能的多核转发结构。对电气工程领域与软件工程领域来说，可通过在电脑中加载可执行软件实现的功能能够通过该领域熟知的设计规则转换为硬件实现是至关重要的。在软件还是硬件中实现概念通常取决于设计的稳定性与要生成的单元的数量，而不是取决于任何涉及从软件域转换到硬件域的问题。通常，还会经常变化的设计可优选在软件中实现，因为硬件实现的重制比软件设计的重制更昂贵。通常，稳定的及会大量生产的设计可优选在硬件中实现(例如，在ASIC中)，因为通过硬件实现大量生产要比通过软件实现便宜。设计可能经常以软件形式进行开发与测试，随后通过该领域熟知的设计规则转换为ASIC中同等的硬件实现，ASIC将软件的指令变为硬连线。由新的ASIC 控制的机器是特定机器或装置，同样的，编程过的电脑和/或加载了可执行指令的电脑也可视为特定机器或装置。
本发明中任何处理都可通过使处理器(例如通用的多核处理器)执行电脑程序来实施。在这种情况下，可将电脑程序产品提供给使用任意类型的非瞬时性电脑可读介质的电脑或网络设备。所述电脑程序产品可存储在电脑或网络设备中的非瞬时性电脑可读介质中。非瞬时性电脑可读介质可包括任意类型的有形存储介质。例如，非瞬时性电脑可读介质包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、只读光盘(compact disc read only memory，CD-ROM)、可录光碟(compact disc recordable，CD-R)、可重写光盘(compact disc rewritable，CD-R/W)、数字多功能光盘(digitalversatile disc，DVD)、蓝光(注册商标)盘(Blu-ray disc，BD)、半导体存储器(例如光罩式ROM、可编程ROM(programmable ROM，PROM)、可擦除PROM、闪速ROM、RAM)。也可将电脑程序产品提供给使用任意类型的瞬时性电脑可读取介质的电脑或网络设备。例如，瞬时性电脑可读介质包括电信号、光信号、电磁波。瞬时性电脑可读介质可通过有线通信线路(例如电线和光纤)或无线通信线路提供程序给电脑。
图3为DASH自适应方法300的实施例的协议图。在一项实施例中， HTTP服务器302可与DASH客户端304传送数据内容。HTTP服务器302 可配置成类似于HTTP服务器104，DASH客户端304可配置成类似于图1 中描述的DASH客户端108。HTTP服务器302可从内容源(例如图1中描述的内容源102)接收媒体内容和/或可生成媒体内容。例如，HTTP服务器 302可在存储器和/或缓存中存储媒体内容。在步骤306中，所述HTTP服务器302及所述DASH客户端304可建立HTTP连接。在步骤308中，DASH 客户端304可通过向HTTP服务器302发送MPD请求来传送MPD。所述 MPD请求可包括从HTTP服务器302下载或接收数据内容片段及元数据信息片段的指令。在步骤310中，HTTP服务器302可通过HTTP将MPD传送给DASH客户端304。在其他实施例中，HTTP服务器302可通过超文本传输安全协议(HTTP Secure，HTTPS)、电子邮件、通用串行总线(universal serial bus，USB)驱动器、广播、或任意其他类型的数据传输方式来传输 MPD。具体地，在图3中，DASH客户端304可通过DAE(例如图1中描述的DAE 118)从所述HTTP服务器302接收MPD，且DAE可处理所述 MPD以从HTTP服务器302构造和/或发出对媒体内容信息和数据内容片段的请求。步骤306和步骤308可选，在其他实施例中可省略。
在步骤312中，DASH客户端304可发送元数据信息请求给HTTP服务器302。该元数据信息请求可为对与一个或多个媒体片段相关联的元数据集(例如质量集、质量片段和/或质量信息)中的元数据表示的元数据片段的请求。在步骤314中，在接收到元数据信息请求后，HTTP服务器 302可发送元数据信息给DASH客户端304。
DASH客户端304可接收、处理和/或格式化元数据信息。在步骤316 中，所述DASH客户端304可使用元数据信息来选取下一个用于流式传输的表示和/或用于流式传输的表示。在一项实施例中，元数据信息可包括质量信息。DASH客户端304可使用所述质量信息来选取将用户体验质量基于质量信息最大化的表示层。DASH客户端304和/或终端用户可确定和/或建立质量阈值。终端用户可基于性能要求、订阅情况、对内容的兴趣程度、历史可用带宽和/或个人喜好确定质量阈值。DASH客户端304可选取对应质量级别大于或等于质量阈值的媒体片段。此外，DASH客户端304也可考虑使用附加信息(例如可用带宽或比特率)来选取媒体片段。例如，DASH 客户端304也可考虑可用带宽量以传送需要的媒体片段。
在步骤318中，DASH客户端304可向HTTP服务器302请求媒体片段。例如，按所述MPD中的指令或通知并基于接收到的元数据信息，DASH 客户端304可通过DAE(例如图1中描述的DAE 188)发送获取媒体片段的媒体片段请求给HTTP服务器302。所请求的媒体片段可对应于使用元数据信息确定的表示层和/或自适应集。在步骤320中，在接收媒体片段请求后，HTTP服务器302可发送媒体片段给DASH客户端304。DASH客户端 304可接收、处理和/或格式化所述媒体片段。例如，媒体片段可(例如以视频形式和/或音频形式)呈现给用户。例如，缓冲期过后，应用(例如图 1中描述的应用114)可通过GUI(例如图1中描述的GUI 116)呈现所述媒体片段以供观看。DASH客户端304可继续向/从HTTP服务器302发送和/或接收元数据信息和/或媒体片段，类似于上述步骤312至步骤320。
图4为用于指示媒体内容和/或静态元数据信息的MPD 400的实施例的示意图。静态元数据信息可从MPD中获取，且可不随编码媒体内容的变化而变化。元数据信息可包括所述媒体内容的质量信息和/或性能信息，例如最小带宽、帧率、音频采样率和/或其他比特率信息。MPD 400可从HTTP 服务器(例如图1中描述的HTTP服务器104)传送给DASH客户端(例如图3中描述的DASH客户端304)，以提供用于请求和/或获取媒体内容和 /或定时元数据信息的信息，例如，如图3中步骤306至步骤320所述。定时元数据信息也可从MPD中获取，且可随编码媒体内容的变化而变化。在一项实施例中，HTTP服务器可生成MPD 400以提供和/或启用元数据的指示。MPD 400为分层数据模型。根据ISO/IEC 23009-1，MPD 400可指用于提供流媒体服务的媒体呈现的正式化描述。反之，媒体呈现可指一系列建立呈现或媒体内容的数据。具体地，MPD 400可定义说明用于下载数据内容片段的HTTP URL或网络地址的格式。在一项实施例中，MPD 400可为可扩展标记语言(extensible markup language，XML)文档。所述MPD 400 可包括多个指向一个或多个用于下载数据片段及元数据信息片段的HTTP服务器的URL。
MPD 400可包括周期410、自适应集420、表示430、片段440、子表示450和子片段460这几个元素。周期410可与数据内容的周期相关联。根据ISO/IEC 23009-1，周期410通常表示媒体内容周期，在该周期内存在一组具有一致性的媒体内容编码版本。换言之，在一个周期内，这一组可用比特率、语言、标题、字幕不会改变。自适应集420可包括一组可互换的表示430。在各个实施例中，包括元数据信息的自适应集420可称为元数据集。表示430可描述可交付的内容，例如一个或多个媒体内容成分的编码版本。多个时间上连续的片段440可形成流或轨迹(例如媒体内容流或媒体内容轨迹)。
DASH客户端(例如图1中描述的DASH客户端108)可在表示430 间转换以适应网络条件或其他因素。例如，DASH客户端可基于与表示430 关联的元数据信息(例如静态元数据信息)确定其是否能支持特定的表示 430。如果不能，则DASH客户端可选取另一可支持的表示430。片段440 可指与URL关联的数据单元。换言之，片段440一般可指使用单个URL 通过单个HTTP请求可提取到的最大数据单元。DASH客户端可用于下载选取的表示430内的片段，直到所述DASH客户端停止下载或直到所述 DASH客户端选取了另一个表示430。ISO/IEC23009-1中描述了关于片段 440、子表示450及子片段460这几个元素的更多细节。
周期410、自适应集420、表示430、片段440、子表示450和子片段 460这几个元素可用于引用数据内容的各种形式。MPD中的元素和属性类似于2008年XML 1.0第5版中的定义，其全部内容以引入的方式并入本文本中。元素和属性可用大写首字母或驼峰式大小写以及粗体字来区分，不过本发明中没使用粗体字。每个元素可包括一个或多个可进一步定义所述元素的属性。属性前可加“@”符号以示区分。例如，周期410可包括表明与所述周期410相关联的周期在呈现时间轴上何时开始的“@start”属性。
如前所述，当元数据信息随着编码媒体流变化而变化时，元数据信息也可指定时元数据信息，这两个术语在本发明中可互换使用。在周期410 中，元数据信息的一个或多个自适应集可用。例如，表1包括了元数据信息的自适应集列表的实施例。例如，QualitySet、BitrateSet、PowerSet分别为包括质量、比特率、功耗的定时元数据的自适应集。自适应集名称一般描述了自适应集携带的一类元数据信息。元数据信息的自适应集可包括多个元数据表示。在一项实施例中，QualitySet可包括如表2所述的多个质量表示。可替代地，元数据信息的自适应集可为包括多个比特率表示的 BitrateSet，或为包括多个功率表示的PowerSet。
表1–周期元素语义的实施例
在表2中，元数据信息的自适应集可在周期内与媒体内容对应的一个或多个自适应集一起指示。在一项实施例中，定时元数据信息的自适应集可与@id值大约相同的媒体内容的自适应集相关联。定时元数据信息的自适应集可包括多个包括一个或多个媒体表示的元数据信息(例如质量信息) 的表示，且可不包括媒体数据。这样，元数据信息的自适应集可和媒体内容的自适应集区分开，且元数据表示可和媒体表示区分开。每个元数据表示可与一个或多个媒体表示相关联，例如，使用轨迹引用(例如轨迹引用盒“cdsc”)来关联。在一项实施例中，关联可在集层。元数据集与自适应集可共用大约相同的@id值。在另一项实施例中，关联可在表示层。元数据表示与媒体表示可共用大约相同的representation@id值。元数据表示可包括多个元数据片段。每个元数据片段可与一个或多个媒体片段相关联。所述媒体片段可包括与媒体片段内容相关联的质量信息，且在表示自适应中可考虑使用。元数据片段可划分为多个子片段。例如，元数据片段可包括记录元数据信息的索引信息以及每个子片段的接入信息。指示元数据表示可识别哪个媒体内容的自适应集和/或哪个媒体内容的自适应集中的媒体表示与所述元数据表示相关联。可减少采集自适应决策所需信息的时间，且DASH客户端在自适应集中可一次提取多个媒体表示的元数据信息。可同时提供多于一种类型的元数据信息，例如，质量信息可包括从一个或多个质量度量中得到的媒体内容(例如媒体片段)的质量的信息。现有的 DASH规范无需大改就可支持对元数据表示进行指示。
表2–QualitySet元素语义的实施例
表3为在包括质量的定时元数据的自适应集中用作描述符的质量度量(QualityMetric)元素的语义的实施例。质量表示的方案可通过将统一资源名(uniformresource name，URN)用作属性@schemeIdUri(例如 urn:mpeg:dash:quality:2013)的值来表示。例如，@schemeIdUri的值可为 urn:mpeg:dash:quality:2013，@value的值可指示质量测量(例如PSNR、MOS 或SSIM)的度量。
表3–QualityMetric元素语义的实施例
Role元素(例如Representation.Role)可在定时元数据信息的自适应集中使用以表示元数据信息类型或子元素。元数据信息类型可包括但不限于质量、功率、比特率、解码秘钥及事件。表4包括一系列Role元素的实施例。可给不同的元数据类型分配不同的Role值。
表4–各种Role元素的实施例
可选地，一个或多个Role元素可扩展一个或多个附加属性以指示用于元数据信息类型的度量。表5为Role元素扩展的实施例。
表5–Role元素扩展的实施例
在一项实施例中，元数据信息的自适应集可位于MPD 400中作为自适应集420。元数据信息的自适应集可重用为媒体内容的另一自适应集而定义的部分元素和/或属性。元数据信息的自适应集可使用标识符(例如，@id attribute)来链接到另一自适应集和/或引用元数据信息的自适应集到另一自适应集。所述元数据信息的自适应集及其它自适应集可共用同一个@id值。在另一项实施例中，可通过设置@assocationId和/或@associationType将元数据信息的自适应集与其它集相关联，如表6所示。元数据信息可提供自适应集中所有媒体表示的质量信息。在每个周期内，元数据信息的自适应集和其他自适应集科可成对出现。
表6–Representation元素语义的实施例
可结合表7和表8形成通过使用元数据信息集(例如质量集)的自适应集与媒体内容的自适应集之间的关联来向客户端指示质量信息存在的表项的实施例。在该实施例中，元数据表示可为未复用的。QualitySet可包括@id值为“v0”、“v1”、“v3”的三个表示。每个表示可与@id值大约相同的媒体表示相关联。关联可在QualitySet与AdaptationSet之间的集层上实施。例如，两者的@id值都可为“video”。关联也可在@id值大约相同的表示的表示层上实施。元数据信息的自适应集可与使用大约相同的标识符(例如“video”标识符)媒体内容的自适应集相关联。元数据信息的自适应集中的 Role元素可表示所述自适应集包含一个或多个元数据表示。具体地，所述 Role元素可表示所述元数据信息的自适应集的元数据表示包括质量信息。在一项实施例中，元数据信息可不多路复用。关联的自适应集中的媒体表示对应的每个元数据表示可共用大约相同的标识符(例如“v0”、“v1”或“v2”)。可替代地，当自适应集是按时间排列的，元数据表示可多路复用。例如，自适应集中的表示的质量信息及比特率信息可置于元数据表示中。可使用与媒体表示使用的模板基本相似的模板提供元数据表示中的片段 URL，然而，路径(例如BaseURL)可能不同。在一项实施例中，元数据片段文件的后缀可为“mp4m”。
表7–指示质量信息存在的表项的实施例
表8–指示质量信息存在的表项的实施例
可结合表9和表10形成通过使用元数据集与媒体内容的自适应集之间的关联来向客户端指示质量信息存在的表项的另一实施例。在该实施例中，元数据表示可多路复用。元数据集(MetadataSet)可包括一个表示。 MetadataSet可包括自适应集(AdaptationSet)中的媒体表示(例如“v0”、“v1”或“v2”)的质量信息。关联可在所述MetadataSet与所述AdaptationSet 之间的集层上。
表9–指示质量信息存在的表项的实施例
表10–指示质量信息存在的表项的实施例
媒体表示可包含在一个或多个文件中。文件可包括整个呈现的元数据，且可按ISO/IEC 14496-12标题为“信息技术—视听对象编码—第12部分： ISO基本媒体文件格式(Information technology–Coding of audio-visual objects–Part 12:ISO base mediafile format)”中的描述格式化，其全部内容以引入的方式并入本文本中。在一项实施例中，所述文件可还包括表示的媒体数据。ISO基本媒体文件格式(ISO-base media fileformat，BMFF)文件可以灵活且可扩展的格式携带媒体表示(例如采集的媒体内容)的定时媒体信息，该格式可有助于媒体内容的交互、管理及呈现。可替代地，另一文件可包括呈现的媒体数据。文件可为ISO文件、ISO-BMFF文件、图像文件或其他格式的文件。例如，所述媒体数据可为多个联合活动图像专家组(Joint Photographic Expert Group，JPEG)2000文件。所述文件可包括时间信息，帧(例如位置及大小)信息。所述文件可包括媒体轨迹(例如视频轨迹、音频轨迹、字幕轨迹)及元数据轨迹。这些轨迹可用唯一标识轨迹的轨迹标识符标识。所述文件可按物体及子物体(例如在另一个物体中的物体)的顺序构造。这些物体可称为容器盒。例如，文件可包括元数据盒、电影盒、电影分片盒、媒体盒、片段盒、轨迹参考盒、轨迹分片盒、轨迹运行盒。媒体盒可携带媒体呈现的媒体数据(例如视频图像帧和/或音频)，电影盒可携带呈现的元数据。电影盒可包括携带与媒体数据相关联的元数据的多个子盒。例如，电影盒可包括携带媒体盒中视频数据的描述的视频轨迹盒、携带媒体盒中音频数据的描述的音频轨迹盒、携带视频数据和/或音频数据流式传输和/或播放提示的提示盒。更多关于文件及文件中物体的细节可如ISO/IEC 14496-12所述。
定时元数据信息可使用ISO-BMFF框架和/或ISO-BMFF盒结构来进行存储和/或传送。例如，定时元数据信息可使用ISO-BMFF框架中的轨迹来实现。定时元数据轨迹可包含在与其关联的媒体轨迹不同的电影分片中。元数据轨迹可包括一个或多个样本、一个或多个轨迹运行、一个或多个轨迹分片、一个或多个电影分片。可使用不同级别的粒度将元数据轨迹中的定时元数据信息与媒体轨迹中的媒体内容相关联，所述粒度级别包括但不限于样本层、轨迹运行层、轨迹分片层、电影分片层、连续电影分片(例如媒体子片段)层、或本领域普通技术人员看到本发明后想出的任何其他合适的粒度级别。媒体轨迹可划分为多个电影分片。每个媒体分片可包括一个或多个轨迹分片。轨迹分片可包括一个或多个轨迹运行。轨迹运行可包括多个连续的样本，样本可为音频和/或视频样本。更多关于ISO-BMFF 框架的细节如ISO/IEC 14496-12所述。
在一项实施例中，定时元数据信息可包括编码的媒体内容的质量信息。在其他实施例中。元数据信息可包括编码的媒体内容的比特率信息或功耗信息。质量信息可指媒体内容的编码质量。编码的媒体数据的质量可用几个粒度级别来测量及表示。例如，粒度级别可包括样本的时间间隔、轨迹运行(例如样本集合)、轨迹分片(例如轨迹运行集合)、电影分片(例如轨迹分片集合)、子片段(例如电影分片集合)。内容制作者可选取粒度级别，在选取的粒度级别计算媒体内容的质量度量，在内容服务器上存储所述质量度量。质量信息可以是客观的测量和/或主观的测量，且可包括峰值信噪比(peak signal-to-noise ratio，PSNR)、平均意见分(mean opinion score， MOS)、结构相似性(structural similarity，SSIM)指数、帧意义(frame significance，FSIG)、平均信号误差(mean signal error，MSE)、多尺度结构相似性指数(multi-scale structural similarity index，MS-SSIM)、视频质量感知评价(perceptual evaluation of video quality，PEVQ)、视频质量度量(video quality metric，VQM)和/或本领域普通技术人员看到本发明后想出的任何其他的质量度量。
在一项实施例中，质量信息可携带在媒体文件的质量轨迹中。质量轨迹可通过包括如质量度量类型、粒度级别及缩放因子等参数的数据结构进行描述。质量轨迹中的每个样本可包括质量值，其中，所述质量值可为质量度量类型。此外，每个样本可指示所述质量值的缩放因子，其中，所述缩放因子可为缩放所述质量值范围的增生因子。所述质量轨迹还可包括元数据片段索引盒，所述元数据片段索引盒可包括与ISO/IEC 14496-12定义的片段索引盒基本相似的结构。可替代地，所述质量信息可作为如ISO/IEC 14496-12描述的元数据轨迹携带。例如，视频质量度量表项可如表6所示。所述质量度量可位于描述每个样本中的质量度量及用于每个度量值的字段大小的结构(例如QualityMetricsConfigurationsBox描述盒)中。在表11中，每个样本为与描述的度量一一对应的质量值阵列。如有需要，每个值前可填充0，直到变量field_size_bytes指示的字节数。在该示例中，所述变量精确度可为指示样本盒中样本精确度的定点14.2。此外，条件语句中的术语“0x000001”可指示值的精确度(例如大约精确到0.25)。对于整数值(例如MOS)的质量度量来说，对应的值可为1(例如0x0004)。
表11–视频质量度量的样本表项的实施例
表12为质量信息整体描述的语法的实施例。变量metric_type可指示表示质量的度量(例如1:PSNR、2:MOS或3:SSIM)。在一项实施例中，盒可位于片段结构(例如片段类型盒“styp”后)或电影结构(例如电影盒“moov”) 中。
表12–质量信息语法的实施例
在另一项示例中，元数据表示可为包括一个或多个表示430的功耗信息的功率表示。例如，所述功耗信息可基于带宽消耗和/或电源要求提供关于片段功耗的信息。在另一项实施例中，元数据信息可包括与一个或多个媒体表示相关联的加密和/或解密信息。所述加密和/或解密信息可按需提取。例如，所述加密和/或解密信息可在下载媒体片段时及在需要加密和/或解密时提取。关于元数据信息度量的更多细节可如ISO/IEC CD 23001-10名称为“信息技术—MPEG系统技术—第10部分：ISO基本媒体文件格式中的媒体的定时元数据度量的携带(Information technology–MPEG systems technologies–Part 10:Carriageof Timed Metadata Metrics of Media in ISO Base Media File Format)”所述，其全部内容以引入的方式并入本文本中。元数据信息可存储在与媒体内容相同(例如同一服务器)或不同的位置(例如不同的服务器)中。即，MPD 400可引用一个或多个位置来提取媒体内容及元数据信息。
表13为质量片段语法的实施例。例如，表13中的语法可在质量片段未划分为子片段时使用。
表13–片段语法的实施例
表14为包括子片段的质量片段语法的实施例。变量quality_value可指示被引用子片段中的媒体数据的质量。变量scale_factor可控制quality_value 的精确度。更多关于语法的细节可如ISO/IEC JTC1/SC29/WG11/MPEG2013/m28168名称为“质量驱动的自适应的带内信令(In Band Signaling for Quality Driven Adaptation)”所述，其全部内容通过引入的方式并入本文本中。
表14–包括子片段的片段语法的实施例
表15为质量元数据轨迹的样本描述表项的实施例。quality_metric值可指示质量测量所用的度量。粒度值可指示质量元数据轨迹与媒体轨迹之间的关联所在的层。例如，值1可指示样本层质量描述，值2可指示轨迹运行层的质量描述，值3可指示轨迹分片层的质量描述，值4可指示电影分片层的质量描述，值5可指示子片段层的质量描述。scale_factor值可指示默认的缩放因子。
表15–质量元数据轨迹的样本描述表项的实施例
表16为质量元数据轨迹的样本表项的实施例。quality_value值可指示质量度量的值。scale_factor值可指示质量度量的精确度。当scale_factor值约等于0时，可使用样本描述盒(例如表15中描述的样本描述表项)中默认的scale_factor值。当scale_factor值不约等于0时，scale_factor值可覆盖样本描述盒中默认的scale_factor值。
表16–质量元数据轨迹的样本表项的实施例
图5至图12为媒体内容(例如媒体轨迹)与元数据信息(例如元数据轨迹)之间的关联的多个实施例。图5至图12为示例性的，也可使用本领域普通技术人员看完本发明后能想出的媒体内容与元数据信息之间的其他关联。
图5为样本层元数据关联500的实施例的示意图。元数据关联500可包括媒体轨迹550及元数据轨迹560，并可用于将媒体轨迹550及元数据轨迹560在样本层(例如样本层质量描述)上关联。媒体轨迹550和/或元数据轨迹560可通过图3中描述的MPD获取。所述MPD可配置成类似于图 4中描述的MPD 400。媒体轨迹550可包括电影分片盒502、一个或多个轨迹分片盒506、包括多个样本的一个或多个轨迹运行盒510。当元数据轨迹 560包括质量信息时，元数据轨迹560也可称为质量轨迹。元数据轨迹560 可包括电影分片盒504、一个或多个轨迹分片盒508、包括多个样本的一个或多个轨迹运行盒512。在该实施例中，元数据轨迹560中的电影分片盒的数量、每个电影分片盒中轨迹分片盒的数量、每个轨迹分片盒中轨迹运行盒的数量、每个轨迹运行盒中样本的数量和与所述元数据轨迹560相关联的且相对应的媒体轨迹550中的数量可大约相等。元数据轨迹560及媒体轨迹550在电影分片层上、轨迹分片层上、轨迹运行层上、样本层上可一一映射。元数据轨迹560中的样本可与元数据轨迹560关联的媒体轨迹550 中的对应的样本持续一样的时长。
图6为轨迹运行层元数据关联600的实施例的示意图。元数据关联600 可包括媒体轨迹650及元数据轨迹660，并可用于将所述媒体轨迹650及所述元数据轨迹660在轨迹运行层(例如轨迹运行层质量描述)上关联。媒体轨迹650及元数据轨迹660可通过图3中描述的MPD获取。所述MPD 可配置成类似于图4中描述的MPD 400。媒体轨迹650可包括电影分片盒602、一个或多个轨迹分片盒606、包括多个样本的一个或多个轨迹运行盒 610。元数据轨迹660可包括电影分片盒604、一个或多个轨迹分片盒608、包括多个样本的一个或多个轨迹运行盒612。在该实施例中，元数据轨迹 660中的电影分片盒的数量、每个电影分片盒中轨迹分片盒的数量、每个轨迹分片盒中轨迹运行盒的数量和与所述元数据轨迹660相关联的且相对应的所述媒体轨迹650中的数量可大约相等。元数据轨迹660与媒体轨迹650 间在电影分片层上、轨迹分片层上、轨迹运行层上可一一映射。元数据轨迹660中的样本的时长可大于媒体轨迹650对应的轨迹运行盒中的所有样本时长的总和。
图7为轨迹分片层元数据关联700的实施例的示意图。元数据关联700 可包括媒体轨迹750及元数据轨迹760，并可用于将所述媒体轨迹750及所述元数据轨迹760在轨迹分片层(例如轨迹分片层质量描述)上关联。媒体轨迹750及元数据轨迹760可通过图3中描述的MPD获取。所述MPD 可配置成类似于图4中描述的MPD 400。媒体轨迹750可包括电影分片盒702、一个或多个轨迹分片盒706、包括多个样本的一个或多个轨迹运行盒 710。元数据轨迹760可包括电影分片盒704、一个或多个轨迹分片盒708、包括多个样本的一个或多个轨迹运行盒712。在该实施例中，元数据轨迹 760中的电影分片盒的数量，每个电影分片盒中轨迹分片盒的数量和与元数据轨迹760相关联的且相对应的媒体轨迹750中的数量可大约相等。元数据轨迹760与媒体轨迹750间在电影分片层及轨迹分片层上可一一映射。元数据轨迹760中的样本的时长可大于媒体轨迹750对应的轨迹分片盒中的所有样本时长的总和。
图8为电影分片层元数据关联800的实施例的示意图。元数据关联800 可包括媒体轨迹850及元数据轨迹860，并可用于将所述媒体轨迹850及所述元数据轨迹860在电影分片层(例如电影分片层质量描述)上关联。媒体轨迹850及元数据轨迹860可通过图3中描述的MPD获取。所述MPD 可配置成类似于图4中描述的MPD 400。媒体轨迹850可包括电影分片盒802、一个或多个轨迹分片盒806、包括多个样本的一个或多个轨迹运行盒 810。元数据轨迹860可包括电影分片盒804、一个或多个轨迹分片盒808、包括多个样本的一个或多个轨迹运行盒812。在该实施例中，元数据轨迹 860中电影分片盒的数量和与所述元数据轨迹860相关联的且相对应的媒体轨迹850中的数量可大约相等。元数据轨迹860与媒体轨迹850间在电影分片层上可一一映射。元数据轨迹860中的样本的时长可大于媒体轨迹850 对应的电影分片盒中的所有样本时长的总和。
图9为子片段层元数据关联900的实施例的示意图。元数据关联900 可包括媒体轨迹950及元数据轨迹960，并可用于将所述媒体轨迹950及所述元数据轨迹960在子片段层(例如电影分片层质量描述)上关联。媒体轨迹950及元数据轨迹960可通过图3中描述的MPD获取。所述MPD可可配置成类似于图4中描述的MPD 400。子片段层关联可包括所述元数据轨迹960与多个电影片段之间的关联。媒体轨迹950可包括多个电影分片盒 902、一个或多个轨迹分片盒906、包括多个样本的一个或多个轨迹运行盒 910。元数据轨迹960可包括电影分片盒904、一个或多个轨迹分片盒908、包括多个样本的一个或多个轨迹运行盒912。在该实施例中，元数据轨迹 960中电影分片盒的数量可小于与所述元数据轨迹960相关联的且相对应的媒体轨迹950中的电影分片盒的数量。在一项实施例中，元数据轨迹960 中的每个轨迹分片盒908中有一个轨迹运行盒912，每个轨迹运行盒912中有一个样本。
图10为媒体片段层元数据关联1000的实施例的示意图。在多个实施例中，元数据信息可与媒体内容在媒体片段层和/或媒体子片段层上关联。元数据关联1000可包括媒体片段1050及元数据片段1060，且可用于将所述媒体片段1050及所述元数据片段1060在媒体片段层及媒体子片段层上关联。媒体轨迹1050及所述元数据轨迹1060可通过图3中描述的MPD获取。所述MPD可配置成类似于图4中描述的MPD 400。媒体轨迹1050可包括多个包括一个或多个电影分片盒1008及一个或多个媒体数据盒1010 的子片段1020。一个或多个子片段1020也可通过片段索引1006进行索引。类似地，元数据轨迹1060可包括与所述媒体片段1050的子片段1020相关联的多个子片段1022。子片段1022可包括电影分片盒1012、轨迹分片盒 1014、轨迹运行盒1016、媒体数据盒1018。
图11为自适应集层元数据关联1100的实施例的示意图。元数据关联 1100可包括媒体内容1102的自适应集与元数据信息1104的自适应集之间的关联。媒体内容1102的自适应集和/或元数据信息1104的自适应集可配置成类似于图4中描述的自适应集420。元数据信息1104的自适应集可包括与媒体内容1102的自适应集相关联的元数据信息。媒体内容1102的自适应集可包括多个媒体表示1106，每个媒体表示1106包括多个媒体片段 1110。元数据信息1104的自适应集可为包括质量信息的质量集。元数据信息1104的自适应集可包括多个质量表示1108，每个质量表示1108包括多个质量片段1112。在一项实施例中，媒体片段1110与质量片段1112之间的关联可为一一对应的关联。每个媒体表示1-k中的每个媒体片段(MS) 1-n在对应的质量表示1-k中有对应的质量片段(QS)1-n。例如，媒体片段1,1可对应于质量片段1,1；媒体片段1,2可对应于质量片段1,2；诸如此类。可替代地，元数据片段在对应的媒体表示中可对应多个媒体片段。例如，一个质量片段可对应媒体表示中连续媒体片段的前半部分，下一个质量片段可对应所述媒体表示中所述连续媒体片段的后半部分。
图12为媒体子片段层元数据关联1200的实施例的示意图。在一项实施例中，元数据片段1260可与一个或多个媒体子片段1250相关联。元数据片段1260可配置成类似于片段440，媒体子片段1250可配置成类似于图 4中描述的子片段460。在图6中，媒体片段1250可包括多个媒体子片段 1204-1208。元数据片段1260可与多个媒体子片段1204-1208相关联。元数据片段1260可包括多个片段盒(例如片段索引盒1212及1214)以记录所述多个媒体子片段1204-1208。片段索引盒1212可记录媒体子片段1204，片段索引盒1214可记录媒体子片段1206及1208。例如，片段索引盒1212 可使用索引S1,1(m_s1)以参考媒体子片段1204，片段索引盒1214可使用索引S2,1(m_s2)及S2,2(m_s3)以分别参考媒体子片段1206及1208。
表17为元数据片段索引盒表项的实施例。rep_num值可指示在盒中提供元数据信息的表示的数量。当引用项为媒体内容(例如媒体子片段)时，定位点可在顶层片段的起点。例如，当每个媒体片段都存储在单独的文件中时，定位点可为媒体片段文件的起点。当被引用项为被索引媒体片段时，定位点可为质量索引片段盒后的第一个字节。
表17–元数据片段索引盒表项的实施例
图13为表示自适应方法1300的实施例的流程图。在一项实施例中，表示自适应方法1300可在客户端(例如，图1中描述的DASH客户端108) 上实施以通过质量信息为媒体内容片段选取表示。在步骤1302中，方法1300 可请求包括下载或接收媒体内容及元数据信息的片段的指令和/或信息的 MPD(例如图4中描述的MPD 400)。在步骤1304中，方法1300可接收所述MPD。方法1300可解析所述MPD并确定定时元数据信息(例如质量信息)是否可用。例如，定时元数据信息可包含在一个或多个元数据表示中。步骤1302及步骤1304可为可选的，在实施例中可省略。在步骤1306中，方法1300可发送质量信息请求。在步骤1308中，方法1300可接收质量信息。方法1300可将媒体片段的质量映射到自适应集中的一个或多个表示。在步骤1310中，方法1300可通过质量信息选取媒体片段。例如，方法1300 可使用通过图3的步骤316中描述的操作。此外，方法1300可通过可用带宽、比特率、缓冲区大小、流式传输质量的整体平滑度来选取媒体片段。在步骤1312中，方法1300可发送获取所述通过质量信息选取的媒体片段的媒体片段请求。在步骤1314中，方法1300可接收媒体片段。方法1300可继续请求和/或接收质量信息和/或媒体片段，类似于上述步骤1306至步骤1314。
图14为使用定时元数据信息的表示自适应方法1400的实施例的流程图。在一项实施例中，表示自适应方法1400可在客户端(例如，图1中描述的DASH客户端108)上实施以通过质量信息为媒体内容片段选取表示。例如，可实施方法1400以基于定时元数据信息选取待请求的媒体片段表示，例如图3中步骤316所述。在多项实施例中，可设置和/或调整缓冲阈值以提高性能。例如，可设置一个或多个缓冲阈值以减少因不断变化的可用带宽引起的回放中断。例如，低缓冲阈值可为可用带宽的约20％，中缓冲阈值可为可用带宽的约20％-80％，高缓冲阈值可为可用带宽的约80％。
在步骤1402中，方法1400可确定DASH客户端的缓冲区大小。在步骤1404中，方法1400可确定缓冲区大小是否小于低缓冲阈值。如果缓冲区大小小于低缓冲阈值，方法1400可执行步骤1412；否则，方法1400可执行步骤1406。在步骤1412中，方法1400可选取包括最低比特率的表示并结束。返回步骤1404，如果缓冲区大小不小于低缓冲阈值，则方法1404可执行步骤1406。在步骤1406中，方法1400可确定所述缓冲区大小是否小于中缓冲阈值。如果缓冲区大小小于中缓冲阈值，方法1400可执行步骤 1414；否则，方法1400可执行步骤1408。在步骤1414中，方法1400可选取包括可用带宽的最低质量级别的表示并结束。返回步骤1406，如果缓冲区大小不小于中缓冲阈值，则方法1404可执行步骤1408。在步骤1408中，方法1400可确定缓冲区大小是否小于高缓冲阈值。如果缓冲区大小小于高缓冲阈值，方法1400可执行步骤1416；否则，方法1400可执行步骤1410。在步骤1416中，方法1400可选取包括小于可选表示的最大比特率(例如可用带宽与速率因子之积)的质量级别的表示并结束。可通过速率因子来调整相对于可用带宽选择的最大表示的比特率。在一项实施例中，速率因子值可大于1(例如1.2)。返回步骤1408，如果缓冲区大小不小于高缓冲阈值，则方法1400可执行步骤1410。在步骤1410中，方法1400可选取包括可用带宽最大质量级别的表示并结束。
图15为使用定时元数据信息的表示自适应方法1500的另一实施例的流程图。在一项实施例中，表示自适应方法1500可在客户端(例如，图1 中描述的DASH客户端108)上实施以通过质量信息为媒体内容片段选取表示。例如，可实施方法1500通过基于元数据信息选取待请求的媒体片段表示，例如图3中步骤316所述。在一项实施例中，可基于历史下载片段的综合质量和/或可接收的质量变化范围来确定质量阈值。可替代地，可根据平均可用带宽来确定质量阈值。质量上限阈值为综合质量加上所述范围的一半。质量下限阈值为综合质量减去所述范围的一半。
在步骤1502中，方法1500可确定当前可用带宽。在步骤1504中，方法1500可从当前可用带宽对应的表示中选取片段。在步骤1506中，方法 1500可确定片段的质量级别。在步骤1508中，方法1500可确定质量级别是否大于质量上限阈值。如果质量级别大于质量上限阈值，方法1500可执行步骤1510；否则，方法1500可执行步骤1514。在步骤1510中，方法1500可确定当前表示层是否为最低质量级别表示。如果当前表示层是最低质量级别表示，则方法1500可执行步骤1526；否则，方法1500可执行步骤1512。在步骤1526中，方法1500可保留选取的片段并结束。返回步骤1510，如果当前表示层不是最低质量级别表示，则方法1500可执行步骤1512。在步骤1512中，方法1500可从质量级别较低的表示中选取其他片段并执行步骤1506。
返回步骤1508，如果质量级别不大于质量上限阈值，则方法1500可执行步骤1514。在步骤1514中，方法1500可确定质量级别是否小于质量下限阈值。如果质量级别小于质量下限阈值，方法1500可执行步骤1516；否则，方法1500可执行步骤1526。在步骤1516中，方法1500可确定所述当前表示层是否为最高质量级别表示。如果当前表示层为最高质量级别表示，方法1500可执行步骤1526；否则，方法1500可执行步骤1518。在步骤1518 中，方法1500可从较高质量级别表示中选取其他片段。在步骤1520中，方法1500可确定片段的比特率。在步骤1522中，方法1500可确定DASH 客户端的缓冲级别。在步骤1524中，方法1500可确定所述缓冲级别是否大于缓冲阈值。如果所述缓冲级别大于所述缓冲阈值，则方法1500可执行步骤1506；否则，方法1500可执行步骤1526。
图16为表示自适应方法1600的另一实施例的流程图。在一项实施例中，表示自适应方法1600可在服务器(例如图1中描述的HTTP服务器104) 上实施以将质量信息及媒体内容片段传送到一个或多个客户端(例如图1 中描述的DASH客户端108)。在步骤1602中，方法1600可接收对包括下载或接收媒体内容及元数据信息的片段的指令的MPD的MPD请求。在步骤1604中，方法1600可发送所述MPD。步骤1602和步骤1604可为可选的，在其他实施例中可省略。在步骤1606中，方法1600可接收质量信息请求。在步骤1608中，方法1600可发送质量信息。在步骤1610中，方法 1600可接收媒体片段请求。在步骤1612中，方法1600可发送请求的媒体片段。方法1600可继续接收和/或发送质量信息和/或媒体片段，类似于上述步骤1606至步骤1612。
本发明公开至少一项实施例，且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确说明数字范围或限制的情况下，此类表示范围或限制应被理解成包括在明确说明的范围或限制内具有相同大小的迭代范围或限制(例如，从约为1到约为10包括2、3、4等；大于0.10包括0.11、0.12、0.13等)。例如，只要公开具有下限Rl和上限Ru的数字范围，则明确公开了此范围内的任何数字。具体而言，在所述范围内的以下数字是明确公开的：R＝Rl+k*(Ru–Rl)，其中k为从1％到100％范围内以1％递增的变量，即，k为1％、2％、3％、4％、5％……50％、51％、52％……95％、96％、 97％、98％、99％或100％。此外，由上文所定义的两个数字R定义的任何数字范围也是明确公开的。除非另有说明，否则术语“约”是指随后数字的±10％。相对于权利要求的任一元素使用术语“选择性地”意味着所述元素是需要的，或者所述元素是不需要的，两种替代方案均在所述权利要求的范围内。使用如“包括”、“包含”和“具有”等较广术语应被理解为提供对如“由……组成”、“基本上由……组成”以及“大体上由……组成”等较窄术语的支持。因此，保护范围不受上文所陈述的说明限制，而是由所附权利要求书界定，所述范围包含所附权利要求书的标的物的所有等效物。每一和每条权利要求作为进一步揭示内容并入说明书中，且所附权利要求书是本发明的实施例。对所述揭示内容中的参考进行的论述并非承认其为现有技术，尤其是具有在本申请案的在先申请优先权日期之后的公开日期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引入的方式并入本文本中，其提供补充本发明的示例性、程序性或其它细节。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (15)

1.一种媒体表示自适应方法，其特征在于，包括：
获取包括用于提取多个媒体片段以及与所述多个媒体片段相关联的多个元数据片段的信息的媒体呈现描述(MPD)，其中，所述多个元数据片段包括与所述多个媒体片段相关联的定时元数据信息，所述定时元数据信息包括与所述多个媒体片段编码相关联的质量信息；
根据所述MPD中提供的所述信息，发送对一个或多个所述元数据片段的元数据片段请求；
接收所述一个或多个元数据片段；
基于所述一个或多个元数据片段的所述定时元数据信息，选取一个或多个媒体片段；
发送请求所述选取的媒体片段的媒体片段请求；
接收所述选取的媒体片段以响应所述媒体片段请求；
其特征在于，所述一个或多个元数据片段和所述选取的媒体片段一一对应。
2.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括电影分片盒、一个或多个轨迹分片盒、一个或多个轨迹运行盒、多个样本。
3.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括与一个所述多个媒体片段中的多个样本一一关联的多个样本。
4.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括与一个所述多个媒体片段中的一个或多个轨迹运行盒一一关联的一个或多个轨迹运行盒。
5.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括与一个所述多个媒体片段中的一个或多个轨迹分片盒一一关联的一个或多个轨迹分片盒。
6.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括与一个所述多个媒体片段中的电影分片盒一一关联的电影分片盒。
7.根据权利要求1所述的方法，其特征在于，每个所述多个元数据片段包括与一个所述多个媒体片段中的多个电影分片盒关联的电影分片盒。
8.根据权利要求1所述的方法，其特征在于，还包括提取与所述多个媒体片段相关联的比特率信息。
9.根据权利要求1所述的方法，其特征在于，还包括提取可用网络带宽的信息。
10.根据权利要求1所述的方法，其特征在于，访问所述一个或多个元数据片段的定时元数据信息时无需访问所述媒体片段。
11.一种计算机存储介质，所述计算机存储介质中存储有计算机程序代码，其特征在于，当处理器执行所述计算机程序代码时，所述计算机程序代码使网络设备执行以下操作：
获取包括用于从多个自适应集中提取一个或多个片段的信息的媒体呈现描述(MPD)；
根据所述MPD中提供的所述信息，发送对第一自适应集中的一个或多个片段的第一片段请求，其中，所述第一自适应集包括与第二自适应集中多个片段相关联的定时元数据信息；
从所述第一自适应集中接收所述片段；
基于所述第一自适应集中的所述一个或多个片段，从所述第二自适应集的所述多个片段中选取一个或多个片段，其中，从所述第二自适应集的所述多个片段中选取的所述一个或多个片段包括媒体内容；
发送请求所述第二自适应集中的所述选取的一个或多个片段的第二片段请求；
从所述第二自适应集接收所述选取的一个或多个片段以响应所述第二片段请求；
所述第一自适应集包括多个第一表示，所述第二自适应集包括多个第二表示，其中，所述多个第一表示映射到一个或多个所述多个第二表示；
所述多个第一表示与所述多个第二表示一一对应。
12.根据权利要求11所述的计算机存储介质，其特征在于，所述定时元数据包括与所述第二自适应集中的所述多个片段相关联的质量信息。
13.根据权利要求11所述的计算机存储介质，其特征在于，所述定时元数据包括用于获取所述定时元数据信息的一个或多个度量。
14.一种媒体表示自适应装置，其特征在于，所述装置用于根据包括从第一自适应集中提取多个媒体片段以及从第二自适应集中提取多个元数据片段的信息的媒体呈现描述(MPD)进行媒体表示自适应，其中，所述多个元数据片段包括与所述多个媒体片段相关联的定时元数据信息，所述定时元数据信息用于描述媒体编码的质量信息，所述装置包括：
存储器，以及
耦合到所述存储器的处理器，其中，所述存储器包括指令，当所述处理器执行所述指令时，所述指令使所述装置执行以下操作：
根据所述MPD发送元数据片段请求；
接收包括与一个或多个所述媒体片段相关联的定时元数据信息的一个或多个元数据片段；
使用所述元数据信息选取一个或多个媒体片段；
发送请求所述选取的一个或多个媒体片段的媒体片段请求；
根据所述MPD接收所述一个或多个媒体片段；
每个所述元数据片段与一个所述媒体片段一一对应。
15.根据权利要求14所述的装置，其特征在于，所述第一自适应集包括多个第一表示，所述第二自适应集包括多个第二表示，其中，所述多个第二表示映射到一个或多个所述多个第一表示。
CN201480028840.7A 2013-07-19 2014-07-18 一种媒体表示自适应方法、装置及计算机存储介质 Active CN105230024B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361856532P 2013-07-19 2013-07-19
US61/856,532 2013-07-19
PCT/US2014/047249 WO2015010056A1 (en) 2013-07-19 2014-07-18 Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol

Publications (2)

Publication Number Publication Date
CN105230024A CN105230024A (zh) 2016-01-06
CN105230024B true CN105230024B (zh) 2019-05-24

Family

ID=51383922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028840.7A Active CN105230024B (zh) 2013-07-19 2014-07-18 一种媒体表示自适应方法、装置及计算机存储介质

Country Status (5)

Country Link
US (1) US20150026358A1 (zh)
EP (1) EP2962467A1 (zh)
JP (1) JP6064251B2 (zh)
CN (1) CN105230024B (zh)
WO (1) WO2015010056A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
US20150199498A1 (en) * 2014-01-10 2015-07-16 Furturewei Technologies, Inc. Flexible and efficient signaling and carriage of authorization acquisition information for dynamic adaptive streaming
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
KR20160110442A (ko) * 2014-01-29 2016-09-21 코닌클리즈케 케이피엔 엔.브이. 이벤트 스트리밍 프레젠테이션 확립
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US10110652B2 (en) * 2014-10-14 2018-10-23 Intel IP Corporation Carriage of media content quality information
CN107079013B (zh) 2014-10-14 2020-07-10 皇家Kpn公司 管理媒体流的并发流式传输
US9860294B2 (en) * 2014-12-24 2018-01-02 Intel Corporation Media content streaming
CN107211193B (zh) * 2015-02-07 2021-04-13 视觉波公司 感知体验质量估计驱动的智能适应视频流传输方法和系统
US10270823B2 (en) * 2015-02-10 2019-04-23 Qualcomm Incorporated Low latency video streaming
CN106664299B (zh) * 2015-02-15 2020-01-17 华为技术有限公司 基于超文本传输协议媒体流的媒体呈现导览方法和相关装置
US9955191B2 (en) 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
KR20240108546A (ko) 2015-09-11 2024-07-09 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10498368B2 (en) * 2015-11-02 2019-12-03 Mk Systems Usa Inc. Dynamic client-side selection of FEC information
KR102209292B1 (ko) * 2015-11-04 2021-01-29 삼성전자 주식회사 멀티미디어 시스템에서 데이터 제공 방법 및 장치
JP6555151B2 (ja) * 2015-12-15 2019-08-07 株式会社リコー 通信装置および通信システム
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法
WO2017145757A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP6868783B2 (ja) * 2016-02-22 2021-05-12 ソニーグループ株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP2017157903A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
JP2017157904A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
US10104143B1 (en) * 2016-06-03 2018-10-16 Amazon Technologies, Inc. Manifest segmentation
US10432690B1 (en) 2016-06-03 2019-10-01 Amazon Technologies, Inc. Manifest partitioning
US10116719B1 (en) 2016-06-03 2018-10-30 Amazon Technologies, Inc. Customized dash manifest
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
JP6891497B2 (ja) * 2017-01-06 2021-06-18 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10652300B1 (en) 2017-06-16 2020-05-12 Amazon Technologies, Inc. Dynamically-generated encode settings for media content
JP6851278B2 (ja) * 2017-07-21 2021-03-31 Kddi株式会社 ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法
US11025919B2 (en) * 2017-10-03 2021-06-01 Koninklijke Kpn N.V. Client-based adaptive streaming of nonlinear media
US11451838B2 (en) 2017-12-07 2022-09-20 Koninklijke Kpn N.V. Method for adaptive streaming of media
CN111869221B (zh) * 2018-04-05 2021-07-20 华为技术有限公司 Dash对象之间的有效关联
CN111937043B (zh) * 2018-04-06 2024-05-03 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
US10771842B2 (en) * 2018-04-09 2020-09-08 Hulu, LLC Supplemental content insertion using differential media presentation descriptions for video streaming
US10904642B2 (en) 2018-06-21 2021-01-26 Mediatek Singapore Pte. Ltd. Methods and apparatus for updating media presentation data
EP3939332A4 (en) * 2019-03-14 2022-12-21 Nokia Technologies Oy METHOD AND APPARATUS FOR LATE LINKING IN MULTIMEDIA CONTENT
US11272227B1 (en) * 2019-03-25 2022-03-08 Amazon Technologies, Inc. Buffer recovery in segmented media delivery applications
JP6849018B2 (ja) * 2019-07-02 2021-03-24 富士ゼロックス株式会社 ドキュメント管理システム
US11303688B2 (en) * 2019-09-30 2022-04-12 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11973817B2 (en) * 2020-06-23 2024-04-30 Tencent America LLC Bandwidth cap signaling using combo-index segment track in media streaming
US11687386B2 (en) * 2020-10-07 2023-06-27 Tencent America LLC MPD validity expiration processing model
US11882170B2 (en) * 2021-04-19 2024-01-23 Tencent America LLC Extended W3C media extensions for processing dash and CMAF inband events

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842786A (zh) * 2007-10-29 2010-09-22 诺基亚公司 对于多媒体文件格式的快速和编辑友好的采样关联方法
CN102291373A (zh) * 2010-06-15 2011-12-21 华为技术有限公司 元数据文件的更新方法、装置和系统
CN102687518A (zh) * 2009-12-11 2012-09-19 诺基亚公司 用于流媒体文件内表示的描述和定时的装置及方法
CN103081504A (zh) * 2010-09-06 2013-05-01 韩国电子通信研究院 提供串流内容的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005222965B8 (en) * 2004-03-15 2010-07-01 City Of Hope Methods and compositions for the specific inhibition of gene expression by double-stranded RNA
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US20110246660A1 (en) * 2009-09-29 2011-10-06 Nokia Corporation Systems, Methods, and Apparatuses for Media File Streaming
EP2551916A1 (en) * 2010-03-25 2013-01-30 Kyocera Corporation Photoelectric conversion device and method for manufacturing photoelectric conversion device
KR101768222B1 (ko) * 2010-07-20 2017-08-16 삼성전자주식회사 적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9319448B2 (en) * 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8997160B2 (en) * 2010-12-06 2015-03-31 Netflix, Inc. Variable bit video streams for adaptive streaming
US9661104B2 (en) * 2011-02-07 2017-05-23 Blackberry Limited Method and apparatus for receiving presentation metadata
US8924580B2 (en) * 2011-08-12 2014-12-30 Cisco Technology, Inc. Constant-quality rate-adaptive streaming
CN109618185A (zh) * 2012-07-10 2019-04-12 Vid拓展公司 由wtru执行的方法、wtru及编码设备
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
CN109510999B (zh) * 2013-03-06 2022-08-30 交互数字专利控股公司 一种wtru及由wtru执行的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842786A (zh) * 2007-10-29 2010-09-22 诺基亚公司 对于多媒体文件格式的快速和编辑友好的采样关联方法
CN102687518A (zh) * 2009-12-11 2012-09-19 诺基亚公司 用于流媒体文件内表示的描述和定时的装置及方法
CN102291373A (zh) * 2010-06-15 2011-12-21 华为技术有限公司 元数据文件的更新方法、装置和系统
CN103081504A (zh) * 2010-09-06 2013-05-01 韩国电子通信研究院 提供串流内容的方法及装置

Also Published As

Publication number Publication date
US20150026358A1 (en) 2015-01-22
JP6064251B2 (ja) 2017-01-25
JP2016522622A (ja) 2016-07-28
EP2962467A1 (en) 2016-01-06
WO2015010056A1 (en) 2015-01-22
CN105230024A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105230024B (zh) 一种媒体表示自适应方法、装置及计算机存储介质
CN105379293B (zh) 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
US11310540B2 (en) Interfaces between dash aware application and dash client for service interactivity support
US10798144B2 (en) Directory limit based system and method for storing media segments
EP2490445B1 (en) Method, terminal and server for implementing trickplay
US9591361B2 (en) Streaming of multimedia data from multiple sources
KR101620151B1 (ko) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
US20140297804A1 (en) Control of multimedia content streaming through client-server interactions
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN105228001B (zh) 一种flv格式视频在线播放的方法及系统
US20140317668A1 (en) Carriage Of Quality Information Of Content In Media Formats
US11647252B2 (en) Identification of elements in a group for dynamic element replacement
CN103763637A (zh) 一种流媒体播出方法及其系统
WO2014193996A2 (en) Network video streaming with trick play based on separate trick play files
WO2019014574A1 (en) PROCESSING MULTIMEDIA DATA USING FILE TRACKS FOR WEB CONTENT
US20140052824A1 (en) Conveying state information for streaming media
CN106789976A (zh) 媒体文件的播放方法、服务端、客户端及系统
CN108271040B (zh) 播放视频的方法和装置
CN112929677A (zh) 直播视频的回看方法、装置和服务器
KR20240104894A (ko) 비디오 전송 스트림에 영상 스킵 관련 정보를 포함하는 메타데이터를 포함하는 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant