[go: up one dir, main page]

CN108293145B - 视频分发同步 - Google Patents

视频分发同步 Download PDF

Info

Publication number
CN108293145B
CN108293145B CN201680064950.8A CN201680064950A CN108293145B CN 108293145 B CN108293145 B CN 108293145B CN 201680064950 A CN201680064950 A CN 201680064950A CN 108293145 B CN108293145 B CN 108293145B
Authority
CN
China
Prior art keywords
time
media stream
playout
packets
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680064950.8A
Other languages
English (en)
Other versions
CN108293145A (zh
Inventor
佩尔·林格伦
泰德·奥尔森
安德斯·塞德罗纽斯
汉斯·因苏兰德
C·博姆
M·丹尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Live Sweden Ltd
Original Assignee
Net Insight Intellectual Property AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Net Insight Intellectual Property AB filed Critical Net Insight Intellectual Property AB
Publication of CN108293145A publication Critical patent/CN108293145A/zh
Application granted granted Critical
Publication of CN108293145B publication Critical patent/CN108293145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提供了在分发网络(200)中的方法，该分发网络包括中央主节点101，其用于通过分发网络将包括第一类型的分组的接收的媒体流D0分发到多个客户端设备151、152、153。该方法包括提供公共主‑客户端共享的时间参考T参考，以及确定接收的第一类型的分组的平均中间到达时间，其用于与时间参考T参考一起提供分组的播放时间信息。

Description

视频分发同步
发明领域
本发明总体上涉及数据传输领域，并且更具体地涉及在提供实时多媒体通信的基于数据分组的网络中的多个客户端设备处同步播放。
发明背景
通过IP网络(例如，互联网)流传输数字媒体内容(像是处于压缩格式的视频或音频)由观看者感知为在内容回放期间即时下载。在直播分发(live distribution)中，视频信号被转换成经压缩的数字信号，并作为单播或多播从主服务器被传输，将单个文件同时发送到多个用户客户端设备。
通过互联网分发视频的最常见方式之一是使用HLS(HTTP直播流传输)，其中视频流被放入10秒的视频文件中，因此视频将由一系列的这些10秒的视频文件组成。然后，客户端设备使用普通的http来请求这些文件，并且为了确保客户端设备始终有视频数据呈现，而确保这些文件中至少有3个文件在设备中缓冲。这意味着这种缓冲将会施加至少30秒的延迟。另外，内容播放器下载数据并将其存储在接收设备中，以补偿网络问题，诸如，分组丢失和抖动。在启动时，缓冲区被填充达到一定的等级(通常为30秒)。如果分组丢失，传输协议TCP就会再次请求数据，并且还减少了传出流量的比特率，以避免拥塞。由于这个过程花费时间，并且错误越多就会越慢，因此随着延迟更大，缓冲区需要增加。这意味着延迟会随着时间的推移而增加。另一个结果是由于不同的设备经历了不同的分组丢失和抖动，因此不同的客户端设备的缓冲区填充等级将会不同，这意味着它们的视频呈现将被延迟并且不同步。
对于通过互联网进行在线流传输(主要是流传输到移动设备、平板电脑或互联网连接的电视机)来说，媒体内容传输到在不同设备上进行观看(或收听)的不同观看者的延迟的差异可以显著不同。这具有如下效果：例如，观看直播TV频道或直播体育赛事可以有几秒钟的差异，并且在当前是Over-The-Top(OTT)传送的情况下，甚至有几分钟的差异。如果人们坐在彼此靠近的地方(如在酒吧或火车中)观看相同内容，或者如果他们并行地观看并且进行社交对话(诸如，电话、Facebook、Twitter、SMS或聊天)，那么这可以以最长延迟时间破坏观众的体验。此外，整个分发中的绝对延迟当然本身就是实时多媒体通信中的问题。取决于底层网络基础设施的类型、最后一英里技术和网络拥塞，通过互联网从源到不同接收客户端设备的实际传输延迟通常可以在几毫秒到几百毫秒之间的差异。
通常，互联网上的TV/视频还涉及使用自适应比特率(ABR)，这意味着以具有不同的质量/比特率的不同的版本发送相同的节目，并且需要额外的缓冲，以无缝的方式来处理不同比特率之间的切换。
用于同步媒体内容文件的播放的常用协议是用于实时应用的传输协议(RTP)，在下文中被称为RTP。RTP包括控制协议RTCP，其提供包括来自主服务器的时间戳记和控制分组以及来自客户端设备的反馈信息的同步信息。当发送RTP媒体数据分组时，媒体数据分组中的时间戳记描述了以采样时钟的时间单位创建分组的时刻。RTP的主要目的是提供在客户端设备中作为单独的流而被接收的视频和音频内容的重新同步。RTP/RTCP不会在不同设备之间同步，因为时间戳记与全局时钟(诸如，UTC)无关。
现有技术文件(WO2012/021747)公开了一种方法，包括向内容服务器传输回放会话标识符。回放会话标识符与针对数字内容标题的独特回放会话相关联，接收包括回放命令和用于执行回放命令的指定时间的服务器侧事件，并且基于已经与由远程时间服务器生成的时间参考信号同步的本地时间信号，安排用于在指定时间执行的回放命令。尽管该文档阐述了用于在多个端点设备之间同步播放具有不同个人观看偏好的数字内容标题的方法，但所公开的方法适用于视频点播服务而不适用于实时的广播/实时电视分发。
发明概述
通过提供一种方法来获得媒体流的感知同步将是有利的，该方法允许媒体流(诸如TV/视频/音频流)通过最佳的IP网络进行分发以在多个客户端设备处同时播放，并且该方法适用于最佳系统中的基于分组的分发。
该目的通过如权利要求1所定义的分发网络中的方法来实现。因此，根据本发明，提供了分发网络中的方法，该分发网络包括中央主节点，其用于通过分发网络将包括至少第一类型的分组的接收的媒体流分发给多个客户端设备。该方法包括提供公共主客户端共享的时间参考T参考，以及在中央主节点处：确定第一类型的接收的分组的平均中间到达时间，基于平均中间到达时间和时间参考T参考确定第一类型的分组的相应的第一播放时间信息，用相应的第一播放时间信息对第一类型的分组进行时间戳记，并将媒体流分发给多个客户端设备。从而在多个客户端设备处启用媒体流的同步播放，这处理了媒体流通过网络的基于分组的分发的不可预知到达时间。通过在中央主节点处提供播放时间信息，可以向所有客户端设备指示播放TV/视频/音频流的准确时间。根据本发明构思的实施例，待分发给所有客户端设备的准确播放时间是在主服务器处提供的，或者可选地，是从播放时间信息中提取并在客户端设备中生成的，以确保流在客户端设备处的精确且同步的播放。本发明构思适于处理(使用IP/以太网网络)异步到达入口的编码的视频或媒体流，其具有不同的视频分组大小和通过分发网络的不同延迟。因此，在将媒体流进一步分发给客户端设备之前，执行包含基于重建的频率数据的播放时间信息的时间戳记。到达频率给出了演示时间的顺序。
时间延迟增量根据为了应对从入口到设备的最差时间延迟(包括输送延迟、重传延迟、处理和缓冲)而添加的方法的实施例。如上所述，在例如编码的视频流中，每个帧可以具有不同的大小(例如，全画面或画面的增量)，这意味着传输时间将不同并且它们将在不同的时间到达。通过测量例如全画面的中间到达时间，并且知道正在发送的全画面之间的增量画面的数量，达到全画面的平均频率。通过将所提供的平均频率与客户端-服务器共享的时间参考(例如，UTC时间)相组合，提供了每个帧的播放时间信息，该播放时间信息被时间戳记到分组中以用于接收的客户端提取。为媒体分发服务的每个选定频道提供确定新的全画面频率和重新戳记的过程，这意味着在频道切换的情况下重新开始恢复画面频率的过程。
根据该方法的实施例，当接收的媒体流还包括第二类型的分组时，基于第一类型的分组的数量和第二类型的分组的数量之间的预定比率来提供具有相应的第二播放时间的时间戳计，这是有利的。编码的视频流中的全画面和增量画面之间的比率由画面组(GOP)(例如，MPEG-4 GOP或HEVC GOP)定义，并且在编码器处设置并在配置之后固定。
根据该方法的实施例，第一类型的分组与全画面视频数据相关联，并且第二类型与增量画面视频数据相关联，这是有利的，因为编码的视频流然后可以被直接使用而不用进行处理或者避免在对到入口的主分发进行编码之前执行时间戳记。
根据该方法的实施例，时间参考T参考基于协调世界时间、UTC、网络时间协议、NTP，或者从移动网络导出、手动设置或从GPS导出。如果时间参考是可靠的，则所有这些选项都适用于本发明概念。例如，NTP给客户端设备分发足够可靠的时间具有一些挑战，因为NTP流量可能被防火墙阻止，NTP流量可能会丢失，使得时钟恢复，并因此时间精度不足以保持设备之间的视频同步，NTP流量强加了增加由视频输送可以花费带宽的容量使用的开销，因为NTP消耗额外的容量，NTP分组的频率需要低，这导致时钟精度不高，并且从而导致演示的时间不正确。
根据该方法的实施例，其还包括将参考时间的时间戳记插入到媒体流中并插入到每个客户端设备的回报告流(back reporting stream)中，并在多个客户端设备中提取参考时间的时间戳记以用于提供所述多个客户端设备的协调本地时间。该方法还可以包括以下步骤：添加回报告流时间差并基于测量的差估计往返时间，并且然后补偿估计的单向延迟的时间尺度。这提供了在系统中分发服务器-客户端共享的时间参考的改进的和有利的方式。通过在实际的视频分组中添加时间信息而不是发送例如NTP分组，作为常见问题的定时分组被防火墙阻止被避免了。此外，时间信息的频率将高得多并且是以零或非常低的开销。因此，相应客户端设备中的本地时钟的准确度增加，并且改进了在不同客户端设备处的媒体流的同步播放。开销越低，时间戳记和带内的频率越高也意味着时间同步信息不会如与使用单独协议(诸如，NTP)时的情况下的被网络防火墙阻止。
根据该方法的实施例，第一播放时间或第二播放时间包括可由中央主节点预定或设置的播放延迟。根据本发明的实施例，延迟Δ被选择为对应于媒体流通过分发网络到客户端设备的至少最大输送延迟。由于分发网络中的分发路径、流量条件等对于不同的客户端设备而言将是不同的，因此播放延迟被选择为足够大到处理最长的输送延迟，并且根据实施例，还允许足够的时间用于重新传输或其他分组恢复和流处理。延迟还可以包括缓冲时间以用于通过网络进行重新传输和/或其他分组恢复和媒体流处理，这又有利于客户端设备之间的同步。
根据该方法的实施例，其还包括将播放延迟插入到媒体流中，这对于可选地向客户端设备提供新的延迟数据是有利的，例如，当需要处理最坏情况的延迟而不运行空数据在客户端设备处呈现时或当客户端设备与从不同播放服务器接收内容的客户端设备同步时。
根据本发明的方面，提供了在分发网络中的客户端侧的方法，该分发网络包括中央主节点，该中央主节点用于通过分发网络将媒体流分发到多个客户端设备，该方法包括接收公共主-客户端共享的时间参考、接收媒体流并基于从媒体流提取的时间信息来确定接收的媒体流的第一类型的每个分组的相应的第一播放时间。相应的第一播放时间基于媒体流在中央主节点处的平均中间时间到达，并且在相应的播放时间播放第一类型的每个分组，从而提供关于多个客户端设备的媒体流的同步播放。这是有利的，因为在这种情况下，不需要在插入播放时间的主节点中进行解码和编码。
根据该方法的实施例，当所接收的媒体流还包括第二类型的分组时，该方法还包括基于从媒体流提取的时间信息并基于所述第一类型的分组的数量和所述第二类型的分组的数量之间的预定比率来确定接收的媒体流的第二类型的每个分组的相应的第二播放时间。
根据该方法的实施例，其还包括从媒体流中提取所述参考时间的时间戳记以提供本地时间参考，这是有利的，因为例如像NTP这样的时间协议会遭遇防火墙的问题。此外，这可能会增加频率和定时的准确性，并且与使用其他时间协议相比，网络中的开销降低。
根据本发明的方面，提供了一种在分发网络中的节点，用于执行根据本发明构思的方法的装置。
根据本发明的方面，提供了软件模块，其当由计算机处理器执行时适于执行根据本发明构思的方法，这有利地提供了对解决方案的简单实施和可扩展性。
根据该方法的实施例，在数据分组中添加用于协调在客户端设备之间的时间的(例如，具有参考时间的时间戳)时间信息与正常客户端设备定时机制(诸如，NTP、UTC等)组合，这进一步确保了准确时间用于在系统中提供分发时间的冗余方式。
优选地，本发明方法的实施例通过用于以软件、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或适于执行本发明的方法的其他合适的设备或可编程单元、云服务或虚拟机中的实现(图中未示出)的形式发信号并提供数据输送的软件模块的装置在分发、媒体内容提供商或通信系统中实现。软件模块和/或数据输送模块可以集成在包括合适的处理装置和存储器装置的节点中，或者可以在包括合适的处理装置和存储器装置的外部设备中实现，并且其被布置为与现有节点互连。
当学习以下详细描述的公开、附图和所附权利要求时，本发明的另外的目的、特征和优点将变得明显。本领域技术人员了解到，可组合本发明的不同特征以创建除了如下所描述的那些实施例之外的实施例。
附图简述
本发明的以上的以及另外的目的、特征和优点，通过如下参照附图的本发明的优选实施例的说明性且非限制性的详细描述将变得更好被理解，在附图中相同的参考标号将用于类似的元素，其中：
图1和图2是图示了根据本发明构思的服务器-客户端媒体内容提供商系统的实施例的示意框图；
图3a-图3d是在媒体内容提供商系统中处于不同阶段的媒体流的示意图；
图4是根据依据本发明构思的方法的实施例的数据传输操作的流程图；以及
图5是图示了根据本发明的实施例的服务器-客户端媒体内容提供商的示意框图。所有的附图为示意性的、不一定按比例绘制，并通常仅示出为了阐述本发明所必需的部件，其中其他部件可被省略或者仅仅是被建议的。
优选实施方式的详细描述
图1是示意性地示出媒体内容提供商系统100(在下文中称为系统100)的框图，该媒体内容提供商系统100包括中央主节点101、中央主节点位于其中的分发网络200以及多个客户端设备151、152和153。分发网络200通常包括若干中间节点和实例。中央主节点101可以在云服务中实现并且随后在逻辑上实现，并且还可以被称为获取节点、入口节点或中央播放(central playout)。系统100被配置以实现本发明的一个或更多个方面，并且被布置成可操作用于经由分发网络200向客户端设备151、152和153提供流媒体内容。在本文中描述的示例性实施例中，分发网络200包括基于行业标准互联网协议(IP)的交换和路由网络，并且可以通过例如互联网来实施。主节点101可以位于多服务提供商系统中的任何内容提供商或服务提供商处。客户端设备151-153和主节点在此全部连接到参考时钟300(在此是全局时钟(UTC))。在为主节点和/或客户端设备提供时间参考T参考的可选实施例中，是基于协调世界时间、网络时间协议(NTP)的或是从移动网络导出的、手动设置的或从GPS导出的。媒体流DSo在中央主节点101处被接收和处理，并且随后作为经处理的媒体流DS经由分发网络200使用广播、多播或单播进行发送。客户端设备151、152、153通过分发网络200接收各自已经延迟了输送延迟d1、d2和d3的相应媒体流DS1、DS2和DS3。
每个客户端设备151、152、153可以被实现为智能电话、平板电脑，已连接的电视机、计算机等，并且还可以包括相应的媒体内容播放器(未显示)。可选地，媒体内容播放器可以是用于在访问图1中的系统100或者经由互联网耦合的某个其他媒体流传输系统时通过插件来执行播放流传输媒体内容的媒体播放器。
现在参考图2，图2是示意性地示出与IP类型的网络系统400连接以用于视频的直播分发的系统100的框图，将鉴于此来描述本发明构思的一个方面。在广播位置(电视网络、本地TV演播室、有线电视系统、诸如体育场的事件位置等)的入口点处，产生包括媒体内容(在此通过全画面P1、P2、...PN来例示，参见图3a)的直播媒体流A的摄像机50连接到服务器计算机51。服务器计算机51(其也可以是用FGPA、ASIC等实现的专用设备)被布置成对媒体流A进行编码，通常压缩在此被表示为全画面P1、P4和表示在特定时间实例处的全画面的特定变化的增量画面SP1和SP2的数据。经编码的媒体流在图2和图3b中表示为B。然后，经编码的媒体内容通常作为分组流C(包括携带编码的数据的分组CU的流)使用单播或多播进行发送。每个分组CU通常将具有不同的大小，但分组还可以表示具有标识该类型的一些头部或尾部部分的不同类型的分组。在该例示的实施例中，基本上表示了两种类型的分组，在图3c中，第一类型表示全画面CU1FP、CU2FP，并且第二类型表示增量画面CU1SP、CU2SP。其他类型的分组(例如，音频分组)是适用的。在可选实施例中，从存储介质中提供用于分发给客户端设备的预先记录的媒体流(节目)。分组流C经由不需要作为专用网络而是可以与其他服务共享的主分发网络60被分发到播放服务器(播放服务器在此由中央主节点101来实施)，位于不同观看者位置的多个客户端设备151、152、153向播放服务器请求媒体内容来显示。每个客户端设备151-153包括用于处理接收的媒体内容并选择要播放的媒体内容的装置。
媒体流C从广播位置以流的形式输送，其中，全帧和部分帧的不同大小将导致帧的起点将不再均匀间隔。通过主网络60，由于不同的输送路径、网络拥塞、不适当的排队、配置错误等，媒体流的分组将遭受各种分组传递延迟和抖动。网络的吞吐量和性能可能会受到实时网络环境的各种参数(例如，流量密度)的影响而不同。所输送的媒体流D到达中央主节点101时，与作为流C进入网络60时相比，在分组之间的延迟的差别更大，这与在图3d中进行了示意性示出。现在需要重新创建原始画面频率，并将其变换为播放时间序列。
再次参考图1，现在设想如图3d中所描述的所输送的媒体流D是所接收的媒体流DS0。为了在中央主节点101服务的客户端设备处提供媒体内容的重放的同步，根据本发明构思，中央主节点101包括处理装置(未显示)，该处理装置被配置用于执行根据本发明构思的方法的实施例的步骤。现在继续参考图1并且参考图4。通过首先确定第一类型的所接收的分组(在此通过全画面来表示)的平均中间到达时间，来处理所接收的媒体流DS0(步骤400)。该过程可以连续执行或在预定时间间隔内执行。
对于每个第一类型的分组，基于所确定的平均中间到达时间和公共主-客户端共享的时间参考300来计算相应的第一播放时间(步骤410)。在随后的步骤(步骤410)中，每个第一类型的分组以其相应的第一播放时间进行时间戳记，并且然后被分发给多个客户端设备151、152、153(步骤420)。
根据方法实施例，例如当查看如本文所描述的例示实施例时，当所接收的媒体流DS0还包括第二类型的分组(在此是增量画面)时，在步骤(步骤415)中采用相应的第二播放时间对第二类型的分组进行时间戳记。第二播放时间可以基于在第一类型(全画面)的分组数量和第二类型(增量画面)的分组数量之间的预定比例，例如通过利用GOP数据。凭借已经确定的第一播放时间、它们之间的预设间隔以及在每个第一类型的分组之间的第二分组的数量，可以确定并且在分发给客户端设备之前插入每个第二类型的分组的相应的第二播放时间。
如本文所描述的第一或第二类型的分组可以指内容单元，像是例如全画面、增量画面或音频序列，根据可以被输送的大小将该内容单元被分割成多个分组。然而，每个内容单元(即全画面等)优选地仅采用播放时间信息进行时间戳记一次。
根据本发明构思的实施例，播放时间信息TS被选择为包括公共播放延迟Δ。因此，时间戳记TS被设置为TS＝UTC+Δ。播放延迟Δ在此被选择为3秒的延迟，其足以覆盖从入口节点(主节点110)输送到在客户端设备151、152、153中的任何一个客户端设备的最大延迟。被时间戳记的视频流251的三个相应实例分布在分发网络上，并且取决于通过分发网络200的输送延迟，在相应的显示器设备151、152、153处在不同的时间(例如UTC+1、UTC+3、UTC+2)被接收到。当具有时间戳记UTC+3的视频分组在预定播放时间UTC+3之前的时间到达时，客户端设备等待直到达到在播放对应的视频内容之前的预定播放时间UTC+3为止。这意味着，只要将播放延迟选择为至少对应于通过分发网络的媒体流的最大输送延迟，与此同时，所有客户端设备就将同步呈现视频分组的内容。
根据定义了欧洲的TV标准的欧洲广播联盟(European Broadcasting Union(EBU))，直播TV被定义为采用低于所谓的七秒延迟的、从入口到客户端设备播放的延迟进行广播。因此，通过本发明提供通过互联网“真实地”直播分发视频/TV(从人正在踢球到其在电视上被看到，即，包括所有延迟)。
根据本发明的一个实施例，现在参考图5，该图是示意性示出媒体内容提供商系统500的框图，在下文中称为系统500，其包括中央主节点501、中央主节点位于其中的分发网络200、以及多个客户端设备551、552和553。主节点设置有来自正在由例如UTC提供的参考源300的参考时间T参考，主节点处理装置还被配置用于将参考时间T参考的时间戳记插入到媒体流DS的分组中(图4中的步骤418)。当媒体流在客户端设备551、552、553中被接收时，参考时间T参考的这些时间戳记被提取并被用于在多个客户端设备时钟554、555、556之间提供协调本地时间。根据发明构思的实施例，在分发网络200中的客户端侧方法包括：中央主节点501用于通过分发网络200向多个客户端设备551、552、553分发媒体流，该方法包括接收公共主-客户端共享的时间参考T参考的步骤，其中，可选地通过从所述媒体流中提取参考时间T参考的时间戳记，在媒体流中提供时间参考，以提供本地时间参考。如图5中示意性示出的，在中央主节点501处，时间信息被预插入到媒体流的分组中。在客户端处，从所接收的分组中提取时间信息，并且基于所提取的时间信息来确定与每个分组相关联的播放时间。时间信息包括媒体流到达在中央主节点处的平均中间时间和/或由中央主节点确定的播放时间。客户端设备被布置成用于在相应的播放时间播放分组，从而在多个客户端设备处提供媒体流的同步播放。在所接收的媒体流包括第一类型的分组和第二类型的分组的情况下，该方法还包括基于从媒体流提取的时间信息确定所接收的媒体流的每个第二类型的分组的相应的第二播放时间。第二播放时间可以基于如前所述的在第一类型的分组数量和第二类型的分组数量之间的已知的比例来确定。

Claims (24)

1.一种在分发网络(200)中的方法，所述分发网络包括中央主节点(101)，所述中央主节点用于通过所述分发网络将包括第一类型的分组的所接收的媒体流(D)分发给多个客户端设备(151、152、153)，所述方法包括：
提供公共主-客户端共享的时间参考T参考，并且在所述中央主节点处：
确定所接收的所述第一类型的分组的平均中间到达时间；
基于所述平均中间到达时间和所述时间参考T参考确定所述第一类型的所述分组的相应的第一播放时间信息；
用所述相应的第一播放时间信息来对所述第一类型的所述分组进行时间戳记；以及
将所述接收的媒体流分发给所述多个客户端设备。
2.根据权利要求1所述的方法，其中，所述接收的媒体流(D)还包括第二类型的分组，并且其中，基于所述第一类型的分组的数量和所述第二类型的分组的数量之间的预定比率，用相应的第二播放时间对所述第二类型的所述分组进行时间戳记。
3.根据权利要求2所述的方法，其中，所述第一类型与全画面视频数据相关联，并且所述第二类型与增量画面视频数据相关联。
4.根据权利要求1-3中任一项所述的方法，其中，所述时间参考T参考基于协调世界时间、UTC、NTP，或者从移动网络或从GPS导出。
5.根据权利要求1-3中任一项所述的方法，还包括将所述时间参考T参考的时间戳记插入到所述接收的媒体流中和插入到回报告流中，以及
在所述多个客户端设备中提取所述时间参考的所述时间戳记以用于提供所述多个客户端设备的协调本地时间。
6.根据权利要求4所述的方法，还包括将所述时间参考T参考的时间戳记插入到所述接收的媒体流中和插入到回报告流中，以及
在所述多个客户端设备中提取所述时间参考的所述时间戳记以用于提供所述多个客户端设备的协调本地时间。
7.根据权利要求1-3和6中任一项所述的方法，其中，所述相应的第一播放时间信息包括播放延迟Δ。
8.根据权利要求4所述的方法，其中，所述相应的第一播放时间信息包括播放延迟Δ。
9.根据权利要求5所述的方法，其中，所述相应的第一播放时间信息包括播放延迟Δ。
10.根据权利要求7所述的方法，其中，所述播放延迟由所述中央主节点预定或设置。
11.根据权利要求8所述的方法，其中，所述播放延迟由所述中央主节点预定或设置。
12.根据权利要求9所述的方法，其中，所述播放延迟由所述中央主节点预定或设置。
13.根据权利要求7所述的方法，其中，所述播放延迟Δ被选择为对应于所述接收的媒体流通过所述分发网络到客户端设备的至少最大输送延迟。
14.根据权利要求8-12中任一项所述的方法，其中，所述播放延迟Δ被选择为对应于所述接收的媒体流通过所述分发网络到客户端设备的至少最大输送延迟。
15.根据权利要求8-13中的任一项所述的方法，还包括在所述中央主节点处将所述播放延迟Δ插入到所述接收的媒体流中。
16.根据权利要求7所述的方法，还包括在所述中央主节点处将所述播放延迟Δ插入到所述接收的媒体流中。
17.根据权利要求14所述的方法，还包括在所述中央主节点处将所述播放延迟Δ插入到所述接收的媒体流中。
18.一种在分发网络(200)中的客户端侧方法，所述分发网络包括中央主节点(501)，所述中央主节点用于通过所述分发网络将媒体流分发到多个客户端设备(551、552、553)，所述方法包括：
接收公共主-客户端共享的时间参考T参考；
接收所述媒体流；以及
基于从所接收的媒体流提取的第一播放时间信息来确定所述接收的媒体流中的第一类型的每个分组的相应的第一播放时间，其中，所述相应的第一播放时间基于所述接收的媒体流在所述中央主节点处的平均中间时间到达，以及
在所述相应的第一播放时间播放所述分组，从而在所述多个客户端设备处提供所述接收的媒体流的同步播放。
19.根据权利要求18所述的方法，其中，所述接收的媒体流(D)还包括第二类型的分组，所述方法还包括：
基于从所述接收的媒体流提取的时间信息以及基于所述第一类型的分组的数量和所述第二类型的分组的数量之间的预定比率来确定所述接收的媒体流的所述第二类型的每个分组的相应的第二播放时间。
20.根据权利要求18所述的方法，还包括从所述接收的媒体流中提取所述时间参考T参考的时间戳记以提供本地时间参考。
21.根据权利要求19所述的方法，还包括从所述接收的媒体流中提取所述时间参考T参考的时间戳记以提供本地时间参考。
22.根据权利要求18-21中任一项所述的方法，还包括在所述第一播放时间和/或第二播放时间上添加播放延迟。
23.一种分发网络中的节点，所述节点包括处理装置和存储器装置，其中，所述处理装置和所述存储器装置被配置用于执行根据权利要求1-22中任一项所述的方法。
24.一种存储器装置，其上存储有软件模块，所述软件模块当由计算机处理器执行时适于执行根据权利要求1-22中任一项所述的方法。
CN201680064950.8A 2015-11-17 2016-11-14 视频分发同步 Active CN108293145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1551487-0 2015-11-17
SE1551487 2015-11-17
PCT/EP2016/077604 WO2017085024A1 (en) 2015-11-17 2016-11-14 Video distribution synchronization

Publications (2)

Publication Number Publication Date
CN108293145A CN108293145A (zh) 2018-07-17
CN108293145B true CN108293145B (zh) 2021-02-09

Family

ID=57321313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064950.8A Active CN108293145B (zh) 2015-11-17 2016-11-14 视频分发同步

Country Status (5)

Country Link
US (3) US10609431B2 (zh)
EP (2) EP4033770A1 (zh)
CN (1) CN108293145B (zh)
BR (1) BR112018009903A8 (zh)
WO (1) WO2017085024A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108293145B (zh) 2015-11-17 2021-02-09 网络洞察力知识产权公司 视频分发同步
KR101853441B1 (ko) * 2016-09-23 2018-05-02 재단법인 실감교류인체감응솔루션연구단 클라이언트 장치 및 그 로컬 클럭 스큐 보정 방법
US10440419B2 (en) * 2017-12-27 2019-10-08 Facebook, Inc. Synchronizing presentation of content presented by multiple client devices
EP3509312B1 (en) * 2018-01-08 2023-06-07 MySyncster Holding OÜ System for real-time synchronization
WO2019243078A1 (en) * 2018-06-20 2019-12-26 Sony Corporation Infrastructure equipment, communications device and methods
US10536741B1 (en) * 2018-10-19 2020-01-14 Philo, Inc. Synchronizing internet (“over the top”) video streams for simultaneous feedback
US11363333B2 (en) * 2019-08-05 2022-06-14 Grass Valley Limited System and method of measuring delay between transmitted audio and video signals
EP4074055A1 (en) * 2019-12-09 2022-10-19 Cinemo GmbH Streaming techniques
SE544753C2 (en) * 2020-01-14 2022-11-01 Net Insight Ab Network offset adjustment in remote media production
CN113364726A (zh) * 2020-03-05 2021-09-07 华为技术有限公司 一种分布式数据传输的方法、装置和系统
JP7573994B2 (ja) 2020-05-29 2024-10-28 キヤノン株式会社 映像同期装置、映像同期装置の制御方法及びプログラム
CN112153445B (zh) * 2020-09-25 2022-04-12 四川湖山电器股份有限公司 一种分布式视频显示系统同步解码播放方法及系统
EP4302481A1 (en) * 2021-03-04 2024-01-10 Mobii Systems (pty) Ltd A method of providing a time-synchronized multi-stream data transmission

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652627A (en) * 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
US6259677B1 (en) * 1998-09-30 2001-07-10 Cisco Technology, Inc. Clock synchronization and dynamic jitter management for voice over IP and real-time data
CN1444365A (zh) * 2002-03-07 2003-09-24 卓联半导体股份有限公司 用srts在信息包网络上实现时钟同步而无需公用网络时钟
WO2008138047A1 (en) * 2007-05-11 2008-11-20 Audinate Pty Limited Systems, methods and computer-readable media for configuring receiver latency
EP2670157A2 (en) * 2012-06-01 2013-12-04 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253275A (en) * 1991-01-07 1993-10-12 H. Lee Browne Audio and video transmission and receiving system
JP2004120440A (ja) * 2002-09-26 2004-04-15 Toshiba Corp サーバー装置及びクライアント装置
US7551647B2 (en) * 2004-07-19 2009-06-23 Qvidium Technologies, Inc. System and method for clock synchronization over packet-switched networks
US7489742B2 (en) * 2004-10-20 2009-02-10 Stmicroelectronics Pvt. Ltd. System and method for clock recovery in digital video communication
EP1872533B1 (en) * 2005-04-22 2019-05-22 Audinate Pty Limited Network, device and method for transporting digital media
JP4930691B2 (ja) * 2006-05-30 2012-05-16 日本電気株式会社 再現システム、再現装置、再現方法、及びプログラム
US7724780B2 (en) * 2007-04-19 2010-05-25 Cisco Technology, Ink. Synchronization of one or more source RTP streams at multiple receiver destinations
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
US10712771B2 (en) 2010-08-13 2020-07-14 Netflix, Inc. System and method for synchronized playback of streaming digital content
US20140245366A1 (en) * 2011-07-04 2014-08-28 Telefonaktiebolaget L M Ericsson (Publ) Method and Apparatus For Establishing a Time Base
US9607657B2 (en) * 2011-12-09 2017-03-28 Cinemo Gmbh Media playback component comprising playback queue and queue bypass
IL217232A0 (en) * 2011-12-27 2012-03-29 Eci Telecom Ltd Technique for monitoring and management of data networks
HUE039778T2 (hu) * 2012-03-29 2019-02-28 Koninklijke Kpn Nv Marker alapú interdesztinációs média szinkronizálás
US9426196B2 (en) * 2013-01-04 2016-08-23 Qualcomm Incorporated Live timing for dynamic adaptive streaming over HTTP (DASH)
US9257148B2 (en) * 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US9910896B2 (en) * 2013-03-15 2018-03-06 Cisco Technology, Inc. Suspending and resuming continuous queries over data streams
US9380099B2 (en) 2013-05-31 2016-06-28 Sonic Ip, Inc. Synchronizing multiple over the top streaming clients
US9794903B2 (en) * 2013-09-23 2017-10-17 Ziva Corp. Synchronization of distributed nodes
WO2015071461A1 (en) * 2013-11-15 2015-05-21 Koninklijke Kpn N.V. Synchronization of processing media streams by one or more media processing devices
US20150256613A1 (en) * 2014-03-10 2015-09-10 JamKazam, Inc. Distributed Metronome For Interactive Music Systems
GB2521883B (en) * 2014-05-02 2016-03-30 Imagination Tech Ltd Media controller
EP3248368A1 (en) * 2015-01-23 2017-11-29 Telefonaktiebolaget LM Ericsson (publ) Vlc-based video frame synchronization
JP6488221B2 (ja) * 2015-03-30 2019-03-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 再生方法及び再生装置
WO2016209102A1 (en) * 2015-06-24 2016-12-29 Intel Corporation Time synchronization for nodes in a wireless personal area network (wpan)
GB2535819B (en) * 2015-07-31 2017-05-17 Imagination Tech Ltd Monitoring network conditions
GB2542984B (en) * 2015-07-31 2020-02-19 Imagination Tech Ltd Identifying network congestion based on a processor load and receiving delay
GB2540947B (en) * 2015-07-31 2017-09-20 Imagination Tech Ltd Identifying network conditions
CN108293145B (zh) 2015-11-17 2021-02-09 网络洞察力知识产权公司 视频分发同步

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652627A (en) * 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
US6259677B1 (en) * 1998-09-30 2001-07-10 Cisco Technology, Inc. Clock synchronization and dynamic jitter management for voice over IP and real-time data
CN1444365A (zh) * 2002-03-07 2003-09-24 卓联半导体股份有限公司 用srts在信息包网络上实现时钟同步而无需公用网络时钟
WO2008138047A1 (en) * 2007-05-11 2008-11-20 Audinate Pty Limited Systems, methods and computer-readable media for configuring receiver latency
EP2670157A2 (en) * 2012-06-01 2013-12-04 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization

Also Published As

Publication number Publication date
CN108293145A (zh) 2018-07-17
WO2017085024A1 (en) 2017-05-26
BR112018009903A8 (pt) 2019-02-26
US11095929B2 (en) 2021-08-17
US20180359508A1 (en) 2018-12-13
BR112018009903A2 (pt) 2018-11-06
US20210352345A1 (en) 2021-11-11
EP4033770A1 (en) 2022-07-27
EP3378233A1 (en) 2018-09-26
US10609431B2 (en) 2020-03-31
US11758209B2 (en) 2023-09-12
US20200260132A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US11758209B2 (en) Video distribution synchronization
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
EP2832109B1 (en) Marker-based inter-destination media synchronization
US10454985B2 (en) File format based streaming with dash formats based on LCT
CA2944016C (en) Adaptive streaming transcoder synchronization
KR101291990B1 (ko) 변경된 스트림 동기화
EP2086237B1 (en) Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US20160072637A1 (en) Calculating and signaling segment availability times for segments of media data
KR20170089863A (ko) 멀티미디어 및 파일 전송을 위한 전송 인터페이스
CN102742249A (zh) 用于媒体流同步的方法、系统和装置
CN102752669A (zh) 多通道实时流媒体文件的传送处理方法与系统、接收装置
US20190191195A1 (en) A method for transmitting real time based digital video signals in networks
CN102740131A (zh) 基于实时传输协议的网络电视直播方法及系统
Ebnöther TV 2.0–Your Individual TV Experience!

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210220

Address after: Solna, Sweden

Patentee after: Live Sweden Ltd.

Address before: Stockholm, Sweden

Patentee before: NET INSIGHT INTELLECTUAL PROPERTY AB

TR01 Transfer of patent right