[go: up one dir, main page]

CN101300781A - 控制运动图像数据在网络上的传输的系统和方法 - Google Patents

控制运动图像数据在网络上的传输的系统和方法 Download PDF

Info

Publication number
CN101300781A
CN101300781A CNA2005800518607A CN200580051860A CN101300781A CN 101300781 A CN101300781 A CN 101300781A CN A2005800518607 A CNA2005800518607 A CN A2005800518607A CN 200580051860 A CN200580051860 A CN 200580051860A CN 101300781 A CN101300781 A CN 101300781A
Authority
CN
China
Prior art keywords
transmission
frame
frames
packet
moving picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800518607A
Other languages
English (en)
Inventor
金容和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Co Egc&c
Original Assignee
Co Egc&c
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Co Egc&c filed Critical Co Egc&c
Publication of CN101300781A publication Critical patent/CN101300781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/19—Flow control; Congestion control at layers above the network layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种用于控制运动图像数据通过网络的传输的系统和方法。本发明的用于控制运动图像数据通过网络的传输的系统包括服务器和客户端。服务器以包的形式通过多媒体通信网络传输压缩运动图像流的关键帧和增量帧，并且基于指示接收到每个包的响应信号、取决于特定增量帧是否丢失了来控制中断后续增量帧的传输并仅仅从后续关键帧开始继续传输。客户端从服务器接收与从压缩运动图像流获得的关键帧和增量帧相对应的包，并且将指示接收到每个包的响应信号传输到服务器。

Description

控制运动图像数据在网络上的传输的系统和方法
技术领域
本发明总体上涉及用于控制运动图像数据通过网络的传输的系统和方法，并且尤其涉及这样的用于控制运动图像数据通过网络的传输的系统和方法，其可以最小化由于通过诸如互联网之类的多媒体通信网络来传输的运动图像数据的帧丢失而导致的运动图像质量退化。
背景技术
如本领域技术人员众所周知的那样，在诸如互联网之类的多媒体通信网络的情况下，因为已经构造了使用能够传输大量数据并且具有改进的数据传输速率的数字用户线路(xDSL)或者专用线路的网络，所以已经增加了对诸如运动图像广播之类的、传输大量数据的服务的需要。
为了满足对诸如运动图像广播之类的、传输大量数据的服务的需要，作为多媒体技术开发的促进结果，已经提议和利用了诸如运动图像专家组1(MPEG1)、MPEG 2、MPEG 4、或者MPEG 7之类的多媒体数据压缩技术，作为用于适当地压缩和高效传输数字运动图像数据的标准。
这样的MPEG技术适合于分别压缩运动图像的视频数据和音频数据，并且以流式方式通过网络以包的形式传输压缩的视频和音频数据。视频数据被分类为用作包含有关视频数据实际画面的信息的关键帧的I帧、以及用作包含运动信息(诸如在相应关键帧之间的相关性)的增量帧(deltaframes)的P和B帧，并且被构造为允许沿两个方向压缩相应的帧以及允许对准数据。
发明内容
【技术问题】
目前，在MPEG 1中，每一秒创建一个关键帧，而在MPEG 4中，每四到五秒创建一个关键帧。如图1所示，构造通过网络传输的MPEG运动图像数据，使得可以以包为单位创建和传输数据，而且每个包具有20到30个帧的I、P和B帧数据一般可以被包括作为有效负载数据。可以通过传输控制协议(TCP)自动地确定一个有效负载的大小。然而，如果一个包的大小大于由该协议定义的标准包大小，则将包划分为多个有效负载并进行传输。
构造以包的形式通过网络传输的MPEG运动图像数据，使得在以I、P和B帧的顺序保持数据对齐顺序的同时对其进行传输，其中I、P和B帧是运动图像压缩的参考标准。在传输运动图像包时，如果作为接收侧的客户端未正常地接收到作为关键帧的I帧，则作为与I帧相关的增量帧的P和B帧会经历严重的数据丢失，因此导致在整个视频播放期间的图像质量退化。
此外，如图2所示，如果当以包的形式通过网络传输运动图像数据的帧时丢失了包中的特定增量帧，则存在问题，即，在要在该特定增量帧之后传输的后续增量帧和关键帧之间的相关性上出现了丢失，从而导致不仅不可能使用这些后续增量帧，而且还难以正常地播放后续关键帧，因此增加了在视频播放期间的图像质量退化。
因此，已经鉴于在现有技术中出现的上述问题而做出了本发明，而且本发明的目的是提供这样一种用于控制运动图像数据通过网络的传输的系统和方法，其最小化了由于通过网络传输的运动图像数据的增量帧丢失而导致的视频质量退化。
本发明的另一个目的是提供这样一种用于控制运动图像数据通过网络的传输的系统和方法，其中如果由于在有效时间段内的增量帧的丢失而导致未传输该丢失的增量帧时，不传输在所丢失的增量帧和后续关键帧之间的增量帧，由此最小化了视频质量退化，其中的有效时间段以通过网络传输的运动图像数据的关键帧为基础。
本发明还有一个目的是提供这样一种用于控制运动图像数据通过网络的传输的系统和方法，其可以以包的形式创建运动图像的相应帧并传输各个包，以便确定运动图像帧的有效传输时间段并且有选择地传输运动图像帧。
【技术方案】
为了实现上述目的，本发明提供了一种用于控制运动图像数据通过网络的传输的系统，其包括：服务器，用于以包的形式通过多媒体通信网络传输压缩运动图像流的关键帧和增量帧，以及基于指示接收到每个包的响应信号，取决于特定增量帧是否丢失了，来控制中断后续增量帧的传输并仅仅从后续关键帧开始传输；以及客户端，用于从服务器接收与从压缩运动图像流获得的关键帧和增量帧相对应的包，并且向服务器传输指示接收到每个包的响应信号。
此外，为了实现上述目的，本发明提供了一种用于控制运动图像数据通过网络的传输的方法，其包含如下步骤：服务器以包的形式将压缩运动图像流的关键帧和增量帧传输到客户端；客户端传输指示接收到每个运动图像包的响应信号；服务器基于从客户端接收的响应信号确定特定增量帧的传输是否有效，并且如果确定特定增量帧的传输无效，则确定中断后续增量帧的传输并且仅仅从后续关键帧开始传输。
【有益效果】
根据本发明，其优点在于：当服务器通过网络将MPEG运动图像流传输到客户端时，以各个包的形式创建与关键帧和增量帧相对应的运动图像帧并进行传输；而且基于关键帧包的传输时间段、持续和显现时间段来确定是否在传输截止期限前完成了增量帧的传输，以便如果未在传输截止期限之前正常地传输特定增量帧，则可以中断在特定增量帧和后续关键帧之间的增量帧的传输，由此最小化了由于在通过网络传输MPEG运动图像流期间的增量帧丢失而导致的视频质量退化。
附图说明
图1是示出通过网络的运动图像数据帧的传统包传输的格式的视图；
图2是示出由于通过网络传输的运动图像数据包中的增量帧的丢失而导致的后续增量帧的传统的不可用状态的视图；
图3是示出其中基于根据本发明的控制运动图像数据通过网络的传输的方法而分别对运动图像帧进行包化(packetize)的状态的视图；
图4是示出根据本发明的用于控制运动图像数据通过网络的传输的系统的结构的框图；
图5是示出根据本发明的实施例、在各个包化的运动图像数据帧的传输期间由于特定增量帧的丢失而导致不传输后续增量帧的状态的示例的视图；以及
图6是根据本发明的控制运动图像数据通过网络的传输的方法的流程图。
<重要部分的参考符号的描述>
10：运动图像接收单元    15：运动图像编码单元
20：帧对齐单元          25，65：流缓冲器
30：包创建单元          35：包传输控制单元
40：包传输单元          45：响应接收单元
50：包接收控制单元      55：包接收单元
60：响应传输单元        70：帧重构单元
75：运动图像解码单元    80：运动图像播放单元
85：网络传输单元        100：服务器
200：客户端
具体实施方式
在下文中，将参考附图对本发明的实施例进行详细描述。
图3是示出基于根据本发明的控制运动图像数据通过网络的传输的方法而分别对运动图像帧进行包化的状态的视图。
如图3所示，在本发明的实施例中，基于对应于I、P和B帧的传输包，可以将MPEG数据(其为运动图像数据)的关键帧(I帧)和增量帧(P和B帧)包化成各个包，并且可以通过网络顺序地对其进行传输。
也就是说，在一个包中实现MPEG运动图像数据的一个帧，其中包由头部信息、有效负载解析信息和有效负载数据构成。每个包的有效负载流号包括音频号、关键帧、关键帧/增量帧标识信息、和呈现时间。
包括在关键帧包的头部信息中的呈现时间被用作用于计算要传输的后续增量帧包的有效传输时间段的基础。取决于是否已经在有效传输时间内传输了增量帧，来确定指示后续增量帧和关键帧的正常传输、或者中断后续增量帧的传输并且仅仅从关键帧开始继续传输的状态。
同时，用于将MPEG运动图像数据传输到客户端的服务器将传输截止期限确定为帧的有效传输时间段，然后确定是否有效地传输了每个帧。在下列方程式[1]中示出了用于确定传输截止期限的表达式。
[方程式1]
传输截止期限＝(呈现时间段-缓冲时间段)+传输开始时间点
接下来，图4是示出根据本发明的用于控制运动图像数据通过网络的传输的系统的结构的框图。
如图4所示，根据本发明的用于控制运动图像数据传输的系统包括服务器100和客户端200。服务器100包括运动图像接收单元10、运动图像编码单元15、帧对齐单元20、流缓冲器25、包创建单元30和包传输控制单元35。
此外，客户端200包括包接收控制单元50、流缓冲器65、帧重构单元70、运动图像解码单元75、运动图像播放单元80和网络传输单元85。
在服务器100中，运动图像接收10接收由分离的多媒体服务器(优选为视窗(Windows)媒体服务器)创建的MPEG格式的运动图像数据流。
运动图像编码单元15对从运动图像接收单元10接收的MPEG格式的运动图像流进行编码，而且将MPEG格式的运动图像流划分为作为关键帧的I帧、和作为增量帧的P和B帧。帧对齐单元20相对于每个传输时间点对齐已经由运动图像编码单元15编码和划分为帧的运动图像帧。这个对齐基于在上述方程式[1]中计算的、每个帧的传输截止期限来执行。
流缓冲器25通过队列的对齐，按照由帧对齐单元20相对于每个传输时间点对齐的运动图像帧的顺序对编码的运动图像帧进行缓冲。包创建单元30把从流缓冲器25输出的、与关键帧和增量帧相对应的运动图像帧包化为各个包。
包传输控制单元35通过诸如互联网之类的多媒体通信网络将由包创建单元30分别包化的运动图像帧的包数据传输到客户端，并且响应于从客户端200接收的、关于每个包的响应信号(ACK)，取决于在关键帧的传输截止期限之前是否正常地传输了与增量帧相对应的包，控制继续或者中断传输。
包传输控制单元35包括包传输单元40和响应接收单元45，其中包传输单元40用于通过在传输控制协议/网际协议(TCP/IP)或者用户数据报协议(UDP)环境中的多媒体通信网络、以由帧对齐单元20确定的帧对齐顺序将相应的包传输到客户端200，而响应接收单元45用于接收作为帧包传输的结果而从客户端200传输过来的、关于每个包的响应信号。
包传输控制单元35基于使用传输开始时间点(包传输单元40在该时间点上传输包)、包括在关键帧包中的呈现时间段、和接收侧的缓冲时间段而计算的传输截止期限，响应于由响应接收单元45接收的响应信号来确定是否正常地接收了增量帧包。如果在已经传输了先前的关键帧包之后、在传输截止期限之前正常地传输了增量帧包的话，则照常顺序地传输后续增量帧包和后续关键帧。
相反，如果在传输截止期限之前未有效地传输关键帧之后的增量帧，则包传输控制单元35确定对应的增量帧已经丢失了，中断在所丢失的增量帧之后的增量帧的传输，并且传输后续关键帧和后续增量帧。
此外，在客户端200，包接收控制单元50包括包接收单元55和响应传输单元60，其中包接收单元55用于接收从服务器100的包传输控制单元35通过多媒体通信网络传输的帧包，而响应传输单元60用于在每当包接收单元55接收到包时将对应的响应信号传输到服务器100。
流缓冲器65顺序地缓冲通过包接收控制器50的包接收单元55接收的关键帧包和增量帧包。帧重构单元70通过把从流缓冲器65输出的相应帧包转换为关键帧和增量帧来重构帧数据。
运动图像解码单元75把重构的关键帧和增量帧解码为可通过网络传输并且可播放的运动图像流数据的形式。运动图像播放单元80对解码的运动图像流数据执行视频信号处理，并且允许通过在客户端200上提供的监视器屏幕来播放视频信号处理结果。
网络传输单元85通过网络将由运动图像解码单元75解码的运动图像流数据传输到特定的本地客户端，以便可以将对应的客户端200用作中继客户端。
同时，如图5所示，如果当在已经传输了关键帧包之后传输增量帧包时丢失了特定增量帧包，并因此未能在传输截止期限之前接收到指示接收增量帧包的响应信号的话，则服务器100和客户端200二者都进行操作来中断要在后续关键帧包之前传输的增量帧包的传输，并且将后续关键帧包传输到客户端200。
在下文中，将参考图6的流程图详细描述具有上述结构的本发明的操作。
首先，在步骤S10，服务器100的运动图像接收单元10从分离的媒体服务器接收MPEG运动图像流数据。在步骤S11，运动图像编码单元15对所接收的运动图像流数据进行编码，并且以关键帧和增量帧的形式划分运动图像流数据。
在这个状态下，在步骤S12，服务器100的帧对齐单元20相对于每个传输时间点顺序地对齐运动图像帧。在步骤S13，包创建单元30把从流缓冲器25输出的运动图像帧分别包化为与相应帧相关的包。
在步骤S14，服务器100中的包传输控制单元35通过多媒体通信网络将通过包传输单元40相对于相应的帧包化运动图像帧而获得的运动图像包传输到客户端200。在步骤S15，客户端200的包接收控制单元50通过包接收单元55从服务器100接收帧包。
在步骤S16，每当客户端200的包接收控制单元50通过包接收单元55接收到关键帧包或者增量帧包时，它通过响应传输单元60传输响应信号。在步骤S17，包传输控制单元35的响应接收单元45接收来自客户端200的响应信号，由此确定是否已经在传输截止期限之前正常接收了传输的帧包。
同时，在步骤S18，服务器100的包传输控制单元35确定在传输截止期限之前是否已经传输了在关键帧包的传输之后的每个增量帧包。
作为确定的结果，如果包传输控制单元35确定在传输截止期限之前已经有效地传输了每个增量帧包，则重复从步骤S13到步骤S17的过程，以便正常地执行后续增量帧包和后续关键帧包的传输。
然而，如果在步骤S18确定特定增量帧包的传输截止期限已经过去了，则在步骤S19中断后续增量帧包的传输，并且仅仅传输后续关键帧包。
在这个状态下，在步骤S20，客户端200通过重构单元70、以相应帧的形式重构从流缓冲器65输出并且通过包接收单元55接收的运动图像包。在步骤S21，运动图像解码单元75对由帧重构单元70重构的相应运动图像帧进行解码，并且把运动图像帧转换为原有的运动图像流。
在这种情况下，在步骤S22，客户端200允许运动图像播放单元80对运动图像流执行视频信号处理并通过监视器播放视频信号处理结果，或者允许网络传输单元85通过网络将运动图像流传输到期望的本地侧。
接下来，在步骤S23，服务器100确定对应运动图像流的传输是否已经结束了。如果确定对应运动图像流的传输已经结束了，则在步骤S24，结束通过包传输控制单元35执行的运动图像包的传输。
本领域技术人员应当理解的是，本发明不局限于本发明的优选实施例，而且可进行各种改进、修改、添加和替换，而不背离如所附权利要求所公开的本发明的范围和精神。应当注意到的是，如果这些改进、修改、添加和替换属于本发明所附权利要求的范围，则其技术精神也属于本发明。

Claims (16)

1.一种用于控制运动图像数据通过网络的传输的系统，包括：
服务器，用于通过多媒体通信网络、以包的形式传输压缩运动图像流的关键帧和增量帧，以及基于指示接收到每个包的响应信号，取决于特定增量帧是否丢失了，来控制中断后续增量帧的传输并仅仅从后续关键帧开始继续传输；以及
客户端，用于从服务器接收与从压缩运动图像流获得的关键帧和增量帧相对应的包，并且向服务器传输指示接收到每个包的响应信号。
2.如权利要求1所述的传输控制系统，其中，所述压缩运动图像流是应用了运动图像专家组(MPEG)格式的压缩算法的运动图像流。
3.如权利要求2所述的传输控制系统，其中，所述服务器被构造为将与关键帧和增量帧相对应的运动图像帧包化为各个包。
4.如权利要求3所述的传输控制系统，其中，每个包都包括头部信息和有效负载信息，其中所述头部信息包含包号、关键帧/增量帧标识信息、传输时间、持续时间和呈现时间，而所述有效负载信息包含单个关键帧或者增量帧。
5.如权利要求3所述的传输控制系统，其中，所述服务器包含：
运动图像接收单元，用于从分离的媒体服务器接收所述压缩运动图像流；
运动图像编码单元，用于对所述压缩运动图像流进行编码，并且将运动图像流划分为与关键帧和增量帧相对应的运动图像帧；
帧对齐单元，用于相对于每个传输时间点对齐关键帧和增量帧；
缓冲器，用于通过队列的对齐来缓冲相对于每个传输时间点对齐的运动图像帧；
包创建单元，用于将关键帧和增量帧包化为各个包；以及
包传输控制单元，用于以相对于每个传输时间点对齐的顺序将关键帧包和增量帧包顺序地传输到客户端，基于从客户端接收的响应信号确定特定增量帧包是否丢失了，以及确定中断后续增量帧的传输并且仅仅从后续关键帧包开始传输。
6.如权利要求5所述的传输控制系统，其中，如果当预定的传输截止期限过去了时所述特定增量帧的传输是无效的，则包传输控制单元执行控制操作，以中断后续增量帧的传输并且仅仅从关键帧开始传输。
7.如权利要求4所述的传输控制系统，其中，使用下列方程式确定所述传输截止期限：
传输截止期限＝(呈现时间段-缓冲时间段)+传输开始时间点。
8.如权利要求6所述的传输控制系统，其中，使用下列方程式确定所述传输截止期限：
传输截止期限＝(呈现时间段-缓冲时间段)+传输开始时间点。
9.如权利要求1所述的传输控制系统，其中，所述客户端包含：
包接收控制单元，用于从所述服务器接收关键帧包和增量帧包，并且将指示接收到每个包的响应信号传输到所述服务器；
缓冲器，用于缓冲所接收到的运动图像帧包；
帧重构单元，用于以运动图像帧的形式重构关键帧包和增量帧包；
运动图像解码单元，用于解码所述运动图像帧，并且把所述运动图像帧转换为运动图像流；以及
运动图像输出单元，用于输出压缩运动图像流以进行播放或者通过局域网进行传输。
10.如权利要求3所述的传输控制系统，其中，所述客户端包含：
包接收控制单元，用于从所述服务器接收关键帧包和增量帧包，并且将指示接收到每个包的响应信号传输到所述服务器；
缓冲器，用于缓冲所接收到的运动图像帧包；
帧重构单元，用于以运动图像帧的形式重构关键帧包和增量帧包；
运动图像解码单元，用于解码所述运动图像帧，并且把所述运动图像帧转换为运动图像流；以及
运动图像输出单元，用于输出压缩运动图像流以进行播放或者通过局域网进行传输。
11.一种控制运动图像数据经由网络的方法，包含：
第一步骤，服务器以包的形式将压缩运动图像流的关键帧和增量帧传输到客户端；
第二步骤，所述客户端传输指示接收到每个运动图像包的响应信号；
第三步骤，所述服务器基于从客户端接收的响应信号来确定特定增量帧的传输是否有效；以及
第四步骤，如果确定特定增量帧的传输无效的话，则确定中断后续增量帧的传输并且仅仅从后续关键帧开始继续传输。
12.如权利要求11所述的控制方法，其中，所述第一步骤被构造为向压缩运动图像流应用运动图像专家组(MPEG)格式的压缩算法。
13.如权利要求12所述的控制方法，其中，所述第一步骤被构造为将与关键帧和增量帧相对应的运动图像帧包化为各个包。
14.如权利要求13所述的控制方法，其中，所述第一步骤包含步骤：
从分离的媒体服务器接收所述压缩运动图像流；
对所述压缩运动图像流进行编码，并且将所述压缩运动图像流划分为与关键帧和增量帧相对应的运动图像帧；
相对于每个传输时间点对齐关键帧和增量帧，并且缓冲所对齐的关键帧和增量帧；
将关键帧和增量帧包化为各个包；以及
以相对于每个传输时间点对齐的顺序，将关键帧包和增量帧包顺序地传输到客户端。
15.如权利要求11所述的控制方法，其中，执行所述第三步骤以确定在预定的传输截止期限之前是否已经有效地传输了所述特定增量帧。
16.如权利要求15所述的控制方法，其中，使用下列方程式确定所述传输截止期限：
传输截止期限＝(呈现时间段-缓冲时间段)+传输开始时间点。
CNA2005800518607A 2005-10-06 2005-10-06 控制运动图像数据在网络上的传输的系统和方法 Pending CN101300781A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2005/003301 WO2007040291A1 (en) 2005-10-06 2005-10-06 System and method for controlling transmission of moving image data over network

Publications (1)

Publication Number Publication Date
CN101300781A true CN101300781A (zh) 2008-11-05

Family

ID=37906332

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800518607A Pending CN101300781A (zh) 2005-10-06 2005-10-06 控制运动图像数据在网络上的传输的系统和方法

Country Status (5)

Country Link
US (1) US20090190652A1 (zh)
EP (1) EP1941661A4 (zh)
JP (1) JP2009512265A (zh)
CN (1) CN101300781A (zh)
WO (1) WO2007040291A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860734B (zh) * 2009-04-07 2012-07-04 谢亚南 一种ajax实现动态图像增量传输与显示的方法
CN102792689A (zh) * 2010-03-02 2012-11-21 高通股份有限公司 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4225339B2 (ja) * 2006-09-11 2009-02-18 ソニー株式会社 画像データ処理装置および方法、プログラム、並びに記録媒体
GB2483282B (en) * 2010-09-03 2017-09-13 Advanced Risc Mach Ltd Data compression and decompression using relative and absolute delta values
TWI519147B (zh) * 2011-12-28 2016-01-21 財團法人工業技術研究院 提供與傳送複合濃縮串流之方法以及系統
US20150271541A1 (en) 2014-03-19 2015-09-24 Time Warner Cable Enterprises Llc Apparatus and methods for recording a media stream
US10375452B2 (en) * 2015-04-14 2019-08-06 Time Warner Cable Enterprises Llc Apparatus and methods for thumbnail generation
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
JP7000088B2 (ja) * 2017-09-15 2022-01-19 株式会社東芝 通知制御装置、通知制御方法及びプログラム
WO2020006291A1 (en) * 2018-06-28 2020-01-02 Apple Inc. Priority-based video encoding and transmission
DE112019003203T5 (de) 2018-06-28 2021-05-27 Apple Inc. Ratensteuerung für videocodierung und -übertragung mit niedriger latenz
US11606406B1 (en) 2021-08-24 2023-03-14 Motorola Mobility Llc Electronic device that mitigates audio/video communication degradation of an image stream of a local participant in a video communication session
US11722544B2 (en) * 2021-08-24 2023-08-08 Motorola Mobility Llc Electronic device that mitigates audio/video communication degradation of an image stream of a remote participant in a video communication session
US11765215B2 (en) * 2021-08-24 2023-09-19 Motorola Mobility Llc Electronic device that supports individualized dynamic playback of a live video communication session
CN115866335B (zh) * 2022-10-28 2024-11-15 北京欧珀通信有限公司 视频处理方法、装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126772A (ja) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画像データ転送方法
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
JP2000031943A (ja) * 1998-07-13 2000-01-28 Hitachi Ltd データ転送システムとそのデータ転送方法、並びに、かかるデータ転送システムを利用した装置
EP1130921B1 (en) * 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
US20030152080A1 (en) * 2002-02-12 2003-08-14 O'brien Royal System and method for fault tolerant multimedia communication
US7370129B2 (en) * 2004-12-15 2008-05-06 Microsoft Corporation Retry strategies for use in a streaming environment
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860734B (zh) * 2009-04-07 2012-07-04 谢亚南 一种ajax实现动态图像增量传输与显示的方法
CN102792689A (zh) * 2010-03-02 2012-11-21 高通股份有限公司 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
CN102792689B (zh) * 2010-03-02 2015-11-25 高通股份有限公司 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器

Also Published As

Publication number Publication date
US20090190652A1 (en) 2009-07-30
EP1941661A1 (en) 2008-07-09
WO2007040291A1 (en) 2007-04-12
JP2009512265A (ja) 2009-03-19
EP1941661A4 (en) 2009-03-11

Similar Documents

Publication Publication Date Title
JP4690280B2 (ja) メディアデータをストリーミングする方法、システム及びクライアント装置
JP3931595B2 (ja) データ修正装置及びデータ修正方法
CN101271720B (zh) 一种手机流媒体音视频的同步方法
TWI357243B (en) Buffer level signaling for rate adaptation in mult
JP4321284B2 (ja) ストリーミングデータ送信装置、および情報配信システム
US20050123045A1 (en) Video error resilience
US8208460B2 (en) Method and system for in-band signaling of multiple media streams
JP3925218B2 (ja) ストリーミングシステム及びストリーミング方法、ストリーミングサーバ及びデータ配信方法、クライアント端末及びデータ復号方法、並びにプログラム及び記録媒体
CN101300781A (zh) 控制运动图像数据在网络上的传输的系统和方法
JP2005176352A (ja) 移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステム
CN104735470A (zh) 一种流媒体数据传输方法及装置
TW201019649A (en) Network system, adjusting method of data transmission rate and computer program procut thereof
JP2009284500A (ja) 画像伝送装置
EP1742476A1 (en) Scalable video coding streaming system and transmission mechanism of the same system
US20060291468A1 (en) Selective re-transmission of lost multi-media data packets
US20090268730A1 (en) Data transmitting apparatus and method and program for controlling transmission rate
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
JP2005051299A (ja) パケット送信装置、パケット受信装置、パケット送信方法及びパケット受信方法
JP3906712B2 (ja) データストリーム処理装置
Basso et al. Real-time MPEG-2 delivery based on RTP: Implementation issues
JP2003023639A (ja) データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
JP4506222B2 (ja) 通信システム、送信装置および方法、並びにプログラム
KR100701032B1 (ko) 네트워크 상의 동영상 데이터 전송 조절 시스템과 그 방법
EP2337257B1 (en) Method and apparatus of sending encoded multimedia digital data taking into account sending deadlines
CN114554198B (zh) 基于纠删码的视频关键帧冗余传输方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20081105