[go: up one dir, main page]

JP4623616B2 - データ伝送方法および装置 - Google Patents

データ伝送方法および装置 Download PDF

Info

Publication number
JP4623616B2
JP4623616B2 JP2001057722A JP2001057722A JP4623616B2 JP 4623616 B2 JP4623616 B2 JP 4623616B2 JP 2001057722 A JP2001057722 A JP 2001057722A JP 2001057722 A JP2001057722 A JP 2001057722A JP 4623616 B2 JP4623616 B2 JP 4623616B2
Authority
JP
Japan
Prior art keywords
frame
data
priority
video
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001057722A
Other languages
English (en)
Other versions
JP2001274861A (ja
Inventor
ハーケンベルク ロルフ
バーマイスター カールステン
ヴィーブケ トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8168014&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4623616(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2001274861A publication Critical patent/JP2001274861A/ja
Application granted granted Critical
Publication of JP4623616B2 publication Critical patent/JP4623616B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H04L1/1671—Details of the supervisory signal the supervisory signal being transmitted together with control information
    • H04L1/1678—Details of the supervisory signal the supervisory signal being transmitted together with control information where the control information is for timing, e.g. time stamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809—Selective-repeat protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1854—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明はデータ伝送方法及び装置に関し、特にビデオストリーミングアプリケーションに関する。
【０００２】
【従来の技術】
映像通信およびマルチメディア通信では、非信頼性伝送路を通じてビデオストリームが配信される多数のアプリケーションが存在する。そのようなアプリケーションの例として、パーソナルコンピュータ、テレビ受像機およびコンピュータカード、ＭＰＥＧデコーダおよびボード、マルチメディア送受信装置およびセットトップ受信装置、ＤＶＤ装置、ビデオレコーダおよびＣＣＤカメラ、映像信号装置、フレームグラッバおよびビデオキャプチャボード、産業用および医療用画像化製品、ビデオプリンタ、ビデオプロジェクタなどがある。このように、ソフトウェアとしてもハードウェアとしても多くの種類の消費者市場のビデオストリーミングアプリケーションと専門技術者用アプリケーションが存在していることがわかる。
【０００３】
ビデオストリームはビデオ映像自身に関する情報だけでなく時刻表示などのメタ情報を含んだフレームと呼ばれる単位ビット列データ（パケット）の流れからなっている。フレームには、映像圧縮方式によって異なる様々なフォーマットの映像情報が含まれる。これらフレームの一部はいわゆる内部符号化フレームまたはＩフレームと呼ばれ独立に使用することができ、別の一部はいわゆる予測符号化フレームまたはＰフレームと呼ばれ先行フレームに従属する。
【０００４】
図１は従来のビデオストリーミングシステムを示す。ビデオサーバ１１０は伝送路１５０を通じて映像データをビデオクライアント１６０に伝送する。この目的のために、ビデオサーバ１１０は、映像源アプリケーション１２０からほとんど遅延を生ずることなく映像フレームを受け取る送信バッファ装置１３０を備えている。この内部伝送のビットレートは映像源アプリケーションのビットレートによってのみ制限される。送信バッファ装置１３０では、最初に、フレームがセグメント化される。すなわち、より下層のプロトコルによって、データパケットがそのパケットの長さによって異なるセグメント数のさらに小さなセグメントに分割される。パケットの長さは可変であり、例えば合計で２００バイトであったり２０００バイトであったりする。このセグメント化により、各パケットの伝送時間の一部が決まる。
【０００５】
一旦フレームがセグメント化されると、そのセグメントは使用可能な伝送路のビットレートに応じた所定のタイムスロットで伝送路に送出される。非信頼伝送路１５０の場合、ビット誤りが発生し、多数のユーザが伝送路を共有しているときには、使用可能な伝送路のビットレートが時間によって変動する。これにより、伝播遅延が大きくなりかつ変動しやすくなる。
【０００６】
伝送路１５０へのアクセスは、伝送路アクセス制御装置１４０の制御により送信バッファ装置１３０が行う。伝送路１５０のビットレートは映像源アプリケーション１２０から受け取るビデオストリームのビットレートより低いので、送出できなかったセグメントが先入れ先出し待ち行列規律に基づいて送信バッファ装置１３０に一時的に記憶される。送信バッファ装置と伝送路アクセス制御装置は孤立したエンティティであり、映像源アプリケーション１２０から完全に独立している。したがって、映像源アプリケーション１２０は、既に送出されたのかあるいはバッファに一時記憶されているのかなどのフレームの状態に関するいかなるフィードバックも受け取らない。全てのデータは送信バッファ装置１３０により到着順に送出されることになる。
【０００７】
ビデオサーバ１１０により送出されたセグメントやプロトコルデータ単位（ＰＤＵ）はビデオクライアント１６０の受信バッファ装置１７０で受け取られる。受信バッファ装置１７０は受け取ったデータを記憶するバッファを備えており、さらに、セグメントからフレームを再構成する。その後、映像フレームは、例えば、同様の記憶装置等からなる映像表示アプリケーション１８０に送出される。
【０００８】
非信頼性リンクを介した映像伝送においては、２つの主要な問題が発生する。第１の問題は伝送路状態の変化のせいでパケットの紛失を発生させるほどビット誤り率が上昇する点である。圧縮ビデオストリームはパケット紛失を非常に起こしやすいので、映像品質が劇的に低下する。第２の問題は映像データの遅延が変動しやすく、時には非常に大きくなることによって、伝送の遅延要件をもはや満たすことができずまたも映像性能が劇的に低下するという状況に至る恐れがある点である。
【０００９】
パケット紛失を削減するために、従来、いくつかの機構が存在している。その一つは自動再送要求（ＡＲＱ）と呼ばれる方法であり、この方法によれば、パケット紛失が受け側で検出され、それが送り側に通知される。その後、送り側が紛失パケットの送出を自動的に繰り返すことによって、欠けている映像フレームが再送される。しかしながら、遅延要件や転送用伝送路の帯域制限のせいで、紛失したパケットの全てが再送可能であるわけではない。さらに、このような従来のシステムはいずれも許容限度を超えるほどの大きな遅延を招く恐れがある。
【００１０】
上記第２の問題、すなわち、伝送路遅延が変動しやすく時には非常に大きくなること、を克服する従来システムはリアルタイムトランスポートプロトコル（ＲＴＰ）と称される。表示時間を制御するとともにリアルタイム要件に対処するために、このプロトコルは、映像フレームに対して時刻表示や順序番号などの情報を追加してＲＴＰパケットに収める。この情報は映像フレームを正確な時間に正しい順序で送出するために使用される。受け側は何らかの計測、例えば、遅延ジッタの計測を行い、その結果をＲＴＰ制御プロトコル（ＲＴＣＰ）を使ってデータソースに送信することができる。
【００１１】
両方の問題、すなわち、パケット紛失と伝送路遅延、に対処する一つの手法としては、Ｉフレームのみを再送し、他のフレームを送出する前に再送されたＩフレームが間に合って到着するか否かを判定するようにＲＴＰ技術を改良することである。このような再送機構のＲＴＰ技術への組み込みは、プロトコル固有のフィールドによって拡張可能な多目的受領確認（ＭＡＣＫ）パケットを使用して行うことができる。再送をＩフレームに限定するとともにフレームを送出すべきかあるいは廃棄すべきかを決定するタイマ基準の判定を導入することにより、両方の問題に対処できるので、より多くのフレームを表示可能にして映像品質を向上させることができる。“古い”フレーム、すなわち、表示時間の経過後に受け取られるであろうフレームを廃棄することによって、遅延を妥当な範囲内に抑える。
【００１２】
【発明が解決しようとする課題】
しかしながら、このようなシステムは、全てのフレームを再送するのに使用可能な自由な帯域幅が十分に存在する場合でさえ再送をＩフレームに限定するので適応性が低くなる。ある伝送路状態では、先行のＰフレームが正しく受け取られなかったために、正しく受け取られていた多数のＰフレームがビデオクライアント側で廃棄されてしまう。
【００１３】
また、このような技術は、廃棄するはずだったフレームが送出され、送出されるはずだったフレームが廃棄されるので、性能が悪い。これは、フレームを送出すべきか廃棄すべきかの判定が、伝送路状態や各パケット長に依存しておらず、各パケットの送出開始時でありしかも全てのパケットにとって同じ時間である固定の推定伝送時間に基づいているからである。この固定の推定伝送時間はフレームが受け取られるはずの時間を算出するのに必要とされる。
【００１４】
同様にデータストリームの欠けたデータパケットを選択的に再送する方法として、米国特許５，９１８，００２号に開示された方法がある。この方法では、データパケットのデータタイプに基づいて再送の優先順位が与えられる。例えば、親Ｉフレームは従属する子Ｐフレームを提供する必要があるので、Ｉフレームを含むデータパケットに対してＰフレームしか含まないデータパケットよりも送出および／または再送に関して高い優先度を割り当てる。さらに、再送要求の順番は優先度に依存するものとする。
【００１５】
また、ＩフレームとＰフレームの重要性の差を考慮して再生を再開する別の技術として、米国特許５，７８４，５２７号に開示された技術がある。
【００１６】
あるいは、米国特許５，７６８，５２７号には、紛失パケットの検出時にクライアント側装置が紛失フレームの重要性によって異なる数の多数の紛失パケットの多重複製を要求する技術が開示されている。
【００１７】
しかしながら、上記従来技術は、非信頼性伝送路を通じて映像データを送出する際の上述の欠点、すなわち、容量の制限並びに非効率的な伝送路帯域幅の使用による映像ストリーム品質の低下を招く。
【００１８】
したがって、本発明の目的は、データストリームを構成する映像データを授受して非信頼性伝送路上で動作する場合の映像品質を向上させる方法と装置を提供することである。
【００１９】
【課題を解決するための手段】
この目的は独立請求項に定義された本発明にしたがって達成される。
【００２０】
本発明によれば、紛失したデータフレームの再送はそのフレームの優先度レベルと閾値との比較に基づいて行われる。これは、Ｉフレームしか再送されないという従来技術の教示に優っている。したがって、優先度の閾値を設けることにより、本発明は送出機能を実際の伝送路特性などの多くの要因に適応させることができる。好ましい実施形態によれば、送出される全てのデータフレームの優先度レベルを上記閾値と比較する。したがって、本発明によれば、優先度閾値が固定値であっても映像品質を向上させることができる。
【００２１】
それ故、本発明は非信頼性リンク（例えば、無線リンク）を通じた圧縮映像（例えば、ＭＰＥＧ４）のストリーミング伝送に適用される場合に特に有利である。
【００２２】
欠けているデータフレームの優先度レベルを閾値と比較し、その比較結果に基づいてフレームを送出することをサーバ側でもクライアント側でも実行できれば有利である。クライアント側で決定がなされる場合には、その決定が否認されたときは再送要求を発する必要はないが、実際のフレームの優先度を送信する必要がある。これにより、アップリンク方向の伝送路帯域幅を最も有効に利用することができるが、ダウンリンク方向の伝送データはわずかに増加するだけである。他方、送出の決定がサーバ側でなされる時は、サーバは役立つ可能性のあるフィードバック情報を受け取ることができる。さらに、クライアントはより安価な構成を有することになるので有利である。
【００２３】
本発明の好ましい実施形態は従属請求項で定義される。
【００２４】
送出の決定がサーバ側でなされた場合、クライアントの再送要求が先行する２つのデータフレームの受取り時間とフレーム長を含んでいるならば有利である。この情報を利用すれば、サーバは最も効率よく伝送路状態に関する知識を更新し、遅延要件を維持するとともに伝送路帯域幅を使用することができる立場にいることができる。
【００２５】
さらに、従来のシステムと異なり、ビデオストリーミング時にパケットの伝送時間を計測するので、それが全てのパケットについて同じであるとはもはや推定されることはない。したがって、伝送時間の変化により、ビデオストリームの品質を伝送路状態の変化に動的に適応させることができるようになる。
【００２６】
送出の決定が送り側で行われるか受け側で行われるかにかかわらず、好ましくは多重従属関係の論理的深度に基づいてデータフレームに優先度レベルを割り当てる。この手法により、独立フレーム（Ｉフレーム）が最も重要なフレームであり、従属フレームはそれほど重要でないことが付随的に考慮される。また、従来技術と異なり、従属フレームの集合もより重要なフレームとそれほど重要でないフレームとに分類することができる。これにより、再送の挙動を従来技術からは分からない程度まで微調整することが可能になる。
【００２７】
本発明のもう一つの利点は、送出の決定を動的にすることによって映像品質の向上をさらに高めることができる点である。これは、本発明の好ましい実施形態にしたがい、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出することによって実現される。さらに、送信ビットレートも計測して使用してもよい。その結果、欠けたパケットの補整をさらに向上させることができる。
【００２８】
また、再送されたフレームが間に合って到着することが予想される場合にのみ紛失されたフレームを再送するという要件を本発明と結び付けてもよい。特に、複数のユーザ間やアプリケーション間で伝送路帯域幅を共有する場合には、できる限り少ないデータを伝送することが非常に重要である。このことは、特にユーザが使用された帯域幅、すなわち、伝送されたビットに関して支払を行うことから、そうである。伝送路の利用度が高いせいで受け側に間に合って到着しない再送映像パケットがある場合には、帯域幅が浪費されることになる。この帯域幅を、優先度がより高いフレームの再送やあるいは他のユーザやアプリケーションのために利用することができる。
【００２９】
【発明の実施の形態】
以下、本発明を図面に基づいてさらに詳細に説明する。
【００３０】
図２に示すように、ビデオサーバ１１０は、映像源アプリケーション１２０と、送信バッファ装置１３０と、図１の従来のビデオストリーミングシステムの記述の際に説明したものとほぼ同じ機能を有する伝送路アクセス制御装置１４０とを備えている。同様に、ビデオクライアント１６０は、受信バッファ装置１７０と映像表示アプリケーション１８０を備えている。データはビデオサーバ１１０から伝送路１５０を介してビデオクライアント１６０に伝送される。
【００３１】
さらに、ビデオクライアント１６０は受信バッファ装置１７０に接続された紛失検出装置２４０を備えている。一旦紛失検出装置２４０がフレームが欠けていることを検出すると、好ましくは２つの先行データフレームの受取り時間とフレーム長を含んだ再送要求を生成する。この目的のために、紛失検出装置２４０は通常動作時に最近の２つのパケットの時刻表示とパケット長を記憶する。一旦非受領（ＮＡＣＫ）パケットもしくは多目的受領確認（ＭＡＣＫ）パケットである再送要求が生成されると、その要求は送信バッファ装置２５０によってセグメント化され、伝送路アクセス制御装置２６０の制御により伝送路２５０を介してビデオサーバ１１０に送出される。
【００３２】
ビデオサーバ１１０では、受信バッファ装置２３０がそのデータを受け取り、要求を再構成する。その後、要求は制御装置２１０に贈られ、そして再送信バッファ２２０に送られる。再送信バッファ２２０は映像源アプリケーション１２０から送信バッファ装置１３０へ再送のために送られるＩフレームとＰフレームを一時的に記憶する。
【００３３】
最近の２個のパケットの時間と長さに関する情報を受け取ると、制御装置２１０は優先度の閾値を更新する。映像源アプリケーション１２０もしくは再送信バッファ２２０から映像フレームを受け取ると、制御装置２１０はそのデータフレームに割り当てられた優先度のレベルに基づいて送出の決定を行う。フレームに対する優先度の割当てを図３に詳細に示す。
【００３４】
図３から明らかなように、本発明によれば、Ｉフレームは他のフレームから独立して映像表示アプリケーション１８０に表示されるので、最も高い優先度が与えられている。Ｉフレームに直に続く最初のＰフレームはその先行するＩフレームのみに従属する。２番目のＰフレームは最初のＰフレームに従属するとともに、最初のＰフレームがＩフレームに従属するので、二重の従属関係になり、したがって、最初のＰフレームより重要度が低い。この方式を以降のＰフレームに採用し、多重従属関係が深いＰフレームほど、すなわち、より後のＰフレームほど重要度を低くしてより低い優先度レベルを与えるようにしてもよい。図３の実施形態では、ｎ番目のＰフレームに対する優先度が１／ｎに設定されている。しかしながら、当業者であれば、別の関数従属性を選択できることは理解できるであろう。
【００３５】
図４に示すように、ビデオストリーム送出プロセスは映像源アプリケーション１２０から映像フレームを受け取る工程（ステップＳ４１０）を有している。その後、ステップＳ４２０で、再送要求が受け取られたか否かが検査される。再送要求が受け取られていない場合は、プロセスはステップＳ４４０に進み、そうでなければ、上記再送要求からの情報を利用して最初に伝送路の推定値を更新する（ステップＳ４３０）。ステップＳ４４０では、以後の図面で詳細に説明するように、送出の決定がなされる。
【００３６】
フレームの伝送時間は２つの部分からなる。一方の部分はフレームの長さに依存せず、他方の部分は長さに依存している。そのうち、フレーム長非依存時間は主にネットワーク遅延、すなわち、伝播遅延と、輻輳に起因する一時記憶遅延からなる。それと異なり、フレーム長依存遅延はセグメント化と使用可能帯域幅によって決まる。次の式はフレームｉの伝送遅延を示す。
【数１】
Figure 0004623616
但し、Ｄiは伝送遅延、ｌ1はフレームのビット長、ｔ1はフレーム長非依存時間、ｔ2はビット当りのフレーム長依存時間である。
【００３７】
時間ｔ1およびｔ2が２個のパケットの到着期間内でほぼ一定であると仮定すると、２つの先行フレームの伝送遅延Ｄ1およびＤ2が前もって計測されているとき、上記の式を以下の式のように解くことができる。
【数２】
Figure 0004623616
【００３８】
したがって、２つの先行フレームの伝送遅延に基づいて評価される時間ｔ1およびｔ2から欠けているフレームの伝送遅延を算出することが可能である。この目的のために、紛失検出装置２４０は最近のフレームの受取り時間とパケット長を記憶している。エラーが発生すると、これらの値と欠けているフレームや正しく受け取られなかったフレームの値がビデオサーバ１１０に送信される。これは、非受領パケットに受取り側レポートを添付したり多目的受領確認パケットを使用することで実現できる。非受領確認パケットや多目的受領確認パケットにそのような追加情報を補足することによって追加されるオーバーヘッドは無視できるほど小さい。
【００３９】
ステップＳ４４０でフレームの廃棄が決定された場合は、プロセスはステップＳ４６０に進む。そのフレームを送信バッファ装置１３０に送る必要がある場合は、ステップＳ４５０が実行される。その後、ステップＳ４７０で送信ビットレートが更新され、制御装置２１０が映像源アプリケーション１２０または再送信バッファ２２０から次に受け取るフレームを待つことになる（ステップＳ４１０）。
【００４０】
ステップＳ４４０の送出決定を図５に基づいてさらに詳細に説明する。既に遅れすぎているフレームを送出する必要はないので、優先度と閾値を比較する前に、推定到着時間に応じてフレームを送出すべきか廃棄すべきかを決定する機構を導入する。その目的のために、ステップＳ５１０で、フレームの到着時間の推定、すなわち、伝送遅延の算出を行う。
【００４１】
その後、ステップＳ５２０で、推定到着時間が映像フレームの表示予定時間より遅れると判定すると、フレームを送出せずに廃棄することになる。そうでない場合は、これから詳細に説明するように、制御装置２１０が欠けているフレームの優先度を評価する。
【００４２】
図６に示すように、制御装置２１０は最初にステップＳ６１０でフレームの優先度レベルを取得し、次にステップＳ６２０で固定閾値レベルにアクセスする。２種類の優先度レベルが存在し、一つは初めて送出されるフレーム（おそらくは、全てのフレームが初めて送出される）用の優先度レベルであり、もう一つは再送用の優先度レベルである。固定閾値レベルは送出の準備時に伝送路状態とそのときの映像ビットレートにしたがって決定されている。その後、ステップＳ６３０で、フレームの優先度レベルが優先度の閾値レベルを超えているか否かが決定される。それが当てはまる場合にのみ、フレームが送出される。そうでない場合には、フレームの廃棄が決定される。
【００４３】
このプロセスは最小限のオーバーヘッドと実施努力で済むので有利であるが、図７から明らかなようにさらに向上させることも可能である。図７に示すプロセスは、主として固定閾値レベルを使用せず、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出する（ステップＳ７１０、Ｓ７２０）という点で図６のプロセスと異なる。この方式は、わずかな帯域幅しか使用可能でない場合には、より優先度の高いフレームのみを送出するほうがよいという考えに基づいている。
【００４４】
使用可能な帯域幅はｔ2の逆数であるので、使用可能な伝送路帯域幅の計測には上記伝送遅延の計測を使用することができる。すなわち、
【数３】
Figure 0004623616
【００４５】
ステップＳ７１０で計測された使用可能伝送路帯域幅Ｂchを、その後、ステップＳ７２０で使用し、以下の式にしたがって優先度閾値Ｐthを算出する。
【数４】
Figure 0004623616
但し、Ｂvは再送が全く行われない場合に映像伝送に必要な帯域幅であり、ｋは上記の機構をシステムに適応させるための係数であって、ビット誤り率は映像伝送に関して一定であると仮定されている。２種類の係数ｋが存在し、一つは初めての送出（おそらくは、全てのフレームが初めて送出される）用の係数であり、もう一つは再送用の係数である。
【００４６】
図８に示すように、さらにステップＳ８１０で、送出されたフレームのビットレートを計測することにより、優先度決定プロセスをさらに改善させることが可能である。この改善は伝送路状態が悪い場合、すなわち、ビット誤り率が高い場合に再送されるフレーム数が増加するという知見に基づいている。したがって、少なくとも重要なフレームを送出するのに十分な伝送路帯域幅が確保されていることを確認するために送出されたデータの量を監視するのに有利である。送出フレームのビットレートを推定するために、送出された多数の先行フレームの平均ビットレートを以下の式にしたがって算出する。
【数５】
Figure 0004623616
【００４７】
この等式において、Ｂsは送出フレームのビットレート、ｐおよびｑはそれぞれ最も古い送出フレームと最も新しい送出フレーム、ｌiは予め記憶されているビット長、ｔpおよびｔqはそれぞれ各フレームの伝送時間を示す。
【００４８】
その後、ステップＳ８２０では、ステップＳ８１０で計測された送出フレームのビットレートＢsを使用し、上述の計算手順と同様にして、優先度閾値Ｐthを算出する。すなわち、
【数６】
Figure 0004623616
【００４９】
優先度決定に基づく送出機構を到着時間推定の機構とともに説明したが、当業者であれば、これらの機構をそれぞれ独立して使用可能であることは理解できるであろう。
【００５０】
図９はビデオクライアント１６０でビデオストリームを受け取るプロセスを示す。ステップＳ９２０で映像フレームが欠けていることを検出すると、上述したように、ステップＳ９３０で再送要求が生成され、ステップＳ９４０でそれが送出される。好ましい実施形態では、ビデオサーバ１１０の制御装置２１０が再送決定を行っているが、当業者であれば分かるように、欠けているフレームを再送すべきか否かの決定を受け側で同様にして行うこともできる。この目的のためには、ビデオクライアント１６０は、優先度閾値を算出するとともに欠けているフレームの優先度レベルと閾値とを比較する制御装置（図示せず）を備えることになる。欠けているフレームの再送を決定した場合にのみビデオクライアント１６０からビデオサーバ１１０に対して再送要求が送信されることになる。図５ないし図８に示す再送決定ステップＳ４４０は、その後、図９のビデオストリーム受取プロセスの再送要求生成ステップＳ９３０の前に組み込まれることになる。
【図面の簡単な説明】
【図１】従来のビデオストリーミングシステムを示す図。
【図２】本発明の好ましい実施形態にかかるビデオストリーミングシステムを示す図。
【図３】上記本発明の好ましい実施形態においてフレームに対する優先度割当てを示すグラフ。
【図４】ビデオストリーム送出プロセスを示すフロー図。
【図５】図４に示すビデオストリーム送出プロセスにおける再送決定手順を示すフロー図。
【図６】図５に示す再送決定手順の一部である優先度決定の第１の例を示すフロー図。
【図７】上記優先度決定の第２の例を示すフロー図。
【図８】上記優先度決定の第３の例を示すフロー図。
【図９】ビデオストリーム受取りプロセスを示すフロー図。
【符号の説明】
１１０ ビデオサーバ
１２０ 映像源アプリケーション
１３０ 送信バッファ装置（送信手段）
１４０ 伝送路アクセス制御装置
１５０ 伝送路
１６０ ビデオクライアント
１７０ 受信バッファ装置
１８０ 映像表示アプリケーション
２１０ 制御装置
２２０ 再送信バッファ（送信手段）
２３０ 受信バッファ装置（受信手段）
２４０ 紛失検出装置（検出手段）
２５０ 送信バッファ装置（送信手段）
２６０ 伝送路アクセス制御装置

Claims (8)

  1. 映像データをそれぞれ優先度レベルが割り当てられた複数のデータフレームからなるデータストリームの形でサーバからクライアントへ送出する方法であって、
    サーバ側でクライアントからデータフレームの再送要求を受け取る工程と、
    上記要求されたデータフレームの優先度レベルを優先度の閾値と比較する工程と、
    上記優先度レベルが上記優先度の閾値より高い場合に上記要求されたデータフレームを再送する工程とを備え、
    上記再送要求は少なくとも２つの先行データフレームの受取り時間とフレーム長さを含んでいるデータ送出方法。
  2. 送出される全てのデータフレームの優先度レベルを上記優先度の閾値と比較する工程をさらに備えている請求項１記載のデータ送出方法。
  3. 映像データをそれぞれ優先度レベルが割り当てられた複数のデータフレームからなるデータストリームの形でサーバから受け取る方法であって、
    データフレームが欠けていることを検出する工程と、
    上記欠けているデータフレームの優先度レベルを優先度の閾値と比較する工程と、
    上記欠けているデータフレームの再送要求をサーバに送信する工程とを備え、
    上記再送要求は少なくとも２つの先行データフレームの受取り時間とフレーム長さを含んでいるデータ受取方法。
  4. 上記優先度レベルが割り当てられたデータフレームは予測符号化フレームである請求項１ないし３のいずれかに記載の方法。
  5. 上記データフレームに対する優先度レベルの割り当ては各データフレームの多重従属関係の論理的深度に応じて行われる請求項１ないし４のいずれかに記載の方法。
  6. 上記データフレームの優先度レベルを優先度の閾値と比較する工程は使用可能な伝送路帯域幅を計測する工程とこの計測された伝送路帯域幅に基づいて上記優先度の閾値を算出する工程とを備えている請求項１ないし５のいずれかに記載の方法。
  7. 上記データフレームの優先度レベルを優先度の閾値と比較する工程は先に送出されたデータフレームのビットレートを計測する工程をさらに備えており、この計測されたビットレートと上記計測された伝送路帯域幅とに基づいて上記優先度の閾値が算出されることを特徴とする請求項６記載の方法。
  8. データフレームの到着時間を推定する工程とこの推定された到着時間を到着予定時間と比較し、推定された到着時間が到着予定時間より前でない場合に送出を抑制する工程とをさらに備えている請求項１ないし７のいずれかに記載の方法。
JP2001057722A 2000-03-02 2001-03-02 データ伝送方法および装置 Expired - Fee Related JP4623616B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00104388.4 2000-03-02
EP00104388A EP1130839B1 (en) 2000-03-02 2000-03-02 Method and apparatus for retransmitting video data frames with priority levels

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003294181A Division JP3598110B2 (ja) 2000-03-02 2003-08-18 データ伝送方法および装置

Publications (2)

Publication Number Publication Date
JP2001274861A JP2001274861A (ja) 2001-10-05
JP4623616B2 true JP4623616B2 (ja) 2011-02-02

Family

ID=8168014

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001057722A Expired - Fee Related JP4623616B2 (ja) 2000-03-02 2001-03-02 データ伝送方法および装置
JP2003294181A Expired - Fee Related JP3598110B2 (ja) 2000-03-02 2003-08-18 データ伝送方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2003294181A Expired - Fee Related JP3598110B2 (ja) 2000-03-02 2003-08-18 データ伝送方法および装置

Country Status (4)

Country Link
US (3) US6792470B2 (ja)
EP (2) EP1130839B1 (ja)
JP (2) JP4623616B2 (ja)
DE (1) DE60020672T2 (ja)

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US7284064B1 (en) 2000-03-21 2007-10-16 Intel Corporation Method and apparatus to determine broadcast content and scheduling in a broadcast system
GB0016695D0 (en) * 2000-07-08 2000-08-23 Radioscape Ltd Digital transactions for the delivery of media files
US7840691B1 (en) 2000-09-07 2010-11-23 Zamora Radio, Llc Personal broadcast server system for providing a customized broadcast
US6904057B2 (en) * 2001-05-04 2005-06-07 Slt Logic Llc Method and apparatus for providing multi-protocol, multi-stage, real-time frame classification
US7042848B2 (en) * 2001-05-04 2006-05-09 Slt Logic Llc System and method for hierarchical policing of flows and subflows of a data stream
US6944168B2 (en) * 2001-05-04 2005-09-13 Slt Logic Llc System and method for providing transformation of multi-protocol packets in a data stream
US6901052B2 (en) * 2001-05-04 2005-05-31 Slt Logic Llc System and method for policing multiple data flows and multi-protocol data flows
US7958532B2 (en) 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
EP1271955A3 (fr) * 2001-06-26 2007-05-02 Koninklijke Philips Electronics N.V. Procédé de transmission par paquet avec requetes en retransmission de paquet et mécanisme de controle relatif à la transmission de telles requètes
US7363569B2 (en) * 2001-06-29 2008-04-22 Intel Corporation Correcting for data losses with feedback and response
KR20030004978A (ko) * 2001-07-07 2003-01-15 삼성전자 주식회사 이동 통신시스템에서 초기전송 및 재전송 방법
US8943540B2 (en) 2001-09-28 2015-01-27 Intel Corporation Method and apparatus to provide a personalized channel
EP1301041A1 (en) * 2001-10-05 2003-04-09 Matsushita Electric Industrial Co., Ltd. Video data transmission method and apparatus
US20030078983A1 (en) * 2001-10-23 2003-04-24 Sullivan Terence Sean Message prioritization and buffering in a limited network
JP4549610B2 (ja) 2001-11-08 2010-09-22 ソニー株式会社 通信システム、通信方法、送信装置および方法、受信装置および方法、並びにプログラム
US7075891B2 (en) 2001-11-26 2006-07-11 Lucent Technologies Inc. Method and apparatus for transmitting and receiving data packets to avoid stall during re-sequencing of data packets
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
WO2003052612A1 (en) * 2001-12-15 2003-06-26 Thomson Licensing S.A. System and method for delivering data streams of multiple data types at different priority levels
KR100460970B1 (ko) 2002-01-10 2004-12-09 삼성전자주식회사 데이터 송수신 시스템 및 방법
FR2838584A1 (fr) * 2002-04-16 2003-10-17 Koninkl Philips Electronics Nv Systeme de transmission avec controle de congestion au niveau du recepteur pour decider d'eventuelles demandes de retransmission
DE60212571T2 (de) 2002-04-23 2007-06-21 Lucent Technologies Inc. Anforderung zur automatischen Sendungswiederholung
US7161904B2 (en) 2002-06-04 2007-01-09 Fortinet, Inc. System and method for hierarchical metering in a virtual router based network switch
KR100537499B1 (ko) * 2002-07-26 2005-12-19 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법
US7707303B2 (en) 2002-09-06 2010-04-27 Telefonaktiebolaget L M Ericsson (Publ) Method and devices for controlling retransmissions in data streaming
EP1559228A1 (en) 2002-11-07 2005-08-03 Matsushita Electric Industrial Co., Ltd. A method of determining feedback in a communication system
US7386176B2 (en) 2002-11-15 2008-06-10 Ricoh Company, Ltd. Image sending apparatus and image receiving apparatus for sending and receiving code sequence data
US7474792B2 (en) 2002-12-02 2009-01-06 Ricoh Company, Ltd. Image processing apparatus for using distortion amount information
JP2004187099A (ja) * 2002-12-04 2004-07-02 Shinko Electric Ind Co Ltd 通信制御方法、通信システム及び通信装置
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9227139B2 (en) 2002-12-10 2016-01-05 Sony Computer Entertainment America Llc Virtualization system and method for hosting applications
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8979655B2 (en) 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
FR2849734A1 (fr) * 2003-01-06 2004-07-09 Thomson Licensing Sa Systeme de reception de signeaux dvb-t avec reemission isofrequence
JP4133421B2 (ja) 2003-02-20 2008-08-13 株式会社日立製作所 コンテンツ配信システムにおけるコンテンツ受信装置およびコンテンツ差分送信装置、ならびに、コンテンツ配信システム
JP4266733B2 (ja) * 2003-07-10 2009-05-20 三菱電機株式会社 映像受信装置
KR100526183B1 (ko) 2003-07-15 2005-11-03 삼성전자주식회사 모바일 애드 혹 네트워크 환경에서 효율적인 데이터송수신을 위한 네트워크 장치 및 데이터 전송 방법
US8554860B1 (en) * 2003-09-05 2013-10-08 Sprint Communications Company L.P. Traffic segmentation
US7834904B2 (en) * 2003-10-22 2010-11-16 Sam Systems, Inc. Video surveillance system
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video
US20080303903A1 (en) * 2003-12-02 2008-12-11 Connexed Technologies Inc. Networked video surveillance system
KR100541526B1 (ko) * 2004-01-30 2006-01-10 에스케이 텔레콤주식회사 멀티미디어 데이터의 전송품질 측정방법 및 장치
US8737219B2 (en) * 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
US7620685B2 (en) * 2004-04-21 2009-11-17 Microsoft Corporation Smart shares and transports
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
US8010652B2 (en) * 2004-05-07 2011-08-30 Nokia Corporation Refined quality feedback in streaming services
US20050254508A1 (en) * 2004-05-13 2005-11-17 Nokia Corporation Cooperation between packetized data bit-rate adaptation and data packet re-transmission
US10268352B2 (en) 2004-06-05 2019-04-23 Sonos, Inc. Method and apparatus for managing a playlist by metadata
CA2909150C (en) 2004-10-12 2017-11-07 Tq Delta, Llc Resource sharing in a telecommunications environment
US20060085827A1 (en) * 2004-10-18 2006-04-20 Toshiro Ozawa Entertainment content preprocessing
US7522528B2 (en) * 2004-11-18 2009-04-21 Qvidium Technologies, Inc. Low-latency automatic repeat request packet recovery mechanism for media streams
US20090232202A1 (en) * 2004-12-10 2009-09-17 Koninklijke Philips Electronics, N.V. Wireless video streaming using single layer coding and prioritized streaming
US7477653B2 (en) 2004-12-10 2009-01-13 Microsoft Corporation Accelerated channel change in rate-limited environments
US7370129B2 (en) * 2004-12-15 2008-05-06 Microsoft Corporation Retry strategies for use in a streaming environment
KR20070104608A (ko) 2005-01-17 2007-10-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 프레임들의 순서화된 세트들을 송신 및 수신하기위한 시스템, 송신기, 수신기, 방법 및 소프트웨어
JP4187746B2 (ja) * 2005-01-26 2008-11-26 三洋電機株式会社 動画像データ伝送装置
DE102005012668B4 (de) * 2005-03-17 2012-02-16 Bernhard Blöchl Rahmenfehlererkennungs- und -korrekturverfahren für digitales Video
JP2006270450A (ja) * 2005-03-23 2006-10-05 Yamaha Corp 送信装置
JP2006279436A (ja) * 2005-03-29 2006-10-12 Toshiba Corp マルチメディア通信システムおよび再送用データ削除方法
US7765305B2 (en) * 2005-04-07 2010-07-27 Microsoft Corporation Retry request overload protection
KR100657314B1 (ko) * 2005-05-04 2006-12-20 삼성전자주식회사 멀티미디어 스트리밍 송신 장치 및 방법
JP4688566B2 (ja) * 2005-05-10 2011-05-25 富士通東芝モバイルコミュニケーションズ株式会社 送信機及び受信機
KR100720592B1 (ko) 2005-09-01 2007-05-22 엘지전자 주식회사 인트라 프레임의 전송오류 복구 방법
US20070058730A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Media stream error correction
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
US8537741B2 (en) * 2006-01-13 2013-09-17 Alcatel Lucent Method of header compression over channels with out-of-order delivery
US7609709B2 (en) * 2006-01-23 2009-10-27 Alcatel-Lucent Usa Inc. Video aware traffic management
US7979784B2 (en) * 2006-03-29 2011-07-12 Samsung Electronics Co., Ltd. Method and system for enhancing transmission reliability of video information over wireless channels
EP2005674B1 (en) 2006-04-12 2016-09-28 TQ Delta, LLC Packet retransmission and memory sharing
KR100763207B1 (ko) * 2006-05-03 2007-10-04 삼성전자주식회사 비압축 ａⅴ 데이터를 송수신하는 방법, 장치, 및 전송프레임 구조
US20070268972A1 (en) * 2006-05-16 2007-11-22 Samsung Electronis Co., Ltd. Method and apparatus for transmitting/receiving uncompressed AV data
US20070270103A1 (en) * 2006-05-16 2007-11-22 Samsung Electronics Co., Ltd. Method and apparatus for transmitting/receiving uncompressed audio/video data
US20070291853A1 (en) * 2006-06-19 2007-12-20 Samsung Electronics Co., Ltd. Method and apparatus for transmitting/receiving uncompressed data
JP2008017331A (ja) * 2006-07-07 2008-01-24 Toshiba Corp パケットストリーム送信装置
US7584289B2 (en) * 2006-07-14 2009-09-01 Abroadcasting Company System and method to efficiently broadcast television video and audio streams through the internet from a source in single leading time zone to multiple destinations in lagging time zones
US8411581B2 (en) * 2006-07-25 2013-04-02 Broadcom Corporation Method and system for medium access control (MAC) layer specialization for voice and multimedia data streams
JP4809174B2 (ja) * 2006-09-27 2011-11-09 京セラ株式会社 通信装置及びデータ送信方法
EP1953959A1 (en) * 2007-02-01 2008-08-06 British Telecommunications Public Limited Company Data communication
JP4836871B2 (ja) * 2007-05-31 2011-12-14 Ｋｄｄｉ株式会社 符号化画像に優先度を割り当てる映像データ送信装置、プログラム及び方法
US20090002556A1 (en) * 2007-06-11 2009-01-01 Picongen Wireless Inc. Method and Apparatus for Packet Insertion by Estimation
EP2026580A1 (en) * 2007-06-12 2009-02-18 British Telecommunications public limited company Video processing
JP5084362B2 (ja) 2007-06-18 2012-11-28 キヤノン株式会社 データ送信装置、及びデータ送受信システム
JP5224731B2 (ja) * 2007-06-18 2013-07-03 キヤノン株式会社 映像受信装置及び映像受信装置の制御方法
UA99298C2 (ru) * 2007-06-20 2012-08-10 Нокиа Сименс Нетворкс Ой Избежание конфликта между полупостоянным распределением и динамическим распределением в сетях радиодоступа
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US9015147B2 (en) 2007-12-20 2015-04-21 Porto Technology, Llc System and method for generating dynamically filtered content results, including for audio and/or video channels
US8316015B2 (en) 2007-12-21 2012-11-20 Lemi Technology, Llc Tunersphere
US20090164576A1 (en) * 2007-12-21 2009-06-25 Jeonghun Noh Methods and systems for peer-to-peer systems
US8117193B2 (en) 2007-12-21 2012-02-14 Lemi Technology, Llc Tunersphere
US20090178096A1 (en) * 2008-01-03 2009-07-09 Microsoft Corporation Intelligent over-transmission of media data segments
EP2247017A1 (en) * 2008-02-21 2010-11-03 Sharp Kabushiki Kaisha Transmission device, reception device, communication system, and communication method
JP2009232109A (ja) * 2008-03-21 2009-10-08 Panasonic Corp 無線端末装置および再送方法
FR2930387B1 (fr) * 2008-04-17 2010-09-24 Canon Kk Procede de traitement d'un flux de donnees codes
JP4460011B2 (ja) 2008-05-27 2010-05-12 国立大学法人広島大学 動画像配信システム、動画像配信方法、動画像配信システムにおけるサーバおよび動画像配信システムにおけるユーザ端末
WO2010007749A1 (ja) * 2008-07-17 2010-01-21 パナソニック株式会社 送信装置、受信装置、レート制御装置、送信方法及び受信方法
JP2010056964A (ja) * 2008-08-28 2010-03-11 Canon Inc 受信装置及びその制御方法、プログラム、記録媒体
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
JP5104717B2 (ja) * 2008-10-23 2012-12-19 富士通株式会社 データ配信装置、中継装置、データ配信方法およびデータ配信プログラム
US8494899B2 (en) 2008-12-02 2013-07-23 Lemi Technology, Llc Dynamic talk radio program scheduling
JP2010252060A (ja) * 2009-04-16 2010-11-04 Hitachi Ltd 送受信システムにおける送受信方法
US8271106B2 (en) 2009-04-17 2012-09-18 Hospira, Inc. System and method for configuring a rule set for medical event management and responses
JP5585109B2 (ja) * 2010-02-10 2014-09-10 ヤマハ株式会社 映像送信装置
WO2011112003A2 (en) * 2010-03-09 2011-09-15 Samsung Electronics Co., Ltd. Method and apparatus for providing broadcast content and system using the same
FR2958482B1 (fr) * 2010-03-31 2012-04-13 Canon Kk Procede de gestion par un dispositif recepteur d'un flux de donnees transmis par un dispositif emetteur, produit programme d'ordinateur, moyen de stockage et dispositif recepteur correspondants
US8356109B2 (en) * 2010-05-13 2013-01-15 Canon Kabushiki Kaisha Network streaming of a video stream over multiple communication channels
EP2388947A1 (en) * 2010-05-20 2011-11-23 Thomson Licensing Method of determination of transmission quality of a communication link and corresponding apparatus
US8510763B2 (en) * 2010-06-14 2013-08-13 Microsoft Corporation Changing streaming media quality level based on current device resource usage
US9628226B2 (en) 2010-09-30 2017-04-18 Qualcomm Incorporated Block acknowledgement with retransmission policy differentiation
US8761147B2 (en) * 2011-01-17 2014-06-24 Texas Instruments Incorporated Selective protection based on sequence numbers in coexisting networks
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
JP5632319B2 (ja) * 2011-03-29 2014-11-26 京セラ株式会社 基地局
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
ES2959510T3 (es) 2011-10-21 2024-02-26 Icu Medical Inc Sistema de actualización de dispositivos médicos
WO2014005077A1 (en) * 2012-06-29 2014-01-03 Vid Scale, Inc. Frame prioritization based on prediction information
CN104247377B (zh) * 2012-07-09 2018-07-27 松下知识产权经营株式会社 通信装置、通信方法、程序
AU2014225658B2 (en) 2013-03-06 2018-05-31 Icu Medical, Inc. Medical device communication method
US9603039B2 (en) 2013-04-03 2017-03-21 Qualcomm Incorporated Opportunistic media patching for a communication session
CA2922425C (en) 2013-08-30 2023-05-16 Hospira, Inc. System and method of monitoring and managing a remote infusion regimen
US9662436B2 (en) 2013-09-20 2017-05-30 Icu Medical, Inc. Fail-safe drug infusion therapy system
WO2015066836A1 (zh) * 2013-11-05 2015-05-14 华为技术有限公司 视频业务数据传输方法、数据接收装置和数据发送装置
CN103780907B (zh) * 2014-01-27 2018-01-16 浙江宇视科技有限公司 一种视频数据流量整形的方法和装置
CN105100886B (zh) * 2014-04-22 2019-03-15 腾讯科技（北京）有限公司 网络媒介信息的发布控制方法、及装置、服务器和系统
CA2945647C (en) 2014-04-30 2023-08-08 Hospira, Inc. Patient care system with conditional alarm forwarding
US9724470B2 (en) 2014-06-16 2017-08-08 Icu Medical, Inc. System for monitoring and delivering medication to a patient and method of using the same to minimize the risks associated with automated therapy
KR102198701B1 (ko) * 2014-07-03 2021-01-05 삼성전자주식회사 멀티미디어 시스템에서 정보를 송수신하는 방법 및 장치
US9539383B2 (en) 2014-09-15 2017-01-10 Hospira, Inc. System and method that matches delayed infusion auto-programs with manually entered infusion programs and analyzes differences therein
DE102015205478A1 (de) 2015-03-26 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Konfiguration einer Übertragungsverbindung
US10152212B2 (en) 2015-04-10 2018-12-11 Sonos, Inc. Media container addition and playback within queue
US11949512B2 (en) * 2016-02-26 2024-04-02 Livestreaming Sweden Ab Retransmission of data in packet networks
CN106067847B (zh) * 2016-05-25 2019-10-22 腾讯科技（深圳）有限公司 一种语音数据传输方法及装置
WO2018008237A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 無線通信装置
KR102483269B1 (ko) * 2016-08-29 2023-01-02 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템
EP4297379A3 (en) 2018-07-17 2024-01-10 ICU Medical, Inc. Systems and methods for facilitating clinical messaging in a network environment
ES2985889T3 (es) 2018-07-17 2024-11-07 Icu Medical Inc Actualización de las bibliotecas de fármacos de bombas de infusión y software operacional en un entorno en red
RU2710282C1 (ru) * 2019-04-24 2019-12-25 Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации Способ передачи данных
AU2020267477A1 (en) 2019-05-08 2022-01-06 Icu Medical, Inc. Threshold signature based medical device management
CN110851255B (zh) * 2019-11-07 2022-04-15 之江实验室 一种基于终端设备和边缘服务器协同进行视频流处理的方法
CN115001632A (zh) * 2022-06-09 2022-09-02 咪咕文化科技有限公司 一种信息传输方法、装置、电子设备及可读存储介质
US11589104B1 (en) * 2022-06-17 2023-02-21 Userful Corporation Latency compensation for external networks
CN116471425B (zh) * 2023-04-20 2024-02-06 四川康和圣科技有限公司 一种基于大数据分析的多媒体数据管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336316A (ja) * 1994-06-03 1995-12-22 Sony Corp データ放送システム
JPH0879128A (ja) * 1994-09-02 1996-03-22 Canon Inc スペクトラム拡散無線通信システム
JPH10126772A (ja) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画像データ転送方法
JPH11225168A (ja) * 1997-03-17 1999-08-17 Matsushita Electric Ind Co Ltd 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
JPH11331839A (ja) * 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 映像伝送再送の装置及び方法
JP2001016276A (ja) * 1999-06-29 2001-01-19 Canon Inc 通信装置、通信方法、記憶媒体及び通信システム
JP2002204220A (ja) * 2000-10-27 2002-07-19 Matsushita Electric Ind Co Ltd 誤り耐性付与・解釈方法および誤り耐性付与・解釈装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432524T2 (de) * 1993-06-09 2004-04-01 Btg International Inc. Verfahren und vorrichtung für ein digitales multimediakommunikationssystem
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US5768527A (en) * 1996-04-23 1998-06-16 Motorola, Inc. Device, system and method of real-time multimedia streaming
US5956729A (en) * 1996-09-06 1999-09-21 Motorola, Inc. Multimedia file, supporting multiple instances of media types, and method for forming same
US5918002A (en) * 1997-03-14 1999-06-29 Microsoft Corporation Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
KR20050052484A (ko) * 1997-03-17 2005-06-02 마츠시타 덴끼 산교 가부시키가이샤 데이터 처리방법
US6085253A (en) * 1997-08-01 2000-07-04 United Video Properties, Inc. System and method for transmitting and receiving data
FI108192B (fi) * 1998-03-19 2001-11-30 Nokia Networks Oy Menetelmä ja laitteisto palvelun laadun kontrolloimiseksi matkaviestinjärjestelmässä
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6400695B1 (en) * 1998-05-22 2002-06-04 Lucent Technologies Inc. Methods and apparatus for retransmission based access priority in a communications system
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
EP1006689B1 (en) * 1998-11-30 2008-02-06 Matsushita Electric Industries Co., Ltd. Packet retransmission control using priority information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336316A (ja) * 1994-06-03 1995-12-22 Sony Corp データ放送システム
JPH0879128A (ja) * 1994-09-02 1996-03-22 Canon Inc スペクトラム拡散無線通信システム
JPH10126772A (ja) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画像データ転送方法
JPH11225168A (ja) * 1997-03-17 1999-08-17 Matsushita Electric Ind Co Ltd 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
JPH11331839A (ja) * 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 映像伝送再送の装置及び方法
JP2001016276A (ja) * 1999-06-29 2001-01-19 Canon Inc 通信装置、通信方法、記憶媒体及び通信システム
JP2002204220A (ja) * 2000-10-27 2002-07-19 Matsushita Electric Ind Co Ltd 誤り耐性付与・解釈方法および誤り耐性付与・解釈装置

Also Published As

Publication number Publication date
EP1361690A2 (en) 2003-11-12
JP2004007823A (ja) 2004-01-08
US20020004838A1 (en) 2002-01-10
EP1130839A1 (en) 2001-09-05
JP2001274861A (ja) 2001-10-05
EP1361690B1 (en) 2006-01-11
US6792470B2 (en) 2004-09-14
US20050144643A1 (en) 2005-06-30
JP3598110B2 (ja) 2004-12-08
DE60020672T2 (de) 2005-11-10
DE60020672D1 (de) 2005-07-14
US20040025184A1 (en) 2004-02-05
US6877038B2 (en) 2005-04-05
EP1130839B1 (en) 2005-06-08
EP1361690A3 (en) 2004-04-07

Similar Documents

Publication Publication Date Title
JP4623616B2 (ja) データ伝送方法および装置
EP2061174B1 (en) Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control
US6700893B1 (en) System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
US7315898B2 (en) Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program
US7164680B2 (en) Scheme for supporting real-time packetization and retransmission in rate-based streaming applications
US8516346B2 (en) Packet transmission apparatus, communication system and program
US8769141B2 (en) Adaptive bitrate management for streaming media over packet networks
US20140072032A1 (en) Adaptive Bitrate Management for Streaming Media Over Packet Networks
US20120300663A1 (en) Method and apparatus for retransmission decision making
EP1301041A1 (en) Video data transmission method and apparatus
US9525874B2 (en) Transmitting apparatus and transmission method
JP2019505126A (ja) マルチキャストネットワークにおいてデータの再送を要求すること
JP5523163B2 (ja) 送信装置、送信方法、プログラム
Huszák et al. Selective retransmission of MPEG video streams over IP networks
Huszák et al. TFRC-Based Selective Retransmission for Multimedia Applications.
CN106100803A (zh) 用于作出重发决定的方法和装置
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101029

R150 Certificate of patent or registration of utility model

Ref document number: 4623616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees