[go: up one dir, main page]

JP2010171697A - 映像配信システム,映像配信装置,及び同期補正処理装置 - Google Patents

映像配信システム,映像配信装置,及び同期補正処理装置 Download PDF

Info

Publication number
JP2010171697A
JP2010171697A JP2009011869A JP2009011869A JP2010171697A JP 2010171697 A JP2010171697 A JP 2010171697A JP 2009011869 A JP2009011869 A JP 2009011869A JP 2009011869 A JP2009011869 A JP 2009011869A JP 2010171697 A JP2010171697 A JP 2010171697A
Authority
JP
Japan
Prior art keywords
video
stream
time information
time
synchronization correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009011869A
Other languages
English (en)
Other versions
JP5086285B2 (ja
Inventor
Mariko Nakayama
真理子 中山
Toshiyuki Odaka
俊之 小高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009011869A priority Critical patent/JP5086285B2/ja
Priority to US12/689,291 priority patent/US8345668B2/en
Publication of JP2010171697A publication Critical patent/JP2010171697A/ja
Application granted granted Critical
Publication of JP5086285B2 publication Critical patent/JP5086285B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】
映像受信装置が映像を同期して再生可能な映像ストリームを配信する。
【解決手段】
映像配信装置1は,複数のコンテンツに対応する複数の映像ストリームの時刻情報をもとに各RTPパケットの配信時刻を決定し,決定した配信時刻(タイムスタンプ)を各RTPパケットに付加し、複数のコンテンツで共通のカウンタを用いて、RTPパケットを配信する。映像中継装置2は,複数のコンテンツで共通のカウンタとこの配信時刻(タイムスタンプ)を基に,RTPパケットの転送タイミングを補正し、映像受信装置3に送信する。映像受信装置3は、受信したRTPパケットから映像を再生して表示する。
【選択図】図1

Description

本発明は,映像ストリームを配信する映像配信システムに関し,特に,複数の映像ストリームの配信間隔を調整する技術に関する。
ネットワーク技術の普及に伴って,インターネットプロトコル(IP:Internet Protocol)を用いて映像ストリームを送信する技術が開発されている。このような映像ストリームの送信技術には,IPマルチキャストを用いて,リアルタイムに映像ストリームを配信する方式,及び,映像ストリームをダウンロードして蓄積された映像データを再生する方式等がある。また,映像データを符号化する方式として,MPEG2(Moving Picture Experts Group 2)を用いた方式が知られている。また,映像ストリームを配信する方式として,RTP/UDP(Real−time Transport Protocol/User Datagram Protocol)を用いて配信する方式がある。
通信回線の広帯域化により,複数の映像を配信することが可能となる。例えば,野球中継等のスポーツ中継では,複数のカメラを用いて撮影している。現在は,複数のカメラの映像から放送局で選択された映像のみが配信されているため,視聴者が視聴したいカメラの映像が必ず視聴できるとは限らない。複数の映像を同時に配信することが可能となれば,撮影した全てのカメラの映像を配信しておき,視聴者が任意の映像を選択して視聴したり,すべてまたはいくつかの映像を同時に視聴したりすることが可能となる。野球中継を例にすると,ピッチャーが送球する時に,他の選手や監督がどの様な動きをしているか等,被写体が広範囲に及び1つのカメラで撮影できない映像を同時に視聴することができる。
複数の映像を同時に配信する場合,映像間の同期が重要となる。MPEGのトランスポートストリーム(TS)では,TSパケットに含まれるPCR(Program Clock Reference)を用いて,映像フレームの復号及び表示に用いる基準時刻情報をストリームごとに生成する。そのため,広域なIPネットワークを用いて,複数のストリームを配信した場合,ネットワークのゆらぎの影響を受け,各ストリームのクロックが生成されるタイミングと,クロックが進む速さが一致せず,ストリーム毎に映像の再生開始と表示タイミングがずれる。
また,IPネットワークでは,パケットの到達を保証していないため,クロックの生成に必要な情報を含むIPパケットが,ネットワーク上記廃棄される可能性もある。
複数の映像を同期させて再生する方法として,特許文献1に記載の方法がある。上記同期方式では,複数のストリームの中からマスターとなるストリームを選択し,選択したストリームのクロックを用いて,他のストリームを復号する方式である。
特開2001−19704号公報
特許文献1に記載の方式によりストリーム間で同期させることは可能である。しかしながら,映像データを中継するIPネットワークで同期させる場合は,すべてのIPパケットのペイロードを検査し,映像データを再構成した上で実施する必要があり,映像中継装置で行うには処理負荷が大きい。また,映像受信装置(端末)で実施する場合,ネットワークのゆらぎの影響を吸収する十分なバッファと処理能力を映像受信端末が有する必要がある。
本発明の目的は、ネットワーク上の中継ノードなどで同期の補正を行うことで,バッファ量が少ない端末や処理能力の低い端末でも同期した複数の映像を視聴することが可能とする映像配信システム,映像配信装置,及び同期補正処理装置を提供することにある。
上記目的を達成するため、本発明においては、1つ以上の映像ストリームを同時に送信する映像配信装置と,映像配信装置から送信された映像ストリームを映像受信装置に転送する映像中継装置を備える映像配信システムであって,映像配信装置は,映像の時刻情報を基に,映像ストリームを送信する送信時刻を決定し,決定した送信時刻を映像ストリームに付加し,映像ストリームで共通に利用する共通時刻情報を用いて映像ストリームを映像中継装置に送信し,映像中継装置は,受信した映像ストリームに付加された送信時刻を基に,映像ストリームで共通に利用する共通時刻情報を用いて,映像ストリームを映像受信装置に転送する映像配信システムを提供する。
また、本発明においては、処理部と記憶部とを有し、時刻情報含む複数の映像の映像ストリームを配信する映像配信装置であって,処理部は、映像の時刻情報を基に、映像ストリームを送信する送信時刻を決定し,決定した送信時刻を映像ストリームに付加し,配信する複数の前記映像ストリームで共通の共通時刻情報を用いて,複数の映像ストリームを配信するよう制御する映像配信装置を提供する。
更に、本発明においては、受信部と処理部と記憶部とを備え、時刻情報を含む複数の映像の映像ストリームを配信する映像配信装置から送信された映像ストリームの同期補正を行う同期補正処理装置であって,受信部は、映像配信装置から、映像の時刻情報を基に決定した送信時刻が付加され,複数の映像ストリームに共通の共通時刻情報を用いて送信された複数の映像ストリームを受信し,処理部は、複数の映像ストリームに共通して利用する共通時刻情報を利用して,複数の映像ストリームに付加された送信時刻に基づき,複数の映像ストリームの同期補正を行う同期補正処理装置を提供する。
すなわち、本発明は上記課題を解決するため好適には、異なるIPストリームで配信される複数ストリームの同期を,ネットワーク上の中継装置で補正し,補正後の複数のストリームを中継装置に接続する映像受信装置に送信することにより、映像受信装置で複数の映像ストリームを同期して再生可能とする。
本発明は、より好適には、コンテンツの時刻情報を基にRTPパケットの配信時刻が決定される。映像配信装置は,同期する複数のコンテンツで同一のカウンタを参照し,複数のコンテンツのRTPパケットを同期してネットワークへ配信する。映像中継装置は,同期する複数のコンテンツで同一のカウンタを参照し,映像配信装置が同期して配信した配信タイミングを補正・再現して映像受信装置に転送する。
映像配信装置では,同期して配信する各ストリームのPCRからRTPパケットを配信するタイミングである送信時刻を決定し,RTPパケットのタイムスタンプフィールドに記録する。また,同期して配信するストリームで共通に使用するカウンタを用いて,先に決定した配信タイミングでRTPパケットを配信する。
映像中継装置では,配信タイミングを補正するストリームの組を管理し,配信タイミングの補正が必要なRTPパケットをバッファに蓄積する。ネットワークのゆらぎを吸収可能な量のRTPパケットをバッファに蓄積したら,同期を補正するストリーム群で共通のカウンタと,映像配信装置が付与した送信時刻であるタイムスタンプを用いて,映像配信装置が配信した配信タイミングで映像受信装置へRTPパケットを配信する。また,映像中継装置でPCRを含むパケットがネットワーク上で廃棄されたことを検出した場合には,映像中継装置でPCRを生成して映像受信装置に配信する。
本発明によると,ネットワーク上でのゆらぎやパケットロスの影響によって発生するストリームごとの再生タイミングのずれを整え,映像受信端末が同期して再生可能なストリームを配信することができる。また,ネットワーク上の中継装置が同期補正を行うことで,中継装置に接続する複数の映像受信端末間でも複数の映像を同期して再生することが可能となる。
第1の実施例の映像配信システムの構成を示すシステム構成図である。 第1の実施例の映像配信装置の構成を示すブロック図である。 第1の実施例の映像中継装置の構成を示すブロック図である。 第1の実施例のストリーム管理テーブルの構成例を示す説明図である。 第1の実施例の映像受信装置の構成を示すブロック図である。 第1の実施例の映像受信装置の画面の構成例を示す説明図である。 第1の実施例の同期補正処理のシーケンス図である。 第1の実施例のパケット生成処理のフローチャートである。 第1の実施例の同期配信処理のフローチャートである。 第1の実施例の同期エンコード処理のフローチャートである。 第1の実施例のRTPヘッダの構成を示す説明図である。 第1の実施例の拡張ヘッダの構成例を示す説明図である。 第1の実施例の映像配信装置が配信するRTPパケットの構成例を示す説明図である。 第1の実施例の入力側の同期補正処理のフローチャートである。 第1の実施例の出力側の同期補正処理のフローチャートである。 第1の実施例の同期補正処理によって補正されるパケットの説明図である。 第2の実施例の映像配信システムの構成を示すシステム構成図である。 第2の実施例の映像配信装置の構成を示すブロック図である。 第2の実施例の同期補正処理のシーケンス図である 第3の実施例の映像配信システムの構成を示すシステム構成図である。 第4の実施例の映像配信システムの構成を示すシステム構成図である。 第5の実施例の映像配信システムの構成を示すシステム構成図である。
以下、本発明の種々の実施例を図面に従い説明する。
本発明の各実施の形態では,コンテンツの時刻情報を基にRTPパケットの配信時刻が決定される。映像配信装置は,同期する複数のコンテンツで同一のカウンタを参照し,複数のコンテンツのRTPパケットを同期してネットワークへ配信する。映像中継装置等は,同期する複数のコンテンツで同一のカウンタを参照し,映像配信装置が同期して配信した配信タイミングを補正する、更に補正再現したコンテンツを映像受信装置に転送する。
図1は,第1の実施例の映像配信システムの構成を示すシステム構成図である。
第1の実施例の映像配信システムは,映像配信装置1,映像中継装置2,映像受信装置(端末)3,ネットワークA4,及び,ネットワークB5を備える。
ネットワークA4は,映像配信装置1と,映像中継装置2とを接続する。ネットワークB5は,映像中継装置2と映像受信装置3とを接続する。
<映像配信装置>
まず,本実施例の映像配信装置1について説明する。
図2は,実施例1の映像配信装置1の構成の一例を示すブロック図である。
映像配信1は,処理部である中央処理部(Central Processing Unit:CPU)11,記憶部であるメモリ12,送受信部を構成するインタフェース部(IF)17を備える。
CPU11は,OS(Operating System)及び各種アプリケーションプログラムを実行する。メモリ12は,CPU11によって実行される各種アプリケーションプログラムである,コンテンツカウンタ13,パケット生成処理プログラム14,同期エンコード処理プログラム15,同期配信処理プログラム16を格納する。CPU11とメモリ12とは,バス18によって接続される。
コンテンツカウンタ13は,同期配信する複数のストリームで共通に使用するカウンタである。このカウンタ13は、同期配信する複数のストリームで共通に使用する共通時刻情報を出力する。
同期エンコード処理プログラム15は,同期して配信するコンテンツで同一のクロックを用いて,すべてのストリームでPCRが一致するようにMPEGのTS形式にエンコードする。映像配信装置1にビデオカメラ(図示せず)を接続し,リアルタイムにTS形式に同期エンコード処理を行っても良いし,MPEGのPS形式やTS形式のファイルを読み込み,すべてのストリームでPCRが一致するTS形式に再エンコードしてもよい。
パケット生成プログラム14は,同期エンコード処理プログラム15がエンコードしたTSパケットをRTPパケットへパッキングし、送信時刻としてのタイムスタンプを付加する。
同期配信処理プログラム16は,コンテンツカウンタ13を利用して,複数のストリームを同期して配信する。
インタフェース部17は,CPU11及びメモリ12からのデータを,ネットワークを経由して外部の装置に送信し,外部の装置からのデータを受信する。インタフェース部17は,図1のネットワークA4に接続される。
<映像中継装置>
図3は実施例1の映像中継装置2の構成を示すブロック図である。映像中継装置2は,CPU21,記憶部であるメモリ22,送受信部を構成するインタフェース部(IF)27,28を備える。メモリ22は,コンテンツカウンタ23,バッファ24,ストリーム管理テーブル25,同期補正処理プログラム26を格納する。CPU21とメモリ22とは,バス29によって接続される。
本実施例においてコンテンツカウンタ23は,同期配信する複数のストリームで共通に使用するカウンタであり、同期配信する複数のストリームで共通に使用する共通時刻情報を提供する。バッファ24は,同期の補正が必要なストリームのRTPパケットを蓄積する。ストリーム管理テーブル25は,同期を補正するストリームを管理するためのテーブルである。同期補正処理プログラム26は,IPネットワークであるネットワークA4を経由することにより,ゆらぎを含んだストリームの配信間隔を,RTPのタイムスタンプとコンテンツカウンタ23の共通時刻情報を用いて補正する。
図4は,実施例1の映像中継装置2におけるストリーム管理テーブル25の一構成例を示す説明図である。
ストリーム管理テーブル25は,ストリームID401,タイムスタンプ402,PCR403,シーケンス番号404を含む。
ストリームID401は,同期の補正を行うストリームの宛先IPアドレス等,ストリームを一意に識別するための識別子(ID)である。IPアドレスでストリームを一意に識別できない場合は,ポート番号,プロトコル種別等を併せて保持してもよい。タイムスタンプ402は,PCRを含むRTPのタイムスタンプを記録するフィールドである。PCR403は,RTPパケットに含まれるPCRの値を記録するフィールドである。シーケンス番号404は,RTPパケットのシーケンス番号を記録するフィールドである。
<映像受信装置>
図5は,実施例1の映像受信装置(端末)3の構成を示すブロック図である。映像受信装置3は,CPU31,メモリ32,送受信部を構成するインタフェース部(IF)35を備える。
メモリ32は,CPU31によって実行されるアプリケーションプログラムであるストリーム取得処理プログラム33,映像表示処理プログラム34を格納する。CPU31とメモリ32とは,バス36によって接続される。
ストリーム取得処理プログラム33は,インタフェース35を通して,映像ストリームRTPパケットを受信し,映像データを取得する。ストリーム表示処理プログラム34は,取得した映像データを図示が省略された映像受信装置3の表示部の表示画面に表示する。あるいは、映像受信装置3に接続される表示デバイスの表示画面に出力可能な形式の信号で出力する。
図6は,ストリーム表示プログラム34によって表示された画面の構成例である。映像受信装置3は,受信した複数の映像ストリームA301、B302、303Cを同時に表示することが可能である。スポーツ中継(野球)を例にすると,ピッチャー,バッター,ランナーなど複数の選手の映像を同時に視聴することが可能である。
<実施例1の処理>
本実施例を含め各実施例での処理は,実施例の各装置のCPU11,21,31がメモリ12,22,32に格納されたプログラムを実行することによって行われる。なお,各処理の一部又は全部を,プログラムの実行によらず,ハードウェアロジックによって行ってもよい。
図7は,実施例1の映像ストリームの同期補正処理のシーケンス図である。
映像受信装置(端末)3は,映像中継装置2に,複数視点映像の同期配信開始通知を送信する(ステップ501)。本通知には,同期して配信するコンテンツを特定する情報(コンテンツ名等)と,コンテンツをIPネットワークに配信する際に,ストリームを一意に特定する情報が含まれる。ストリームを一意に特定する情報とは,IPアドレスやポート番号等のことを示す。すなわち,映像ストリームがユニキャストで配信される場合は,映像受信装置3のIPアドレス,ポート番号を通知する。マルチキャストで配信される場合は,マルチキャストグループのアドレスを通知する。また,映像受信装置3からの通知には,コンテンツを特定する情報のみを通知し,映像中継装置2はコンテンツの情報を基に,上記アドレス情報へ変換を行っても良い。
映像中継装置2は,映像受信装置3から通知された情報を基に,同期補正を行うストリームのIDをストリーム管理テーブル25に登録する(ステップ503)。本実施例では,ストリームのIDとして,マルチキャストアドレスを用いる。また,映像受信装置3から通知された配信開始通知を映像配信装置1に転送する(ステップ502)。
映像配信装置1は,映像配信開始通知に含まれるコンテンツを特定する情報から,配信するコンテンツを特定する(ステップ504)。また,コンテンツカウンタ13を起動し,映像受信端末3から通知されたIPアドレスへストリームの同期配信を開始する。
図10は,実施例1の映像配信装置1の同期エンコード処理プログラム15によって実行される同期エンコード処理の一例を示すフローチャートである。
プログラム起動後,同期エンコード処理プログラムの初期設定を行う。具体的には,同期してエンコードする全コンテンツに対して,PCR挿入周期(PCRの出現間隔)とPCRの初期値を決定し,27MHzのカウンタを起動する(ステップ1001)。
同期エンコードが必要な全コンテンツの映像を取得する。取得する映像はステップ1001で決定した1周期分の長さの映像である(ステップ1002)。ステップ1001で起動したカウンタ値から全映像に挿入するPCRの値を決定し,PCRを含むTSパケットを生成する(1003)。
ステップ1002で取得した映像を逐次エンコードし,TSパケットを生成する(ステップ1004)。処理終了後,1周期分の時間に達しない場合は,処理を休止して待機し,1周期分の時間が経過したらステップ1002から1004の処理を繰り返し,同期エンコードが必要な全コンテンツの映像をエンコードする。
上記処理により,同期配信を行う全てのコンテンツで,PCRの値と出現間隔が一致するようにエンコードすることができる。
図8は,実施例1の映像配信装置1のパケット生成処理プログラム14によって実行されるパケット生成処理のフローチャートである。
同期配信を行うすべてのコンテンツのTSパケットについて,最初のPCRから次のPCRまでの1周期分を取得し(ステップ801),RTPにパッキングする(ステップ802)。IPネットワークでのフラグメントが発生しないよう,1つのRTPパケットにTSパケットは最大7個とする。
ステップ802で生成したRTPパケットを解析し,RTPパケット内にPCRを含むTSパケットがパッキングされている場合(ステップ803で“YES”)は,PCRからRTPのタイムスタンプフィールドに付与する送信時刻としてのタイムスタンプを計算する(ステップ804)。RTPのタイムスタンプは90KHzのカウンタ値である。一方PCRは,27MHzのカウンタ値のため,PCRを300で割った値がRTPのタイムスタンプとなる。
一方,PCRを含むTSパケットがパッキングされていない場合(ステップ803で“NO”)は,1周期分のPCRの差分と,1周期に含まれるパケットの数から,タイムスタンプを決定する(ステップ805)。すなわち,PCRの差分をパケット数で割り,さらに300で割った値をRTPパケット間の差分とする。RTPのシーケンス番号がインクリメントされるごとに,ステップ804で計算したタイムスタンプにRTPパケット間の差分を加算してタイムスタンプを計算する。
また,TimeStamped TSパケットにエンコードしている場合は,RTPにパッキングされたTSパケットの先頭のTSパケットのタイムスタンプからRTPのタイムスタンプを計算してもよい。
図11にRTPヘッダの構成を示す。110がRTPヘッダである。111はビット構成を示す。例えば、シーケンス番号は16ビット(2バイト)で構成される。RTPのタイムスタンプフィールドは90KHzのカウンタ値のため,コンテンツのデータ量が多く,90KHzのカウンタで送信時刻としてのタイムスタンプを付与した場合に,同値のタイムスタンプが複数のパケットに付与される場合は,カウンタの精度を高くし,拡張ヘッダ等により,90KHz以上のカウンタ値を格納するフィールドを設けてもよい。
図12に拡張ヘッダにより新たに規定したタイムスタンプフィールドの構成例を示す。120が拡張ヘッダを示す。121もビット構成を示す。
図8に戻り、計算したタイムスタンプをRTPのタイムスタンプフィールドに付与し(ステップ806),送信用のバッファ(図示せず)へ入力する(ステップ807)。
以上の処理を繰り返し,すべてのRTPパケットの送信時刻であるタイムスタンプを決定する。また,同期が必要な全コンテンツで行い,同一のPCR値を含むRTPパケットのタイムスタンプが一致するようにRTPパケットを生成する。
図9は,実施例1の映像配信装置1の同期配信処理プログラム16によって実行される同期配信処理のフローチャートである。
同期配信処理プログラム16は,パケット生成処理プログラム14によって生成されたRTPパケットの送信時刻であるタイムスタンプを確認し,適切な時刻にRTPパケットをIPネットワークへ配信する。
送信バッファに一定量のRTPパケットが蓄積したら,コンテンツカウンタ13を起動し,複数のストリームの同期配信を開始する(ステップ901)。コンテンツカウンタ13は,RTPのタイムスタンプと同様の周波数で更新されるカウンタを使用する。そのため,拡張ヘッダにより規定したタイムスタンプフィールドを用いる場合は,その周波数と一致するカウンタを用いる。
送信バッファを検査し,コンテンツカウンタ13の値をRTPのタイムスタンプの値が一致するRTPパケットがあるかを,ストリーム毎に確認する(ステップ902)。タイムスタンプがコンテンツカウンタ13と一致するRTPパケットがある場合(ステップ902で“YES”)は,そのRTPパケットをネットワークへ配信する(ステップ903)。ステップ903より,図7のRTPパケット505から507はネットワークA4へ配信される。
同期して配信する全コンテンツについて,ステップ902〜ステップ903の処理を繰り返す(ステップ904で“NO”)。全コンテンツの比較が終了した場合(ステップ904で“YES”)は,コンテンツカウンタ13のインクリメント時刻まで待機する(ステップ905)。インクリメント時刻になったら,コンテンツカウンタ13の共通時刻情報をインクリメントし,ステップ902からステップ904の処理を繰り返す。以上により,RTPパケット508から510及び,図示しないRTPパケットがネットワークA4へ配信される。
図13に,ある時刻に映像配信装置1からネットワークに出力される、RTPパケットの構成例を示す。同期配信処理プログラム16により,コンテンツカウンタ13の値と一致するタイムスタンプが付与された複数のコンテンツA,B,CのRTPパケットが同時刻にネットワークに出力される。
映像配信装置1から配信されたRTPパケットは,IPネットワークを経由することにより,映像配信装置1が配信したタイミングとは異なるタイミングで映像中継装置2に到達する。RTPパケットの到着順序が入れ替わる場合や,中継ルータ(図示せず)でパケットが廃棄され,映像中継装置2に到着しない場合もある。
図14は,実施例1の映像中継装置2の同期補正処理プログラム26によって実行される同期補正処理のパケット受信時(入力側)のフローチャートである。
映像中継装置2は,RTPパケットを受信するとバッファ24に蓄積する(ステップ1301)。受信したRTPパケットを解析し(ステップ1302),RTPパケットにPCRが含まれるか否かを検査する(ステップ1303)。
PCRが含まれない場合(ステップ1303で“NO”)は,ステップ1309を実行する。一方,PCRが含まれる場合(ステップ1303で“YES”)は,ステップ1304で取得したRTPパケットに該当するストリーム管理テーブル25を取得し(ステップ1304),PCRの値をPCRフィールド403に記録する。また,RTPヘッダからタイムスタンプ及びシーケンス番号を取得し,ストリーム管理テーブル25のタイムスタンプフィールド402及び,シーケンス番号フィールド404に記録する(ステップ1305)。
ステップ1305で記録したストリーム管理テーブルエントリの1つ前のストリーム管理テーブルを取得する(ステップ1306)。ストリーム管理テーブル25は,PCRを含むRTPパケットを受信する毎に生成(または更新)されるため,ストリーム開始直後以外は,1つ前のストリーム管理テーブルが存在する。ストリーム開始直後で,1つ前のストリーム管理テーブル25が取得できない場合(ステップ1306で“NO”)は,ステップ1309を実行する。一方,1つ前のストリーム管理テーブル25を取得した場合(ステップ1306で“YES”)は,1つ前のストリーム管理テーブル25の該当ストリームのPCR403が記録済か否かを確認する(1307)。
記録済の場合(ステップ1307で“YES”)は,ステップ1309を実行する。一方,記録がない場合(ステップ1307で“NO”)は,他のストリームに記録されているPCR403から,該当ストリームの1つ前のPCRを生成する。さらに,他のストリームに記録されているタイムスタンプ402から,生成したPCRを含むRTPパケットを生成する。生成したRTPパケットのシーケンス番号は,入力バッファに蓄積している該当ストリームのRTPパケットの先頭のシーケンス番号より1つ前の番号を用いる(ステップ1308)。これにより,RTPパケット506のように,IPネットワーク上で廃棄されたRTPパケットのPCRを,映像中継装置2で生成して,映像受信装置3へ配信することができる。
次に,該当ストリームにおいて,入力バッファに蓄積されているRTPパケットのシーケンス番号が連続しているかを確認する(ステップ1309)。受信順序とシーケンス番号順が入れ替わっている場合(ステップ1309で“NO”)は,シーケンス番号順にRTPのパケットの送信順番を入れ替える(ステップ1310)。これにより,RTPパケット507のように,映像配信装置1からの配信される順序と,映像中継装置2が受信する順序が入れ替わったRTPパケットの配信順序を補正することができる。
ストリーム管理テーブル25で管理している全ストリームのPCRを受信または生成した場合(ステップ1311で“YES”)は,各ストリームの入力バッファを確認し,蓄積されているRTPパケットの中で,ストリーム管理テーブル25に記録されたシーケンス番号404以前のRTPパケットを選択し,出力バッファへ入力する(ステップ1312)。
以上により,IPネットワーク上の中継ルータで廃棄されたPCRを含むパケットを他のストリームの情報から生成することができる。また,RTPパケットの送信順序を補正することも可能である。
図15は,実施例1の映像中継装置2の同期補正処理プログラム26によって実行される同期補正処理のパケット送信時(出力側)のフローチャートである。
出力側の同期補正処理プログラムは,出力バッファに適正量のRTPパケットが蓄積しているかを確認する(ステップ1401)。適正量とは,ネットワークのゆらぎを考慮して,映像中継装置2の管理者が設定した値とする。
適正量のRTPパケットが蓄積していない場合(ステップ1401で“NO”)は,バッファ量の確認を繰り返し行う。適正量のRTPパケットが蓄積した場合(ステップ1401で”YES“)は,出力バッファからRTPパケットの配信処理を開始する。
まず,コンテンツカウンタ23を起動する(ステップ1402)。コンテンツカウンタ23は,RTPのタイムスタンプを付与する際に用いたカウンタと同じ周波数でインクリメントする。
RTPのタイムスタンプの値がコンテンツカウンタ23の値と一致するRTPパケットがあるかを確認する(ステップ1403)。一致するRTPパケットがない場合(ステップ1403で“NO”)は,ステップ1405を実行する。一致するRTPパケットがある場合(ステップ1403で”YES“)は,RTPパケットをネットワークB5へ送信する(ステップ1403)。同期を補正する全ストリーム,すなわち,ストリーム管理テーブル25のストリームID401に登録されているストリームの確認が終わるまでステップ1403から1405を繰り返す。
全ストリームの確認が終了した場合(ステップ1405で”YES“)は,コンテンツカウンタ25のインクリメント時刻まで待機し(ステップ1406),インクリメント時刻になったら,コンテンツカウンタ25をインクリメントする(ステップ1407)。
以上により,映像配信装置1の配信タイミングを、同期補正処理機能を有する映像中継装置2で再現し,映像受信装置3に配信することが可能となる。
図16は,本実施例による映像中継装置2によって,RTPパケットの配信タイミング及び配信順序が補正される様子を示している。映像中継装置2は,RTPパケット505,508,509,510,507の順に受信するが,コンテンツカウンタ23とRTPのタイムスタンプを利用して,配信タイミングを補正することにより,RTPパケットを505,506,507,508,509,510の順に配信することが可能となる。RTPパケット506は,ネットワークA4上で廃棄されたため,映像中継装置2で生成されたPCR情報のみをRTPパケットである。
なお,第1の実施例では,映像符号化方式にMPEG2を用いたが,本実施例は,他の映像圧縮符号化方式を用いるもの全てに適用することができる。
以上で説明したように,実施例1によると,映像配信装置の配信タイミングと配信順序を映像中継装置で再現し,映像受信装置(端末)に配信することができる。また,映像受信装置が利用する時刻情報を含むパケットがネットワーク上で廃棄された場合には,映像中継装置で再現することにより,時刻情報を含むパケットを確実に映像受信装置に配信することができる。これにより,映像受信装置が複数のストリームを同期して表示することが可能である。
次に第2の実施例について説明する。
第2の実施例では,映像受信端末が同期配信を要求するコンテンツが複数の映像配信装置に分散して存在する場合に,映像配信装置が他の映像配信装置と同期してコンテンツを配信し,映像中継装置で同期を補正して映像受信装置(端末)に転送することが可能な構成を有する。
図17は,第2の実施例の映像配信システムの構成を示すシステム構成図である。
第2の実施例の映像配信システムは,映像配信装置1A,1B,1C,映像中継装置2,映像受信装置3,ネットワークA4,及び,ネットワークB5を備える。
ネットワークA4は,映像配信装置1A,1B,1Cと,映像中継装置2とを接続する。ネットワークB5は,映像中継装置2と映像受信装置3とを接続する。
図18は,第2の実施例の映像配信装置1Aの構成を示すブロック図である。映像配信装置1B及び1Cも同様の構成である。
映像配信装置1Aは,CPU11,メモリ12,インタフェース部17を備える。
CPU11は,OS及び各種アプリケーションプログラムを実行する。メモリ12は,CPU11によって実行される各種アプリケーションプログラムである,コンテンツカウンタ13,パケット生成処理プログラム14,同期エンコード処理プログラム15,同期配信処理プログラム16,更には時刻同期処理プログラム19を格納する。
時刻同期処理プログラム19は,他の映像配信装置と映像配信開始時刻を同期させるために,他の映像配信装置と配信時刻及びエンコードに関する時刻情報の交換を行う。具体的には,代表となる映像配信装置の時刻同期処理プログラム19が,映像の配信を開始する時刻と同期エンコード処理プログラム15がエンコードを開始する時刻,エンコードに使用するPCRの初期値及びPCRの出現間隔を決定し,他の映像配信装置の時刻同期処理プログラム19に指示を行う。
また,時刻同期処理プログラム19は,決定または指示されたPCRの初期値とPCRの出現間隔を同期エンコード処理プログラム15に指示する。同期エンコード処理プログラム15は,指示されたPCRの初期値とPCRの出現間隔をもとにエンコードすることで,映像配信装置が分散している場合でも,同期配信を行うすべてのコンテンツで,PCRの値と出現間隔が一致するようにエンコードすることができる。
その他の各プログラムによって実行される処理は,前述した第1の実施例と同じである。また,第2の実施例の映像配信装置1A,1B,1Cは,GPS(Global Positioning System),電波時計,NTP(Network Time Protocol)等により,時刻情報を共有していること前提とする。
図19は,第2の実施例の映像ストリームの同期補正処理のシーケンス図である。
映像受信装置3は,映像中継装置2に,複数視点映像の同期配信開始通知を送信する(ステップ501)。本通知には,同期して配信するコンテンツを特定する情報(コンテンツ名等)と,コンテンツをIPネットワークに配信する際に,ストリームを一意に特定する情報が含まれる。ストリームを一意に特定する情報とは,IPアドレスやポート番号等のことを示す。すなわち,映像ストリームがユニキャストで配信される場合は,映像受信装置3のIPアドレス,ポート番号を通知する。マルチキャストで配信される場合は,マルチキャストグループのアドレスを通知する。また,映像受信装置3からの通知には,コンテンツを特定する情報のみを通知し,映像中継装置2はコンテンツの情報を基に,上記アドレス情報へ変換を行っても良い。
映像中継装置2は,映像受信装置3から通知された情報を基に,同期補正を行うストリームのIDをストリーム管理テーブル25に登録する(ステップ503)。本実施例では,ストリームのIDとして,マルチキャストアドレスを用いる。また,映像受信装置3から通知された配信開始通知を映像配信装置1Aに転送する(ステップ502)。
映像配信装置1Aは,映像配信開始通知に含まれるコンテンツを特定する情報から,配信するコンテンツとコンテンツの位置を特定する(ステップ504)。映像受信装置3から指定されたコンテンツが他の映像配信装置に存在する場合は,他の映像配信装置がコンテンツカウンタ13を起動する時刻と,同期エンコード処理プログラム15がエンコードを開始する時刻,使用するPCRの初期値及びその出現間隔を決定する(ステップ511)。なお,映像受信装置3から指定されたコンテンツが,蓄積されたコンテンツであり,ビデオカメラ等で撮影した映像をリアルタイムにエンコードして配信するコンテンツでない場合は,エンコードを開始する時刻は通知しなくともよい。
ステップ511で決定したコンテンツカウンタの起動時刻,エンコード開始時刻,PCRの初期値及び出現間隔を時刻通知として映像配信装置1B,1Cへ通知する(ステップ512)。また,映像受信装置3がストリームを待ち受けるIPアドレスやポート番号も各映像配信装置1B,1Cに通知する。
時刻通知を受信した映像配信装置1B,1Cの時刻同期処理プログラム19は,通知された起動時刻をコンテンツカウンタ13に設定する。また,エンコード開始時刻,PCRの初期値及び出現間隔を同期エンコード処理プログラム15に設定する。
映像配信装置1A,1B,1Cは,ステップ511で決定したエンコード開始時刻から一斉にコンテンツのエンコードを開始する(ステップ513)。各配信装置の同期エンコード処理プログラム15は,同一のPCRの初期値とPCRの出現間隔を利用することで,配信装置が異なる場合でも,全コンテンツで,PCRの値と出現間隔が一致するようにエンコードすることができる。
また,映像配信装置1A,1B,1Cは,ステップ511で決定したコンテンツカウンタの起動時刻から,一斉にコンテンツカウンタ13を起動し(ステップ514),映像受信端末3から通知されたIPアドレスへストリームの同期配信を開始する。
各映像配信装置のパケット生成処理14及び,同期配信処理16は実施例1と同じである。さらに,映像中継装置2及び映像受信装置3の処理は実施例1と同じである。
以上説明したように,第2の実施例では,同期して配信するコンテンツが複数の映像配信装置に分散して蓄積またはリアルタイムエンコードされる場合においても,映像中継装置2で各ストリームの同期を補正し,映像受信装置3に配信することができる。
次に,第3の実施例について説明する。
第3の実施例では,映像中継装置に備わる機能を映像受信装置203に配置し,映像中継装置が設けられていない映像配信システムにおいても,複数のストリームの同期を補正することができる構成について説明する。
図20は,第3の実施例の映像配信システムの構成を示すシステム構成図である。
第3の実施例の映像配信システムは,映像配信装置1,映像受信装置203,ネットワークA4を備え,ネットワークA4には,直接、映像受信装置203が接続されている。
第3の実施例の映像受信装置203は同期補正処理機能を有し、メモリ32に図5に示したストリーム取得処理プログラム33と映像表示処理プログラム34に加え,実施例1の映像中継装置2が備えるコンテンツカウンタ23,バッファ24,ストリーム管理テーブル25,同期補正処理プログラム26とを備える。各プログラムによって実行される処理は,前述した実施例1と同じである。
第3の実施例の映像受信装置203は,同期配信開始通知を直接映像配信装置1に通知する。
同期配信開始通知受信した映像配信装置1の処理は,実施例1と同じである。映像配信装置1は,映像受信装置203に指定されたコンテンツの同期配信を開始する。
映像受信装置203は,ストリーム管理テーブル25に,ストリームのIDを設定し,映像配信装置1からのストリームを待ち受ける。
映像受信装置203は、IPネットワークの影響により,ストリーム間の同期が乱れたRTPパケットを受信し,実施例1の映像中継装置2と同様、バッファ24に蓄積する。コンテンツカウンタ23を起動し,同期補正処理プログラム26を実行して,ストリームの同期補正を行う。同期補正後のRTPパケットをストリーム取得処理プログラム33へ渡す。ストリーム取得処理プログラム33は,RTPパケットから映像データを取得し,映像表示処理プログラム34へ渡す。映像表示処理プログラム34は,取得した映像データを画面に表示する。
以上説明したように,第3の実施例では,実施例1、2では映像中継装置に備わった同期補正処理機能を映像受信装置203に配置したので,映像中継装置が設けられていない映像配信システムにおいても,複数のストリームの同期を補正することができる。
次に,第4の実施例について説明する。
図21は第4の実施例の映像配信システムの構成を示すシステム構成図である。
第4の実施例の映像配信システムは,映像配信装置1,映像中継装置2,映像受信装置3,ネットワークA4,及び,ネットワークC6を備える。ネットワークC6は優先制御が可能なルータ群で構成されており,IPヘッダのDSCPフィールド(TOSフィールド)やトラヒッククラスフィールドが設定されているIPパケットを優先的に転送することが可能である。
ネットワークA4は,映像配信装置1と,映像中継装置2とを接続する。ネットワークC6は,映像中継装置2と映像受信装置3とを接続する。
第4の実施例の映像受信装置3は,同期配信開始通知を映像中継装置2に通知する。同期配信開始通知受信した映像中継装置2の処理は,第1の実施例と同じ処理を行い,同期配信開始通知を映像配信装置1へ転送する。映像配信装置1は第1の実施例と同様に,複数ストリームを同期させた配信を開始する。
映像配信装置1から配信されたRTPパケットを受信した映像中継装置2は,同期補正処理プログラム26を実行する。映像中継装置2は,RTPパケットを受信するとバッファ24に蓄積する(ステップ1301)。受信したRTPパケットを解析し(ステップ1302),RTPパケットにPCRが含まれるか否かを検査する(ステップ1303)。
PCRが含まれない場合(ステップ1303で“NO”)は,ステップ1309を実行する。一方,PCRが含まれる場合(ステップ1303で“YES”)は,ステップ1304で取得したRTPパケットに該当するストリーム管理テーブル25を取得(ステップ1304)するとともに,受信したRTPパケットを含むIPヘッダのDSCPフィールドに最優先を示す値(例えば64)を設定する。ステップ1305以降の処理は第1の実施例と同様である。映像中継装置2から送信されたRTPパケットのうち,PCRを含むパケットは,優先制御な可能なネットワークC6で優先して転送される。優先制御が可能なネットワークC6では,IPヘッダのDSCPフィールドを参照し,値が高いIPパケットを他のIPパケットより優先して転送する。そのため,PCRを含むIPパケットのジッタ少なく保つことが可能である。
以上説明したように,第4の実施例では,映像中継装置2がPCRを含むIPパケットの優先度を,PCRを含まないIPパケットよりも高く設定することで,PCRを含むIPパケットを確実かつジッタを最小限にして映像受信端末3へ配信できる。
次に,第5の実施例について説明する。
図22は第5の実施例の映像配信システムの構成を示すシステム構成図である。
第5の実施例の映像配信システムは,映像配信装置1,映像中継装置2A,2B,2C,映像受信装置3A,3B,3C,ネットワークA4及びネットワークB5を備える。ネットワークA4は,映像配信装置1と複数の映像中継装置2A,2B,2Cを接続する。ネットワークB5は,映像中継装置2B,2Cと映像受信装置3A,3B,3Cとを接続する。
第5の実施例では,映像配信装置1から複数のストリームをマルチキャストで配信することを前提とする。すべての映像受信装置3A,3B,3Cに共通のストリームを配信するため,映像受信装置からの映像配信開始通知501を契機に行われるテーブル設定503及びコンテンツの特定504は事前に設定されているものとする。ユニキャストで配信する場合は,映像中継装置2Aが接続する映像中継装置2B,2Cへ,パケットを複製して配信する。
映像配信装置1は第1の実施例と同様に複数のストリームを同期させて配信する。また,映像配信装置1から配信されたRTPパケットを受信した映像中継装置2Aは,第1の実施例同様にRTPパケットの転送タイミングを補正して,他の映像中継装置(2B,2C)へ転送する。映像中継装置2Aから配信されたRTPパケットを受信した映像中継装置2B,2Cは映像中継装置2Aと同様にRTPパケットの転送タイミングを補正して映像受信端末3A,3B,3Cへ転送する。
以上説明したように,第5の実施例では,映像中継装置2をネットワーク上に複数配置し,頻繁に配信タイミングの補正を行うため,ネットワーク的に近接した映像受信端末間での再生タイミングのずれを少なく抑えることができる。
本発明は,映像ストリームを配信する映像配信システム,特に,複数の映像ストリームの配信間隔を調整する技術として有用である。
1,1A,1B,1C…映像配信装置
2、2A,2B,2C…映像中継装置
3、3A,3B,3C…映像受信装置
11,21,31…CPU
12,22,32…メモリ
13,23…コンテンツカウンタ
14…パケット生成処理プログラム
15…同期エンコード処理プログラム
16…同期配信処理プログラム
17,27,28,35…インタフェース
18,29,36…バス
24…バッファ
25…ストリーム管理テーブル
26…同期補正処理プログラム
33…ストリーム取得処理プログラム
34…映像表示処理プログラム
121…パーソナライズストリーム制御プログラム。

Claims (15)

  1. 1つ以上の映像ストリームを同時に送信する映像配信装置と,前記映像配信装置から送信された前記映像ストリームを映像受信装置に転送する映像中継装置を備える映像配信システムであって,
    前記映像配信装置は,映像の時刻情報を基に,前記映像ストリームを送信する送信時刻を決定し,決定した前記送信時刻を前記映像ストリームに付加し,前記映像ストリームで共通に利用する共通時刻情報を用いて前記映像ストリームを前記映像中継装置に送信し,
    前記映像中継装置は,受信した前記映像ストリームに付加された前記送信時刻を基に,前記映像ストリームで共通に利用する共通時刻情報を用いて,前記映像ストリームを前記映像受信装置に転送する、
    ことを特徴とする映像配信システム。
  2. 請求項1に記載の映像配信システムであって、
    前記映像配信装置は,同一の前記映像の時刻情報を含む複数の前記映像ストリームを同時刻に配信する、
    ことを特徴とする映像配信システム。
  3. 請求項1に記載の映像配信システムであって、
    前記映像はMPEG2(Moving Picture Experts Group 2)のトランスポートストリームであり、前記映像の時刻情報は前記トランスポートストリームに含まれるPCR(Program Clock Reference)である、
    ことを特徴とする映像配信システム。
  4. 請求項1に記載の映像配信システムであって、
    前記映像中継装置は記憶部を有し、
    前記映像の時刻情報を含む前記映像ストリームと、前記映像ストリームに付加された前記送信時刻とを前記記憶部に記録し,
    他の前記映像ストリームに付加された前記送信時刻から,前記映像の時刻情報を含む前記映像ストリームが廃棄されたことを検出する、
    ことを特徴とする映像配信システム。
  5. 請求項1に記載の映像配信システムであって、
    前記映像ストリームはRTP(Real−time Transport Protocol)パケットからなり、
    前記映像中継装置は記憶部を有し,
    前記映像の時刻情報を含む前記映像ストリームと前記映像ストリームに付加された送信時刻とを前記記憶部に記録し,他の前記映像ストリームに付加された前記送信時刻から,前記映像の時刻情報を含む前記RTPパケットが廃棄されたことを検出した場合,他の前記映像ストリームに含まれる前記映像の時刻情報から,前記廃棄された前記映像の時刻情報を含むRTPパケットを生成して転送する、
    ことを特徴とする映像配信システム。
  6. 請求項5に記載の映像配信システムであって、
    前記映像中継装置は、生成した前記RTPパケットを,同一の前記映像の時刻情報を含む他の前記映像ストリームの前記RTPパケットと同時刻に転送する、
    ことを特徴とする映像配信システム。
  7. 処理部と記憶部とを有し、時刻情報を含む複数の映像の映像ストリームを配信する映像配信装置であって,
    前記処理部は、前記映像の時刻情報を基に、前記映像ストリームを送信する送信時刻を決定し,決定した前記送信時刻を前記映像ストリームに付加し,配信する複数の前記映像ストリームで共通で使用する共通時刻情報を用いて,複数の前記映像ストリームを配信するよう制御する、
    ことを特徴とする映像配信装置。
  8. 請求項7に記載の映像配信装置であって、
    前記処理部は、同一の前記映像の時刻情報を含む前記映像ストリームを同時刻に配信するよう制御する、
    ことを特徴とする映像配信装置。
  9. 請求項8に記載の映像配信装置であって、
    前記映像はMPEG2のトランスポートストリームであり、
    前記処理部は、前記映像の時刻情報として前記トランスポートストリームのPCRを用いる、
    ことを特徴とする映像配信装置。
  10. 受信部と処理部と記憶部とを備え、時刻情報を含む複数の映像の映像ストリームを配信する映像配信装置から送信された映像ストリームの同期補正を行う同期補正処理装置であって,
    前記受信部は、前記映像配信装置から、前記映像の時刻情報を基に決定された送信時刻が付加され、複数の前記映像ストリームに共通の共通時刻情報を用いて送信された、複数の前記映像ストリームを受信し,
    前記処理部は、複数の前記映像ストリームに共通して利用する共通時刻情報を利用して,前記受信部で受信した、複数の前記映像ストリームに付加された前記送信時刻に基づき,複数の前記映像ストリームの同期補正を行う、
    ことを特徴とする同期補正処理装置。
  11. 請求項10に記載の同期補正処理装置であって、
    前記映像はMPEG2のトランスポートストリームであり、前記映像の時刻情報は前記トランスポートストリームに含まれるPCRである、
    ことを特徴とする同期補正処理装置。
  12. 請求項10に記載の同期補正処理装置であって,
    前記記憶部は、前記映像ストリームと,前記映像ストリームに付加された前記送信時刻とを記憶し,
    前記処理部は、他の映像ストリームに付加された前記送信時刻から,前記映像の時刻情報を含む映像ストリームが廃棄されたことを検出する、
    ことを特徴とする同期補正処理装置。
  13. 請求項12に記載の同期補正処理装置であって,
    前記映像ストリームはRTPパケットであり、
    前記処理部は、
    他の映像ストリームに付加された前記送信時刻から,映像の時刻情報を含むRTPパケットが廃棄されたことを検出した場合,前記他の映像ストリームに含まれる前記映像の時刻情報から,廃棄された前記映像の時刻情報を含むRTPパケットを生成する、
    ことを特徴とする同期補正処理装置。
  14. 請求項13に記載の同期補正処理装置であって、
    前記同期補正処理装置は、前記映像を映像受信装置に転送する映像中継装置であり、
    前記処理部は、
    新たに生成された前記RTPパケットを,同一の前記映像の時刻情報を含む,前記他の映像ストリームの前記RTPパケットと同時刻に転送するよう制御する、
    ことを特徴とする同期補正処理装置。
  15. 請求項10に記載の同期補正処理装置であって、
    前記同期補正処理装置は前記映像を受信する映像受信装置であり、
    前記映像受信装置は、同期補正後の複数の前記映像ストリームから複数の前記映像を再生して表示する、
    ことを特徴とする同期補正処理装置。
JP2009011869A 2009-01-22 2009-01-22 映像配信システム,映像配信装置,及び同期補正処理装置 Expired - Fee Related JP5086285B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009011869A JP5086285B2 (ja) 2009-01-22 2009-01-22 映像配信システム,映像配信装置,及び同期補正処理装置
US12/689,291 US8345668B2 (en) 2009-01-22 2010-01-19 Video delivering system, video delivering device, and synchronization correcting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009011869A JP5086285B2 (ja) 2009-01-22 2009-01-22 映像配信システム,映像配信装置,及び同期補正処理装置

Publications (2)

Publication Number Publication Date
JP2010171697A true JP2010171697A (ja) 2010-08-05
JP5086285B2 JP5086285B2 (ja) 2012-11-28

Family

ID=42336914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009011869A Expired - Fee Related JP5086285B2 (ja) 2009-01-22 2009-01-22 映像配信システム,映像配信装置,及び同期補正処理装置

Country Status (2)

Country Link
US (1) US8345668B2 (ja)
JP (1) JP5086285B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
JP2012191623A (ja) * 2011-03-11 2012-10-04 Thomson Licensing 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
WO2013042999A1 (ko) * 2011-09-23 2013-03-28 한국전자통신연구원 Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법
JP2013247561A (ja) * 2012-05-28 2013-12-09 Idk Corp データ中継装置、データ中継方法、データ伝送システムおよびプログラム
JP2017512001A (ja) * 2014-04-18 2017-04-27 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
WO2019156155A1 (ja) * 2018-02-09 2019-08-15 日本電信電話株式会社 パケット処理システム及び方法
JP2020108054A (ja) * 2018-12-28 2020-07-09 株式会社東芝 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5874178B2 (ja) * 2010-04-09 2016-03-02 ソニー株式会社 カメラシステム、カメラ装置、カメラ制御装置、および中継装置
WO2012175228A1 (en) * 2011-06-23 2012-12-27 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatus for advertising endpoint device capabilities for sending/receiving simultaneous media streams
CN109068155B (zh) * 2011-09-23 2021-01-26 韩国电子通信研究院 传送媒体数据的设备以及接收媒体数据的设备
US9691356B2 (en) 2011-12-02 2017-06-27 Hewlett-Packard Development Company, L.P. Displaying portions of a video image at a display matrix
JP5522154B2 (ja) * 2011-12-07 2014-06-18 株式会社デンソー 中継システム及び、当該中継システムを構成する中継装置、通信装置
CN102665141B (zh) * 2012-05-16 2014-04-09 哈尔滨工业大学深圳研究生院 一种基于rtp封装的avs音视频预同步方法
WO2014010830A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
JP6382029B2 (ja) * 2013-09-20 2018-08-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置、及び受信装置
WO2015040817A1 (ja) * 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、及び受信装置
US10320676B2 (en) * 2014-02-28 2019-06-11 Cisco Technology, Inc. Smarter policy decisions based on metadata in data flows
US10951923B2 (en) * 2018-08-21 2021-03-16 At&T Intellectual Property I, L.P. Method and apparatus for provisioning secondary content based on primary content
US11863457B2 (en) 2020-12-10 2024-01-02 Microsoft Technology Licensing, Llc Time-sensitive data delivery in distributed computing systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320413A (ja) * 2000-05-02 2001-11-16 Sony Corp データ送信装置及び方法
JP2007300498A (ja) * 2006-05-01 2007-11-15 Matsushita Electric Ind Co Ltd 中継装置及び中継方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197048A (ja) 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd マルチストリーム再生装置
US7957307B2 (en) * 2007-03-14 2011-06-07 Microsoft Corporation Reducing effects of packet loss in video transmissions
US8151305B2 (en) * 2007-07-05 2012-04-03 Coherent Logix, Incorporated Mobile television broadcast system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320413A (ja) * 2000-05-02 2001-11-16 Sony Corp データ送信装置及び方法
JP2007300498A (ja) * 2006-05-01 2007-11-15 Matsushita Electric Ind Co Ltd 中継装置及び中継方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
US10063938B2 (en) 2011-03-11 2018-08-28 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP2012191623A (ja) * 2011-03-11 2012-10-04 Thomson Licensing 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
WO2013042999A1 (ko) * 2011-09-23 2013-03-28 한국전자통신연구원 Mmt 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법
JP2013247561A (ja) * 2012-05-28 2013-12-09 Idk Corp データ中継装置、データ中継方法、データ伝送システムおよびプログラム
US10897636B2 (en) 2014-04-18 2021-01-19 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
JP2017512001A (ja) * 2014-04-18 2017-04-27 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US11272231B2 (en) 2014-04-18 2022-03-08 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
US11706467B2 (en) 2014-04-18 2023-07-18 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
WO2019156155A1 (ja) * 2018-02-09 2019-08-15 日本電信電話株式会社 パケット処理システム及び方法
JP2019140520A (ja) * 2018-02-09 2019-08-22 日本電信電話株式会社 パケット処理システム及び方法
JP2020108054A (ja) * 2018-12-28 2020-07-09 株式会社東芝 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置
JP7210272B2 (ja) 2018-12-28 2023-01-23 株式会社東芝 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置
JP7447319B2 (ja) 2018-12-28 2024-03-11 株式会社東芝 多重化装置および多重化方法

Also Published As

Publication number Publication date
JP5086285B2 (ja) 2012-11-28
US20100183000A1 (en) 2010-07-22
US8345668B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
JP5086285B2 (ja) 映像配信システム,映像配信装置,及び同期補正処理装置
JP6807852B2 (ja) Lctに基づくdashフォーマットを有するファイルフォーマットベースのストリーミング
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
US11375258B2 (en) Transitioning between broadcast and unicast streams
US7668914B2 (en) Milestone synchronization in broadcast multimedia streams
EP2328349B1 (en) Information processing system and information processing device
US10305617B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN108293145A (zh) 视频分发同步
JP2009100411A (ja) 映像配信システム、映像中継装置、及び映像中継方法
JP5767638B2 (ja) MPEG(MovingPicturesExpertGroup)トランスポートストリーム(MPEG−TS)のチャンネル選局を行う装置及び方法
US9635082B2 (en) Method of saving content to a file on a server and corresponding device
EP2479984A1 (en) Device and method for synchronizing content received from different sources
CN100544448C (zh) 一种移动多媒体网络的时钟同步系统
CN113169969A (zh) 多播到单播转换
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP5159973B1 (ja) 伝送パケットの配信方法
KR102271686B1 (ko) 이종 네트워크 기반의 멀티미디어 자원 동기화 푸시 방법
JP2008016894A (ja) 送信装置及び受信装置
KR20160042426A (ko) 멀티미디어 플레이어에 의한, mbms 서비스에 의해서 전송된 멀티미디어 콘텐츠 아이템의 프로세싱 동안의 동기화 방법
CN102740131A (zh) 基于实时传输协议的网络电视直播方法及系统
JP5667059B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2010183237A (ja) コンテンツ同期再生システム、コンテンツ同期再生方法、再生端末、再生端末の制御方法、及び制御プログラム
JP2015216654A (ja) MPEG(MovingPicturesExpertGroup)トランスポートストリーム(MPEG−TS)のチャンネル選局を行う装置及び方法
JP2009111917A (ja) 情報端末装置
JP2008016905A (ja) コンテンツ送信装置、コンテンツ受信装置及びコンテンツ配信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees