JP6053686B2 - マルチメディアフローを同期させるための方法および対応する装置 - Google Patents

Description

本発明は、種々のマルチメディアソースから生じ、種々のトランスポート・プロトコルを介して送信され、表示装置上で復元されたマルチメディアフローを処理することに関する。

テレビ放送では、オーディオおよびビデオフローは従来、共に放送されてきた。これらは一般的に、マルチメディアコンテンツの一つの提供主体など、単一のマルチメディアソースにより提供され、所定のトランスポートネットワークを介して、単一のトランスポート・プロトコルにより伝送され、これらのフローを読み込み、スクリーンにビデオデータを表示し、オーディオデータをラウドスピーカーで放送することを担当するデコーダ、テレビ等、単一のエンドユーザデバイスに配信される。

インターネットネットワークおよびモバイル通信ネットワークの急速な発展により、ソースおよび／またはトランスポート・プロトコルは、オーディオフローおよびビデオフローに関して種々なものがあってもよい、新たなマルチメディア・アプリケーションが出現した。参照するオーディオ・ビデオコンテンツのソースおよびトランスポート・プロトコルとは、ソースおよびトランスポート・プロトコルが異なる場合がある対話型アプリケーションも出現した。これらのアプリケーションは、ブロードバンド・ネットワークを介して同様に伝送されてもよい。

これらの新たなアプリケーションに関しては、オーディオフローの表示は、ビデオフローの表示と同期し、あるいは対話型アプリケーションは、オーディオ・ビデオフローと同期して表示されることを確実にすることが必要である。

新しいマルチメディア・アプリケーションの一例は、ビデオフローのソースとは異なるソースによるオーディオフローの生成であり、このオーディオフローはそれ自体が、ビデオフローと共に提供される基本的なオーディオフローに代わるものとして意図されている。例えば、テレビでフットボールの試合を放送する場合、試合の放送者ではない他のマルチメディア供給者により配信される、基本的なオーディオフローの言語とは異なる言語によるサンプル・コメントを含むオーディオフローは、試合のビデオフローが提供されている基本的なオーディオフローに代わることが可能である。オーディオフローがビデオフローと同期できるためには、これらのフローは、共通または同等のタイミング参照を含む必要がある。一般原則として、トランスポート・プロトコルは、表示装置にこれらの参照またはタイムスタンプを提供することにより、２つのフローの表示を調整し、同期させる。

タイムスタンプは一般的に、このタイムスタンプが関連付けられるイベントが生じる期間を表示するカウンタ値である。カウンタのクロック周波数は、表示装置の既知値であることが必要であり、これによりフロー表示を適切に調整する。このクロック周波数が表示装置に与えられる手法は、トランスポート層の規格（ＭＰＥＧ−ＴＳ，ＲＴＰ等）に記載されている。

表示装置が２つのフローを同期できるように、後者は一般に、「ウォールクロック」と呼ばれる共通クロックを通常参照する。例えば、ＲＦＣ３５５０によるＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）で規定されるＲＴＰプロトコル（リアルタイム転送プロトコル）の場合、送信手段は、タイムスタンプと、共通のクロックにより与えられる時間の間の等価性を示す、ＲＴＣＰ（リアルタイム転送コントロール・プロトコル）送信レポートと呼ばれるメッセージを周期的に送信する。オーディオおよびビデオフローが種々のソースより提供されると、これら２つのソースは、同一の共通クロックを共有する必要がある。ＮＴＰプロトコル（ネットワーク・タイム・プロトコル）は、同一のクロック上で２つのソースを同期させるのに通常、使用される。

しかし、伝送時間を考慮すると、２つのソースが十分に信頼性のあるネットワークにより接続できない場合は、他の同期機構が必要となる。

この同期化の問題は、単一の表示装置に表示される２つのビデオフローの間にも存在する場合があり、２つのフローが、同一のソースまたは同一のトランスポート・プロトコルによっては提供されないとき、ビデオコンテンツの一つは、他の一つの中でピクチャ・イン・ピクチャにより表示される。ピクチャ・イン・ピクチャ機能は、この一例である。他の例は、２Ｄから３Ｄへの遷移の事例に関し、ここでは２Ｄビデオ（映像）は、ブロードキャスト・フローにおいて受信され、３Ｄ表示を可能にする３Ｄ補完はブロードバンド・フローにおいて受信される。

本発明は、フローが種々の時間ベースを有するネットワークを介して配信される場合に、同期問題を解決できる、という目的に関する。

この目的のために、本発明の目的は、第１のネットワークに対するインターフェース、および第２のネットワークに対するインターフェースを備える前記デバイスにおいて、マルチメディア・データフローを処理する方法であり、前記方法は、第１のネットワークから、第１のデータ同期システムに適合した第１のトランスポート・プロトコルを介して、マルチメディア・データを有する第１のフローを受信するステップと、第２のネットワークから、第２のデータ同期システムに適合した第２のトランスポート・プロトコルを介して、マルチメディア・データを有する第２のフローを受信するステップを含み、前記第２の同期システムは、前記第１のデータ同期システムのタイミング参照とは異なるタイミング参照に基づいており、前記第１および第２のフローは、第１および第２のトランスポート・プロトコルのデータフィールドにある同一の同期情報を伝送し、前記同期情報は、前記マルチメディア・データが表示されるべき時点を表示するデータを有し、前記方法は更に、前記同期情報を利用して、前記第１および第２のフローを同期させるステップと、前記第１および第２のマルチメディアフローを表示するステップを実行するステップを含んでいる。

本発明は、各トランスポート・プロトコルにより使用される利点を補完して、独立した同期システムを提案するという利点を有する。

一つの実施形態によると、前記トランスポート・プロトコルは、ＭＰＥＧ−２
ＴＳおよび／またはＲＴＰタイプである。

一つの実施形態によると、同期情報は、（複数の）トランスポート・プロトコルの一つのタイミング参照に基づく。

一つの実施形態によると、同期ステップは、コンテンツを同期的に表示できるまで、メモリにより事前に受信されたコンテンツを遅延させるステップを含んでいる。

一つの実施形態によると、第１のフローは、同報モードで第１のネットワークで受信され、第１のネットワークで受信される第１のマルチメディア・データがいつ表示されるべきかを表示するカウントダウン情報を有しており、第２のフローの第２のマルチメディア・データは、第２のネットワーク上の前記受信装置のリクエストにより、事前に十分にプリロードされ、これが受信される際に、受信装置が、第１のマルチメディア・データと同期的にこれを表示することを可能にする。

本発明の他の目的は、受信装置に関し、当該受信装置は、第１のデータ同期システムに適合した第１のトランスポート・プロトコルを介して、マルチメディア・データを有する第１のフローが受信されることを可能にする第１のネットワークに対するインターフェースと、第２のデータ同期システムに適合した第２のトランスポート・プロトコルを介して、マルチメディア・データを有する第２のフローが受信されることを可能にする第２のネットワークに対するインターフェースを備え、前記第２の同期システムは、前記第１のデータ同期システムのタイミング参照とは異なるタイミング参照に基づいており、前記受信装置は更に、前記第１および第２のフローにおいて伝送され、前記マルチメディア・データがいつ表示されるべきかを表示するデータを有する同期情報を利用して、前記第１および第２のフローを同期させる同期装置と、前記第１および第２のマルチメディアフローは同期的に送信されることを可能にする第３のインターフェースを備えている。

本発明は、本発明による方法のステップを実行するプログラムコードの命令を有する、コンピュータプログラム・プロダクトにも適用され、このとき本プログラムは、コンピュータ上で実行される。「コンピュータプログラム・プロダクト」は、内部記憶装置等、プログラムを収容する記憶領域のみならず、電気信号または光信号等の信号にも存在していてもよいコンピュータプログラム媒体を意味するものと理解される。

本発明は、以下の添付図面を参照して、以下の実施形態および実装を介してより良く理解され、記述されるが、決してこれにより限定されるものではない。
本発明の実施形態にかかるコンテンツ配信システムを示す。 本発明の実施形態にかかるコンテンツ配信ブロック図を示す。 本発明の他の実施形態にかかるコンテンツ配信ブロック図を示す。 本発明の実施形態にかかるデコーダを示す。

図１および図４においては、図示されたモジュールは、物理的に区別可能なユニットに対応していてもよく、対応していなくてもよい機能ユニットである。例えば、これらのモジュール、あるいはそのいくつかは共に、単一のコンポーネントにグループ化されてもよく、あるいは同一のソフトウエアの機能を構成してもよい。それどころか、いくつかのモジュールは、別個の物理エンティティから構成されていてもよい。

（複数の）実施形態は、２つの通信ネットワークを介して、２つの異なるデータトランスポート・プロトコル、すなわちＲＴＰおよびＭＰＥＧ−２ ＴＳにより、コンテンツ配信のフレームワーク内に配置されているが、本発明はこの特定の環境に限定されず、他のデータコンテンツ配信システム内でも適用可能である。

本発明の実施形態によるコンテンツ配信システムは、図１に記述されている。これはオーディオ・ビデオサーバタイプのサーバ１を備えている。サーバは、ブロードキャスト・ネットワーク７として表示されたブロードキャスト・ネットワークを介して、オーディオ・ビデオコンテンツを送信する。ブロードキャスト・ネットワークは、ＤＶＢ−Ｔタイプであり、ＭＰＥＧ−２ ＴＳとして表示され、ＩＳＯ規格ＩＳＯ／ＩＥＣ１３８１８−１規格（「情報技術―動画および関連するオーディオ情報の共通符号化−システム」）に規定され、ＩＳＯ−ＩＥＣ１３８１８−１として表示されるＭＰＥＧ−２トランスポートストリーム・トランスポートプロトコルに従い、オーディオ・ビデオデータを伝送する。ブロードキャスト・ネットワークは、この場合、一方向タイプであるが、本発明はブロードキャスト・ネットワークのいずれのタイプにも当然に適用され、ＭＰＥＧ−２ ＴＳトランスポート・プロトコルには限定されない。

オーディオ・ビデオコンテンツは、ＳＴＢ（セットトップボックス）として表示されるビデオデコーダ４により受信される。ＳＴＢは、オーディオ・ビデオコンテンツを復号化し、復号化されたコンテンツをテレビセット、ＴＶ５に送信する。

ＭＰＥＧ−２ ＴＳプロトコルによると、タイミング参照は、デコーダに送信される。トランスポートストリームは、サーバに収納されるシステムタイムクロック（ＳＴＣ）のサンプルである、プログラムクロック参照（ＰＣＲとも表示される）のパケット備えている。これらは、デコーダ内のクロックシステムを同期させるのに使用される。所定のサービスのエレメンタリ・ストリームは、パケット内を伝送されるデータが表示されるべき時間帯を表す、プレゼンテーション・タイムスタンプ（ＰＴＳとも表示される）を収納するパケットを収納している。

同一のサーバには、ブロードバンド配信ネットワークまたはブロードバンド・ネットワーク２を介して、ＳＴＢによりアクセス可能である。特に、ブロードバンド・ネットワークは、ＨＧ３として表示されるホームゲートウエイを介して、ＳＴＢにアクセス可能なインターネットネットワーク２を使用している。このネットワークは双方向タイプであり、ゲートウエイがサーバ、そしてより一般的には、インターネットネットワークを介してアクセス可能ないずれのタイプのサーバともデータを送受信することを可能にしている。

実施形態によると、サーバは、放送オーディオ・ビデオコンテンツを補完して、第２のオーディオフローをＳＴＢにアクセス可能とする。この第２のオーディオフローは、ＲＴＰ／ＲＴＣＰトランスポート・プロトコルを介してＳＴＢにより受信可能である。そして受信された時点でオーディオフローは復号され、テレビセットに送信される。ＲＴＣＰプロトコルは、ＮＴＰプロトコル（ネットワーク・タイム・プロトコル）により、プレゼンテーション・タイムスタンプと、共通クロックにより与えられる時間の間の等価性をデコーダに示す。

本発明の実施形態によると、オーディオ・ビデオフローおよび第２のオーディオフローは、異なるトランスポート・プロトコルを利用して、２つの異なるネットワークにより送信されるが、これらはテレビセットで同期的に再生される。実際上、同期情報の項目は、補助データパケットの形式でサーバにより送信される。この情報により、ＳＴＢは、オーディオ・ビデオフロー表示時間を第２のオーディオ（音声）の表示時間に同期させることが可能となる。実際上は、オーディオ・ビデオフローのビデオ（映像）部分のみが表示され、第２のオーディオ（音声）は同期的に表示される。

図２は、同報モードのＭＰＥＧ―２ ＴＳプロトコルおよびブロードバンドモードのＲＴＰ／ＲＴＣＰプロトコルによるデータトランスポートを記述している。同報モードでは、ビデオフレームＶ０〜Ｖ３は、対応するプレゼンテーション・タイムスタンプパケットＰＴＳｖ０〜ＰＴＳｖ３と共に送信される。ブロードバンドモードでは、オーディオフレームＡ０〜Ａ２は、対応するプレゼンテーション・タイムスタンプパケットＴＳＡ０〜ＴＳＡ２と共に伝送される。

実施形態によると、補助データパケットＴ０〜Ｔ２は、ビデオおよびオーディオフローと関連付けられ、これらが関連付けられるフローと同一のトランスポート・プロトコルを利用して、２つのネットワークを介して送信される。各ネットワーク上では、補助データパケットおよびマルチメディアフローは、トランスポート・プロトコルに特有の同期プロトコルにより同期される。補助データパケットは、時間的同期データを伝送する。このデータは、時系列にまとめることができ、現在のイベントの開始等、所定時点からのカウンタ値を表す。ブロードキャスト・ネットワークを介して送信されるビデオフレーム、および同時に表示される必要があるブロードバンド・ネットワークを介して送信されるオーディオフレームは、同一のタイムライン値を参照する。

２つのネットワークを介して伝送される同期データは、同一のフォーマットを使用する。このフォーマットは、トランスポート・プロトコルにより使用されるタイミング参照のフォーマットと異なっていてもよい。

これらにより、受信手段は、ＰＣＲクロック参照（ＰＣＲ）をＮＴＰクロック参照にマッチさせることができる。換言すれば、これにより、コンテンツ・プレゼンテーション間の時間を測定することができる。

このようにデコーダは、ビデオ（映像）に関してオーディオ・プレゼンテーションを調整できる。特に、ビデオ（映像）が事前に受信されると、十分に長時間記憶され、同期的に音声を表示することが可能になる。より詳細には、受信手段は、事前に受信されたデータを記憶し、遅れて受信されたデータと同期的にこれを提示する。

しかし、ＭＰＥＧ−２ ＴＳのフレームワークの範囲内では、時点モデルは、データ表示を遅延させないようにしている。より詳細には、データ符号化とデータ提示の間の時間は、依然として一定であることが必要である。よって、これにより当該実施形態の場合のビデオデータの表示は遅延することは認められなくなる。

それ故に、第２の実施形態では、デコーダは、到来するコンテンツが再生される場合、事前にデコーダに表示する情報を受信する。これは、タイムラインの開始を表示するカウントダウン情報である。より詳細には、図３に記述されるように、コンテンツが補助データＴ０に示される時間に対応する時間に表示を開始する必要がある場合、情報Ｔ_−３、Ｔ_−２、Ｔ_−１の項目がこの時間Ｔ０が開始する際に、表示する受信手段により事前に受信される。これにより、時間Ｔ０で表示されるビデオ（映像）に対応しているオーディオデータを、先読みモードと呼ばれるモードで受信手段が事前に復元することが可能になる。この情報は、ブロードキャストタイプのネットワークを介して受信され、端末がブロードバンド・コンポーネントを事前にプリロードできるようにすることを目的としている。これにより、事前にデータを受信するためのリクエストをデコーダが発行できる。

実施形態にかかるＳＴＢは、図４に記述されている。これは、ブロードバンド配信ネットワーク７に対するインターフェース４４、ブロードバンド・ネットワーク６に対するインターフェース４３、テレビセット５に対するインターフェース４７を備えている。これは、オーディオ・ビデオデコーダ４５を備えている。これは更に、上記に示したものにより、コンテンツ表示を同期させることができる同期装置４６を備えている。より詳細には、同期装置は、オーディオ・ビデオフローと関連付けられた補助データを特定する。これは、２つのフローの表示の間の時間をかかる手法で測定する。時間価値に従い、同期装置は、表示が同期されるように、（複数の）コンテンツの一つを記憶する（４２）。（複数の）コンテンツは、この手法で復号され、同期され、テレビインターフェース４７を介してテレビセットに配信される。ＳＴＢは、復号等の種々のアプリケーションを実装することを可能にするプロセッサ４１または同期装置を当然に備えている。同期されたコンテンツは、これらのコンテンツが再生されることを可能にするいずれのタイプのデバイスに送信されてもよい。

補助データのパケットを、ＭＰＥＧー２ ＴＳおよびＲＴＰについてここで詳細に記述する。フィールドは、表示された規格に関して読み込みを容易にするために、英語で表示されている。

ＭＰＥＧー２ ＴＳに関して、ＴＳ１０２８２３として表記された規格「デジタル・ビデオ・ブロードキャスティング（ＤＶＢ）を介したＥＴＳＩ ＴＳ １０２ ８２３ ｖ１．１．１（２００５−１１）；ＤＶＢトランスポートストリームにおける同期された補助データの搬送の規格」は、ＤＶＢタイプのトランスポートストリームにおいて、オーディオまたはビデオデータ等いわゆるリニアデータと同期される必要がある補助データを搬送するのに使用される方法を記載している。これは、複数のフォーマットによる補助データ構造のペイロードフィールドを符号化する可能性を提供する。特に使用される複数のフォーマットは、ＴＳ１０２８２３のセクション５．２．２および５．２．４に表示されたものである。これらは、ブロードキャスト・タイムライン記述子およびコンテンツ・ラベリング記述子である。ブロードキャスト・タイムライン記述子は、フローと同一速度で増加する特有のタイムラインを備えたリニアコンテンツエレメントである。これは、タイムラインの値を表示するのに使用される。コンテンツ・ラベリング記述子は、識別子形式のラベルをコンテンツエレメントと関連付ける手段である。

すなわち、補助データのパケットは、以下のデータ、すなわち、トランスポート・ストリーム・パケット・ヘッダ情報、エレメンタリー・ストリーム・パケット・ヘッダ情報、補助データ構造を含む。後者は、ブロードキャスト・タイムライン記述子およびコンテンツ・ラベリング記述子を備えている。

トランスポート・パケットのフォーマットは、例えば、ＩＳＯ／ＩＥＣ規格１３８１８―１のセクショ２．４．３．２に定義されているものである。補助データパケットは、アダプテーション・フィールドを備えていない。ＰＣＲは、別個のコンポーネント、または同一番組のオーディオまたはビデオコンポーネントのアダプテーション・フィールドで伝送される。トランスポート・パケットのフィールドおよび値は、以下の表に表示されている。

エレメンタリー・ストリーム・パケットのフォーマットは、例えば、ＩＳＯ／ＩＥＣ規格１３８１８−１のセクション２．４．３．６に定義されているものである。フィールドおよび値は、以下の表に表示されている。

補助データ構造のフォーマットは、例えば、ＴＳ１０２８２３規格のセクション４．５に定義されているものである。フィールドおよび値は、以下の表に表示されている。

ペイロードフィールドは、ＴＳ１０２８２３規格のセクション５で定義される記述子の一つであることを示すために、Ｐａｙｌｏａｄ＿ｆｏｒｍａｔフィールドの値は、０×１であり、より詳細には、これはブロードキャスト・タイムライン記述子を伴う。

ブロードキャスト・タイムライン記述子は、ＴＳ１０２８２３規格のセクション５．２．２で定義される。実施形態によると、ブロードキャスト・タイムラインは直接型であり、これは線形であり、ディスコンティニュイティ（不連続）を前提としない。稼働状態フィールドの値は、「稼働中」である。 ｔｉｃｋフォーマットは、毎秒９０，０００ティックである。フィールドおよび値は、以下の表に表示されている。

第２の実施形態に関して、ブロードキャスト・タイムライン記述子は、以下の点で異なる。稼働中状態フィールドの値は、「カウントダウン」である。これはプライベート値であり、規格では定義されない。ブロードキャスト・タイムライン情報フィールドの値は、ティック数でプリフェッチ期間を表すために、「Ｐｒｅｆｅｔｃｈ＿ｐｅｒｉｏｄ＿ｄｕｒａｔｉｏｎ＿ｔｉｃｋ」である。ａｂｓｏｌｕｔｅ＿ｔｉｃｋｓフィールドは、カウントアドバンスを表す。このフィールドの値と、Ｐｒｅｆｅｔｃｈ＿ｐｅｒｉｏｄ＿ｄｕｒａｔｉｏｎ＿ｔｉｃｋｓの組み合わせにより、コンテンツが再生される時間帯を表すことができる。これにより、ゼロに等しい値は、Ｐｒｅｆｅｔｃｈ＿ｐｅｒｉｏｄ＿ｄｕｒａｔｉｏｎ＿ｔｉｃｋｓのティックでコンテンツが再生されるであろうことを意味する。Ｐｒｅｆｅｔｃｈ＿ｐｅｒｉｏｄ＿ｄｕｒａｔｉｏｎ＿ｔｉｃｋｓの値は、コンテンツの再生が開始されることを意味する。フィールドおよび値は、以下の表に表示されている。

コンテンツ・ラベリング記述子のフォーマットは、例えば、ＴＳ１０２８２３規格のセクション５．２．４に定義されてものである。フィールドおよび値は、以下の表に表示されている。

ｃｏｔｅｎ＿ｒｅｆｅｒｅｎｃｅ＿ｉｄ＿ｄａｔａを以下の表に定義する。

ｃｏｎｔｅｎｔ＿ｌａｂｅｌｉｎｇ＿ｉｄ＿ｔｙｐｅフィールドは、識別子のタイプを規定する。値は以下の表に表示されている。

ｃｏｎｔｅｎｔ＿ｌａｂｅｌｉｎｇ＿ｉｄ＿ｌｅｎｇｔｈフィールドは、ｃｏｎｔｅｎｔ＿ｌａｂｅｌｉｎｇ＿ｉｄフィールドの長さを示している。ｃｏｎｔｅｎｔ＿ｌａｂｅｌｉｎｇ＿ｉｄ＿ｂｙｔｅフィールドは、コンテンツを規定する。コンテンツ・ラベリング・フィールドは、例えば、「デジタル・ビデオ・ブロードキャスティング（ＤＶＢ）；ＤＶＢトランスポートストリームにおけるＴＶ−Ａｎｙｔｉｍｅ情報の伝送および信号送信」のＥＴＳＩ ＴＳ １０２ ３２３規格のセクション１２．１で定義されるコンテンツ識別記述子で参照できる。

ＲＴＰによる伝送に関して、補助データは、ＲＴＰパケットのペイロードフィールド部分で伝送される。ペイロードフィールドは、上記で示したものと類似するブロードキャスト・タイムライン記述子およびコンテンツ・ラベリング記述子を含んでいる。ＲＴＰパケットのフィールドおよび値は、以下の表に表示されている。

ＢＴ ｄｅｓｃ ｔｙｐｅ （８ビット）: 記述子型。記述子がブロードキャスト・タイムライン型であることを示すために、値は、０×２に設定される。
ＢＴ ｄｅｓｃ ｌｅｎｇｔｈ （８ビット）：ｂｒｏａｄｃａｓｔ ｔｉｍｅｌｉｎｅ ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ。この記述子については、このフィールドの値を定義するバイトに続く総バイト数を表す。値は、０×８に設定される。
ＢＴ Ｉｄ （８ビット）： ブロードキャスト・タイムラインＩｄ。
Ｒ（１ビット）： 保存済。値「１」。
Ｔ（１ビット）：ブロードキャスト・タイムライン型。直接型符号化を示すために値を「０」に設定。
Ｃ（１ビット）：Ｃｏｎｔｉｎｕｉｔｙ＿ｉｎｄｉｃａｔｏｒ.不連続を前提としないリニアブロードキャスト・タイムラインを示すために、値を「０」に設定。
Ｐ（１ビット）: Ｐｒｅｖ＿ｄｉｓｃｏｎｔｉｎｕｉｔｙ＿ｆｌａｇ．
先行する不連続がないことを示すために、値を「０」に設定。
Ｎ （１ビット）： Ｎｅｘｔ＿ｄｉｓｃｏｎｔｉｎｕｉｔｙ＿ｆｌａｇ． 更に不連続がないことを示すために、値を「０」に設定。
ＲＳ（３ビット）：稼働状態。状態が「稼働中」であることを示すために、値を「０×４」に設定。
ｒｅｓ（２ビット）：保存済。値を「１１」に設定。
ｔｉｃｋ ｆｏｒｍａｔ（６ビット）：ｔｉｃｋ＿ｆｏｒｍａｔ 毎秒９０，０００ティックを表示するために、値を「０×１１」に設定。
Ａｂｓｏｌｕｔｅ ｔｉｃｋｓ（３２ビット）：絶対ティック値
Ｉｎｆｏ ｌｅｎｇｔｈ（８ビット）：いずれのブロードキャスト・タイムライン情報も存在しないことを示すために、値を０×０に設定。
ＣＬ ｄｅｓｃ ｔｙｐｅ（８ビット）：記述子型。記述子がコンテンツ・ラベリング型であることを示すために、値を０×４に設定。
ＣＬ ｄｅｓｃ ｌｅｎｇｔｈ （８ビット）：コンテンツ・ラベリング記述子の長さ。この記述子について、このフィールドの値を定義するバイトに続く総バイト数を表示する。
Ｍｅｔａｄａｔａ ａｐｐｌｉｃａｔｉｏｎ ｆｏｒｍａｔ（１６ビット）： メタデータ・アプリケーション・フォーマット。これがユーザ定義であることを示すために、値を０×４４４４に設定。
Ｆ（１ビット）：コンテンツ参照ｉｄ記録フラグ。この記述子中のｃｏｎｔｅｎｔ＿ｒｅｆｅｒｅｎｃｅ＿ｉｄ＿ｒｅｃｏｒｄの存在を信号伝達するために、値を「１」に設定。
ＣＴＢＩ（４ビット）：コンテンツ時間ベース・インディケータ。ＤＶＢブロードキャスト・タイムラインの使用を表示するために、値を「０×８」に設定。
Ｒｅｓ（３ビット）：保存済み。値を「１１１」に設定。
ＣＲＩＲ ｌｅｎｇｔｈ（８ビット）：コンテンツ参照ＩＤレコード長。このフィールドに続くｃｏｎｔｅｎｔ＿ｒｅｆｅｒｅｎｃｅ＿ｉｄのバイト数を規定。
ＣＬＩ＿ｔｙｐｅ（８ビット）：コンテンツ・ラベリングｉｄ型。コンテンツの参照識別の型を指定。
ＣＬＩ＿ｌｅｎｇｔｈ（８ビット）： コンテンツ・ラベリングｉｄの長さ。コンテンツ・ラベリングｉｄのバイト数、すなわちＣＬＩバイト数で長さを指定。
ＣＬＩバイト（ＣＬＩ＿ｌｅｎｇｔｈ バイト）：コンテンツを識別するコンテンツ・ラベリングｉｄ。
ＴＢＡＤ ｌｅｎｇｔｈ（８ビット）：時間ベースのデータ長。０×２に設定。
Ｒｅｓｅｒｖｅｄ（７ビット）：保存済み。値を「１１１１１１」に設定。
Ｍ（１ビット）：タイムベース・マッピングフラグ：外部タイムベースからブロードキャスト・タイムラインへの明示的なマッピングが与えられていないことを示すために、値を「０」に設定。
ＢＴ ＩＤ（８ビット）：コンテンツ・ラベリングが参照するブロードキャスト・タイムラインＩＤ。

第２の実施形態に関しては、先行するＲＴＰパケットと比較した結果の相違点を以下に表示する。ＲＴＰパケットのフィールドおよび値は、以下の表に表示されている。

「ＢＴ ｄｅｓｃ ｌｅｎｇｔｈ」フィールドは、ブロードキャスト・タイムライン記述子の長さ、特にこのフィールドの値を定義するバイト以下の総バイト数を表す。ＲＳフィールドは、稼働状態であることを表し、その値は「カウントダウン」である。情報長フィールドは、「ブロードキャスト・タイムライン情報」フィールドの長さを表す。「Ｐｒｅｆｅｔｃｈ＿ｐｅｒｉｏｄ＿ｄｕｒａｔｉｏｎ＿ｔｉｃｋ」および「ａｂｓｏｌｕｔｅ ｔｉｃｋｓ」フィールドは、上記で示したＭＰＥＧ−２ ＴＳの場合と同一の意味を有する。

よって、タイムラインは、いかなるトランスポート・プロトコルおよびネットワークが使用されようとも、同一のクロックに基づく。

本発明の実施形態は、異なるタイミング参照を備えた２つの異なるトランスポート・プロトコルに基づいている。本発明は、異なるタイミング参照に基づく２つの同一のトランスポート・プロトコルに同一の手法で必然的に適用される。同様に、第１の実施形態は、２つのブロードバンド・ネットワーク、および２つのブロードキャスト・ネットワークに基づいていてもよい。

（複数の）実施形態では、補助データパケットで送信される同期データは、（複数の）クロックの一つ、すなわちＭＰＥＧ−２ ＴＳに関するクロックに基づいている。この同期データは、トランスポート・プロトコルのクロックからは独立したクロックに基づいていてもよい。

（複数の）実施形態は、受信手段に基づいている。あるいは、オーディオおよびビデオコンテンツは、特有の装置で表示されてもよい。そして第１の装置はマスタとみなされる。これは、一般に表示されるコンテンツに対応する時間情報を、第２の装置に定期的に伝達する。第２の装置の同期装置は、この情報を参照用に使用する。２つの装置の間の通信時間は、既知あるいは十分に低いと推定される。

本発明は、一例として前記本文に記載されている。当業者は、本特許の範囲を逸脱しない限り、本発明の変形を製造できることが理解される。特に、実施形態は、ブロードキャスト・ネットワークの枠組み、またはブロードバンド・ネットワークの枠組みの範囲内でオーディオおよびビデオコンテンツについて実装される。

Claims (9)

1. 第１のネットワークに対するインターフェース、および第２のネットワークに対するインターフェースを備える受信装置において、マルチメディア・データを処理する方法であって、前記方法は、
   前記第１のネットワークから、第１のトランスポート・プロトコルを介して、第１のマルチメディア・データを有する第１のフローを受信するステップであって、前記第１のフローは、前記第１のトランスポート・プロトコルの第１のコンポーネントのタイムライン情報を伝送する前記ステップと、
   前記第２のネットワークから、第２のトランスポート・プロトコルを介して、第２のマルチメディア・データを有し、前記第１のフローと同一のタイムライン情報を伝送する第２のフローを受信するステップであって、前記第２のマルチメディア・データは、前記受信装置のリクエストによりプリロードされ、これを受信装置が、前記第１のマルチメディア・データと同期的に表示することを可能にする前記ステップと、
   前記タイムライン情報を利用して、前記第１および第２のマルチメディア・データの表示を同期させるステップと、を含み、
   前記方法は更に、前記第１のフローの表示に先立ち、
   前記第１のネットワークから、タイムラインの開始を表示するカウントダウン情報を受信するステップであって、前記カウントダウン情報は、前記第１のコンポーネントにおいて伝送される前記ステップと、
   前記カウントダウン情報に基づいて、前記第１のマルチメディア・データのタイムラインの開始前に、前記第２のマルチメディア・データを受信するリクエストを発行するステップであって、これにより前記第２のマルチメディア・データは、前記第１のマルチメディア・データと同期的に表示される前記ステップと、を含む前記方法。
2. 前記第１のトランスポート・プロトコルは、ＭＰＥＧ−２ ＴＳタイプである、請求項１に記載の方法。
3. 前記第１のコンポーネントは、補助データを伝送するように構成された、請求項２に記載の方法。
4. 前記第１のコンポーネントは、ブロードキャスト・タイムライン記述子である、請求項３に記載の方法。
5. 前記第２のトランスポート・プロトコルは、ＲＴＰタイプである、請求項１〜４のいずれか１項に記載の方法。
6. 前記第２のフローは、第２のトランスポート・プロトコルの第２のコンポーネントのタイムライン情報を伝送する、請求項１〜５のいずれか１項に記載の方法。
7. 前記同期ステップは、コンテンツを同期的に表示できるまで、メモリにより事前に受信されたコンテンツを遅延させるステップを含む、請求項１〜６のいずれかに記載の方法。
8. 前記第１のフローは、同報モードで前記第１のネットワークで受信される、請求項１〜７のいずれか１項に記載の方法。
9. 受信装置であって、
   第１のトランスポート・プロトコルを介して、第１のマルチメディア・データを有する第１のフローを受信する第１のネットワークに対するインターフェースであって、前記第１のフローは、前記第１のトランスポート・プロトコルの第１のコンポーネントのタイムライン情報を伝送する、前記第１のネットワークに対するインターフェースと、
   第２のトランスポート・プロトコルを介して、第２のマルチメディア・データを有し、前記第１のフローと同一のタイムライン情報を伝送する第２のフローを受信する第２のネットワークに対するインターフェースであって、前記第２のマルチメディア・データは、前記受信装置のリクエストによりプリロードされ、これを受信装置が、前記第１のマルチメディア・データと同期的に表示することを可能にする、前記第２のネットワークに対するインターフェースと、
   同期装置と、を備え、
   前記同期装置は、
   タイムライン情報を利用して、前記第１および第２のマルチメディア・データの表示を同期させ、
   前記第１のネットワークから、タイムラインの開始を表示するカウントダウン情報を受信し、前記カウントダウン情報は、前記第１のコンポーネントにおいて伝送され、
   前記同期装置は更に、
   前記カウントダウン情報に基づいて、前記第１のマルチメディア・データのタイムラインの開始前に、前記第２のマルチメディア・データを受信するリクエストを発行し、これにより前記第２のマルチメディア・データは、第１のマルチメディア・データと同期的に表示される、前記受信装置。
   

Images