JP4541962B2

JP4541962B2 - 多重化装置、再生装置

Info

Publication number: JP4541962B2
Application number: JP2005127128A
Authority: JP
Inventors: 正真遠間; 秋弘宮崎; 和彦平山; 典弘松井; 義徳松井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-04-25
Filing date: 2005-04-25
Publication date: 2010-09-08
Anticipated expiration: 2025-04-25
Also published as: JP2006304232A

Description

動画像、音声などの符号化ストリームを多重化する多重化装置、および多重化データを再生する再生装置に関する。

近年、蓄積メディアや通信ネットワークの大容量化、あるいは伝送技術の進歩にともない、動画や音声などの符号化マルチメディアデータを扱う機器や、サービスが普及してきた。例えば、放送分野においては、従来のアナログ放送に代わり、デジタル符号化されたメディアデータの放送が開始された。現在のデジタル放送は、固定受信のみを対象としているが、将来的には携帯電話などの移動体向けの放送も予定されている。また、通信分野においても、第３世代の携帯電話向けの動画配信サービスが立ち上がるなど、固定端末と携帯端末の双方でマルチメディアデータを扱う環境が整ってきている。これらの背景を鑑みると、SD（Secure Digital）カードなどのメモリカード、あるいはDVD-RAM（Digital Versatile Disk-Rewritable）などの光ディスクに、放送や、インターネット経由で受信したコンテンツデータを記録し、機器間でコンテンツデータを共有するといった使用方法の普及が見込まれる。

メディアデータを放送、蓄積、あるいはネットワーク経由で配信する際には、メディアデータの再生に必要なヘッダ情報とメディアデータとが多重化される。多重化にあたっては、放送やＤＶＤなどの蓄積機器向け、および移動体向けに、それぞれ標準の多重化方式が規格化されている。まず、デジタル放送やDVDにおいては、ISO/IEC JTC1/SC29/WG 11 (International Standardisation Organization/International Engineering Consortium)において標準化されたＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）システム規格が使用される。また、携帯端末では、第３世代の移動体通信システムの規格化を目的とする国際標準化団体である３ＧＰＰ(Third Generation Partnership Project)で、無線による動画配信規格として定められたTS26.234(Transparent end-to-end packet switched streaming service)において、ISO/IEC JTC1/SC29/WG 11で標準化されたMP４ファイルフォーマットが採用されている。

また、動画の符号化方式としては、現在普及しているＭＰＥＧ−２ＶｉｄｅｏやＭＰＥＧ−４Ｖｉｓｕａｌの後継規格としてＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）が標準化されたことから、今後ＭＰＥＧ−４ＡＶＣの符号化動画像データをＭＰＥＧ−２システム規格やＭＰ４ファイルフォーマット（以降、ＭＰ４と呼ぶ）により多重化し、放送、蓄積あるいは配信することが予想される。

以下に、ＭＰＥＧ−２システムにおける符号化データ多重化方法の概要について説明する。ＭＰＥＧ−２システムでは、符号化データを扱う際の基本単位としてアクセスユニット（ＡＵ）を使用するため、まずＡＵの構造について説明する。ＡＵとは、動画像の１ピクチャ、あるいは音声の１フレームに相当する単位であり、ＭＰＥＧ−４ＡＶＣにおけるＡＵデータは、図１に示す構造をもつ。ＭＰＥＧ−４ＡＶＣでは、ピクチャの復号に必須のデータに加えて、復号に必須でないＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）と呼ばれる補助情報や、ＡＵの境界情報などをＡＵデータに含めることができ、これらのデータは全てＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットに格納される。ＮＡＬユニットは、図１（a）に示すようにヘッダとペイロードから構成され、ヘッダのサイズは１バイトであり、ペイロードに格納されるデータのタイプ（以降、ＮＡＬユニットタイプと呼ぶ）を示すフィールドなどが含まれる。ＮＡＬユニットタイプは、スライスやＳＥＩなどデータの種類別に値が定義されており、ＮＡＬユニットに格納されたデータの種類を取得する際にはＮＡＬユニットタイプを参照する。ＡＵには、図１（ｂ）および（ｃ）に示すように、１ピクチャ分のスライスデータに加えて、ヘッダ情報やＳＥＩなどのＮＡＬユニットが格納されるが、ＮＡＬユニットにはＮＡＬユニットデータの境界を識別するための情報が存在しないため、ＡＵ格納時には、各ＮＡＬユニットの先頭に境界情報が付加することができる。境界情報としては、図１（ｂ）のように0x000001の３バイトで示されるスタートコードプレフィックスを付加する方法（以降、バイトストリームフォーマットと呼ぶ）と、図１（ｃ）のようにＮＡＬユニットのサイズを付加する方法（以降、ＮＡＬサイズフォーマットと呼ぶ）の２種類がある。なお、ＡＵの先頭ＮＡＬユニット、および特定のＮＡＬユニットタイプ値をもつＮＡＬユニットに対しては、スタートコードプレフィックスの前に、ｚｅｒｏ＿ｂｙｔｅ（値が０ｘ００である１バイト）を１つ以上付加することが規定されている。

なお、ＭＰＥＧ−２システムでは、バイトストリームフォーマットが使用される。ＭＰＥＧ−４ＡＶＣにおけるＩピクチャには、ＩＤＲ（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｅｒＲｅｆｒｅｓｈ）ピクチャと、ＩＤＲピクチャではないＩピクチャの２種類がある。ＩＤＲピクチャとは、復号順でＩＤＲピクチャより後の全ピクチャを、復号順でＩＤＲピクチャより前のピクチャを参照することなしに復号することのできる、つまり、復号に必要な状態がリセットされるＩピクチャであり、ＭＰＥＧ−２のｃｌｏｓｅｄＧＯＰの先頭Ｉピクチャに相当する。ＩＤＲではないＩピクチャにおいては、復号順でＩピクチャより後のピクチャが、復号順で当該Ｉピクチャより前のピクチャを参照してもよいが、例えば予測構造にＭＰＥＧ−２と同等の制限を設けることで、Ｉピクチャを先頭に配置してＭＰＥＧ−２のｏｐｅｎＧＯＰと同等のランダムアクセス単位を実現できる。また、ＩＤＲピクチャのスライスと、非ＩＤＲピクチャのスライスとは異なるタイプのＮＡＬユニットに格納される。以降、ＩＤＲピクチャを含むＡＵをＩＤＲＡＵと呼ぶことにする。また、ＩＤＲＡＵから、次のＩＤＲＡＵの直前ＡＵまでのＡＵから構成される単位をシーケンスと呼ぶ。次に、ヘッダ情報にはＳＰＳとＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）の２種類があり、ＳＰＳはシーケンス単位で固定のヘッダ情報であり、ＰＰＳはピクチャ単位で切り替えることのできるヘッダ情報である。ＩＤＲピクチャや非ＩＤＲのＩピクチャを先頭に配置してランダムアクセス単位を構成する際には、ランダムアクセス単位内のピクチャから参照されるＳＰＳとＰＰＳが、復号時に参照可能である必要がある。

次に、放送において、ＭＰＥＧ−２システムによりＡＵデータを多重化する際の方法について説明する。

ＭＰＥＧ−２システムでは、符号化データは、まずＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）パケットに多重化され、さらにＰＥＳパケットがＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケットに多重化される。図２の（a）と（ｂ）に、ＰＥＳパケットとＴＳパケットの構造をそれぞれ示す。ＰＥＳパケットのペイロードには、アクセスユニット（ＡＵ）データが格納される。図２（a）の（１）から（３）は、ＰＥＳパケットのペイロードへのＡＵデータの格納例を示すものであり、（１）、（２）に示すように１以上のＡＵをまとめて格納してもよいし、（３）に示すようにＡＵデータを分割して格納してもよい。さらに、ペイロードには、ＡＵデータとは別に、スタッフィングデータを含めることもできる。ＰＥＳパケットのヘッダは、0x000001の３バイトで示されるスタートコードプレフィックス、および１バイトのストリームＩＤから構成される計４バイトのスタートコードから開始する。ストリームＩＤとは、ＰＥＳパケットのペイロードデータに含まれる符号化データの種類を示す識別番号であり、ＭＰＥＧ−４ＡＶＣでは、0xE0以上0xEF以下の任意の値をとることができる。ヘッダには、ペイロード内で開始する先頭ＡＵの復号時刻、および表示時刻を格納することができるが、全てのＰＥＳパケットに必ずこれらの時間情報が格納されるわけではなく、時間情報が格納されないＰＥＳパケットも存在する。ＰＥＳパケットのヘッダにより復号時刻、あるいは表示時刻が示されないＡＵの時間情報が必要である際には、ＡＵデータを解析して、直前ＡＵとの復号時刻、あるいは表示時刻の差分値を取得する。一方、ＰＥＳパケットのデータは、図２の（ｂ）に示すように、ＴＳパケットのペイロードに分割して格納される。ＴＳパケットは、サイズが１８８バイトである固定長のパケットであり、４バイトのヘッダ、アダプテーションフィールド、ペイロードデータから構成される。なお、アダプテーションフィールドは、ヘッダ内の特定のフラグがセットされている場合にのみ存在する。ヘッダには、ＴＳパケットが伝送するデータの種類を示すＰＩＤと呼ばれる識別番号と、continuity_counterと呼ばれるカウンタが含まれる。continuity_counterは、４ビットのフィールドであり、同一ＰＩＤのＴＳパケットにおいては、送信順に１ずつ増加し、最大値に達すると循環する。ＴＳパケットのＰＩＤと、ＴＳパケットが伝送するデータの種類との対応関係は、別途ＴＳパケットにより送信されるプログラム情報によって提供される。このため、ＴＳパケット受信時には、まず、ＴＳパケットのＰＩＤを取得し、ＰＩＤの値に応じてパケットを振り分ける。例えば、受信開始時に取得したプログラム情報により、ＭＰＥＧ−４ＡＶＣのデータはＰＩＤが３２であるＴＳパケットにより伝送されることが示される際には、ＰＩＤが３２であるＴＳパケットを取得することにより、ＭＰＥＧ−４ＡＶＣのＡＵデータを取得することができる。ここで、受信したＴＳパケットのcontinuity_counter値にギャップが発生している際には、伝送路においてパケットロスが発生したことを示す。また、ＴＳパケットからＡＵデータを分離する際には、ＴＳパケットのペイロードデータからＰＥＳパケットを分離し、分離されたＰＥＳパケットからＡＵのデータを分離する。ＴＳパケットのヘッダには、ＴＳパケットのペイロードの先頭からＰＥＳパケットのデータが開始することを示すフラグが存在するため、当該フラグがセットされたＴＳパケットをサーチすることによりＰＥＳパケットの開始位置が取得できる。あるいは、ＴＳパケットのペイロードにおいてＰＥＳパケットのスタートコードをサーチしてＰＥＳパケットの開始位置を取得してもよい。

さらに、ＴＳパケットをＳＤカードやＤＶＤなどの光ディスクに記録する際には、ランダムアクセス、あるいは高速再生などの特殊再生を容易に実現するためのタイムマップを合わせて多重化する。タイムマップとは、ランダムアクセス可能なビデオのピクチャ、あるいはオーディオのフレームの表示時刻やアドレス情報などを格納したエントリから構成されるテーブルであり、飛び込み再生や高速再生、あるいは逆再生などの特殊再生を行う際には、タイムマップを参照することにより、復号を開始するピクチャを容易に取得できる。図３は、タイムマップの例である。図３（ｂ）のＴＳパケット列においては、１０２５番目のＴＳパケットと１６０１番目のＴＳパケットにおいて、それぞれＩＤＲＡＵが開始する。図３（a）は、図３（ｂ）のＴＳパケット列においてビデオのランダムアクセスポイントを示すタイムマップ例であり、ランダムアクセス可能なピクチャの表示時刻とアドレス情報とを示す。表示時刻はタイムスケールを９０ｋＨｚとして、ＰＥＳパケットヘッダにより示されるＡＵの表示時刻に基づいて決定する。また、アドレス情報はＴＳパケット列の先頭からのＴＳパケットの個数で示す。図３（a）のタイムマップからは、表示時刻が５秒（＝４５００００／９００００）であるＩＤＲＡＵは１０２５番目のＴＳパケットから開始し（アドレス位置は、１０２４＊１８８バイト）、表示時刻が１０秒であるＩＤＲＡＵは１６０１番目のＴＳパケットから開始することが示される。なお、ランダムアクセスポイントとして登録されるピクチャは、ｎｏｎ−ＩＤＲのＩピクチャであってもよい。また、時刻情報のタイムスケールは他の値であってもよいし、アドレス情報の指定も例えば絶対アドレスを記述するなど他の方法であってもよい。

このように、ＴＳパケットにより送信される放送データを記録する際には、ＴＳパケット列と合わせて、タイムマップなどのデータベース情報が付加される。なお、ＴＳパケットについても、ＴＳパケットの先頭に４バイトのヘッダを付加し、ＴＳパケットの到着時刻情報、およびコピー制御情報などを示すことがある。例えば、書き換え型のＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）ディスクに地上デジタル放送を記録する際には、上記４バイトのヘッダが付加される。このとき、タイムマップのアドレス情報は、４バイトヘッダが付加された計１９２バイトの単位でカウントされる。

図４は、ＴＳパケット列を記録する従来の多重化装置１００の構成を示すブロック図である。多重化装置１００は、ＴＳパケット取得手段１０１、ＴＳパケットフィルタ手段１０２、ビデオ解析手段１０３、タイムマップ作成手段１０４、および多重化手段１０５とから構成される。ＴＳパケット取得手段１０１は、放送などによりＴＳパケット列ＴＳＰｉｎ取得し、ＴＳパケット列ＴＳＰｏをＴＳパケットフィルタ手段１０２に入力する。ＴＳパケットフィルタ手段１０２は、ＴＳパケットのＰＩＤに基づいてビデオとオーディオのＴＳパケットを分離し、ビデオのＴＳパケットであるＶＴＳＰをビデオ解析手段１０３に入力する。ビデオ解析手段１０３は、ビデオのＴＳパケットＶＴＳＰを解析し、ランダムアクセス単位の先頭ピクチャを含むＴＳパケットをサーチし、ランダムアクセス単位の先頭ピクチャを含むＴＳパケットを検出した際には、当該ＴＳパケットから開始するランダムアクセス可能なピクチャの表示時刻、およびＴＳパケット取得手段１０１から取得したＴＳパケットのアドレス情報Ｖａｄなどを含むビデオエントリ情報Ｖｉｎｆをタイムマップ作成手段１０４に入力する。タイムマップ作成手段１０４は、ビデオエントリ情報Ｖｉｎｆに基づいてタイムマップのエントリを作成する。記録する最終ＴＳパケットの処理が終了すると、多重化手段１０５は、タイムマップ作成手段１０４からタイムマップＴＭを取得し、ＴＳＰ取得手段１０１からＴＳパケット列のデータであるＴＳＰｄａｔを取得して、両者を多重化し、出力データＯｕｔを生成する。ここで、ＴＳＰ取得手段１０１により取得したＴＳパケット列ＴＳＰｉｎは順次記録しておき、多重化手段１０５では記録されたＴＳパケット列にタイムマップＴＭを多重化することにしてもよい。なお、表示時刻とは、オーディオの場合には再生時刻を示すものとする。

図５は、従来の多重化装置１００におけるタイムマップ作成処理を示すフローチャートである。まず、ステップＳ１０１において、ＴＳパケットのペイロードからＡＵを分離し、ＡＵの符号化タイプを取得する。ここで、ＳＥＩやＳＰＳの有無など、符号化タイプとは異なる情報からランダムアクセス単位の先頭を識別できる際には、それらの情報も取得する。ステップＳ１０２では、ステップＳ１０１において分離したＡＵがランダムアクセス単位の先頭Ｉピクチャであるかどうかを判定し、先頭ＩピクチャであればステップＳ１０３に進み、先頭ＩピクチャでなければステップＳ１０１の処理に戻る。ステップＳ１０３では、ステップＳ１０１で分離したＡＵの表示時刻やアドレス情報などタイムマップのエントリを生成するために必要な情報を取得し、新規のエントリを作成する。ステップＳ１０１からステップＳ１０３までの処理を、記録する最終ＴＳパケットの処理が終了するまで繰り返す。

このように、従来の多重化装置１００では、ビデオについてのみタイムマップを生成していた。
特開２００３―１１４８４５公報（第６−１８項、図６）

以下、ＩＤＲＡＵをランダムアクセス単位の先頭ピクチャとして、従来の多重化装置１００の課題を示す。

図６は、従来の多重化装置１００における第１の課題を示す。図６（ｂ）は、受信したＴＳパケット列を示し、図中のＴＳパケットＡ０から記録開始したとする。ここで、ＴＳパケットＡ０には、表示時刻が４５００００（タイムスケールを９００００とすると、５秒）であるオーディオフレームが含まれる。また、Ａ０以降でビデオのＩＤＲＡＵを含む最初のＴＳパケットはＶ０であり、ＩＤＲＡＵ（図中のＩＤＲ（１））の表示時刻は９０００００であるとする。このとき、タイムマップはビデオについてのみ作成されるため、タイムマップの先頭エントリはＩＤＲ（１）についてのエントリとなる。従って、タイムマップを参照して再生する際の先頭データはＩＤＲ（１）となり、ＩＤＲ（１）より前に記録したオーディオデータは再生できない。具体的には、オーディオデータについては、ＴＳパケットＡ０（表示時刻＝５秒のデータ）から記録されていても、表示時刻が５秒から１０秒までのオーディオデータにはアクセスできないことになる。あるいは、ＴＳパケットＡ０を受信したタイミングにおいて記録開始が指示されても、実際に記録を開始するのはＩＤＲ（１）を含むＴＳパケットＶ０からであり、ＴＳパケットＶ０より前のオーディオデータはそもそも記録されなかった。

図７は、従来の多重化装置１００における第２の課題を示す。図７（ｂ）は、受信したＴＳパケット列を示し、２番目のＩＤＲ（１）はパケットロスにより受信できなかったものとする。このとき、タイムマップの先頭エントリはＩＤＲ（１）に対応し、２番目のエントリはＩＤＲ（３）に対応する。従って、各ＩＤＲＡＵの間隔を５秒とすると、先頭エントリと２番目エントリから指されるＩＤＲＡＵの表示時刻の差分値は１０秒となる。一方、図７（ｂ）に示すように、オーディオのデータはロストしておらず、ＩＤＲ（２）の表示時刻に相当するオーディオデータは取得できているため、オーディオについては表示時刻＝５秒の地点からも再生開始できる。しかしながら、オーディオのランダムアクセスポイントはタイムマップに登録できず、結果として、ビデオのＩＤＲＡＵがロストして受信できないと、ランダムアクセスポイントの間隔が長くなり、アクセス性が低下していた。

本発明は、以上の課題を解決するためになされたものである。
本発明の請求項１に係る多重化方法は、パケット化された動画像あるいは音声の符号化データとその管理情報とを多重化する多重化方法であって、前記管理情報は、ランダムアクセス可能な前記動画像あるいは前記音声についての情報をエントリとして持つテーブルを含み、パケットロスが発生する環境下において、前記パケット列を受信して記録するパケット取得ステップと、前記動画像が格納されたパケットから前記動画像のピクチャを分離して解析し、前記ピクチャの表示時刻と、前記ピクチャがランダムアクセス可能であるかどうかを決定する動画像解析ステップと、前記ランダムアクセス可能な動画像のピクチャの情報を前記エントリとして登録する動画像エントリ登録ステップと、前記受信した動画像に関する情報が所定の条件を満たさない場合には、前記音声の情報を前記エントリとして登録する音声エントリ登録ステップと、を備え、前記エントリは、動画像あるいは音声のどちらについてのエントリであるかを示す識別情報と、ランダムアクセス可能な前記動画像あるいは音声についての再生時刻情報、およびストリーム内での開始アドレス情報を少なくとも含むことを特徴とする。

本発明の請求項２に係る多重化方法は、請求項１記載の多重化方法であって、前記所定の条件は、前記受信した前記動画像における連続する２枚のランダムアクセス可能なピクチャの表示時刻の間隔が所定の閾値以下であることを特徴とする。

本発明の請求項３に係る多重化方法は、請求項１記載の多重化方法であって、前記所定の条件は、前記受信した前記動画像における連続する２枚のランダムアクセス可能なピクチャの先頭バイトを含む前記パケット間に含まれる前記パケット列の個数が一定数以下であることを特徴とする。

本発明の請求項４に係る多重化方法は、請求項２記載の多重化方法であって、前記所定の閾値は、前記パケット列の全てのパケットを受信できた場合の、前記動画像におけるランダムアクセス可能なピクチャの表示時刻間隔に基づいて設定することを特徴とする。

本発明の請求項５に係る多重化方法は、請求項１記載の多重化方法であって、前記所定の条件は、記録を開始してから、前記動画像のランダムアクセス可能なピクチャを最初に受信するまでの間に、前記音声のパケットを受信していないことであることを特徴とする。

本発明の請求項６に係る再生方法は、請求項１記載の多重化方法により生成した多重化データを再生する再生方法であって、再生開始時刻や再生方法などを含む再生命令を発行する命令発行ステップと、前記発行された命令に従って、前記テーブルを解釈し、ランダムアクセス先を決定する決定ステップと、前記決定されたランダムアクセス先からデータを取得し、再生を開始する再生ステップと、を備えることを特徴とする。

本発明の請求項７に係る再生方法は、請求項６記載の再生方法であって、前記決定ステップは、前記エントリに登録されたランダムアクセス可能な前記動画像あるいは前記音声のうち、前記再生開始時刻に最も近い前記動画像あるいは前記音声から再生開始することを特徴とする。

本発明の請求項８に係る再生方法は、請求項６記載の再生方法であって、前記決定ステップは、前記識別情報に基づいて前記動画像のエントリのみを選択し、前記ランダムアクセス可能な動画像のうち、前記再生開始時刻に最も近い前記動画像から再生開始することを特徴とする。

本発明の請求項９に係る再生方法は、請求項６記載の再生方法であって、前記再生ステップは、前記ランダムアクセス可能な前記音声から再生開始する際に、ランダムアクセス可能な前記動画像を取得するまでの区間においては、所定の方法により取得した画像データを表示することを特徴とする。

本発明の請求項１０に係る多重化装置は、パケット化された動画像あるいは音声の符号化データとその管理情報とを多重化する多重化装置であって、前記管理情報は、ランダムアクセス可能な前記動画像あるいは前記音声についての情報をエントリとして持つテーブルを含み、パケットロスが発生する環境下において、前記パケット列を受信して記録するパケット取得手段と、前記動画像が格納されたパケットから前記動画像のピクチャを分離して解析し、前記ピクチャの表示時刻と、前記ピクチャがランダムアクセス可能であるかどうかを決定する動画像解析手段と、前記ランダムアクセス可能な動画像のピクチャの情報を前記エントリとして登録する動画像エントリ登録手段と、前記受信した動画像に関する情報が所定の条件を満たさない場合には、前記音声の情報を前記エントリとして登録する音声エントリ登録手段と、を備え、前記エントリは、動画像あるいは音声のどちらについてのエントリであるかを示す識別情報と、ランダムアクセス可能な前記動画像あるいは音声についての再生時刻情報、およびストリーム内での開始アドレス情報を少なくとも含むことを特徴とする。

本発明の請求項１１に係る再生装置は、請求項１０記載の多重化装置により生成した多重化データを再生する再生装置であって、再生開始時刻や再生方法などを含む再生命令を発行する命令発行手段と、前記発行された命令に従って、前記テーブルを解釈し、ランダムアクセス先を決定する決定手段と、前記決定されたランダムアクセス先からデータを取得し、再生を開始する再生手段と、を備えることを特徴とする。

本発明の請求項１２に係るストリームは、パケット化された動画像あるいは音声の符号化データとその管理情報とを多重化する多重化方法であって、前記管理情報は、ランダムアクセス可能な前記動画像あるいは前記音声についての情報をエントリとして持つテーブルを含み、パケットロスが発生する環境下において、前記パケット列を受信して記録するパケット取得ステップと、前記動画像が格納されたパケットから前記動画像のピクチャを分離して解析し、前記ピクチャの表示時刻と、前記ピクチャがランダムアクセス可能であるかどうかを決定する動画像解析ステップと、前記ランダムアクセス可能な動画像のピクチャの情報を前記エントリとして登録する動画像エントリ登録ステップと、前記受信した動画像に関する情報が所定の条件を満たさない場合には、前記音声の情報を前記エントリとして登録する音声エントリ登録ステップと、を備え、前記エントリは、動画像あるいは音声のどちらについてのエントリであるかを示す識別情報と、ランダムアクセス可能な前記動画像あるいは音声についての再生時刻情報、およびストリーム内での開始アドレス情報を少なくとも含むことを特徴とする多重化方法により生成したものである。

本発明の請求項１３に係る情報記録媒体は、請求項１２記載のストリームが記録されていることを特徴とするコンピュータ読み取り可能な情報記録媒体である

本発明の請求項１の多重化方法によれば、オーディオのみが取得できた区間についてもタイムマップに登録してランダムアクセス可能とできるため、ランダムアクセス時のアクセス性が向上する。

本発明の請求項６の再生方法によれば、ビデオとオーディオのエントリが混在するタイムマップを参照して、再生動作に応じてオーディオのエントリを参照するかどうかを切り替え可能であるため、オーディオのみの再生が有効であると判定した場合にオーディオから再生できる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
まず、本発明の実施の形態１に係る多重化装置１０００について説明する。

図８は、多重化装置１０００の構成を示すブロック図である。多重化装置１０００は、ＴＳパケット取得手段１０１、ＴＳパケットフィルタ手段１０２、ビデオ解析手段１０３、オーディオ解析手段１００１、作成エントリ決定手段１００２、タイムマップ作成手段１００３、および多重化手段１０５から構成される。ここで、従来の多重化装置１００と同一の動作をする手段については、同一符号を付し、説明を省略する。

多重化装置１０００は、ビデオとオーディオのエントリが混在したタイムマップが作成できることを特徴とし、パケットロスによりビデオのランダムアクセス可能なピクチャがロストしてビデオのエントリが作成できない場合には、オーディオのエントリを作成する。これにより、オーディオデータのみが再生可能な区間についてもランダムアクセスポイントとして登録可能となり、パケットロスが発生する環境下で受信したデータのランダムアクセス性を高めることができる。また、記録開始から、ビデオのランダムアクセス可能なピクチャを取得するまでの間に取得したオーディオについても、当該区間をランダムアクセスポイントとして指定できる。これらは、任意のフレームから復号開始できるオーディオの特徴を利用したものであり、ランダムアクセス可能なビデオのピクチャ間隔が長い場合に特に有効である。

オーディオ解析手段１００１は、オーディオのＴＳパケットＡＴＳＰを解析し、ランダムアクセス可能なフレームを含むＴＳパケットを検出し、当該フレームの表示時刻、およびＴＳパケット取得手段１０１から取得したＴＳパケットのアドレス情報Ａａｄなどを含むオーディオエントリ情報Ａｉｎｆを作成エントリ決定手段１００２に入力する。また、ビデオ解析手段１０３についても、ビデオエントリ情報Ｖｉｎｆを作成エントリ決定手段１００２に入力する。作成エントリ決定手段１００２は、オーディオ、あるいはビデオのどちらのエントリを作成するのかを決定し、作成するエントリのエントリ情報Ｅｉｎｆをタイムマップ作成手段１００３に入力する。エントリ情報Ｅｉｎｆには、オーディオあるいはビデオのどちらのエントリを作成するのかを示す情報が含まれる。タイムマップ作成手段１００３は、エントリ情報Ｅｉｎｆに基づいてタイムマップのエントリを作成する。記録する最終ＴＳパケットの処理が終了すると、多重化手段１０５は、タイムマップ作成手段１００３からタイムマップＴＭ２を取得し、ＴＳＰ取得手段１０１からＴＳパケット列のデータであるＴＳＰｄａｔを取得して、両者を多重化し、出力データＯｕｔ２を生成する。ここで、ＴＳＰ取得手段１０１により取得したＴＳパケット列ＴＳＰｉｎは順次記録しておき、多重化手段１０５では記録されたＴＳパケット列にタイムマップＴＭ２を多重化することにしてもよい。

図９は、多重化装置１０００の動作を示すフローチャートである。ステップＳ１０１とステップＳ１０３の処理は従来の多重化装置１００と同様の処理であるため、説明を省略する。ステップＳ１０２では、ステップＳ１０１において分離したＡＵがランダムアクセス単位の先頭ピクチャであるかどうかを判定し、先頭ピクチャであればステップＳ１０３に進み、先頭ピクチャでなければステップＳ１００１に進む。なお、以下において時間情報を扱う際のタイムスケールは統一するものとする。

ステップＳ１００１では、ステップＳ１０１において分離したビデオのＡＵの表示時刻と、直前エントリの開始時刻との差分値が所定の閾値Ｔ１を超えたかどうか判定する。なお、直前エントリの開始時刻とは、直前エントリにより指されるビデオあるいはオーディオのＡＵの表示時刻を示す。閾値Ｔ１を超えた場合には、ステップ１００２に進み、閾値Ｔ１以下であればステップＳ１０１に戻る。ここで、閾値Ｔ１を超えるということは、ランダムアクセス可能なビデオのＡＵがパケットロスにより検出できなかったことを示す。通常、ビデオのＡＵはＡＵの開始を示す識別情報を検出することにより分離するため、識別情報を含むＴＳパケットがロストするとＡＵは検出できない。例えば、ＭＰＥＧ−４ＡＶＣではＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒと呼ばれるＮＡＬユニットがＡＵの先頭に配置され、本ＮＡＬユニットを識別情報としてＡＵを分離できる。また、ＭＰＥＧ−２Ｖｉｄｅｏではピクチャヘッダ、ＭＰＥＧ−２ＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）のスタートコードをサーチしてＡＵを分離できる。ただし、ただし、ＡＵ内のデータを解析すれば、識別情報がロストしてもＡＵを分離できることがある。ＭＰＥＧ−４ＡＶＣでは、スライスのＮＡＬユニットを解析して、ピクチャの表示順を示すパラメータであるＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）や、参照ピクチャ毎にインクリメントされるｆｒａｍｅ＿ｎｕｍなどを比較することにより、異なる２つのＡＵに属するデータを分離できる。また、ランダムアクセス可能なＡＵであるかどうかは、以下のようにして判定できる。いずれの方法により判定するかは、サービス毎の運用規定などに依存する。例えば、日本の移動体向け地上デジタル放送では、ＩＤＲＡＵがランダムアクセスポイントとなるため、下記（１）の方法を適用する。
（１）ＩＤＲＡＵであるかどうか
ＩＤＲＡＵであればランダムアクセス可能であると判定する。ＩＤＲＡＵであるかどうかは、ＡＵを構成するスライスのＮＡＬユニットのタイプがＩＤＲ用であるかどうかにより決定できる。また、ＮＡＬユニットにおいてＮＡＬユニット内のデータの優先度情報を示すパラメータであるｎａｌ＿ｒｅｆ＿ｉｄｃなどの値、あるいは、特定のＳＥＩ内のパラメータ値などから判定してもよい。
（２）ランダムアクセス単位の先頭となるｎｏｎ−ＩＤＲＡＵのＩピクチャ（ＭＰＥＧ−２Ｖｉｄｅｏのｃｌｏｓｅｄ−ＧＯＰライクなＩピクチャ）であるかどうか
ｎｏｎ−ＩＤＲのＩピクチャのＡＵに、ＳＰＳや特定ＳＥＩが含まれるかどうか、あるいは、特定ＳＥＩのパラメータ値などから判定する。

また、ＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒがロストしても、ＡＵを構成するスライスデータ、およびスライスデータが参照するＳＰＳとＰＰＳが取得できればＡＵデータは復号可能であるため、ランダムアクセスポイントとしてエントリに登録してもよい
（３）ＴＳパケットヘッダにおいてランダムアクセスポイントであるかどうかを示す識別情報を使用。

ＴＳパケットヘッダにおけるｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｄｉｃａｔｏｒがセットされているが、当該ＴＳパケット内において開始するＡＵがランダムアクセス可能であると判定する。

なお、閾値Ｔ１は、運用規格などに基づいて設定できる。例えば、ＡＲＩＢ（電波産業界）により規定された日本の移動端末向け地上デジタル放送では、ランダムアクセス可能なＡＵの間隔を最大５秒としている。従って、直前エントリの開始時刻からの経過時間が５秒を超えた場合には、ランダムアクセスポイントとなるビデオのＡＵがパケットロスのため取得できなかったと判定できる。なお、オーディオは任意のフレームからランダムアクセス可能である。

なお、ＴＳパケット列の送信レートと、ＴＳパケットにより伝送されるビデオストリームのビットレートがそれぞれほぼ一定であれば、直前エントリにより指されるＡＵを受信後に受信したＴＳパケットの個数などから、ビデオの経過時間が概算できる。例えば、直前エントリにより指されるＡＵを受信後に、１０００個のＴＳパケットを受信し、ＴＳパケット列の送信レートは３０００００ｂｐｓであるとすると、経過時間は１８８＊８＊１０００／３０００００＝５．０１秒と計算できる。ここで、パケットロスが発生した場合には、ＴＳパケットのヘッダのｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒなどからロストしたパケット数を算出し、全てのパケットが受信できたと仮定した場合の受信パケット数に基づいて経過時間を計算する。本方法によれば、ランダムなエラーによりビデオＡＵの境界情報が連続してロストするようなケースにおいても、ステップＳ１００１における判定処理を実行できる。さらに、ＴＳでは、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）と呼ばれる基準クロックがＴＳパケット列において伝送される。ＰＣＲとは、各ストリーム、あるいはストリーム間の同期を取るためのクロック情報であり、指定されたＰＩＤをもつＴＳパケットのヘッダ情報として格納される。従って、直前エントリから指されるＡＵについてのＰＣＲ値と、受信したＰＣＲ値とを比較することにより、ＴＳパケット列とストリームのレートがそれぞれほぼ一定であれば、ビデオの経過時間が概算できる。これらの手法とステップＳ１００１における判定方法とを併用してもよい。
ステップＳ１００２では、オーディオのデータが存在するかどうか判定し、存在すればステップＳ１００３に進んでオーディオのエントリをタイムマップに追加し、存在しなければステップＳ１０１に戻る。オーディオデータが存在するかどうかは、以下のようにして判定できる。なお、直前エントリの開始時刻をＰＴＳ１とする。
（１）ＰＴＳ１＋Ｔ１から所定の時間長ＤＵＲ１以内となる表示時刻を持つオーディオのＡＵが存在するかどうか。
（２）ランダムアクセス可能なビデオのピクチャを次に取得する前に、オーディオのＡＵを取得できたかどうか
（１）については、ＰＴＳ１＋Ｔ１との差分がＤＵＲ１以内であれば、ＰＴＳ１＋Ｔ１の前後どちらでもよいし、あるいは、前後のどちらか一方としてもよい。ここで、ＴＳパケット列においては、オーディオとビデオのＴＳパケットはインタリーブされており、同一表示時刻であるオーディオとビデオのＡＵを伝送するＴＳパケットはそれぞれＴＳパケット列の離れた位置に存在してもよい。結果として、全てのＴＳパケットを受信できたと仮定すると、表示時刻がＰＴＳ１＋Ｔ１であるビデオのＴＳパケットが到着した時点で、表示時刻がＰＴＳ＋Ｔ１であるオーディオのＴＳパケットは到着していないことがある。従って、ステップＳ１００１における判定結果がＹＥＳとなった時点より後で、表示時刻がＰＴＳ＋Ｔ１からＤＵＲ１以内であるオーディオのＡＵを取得した際にも、ステップＳ１００２の判定結果をＹＥＳとしてもよい。

（２）については、オーディオのＡＵを取得した時点でオーディオのエントリを仮作成し、直後のビデオエントリの開始時刻との差分値が一定値以下であれば、仮作成したオーディオのエントリを削除してもよい。例えば、仮作成したオーディオのエントリの開始時刻が１００秒であり、直後のビデオエントリの開始時刻が１００．５秒であるようなケースでは、仮作成したエントリを削除しても問題ないと判定し、開始時刻が１００．５秒であるビデオのエントリのみを有効とする。

さらに、記録開始を指示されてから、ランダムアクセス可能な先頭のビデオＡＵを取得するまでにオーディオＡＵを取得できる際には、オーディオの先頭ＡＵを指すエントリを生成してもよい。タイムマップの先頭エントリをビデオに固定すると、例えば、ビデオのランダムアクセス可能なＡＵの間隔が５秒である際に、ランダムアクセス可能なＡＵを受信した直後に記録開始が指示されると、記録開始から5秒後の位置が最初のランダムアクセスポイントとなる。一方で、ビデオの先頭ランダムアクセスポイントを取得する前に受信したオーディオをランダムアクセスポイントとして登録すれば、タイムマップを参照して記録開始直後のオーディオデータから再生することができる。また、このように作成したオーディオの先頭エントリとビデオの先頭エントリの開始時刻の差分が所定の時間以内であれば、オーディオの先頭エントリは削除して、タイムマップはビデオのエントリから開始してもよい。

また、所定の時間長分、あるいはサイズ分のＴＳパケット列を常にバッファリングしておき、記録開始を指示された時刻に受信したデータについては必ず再生できるようにしてもよい。例えば、ビデオのランダムアクセス可能なＡＵの間隔が最大５秒、ビデオのＡＵデータがデコーダ前段のバッファに入力されてから復号されるまでの時間が最大２秒とすると、７秒分のビデオデータを伝送するＴＳパケットを常時バッファリングしておけば、
任意のタイミングで記録開始を指示されても、指示された時刻の直前のランダムアクセス可能なＡＵがバッファ内に存在するため、当該ＡＵから記録開始することにより、記録開始位置からの再生が保証される。なお、デコーダ前段のバッファとは、ＭＰＥＧ−４ＡＶＣであればＣＰＢ（ＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）に相当し、ＭＰＥＧ−２であればＶＢＶ（ＶｉｄｅｏＢｕｆｆｅｒｉｎｇＶｅｒｉｆｉｅｒ）バッファに相当する。あるいは、ＭＰＥＧ−２システムのデコーダモデルであるＳＴＤ（ＳｙｓｔｅｍＴａｒｇｅｔＤｅｃｏｄｅｒ）におけるＥＳ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）バッファとしてもよい。さらに、常時バッファリングをせずに、記録開始を指示されてから、最初にビデオのランダムアクセス可能なＡＵを取得できるまでのビデオＡＵについては再符号化してから記録してもよい。例えば、Ｐ（単予測）ピクチャのＡＵから記録開始する際には、ＰピクチャをＩ（画面内予測）ピクチャに再符号化し、後続ピクチャを順次再符号化する。このとき、ビデオの先頭ＡＵをランダムアクセスポイントとして登録できる。

図１０は、多重化装置１０００により作成したタイムマップの第１の例を示す。ここでは、ＩＤＲＡＵをランダムアクセス可能なＡＵとみなし、ＩＤＲＡＵの間隔は５秒であるとする。図１０（ｂ）は、受信したＴＳパケット列であり、２番目のＩＤＲＡＵであるＩＤＲ２がロストしたことを示す。このＴＳパケット列を記録する際に、オーディオエントリ作成時の閾値Ｔ１を５秒とすると、ＩＤＲ１とＩＤＲ３の間隔は５秒よりも大きいため、ＩＤＲ１とＩＤＲ３に対応するエントリの間に、オーディオのエントリが作成される。図１０（a）は、作成されるタイムマップを示す。各エントリには、エントリが指すＡＵの表示時刻とアドレス情報に加えて、エントリがオーディオとビデオのどちらのランダムアクセスポイントを指すのかを示す情報が少なくとも格納される。Ｎ番目とＮ＋２番目のエントリがビデオのエントリであり、それぞれＩＤＲ１とＩＤＲ３に対応する。Ｎ＋１番目のエントリはオーディオのエントリであり、Ｎ番目のエントリの開始時刻５秒（タイムスケールは９００００とする）＋Ｔ１（＝５秒）＝１０秒近傍の表示時刻を持つオーディオがランダムアクセスポイントとして登録される。本タイムマップを参照することにより、多重化装置１０００の出力データを再生する再生装置においては、例えば、表示時刻が１０秒付近から再生開始するように指示されると、Ｎ＋１番目のエントリを参照して表示時刻が１０．０４２７秒のオーディオから再生開始できる。

図１１は、多重化装置１０００により作成したタイムマップの第２の例を示す。図１１（ｂ）は、受信したＴＳパケット列と記録開始位置との関係を示す。記録開始位置の直後のＩＤＲはＩＤＲ２であり、ＩＤＲ２を取得するまでに受信したオーディオの先頭ＡＵがタイムマップの先頭エントリとして登録される。図１１（a）は、生成されるタイムマップの例であり、オーディオの先頭ＡＵの表示時刻は６秒であり、アドレス位置は１８８＊１０００バイト目であることが先頭エントリから示される。また、ＩＤＲ２に対応する２番目のエントリの開始時刻は１０秒であるため、記録開始から４秒はオーディオのみ再生可であることが分かる。本タイムマップを参照することにより、オーディオのみが再生可能である先頭から４秒分の区間にも飛び込めるため、ニュース番組など音声が重要となるコンテンツを再生する際には、特に有効である。

なお、タイムマップの先頭エントリの開始時刻は０秒となるように調整してもよいし、適当なオフセット値を設けてもよい。

以上では、ビデオあるいはオーディオのランダムアクセスポイントを示すタイムマップについて説明したが、さらに、ビデオとオーディオが共に取得できない不連続区間についてもタイムマップにより示してもよい。例えば、携帯電話で放送を受信中にビル影に入り数秒間受信ができない状態になったときなどは、不連続区間が発生する。不連続区間ではビデオの表示はフリーズし、オーディオの再生は停止することになるが、予めタイムマップを参照して不連続区間の位置が取得できれば、不連続区間を再生せずに次のランダムアクセスポイントまでスキップすることなどが可能となり、再生品質が向上できる。

図１２は、不連続区間を示すエントリをもつタイムマップの例を示す。図１２（ｂ）は、取得できたＴＳパケット列であり、区間１のデータはロストしたとする。図１２（ａ）はタイムマップであり、区間１が不連続区間としてＮ＋１番目のエントリに登録される。不連続区間を示すエントリの開始時刻（図中の表示時刻）としては、不連続区間の直前に受信したＰＣＲを伝送するＴＳパケットにおけるＰＣＲ値、あるいは、直前に受信したビデオあるいはオーディオＡＵの表示時刻などを設定すればよい。また、エントリのアドレス情報については、無効とする、あるいは、直後のビデオあるいはオーディオエントリのアドレス情報と同一の値を設定できる。

図１３は、タイムマップのシンタックス例である。タイムマップは、オーディオとビデオを伝送するＴＳパケットのＰＩＤと、エントリデータから構成される。各フィールドのセマンティクスを以下に示す。

ＡｕｄｉｏＥｎｔｒｙＰｒｅｓｅｎｔ：オーディオのエントリが存在するかどうかを示すフラグ
ＡｕｄｉｏＰＩＤ：オーディオデータを伝送するＴＳパケットのＰＩＤ
ＶｉｄｅｏＥｎｔｒｙＰｒｅｓｅｎｔ：ビデオのエントリが存在するかどうかを示すフラグ
ＶｉｄｅｏＰＩＤ：ビデオデータを伝送するＴＳパケットのＰＩＤ
ＡｕｄｉｏＥｎｔｒｙ：オーディオのエントリであるかどうかを示すフラグ
Ｅｎｔｒｙｓｉｚｅ［ｉ］：ｉ番目エントリが指すランダムアクセス可能なＡＵのサイズを示す情報
ＰＴＳ［ｉ］：ｉ番目エントリが指すランダムアクセス可能なＡＵの表示時刻
ＳＰＮ［ｉ］：ｉ番目エントリが指すランダムアクセス可能なＡＵのアドレス（ＡＵの先頭バイトを含むＴＳパケットのインデックス番号）
ここで、各エントリはＰＴＳの昇順に格納される。

ＳＰＮ［ｉ］を参照してＴＳパケット列の途中に飛び込んだ後は、ＡｕｄｉｏＰＩＤとＶｉｄｅｏＰＩＤを参照して、それぞれオーディオとビデオのＴＳパケットを分離できるようにＡｕｄｉｏＰＩＤとＶｉｄｅｏＰＩＤを格納しているが、他のフィールドからＰＩＤを取得できれば、これらのフィールドはタイムマップに格納しなくてもよい。また、ＡｕｄｉｏＥｎｔｒｙＰｒｅｓｅｎｔ、ＶｉｄｅｏＥｎｔｒｙＰｒｅｓｅｎｔを使わずに、ＡｕｄｉｏＰＩＤ、ＶｉｄｅｏＰＩＤにおいて、それぞれのエントリが存在しないことを示す特別な値を設定してもよい。なお、ＥｎｔｒｙＳｉｚｅにより示されるＡＵのサイズは、ＡＵのサイズを直接示さずに、ＡＵを格納するＰＥＳパケットなどＡＵを含むデータ単位のサイズを示してもよい。

なお、作成されるタイムマップは、ビデオと不連続区間のエントリのみから構成されることにしてもよいし、記録開始時点において取得したオーディオについてのみオーディオのエントリを許容し、以降はビデオと不連続区間のエントリのみとしてもよい。さらには、記録開始時点において取得したオーディオについてのみオーディオのエントリを許容し、以降はビデオのエントリのみとしてもよい。また、これらのルールを示す情報をタイムマップ内に記述してもよい。例えば、オーディオのエントリにおいて、当該エントリから再生開始した場合には再生開始からしばらくの間ビデオが再生できない旨を示すことができる。

さらに、上記のタイムマップはビデオのエントリを基本としたが、オーディオのエントリを基本として、オーディオが取得できない場合にビデオのエントリを作成してもよい。

また、オーディオとビデオのタイムマップをそれぞれ独立したタイムマップとしてもよい。例えば、オーディオのタイムマップは、記録開始時点において取得したオーディオについてのみ示してもよいし、ランダムアクセス可能なビデオのＡＵが取得できなかった場合のみエントリを作成するなどビデオとオーディオが混在するタイムマップと同等の条件によりエントリを登録できる。

また、オーディオ、ビデオのストリームは各１本に限定されるものではなく、それぞれ複数のストリームであってもよい。各ストリームのＴＳパケットは、ＰＩＤに基づいて分離できる。さらに、テキスト字幕などオーディオ、ビデオ以外のストリームにも対応できる。

なお、記録するオーディオあるいはビデオのストリームの多重化方式はＴＳに限定されるものではなく、ＲＴＰ（ＲｅａｌＴｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）など他の多重化方式であってもよいし、符号化ストリームを直接記録してもよい。

次に、ＴＳパケット取得手段１０１に入力されるＴＳパケット列ＴＳＰｉｎは、放送データに限定されるものではなく、通信ネットワーク経由で受信してもよいし、自己録など機器内で生成したＴＳパケットであってもよい。

なお、タイムマップのシンタックスが異なる記録メディア間で多重化データを移動してもよい。具体的には、多重化装置１０００で生成した多重化データを、タイムマップ内にオーディオとビデオのエントリが混在できない記録メディアに記録する際には、タイムマップからオーディオのエントリを削除して、ビデオのエントリのみから構成されるタイムマップを再構築する。また、オーディオのエントリのみを抜き出して、オーディオ用のタイムマップも生成し、ビデオとオーディオのタイムマップをそれぞれ独立に構築してもよい。このとき、基本的にはビデオのタイムマップに基づいて再生を行い、ビデオのランダムアクセスポイントの間隔が長い区間においては、オーディオのタイムマップを参照してオーディオにアクセス可能であればオーディオを再生するなどしてもよい。また、タイムマップ内に不連続区間を記録した場合には、移動先のメディアにおいて、タイムマップとは別に不連続区間を示してもよい。例えば、ＢＤにおいてＴＳパケットの到着時刻であるＡＴＣ（ＡｒｒｉｖａｌＴｉｍｅＣｌｏｃｋ）が連続した区間を示すＳｅｑｕｅｎｃｅＩｎｆｏと呼ばれるマップを利用できる。ここでは、ＡＴＣシーケンスと呼ばれるＡＴＣが連続した区間の間のギャップを、不連続区間とみなすことができる。アプリケーションの一例として、携帯電話やカムコーダにおいてＳＤカードに記録したデータを、ＢＤなどの光ディスクに保存することができる。また、移動先において、ビデオのタイムマップの先頭エントリよりも前に、オーディオデータが存在することを示してもよい。例えば、タイムマップはランダムアクセス時に使用するものとすれば、プレイリストなどにより示される再生区間の開始時刻としては、オーディオデータの再生開始時刻を指定できる。このとき、先頭オーディオデータのアドレス情報が示されなければＴＳパケット列の先頭から復号を開始すればよいし、また、先頭オーディオデータのアドレス情報を別途示してもよい。プレイリストにより示される再生開始時刻がタイムマップの先頭エントリの再生時刻よりも前であれば、オーディオデータが前に存在するとみなしてＴＳパケット列の先頭から再生開始してもよい。

さらに、タイムマップにおいてＰＣＲが不連続となる位置を示してもよい。例えば、Ｎ番目のエントリにおいて、Ｎ番目とＮ＋１番目のエントリの間にＰＣＲの不連続点が含まれることを示すフラグを追加してもよい。再生時には、Ｎ＋１番目のランダムアクセスポイントまでの間に、ＰＣＲ、あるいはＰＣＲと同期して設定されるＰＥＳヘッダの復号時刻や表示時刻にギャップが発生した際には、ＰＣＲの不連続に起因すると判定して、所定の方法により、適切な復号時刻と表示時刻を算出できる。なお、ＰＣＲのクロックが切替るＴＳパケットを特定するための情報をエントリ内に示してもよいし、不連続点においてエントリを分けてもよい。ＰＣＲの不連続情報についても、ＢＤにおけるＳｅｑｕｅｎｃｅＩｎｆｏにおいてＰＣＲの連続区間を示すＳＴＣシーケンスにマッピング可能である。

また、タイムマップは、取得できなかったＡＶデータを再送要求する際にも使うことができる。例えば、オーディオのエントリが存在する際には、当該区間のビデオデータが取得できなかったと判定し、ビデオが取得できなかった区間を含むＴＳパケット列を再送要求する。あるいは、タイムマップに不連続区間を示すエントリが含まれれば、同様に、当該区間のＡＶデータを含むＴＳパケット列を再送要求してもよい。なお、再送時には、例えばインターネットなどの通信ネットワークを使用できるが、このときは、ＴＳパケットを直接ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）上で伝送してもよいし、ＲＴＰやＨＴＴＰ（ＨｙｐｅｒＴｅｘｔＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）など他のプロトコルで伝送可能な形式に変換して再送してもよい。さらに、再送の要求先としては、放送や通信の事業者が管理するサーバでもよいし、家庭内のディスクレコーダであってもよい。これらサーバやディスクレコーダにおいては、任意のチャネルについての再送要求に対応できるよう、複数のチャネルを録画しておくことが望ましい。

（実施の形態２）
本発明の実施の形態２に係る再生装置２０００について説明する。

再生装置２０００は、実施の形態１の多重化装置１０００により生成した多重化データを再生するものであり、タイムマップを解析してビデオとオーディオのいずれのエントリを参照するか判定する機能を有する。つまり、オーディオのみが再生可能な区間から飛び込み再生を開始する、ビデオのエントリのみを選択的に参照してビデオのＩピクチャのみを高速再生できるなど、パケットロスの発生する環境下で記録したデータに対して自由度の高い再生を実現できる。

図１４は、再生装置２０００の構成を示すブロック図である。再生装置２０００は、タイムマップ分離手段２００１、タイムマップメモリ２００２、タイムマップ解析手段２００３、ＴＳ分離手段２００４、ＡＵ分離手段２００５、および復号表示手段２００６とを備え、タイムマップ解析手段２００３は更に、ＡＶ判定手段２００３１とアクセス情報取得手段２００３２とから構成される。

タイムマップ分離手段２００１は、入力データｄＩｎからタイムマップを分離して、タイムマップのデータＴＭｄａｔをタイムマップメモリ２００２に格納する。タイムマップ解析手段２００３は、指定された再生方法Ｍｏｄｅに基づき、タイムマップ解析してアクセス先を決定する。具体的には、ＡＶ判定手段２００３１がタイムマップメモリ２００２からタイムマップデータＴＭｉｎｆを取得して、参照するエントリを決定し、決定したエントリを指定する情報Ｐｅｎｔをアクセス情報取得手段２００３２に入力する。再生開始方法Ｍｏｄｅは、コンテンツの先頭から順に再生する通常再生、コンテンツの途中から再生開始する飛び込み再生、あるいはランダムアクセス単位の先頭ＡＵのみを順に再生するなどの高速再生、などを含み、飛び込み再生時などにおいては再生開始時刻も再生方法Ｍｏｄｅに含められる。また、プレイリストなど再生区間や順序を管理する情報に基づいて再生方法Ｍｏｄｅを決定してもよい。アクセス情報取得手段２００３２は、エントリ指定情報Ｐｅｎｔにより指定されたエントリを解析して再生対象データのアドレス情報Ａｃｓを取得し、ＴＳ分離手段２００４に入力する。ＴＳ分離手段２００４は、入力データｄａｔＩｎにおいてアドレス情報Ａｃｓが示すアドレス位置から開始するＴＳパケットデータＴＳｄａｔから順に、ＡＵ分離手段２００５に入力する。ＡＵ分離手段２００５は、ＴＳパケットデータＴＳｄａｔからビデオあるいはオーディオのＡＵデータであるＡＵdatを分離して復号表示手段２００６に入力する。復号表示手段２００６は、ＡＵｄａｔを復号し、オーディオとビデオを同期再生する。また、同期再生に必要な情報は、ＰＥＳパケットのヘッダやＡＵデータの解析結果、あるいはタイムマップなどから取得して、別途復号表示手段２００６に通知される。

図１５は、再生装置２０００の動作を示すフローチャートである。ここでは、主に飛び混み再生時の動作について説明する。まず、ステップＳ２００１では、指定された再生開始時刻ｓＰＴＳを取得する。次に、ステップＳ２００２では、タイムマップを解析して、再生開始時刻ｓＰＴＳとの差分値が所定の閾値Ｕ１以下であるビデオのランダムアクセスポイントが存在するかどうか判定し、存在すればステップＳ２００４に進み、存在しなければステップＳ２００３に進む。ここで、閾値Ｕ１はビデオのランダムアクセスポイントの間隔などに基づいて設定される。ステップＳ２００３では、再生開始時刻ｓＰＴＳとの差分値が所定の閾値Ｕ１以下であるオーディオのランダムアクセスポイントが存在するかどうか判定し、存在すればステップＳ２００５に進み、存在しなければステップＳ２００４に進む。ステップＳ２００４では、表示時刻がｓＰＴＳに最も近いビデオのランダムアクセスポイントから再生開始すると決定し、ステップＳ２００６に進む。また、ステップＳ２００５では、表示時刻がｓＰＴＳに最も近いオーディオのランダムアクセスポイントから再生開始すると決定し、ステップＳ２００６に進む。最後に、ステップＳ２００６では、ステップＳ２００４あるいはステップＳ２００５で決定したランダムアクセスポイントのアドレス情報を取得して、データを取得して再生開始する。

なお、例えばタイムマップの先頭がオーディオのエントリであるなど、開始部分がオーディオのみ再生可能なコンテンツを先頭から再生する際には、ビデオが再生可能となるまでの区間は、代表画像を表示してもよい。例えば、サムネイルとして登録された画像、あるいは、タイムマップにおけるビデオの先頭エントリから指されるＡＵなどを表示する。
なお、タイムマップにおいてオーディオのエントリが存在するかどうかを示す情報が提供される際には、タイムマップのエントリをサーチせずに、ステップＳ２００３の判定結果が常にＮＯであるとみなして動作してもよい。また、オーディオのエントリが存在しなければ、ステップＳ２００４のみから、再生を開始するランダムアクセスポイントを決定してもよい。例えば、図１３に示したタイムマップにおいては、ＡｕｄｉｏＥｎｔｒｙＰｒｅｓｅｎｔが０にセットされていればオーディオのエントリはタイムマップに存在しないことが示される。

なお、図１６のフローチャートに示すように、表示時刻が再生開始時刻ｓＰＴＳに最も近いビデオのランダムアクセスポイントと、表示時刻が再生開始時刻ｓＰＴＳに最も近いオーディオのランダムアクセスポイントの表示時刻を比較して（ステップＳ２０１６）、表示時刻が再生開始時刻ｓＰＴＳに近いほうから再生開始してもよい。タイムマップのエントリが開始時刻の昇順に格納されていれば、開始時刻が再生開始時刻ｓＴＰＳの直前、直後であるエントリの開始時刻を比較すればよい。

また、表示時刻が再生開始時刻ｓＰＴＳと同一あるいは以降であるランダムアクセスポイントを再生開始の対象としてもよいし、再生開始時刻ｓＰＴＳと同一あるいは以前のランダムアクセスポイントを再生開始の対象としてもよい。

また、ユーザによる外部設定、端末による設定、あるいはコンテンツ内に存在する制限情報などにより、飛び込み再生などにおけるランダムアクセス時にオーディオのみが再生可能である位置から再生開始するかどうかが指示される際には、指示に基づいて再生動作を切り替えてもよい。具体的には、オーディオのみが再生可能な位置から再生してもよいと指示される場合にのみ、オーディオのエントリを有効とする。例えば、図３２に示したタイムマップにおいては、ＡｕｄｉｏＥｎｔｒｙが０にセットされたエントリ（ビデオのエントリ）のみを解析し、１にセットされたエントリ（オーディオのエントリ）は読み飛ばす。なお、タイムマップを参照してコンテンツの先頭から再生開始する際にも、同様に動作してよい。

次に、高速再生時には、ランダムアクセスポイントとなるＡＵのみを順に再生することがある。通常、ランダムアクセスポイントはＭＰＥＧ−４ＡＶＣであればＩＤＲピクチャあるいはＩピクチャ、ＭＰＥＧ−２ＶｉｄｅｏやＭＰＥＧ−４ＶｉｓｕａｌであればＩピクチャであるため、これらＩピクチャあるいはＩＤＲピクチャを順に再生することになる。このとき、ビデオが再生できるランダムアクセスポイントを順に再生することが望ましいため、ビデオのエントリのみをサーチして順に再生できる。

なお、タイムマップにおいて不連続区間が示される際には、エントリ内の識別情報により不連続区間のエントリを解釈し、不連続区間は再生せずに、次エントリの先頭から再生してもよい。

また、オーディオのみが再生可能である位置から再生開始する際に、ランダムアクセス可能なビデオのＡＵを取得できるまでの間は、所定の動作に基づいて画像を表示してもよい。例えば、再生開始時刻が直前あるいは直後であるビデオのランダムアクセスポイントの復号結果、あるいはコンテンツのサムネイル画像を表示できる。また、ビデオが表示できない旨を示すメッセージや画像を表示してもよい。なお、より一般的に、いずれかのメディアが再生できない区間において、所定の動作を行うことにしてもよい。

（実施の形態３）
上記各実施の形態で示した逆多重化装置における逆多重化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１７は、上記各実施の形態の逆多重化装置における逆多重化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１７(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１７(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１７(c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記各実施の形態の逆多重化装置における逆多重化方法を実現する上記各実施の形態の逆多重化装置における逆多重化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。さらに、携帯電話やディスクレコーダなどの機器においても同様に実施できることは言うまでもない。

本発明に係る多重化装置および再生装置は、放送や通信などパケットロスによるデータの欠落が発生する環境において受信したストリーム記録、再生する機器全般に適用することができ、特に、携帯端末におけるＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）カードへの記録や再生に有効である。

ＭＰＥＧ−４ＡＶＣにおけるＡＵのデータ構造を示す図ＰＥＳパケット、およびＴＳパケットのデータ構造を示す図従来のタイムマップの説明図従来の多重化装置１００の構成を示すブロック図従来の多重化装置１００の動作を示すフローチャート従来の多重化装置１００の第１の課題の説明図従来の多重化装置１００の第２の課題の説明図本発明の多重化装置１０００の構成を示すブロック図本発明の多重化装置１０００の動作を示すフローチャート本発明の多重化装置１０００により生成したタイムマップの第１の例本発明の多重化装置１０００により生成したタイムマップの第２の例本発明の多重化装置１０００により生成したタイムマップの第３の例本発明の多重化装置１０００により生成したタイムマップのシンタックス例本発明の再生装置２０００の構成を示すブロック図本発明の再生装置２０００の動作を示す第１のフローチャート本発明の再生装置２０００の動作を示す第２のフローチャート上記各実施の形態の逆多重化装置における逆多重化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図

符号の説明

１０１ＴＳパケット取得手段
１０２ＴＳパケットフィルタ手段
１０３Ｖ解析手段
１０４タイムマップ作成手段
１０５多重化手段

Claims

パケット化された動画像及び音声の符号化データとその管理情報とを多重化する多重化方法であって、
前記管理情報は、ランダムアクセス可能な前記動画像のピクチャあるいは前記音声についての再生情報をエントリとして持つテーブルを含み、
前記再生情報は、動画像あるいは音声のどちらについてのエントリであるかを示す識別情報と、ランダムアクセス可能な前記動画像のピクチャあるいは音声についての再生時刻情報、およびストリーム内での開始アドレス情報を少なくとも含み、
前記多重化方法は、
パケットロスが発生する環境下において、前記パケット列を受信して記録するパケット取得ステップと、
前記動画像が格納されたパケットから前記動画像のピクチャを分離して解析し、前記ピクチャの再生時刻と、前記ピクチャがランダムアクセス可能であるかどうかを決定する動画像解析ステップと、
前記ランダムアクセス可能な動画像のピクチャの前記再生情報を前記エントリとして登録する動画像エントリ登録ステップと、
前記受信した動画像における連続する２枚のランダムアクセス可能なピクチャの再生時刻の間隔が所定の閾値より大きい場合には、前記音声の前記再生情報を前記エントリとして登録する音声エントリ登録ステップと、を含む
ことを特徴とする多重化方法。
前記音声エントリ登録ステップでは、前記受信した前記動画像における連続する２枚のランダムアクセス可能なピクチャの先頭バイトを含む前記パケット間に含まれる前記パケット列の個数が一定数より多い場合、再生時刻の間隔が所定の閾値より大きいと判定し、前記音声の前記再生情報を前記エントリとして登録する
ことを特徴とする請求項１記載の多重化方法。
前記所定の閾値は、前記パケット列の全てのパケットを受信できた場合の、前記動画像におけるランダムアクセス可能なピクチャの再生時刻の間隔に基づいて設定する
ことを特徴とする請求項１記載の多重化方法。
前記音声エントリ登録ステップでは、さらに、記録を開始してから、前記動画像のランダムアクセス可能なピクチャを最初に受信するまでの間に、前記音声のパケットを受信した場合、前記音声の前記再生情報を前記エントリとして登録する
ことを特徴とする請求項１記載の多重化方法。
請求項１記載の多重化方法により生成した多重化データを再生する再生方法であって、
再生開始時刻や再生方法などを含む再生命令を発行する命令発行ステップと、
前記発行された命令に従って、前記テーブルを解釈し、ランダムアクセス先を決定する決定ステップと、
前記決定されたランダムアクセス先からデータを取得し、再生を開始する再生ステップと、を含む
ことを特徴とする再生方法。
前記決定ステップにおいては、前記エントリに登録されたランダムアクセス可能な前記動画像あるいは前記音声のうち、前記再生開始時刻に最も近い前記動画像あるいは前記音声から再生開始する
ことを特徴とする請求項５記載の再生方法。
前記決定ステップにおいては、前記識別情報に基づいて前記動画像のエントリのみを選択し、前記ランダムアクセス可能な動画像のうち、前記再生開始時刻に最も近い前記動画像から再生開始する
ことを特徴とする請求項５記載の再生方法。
パケット化された動画像及び音声の符号化データとその管理情報とを多重化する多重化装置であって、
前記管理情報は、ランダムアクセス可能な前記動画像のピクチャあるいは前記音声についての再生情報をエントリとして持つテーブルを含み、
前記再生情報は、動画像あるいは音声のどちらについてのエントリであるかを示す識別情報と、ランダムアクセス可能な前記動画像のピクチャあるいは音声についての再生時刻情報、およびストリーム内での開始アドレス情報を少なくとも含み、
パケットロスが発生する環境下において、前記パケット列を受信して記録するパケット取得手段と、
前記動画像が格納されたパケットから前記動画像のピクチャを分離して解析し、前記ピクチャの再生時刻と、前記ピクチャがランダムアクセス可能であるかどうかを決定する動画像解析手段と、
前記ランダムアクセス可能な動画像のピクチャの前記再生情報を前記エントリとして登録する動画像エントリ登録手段と、
前記受信した動画像における連続する２枚のランダムアクセス可能なピクチャの再生時刻の間隔が所定の閾値より大きい場合には、前記音声の前記再生情報を前記エントリとして登録する音声エントリ登録手段と、を備える
ことを特徴とする多重化装置。
請求項８記載の多重化装置により生成した多重化データを再生する再生装置であって、
再生開始時刻や再生方法などを含む再生命令を発行する命令発行手段と、
前記発行された命令に従って、前記テーブルを解釈し、ランダムアクセス先を決定する決定手段と、
前記決定されたランダムアクセス先からデータを取得し、再生を開始する再生手段と、
を備えることを特徴とする再生装置。