JP4309940B2 - ストリーム多重装置、ストリーム多重方法および記録媒体 - Google Patents

Description

本発明は、符号化された映像ストリームと音声ストリームを多重するストリーム多重装置、ストリーム多重方法およびこの多重されたストリームを記録する記録媒体に関する。

青色レーザを用いてコンテンツを蓄積したＨＤ ＤＶＤなどの記録媒体には、ユーザの選択によりストーリの途中から異なるシーンに分岐可能なように、あらかじめ分岐する（選択的に再生される）複数のシーンが記録されたものがある。

たとえば、第１のシーン、第２のシーンおよび第３のシーンの順に再生されるストーリに対し、第１のシーンの次に第４のシーンが再生され、次に第３のシーンが再生されるストーリが作成されるためには、記録媒体には、あらかじめ、第１のシーンおよび第３のシーンに加え、第２のシーンおよび第４のシーンを選択的に再生可能なシーンとして記録しておく。

この場合、第２のシーンおよび第４のシーンの先頭のデータは、第１のシーンの最後のデータと合流可能に構成される。また、第２のシーンおよび第４のシーンの最後のデータは、第３のシーンの先頭のデータと合流可能に構成される。しかし、一般に、合流のために２つのシーンが接続されると、合流するシーンの最後と合流されるシーンの先頭との間に、音声ギャップが生じてしまう。

従来、異なるシーンから合流されるシーン（上記例では第３のシーン）がある場合に、いずれのシーンから合流が行われてもシームレスな再生が行えるように各シーンのシステムストリームを多重するための種々のストリーム多重技術が提案されている（例えば特許文献１参照）。

一般に、選択的に再生されるシーン（上記例では第２および第４のシーン）のシステムストリームの最後と、合流されるシステムストリームの最初との間に生じる音声ギャップは、合流されるシステムストリームに内包される。このため、合流されるシーンには、選択されるシーンによって、各シーンとの合流に備えて異なるギャップを内包しておく必要がある。これは、合流されるシーンとして、選択的に再生されるシーンと同じ数のシーンをあらかじめ用意しておく必要があることを意味する。

一方、特許文献１に提案されている技術は、合流されるシステムストリームの先頭の一部を、合流するシステムストリーム（選択的に再生されるシステムストリーム）の最後にあらかじめ取り込んでおくようにストリーム多重を行う技術である。このため、合流するシステムストリームの最後と合流されるシステムストリームの最初との間に生じる音声ギャップは、あらかじめ、合流するシステムストリームに取り込まれる。したがって、特許文献１に提案されている技術によれば、合流されるシステムストリームを複数用意することなくシームレスな再生を行うことができる。
特開２００３−１５３２０６号公報

しかし、特許文献１に提案されている技術では、あらかじめ合流されるシステムストリームの先頭の一部と全く同じデータを、選択的に再生されるシステムストリームの全てに取り込んでおく必要がある。このため、従来の技術で多重されたストリームは、データのサイズが大きくなってしまう。

また、選択的に再生されるシステムストリームが他のシステムストリームから合流される場合には、この合流により生じるギャップを含め、選択的に再生されるシステムストリームに２箇所のギャップが存在してしまうことになる。この場合、選択的に再生されるシステムストリームごとに２箇所ずつ音声ギャップができてしまい、音声ギャップの位置ごとに再生時の音が途切れてしまう。

さらに、従来の技術では、選択的に再生される複数のシーンから、選択的に再生される複数のシーンへ接続するストーリ構成には、対応することができない。

本発明は、上述した事情を考慮してなされたもので、一部のシステムストリームを共有する複数のストーリのそれぞれを、冗長なデータを持つことなく簡単にシームレスに再生することができるストリーム多重装置、ストリーム多重方法および記録媒体を提供することを目的とする。

本発明に係るストリーム多重装置は、上述した課題を解決するために、符号化された映像ストリームと音声ストリームを１つのシステムストリーム上に多重化するストリーム多重装置であって、前記映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加する映像パケット化手段と、前記音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加する音声パケット化手段と、前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するパケット多重化手段と、前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御することにより、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御する多重化制御手段と、を備え、前記多重化制御手段は、１つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群、およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群を多重化する際、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一となるように、前記第１および第２のシステムストリーム群を構成する各システムストリームの音声ストリームのパケット化開始位置、パケット化終了位置および前記音声復号同期情報を制御することを特徴とするものである。

また、本発明に係るストリーム多重方法は、上述した課題を解決するために、符号化された映像ストリームと音声ストリームを１つのシステムストリーム上に多重化するストリーム多重方法であって、前記映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加するステップと、前記音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加するステップと、前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するステップと、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップと、を備え、前記多重化順序と多重化位置を制御するステップは、１つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群を多重化する際、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一となるように、前記第１および第２のシステムストリーム群を構成する各システムストリームの音声ストリームのパケット化開始位置、パケット化終了位置および前記音声復号同期情報を制御するステップである、ことを特徴とする方法である。

一方、本発明に係る記録媒体は、上述した課題を解決するために、映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加する映像パケット化手段と、音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加する音声パケット化手段と、前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するパケット多重化手段と、前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御することにより、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御する多重化制御手段と、によって符号化された前記映像ストリームと前記音声ストリームが多重化された前記システムストリームのデータ構造を記録した記録媒体であって、１つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群、およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群は、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一であるように多重化されたことを特徴とする前記システムストリームのデータ構造を記録した記録媒体である。

本発明に係るストリーム多重装置、ストリーム多重方法および記録媒体によれば、一部のシステムストリームを共有する複数のストーリのそれぞれを、冗長なデータを持つことなく簡単にシームレスに再生することができる。

本発明に係るストリーム多重装置、ストリーム多重方法および記録媒体の実施の形態について、添付図面を参照して説明する。

（１）ストリーム多重装置の構成
図１は、本発明の一実施形態に係るストリーム多重装置および記録媒体の構成例を示す図である。

ストリーム多重装置１０は、符号化された映像ストリームおよび音声ストリームを多重化してシステムストリームを生成し、このシステムストリームを記録媒体（ＤＶＤディスク１）に記録する処理を実行するものである。

映像ストリーム記録部１１には、符号化された映像ストリームと、その映像ストリームの再生時刻情報が記録されている。

音声ストリーム記録部１２には、符号化された音声ストリームと、その音声ストリームの再生時刻情報が記録されている。

タイトル構成情報記録部１３には、個別シーン構成情報とシーン接続情報が記録される。個別シーン情報は、そのシーンを構成する映像と音声の情報、すなわち映像ストリーム記録部に記録されているどの映像ストリームとどの音声ストリームのどの時刻の部分を使うのか、という情報である。またシーン接続情報は、シーンＢ１とシーンＢ２は選択的に再生され、かつシーンＣに連続してシームレスに再生される、等の接続関係である。

多重化制御部１４は、この個別シーン構成情報およびシーン接続情報にもとづいて、各シーンに対応する映像ストリームおよび音声ストリームのパケット化開始位置（開始フレーム）、パケット化終了位置（終了フレーム）並びに映音同期（リップシンク）を決定し、映像パケット化部１５、音声パケット化部１６、およびパケット多重部１７を制御する。

制御情報記録部１８には、多重化制御部１４が算出した各種パラメータが記録される。

映像パケット化部１５は、多重化制御部１４からのパケット化制御情報に基づき、映像ストリーム記録部１１より、選択されたストリームのうち、開始フレームから所定のパケット長サイズ分のデータを順次読み出し、このパケットデータにＤＴＳ、ＰＴＳといった同期情報を含むパケットヘッダを付加して映像パケットを生成する。

音声パケット化部１６は、多重化制御部１４からのパケット化制御情報に基づき、音声ストリーム記録部１２より、選択されたストリームのうち、開始フレームから所定のパケット長サイズ分のデータを順次読み出し、このパケットデータにＤＴＳ、ＰＴＳといった同期情報を含むパケットヘッダを付加して音声パケットを生成する。

パケット多重部１７は、映像パケット化部１５および音声パケット化部１６によりそれぞれ生成された映像パケットおよび音声パケットを、多重化制御部１４からの多重位置制御情報に基づき選択し、システムストリーム上の多重時刻を示すＳＣＲを含むパックヘッダを付加して、システムストリーム記録部１９に記録する。

生成されたシステムストリームは、ディスク記録部２０によって、誤り訂正符号の付加等、蓄積メディアに依存した形式に変換され、記録媒体としてのＤＶＤディスク１に記録される。

（２）ＭＰＥＧ２／ＰＳ
図２は、ＭＰＥＧ２／ＰＳのデータ構造をパックレイヤ及びパケットレイヤの階層に分けて示す図である。図２に示すように、データはパックの単位で構成される。パックはパックヘッダ、システムヘッダ及びパケットからなる。パックヘッダにはパックスタートコード、ＳＣＲ、システムストリームのビットレート等が記述されている。

システムヘッダにはストリーム全体のパラメータが記述されている。このシステムヘッダは少なくとも最初のパックに付加される。またパケットはパケットヘッダと１つの単位ストリームのパケットデータから構成される。パケットヘッダにはパケットスタートコード、パケット長、ＰＴＳ、ＤＴＳ等が記述されている。

図３はＭＰＥＧ２／ＰＳにおいてその技術仕様を定めるために用いる、ＳＴＤ(System Target Decoder）と呼ばれる理想復号器の構成を示す図である。ＭＰＥＧ２／ＰＳ規格では、このＳＴＤを定義することにより、同期やバッファ管理を規定している。このＳＴＤの動作について簡単に説明する。

システムストリームの第ｉ番目のバイトＭ（ｉ）は、時刻ｔｍ（ｉ）にＳＴＤに入力される。この時刻ｔｍ（ｉ）は、そのバイトが属するパックのパックヘッダに記述されるＳＣＲ、すなわちＳＣＲフィールドの最終バイトＭ（ｉ´）がＳＴＤに入力される時刻ｔｍ（ｉ´）とビットレートから算出することができる。

また、ＳＴＤに入力されたシステムストリーム中の単位ストリームｎのパケットデータは、入力バッファＢｎに瞬時に入力される。この入力バッファＢｎの大きさはシンタックス上に記述されている。入力バッファＢｎからは、バッファ中に最も長い期間蓄積されている、単位ストスリーム中ｊ番目のアクセスユニットＡｎ（ｊ）が、時刻ｔｄｎ（ｊ）において瞬時に除去されるとともに、デコーダＤｎにより瞬時にデコードされて１つのｋ番目に再現されるプレゼンテーションユニットＰｎ（ｋ）として出力される。

ここでアクセスユニットとは、例えば、ＩＳＯ／ＩＥＣ １１１７２−２ により規格化されているＭＰＥＧ１ビデオあるいは、ＩＳＯ／ＩＥＣ １３８１８−２ により規格化されているＭＰＥＧ２ビデオの場合、Ｉ、Ｐ、Ｂピクチャであり、音声の場合、デコード最小単位である音声フレームである。

プレゼンテーションユニットＡｎ（ｋ）は、時刻ｔｐｎ（ｋ）において瞬時に再現される。この際、ストリームｎがＭＰＥＧビデオの場合、ＳＴＤより出力される前に順序再編用バッファＯｎによりＩまたはＰピクチャを遅延させることにより、アクセスユニット順からプレゼンテーションユニット順への順序入れ替えを行う。

前述のように、各パックのＳＣＲには、ＳＣＲフィールドの最終バイトのＳＴＤへの入力時刻ｔｍ（ｉ´）を記述し、各パケットのＰＴＳ、ＤＴＳには、それぞれ各パケット中の最初のアクセスユニットのデコード時刻ｔｄｎ（ｊ）及び再現時刻ｔｐｎ（ｋ）を記述する。このデコード時刻ｔｄｎ（ｊ）と再現時刻ｔｐｎ（ｋ）が同じ場合にはＤＴＳは省略できる。

以上のようにデコーダは、システムストリーム上に記述されている時刻情報に基づいてデコード、再現を行うことにより各ストリーム間の復号器における同期を確立することができる。

（３）ストリーム多重化
（３−１）概要
図４は、連続したシーンＡとシーンＢの映像信号である映像Ａと映像Ｂ、同じくシーンＡとシーンＢの音声信号である音声Ａ、音声Ｂを、それぞれ符号化して、パケット多重してシステムストリームＡ、システムストリームＢを生成する過程を示した図である。ここでは映像信号の符号方式としてはＭＰＥＧ２を、音声の符号化方式としてはＤｏｌｂｙ Ｄｉｇｉｔａｌ（登録商標）やｄｔｓ（登録商標）などの固定サンプル数のフレーム単位で符号化する符号化方式を例として用いている。

映像信号は１枚のピクチャ毎に符号化される。ＭＰＥＧ２では自分のピクチャ信号から符号化信号を生成するイントラ符号化方式を用いたＩピクチャと、自分のピクチャ信号と、参照ピクチャ信号の差分を符号化する予測符号化を用いるＰピクチャ、Ｂピクチャの３種類がある。予測符号化を用いるＰピクチャとＢピクチャのうち、Ｐピクチャは自分より前の時刻に再生されるＩピクチャまたはＰピクチャ（前方参照ピクチャ）を参照ピクチャ信号とするものである。一方のＢピクチャは前方参照ピクチャに加え、自分より後に再生されるＩまたはＰピクチャ（後方参照ピクチャ）も参照ピクチャ信号として用いるものである。

このＢピクチャのデコードを行うためには、参照ピクチャ信号を得るために後方参照ピクチャのデコードが終了している必要がある。このため符号化された映像ストリームでは、Ｂピクチャで参照される後方のＩピクチャ、Ｐピクチャの順序が、Ｂピクチャよりも前になるように順序再編が行われる。

図４において、符号化映像ストリームはオリジナル映像信号を符号化して得られた符号化データである。ここで例えば３番目のピクチャＰｉｃ３の符号化データＩ３が、最初のピクチャデータＰｉｃ１の符号化データＢ１の前に配置されているのは、この後方参照のための順序再編によるものである。

一方、音声信号は固定サンプル数のフレーム単位で符号化される。図４において、符号化音声ストリームはオリジナル音声信号を符号化して得られた符号化データである。音声信号は映像と異なり順序再編は行われない。

次に、映像パケット化部１５および音声パケット化部１６は、符号化して得られた符号化映像ストリームおよび符号化音声ストリームを、それぞれ所定長のデータサイズごとにパケット分割する（図４の「映像パケット分割」参照）。例えばＤＶＤ−Ｖｉｄｅｏでは１パケットあたりのデータ長は約２ｋバイトである。

このようにパケット分割されたデータを単位として、パケット多重部は、１本のシステムストリームに多重する（図４の「パケット多重化」参照）。パケットの多重順序ならびに多重時刻（多重位置制御情報）は、各パケットのデコーダへの転送時刻がデコード開始時刻であるＤＴＳ以前となるよう、各パケットの転送時刻が前後しないよう、またその転送時刻が重ならないよう、多重化制御部１４により決定される。

また、パケット多重する際、各パケットデータには、前述のパックヘッダならびにパケットヘッダを付加する。パックヘッダには、そのパケットの多重化時刻、すなわちそのパケットデータのデコーダへの転送時刻としてＳＣＲを記述する。パケットヘッダには、そのパケット中のアクセスユニットのデコード開始時刻としてＤＴＳを、再生時刻としてＰＴＳを記述する。これによりシステムストリーム中に多重化された映像ストリームと音声ストリームの再生同期を制御することができる。

図４のシステムストリームＡとシステムストリームＢは、シーンＡとシーンＢそれぞれに対するシステムストリーム化する場合を示している。ＤＶＤ−ＶｉｄｅｏやＨＤ ＤＶＤ−Ｖｉｄｅｏ規格ではシステムストリームは映像フレームを単位として分割される。

映像符号化の際には通常順序再編が行われ、ＩピクチャやＰピクチャは再生時刻よりも数フレーム前に再生されるＢピクチャやＰピクチャの前に、参照ピクチャとしてデコードが完了している必要があるため、自ピクチャの再生時刻の数フレーム前に多重することとなる。

一方、音声に関しては、自音声フレームの再生時刻までにデコードが完了すればよく、また入力バッファのサイズも映像にくらべ小さいため、自音声フレームの再生時刻以前の近い時刻に多重することとなる。

このため、再生シーンＡの音声ストリームの最後尾の一部は、シーンＢのシステムストリームの先頭部分に回り込んで多重化されることになる。

なお、ＤＶＤ−ＶｉｄｅｏやＨＤ ＤＶＤ−Ｖｉｄｅｏ規格では（以降両者を総称してＤＶＤ規格と呼ぶ）、ＳＴＤを拡張したＥ−ＳＴＤ（Ｅｎｈａｎｃｅｄ ＳＴＤ Ｍｏｄｅｌ）が規定されている。これによれば前側のシステムストリームの最後尾と後続のシステムストリームの先頭のＳＣＲが不連続である場合でも、ＳＣＲが連続した一本のシステムストリームを再生するのと同様な再生を行えるようになっている。

（３−２）分岐ストーリを含むストリーム多重化
ＤＶＤでは、ユーザの選択によりストーリの途中から異なるストーリに分岐可能なタイトルが作成されることがある。

図５は、前後に共通のストリームをもつ複数のストリームの映音再生位相を概略的に示す説明図である。図５には、選択的に再生されるシーン群がシーンＢ１およびシーンＢ２を有し、シーンＡ→シーンＢ１→シーンＣが連続して再生されるストーリ１と、シーンＢ１の代わりにシーンＢ２を選択して再生されるストーリ２のいずれか一方を任意に再生可能な場合の例について示した。

シーン（図５のシーンＡおよびシーンＣ）を共有する複数のストーリを作成する場合、記録容量を節約するために、各シーンを１つのシステムストリームとして構成するとともに、共通のシーンのシステムストリームを複数のストーリで共用する。

各シーンにおける映像と音声の同期位相を保持しつつ、映像を途切れなく連続して再生しようとした場合、映像フレームと音声フレームの再生長が異なることから、シーンの長さがちょうど両者の公倍数とならない限り、各シーンの繋ぎ目には１音声フレーム未満のギャップが発生する。

ＤＶＤ規格ではこの映像と音声の再生時間の差異を、１音声フレーム長未満の音声のギャップを作ることにより吸収する。

例えば図５のGAP_A_B1は、シーンＡとシーンＢ１の映像を連続して再生した場合の音声ギャップを、GAP_A_B2はシーンＡとシーンＢ２の映像を連続して再生した場合の音声ギャップを示している。ＤＶＤではこの音声ギャップの開始時刻と長さを音声ギャップ情報として、システムストリーム中に多重されるＤＳＩパケットに記録することが求められる。ＤＶＤプレーヤはこの音声ギャップ情報を読んで、音声ギャップ開始時刻からギャップ長分の時間、音声のデコードを一時的に停止することで、映像と音声の再生同期を維持することができる。

図６は、図５に示した２つのストーリを、シーン毎にシステムストリーム化した場合の各システムストリーム構成の一例について、映像ストリームおよび音声ストリームの多重区間で示した図である。なお、図６においては、音声パケットについてはほぼディレイなく再生されると仮定して、再生時の音声ギャップもあわせて示している。

図６に示すように、シーンＡは、ストーリ１とストーリ２で全く同じ構成となっているため共用することができる。一方、ストーリ１のシーンＣに対するシステムストリームＣとストーリ２のシステムストリームＣ’とでは、先頭部分に回り込んでいる音声データの位相が異なり、また音声ギャップ長も異なるため、このままでは共用できない。

そこでＤＶＤ規格では、１つのシステムストリームあたり２箇所まで音声ギャップを持つことができる（２箇所の音声ギャップ情報をナビゲーションパケット中に記述できる）ようにしている。

図７は、図６に示した２つのストーリについて、選択的に再生されるシーン群のシステムストリームに２箇所の音声ギャップを含ませた様子を示す図である。

図７に示すように、Ｖｉｄｅｏ＿ＣとＡｕｄｉｏ＿Ｃの先頭の一部をシステムストリームＢ１とシステムストリームＢ２の両方の末尾に同じ長さだけ入れることにより、Ａｕｄｉｏ＿Ｂ１とＡｕｄｉｏ＿Ｂ２がシステムストリームCに回り込まないようにするとともに、ＧＡＰ＿Ｂ１＿ＣとＧＡＰ＿Ｂ２＿ＣはそれぞれシステムストリームＢ１、Ｂ２に取り込んでそれぞれシステムストリームＢ１、Ｂ２内の２つ目の音声ＧＡＰとする。これによりストーリ１のシステムストリームＣとストーリ２のシステムストリームＣは同じ構成となり、共用できるようになる。

しかし、選択的に再生されるシーン群を構成するシステムストリームに２箇所の音声ギャップを含ませる場合、データが冗長になり、ディスクの占有データサイズが大きくなってしまうという問題がある。たとえば、図７に示す例においては、システムストリームＢ１に多重されるＶｉｄｅｏ＿ＣとＡｕｄｉｏ＿Ｃデータと、全く同じデータが、選択的に再生されるシーン群を構成する他のシステムストリーム、すなわち図７ではシステムストリームＢ２にもパケット化されて多重されることになってしまう。

また選択的に再生されるシーン群を構成するシステムストリームごとに、２箇所ずつ音声ギャップができ、この音声ギャップの位置ごとに再生時の音が途切れてしまうという問題がある。

さらに、選択的に再生されるシーン群を構成するシステムストリームに２箇所の音声ギャップを含ませる方法では、選択的に再生される複数のシーンから、選択的に再生される複数のシーンにシームレスに接続されるタイトル構成をとることができない。

図８は、選択的に再生されるシーン群を３つ有し、各シーン群からそれぞれ１つ選択されたシーンを連続して再生するストーリ構成について説明するための図である。

例えば、図８のように、シーンＡ１とシーンＡ２、シーンＢ１とシーンＢ２、シーンＣ１とシーンＣ２が、それぞれから１つを選択して再生できるようなタイトル構成を作成しようとした場合、Ｖｉｄｅｏ＿Ｃ１とＶｉｄｅｏ＿Ｃ２の両方の先頭部分をＶｉｄｅｏ＿Ｂ１とＶｉｄｅｏ＿Ｂ２の後部に取り込むことはできないため、図７の方法によるシステムストリームの共用を行うことはできないという問題もある。

（４）動作（第１の実施形態）
図９は、第１実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図である。

図９には、選択的にシームレス再生されるシステムストリーム群としてシステムストリームＢ１およびＢ２により構成される第１のシステムストリーム群を有する場合の例について示した。つまり、図９は、図５に示したシーンＡ、シーンＢ１、シーンCが連続して再生されるストーリ１と、ストーリ１のシーンＢ１の代わりにシーンＢ２が再生されるストーリ２というタイトル構成を、本実施形態に係るストリーム多重方法によりシステムストリーム化したシステムストリームの構成と、そのシステムストリームが再生された際の映像と音声の再生タイミング（タイムチャート）を示した図である。

システムストリームＡには、シーンＡの映像信号を符号化して得られる映像フレームＡＶＦ１＿１〜ＡＶＦ＿１０と、シーンＡの音声信号を符号化して得られる音声フレームＡＡＦ＿１〜ＡＡＦ＿９がパケット多重される。ここでＡＡＦ＿１０〜ＡＡＦ＿１２については、前述のように映像符号化データは順序再編による復号遅延が大きいため、次に再生されるシステムストリームＢ１及びシステムストリームＢ２の映像の先頭部分に回り込んでパケット多重される。

システムストリームＢ１には、シーンＢ１の映像フレームＢ１ＶＦ１＿１〜Ｂ１ＶＦ＿８と、シーンＡ１の音声フレームＡＡＦ＿１０〜ＡＡＦ＿１２と、シーンＢ１の音声フレームＢ１ＡＦ＿１〜Ｂ１ＡＦ＿８がパケット多重される。

システムストリームＢ２には、シーンＢ２の映像フレームＢ２ＶＦ１＿１〜Ｂ２ＶＦ＿６と、シーンＡ１の音声フレームＡＡＦ＿１０〜ＡＡＦ＿１３と、シーンＢ２の音声フレームＡＡＦ＿１〜ＡＡＦ＿５がパケット多重される。

システムストリームＣには、シーンＣの映像フレームＣＶＦ１＿１〜ＣＶＦ＿nと、シーンＢ１の音声フレームＢ１ＡＦ＿９〜Ｂ１ＡＦ＿１１と、シーンＣの音声フレームＣＡＦ＿１〜ＣＡＦ＿mがパケット多重される。

本実施形態に係るストリーム多重装置１０は、選択的に再生される第１のシステムストリーム群について、１つのシステムストリーム（システムストリームＢ１）に多重された最後の映像フレームの再生終了時刻がＴ＿ＶＥ＿Ｂ１、最後の音声フレームの再生終了時刻がＴ＿ＡＥ＿Ｂ１、その差（映像再生終了時刻と音声再生終了時刻との差）がＥ＿ＤＩＦＦ＿Ｂ１であり、他のシステムストリーム（システムストリームＢ２）に多重された最後の映像フレームの再生終了時刻がＴ＿ＶＥ＿Ｂ２、最後の音声フレームの再生終了時刻がＴ＿ＡＥ＿Ｂ２、その差（映像再生終了時刻と音声再生終了時刻との差）がＥ＿ＤＩＦＦ＿Ｂ２とするとき、Ｅ＿ＤＩＦＦ＿Ｂ１とＥ＿ＤＩＦＦ＿Ｂ２の値が同じとなるように、音声パケットの復号、再生タイミング、すなわち各パケットヘッダのＤＴＳ、ＰＴＳの値を設定して多重する（図９のタイムチャート参照）。

これは本来の映像と音声の再生位相（リップシンク）を最大で１フレームずらす処理であるが、例えばＤＶＤで採用されている音声符号化方式であるＤｏｌｂｙ Ｄｉｇｉｔａｌ（登録商標）の１音声フレーム長は３２ｍｓｅｃである。通常人間が検知できるリップシンクずれの限度内である。特に映像に対して音声の再生が遅れる音遅れのリップシンクについては、逆方向にずれる音進みのリップシンクに対して２倍以上鈍感であることが知られているので、リップシンク変更の際には、出来る限り音が遅れる方向で調整する。

また上記リップシンク変更の後、シーンＡの音声とシーンＢ１の音声のギャップおよびシーンＡとシーンＢ２の音声のギャップがそれぞれ１音声フレーム未満となるように、シーンＡの音声フレーム数、シーンＡの音声のリップシンク、またはシーンＢ１、Ｂ２の音声フレーム数を調整する。図９に示す例では、システムストリームＢ１とＢ２にシーンＡから回り込むシーンＡの音声フレーム数をそれぞれ３音声フレーム、４音声フレームとすることにより、音声ギャップＧＡＰ＿Ａ＿Ｂ１とＧＡＰ＿Ａ＿Ｂ２の長さがそれぞれ１音声フレーム未満となるようにしている。

またシステムストリームＣにおいては、最初の映像フレームＣＶＦ＿１の再生開始時刻と、最初の音声フレームＢ１ＡＦ＿９の再生開始時刻の差についてもＥ＿ＤＩＦＦ＿Ｂ１とＥ＿ＤＩＦＦ＿Ｂ２と同じ値となるように、シーンＢ１の音声が回り込んだ分の音声フレームＢ１ＡＦ＿９〜Ｂ１ＡＦ＿１１をパケット多重化する。

以上により、システムストリームＡとシステムストリームＣを共用して、ストーリ１とストーリ２を構成することができ、またストーリ１においてシステムストリームＢ１からシステムストリームＣを連続して再生した際においても、またストーリ２においてシステムストリームＢ２からシステムストリームＣを連続して再生した際においても、音声ギャップＧＡＰ＿Ｂ１＿Ｃの前まで連続して再生することができる。

システムストリームＣには、シーンＢ１の最後の部分が回り込んで多重されるＢ１ＡＦ＿９〜Ｂ１ＡＦ＿１１が含まれる。このため、ストーリ２においてもシーンＢ２の音声とシーンＣの音声の間に再生されることになってしまう。しかし、一般に、この回り込み分の音声は数フレーム分である。また、ストーリの合流点ではシーンＢ１からシーンＣの音もシーンＢ２からシーンＣの音も自然に繋がるように、シーンＢ１とシーンＢ２の末尾の音が同じ音である部分や、無音、あるいは大きな雑音である部分が選ばれる。このため、ストーリ２においても連続した音声再生が可能となる。

なお、ＳＴＤ(System Target Decoder）の音声用入力バッファがオーバーフローしない限りは、音声パケットの多重位置を出来るだけ前の時刻にすることにより、この回り込み分のフレーム数を減らす、またはゼロにすることも可能である。

（５）動作（第２の実施形態）
図１０は、第２実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図である。

図１０には、選択的にシームレス再生されるシステムストリーム群として、システムストリームＢ１およびＢ２により構成される第１のシステムストリーム群と、システムストリームＣ１およびＣ２により構成される第２のシステムストリーム群と、システムストリームＡ１およびＡ２により構成される第３のシステムストリーム群とを有する場合の例について示した。つまり、図１０に示すシステムストリーム群の構成は、第１実施形態で説明した構成のうち、シーンＡを選択的に再生可能なシーンＡ１とシーンＡ２により構成される第３のシーン群とするとともに、シーンＣを選択的に再生可能なシーンＣ１とシーンＣ２により構成される第２のシーン群とする構成である。

この場合、図８に示したタイトル構成、すなわち２×２×２の８つのストーリを実現したシステムストリーム構成をとることが可能である。図１０には、８つのストーリのうち代表例として４つのストーリの再生時のタイムチャートを示した。

システムストリームＡ１、Ｂ１、Ｂ２、Ｃ１は、第１実施形態におけるシステムストリームＡ、Ｂ１、Ｂ２、Ｃと同様な方法で多重可能であるが、本実施形態では、さらに、音声Ｂ１と音声Ｂ２のリップシンクを、図９におけるＧＡＰ_Ｂ1_Ｃの長さ分、遅らせるように制御する。

図１に示すように、システムストリームＢ１のＢ１ＡＦ_１〜８、システムストリームＢ２のＢ２ＡＦ_１〜５、およびシステムストリームＣ１に回り込むＢ１ＡＦ_９〜１１のリップシンクをＧＡＰ_Ｂ1_Ｃ１の長さ分遅らせる。これによりシステムストリームＣ１においては音声のギャップＧＡＰ＿Ｂ１＿Ｃ1の長さを０とすることができ、途切れなく連続した再生が可能となる。

音声Ｂ１を遅らせた分、ＧＡＰ＿Ａ１＿Ｂ1の長さが長くなることになるが、本実施形態では、さらに、システムストリームＢ１に回り込まれる音声Ａ１の音声フレームＡ１ＡＦ＿１３を付加するとともにリップシンクを遅延させて、ギャップＧＡＰ＿Ａ１＿Ｂ1の長さを０としている。これにより、システムストリームＡ１、Ｂ１、Ｃ１を連続して再生した場合には、シーンＡ１、Ｂ１、Ｃ１が連続して途切れなく再生できる。

また、本実施形態では、システムストリームＡ１とシステムストリームＡ２が選択的に再生可能なように、システムストリームＢ１とＢ２と同様のリップシンク調整を行う。

すなわち、選択的に再生される第３のシステムストリーム群について、１つのシステムストリーム（システムストリームＡ１）に多重された最後の映像フレームの再生終了時刻がＴ＿ＶＥ＿Ａ１、最後の音声フレームの再生終了時刻がＴ＿ＡＥ＿Ａ１、その差がＥ＿ＤＩＦＦ＿Ａ１であり、他のシステムストリーム（システムストリームＡ２）に多重された最後の映像フレームの再生終了時刻（映像再生終了時刻と音声再生終了時刻との差）がＴ＿ＶＥ＿Ａ２、最後の音声フレームの再生終了時刻がＴ＿ＡＥ＿Ａ２、その差（映像再生終了時刻と音声再生終了時刻との差）がＥ＿ＤＩＦＦ＿Ａ２とするとき、Ｅ＿ＤＩＦＦ＿Ａ１とＥ＿ＤＩＦＦ＿Ａ２の値が同じとなるように、音声パケットの復号、再生タイミング、すなわち各パケットヘッダのＤＴＳ、ＰＴＳの値を設定して多重する。

また、本実施形態ではシステムストリームＣ１とシステムストリームＣ２が選択的に再生可能なように、システムストリームＣ２に関しては、既に決定されているシステムストリームＣ１のリップシンクと同じとなるように、先頭の音声フレームのリップシンク（Ｓ＿ＤＩＦＦ＿Ｃ２）を決定する。

この結果、システムストリームＣ１およびＣ２の映像再生開始時刻と音声再生開始時刻との差（Ｓ＿ＤＩＦＦ＿Ｃ１およびＳ＿ＤＩＦＦ＿Ｃ２）が同一となる。

このため、システムストリームＢ１およびＢ２の映像再生終了時刻と音声再生終了時刻との差（Ｅ＿ＤＩＦＦ＿Ｂ１およびＥ＿ＤＩＦＦ＿Ｂ２）を同一とすることにより、第１のシステムストリーム群および第２のシステムストリーム群を構成する各システムストリームをギャップなしで接続可能となる。

また、本実施形態では、シーンＢ１の音声フレームとシーンＣ２の音声フレーム間の再生時のギャップＧＡＰ＿Ｂ１＿Ｃ２の長さが０となるように、シーンＣ２の開始音声フレームと再生開始時刻を設定している。

以上により、システムストリームＡ１、Ａ２、およびＢ１、Ｂ２、ならびにシステムストリームＣ１、Ｃ２に回り込んだ音声のリップシンクをそれぞれ同じくすることができ、いずれのシーンが選択されてもシステムシステムストリームＡ２から、システムストリームＢ１またはＢ２を連続して再生することができるようになる。

（６）動作（第３の実施形態）
図１１は、第３実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図である。

本実施形態においては、図１０に示した第２実施形態にくらべ、前に再生されるシーンから回りこむ音声フレームの代わりに、自シーンの音声ストリームの開始フレームを前側に拡張することにより、システムストリーム間の音声ギャップ長を１フレーム未満にするようにしたものである。

例えば、システムストリームＣ２について、第２実施形態では図１０に示すようにシーンＢ１の音声フレームＢ１ＡＦ＿９〜１１を回り込ませて多重していたが、本実施形態では、シーンＣ２の音声フレームを前側に拡張して、Ｃ２ＡＦ＿−２〜Ｃ２ＡＦ＿０を多重する。この方法は、通常、映像ストリームの開始時刻の０．５秒程度前から音声ストリームを用意することにより可能となる。この第３実施形態にかかるストリーム多重方法によれば、各システムストリームに多重化される音声パケットは、自身のシステムストリームの映像に対応する音声ストリームの音声パケットのみから成るようにすることができる。

本実施形態に係るストリーム多重方法によれば、第２実施形態に係るストリーム多重方法に比べ、例えばシステムストリームＡ２、Ｂ２、Ｃ２を連続して再生した場合に生じうる問題である、シーンＡ２とシーンＢ２の間に数フレームのシーンＡ１の音声フレームが、またシーンＢ２とシーンＣ２の間に数フレームのシーンＢ１の音声フレームが入ってしまうという問題を、解消することができる。

（７）動作（フローチャート）
図１２は、本発明に係るストリーム多重装置の動作、特に多重化制御部１４による映音同期制御に係る動作の一例を説明するフローチャートである。図１２いて、Ｓに数字を付した符号は、フローチャートの各ステップを示す。以下には、図１０および図１１に示した構成のシステムストリームを例として説明する。

まず、ステップＳ１において、システムストリームが未生成のシーンのうち、最後に再生されるシーンを抽出してこのシーンを現シーン（注目シーン）とする。最後に再生されるシーンが選択的にシームレス再生されるシーン群に属する場合は、このシーン群のうちシステムストリームが未生成のシーンから１つを選択して現シーンとする。このステップＳ１を最初に実行する場合は、再生順の最後のシーンであるシーンＣ１、Ｃ２のうちのいずれか、たとえばシーンＣ１を選択して、これを現シーンとする。以下、このステップＳ１を最初に実行され、現シーンがＣ１と設定された場合の例について説明する。

次に、ステップＳ２において、現シーンの映像開始・終了フレームと、音声開始・終了フレーム、および映音開始時刻差Ｓ＿ＤＩＦＦを算出して、制御情報記録部１８に記録しておく。

タイトル構成情報記録部１３には、シーンＣ１で用いる映像ストリームのファイル名と音声ストリームのファイル名、およびシーンＣ１の開始時刻と終了時刻が記録されている。多重化制御部１４は、このタイトル構成情報記録部１３に記録されている情報と、映像ストリーム記録部１１に記録されている映像ストリーム、音声ストリームの開始時間とにもとづいて、各ストリームにおいて何フレーム目から何フレーム目までをシーンＣ１に多重化するか、という開始フレームと終了フレームを決定するとともに、映像の開始フレームと音声の開始フレームの再生時刻の差Ｓ＿ＤＩＦＦ＿Ｃ１を算出する。

次に、ステップＳ３において、現シーンの後にシームレスに再生される後シーンが存在するかどうかを判定する。存在する場合はステップＳ４に進む。一方、存在しない場合はステップＳ５に進む。現シーンがシーンＣ１の場合、後ろに再生されるシーンが無いので、判定結果ｎｏとしてステップＳ５に進む。

次に、ステップＳ５において、現シーンの前にシームレスに再生される前シーンが存在するかどうかを判定する。存在する場合はステップＳ６に進む。一方、存在しない場合はステップＳ９に進む。現シーンがシーンＣ１の場合、その前にシーンＢ１、Ｂ２が存在するので、判定結果ｙｅｓとしてステップＳ６に進む。

次に、ステップＳ６において、現シーンが選択的に再生されるシーン群に属し、かつ同一シーン群の他のシーン（ブランチシーン）のシステムストリームが生成済みかどうかを判定する。他のブランチシーンが未生成の場合は、ステップＳ７に進む。一方、他のブランチシーンに生成済みのものがある場合は、ステップＳ８に進む。シーンＣ１の場合、そのシーンと選択的に再生されるブランチシーンＣ２が存在するが、まだシステムストリームの生成は行っていないので、判定結果ｎｏとしてステップＳ７に進む。

次に、ステップＳ７において、前シーンから回り込む分の音声開始・終了フレームの決定および現シーンの音声開始フレームの補正の少なくとも一方を実行する。

前シーンから回り込む分の音声開始・終了フレームの決定は、第２実施形態に示した方法により実行することができる（図１０参照）。具体的には、現シーンの先頭映像フレームの先頭パケットの多重時刻から、その音声先頭フレームの再生開始時刻までに含まれる前シーンの音声フレームを、前シーンから回り込む分の音声開始・終了フレームとするとよい。たとえば、シーンＢ１を前シーンとして選択した場合は、シーンＣ１の映像先頭フレームであるＣ１ＶＦ＿１が多重開始される時刻から、音声先頭フレームであるＣ１ＡＦ＿１が再生開始される時刻の期間に含まれる、シーンＢ１の音声フレームＢ１ＡＦ＿９〜１１をシステムストリームＣ１に回り込ませて多重するようにする。

この結果、音声Ｂ１と音声Ｃ１の間のギャップＧＡＰ＿Ｂ１＿Ｃ１は１フレーム未満となるが、図１０の例ではさらに、音声Ｂ１と音声Ｃ１の間のギャップＧＡＰ＿Ｂ１＿Ｃ１がゼロとなるように、最初に再生される映像フレーム（図１０ではＣ１ＶＦ＿１）の再生開始時間と最初に再生される音声フレーム（図１０ではＢ１ＡＦ＿９）の時間差Ｓ＿ＤＩＦＦを補正している。

また、現シーンの音声開始フレームの補正は、第３実施形態に示した方法により実行することができる（図１１参照）。具体的には、シーンＢ１から音声フレームＢ１ＡＦ＿９〜１１を回り込ませる代わりに、シーンＣ１の開始音声フレームを前方に拡張する。

さらに、一部を前シーンから回りこませ、一部を現フレームの開始音声フレームを前方に拡張することによっても、音声Ｂ１と音声Ｃ１の間のギャップＧＡＰ＿Ｂ１＿Ｃ１を１フレーム未満とするようにしてもよい。

ステップＳ７を実行すると、シーンＣ１において最初に再生される音声フレームが変更される。

次に、ステップＳ９において、映像の再生開始時間と音声の再生開始時間の差Ｓ＿ＤＩＦＦを再計算する。

以上のステップＳ１〜Ｓ９により、システムストリームに多重すべき映像ストリームと音声ストリーム、各ストリームのうちシステムストリームに多重する開始フレームと終了フレーム、および映像再生開始時刻と音声再生開始時刻の差Ｓ＿ＤＩＦＦを取得することができる。

次に、ステップＳ１０において、この取得した情報にもとづいて、順次各フレームをパケット化して多重することにより、システムストリームを生成する。単一システムストリームのパケット多重方法については従来各種のものが知られており、これらのうち任意のものを使用することが可能である。

次に、ステップＳ１１において、生成したシステムストリームの先頭パケット多重時刻Ｔ＿１ＳＴＰＫ（映像再生開始時刻からの相対時刻）（図４の「パケット多重化」参照）を制御情報記憶部１８に記憶させる。

続いて、ステップＳ１２、Ｓ１３、Ｓ１４、Ｓ１５およびＳ１６において、タイトル構成情報記録部１３から、次に処理すべきシーンを選択する処理を実行する。

まず、ステップＳ１２において、現シーンが選択的に再生されるシーン群に属し、かつ同一シーン群の他のシーンにシステムストリームが未生成のシーンが存在するか否か判定する。同一シーン群の他のシーンにシステムストリームが未生成のシーンが存在する場合はステップＳ１３に進む。一方、存在しない場合はステップＳ１４に進む。

次に、ステップＳ１３において、この未生成のブランチシーンのうちの１つを選択して現シーンとし、ステップＳ２に戻ってこのシーンについてのシステムストリームの生成処理を実行する。

一方、ステップＳ１２において同一シーン群の他のシーンにシステムストリームが未生成のシーンが存在しないと判定されると、ステップＳ１４において、現シーンの前にシームレスに再生される前シーンが存在するか否かを判定する。現シーンの前にシームレスに再生される前シーンが存在する場合は、ステップＳ１５に進む。一方、存在しない場合は、ステップＳ１６に進む。

次に、ステップＳ１５において、前シーンのうちの１つを選択して現シーンとし、ステップＳ２に戻ってこのシーンについてのシステムストリームの生成処理を実行する。

一方、ステップＳ１４において現シーンの前にシームレスに再生される前シーンが存在しないと判定されると、ステップＳ１６において、他の未生成シーンがあるかどうかを判定する。他の未生成シーンがある場合は、ステップＳ１に戻って、次に処理すべきシーンを選択し、システムストリームの生成処理を実行する。一方、他の未生成シーンがない場合は、全てのシーンについてシステムストリームの生成が完了したことを意味し、一連の手順は終了となる。

たとえば、図１０および図１１に示したシーンＣ１について、ステップＳ１〜Ｓ１１までの処理が終了した場合は、ステップＳ１２において、シーンＣ１のブランチシーンであるシーンＣ２がまだ残っているため、ステップＳ１２における判定結果はｙｅｓとなり、ステップＳ１２で、シーンＣ２を現シーンとして設定されてステップＳ２に戻る。

シーンＣ２についても、ステップＳ２からＳ５まではシーンＣ１と同様の手順が実行される。

ステップＳ６において、現シーンがシーンＣ２である場合、生成済みのブランチシーンとしてシーンＣ１が存在するので判定結果はｙｅｓとなり、ステップＳ８に進む。

ステップＳ８において、現シーンの映音開始時刻差Ｓ＿ＤＩＦＦ＿Ｃ２が、算出済みのＳ＿ＤＩＦＦ＿Ｃ１と同じになるように、前シーンから回り込む分の音声開始・終了フレームの決定および現シーンの音声開始フレームの補正の少なくとも一方を実行し、ステップＳ１０に進む。

すなわち、同一のシーン群に属し、かつ２番目以降にシステムストリーム生成されるブランチシーンについては、最初のブランチシーンに対する一連の手順におけるステップ９において算出された映音同期Ｓ＿ＤＩＦＦに従うようにする。

その後のステップＳ１０およびＳ１１についてはシーンＣ１とと同様の処理が実行される。

ステップＳ１２では、シーンＣ２の場合、同一シーン群に属するシーンのなかで最後に生成されるブランチシーンであるので、判定結果はｎｏとなり、ステップＳ１４に進む。

ステップＳ１４では、現シーンであるシーンＣ２の前にシームレスに再生される前シーンＢ１、Ｂ２が存在するので、判定結果はｙｅｓとなり、ステップＳ１５でこの前シーンのうちの１つであるシーンＢ１を選択して現シーンとし、ステップＳ２に戻る。

シーンＢ１についても、ステップＳ２はシーンＣ１およびＣ２と同様の処理が実行される。

ステップＳ３では、シーンＢ１の場合、その後にシームレスに再生されるシーンＣ１およびＣ２が存在するので、判定結果はｙｅｓとなり、ステップＳ４に進む。

ステップＳ４では、映音終了時刻差Ｅ＿ＤＩＦＦ（＝Ｅ＿ＤＩＦＦ＿Ｂ１）が、後シーンの映音開始時刻差Ｓ＿ＤＩＦＦ（＝Ｓ＿ＤＩＦＦ＿Ｃ１＝Ｓ＿ＤＩＦＦ＿Ｃ２）と同じになるように、現シーンの音声開始・終了音声フレームを補正する。

この結果、図１０および図１１においてシステムストリームＢ１とシステムストリームＣ１を連続して再生した場合、システムストリームＢ１に多重される音声フレームＢ１ＡＦ＿１〜８と、システムストリームＣ１、Ｃ２に回り込んで多重される音声フレームＢ１ＡＦ＿９〜１１はギャップ無く連続して再生されるようになる。

その後、ステップＳ５、Ｓ６、Ｓ７およびＳ９の処理が、シーンＣ１と同様に行われ、映像の開始・終了フレーム、音声の開始・終了フレーム、ならびに映音同期が確定される。

次に、ステップＳ１０において、システムストリームを生成するが、シーンＢ１には後ろ側にシームレスに再生される後シーンとしてシーンＣ１とシーンＣ２があるため、シーンＢ１の最終パックの多重時刻が、システムストリームＣ１およびＣ２の先頭パケットの多重時刻より前になるように、多重位置を制御する必要がある。このために、システムストリームＣ１、Ｃ２を生成する際におけるステップＳ１１で制御情報記憶部１８に記録しておいた、それぞれの先頭パケット多重時刻Ｔ＿１ＳＴＰＫ（映像再生開始時刻からの相対時刻）のうちの早い時刻の方を使用して、最終パックの多重時刻がその時刻より前となるように多重時刻を制御する。これにより、システムストリームＢ１における最終パケット多重時刻を正確に知ることができ、無駄なく、より多くのデータを多重することができる。

以降、図１２に示す手順に従ってシーンＢ２、シーンＡ１、シーンＡ２の順で処理を行っていくことにより、図１０および図１１に示したシステムストリームＢ２、Ａ１、Ａ２を生成することができる。

本発明に係るストリーム多重装置は、選択的に再生されるシーン群について、このシーン群の次に再生されるシーンのデータの一部を各シーンに取り込む必要がない。このため、一部のシステムストリームを共有した、複数のストーリが、シームレスに再生できるタイトル構成を、簡単な方法で、冗長なデータを持つことなく、実現することができる。したがって、編集の手間が必要なく、かつデータの増加を抑制することができる。

またその際、各ストーリ再生時における音の途切れを、少なくすることができる。また、選択的に再生されるシーン群に含まれる音声ギャップは各シーンで最大一箇所のみとなるため、復号処理の停止・再開等、復号化装置にかかる負担を軽くすることができる。

さらに、本発明に係るストリーム多重装置によれば、選択的に再生される複数のシステムストリームと、選択的に再生される複数のシステムストリームとをシームレスに再生できるタイトル構成を実現することができる。また本発明に係るストリーム多重装置によれば、システムストリームの接続点近傍でも、連続して無駄なくパケットを多重することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

たとえば、以上の例では映像ストリームと音声ストリーム１本ずつを多重するタイトル構成を示してきたが、これに限定されるものではなく、複数の映像ストリームと複数の音声ストリーム、あるいは別のストリームを多重する場合も同様な方法で実現可能である。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明の一実施形態に係るストリーム多重装置および記録媒体の構成例を示す図。 MPEG2/PSのデータ構造をパックレイヤ及びパケットレイヤの階層に分けて示す図。 MPEG2/PSにおいて技術仕様を定めるために用いる理想復号器（ＳＴＤ）の構成を示す図。 連続したシーンＡおよびシーンＢの映像信号および音声信号をそれぞれ符号化し、パケット多重してシステムストリームＡおよびシステムストリームＢを生成する過程を示した説明図。 前後に共通のストリームをもつ複数のストリームの映音再生位相を概略的に示す説明図。 図５に示した２つのストーリを、シーン毎にシステムストリーム化した場合の各システムストリーム構成の一例について、映像ストリームおよび音声ストリームの多重区間で示した図。 図６に示した２つのストーリについて、選択的に再生されるシーン群のシステムストリームに２箇所の音声ギャップを含ませた様子を示す図。 選択的に再生されるシーン群を３つ有し、各シーン群からそれぞれ１つ選択されたシーンを連続して再生するストーリ構成について説明するための図。 第１実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図。 第２実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図。 第３実施形態に係るシステムストリームの構成と、このシステムストリームが再生された際の映像と音声の再生タイミングを示した図。 本発明に係るストリーム多重装置の動作、特に多重化制御部による映音同期制御に係る動作の一例を説明するフローチャート。

符号の説明

１ 記録媒体（ＤＶＤディスク）
１０ ストリーム多重装置
１１ 映像ストリーム記録部
１２ 音声ストリーム記録部
１３ タイトル構成情報記録部
１４ 多重化制御部
１５ 映像パケット化部
１６ 音声パケット化部
１７ パケット多重部
１８ 制御情報記録部
１９ システムストリーム記録部
２０ ディスク記録部

Claims (16)

1. 符号化された映像ストリームと音声ストリームを１つのシステムストリーム上に多重化するストリーム多重装置であって、
   前記映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加する映像パケット化手段と、
   前記音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加する音声パケット化手段と、
   前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するパケット多重化手段と、
   前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御することにより、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御する多重化制御手段と、
   を備え、
   前記多重化制御手段は、
   １つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群、およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群を多重化する際、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一となるように、前記第１および第２のシステムストリーム群を構成する各システムストリームの音声ストリームのパケット化開始位置、パケット化終了位置および前記音声復号同期情報を制御することを特徴とするストリーム多重装置。
2. 前記多重化制御手段は、
   前記第１のシステムストリーム群の前に選択的にシームレス再生され、１つ以上のシステムストリームから構成される第３のシステムストリーム群を多重化する際、前記第３のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第１のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが同一となるように、かつ前記第１のシステムストリーム群を構成する各システムストリーム中に最大１箇所の音声ギャップを持つように、前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御する、
   請求項１記載のストリーム多重装置。
3. 前記多重化制御手段は、
   前記第１のシステムストリーム群を構成する各システムストリームのうち少なくとも１つのシステムストリームの前記音声ギャップの長さがゼロとなるよう前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御する、
   請求項２記載のストリーム多重装置。
4. 前記多重化制御手段は、
   前記第１および第２のシステムストリーム群を構成する各システムストリームのうちの少なくとも１つは、１つの前記音声ストリームの連続した一部分のみが連続して再生されるよう前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御する、
   請求項１乃至３のいずれか１項に記載のストリーム多重装置。
5. 前記多重化制御手段は、
   再生順序が最後のシステムストリームから再生順序が最初のシステムストリームにさかのぼって順次多重化を行うとともに、前記再生順序が後であるシステムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差を基準とし、この差に、前記再生順序が後のシステムストリームより再生順序が１つ前のシステムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差を合わせるように、前記再生順序が１つ前のシステムストリームを多重化するよう前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御する、
   請求項１乃至４のいずれか１項に記載のストリーム多重装置。
6. 前記多重化制御手段は、
   前記システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差、および音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差を制御する際、映像に対し音声の再生が遅れるように多重化するよう前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御する、
   請求項１乃至５のいずれか１項に記載のストリーム多重装置。
7. 符号化された映像ストリームと音声ストリームを１つのシステムストリーム上に多重化するストリーム多重方法であって、
   前記映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加するステップと、
   前記音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加するステップと、
   前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するステップと、
   前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップと、
   を備え、
   前記多重化順序と多重化位置を制御するステップは、
   １つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群を多重化する際、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一となるように、前記第１および第２のシステムストリーム群を構成する各システムストリームの音声ストリームのパケット化開始位置、パケット化終了位置および前記音声復号同期情報を制御するステップである、
   ことを特徴とするストリーム多重方法。
8. 前記多重化順序と多重化位置を制御するステップは、
   前記第１のシステムストリーム群の前に選択的にシームレス再生され、１つ以上のシステムストリームから構成される第３のシステムストリーム群を多重化する際、前記第３のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第１のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが同一となるように、かつ前記第１のシステムストリーム群を構成する各システムストリーム中に最大１箇所の音声ギャップを持つように、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップである、
   請求項７記載のストリーム多重方法。
9. 前記多重化順序と多重化位置を制御するステップは、
   前記第１のシステムストリーム群を構成する各システムストリームのうち少なくとも１つのシステムストリームの前記音声ギャップの長さゼロとなるよう前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップである、
   請求項８記載のストリーム多重方法。
10. 前記多重化順序と多重化位置を制御するステップは、
    前記第１および第２のシステムストリーム群を構成する各システムストリームのうちの少なくとも１つは、１つの前記音声ストリームの連続した一部分のみが連続して再生されるよう前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップである、
    請求項７乃至９のいずれか１項に記載のストリーム多重方法。
11. 前記多重化順序と多重化位置を制御するステップは、
    再生順序が最後のシステムストリームから再生順序が最初のシステムストリームにさかのぼって順次多重化を行うとともに、前記再生順序が後であるシステムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差を基準とし、この差に、前記再生順序が後のシステムストリームより再生順序が１つ前のシステムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差を合わせるように、前記再生順序が１つ前のシステムストリームを多重化するよう前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップである、
    請求項７乃至１０のいずれか１項に記載のストリーム多重方法。
12. 前記多重化順序と多重化位置を制御するステップは、
    前記システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差、および音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差を制御する際、映像に対し音声の再生が遅れるように多重化するよう前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御するステップである、
    請求項７乃至１１のいずれか１項に記載のストリーム多重方法。
13. 映像ストリームを所定のサイズの映像パケットに分割するとともに、少なくとも映像復号器への入力時刻および再生時刻の情報を含む映像復号同期情報をそれぞれの前記映像パケットに付加する映像パケット化手段と、音声ストリームを所定のサイズの音声パケットに分割するとともに、少なくとも音声復号器への入力時刻および再生時刻の情報を含む音声復号同期情報をそれぞれの前記音声パケットに付加する音声パケット化手段と、前記映像パケットと前記音声パケットとを多重化してシステムストリームを生成するパケット多重化手段と、前記映像パケット化手段、前記音声パケット化手段および前記パケット多重化手段を制御することにより、前記映像パケットおよび前記音声パケットの多重化順序と多重化位置を制御する多重化制御手段と、によって符号化された前記映像ストリームと前記音声ストリームが多重化された前記システムストリームのデータ構造を記録した記録媒体であって、
    １つ以上のシステムストリームから構成され、選択的にシームレス再生される第１のシステムストリーム群、およびこの第１のシステムストリーム群に連続して選択的にシームレス再生され、１つ以上のシステムストリームから構成される第２のシステムストリーム群は、前記第１のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第２のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが、同一であるように多重化されたことを特徴とする前記システムストリームのデータ構造を記録した記録媒体。
14. 前記システムストリームのデータ構造は、
    前記第１のシステムストリーム群と前記第２のシステムストリーム群に加え、前記第１のシステムストリーム群の前に選択的にシームレス再生され、１つ以上のシステムストリームから構成される第３のシステムストリーム群、
    をさらに含み、
    前記第３のシステムストリーム群および前記第１のシステムストリーム群は、前記第３のシステムストリーム群を構成する各システムストリームの音声再生終了時刻からこの時刻より遅い映像再生終了時刻までの差と、前記第１のシステムストリーム群を構成する各システムストリームの音声再生開始時刻からこの時刻より遅い映像再生開始時刻までの差とが同一であるように、かつ前記第１のシステムストリーム群を構成する各システムストリーム中に最大１箇所の音声ギャップを持つように多重化された、
    請求項１３記載の記録媒体。
15. 前記第１のシステムストリーム群の音声再生開始時刻のうち少なくとも１つのシステムストリームの前記音声ギャップの長さがゼロである、
    請求項１４記載の記録媒体。
16. 前記第１および第２のシステムストリーム群を構成する各システムストリームのうちの少なくとも１つは、１つの前記音声ストリームのうちの連続した一部分のみが連続して再生されるよう多重化されたシステムストリームである、
    請求項１３乃至１５のいずれか１項に記載の記録媒体。

Images