JP3438564B2 - ディジタル信号多重化装置及び方法、記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像や音声等のデ
ィジタル信号を多重化して例えばテレビジョンの番組や
プログラム単位の一次多重化ストリームを生成し、これ
ら複数の一次多重化ストリームをさらに二次多重化して
生成した二次多重化ストリームの伝送や記録を行うディ
ジタル信号多重化装置及び方法、記録媒体に関するもの
である。

【０００２】

【従来の技術】複数のプログラム（例えばテレビジョン
放送の番組）を１本の多重化ストリームに多重化して伝
送するためのトランスポートストリームがＩＳＯ１３８
１８−１に規定されており、従来より、このトランスポ
ートストリームを生成する多重化システムが知られてい
る。

【０００３】図９に、ディジタル衛星放送等を用いて、
このトランスポートストリームの伝送を行う放送システ
ムの構成を示す。

【０００４】送信装置１０１には、複数のプログラムＰ
ａ〜Ｐｎに対応したベースバンドのビデオデータやオー
ディオデータ或いは図示しない字幕データ等が、サーバ
やビデオカメラ等から供給される。このビデオデータや
オーディオデータは、各プログラムＰａ〜Ｐｎに対応す
るビデオエンコーダ１０２ａ〜１０２ｎ及びオーディオ
エンコーダ１０３ａ〜１０３ｎに供給され、例えばＭＰ
ＥＧ（ISO/IEC11172,ISO13818）等に対応した圧縮デー
タストリーム（エレメンタリストリーム）に符号化され
る。

【０００５】符号化された各エレメンタリストリーム
は、各プログラムＰａ〜Ｐｎに対応する一次多重化器１
０４ａ〜１０４ｎに供給される。各一次多重化器１０４
ａ〜１０４ｎは、各プログラム毎に供給されたエレメン
タリストリームをＩＳＯ１３８１８−１で規定されたト
ランスポートパケット単位で時分割多重化して、各プロ
グラムＰａ〜Ｐｎに対応した一次多重化ストリームを生
成する。

【０００６】各一次多重化器１０４ａ〜１０４ｎにより
生成された各一次多重化ストリームは、二次多重化器１
０５に供給される。二次多重化器１０５は、各一次多重
化ストリームをさらに上記トランスポートパケット単位
で時分割多重化して、一本の二次多重化ストリームを生
成する。

【０００７】そして、この二次多重化器１０５は、生成
した二次多重化ストリームを伝送媒体１１０を介して受
信装置１１１に供給する。

【０００８】ここで、各一次多重化器１０４ａ〜１０４
ｎ及び二次多重化器１０５で多重化された一次多重化ス
トリーム及び二次多重化ストリームは、ＩＳＯ１３８１
８−１に規定するトランスポートストリームに対応して
いる。

【０００９】このように送信装置１０１では、各プログ
ラムＰａ〜Ｐｎに対応したベースバンドのビデオデータ
やオーディオデータを圧縮符号化して、一本の二次多重
化ストリームを生成し、生成した二次多重化ストリーム
を伝送媒体１１０を介して受信装置１１１に供給する。

【００１０】受信装置１１１には、二次多重化ストリー
ムが上記伝送媒体１１０を介して伝送される。二次多重
化ストリームは、分離器１１２に供給される。分離器１
１２は、例えば視聴者等が指定したプログラムに対応す
るエレメンタリストリームのみを、二次多重化ストリー
ムから分離してデコーダに供給する。すなわち、分離器
１１２は、指定されたプログラムのビデオエレメンタリ
ストリームをビデオデコーダ１１３に供給し、指定され
たプログラムのオーディオエレメンタリストリームをオ
ーディオデコーダ１１４に供給する。

【００１１】ビデオデコーダ１１３及びオーディオデコ
ーダ１１４は、それぞれ圧縮符号化されたデータに対応
した伸張復号処理を行い、ベースバンドのビデオデータ
及びオーディオデータを生成し、図示しない外部装置等
に供給する。

【００１２】このように受信装置１１１では、供給され
た二次多重化ストリームを受信して、この二次多重化ス
トリームに含まれる複数のプログラムから所定のプログ
ラムを選択して、復号処理を行う。

【００１３】図１０に、ＩＳＯ１３８１８−１で規定さ
れたトランスポートストリームである上記一次多重化ス
トリーム及び二次多重化ストリームのデータ構造を示
す。

【００１４】ビデオエンコーダ１０２ａ〜１０２ｎで符
号化されるビデオエレメンタリストリーム及びオーディ
オエンコーダ１０３ａ〜１０３ｎで符号化されるオーデ
ィオエレメンタリストリームは、ＰＥＳパケットと呼ば
れるパケット単位に分割される。続いて対応する一次多
重化器１０４ａ〜１０４ｎは、各エレメンタリストリー
ムを、１８８Ｂｙｔｅの固定長のトランスポートパケッ
トに分割して、分割したトランスポートパケット単位で
時分割で一次多重化処理を行い、一次多重化ストリーム
を生成する。続いて二次多重化器１０５は、各一次多重
化ストリームを、さらに、上記トランスポートパケット
単位で時分割で二次多重化処理を行い、二次多重化スト
リームを生成する。

【００１５】図１１に、上述したＩＳＯ１３８１８−１
で規定されたトランスポートストリームが供給される場
合における受信装置１１１のデコーダモデルを示す。

【００１６】分離器１１２は、例えば視聴者に指定され
たプログラムに対応したトランスポートパケットのみを
二次多重化ストリームから選択し、各トランスポートバ
ッファ１１６，１１７，１１８に分配する。各トランス
ポートバッファ１１６，１１７，１１８は、対応するデ
ータのトランスポートパケットを一次格納する。例え
ば、トランスポートバッファ１１６は、選択されたプロ
グラムのビデオデータのトランスポートパケットを格納
し、トランスポートバッファ１１７は、選択されたプロ
グラムのオーディオデータのトランスポートパケットを
格納し、トランスポートバッファ１１８は、選択された
プログラムのプログラム制御用データのトランスポート
パケットを格納する。なお、ここでは、字幕用のデータ
等のトランスポートバッファ等を図示しないが、選択し
たプログラムに字幕用のデータ等が含まれていれば、こ
れらのトランスポートパケットが対応するトランスポー
トバッファに格納される。

【００１７】各トランスポートバッファ１１６，１１
７，１１８は、その容量が例えば５１２Ｂｙｔｅとなっ
ており、データを格納している限り規定されたビットレ
ートでＰＥＳパケットをリークしていく。

【００１８】トランスポートバッファ１１６からリーク
するビデオデータは、マルチプレクシングバッファ１１
９に供給される。また、トランスポートバッファ１１
７，１１８からリークするオーディオデータ及びプログ
ラム制御用データは、対応するエレメンタリバッファ１
２１，１２２にそれぞれ供給される。

【００１９】マルチプレシングバッファ１１９からは、
エレメンタリストリームのみが規定されたビットレート
でリークし、エレメンタリバッファ１２０に供給され
る。

【００２０】デコーダ１２３，１２４，１２５は、各デ
コード時刻において、アクセスユニットと呼ばれるデコ
ード単位（ビデオデータであればピクチャ単位）毎に、
対応するエレメンタリバッファ１２０，１２１，１２２
からエレメンタリストリームを引き抜き、デコード処理
を行う。なお、ビデオデータのデコード処理は、時系列
で画面を表示するためにリオーダバッファ１２６を用い
てデコード処理がされる。デコード処理されたベースバ
ンドのビデオデータ，オーディオデータ，制御用データ
は、それぞれ外部装置或いはシステムコントローラ等に
供給される。

【００２１】受信装置１１１では、以上のようなモデル
により、上述したＩＳＯ１３８１８−１で規定されたト
ランスポートストリームの復号処理を行う。

【００２２】以上のようにディジタル衛星放送等を用い
た放送システムでは、送信装置１０１により複数のプロ
グラム毎に圧縮したデータを多重化したトランスポート
ストリームを伝送して、受信装置１１１によりそのデー
タを分離して復号することができる。

【００２３】ここで、上述したマルチプレッシングバッ
ファ１１９及びエレメンタリバッファ１２０（１２１，
１２２）の合計サイズは、発生符号量の制御用の仮想バ
ッファであるＶＢＶ（Video Buffering Verifier）バッ
ファのバッファサイズと、ＩＳＯ１３８１８−２に規定
されているプロファイルとレベルにより一意に定まるサ
イズとを加えたもの（以下、デコーダバッファと呼
ぶ。）である。従って、送信装置１０１の各エンコーダ
では、このデコーダバッファをアンダーフロー又はオー
バーフローしないように、すなわち、このデコーダバッ
ファを破綻させないように、発生する符号量を制御して
いる。そして、一次多重化器１０４ａ〜１０４ｎも同様
に、このデコーダバッファがアンダーフロー又はオーバ
ーフローしないようにスケジューリングして多重化して
いる。

【００２４】ところで、上述した放送システム等で用い
られるような多重化システム、つまり、一次多重化をし
た一次多重化ストリームをさらに多重化して一本の二次
多重化ストリームを生成する多重化システムでは、以下
の理由から、各一次多重化器がスケジューリングした一
次多重化ストリームの出力タイミングと、二次多重化ス
トリーム中に多重化された一次多重化ストリームの出力
タイミングとの間に時間的なずれが生じてしまう。

【００２５】すなわち、この二次多重化システムでは、
二次多重化ストリームのビットレートにおけるトランス
ポートパケット単位の時間スロットにしか二次多重化を
することができないこと、二次多重化ストリームのビッ
トレートが一次多重化ストリームのビットレートよりも
高いこと、在る時間スロットへ二次多重化可能なトラン
スポートパケットは一つの一次多重化ストリームのトラ
ンスポートパケットのみであるからほぼ同時刻に一次多
重化器が出力した一次多重化ストリームのトランスポー
トパケットは待たされてしまうことなどの理由により、
二次多重化ストリーム中に多重化された一次多重化スト
リームの出力タイミングとの間に時間的なずれが生じて
しまう。ここで、この各一次多重化器がスケジューリン
グした一次多重化ストリームの出力タイミングと、二次
多重化ストリーム中に多重化された一次多重化ストリー
ムの出力タイミングとの間に生じる時間的なずれを二次
多重化ジッタと呼ぶ。

【００２６】そのためこのような多重化システムでは、
各一次多重化器が、デコーダの前段に設けられるデコー
ダバッファを破綻させないようにスケジューリングして
多重化していても、この二次多重化ジッタにより、デコ
ーダバッファへのデータストリームの到着タイミングに
ずれが生じることによる影響や、また、二次多重化スト
リーム中にエンコードされている時刻基準参照値（ISO1
3818-1に規定されているトランスポートストリームであ
ればＰＣＲ：Program Clock Refernce）がずれることに
よる影響により、デコーダバッファが破綻してしまう場
合がある。

【００２７】以下、この多重化システムによるこの２つ
の影響についてさらに詳細に説明する。

【００２８】まず、二次多重化ジッタによるデコーダバ
ッファへのデータストリームの到着タイミングにずれが
生じてしまうことについて、図１２を用いて説明する。
なお、図１２（ａ）に、ビデオエレメンタリストリーム
とオーディオエレメンタリストリーム等が多重化された
所定のプログラムの一次多重化ストリームを示し、図１
２（ｂ）に、上記所定のプログラムとその他のプログラ
ムが多重化された二次多重化ストリームを示す。また、
図１２（ｃ）に、一次多重化器が意図したデコーダバッ
ファのバッファ占有量を示し、図１２（ｄ）に、二次多
重化ジッタが乗っている場合のデコーダバッファのバッ
ファ占有量を示す。

【００２９】一次多重化ストリームは、図１２（ａ）に
示すように、ビデオデータやオーディオデータが、パケ
ットヘッダとエレメンタリストリームとから構成される
トランスポートパケット（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３
・・・）単位で多重化されている。

【００３０】二次多重化ストリームは、図１２（ｂ）に
示すように、一次多重化ストリームのビットレートより
高いビットレートで、図１２（ａ）で示す一次多重化ス
トリームとその他の一次多重化ストリームが、二次多重
化されている。

【００３１】ここで、一次多重化ストリームは、デコー
ダバッファをオーバーフロー又はアンダーフローさせな
いようにスケジューリングされ多重化されている。従っ
て、例えば、図１２（ｃ）に示すように、上記一次多重
化ストリームの所定のトランスポートパケット（例えば
Ｎ＋１）に含まれるビデオデータは、デコーダバッファ
を破綻させることなくデコードされ、また、上記一次多
重化ストリームの所定のトランスポートパケット（例え
ばＮ＋３）に含まれるオーディオデータも、デコーダバ
ッファを破綻させることなくデコードされる。

【００３２】しかしながら、二次多重化ストリームは、
一次多重化ストリームのビットレートに対して高いビッ
トレートのストリームとなっているので、例えば、トラ
ンスポートパケットのデコーダバッファへの入力開始の
タイミングが同一であっても、パケットデータの格納終
了のタイミングが一次多重化ストリームにおけるタイミ
ングよりも速くなる場合がある。従って、デコーダバッ
ファへのパケットデータ格納終了のタイミングが一次多
重化器が意図するタイミングよりも速くなってしまい、
このようなトランスポートパケット（例えば、Ｎ＋１）
では、図１２（ｄ）に示すように、バッファ占有量がデ
コーダバッファサイズを越えてオーバーフローを起こし
てしまう。

【００３３】また、二次多重化ストリームは、二次多重
化ジッタが乗ってしまうため、トランスポートパケット
のデコーダバッファへの入力開始のタイミングが、一次
多重化ストリームにおけるタイミングよりも遅くなる場
合がある。従って、デコーダバッファへのパケットデー
タ格納開始のタイミングが、一次多重化器が意図するタ
イミングよりも遅くなってしまい、このようなトランス
ポートパケット（例えば、Ｎ＋３）では、図１２（ｄ）
に示すように、バッファ占有量が零以下となりアンダー
フローを起こしてしまう。

【００３４】続いて、二次多重化ジッタによる二次多重
化ストリーム中にエンコードされている時刻基準参照値
（ＰＣＲ）にずれが生じてしまうことについて説明す
る。

【００３５】ＰＣＲは、図１２（ａ）に示すように、所
定のトランスポートパケットのパケットヘッダにエンコ
ードされている。このＰＣＲは、デコーダへのデータ入
力時間を示しており、受信装置のデコーダは、このＰＣ
Ｒのベースフィールドの最後のビットを含むバイトデー
タが実際に入力されるタイミングと、このＰＣＲの値と
に基づき、送信装置のシステムクロックに同期させて動
作する。すなわち、このＰＣＲは、その値自体と、デコ
ーダに到着するタイミング、すなわち、多重化器から実
際に出力されるタイミングとの２つが意味をもつもので
ある。従って、このＰＣＲがエンコードされているトラ
ンスポートパケット（例えば図１２に示すＮ＋２）に二
次多重化ジッタが生じると、このＰＣＲの出力タイミン
グと図１２（ｂ）に示すＰＣＲ′との値とに時間的なず
れが生じてしまい、デコーダで同期を合わせることがで
きなくなくなってしまう。ＩＳＯ１３８１８−１の規定
では、このＰＣＲのずれは±５００ナノ秒しか許容され
ていない。

【００３６】そこで、従来の多重化システムでは、以上
のデコーダバッファへのデータストリームの到着タイミ
ングにずれが生じてしまうという問題、及び、二次多重
化ストリーム中にエンコードされている時刻基準参照値
（ＰＣＲ）がずれてしまうという問題を解決するため
に、以下のような処理が一般に行われている。

【００３７】すなわち、従来の多重化システムでは、一
次多重化器により一次多重化ストリームを生成する際
に、仮想的にデコーダバッファのバッファ占有量を想定
し、このデコーダバッファのバッファ占有量の上限及び
下限値に所定のマージンを設けて多重化を行っている。
そのため、従来の多重化システムでは、二次多重化ジッ
タによりデコーダバッファへのデータストリームの到着
タイミングが速くなったり遅くなったりしても、デコー
ダバッファを破綻させない二次多重化ストリームを生成
することができる。また、従来の多重化システムでは、
二次多重化器の後段に二次多重化ストリームのＰＣＲを
補正するＰＣＲ補正部を設けている。そのため、従来の
多重化システムでは、二次多重化ジッタによりＰＣＲが
ずれた場合であっても、デコーダが同期をとれる二次多
重化ストリームを生成することができる。

【００３８】具体的に、この２つの問題を解決する従来
の多重化システムについて、図１３を用いて説明する。

【００３９】従来の多重化システム１５０は、複数の一
次多重化器１５１ａ〜１５１ｎと、二次多重化器１５２
とを備えている。この二次多重化器１５２は、一次多重
化器１５１ａ〜１５１ｎに対応して設けられる受信メモ
リ１５３ａ〜１５３ｎと、これら受信メモリ１５３ａ〜
１５３ｎに格納された一次多重化ストリームを切り換え
て多重化する切換部１５４と、この切換部１５４を制御
する制御部１５５と、切換部１５４が生成した二次多重
化ストリームのＰＣＲを補正する時間情報補正部１５６
とを備えている。

【００４０】各一次多重化器１５１ａ〜１５１ｎは、デ
コーダバッファのバッファ占有量の上限及び下限値に所
定のマージンを設けて、このデコーダバッファが破綻し
ないような符号量の一次多重化ストリームを生成する。
各一次多重化ストリームは、それぞれ対応する受信メモ
リ１５２ａ〜１５２ｎに供給される。

【００４１】各受信メモリ１５２ａ〜１５２ｎは、一次
多重化器１５１ａ〜１５１ｎで生成された一次多重化ス
トリームを一次格納する。

【００４２】制御部１５５は、各受信メモリ１５２ａ〜
１５２ｎのメモリ占有量をモニタして、一次多重化スト
リームの到着順或いはメモリ占有量が多い順に、二次多
重化する一次多重化ストリームを選択して、切換部１５
４を制御する。

【００４３】切換部１５４は、制御部１５５の制御に応
じて、受信メモリ１５２ａ〜１５２ｎを切り換えて多重
化し、二次多重化ストリームを生成する。

【００４４】時間情報補正部１５６は、切換部１５４に
より生成した二次多重化ストリームのＰＣＲの値を実際
に二次多重化したタイミングに書き換える。

【００４５】以上のように従来の多重化システム１５０
では、各一次多重化器１５１ａ〜１５１ｎによりデコー
ダバッファが破綻しないようにマージンをもって多重化
し、かつ、時間情報補正部１５６によりＰＣＲの値を書
き換えることにより、受信装置において、デコーダバッ
ファが破綻せず、かつ、デコーダで送信装置側と同期を
とることができる二次多重化ストリームを生成すること
ができる。

【００４６】

【発明が解決しようとする課題】ところで、上述した従
来の多重化システム１５０では、制御部１５５が、各受
信メモリ１５２ａ〜１５２ｎのメモリ占有量をモニタし
て、一次多重化ストリームの到着順或いはメモリ占有量
が多い順に、二次多重化する一次多重化ストリームを選
択している。そのため、一次多重化器１５１ａ〜１５１
ｎから受信メモリ１５２ａ〜１５２ｎへの一次多重化ス
トリームの転送は、実時間を保って行わなければならな
かった。すなわち、各受信メモリ１５２ａ〜１５２ｎへ
の転送が遅れると、その遅れた一次多重化ストリームの
トランスポートパケットの二次多重化される優先順位が
他の一次多重化ストリームよりも低くなってしまい、非
常に大きな二次多重化ジッタが生じてしまっていた。

【００４７】そのため、従来の多重化システム１５０で
は、一次多重化器１５１ａ〜１５１ｎから受信メモリ１
５２ａ〜１５２ｎへの一次多重化ストリームの転送は、
専用の転送方式を用いなければならず、例えば、一般の
コンピュータで用いられるＰＣＩ（Peripheral Compone
nt Interconnect）等のバースト的なデータの転送方式
を用いることができなかった。

【００４８】また、従来の多重化システム１５０では、
全ての一次多重化ストリーム（一次多重化ストリームの
数をＩとする。）のトランスポートパケットがほぼ同時
に各受信メモリ１５２ａ〜１５２ｎに到着した場合、二
次多重化ストリームに多重化すると最大でＩ−１パケッ
ト分の時間に相当する二次多重化ジッタが生じてしまっ
ていた。そのため、各一次多重化器１５１ａ〜１５１ｎ
により多重化する際に設けるデコーダバッファのバッフ
ァ占有量のマージンが増大し、多重化の自由度が奪われ
てしまっていた。

【００４９】また、従来の多重化システム１５０では、
時間情報補正部１５６によりＰＣＲの補正を行っていた
ので、システムの構成が複雑となっていた。

【００５０】本発明は、このような実情に鑑みてなされ
たものであり、二次多重化ジッタを少なく抑え、時刻基
準参照値を補正せず、一次多重化器の多重化の自由度を
確保して多重化することができるディジタル信号多重化
装置及び方法、記録媒体を提供することを目的とする。

【００５１】

【課題を解決するための手段】本発明に係るディジタル
信号多重化装置は、１以上のディジタル信号のビットス
トリームをそれぞれパケット化して、このパケット単位
で各ビットストリームを多重化した複数の一次多重化ス
トリームを受信し、受信した複数の一次多重化ストリー
ムを多重化するディジタル信号多重化装置において、複
数の一次多重化ストリームを受信する受信手段と、上記
受信手段により受信した各一次多重化ストリームをパケ
ット単位で時分割多重化し、二次多重化ストリームを生
成する多重化手段と、パケットの時分割多重化の順序を
所定周期で繰り返されるインターリーブパターンとして
設定し、このインターリーブパターンに基づき上記多重
化手段を制御する制御手段とを備え、上記制御手段は、
上記インターリーブパターンを、二次多重化ジッタが最
小となるように設定する。

【００５２】このディジタル信号多重化装置では、パケ
ットの時分割多重化の順序を、二次多重化ジッタが最小
となるように所定周期で繰り返されるインターリーブパ
ターンとして設定し、二次多重化ストリームを生成する

【００５３】また、本発明に係るディジタル信号多重化
方法は、１以上のディジタル信号のビットストリームを
それぞれパケット化して、このパケット単位で各ビット
ストリームを多重化した複数の一次多重化ストリームを
受信し、パケットの時分割多重化の順序を、二次多重化
ジッタが最小となるように所定周期で繰り返されるイン
ターリーブパターンとして設定し、設定したインターリ
ーブパターンに基づき選択するパケットを制御して、受
信した各一次多重化ストリームをパケット単位で時分割
多重化し、二次多重化ストリームを生成する。

【００５４】このディジタル信号多重化方法では、パケ
ットの時分割多重化の順序を、二次多重化ジッタが最小
となるように所定周期で繰り返されるインターリーブパ
ターンとして設定し、二次多重化ストリームを生成す
る。

【００５５】

【００５６】

【００５７】

【００５８】

【００５９】

【００６０】

【００６１】

【００６２】

【００６３】本発明に係る記録媒体は、１以上のディジ
タル信号のビットストリームをそれぞれ多重化して、こ
のパケット単位で各ビットストリームを多重化した複数
の一次多重化ストリームを生成し、複数の一次多重化ス
トリームを受信し、パケットの時分割多重化の順序を、
二次多重化ジッタが最小となるように所定周期で繰り返
されるインターリーブパターンとして設定し、設定した
インターリーブパターンに基づき選択するパケットを制
御して、受信した各一次多重化ストリームをパケット単
位で時分割多重化した二次多重化ストリームが記録され
たことを特徴とする。

【００６４】この記録媒体では、パケットの時分割多重
化の順序を、二次多重化ジッタが最小となるように所定
周期で繰り返されるインターリーブパターンとして設定
し、設定したインターリーブパターンに基づき選択する
パケットを制御して生成された二次多重化ストリームが
記録されている。

【００６５】

【発明の実施の形態】以下、本発明の実施の形態の多重
化システムについて説明する。

【００６６】この多重化システムは、複数のプログラム
（例えばテレビジョン放送の番組やチャンネル）毎にデ
ータを多重化したトランスポートストリームを伝送する
ディジタル衛星放送システムや、このトランスポートス
トリームを記録媒体に記録する記録システム等に適用さ
れる。この多重化システムは、オーディオやビデオ等の
圧縮データストリーム（エレメンタリストリーム）を時
分割で多重化した複数の一次多重化ストリームを、さら
に時分割で多重化して１つのトランスポンダで使用可能
な１本の二次多重化ストリームを生成するシステムであ
る。ここで、一次多重化ストリームに含まれるデータ
は、上述したテレビジョン放送の１つのチャンネル或い
は番組に相当するのである。なお、この一次多重化スト
リーム及び二次多重化ストリームは、ともにＩＳＯ１３
８１８−１で規定されるトランスポートストリームに対
応したデータストリームであるとして以下説明を行って
いく。

【００６７】まず、本発明の第１の実施の形態の多重化
システムについて、図面を参照しながら説明する。

【００６８】図１に、本発明の第１の実施の形態の多重
化システムのブロック構成図を示す。

【００６９】多重化システム１は、一次多重化ストリー
ムを生成する複数の一次多重化器２ａ〜２ｎと、各一次
多重化器２ａ〜２ｎにより生成された一次多重化ストリ
ームをさらに多重化して二次多重化ストリームを生成す
る二次多重化器３とを備えている。また、この二次多重
化器３は、各一次多重化器２ａ〜２ｎにより生成された
一次多重化ストリームを受信してそのストリームを一次
格納する複数の受信メモリ４ａ〜４ｎと、受信メモリ４
ａ〜４ｎに格納された一次多重化ストリームを選択して
二次多重化する切換部５と、切換部５により多重化する
一次多重化ストリームの切換制御、及び、各一次多重化
器２ａ〜２ｎにより生成する一次多重化ストリームのビ
ットレートの制御をする制御部６とを備えている。

【００７０】各一次多重化器２ａ〜２ｎは、図示しない
サーバやビデオカメラ等から供給されるビデオエレメン
タリストリームやオーディオエレメンタリストリーム
を、１８８Ｂｙｔｅ固定長のトランスポートパケット単
位で時分割で多重化して、各プログラムに対応した一次
多重化ストリームを生成する。各一次多重化器２ａ〜２
ｎにより生成された各一次多重化ストリームは、二次多
重化器３の受信メモリ４ａ〜４ｎに供給される。ここ
で、各一次多重化器２ａ〜２ｎから受信メモリ４ａ〜４
ｎへの一次多重化ストリームの転送方式は、特に実時間
を保って転送する必要はなく、例えば、バースト的にデ
ータを転送しても良い。また、各一次多重化器２ａ〜２
ｎによる生成される一次多重化ストリームのビットレー
トは、制御部６により制御される。

【００７１】各受信メモリ４ａ〜４ｎは、一次多重化器
２ａ〜２ｎで生成された一次多重化ストリームを一次格
納する。

【００７２】切換部５は、制御部６の制御に応じて、受
信メモリ４ａ〜４ｎに一次格納された一次多重化ストリ
ームを、このトランスポートパケット単位で時分割で多
重化し、二次多重化ストリームを生成する。生成した二
次多重化ストリームは、図示しない外部装置に供給さ
れ、例えば、通信インタフェースにより伝送媒体を介し
てユーザに供給され、或いは、記録装置により記録媒体
に記録される。

【００７３】制御部６は、選択するトランスポートパケ
ットの順番を設定したインターリブパターンに基づき切
換部５の切換制御を行い、また、所定の時間範囲のレー
ト割当区間を設定して、このレート割当区間毎に一次多
重化ストリームのビットレートの制御する。このインタ
リーブパターン及びレート割当区間については詳細を後
述する。

【００７４】つぎに、制御部６による各一次多重化スト
リームのビットレートの設定処理について図２を用いて
説明する。

【００７５】まず、制御部６は、生成する二次多重化ス
トリームのビットレートに基づき、二次多重化ストリー
ムのトランスポートパケットの整数倍に相当する時間長
にレート割当区間Ｔを設定する。このレート割当区間Ｔ
は、二次多重化器３に供給される各一次多重化ストリー
ムのビットレートの設定区間である。制御部６は、この
レート割当区間Ｔ毎に各一次多重化ストリームのビット
レートを変更する。すなわち、制御部６は、このレート
割当区間Ｔ内では一次多重化ストリームのビットレート
を固定にして、このレート割当区間Ｔの境界で各一次多
重化ストリームのビットレートを変更する。

【００７６】具体的には、二次多重化ストリームのビッ
トレートがＲであれば、レート割当区間Ｔを（１８８×
８／Ｒ）の整数倍に設定する。なお、予めレート割当区
間Ｔが設定されている場合には、反対に、二次多重化ス
トリームのビットレートＲを、（１８８×８／Ｔ）の整
数倍に設定すれば良い。このようにレート割当区間Ｔを
設定することにより、レート割当区間Ｔの境界が、トラ
ンスポートパケットの境界に一致する。例えば、制御部
６は、図２（ａ）に示すように、レート割当区間Ｔ
（ｋ）を１５個のトランスポートパケット分の時間長に
設定し、レート割当区間Ｔ（ｋ＋１）に６個のトランス
ポートパケット分の時間長に設定している。続いて、二
次多重化ストリームのレート割当区間Ｔ内を分割して、
インタリーブパターンＩＰに含まれるトランスポートパ
ケットの数を設定する。このインタリーブパターンＩＰ
に含まれるトランスポートパケットの数は、同一のレー
ト割当区間Ｔ内に存在するインタリーブパターンＩＰ全
てで、同一となるように設定される。

【００７７】例えば、図２（ｂ）に示すように、レート
割当区間Ｔ（ｋ）では、５個のトランスポートパケット
から構成される３つのインターリブパターンＩＰに分割
されている。また、レート割当区間Ｔ（ｋ＋１）では、
３個のトランスポートパケットから構成される２つのイ
ンターリブパターンＩＰに分割されている。

【００７８】続いて、インタリーブパターンＩＰ内のト
ランスポートパケットの数を、それぞれ各一次多重化ス
トリームに分配して、二次多重化ストリームのビットレ
ートと分配したパケットの数から、それぞれの一次多重
化ストリームのビットレートを決定する。

【００７９】例えば、図２（ｃ）に示すように、２つの
一次多重化ストリームを多重化して二次多重化ストリー
ムを生成する場合には、レート割当区間Ｔ（ｋ）では、
一方の一次多重化ストリームにインタリーブパターンＩ
Ｐ内で２個のトランスポートパケットを割当て、他方の
一次多重化ストリームにインタリーブパターンＩＰ内で
３個のトランスポートパケットを割当てている。このこ
とから、二次多重化ストリームのビットレートがＲであ
るとすると、一方の一次多重化ストリームのビットレー
トはＲ×２／５となり、他方の一次多重化ストリームの
ビットレートはＲ×３／５となる。

【００８０】また、同様に、レート割当区間Ｔ（ｋ＋
１）では、一方の一次多重化ストリームにインタリーブ
パターンＩＰ内で２個のトランスポートパケットを割当
て、他方の一次多重化ストリームにインタリーブパター
ンＩＰ内で１個のトランスポートパケットを割当ててい
る。このことから、二次多重化ストリームのビットレー
トがＲであるとすると、一方の一次多重化ストリームの
ビットレートはＲ×２／３となり、他方の一次多重化ス
トリームのビットレートはＲ×１／３となる。

【００８１】以上のように、制御部６は、レート割当区
間Ｔを設定して各一次多重化ストリームのビットレート
を制御する。このことから、この制御部６は、レート割
当区間Ｔ毎に各一次多重化ストリームのビットレートを
変更することができる。なお、各一次多重化ストリーム
のビットレートが常に固定のシステムでは、このレート
割当区間Ｔを設定せず、以下に説明するインタリーブパ
ターンＩＰを直接設定しても良い。

【００８２】つぎに、制御部６によるインタリーブパタ
ーンＩＰの設定処理について図３を用いて説明する。

【００８３】ここで、インターリーブパターンＩＰと
は、二次多重化ストリームを生成する際に、各一次多重
化ストリームから選択するトランスポートパケットの順
序を定めた、トランスポートパケットの繰り返しパター
ンである。制御部６は、このインタリーブパターンＩＰ
に従い、レート割当区間Ｔ内で指定されたトランスポー
トパケットを選択し、切換部５に二次多重化をさせる。
すなわち、インタリーブパターンＩＰは、切換部５によ
る選択する一次多重化ストリームの切り換えの順番を設
定したパターンであり、トランスポートパケット単位で
そのパターンが設定される。

【００８４】以下、二次多重化ストリームのビットレー
トが１５Ｍｂｐｓであり、二次多重化ストリームにおけ
るレート割当区間Ｔ（ｋ）内のインタリーブパターンＩ
Ｐ（ｋ）のトランスポートパケットの数が１５個であっ
て、ビットレートがＰａ〜Ｐｅに設定された５本の一次
多重化ストリームＳａ〜Ｓｅが供給される場合を例にと
って、このインタリーブパターンＩＰを設定する処理に
ついて、図３を用いて説明する。

【００８５】制御部６は、所定のレート割当区間Ｔ
（ｋ）において、各一次多重化ストリームＳａ〜Ｓｅの
ビットレートＰａ（ｋ）〜Ｐｅ（ｋ）及びインタリーブ
パターンＩＰ（ｋ）内のトランスポートパケット数を、
以下のように設定している。

【００８６】 一次多重化ストリームＳａ： Ｐａ（ｋ）＝２Ｍｂｐ
ｓ，２パケット 一次多重化ストリームＳｂ： Ｐｂ（ｋ）＝２Ｍｂｐ
ｓ，２パケット 一次多重化ストリームＳｃ： Ｐｃ（ｋ）＝３Ｍｂｐ
ｓ，３パケット 一次多重化ストリームＳｄ： Ｐｄ（ｋ）＝３Ｍｂｐ
ｓ，３パケット 一次多重化ストリームＳｅ： Ｐｅ（ｋ）＝５Ｍｂｐ
ｓ，５パケット

【００８７】制御部６は、このトランスポートパケット
の選択順序を定めたインターリーブパターンＩＰを、以
下に示す（手順１）〜（手順４）に基づき定める。

【００８８】（手順１）まず、インタリーブパターンＩ
Ｐの先頭では、各一次多重化ストリームに対して設定さ
れたビットレートとは関係なく、全ての一次多重化スト
リームから１つのトランスポートパケットを順番に選択
する。

【００８９】例えば、所定のレート割当区間Ｔ（ｋ）に
おいては、図３に示すように、各一次多重化ストリーム
Ｓａ〜Ｓｅの先頭のパケットであるパケットａ１〜ｅ１
が“ａ１−ｂ１−ｃ１−ｄ１−ｅ１”の順番で選択され
る。

【００９０】なお、この手順１で定まる区間を、インタ
リーブパターンＩＰにおける優先順固定範囲とする。

【００９１】（手順２）続いて、上記手順１で全ての一
次多重化ストリームから１つのトランスポートパケット
が選択されると、以降、先頭バイトの二次多重化がされ
るまでの待ち時間が大きいトランスポートパケットを、
順番に選択する。

【００９２】ここで、この制御部６は、トランスポート
パケットが１８８Ｂｙｔｅの固定長であり、各一次多重
化ストリームＳａ〜ＳｅのビットレートＰａ〜Ｐｅが既
知であるので、その順番を一意に決定して選択すること
ができる。

【００９３】例えば、所定のレート割当区間Ｔ（ｋ）に
おいては、図３に示すように、一次多重化ストリームＳ
ｅの先頭のパケットであるｅ１の次に多重化されるパケ
ットには、最もビットレートの高い多重化ストリームＳ
ｅのパケットｅ２が選択される。

【００９４】このように二次多重化の待ち時間が大きい
順番でトランスポートパケットを選択することによっ
て、二次多重化ジッタを最小化することができる。

【００９５】（手順３）続いて、上記手順２において二
次多重化がされるまでの待ち時間が等しい場合には、一
次多重化ストリームのビットレートが高いトランスポー
トパケットを選択する。

【００９６】このように二次多重化の待ち時間が等しい
場合にビットレートの高い順番でトランスポートパケッ
トを選択することによって、二次多重化ジッタを最小化
することができる。

【００９７】（手順４）続いて、上記手順３においてビ
ットレートが等しい場合には、上記手順１で定めた優先
順固定範囲の順序に従ってトランスポートパケットを選
択する。

【００９８】例えば、所定のレート割当区間Ｔ（ｋ）に
おいては、図３に示すように、多重化ストリームＳｅの
パケットｅ２の次に選択されるパケットは、手順３の処
理によりパケットｃ２或いはパケットｄ２が候補となる
が、この手順４において上記優先順固定の順序に従い、
パケットｃ２が選択される。

【００９９】制御部６は、以上の（手順１）〜（手順
４）を行うことにより、トランスポートパケットの繰り
返しパターンであるインタリーブパターンＩＰを決定す
ることができる。

【０１００】例えば、所定のレート割当区間Ｔ（ｋ）に
おいては、図３に示すように、１５個のトランスポート
パケットを、“ａ１−ｂ１−ｃ１−ｄ１−ｅ１−ｅ２−
ｃ２−ｄ２−ｅ３−ａ２−ｂ２−ｅ４−ｃ３−ｄ３−ｅ
５”の順番で繰り返すインターリーブパターンＩＰを決
定することができる。

【０１０１】制御部６は、このように設定したインタリ
ーブパターンＩＰに基づき、切換部５の切り換え制御を
行う。このことによって、二次多重化器３では、各受信
メモリ４ａ〜４ｎのメモリ占有量をモニタする必要がな
くなり、各一次多重化器２ａ〜２ｎから受信メモリ４ａ
〜４ｎへのデータの転送に制限を設ける必要がなくな
る。従って、一次多重化ストリームの転送をする際に、
例えば、バースト的な転送方式を用いたＰＣＩバス等を
用いることができる。

【０１０２】なお、一次多重化ストリームの転送にこの
ようなバースト的な転送方式を用いた場合には、図３に
示すように、二次多重化を開始する際に、一次多重化ス
トリームの選択すべきトランスポートパケットが予め受
信メモリ４ａ〜４ｎに到着する時間を補償するように、
二次多重化ディレイ時間を予め設定しても良い。

【０１０３】また、各一次多重化器２ａ〜２ｎは、上記
インタリーブパターンＩＰの優先順固定範囲のトランス
ポートパケットに、時刻基準参照値であるＰＣＲをエン
コードしておき、インタリーブパターンＩＰのその他の
トランスポートパケットにはこのＰＣＲはエンコードし
ないようにする。この優先順固定範囲のトランスポート
パケットは、全ての一次多重化ストリームのトランスポ
ートパケットが１つずつ選択されているとともに、一定
の順番で二次多重化されるため、ＰＣＲの二次多重化ジ
ッタは常に一定となる。そのため、各一次多重化器２ａ
〜２ｎは、二次多重化ジッタを０とするようにＰＣＲを
予めエンコードすることができる。

【０１０４】なお、制御部６により定めるインターリー
ブパターンＩＰの時間長を、０．１秒以下とすることに
より、ＰＣＲを０．１秒以下の間隔でエンコードしなけ
ればならないというＩＳＯ１３８１８−１の規定を満足
させることができ、受信装置側で同期をとることができ
る二次多重化ストリームを生成することができる。

【０１０５】従って、二次多重化器３では、インタリー
ブパターンＩＰの優先順固定範囲のトランスポートパケ
ットのみにＰＣＲをエンコードすることにより、ＰＣＲ
の補正部を必要とせず、簡易なシステム構成となる。

【０１０６】つぎに、この二次多重化器３により生じる
二次多重化ジッタについて図４を用いて説明する。

【０１０７】二次多重化器３では、上述した手順に基づ
きインタリーブパターンを定めた場合、インタリーブパ
ターンＩＰの最大の二次多重化ジッタは、インタリーブ
パターンの先頭に二次多重化される一次多重化ストリー
ムに最大のビットレートが割り当てられた場合の、この
先頭に二次多重化される一次多重化ストリームの次のト
ランスポートパケットの先頭バイトとなる。従って、例
えば、二次多重化ストリームのビットレートをＲ、一次
多重化ストリームのストリーム数をＩとする場合、二次
多重化ジッタの最大値は、一次多重化ストリームのビッ
トレートの最大値Ｐｍａｘを用いて以下の式で表すこと
ができる。

【０１０８】（二次多重化ジッタの最大値）＝（１８８
×８×Ｉ）／Ｒ−（１８８×８）／Ｐｍａｘ （秒）

【０１０９】例えば、図４に示すように、二次多重化ス
トリームのビットレートが１５Ｍｂｐｓであり、二次多
重化ストリームにおけるレート割当区間Ｔ（ｋ）内のイ
ンタリーブパターンＩＰ（ｋ）のトランスポートパケッ
トの数が１５個であり、ビットレートがＰａ〜Ｐｅに設
定された５本の一次多重化ストリームＳａ〜Ｓｅが供給
されるとする。そして、また、所定のレート割当区間Ｔ
（ｋ）において、各一次多重化ストリームＳａ〜Ｓｅの
ビットレートＰａ（ｋ）〜Ｐｅ（ｋ）及びインタリーブ
パターンＩＰ（ｋ）内のトランスポートパケット数が、
以下のように設定されているとする。

【０１１０】 一次多重化ストリームＳａ： Ｐａ（ｋ）＝５Ｍｂｐ
ｓ，５パケット 一次多重化ストリームＳｂ： Ｐｂ（ｋ）＝３Ｍｂｐ
ｓ，３パケット 一次多重化ストリームＳｃ： Ｐｃ（ｋ）＝３Ｍｂｐ
ｓ，３パケット 一次多重化ストリームＳｄ： Ｐｄ（ｋ）＝２Ｍｂｐ
ｓ，２パケット 一次多重化ストリームＳｅ： Ｐｅ（ｋ）＝２Ｍｂｐ
ｓ，２パケット この場合、一次多重化ストリームＳａのビットレートＰ
ａ（ｋ）が、ビットレートの最大値（Ｐｍａｘ）とな
る。そして、一次多重化ストリームＳａの１つのトラン
スポートパケット分の時間が、（１８８×８）／Ｐａ
（ｋ）＝３００．８μ秒となり、二次多重化ストリーム
のトランスポートパケットＩ個分の時間が、（１８８×
８×５）／Ｒ＝５０１．３３μ秒となる。

【０１１１】そして、この場合二次多重化ジッタが最大
値は、パケットａ２の先頭バイトの二次多重化ジッタの
値となることから、以下のようにこのインタリーブパタ
ーンＩＰにおける二次多重化ジッタの最大値を求めるこ
とができる。

【０１１２】 （二次多重化ジッタの最大値） ＝（１８８×８×Ｉ）／Ｒ−（１８８×８）／Ｐｍａｘ ＝（１８８×８×５）／１５Ｍ−（１８８×８）／５Ｍ ＝８０２．１３３μ秒

【０１１３】このように二次多重化器３では、上述した
手順で設定したインタリーブパターンＩＰに基づき二次
多重化ストリームを生成しているので、二次多重化ジッ
タの最大値を既知とすることができる。従って、各一次
多重化器２ａ〜２ｎは、この既知となっている二次多重
化ジッタの最大値に基づき、一次多重化ストリームを生
成する際に仮想バッファのバッファ占有量の上限及び下
限値に所定のマージンを設けて、デコーダバッファを破
綻させないようにすることができる。

【０１１４】以上この第１の実施の形態の多重化システ
ム１では、インタリーブパターンＩＰを用いることによ
り、予め二次多重化するトランスポートパケットの順番
を一意に決定することができ、一次多重化ストリームを
受信メモリ４ａ〜４ｎに転送する際に実時間性を保たな
いバースト的なバスを用いることが可能となる。また、
多重化システム１では、同時刻に複数の一次多重化スト
リームのトランスポートパケットが二次多重化の待ち状
態となっても、必ず一定の少ない二次多重化ジッタ以内
で二次多重化がされることが保証され、各一次多重化器
２ａ〜２ｎが予め既知の小さなマージンをデコーダバッ
ファの上下限にとって一次多重化することでデコーダバ
ッファを破綻させないことを保証することができる。ま
た、多重化システム１では、先頭の優先順固定範囲のト
ランスポートパケットのみにＰＣＲをエンコードするの
でＰＣＲの補正部を必要とせず、システムの構成が簡単
となる。また、多重化システム１では、インターリーブ
パターンを変更することで、一次多重化ストリームに割
り当てるビットレートを変更することができ、例えば、
一次多重化ストリームのビットレートを可変とし、それ
ら全体のビットレートである二次多重化ストリームのビ
ットレートを一定となるように制御する統計多重化によ
る制御を行うことができる。そのため、例えば、一次多
重化ストリームの符号化の難易度に応じてビットレート
を配分することができ、全体的な画質の向上を図ること
ができる。

【０１１５】なお、この多重化システム１では、一次多
重化ストリームとして、各ストリームに関するシステム
情報等を加えることも可能である。このシステム情報と
は、例えば、複数の番組の内、特定の番組を構成するビ
デオやオーディオのストリームをデコーダで選択する際
に参照するテーブル情報などの付加情報である。この多
重化システム１では、他の一次多重化ストリームと同様
にビットレートを配分することで、一次多重化ストリー
ムとしてシステム情報を多重化することができる。

【０１１６】また、多重化システム１において、レート
割当区間Ｔ、インタリーブパターンＩＰ、一次多重化ス
トリームのビットレート、二次多重化ストリームのビッ
トレートは、それぞれ相互に関連するパラメータとなる
ことから、互いにパラメータを相互に調整して最適な二
次多重化を行うように制御を行ってもよい。

【０１１７】例えば、予め一次多重化ストリームに割り
当てるビットレートを定めておいたり、また、サーバ等
から所定のビットレートの一次多重化ストリームを供給
して、この各一次多重化ストリームのビットレートに基
づき、インタリーブパターンＩＰや二次多重化ストリー
ムのビットレートを設定しても良い。また、各一次多重
化器２ａ〜２ｎのデコーダバッファに対するデコーダの
マージンを予め定めておき、このマージン内で二次多重
化が行えるように、インタリーブパターンＩＰと、一次
多重化ストリームのビットレートとを設定しても良い。

【０１１８】つぎに、本発明の第２の実施の形態の多重
化システムについて、図面を参照しながら説明する。

【０１１９】なお、この本発明の第２の実施の形態の多
重化システムを説明するにあたり、上記第１の実施の形
態と同一の構成には、図面中に同一の符号を付け、その
詳細な説明を省略する。

【０１２０】図５に、本発明の第２の実施の形態の多重
化システムのブロック構成図を示す。

【０１２１】多重化システム５０は、一次多重化ストリ
ームを生成する複数の一次多重化器２ａ〜２ｎと、各一
次多重化器２ａ〜２ｎにより生成された一次多重化スト
リームをさらに多重化して二次多重化ストリームを生成
する二次多重化器５１とを備えている。また、この二次
多重化器５１は、各一次多重化器２ａ〜２ｎにより生成
された一次多重化ストリームを受信してそのストリーム
を一次格納する複数の受信メモリ４ａ〜４ｎと、受信メ
モリ４ａ〜４ｎに格納された一次多重化ストリーム及び
レート制御用のヌルパケットを選択して二次多重化する
切換部５２と、切換部５２により多重化する一次多重化
ストリームの切換制御、及び、各一次多重化器２ａ〜２
ｎにより生成する一次多重化ストリームのビットレート
の制御をする制御部６と、切換部５２により生成された
二次多重化ストリームにエンコードされているＰＣＲを
補正する時間情報補正部５３とを備えている。

【０１２２】この多重化システム５０は、レート割当区
間Ｔにとらわれずに一次多重化ストリームのビットレー
ト又はインタリーブパターンＩＰを決定する場合、ま
た、整数個の二次多重化ストリームのトランスポートパ
ケットをレート割当区間Ｔ内に含むように設定できない
場合に適用されるものである。

【０１２３】二次多重化器５１の切換部５２には、ビッ
トレート調整用のヌルパケットが供給される。この切換
部５２は、制御部６の制御に基づきこのヌルパケットを
二次多重化ストリームに挿入する。このヌルパケット
は、ＩＳＯ１３８１８−１で規定されているトランスポ
ートパケットであり、受信装置側においてデコーダバッ
ファに入力されることなく破棄されるデータである。こ
のヌルパケットは、インタリーブパターンＩＰ及び各一
次多重化ストリームのビットレートをレート割当区間Ｔ
にとらわれずに設定した場合に、このレート割当区間Ｔ
の境界において一定の二次多重化ストリームのビットレ
ートを維持するために、必要に応じて挿入される。

【０１２４】時間情報補正５３は、切換部５２により生
成した二次多重化ストリームのＰＣＲの値を実際に二次
多重化したタイミングに書き換える。この時間情報補正
部５３は、整数個の二次多重化ストリームのトランスポ
ートパケットをレート割当区間Ｔ内に含むように設定で
きず、レート制御区間Ｔを跨ぐ二次多重化ストリームの
トランスポートパケットが存在する場合に、二次多重化
ジッタを０とするようにＰＣＲを補正する。

【０１２５】まず、インタリーブパターンＩＰ及び各一
次多重化ストリームのビットレートをレート割当区間Ｔ
にとらわれずに設定する場合について図６を用いて説明
する。

【０１２６】各一次多重化ストリームのビットレートを
レート割当区間Ｔにとらわれずに設定した場合、各一次
多重化ストリームＳａ〜Ｓｅのトランスポートパケット
の境界と、レート割当区間Ｔ（ｋ）の境界とが一致しな
い。そこで、制御部６は、レート割当区間Ｔ（ｋ）を跨
ぐ一次多重化ストリームのトランスポートパケットは、
このレート割当区間Ｔ（ｋ）内で二次多重化せず、次の
新しいレート割当区間Ｔ（ｋ＋１）から二次多重化す
る。

【０１２７】同様に、インタリーブパターンＩＰをレー
ト割当区間Ｔにとらわれずに設定した場合、インタリー
ブパターンＩＰの境界と、レート割当区間Ｔ（ｋ）の境
界とが一致しない。そこで、制御部６は、レート割当区
間Ｔ（ｋ）を跨ぐインタリーブパターンＩＰは、レート
割当区間Ｔ（ｋ）の境界で打ち切る。ここで、レート割
当区間Ｔ（ｋ）の境界を跨ぐトランスポートパケットは
一次多重化出力がされていないため、インタリーブパタ
ーンＩＰが途中で打ち切られても、あるレート割当区間
Ｔ（ｋ）に属する一次多重化ストリームのトランスポー
トパケットは必ずそのレート割当区間Ｔ（ｋ）内に二次
多重化されることが保証される。

【０１２８】また、切換部５２は、インタリーブパター
ンＩＰ又は各一次多重化ストリームＳａ〜Ｓｅのトラン
スポートパケットの境界がレート割当区間Ｔ（ｋ）の境
界を跨ぐために、二次多重化するトランスポートパケッ
トが存在しない場合には、二次多重化ストリームのビッ
トレートを一定に保つためヌルパケットを挿入する。以
上のように多重化システム５０では、インタリーブパタ
ーンＩＰ及び各一次多重化ストリームのビットレートを
レート割当区間Ｔにとらわれずに設定した場合であって
も、予め二次多重化するトランスポートパケットの順番
を一意に決定することができ、一次多重化ストリームを
受信メモリ４ａ〜４ｎに転送する際に実時間性を保たな
いバースト的なバスを用いることが可能となる。また、
多重化システム５０では、必ず一定の少ない二次多重化
ジッタ以内で二次多重化がされることが保証される。ま
た、所定のインタリーブパターンＩＰ内の二次多重化ジ
ッタの最大値を、上述した第１の実施の形態の多重化シ
ステム１と同様に求めることができ、各一次多重化器２
ａ〜２ｎが予め既知の小さなマージンをデコーダバッフ
ァの上下限にとって一次多重化することでデコーダバッ
ファを破綻させないことを保証することができる。ま
た、多重化システム５０では、先頭の優先順固定範囲の
トランスポートパケットのみにＰＣＲをエンコードして
いれば、ＰＣＲの補正は不要となる。また、多重化シス
テム５０では、インタリーブパターンＩＰの時間長を
０．１秒以内に設定することにより、ＩＳＯ１３８１８
−１の規格に対応させることができる。

【０１２９】つぎに、整数個の二次多重化ストリームの
トランスポートパケットをレート割当区間Ｔ内に含むよ
うに設定できない場合について説明する。

【０１３０】整数個の二次多重化ストリームのトランス
ポートパケットをレート割当区間Ｔ内に含むように設定
できない場合とは、例えば、二次多重化ストリームのビ
ットレートが放送形態等により伝送路により決められて
おり、また、レート割当区間Ｔが画像データのフレーム
間隔等や各一次多重化器２ａ〜２ｎの制約等により決め
られている場合等である。

【０１３１】このような場合、図７及びこの図７のＡの
部分を拡大した図８（ａ）に示すように、レート割当区
間Ｔの境界を跨ぐ二次多重化ストリームのトランスポー
トパケットが存在してしまう。このトランスポートパケ
ットは、削除すると、二次多重化ストリームのビットレ
ートが変化してしまう。このことから、二次多重化器５
１では、このレート割当区間Ｔの境界を跨ぐ二次多重化
ストリームのトランスポートパケットを以下のように取
り扱う。

【０１３２】すなわち、二次多重化器５１は、図８
（ｂ）に示すように、所定のレート割当区間Ｔ（ｋ）と
その次のレート割当区間Ｔ（ｋ＋１）を跨ぐ二次多重化
ストリームのトランスポートパケットに、二次多重化す
るべきレート割当区間Ｔ（ｋ）に属する一次多重化スト
リームのトランスポートパケットが残っているならば、
このレート割当区間Ｔ（ｋ）に属するとみなして、その
トランスポートパケットを多重化する。

【０１３３】また、二次多重化器５１は、図８（ｃ）に
示すように、所定のレート割当区間Ｔ（ｋ）とその次の
レート割当区間Ｔ（ｋ＋１）を跨ぐ二次多重化ストリー
ムのトランスポートパケットに、二次多重化するべきレ
ート割当区間Ｔ（ｋ）に属する一次多重化ストリームの
トランスポートパケットが残っていなければ、次の新た
なレート割当区間Ｔ（ｋ＋１）に属するとみなして、そ
のトランスポートパケットを多重化する。

【０１３４】以上のように多重化システム５０では、整
数個の二次多重化ストリームのトランスポートパケット
をレート割当区間Ｔ内に含むように設定できない場合で
あっても、予め二次多重化するトランスポートパケット
の順番を一意に決定することができ、一次多重化ストリ
ームを受信メモリ４ａ〜４ｎに転送する際に実時間性を
保たないバースト的なバスを用いることが可能となる。
また、多重化システム５０では、必ず一定の少ない二次
多重化ジッタ以内で二次多重化がされることが保証され
る。

【０１３５】なお、整数個の二次多重化ストリームのト
ランスポートパケットをレート割当区間Ｔ内に含むよう
に設定できない場合には、所定のインタリーブパターン
ＩＰ内の二次多重化ジッタの最大値は、レート割当区間
Ｔの境界を跨ぐトランスポートパケットが存在すること
から以下の式に基づき求めることとなる。

【０１３６】（二次多重化ジッタの最大値）＝（１８８
×８×（Ｉ＋１））／Ｒ−（１８８×８）／Ｐｍａｘ
（秒）

【０１３７】このように、多重化システム５０では、二
次多重化ジッタの最大値が定められるので、各一次多重
化器２ａ〜２ｎが予め既知の小さなマージンをデコーダ
バッファの上下限にとって一次多重化することでデコー
ダバッファを破綻させないことを保証することができ
る。

【０１３８】また、多重化システム５０では、整数個の
二次多重化ストリームのトランスポートパケットをレー
ト割当区間Ｔ内に含むように設定できない場合には、レ
ート割当区間Ｔの境界を跨ぐトランスポートパケットが
存在することから、ＰＣＲがエンコードされた優先順固
定範囲のトランスポートパケットに二次多重化ジッタが
生じるため、時間情報補正部５３によりＰＣＲの値を補
正する。

【０１３９】

【発明の効果】本発明に係るディジタル信号多重化装置
及び方法では、パケットの時分割多重化の順序を、二次
多重化ジッタが最小となるように所定周期で繰り返され
るインターリーブパターンとして設定し、二次多重化ス
トリームを生成する。

【０１４０】このことから本発明では、二次多重化ジッ
タを少なく抑え、時刻基準参照値を補正せず、一次多重
化装置の多重化の自由度を確保して多重化をすることが
できる。

【０１４１】すなわち、本発明では、インタリーブパタ
ーンを用いることにより、予め二次多重化するトランス
ポートパケットの順番を一意に決定することができるこ
とから、二次多重化を予め既知とすることができ、か
つ、その二次多重化ジッタを少なく抑えることができ
る。従って、本発明では、デコーダバッファを破綻させ
ることのない二次多重化ストリームを生成することがで
きる。

【０１４２】また、本発明では、インタリーブパターン
を用いることにより、時刻基準参照値が付加されるパケ
ットの二次多重化ジッタを零とすることができ、そのた
め、この時刻基準参照値の補正の必要がなくなり、簡易
なシステム構成にすることができる。また、本発明で
は、インタリーブパターンを用いることにより、一次多
重化ストリームの転送に、実時間性を保たないバースト
的な転送方式を用いることができ、一次多重化装置の自
由度を確保することができる。

【０１４３】また、本発明では、レート割当区間を定
め、このレート割当区間毎にインターリーブパターンを
変更することで、一次多重化ストリームに割り当てるビ
ットレートを変更することができ、例えば、一次多重化
ストリームのビットレートを可変とし、それら全体のビ
ットレートである二次多重化ストリームのビットレート
を一定となるように制御する統計多重化による制御を行
うことができる。そのため、例えば、一次多重化ストリ
ームの符号化の難易度に応じてビットレートを配分する
ことができ、全体的な画質の向上を図ることができる。

【０１４４】また、本発明では、レート割当区間を跨ぐ
パケットが存在する場合には、ダミーパケットを挿入
し、また、インタリーブパターンを打ち切ることによ
り、インタリーブパターンを一次多重化ストリームのビ
ットレートと無関係に設定することができる。また、本
発明では、レート割当区間を跨ぐ二次多重化ストリーム
のパケットが存在する場合には、そのパケットが多重化
するべきレート割当区間に残っているならば、そのレー
ト割当区間に属するとみなし、そのパケットが多重化す
るべきレート割当区間に残っていなければ、そのレート
割当区間の次のレート割当区間に属するとみなして多重
化することにより、二次多重化ストリームのビットレー
トを一定に保ち、かつ、二次多重化ストリームのビット
レートと無関係にこのレート割当区間を設定することが
できる。

【０１４５】また、本発明に係る記録媒体には、パケッ
トの時分割多重化の順序を、所定周期で繰り返されるイ
ンターリーブパターンとして設定し、設定したインタリ
ーブパターンに基づき選択するパケットを制御して生成
された二次多重化ストリームが記録されている。

【０１４６】このことにより、本発明に係る記録媒体で
は、二次多重化ジッタを少なく抑え、時刻基準参照値を
補正せず、一次多重化装置の多重化の自由度を確保して
多重化された二次多重化ストリームを記録することがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の多重化システムの
ブロック構成図である。

【図２】上記多重化システムによる一次多重化ストリー
ムのビットレートの設定処理について説明する為の図で
ある。

【図３】上記多重化システムによるインタリーブパター
ンの設定処理を説明する為の図である。

【図４】上記多重化システムに生じる二次多重化ジッタ
の最大値について説明する為の図である。

【図５】本発明の第２の実施の形態の多重化システムの
ブロック構成図である。

【図６】レート割当区間にとらわれずにインタリーブパ
ターン及び各一次多重化ストリームのビットレートを設
定する場合における、上記多重化システムによるインタ
リーブパターンの設定処理を説明する為の図である。

【図７】整数個の二次多重化ストリームのトランスポー
トパケットをレート割当区間内に含むように設定できな
い場合における、上記多重化システムによる二次多重化
ストリーム取り扱いを説明する為の図である。

【図８】整数個の二次多重化ストリームのトランスポー
トパケットをレート割当区間内に含むように設定できな
い場合における、上記多重化システムによる二次多重化
ストリーム取り扱いを説明する為の図である。

【図９】ディジタル衛星放送等に用いられるトランスポ
ートストリームを伝送する放送システムのブロック構成
図である。

【図１０】ＩＳＯ１３８１８−１で規定されるトランス
ポートストリームである一次多重化ストリーム及び二次
多重化ストリームのデータ構造を示す図である。

【図１１】上記放送システムのデコーダモデルを説明す
るためのブロック構成図である。

【図１２】二次多重化ジッタの影響による問題を説明す
るための一次多重化ストリーム及び二次多重化ストリー
ムのデータ構造並びにデコーダバッファのバッファ占有
量を示す図である。

【図１３】従来の多重化システムのブロック構成図であ
る。

【符号の説明】

１，５０ 多重化システム、２（２ａ〜２ｎ） 一次多
重化器、３，５１ 二次多重化器、４（４ａ〜４ｎ）
受信メモリ、５，５２ 切換部、６ 制御部、５３ 時
間情報補正部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−297245（ＪＰ，Ａ) 特開 平８−97795（ＪＰ，Ａ) 特開 平９−116520（ＪＰ，Ａ) 特公 平４−58213（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04J 3/00 H04L 12/56 H04N 7/08 H04N 7/081

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 １以上のディジタル信号のビットストリ
   ームをそれぞれパケット化して、このパケット単位で各
   ビットストリームを多重化した複数の一次多重化ストリ
   ームを受信し、受信した複数の一次多重化ストリームを
   多重化するディジタル信号多重化装置において、 複数の一次多重化ストリームを受信する受信手段と、上
   記受信手段により受信した各一次多重化ストリームをパ
   ケット単位で時分割多重化し、二次多重化ストリームを
   生成する多重化手段と、パケットの時分割多重化の順序
   を所定周期で繰り返されるインターリーブパターンとし
   て設定し、このインターリーブパターンに基づき上記多
   重化手段を制御する制御手段とを備え、上記制御手段は、上記インターリーブパターンを、二次
   多重化ジッタが最小となるように設定すること を特徴と
   するディジタル信号多重化装置。
2. 【請求項２】 上記制御手段は、上記インターリーブパ
   ターン及び二次多重化ストリームのビットレートに基づ
   き、各一次多重化ストリームのビットレートを制御する
   ことを特徴とする請求項１に記載のディジタル信号多重
   化装置。
3. 【請求項３】 上記制御手段は、各一次多重化ストリー
   ムのビットレート及び二次多重化ストリームのビットレ
   ートに基づき、上記インターリーブパターンを設定する
   ことを特徴とする請求項１に記載のディジタル信号多重
   化装置。
4. 【請求項４】 上記制御手段は、レート割当区間を設定
   し、このレート割当区間毎に上記インターリーブパター
   ンを設定して各一次多重化ストリームのビットレートを
   制御することを特徴とする請求項１に記載のディジタル
   信号多重化装置。
5. 【請求項５】 上記制御手段は、上記パケットの二次多
   重化されるまでの待ち時間が大きい順番でインターリー
   ブパターンを設定することを特徴とする請求項１に記載
   のディジタル信号多重化装置。
6. 【請求項６】 上記制御手段は、上記インターリーブパ
   ターン及び二次多重化ストリームのビットレートから既
   知となる二次多重化ジッタの値に基づいて、一次多重化
   ストリームを生成する一次多重化器の仮想バッファのバ
   ッファ占有量における上限及び下限のマージンを制御す
   ることを特徴とする請求項１に記載のディジタル信号多
   重化装置。
7. 【請求項７】 １以上のディジタル信号のビットストリ
   ームをそれぞれパケット化して、このパケット単位で各
   ビットストリームを多重化した複数の一次多重化ストリ
   ームを受信し、パケットの時分割多重化の順序を、二次
   多重化ジッタが最小となるように所定周期で繰り返され
   るインターリーブパターンとして設定し、設定したイン
   ターリーブパターンに基づき選択するパケットを制御し
   て、受信した各一次多重化ストリームをパケット単位で
   時分割多重化し、二次多重化ストリームを生成すること
   を特徴とするディジタル信号多重化方法。
8. 【請求項８】 １以上のディジタル信号のビットストリ
   ームをそれぞれ多重化して、このパケット単位で各ビッ
   トストリームを多重化した複数の一次多重化ストリーム
   を生成し、複数の一次多重化ストリームを受信し、パケ
   ットの時分割多重化の順序を、二次多重化ジッタが最小
   となるように所定周期で繰り返されるインターリーブパ
   ターンとして設定し、設定したインターリーブパターン
   に基づき選択するパケットを制御して、受信した各一次
   多重化ストリームをパケット単位で時分割多重化した二
   次多重化ストリームが記録されたことを特徴とする記録
   媒体。