JPH10320914A

JPH10320914A - 符号記録装置、符号多重方法

Info

Publication number: JPH10320914A
Application number: JP14355497A
Authority: JP
Inventors: Masato Fuma; 正人夫馬; Satoshi Kurokawa; 敏黒川; Saneyuki Okamoto; 実幸岡本; Mineki Taoka; 峰樹田岡
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1997-05-15
Filing date: 1997-05-15
Publication date: 1998-12-04

Abstract

(57)【要約】【課題】再生装置のバッファ容量を低減できるよう
に、ビットレートが変動する音声圧縮符号と動画像圧縮
符号との多重化ビットストリームを構成する。【解決手段】同時刻性を有するビデオとオーディオの
符号列をパケットに分割して多重して記録媒体90に記録
する符号記録装置であって、ビデオフレームとオーディ
オフレームの再生時刻及び／又は復号時刻を指示するタ
イムスタンプを比較してビデオフレームとオーディオフ
レームが同時刻性を有するように多重する手段410 を有
する符号記録装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば動画像と音
声のように、再生出力に於ける同時刻性を要求される複
数の情報（＝相互に同時刻性を有する複数の情報）の符
号を多重して媒体に記録する符号記録装置と、符号多重
方法に関する。また、本発明は、同時刻性を要求される
複数の情報の中の任意の１つを他の情報の任意位置から
多重開始して媒体に記録する符号記録装置と、符号多重
方法に関する。

【０００２】

【従来の技術】デジタル動画像と音声を圧縮符号化する
手法として、例えば、ＩＳＯで規格化されたＭＰＥＧ
や、ＣＣＩＴＴで勧告されたＨ．２６１がある。これら
の方式では、画像単位内圧縮と画像単位間圧縮を織りま
ぜて用いることで、高画質を保ちつつ動画像を高圧縮率
で符号化している。ここで、画像単位内圧縮とは当該圧
縮データのみで復号可能な圧縮形態であり、画像単位間
圧縮とは他の画像データとの相関を利用して符号化する
圧縮形態である。

【０００３】画像単位内圧縮では、その画像内部の全て
のマクロブロックはそのまま２次元離散コサイン変換
（ＤＣＴ）されて空間周波数成分が求められ、これに量
子化と呼ばれる行列除算が施される。これは、周波数成
分を所定の値を持った行列で除算するものであり、この
行列と量子化データを復号器で乗算することにより、周
波数成分を求めることが可能になる。また、その行列値
以下の精度を落とすことが可能になる。なお、人間の視
覚特性が高周波側に於いて鈍感であることを利用して、
低周波側に高周波側よりも多くの符号が割り当てられ
る。

【０００４】画像単位間圧縮では、被参照画像からの変
位を示す動きベクトルがマクロブロック毎に求められ、
該マクロブロックに最も近い領域が検出される。さら
に、該領域と当該マクロブロックデータとの差分に対し
て２次元離散コサイン変換（ＤＣＴ）及び量子化が施さ
れて、差分データと動きベクトルが符号化される。

【０００５】したがって、ＭＰＥＧ等の動画像符号化方
式で発生するビット量は、画像の複雑さや動きの大きさ
等によって大きく変動する。このため、量子化の際の量
子化幅と呼ばれる量子化行列に対する乗数を調節するこ
とにより発生ビット量を調節する方式が行われている。
しかし、この方式では、複雑な画像や動きの大きなシー
ンでは画質が低下し、逆に、単純な画像や動きの小さな
シーンでは不必要なほどの高画質になってしまうという
問題がある。

【０００６】このため、動画像の符号化方式では、ＧＯ
Ｐ単位の発生ビット量が変動することを許容することで
画質の変動を抑える可変ビットレート方式が採用されつ
つある。この方式では、再生装置側のデコーダの前段に
バッファメモリを設けることにより、発生ビット量の変
動を吸収している。例えば、特開平４−３２６６８７号
公報には、ＭＰＥＧ規格に準拠して動画像を可変ビット
レートで符号化し、最大ビットレート制限を行う装置が
開示されている。再生出力の品質を確保しつつ高い圧縮
率を得るためには可変ビットレートの方が望ましいとい
う事情は、音声情報を圧縮符号化する場合にも同様に成
り立つ。

【０００７】

【発明が解決しようとする課題】動画像に音声が伴う場
合には、動画像（ビデオ）の圧縮データと音声（オーデ
ィオ）の圧縮データとが多重化される。例えば、ＭＰＥ
Ｇシステムでは、図２に示すように、ビデオの圧縮符号
データとオーディオの圧縮符号データの各々が適当な長
さの多数のパケットに分割され、パケットヘッダにビデ
オであるかオーディオであるかを示す情報が付加されて
多重される。

【０００８】また、動画像と音声には、各々アクセスユ
ニットと呼ばれる再生単位（動画像では１ビデオフレー
ム，音声では１オーディオフレーム）が有り、該再生単
位の先頭を含むパケットのパケットヘッダには、同図に
示すように、復号の時刻を指示するタイムスタンプＤＴ
Ｓと再生の時刻を指示するタイムスタンプＰＴＳとが付
加される。なお、アクセスユニットの先頭を含まないパ
ケットのパケットヘッダにはタイムスタンプは付加され
ない。また、同一パケット内に２以上のアクセスユニッ
トの先頭が含まれる場合には、先行するアクセスユニッ
トに対応するタイムスタンプのみが、当該パケットのパ
ケットヘッダに付加される。ここで、タイムスタンプＤ
ＴＳ，ＰＴＳは、何れも、例として取り上げているＭＰ
ＥＧ規格での時間情報である。

【０００９】ＤＴＳは、ＭＰＥＧ規格が前方向予測フレ
ームと後方予測フレームと双方向予測フレームを許容す
るために、そのビットストリーム内に於けるビデオフレ
ームの順序と、再生出力に於けるビデオフレームの順序
とが異なる場合があることを考慮して付加されたもので
ある。即ち、ＭＰＥＧのビットストリーム内では、Ｉピ
クチャやＰピクチャが、当該ＩピクチャやＰピクチャを
参照しているＢピクチャに先行するように配列されるこ
とに鑑みて付加されたものである。

【００１０】デコーダ側では、各パケットをバッファメ
モリに記憶し、ＤＴＳがシステムの同期信号ＳＴＣ（Sy
stem Time Clock ）に合致する時に上記バッファメモリ
のデータを読み出して復号するとともに、ＰＴＳがＳＴ
Ｃに合致する時に再生出力を実行することで、ビデオと
オーディオの同期再生を実現している。

【００１１】ここで、ビデオとオーディオのデジタルデ
ータが記録されているデジタル・ビデオ・ディスク用の
デコーダでの同期再生について説明する。図１１は、デ
ジタル・ビデオ・ディスク用のデコーダの一例を示す。
記録媒体90から所定のレートで読み出されたデータは、
ＤＶＤデコーダ101 にてデコードされて、ディスクレー
トコントロールＲＡＭ103 に蓄積される。ディスクレー
トコントロールＲＡＭ103 が満杯になると、記録媒体90
からの読み出しは中断される。ＭＰＥＧシステムデコー
ダ105 からの要求によりディスクレートコントロールＲ
ＡＭ103 からＭＰＥＧシステムデコーダ105 へデータが
転送されてディスクレートコントロールＲＡＭ103 への
格納が可能になると、記録媒体90からの読み出しが再開
される。

【００１２】このように、ディスクレートコントロール
ＲＡＭ103 は、記録媒体90からの読み出し速度と、後段
のビデオデコーダ111 やオーディオデコーダ113 でのデ
コード速度との差異を調整するバッファとして機能す
る。該差異は、ビデオデコーダ111 やオーディオデコー
ダ113 でのデコード速度の変動に伴って変動する。この
変動量は、圧縮ビデオデータが図１５に示すような可変
ビットレートの場合、即ち、ＧＯＰ単位でのデータ量が
変動する場合に特に大きくなる。なお、図１４はＧＯＰ
単位でのデータ量が一定の固定ビットレートの場合を示
すが、この場合でも、フレーム単位のようなミクロレベ
ルでのデータ量は変動している。

【００１３】上記のディスクレートコントロールＲＡＭ
103 は、ＤＶＤデコーダ101 のワークＲＡＭ101a、及び
／又は、下記ＡＶレートコントロールＲＡＭ105aと共用
することもできる。

【００１４】ディスクレートコントロールＲＡＭ103 か
らＭＰＥＧシステムデコーダ105 に転送されたＭＰＥＧ
システムのビットストリームは、ＡＶレートコントロー
ルＲＡＭ105aに蓄積される。このデータは、ＭＰＥＧシ
ステムデコーダ105 により解析されて圧縮ビデオデータ
と圧縮オーディオデータに分離され、ＡＶレートコント
ロールＲＡＭ105aに蓄積される。

【００１５】ＡＶレートコントロールＲＡＭ105aに蓄積
された圧縮ビデオデータと圧縮オーディオデータは、各
々のＤＴＳで指示されるタイミングになると読み出さ
れ、ビデオデコーダ111 又はオーディオデコーダ113 に
送られて、ビデオデータ又はオーディオデータにデコー
ドされる。デコードされたビデオデータはＲＡＭ111aに
格納され、デコードされたオーディオデータはＲＡＭ11
3aに格納される。ＲＡＭ111aに格納されたビデオデータ
と、ＲＡＭ113aに格納されたオーディオデータとは、各
々のＰＴＳで指示されるタイミングになると読み出され
て出力される。こうして、ビデオデータとオーディオデ
ータの同期再生が実現される。

【００１６】なお、上記の読み出しタイミングを与える
ＤＴＳやＰＴＳは、ＭＰＥＧシステムデコーダ105 の解
析により抽出されて、保存されているものとする。この
保存は、例えば、ＡＶレートコントロールＲＡＭ105a
や、専用レジスタ、或いはコントローラ131 のレジスタ
等に行われる。

【００１７】デコーダでの処理が上述のように行われる
ため、ＤＴＳの時間位置が近い（望ましくは同時刻の）
圧縮ビデオデータと圧縮オーディオデータデータが、Ａ
ＶレートコントロールＲＡＭ105aに略同時に記憶された
場合には、ＡＶレートコントロールＲＡＭ105aからの読
み出しも略同時となり、ＡＶレートコントロールＲＡＭ
105a内に未処理の圧縮データが滞留する時間も短くなっ
て、ＡＶレートコントロールＲＡＭ105aが、比較的小容
量のメモリで足りるようになる。

【００１８】圧縮ビデオデータと圧縮オーディオデータ
データが、デコーダのＡＶレートコントロールＲＡＭに
略同時に記憶されるようにすること、換言すれば、同時
刻性を有するように多重することが、本発明の目的であ
る。

【００１９】なお、図１１はビデオとオーディオのデジ
タルデータが記録されているデジタル・ビデオ・ディス
ク用のデコーダの場合であるが、図１２のビデオ−ＣＤ
デコーダ（ＭＰＥＧ規格のデータがビデオ−ＣＤフォー
マットで記録されているビデオ−ＣＤを読み出して再生
するデコーダ）や、図１３に示すＤＶＤデコーダ（ＭＰ
ＥＧ２規格のデータがＤＶＤフォーマットで記録されて
いるＤＶＤを読み出して再生するデコーダ）の場合に
も、上述の図１１の場合と同様にデコードが行われるた
め、同様の事情が成り立つ。

【００２０】本発明は、上記デコーダに於けるＡＶレー
トコントロールＲＡＭ（圧縮ビデオデータと圧縮オーデ
ィオデータを記憶するメモリ）の機能を奏するメモリの
容量を低減することを目的とする。また、この目的を、
簡易な構成で達成可能にすることを目的とする。さら
に、リアルタイムで上述の目的にかなうビットストリー
ムを構成できるようにすることを目的とする。なお、本
発明は、リアルタイムであっても、また、リアルタイム
でなくとも、実施可能である。

【００２１】また、本発明は、動画像や音声を記録／再
生可能な高密度の記録媒体が各種提案されていることに
鑑み、リアルタイムで動画像や音声を圧縮符号化した後
に上述の如く各瞬時のビットレートの比に略等しくなる
ように各符号を多重して記録媒体に記録できるようにす
ることを目的とする。即ち、前述の同時刻性を有するよ
うに多重して記録できるようにすることを目的とする。

【００２２】また、本発明は、動画像の任意の位置から
音声や字幕を多重・記録できるようにすることを目的と
する。また、動画像と音声の多重されたデータの任意の
位置から字幕や別の音声を多重・記録できるようにする
ことを目的とする。また、動画像と音声の圧縮符号化デ
ータを多重・記録するとともにその任意の位置から所望
の字幕や別の音声を多重・記録できるようにすることを
目的とする。換言すれば、同時刻性を要求される複数種
類の情報の任意の位置から別の情報を多重・記録できる
ようにすることを目的とする。

【００２３】

【課題を解決するための手段】請求項１の発明は、同時
刻性を有する複数種類の情報の符号列を多重して記録媒
体に記録する符号記録装置であって、前記各符号列内で
の位置を示す位置情報に基づいて各符号列のアクセスユ
ニットに関して符号列にとらわれない時間的先後関係を
求める演算手段と、前記各符号列を各々パケット化する
とともに前記先後関係に基づいて各パケットを時間順に
多重する多重手段と、を有する符号記録装置である。

【００２４】位置情報としては、例えば、絶対時間（時
・分・秒）や、フレームの順番を示すコード等がある。
「位置情報に基づいて求める」とは、絶対時間から直接
的に求める場合や、情報の種類毎に異なる１フレームの
割当時間とフレーム順とから求める場合がある。アクセ
スユニットは、フレームをエンコードしたデータの単位
であり、エンコードやデコードの単位である。「符号列
にとらわれない」とは、符号列内で求めるとともに符号
列間で求めることをいう。「パケット化」としては、パ
ケット化のみならず、パック化する場合でもよい。「先
後関係に基づいて多重する」とは、演算手段により得ら
れたデータを参照して多重する、演算手段により得られ
たデータをパケット化時にさらに加工して付加したデー
タを参照して多重する、そのようなデータがパケット化
時に付加されないパケットの場合には元の符号列内で直
前に位置していたアクセスユニットを含むパケットと直
後に位置していたアクセスユニットを含むパケットに関
する付加情報から推定される時間位置を参照して連結す
る等をいう。

【００２５】請求項２の発明は、請求項１に於いて、前
記多重手段が、パケットがアクセスユニットの先頭を含
む場合には該パケット内で先頭のアクセスユニットの位
置情報に基づいて時間管理情報を生成して該パケットの
ヘッダ情報として付加する、符号記録装置である。時間
管理情報とは、例えば、ＭＰＥＧ規格のタイムスタンプ
等である。

【００２６】請求項３の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記各符号列内での位置を示す位置
情報に基づいて各符号列のアクセスユニットに関して符
号列にとらわれない時間的先後関係を求める演算手段
と、前記各符号列を各々パケット化するとともに、パケ
ット化に際して対象パケットがアクセスユニットの先頭
を含む場合には該対象パケット内で先頭のアクセスユニ
ットの位置情報に基づいて時間管理情報を生成して該対
象パケットのヘッダ情報として付加するパケット化手段
と、前記先後関係に基づいて各パケットを時間順に連結
する多重手段と、を有する符号記録装置である。

【００２７】「先後関係に基づいて連結する」とは、演
算手段により得られたデータを参照して連結する、パケ
ットヘッダの時間管理情報を参照して連結する、時間管
理情報が無いパケットの場合には元の符号列内で直前に
位置していたアクセスユニットを含むパケットと直後に
位置していたアクセスユニットを含むパケットの時間管
理情報から推定される時間位置を参照して連結する等を
いう。

【００２８】請求項４の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記各符号列を各々パケット化する
とともに、パケット化に際して対象パケットがアクセス
ユニットの先頭を含む場合には該対象パケット内で先頭
のアクセスユニットの位置情報に基づいて時間管理情報
を生成して該対象パケットのヘッダ情報として付加する
パケット化手段と、前記パケット化手段により生成され
たパケットに関して前記時間管理情報に基づいて前記種
類にとらわれない時間的先後関係を求める演算手段と、
前記先後関係を参照して各パケットを時間順に連結する
多重手段と、を有する符号記録装置である。

【００２９】「時間管理情報に基づいて求める」とは、
時間管理情報を参照して求める、時間管理情報が無いパ
ケットの場合には元の符号列内で直前に位置していたア
クセスユニットを含むパケットと直後に位置していたア
クセスユニットを含むパケットの時間管理情報から推定
される時間位置を参照して求める等をいう。「種類にと
らわれない」とは、同一種類内と異種類間で求めること
を意味する。

【００３０】請求項５の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記各符号列を各々パケット化する
とともに、パケット化に際して対象パケットがアクセス
ユニットの先頭を含む場合には該対象パケット内で先頭
のアクセスユニットの位置情報に基づいて時間管理情報
を生成して該対象パケットのヘッダ情報として付加する
パケット化手段と、前記パケット化手段により生成され
たパケットの時間管理情報を種類が異なる前記情報間で
比較して同時刻の時間管理情報を有するパケットを同時
パケット組として抽出する抽出手段と、前記同時パケッ
ト組を構成するパケットを連結するとともに、前記時間
管理情報に基づいて各同時パケット組を時間順に連結す
る多重手段と、を有する符号記録装置である。

【００３１】「時間管理情報を比較する」とは、時間管
理情報を比較する、時間管理情報が無い同時パケット組
の場合には該同時パケット組を構成するパケットが元の
符号列内で直前に位置していたアクセスユニットを含む
パケットと直後に位置していたアクセスユニットを含む
パケットの時間管理情報から推定される時間位置を比較
する等をいう。「同時パケット組を構成するパケットを
連結する」とは、同時パケット組を構成するパケットが
連続するように連結することをいう。「時間管理情報に
基づいて連結する」とは、時間管理情報を参照して連結
する、時間管理情報が無い同時パケット組の場合には上
記推定時間位置に基づいて連結する等をいう。

【００３２】請求項６の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記各符号列を各々パケット化する
とともに、パケット化に際して対象パケットがアクセス
ユニットの先頭を含む場合には該対象パケット内で先頭
のアクセスユニットの位置情報に基づいて時間管理情報
を生成して該対象パケットのヘッダ情報として付加する
パケット化手段と、前記パケット化手段により生成され
たパケットの時間管理情報を種類が異なる前記情報間で
比較して同時刻の時間管理情報を有するパケットを同時
パケット組として抽出する抽出手段と、前記抽出手段に
より抽出された同時パケット組に関して前記時間管理情
報に基づいて時間的先後関係を求める演算手段と、前記
同時パケット組を構成するパケットを連結するとともに
前記先後関係を参照して各同時パケット組を時間順に連
結する多重手段と、を有する符号記録装置である。

【００３３】「時間管理情報に基づいて求める」とは、
時間管理情報を参照して求める、時間管理情報が無い同
時パケット組の場合には該同時パケット組を構成するパ
ケットが元の符号列内で直前に位置していたアクセスユ
ニットを含むパケットと直後に位置していたアクセスユ
ニットを含むパケットの時間管理情報から推定される時
間位置に基づいて求める等をいう。

【００３４】請求項７の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記複数種類の情報中の任意の情報
に関して他の情報に対するオフセット位置が指定された
場合は、該任意の情報の符号列内での位置を示す位置情
報を該オフセット位置を考慮したオフセット考慮位置情
報に変換する変換手段と、前記任意の情報の符号列内で
のオフセット考慮位置情報及び他の情報の符号列内での
位置を示す位置情報に基づいて各符号列のアクセスユニ
ットに関して符号列にとらわれない時間的先後関係を求
める演算手段と、前記各符号列を各々パケット化すると
ともに前記先後関係に基づいて各パケットを時間順に多
重する多重手段と、を有する符号記録装置である。

【００３５】請求項８の発明は、請求項７に於いて、前
記多重手段は、パケットがアクセスユニットの先頭を含
む場合には該パケット内で先頭のアクセスユニットの位
置情報又はオフセット考慮位置情報に基づいて時間管理
情報を生成して該パケットのヘッダ情報として付加す
る、符号記録装置である。

【００３６】請求項９の発明は、同時刻性を有する複数
種類の情報の符号列を多重して記録媒体に記録する符号
記録装置であって、前記複数種類の情報中の任意の情報
に関して他の情報に対するオフセット位置が指定された
場合は、該任意の情報の符号列内での位置を示す位置情
報を該オフセット位置を考慮したオフセット考慮位置情
報に変換する変換手段と、前記任意の情報の符号列内で
のオフセット考慮位置情報及び他の情報の符号列内での
位置を示す位置情報に基づいて各符号列のアクセスユニ
ットに関して符号列にとらわれない時間的先後関係を求
める演算手段と、前記各符号列を各々パケット化すると
ともに、パケット化に際して対象パケットがアクセスユ
ニットの先頭を含む場合には該対象パケット内で先頭の
アクセスユニットの位置情報又はオフセット考慮位置情
報に基づいて時間管理情報を生成して該対象パケットの
ヘッダ情報として付加するパケット化手段と、前記先後
関係に基づいて各パケットを時間順に連結する多重手段
と、を有する符号記録装置である。

【００３７】請求項１０の発明は、同時刻性を有する複
数種類の情報の符号列を多重して記録媒体に記録する符
号記録装置であって、前記複数種類の情報中の任意の情
報に関して他の情報に対するオフセット位置が指定され
た場合は、該任意の情報の符号列内での位置を示す位置
情報を該オフセット位置を考慮したオフセット考慮位置
情報に変換する変換手段と、前記各符号列を各々パケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットの位置情報又はオフセット
考慮位置情報に基づいて時間管理情報を生成して該対象
パケットのヘッダ情報として付加するパケット化手段
と、前記パケット化手段により生成されたパケットに関
して前記時間管理情報に基づいて前記種類にとらわれな
い時間的先後関係を求める演算手段と、前記先後関係を
参照して各パケットを時間順に連結する多重手段と、を
有する符号記録装置である。

【００３８】請求項１１の発明は、同時刻性を有する複
数種類の情報の符号列を多重して記録媒体に記録する符
号記録装置であって、前記複数種類の情報中の任意の情
報に関して他の情報に対するオフセット位置が指定され
た場合は、該任意の情報の符号列内での位置を示す位置
情報を該オフセット位置を考慮したオフセット考慮位置
情報に変換する変換手段と、前記各符号列を各々パケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットの位置情報又はオフセット
考慮位置情報に基づいて時間管理情報を生成して該対象
パケットのヘッダ情報として付加するパケット化手段
と、前記パケット化手段により生成されたパケットの時
間管理情報を種類が異なる前記情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出する抽出手段と、前記同時パケット組を構成する
パケットを連結するとともに、前記時間管理情報に基づ
いて各同時パケット組を時間順に連結する多重手段と、
を有する符号記録装置である。

【００３９】請求項１２の発明は、同時刻性を有する複
数種類の情報の符号列を多重して記録媒体に記録する符
号記録装置であって、前記複数種類の情報中の任意の情
報に関して他の情報に対するオフセット位置が指定され
た場合は、該任意の情報の符号列内での位置を示す位置
情報を該オフセット位置を考慮したオフセット考慮位置
情報に変換する変換手段と、前記各符号列を各々パケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットの位置情報又はオフセット
考慮位置情報に基づいて時間管理情報を生成して該対象
パケットのヘッダ情報として付加するパケット化手段
と、前記パケット化手段により生成されたパケットの時
間管理情報を種類が異なる前記情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出する抽出手段と、前記抽出手段により抽出された
同時パケット組に関して前記時間管理情報に基づいて時
間的先後関係を求める演算手段と、前記同時パケット組
を構成するパケットを連結するとともに前記先後関係を
参照して各同時パケット組を時間順に連結する多重手段
と、を有する符号記録装置である。

【００４０】請求項１３の発明は、請求項５、請求項
６、請求項１１、請求項１２の何れかに於いて、前記抽
出手段は、前記時間管理情報の下位所定数のビットを切
り捨てて上位所定数のビットのデータを参照して前記抽
出を行う、符号記録装置である。請求項１４の発明は、
請求項５、請求項６、請求項１１、請求項１２の何れか
に於いて、前記抽出手段は、前記時間管理情報の下位所
定数のビットを丸めて上位所定数のビットのデータを参
照して前記抽出を行う、符号記録装置である。

【００４１】例えば、動画像情報の再生単位である１ビ
デオフレームと、音声情報の再生単位である１オーディ
オフレームとは、図３に示すように時間単位が異なる。
このため、相互に対応付けられるべき動画像の１ビデオ
フレームと音声の１オーディオフレームの各開始時刻が
微小時間異なる場合もある。このことを考慮して、請求
項１３の発明や請求項１４の発明では、時刻管理情報の
下位ビットを切り捨てたり丸めたりして上位ビットを抽
出することで、相互に対応付けられるべき動画像の１ビ
デオフレームと音声の１オーディオフレームの組を探索
して抽出している。つまり、同時刻と見做されるパケッ
トの組を探索して抽出している。なお、「時間管理情
報」には、パケット内に時間管理情報が無い場合に、元
の符号列に於ける前後のアクセスユニットの位置情報か
ら推定された前述の時間位置を含む。

【００４２】請求項１５の発明は、請求項２、請求項
３、請求項８、請求項９の何れかに於いて、前記時間管
理情報はアクセスユニットの復号時刻を指示する復号時
刻情報と再生時刻を指示する再生時刻情報である、符号
記録装置である。請求項１６の発明は、請求項４、請求
項６、請求項１０、請求項１２の何れかに於いて、前記
時間管理情報はアクセスユニットの復号時刻を指示する
復号時刻情報と再生時刻を指示する再生時刻情報であ
り、前記演算手段は、前記復号時刻情報又は前記再生時
刻情報の何れかに基づいて時間的先後関係を求める、符
号記録装置である。請求項１７の発明は、請求項５、又
は請求項１１に於いて、前記時間管理情報はアクセスユ
ニットの復号時刻を指示する復号時刻情報と再生時刻を
指示する再生時刻情報であり、前記多重手段は、前記復
号時刻情報又は前記再生時刻情報の何れかに基づいて各
同時パケット組を連結する、符号記録装置である。

【００４３】請求項１８の発明は、請求項１〜請求項
６、請求項１３、請求項１４の何れかに於いて、前記複
数種類の情報は動画像情報と音声情報である、符号記録
装置である。請求項１９の発明は、請求項７〜請求項１
２の何れかに於いて、前記複数種類の情報は動画像情報
と音声情報である、符号記録装置である。請求項２０の
発明は、請求項１５〜請求項１７の何れかに於いて、前
記複数種類の情報は動画像情報と音声情報である、符号
記録装置である。

【００４４】請求項２１の発明は、請求項１８に於い
て、前記複数種類の情報の符号列は動画像情報と音声情
報をＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮した圧
縮符号データの符号列であり、前記アクセスユニットは
１ビデオフレームと１オーディオフレームである、符号
記録装置である。請求項２２の発明は、請求項１９に於
いて、前記複数種類の情報の符号列は動画像情報と音声
情報をＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮した
圧縮符号データの符号列であり、前記アクセスユニット
は１ビデオフレームと１オーディオフレームである、符
号記録装置である。請求項２３の発明は、請求項２０に
於いて、前記複数種類の情報の符号列は動画像情報と音
声情報をＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮し
た圧縮符号データの符号列であり、前記アクセスユニッ
トは１ビデオフレームと１オーディオフレームである、
符号記録装置である。

【００４５】請求項２４の発明は、請求項２３に於い
て、前記復号時刻情報はＤＴＳ（Decoding Time Stamp)
であり、前記再生時刻情報はＰＴＳ（Presentation Tim
e Stamp)である、符号記録装置である。

【００４６】請求項２５の発明は、請求項１〜請求項
６、請求項１３、請求項１４の何れかに於いて、前記複
数種類の情報は動画像情報と音声情報と字幕情報であ
る、符号記録装置である。請求項２６の発明は、請求項
７〜請求項１２の何れかに於いて、前記複数種類の情報
は動画像情報と音声情報と字幕情報である、符号記録装
置である。請求項２７の発明は、請求項１５〜請求項１
７の何れかに於いて、前記複数種類の情報は動画像情報
と音声情報と字幕情報である、符号記録装置である。

【００４７】請求項２８の発明は、請求項２１〜請求項
２７の何れかに於いて、前記動画像情報の符号列の各ア
クセスユニットのデータ量は各アクセスユニット毎に異
なることを許容されている、符号記録装置である。例え
ば、ＭＰＥＧ規格では、動画像の符号化の際、周波数変
換後に量子化を行ったデータに対して可変長符号化がな
される。この結果、各再生単位（フィールド，フレー
ム）毎に、或いは画像内の各所定の領域毎に発生符号量
が異なることとなる。そして、画像単位内圧縮を行う際
には、その画像だけで画質を維持する必要があるため、
通常は、画像単位間圧縮に比較して多くの符号量が割り
当てられる。このため、ＭＰＥＧ規格での動画像符号化
を行った場合、各再生単位（フィールド，フレーム）毎
に発生符号量が変化することになる。なお、実際には、
時刻管理情報は、各再生単位（ビデオフレーム，オーデ
ィオフレーム）内の先頭パケットのパケットヘッダに付
加されている。なお、再生単位とパックとは、必ずしも
一致しない。例えば、図７〜図９には、複数のパックに
よって再生単位が構成される場合が示されている。

【００４８】ここで、ＭＰＥＧ規格のデータ構成を説明
する。ＭＰＥＧ規格では、パケットのデータ量は伝送媒
体やアプリケーションに依存しており、各パケット毎に
固定長でも可変長でもよいとされている。また、ＭＰＥ
Ｇ１やＭＰＥＧ２−ＰＳでは、パケットの上位にパック
レイヤが有り、通常は複数のパケットを束ねたパックが
構成単位として取り扱われる。パックのパックヘッダに
は、同期再生用の時間基準参照用の情報が付加されてい
る。パック、パケット、セクタは、図７に示す如く１パ
ック＝１パケット＝１セクタとされてもよく、図８に示
す如く１パック＝１パケットとされてもよく、また、図
９に示す如く１パック＝複数パケットとされてもよい。
なお、図１０には、１パック＝１パケット＝１セクタ
（＝２０４８Ｂ）の場合のデータ構造が示されている。

【００４９】請求項２９の発明は、請求項１９、請求項
２２、又は請求項２６に於いて、前記任意の情報は音声
情報であるところの符号記録装置である。請求項３０の
発明は、請求項１９、請求項２２、又は請求項２６に於
いて、前記任意の情報は音声情報であり、前記他の情報
は前記任意の情報とは異なる音声情報を含むところの符
号記録装置である。請求項３１の発明は、請求項２６に
於いて、前記任意の情報は、音声情報及び／又は字幕情
報であるところの符号記録装置である。請求項３２の発
明は、請求項２６に於いて、前記任意の情報は、音声情
報及び字幕情報であり、前記他の情報は前記任意の情報
とは異なる音声情報を含むところの符号記録装置であ
る。

【００５０】請求項３３の発明は、請求項１８〜請求項
３２の何れかに於いて、前記動画像情報の符号列は可変
ビットレートの符号列であるところの符号記録装置であ
る。可変ビットレートとは、例えばＭＰＥＧでは、ＧＯ
Ｐ（Group of Picture) 毎の発生符号量が大きく変動す
るものであり、データ転送レートが時間的に変動する場
合をいう。

【００５１】請求項３４の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列を多重して記録媒体に記録
する符号記録装置であって、前記任意の情報に関して前
記或る情報に対するオフセット位置が指定された場合
は、該任意の情報の符号列内での位置を示す位置情報を
該オフセット位置を考慮したオフセット考慮位置情報に
変換する変換手段と、前記任意の情報の符号列をパケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットのオフセット考慮位置情報
に基づいて時間管理情報を生成して該対象パケットのヘ
ッダ情報として付加するパケット化手段と、前記或る情
報のパケットに付加されている時間管理情報と前記パケ
ット化手段により前記任意の情報のパケットに付加され
た時間管理情報に基づいて情報の種類にとらわれずにパ
ケットの時間的先後関係を求める演算手段と、前記先後
関係を参照して各パケットを時間順に連結する多重手段
と、を有する符号記録装置である。

【００５２】請求項３５の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列を多重して記録媒体に記録
する符号記録装置であって、前記任意の情報に関して前
記或る情報に対するオフセット位置が指定された場合
は、該任意の情報の符号列内での位置を示す位置情報を
該オフセット位置を考慮したオフセット考慮位置情報に
変換する変換手段と、前記任意の情報の符号列をパケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットのオフセット考慮位置情報
に基づいて時間管理情報を生成して該対象パケットのヘ
ッダ情報として付加するパケット化手段と、前記或る情
報のパケットに付加されている時間管理情報と前記パケ
ット化手段により前記任意の情報のパケットに付加され
た時間管理情報を種類が異なる情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出する抽出手段と、前記同時パケット組を構成する
パケットを連結するとともに、前記時間管理情報に基づ
いて各同時パケット組を時間順に連結する多重手段と、
を有する符号記録装置である。

【００５３】請求項３６の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列を多重して記録媒体に記録
する符号記録装置であって、前記任意の情報に関して前
記或る情報に対するオフセット位置が指定された場合
は、該任意の情報の符号列内での位置を示す位置情報を
該オフセット位置を考慮したオフセット考慮位置情報に
変換する変換手段と、前記任意の情報の符号列をパケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットのオフセット考慮位置情報
に基づいて時間管理情報を生成して該対象パケットのヘ
ッダ情報として付加するパケット化手段と、前記或る情
報のパケットに付加されている時間管理情報と前記パケ
ット化手段により前記任意の情報のパケットに付加され
た時間管理情報を種類が異なる情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出する抽出手段と、前記抽出手段により抽出された
同時パケット組に関して前記時間管理情報に基づいて時
間的先後関係を求める演算手段と、前記同時パケット組
を構成するパケットを連結するとともに前記先後関係を
参照して各同時パケット組を時間順に連結する多重手段
と、を有する符号記録装置である。

【００５４】請求項３７の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列をパケット化して成るパケ
ット列を多重して記録媒体に記録する符号記録装置であ
って、前記任意の情報に関して前記或る情報に対するオ
フセット位置が指定された場合は、該任意の情報のパケ
ットに付加されている時間管理情報を該オフセット位置
を考慮したオフセット考慮時間管理情報に変換する変換
手段と、前記或る情報のパケットに付加されている時間
管理情報と前記変換手段により変換されたオフセット考
慮時間管理情報に基づいて情報の種類にとらわれずにパ
ケットの時間的先後関係を求める演算手段と、前記先後
関係を参照して各パケットを時間順に連結する多重手段
と、を有する符号記録装置である。

【００５５】請求項３８の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列をパケット化して成るパケ
ット列を多重して記録媒体に記録する符号記録装置であ
って、前記任意の情報に関して前記或る情報に対するオ
フセット位置が指定された場合は、該任意の情報のパケ
ットに付加されている時間管理情報を該オフセット位置
を考慮したオフセット考慮時間管理情報に変換する変換
手段と、前記或る情報のパケットに付加されている時間
管理情報と前記変換手段により変換されたオフセット考
慮時間管理情報を比較して同時刻の時間管理情報を有す
るパケットを同時パケット組として抽出する抽出手段
と、前記同時パケット組を構成するパケットを連結する
とともに、前記時間管理情報に基づいて各同時パケット
組を時間順に連結する多重手段と、を有する符号記録装
置である。

【００５６】請求項３９の発明は、或る情報の符号列を
パケット化して成るパケット列に該或る情報と同時刻性
を有する任意の情報の符号列をパケット化して成るパケ
ット列を多重して記録媒体に記録する符号記録装置であ
って、前記任意の情報に関して前記或る情報に対するオ
フセット位置が指定された場合は、該任意の情報のパケ
ットに付加されている時間管理情報を該オフセット位置
を考慮したオフセット考慮時間管理情報に変換する変換
手段と、前記或る情報のパケットに付加されている時間
管理情報と前記変換手段により変換されたオフセット考
慮時間管理情報を比較して同時刻の時間管理情報を有す
るパケットを同時パケット組として抽出する抽出手段
と、前記抽出手段により抽出された同時パケット組に関
して前記時間管理情報に基づいて時間的先後関係を求め
る演算手段と、前記同時パケット組を構成するパケット
を連結するとともに前記先後関係を参照して各同時パケ
ット組を時間順に連結する多重手段と、を有する符号記
録装置である。

【００５７】請求項４０の発明は、請求項３５、請求項
３６、請求項３８、請求項３９の何れかに於いて、前記
抽出手段は、前記時間管理情報の下位所定数のビットを
切り捨てて上位所定数のビットのデータを参照して前記
抽出を行う、符号記録装置である。請求項４１の発明
は、請求項３５、請求項３６、請求項３８、請求項３９
の何れかに於いて、前記抽出手段は、前記時間管理情報
の下位所定数のビットを丸めて上位所定数のビットのデ
ータを参照して前記抽出を行う、符号記録装置である。

【００５８】請求項４２の発明は、請求項３４、請求項
３６、請求項３７、請求項３９の何れかに於いて、前記
時間管理情報はアクセスユニットの復号時刻を指示する
復号時刻情報と再生時刻を指示する再生時刻情報であ
り、前記演算手段は、前記復号時刻情報又は前記再生時
刻情報の何れかに基づいて時間的先後関係を求める、符
号記録装置である。請求項４３の発明は、請求項３５、
又は請求項３８に於いて、前記時間管理情報はアクセス
ユニットの復号時刻を指示する復号時刻情報と再生時刻
を指示する再生時刻情報であり、前記多重手段は、前記
復号時刻情報又は前記再生時刻情報の何れかに基づいて
各同時パケット組を連結する、符号記録装置である。

【００５９】請求項４４の発明は、請求項３４〜請求項
４１の何れかに於いて、前記或る情報は少なくとも動画
像情報を含み、前記任意の情報は音声情報であるところ
の符号記録装置である。請求項４５の発明は、請求項４
２、又は請求項４３に於いて、前記或る情報は少なくと
も動画像情報を含み、前記任意の情報は音声情報である
ところの符号記録装置である。

【００６０】請求項４６の発明は、請求項４２、又は請
求項４３に於いて、前記復号時刻情報はＭＰＥＧ１又は
ＭＰＥＧ２規格のＤＴＳ（Decoding TimeStamp)であ
り、前記再生時刻情報はＭＰＥＧ１又はＭＰＥＧ２規格
のＰＴＳ（Presentation Time Stamp)であるところの符
号記録装置である。

【００６１】請求項４７の発明は、請求項３４〜請求項
４１の何れかに於いて、前記或る情報は動画像情報と音
声情報と字幕情報であり、前記任意の情報は別の音声情
報であるところの符号記録装置である。請求項４８の発
明は、請求項４２、又は請求項４３に於いて、前記或る
情報は動画像情報と音声情報と字幕情報であり、前記任
意の情報は別の音声情報であるところの符号記録装置で
ある。

【００６２】請求項４９の発明は、請求項４４〜請求項
４８の何れかに於いて、前記動画像情報の符号列の各ア
クセスユニットのデータ量は各アクセスユニット毎に異
なることを許容されているところの符号記録装置であ
る。請求項５０の発明は、請求項４４〜請求項４８の何
れかに於いて、前記動画像情報の符号列は可変ビットレ
ートの符号列であるところの符号記録装置である。

【００６３】請求項５１の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記各符号列内での位置を示す位置情報に基づいて
各符号列のアクセスユニットに関して符号列にとらわれ
ない時間的先後関係を求め、前記各符号列を各々パケッ
ト化するとともに前記先後関係に基づいて各パケットを
時間順に多重する、符号多重方法である。

【００６４】請求項５２の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記各符号列内での位置を示す位置情報に基づいて
各符号列のアクセスユニットに関して符号列にとらわれ
ない時間的先後関係を求め、前記各符号列を各々パケッ
ト化するとともに、パケット化に際して対象パケットが
アクセスユニットの先頭を含む場合には該対象パケット
内で先頭のアクセスユニットの位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記先後関係に基づいて各パケットを時間順に
連結する、符号多重方法である。

【００６５】請求項５３の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記各符号列を各々パケット化するとともに、パケ
ット化に際して対象パケットがアクセスユニットの先頭
を含む場合には該対象パケット内で先頭のアクセスユニ
ットの位置情報に基づいて時間管理情報を生成して該対
象パケットのヘッダ情報として付加し、前記生成したパ
ケットに関して前記時間管理情報に基づいて前記種類に
とらわれない時間的先後関係を求め、前記先後関係を参
照して各パケットを時間順に連結する、符号多重方法で
ある。

【００６６】請求項５４の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記各符号列を各々パケット化するとともに、パケ
ット化に際して対象パケットがアクセスユニットの先頭
を含む場合には該対象パケット内で先頭のアクセスユニ
ットの位置情報に基づいて時間管理情報を生成して該対
象パケットのヘッダ情報として付加し、前記生成したパ
ケットの時間管理情報を種類が異なる前記情報間で比較
して同時刻の時間管理情報を有するパケットを同時パケ
ット組として抽出し、前記抽出した同時パケット組に関
して前記時間管理情報に基づいて時間的先後関係を求
め、前記同時パケット組を構成するパケットを連結する
とともに前記先後関係を参照して各同時パケット組を時
間順に連結する、符号多重方法である。

【００６７】請求項５５の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記複数種類の情報中の任意の情報に関して他の情
報に対するオフセット位置を指定し、前記任意の情報の
符号列内での位置を示す位置情報を前記指定したオフセ
ット位置を考慮したオフセット考慮位置情報に変換し、
前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求め、前記各符号列を各々パ
ケット化するとともに前記先後関係に基づいて各パケッ
トを時間順に多重する、符号多重方法である。

【００６８】請求項５６の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記複数種類の情報中の任意の情報に関して他の情
報に対するオフセット位置を指定し、前記任意の情報の
符号列内での位置を示す位置情報を前記指定したオフセ
ット位置を考慮したオフセット考慮位置情報に変換し、
前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求め、前記各符号列を各々パ
ケット化するとともに、パケット化に際して対象パケッ
トがアクセスユニットの先頭を含む場合には該対象パケ
ット内で先頭のアクセスユニットの位置情報又はオフセ
ット考慮位置情報に基づいて時間管理情報を生成して該
対象パケットのヘッダ情報として付加し、前記先後関係
に基づいて各パケットを時間順に連結する、符号多重方
法である。

【００６９】請求項５７の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記複数種類の情報中の任意の情報に関して他の情
報に対するオフセット位置を指定し、前記任意の情報の
符号列内での位置を示す位置情報を前記指定したオフセ
ット位置を考慮したオフセット考慮位置情報に変換し、
前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記生成したパケットに関して前記時間管理情
報に基づいて前記種類にとらわれない時間的先後関係を
求め、前記先後関係を参照して各パケットを時間順に連
結する、符号多重方法である。

【００７０】請求項５８の発明は、同時刻性を有する複
数種類の情報の符号列を多重する符号多重方法であっ
て、前記複数種類の情報中の任意の情報に関して他の情
報に対するオフセット位置を指定し、前記任意の情報の
符号列内での位置を示す位置情報を前記指定したオフセ
ット位置を考慮したオフセット考慮位置情報に変換し、
前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記生成したパケットの時間管理情報を種類が
異なる前記情報間で比較して同時刻の時間管理情報を有
するパケットを同時パケット組として抽出し、前記抽出
した同時パケット組に関して前記時間管理情報に基づい
て時間的先後関係を求め、前記同時パケット組を構成す
るパケットを連結するとともに前記先後関係を参照して
各同時パケット組を時間順に連結する、符号多重方法で
ある。

【００７１】請求項５９の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報の符号列
を多重する符号多重方法であって、前記任意の情報に関
して前記或る情報に対するオフセット位置を指定し、前
記任意の情報の符号列内での位置を示す位置情報を前記
指定したオフセット位置を考慮したオフセット考慮位置
情報に変換し、前記任意の情報の符号列をパケット化す
るとともに、パケット化に際して対象パケットがアクセ
スユニットの先頭を含む場合には該対象パケット内で先
頭のアクセスユニットのオフセット考慮位置情報に基づ
いて時間管理情報を生成して該対象パケットのヘッダ情
報として付加し、前記或る情報のパケットに付加されて
いる時間管理情報と前記任意の情報のパケットに付加し
た時間管理情報に基づいて情報の種類にとらわれずにパ
ケットの時間的先後関係を求め、前記先後関係を参照し
て各パケットを時間順に連結する、符号多重方法であ
る。

【００７２】請求項６０の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報の符号列
を多重する符号多重方法であって、前記任意の情報に関
して前記或る情報に対するオフセット位置を指定し、前
記任意の情報の符号列内での位置を示す位置情報を前記
指定したオフセット位置を考慮したオフセット考慮位置
情報に変換し、前記任意の情報の符号列をパケット化す
るとともに、パケット化に際して対象パケットがアクセ
スユニットの先頭を含む場合には該対象パケット内で先
頭のアクセスユニットのオフセット考慮位置情報に基づ
いて時間管理情報を生成して該対象パケットのヘッダ情
報として付加し、前記或る情報のパケットに付加されて
いる時間管理情報と前記任意の情報のパケットに付加し
た時間管理情報を種類が異なる情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出し、前記同時パケット組を構成するパケットを連
結するとともに、前記時間管理情報に基づいて各同時パ
ケット組を時間順に連結する、符号多重方法である。

【００７３】請求項６１の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報の符号列
を多重する符号多重方法であって、前記任意の情報に関
して前記或る情報に対するオフセット位置を指定し、前
記任意の情報の符号列内での位置を示す位置情報を前記
指定したオフセット位置を考慮したオフセット考慮位置
情報に変換し、前記任意の情報の符号列をパケット化す
るとともに、パケット化に際して対象パケットがアクセ
スユニットの先頭を含む場合には該対象パケット内で先
頭のアクセスユニットのオフセット考慮位置情報に基づ
いて時間管理情報を生成して該対象パケットのヘッダ情
報として付加し、前記或る情報のパケットに付加されて
いる時間管理情報と前記任意の情報のパケットに付加し
た時間管理情報を種類が異なる情報間で比較して同時刻
の時間管理情報を有するパケットを同時パケット組とし
て抽出し、前記抽出した同時パケット組に関して前記時
間管理情報に基づいて時間的先後関係を求め、前記同時
パケット組を構成するパケットを連結するとともに前記
先後関係を参照して各同時パケット組を時間順に連結す
る、符号多重方法である。

【００７４】請求項６２の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報のパケッ
ト列を多重する符号多重方法であって、前記任意の情報
に関して前記或る情報に対するオフセット位置を指定
し、前記任意の情報のパケットに付加されている時間管
理情報を前記指定したオフセット位置を考慮したオフセ
ット考慮時間管理情報に変換し、前記或る情報のパケッ
トに付加されている時間管理情報と前記変換したオフセ
ット考慮時間管理情報に基づいて情報の種類にとらわれ
ずにパケットの時間的先後関係を求め、前記先後関係を
参照して各パケットを時間順に連結する、符号多重方法
である。

【００７５】請求項６３の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報のパケッ
ト列を多重する符号多重方法であって、前記任意の情報
に関して前記或る情報に対するオフセット位置を指定
し、前記任意の情報のパケットに付加されている時間管
理情報を前記指定したオフセット位置を考慮したオフセ
ット考慮時間管理情報に変換し、前記或る情報のパケッ
トに付加されている時間管理情報と前記変換したオフセ
ット考慮時間管理情報を比較して同時刻の時間管理情報
を有するパケットを同時パケット組として抽出し、前記
同時パケット組を構成するパケットを連結するととも
に、前記時間管理情報に基づいて各同時パケット組を時
間順に連結する、符号多重方法である。

【００７６】請求項６４の発明は、或る情報のパケット
列に該或る情報と同時刻性を有する任意の情報のパケッ
ト列を多重する符号多重方法であって、前記任意の情報
に関して前記或る情報に対するオフセット位置を指定
し、前記任意の情報のパケットに付加されている時間管
理情報を前記指定したオフセット位置を考慮したオフセ
ット考慮時間管理情報に変換し、前記或る情報のパケッ
トに付加されている時間管理情報と前記変換したオフセ
ット考慮時間管理情報を比較して同時刻の時間管理情報
を有するパケットを同時パケット組として抽出し、前記
抽出した同時パケット組に関して前記時間管理情報に基
づいて時間的先後関係を求め、前記同時パケット組を構
成するパケットを連結するとともに前記先後関係を参照
して各同時パケット組を時間順に連結する、符号多重方
法である。

【００７７】請求項６５の発明は、請求項５４、請求項
５８、請求項６０、請求項６１、請求項６３、請求項６
４の何れかに於いて、前記時間管理情報の下位所定数の
ビットを切り捨てて上位所定数のビットのデータを参照
して前記抽出を行う、符号多重方法である。請求項６６
の発明は、請求項５４、請求項５８、請求項６０、請求
項６１、請求項６３、請求項６４の何れかに於いて、前
記時間管理情報の下位所定数のビットを丸めて上位所定
数のビットのデータを参照して前記抽出を行う、符号多
重方法である。

【００７８】

【発明の実施の形態】図１は本発明の一実施例を示すブ
ロック図である。図２は、ビデオエンコーダ210 から出
力されるストリームに対しＭＰＥＧシステムエンコーダ
410 にて付加されるパックヘッダ・システムヘッダ・パ
ケットのデータ構造とパケット内のデータ構造、又は、
オーディオエンコーダ230 から出力されるストリームに
対しＭＰＥＧシステムエンコーダ410 にて付加されるパ
ックヘッダ・システムヘッダ・パケットのデータ構造と
パケット内のデータ構造を示している。

【００７９】図１の符号記録装置にリアルタイムで入力
されるビデオデータは、ビデオエンコーダ210 にてＲＡ
Ｍ220 を用いて公知のビデオ圧縮方式に従って圧縮符号
化された後、ＭＰＥＧシステムエンコーダ410 に入力さ
れる。また、図１の符号記録装置にリアルタイムで入力
されるオーディオデータは、オーディオエンコーダ230
にてＲＡＭ240 を用いて公知のオーディオ圧縮方式に従
って圧縮符号化された後、ＭＰＥＧシステムエンコーダ
410 に入力される。

【００８０】ビデオエンコーダ210 とオーディオエンコ
ーダ230 では、各々に所定の一定時間間隔で圧縮符号化
・転送処理が行われる。つまり、各々に特有のフレーム
単位で圧縮符号化・転送処理（ブロックコーディング）
が行われる。

【００８１】例えば、ビデオエンコーダ210 では、１ビ
デオフレーム（１／３０秒）毎に記録媒体90に記録する
順番に従って圧縮符号化処理が実時間処理され、エンコ
ードされた圧縮ビデオデータが、ビデオフレーム単位で
ＭＰＥＧシステムエンコーダ410 へ転送される。各ビデ
オフレームの圧縮データ量は各々異なるため、１／３０
秒毎に転送されるデータ量も変動する。

【００８２】また、オーディオエンコーダ230 では、１
オーディオフレーム毎に間欠的に圧縮符号化処理が行わ
れ、エンコードされた圧縮オーディオデータが、オーデ
ィオフレーム単位でＭＰＥＧシステムエンコーダ410 へ
転送される。各オーディオフレームの圧縮データ量は符
号化フォーマット（平均転送レート）に依存して略一定
であるため、１オーディオフレーム周期毎に転送される
データ量も略一定である。但し、符号化フォーマットを
変えた場合には各オーディオフレームの圧縮データ量も
当然に変わる。

【００８３】なお、オーディオエンコーダ12での圧縮符
号化・転送処理時間の単位は、ビデオエンコーダ11での
圧縮符号化・転送処理時間の単位である１ビデオフレー
ムの時間（１／３０秒）と同じでもよいが、一般には異
なる時間が用いられる。

【００８４】ＭＰＥＧシステムエンコーダ410 は、一定
時間τの間にＲＡＭ41a に蓄積された圧縮ビデオデータ
と圧縮オーディオデータに対して、ＭＰＥＧシステムエ
ンコードを行う。即ち、パック・パケット化する。ここ
では、記録媒体90のフォーマット方式を考慮して、２Ｋ
ｂｙｔｅとなるパック化を行う。

【００８５】オーディオエンコーダ230 とビデオエンコ
ーダ210 で処理されたフレーム単位のデータは、それぞ
れのフレーム単位毎にまとまってＲＡＭ410aに蓄積され
るのであるが、ビデオフレームのデータ量は、Ｉ，Ｐ，
Ｂピクチャのような符号化手法の違いと、さらに可変ビ
ットレートの場合にはＧＯＰ単位での割り当てビット数
も相違するという事情から、各フレーム毎に大きく異な
る。これに対して、オーディオフレームのデータ量は、
符号化フォーマット（平均転送レート）を変えない限り
略一定であるという事情がある。このため、そのまま多
重したのでは、前述のように、デコーダに於けるＡＶレ
ートコントロールＲＡＭのメモリ容量を増大させるとい
う不具合を生ずる。

【００８６】このため、ＲＡＭ410aに一旦格納したビデ
オとオーディオの各圧縮データに対して、図示しない９
０ｋＨｚのクロックを計測したカウンタからの値を基に
時間管理情報を付加して、ＭＰＥＧシステムエンコード
を行う。具体的には、パック化・パケット化する際に時
間管理情報として、ＤＴＳとＰＴＳを付加する。本発明
では、その際に、ビデオとオーディオの各圧縮データの
時間管理情報の対応をとり、並べて多重する。また、ビ
デオの所望の位置からオーディオの多重を開始したい場
合であれば、その所望の位置をオフセットとして与え
て、オーディオのＤＴＳとＰＴＳを上記オフセットの分
だけシフトさせる。

【００８７】これが、フォーマッタ43に出力される。つ
まり、ＭＰＥＧシステムエンコーダ410 は、変換手段を
備えた請求項を除く請求項に記載の演算手段、パケット
化手段、多重手段、及び抽出手段としての機能を奏す
る。このようにしてＰＴＳやＤＴＳ等のパケットヘッダ
のパラメータが確定され、請求項に記載の演算手段、パ
ケット化手段、多重手段、及び抽出手段の機能に従って
並べられた多重化ＡＶビットストリームが得られる。こ
こで、ＰＴＳやＤＴＳは、オーディオやビデオのアクセ
スユニット（＝再生単位：ビデオフレーム・オーディオ
フレーム）の先頭が存在するパケットのパケットヘッダ
に付加される。

【００８８】前述のＭＰＥＧシステムエンコードに際し
ては、記録媒体90の規格が考慮される。即ち、記録媒体
90は、ファイルアクセスを考慮してセクタ単位に分割さ
れており、１セクタは、通常、図１０に示すように、２
KByte のデータと誤り訂正符号、アドレスデータ等の付
加データから成る。このような記録媒体90のセクタ構造
に適合するように、ＭＰＥＧシステムエンコーダ410 で
のエンコード処理が行われる。即ち、多重化ＡＶビット
ストリームのパック・パケット長が上記のセクタ長に適
合するように、ＭＰＥＧシステムエンコーダ410 でのエ
ンコード処理が行われる。例えば、下記のフォーマッタ
43での処理後に於いて１パックが２KByte となって１セ
クタに１パックが記録されるように、ＭＰＥＧシステム
エンコーダ410 でのＭＰＥＧシステムエンコードが行わ
れる。

【００８９】ＭＰＥＧシステムエンコーダ410 によりエ
ンコードされた多重化ＡＶビットストリームは、フォー
マッタ43に送られる。

【００９０】フォーマッタ43は、ＭＰＥＧシステムエン
コーダ41から入力される多重化ＡＶビットストリームを
ＲＡＭ42にセクタ単位毎に蓄積する。また、蓄積量が記
録ブロック単位量（例：３２セクタ／６４セクタ／１２
８セクタ）に達する毎に、ＲＡＭ42から多重化ＡＶビッ
トストリームを読み出して、誤り訂正符号等を付加し
て、書き込み回路50へ送る。これにより、誤り訂正符号
付加後の多重化ＡＶビットストリームが記録媒体90に記
録される。

【００９１】フォーマッタ43では、記録フォーマットへ
の信号処理が行われる。この信号処理は、記録媒体の規
格に適合するように、論理フォーマット化と物理フォー
マット化を行うものである。前段のＭＰＥＧシステムフ
ォーマット化では、このフォーマッタ43での物理フォー
マットに合わせた処理が、前述のように予め行われてい
る。記録媒体は、ファイルアクセスのためにセクタ単位
に分割されており、通常は２Ｋｂｙｔｅのデータとアド
レスデータなどの付加データと誤り訂正符号などのデー
タから構成されている。このため、パック・パケット長
も、セクタ長に合わせてフォーマット化される。例え
ば、パック化したときに２Ｋｂｙｔｅとなり、１セクタ
に１パックが当てはまるようにされている。このように
しておくことで、記録フォーマットの信号処理との整合
性がとられる。

【００９２】フォーマッタ43の付属のＲＡＭ42では、Ｍ
ＰＥＧシステムストリームがセクタ単位で蓄積され、記
録ブロックになるまでライトが継続される。記録ブロッ
クの単位（通常は、３２，６４，１２８セクタ等の単位
で、記録媒体の規格により異なる）までメモリされたと
ころで、フォーマッタ43で信号（誤り訂正符号等）を付
加しながら、書込回路50を通して、記録媒体90に書込み
が行われる。

【００９３】符号化速度と書込速度が整合しない場合に
は、このようなブロック書込みが必須となる。特に、可
変ビットレートに対応したストリームでは、平均符号化
速度が時々刻々と変化するため、バッファメモリ42を用
いて速度を調整しつつ、ブロック単位で処理が行われ
る。

【００９４】固定ビットレートの場合は、平均符号化速
度が略一定（但し、ミクロ的にはかなり変動がある）の
ため、符号化レートと書込みレートを合わせておけば、
連続的な書込みを実現することができる。その場合で
も、ミクロ的な変動を吸収するために、比較的小容量で
はあるがバッファメモリ42は必要となる。

【００９５】なお、上記では、ＲＡＭ42から読み出した
後にフォーマッタ43により記録フォーマットにフォーマ
ット化する例を説明しているが、ＲＡＭ42に格納する以
前にフォーマッタ43により誤り訂正符号等を付加し、該
誤り訂正符号等付加後のビットストリームをセクタ単位
毎にＲＡＭ42に蓄積してもよい。その場合には、ＲＡＭ
42の容量を大きくする必要がある。

【００９６】また、上記書き込み回路50の具体的な構成
は、記録媒体90の種類に応じて定まる。例えば、記録媒
体90が高密度の光磁気ディスクの場合であれば、該高密
度の光磁気ディスクへのデータ記録を行い得るヘッドと
その駆動回路等である。記録媒体90の種類と対応する書
込回路50としては、公知の記録媒体と対応する書込回路
を用いることができる。例えば、記録媒体90としては、
ＣＤ，ＣＤ−ＲＯＭ，ＬＤ，ＬＤ−ＲＯＭ等の光ディス
ク、ＭＯ，ＭＤ等の光磁気ディスク、ハードディスク、
フロッピーディスク等の磁気ディスク、磁気テープ、光
テープ、ＩＣメモリ、高記録密度のＤＶＤ等の種々の記
録媒体が対象となる。

【００９７】また、図１では、入力データの種類が圧縮
ビデオデータと圧縮オーディオデータの場合が示されて
いるが、データの種類はこれらに限定されず、字幕等の
文字情報であってもよい。つまり、対応するアクセスユ
ニットの同時再生を要求される情報、換言すれば、同時
刻性を有する情報であればよい。

【００９８】ＭＰＥＧシステムエンコーダ410 では、ビ
デオエンコーダ210 とオーディオエンコーダ230 から各
々入力されＲＡＭ410aに格納した圧縮データに対して、
時間管理情報（ＰＴＳ・ＤＴＳ）を付加し、パック化・
パケット化を行う。時間管理情報を付加されたビデオ・
オーディオの各パケットデータは、時間管理情報を比較
され、時間管理情報の早い順（ビデオかオーディオか）
に並び替えられ、パック化される。又は、ビデオ・オー
ディオの各データに対して時間管理情報を付加する際に
各データに付加する予定の時間管理情報を比較して、同
様に並び替えてパック化する方法もある。このとき、時
間管理情報を付加されないセクタは、時間的に先行する
時間情報を有するセクタであって最初に検出されるセク
タと同じ時間情報を持つとみなされる。そして、このパ
ック化したデータがフォーマッタ43に送られる。これ以
降の処理は前述した通りである。

【００９９】なお、上記では、リアルタイムの処理を述
べているが、各エンコードストリームをパケット化して
時間情報を付加したデータを蓄積しておき、その蓄積し
たデータに対して、多重化処理を行うこともできる。即
ち、ノンリアルタイムでの処理を行うこともできる。

【０１００】次に時間管理情報に従って並び替える手法
について述べる。図３に示すように、ビデオビットスト
リームとオーディオビットストリームでは、一般的に、
各々の１フレームの時間単位が異なる。このため、相互
に対応付けられるべきビデオとオーディオのパケットの
タイムスタンプが同時刻にならない場合が多い。

【０１０１】この場合には、図５に示すように、ビデオ
とオーディオのパケットを時間順に並べていくとよい。
なお、タイムスタンプが同時刻を示す場合には、ビデオ
とオーディオの何れか一方を先行させることとする。例
えば、同時刻であった場合には、常にオーディオをビデ
オに先行させるようにする。なお、図５に於いて、ｔ
０、ｔ１、ｔ２、・・・は、ビデオとオーディオのパケ
ットに付加したタイムスタンプが示す時刻であり、番号
が若いほど早い時刻を示す。

【０１０２】また、図４に示すように、ビデオとオーデ
ィオのパケットに付加したタイムスタンプの上位ビット
（図４では上位２４ビット）を抽出して、該抽出した上
位２４ビットを検索し、略同時刻の組としてまとめ、多
重化するように構成してもよい。検索指標となる上位ビ
ットの抽出の方法としては、下位ビット（図４では下位
９ビット）を切り捨てる方法と、下位ビット（図４では
下位９ビット目）を丸める方法がある。このように下位
ビットを無視する度合いが、ビデオとオーディオのパケ
ットを多重化する際の時間分解能となる。

【０１０３】図６には、ビデオビットストリームとオー
ディオビットストリームと字幕データのビットストリー
ムを時間管理情報の順に配列して多重化ビットストリー
ムに多重化する場合が示されている。なお、図６に於い
て、ｔ０、ｔ１、ｔ２、・・・は、ビデオとオーディオ
と字幕のパケットに付加したタイムスタンプが示す時刻
であり、番号が若いほど早い時刻を示す。

【０１０４】以上の例では、複数種類の情報であるビデ
オ／オーディオ／字幕等が、何れも同一時刻を開始時刻
の基準として多重する場合が説明されているが、何れか
１種類以上の情報を、他の１種類以上の情報の任意の時
刻から開始するように多重することも可能である。

【０１０５】以下、そのような例を、図１６、図１７に
即して説明する。即ち、図１のＭＰＥＧシステムエンコ
ーダ410 が、変換手段を備えた請求項に記載されている
機能である演算手段の機能、パケット化手段の機能、多
重手段の機能、抽出手段の機能、及び変換手段の機能を
奏する構成例を説明する。かかる構成は、例えば、映像
と音声が多重されている多重化ビットストリームに、別
の音声を所望の時刻からミキシングしたいような場合に
有用である。

【０１０６】図１６は、パック化・パケット化されたビ
デオビットストリームの途中の位置から、パック化・パ
ケット化されたオーディオビットストリームを多重する
場合を示す。また、図１７は、パック化・パケット化さ
れたビデオビットストリームの多重化ストリームの途中
から、パック化・パケット化された文字情報のビットス
トリームを多重する場合を示す。ここでは、１パック＝
１パケットの場合を説明する。

【０１０７】図１６のように、Ａ１を先頭とするオーデ
ィオビットストリームを、ビデオビットストリームのＶ
１とＶ２の間に挿入する場合には、まず、Ｖ３のタイム
スタンプを読み出して、Ａ１のタイムスタンプをＶ３の
タイムスタンプと同時刻とする。即ち、Ａ１のタイムス
タンプが、Ｖ３のタイムスタンプの分だけシフトするよ
うにオフセットを与える。これにより、Ａ１とＶ３が同
時刻のタイムスタンプを有するパケットの組とされる。
Ａ２以降は、Ｖ３のタイムスタンプがオフセットとして
与えられてＶ３のタイムスタンプの分だけシフトされて
いるため、同様に、シフト後のタイムスタンプがビデオ
パケットのタイムスタンプと比較されて同様に多重され
る。

【０１０８】Ｖ３のパケット内にタイムスタンプが無い
場合は、ビデオビットストリームに於ける直前に先行す
るタイムスタンプが読み出されて、該直前のタイムスタ
ンプがオフセットとしてオーディオのビットストリーム
に与えられて、上記と同様に処理される。なお、これに
代えて、Ｖ３の直前に先行するビデオパケットに挿入位
置を移動させてもよい。

【０１０９】上記の多重化手法は、ビデオビットストリ
ームと、該ビデオビットストリームの途中から多重され
るオーディオビットストリームとが、何れも既にパケッ
ト化されている場合（ノンリアルタイム処理の場合）で
あるが、オーディオビットストリームがパケット化され
ていない場合、即ち、エンコーダから出力された圧縮オ
ーディオデータを、既にパケット化されているビデオビ
ットストリームの途中から多重するリアルタイム処理の
場合も同様の手法を応用することができる。また、ビデ
オとオーディオの両者がパケットされていない場合も、
同様の手法を応用することができる。

【０１１０】また、図１７に示すように、ビデオとオー
ディオの多重化ストリームの途中から、文字情報の多重
する場合も、ノンリアルタイム処理、リアルタイム処理
を問わず、同様に処理することができる。また、ビデオ
とオーディオの多重化ストリームの途中から、別の音声
情報を多重する場合も同様である。なお、図１６や図１
７に於いて、タイムスタンプの指示する時間順にパケッ
トが並べられる結果として、何れか１種類の情報のパケ
ットが連続する場合も当然に生ずる。

【０１１１】

【発明の効果】本発明によると、略同時刻の圧縮ビデオ
データと圧縮オーディオデータのパケットが多重化スト
リーム中で近い位置となるように多重されるため、デコ
ーダのＡＶレートコントロールＲＡＭに略同時に記憶さ
れるようにすることができ、該ＲＡＭの容量を低減する
ことができる。また、この効果を簡易な構成で達成する
ことができる。さらに、リアルタイムで上述の多重化ス
トリームを構成することができる。また、ノンリアルタ
イムで上述の多重化ストリームを構成することもでき
る。

【０１１２】また、本発明によると、動画像の任意の位
置から音声や字幕を多重・記録できる。また、動画像と
音声の多重されたデータの任意の位置から字幕や別の音
声を多重・記録できる。また、動画像と音声の圧縮符号
化データを多重・記録するとともにその任意の位置から
所望の字幕や別の音声を多重・記録できる。換言すれ
ば、同時刻性を要求される複数種類の情報の任意の位置
から別の情報を多重・記録することができる。

【図面の簡単な説明】

【図１】本発明の装置の一実施の形態を示すブロック図

【図２】タイムスタンプＰＴＳ・ＤＴＳを先頭パケット
のパケットヘッダに付加されたビデオ又はオーディオの
ビットストリーム。

【図３】ビデオビットストリームとオーディオビットス
トリームの１フレームの時間単位が異なるため、各フレ
ームに対応して付加されるタイムスタンプが相互に微小
に異なることを示す説明図。

【図４】ビデオパックとオーディオパックの各タイムス
タンプの上位ビットを抽出して略同時刻を示すタイムス
タンプを探索する場合を示す説明図。

【図５】ビデオパックとオーディオパックを時刻順に配
列して多重化ビットストリームとする例を示す説明図。

【図６】ビデオパックとオーディオパックと字幕情報の
パックを時刻順に配列して多重化ビットストリームとす
る例を示す説明図。

【図７】１パック・１パケット・１セクタのデータ構成
の説明図。

【図８】１パック・１パケットのデータ構成の説明図。

【図９】１パック・複数パケットのデータ構成の説明
図。

【図１０】ＭＰＥＧの１パック・１パケット・１セクタ
のデータ構造の説明図。

【図１１】ＤＶＤデコーダの構成例を示すブロック図。

【図１２】ＭＰＥＧ規格のビットストリームの記録され
たビデオ−ＣＤをデコードするデコーダの構成例を示す
ブロック図。

【図１３】ＭＰＥＧ２規格のビットストリームの記録さ
れたＤＶＤをデコードするデコーダの構成例を示すブロ
ック図。

【図１４】固定ビットレートの圧縮ビデオデータの構成
例を示す説明図。

【図１５】可変ビットレートの圧縮ビデオデータの構成
例を示す説明図。

【図１６】ビデオビットストリームの途中からオーディ
オビットストリームを多重する例を示す説明図。

【図１７】ビデオとオーディオの多重化ビットストリー
ムの途中から文字情報のビットストリームを多重する例
を示す説明図。

【符号の説明】

４１０ＭＰＥＧシステムエンコーダ４１０ａＲＡＭ

───────────────────────────────────────────────────── フロントページの続き (72)発明者田岡峰樹大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内

Claims

【特許請求の範囲】

【請求項１】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記各符号列内での位置を示す位置情報に基づいて各符
号列のアクセスユニットに関して符号列にとらわれない
時間的先後関係を求める演算手段と、前記各符号列を各々パケット化するとともに前記先後関
係に基づいて各パケットを時間順に多重する多重手段
と、を有する符号記録装置。
【請求項２】請求項１に於いて、前記多重手段は、パケットがアクセスユニットの先頭を
含む場合には該パケット内で先頭のアクセスユニットの
位置情報に基づいて時間管理情報を生成して該パケット
のヘッダ情報として付加する、符号記録装置。
【請求項３】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記各符号列内での位置を示す位置情報に基づいて各符
号列のアクセスユニットに関して符号列にとらわれない
時間的先後関係を求める演算手段と、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加するパケット化手段と、前記先後関係に基づいて各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項４】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加するパケット化手段と、前記パケット化手段により生成されたパケットに関して
前記時間管理情報に基づいて前記種類にとらわれない時
間的先後関係を求める演算手段と、前記先後関係を参照して各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項５】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加するパケット化手段と、前記パケット化手段により生成されたパケットの時間管
理情報を種類が異なる前記情報間で比較して同時刻の時
間管理情報を有するパケットを同時パケット組として抽
出する抽出手段と、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する多重手段と、を有する符号記録装置。
【請求項６】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加するパケット化手段と、前記パケット化手段により生成されたパケットの時間管
理情報を種類が異なる前記情報間で比較して同時刻の時
間管理情報を有するパケットを同時パケット組として抽
出する抽出手段と、前記抽出手段により抽出された同時パケット組に関して
前記時間管理情報に基づいて時間的先後関係を求める演
算手段と、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する多重手段と、を有する符号記録装置。
【請求項７】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置が指定された場合は、該任意の情
報の符号列内での位置を示す位置情報を該オフセット位
置を考慮したオフセット考慮位置情報に変換する変換手
段と、前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求める演算手段と、前記各符号列を各々パケット化するとともに前記先後関
係に基づいて各パケットを時間順に多重する多重手段
と、を有する符号記録装置。
【請求項８】請求項７に於いて、前記多重手段は、パケットがアクセスユニットの先頭を
含む場合には該パケット内で先頭のアクセスユニットの
位置情報又はオフセット考慮位置情報に基づいて時間管
理情報を生成して該パケットのヘッダ情報として付加す
る、符号記録装置。
【請求項９】同時刻性を有する複数種類の情報の符号
列を多重して記録媒体に記録する符号記録装置であっ
て、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置が指定された場合は、該任意の情
報の符号列内での位置を示す位置情報を該オフセット位
置を考慮したオフセット考慮位置情報に変換する変換手
段と、前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求める演算手段と、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加するパケット化手段と、前記先後関係に基づいて各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項１０】同時刻性を有する複数種類の情報の符
号列を多重して記録媒体に記録する符号記録装置であっ
て、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置が指定された場合は、該任意の情
報の符号列内での位置を示す位置情報を該オフセット位
置を考慮したオフセット考慮位置情報に変換する変換手
段と、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加するパケット化手段と、前記パケット化手段により生成されたパケットに関して
前記時間管理情報に基づいて前記種類にとらわれない時
間的先後関係を求める演算手段と、前記先後関係を参照して各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項１１】同時刻性を有する複数種類の情報の符
号列を多重して記録媒体に記録する符号記録装置であっ
て、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置が指定された場合は、該任意の情
報の符号列内での位置を示す位置情報を該オフセット位
置を考慮したオフセット考慮位置情報に変換する変換手
段と、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加するパケット化手段と、前記パケット化手段により生成されたパケットの時間管
理情報を種類が異なる前記情報間で比較して同時刻の時
間管理情報を有するパケットを同時パケット組として抽
出する抽出手段と、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する多重手段と、を有する符号記録装置。
【請求項１２】同時刻性を有する複数種類の情報の符
号列を多重して記録媒体に記録する符号記録装置であっ
て、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置が指定された場合は、該任意の情
報の符号列内での位置を示す位置情報を該オフセット位
置を考慮したオフセット考慮位置情報に変換する変換手
段と、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加するパケット化手段と、前記パケット化手段により生成されたパケットの時間管
理情報を種類が異なる前記情報間で比較して同時刻の時
間管理情報を有するパケットを同時パケット組として抽
出する抽出手段と、前記抽出手段により抽出された同時パケット組に関して
前記時間管理情報に基づいて時間的先後関係を求める演
算手段と、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する多重手段と、を有する符号記録装置。
【請求項１３】請求項５、請求項６、請求項１１、請
求項１２の何れかに於いて、前記抽出手段は、前記時間管理情報の下位所定数のビッ
トを切り捨てて上位所定数のビットのデータを参照して
前記抽出を行う、符号記録装置。
【請求項１４】請求項５、請求項６、請求項１１、請
求項１２の何れかに於いて、前記抽出手段は、前記時間管理情報の下位所定数のビッ
トを丸めて上位所定数のビットのデータを参照して前記
抽出を行う、符号記録装置。
【請求項１５】請求項２、請求項３、請求項８、請求
項９の何れかに於いて、前記時間管理情報はアクセスユニットの復号時刻を指示
する復号時刻情報と再生時刻を指示する再生時刻情報で
ある、符号記録装置。
【請求項１６】請求項４、請求項６、請求項１０、請
求項１２の何れかに於いて、前記時間管理情報はアクセスユニットの復号時刻を指示
する復号時刻情報と再生時刻を指示する再生時刻情報で
あり、前記演算手段は、前記復号時刻情報又は前記再生時刻情
報の何れかに基づいて時間的先後関係を求める、符号記録装置。
【請求項１７】請求項５、又は請求項１１に於いて、前記時間管理情報はアクセスユニットの復号時刻を指示
する復号時刻情報と再生時刻を指示する再生時刻情報で
あり、前記多重手段は、前記復号時刻情報又は前記再生時刻情
報の何れかに基づいて各同時パケット組を連結する、符号記録装置。
【請求項１８】請求項１〜請求項６、請求項１３、請
求項１４の何れかに於いて、前記複数種類の情報は動画像情報と音声情報である、符号記録装置。
【請求項１９】請求項７〜請求項１２の何れかに於い
て、前記複数種類の情報は動画像情報と音声情報である、符号記録装置。
【請求項２０】請求項１５〜請求項１７の何れかに於
いて、前記複数種類の情報は動画像情報と音声情報である、符号記録装置。
【請求項２１】請求項１８に於いて、前記複数種類の情報の符号列は動画像情報と音声情報を
ＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮した圧縮符
号データの符号列であり、前記アクセスユニットは１ビデオフレームと１オーディ
オフレームである、符号記録装置。
【請求項２２】請求項１９に於いて、前記複数種類の情報の符号列は動画像情報と音声情報を
ＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮した圧縮符
号データの符号列であり、前記アクセスユニットは１ビデオフレームと１オーディ
オフレームである、符号記録装置。
【請求項２３】請求項２０に於いて、前記複数種類の情報の符号列は動画像情報と音声情報を
ＭＰＥＧ１又はＭＰＥＧ２規格に従って圧縮した圧縮符
号データの符号列であり、前記アクセスユニットは１ビデオフレームと１オーディ
オフレームである、符号記録装置。
【請求項２４】請求項２３に於いて、前記復号時刻情報はＤＴＳ（Decoding Time Stamp)であ
り、前記再生時刻情報はＰＴＳ（Presentation Time St
amp)である、符号記録装置。
【請求項２５】請求項１〜請求項６、請求項１３、請
求項１４の何れかに於いて、前記複数種類の情報は動画像情報と音声情報と字幕情報
である、符号記録装置。
【請求項２６】請求項７〜請求項１２の何れかに於い
て、前記複数種類の情報は動画像情報と音声情報と字幕情報
である、符号記録装置。
【請求項２７】請求項１５〜請求項１７の何れかに於
いて、前記複数種類の情報は動画像情報と音声情報と字幕情報
である、符号記録装置。
【請求項２８】請求項２１〜請求項２７の何れかに於
いて、前記動画像情報の符号列の各アクセスユニットのデータ
量は各アクセスユニット毎に異なることを許容されてい
る、符号記録装置。
【請求項２９】請求項１９、請求項２２、又は請求項
２６に於いて、前記任意の情報は音声情報である、符号記録装置。
【請求項３０】請求項１９、請求項２２、又は請求項
２６に於いて、前記任意の情報は音声情報であり、前記他の情報は前記
任意の情報とは異なる音声情報を含む、符号記録装置。
【請求項３１】請求項２６に於いて、前記任意の情報は、音声情報及び／又は字幕情報であ
る、符号記録装置。
【請求項３２】請求項２６に於いて、前記任意の情報は、音声情報及び字幕情報であり、前記
他の情報は前記任意の情報とは異なる音声情報を含む、符号記録装置。
【請求項３３】請求項１８〜請求項３２の何れかに於
いて、前記動画像情報の符号列は可変ビットレートの符号列で
ある、符号記録装置。
【請求項３４】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列を多重して記録媒体に記録する符号記録装置
であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報の符号列内で
の位置を示す位置情報を該オフセット位置を考慮したオ
フセット考慮位置情報に変換する変換手段と、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加す
るパケット化手段と、前記或る情報のパケットに付加されている時間管理情報
と前記パケット化手段により前記任意の情報のパケット
に付加された時間管理情報に基づいて情報の種類にとら
われずにパケットの時間的先後関係を求める演算手段
と、前記先後関係を参照して各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項３５】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列を多重して記録媒体に記録する符号記録装置
であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報の符号列内で
の位置を示す位置情報を該オフセット位置を考慮したオ
フセット考慮位置情報に変換する変換手段と、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加す
るパケット化手段と、前記或る情報のパケットに付加されている時間管理情報
と前記パケット化手段により前記任意の情報のパケット
に付加された時間管理情報を種類が異なる情報間で比較
して同時刻の時間管理情報を有するパケットを同時パケ
ット組として抽出する抽出手段と、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する多重手段と、を有する符号記録装置。
【請求項３６】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列を多重して記録媒体に記録する符号記録装置
であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報の符号列内で
の位置を示す位置情報を該オフセット位置を考慮したオ
フセット考慮位置情報に変換する変換手段と、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加す
るパケット化手段と、前記或る情報のパケットに付加されている時間管理情報
と前記パケット化手段により前記任意の情報のパケット
に付加された時間管理情報を種類が異なる情報間で比較
して同時刻の時間管理情報を有するパケットを同時パケ
ット組として抽出する抽出手段と、前記抽出手段により抽出された同時パケット組に関して
前記時間管理情報に基づいて時間的先後関係を求める演
算手段と、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する多重手段と、を有する符号記録装置。
【請求項３７】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列をパケット化して成るパケット列を多重して
記録媒体に記録する符号記録装置であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報のパケットに
付加されている時間管理情報を該オフセット位置を考慮
したオフセット考慮時間管理情報に変換する変換手段
と、前記或る情報のパケットに付加されている時間管理情報
と前記変換手段により変換されたオフセット考慮時間管
理情報に基づいて情報の種類にとらわれずにパケットの
時間的先後関係を求める演算手段と、前記先後関係を参照して各パケットを時間順に連結する
多重手段と、を有する符号記録装置。
【請求項３８】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列をパケット化して成るパケット列を多重して
記録媒体に記録する符号記録装置であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報のパケットに
付加されている時間管理情報を該オフセット位置を考慮
したオフセット考慮時間管理情報に変換する変換手段
と、前記或る情報のパケットに付加されている時間管理情報
と前記変換手段により変換されたオフセット考慮時間管
理情報を比較して同時刻の時間管理情報を有するパケッ
トを同時パケット組として抽出する抽出手段と、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する多重手段と、を有する符号記録装置。
【請求項３９】或る情報の符号列をパケット化して成
るパケット列に該或る情報と同時刻性を有する任意の情
報の符号列をパケット化して成るパケット列を多重して
記録媒体に記録する符号記録装置であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置が指定された場合は、該任意の情報のパケットに
付加されている時間管理情報を該オフセット位置を考慮
したオフセット考慮時間管理情報に変換する変換手段
と、前記或る情報のパケットに付加されている時間管理情報
と前記変換手段により変換されたオフセット考慮時間管
理情報を比較して同時刻の時間管理情報を有するパケッ
トを同時パケット組として抽出する抽出手段と、前記抽出手段により抽出された同時パケット組に関して
前記時間管理情報に基づいて時間的先後関係を求める演
算手段と、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する多重手段と、を有する符号記録装置。
【請求項４０】請求項３５、請求項３６、請求項３
８、請求項３９の何れかに於いて、前記抽出手段は、前記時間管理情報の下位所定数のビッ
トを切り捨てて上位所定数のビットのデータを参照して
前記抽出を行う、符号記録装置。
【請求項４１】請求項３５、請求項３６、請求項３
８、請求項３９の何れかに於いて、前記抽出手段は、前記時間管理情報の下位所定数のビッ
トを丸めて上位所定数のビットのデータを参照して前記
抽出を行う、符号記録装置。
【請求項４２】請求項３４、請求項３６、請求項３
７、請求項３９の何れかに於いて、前記時間管理情報はアクセスユニットの復号時刻を指示
する復号時刻情報と再生時刻を指示する再生時刻情報で
あり、前記演算手段は、前記復号時刻情報又は前記再生時刻情
報の何れかに基づいて時間的先後関係を求める、符号記録装置。
【請求項４３】請求項３５、又は請求項３８に於い
て、前記時間管理情報はアクセスユニットの復号時刻を指示
する復号時刻情報と再生時刻を指示する再生時刻情報で
あり、前記多重手段は、前記復号時刻情報又は前記再生時刻情
報の何れかに基づいて各同時パケット組を連結する、符号記録装置。
【請求項４４】請求項３４〜請求項４１の何れかに於
いて、前記或る情報は少なくとも動画像情報を含み、前記任意
の情報は音声情報である、符号記録装置。
【請求項４５】請求項４２、又は請求項４３に於い
て、前記或る情報は少なくとも動画像情報を含み、前記任意
の情報は音声情報である、符号記録装置。
【請求項４６】請求項４２、又は請求項４３に於い
て、前記復号時刻情報はＭＰＥＧ１又はＭＰＥＧ２規格のＤ
ＴＳ（Decoding TimeStamp)であり、前記再生時刻情報
はＭＰＥＧ１又はＭＰＥＧ２規格のＰＴＳ（Presentati
on Time Stamp)である、符号記録装置。
【請求項４７】請求項３４〜請求項４１の何れかに於
いて、前記或る情報は動画像情報と音声情報と字幕情報であ
り、前記任意の情報は別の音声情報である、符号記録装置。
【請求項４８】請求項４２、又は請求項４３に於い
て、前記或る情報は動画像情報と音声情報と字幕情報であ
り、前記任意の情報は別の音声情報である、符号記録装置。
【請求項４９】請求項４４〜請求項４８の何れかに於
いて、前記動画像情報の符号列の各アクセスユニットのデータ
量は各アクセスユニット毎に異なることを許容されてい
る、符号記録装置。
【請求項５０】請求項４４〜請求項４８の何れかに於
いて、前記動画像情報の符号列は可変ビットレートの符号列で
ある、符号記録装置。
【請求項５１】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記各符号列内での位置を示す位置情報に基づいて各符
号列のアクセスユニットに関して符号列にとらわれない
時間的先後関係を求め、前記各符号列を各々パケット化するとともに前記先後関
係に基づいて各パケットを時間順に多重する、符号多重方法。
【請求項５２】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記各符号列内での位置を示す位置情報に基づいて各符
号列のアクセスユニットに関して符号列にとらわれない
時間的先後関係を求め、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加し、前記先後関係に基づいて各パケットを時間順に連結す
る、符号多重方法。
【請求項５３】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加し、前記生成したパケットに関して前記時間管理情報に基づ
いて前記種類にとらわれない時間的先後関係を求め、前記先後関係を参照して各パケットを時間順に連結す
る、符号多重方法。
【請求項５４】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報に基づいて時間管理情報を生成して該対象パ
ケットのヘッダ情報として付加し、前記生成したパケットの時間管理情報を種類が異なる前
記情報間で比較して同時刻の時間管理情報を有するパケ
ットを同時パケット組として抽出し、前記抽出した同時パケット組に関して前記時間管理情報
に基づいて時間的先後関係を求め、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する、符号多重方法。
【請求項５５】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求め、前記各符号列を各々パケット化するとともに前記先後関
係に基づいて各パケットを時間順に多重する、符号多重方法。
【請求項５６】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記任意の情報の符号列内でのオフセット考慮位置情報
及び他の情報の符号列内での位置を示す位置情報に基づ
いて各符号列のアクセスユニットに関して符号列にとら
われない時間的先後関係を求め、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記先後関係に基づいて各パケットを時間順に連結す
る、符号多重方法。
【請求項５７】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記生成したパケットに関して前記時間管理情報に基づ
いて前記種類にとらわれない時間的先後関係を求め、前記先後関係を参照して各パケットを時間順に連結す
る、符号多重方法。
【請求項５８】同時刻性を有する複数種類の情報の符
号列を多重する符号多重方法であって、前記複数種類の情報中の任意の情報に関して他の情報に
対するオフセット位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記各符号列を各々パケット化するとともに、パケット
化に際して対象パケットがアクセスユニットの先頭を含
む場合には該対象パケット内で先頭のアクセスユニット
の位置情報又はオフセット考慮位置情報に基づいて時間
管理情報を生成して該対象パケットのヘッダ情報として
付加し、前記生成したパケットの時間管理情報を種類が異なる前
記情報間で比較して同時刻の時間管理情報を有するパケ
ットを同時パケット組として抽出し、前記抽出した同時パケット組に関して前記時間管理情報
に基づいて時間的先後関係を求め、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する、符号多重方法。
【請求項５９】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報の符号列を多重する符号多
重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加
し、前記或る情報のパケットに付加されている時間管理情報
と前記任意の情報のパケットに付加した時間管理情報に
基づいて情報の種類にとらわれずにパケットの時間的先
後関係を求め、前記先後関係を参照して各パケットを時間順に連結す
る、符号多重方法。
【請求項６０】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報の符号列を多重する符号多
重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加
し、前記或る情報のパケットに付加されている時間管理情報
と前記任意の情報のパケットに付加した時間管理情報を
種類が異なる情報間で比較して同時刻の時間管理情報を
有するパケットを同時パケット組として抽出し、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する、符号多重方法。
【請求項６１】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報の符号列を多重する符号多
重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報の符号列内での位置を示す位置情報を前
記指定したオフセット位置を考慮したオフセット考慮位
置情報に変換し、前記任意の情報の符号列をパケット化するとともに、パ
ケット化に際して対象パケットがアクセスユニットの先
頭を含む場合には該対象パケット内で先頭のアクセスユ
ニットのオフセット考慮位置情報に基づいて時間管理情
報を生成して該対象パケットのヘッダ情報として付加
し、前記或る情報のパケットに付加されている時間管理情報
と前記任意の情報のパケットに付加した時間管理情報を
種類が異なる情報間で比較して同時刻の時間管理情報を
有するパケットを同時パケット組として抽出し、前記抽出した同時パケット組に関して前記時間管理情報
に基づいて時間的先後関係を求め、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する、符号多重方法。
【請求項６２】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報のパケット列を多重する符
号多重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報のパケットに付加されている時間管理情
報を前記指定したオフセット位置を考慮したオフセット
考慮時間管理情報に変換し、前記或る情報のパケットに付加されている時間管理情報
と前記変換したオフセット考慮時間管理情報に基づいて
情報の種類にとらわれずにパケットの時間的先後関係を
求め、前記先後関係を参照して各パケットを時間順に連結す
る、符号多重方法。
【請求項６３】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報のパケット列を多重する符
号多重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報のパケットに付加されている時間管理情
報を前記指定したオフセット位置を考慮したオフセット
考慮時間管理情報に変換し、前記或る情報のパケットに付加されている時間管理情報
と前記変換したオフセット考慮時間管理情報を比較して
同時刻の時間管理情報を有するパケットを同時パケット
組として抽出し、前記同時パケット組を構成するパケットを連結するとと
もに、前記時間管理情報に基づいて各同時パケット組を
時間順に連結する、符号多重方法。
【請求項６４】或る情報のパケット列に該或る情報と
同時刻性を有する任意の情報のパケット列を多重する符
号多重方法であって、前記任意の情報に関して前記或る情報に対するオフセッ
ト位置を指定し、前記任意の情報のパケットに付加されている時間管理情
報を前記指定したオフセット位置を考慮したオフセット
考慮時間管理情報に変換し、前記或る情報のパケットに付加されている時間管理情報
と前記変換したオフセット考慮時間管理情報を比較して
同時刻の時間管理情報を有するパケットを同時パケット
組として抽出し、前記抽出した同時パケット組に関して前記時間管理情報
に基づいて時間的先後関係を求め、前記同時パケット組を構成するパケットを連結するとと
もに前記先後関係を参照して各同時パケット組を時間順
に連結する、符号多重方法。
【請求項６５】請求項５４、請求項５８、請求項６
０、請求項６１、請求項６３、請求項６４の何れかに於
いて、前記時間管理情報の下位所定数のビットを切り捨てて上
位所定数のビットのデータを参照して前記抽出を行う、符号多重方法。
【請求項６６】請求項５４、請求項５８、請求項６
０、請求項６１、請求項６３、請求項６４の何れかに於
いて、前記時間管理情報の下位所定数のビットを丸めて上位所
定数のビットのデータを参照して前記抽出を行う、符号多重方法。