JP4091962B2

JP4091962B2 - ストリーム生成装置、方法および記録媒体

Info

Publication number: JP4091962B2
Application number: JP2006540070A
Authority: JP
Inventors: 正真遠間; 智之岡田; 洋矢羽田; 眞也角野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-04-28
Filing date: 2005-04-25
Publication date: 2008-05-28
Anticipated expiration: 2025-04-25
Also published as: ATE515883T1; CN101686364A; EP2184919A3; US7889788B2; WO2005107253A1; PL1942670T3; CN101677382A; EP1942670A1; EP1942670B1; US20100046922A1; JP4554690B2; JP2007535208A; BRPI0506370A8; KR20070000429A; JP2008136179A; MXPA06004544A; JP2007325287A; US20070116426A1; EP1743481A1; US7965766B2

Description

本発明は、符号化ピクチャを含むストリームを生成するストリーム生成装置、その方法および記録媒体に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５MbpsでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVC（Advanced Video Coding）が標準化され、次世代の光ディスク関連機器、あるいは携帯端末向けの放送などで使用される見込みである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号する場合の条件として、参照するピクチャが既に符号化および復号されている必要がある。

図１は、従来のMPEG2のストリームの構成図である。図１に示すようにMPEG2のストリームは以下のような階層構造を有している。ストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、GOPおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。

図２は、MPEG-2で使用されているピクチャ間の予測構造例である。同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。図２（a）に示すように、MPEG-2ではPピクチャ（P0、P6、P9、P12、P15）は表示時刻が直前1枚のIピクチャもしくはPピクチャのみ参照した予測符号化が可能である。また、Bピクチャ（B1、B2、B4、B5、B7、B8、B10、B11、B13、B14、B16、B17、B19、B20）は表示時刻が直前1枚と直後1枚のIピクチャもしくはPピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、IピクチャおよびPピクチャは表示時刻の順序、Bピクチャは直後に表示されるIピクチャもしくはPピクチャの直後に配置される。GOP構造としては、例えば、図２（b）に示すように、I3からB14までのピクチャをまとめて1つのGOPとすることができる。

図３は、MPEG4 AVCのストリームの構成図である。MPEG4 AVCではGOPに相当する概念は無いため、後述するパラメータセットの配置方法やピクチャの予測構造を制約しない場合には、ランダムアクセス時にはピクチャデータを順に解析して復号が開始できるピクチャを検索する必要がある。しかしながら、他のピクチャに依存せずに復号できる特別なピクチャ単位でデータを分割すればGOPに相当するランダムアクセス可能な単位が構成することは可能である。このように分割した単位をランダムアクセス単位 RAUと呼び、ランダムアクセス単位 RAUから構成されるストリームを、ランダムアクセス構造をもつストリームと呼ぶことにする。

ここで、ストリームを扱う際の基本単位であるアクセスユニット（以降、AUと呼ぶ。）について説明する。AUとは、1ピクチャ分の符号化データを格納する単位であり、パラメータセットや、スライスデータなどを含む。パラメータセットは各ピクチャのヘッダに相当するデータであるピクチャパラメータセットPPSとMPEG-2のGOP以上の単位のヘッダに相当するシーケンスパラメータセットSPSがある。シーケンスパラメータセットSPSには、最大参照可能ピクチャ数、画像サイズ等が含まれており、ピクチャパラメータセットPPSには、可変長符号化の方式、量子化ステップの初期値、参照ピクチャ数等が含まれている。各ピクチャには前記ピクチャパラメータセットPPSおよびシーケンスパラメータセットSPSの何れを参照するかを示す識別子が付与される。

MPEG-4 AVCにおけるIピクチャには、IDR（Instantaneous Decoder Refresh）ピクチャと、IDRピクチャではないIピクチャの2種類がある。IDRピクチャとは、復号順でIDRピクチャより後の全ピクチャを、復号順でIDRピクチャより前のピクチャを参照することなしに復号することのできる、つまり、復号に必要な状態がリセットされるIピクチャであり、MPEG-2のclosed GOPの先頭Iピクチャに相当する。IDRではないIピクチャにおいては、復号順でIピクチャより後のピクチャが、復号順で当該Iピクチャより前のピクチャを参照してもよい。ここで、IDRピクチャとIピクチャは、Iスライスのみから構成されるピクチャ、PピクチャはPスライスあるいはIスライスから構成されるピクチャ、BピクチャはBスライス、Pスライス、あるいはIスライスから構成されるピクチャを指すものとする。なお、ＩＤＲピクチャのスライスと、非ＩＤＲピクチャのスライスとは異なるタイプのＮＡＬユニットに格納される。

MPEG-4 AVCにおけるAUには、ピクチャの復号に必須のデータに加えて、スライスデータの復号に必須でないSEI（Supplemental Enhancement Information）と呼ばれる補助情報や、AUの境界情報なども含めることができる。パラメータセット、スライスデータ、SEIなどのデータは、全てNAL（Network Adaptation Layer）ユニットNALUに格納される。NALユニットは、ヘッダとペイロードから構成され、ヘッダには、ペイロードに格納されるデータのタイプ（以降、NALユニットタイプと呼ぶ）を示すフィールドなどが含まれる。NALユニットタイプは、スライスやSEIなどデータの種類別に値が規定されており、NALユニットタイプを参照することにより、NALユニットに格納されるデータの種類を特定できる。SEIのNALユニットには、1以上のSEIメッセージを格納することができる。SEIメッセージもヘッダとペイロードから構成され、ペイロードに格納される情報の種類は、ヘッダにおいて示されるSEIメッセージのタイプにより識別される。

図４は、MPEG-4 AVCの予測構造例を示す図である。MPEG-4 AVCではPピクチャのAUからBピクチャのAUを参照することも可能になっており、図４に示すように、PピクチャのAU（P7）がBピクチャのAU（B2）を参照することもできる。このとき、IピクチャとPピクチャのAUのみを表示して高速再生するには、I0、B2、P4、およびP7を復号しなければならない。このように、飛び込み再生、可変速再生、あるいは逆再生時などの特殊再生時には、復号が必要なAUを予め決定することができないため、結局全てのAUを復号しなければならない。ただし、特殊再生に復号が必要なAUを示す補助情報をストリーム内に格納することにより、前記補助情報を参照して復号するAUを決定することもできる。これらの補助情報を、特再情報と呼ぶことにする。また、PピクチャのAUはBピクチャのAUを参照しないなど予測構造に予め制約が設けられていれば、IピクチャとPピクチャのAUのみを復号して表示することができる。さらに、IピクチャとPピクチャのAUについては、復号順と表示順が一致することにすれば、ストリーム内のIピクチャとPピクチャのAUを順に復号して表示できる。

図５は、従来の多重化装置の構成を示すブロック図である。
多重化装置17は、映像データを入力してMPEG-4 AVCのストリームに符号化し、符号化データについての管理情報を作成したうえで、前記符号化データと管理情報とを多重化して記録する多重化装置であり、ストリーム属性決定手段11、符号化手段12、一般管理情報作成手段14を備える管理情報作成手段13、多重化手段15、および記録手段16とから構成される。

ストリーム属性決定手段11は、MPEG-4 AVCを符号化する際の符号化パラメータ、および特殊再生に関連した制約事項を決定し、これらを属性情報TYPEとして符号化手段12に出力する。ここで、特殊再生に関連した制約事項とは、MPEG-4 AVCのストリームにおいてランダムアクセス単位を構成するための制約を適用するかどうか、可変速再生や逆再生時に復号するAUを示す情報をストリームに含めるかどうか、あるいは、AU間の予測構造を制約するかどうかを示す情報を含む。符号化手段12は、属性情報TYPEに基づいて、入力された映像データをMPEG-4 AVCのストリームに符号化し、符号化データを多重化手段15に出力するとともに、ストリームにおけるアクセス情報を一般管理情報作成手段14に出力する。ここで、アクセス情報は、ストリームにアクセスする際の基本単位であるアクセス単位の情報を指し、アクセス単位の先頭AUの開始アドレスやサイズ、および表示時刻などを含む。ストリーム属性決定手段11は、さらに、圧縮方式や解像度など、管理情報の作成に必要な情報を一般管理情報として一般管理情報作成手段14に出力する。管理情報作成手段13は、管理情報を作成するものであり、一般管理情報作成手段14のみから構成される。一般管理情報作成手段14は、アクセス情報と一般管理情報とから、ストリームにアクセスする際に参照されるテーブルデータ、および圧縮方式などの属性情報を格納したテーブルデータを作成し、管理情報INFOとして多重化手段15に出力する。多重化手段15は、符号化データと管理情報INFOとを多重化して多重化データを作成し、記録手段16に出力する。記録手段16は、多重化手段15から入力された多重化データを光ディスク、ハードディスク、あるいはメモリなどの記録媒体に記録する。

図６は、従来の逆多重化装置の構成を示すブロック図である。
逆多重化装置27は、外部から入力された特殊再生の命令に従って、MPEG4 AVCのストリームが管理情報と共に記録された光ディスクからMPEG−４ AVCのAUデータを分離、復号して表示する逆多重化装置であり、管理情報解析手段21、復号・表示AU決定手段23、AU分離手段24、復号手段25、および表示手段26とから構成される。

管理情報解析手段21は、一般管理情報解析手段22のみから構成される。一般管理情報解析手段22には、可変速再生、逆再生、あるいは飛び込み再生などの特殊再生を行うように指示する特再指示信号が入力される。一般管理情報解析手段22は、特再指示信号が入力されると、多重化データの管理情報からアクセス情報ACSを取得して解析し、復号あるいは表示を開始するAUが含まれるアクセス単位のアドレス情報などを含むアクセス先情報を取得し、AU分離手段24に通知する。AU分離手段24は、アクセス単位を構成するAUを解析して、復号および表示するAUについての情報を含む特再情報TRKを取得し、復号・表示AU決定手段に出力する。復号・表示AU決定手段は、予め定められたルールに基づいて復号、および表示するAUを決定し、復号するAUの識別情報をAU分離手段24に、表示するAUの識別情報を表示手段26にそれぞれ通知する。AU分離手段24は、復号するAUのデータをアクセス先情報に基づいて分離し、復号手段25に出力する。復号手段25は、入力されたAUデータを復号して表示手段26に出力し、表示手段26は、表示AU情報により表示することが示されるAUを選択して表示する（特許文献１参照）。
特開２００３−１８５４９号公報

復号装置において、参照ピクチャ、あるいは表示待ちのピクチャは、復号後にDPB（Decoded Picture Buffer）と呼ばれるバッファ・メモリに格納される。しかしながら、MPEG-4 AVCではピクチャの予測構造が柔軟であるため、DPBのメモリ管理も複雑となり、早送りなどの特殊再生を行うことが困難であるという課題がある。例えば、IピクチャとPピクチャのみを復号し、表示する高速再生を行う場合、読み飛ばされるBピクチャにメモリ管理情報が格納されることがある。このメモリ管理情報により、特定ピクチャをDPBから削除せずに保持しておく旨が示されるとすると、本情報を取得できないために、前記特定ピクチャがDPBから削除され、前記特定ピクチャを参照する後続のIピクチャあるいはPピクチャが復号できないことがある。

図７は、DPBのメモリ管理について示す図である。図７（a）に示すように、DPBには複数フレーム分の画像データを格納できる。この例では、４フレーム分の画像データが格納可能である。また、DPBにおいては、長時間メモリと短時間メモリという２種類の領域を設定することができる。短時間メモリに格納されたピクチャデータは、復号順が早いピクチャから順に押し出される。一方、長時間メモリに格納されたピクチャデータは、MMCO（Memory Management Control Operation）と呼ばれるメモリ管理コマンドによって、他のピクチャから参照されないように設定されるまではDPB内に保持され、他のピクチャから参照可能である。例えば、ランダムアクセス単位における先頭のIピクチャが復号順で後の複数枚のピクチャから参照されるなど、Iピクチャを長時間保持しておく必要がある際に、長時間メモリが使用される。なお、短時間メモリに格納されたピクチャについても、MMCOにより非参照とすることができる。また、デフォルトでは、各ピクチャは短時間メモリに格納される。ここで、長時間メモリと短時間メモリに、それぞれ何フレーム分のメモリを割り当てるかについても、メモリ管理コマンドによって指定できる。なお、メモリ管理コマンドは参照ピクチャにおいてのみ発行できる。図７（b）は、４フレーム分のフレーム・メモリのうち、１フレーム分を長時間メモリに、３フレーム分を短時間メモリにそれぞれ割り当てた例である。長時間メモリと短時間メモリの割り当ては、メモリ管理コマンドMMCOにより動的に変更可能である。

図８は、メモリ管理コマンドの使用例について示す。図８（a）は、ランダムアクセス単位におけるピクチャの並びを表示順で示したものである。図中のI、P、B、Brはそれぞれ、Iピクチャ、Pピクチャ、非参照Bピクチャ、および参照Bピクチャを示し、各ピクチャに付与した数字は表示順序を示す。ここで非参照Bピクチャとは、他のピクチャから参照されないBピクチャを指し、参照Bピクチャとは他のピクチャから参照されるBピクチャを指す。また、矢印は予測構造を示す。例えば、P9はP5とI1、B2はI1とBr3、Br3はI1とP5を、それぞれ参照するものとし、PピクチャはIピクチャ、あるいはPピクチャのみを参照し、参照Ｂピクチャは参照しないものとする。図８（b）は、図８（a）の各ピクチャを復号順に並べたものである。なお、Br11において、I1を長時間メモリに移すためのメモリ管理コマンドがピクチャを構成するスライスのヘッダ情報に格納されるものとする。図８（c）から（h）は、DPBが4フレーム分の画像データを格納できる際に、DPBに格納されるピクチャを示す。ここで、Brについては、表示順で直前、および直後のIピクチャ、あるいはPピクチャのみを参照するものとして、表示順で2枚後のIピクチャ、あるいはPピクチャにおいてメモリ管理コマンドによってDPBから削除するものとする。図８（c）は、P9においてBr3を削除した後にDPBに格納されたピクチャを示す。I1、P5、P9が全て短時間メモリに格納されている。P13の復号後には、図８（d）に示すように、I1、P5、P9、P13が格納される。この時点で、4枚のピクチャが格納されており、DPBはフルとなる。続いて、Br11の復号後にはBr11をDPBに格納することになるが、DPBはフルであるため、DPBに格納されたピクチャを１枚削除する必要がある。ここで、本来ならば復号順が最も早いI1を削除することになるが、Br11に設定されたメモリ管理コマンドによって、I1のために長時間メモリを割り当て、I1を長時間メモリに移動することが示される（図８（e））。従って、Br11を格納する際には、図８（f）に示すように、短時間メモリに格納されたピクチャにおいて復号順が最も早いP5が削除される。なお、P5の削除についてもメモリ管理コマンドにより実行されるため、Br11に格納されたメモリ管理コマンドには、厳密にはP5を非参照にする、つまり削除可能とする旨を示すコマンドも含まれる。図８（g）は、P17の復号後に、Br11を削除してP17をDPBに格納した際の様子を示す。最後に、P21はI1を参照するが、P21の復号時においてI1は長時間メモリにされて参照可能となっており、問題なくI1を参照できる（図８（h））。

次に、早送りや飛び込み再生など特殊再生時におけるメモリ管理の課題について説明する。中でも、IピクチャとPピクチャのみを復号し、再生する（IP再生）ことによる早送り再生は一般的に使用される。図９は、図８と同一のランダムアクセス単位をIP再生する際のメモリ管理について示す。まず、I1、P5、P9を復号した後には、図９（c）に示すようにI1、P5、P9がDPBの短時間メモリに格納される。続いて、P13の復号後にはI1、P5、P9、P13の4枚が格納され、この時点でDPBがフルになる（図９（d））。この後、本来であればBr11において、メモリ管理コマンドによってI1を格納するための長時間メモリを設定して、I1を長時間メモリに移動する処理が行われるが、Br11は復号されずにスキップされるため、I1は短時間メモリに格納されたままとなる。従って、P17を復号後にDPBに格納する際には、短時間メモリに格納されたピクチャにおいて復号順が最も早いI1が削除される（図９（e））。このため、P21を復号する際にDPBに格納されているのはP5、P9、P13、P17の４枚であり、I1が存在しないため、P21を復号することができない（図９（ｆ））。このように、特殊再生時にピクチャをスキップしながら復号する際に、メモリ管理コマンドを格納したピクチャをスキップすると、メモリ管理が破綻して、以降のピクチャが正しく復号できないことがあるという課題もある。このため、全ての参照ピクチャを復号しなければIP再生が実現できず、IP再生に係る処理量が増大していた。

本発明は、特殊再生時に、復号に必要な参照ピクチャがバッファに存在しないことによる特殊再生の破綻を防止し、特殊再生をピクチャのスキップ再生により容易に実現するストリーム生成装置、方法および記録媒体を提供することを目的とする。

上記目的を達成するため本発明のストリーム生成装置は、符号化ピクチャから構成されるストリームを生成するストリーム生成装置であって、前記符号化ピクチャは、復号済みピクチャを参照ピクチャとして保持するバッファを管理するためのコマンドを符号化した、第一の情報を格納する第一の格納単位と、前記符号化ピクチャに、前記符号化ピクチャよりも復号順が前の符号化ピクチャの前記第一の情報が示すコマンドと同一の内容を符号化した、第二の情報が格納される場合に、前記第一の格納単位の前に位置し、前記第二の情報を格納するための第二の格納単位と、を含み、前記第一、第二の格納単位と、前記コマンドは、MPEG4AVC規格において規定されており、前記ストリーム生成装置は、前記第一の情報が前記第一の格納単位に格納されている第一の符号化ピクチャが、他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであるか否かを判定する判定手段と、前記判定手段において他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであると判定された場合に、前記第一の情報が示すコマンドと同一の内容を第二の情報として符号化する符号化手段と、前記第一の符号化ピクチャよりも復号順が後のＩピクチャ、又は、Ｐピクチャに対応する第二の符号化ピクチャの前記第二の格納単位に、前記第二の情報を格納することでストリームを生成する生成手段とを備える。

この構成によれば、特殊再生時に、復号に必要な参照ピクチャがバッファに存在しないことによる特殊再生の破綻を防止することができる。つまり、特殊再生をピクチャのスキップ再生により容易に実現することができる。

ここで、前記コマンドは、バッファに格納された参照ピクチャの属性を短時間記憶から長時間記憶に変更することを指示するようにしてもよい。

この構成によれば、参照ピクチャとして、短時間と長時間の２種類の参照ピクチャがある場合や、ピクチャ間の参照関係が複雑な場合でも、特殊再生を容易に実現することができる。

ここで、前記判定手段は、前記コマンドを付加された符号化ピクチャが、他のピクチャの復号において参照される参照Ｂピクチャである場合に、当該参照Ｂピクチャが特殊再生時にスキップされると判定するようにしてもよい。

ここで、前記付加手段は、スキップされると判定された参照Ｂピクチャよりも復号順で後のＩピクチャおよびＰピクチャのいずれかに前記再送情報を付加するようにしてもよい。

この構成によれば、ＩピクチャとＰピクチャだけでなくＢピクチャも参照ピクチャとして使用され得る場合に、ＩピクチャとＰピクチャのみをスキップ再生する場合でも、必要な参照ピクチャを必ずバッファに保持させておくことができる。

ここで、前記判定手段は、前記コマンドを付加された符号化ピクチャが、特定のＰピクチャの復号時にスキップされるＰピクチャである場合に、当該Ｐピクチャが特殊再生時にスキップされると判定し、前記特定のPピクチャは、復号順が前であるPピクチャを選択的に復号することにより復号可能なＰピクチャであってもよい。

ここで、前記付加手段は、スキップされると判定されたＰピクチャよりも復号順で後のＰピクチャであり、前記特定のPピクチャの復号に必要なピクチャに前記再送情報を付加するようにしてもよい。

この構成によれば、特定のＰピクチャを用いた飛び込み再生を行う場合に、必要な参照ピクチャを必ずバッファに保持させておくことができる。

また、本発明のストリーム生成方法、画像符号化装置、画像符号化方法、記録媒体、プログラムについても、上記と同様の手段を有する。

（本願の技術的背景に関する情報）
２００４年４月２８日に日本に出願された特願２００４−１３４２１１および２００４年９月１７日に日本に出願された特願２００４−２７２５１７の技術開示は、それらの明細書、図面および請求の範囲の全体の参照を通して、本願に含まれる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本実施の形態では、特殊再生時のスキップ再生に必要なピクチャのみからDPBのメモリ管理に必要なコマンドを取得できる符号化装置および復号装置について説明する。

この符号化装置は、メモリ管理コマンドと、符号化ピクチャとを含むストリームを生成する。生成に際して、符号化装置は、メモリ管理コマンドを付加された符号化ピクチャが、特殊再生時にスキップされるか否かを判定し、スキップされる符号化ピクチャであると判定された場合、スキップされると判定された符号化ピクチャよりも復号順が後で、特殊再生時にスキップされない符号化ピクチャに前記メモリ管理コマンドと同一内容を示す再送情報を付加するように構成されている。

図１０は、本実施の形態における符号化装置1000の構成を示すブロック図である。符号化装置1000は、ピクチャタイプ決定手段1001、再送判定手段1002、再送情報作成手段1003、ピクチャ符号化手段1004、および符号化データ出力手段1005とを備える。ピクチャタイプ決定手段1001は、符号化対象のピクチャのピクチャタイプを決定し、決定したピクチャタイプPtを再送判定手段1002、およびピクチャ符号化手段1004に入力する。ピクチャ符号化手段1004は、入力画像VinをピクチャタイプPtに従って符号化し、符号化データpicを符号化データ出力手段1005に入力し、メモリ管理情報mmcoを再送判定手段1002に入力する。符号化されたピクチャにおいてメモリ管理情報が発行されなければ、メモリ管理情報mmcoには、その旨が示される。再送判定手段1002は、メモリ管理情報mmcoとピクチャタイプPtに基づいてメモリ管理コマンドを再送するかどうか判定し、判定結果を再送命令Reとして再送情報作成手段1003に入力する。再送情報作成手段1003は、再送命令Reにおいてメモリ管理コマンドの再送が指示される際には、DRPMR SEIを作成し、SEIデータseiを符号化データ出力手段1005に入力する。ここで、再送命令Reにおいてメモリ管理コマンドの再送が指示される際には、DRPMR SEIの作成に必要な情報も再送情報作成手段1003に入力される。符号化データ出力手段1005は、符号化データpicおよびSEIデータseiを出力する。

このように、上記再送命令Reによって作成されたSEIデータseiは、メモリ管理情報mmcoと同じ内容を含み、実質的にメモリ管理情報mmcoのコピーを含む。

図１１は、本実施の形態の符号化装置1000により符号化されたストリームの一例として、情報記録媒体に格納されたMPEG-4 AVCストリームのランダムアクセス単位を示す。ランダムアクセス単位を構成する各ピクチャのピクチャタイプは、図９に示した従来例と同一であるが、Br11に格納されたメモリ管理コマンドを、P17においてDecoded reference picture marking repetition SEI（Supplemental Enhancement Information）メッセージ（以降、DRPMR SEIと呼ぶ）を用いて再送している点が従来例と異なる。具体的には、Br11において設定された、P5を非参照としてI1を長時間メモリに移動するためのメモリ管理コマンドが、P17において再送される。従って、IP再生時にBr11をスキップしても、P17の復号時には、Br11においてI1が長時間メモリに移動されたことが分かるため、I1を長時間メモリに移動し、P17の復号後にDPBからP5を削除してP17を格納する（図１１（e））。このため、図１１（f）に示すように、P21の復号時にはI1がDPBに存在するため、I1を参照してP21を復号できる。このように、参照Bピクチャにおいてメモリ管理コマンドが発行された際には、復号順で直後のPピクチャにおいてDRPMR SEIによりメモリ管理コマンドを再送することで、IP再生時にもメモリ管理を破綻させることなくIピクチャ、およびPピクチャを復号できる。特に、参照Bピクチャの使用はMPEG-4 AVCの大きな特徴の一つであり、I B Br B P B Br B P B Br B P…のような構造をもつランダムアクセス単位においては、I、およびPを復号することにより4倍速再生が、I、P、およびBrを復号することにより2倍速再生が容易に実現できるなど、特殊再生の機能性が向上する。このようなケースにおいて破綻のないメモリ管理を保証できることの有効性は高い。なお、Iピクチャがランダムアクセス単位の先頭以外に存在する際には、復号順で直後のIピクチャにおいてDRPMR SEIによりメモリ管理コマンドを再送してもよい。

なお、Brにおいて発行されたメモリ管理コマンドは、IP再生時に復号されるピクチャを復号する際に、当該ピクチャから参照されるピクチャがDPBに存在することが保証できれば、復号順で直後のIピクチャあるいはPピクチャとは異なるピクチャにおいて再送してもよい。例えば、復号順で直後のPピクチャで再送しなくてもメモリ管理が破綻しない場合には、その後のPピクチャにおいて再送してもよい。また、参照されるIピクチャ、あるいはPピクチャのみを復号した際に、メモリ管理が破綻しないことを保証してもよい。

また、メモリ管理コマンドは、DRPMR SEI以外の情報により符号化ストリーム内に格納してもよいし、管理情報などにおいて別途示してもよい。

また、IP再生以外の特殊再生時にもメモリ管理が破綻しないことを保証できる。以下に飛び込み再生時の例について説明する。飛び込み再生とは、指定された時刻のピクチャから表示を開始する動作であり、ランダムアクセス単位の先頭以外のピクチャから表示を開始する際には、表示するピクチャの復号に必要なピクチャを、ランダムアクセス単位の先頭ピクチャから順に復号する。ここで、MPEG-4 AVCでは、参照関係が柔軟であるため、ピクチャの復号または参照において特定の制約を設けたPピクチャ（以降、AP(Access Point)-Pピクチャと呼ぶ）を使用することにより、飛び込み再生、あるいは逆再生時の復号処理を軽減することができる。AP-Pピクチャは、下記１，２の特徴をもつ。

１．復号順でAP-Pピクチャよりも前のIあるいはPピクチャを選択的に復号することにより、復号できる。
２．復号順でAP-Pピクチャよりも後のピクチャは、復号順でAP-Pピクチャよりも前のピクチャを参照しない。

図１２Ａは、従来技術におけるAP-Pピクチャ使用時のピクチャとメモリ管理コマンドとを示す図である。図中でAP-Pと記したピクチャが、AP-Pピクチャを示す。AP-P25を復号するためには、I1、P7、P16を復号すればよく、P4、P10、P13、およびP22はスキップしてもよい。このように、選択的にピクチャを復号することにより、ランダムアクセス単位の途中に配置されたAP-Pの復号に必要なピクチャの枚数を軽減できるため、結果として、ランダムアクセス単位の途中に飛び込む際の復号処理を軽減できる。また、復号順でAP-P25よりも後のピクチャは、復号順でAP-P25よりも前のピクチャを参照しない。さらに、AP-Pを復号するために復号しておく必要のあるPピクチャについては、SEIメッセージなどにより符号化ストリーム内に示す、あるいは管理情報により示すことができる。ここで、I1を長時間メモリに移すことを示すメモリ管理コマンドMMCO1がP4に格納されているとすると、AP-P25の復号に必要なピクチャのみを復号した際には、メモリ管理コマンドを取得できない。

図１２Ｂは、実施の形態１におけるAP-Pピクチャ使用時のピクチャとメモリ管理コマンドとを示す図である。図１２Ｂに示すように、AP-P25の復号時に必ず復号されるP7においてメモリ管理コマンドMMCO1を再送することにより、P7を復号する際に、I1を長時間メモリに格納する必要があることが分かる。このように、AP-Pピクチャの復号時にスキップできるピクチャにおいてメモリ管理コマンドが発行される際には、復号順で前記スキップされるピクチャの直後の、AP-Pピクチャの復号に必要なPピクチャにおいてメモリ管理コマンドを再送することにより、破綻のないメモリ管理を実現できる。なお、メモリ管理が破綻しないことを保証できるのであれば、復号順が直後ではないAP-Pピクチャの復号に必要なPピクチャにおいて再送してもよい。

また、より一般的に、特定のPピクチャを復号するために復号が必要なピクチャが示される際には、復号が必要なピクチャのみを復号することにより破綻のないメモリ管理が実現できることを保証してもよい。

図１３は、上記IP再生時において破綻のないメモリ管理が保証された符号化ストリームを生成する符号化方法のフローチャートである。ステップS1001からステップS1008の処理はランダムアクセス単位を構成する１枚のピクチャを符号化する際の処理を示す。まず、ステップS1001において、符号化対象のピクチャがIピクチャ、あるいはPピクチャであるかどうか判定し、IピクチャあるいはPピクチャであればステップS1002に進み、そうでなければステップS1004に進む。ステップS1002では、ランダムアクセス単位内で、復号順で直前のIピクチャあるいはPピクチャ以降の参照Bピクチャにおいてメモリ管理コマンドが発行されたかどうか判定する。メモリ管理コマンドが発行されていた場合にはステップS1003に進み、発行されていなければステップS1004に進む。ここで、ランダムアクセス単位の先頭ピクチャなど、ランダムアクセス単位内に、復号順で直前の参照Bピクチャが存在しない場合には、発行されていなかったと判定する。続いて、ステップS1003では、メモリ管理コマンドを格納したDRPMR SEIを作成する。複数の参照Bピクチャにおいてメモリ管理コマンドが発行されていた場合、DRPMR SEIには、全てのメモリ管理コマンドの内容を含める。次に、ステップS1004では、ピクチャデータを符号化してステップS1005に進む。ステップS1005では、現ピクチャにおいてメモリ管理コマンドが発行されたかどうか判定し、発行された際にはステップS1006に進み、発行されていなければステップS1008に進む。ステップS1006では、現ピクチャが参照Bピクチャであるかどうか判定し、参照BピクチャであればステップS1007に進み、そうでなければステップ1008に進む。ステップ1007では、メモリ管理コマンドの内容、およびメモリ管理コマンドが発行されたピクチャを特定するための情報を記憶する。最後に、ステップS1008において、符号化データを出力する。ここで、ステップS1003においてDRPMR SEIが作成された際には、出力符号化データにはDRPMR SEIを含める。なお、ステップS1001の時点でピクチャタイプが決定されていない場合は、ステップS1004の後にステップS1001からステップS1003までの処理を行ってもよい。また、ピクチャの符号化データの出力は、１ピクチャ単位で行ってもよいし、符号化が完了したデータから順に出力してもよい。

図１４は、AP-Pの復号時に破綻のないメモリ管理が保証された符号化ストリームを生成する符号化方法のフローチャートである。基本的な処理は図１３に示したIP再生用の処理と同一であるが、ステップS1101、ステップS1102、およびステップS1103における判定処理が異なる。ステップS1101では、現ピクチャがAP-Pピクチャの復号に必要なIピクチャあるいはPピクチャであるかどうか判定する。次に、ステップS1102では、ランダムアクセス単位内で、復号順でAP-Pピクチャの復号に必要な直前のIピクチャあるいはPピクチャ以降の、AP-Pピクチャの復号に不要なIピクチャあるいはPピクチャにおいてメモリ管理コマンドが発行されたかどうか判定する。また、ステップS1103では、現ピクチャがAP-Pピクチャの復号に不要なIピクチャあるいはPピクチャであるかどうか判定する。

なお、AP-PピクチャがAP-Pピクチャよりも前のPピクチャのみを選択的に復号することにより復号できる場合には、Pピクチャについてのみ、AP-Pピクチャの復号に必要であるかどうかを判定してもよい。ただし、ランダムアクセス単位の先頭となるIピクチャを必ず復号する必要がある際には、このIピクチャについては、復号が必要であることを示してもよい。

なお、本方法はAP-Pピクチャに限らず、予測構造などに特定の制約を設けたピクチャ全般について適用できる。

なお、図１３と図１４に示した処理を組み合わせることにより、IP再生時とAP-Pの復号時共に破綻のないメモリ管理を実現できる。例えば、AP-Pを利用して効率的に飛び込み先のピクチャを復号し、そこからIP再生を開始するなどの動作ができる。

なお、特殊再生時に復号が必要なピクチャが補助情報などにより示される際には、これら復号が必要なピクチャのみを復号すれば、復号に必要なメモリ管理コマンドが取得できるようにメモリ管理コマンドを再送してもよい。

図１５は、本実施の形態における復号装置2000の構成を示すブロック図である。復号装置2000は、ピクチャタイプ取得手段2001、復号判定手段2002、管理コマンド解析手段2003、DPB2004、および復号手段2005とを備える。まず、符号化データVinがピクチャタイプ取得手段2001に入力される。ピクチャタイプ取得手段2001は、符号化データVinからピクチャ境界を検出してピクチャのピクチャタイプを取得し、ピクチャタイプPtdを復号判定手段2002に入力する。復号判定手段2002は、ピクチャタイプPtdに基づいて、ピクチャを復号するかどうか判定し、判定結果Repを管理コマンド解析手段2003と復号手段2005に入力する。管理コマンド解析手段2003は、判定結果Repによりピクチャの復号が指示される際に、ピクチャデータにおいてメモリ管理コマンドが再送されていれば、再送されたメモリ管理コマンドを解析して管理命令CmdをDPBに送ることにより、メモリ管理処理を実行する。復号手段2005は、判定結果Repによりピクチャの復号が指示される際には、DPBへ参照ピクチャデータの取得要求Reqを発行して参照データRefを取得することにより、ピクチャタイプ取得手段から取得したピクチャデータPicDatを復号し、復号画像Voutを出力する。なお、ピクチャのスライスデータに含まれるオリジナルのメモリ管理コマンドは、図示しない手段により実行されるものとする。

なお、特殊再生時に復号が必要なピクチャを特定するための補助情報を、ランダムアクセス単位の先頭AUなど符号化ストリーム内、あるいは管理情報内に格納してもよい。このとき、復号判定手段2002は、補助情報を解析して復号するAUを決定してもよい。

図１６は、復号装置2000でのIP再生時において破綻のないメモリ管理が保証された符号化ストリームの復号動作を示すフローチャートである。まず、ステップS2001において、復号対象のピクチャがIピクチャ、あるいはPピクチャであるか判定する。Iピクチャ、あるいはPピクチャであると判定された際にはステップS2002に進み、それ以外のピクチャであれば復号せずに現ピクチャの処理を終了し、次ピクチャの処理を行う。ステップS2002では、現ピクチャがDRPMR SEIを含むかどうか判定し、DRPMR SEIを含む場合にはステップS2003に進み、含まなければステップS2004に進む。ステップS2003では、DRPMR SEIの内容を解釈してメモリ管理処理を実行し、ステップS2004に進む。ステップS2004ではピクチャを復号する。なお、ステップ2003において、DRPMR SEIに示されるメモリ管理処理の一部あるいは全てが既に実行済みである際には、実行済みのメモリ管理処理は行わない。

図１７は、AP-Pピクチャの復号時に破綻のないメモリ管理が保証された符号化ストリームにおいて、AP-Pピクチャ復号時の動作を示すフローチャートである。基本的な処理は図１６に示したIP再生時の処理と同様であるが、ステップS2101における判定処理が異なる。ステップS2101では、復号対象のピクチャがAP-Pピクチャの復号に必要なピクチャであるかどうか判定し、AP-Pピクチャの復号に必要である場合にはステップS2002に進み、そうでなければ現ピクチャの処理を終了して次ピクチャの処理を行う。

DRPMR SEI以外の方法でメモリ管理コマンドを再送する際には、所定の方法によりメモリ管理コマンドを取得する。

なお、図１６と図１７に示した処理を組み合わせることにより、IP再生時とAP-Pの復号時共に破綻のないメモリ管理を実現できる。

なお、IP再生時にIピクチャおよびPピクチャのみを復号する、あるいは、AP-Pピクチャの復号時にAP-Pピクチャの復号に不要なIピクチャあるいはPピクチャをスキップするなどの動作において、復号するピクチャからDPBの管理に必要なメモリ管理コマンドが取得できることを保証するフラグ情報を、管理情報、あるいは符号化ストリームなどに設定してもよい。例えば、AP-Pピクチャの復号に必要なピクチャはMPEG-4 AVCにおけるSEIメッセージにより示すことができるが、このSEIメッセージが存在するかどうかをフラグ情報としてもよい。あるいは、参照Bピクチャが使用される際に、IP再生を保証するフラグを設定してもよい。例えば、参照Bピクチャにおいては、スライスのNAL（Network Abstraction Layer）ユニットにおいて、スライスが参照ピクチャのスライスであるかどうかを示すnal_ref_idcと呼ばれるフィールドが１以上の値にセットされ、非参照Bピクチャにおいては、同フィールドが０にセットされる。従って、nal_ref_idcフィールドをフラグ情報としてもよい。また、管理情報において、符号化ストリームがMPEG-4 AVCであることを示す情報をフラグとして用いてもよい。

なお、以上ではMPEG-4 AVCについて説明したが、他の符号化方式に対しても同様の手法を適用できる。

（実施の形態２）
図１８は、本実施の形態における多重化装置の構成を示すブロック図である。

多重化装置35は、映像データを入力してMPEG-4 AVCのストリームに符号化し、ストリームを構成するAUへのアクセス情報、および特殊再生時の動作を決定するための補助情報を含む管理情報を、ストリームと共に多重化して記録する多重化装置であり、ストリーム属性決定手段11、符号化手段12、管理情報作成手段32、多重化手段34、および記録手段16とから構成される。図５の従来の多重化装置の手段と同じ動作をする手段については同一の記号を付し、説明を省略する。なお、符号化方式はMPEG-4 AVCに限らず、MPEG-2 VideoやMPEG-4 Videoなど他の方式であってもよい。また、符号化手段12の代わりに符号化装置1000を備えてもよい。

ストリーム属性決定手段11は、MPEG-4 AVCを符号化する際の符号化パラメータ、および特殊再生に関連した制約事項を決定し、これらを属性情報TYPEとして符号化手段12と再生支援情報作成手段33に出力する。ここで、特殊再生に関連した制約事項とは、MPEG-4 AVCのストリームにおいてランダムアクセス単位を構成するための制約を適用するかどうか、可変速再生や逆再生時に復号、あるいは表示するAUを示す情報をストリームに含めるかどうか、あるいは、AU間の予測構造を制約するかどうかを示す情報を含む。再生支援情報作成手段33は、前記入力された属性情報 TYPEに基づいて、ランダムアクセス構造をもつかどうかなどを示す支援情報HLPを作成し、多重化手段34に出力する。多重化手段34は、符号化手段12から入力された符号化データ、管理情報 INFO、および支援情報 HLPを多重化して多重化データを作成し、記録手段16に出力する。なお、符号化手段12においては、MPEG-4 AVCのストリームをMPEG-2 TS（トランスポートストリーム）や、PS（プログラムストリーム）などにパケット化してから出力してもよい。あるいはまた、BDなどのアプリケーションにより規定された方式でパケット化してもよい。

図１９は、支援情報 HLPにより示される情報の例を示す。支援情報 HLPは、図１９（a）のようにストリームについての情報を直接示す方法と、図１９（b）のようにストリームが特定のアプリケーション規格により規定された制約を満たすかどうかを示す方法とがある。図１９（a）では、ストリームの情報として、以下を示す。

i）ストリームがランダムアクセス構造をもつかどうか
ii）AUに格納されるピクチャ間の予測構造に制約があるかどうか
iii）特殊再生時に復号するAU、あるいは表示するAUを示す情報があるかどうか

ここで、特殊再生時に復号、あるいは表示するAUの情報は、復号あるいは表示するAUを直接示すものであってもよいし、復号あるいは表示する際の優先度を示すものでもよい。例えば、ランダムアクセス単位毎に復号、あるいは表示するAUを示す情報が、アプリケーションにより規定された特別なタイプをもつNALユニットに格納されることを示すことができる。なお、ランダムアクセス単位を構成するAU間の予測構造を示す情報があるかどうかを示してもよい。また、特殊再生時に復号、あるいは表示するAUの情報は、１つ以上のランダムアクセス単位毎にまとめて付加されるものであってもよいし、ランダムアクセス単位を構成するAU毎に付加されるものであってもよい。

さらに、復号あるいは表示するAUを示す情報が特別なタイプをもつNALユニットに格納される際には、当該NALユニットのNALユニットタイプを示してもよい。図２０の例では、支援情報HLPにおいて、NALユニットタイプが0であるNALユニットに特殊再生時に復号あるいは表示するAUについての情報が含まれる。このとき、ストリームのAUデータからNALユニットタイプが0であるNALユニットを分離することにより、特殊再生に関する情報を取得できる。

また、予測構造の制約としては、予め定められた１以上の制約事項を満たすかどうかを示してもよいし、以下のような個別の制約を満たすかどうかをそれぞれ示してもよい。

i）IピクチャとPピクチャのAUについては、復号順と表示順が一致する。
ii）PピクチャのAUはBピクチャのAUを参照しない。
iii）表示順がランダムアクセス単位の先頭AUよりも後のAUは、当該ランダムアクセス単位に含まれるAUのみを参照する。
iv）各AUは、復号順で前後最大N個のAUしか参照できない。このとき、AUは参照AU、あるいは全てのAU毎にカウントするものとし、Nの値を支援情報HLPにおいて示してもよい。

なお、MPEG-4 AVCでは、画質向上のために、参照用のピクチャとしては復号後にブロック歪みを除去するためのフィルタ処理（デブロック処理）を施した画像を使用し、表示用としてはデブロック処理を施す前の画像を使用することができる。このとき、画像復号装置ではデブロック処理を施す前後の画像データを保持しておく必要がある。そこで、デブロック処理を施す前の画像を表示用として保持しておく必要があるかどうかを示す情報を支援情報HLPに格納してもよい。

なお、支援情報HLPとしては、上記の情報を全て含めてもよいし、一部を含むことにしてもよい。また、予測構造の制約がない場合にのみ特殊再生情報の有無についての情報を含めるなど、予め定めた条件に基づいて、必要な情報を含めてもよい。

なお、IピクチャとPピクチャのみを復号することにより、メモリ管理に破綻をきたすことなくIP再生を実現できるかどうか、あるいは、AP-Pピクチャの復号に必要なIピクチャあるいはPピクチャのみを復号することにより、メモリ管理に破綻をきたすことなくAP-Pピクチャが復号できるかどうか、を示す情報を支援情報HLPに含めてもよい。

また、上記以外の情報を支援情報 HLPに含めてもよい。
図１９（b）では、ストリームの構造に関する情報を直接示すのではなく、ストリームがBD-ROM規格や、HD（High Definition）の高精細な画像をDVDに格納するための規格であるHD DVD規格により定めされたストリーム構造に関する制約を満たすかどうかを示すものである。また、BD-ROMなどのアプリケーション規格において、ストリームの構造の制約について複数のモードが規定されている際には、どのモードが適用されているかを示す情報を格納してもよい。例えば、モード１は全く制約なし、モード２はランダムアクセス構造をもち、特殊再生時に復号するAUを特定するための情報がストリームに含まれる、などの使い方ができる。なお、ダウンロードやストリーミングなどの通信サービス、あるいは放送規格において定められた制約を満たすかどうか示してもよい。

なお、図１９（a）と図１９（b）に示される情報を両方とも示すこととしてもよい。また、ストリームが特定のアプリケーション規格における制約を満たすことが既知である際に、アプリケーション規格を満たすかどうかを示すのではなく、アプリケーション規格における制約を、図１９（a）のようにストリーム構造を直接記述する方式に変換して格納してもよい。

なお、支援情報HLPにより示される情報がストリームの途中で変化する際には、各区間の情報をそれぞれ格納してもよい。例えば、複数の異なるストリームを編集してつなぎ合わせたような場合に、編集後のストリームでは途中で支援情報HLPが変化することがあるため、支援情報HLPの内容も切り替える。

なお、特殊再生時に復号あるいは表示するAUを示す情報は管理情報として格納されていてもよい。

図２１は、多重化装置35の動作を示すフローチャートである。ステップs11では、ユーザ設定、あるいは予め定められた条件に基づいて属性情報 TYPEを決定する。ステップs12では、属性情報 TYPEに基づいてストリームを符号化し、ステップs13では属性情報 TYPEに基づいて支援情報 HLPを作成する。続いて、ステップs14では前記符号化されたストリームのアクセス単位毎にアクセス情報を作成し、他の必要な情報と合わせて管理情報INFOを作成する。ステップs15では、ストリーム、支援情報 HLP、および管理情報 INFOを多重化し、ステップs16において前記多重化された多重化データを記録する。なお、ステップs13はステップs12の前に行ってもよいし、ステップs14の後に行ってもよい。

（実施の形態３）
図２２は、本実施の形態における第2の多重化装置の構成を示すブロック図である。

多重化装置43は、図示しないサーバから配信されるパケット化された符号化ストリームを受信し、ストリームを構成するAUへのアクセス情報などを含む一般管理情報、および特殊再生時の動作を決定するための補助情報をストリームと共に多重化して記録する多重化装置であり、ストリーム属性取得手段41、ストリーム受信手段42、管理情報作成手段32、多重化手段34、および記録手段16とから構成される。実施の形態２の多重化装置の各手段と同じ動作をする手段については同一の記号を付し、説明を省略する。

ストリーム属性取得手段41は、ストリームとは別途取得したストリーム情報に基づいて属性情報 TYPEを作成し、再生支援情報作成手段33に出力する。ここで、ストリーム情報は、MPEG-4 AVCのストリームにおいてランダムアクセス単位を構成するための制約を適用するかどうか、可変速再生や逆再生時に復号、あるいは表示するAUを示す情報をストリームに含めるかどうか、あるいは、AU間の予測構造を制約するかどうかなど、特殊再生に関連した情報を含む。ストリーム受信手段は、MPEG-2 TS（Transport Stream）やRTP（Real-time Transmission Protocol）によりパケット化されたMPEG-4 AVCのストリームを受信し、受信ストリームを記録用ストリームとして多重化手段34に出力するとともに、アクセス情報を一般管理情報作成手段14に出力する。

なお、TSパケットやRTPパケットなどをパケットロスの発生する環境で受信した際には、パケットロスによりストリーム内のデータが欠落していることを示す情報、データが欠落している場合にエラー隠匿処理を行う場合には、その旨を示す情報を支援情報としてHLPに格納してもよい。データの欠落を示す情報としては、ストリームのデータが欠落しているかどうかを示すフラグ情報、あるいは欠落部分を通知するためにストリーム内に特別なエラー通知コードを挿入することを示す情報、あるいはまた、挿入されるエラー通知コードの識別情報を示すことができる。

（実施の形態４）
図２３は、本実施の形態における逆多重化装置の構成を示すブロック図である。

逆多重化装置55は、実施の形態２および実施の形態３の多重化装置により作成された多重化データからMPEG-4 AVCストリームを分離して再生する逆多重化装置であり、管理情報解析手段51、特再動作決定手段53、復号・表示AU決定手段54、AU分離手段24、復号手段25、表示手段26とから構成される。図６の従来の逆多重化装置の手段と同じ動作をする手段については同一の記号を付し、説明を省略する。

管理情報解析手段51は、再生支援情報解析手段52と一般管理情報解析手段22とから構成される。再生支援情報解析手段52は、特再指示信号が入力されると、多重化データの管理情報から支援情報HLPを取得して解析し、解析結果に基づいて特再支援情報を作成し、特再動作決定手段53に通知する。特再動作決定手段53は、特再支援情報に基づいて特殊再生時に復号および表示するAUを決定する方法を決定し、前記決定した方法を示す特再モードMODEを復号・表示AU決定手段54に通知する。復号・表示AU決定手段54は、AU分離手段24により取得した特再情報TRKを解析して、特再モードMODEにより示される方法により復号および表示するAUを決定し、復号するAUの識別情報をAU分離手段24に、表示するAUの識別情報を表示手段26にそれぞれ通知する。なお、表示するAUについては、指定された再生速度などに基づいて復号・表示AU決定手段54において決定することにしてもよい。なお、特再情報TRKが管理情報内に格納される際には、管理情報解析手段51に別の手段を設けることにより、管理情報内に格納された特再情報TRKを取得してもよい。

図２４は、逆多重化装置55の動作を示すフローチャートである。特再指示信号が入力されると、ステップs20において多重化データから支援情報HLPを取得する。ステップs21では、取得した支援情報HLPに基づいて復号および表示するAUを決める際の動作を決定する。ステップs22では、ステップs21において特殊再生時に特再情報TRKを使用すると決定されたかどうか判定して、使用する場合にはステップs23においてストリームから特再情報TRKを取得して解析しステップs24に進む。使用しない場合には、そのままステップs24に進む。ステップs24では、ステップs21において決定された方法に基づいて復号、および表示するAUを決定してステップs25に進み、ステップs25において前記決定されたAUを復号し、表示する。なお、支援情報HLPは、再生開始時点、あるいは再生開始後に初めて特殊再生を行う場合にのみ取得することにしてもよい。

図２５は、ステップs21の処理の詳細を示すフローチャートである。以下で、ステップs30、ステップs33、およびステップs35の判定処理は、支援情報HLPから取得した特再支援情報に基づいて行う。ステップs30では、ストリームがランダムアクセス構造をもつかどうか判定し、ランダムアクセス構造をもつ場合にはステップs31に進み、もたない場合にはステップs32に進み、それぞれ復号を開始するAUを決定する。ステップs31では、ランダムアクセス単位の先頭AUから復号を開始すると決定し、ステップs32では、直前のIDRピクチャを含むAUから復号を開始すると決定する。ステップs32において、アクセス単位の先頭AUがIDRピクチャのAUである際には、当該AUから復号を開始することになる。なお、直前のIDRピクチャを含むAUの表示時刻が、再生開始時刻よりも一定時間以上前である際には、N個前のアクセス単位の先頭AU、あるいはIDR以外のIピクチャから復号を開始するなど、予め定められたルールに基づいて復号を開始するAUを決定してもよい。ステップs33では、ストリーム内に特再情報TRKが含まれるかどうか判定し、含まれる場合にはステップs34に進み、含まれなければステップs35に進む。ステップs34では、特再情報TRKに従って復号あるいは表示するAUを決定するとして処理を終了する。ステップs35では、AU間の予測構造に制約があるかどうか判定し、制約がある場合にはステップs36に進み、制約がない場合にはステップs37に進む。ステップs36では、予測構造の制約に基づいて、可変速再生や逆再生時に表示するAUを復号する際に復号が必要なAUのみを復号すると決定し、処理を終了する。また、ステップs37では、全てのAUを復号すると決定して処理を終了する。以上より、ステップs31、およびステップs32の結果から、復号を開始するAUを決定する方法が確定し、ステップs34、ステップs36、およびステップs37の結果から、可変速再生あるいは特殊再生時に復号するAUを特定する方法が確定され、それぞれ特再モードMODEの情報として復号・表示AU決定手段54に出力される。なお、飛び込み再生時には、ステップs32、あるいはステップs31の後に処理を終了してもよい。なお、特殊再生時に復号するAUを決定する方法については、ステップs33においてストリーム内に特再情報TRKが含まれないと判定された場合には、IピクチャとPピクチャのAUのみ復号する、あるいは、IピクチャとPピクチャと参照されるBピクチャのAUのみ復号するなど、予め定められた方法を用いることにしてもよい。

なお、表示するAUを決定するための情報が特再情報TRKに含まれることが示される際には、特再情報TRKに従って表示するAUを決定する旨を示す情報を特再モードMODEに含めてもよい。

なお、特再動作決定手段53に決定された方法による復号が実現できない際には、予め定められた方法により復号するAUを決定してもよい。例えば、符号化ストリームから特再情報TRKを取得することが特再モードMODEにより示される際に、符号化ストリームにおいて特再情報TRKが取得できなければ、全てのAUを復号する、あるいは支援情報HLPから取得した他の情報に基づいて復号するAUを決定できる。このとき、管理情報に特再情報TRKが含まれないか確認してもよい。

なお、特殊再生関連以外の情報が支援情報HLPに含まれる際には、それらの情報に応じて復号あるいは表示動作を切り替えてもよい。例えば、放送や通信により受信したデータを記録する際のパケットロス情報に基づいて動作を切り替えてもよい。

なお、多重化データが記録される媒体は光ディスクに限らず、ハードディスク、不揮発性メモリなど他の記録媒体であってもよい。

なお、復号・表示AU決定手段23の動作が互いに異なる、図６に示す従来の逆多重化装置を複数用意しておき、別途設けられた再生支援情報解析手段52および特再動作決定手段53により決定された特再モードに基づいて、使用する逆多重化装置を切り替えることにしてもよい。例えば、下記３種類の動作をする復号・表示AU決定手段23を備える従来の逆多重化装置のうち、いずれか２つ以上を用意しておき、再生する多重化データの支援情報HLPに応じて使用する逆多重化装置を切替えてもよい。

i）常に全てのAUを復号するように決定する
ii）常に特再情報TRKを取得して、復号するAUを決定する
iii）常に、ストリームが特定の予測構造に従うと仮定して復号するAUを決定する

（実施の形態５）
実施の形態２に係る多重化装置により光ディスクに多重化データを記録する際の例として、次世代の光ディスクであるＢＤの管理情報として支援情報HLPを格納する方法について説明する。

まず、BD-ROMの記録フォーマットについて説明する。
図２６は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスク（１０４）と、ディスクに記録されているデータ（１０１、１０２、１０３）の構成を示す図である。ＢＤディスク（１０４）に記録されるデータは、ＡＶデータ（１０３）と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報（１０２）と、インタラクティブを実現するＢＤ再生プログラム（１０１）である。本実施の形態では、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図２７は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ（Burst Cutting Area）と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。

本実施例の場合、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図２６で説明した１０１、１０２、１０３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。

ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の一つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。
ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。
ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。
ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰＲＯＧ」は固定）
「ＢＤ再生プログラム」の一つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。
ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の一つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。
ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の一つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。
ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の一つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

図２８から図３２を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。

図２８は、ＶＯＢ管理情報ファイル（"ＹＹＹ．ＶＯＢＩ"）の内部構造を示した図である。

ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップ（ＴＭＡＰ）を有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。
圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ１
ＭＰＥＧ２
ＭＰＥＧ４
ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）
解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
アスペクト比（Ａｓｐｅｃｔ）
４：３
１６：９
フレームレート（Ｆｒａｍｅｒａｔｅ）
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）

下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。
圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ１
ＭＰＥＧ２
ＬＰＣＭ
チャンネル数（Ｃｈ）：
１〜８
言語属性（Ｌａｎｇｕａｇｅ）：

タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（I＃end）、およびそのＩピクチャの再生開始時刻（PTS）から構成される。MPEG-4 AVCのストリームがランダムアクセス構造をもつ場合には、VOBUは１以上のランダムアクセス単位に相当する。

図２９はＶＯＢＵ情報の詳細を説明する図である。
広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は１次式によって求めることができる。しかしながらＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然の事として、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリーム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛びこみ（I＃startで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図３０を使って、プレイリスト情報（"ＸＸＸ．ＰＬ"）の内部構造を説明する。
プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生される事になる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップ（ＴＭＡＰ）を使うことによって再生に必要なＶＯＢデータのアドレスを得る事ができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）最初の情報も言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語ごとのテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図３１は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（"ＸＸＸ．ＰＲＯＧ"）である。

イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラムもＦｕｎｃｔｉｏｎに続く括弧"｛"と"｝"の間に記述する。前述の"ＸＸＸ．ＰＬ"のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は"ＸＸＸ．ＰＲＯＧ"のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図３２を用いてＢＤディスク全体に関する情報（"ＢＤ．ＩＮＦＯ"）の内部構造を説明する。

ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図３３は、グローバルイベントハンドラのプログラムのテーブル（"ＢＤ．ＰＲＯＧ"）である。本テーブルは、図３１で説明したイベントハンドラテーブルと同一内容である。

以上のようなBD-ROMフォーマットにおいては、支援情報HLPをＶＯＢ管理情報のストリーム属性情報として格納する。支援情報HLPがMPEG-4 AVCにおいてのみ使用される際には、圧縮方式がMPEG-4 AVCである場合にのみ支援情報HLPを格納してもよい。

なお、ストリーム属性情報とタイムマップに加えて、再生支援情報を格納するための領域をVOB管理情報内に設けて支援情報HLPを格納してもよい。また、VOB管理情報以外のBD管理情報として支援情報HLPを格納してもよい。

なお、支援情報HLPは、BD-ROMフォーマットだけでなく、BD-RE（Rewritable）などの他の記録用フォーマットにおける管理情報として格納してもよい。

（実施の形態６）
図３４は、実施の形態５に係るBDディスクを再生するプレーヤの大まかな機能構成を示すブロック図である。

ＢＤディスク（２０１）上のデータは、光ピックアップ（２０２）を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ（２０３）に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ（２０４）に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ（２０５）に夫々転送される。

プログラム記録メモリ（２０３）に記録されたＢＤ再生プログラムはプログラム処理部（２０６）によって、管理情報記録メモリ（２０４）に記録されたＢＤ管理情報は管理情報処理部（２０７）によって、また、ＡＶ記録メモリ（２０５）に記録されたＡＶデータはプレゼンテーション処理部（２０８）によって夫々処理される。

プログラム処理部（２０６）は、管理情報処理部（２０７）より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変える事が可能であり、この場合は管理情報処理部（２０７）に対してプレイリストの再生命令を送ることで実現する。プログラム処理部（２０６）は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部（２０７）は、プログラム処理部（２０６）の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部（２０８）に対象となるＡＶデータの再生を指示する。また、管理情報処理部（２０７）は、プレゼンテーション処理部（２０８）より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部（２０８）にＡＶデータ再生の停止指示を行い、また、プログラム処理部（２０６）に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部（２０８）は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部（２０７）からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン（２１０）およびイメージプレーン（２０９）に描画され、合成処理部（２１１）によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

特殊再生時のプレーヤ動作を以下に説明する。
管理情報処理部207は、実施の形態４に係る逆多重化装置55における特再動作決定手段53の機能を含み、可変速再生、逆再生、あるいは飛び込み再生などの特殊再生を行うように指示する特再指示信号がプログラム処理部206を介して入力されると、管理情報メモリ204から支援情報HLPを取得して解析し、特殊再生時の復号および表示動作を決定する方法を確定する。プレゼンテーション処理部208は、逆多重化装置55における復号・表示AU決定手段54の機能を含み、管理情報処理部207により決定された方法に基づいて復号および表示するAUを決定して、前記決定したAUを復号して表示する。なお、復号・表示AU決定手段54の機能を、管理情報処理部207がもつことにしてもよい。

また、BD管理情報に特再情報TRKが格納される場合には、管理情報処理部207が管理情報メモリ204から特再情報TRKを取得し、前記取得した特再情報TRKは、プレゼンテーション処理部208において解析される。

なお、図１０、図１５、図１８、図２２、図２３に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体１１５のように別構成としても良い。

なお、図１０、図１５、図１８、図２２〜図２５、図３４に示したブロック図の各機能ブロックおよび図１３、図１４、図１６、図１７に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。

このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

（実施の形態７）
さらに、上記各実施の形態で示した多重化方法および逆多重化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図３５Ａ−３５Ｃは、上記各実施の形態の多重化方法および逆多重化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図３５Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図３５Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図３５Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号方法を実現する上記画像符号化方法および画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

本発明の実施の形態について詳細に説明してきたが、当業者にとっては新規性と有利な点とを逸脱することなく、本発明の実施形態を変形することは容易である。したがって、そのような変形例も本発明の範囲内に含まれる。

本発明に係る多重化装置および逆多重化装置は、MPEG-4 AVCのストリームが多重化されたデータを特殊再生する際に、効率のよい復号あるいは表示動作を行えることから、特殊再生機能が重視されるパッケージメディアの再生機器において特に有効である。

本発明の目的、効果および特徴は、発明の実施例を示す図面を用いて以下の説明から明らかにする。
MPEG-2ビデオにおけるストリーム構造を示す図である。 (a)（b）MPEG-2ビデオにおけるGOP構造例を示す図である。 MPEG-4 AVCのストリーム構造を示す図である。 MPEG-4 AVCの予測構造例を示す図である。 MPEG-4 AVCのストリームを符号化して多重化する従来の多重化装置の構成を示すブロック図である。従来の多重化装置により生成された多重化データを再生する従来の逆多重化装置の構成を示すブロック図である。 (a)（b）MPEG-4 AVCにおける復号ピクチャ・バッファのメモリ管理を示す図である。メモリ管理コマンドの使用が必要な例について示す図である。図８と同一のランダムアクセス単位をIP再生する際のメモリ管理について示す。実施の形態１における符号化装置の構成を示すブロック図である。メモリ管理コマンドの再送方法について示す図である。従来技術におけるAP-Pピクチャ使用時のピクチャとメモリ管理コマンドとを示す図である。実施の形態１におけるAP-Pピクチャ使用時のピクチャとメモリ管理コマンドとを示す図である。 IP再生時に破綻のないメモリ管理を実現する符号化方法のフローチャートである。 AP-Pピクチャの復号時に破綻のないメモリ管理を実現する符号化方法のフローチャートである。実施の形態６の復号方法を実現する復号装置のブロック図である。 IP再生時に破綻のないメモリ管理が実現できることが保証された符号化ストリームの復号方法を示すフローチャートである。 AP-Pピクチャの復号時に破綻のないメモリ管理が実現できることが保証された符号化ストリームの復号方法を示すフローチャートである。実施の形態２における第１の多重化装置の構成を示すブロック図である。 (a)（b）再生支援情報の内容を示す図である。再生支援情報が格納されたNALユニットを特定する方法について示す図である。第1の多重化装置の動作を示すフローチャートである。実施の形態３における第２の多重化装置の構成を示すブロック図である。実施の形態４における逆多重化装置の構成を示すブロック図である。逆多重化装置の第1の動作を示すフローチャートである。逆多重化装置の第２の動作を示すフローチャートである。実施の形態５におけるＨＤ−ＤＶＤのデータ階層図である。ＨＤ−ＤＶＤ上の論理空間の構成図である。ＶＯＢ情報ファイル構成図である。タイムマップの説明図である。プレイリストファイルの構成図である。プレイリストに対応するプログラムファイルの構成図である。ＢＤディスク全体管理情報ファイルの構成図である。グローバルイベントハンドラを記録するファイルの構成図である。実施の形態６におけるＨＤ−ＤＶＤプレーヤの概要ブロック図である。本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体を示す図である。本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体を示す図である。本発明の画像符号化方法および画像復号方法を実現するためのプログラムを記録した記録媒体を示す図である。

Claims

符号化ピクチャから構成されるストリームを生成するストリーム生成装置であって、
前記符号化ピクチャは、
復号済みピクチャを参照ピクチャとして保持するバッファを管理するためのコマンドを符号化した、第一の情報を格納する第一の格納単位と、
前記符号化ピクチャに、前記符号化ピクチャよりも復号順が前の符号化ピクチャの前記第一の情報が示すコマンドと同一の内容を符号化した、第二の情報が格納される場合に、前記第一の格納単位の前に位置し、前記第二の情報を格納するための第二の格納単位とを含み、
前記第一、第二の格納単位と、前記コマンドは、MPEG4AVC規格において規定されており、
前記ストリーム生成装置は、
前記第一の情報が前記第一の格納単位に格納されている第一の符号化ピクチャが、他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであるか否かを判定する判定手段と、
前記判定手段において他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであると判定された場合に、
前記第一の情報が示すコマンドと同一の内容を第二の情報として符号化する符号化手段と、
前記第一の符号化ピクチャよりも復号順が後のＩピクチャ、又は、Ｐピクチャに対応する第二の符号化ピクチャの前記第二の格納単位に、前記第二の情報を格納することでストリームを生成する生成手段と
を備えることを特徴とするストリーム生成装置。
前記生成手段は、
前記第二の符号化ピクチャのうち復号順が最初の符号化ピクチャの前記第二の格納単位に前記第二の情報を格納することで、ストリームを生成することを特徴とする請求項１記載のストリーム生成装置。
符号化ピクチャから構成されるストリームを生成するストリーム生成方法であって、
前記符号化ピクチャは、
復号済みピクチャを参照ピクチャとして保持するバッファを管理するためのコマンドを符号化した、第一の情報を格納する第一の格納単位と、
前記符号化ピクチャに、前記符号化ピクチャよりも復号順が前の符号化ピクチャの前記第一の情報が示すコマンドと同一の内容を符号化した、第二の情報が格納される場合に、前記第一の格納単位の前に位置し、前記第二の情報を格納するための第二の格納単位とを含み、
前記第一、第二の格納単位と、前記コマンドは、MPEG4AVC規格において規定されており、
前記ストリーム生成方法は、
前記第一の情報が前記第一の格納単位に格納されている第一の符号化ピクチャが、他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであるか否かを判定する判定ステップと、
前記判定ステップにおいて他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャであると判定された場合に、
前記第一の情報が示すコマンドと同一の内容を第二の情報として符号化する符号化ステップと、
前記第一の符号化ピクチャよりも復号順が後のＩピクチャ、又は、Ｐピクチャに対応する第二の符号化ピクチャの前記第二の格納単位に、前記第二の情報を格納することでストリームを生成する生成ステップと
を有することを特徴とするストリーム生成方法。
符号化ピクチャから構成されるストリームが記録された記録媒体であって、
前記符号化ピクチャは、
復号済みピクチャを参照ピクチャとして保持するバッファを管理するためのコマンドを符号化した、第一の情報を格納する第一の格納単位と、
前記符号化ピクチャに、前記符号化ピクチャよりも復号順が前の符号化ピクチャの前記第一の情報が示すコマンドと同一の内容を符号化した、第二の情報が格納される場合に、前記第一の格納単位の前に位置し、前記第二の情報を格納するための第二の格納単位とを含み、
第一の符号化ピクチャの前記第一の格納単位に、前記第一の情報が格納されており、前記第一の符号化ピクチャが、他のピクチャの復号において参照可能な参照Ｂピクチャに対応する符号化ピクチャである場合に、
前記第一の符号化ピクチャよりも復号順が後のＩピクチャ、又は、Ｐピクチャに対応する第二の符号化ピクチャの前記第二の格納単位のみに、前記第一の符号化ピクチャの第一の情報と同一の内容を第二の情報として格納している構造を有し、
前記第一、第二の格納単位と、前記コマンドは、 MPEG4AVC 規格において規定されている、
ストリームが記録されたコンピュータ読み取り可能な記録媒体。