JP4459165B2 - マルチアングルのための動画データを情報保存媒体に記録する方法及び再生する方法 - Google Patents

Description

本発明は、情報保存媒体にマルチアングルのための動画データを記録する方法及び再生する方法に関する。

従来の情報保存媒体のうちマルチアングルデータが記録されている代表的な例としては、ＤＶＤを挙げられる。ＤＶＤには、データが一定の単位で分けられて交互に記録されるインターリービング方式でマルチアングルデータが記録されている。

従来のマルチメディア再生装置であるＤＶＤビデオのデータ構造を説明すれば、次の通りである。

図１は、ＤＶＤのデータ構造を示す。図１を参照するに、マルチメディア保存媒体の一つであるＤＶＤは、ディスクをＶＭＧ（Ｖｉｄｅｏ Ｍａｎａｇｅｒ）領域と複数個のＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）領域とに分け、タイトル情報及びタイトルメニューについての情報をＶＭＧ領域に、タイトルについての情報を複数個のＶＴＳ領域に保存する。通常、ＶＭＧ領域は、２〜３個のファイルより構成されており、各ＶＴＳ領域は、３〜１２個のファイルより構成されている。

図２は、ＶＭＧ領域のデータ構造を示す。図２を参照するに、ＶＭＧ領域には、ＶＭＧ領域についての付加情報を保存するＶＭＧＩ（Ｖｉｄｅｏ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎ）領域とメニューに関する動画情報を保存するＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ）領域、そしてＶＭＧＩのバックアップ領域がある。これらそれぞれの区間は、一つのファイルとして存在するが、このうちＶＯＢＳ領域は、必ずしも存在せねばならないものではなく、場合によっては、保存されていないこともある。

ＶＴＳ領域には、再生単位であるタイトルについての情報と動画情報であるＶＯＢＳとが保存されている。一つのＶＴＳには、複数のタイトルが記録されうる。

図３は、ＶＴＳ領域のデータ構造を示す。図３を参照するに、ＶＴＳ領域には、ビデオタイトルセット情報ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）、メニュー画面用の動画データであるＶＯＢＳ、ビデオタイトルセットの動画情報であるＶＯＢＳ、及びＶＴＳＩのバックアップデータが記録される。メニュー画面を表示するためのＶＯＢＳの存否は選択的である。各ＶＯＢＳは、再び記録単位であるＶＯＢとＣＥＬＬとに区分される。一つのＶＯＢは、複数のＣＥＬＬより構成される。本発明で扱われる記録単位のうち最小単位はＣＥＬＬである。

ＤＶＤにおいて、再生単位は、階層化されている。最上層には、タイトルが存在する。タイトルは、一つあるいは複数のＰＧＣ（Ｐｒｏｇｒａｍ Ｃｈａｉｎ）で連結されて構成される。複数個のＰＣＧのうち、最初に再生されるＰＧＣをＥｎｔｒｙ ＰＧＣという。図４は、一つのＰＧＣ、すなわちＥｎｔｒｙ ＰＧＣよりなるタイトルを示す図であり、図５は、複数個のＰＧＣの連結でなされたタイトルを示す図である。図５に示されたように、一つのＰＧＣの再生を終了し、次のＰＧＣを再生する場合、複数個のＰＧＣのうち一つを選択して再生できる場合、どんなＰＧＣを選択するかというのは、ＤＶＤにコマンドで保存しうる。このように、再生の順序を制御することをナビゲーションという。再生順序を決定するコマンドは、ＰＧＣＩ（Ｐｒｏｇｒａｍ Ｃｈａｉｎ Ｉｎｆｏｒｍａｔｉｏｎ）に保存される。

図６は、ＰＧＣのデータ構造を示す。図６を参照するに、ＰＧＣは、ＰＧＣＩという情報構造で保存される。ＰＧＣＩは、ナビゲーションコマンドが保存されたプリコマンド、ポストコマンド、及び複数のプログラム情報より構成される。プリコマンドは、当該ＰＧＣの再生前に行われるコマンドであり、ポストコマンドは、当該ＰＧＣの再生後に行われるコマンドである。各プログラムは、複数のセル情報より構成される。このセルは、記録単位であるＶＯＢ内のＣｅｌｌと１対１に連結される。各再生単位であるセルは、セルの再生が終了した後に実行されるセルコマンドを有している。このように、ＰＧＣＩ情報は、再生単位であるＰＧＣを階層的に記述し、最下位再生単位であるセルを記録単位の最下位単位であるセルと連結させる情報構造を有する。

特に、ＰＧＣは、再生単位である複数個のセルの連結でなされる。このとき、複数個のセルがアングルブロックをなすことができる。

図７は、アングルブロックを示す。図７に示されたように、複数個のセルが並列に配置されて、このうち一つのセルを再生する部分をアングルブロックという。アングルブロックをなすセルは、同じ再生時間を有しつつ各アングルに対応する。再生単位のセルがアングルブロックをなす場合、記録単位であるＶＯＢと記録単位であるＣｅｌｌとには、一定単位であるインターリーブドユニット（Ｉｎｔｅｒｌｅａｖｅｄ Ｕｎｉｔ：ＩＬＶＵ）で分けられた各アングルデータが互いにインターリービングされて記録される。

図８は、マルチアングルを有していない場合の記録単位であるＶＯＢとＣｅｌｌとを示す。図８を参照するに、各ＶＯＢは、情報保存媒体の連続した記録空間である連続ブロックに保存され、順次に記録される。しかし、マルチアングルの場合には、図９に示されたように、各アングルに該当する各ＶＯＢ及びその下位単位であるセルがＩＬＶＵ単位でインターリービングされるインターリーブドブロックとして記録される。したがって、一つのアングルデータは、連続した記録空間に保存されなくなる。各アングルデータは、順次にインターリービングされて記録されねばならない。

図９は、２個のアングルデータが順次にインターリービングされて記録された例を示す。図９を参照するに、各ＩＬＶＵは、同じ再生時間を有さねばならない。データの記録長さは、圧縮された結果によって、その量が変わりうる。インターリービングされたデータを再生するためには、一つのアングルを再生するか、あるいはアングルを変更して再生する場合、いずれもＩＬＶＵデータ単位へのジャンピングが必要である。例えば、アングル１のデータを再生するためには、アングル１に該当するＩＬＶＵデータのみを探して再生せねばならない。このために、動画ビットストリーム内には、図１１に示されたように、ＮＸＴ＿ＩＬＶＵ＿ＳＡ、ＮＸＴ＿ＩＬＶＵ＿ＳＺデータが保存されているが、これは、当該ビットストリームが属するＩＬＶＵデータに続いて連結されねばならないＩＬＶＵデータの位置とサイズとを知らせる情報である。したがって、当該ビットストリームが属するＩＬＶＵデータの再生が終了した後、この情報を利用して、次のＩＬＶＵデータにジャンピングする。再生中にアングルを変化させようとする時には、変化したアングルに該当する特定位置にジャンピングせねばならない。このときのジャンピング位置もＩＬＶＵ単位で決定される。

図１０は、選択されたアングルで再生するためのジャンピングを再生順序であるセルの立場で示す。図１０を参照するに、画像を切れ目なく再生するシームレスチェンジのためには、特定位置でユーザのアングルチェンジ命令を受けても当該ＩＬＶＵデータの再生が終わった後、他のアングルのその次のＩＬＶＵデータにジャンプして再生する。ＩＬＶＵデータの位置情報は、インターリービングされて記録された動画データのビットストリーム内に多重化（ＭＵＸ）されて含まれている。図１２に示されたように、動画ビットストリーム内には、ＤＶＤで支援する最大数である９個のアングルに対するＩＬＶＵデータの位置及びサイズ情報であるＳＭＬ＿ＡＧＬ＿Ｃｎ＿ＤＳＴＡが記録されている。これらは、現在再生しているＩＬＶＵデータと連結されるアングルｎのＩＬＶＵデータを探すための情報である。現在のＩＬＶＵデータの再生が終了した後には、この情報を利用して所望のアングルに変更して再生しうる。

マルチアングルのためのＤＶＤのオーソリング過程を説明すれば、まず、多様な角度で撮影した画像をそれぞれ圧縮して同じ再生長さを有するビットストリームデータに作る。一つのビットストリームをインターリービングして構成し、また、それぞれビットストリーム内に他のアングルを参照できる情報を挿入して、再生中にもアングル転換できるように記録する。

マルチアングルデータを一定の単位で細かく分けた後にインターリービングして保存する場合、一つのアングルを連続して再生する場合にも、当該データが連続的に記録されていないので、データを読出すための再生位置の変更が発生し続ける。このとき、光ディスクやハードディスクのように、位置変更のために一定の時間が要求される場合、これを補償するために圧縮されたビットストリームのビットレートが制限されるという問題点がある。

本発明が解決しようとする目的は、マルチアングルデータが保存される位置制約をなくし、ランダムアクセスが可能なデータ構造で記録された情報保存媒体及びその装置を提供することである。

前記目的を達成するための本発明は、マルチアングルデータを情報保存媒体に記録する記録方法であって、少なくとも二つのクリップを前記情報保存媒体に記録する段階を含み、前記クリップは、前記マルチアングルデータを含むＡＶストリーム及び前記クリップに関する情報を含むクリップインフォメーションを含み、前記クリップインフォメーションは、ランダムアクセスが可能なポイントを指示するエントリポイント情報、及び、エントリポイントが前記ＡＶストリームのうちの一のアングルから他のアングルに変更するアングル変更ポイントかどうかの情報を含むことを特徴とする。

前記ジャンプポイントについての情報は、前記クリップの開始位置から各ジャンプポイントまでの位置についての情報であり、これらがクリップインフォメーション内にテーブル状に保存されることが望ましい。

前記複数のアングル用データのクリップに共通的にジャンプポイントについての情報を別途に記録し、前記共通ジャンプポイント情報は、各クリップの各ジャンプポイントについての位置情報が順次に記録されて、テーブル状に保存されていることを特徴とし、各アングルブロックに含まれたクリップインフォメーションは、前記情報を参照できるように構成されることが望ましい。

前記各ジャンプポイントは、一つの特定アングル用クリップ再生中に他のアングルへの変更再生時にジャンプポイントで再生位置変更を実施する場合、連続再生が可能になるように、ジャンプポイントの間隔と位置とを決定することが望ましい。

前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報は、再生単位の情報として加えて記録されており、複数のアングルのための情報は、複数のプレイアイテムが一つのアングルブロックをなすことについての情報が記録されていると表現されることが望ましい。

前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報は、再生単位の情報として加えて記録されており、一つのプレイリストが一つのアングルに対応するように記録されることが望ましい。

複数のアングルについての情報であって、前記各一つのアングルに対応するように記録されたプレイリストに特定アングルを表す付加情報が加えて記録されることが望ましい。

一方、他の本発明は、 マルチアングルデータが記録された情報保存媒体の再生方法であって、前記情報保存媒体には、少なくとも二つのクリップが記録され、前記クリップは、前記マルチアングルデータを含むＡＶストリーム及び前記クリップに関する情報を含むクリップインフォメーションを含み、前記クリップインフォメーションは、ランダムアクセスが可能なポイントを指示するエントリポイント情報、及び、エントリポイントが前記ＡＶストリームのうちの一のアングルから他のアングルに変更するジャンプポイントである否かの情報を含み、関連するクリップを検出し、エントリポイントがアングル変更ポイントであるときに、前記クリップインフォメーションを用いて、一のアングルから他のアングルに、検出されたクリップを読み出し、再生することを特徴とする。

前記ジャンプポイントについての情報は、前記クリップの開始位置から各ジャンプポイントまでの位置についての情報であり、これらがクリップインフォメーション内にテーブル状に保存されており、前記再生装置は、マルチアングルを構成するクリップの前記テーブルでの情報記録位置が同じであるジャンプポイントは、互いに連結されていると推定し、他のアングルへの変更再生時に互いに連結されたジャンプポイントの位置を探して再生することが望ましい。

前記複数のアングル用データのクリップに共通的にジャンプポイントについての情報が記録されており、前記共通ジャンプポイント情報は、各クリップの各ジャンプポイントについての位置情報が順次に記録されてテーブル状に保存されており、前記再生装置は、マルチアングルを構成するクリップに共通的な共通ジャンプポイント情報を読出して、他のアングルへの変更再生時に互いに連結されたジャンプポイントの位置を探して再生することが望ましい。

前記各ジャンプポイントは、一つの特定アングル用クリップ再生中に他のアングルへの変更再生時、ジャンプポイントで再生位置変更を実施する場合、連続再生が可能になるようにジャンプポイントの間隔と位置とを決定し、前記再生装置は、ユーザのアングル変更信号が入力された場合にも、現在再生中である位置から最も近いジャンプポイントまで再生を完了し、次のアングルに連結されたジャンプポイントから再生を開始して、連続再生が可能になるように再生することが望ましい。

前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報は、再生単位の情報として加えて記録され、前記プレイアイテムは、前記クリップの全体あるいは一部を指定しており、複数のアングルのための情報であって、複数のプレイアイテムが一つのアングルブロックをなすことについての情報が記録され、前記再生装置は、アングルブロックをなす複数のプレイアイテムを再生する場合、そのうち何れか一つのプレイアイテムを再生し、アングル変更時に他の当該プレイアイテムを再生することが望ましい。

前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報は、再生単位の情報として加えて記録され、前記プレイアイテムは、前記クリップの全体あるいは一部を指定しており、一つのプレイリストが一つのアングルに対応するように記録され、前記再生装置は、当該アングルに対応するプレイリストを再生することが望ましい。

前記プレイリストには、各プレイリストが対応するアングルについての情報が加えて保存され、前記再生装置は、当該アングルに対応するプレイリストを再生することが望ましい。

一方、本発明の他の分野によれば、前記目的は、ランダムアクセス機能を有する情報保存媒体に複数のアングル用動画データを記録する記録装置において、各アングルに該当する動画データの記録単位であるクリップを情報保存媒体の連続された空間に記録し、結果的に各アングル用動画データがインターリビングせずに互いに分離し、前記情報保存媒体に記録することを特徴とする記録装置によっても達成される。

各アングル用動画データに加えて、異なるアングルへの連結再生のための複数のジャンプポイントを作り、このジャンプポイントについての情報を付加情報として、前記情報保存媒体に記録することが望ましい。

前記各動画データに加えて、前記記録単位であるクリップについての付加情報であるクリップインフォメーションを加えて作り、このクリップインフォメーションに、前記ジャンプポイントの情報を前記情報保存媒体に記録することが望ましい。

前記ジャンプポイントについての情報は、前記クリップの開始位置から各ジャンプポイントまでの位置についての情報であり、前記記録装置は、これらをクリップインフォメーション内にテーブル状に前記情報保存媒体に記録することが望ましい。

前記記録装置は、前記クリップインフォメーションには、ランダムアクセスが可能なポイントについての情報であるエントリポイント情報を記録し、前記ジャンプポイントについての情報は、前記エントリポイント情報に付加されて当該エントリポイントがジャンプポイントを兼ねるか否かを表す情報の形態で保存することが望ましい。

前記記録装置は、前記複数のアングル用データのクリップに、共通的にジャンプポイントについての情報を記録し、前記共通ジャンプポイント情報は、各クリップの各ジャンプポイントについての位置情報が順次に記録されているテーブル状に保存することが望ましい。

前記記録装置は、前記各ジャンプポイントは、一つの特定アングル用クリップ再生中に他のアングルへの変更再生時、ジャンプポイントで再生位置変更を実施する場合、連続再生が可能になるようにジャンプポイントの間隔と位置とを決定して記録することが望ましい。

前記記録装置は、前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報を再生単位の情報として加えて記録し、複数のアングルのための情報は、複数のプレイアイテムが一つのアングルブロックをなすことについての情報として記録することが望ましい。

前記記録装置は、前記それぞれ一つのクリップに対応するプレイアイテムと前記複数のプレイアイテムとよりなるプレイリスト情報を再生単位の情報として加えて記録し、一つのプレイリストが一つのアングルに対応するように記録することが望ましい。

前記記録装置は、複数のアングルについての情報として、前記各一つのアングルに対応するように記録されたプレイリストに特定アングルを表す付加情報を加えて記録することが望ましい。

本発明は、インターリービング方式でない分離記録方式で各アングルデータを記録してマルチアングルを具現する。すなわち、各アングルに対応するビットストリームを連続した記録空間に分離記録してマルチアングルを具現する。他のアングルへの変更のためには、各アングルデータをジャンピングユニット（ＪＰＵ：Ｊｕｍｐｉｎｇ Ｕｎｉｔ）に区分してＪＰＵの開始アドレスをジャンピングポイントと指定した後、各アングルデータのジャンピングポイントを別途の付加情報として記録する。

このための本発明の構成要素を羅列すれば、次の通りである。

１）各アングルに対する圧縮符号化されたＡＶストリーム（クリップ）
２）当該ＡＶストリーム符号化属性情報を有しているクリップインフォメーションファイル
３）１）及び２）よりなるクリップでＩＮ＿ｔｉｍｅとＯＵＴ＿ｔｉｍｅとの再生区間に基づいて時間を指定しているプレイアイテム
４）一つあるいはそれ以上のプレイアイテムよりなるプレイリスト
５）ジャンピングポイントの位置をテーブル化して記録したジャンピングポイントマップ
本発明で、マルチアングルとは、特定の時間に該当する動画データが一つではなく、複数個の再生単位より構成されていることを意味する。すなわち、複数個のカメラで同時に撮影したデータをそれぞれ動画に作って置いたものである。オーディオデータは、同じ場合が一般的であるが、各アングルごとに異なって構成できる。整理すれば、同じ時間帯域に再生されうる動画データをマルチアングルデータと称し、このように製作されたコンテンツをマルチアングルコンテンツと称す。

動画データは、その量が膨大で圧縮を行った後、圧縮されたビットストリームとして保存されるか、または伝送される。本発明では、記録単位としてクリップ（Ｃｌｉｐ）、再生単位としてプレイリスト（ＰｌａｙＬｉｓｔ）及びプレイアイテム（ＰｌａｙＩｔｅｍ）という用語を使用する。このとき、Ｃｌｉｐは、ＤＶＤにおける記録単位であるＣｅｌｌに該当し、ＰｌａｙＬｉｓｔ及びＰｌａｙＩｔｅｍは、ＤＶＤにおける再生単位であるプログラム及びセルと同じ概念である。

すなわち、本発明による情報保存媒体には、ＡＶストリームがクリップ単位で記録されている。通常の場合、クリップは、連続的な空間に記録される。ＡＶストリームは、容量を減らすために圧縮して記録する。記録されたクリップを再生するためには、圧縮された動画データの特性情報を知らねばならない必要がある。したがって、各ＣｌｉｐごとにＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎを記録する。Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎは、各ＣｌｉｐのＡＶ属性及び一定の区間単位でランダムアクセスが可能なＥｎｔｒｙ Ｐｏｉｎｔの位置情報を記録したＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐが記録されている。動画圧縮技術として多く使われるＭＰＥＧの場合、Ｅｎｔｒｙ Ｐｏｉｎｔは、イントラ画像の圧縮を行うＩピクチャーの位置となる。Ｅｎｔｒｙ Ｐｏｉｎｔ Ｍａｐは、再生開始後、ある程度の時間が経過した地点を探す時間探索に主に利用される。

図１３は、ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、Ｃｌｉｐの相関関係を示す。図１３を参照するに、ＰｌａｙＬｉｓｔは、再生の基本単位である。本発明による情報保存媒体には、複数のＰｌａｙＬｉｓｔが保存されている。一つのＰｌａｙＬｉｓｔは、複数のＰｌａｙＩｔｅｍの連結でなされている。ＰｌａｙＩｔｅｍは、クリップの一部分に該当し、具体的には、クリップ内での再生開始時間と終了時間とを指定する形態として使われる。したがって、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎを利用して実際クリップ内の当該部分位置を探し出す。

以下では、マルチアングルのためのデータ構造及び記録位置について説明する。

図１４は、ＪＰＵとジャンピングポイントとを示す。図１４を参照するに、一つのクリップがマルチアングルのうち一つのアングルに該当する動画データであれば、クリップは、複数個のＪＰＵに分けられる。各ＪＰＵの開始点は、ジャンピングポイントとなる。ジャンピングポイントは、当該クリップの再生中に他のアングルの動画に該当するクリップにジャンプアウトするか、または他のクリップを再生中に当該クリップにジャンプインする位置となる。したがって、通常的にジャンピングポイントは、Ｅｎｔｒｙ Ｐｏｉｎｔと一致することが望ましい。しかし、Ｅｎｔｒｙ Ｐｏｉｎｔは、約０.５秒の時間間隔に存在するので、シームレス再生のために全てのＥｎｔｒｙ Ｐｏｉｎｔをジャンピングポイントとするのは望ましくない。

図１５は、マルチアングルのための複数個のクリップを示す。図１５を参照するに、複数個のクリップが同等な数のジャンピングポイントを有して互いに仮想的に連結されている。各クリップは、それぞれ連続した空間に分離されて記録されるが、互いに同じ再生時間位置を表すジャンピングポイントに連結される。したがって、一つのクリップを再生しつつ他のクリップを再生する場合には、当該ＪＰＵの再生を終了し、他のクリップのその次のＪＰＵに該当するジャンピングポイントを探して再生することによって連続的な再生が可能である。図１５には、アングル３を再生しつつアングル１を再生し、再びアングルｎを再生する順序が矢印で表示されている。ユーザのアングル変更に対する入力は、ＪＰＵ単位で実行される。

ランダムアクセスが可能な情報保存媒体は、連続した空間でない場合にも一定の時間内に位置を変更させて連続再生が可能である。本発明では、このような位置変更をジャンプと表現する。通常的な場合、メモリのような電子的な情報保存媒体は、ジャンプ時間が不要であるが、光ディスクのようにピックアップを動かしてデータを読出す情報保存媒体の場合には、ジャンプに一定の時間が必要である。また、情報保存媒体から動画データを読出す速度と読出した動画データを再生する速度とが異なる場合、連続空間を読出して再生する場合にも、読出速度と再生速度との差を補償するための装置が必要である。このような装置では、動画バッファが利用される。すなわち、一定のサイズの動画バッファを準備し、一定の速度でデータを読出してバッファを満たした後に再生する。この動画バッファのオーバーフローやアンダーフローを防止するようにデータの読出速度を調節する。バッファを使用すれば、たとえ動画データが変動ビットレート（ＶＢＲ：Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）で記録された場合であるとしても、切れ目のない再生が可能である。

ＪＰＵのサイズは、図１６に示したように、一つのジャンプユニットを再生し、他のアングルのための動画データが保存されたクリップにジャンプしても、そのジャンプ時間中に動画データが切れ目なく再生されるように動画バッファに保存されたデータが再生され、このバッファがアンダーフローが発生する前にジャンプ動作が終了して、次のアングルのジャンプユニットの再生が開始されるようにしなければならない。ジャンプ時間を必要とする再生装置の場合、最悪のジャンプ時間をＴ＿ＪＵＭＰとし、データ読出速度をＶ＿Ｒ、動画データの再生速度をＶ＿Ｏとすれば、ジャンプユニットのサイズは、下記のような条件を満足せねばならない。

ジャンプユニットのサイズ＞Ｖ＿Ｒ＊Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ／（Ｖ＿Ｒ−Ｖ＿Ｏ）
また、動画バッファは、最小限下記の条件を満足するほど大きくなければならない。

動画バッファのサイズ（Ｂ）＞Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ
図１７は、本発明によるマルチアングル構造を有するＰｌａｙＬｉｓｔを示す。図１７を参照するに、一つのＰｌａｙＬｉｓｔを構成するＰｌａｙＩｔｅｍは、通常的に順次的な構造を有するが、第２ＰｌａｙＩｔｅｍに例示されたように、マルチアングルをなす場合には、複数個のＰｌａｙＩｔｅｍがアングルブロックを構成する。アングルブロックとは、再生時、このブロックに属する一つのＰｌａｙＩｔｅｍが再生されるということを意味する。アングルブロックに属する各ＰｌａｙＩｔｅｍ間には、再生中にアングル変更によって再生対象が変更されうる。アングルブロックをなすＰｌａｙＩｔｅｍは、再生時間が同じであることが通常的である。このとき、本発明では、アングルブロックをなすＰｌａｙＩｔｅｍに指定されたＣｌｉｐがインターリービングされず、それぞれ連続した空間に分離されて記録されることを特徴とする。すなわち、Ｃｌｉｐ２、Ｃｌｉｐ３、Ｃｌｉｐ４は、それぞれ連続した空間に記録される。したがって、これらＣｌｉｐは、アングルブロックをなしていない他のＣｌｉｐと差がない。但し、アングルブロックをなすＣｌｉｐは、ジャンプポイントについての情報を有している。

ジャンプポイントに対する望ましいデータ構造は、次の３つを挙げられる。

図１８は、ジャンプポイントに対するデータ構造の第１実施例である。図１８に示された第１実施例は、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎに当該クリップがアングル用のＣｌｉｐである場合に限って従来のＧｅｎｅｒａｌ ＩｎｆｏｒｍａｔｉｏｎとＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐとに加えてＪｕｍｐ Ｐｏｉｎｔ Ｍａｐ情報を作って記録するものである。ジャンプポイント情報は、動画データと密接な関係を有しているので、記録単位であるクリップについての付加情報であるクリップインフォメーションデータ内に記録することが望ましい。Ｇｅｎｅｒａｌ Ｉｎｆｏｒｍａｔｉｏｎには、下記のような情報が主な情報として記録されている。

−ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒ：クリップインフォメーションファイルのバージョン。

−ＥＰＭａｐ＿ｓｔａｒｔ＿ａｄｄｒｅｓｓ：クリップインフォメーションファイルの第１バイトから相対的なバイトナンバーでＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐの開始アドレスを指す。

−ＪＰＭａｐ＿ｓｔａｒｔ＿ａｄｄｒｅｓｓ：クリップインフォメーションファイルの第１バイトから相対的なバイトナンバーでＪｕｍｐ Ｐｏｉｎｔ Ｍａｐの開始アドレスを指す。このアドレスの値が０である場合は、アングル用のＣｌｉｐでない場合であって、Ｊｕｍｐ Ｐｏｉｎｔ Ｍａｐ情報が無い。

−ＣｌｉｐＩｎｆｏ：このクリップインフォメーションファイルと関連したＡＶストリームファイルの属性を保存する。

Ｅｎｔｒｙ Ｐｏｉｎｔ Ｍａｐには、ランダムアクセスが可能なＥｎｔｒｙ Ｐｏｉｎｔの時間と位置情報とが記録されている。Ｊｕｍｐ Ｐｏｉｎｔ Ｍａｐには、当該Ｃｌｉｐがアングル用のＣｌｉｐである場合、他のアングルに該当するＣｌｉｐとの仮想的な連結のためのジャンプポイントについての情報が記録されている。望ましい実施の例として、Ｊｕｍｐ Ｐｏｉｎｔ ＭａｐのＪｕｍｐ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎには、ジャンプポイントの数が記録されており、その後に該当する数ほどのＪｕｍｐ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎが記録されている。このＪｕｍｐ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎは、当該クリップの開始位置から当該ジャンプポイントの位置を探すための情報が記録されている。望ましい実施例として、この位置情報は、バイト数であるか、セクター数であるか、あるいは動画情報がＭＰＥＧ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍに符号化された場合、ＭＰＥＧ−ＴＳパケット数である。

図１９は、ジャンプポイントに対するデータ構造の第２実施例である。図１９に示された第２実施例は、従来のＥＰ Ｍａｐ情報にジャンプポイント情報を挿入するものである。これは、別途の保存空間を必要としないという長所がある。前述したように、ジャンプポイントは、ＭＰＥＧのように視空間圧縮を実施して動画を符号化した場合、ランダムアクセスポイントであるＥｎｔｒｙ Ｐｏｉｎｔと一致させることが望ましい。したがって、各Ｅｎｔｒｙ Ｐｏｉｎｔについての情報に当該Ｅｎｔｒｙ Ｐｏｉｎｔがジャンプポイントも兼ねるか否かについての情報を挿入することによって、簡単にジャンプポイントについての情報を記録できる。

図２０は、ジャンプポイントに対するデータ構造の第３実施例である。図２０に示された第３実施例は、アングルブロックをなすＣｌｉｐについてのジャンプポイント情報を集束して別途の付加情報構造を作るものである。すなわち、Ｊｕｍｐ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎにアングルブロックをなすクリップ数と一つのクリップに存在するジャンプポイント数とを記録した後に順次に各クリップ別のジャンプポイントについての情報を記録する。この情報構造は、容易に各アングルの当該位置を探すことができるという長所がある。

図２１は、アングルブロックをなすＰｌａｙＩｔｅｍを有しているＰｌａｙＬｉｓｔ情報の例を示す。図２１を参照するに、通常のＰｌａｙＩｔｅｍ情報に加えて、各ＰｌａｙＩｔｅｍ情報は、アングルブロック情報を有している。このアングルブロック情報には、当該ＰｌａｙＩｔｅｍがアングルブロックをなしているか否かについての情報が基本的に含まれている。アングルブロックをなすＰｌａｙＩｔｅｍ情報は、順次に記録されねばならない。ＰｌａｙＬｉｓｔを構成するＰｌａｙＩｔｅｍのうち、アングルブロックをなす複数のＰｌａｙＩｔｅｍは、再生時、そのうち一つのＰｌａｙＩｔｅｍを基本的に再生する。再生中にアングルブロックに属する他のＰｌａｙＩｔｅｍに変更して再生できる。

図２２は、再生単位であるＰｌａｙＬｉｓｔを各アングル別に構成した例を示す。図２２を参照するに、ＰｌａｙＬｉｓｔに属するＰｌａｙＩｔｅｍは、アングルブロックをなしていない。その代わりに、各ＰｌａｙＬｉｓｔがそれぞれ一つのアングルに対応して構成される。したがって、図２３に示されたように、当該ＰｌａｙＬｉｓｔがどんなアングルを表すかについての情報が別途に記録される。ユーザのアングル選択やアングル変更によって当該ＰｌａｙＬｉｓｔが再生される。

このようにマルチアングルをなす動画データの記録単位が情報保存媒体の連続した空間に分離されて記録されており、各アングルを表す動画データの連結位置をジャンプポイントとして付加データとして管理し、当該記録単位を連結して再生する再生単位情報をマルチアングルについての情報を付加して構成すれば、これを再生する再生装置は、次のような動作として再生すれば、マルチアングルについてのデータを再生できる。

まず、マルチアングル用の動画データとしてもアングル変更がなされない場合は、連続した空間でデータを読出して再生できるので、マルチアングルでない動画データと差別なしに符号化が可能である。したがって、インターリービングの場合のように、一つのアングルを連続再生するための別途のデータや符号化の制約がなくなる。

また、各記録単位であるクリップには、アングルブロックをなす他のアングル用の動画データへの連結情報がジャンプポイント情報として付加されているので、ある時点でアングル変更が必要である場合は、その次のジャンプポイントまで再生した後、変更される動画データの当該ジャンプポイント以後の動画情報から再生すれば良い。

再生単位の情報構造としてマルチアングルを表示する情報がプレイリストに属する複数のプレイアイテムが、アングルブロックをなして記録された場合（図２１の場合）、アングルブロックに属する一つのプレイアイテムを再生し、アングル変更が必要である時に当該アングルに対応するクリップの現在位置と最も近いジャンプポイントまでの再生を終了した後、変更するアングルに対応するクリップの当該ジャンプポイントの次から再生を実施する。図２２のように、各アングル別に独立したプレイリストが記録された場合には、当該プレイリストを再生し、アングル変更が発生する時に当該プレイリストを再生する。

本発明の対象である記録装置の場合は、前述されたクリップデータ及びジャンプポイント情報、再生単位情報を情報保存媒体に記録する装置である。望ましい実施例は、次の通りである。

まず、再生装置の読出速度Ｖ＿Ｒ及びジャンプ時間Ｔ＿ＪＵＭＰ、動画データの最高ビットレートＶ＿Ｏを考慮してジャンプユニットのサイズを決定する。このとき、考慮する式は前述された通りである。このように決定されたジャンプユニットを再生時間に換算する。これにより、この再生時間より大きいか、または同じ単位で、ランダムアクセスポイントがなされるように各動画データを符号化する。このとき、この単位の境界位置がジャンプポイントとなる。一般的に、ＭＰＥＧのような時空間圧縮符号化方法で、ランダムアクセスポイントは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始ポイントとなり、したがって、前記ジャンプユニットは、複数個のＧＯＰより構成される。各動画ごとに同じ再生時間帯にジャンプポイントが作られねばならない。

符号化された動画データを各アングル別に情報保存媒体の連続した空間に記録する。このとき、決定されたジャンプポイントの位置情報を付加情報として記録する。このとき、望ましい実施例として、各クリップ別に当該ジャンプポイントの情報をクリップインフォメーションに記録できる。

次いで、マルチアングルを構成する再生単位についての情報を構成して記録する。このとき、各クリップに対応する各プレイアイテムを複数で構成してアングルブロックより構成した後、これらを連結してプレイリストに作る。または、各アングル別に独立したプレイリストを作る。

本発明によれば、マルチアングルを表す動画データをインターリービングせずに連続した空間に分離記録することによって、容易な記録空間配置が可能であり、ランダムアクセスが可能でマルチアングルを表す動画データをさらに効率的に読出すことができる。

ＤＶＤのデータ構造図である。 ＶＭＧ領域のデータ構造図である。 ＶＴＳ領域のデータ構造図である。 一つのＰＧＣ、すなわちＥｎｔｒｙ ＰＧＣよりなるタイトルの例である。 複数個のＰＧＣの連結でなされたタイトルの例である。 ＰＧＣのデータ構造図である。 アングルブロックの構成図である。 マルチアングルを有していない場合の記録単位であるＶＯＢ及びＣｅｌｌの構造図である。 ２個のアングルデータが順次にインターリービングされて記録された例である。 選択されたアングルで再生するためのジャンピングを再生順序であるセルの立場で示す参考図である。 アングル１に該当するＩＬＶＵデータが含まれた動画ビットストリームに含まれた情報構造図である。 複数個のアングルを支援する動画ビットストリームに含まれた情報構造図である。 ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、Ｃｌｉｐの相関関係を示す参考図である。 ジャンピングユニットとジャンピングポイントとのデータ構造図である。 マルチアングルのための複数個のクリップの構造図である。 動画データが切れ目なく再生されるためのジャンプ動作とバッファとの関係図である。 本発明によるマルチアングル構造を有するＰｌａｙＬｉｓｔの構造図である。 ジャンプポイントに対するデータ構造の第１実施例である。 ジャンプポイントに対するデータ構造の第２実施例である。 ジャンプポイントに対するデータ構造の第３実施例である。 アングルブロックをなすＰｌａｙＩｔｅｍを有しているＰｌａｙＬｉｓｔ情報の例である。 再生単位であるＰｌａｙＬｉｓｔを各アングル別に構成した例である。 当該ＰｌａｙＬｉｓｔが如何なるアングルを表すかについて別途に記録された情報の構造図である。

Claims (23)

1. マルチアングルデータを情報保存媒体に記録する記録方法であって、
   少なくとも二つのクリップを前記情報保存媒体に記録する段階を含み、
   前記クリップは、前記マルチアングルデータを含むＡＶストリーム及び前記クリップに関する情報を含むクリップインフォメーションを含み、
   前記クリップインフォメーションは、ランダムアクセスが可能なポイントを指示するエントリポイント情報、及び、エントリポイントが前記ＡＶストリームのうちの一のアングルから他のアングルに変更するアングル変更ポイントかどうかの情報を含む記録方法。
2. 前記クリップインフォメーションは、前記クリップのＡＶ属性を含むことを特徴とする請求項１に記載の記録方法。
3. 前記マルチアングルデータは、ＭＰＥＧビデオ圧縮標準によって圧縮されたＡＶストリームであることを特徴とする請求項１に記載の記録方法。
4. 前記エントリポイントが前記アングル変更ポイントかどうかの情報は、前記クリッピングインフォメーションに含まれるジャンピングポイントマップに含まれる請求項１記載の記録方法。
5. 前記ジャンピングポイントマップは、ジャンプポイントの数を含むジャンプマネジャー情報、及び、前記ジャンプポイントの数のジャンプポイント情報を含む請求項４記載の記録方法。
6. 前記ジャンプポイント情報は、前記クリップの各ジャンプポイントの開始位置を含み、前記クリップインフォメーションにテーブル状に記録されることを特徴とする請求項５に記載の記録方法。
7. 前記ジャンプポイント情報は、各アングルに対する動画データクリップに記録され、前記各クリップに含まれた各ジャンプポイントの位置についての情報が前記ジャンプポイント情報に順次に記録されることを特徴とする請求項６に記載の記録方法。
8. マルチアングルデータが記録された情報保存媒体の再生方法であって、
   前記情報保存媒体には、少なくとも二つのクリップが記録され、
   前記クリップは、前記マルチアングルデータを含むＡＶストリーム及び前記クリップに関する情報を含むクリップインフォメーションを含み、
   前記クリップインフォメーションは、ランダムアクセスが可能なポイントを指示するエントリポイント情報、及び、エントリポイントが前記ＡＶストリームのうちの一のアングルから他のアングルに変更するジャンプポイントである否かの情報を含み、
   関連するクリップを検出し、
   エントリポイントがアングル変更ポイントであるときに、前記クリップインフォメーションを用いて、一のアングルから他のアングルに、検出されたクリップを読み出し、再生する再生方法。
9. 前記クリップインフォメーションは、前記クリップのＡＶ属性を含むことを特徴とする請求項８に記載の再生方法。
10. 前記マルチアングルデータは、ＭＰＥＧビデオ圧縮標準によって圧縮されたＡＶストリームであることを特徴とする請求項８に記載の再生方法。
11. 前記エントリポイントが前記アングル変更ポイントかどうかの情報は、前記クリッピングインフォメーションに含まれるジャンピングポイントマップに含まれる請求項８記載の再生方法。
12. 前記ジャンピングポイントマップは、ジャンプポイントの数を含むジャンプマネジャー情報、及び、前記ジャンプポイントの数のジャンプポイント情報を含む請求項１１記載の再生方法。
13. テーブルの同じ位置に記録されたクリップのジャンプポイント情報が互いに連結される地点を推定する段階と、
    再生中であるクリップと変更されるアングルのクリップとが連結されたジャンプポイントを探索する段階とをさらに含み、
    前記再生方法は、前記クリップの再生中にアングルが変更される場合、それぞれ探索されたジャンプポイントで前記クリップを再生し、前記ジャンプポイント情報は、クリップの開始位置から各ジャンプポイントまでの位置についての情報であり、これらがクリップインフォメーションにテーブル状に記録され、前記ジャンプポイントを推定する段階で前記クリップのジャンプポイントが推定され、前記連結されたジャンプポイントを探索する段階で現在再生中であるクリップのジャンプポイントと変更されるクリップのジャンプポイントとが探索され、前記クリップを読出して再生する段階で前記クリップの再生中にアングルが変更される場合、前記探索されたジャンプポイント位置のクリップが再生されることを特徴とする請求項８に記載の再生方法。
14. 前記マルチアングルデータのクリップに共通のジャンプポイント情報を記録し、前記共通のジャンプポイント情報は、各クリップの各ジャンプポイントについての位置情報がテーブル状に順次に保存されていることを特徴とする請求項８に記載の再生方法。
15. 前記クリップの再生中にジャンプされる場合、切れ目なく連続再生されるように前記各ジャンプポイントの位置と隣接したジャンプポイントとの間隔が決定されることを特徴とする請求項８に記載の再生方法。
16. 前記クリップインフォメーションは、アングルブロックを形成するクリップの数と一つのクリップから提供されるジャンプポイントの数とを表すジャンプマネジャー情報を記録したジャンプポイントマップを含み、
    各クリップのジャンプポイント情報は、前記ジャンプマネジャー情報の次に順次に記録され、前記ジャンプポイントマップの情報構造は、前記クリップの情報構造と別途に区分されることを特徴とする請求項８に記載の再生方法。
17. 前記ジャンプポイント情報は、バイト及びセクターのうち一つで表現されることを特徴とする請求項８に記載の再生方法。
18. 前記マルチアングルデータがＭＰＥＧ伝送ストリームでコーディングされた場合、前記各ジャンプポイント情報は、複数のＭＰＥＧ伝送ストリームパケットで表現されることを特徴とする請求項８に記載の再生方法。
19. 前記クリップインフォメーションは、ジャンプポイント情報を記録したエントリポイントマップを含むことを特徴とする請求項８に記載の再生方法。
20. 前記マルチアングルデータは、複数のプレイリストを含み、各プレイリストは、アングルブロックを形成する一つ以上のプレイアイテムに連結され、各プレイアイテムは、クリップの一部分であって、前記クリップの開始時間と終了時間とを指示することを特徴とする請求項８に記載の再生方法。
21. 前記マルチアングルデータは、再生単位であるプレイリスト及びプレイアイテムについての情報を含み、各プレイアイテムは、クリップまたはクリップの一部分を指示し、各プレイリストは、各アングルに対応して記録され、各プレイアイテムは、各クリップに対応して記録され、各プレイリストは、複数のプレイアイテムを有することを特徴とする請求項８に記載の再生方法。
22. 各プレイリストは、対応するアングルについての情報を含み、前記クリップを読出して再生する段階で当該アングルに対応するプレイリストが再生されることを特徴とする請求項２１に記載の再生方法。
23. 情報保存媒体からマルチアングルのための動画データを再生する方法において、
    前記マルチアングルのための第１クリップを再生する段階と、
    前記第１及び第２クリップのエントリポイントがアングル変更ポイントのとき、前記第１クリップのエントリポイントでアングルを変更するために他のアングルのため第２クリップのエントリポイントにジャンプする段階とを含み、
    前記クリップインフォメーションは、ランダムアクセスが可能なポイントを指示するエントリポイント情報、及び、エントリポイントが前記ＡＶストリームのうちの一のアングルから他のアングルに変更するアングル変更ポイントかどうかの情報を含むことを特徴とする再生方法。

Images