JP4450021B2 - 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム - Google Patents

Description

本発明は、記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラムに関する。

従来、映像や音声を収録するカムコーダのような記録再生装置では、映像や音声の記録や再生という基本的な機能だけでなく、記録した映像や音声の分割、記録に失敗して破損した映像・音声ファイルの修復（サルベージ）といった機能も有している。

映像や音声の収録には様々なフォーマットが存在する。フォーマットの一例としては、ＲＩＦＦ（Ｒｅｓｏｕｒｃｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＱｕｉｃｋＴｉｍｅ、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅｍａ）、ＭＸＦ（Ｍａｔｅｒｉａｌ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ）等がある。そして、カムコーダで映像や音声を収録する際のフォーマットと、収録した映像や音声を編集する際に要求されるフォーマットとが異なる場合が多々存在する。異なるフォーマットでも映像や音声を編集することができるように、各フォーマットは映像や音声を収録する際に、記録されたファイルにおける映像や音声の位置が分かるようにインデックス情報を併せて記録している（特許文献１〜３参照）。

このように、インデックス情報を併せて記録することで、映像や音声の収録時に用いるフォーマットと、映像や音声の再生時や編集時に用いるフォーマットとが異なっている場合であっても、インデックス情報を参照することで、異なるフォーマット間で映像や音声の再生や編集が可能となる。

特開２００７−２０１９５号公報 特開平１０−８４５２５号公報 特開平０５−２８２３８０号公報

しかし、従来の方法では、フォーマットごとに個別にプロセッサを用意し、多くの機能を実装する必要があった。映像や音声の記録に関しては処理を共通化できる箇所は多いが、フォーマットごとにプロセッサを用意しなければならないので処理が冗長であり、また多くのフォーマットに対応しようとすればするほど、回路規模が大きくなる問題があった。

また、従来の方法では、サルベージ（破損ファイルの修復）に使えるほどの短い間隔でインデックス情報を記録していくことができず、また映像と音声の同期情報がストリームの先頭で記述されるため、例えばストリーム中の任意の点から再生したい場合には、インデックスの先頭から経過時間を積分する必要があり、処理に時間を要する問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像や音声の記録時に、記録方式によらずに共通の書式のインデックス情報を記録し、インデックス情報には映像と音声とを同期する情報を記録することで、記録したインデックス情報を元に多くの機能を実現することが可能な、新規かつ改良された記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録部と、再生情報に基づいて動画像および音声を再生する再生部と、を備える記録再生装置であって、再生情報記録部は、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録することを特徴とする、記録再生装置が提供される。

かかる構成によれば、記録再生装置は動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録部と、再生情報に基づいて動画像および音声を再生する再生部と、を備え、再生情報記録部は、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録する。その結果、映像と音声とを同期する情報が含まれる、記録方式によらずに共通の書式のインデックス情報を記録することで、記録したインデックス情報を元に多くの機能を実現することができる。

再生部は、音声データのチャンク毎に記録された音声同期情報に基づいて動画像と音声とを同期して再生してもよい。その結果、音声データのチャンク毎に記録された映像と音声とを同期するための音声同期情報を用いることで、動画像と音声とを同期して再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録部と、を備える記録装置であって、再生情報記録部は、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録することを特徴とする、記録装置が提供される。

かかる構成によれば、記録装置は動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録部と、を備え、再生情報記録部は、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録する。その結果、映像と音声とを同期する情報が含まれる、記録方式によらずに共通の書式のインデックス情報を記録することで、記録したインデックス情報を元に多くの機能を実現することができる。

また、上記課題を解決するために、本発明の別の観点によれば、動画像および音声を再生する際に、動画像および音声を記録する際に併せて記録された再生に関する再生情報に基づいて再生する再生部を備える再生装置であって、再生部は、再生情報に含まれる、音声データのチャンク毎に再生情報と並行して記録された動画像と音声との同期を行うための音声同期情報に基づいて動画像と音声とを同期して再生することを特徴とする、再生装置が提供される。

かかる構成によれば、再生装置は、動画像および音声を再生する際に、動画像および音声を記録する際に併せて記録された再生に関する再生情報に基づいて再生する再生部を備え、再生部は、再生情報に含まれる動画像と音声との同期を行うための音声同期情報に基づいて動画像と音声とを同期して再生する。その結果、音声データのチャンク毎に再生情報と並行して記録された映像と音声とを同期するための音声同期情報を用いることで、動画像と音声とを同期して再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、動画像を撮影する撮像ステップと、音声を記録する音声記録ステップと、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録ステップと、を含む記録方法であって、再生情報記録ステップは、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録することを特徴とする、記録方法が提供される。

かかる構成によれば、撮像ステップは動画像を撮影し、音声記録ステップは音声を記録し、再生情報記録ステップは撮像ステップで撮影する動画像および音声記録ステップで記録する音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する。そして、再生情報記録ステップは、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録する。その結果、映像と音声とを同期する情報が含まれる、記録方式によらずに共通の書式のインデックス情報を記録することで、記録したインデックス情報を元に多くの機能を実現することができる。

また、上記課題を解決するために、本発明の別の観点によれば、動画像および音声を再生する際に、動画像および音声を記録する際に併せて記録された再生に関する再生情報に基づいて再生する再生ステップを含む再生方法であって、再生ステップは、再生情報に含まれる、音声データのチャンク毎に再生情報と並行して記録された動画像と音声との同期を行うための音声同期情報に基づいて動画像と音声とを同期して再生することを特徴とする、再生方法が提供される。

かかる構成によれば、再生ステップは、動画像および音声を再生する際に、動画像および音声を記録する際に併せて記録された再生に関する再生情報に基づいて再生する。そして、再生ステップは、再生の際に、再生情報に含まれる、音声データのチャンク毎に再生情報と並行して記録された動画像と音声との同期を行うための音声同期情報に基づいて動画像と音声とを同期して再生する。その結果、その結果、音声データのチャンク毎に記録された映像と音声とを同期するための音声同期情報を用いることで、動画像および音声の記録方式によらずに、動画像と音声とを同期して再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、動画像を撮影する撮像ステップと、音声を記録する音声記録ステップと、動画像および音声の記録時に、動画像および音声の再生に関する再生情報を併せて記録する再生情報記録ステップと、を含む処理をコンピュータに実行させるコンピュータプログラムであって、再生情報記録ステップは、再生情報を記録する際に映像と音声との同期を行うための音声同期情報を音声データのチャンク毎に再生情報と並行して記録することを特徴とする、コンピュータプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、動画像および音声を再生する際に、動画像および音声を記録する際に併せて記録された再生に関する再生情報に基づいて再生する再生ステップを含む処理をコンピュータに実行させるコンピュータプログラムであって、再生ステップは、再生情報に含まれる、音声データのチャンク毎に再生情報と並行して記録された動画像と音声との同期を行うための音声同期情報に基づいて動画像と音声とを同期して再生することを特徴とする、コンピュータプログラムが提供される。

以上説明したように本発明によれば、映像や音声の記録時に、記録方式によらずに共通の書式のインデックス情報を記録し、インデックス情報と併せて映像と音声を同期する音声同期情報を音声データのチャンク毎に記録することで、記録したインデックス情報および音声同期情報を元に多くの機能を実現することが可能な、新規かつ改良された記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラムを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態にかかる記録再生装置１００の構成について説明する説明図である。以下、図１を用いて本発明の一実施形態にかかる記録再生装置１００の構成について説明する。

図１に示したように、本発明の一実施形態にかかる記録再生装置１００は、カメラ１０２と、マイク１０４と、映像・音声Ｉ／Ｆ部１０６と、エンコード・デコード部１０８と、再生情報生成部１１０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１と、記録部１１２と、再生部１１４と、表示部１１６と、音声出力部１１８と、システム制御部１２０と、メモリ１２２と、ユーザインタフェース部１２４と、を含んで構成される。

カメラ１０２は、被写体を動画像または静止画像として撮影し、撮影した結果得られる画像をデジタル信号に変換して、画像データとして映像・音声Ｉ／Ｆ部１０６に送る。マイク１０４は、カメラ１０２が撮影を行った時点での記録再生装置１００の周囲の音声を収録し、収録した音声をデジタルデータに変換して音声データとして、映像・音声Ｉ／Ｆ部１０６に送る。

映像・音声Ｉ／Ｆ部１０６は、カメラ１０２で撮影された画像データおよびマイク１０４で収録された音声データをエンコード・デコード部１０８に送る。また、エンコード・デコード部１０８から送られた画像のデータを表示部１１６に送り、音声のデータを音声出力部１１８に送る役割も有する。

エンコード・デコード部１０８は、映像・音声Ｉ／Ｆ部１０６から送られた画像データ及び音声データを、各種方式に基づいてエンコードし、エンコード後の画像データ及び音声データを再生情報生成部１１０と記録部１１２とに送る。エンコードする方式としては、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がある。

また、エンコード・デコード部１０８は、記録部１１２に記録される画像データ及び音声データを読み出して、エンコードした方式に応じてデコードし、デコード後の画像データ及び音声データを映像・音声Ｉ／Ｆ部１０６に送る役割も有する。

再生情報生成部１１０は、エンコード・デコード部１０８でエンコードされた画像データ及び音声データを入力し、画像データ及び音声データから再生情報ファイルを作成するものである。再生情報ファイルの構成については後述する。作成した再生情報ファイルは記録部１１２に送られて記録される。

再生情報ファイルは、記録再生装置１００で録画を開始すると、ＤＲＡＭ１１１に含まれる再生情報記録領域に再生情報を順次記録し、録画を終了すると、ＤＲＡＭ１１１の再生情報記録領域に記録された再生情報を再生情報ファイルとして作成することによって作成してもよい。ＤＲＡＭ１１１への再生情報の記録は所定の間隔で行う。所定の間隔の一例として、例えば２秒間隔で行ってもよい。

記録部１１２は、エンコード・デコード部１０８でエンコードされた画像データおよび音声データを、動画ファイルの形式にして記録するものである。また、エンコード・デコード部１０８でエンコードされた画像データおよび音声データに基づいて再生情報生成部１１０で作成された再生情報ファイルも併せて記録する。

システム制御部１２０は、記録再生装置１００の各部の制御を行うものである。システム制御部１２０で制御する記録再生装置１００の各部の制御としては、例えば、ユーザインタフェース部１２４から録画の開始が指示されると、システム制御部１２０は、カメラ１０２およびマイク１０４に対して録画および録音の開始を指示する。もちろん、システム制御部１２０が行う制御はかかる例に限定されない。

ユーザインタフェース部１２４は、記録再生装置１００を使用するユーザから操作部（図示せず）の操作を受け付け、その操作を表す操作信号をシステム制御部１２０に送るものである。ユーザが操作部で操作するものとしては、動画の撮影開始指示や、撮影した動画の再生指示等がある。

メモリ１２２は、記録再生装置１００の各部が行う処理に必要となるデータを記憶するものである。例えば、メモリ１２２にコンピュータプログラムを格納し、システム制御部１２０が格納されたコンピュータプログラムを読み出して実行することによって、再生する動画ファイルに対する処理を行うことができる。

以上、図１を用いて本発明の一実施形態にかかる記録再生装置１００の構成について説明した。次に、本発明の一実施形態にかかる、再生情報生成部１１０で生成される再生情報ファイルの内部構成について説明する。

図２は、本発明の一実施形態にかかる、再生情報生成部１１０で生成される再生情報ファイルの内部構成について説明する説明図である。以下、図２を用いて本発明の一実施形態にかかる再生情報ファイルの内部構成について説明する。

図２に示したように、本発明の一実施形態にかかる再生情報ファイルは、１６バイトのデータを１つの固まりとして構成されている。ファイルの先頭から、ファイルヘッダ、拡張ファイルヘッダ１〜ｎ、各フレームに対応するデータが順次格納される。

ファイルヘッダは、記録再生装置１００で記録される画像データや音声データに関する基本情報が格納されるものである。ファイルヘッダに格納される、画像データや音声データに関する基本情報の一例として、バージョン情報、ファイル基本情報、映像基本情報、音声基本情報、タイムコード情報が記録される。もちろん、本発明においてファイルヘッダに記録する情報は係る例に限られない。

拡張ファイルヘッダは、ファイルヘッダには記録しないが、記録再生装置１００で記録される画像データや音声データに関する情報が格納されるものである。本実施形態においては、拡張ファイルヘッダには先頭部分で非表示にするフレームの数、再生するフレームの数、サムネイル一覧に用いる代表画のフレーム番号を記録する。もちろん、本発明においては拡張ファイルヘッダに記録する情報は係る例に限られない。また、拡張ファイルヘッダの数は１つであってもよく、２つ以上であってもよい。図２では、拡張ファイルヘッダをｎ個設けた場合のデータ構造について示している。

各フレームに対応するデータは、画像データおよび音声データの各フレームにおける情報が格納されるものである。本実施形態においては、格納される情報は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）先頭フラグ、ピクチャタイプ、映像情報、音声同期情報、音声情報がある。映像情報としては、例えばフレーム毎の画像データのサイズ、画像データの絶対アドレスが格納され、音声情報としては、例えばフレーム毎の音声データサイズ、音声データの相対アドレスまたは絶対アドレスが格納される。

各フレームに対応するデータは、記録再生装置１００で画像データおよび音声データを記録すると、記録したデータに基づいて０番目のフレーム（フレーム０）から順次作成される。そして、フレームが増えると、フレームの増加に伴って既に作成された各フレームに対応するデータに順次追加して作成される。各フレームに対応するデータは所定の間隔で作成することが望ましい。本実施形態においては、２分間隔で各フレームに対応するデータが作成される。

以上、図２を用いて本発明の一実施形態にかかる再生情報ファイルの内部構成について説明した。次に、本発明の一実施形態にかかるファイルヘッダのデータ構成について説明する。

図３は、本発明の一実施形態にかかるファイルヘッダのデータ構成について説明する説明図である。以下、図３を用いて本発明の一実施形態にかかるファイルヘッダのデータ構成について説明する。

図３に示したように、また上述したように、ファイルヘッダは１６バイトの領域を有している。またファイルヘッダにはバージョン情報、ファイル基本情報、映像基本情報、音声基本情報、タイムコード情報が記録される。

ファイル基本情報としては、映像チャンクヘッダ長、音声チャンクヘッダ長が含まれ、映像基本情報にはフレームレート、画像のアスペクト比、水平・垂直画素数、映像圧縮規格が含まれ、音声基本情報には、音声量子化ビット数、音声トラック構成、音声標本化周波数、音声圧縮規格の情報が含まれる。これらの情報を格納する箇所を、ファイルヘッダの１６バイトの領域に収まるように定義する。なお、映像チャンクヘッダ長は、後述するピクチャタイプによって値が異なる場合があり、その場合にはピクチャタイプ別に映像チャンクヘッダ長のデータを格納してもよい。例えば、ピクチャタイプがＩピクチャとＩピクチャ以外とで映像チャンクヘッダ長が異なる場合には、２種類の値をファイル基本情報に格納する。

以上、図３を用いて本発明の一実施形態にかかるファイルヘッダのデータ構成について説明した。次に、本発明の一実施形態にかかる各フレームに対応するデータのデータ構成について説明する。

図４は、本発明の一実施形態にかかる各フレームに対応するデータのデータ構成について説明する説明図である。以下、図４を用いて本発明の一実施形態にかかる各フレームに対応するデータのデータ構成について説明する。

図４に示したように、また上述したように、各フレームに対応するデータは１６バイトの領域を有している。各フレームに対応するデータには、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）先頭フラグ、ピクチャタイプ、映像情報、音声同期情報、音声情報がある。また映像情報として当該フレームにおける画像データのサイズ、画像データの絶対アドレスが格納され、音声情報として当該フレームにおける音声データのサイズ、音声データの相対アドレスまたは絶対アドレスが格納される。また、音声同期情報として、画像データの時刻情報と音声データの時刻情報との差分の値が格納される。これらの情報を格納する箇所を、各フレームに対応するデータの１６バイトの領域に収まるように定義する。

各フレームに対応するデータとしてＧＯＰ先頭フラグやピクチャタイプを格納することで、フレームの途中から再生を行う場合でも、再生を開始するフレームに対応する再生情報を読み込むことで、当該フレーム及び当該フレームの前後のフレームの画像データを読み込んでデコードを行うことができる。

以上、図４を用いて本発明の一実施形態にかかる各フレームに対応するデータのデータ構成について説明した。なお、図３や図４に示したデータ構成は本発明の一例であり、各データの格納位置は図３や図４に示した場合に限られないことは言うまでもない。

次に、本発明の一実施形態にかかる再生情報生成部１１０で生成される再生情報ファイルの生成方法について説明する。

図５は、ＭＸＦ（Ｍａｔｅｒｉａｌ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ）に基づいて記録される映像および音声データの構成の一例を示す説明図である。図５に示したように、ＭＸＦにおいては音声データ（Ａ０、Ａ１、Ａ２、・・・）と画像データ（Ｂ０、Ｂ１、Ｉ２、・・・、Ｐ５、・・・）とが混在して記録される。ここで、Ｂ、Ｉ、Ｐはそれぞれピクチャタイプを表し、Ｂ０はピクチャタイプがＢである０番目のフレームであることを表している。また、画像データはフレームごとにサイズが異なって記録される。

ここで、図５に示したｌｅｎＨＡは音声チャンクヘッダ長を、ｌｅｎＨＩはピクチャタイプがＩピクチャである映像フレームの映像チャンクヘッダ長を、ｌｅｎＨＶはピクチャタイプがＩピクチャ以外である映像フレームの映像チャンクヘッダ長を、それぞれ表している。またｓｉｚｅＶ［ｎ］はｎ番目のフレームの映像データサイズを、ｏｆｆｓＶ［ｎ］はｎ番目のフレームの映像データアドレスを表し、ｓｉｚｅＡ［ｎ］はｎ番目のフレームの音声データサイズを、ｏｆｆＡ［ｎ］はｎ番目のフレームの音声データアドレスを表している。これらの表記は以下の図においても同様である。

そのため、ＭＸＦに基づいて映像および音声データが記録される場合に、各データのフレームごとの情報を再生情報ファイルに記録する。そして、映像および音声データが記録された動画ファイルを再生する際に、生成した再生情報ファイルを参照することで、当該動画ファイルをファイルの途中から再生することができる。

図６は、ＭＸＦに基づいて記録される映像および音声データの再生について説明する説明図である。Ｖｉｄｅｏは映像フレームを、Ａｕｄｉｏは音声フレームをそれぞれ意味し、ｓｋｉｐＦは動画ファイルを再生する際に、デコード不能等により非表示とするフレームの数を表している。ｆｐｓは１秒間に再生するフレームの数（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）を表し、１／ｆｐｓは１フレームの時間を示す。なおｆｐｓに関する情報は、再生情報ファイルのファイルヘッダに格納される。再生情報ファイルにｆｐｓに関する情報を格納する際には、実際の値で格納してもよく、パラメータとして格納してもよい。本実施形態ではパラメータの形式で再生情報ファイルのファイルヘッダに格納する。

図５と同様に、映像フレームにおけるＢ、Ｉ、Ｐはそれぞれピクチャタイプを表し、Ｂ０はピクチャタイプがＢである０番目のフレームであることを表している。音声フレームにおけるＡ０は、０番目のフレームの音声データであることを表している。また、ＴＣはタイムコードを指しており、ｏｒｇＴＣはタイムコードの初期値を表している。ｓｋｉｐＦとｏｒｇＴＣの値は再生情報ファイルのファイルヘッダまたは拡張ファイルヘッダに格納し、動画ファイルを再生する際にはこれらの情報を再生情報ファイルから読み込んで再生する。

図６に示したように、ＭＸＦにおいては、再生の開始時点（図６のＰＢ ｂｅｇｉｎに示した時点）で、映像の再生タイミングと音声の再生タイミングとが異なる（ディレイする）場合がある。図６に示したｄｅｌＡ［２］は、２番目のフレームにおける音声同期タイミングを表している。つまり、図６のように映像の再生タイミングと音声の再生タイミングとが異なる場合には、ｄｅｌＡ［２］だけ音声の再生を遅らせれば、映像と音声とを同期して再生することが出来る。なお、図６に示した例では、映像より音声のほうが遅れているため、ｄｅｌＡ［２］は負の値を示している。

従って、ＭＸＦに基づいて映像および音声データが記録される場合に、各データのフレームごとのディレイ情報を再生情報ファイルに記録する。そして、映像および音声データが記録された動画ファイルを再生する際に、生成した再生情報ファイルに含まれるディレイ情報を参照することで、映像と音声とを同期して再生することができる。

図７は、ＭＸＦに基づいて記録される音声データの固まり（チャンク）の例について説明する説明図である。図７は、ｋ番目のフレームを例に挙げて説明したものである。図７に示したように、ＭＸＦに基づいて記録される音声データの固まりは、ステレオで２トラック（ｓｔｅｒｅｏ ２ｔｒａｃｋｓ）を使用する場合や、モノラルで４トラック（ｍｏｎｏ ４ｔｒａｃｋｓ）を使用する場合などがある。

図７において、ステレオで２トラックを使用する場合には、ｃｈ（チャンネル）１およびｃｈ２を１つの固まりとして、ｃｈ３およびｃｈ４を１つの固まりとしてデータを記録している。またモノラルで４トラックを使用する場合には、チャンネルごとに１つの固まりとしてデータを記録している。ｌｅｎＨＡは音声データのチャンクサイズを示しており、再生情報ファイルのファイルヘッダに格納される情報である。

このような場合に、音声データのサイズｓｉｚｅＡ［ｋ］と相対アドレスｏｆｆｓＡ［ｋ］とを再生情報ファイルに記録する。そして、映像および音声データが記録された動画ファイルを再生する際に、生成した再生情報ファイルを参照することで、当該動画ファイルをファイルの途中から再生した場合でも音声を当該再生場所から再生することができる。

図８は、本発明の一実施形態にかかる、ＭＸＦに基づいて動画ファイルを記録する際に生成される再生情報ファイルのデータ構成について説明する説明図である。

図８に示したように、フレームごとに画像データのサイズ（ｓｉｚｅＶ［］）、画像データの絶対アドレス（ｏｆｆｓＶ［］）、ディレイ情報（ｄｅｌＡ［］）、音声データのサイズ（ｓｉｚｅＡ［］）、音声データの相対アドレス（ｏｆｆｓＡ［］）を記録する。また、フレームごとにＧＯＰ先頭フラグ（１または０。１の場合、そのフレームがＧＯＰの先頭であることを示す）、ピクチャタイプ（Ｂ、Ｐ、Ｉ）の情報も併せて格納する。

このように、ＭＸＦに基づいて動画ファイルを記録する際に再生情報ファイルを生成することで、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルに格納されている情報を参照することで映像および音声を当該再生場所から再生することができる。そして、再生情報ファイルには音声のディレイ情報を併せて記録しているので、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルを参照することで、映像と音声を同期させて、映像および音声を当該再生場所から再生することができる。

例えば、ｋ番目のフレームの映像データを取得する場合には、当該フレームがＩピクチャである場合には、（ｏｆｆｓＶ［ｋ］＋ｌｅｎＨＩ）〜（ｏｆｆｓＶ［ｋ］＋ｓｉｚｅＶ［ｋ］−１）の範囲がｋ番目のフレームの映像データに相当し、当該フレームがＰピクチャまたはＢピクチャである場合には、（ｏｆｆｓＶ［ｋ］＋ｌｅｎＨＶ）〜（ｏｆｆｓＶ［ｋ］＋ｓｉｚｅＶ［ｋ］−１）の範囲がｋ番目のフレームの映像データに相当する。

また、ｋ番目のフレームの音声データを取得する場合には、音声トラック単位＿ｌｅｎＡは＿ｌｅｎＡ＝ｓｉｚｅＡ［ｋ］／（ｔｒｋｓＡ ＆ ０ｘｆ）、音声データ番地はｏｆｆｓＡ［ｋ］＋ｏｆｆｓＶ［ｋ］＋（＿ｌｅｎＡ＊ｊ）＋ｌｅｎＨＡ、音声データ長は＿ｌｅｎＡ−ｌｅｎＨＡでそれぞれ表される。ここでｔｒｋｓＡは音声トラック数を表し、再生情報ファイルのファイルヘッダに格納されるデータである。

画像データと音声データを１つの動画ファイルに記録する場合だけで無く、音声データを動画ファイルから独立して音声ファイルとして記録する場合でも、再生情報ファイルを生成することができる。図９は、ＭＸＦに基づいて音声データを記録する際に、音声データを独立して音声ファイルとして記録する場合について説明する説明図である。図９に示した例では、音声をモノクロ２チャンネルで、それぞれファイル名をｘｘｘｘｘＡ０１．ａｕｄとｘｘｘｘｘＡ０２．ａｕｄとして記録する場合を示している。

音声データを動画ファイルから独立して音声ファイルとして記録する場合でも、各フレームに対応する音声データのデータサイズおよび相対アドレスを記録することで、当該動画ファイルをファイルの途中から再生した場合でも、生成した再生情報ファイルを参照することで、音声を当該再生場所から再生することができる。

以上、ＭＸＦに基づいて動画ファイルを記録する際に生成する再生情報ファイルのデータ構成について説明した。なお、ＲＩＦＦ（Ｒｅｓｏｕｒｃｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）は、ＭＸＦと似たデータ構造を持つので、インデックスはＭＸＦと完全に等しい書式となり、また再生等のインデックスを使用する処理もＭＸＦの場合の処理と共通となる。ＭＸＦ以外の規格に基づいて動画ファイルを記録する際にも、再生情報ファイルを生成し、生成した再生情報ファイルを参照することで、映像および音声の再生を行うことができる。以下、その他の規格における実施例について説明する。

（ＭＰ４規格における実施例）
図１０は、ＭＰ４規格に基づいて記録される映像および音声データの構成の一例を示す説明図である。図１０に示したように、ＭＰ４規格においては音声データ（Ａ０−Ａ１４、Ａ１５−Ａ２９、・・・）と画像データ（Ｉ２、Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｉ１７、・・・）とが混在して記録される。また、ＭＰ４規格に基づいて記録される音声データは１５フレーム分が一固まりとなって記録される。

なお、図１０で、ｓｔｓｚ［］はＭＰ４規格に基づいて記録される映像および音声データの各フレームのサイズを、ｓｔｃｏ［］は映像および音声データのチャンクを、ｓｔｓｃ［］は映像および音声データのチャンクに関する情報を示している。

図１１は、ＭＰ４規格に基づいて記録される音声データについて説明する説明図である。上述の通り、ＭＰ４規格に基づいて記録される音声データは１５フレーム分が一塊となって記録される。図１１に示した例では、従って、再生情報ファイルを生成する際には、１５フレーム分の音声データのデータサイズを記録する。

このようにＭＰ４規格に基づいて記録される映像及び音声データを基に再生情報ファイルを生成する。図１２は、本発明の一実施形態にかかる、ＭＰ４規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルのデータ構造について説明する説明図である。図１２に示したように、ＭＰ４規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルは、フレームごとの画像データのサイズ（ｓｉｚｅＶ［］）と画像データの絶対アドレス（ｏｆｆｓＶ［］）が格納される。

また、上述したようにＭＰ４規格に基づいて記録される音声データは１５フレーム分が一固まりとなって記録される。そのため、音声データは１フレーム単位ではなく１５フレーム単位に記録する。すなわち、図１２に示したように、フレーム０の音声データに関する情報を格納する箇所に音声データのサイズ（ｓｉｚｅＡ［０］）、音声データの相対アドレス（ｏｆｆｓＡ［０］）およびディレイ情報（ｄｅｌＡ［０］）を記録すると、フレーム１〜フレーム１４の音声データに関する情報を格納する箇所には０を記録する。そして、フレーム１５の音声データに関する情報を格納する箇所に音声データのサイズ（ｓｉｚｅＡ［１５］）、音声データの相対アドレス（ｏｆｆｓＡ［１５］）およびディレイ情報（ｄｅｌＡ［１５］）を記録する。

このように、ＭＰ４規格に基づいて動画ファイルを生成する場合であっても再生情報ファイルを生成することができる。ＭＰ４規格に基づいて生成される動画ファイルの画像データおよび音声データに関する情報を再生情報ファイルに記録することで、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルを参照することで映像および音声を当該再生場所から再生することができる。そして、再生情報ファイルには音声のディレイ情報を併せて記録しているので、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルを参照することで、映像と音声を同期させて、映像および音声を当該再生場所から再生することができる。また、ＱｕｉｃｋＴｉｍｅフォーマットはＭＰ４と似たデータ構造を持つので、インデックスはＭＰ４と完全に等しい書式となり、また再生等のインデックスを使用する処理もＭＰ４の場合と共通の処理となる。

（ＭＰＥＧ−２ ＴＳ規格における実施例）
図１３は、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）規格に基づいて記録されるデータの構成の一例を示す説明図である。図１３に示したように、ＭＰＥＧ−２ ＴＳ規格に基づいて記録されるデータとして、映像および音声データの他に、ＳＩＴ（Ｓｅｌｅｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ；伝送される番組に関する情報の指示についての情報）、ＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ；ストリームで伝送されるコンテンツを管理する情報）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ；ストリームで伝送されるコンテンツを構成する映像や音声データを管理する情報）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；プログラム時刻基準値）等の情報も作成される。

また、ＭＰＥＧ−２ ＴＳ規格に基づいて生成される映像および音声データは多重化されて記録される（ＡＵＸ−Ｖ，ＡＵＸ−Ａ）。

このようにＭＰＥＧ−２ ＴＳ規格に基づいて生成される動画ファイルであっても、映像および音声データの各フレームの位置およびサイズに関する情報を再生情報ファイルに記録することで、再生情報ファイルを参照して当該動画ファイルを再生することが可能となる。

図１４は、ＭＰＥＧ−２ ＴＳ規格に基づいて記録される音声データの構成を詳細に示す説明図である。図１４に示したように、ＭＰＥＧ−２ ＴＳ規格におけるオーディオパケットは、集中的にＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）単位で配置し、さらにＶｉｄｅｏ Ｐａｃｋに対応する４〜５ＰＥＳ（５９．９４ｉ）を集めて１つのＡｕｄｉｏ Ｐａｃｋを構成している。ＭＰＥＧ−２ ＴＳ規格に基づいて記録される音声データを、本発明の再生情報として記録する際には、一般的なフレーム単位の記述も可能であるが、本実施形態では、構成されたＡｕｄｉｏ Ｐａｃｋを一つの音声データの固まりと扱っている。

図１５は、ＭＰＥＧ−２ ＴＳ規格に基づいて映像および音声データとして記録されるデータの一例を示す説明図である。ＭＰＥＧ−２ ＴＳやＭＰＥＧ−２ ＰＳでは、映像データおよび音声データの内、先頭３２ビットがヘッダとして割り当てられている。従って、実際に映像データ及び音声データのサイズとして記録するのは、先頭の３２ビットを除いたサイズとなる。

このようにＭＰＥＧ−２ ＴＳ規格に基づいて記録される映像及び音声データを基に再生情報ファイルを生成する。図１６は、本発明の一実施形態にかかる、ＭＰＥＧ−２ ＴＳ規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルのデータ構造について説明する説明図である。

図１６に示したように、ＭＰＥＧ−２ ＴＳ規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルは、フレームごとの画像データのサイズ（ｓｉｚｅＶ［］）と画像データの絶対アドレス（ｏｆｆｓＶ［］）が格納される。

そして、音声データは１フレーム単位ではなく３フレーム単位に記録する。すなわち、図１６に示したように、フレーム０の音声データに関する情報を格納する箇所に音声データのサイズ（ｓｉｚｅＡ［０］）、音声データの相対アドレス（ｏｆｆｓＡ［０］）およびディレイ情報（ｄｅｌＡ［０］）を記録すると、フレーム１およびフレーム２の音声データに関する情報を格納する箇所には０を記録する。そして、フレーム３の音声データに関する情報を格納する箇所に音声データのサイズ（ｓｉｚｅＡ［３］）、音声データの相対アドレス（ｏｆｆｓＡ［３］）およびディレイ情報（ｄｅｌＡ［３］）を記録する。

このように、ＭＰＥＧ−２ ＴＳ規格に基づいて動画ファイルを生成する場合であっても再生情報ファイルを生成することができる。ＭＰＥＧ−２ ＴＳ規格に基づいて生成される動画ファイルの画像データおよび音声データに関する情報を再生情報ファイルに記録することで、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルを参照することで映像および音声を当該再生場所から再生することができる。そして、再生情報ファイルには音声のディレイ情報を併せて記録しているので、当該動画ファイルをファイルの途中から再生した場合でも、再生情報ファイルを参照することで、音声のディレイ情報を用いて映像と音声を同期させて、映像および音声を当該再生場所から再生することができる。

以上、本発明の一実施形態にかかる再生情報生成部１１０で生成される再生情報ファイルの生成方法について説明した。

このように、各規格に対応するように再生情報ファイルを生成しておけば、録画した際の規格と異なる規格で動画ファイルの再生や編集等の処理を行う再生装置であっても、再生情報ファイルを参照することによって動画ファイルの再生や編集を行うことができる。次に、本発明の一実施形態にかかる再生情報ファイルを用いて動画ファイルを再生する再生装置について説明する。

図１７は、本発明の一実施形態にかかる再生情報ファイルを用いて動画ファイルを再生する再生装置２００について説明する説明図である。図１７に示したように、本発明の一実施形態にかかる再生装置２００は、記録部２０２と、再生情報解析部２０４と、デコード部２０６と、再生部２０８と、表示部２１０と、音声出力部２１２と、システム制御部２１４と、メモリ２１６と、ユーザインタフェース部２１８と、を含んで構成される。

記録部２０２は、所定の規格に基づいて作成された動画ファイルと、当該動画ファイルの画像データおよび音声データに基づいて生成された再生情報ファイルとが記録されているものである。所定の規格の例としてはＭＸＦやＭＰ４等の規格がある。記録部２０２としては、再生装置２００に固定して備えられるハードディスクドライブ（ＨＤＤ）や再生装置２００に接続して用いられる各種メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体を用いることができる。

再生情報解析部２０４は、記録部２０２に記録されている再生情報ファイルを読み取って解析するものである。再生情報解析部２０４は、システム制御部２１４を介してユーザインタフェース部２１８から再生開始位置の指示を受け、指示を受けた再生開始位置に対応する再生情報を読み取る。そして、再生装置２００は、再生情報解析部２０４で読み取って解析した再生情報に基づいて、再生情報ファイルの元となった動画ファイルの再生を行う。

例えば、ユーザインタフェース部２１８から動画ファイルの１０フレーム目から再生するよう指示をした場合、ユーザインタフェース部２１８からシステム制御部２１４を介して、再生情報解析部２０４に対して１０フレーム目の再生情報を取得して解析するように指示する。

１０フレーム目の再生情報を取得して解析するように指示を受けた再生情報解析部２０４は、再生情報ファイルから当該１０フレーム目の画像データのサイズ、画像データの絶対アドレス、音声データのサイズ、音声データの相対アドレスおよびディレイ情報を取得する。取得したこれらの情報に基づいて、動画ファイルにおける画像データおよび音声データの読み取り位置や読み取りサイズを決定する。

デコード部２０６は、記録部２０２に記録されている動画ファイルのデコードを行うものである。デコード部２０６でデコードを行う際には、再生情報解析部２０４で解析した再生情報に基づいてデコードを行う。例えば、ユーザインタフェース部２１８から動画ファイルの１０フレーム目から再生するよう指示をした場合、再生情報解析部２０４で当該１０フレーム目の再生情報を取得し、当該１０フレーム目からデコードを行う。

再生部２０８は、デコード部２０６でデコードされたデータを受け取って動画ファイルの再生を行うものである。表示部２１０に再生を行う動画ファイルに記録されている動画像が表示され、音声出力部２１２に再生を行う動画ファイルの音声が出力される。

システム制御部２１４は、再生装置２００の各部の制御を行うものである。例えば、ユーザインタフェース部２１８から動画ファイルの再生開始位置が指示されると、システム制御部２１４は、再生情報解析部２０４に対して動画ファイルの再生開始位置に対応する、再生情報ファイルに含まれる再生情報の取得を指示する。もちろん、システム制御部２１４が行う制御はかかる例に限定されない。

ユーザインタフェース部２１８は、再生装置２００を使用するユーザから操作部（図示せず）の操作を受け付け、その操作を表す操作信号をシステム制御部２１４に送るものである。ユーザが操作部で操作するものとしては、再生する動画ファイルの選択や、選択した動画ファイルの再生開始位置の指定等がある。

メモリ２１６は、再生装置２００の各部が行う処理に必要となるデータを記憶するものである。例えば、メモリ２１６にコンピュータプログラムを格納し、システム制御部２１４が格納されたコンピュータプログラムを読み出して実行することによって、再生する動画ファイルに対する処理を行うことができる。

このように再生装置２００を構成し、再生装置２００において動画ファイルと再生情報ファイルとから画像データ及び音声データのデコードを行うことで、再生装置２００が有する方式と異なる方式でエンコードされて生成された動画ファイルであっても再生が容易に可能となる。また、再生情報ファイルには音声同期情報が含まれているため、音声同期情報を参照することで画像と音声の同期も可能となる。

図１８は、本発明の一実施形態にかかる再生情報ファイルを用いて動画ファイルを再生する再生装置３００について説明する説明図である。図１８に示したように、本発明の一実施形態にかかる再生装置３００は、記録部３０２と、切換部３０４と、ＴＳバッファ３０６と、ＱＴバッファ３０８と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３１０と、ビデオＥＳバッファ３１８と、ＭＰ２バッファ３２０と、Ｌ−ＰＣＭバッファ３２２と、エンコーダ／デコーダ３２４と、を含んで構成される。

記録部３０２は、上述した再生装置２００における記録部２０２と同様に、所定の規格に基づいて作成された動画ファイルと、当該動画ファイルの画像データおよび音声データに基づいて生成された再生情報ファイルとが記録されているものである。所定の規格の例としてはＭＸＦやＭＰ４等の規格がある。記録部３０２としては、再生装置３００に固定して備えられるハードディスクドライブ（ＨＤＤ）や再生装置３００に接続して用いられる各種メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体を用いることができる。

切換部３０４は、記録部３０２に記録されている動画ファイルを読み取り、動画ファイルの種類によってデータの送り先を切り換えるものである。本実施形態においては、切換部３０４は読み取った動画ファイルの種類に応じて、ＴＳバッファ３０６かＱＴバッファ３０８のどちらかにデータを送る。

切換部３０４からデータを送る際には、再生情報ファイルから画像データおよび音声データの記録位置に関する情報（ｏｆｆＶ［］、ｏｆｆＡ［］）を読み取り、読み取った当該情報に基づいて動画ファイルからデータを取得する。

ＴＳバッファ３０６は、切換部３０４からデータを受け取って一時的に格納しておくものである。同様に、ＱＴバッファ３０８は、切換部３０４から映像および音声データを受け取って一時的に格納しておくものである。ここで、ＴＳバッファ３０６とＱＴバッファ３０８との違いは、

ＤＳＰ３１０は、ＴＳバッファ３０６およびＱＴバッファ３０８に一時的に格納されている映像および音声データを受け取り、受け取った映像および音声データに対して多重化処理や分離処理等の、動画ファイルの再生に必要な処理を行って、後段のビデオＥＳバッファ３１８、ＭＰ２バッファ３２０、Ｌ−ＰＣＭバッファ３２２に出力するものである。

ＤＳＰ３１０では、映像および音声データに対して、多重化処理や分離処理の他に、映像と音声とを同期するための処理を行う。映像と音声とを同期するためには、再生情報ファイルに記録した各フレームにおける同期情報を参照することによって行う。ＤＳＰ３１０は、ＴＳ分離部３１２と、マルチプレクサ３１４と、デマルチプレクサ３１６と、を含んで構成される。

ビデオＥＳバッファ３１８は、ＤＳＰ３１０から出力されたデータを受け取って一時的に格納しておくものである。同様に、ＭＰ２バッファ３２０およびＬ−ＰＣＭバッファ３２２も、ＤＳＰ３１０から出力されたデータを受け取って一時的に格納しておくものである。

エンコーダ／デコーダ３２４は、ビデオＥＳバッファ３１８およびＭＰ２バッファ３２０からデータを受け取り、受け取ったデータのデコードを行って出力するものである。エンコーダ／デコーダ３２４でデコードを行う際には、再生情報ファイルからデコード方法の情報を取得し、取得したデコード情報に基づいてデコード処理を行う。

このように再生装置３００を構成した場合であっても、再生装置３００において動画ファイルと再生情報ファイルとから画像データ及び音声データのデコードを行うことで、再生装置３００が有する方式と異なる方式でエンコードされて生成された動画ファイルであっても再生が容易に可能となる。また、再生情報ファイルには音声同期情報が含まれているため、音声同期情報を参照することで画像と音声の同期も可能となる。

以上、本発明の一実施形態にかかる再生情報ファイルを用いて動画ファイルを再生する再生装置について説明した。次に、本発明の一実施形態にかかる動画ファイルの再生方法について説明する。

図１９は、本発明の一実施形態にかかる動画ファイルの再生方法について説明する説明図である。以下、図１９を用いて本発明の一実施形態にかかる動画ファイルの再生方法について説明する。なお、以下においては、再生装置２００で動画ファイルを再生する方法について述べる。

まず、再生情報解析部２０４で、頭出ししたいｆ０番目のフレームの再生情報ファイル上の番地を求める（ステップＳ１０２）。再生情報ファイルは１６バイトを１つの集まりとしているため、頭出ししたいフレームのフレーム番号ｆ０が分かれば、再生情報ファイル上の番地を求めることができる。そして、ステップＳ１０２で求めた番地から記録されている、頭出ししたいフレームの再生情報を読み込む。

続いて、再生情報解析部２０４で、再生情報に含まれるピクチャタイプを読み込む（ステップＳ１０４）。ピクチャタイプには、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｒｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の３種類がある。

Ｉピクチャは、当該フレーム内の画面を全て符号化することによって得られる画面であり、ＧＯＰにおける基準となるピクチャである。Ｐピクチャは、画面間の順方向予測によって得られる画面である。そしてＢピクチャは、順方向予測および／または逆方向予測、すなわち双方向予測によって得られる画面である。

またＢピクチャには、フレームの前後の予測をともに行わない符号化（イントラ符号化）、過去の再生画面から予測する順方向予測符号化（Ｆｏｒｗａｒｄ予測符号化）、未来から予測される逆方向予測符号化（Ｂａｃｋｗａｒｄ予測符号化）、前後両方を予測に使用する双方向予測符号化（Ｉｎｔｅｒｐｏｌａｔｉｖｅ予測符号化）の４種類に分類することができる。

再生情報解析部２０４は、ステップＳ１０４でピクチャタイプを読み取ると、読み取ったピクチャタイプに応じてデコードするフレームを決定する。読み取ったピクチャタイプがＩピクチャか、ＢピクチャでＣｌｏｓｅｄ Ｂ０かＣｌｏｓｅｄ Ｂ１であれば、フレーム番号ｆ０＋１、ｆ０＋２のピクチャタイプを読み込む（ステップＳ１１０）。一方、ピクチャタイプがこれ以外の場合には、ピクチャタイプがＩピクチャであるフレームになるまで、フレームを遡って再生情報を読み出す（ステップＳ１０６）。

ここで、Ｃｌｏｓｅｄ Ｂ０とは当該フレームのピクチャタイプがＢピクチャにおける逆方向予測符号化を行うフレームであり、次のフレームのピクチャタイプがＩピクチャであることを示す。また、Ｃｌｏｓｅｄ Ｂ１とは当該フレームおよび次のフレームのピクチャタイプがＢピクチャにおける逆方向予測符号化を行うフレームであり、２つ次のフレームのピクチャタイプがＩピクチャであることを示す。

ピクチャタイプがＩピクチャであるフレームまで遡ると、当該フレームの再生情報を読み込み、読み込んだ再生情報に基づいて、動画ファイルから画像データをデコード部２０６に送ってデコードを行う（ステップＳ１０８）。

デコード部２０６がステップＳ１０８でデコードを行うと、再生情報解析部２０４で、当該フレームからｆ０番目のフレームまで再生情報のピクチャタイプを読み込みながらフレームを下る。フレームを下る際に、ピクチャタイプがＰピクチャであるフレームが現れたら、当該フレームの再生情報を読み込み、読み込んだ再生情報に基づいて、動画ファイルから画像データをデコード部２０６に送ってデコードを行う。

ｆ０番目のフレームに到達すると、続けて、再生情報解析部２０４でフレーム番号ｆ０＋１、ｆ０＋２のピクチャタイプを読み込む（ステップＳ１１０）。当該フレームのピクチャタイプがＩピクチャかＰピクチャであれば、当該フレームの再生情報を読み込み、読み込んだ再生情報に基づいて、動画ファイルから画像データをデコード部２０６に送ってデコードを行う。

続いて、所望のｆ０番目のフレームの再生情報を読み込み、読み込んだ再生情報に基づいて、動画ファイルから画像データをデコード部２０６に送ってデコードを行う（Ｓ１１２）。

その後は、ｏｆｆｓＶ［］の値が小さい順、つまり動画ファイルにおける画像データの絶対アドレスの小さい順に動画ファイルから画像データをデコード部２０６に送ってデコードを行う（Ｓ１１４）。

一方音声データは、所望のｆ０番目のフレームの再生情報を読み込み、読み込んだ再生情報に基づいて、動画ファイルから音声データをデコード部２０６に送ってデコードする。映像と音声との同期は、ｆ０番目のフレームの再生情報に記録されている同期情報（ｄｅｌＡ［ｆ０］）を読み込んで、デコード部２０６でのデコード結果に反映させることによって行う。

以上のように、再生情報ファイルから再生情報を読み込むことで、所望のフレームからの動画ファイルの再生を行うことができる。また、再生情報ファイルには映像と音声とを同期する音声同期情報が記録されているので、動画ファイルを再生する際に再生情報ファイルから再生情報を読み込むことで、映像と音声とを同期して再生することが可能となる。

以上、本発明の一実施形態にかかる動画ファイルの再生方法について説明した。

以上説明したように本発明の一実施形態によれば、記録再生装置１００で動画像を動画ファイルとして記録する際に、当該動画像の再生情報が含まれる再生情報ファイルを併せて作成する。そして、記録再生装置１００で記録された動画ファイルを再生する際には、当該動画ファイルに含まれる再生に関する情報ではなく、記録再生装置１００で作成された再生情報ファイルを参照しながら再生する。再生情報ファイルを参照しながら再生することで、記録再生装置１００と異なる規格でデコードを行う再生装置であっても再生が可能となる。

再生情報ファイルを生成することで、動画ファイルの再生以外にも様々な処理が可能となる。以下ではそれらの処理の一例を示す。

（処理例１．サルベージ）
記録再生装置１００の録画時に併せて生成される再生情報に基づいて、録画時に記録再生装置１００が電池切れ等の原因で電源が切断した等により録画が正常に終了しなかった場合に、生成された再生情報に含まれる各フレームの情報から、動画ファイルの復旧を行うことができる。

（処理例２．分割）
記録再生装置１００で動画ファイルを生成する際に併せて生成される再生情報ファイルを用いることで、動画ファイルの分割を行うことができる。再生情報ファイルによって分割点を割り出し、次に再生情報ファイル自体を分割する。分割した再生情報ファイルに従って動画ファイルのストリーム部分を分割し部分複製する。その後、分割したそれぞれの動画ファイルに対して記録終了処理を行うことで、２つの動画ファイルが完成する。

なお、分割する際には、場合によっては表示する必要が無いフレームもデコードする必要があるため、その場合には所定の長さの重複部分を設けて分割することになる。その際、再生情報ファイルも所定の長さの重複部分を設けて分割することで、動画ファイルの分割が可能となる。

（処理例３．動画ファイルからの再生情報ファイルの作成）
再生情報ファイルを持たない動画ファイルが記録再生装置１００に与えられた場合、各ラッパー方式で定めるインデックス情報を読み取って再生情報ファイルに変換することができる。変換して得られた再生情報ファイルを用いることで、通常再生や頭出し、さらには分割も、再生情報ファイルを有している動画ファイルと同様の処理で実現することができる。

以上説明したように、本発明の一実施形態によれば、動画ファイルを作成する際に再生情報ファイルを併せて作成する。再生情報ファイルには、動画ファイルの規格、動画ファイルの基本情報、各フレームのサイズやアドレス等の情報、映像と音声を同期するための同期情報を記録する。そして、動画ファイルを再生したり、編集したりする際には、当該動画ファイルに記録されたインデックス情報では無く、再生情報ファイルを参照することで、当該動画ファイルとは異なる規格によって再生や編集を容易に行うことが可能となる。その結果、異なる規格を扱うシステムであっても、再生情報ファイルを参照することでマルチフォーマットに対応するシステムを実現することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、記録再生装置１００で動画ファイルの作成と併せて再生情報ファイルを作成する際には、所定の間隔でＤＲＡＭ１１１に再生情報を追加しながら記録し、録画が終了した場合にＤＲＡＭ１１１に記録されている再生情報から再生情報ファイルを作成していたが、本発明はかかる例に限定されない。記録再生装置１００で動画ファイルの作成と併せて再生情報ファイルを作成する際には、所定の間隔でＤＲＡＭ１１１に再生情報ファイルの形式で作成し、所定の間隔で当該再生情報ファイルのオープンとクローズを繰り返して、再生情報を追加しながら作成してもよい。

本発明は、記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラムに適用可能である。

本発明の一実施形態にかかる記録再生装置１００の構成について説明する説明図である。 本発明の一実施形態にかかる、再生情報生成部１１０で生成される再生情報ファイルの内部構成について説明する説明図である。 本発明の一実施形態にかかるファイルヘッダのデータ構成について説明する説明図である。 本発明の一実施形態にかかる各フレームに対応するデータのデータ構成について説明する説明図である。 ＭＸＦに基づいて記録される映像および音声データの構成の一例を示す説明図である。 ＭＸＦに基づいて記録される映像および音声データの再生について説明する説明図である。 ＭＸＦに基づいて記録される音声データのチャンクの例について説明する説明図である。 ＭＸＦに基づいて動画ファイルを記録する際に生成される再生情報ファイルのデータ構成について説明する説明図である。 ＭＸＦに基づいて音声データを記録する際に、音声データを独立して音声ファイルとして記録する場合について説明する説明図である。 ＭＰ４規格に基づいて記録される映像および音声データの構成の一例を示す説明図である。 ＭＰ４規格に基づいて記録される音声データについて説明する説明図である。 ＭＰ４規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルのデータ構造について説明する説明図である。 ＭＰＥＧ−２ ＴＳ規格に基づいて記録されるデータの構成の一例を示す説明図である。 ＭＰＥＧ−２ ＴＳ規格に基づいて記録される音声データの構成を詳細に示す説明図である。 ＭＰＥＧ−２ ＴＳ規格に基づいて映像および音声データとして記録されるデータの一例を示す説明図である。 ＭＰＥＧ−２ ＴＳ規格に基づいて記録される映像及び音声データを基に生成される再生情報ファイルのデータ構造について説明する説明図である。 本発明の一実施形態にかかる再生装置２００について説明する説明図である。 本発明の一実施形態にかかる再生装置３００について説明する説明図である。 本発明の一実施形態にかかる動画ファイルの再生方法について説明する説明図である。

符号の説明

１００ 記録再生装置
１０２ カメラ
１０４ マイク
１０６ 映像・音声Ｉ／Ｆ部
１０８ エンコード・デコード部
１１０ 再生情報生成部
１１１ ＤＲＡＭ
１１２ 記録部
１１４ 再生部
１１６ 表示部
１１８ 音声出力部
１２０ システム制御部
１２２ メモリ
１２４ ユーザインタフェース部
２００ 再生装置
２０２ 記録部
２０４ 再生情報解析部
２０６ デコード部
２０８ 再生部
２１０ 表示部
２１２ 音声出力部
２１４ システム制御部
２１６ メモリ
２１８ ユーザインタフェース部
３００ 再生装置
３０２ 記録部
３０４ 切換部

Claims (8)

1. 動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、前記動画像および前記音声の再生に関する再生情報を併せて記録する再生情報記録部と、記録された動画像および音声を前記再生情報に基づいて再生する再生部と、を備える記録再生装置であって：
   前記再生情報記録部は、前記動画像および前記音声と、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる前記再生情報とを同時に記録し、前記再生情報のヘッダには映像基本情報及び音声基本情報を記録し、前記再生情報を記録する際に動画像と音声との同期を行うための音声同期情報を音声データのチャンク毎に前記再生情報と並行して記録することを特徴とする、記録再生装置。
2. 前記再生部は、音声データのチャンク毎に記録された前記音声同期情報に基づいて前記動画像と前記音声とを同期して再生することを特徴とする、請求項１に記載の記録再生装置。
3. 動画像を撮影する撮像部と、音声を記録する音声記録部と、動画像および音声の記録時に、前記動画像および前記音声の再生に関する再生情報を併せて記録する再生情報記録部と、を備える記録装置であって：
   前記再生情報記録部は、前記動画像および前記音声と、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる前記再生情報とを同時に記録し、前記再生情報のヘッダには映像基本情報及び音声基本情報を記録し、前記再生情報を記録する際に動画像と音声との同期を行うための音声同期情報を音声データのチャンク毎に前記再生情報と並行して記録することを特徴とする、記録装置。
4. 動画像および音声を再生する際に、前記動画像および前記音声を記録する際に併せて同時に記録され、ヘッダには映像基本情報及び音声基本情報が記録され、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる再生に関する再生情報に基づいて再生する再生部を備える再生装置であって：
   前記再生部は、前記再生情報に含まれる、音声データのチャンク毎に記録された前記動画像と前記音声との同期を行うための音声同期情報に基づいて前記動画像と前記音声とを同期して再生することを特徴とする、再生装置。
5. 動画像を撮影する撮像ステップと；
   音声を記録する音声記録ステップと；
   前記撮像ステップで撮像する動画像および前記音声記録ステップで記録する音声の記録時に、前記動画像および前記音声の再生に関する再生情報を併せて記録する再生情報記録ステップと；
   を含む記録方法であって、
   前記再生情報記録ステップは、前記動画像および前記音声と、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる前記再生情報とを同時に記録し、前記再生情報のヘッダには映像基本情報及び音声基本情報を記録し、前記再生情報を記録する際に動画像と音声との同期を行うための音声同期情報を音声データのチャンク毎に前記再生情報と並行して記録することを特徴とする、記録方法。
6. 動画像および音声を再生する際に、前記動画像および前記音声を記録する際に併せて同時に記録され、ヘッダには映像基本情報及び音声基本情報が記録され、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる再生に関する再生情報に基づいて再生する再生ステップを含む再生方法であって：
   前記再生ステップは、前記再生情報に含まれる、音声データのチャンク毎に前記再生情報と並行して記録された前記動画像と前記音声との同期を行うための音声同期情報に基づいて前記動画像と前記音声とを同期して再生することを特徴とする、再生方法。
7. 動画像を撮影する撮像ステップと；
   音声を記録する音声記録ステップと；
   前記撮像ステップで撮像する動画像および前記音声記録ステップで記録する音声の記録時に、前記動画像および前記音声の再生に関する再生情報を併せて記録する再生情報記録ステップと；
   を含む処理をコンピュータに実行させるコンピュータプログラムであって、
   前記再生情報記録ステップは、前記動画像および前記音声と、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる前記再生情報とを同時に記録し、前記再生情報のヘッダには映像基本情報及び音声基本情報を記録し、前記再生情報を記録する際に動画像と音声との同期を行うための音声同期情報を音声データのチャンク毎に前記再生情報と並行して記録することを特徴とする、コンピュータプログラム。
8. 動画像および音声を再生する際に、前記動画像および前記音声を記録する際に併せて同時に記録され、ヘッダには映像基本情報及び音声基本情報が記録され、所定の複数の記録方式に対してそれぞれの処理手順を用いて共通した書式からなる再生に関する再生情報に基づいて再生する再生ステップを含む処理をコンピュータに実行させるコンピュータプログラムであって、
   前記再生ステップは、前記再生情報に含まれる、音声データのチャンク毎に前記再生情報と並行して記録された前記動画像と前記音声との同期を行うための音声同期情報に基づいて前記動画像と前記音声とを同期して再生することを特徴とする、コンピュータプログラム。

Images