JP4904914B2 - ストリーム生成装置、撮像装置、およびストリーム生成方法 - Google Patents

Description

本発明は、動画像データを含む多重化ストリームを生成するストリーム生成装置、このような機能を備えた撮像装置、およびストリーム生成方法に関し、特に、画面レートを切り替え可能な動画像データを処理できるストリーム生成装置、撮像装置、およびストリーム生成方法に関する。

近年、動画像をデジタルデータとして取り扱うことが一般的になっており、撮像した動画像をデジタルデータとして記録可能なデジタルビデオカメラや、ＴＶ映像などをデジタルデータとして記録可能なデジタルレコーダなどが急速に普及している。このような装置で用いられている動画像の圧縮符号化方式では、一般的に、再生出力やデコードのための時刻管理情報が、圧縮されたビデオデータとともにデータストリーム中に多重化して記録されている。例えば、ＭＰＥＧ（Moving Picture Experts Group）方式では、再生時刻管理情報はＰＴＳ（Presentation Time Stamp）と呼ばれ、アクセスユニットと呼ばれる復号・再生単位の先頭データを含むパケットのヘッダに付加される。

一方、デジタルビデオカメラなどの撮像装置においては、撮像素子の性能や信号処理技術の進歩に伴い、現状のＴＶ放送規格の表示周期より短い周期で撮像画像を出力できるようになってきており、このような高速撮像機能を搭載した撮像装置が考えられている。例えば、標準の数倍の画面レートで撮像して記録したビデオデータを、標準の画面レートで再生・表示することで、スロー再生を可能にした撮像装置が考えられている。

なお、動画像の再生速度を可変とした従来の撮像装置としては、ビデオストリームの再生時に動作速度可変のカウンタを用意し、そのカウント値とビデオストリームに付加されたタイムスタンプと同期させるようにしたものがあった（例えば、特許文献１参照）。
特開２００２−３３７１２号公報（段落番号〔００２０〕〜〔００３２〕、図１）

しかし、上述したように、高速撮像により記録したビデオストリームをスロー再生しようとした場合には、記録時と再生時とで時間の進み方が異なるため、従来の手法のままで再生時刻管理情報をデータストリームに記録すると、再生時にはユーザが意図したスロー再生を実行できなかった。例えば、高速な画面レートで撮影したときに実時間に同期した再生時刻管理情報をデータストリームに記録した場合、その時刻情報を基に従来と同じ手法で標準の画面レートで再生すると、撮像時と同じ早さで画面が進行してスロー再生にならず、標準の表示周期間に記録された画面はスキップされてしまう。

本発明はこのような課題に鑑みてなされたものであり、通常時とは異なる画面レートの動画像データの入力を受けて、その動画像データをストリーム生成時とは異なる速度で容易に再生できるような多重化ストリームを生成できるストリーム生成装置および方法を提供することを目的とする。

また、本発明の他の目的は、通常時とは異なる画面レートで画像を撮像したときに、その画像を撮像時とは異なる速度で容易に再生できるようにした撮像装置を提供することである。

本発明では上記課題を解決するために、動画像データを含む多重化ストリームを生成するストリーム生成装置において、基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する多重化処理部とを有することを特徴とするストリーム生成装置が提供される。

このようなストリーム生成装置において、動画像符号化処理部は、基準画面レートと、その基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データの入力を受け、その動画像データを符号化して動画像ストリームを生成する。時刻管理情報生成部は、動画像符号化処理部に入力される画像フレームごとに、基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する。多重化処理部は、生成された動画像ストリームと再生時刻管理情報とを多重化して多重化ストリームを生成する。このように生成された多重化ストリームを、基準画面レートに対応する速度で再生すると、基準画面レートとは異なる画面レートで動画像符号化処理部に入力された範囲の動画像データは、その入力時とは異なる画面レートで再生される。

本発明のストリーム生成装置によれば、入力される動画像データの画面レートに関係なく、入力される画像フレームごとに、基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報が生成され、その再生時刻管理情報が多重化ストリームに格納される。このため、このように生成された多重化ストリームを、基準画面レートに対応する速度で再生することで、基準画面レートとは異なる画面レートで動画像符号化処理部に入力された範囲の動画像データを、その入力時とは異なる画面レートで再生することができる。従って、一定の画面レートによる従来通りの再生処理により、スロー再生などの特殊な再生動作が実現される多重化ストリームを生成できるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、動画像を撮像し、その撮像画像をデジタルデータとして記録媒体に記録する、いわゆるデジタルビデオカメラである。また、この撮像装置は、ビデオ信号を含むデータストリームを記録する記録媒体の例として、ＤＶＤ（Digital Versatile Disk）などの光ディスク１０を利用する。

この撮像装置は、撮像素子１１、カメラＤＳＰ（Digital Signal Processor）１２、ビデオエンコーダ１３、マイクロフォン１４、オーディオデータ用のＡ／Ｄ（アナログ／デジタル）コンバータ１５、オーディオデータのサンプリングレートコンバータ１６、オーディオエンコーダ１７、バッファメモリ１８、ＭＵＸ／ＤＥＭＵＸ（Multiplexer/Demultiplexer）１９、ＡＴＡ（AT Attachment）インタフェース２０、光ディスクドライブ２１、ビデオデコーダ２２、ビデオデータ用のバッファメモリ２３、グラフィックインタフェース２４、ディスプレイ２５、オーディオデコーダ２６、Ｄ／Ａ（デジタル／アナログ）コンバータ２７、スピーカ２８、ＣＰＵ（Central Processing Unit）２９、および内部バス３０を備える。

撮像素子１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、図示しない光学ブロックにより集光された光を電気信号に変換する。

カメラＤＳＰ１２は、撮像素子１１からの画像信号に対するＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理などの各種アナログ信号処理や、Ａ／Ｄ変換、撮像動作制御用の検波処理や画質補正処理などの各種デジタル信号処理を、ＣＰＵ２９の制御の下で実行する。

なお、後述するように、撮像素子１１は、標準の画面レートの他に、それより高速な画面レートで、撮像画像信号を出力できるようになっている。そして、カメラＤＳＰ１２は、この高速な画面レートで撮像された画像の信号を順次処理できるようになっている。

ビデオエンコーダ１３は、ＣＰＵ２９の制御の下で、カメラＤＳＰ１２から出力されたビデオデータを、所定の圧縮符号化方式に従って符号化する。本実施の形態では、ビデオエンコーダ１３はＭＰＥＧ方式に従って圧縮符号化処理を行い、符号化後のビデオデータをビデオＥＳ（Elementary Stream）としてバッファメモリ１８に供給する。

マイクロフォン１４は、オーディオ信号を収音する。Ａ／Ｄコンバータ１５は、マイクロフォン１４により収音されたオーディオ信号をデジタルデータに変換する。サンプリングレートコンバータ１６は、デジタル化されたオーディオデータのサンプリングレートを、ＣＰＵ２９からの制御信号に応じて変換する。

なお、この例では、Ａ／Ｄコンバータ１５により一定のサンプリングレートでデジタル化されたオーディオデータに対して、そのサンプリングレートをサンプリングレートコンバータ１６において演算により変換する構成としている。しかし、この他に、サンプリングレートコンバータ１６を設ける代わりに、Ａ／Ｄコンバータ１５におけるデジタル変換処理時のサンプリングレートを可変とし、そのサンプリングレートをＣＰＵ２９から制御するようにしてもよい。

オーディオエンコーダ１７は、サンプリングレートコンバータ１６からのオーディオデータを、例えばＭＰＥＧ方式などの所定の圧縮符号化方式に従って符号化し、符号化後のオーディオデータをオーディオＥＳとしてバッファメモリ１８に供給する。

バッファメモリ１８は、ビデオエンコーダ１３およびオーディオエンコーダ１７からのビデオＥＳおよびオーディオＥＳ、ＣＰＵ２９から出力された各種時刻管理情報などのデータストリームに格納すべき各種情報をバッファし、ＣＰＵ２９の制御の下でＭＵＸ／ＤＥＭＵＸ１９に対して出力する。また、ＭＵＸ／ＤＥＭＵＸ１９から供給されたビデオＥＳおよびオーディオＥＳをバッファし、ＣＰＵ２９の制御の下でそれぞれビデオデコーダ２２およびオーディオデコーダ２６に出力する。

ＭＵＸ／ＤＥＭＵＸ１９は、バッファメモリ１８に格納されたビデオＥＳおよびオーディオＥＳなどを読み出してパケット化し、それらのパケットを多重化してＰＳ（Program Stream）を生成し、ＡＴＡインタフェース２０を介して光ディスクドライブ２１に出力する。また、光ディスク１０から読み取られたＰＳから、ビデオＥＳやオーディオＥＳ、各種ヘッダ情報を分離し、各ＥＳのデータをバッファメモリ１８に格納し、ヘッダ情報をＣＰＵ２９に出力する。

ＡＴＡインタフェース２０は、光ディスクドライブ２１を接続するためのインタフェース回路であり、ＣＰＵ２９からの制御信号に応じて、光ディスクドライブ２１の記録・再生動作を制御する。光ディスクドライブ２１は、着脱可能な光ディスク１０に対するデータの書き込み、およびその光ディスク１０に記録されたデータの読み取りを行う。

ビデオデコーダ２２は、光ディスク１０から読み出され、バッファメモリ１８に格納されたビデオＥＳを読み込み、ＣＰＵ２９の制御の下で、ＭＰＥＧ方式に従ってビデオデータを伸張復号化する。バッファメモリ２３は、ビデオデコーダ２２から出力されたビデオデータをバッファする。

グラフィックインタフェース２４は、バッファメモリ２３からのビデオデータ、または内部バス３０を通じてカメラＤＳＰ１２から供給されたビデオデータを、画面表示のための信号に変換して、ディスプレイ２５に供給する。ディスプレイ２５は、例えばＬＣＤ（Liquid Crystal Display）などからなり、撮影中の画像や光ディスク１０に記録されたデータの再生画像を表示する。

オーディオデコーダ２６は、光ディスク１０から読み出され、バッファメモリ１８に格納されたオーディオＥＳを読み込み、ＣＰＵ２９の制御の下でオーディオデータを伸張復号化する。Ｄ／Ａコンバータ２７は、オーディオデコーダ２６からのオーディオデータをアナログ信号に変換し、スピーカ２８に出力して音声を再生出力させる。

ＣＰＵ２９は、図示しないメモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。本実施の形態の撮像装置は、このＣＰＵ２９の機能として、ビデオ・オーディオデータの光ディスク１０への記録およびそのデータの再生のためのコマンドを処理する記録・再生コマンド処理部３１と、データ記録時に再生・復号のための時刻管理情報を生成する時刻管理情報生成部３２と、データ再生時に時刻管理情報に基づいて再生・復号の時刻を指定する再生・復号時刻指定部３３を備えている。

ここで、上記の撮像装置におけるビデオ・オーディオデータの記録および再生の基本的な動作について説明する。まず、図示しない入力部に対するユーザの操作入力に応じて、ＣＰＵ２９に対して記録が要求されると、記録・再生コマンド処理部３１は、この要求に応じて、ビデオエンコーダ１３およびオーディオエンコーダ１７のエンコード処理を開始させる。カメラＤＳＰ１２から出力されたビデオデータは、ビデオエンコーダ１３により順次エンコードされてビデオＥＳが生成され、そのビデオＥＳがバッファメモリ１８に格納される。また、Ａ／Ｄコンバータ１５から出力されたオーディオデータは、サンプリングレートコンバータ１６を介してオーディオエンコーダ１７に供給され、順次エンコードされてオーディオＥＳが生成され、そのオーディオＥＳはバッファメモリ１８に格納される。なお、このとき、カメラＤＳＰ１２からのビデオデータは、内部バス３０を介してグラフィックインタフェース２４にも供給され、これにより撮像中の画像がディスプレイ２５に表示される。

また、ビデオＥＳおよびオーディオＥＳが生成されるのに伴い、時刻管理情報生成部３２は、ビデオデータの再生出力の時刻管理情報であるＰＴＳと、そのデコードの時刻管理情報であるＤＴＳ（Decoding Time Stamp）を生成し、バッファメモリ１８に順次蓄積していく。

ＭＵＸ／ＤＥＭＵＸ１９は、記録・再生コマンド処理部３１の制御の下で、バッファメモリ１８から読み出したビデオＥＳおよびオーディオＥＳをそれぞれパケット化し、さらに複数のパケットによりパックを生成して、ＰＳとして多重化する。このとき、バッファメモリ１８内に格納されていたＰＴＳおよびＤＴＳや、ＣＰＵ２９から出力される各種情報を、パケットやパックの所定のヘッダ領域に格納する。ＰＴＳは、アクセスユニットの先頭データが格納されたパケットのヘッダに格納され、ＤＴＳは、このパケットのうち、ＩピクチャまたはＰピクチャを含むパケットのヘッダに格納される。このように生成されたＰＳは、所定のファイルフォーマットに従って光ディスク１０に記録される。

また、ユーザの操作入力に応じて、ＣＰＵ２９に対して再生が要求されると、記録・再生コマンド処理部３１は、ＡＴＡインタフェース２０を制御して、光ディスク１０内のデータストリームを光ディスクドライブ２１に読み取らせ、読み取られたデータストリームをＭＵＸ／ＤＥＭＵＸ１９に供給させる。ＭＵＸ／ＤＥＭＵＸ１９は、入力データからＰＳを抽出し、そのＰＳからビデオＥＳおよびオーディオＥＳを分離してバッファメモリ１８に供給するとともに、ヘッダから抽出した情報をＣＰＵ２９に出力する。

再生・復号時刻指定部３３は、バッファメモリ１８に格納されたビデオＥＳおよびオーディオＥＳを、それぞれビデオデコーダ２２およびオーディオデコーダ２６に供給し、ビデオデコーダ２２およびオーディオデコーダ２６に対して、デコードおよび再生出力の時刻を指定する。特に、ビデオデータについては、ＭＵＸ／ＤＥＭＵＸ１９により分離されたＤＴＳを基にデコードタイミングを指定し、同様に分離されたＰＴＳを基に再生出力タイミングを指定する。このようにして、光ディスク１０に記録されたデータストリームから再生された画像がディスプレイ２５に表示され、再生された音声がスピーカ２８から出力される。

ところで、この撮像装置は、標準の画面レートでの撮像の他に、それより高速な画面レートで撮像し、その撮像画像のデータを光ディスク１０に記録する機能を備えている。また、高速な画面レートで撮像した画像のデータは、標準の画面レートを持つビデオＥＳとして生成され、光ディスク１０に記録される。これにより、その画像データを従来通りに標準の画面レートで再生することで、高速な画面レートで撮像された画像は、撮像時より低速で表示されるようになる。しかし、このような機能を実現するためには、標準の画面レートでの撮像から、それより高速な画面レートでの撮像に切り替えた時に、再生やデコードの時刻管理情報の算出の仕方を変化させる必要がある。

図２は、ビデオデータおよびオーディオデータの記録時における撮像装置の動作を説明するためのタイムチャートである。
本実施の形態では、例として、３０フレーム／秒（または６０フィールド／秒）の画面レートで撮像する通常撮像モードと、その３倍の９０フレーム／秒（または１８０フィールド／秒）の画面レートで撮像する高速撮像モードの２種類の撮像モードを持ち、撮像・記録中に任意に切り替えることが可能であるものとする。そして、撮像素子１１は、これらの２つの画面レートで撮像画像信号を出力し、カメラＤＳＰ１２は、これらの２つの画面レートに同期して画像信号を処理できるようになっている。

図２では、実時間（実際の時刻）を、デコード時の基準クロック（ＳＴＣ：System Time Clock）の周波数である９０ｋＨｚのカウント値によって表している。そして、この図２の例では、時刻“ｔ０”において撮像画像の記録が開始され、時刻“ｔ０”から時刻“ｔ０＋６００６”では通常撮像モードで記録されている。また、時刻“ｔ０＋６００６”において高速撮像モードに切り替えられて、３倍の画面レートで撮像された後、時刻“ｔ０＋９００９”において通常撮像モードに切り替えられて、記録が続けられている。なお、図２では、記録開始時を起点に生成されるフレーム（ビデオフレーム）を、順にＦ１，Ｆ２，Ｆ３，……として表している。

なお、図２中のタイミング信号ＳａおよびＳｂは、それぞれ通常撮像モード、高速撮像モードにおけるフレーム生成タイミングを示すものである。これらのタイミング信号ＳａおよびＳｂは、ＣＰＵ２９によって生成され、例えば、各撮像モードにおいて撮像素子１１などに対して同期タイミングを与える垂直同期信号（Ｖ＿ｓｙｎｃ）を生成するための信号と共用することができる。

時刻“ｔ０”において画像の記録が開始されると、その時点での時刻“ｔ０”が、最初のフレームＦ１に対応するＰＴＳとなる。次の時刻“ｔ０＋３００３”で生成されるフレームＦ２では、１／３０秒に対応する９０ｋＨｚカウント値である“３００３”を、記録開始の時刻“ｔ０”に加算した値がＰＴＳとなる。すなわち、時刻“ｔ０＋６００６”までの期間では、実時間と同じ情報をＰＴＳとすればよい。

次に、時刻“ｔ０＋６００６”において高速撮像モードに切り替えられると、そのときのフレームＦ３に対応するＰＴＳは“ｔ０＋６００６”となる。しかし、高速撮像モードに設定された期間では、撮像時のフレーム生成間隔（すなわちカメラＤＳＰ１２からのフレームの出力間隔）と、再生時のフレーム出力間隔とが異なる。すなわち、これらのフレームは、撮像時の１／３の速度で再生出力されることになる。

このため、時刻“ｔ０＋６００６”以後は、実時間と異なる時刻をＰＴＳに設定しなければならない。例えば、フレームＦ４，Ｆ５，Ｆ６に対応するＰＴＳを、それぞれ実時間と同じ“ｔ０＋７００７”“ｔ０＋８００８”“ｔ０＋９００９”としてデータストリームを生成してしまうと、このデータストリームを３０フレーム／秒でデコードしたときには、フレームＦ４およびＦ５はスキップされて再生されず、フレームＦ３が出力された後、通常の周期である１／３０秒後にフレームＦ６が出力されてしまうので、スロー再生が実行されない。

従って、高速撮像モードに切り替えられた後の時刻“ｔ０＋７００７”では、通常の表示周期分のカウント値（３００３）が加算された“ｔ０＋９００９”を、ＰＴＳとする。同様に、時刻“ｔ０＋８００８”では、ＰＴＳを“ｔ０＋１２０１２”とし、時刻“ｔ０＋９００９”では、ＰＴＳを“ｔ０＋１５０１５”とする。このように、高速撮像モードに設定された場合でも、各フレームに対応するＰＴＳを、通常撮像モードと同じ一定値ずつ、すなわち通常撮像モードにおけるフレーム出力周期に対応する一定値ずつ、順次増加させる。

また、時刻“ｔ０＋９００９”において通常撮像モードに切り替えられた後、ＰＴＳは、撮像間隔に対応する時間（カウント値）分だけ順次増加される。例えば、時刻“ｔ０＋１２０１２”において生成されるフレーム（図示せず）のＰＴＳは、“ｔ０＋１８０１８”となる。

以上のように生成されたＰＴＳは、ＭＵＸ／ＤＥＭＵＸ１９において多重化される際に、アクセスユニット（すなわちフレーム）の先頭のビデオデータを含むパケットのヘッダに記録される。また、オーディオデータについても同様で、上記のフレームに対応するオーディオのアクセスユニットの先頭データを含むパケットのヘッダに、同じＰＴＳが記録される。

ところで、ＭＰＥＧ方式では、前後方向の予測符号化が行われるために、画像の再生出力順とデコード順とが一致しない場合があることから、ビデオデータについては、ＰＴＳとともにＤＴＳもパケットのヘッダに記録する必要がある。再生出力タイミングとデコードタイミングとが一致しないピクチャはＩピクチャおよびＰピクチャであり、これらのピクチャに対応するＤＴＳを記録すればよい。通常のビデオＥＳでは、ＩピクチャとＰピクチャの間、またはＰピクチャとＰピクチャの間に、一定の数のＢピクチャが連続して配置されるので、ＤＴＳは、Ｂピクチャの連続する数に応じた一定時間をＰＴＳから加減算することで得られる。具体的には、Ｂピクチャの連続配置数をｎとすると、通常撮像モードにおけるフレーム周期の（ｎ＋１）倍分の時間をＰＴＳから減算することで、ＤＴＳを得ることができる。

例えば、図２において、ｎ＝２とすると、フレームＦ１，Ｆ２，Ｆ４，Ｆ５がＢピクチャ、フレームＦ３がＩピクチャ、フレームＦ６がＰピクチャとしてエンコードされる。このうち、フレームＦ１およびＦ２をＢピクチャとしてエンコードするためには、フレームＦ３のデータが利用される。このため、ＢピクチャとされたフレームＦ１およびＦ２をデコードするためには、フレームＦ３のデコードデータが必要となる。従って、フレームＦ３のデコードは、フレームＦ１およびＦ２のデコード以前に行う必要があるので、フレームＦ３に対応するＤＴＳは、ＰＴＳの値である“ｔ０＋６００６”からフレーム周期の３倍に相当する“９００９”を減算した値となる。同様に、ＢピクチャとされたフレームＦ４およびＦ５をデコードするためには、フレームＦ３およびＦ６が必要となるため、フレームＦ６はフレームＦ４およびＦ５より先にデコードされる必要があるので、フレームＦ６に対応するＤＴＳは、ＰＴＳの値である“ｔ０＋９００９”から“９００９”を減算した値となる。このように、ＩピクチャおよびＰピクチャのＤＴＳは、それらのＰＴＳの値から一定数、すなわち“９００９”を減算した値となる。

なお、図２では、「ＭＵＸ出力」の欄において、各フレームに対応するビデオパックおよびオーディオパックをフレームの入力順に示しているが、これはわかりやすいように示しているだけであって、予測符号化を行う場合には実際にはこのような順番にはならない。例えば、ビデオエンコーダ１３から出力されるビデオＥＳでは、各フレーム（ピクチャ）のデータはデコード順にソートされる。また、当然ながら、ＭＵＸ／ＤＥＭＵＸ１９における各フレームに対応するパックの出力タイミングも、必ずしも図２のようにはならない。

ここで、図３は、時刻管理情報生成部の第１の機能構成例を示すブロック図である。
図３に示す時刻管理情報生成部３２は、セレクタ３０１、カウンタ３０２、乗算器３０３、加算器３０４、および減算器３０５を備えている。

セレクタ３０１は、それぞれ通常撮像モードおよび高速撮像モードにおけるフレーム処理タイミングを与えるタイミング信号ＳａまたはＳｂの入力を受ける。上述したように、タイミング信号ＳａおよびＳｂは、例えば、撮像素子１１などに対する垂直同期信号を生成するためにＣＰＵ２９から出力される信号を利用でき、タイミング信号Ｓｂの周期は、タイミング信号Ｓａの周期の１／３になる。

セレクタ３０１は、記録・再生コマンド処理部３１においてユーザ操作に応じて管理されている撮像モードを取り込み、現在の撮像モードが通常撮像モードであればタイミング信号Ｓａの入力を選択し、高速撮像モードであればタイミング信号Ｓｂを選択する。このような選択動作により、セレクタ３０１からの出力信号は、時刻管理情報生成部３２における撮像モードに応じたフレームごとの処理タイミングを生成する。このセレクタ３０１の出力信号は、基本的に、ビデオエンコーダ１３における対応するピクチャのエンコード開始タイミング、またはエンコードされたピクチャのバッファメモリ１８への出力タイミングを指示するタイミング信号と同一のものとしてよい。

カウンタ３０２は、記録開始時を起点として、セレクタ３０１から出力されるタイミング信号をカウントする。すなわち、通常撮像モードではタイミング信号Ｓａをカウントし、高速撮像モードではタイミング信号Ｓｂをカウントする。これにより、カウンタ３０２は、各撮像モードにおいて順次処理されるフレームの番号を出力することになる。

乗算器３０３は、カウンタ３０２のカウント値に、通常撮像モードにおけるフレーム周期を示す定数“３００３”を乗算する。加算器３０４は、乗算器３０３の出力値に対して、記録開始時に読み込まれた時刻ｔ０を加算する。なお、記録開始の時刻ｔ０は、９０ｋＨｚでカウントする内蔵時計（図示せず）から読み込まれる。

以上の構成により、加算器３０４の出力値がＰＴＳとなり、このＰＴＳは、ピクチャのデータに対応付けられてバッファメモリ１８に蓄積される。また、減算器３０５は、加算器３０４の出力値から、通常撮像モードにおけるフレーム周期の３倍に対応する定数“９００９”を減算する。この減算器３０５の出力値がＤＴＳとなるが、この値に対応するピクチャがＩピクチャまたはＰピクチャのときにのみ、ピクチャのデータに対応付けられてバッファメモリ１８に蓄積される。あるいは、対応するピクチャがＩピクチャまたはＰピクチャのときにのみ減算器３０５を動作させるようにしてもよい。

なお、以上の構成では、記録開始時の時刻ｔ０を加算する加算器３０４を設けているが、この加算器３０４を設けずに、乗算器３０３の出力値をＰＴＳとしてもよい。
図４は、時刻管理情報生成部の第２の機能構成例を示すブロック図である。

図４では、図３に示した構成のうち、カウンタ３０２、乗算器３０３および加算器３０４の機能を、積算器３１１で置き換えた場合の構成例を示している。積算器３１１は、撮像モードに応じたセレクタ３０１からのタイミング信号の入力タイミングで、記録開始時に読み込んだ時刻ｔ０に対して、通常撮像モードにおけるフレーム周期を示す定数“３００３”を積算する。この積算器３１１の出力値がＰＴＳとなる。また、減算器３０５は、図３と同様に、積算器３１１の出力値から定数“９００９”を減算し、この出力値がＤＴＳとなる。なお、この図４の構成でも、積算器３１１は、記録開始の時刻ｔ０を読み込まずに、“０”を起点として積算を行ってもよい。

図５は、時刻管理情報生成部の第３の機能構成例を示すブロック図である。
図３および図４に示した構成が、記録開始時に読み込んだ時刻ｔ０を基に時刻管理情報を生成していたのに対して、図５の構成では、各フレームの処理タイミングにおける絶対時間を基に時刻管理情報を生成している。この絶対時間は、例えば、内蔵時計が生成する実時間のカウント値であってもよいし、あるいは、カメラＤＳＰ１２の内部で、記録開始時を起点にフレームの入力または出力ごとにカウントされる制御用のカウント値であってもよい。

図５において、セレクタ３０１は、図３および図４の場合と同様に、現在の撮像モードが通常撮像モードであればタイミング信号Ｓａの入力を選択し、高速撮像モードであればタイミング信号Ｓｂを選択して出力する。ただし、図５のセレクタ３０１は、選択したタイミング信号ＳａおよびＳｂを個別に出力する。

積算器３２１は、初期値“０”に対して、セレクタ３０１からのタイミング信号Ｓｂが入力されるたびに、定数“３００３”を積算する。セレクタ３０１からのタイミング信号Ｓｂは、高速撮像モードに設定されたときにのみ入力されるので、積算器３２１は、高速撮像モード時にのみ積算動作を行う。

遅延器３２２は、セレクタ３０１によって選択されたタイミング信号ＳａまたはＳｂの入力を受け、積算器３２１からの出力値を、次にいずれかのタイミング信号が入力されるまで遅延させて出力する。

加算器３２３は、セレクタ３０１からタイミング信号ＳａまたはＳｂが入力されるたびに、絶対時間を読み込み、その絶対時間に遅延器３２２の出力値を加算する。この加算器３２３の出力値がＰＴＳとなる。なお、減算器３０５の機能は図３および図４の場合と同様であり、加算器３２３の出力値から定数“９００９”を減算し、この出力値がＤＴＳとなる。

この構成において、積算器３２１は、高速撮像モードに設定されたときにのみタイミング信号Ｓｂの入力を受けて、“３００３”の積算動作を行う。また、通常撮像モードではタイミング信号Ｓｂが入力されないので、直前に積算された値をそのまま出力する。従って、加算器３２３における絶対時間に対するオフセット量は、通常撮像モードでは一定の値となり、高速撮像モードでは、フレームの生成ごとに“３００３”ずつ増加していく。ただし、撮像モードを切り替えたタイミング（例えば、図２の時刻“ｔ０＋６００６”“ｔ０＋９００９”）では、その直前の撮像モードでのオフセット量がＰＴＳに反映されなければならないので、遅延器３２２により、入力クロックの１周期分だけオフセット量を遅延させて加算器３２３に入力させるようにしている。

なお、実際のＭＰＥＧ方式のストリーム生成処理では、時刻管理情報として、上述したＰＴＳおよびＤＴＳの他にＳＣＲ（System Clock Reference）を生成し、パックヘッダに付加する必要がある。ＳＣＲは、デコーダ側の仮想バッファ（いわゆるＶＢＶバッファ）にストリームを蓄積する時間を指定するものであり、デコーダ側ではこのＳＣＲにより基準クロック（ＳＴＣ）をリセットすることで、ＤＴＳおよびＰＴＳを用いたデコードおよび再生出力のタイミング制御を行うことが可能になる。

このＳＣＲについても、ＰＴＳと同様に、撮像モードに関係なく、常に通常撮像モードに対応する一定時間を加算することで得られる。ただし、ＳＣＲは、ＰＴＳとは異なり、ＶＢＶバッファからデコーダにビデオデータを読み出すときのビットレートと、ＶＢＶバッファのデータ蓄積量とから決定され、その値はＭＰＥＧ−２方式の場合、２７ＭＨｚのカウント値とされる。

ＤＶＤ−Ｖｉｄｅｏ規格では、１パックは２キロバイト（２０４８バイト）であるので、この２０４８バイトのビデオデータをＶＢＶバッファに対して例えば１０．０８Ｍｂｐｓで蓄積する場合、ＳＣＲの値は、２０４８×８［ビット］／１０．０８＝４３８６６となり、１パックごとに定数“４３８６６”だけ増加していく。撮像装置においては、ＭＵＸ／ＤＥＭＵＸ１９がバッファメモリ１８から１つのビデオパックを生成する際に、上記のような定数をその都度加算したＳＣＲが時刻管理情報生成部３２により生成され、そのＳＣＲがパックヘッダに格納される。

次に、オーディオデータの取り込みについて、再び図２を参照して説明する。オーディオデータについては、通常撮像モードでは、サンプリングレートを４８ｋＨｚとして取り込まれる。本実施の形態では、オーディオデータ用のＡ／Ｄコンバータ１５は、４８ｋＨｚの一定のサンプリングレートでデジタル変換を行い、通常撮像モードでは、サンプリングレートコンバータ１６は入力データをそのまま出力する。

また、高速撮像モードでは、画像の撮像タイミングに合わせてその都度オーディオデータの取り込みを行うが、このとき、サンプリングレートを３倍の１４４ｋＨｚとする。具体的には、高速撮像モードに設定されると、ＣＰＵ２９からの制御によりサンプリングレートコンバータ１６の機能がオンにされる。そして、撮像タイミングに合わせてＡ／Ｄコンバータ１５でデジタル変換されたサンプリングレート４８ｋＨｚのオーディオデータが、サンプリングレートコンバータ１６によりサンプリングレート１４４ｋＨｚのオーディオデータに変換される。なお、サンプリングレートコンバータ１６を設ける代わりに、Ａ／Ｄコンバータ１５におけるデジタル変換処理時のサンプリングレートを１４４ｋＨｚに変化させるようにしてもよい。

このような動作を行うことにより、高速撮像モードで記録されたオーディオデータが、ビデオデータとともに１／３の速度で再生された場合に、画像だけでなく、音声についても１／３の低速で再生されるようになる。

図６は、以上のように記録されたビデオデータおよびオーディオデータの再生時における撮像装置の動作を説明するためのタイムチャートである。
図６では、図２の動作により撮像され、光ディスク１０に記録されたデータストリームを再生した場合の動作を示している。ただし、この図の「ＰＡＣＫ」の欄では、再生されるビデオデータやオーディオデータとの対応がわかりやすくなるように、ビデオパックおよびオーディオパックを再生順に配置しているが、実際には、これらのパックはビデオデータのデコード順にＭＵＸ／ＤＥＭＵＸ１９に入力される。また、図中の実時間は、ＤＴＳおよびＰＴＳに合わせてセットされた９０ｋＨｚカウント値（すなわちＳＴＣ）を示している。

撮像装置において、データストリームを再生する場合には、ＭＵＸ／ＤＥＭＵＸ１９においてデータストリームのヘッダから分離された各種時刻管理情報がＣＰＵ２９に供給される。ＣＰＵ２９の再生・復号時刻指定部３３は、分離されたＳＣＲによりＳＴＣの値をリセットする。ＳＴＣは、再生するデータストリームがどちらの撮像モードで記録されたものであるかに関係なく、常に９０ｋＨｚでカウントされ、再生・復号時刻指定部３３は、ＭＵＸ／ＤＥＭＵＸ１９から分離されたＤＴＳがＳＴＣの値に一致したとき、ビデオデコーダ２２に対してデコードタイミングを指定し、ＰＴＳがＳＴＣの値に一致したとき、再生出力タイミングを指定する。また、オーディオデコーダ２６に対しては、ＰＴＳとＳＴＣの一致判定に基づいて、デコードおよび再生出力のタイミングを指定する。

図６において、時刻“ｔ０”“ｔ０＋３００３”では、通常撮像モードで撮像・記録されたフレーム（ビデオフレーム）Ｆ１およびＦ２が、従来通り、通常撮像モードと同じ画面レートで再生される。また、これとともに、サンプリングレート４８ｋＨｚで収音・記録されたオーディオデータも、フレームＦ１およびＦ２に同期して再生される。すなわち、これらのタイミングでは、撮像時と同じ速度で画像と音声が再生される。

一方、時刻“ｔ０＋６００６”“ｔ０＋９００９”では、３倍の画面レートとなる高速撮像モードで撮像・記録されたフレームＦ３およびＦ４が再生される。しかし、これらのフレームに対応するＰＴＳは、通常撮像モードでの表示周期に一致するように記録されているので、これらのフレームも通常撮像モードと同じ画面レートで再生される。このため、これらのフレームの出力周期は撮像時の３倍の長さとなり、これらのフレームは記録時の１／３の速度でスロー再生されることになる。

また、高速撮像モードで記録されたオーディオデータは、通常撮像モードに対して３倍のサンプリングレート（１４４ｋＨｚ）で収音・記録されたものであるので、対応するフレームに同期して記録時の１／３の速度で再生することで、通常撮像モードでの記録データと同じサンプリングレート（４８ｋＨｚ）のオーディオデータとして、オーディオデコーダ２６において従来通りに再生できる。従って、再生される音声は、画像と同様に記録時の１／３の速度となり、これにより画像と音声とを同期させて再生することができる。

以上のように、本実施の形態の時刻管理情報生成部３２を利用して記録されたデータストリームは、標準の画面レートでデコード・再生出力処理を行う従来からのデコーダを用いて問題なく再生することができ、なおかつ、高速撮像モードで記録されたビデオデータおよびオーディオデータについては、再生時に特に何の設定を行うことなく、撮影者の意図通りにスロー再生を実行できるようになる。従って、スロー再生時におけるユーザの利便性を高めるとともに、操作が簡単でかつ付加価値の高い高速撮像・スロー再生機能を実現することができる。

なお、以上の実施の形態では、高速撮像モードの撮像周期を、通常撮像モードの３倍の１種類としたが、例えば、高速撮像モードにおいては、撮像速度を複数段階で変化させることができるようにしてもよい。この場合、例えば、図３〜図５に示した高速撮像モード用のタイミング信号Ｓｂを、撮像速度に応じて複数入力させるようにすればよい。また、撮像速度を任意に調整できるようにしてもよく、この場合には、例えば、１種類のタイミング信号Ｓａの周期を撮像速度に応じて変化させるようにすればよい。

また、高速撮像モードの代わりに、通常撮像モードより画面レートが低い低速撮像モードを備えた撮像装置にも、本発明を適用できる。この場合、撮像モードに関係なく、常に通常撮像モードでのフレーム処理周期に対応する時間ずつ、ＰＴＳを順次増加させることで、再生時においては、低速撮像モードで撮像された画像や撮像時より高速に再生されるようになる。なお、上記の図５に示した時刻管理情報生成部３２の構成では、低速撮像モードに設定された場合（タイミング信号Ｓｂが低速撮像モードに対応する場合）、遅延器３２２からの出力値を絶対時間から減算することで、ＰＴＳが得られる。

また、上記の実施の形態では、撮像・収音した画像および音声を記録媒体に記録する撮像装置に本発明を適用した例を示したが、このような画像および音声の信号を符号化してデータストリームを生成し、ネットワークを通じて外部機器へ送出する機器に対して、本発明を適用してもよい。また、符号化する対象の画像および音声は、撮像・収音したものに限らず、例えば、ＴＶチューナによって受信された放送コンテンツの信号であってもよいし、あるいは、デジタルまたはアナログの画像・音声入力端子を通じて入力された信号であってもよい。すなわち、複数の画面レートが切り替えられる画像信号（およびこれに同期する音声信号）の入力を受けて、これらの信号を符号化してデータストリームを生成する装置に対して、本発明を適用できる。

さらに、複数の画面レートが切り替えられる画像信号（およびこれに同期する音声信号）の入力を受けて、その信号に基づく画像を表示し、音声を出力する装置に対しても、本発明を適用することができる。例えば、入力された画像データが基準画面レートから高速な画面レートに切り替えられると、画像フレームの入力ごとに基準画面レートのフレーム周期に対応する時間を加算した再生時刻管理情報を生成してその画像信号に付加し（または、付加されていた元の再生時刻管理情報を置換し）、その画像信号の入力を受けた表示処理部が、再生時刻管理情報に基づいて、常に基準画面レートで画像を表示させるように処理することにより、基準画面レートと異なる画面レートの画像信号が入力されたときには、自動的に本来より低速で再生されるといった特殊再生機能などを実現できる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 ビデオデータおよびオーディオデータの記録時における撮像装置の動作を説明するためのタイムチャートである。 時刻管理情報生成部の第１の機能構成例を示すブロック図である。 時刻管理情報生成部の第２の機能構成例を示すブロック図である。 時刻管理情報生成部の第３の機能構成例を示すブロック図である。 ビデオデータおよびオーディオデータの再生時における撮像装置の動作を説明するためのタイムチャートである。

符号の説明

１０……光ディスク、１１……撮像素子、１２……カメラＤＳＰ、１３……ビデオエンコーダ、１４……マイクロフォン、１５……Ａ／Ｄコンバータ、１６……サンプリングレートコンバータ、１７……オーディオエンコーダ、１８……バッファメモリ、１９……ＭＵＸ／ＤＥＭＵＸ、２０……ＡＴＡインタフェース、２１……光ディスクドライブ、２２……ビデオデコーダ、２３……バッファメモリ、２４……グラフィックインタフェース、２５……ディスプレイ、２６……オーディオデコーダ、２７……Ｄ／Ａコンバータ、２８……スピーカ、２９……ＣＰＵ、３０……内部バス、３１……記録・再生コマンド処理部、３２……時刻管理情報生成部、３３……再生・復号時刻指定部

Claims (10)

1. 動画像データを含む多重化ストリームを生成するストリーム生成装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する多重化処理部と、
   を有し、
   前記時刻管理情報生成部は、タイミング信号として、前記基準画面レートにおける画像フレームの処理タイミングを与える第１のタイミング信号と、前記基準画面レートとは異なる画面レートにおける画像フレームの処理タイミングを与える第２のタイミング信号とを、選択的に出力するセレクタと、前記セレクタより出力される前記タイミング信号をカウントするカウンタと、前記カウンタによるカウント値を前記動画像符号化処理部に入力される画像フレーム数として、前記基準画面レートにおける画像フレームの表示周期に対応する時間と乗算する乗算器と、を有し、前記乗算器による乗算値を基に、前記再生時刻管理情報を生成することを特徴とするストリーム生成装置。
2. 動画像データを含む多重化ストリームを生成するストリーム生成装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する多重化処理部と、
   を有し、
   前記時刻管理情報生成部は、前記動画像符号化処理部に対して前記基準画面レートと異なる画面レートの動画像データが入力されたときの画像フレーム数の分だけ、前記基準画面レートにおける画像フレームの表示周期に対応する時間を積算した積算値を保持し、前記動画像符号化処理部における画像フレームの入力時刻に対する前記積算値の加算値または減算値を基に、前記再生時刻管理情報を生成することを特徴とするストリーム生成装置。
3. 前記時刻管理情報生成部は、
   前記基準画面レートにおける画像フレームの処理タイミングを与える第１のタイミング信号と、前記基準画面レートとは異なる画面レートにおける画像フレームの処理タイミングを与える第２のタイミング信号とを、選択的に出力するセレクタと、
   前記セレクタから出力された前記第２のタイミング信号と、前記基準画面レートにおける画像フレームの表示周期に対応する時間とを積算する積算器と、
   前記積算器から出力される積算結果を、前記セレクタから次に前記第１のタイミング信号または前記第２のタイミング信号のいずれかが出力されるまで遅延させて出力する遅延器と、
   前記セレクタから前記第１のタイミング信号または前記第２のタイミング信号が出力されるたびに、その時点での絶対時間と前記遅延器から出力される前記積算結果とを加算する加算器と、
   を備えることを特徴とする請求項２記載のストリーム生成装置。
4. 動画像データを含む多重化ストリームを生成するストリーム生成装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する多重化処理部と、
   を有し、
   前記動画像符号化処理部は、一定数の連続した画像フレームを前後の双方向予測により圧縮符号化する機能を備え、
   前記時刻管理情報生成部は、前記双方向予測を用いずに圧縮符号化された画像フレームに対して、対応する前記再生時刻管理情報からあらかじめ決められた値を減算することで、当該画像フレームを伸張復号化するための復号時刻管理情報を生成し、
   前記多重化処理部は、前記多重化ストリームに対して、前記再生時刻管理情報とともに前記復号時刻管理情報を多重化する、
   ことを特徴とするストリーム生成装置。
5. 画像を撮像する撮像装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとを、任意のタイミングで切り替えて撮像信号を出力可能な固体撮像素子と、
   前記固体撮像素子による撮像により得られた動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して多重化ストリームを生成する多重化処理部と、
   を有し、
   前記時刻管理情報生成部は、タイミング信号として、前記基準画面レートにおける画像フレームの処理タイミングを与える第１のタイミング信号と、前記基準画面レートとは異なる画面レートにおける画像フレームの処理タイミングを与える第２のタイミング信号とを、選択的に出力するセレクタと、前記セレクタより出力される前記タイミング信号をカウントするカウンタと、前記カウンタによるカウント値を前記動画像符号化処理部に入力される画像フレーム数として、前記基準画面レートにおける画像フレームの表示周期に対応する時間と乗算する乗算器と、を有し、前記乗算器による乗算値を基に、前記再生時刻管理情報を生成することを特徴とする撮像装置。
6. 画像を撮像する撮像装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとを、任意のタイミングで切り替えて撮像信号を出力可能な固体撮像素子と、
   前記固体撮像素子による撮像により得られた動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して多重化ストリームを生成する多重化処理部と、
   を有し、
   前記時刻管理情報生成部は、前記動画像符号化処理部に対して前記基準画面レートと異なる画面レートの動画像データが入力されたときの画像フレーム数の分だけ、前記基準画面レートにおける画像フレームの表示周期に対応する時間を積算した積算値を保持し、前記動画像符号化処理部における画像フレームの入力時刻に対する前記積算値の加算値または減算値を基に、前記再生時刻管理情報を生成することを特徴とする撮像装置。
7. 画像を撮像する撮像装置において、
   基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとを、任意のタイミングで切り替えて撮像信号を出力可能な固体撮像素子と、
   前記固体撮像素子による撮像により得られた動画像データを符号化して、動画像ストリームを生成する動画像符号化処理部と、
   前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成する時刻管理情報生成部と、
   前記動画像ストリームと前記再生時刻管理情報とを多重化して多重化ストリームを生成する多重化処理部と、
   を有し、
   前記動画像符号化処理部は、一定数の連続した画像フレームを前後の双方向予測により圧縮符号化する機能を備え、
   前記時刻管理情報生成部は、前記双方向予測を用いずに圧縮符号化された画像フレームに対して、対応する前記再生時刻管理情報からあらかじめ決められた値を減算することで、当該画像フレームを伸張復号化するための復号時刻管理情報を生成し、
   前記多重化処理部は、前記多重化ストリームに対して、前記再生時刻管理情報とともに前記復号時刻管理情報を多重化する、
   ことを特徴とする撮像装置。
8. 動画像データを含む多重化ストリームを生成するストリーム生成方法において、
   動画像符号化処理部が、基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成し、
   時刻管理情報生成部が、前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成し、
   多重化処理部が、前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する、
   処理を実行し、
   前記時刻管理情報生成部は、セレクタが、タイミング信号として、前記基準画面レートにおける画像フレームの処理タイミングを与える第１のタイミング信号と、前記基準画面レートとは異なる画面レートにおける画像フレームの処理タイミングを与える第２のタイミング信号とを、選択的に出力し、カウンタが、前記セレクタより出力される前記タイミング信号をカウントし、乗算器が、前記カウンタによるカウント値を前記動画像符号化処理部に入力される画像フレーム数として、前記基準画面レートにおける画像フレームの表示周期に対応する時間と乗算し、前記乗算器による乗算値を基に、前記再生時刻管理情報を生成することを特徴とするストリーム生成方法。
9. 動画像データを含む多重化ストリームを生成するストリーム生成方法において、
   動画像符号化処理部が、基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成し、
   時刻管理情報生成部が、前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成し、
   多重化処理部が、前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する、
   処理を実行し、
   前記時刻管理情報生成部は、前記動画像符号化処理部に対して前記基準画面レートと異なる画面レートの動画像データが入力されたときの画像フレーム数の分だけ、前記基準画面レートにおける画像フレームの表示周期に対応する時間を積算した積算値を保持し、前記動画像符号化処理部における画像フレームの入力時刻に対する前記積算値の加算値または減算値を基に、前記再生時刻管理情報を生成することを特徴とするストリーム生成方法。
10. 動画像データを含む多重化ストリームを生成するストリーム生成方法において、
    動画像符号化処理部が、基準画面レートと、前記基準画面レートとは異なる１つ以上の画面レートとが、任意のタイミングで切り替えられる動画像データを符号化して、動画像ストリームを生成し、
    時刻管理情報生成部が、前記動画像符号化処理部に入力される画像フレームごとに、前記基準画面レートにおける画像フレームの表示周期に対応する一定間隔の再生時刻管理情報を生成し、
    多重化処理部が、前記動画像ストリームと前記再生時刻管理情報とを多重化して前記多重化ストリームを生成する、
    処理を実行し、
    前記動画像符号化処理部による動画像ストリームの生成処理では、一定数の連続した画像フレームを前後の双方向予測により圧縮符号化することが可能である場合に、前記時刻管理情報生成部は、前記双方向予測を用いずに圧縮符号化された画像フレームに対して、対応する前記再生時刻管理情報からあらかじめ決められた値を減算することで、当該画像フレームを伸張復号化するための復号時刻管理情報を生成し、
    前記多重化処理部は、前記多重化ストリームに対して、前記再生時刻管理情報とともに前記復号時刻管理情報を多重化する、
    ことを特徴とするストリーム生成方法。
    

Images