JP2011146847A - 画像再生制御装置、画像再生制御方法および撮像装置 - Google Patents

Abstract

【課題】異なるフレームレートで撮像された動画像データを適切に切り替えて再生する技術を提供する。
【解決手段】通常フレームレートストリーム復号部６８は通常のフレームレートのストリームを復号して通常のフレームレートの動画のフレームを出力する。高フレームレートストリーム復号部７２は通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する。フレーム選択部６２は、再生中の動画のフレームレートを変更するに際しては、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えながら再生する。
【選択図】図９

Description

本発明は、符号化された複数の動画像を復号して再生する画像生成制御装置、およびそれを搭載した撮像装置に関する。

近年、一般ユーザが静止画のみならず、手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらの中には撮影に際してフレームレートを変更したり、異なるフレームレートの動画を同時に撮像したりすることができるものもある（特許文献１参照）。これらの動画は記録メディア等に記録された後、例えば、ムービーカメラに搭載されている表示モニタやＰＣ（Personal Computer）、テレビ等で鑑賞される。

特開２００７−１９５０５０号公報

同一シーンについて異なるフレームレートで撮影ができると、例えば重要なシーンについては時間分解能の高い高フレームレートで撮影することができて便利である。一方で、同一シーンについてのフレームレートの異なる動画が同時に存在することになり、両者を切り替えて再生すると、視聴時に違和感を生じる場合がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、異なるフレームレートで撮像された動画像データを適切に切り替えて再生する技術を提供することにある。

本発明のある態様は画像再生制御装置である。この装置は、通常のフレームレートのストリームを復号して通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部と、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含み、前記フレーム選択部は、フレームレートを変更するに際しては、前記一部のシーンについて重複して撮影されている前記通常のフレームレートのストリームと前記高フレームレートのストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替える。

本発明の別の態様は撮像装置である。この装置は、動画像を取得する撮像部と、前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの２種類のストリームを生成可能な画像符号化部と、前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、上述の画像再生制御装置と、前記画像再生制御装置により表示制御される表示装置とを含む。
とを含む。

本発明のさらに別の態様は画像記録制御方法である。この方法は、同一のシーンについて重複して撮影された通常のフレームレートの動画のストリームと、通常よりも高いフレームレートの動画のストリームとが同時に存在するときに、両者を切り替えて再生するに際しては、前記同一のシーンについての前記通常のフレームレートの動画のストリームと前記通常よりも高いフレームレートの動画のストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えながら再生する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、異なるフレームレートで撮像された動画像データを適切に切り替えて再生することができる。

実施の形態１にかかる撮像装置の内部構成を模式的に示した図である。 実施の形態１にかかる撮像装置の処理の流れを説明するフローチャートである。 実施の形態１にかかる通常フレームレートフレーム符号化部が符号化の対象とする通常フレームレートフレーム群と、高フレームレートフレーム符号化部が符号化の対象とする第１高フレームレートフレーム群および第２高フレームレートフレーム群との関係の一例を模式的に表した図である。 実施の形態１にかかるチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。 実施の形態１にかかるファイル連結部が生成するファイルの構造の一例を模式的に表した図である。 実施の形態１にかかるファイル連結部が生成するファイルの構造の別例を模式的に表した図である。 実施の形態１にかかるファイルに格納される関連情報の記録形式の一例を模式的に表した図である。 実施の形態１にかかるファイルに格納される関連情報の記録形式の別例を模式的に表した図である。 実施の形態２にかかる画像再生制御装置の内部構成を模式的に示した図である。 実施の形態２にかかる画像再生制御装置の処理の流れを説明するフローチャートである。 実施の形態２にかかる６０ｆｐｓのフレームと２４０ｆｐｓのフレームとの時間分解能の比較を模式的に示した図である。 フレームレートを６０ｆｐｓから２４０ｆｐｓまで段階的に変更するときの各段階にかかるフレームレートを図示したものである。 ６０ｆｐｓから２４０ｆｐｓへのフレームレートの切り替え処理の流れをするフローチャートの前半部でありる。 ６０ｆｐｓから２４０ｆｐｓへのフレームレートの切り替え処理の流れをするフローチャートの後半部である。

（実施の形態１）
本発明の実施の形態１の概要を述べる。実施の形態１は、２４０ｆｐｓ（frames per second）のフレームレートで動画フレームを生成してフレームバッファに格納しておき、通常の撮影モードでは、６０ｆｐｓのフレームレートになるまでフレームを間引いてからストリームを生成する。ユーザから高速撮影を行う旨の指示がある間は、６０ｆｐｓのフレームレートのストリームの生成に加えて、フレームを間引きする前の２４０ｆｐｓのフレームレートのストリームも生成する。撮影終了後、生成されたフレームレートの異なる複数のストリームを連結して単一のファイルとして保存する。

図１は、実施の形態１に係る撮像装置２００の内部構成を模式的に示した図である。撮像装置２００は、センサ１０、操作部１２、フレーム生成部１４、および画像記録制御装置１００を含む。画像記録制御装置１００はさらに、フレームバッファ１６、フレーム間引き部１８、画像符号化部２０、制御部２２、ファイル連結部３２、および記録部３４を含む。

フレーム生成部１４は、センサ１０が取得した映像のフレームを生成する。センサ１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子であり、フレーム生成部１４はセンサ１０から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを処理して、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂのフレームに変換する。フレームバッファ１６は、フレーム生成部１４が生成したフレームを一時的に保存する。

フレーム間引き部１８は、フレームバッファ１６に格納されているフレームを間引きする。フレームバッファ１６にはフレーム生成部１４が生成した、フレームレートが２４０ｆｐｓのフレームが格納されており、フレーム間引き部１８は、当該フレームを四分の一に間引くことにより、フレームレートが６０ｆｐｓのフレームを生成する。ここでフレーム生成部１４が生成するフレームのフレームレートと、フレーム間引き部１８が生成するフレームのフレームレートとは様々な組み合わせがあってもよい。例えば、フレーム生成部１４が６００ｆｐｓのフレームを生成してもよく、フレーム間引き部１８は間引きの枚数を自由に変更できるようにしてもよい。

画像符号化部２０はさらに、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とのふたつの画像符号化部を含む。

通常フレームレートフレーム符号化部３６は、フレーム間引き部１８が生成したフレームを符号化して通常フレームレートストリーム２４を生成する。通常フレームレートフレーム符号化部３６は、当該フレームを所定の規格にしたがい符号化する。動画像の符号化には、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠する技術、その拡張標準であるＨ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ、すなわちＨ．２６４／ＳＶＣ（Scalable Video Coding）が用いられる。

高フレームレートフレーム符号化部３８は、操作部１２に入力されたユーザの指示がある間、フレームバッファ１６に格納されているフレームを符号化し、ストリームを生成する。したがって、高フレームレートフレーム符号化部３８が生成するストリームは、通常フレームレートフレーム符号化部３６が生成するストリームよりも高いフレームレート（２４０ｆｐｓ）のストリームとなる。以後、ユーザの指示により高フレームレートフレーム符号化部３８がフレームバッファ１６に格納されているフレームを直接符号化してストリームを生成する動作を「高速撮影モード」と呼ぶ。高フレームレートフレーム符号化部３８も通常フレームレートフレーム符号化部３６と同様に、ＭＰＥＧ−２、またはＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣなどの規格にしたがい圧縮符号化する。

通常フレームレートフレーム符号化部３６がフレーム間引き部１８の生成した一連のフレームをすべて符号化して一つのストリーム（通常フレームレートストリーム２４）を生成するのに対し、高フレームレートフレーム符号化部３８は、ユーザから高速撮影モードの指示がある度に、その指示がある期間に符号化する。例えばユーザが１度目の高速撮影モードの指示を行うと、高フレームレートフレーム符号化部３８は第１高フレームレートストリーム２６を生成する。以後、高フレームレートフレーム符号化部３８はユーザから高速撮影モードの指示がある度にストリームを生成し、ｎ回目の指示で第ｎ高フレームレートストリーム２８を生成する。

高フレームレートフレーム符号化部３８が生成するストリームはフレームレートが高く、映像を高い時間分解能で撮影することができる一方で、多くの記録容量を要する。反対に、通常フレームレートフレーム符号化部３６が生成する通常フレームレートストリーム２４はフレームが間引きされているため時間分解能は落ちるが、その分記憶容量は少なくなる。これらの性質を利用して、映像全体を通常フレームレートストリーム２４で記録し、例えば重要なシーンについては高速撮影モードで撮影することにより、記憶容量を抑えつつ、重要なシーンを高い時間分解能で記録することが可能となる。

制御部２２は、操作部１２に入力されたユーザの指示に基づいて関連情報３０を生成する。ここで「関連情報」とは、センサ１０に入力された映像を通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが共に符号化したときに、両者が生成したストリームを関連づける情報である。例えば、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが重複して符号化した部分を特定する情報、すなわち、高フレームレートで撮像すべき期間を特定する情報である。関連情報の具体例については後述する。

ファイル連結部３２は、通常フレームレートフレーム符号化部３６が生成した通常フレームレートストリーム２４、高フレームレートフレーム符号化部３８が生成したひとつ以上の高フレームレートストリーム、および制御部２２が生成した関連情報３０を多重化して連結し、単一のファイルを生成する。ここで「単一のファイル」とはファイル操作の単位となるファイルを意味し、ひとつのファイル名の下で一括してファイルの複製や削除、ファイル転送等の操作の対象となる。ファイルとしては、例えばＭＰ４ファイルフォーマットにしたがったコンテナファイルを利用することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。

記録部３４は、ファイル連結部３２が生成したファイルを格納する。記録部３４としては例えば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。

画像記録制御装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

図２は、実施の形態１にかかる撮像装置２００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばユーザが撮像装置２００の電源ボタン（図示しない）を押すと開始する。

ユーザが動画撮影を選択した場合（Ｓ１０Ｙ）、フレーム生成部１４はセンサ１０が取得した映像のフレームを生成してフレームバッファ１６に格納する（Ｓ１２）。ユーザが操作部１２を介して高速撮影モードを選択する場合（Ｓ１４Ｙ）、高フレームレートフレーム符号化部３８は、フレームバッファ１６に格納されている高フレームレートのフレームを符号化する（Ｓ１６）。ユーザが高速撮影モードを選択しない場合には（Ｓ１４Ｎ）、高フレームレートフレーム符号化部３８は符号化を実行しない。

フレーム間引き部１８は、フレームバッファ１６に格納されているフレームを所定の枚数間引きする（Ｓ１８）。通常フレームレートフレーム符号化部３６は、フレーム間引き部１８が出力した通常のフレームレートのフレームを符号化する（Ｓ２０）。ここで動画像の撮影を終了しない場合には（Ｓ２２Ｎ）、ステップＳ１２に戻り、フレームの符号化を続行する。動画像の撮影を終了する場合には（Ｓ２２Ｙ）、制御部２２は関連情報３０を生成する（Ｓ２４）。その後ファイル連結部３２は、通常フレームレートフレーム符号化部３６が生成した通常フレームレートストリーム２４、高フレームレートフレーム符号化部３８が生成した一つ以上の高フレームレートのストリーム、および制御部２２が生成した関連情報３０を連結してひとつのファイルを生成する（Ｓ２６）。ファイル連結部３２がファイルを生成するか、あるいは動画撮影でない場合に（Ｓ１０Ｎ）、本処理は終了する。

なお、図２において通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが符号化処理を直列に実行する場合について説明したが、両者は並列に符号化処理を実行してもよい。

以下、制御部２２が生成する関連情報３０の具体例について図を参照しながら説明する。

図３は、通常フレームレートフレーム符号化部３６が符号化の対象とする通常フレームレートフレーム群４０と、高フレームレートフレーム符号化部３８が符号化の対象とする第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４との関係の一例を模式的に表した図である。本例では通常フレームレートフレーム群４０のフレームレートは６０ｆｐｓであり、第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４のフレームレートは２４０ｆｐｓであるとする。

通常フレームレートフレーム群４０の撮影開始時刻を原点とする時間軸４６と、通常フレームレートフレーム群４０の第１番目のフレームのフレーム番号を１とし、以後順番に通し番号をふったときのフレーム番号を表すフレーム軸４８とを考える。通常フレームレートフレーム群４０は時刻０から始まって時刻Ｔ５で終了する。このとき通常フレームレートフレーム群４０は、１番目のフレームからＦ５番目のフレームまで存在し、その間のフレームの総数はＮ０枚である。

時刻Ｔ１においてユーザが操作部１２を介して高速撮影モードを選択すると、高フレームレートフレーム符号化部３８は第１高フレームレートフレーム群４２の符号化を開始する。時刻Ｔ２においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部３８は符号化を終了する。第１高フレームレートフレーム群は時刻Ｔ１からＴ２までのＤ１の期間に撮影されたフレーム群ということになる。

時刻Ｔ３においてユーザが再度高速撮影モードを選択すると、高フレームレートフレーム符号化部３８は第２高フレームレートフレーム群４４の符号化を開始する。Ｄ２の時間が経過し、時刻Ｔ４においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部３８は符号化を終了する。

この例では、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２とは時刻Ｔ１からＴ２までのＤ１の期間において重複する。そこで両者の重複部分を特定する関連情報３０として、時刻Ｔ１とＴ２とのセットが考えられる。また、両者の重複が始まる時刻Ｔ１と重複する期間であるＤ１とのセットも重複部分を特定する関連情報３０とすることができる。同様に、通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４とは時刻Ｔ３からＴ４までのＤ２の期間において重複するので、Ｔ３とＴ４のセットあるいはＴ３とＤ２のセットを通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との重複部分を特定する関連情報３０とすることができる。

ユーザが高速撮影モードを選択した時刻Ｔ１において、通常フレームレートフレーム群４０はＦ１番目のフレームであったとする。その後時刻Ｔ２においてユーザが高速撮影モードを終了したとき、フレーム群４０はＦ２番目のフレームであったとする。このとき、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分は、通常フレームレートフレーム群４０のフレーム番号Ｆ１とＦ２とのセットで特定することができる。また、Ｆ１番目のフレームとＦ２番目とのフレームの間にＮ１枚の通常フレームレートフレーム群４０のフレームがあるとすれば、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分は、通常フレームレートフレーム群４０のフレーム番号Ｆ１と重複部分の枚数Ｎ１とのセットでも特定することができる。したがって、Ｆ１とＦ２とのセットあるいはＦ１とＮ１とのセットを通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分を特定する関連情報３０とすることができる。

通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との場合も同様で、時刻Ｔ３の時の通常フレームレートフレーム群４０のフレーム番号をＦ３、時刻Ｔ４の時の通常フレームレートフレーム群４０のフレーム番号をＦ４とし、その間のフレーム数をＮ２とすれば、Ｆ３とＦ４とのセットあるいはＦ３とＮ２とのセットを通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との重複部分を特定する関連情報３０とすることができる。

ここで、通常フレームレートフレーム群４０のフレーム数Ｎ１またはＮ２のかわりに、対応する第１高フレームレートフレーム群４２または第２高フレームレートフレーム群４４のフレーム数を用いることも可能である。この場合、第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４のフレームレートは通常フレームレートフレーム群４０の４倍（２４０ｆｐｓ／６０ｆｐｓ＝４）であるので、対応するフレームの枚数もそれぞれ４倍となる。

図４は、関連情報３０の別の例を模式的に表した図である。本例は、ストリームの中に映像の区切りデータとしてチャプタ（chapter）が埋め込まれる場合の例である。

本例においては、図４はチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。第１のチャプタ５２ａは、チャプタ付きストリーム５０内に存在し、第１高フレームレートフレーム群４２が開始する直前に埋め込まれている。また、第２のチャプタ５２ｂは、第１高フレームレートフレーム群４２が終了した直後に埋め込まれている。したがって第１のチャプタ５２ａと第２のチャプタ５２ｂとのセットを、チャプタ付きストリーム５０と第１高フレームレートフレーム群４２との重複部分を特定する関連情報３０とすることができる。なお、チャプタ５２は、関連情報３０としてファイル連結部３２が埋め込む。

図５は、ファイル連結部３２が生成するファイル５４の構造の一例を模式的に表した図である。ファイル５４は、ファイルの先頭からヘッダ５６、関連情報３０、通常フレームレートストリーム２４、第１高フレームレートストリーム２６の順に格納され、終端に第ｎストリーム２８を含む。ここでヘッダ５６は各ストリームの先頭位置の情報等を格納する。このように、各ストリームを順番に格納する場合は、ファイル連結部３２がファイル５４を生成するときの制御が簡単になる点で有利である。

なお、ヘッダ５６や関連情報３０はファイルの先頭でなくてもよく、例えばファイルの終端にあってもよい。この場合、通常フレームレートストリーム２４が先頭となるため、ファイルを探索することなく即座に映像全体を再生できる点で有利である。また、関連情報３０はヘッダ５６の一部として格納されていてもよい。

図６は、ファイル連結部３２が生成するファイル５４の構造の別例を模式的に表した図である。本例では、先頭にヘッダ５６および関連情報３０が格納される点では図５に示す例と同じであるが、各ストリームファイルは所定の基準で分割され、分散して格納される点で異なる。また、ヘッダ５６は各ストリームの先頭位置の情報のみならず、分割された各ストリームの先頭位置の情報も格納される。

図６において、通常フレームレートストリーム２４はｍ個の単位に分割され、第１のストリームその１（符号２４ａ）、第１のストリームその２（符号２４ｂ）と続いて第１のストリームそのｎ（符号２４ｃ）に至り、最後に第１のストリームそのｍ（符号２４ｄ）として格納される。分割された通常フレームレートストリーム２４の間に、分割された第２のストリームその１（符号２６ａ）や第２のストリームその２（符号２６ｂ）が格納される。同様に、第ｎのストリームも分割されて格納される（符号２８ａ）。このように、各ストリームを分割して記録する方式は、記録時の制御が複雑になるものの、記録部３４の記録領域に対して効率的に記録できる点で有利である。記録領域内に物理的に連続して大きな空き領域がなく、小さな空き領域しか存在しないような場合でも、ファイルを小さな単位に分割して記録できれば、そのような小さな空き領域に記録することができるからである。

したがって、上述したファイルを分割するための「所定の基準」とは、記録部３４の記録領域を効率よく利用するために用意するデータ記録の最小単位であり、例えばストリームに記録されている映像の時間や、データのサイズあるいはチャプタ５２によって区切られる単位が用いられる。これらの基準およびその最小単位は、記録部３４の容量やファイルシステムの制限などを考慮して実験的に定めればよい。

図７は、ファイル５４に格納される関連情報３０の記録形式の一例を模式的に表した図である。本例では、関連情報３０として、上述した時刻Ｔ０から時刻Ｔ５までの各時刻を用いる場合について説明する。

まず、関連情報３０を記録する領域の先頭に、記録すべき関連情報３０の個数を格納する。本例では、記録すべき関連情報は時刻Ｔ０から時刻Ｔ５までの６個であるから、関連情報３０の個数として６を格納する。次に、通常フレームレートフレーム群４０の開始時刻であるＴ０と終了時刻であるＴ５を格納し、次に第１高フレームレートフレーム群４２の開始時刻であるＴ１と終了時刻であるＴ２を格納する。最後に第２高フレームレートフレーム群４４の開始時刻であるＴ３と終了時刻であるＴ４を格納する。フレーム群の数が増えた場合も同様の形式で格納すればよい。また、開始時刻と終了時刻は必ずセットで保存されるので、記録すべき関連情報３０の個数としてはセットの個数を記録してもよい。本例の場合では、開始時刻と終了時刻のセットは３セットあるため、関連情報３０の個数として３を格納する。

なお、関連情報３０としては、通常フレームレートフレーム群４０の開始時刻であるＴ０と終了時刻であるＴ５は省略することが可能である。

図８は、ファイル５４に格納される関連情報３０の記録形式の別例を模式的に表した図である。本例では、関連情報３０として、上述した各フレーム群の先頭のフレーム番号とフレームの枚数とを用いる場合について説明する。

本例の場合は、図７に示す例と異なり、記録すべき関連情報３０の個数は格納されず、先頭から順に関連情報３０が格納される。具体的には、まず通常フレームレートフレーム群４０のフレームの総数であるＮ０が格納される。次に第１高フレームレートフレーム群４２の先頭フレームに対応する通常フレームレートフレーム群４０のフレーム番号であるＦ１と、第１高フレームレートフレーム群４２と重複する区間の通常フレームレートフレーム群４０のフレーム枚数であるＮ１が格納される。続いて、第２高フレームレートフレーム群４４の先頭フレームに対応する通常フレームレートフレーム群４０のフレーム番号であるＦ３と、第１高フレームレートフレーム群４２と重複する区間の通常フレームレートフレーム群４０のフレーム枚数であるＮ２が格納される。最後に関連情報３０の終端を示す識別子であるターミネータが格納される。関連情報３０の先頭からターミネータまでの間の情報を読み込むことにより、関連情報３０の個数が格納されていなくても、関連情報を正しく読み取ることが可能となる。

なお、関連情報３０として、通常フレームレートフレーム群４０のフレームの総数であるＮ０は省略することもできる。

以上の構成による動作は以下のとおりである。ユーザは、実施の形態１にかかる撮像装置を用いて記録に残したい映像を撮像するに際し、その中でも特に重要なシーンについては高速撮影をする。撮影を終了すると、映像全体が６０ｆｐｓのフレームレートで記録されており、高速撮影をしたシーンについては２４０ｆｐｓのフレームレートで撮影された映像もあわせて記録されている。この結果、異なるフレームレートで撮影された映像が複数存在することになるが、これらは単一のファイルにまとめられて記録される。

以上説明したように実施の形態１によれば、映像全体を通常のフレームレートで撮影し、重要なシーンについては合わせて高フレームレートで撮影することにより、重要でないシーンの符号量を抑えることが可能となり、結果として記憶容量を節約することができる。また、重要なシーンは別のストリームとして生成されるため、重要なシーンの取出しが容易となる。さらに、すべてのストリームと関連情報３０とをまとめてひとつのファイルとして生成されるため、ストリームごとに別ファイルを生成する場合と比較して、ファイルのコピーや転送、削除等の管理が容易となる。また、ストリームファイルの一部を消失した結果、一連のストリームファイルがすべて再生できなくなるということも防止できる。

すべての機器が、例えば２４０ｆｐｓのような高フレームレートで撮影されたストリームを再生できるとは限らないが、実施の形態１によれば、映像全体を通常のフレームレートで撮影してあるため、高フレームレートで撮影されたストリームを再生できない機器においても映像を再生することが可能となる。

（実施の形態２）
実施の形態２の概要を述べる。実施の形態２は、通常の撮影モードで撮影された通常のフレームレートのストリームと高速撮影モードで撮影された通常よりも高いフレームレートのストリームとの複数のストリームを含む動画ファイルを再生するに際し、フレームレートの異なるストリームに切り替えるときは、切り替え前と切り替え後とのフレームレートがスムーズにつながるように、フレームレートを段階的に切り替えて再生する。フレームレートの異なるストリームを切り替える際の、視覚的な違和感を低減するためである。

図９は、実施の形態２にかかる画像再生制御装置３００の内部構成を模式的に示した図である。画像再生制御装置３００は、ファイル分割部５８、画像復号部６０、フレーム選択部６２、およびフレーム制御部６４を含む。

ファイル分割部５８は、記録部３４から構成要素として関連情報３０および異なるフレームレートで撮像された複数のストリームを含む単一ファイルを受け取り、それを構成要素に分割する。画像復号部６０は、ファイル分割部５８が分割した構成要素のうち通常フレームレートストリーム２４と、ひとつ以上の高フレームレートストリームを復号する。このため、画像復号部６０はさらに、通常フレームレートストリームを復号して通常のフレームレートのフレームを生成する通常フレームレートストリーム復号部６８と、高フレームレートストリームを復号して通常よりも高いフレームレートのフレームを生成する高フレームレートフレーム生成部７０とを含む。

高フレームレートフレーム生成部７０はさらに、高フレームレートストリームを復号する高フレームレートストリーム復号部７２と、高フレームレートストリーム復号部７２が生成した高フレームレートの動画のフレームを補間処理することにより、新たなフレームを生成する中間フレーム生成部７４とを含む。中間フレームを生成することにより、高フレームレートストリーム復号部７２が生成した動画のフレームのフレームレートをさらに上げることが可能となる。補間処理は例えば線形補間やスプライン補間など、既知の補間処理を用いればよい。

フレーム制御部６４は、関連情報３０と、図示しないユーザインタフェースを介してユーザから再生する動画のフレームレートを変更する旨の指示とを受け取る。フレーム選択部６２は、フレーム制御部６４から関連情報３０とユーザからの指示とを受け取り、画像復号部６０から出力されたフレームから、表示部６６に出力すべきフレームを選択する。具体的なフレームの選択の仕方については後述する。表示部６６は、フレーム選択部６２が選択したフレームを表示する。

以上の画像再生制御装置３００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

図１０は、実施の形態２にかかる画像再生制御装置３００の処理の流れを説明するフローチャートである。本例はフレームレートを６０ｆｐｓから２４０ｆｐｓに切り替える場合の例であり、本フローチャートにおける処理は、例えばユーザが画像再生制御装置３００を搭載する表示装置（図示しない）で動画を再生したときに開始する。

フレーム選択部６２は、フレーム制御部６４を介してユーザからフレームレートを６０ｆｐｓから２４０ｆｐｓに切り替える旨の指示があるか否かを判断する。具体的には、フレーム制御部６４から切換信号が送信されているか否かを調べる。ユーザからの切り替え指示が存在する場合には（Ｓ２８Ｙ）、フレーム選択部６２は、切り替え指示が６０ｆｐｓから２４０ｆｐｓへの切り替え指示か否かを調べる。６０ｆｐｓから２４０ｆｐｓの切り替え指示の場合（Ｓ３０Ｙ）、フレーム選択部６２は、画像復号部６０から２４０ｆｐｓの動画のフレームが出力されているか否かを調べる。２４０ｆｐｓの動画のフレームが出力されている場合には（Ｓ３２Ｙ）、フレーム選択部６２はフレームレートを切り替え前の６０ｆｐｓから切り替え後の２４０ｆｐｓへとスムーズにつながるように段階的に切り替える（Ｓ３４）。６０ｆｐｓから２４０ｆｐｓへのフレームレート切り替え処理を実行後、フレーム選択部６２は、２４０ｆｐｓのフレームの選択フラグ（図示せず）をオンに設定する（Ｓ３６）。

６０ｆｐｓから２４０ｆｐｓへの切り替え指示でない場合、すなわち２４０ｆｐｓから６０ｆｐｓへの切り替え指示の場合（Ｓ３０Ｎ）、フレーム選択部６２はフレームレートを２４０ｆｐｓから６０ｆｐｓへと段階的に切り替える（Ｓ３８）。２４０ｆｐｓから６０ｆｐｓへのフレームレート切り替え処理を実行後、フレーム選択部６２は、２４０ｆｐｓのフレームの選択フラグをオフに設定する（Ｓ４０）。

ユーザからの切り替え指示が存在しない場合（Ｓ２８Ｎ）、２４０ｆｐｓの動画のフレームが存在しない場合に（Ｓ３２Ｎ）、またはフレーム選択部６２が選択フラグを設定した後、フレーム選択部６２は、２４０ｆｐｓのフレームの選択フラグがオンかオフかを調べる（Ｓ４２）。２４０ｆｐｓのフレームの選択フラグがオフの場合には（Ｓ４２Ｎ）、以後、フレーム選択部６２は６０ｆｐｓのフレームを選択して出力する（Ｓ４８）。２４０ｆｐｓのフレームの選択フラグがオンの場合には（Ｓ４２Ｙ）、フレーム選択部６２は、画像復号部６０から２４０ｆｐｓの動画のフレームが出力されているか否かを調べる。２４０ｆｐｓの動画のフレームが出力されている場合には（Ｓ４４Ｙ）、フレーム選択部６２は２４０ｆｐｓのフレームを選択して出力する（Ｓ４６）。２４０ｆｐｓの動画のフレームが出力されていない場合には（Ｓ４４Ｎ）、フレーム選択部６２は６０ｆｐｓのフレームを選択して出力する。フレーム選択部６２がいずれかのフレームを選択して出力すると、本フローチャートにおける処理は終了する。

高フレームレートストリーム復号部７２が復号した２４０ｆｐｓのフレームを再生するに際しては、通常のフレームレートのフレームと同じフレームレートである６０ｆｐｓで再生する。そのため、通常のフレームレートのフレームの再生と比べて４倍（２４０ｆｐｓ／６０ｆｐｓ＝４倍）ゆっくりと再生されるように見える。６０ｆｐｓのフレームレートのフレームの再生から２４０ｆｐｓのフレームレートのフレームの再生に変更したり、逆に２４０ｆｐｓのフレームレートのフレームの再生から６０ｆｐｓのフレームレートのフレームの再生に変更したりすると、再生速度が突然変更されるように観察されるため、視聴者に違和感を与える場合がある。

ここで、実施の形態２にかかるフレームレートの切り替え処理の詳細を説明する前に、まずその前提となる技術について説明する。

図１１は、６０ｆｐｓのフレームと２４０ｆｐｓのフレームとの時間分解能の比較を模式的に示した図である。６０ｆｐｓのフレームにおいて、隣り合うフレーム７６ａと７６ｂとの間の時間間隔は１／６０秒である。一方、２４０ｆｐｓのフレームにおいて、隣り合うフレーム７８ａと７８ｂとの間の時間間隔は１／２４０秒である。したがって、フレーム７６ａがフレーム７６ｂに変化するまでの間に、２４０ｆｐｓのフレーム群は、フレーム７８ａ、フレーム７８ｂ、フレーム７８ｃ、フレーム７８ｄを経てフレーム７８ｅに到る。

このことは、２４０ｆｐｓのフレーム群を３枚ずつ飛ばしながら再生すれば、６０ｆｐｓでの再生と同等となる。具体的には、フレーム７８ａの次にフレーム７８ｄを表示し、その次にフレーム７８ｉを表示すれば、６０ｆｐｓのフレームであるフレーム７６ａ、フレーム７６ｂ、フレーム７６ｃの順に表示することに相当する。フレーム間の時間間隔が４／２４０＝１／６０秒となるからである。

そうすると、２４０ｆｐｓのフレーム群を２枚ずつ飛ばしながら再生すれば、３／２４０＝１／８０秒の時間間隔、すなわち８０ｆｐｓのフレームレートでの再生となる。同様に、１枚とばしで再生すれば１２０ｆｐｓのフレームレートでの再生が実現できる。これにより、フレームレートを６０ｆｐｓ、８０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓと段階的に変更することが可能となる。以後、フレーム群をｎ−１枚飛ばしてｎ枚目のフレームを表示することを「ステップ数ｎ」または「ステップ数ｎで表示」等と表記する。例えばステップ数４は、フレームを３枚飛ばすことを意味する。

図１２は、フレームレートを６０ｆｐｓから２４０ｆｐｓまで段階的に変更するときの各段階にかかるフレームレートを図示したものである。６０ｆｐｓで再生中に、時刻Ｔ６にてフレームレートの変更を開始すると、まず２４０ｆｐｓのフレーム群をステップ数４で表示することにより、６０ｆｐｓの再生を再現する。時刻Ｔ７において、ステップ数３とし、フレームレートを８０ｆｐｓに変更する。時刻Ｔ８でステップ数２としてフレームレートを１２０ｆｐｓとし、最終的に時刻Ｔ９にてステップ数を１とすることにより２４０ｆｐｓのフレームレートに移行し、フレームレートの変更を完了する。このように、表示すべき２４０ｆｐｓのフレーム群を所定枚数飛ばしながら選択しつつ、飛ばすフレームの枚数を変更することにより、６０ｆｐｓから８０ｆｐｓ、１２０ｆｐｓを経由して２４０ｆｐｓ到るまで、フレームレートがスムーズにつながるように変更することができる。

ここで、ステップ数４で表示する期間Ｄ６０、ステップ数３で表示する期間Ｄ８０、ステップ数２で表示する期間Ｄ１２０はそれぞれユーザの好みで変更できるようにしてもよいし、その時点で存在する２４０ｆｐｓの動画のフレーム数の、例えば５％ずつ使用する等、フレームレートの変更に伴う違和感が低減されるよう実験的により定めてもよい。

中間フレーム生成部７４が、２４０ｆｐｓのフレーム群の中間フレームを生成することにより、フレームレートをより細かい段階で変更することができる。例えば、２４０ｆｐｓのフレーム群の隣り合うフレームの平均画像を生成することで４８０ｆｐｓに相当するフレーム群を生成し、再生時のステップ数を、８、７、６、・・・、２と変更することを考える。この時のフレームレートの変化は、４８０／８＝６０ｆｐｓ、４８０／７≒６９ｆｐｓ、４８０／６＝８０ｆｐｓ、以後、９６ｆｐｓ、１２０ｆｐｓ、１６０ｆｐｓ、２４０ｆｐｓとなる。

図１３Ａは、６０ｆｐｓから２４０ｆｐｓへのフレームレートの切り替え処理の流れをするフローチャートの前半部であり、図１０におけるステップＳ３４を詳細に説明するものである。

通常のフレームレートを格納する変数であるｆｐｓＬに６０（ｆｐｓ）を格納し、通常よりも高いフレームレートを格納する変数であるｆｐｓＨに２４０（ｆｐｓ）を格納する（Ｓ５０）。ｆｐｓＬとｆｐｓＨとの最小公倍数を格納する変数であるｆｐｓＣに、ｆｐｓＬとｆｐｓＨとの最小公倍数を格納する（Ｓ５２）。本例では６０と２４０との最小公倍数である２４０を格納する。

ステップ数の最大値ｓｔｅｐＬとステップ数の最小値ｓｔｅｐＨとを設定する（Ｓ５４）。本例では、ｓｔｅｐＬ＝ｆｐｓＣ／ｆｐｓＣ＝２４０／６０＝４、ｓｔｅｐＨ＝２４０／２４０＝１となる。フレームレートがｆｐｓＣのフレーム群ｆｒａｍｅＣを生成し（Ｓ５６）、切り替え処理の前処理を終了する。

本例ではｆｐｓＣ＝２４０であるからｆｐｓＨに一致するため、ｆｒａｍｅＣとして高フレームレートストリーム復号部７２が生成したフレーム群をそのまま使用すればよい。その場合、中間フレーム生成部７４は、高フレームレートストリーム復号部７２が生成したフレームをそのまま中間フレームとして出力することになる。したがって、「中間フレーム」には、高フレームレートストリーム復号部７２が生成したフレームも含まれる。

もしｆｐｓＣがｆｐｓＨよりも大きい場合には、中間フレーム生成部７４が中間フレームを生成して、フレームレートを上げることで対応する。また、ステップＳ５２においてｆｐｓＬとｆｐｓＨとの最小公倍数であるｆｐｓＣを格納するのは、ｆｐｓＣがｆｐｓＬおよびｆｐｓＨで割り切れることが保証されるためである。

図１３Ｂは、６０ｆｐｓから２４０ｆｐｓへのフレームレートの切り替え処理の流れをするフローチャートの後半部である。

第１のループ変数ｉにｓｔｅｐＬの値を代入する（Ｓ５８）。本例ではループ変数ｉに４を代入する。ループ変数ｉをステップ数として表示するフレームの数ｎｕｍを設定する（Ｓ６２）。ループ変数ｉ＝４のときは、図１２においてステップ数４で表示する期間Ｄ６０を設定することに相当する。フレームの数ｎｕｍの値を、第２のループ変数ｊの初期値として設定する（Ｓ６４）。ステップ数ｉでフレームレートがｆｐｓＣのフレーム群ｆｒａｍｅＣを表示し（Ｓ６８）、ループ変数ｊの値をｊ−１に更新する（Ｓ７０）。以後、ループ変数ｊが０より大きい間（Ｓ６６Ｙ）、ｆｒａｍｅＣの表示とループ変数ｊの更新を繰り返す。ループ変数ｊが０以下となったら（Ｓ６６Ｎ）、ループを抜け、第１のループ変数ｉをｉ−１に更新する（Ｓ７２）。以上の処理をｉがｓｔｅｐＨよりも大きい間（Ｓ６０Ｙ）繰り返し、ループ変数ｉがｓｔｅｐＨと等しくなるまで（Ｓ６０Ｎ）繰り返す。ループ変数ｉはステップ数に相当するから、ループ変数ｉがｓｔｅｐＨと等しくなることはすなわちフレームレートの切り替え処理が完了したことになる。この時点で本フローチャートにおける処理は終了する。

なお、フレームレートを２４０ｆｐｓから６０ｆｐｓへ切り替える処理（ステップＳ３８）は、図１３Ａおよび図１３Ｂに示す処理（ステップＳ３４）とほぼ同様であるため、説明は省略する。フレームレートを２４０ｆｐｓから６０ｆｐｓとなるように、第１のループ変数ｉの初期値とその更新方法を適切に定めればよい。

以上実施の形態２によれば、異なるフレームレートの動画を切り替えて再生するに際し、フレームレートを段階的に切り替えることが可能となる。これにより、フレームレートを切り替える際に生じる時間分解能の差異に起因する違和感を低減することができる。

以上、実施の形態１および実施の形態２を説明した。これらの実施の形態の任意の組み合わせもまた本発明の実施の形態として有用である。例えば実施の形態１と、実施の形態２ないし実施の形態４とを組み合わせ、ファイル連結部３２の出力した単一ファイルをファイル分割部５８が受け取るようにすれば、これらの実施の形態の効果の和に加え、さらに、撮像から再生までを一貫してユーザに提供できるようになる点で有利である。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上記実施の形態１では、画像符号化部２０が通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とのふたつ画像符号化部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像符号化部としてもよい。この場合、高速撮影モード時には通常のフレームレートの映像と高フレームレートの映像とを時分割で符号化することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。

また、上記実施の形態１では、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とはそれぞれ独立して演算する場合を想定したが、演算結果を共有できるようにしてもよい。例えば、高フレームレートフレーム符号化部３８が計算した４枚分のフレームの動きベクトルを合成すれば、通常フレームレートフレーム符号化部３６で計算すべき１枚分の動きベクトルとなる。この結果を共有することにより、全体として演算時間と消費電力とを抑えられる点で有利である。

また、上記実施の形態１では、チャプタ５２を関連情報３０として記録する場合について説明したが、ストリームに埋め込むチャプタ５２自体に、対応する高フレームレートの映像の情報を持たせてもよい。この場合、上述の例ではチャプタ５２ａに第１高フレームレートフレーム群４２の開始を、チャプタ５２ｂに第１高フレームレートフレーム群４２の終了を情報として記録することになる。また上述の例では、チャプタ５２ａとチャプタ５２ｂとをもって第１高フレームレートフレーム群４２の関連情報３０として説明したが、チャプタ５２ａと第１高フレームレートフレーム群４２のフレーム数や時間等を関連情報３０とすることもできる。

また、上記実施の形態１では、フレーム生成部１４が常時２４０ｆｐｓのフレームを生成する場合について説明したが、通常は６０ｆｐｓの動画を生成し、高速撮影モードの場合のみ２４０ｆｐｓのフレームを生成するようにしてもよい。この場合、高速撮影モードではない場合のフレーム生成部１４の演算量が減り、フレーム間引き部１８の演算も不要となるため、消費電力を抑えられる点で有利である。また、フレームレートが低い場合にはセンサ１０における受光量を多くすることができるため、ノイズを抑制する効果も得られる。

上記実施の形態２では、画像復号部６０が通常フレームレートストリーム復号部６８と高フレームレートストリーム復号部７２とのふたつ画像復号部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像復号部としてもよい。この場合、通常のフレームレートのストリームと高フレームレートのストリームとを時分割で復号することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。

また、上記実施の形態２では、ファイル分割部５８が単一ファイルを構成要素に分割する場合について説明したが、構成要素は単一ファイルとしてまとまっておらず、複数のファイルとして点在していてもよい。この場合、ファイル分割部５８に替えて図示しないファイル管理部が、点在する複数のファイルを関連づけることになる。これは例えば関連情報および異なるフレームレートで撮像された複数のストリームを同一フォルダに格納しておいたり、複数のファイルの命名規則を共通化したりすることで実現できる。

また、上記実施の形態２では、中間フレーム生成部７４が高フレームレートストリーム復号部７２が生成した高フレームレートの動画のフレームを補間処理することにより、新たなフレームを生成する場合について説明したが、中間フレーム生成部７４は高フレームレートの動画のフレームを複製することで新たなフレームを生成することもできる。この場合、補間処理を省略できるので、演算時間や消費電力を抑えられる点で有利である。

１４ フレーム生成部、 ２０ 画像符号化部、 ２２ 制御部、 ２４ 通常フレームレートストリーム、 ３０ 関連情報、 ５０ ストリーム、 ５８ ファイル分割部、 ６０ 画像復号部、 ６２ フレーム選択部、 ６８ 通常フレームレートストリーム復号部、 ７０ 高フレームレートフレーム生成部、 ７２ 高フレームレートストリーム復号部、 ７４ 中間フレーム生成部、 ２００ 撮像装置、 ３００ 画像再生制御装置。

Claims (5)

1. 通常のフレームレートのストリームを復号して通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部と、
   前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、
   前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含み、
   前記フレーム選択部は、フレームレートを変更するに際しては、前記一部のシーンについて重複して撮影されている前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えることを特徴とする画像再生制御装置。
2. 前記フレーム選択部は、フレームレートを段階的に切り替えるに際しては、前記通常よりも高いフレームレートの動画のフレームを所定枚数飛ばしながら選択しつつ、飛ばすフレームの枚数を変更することを特徴とする請求項１に記載の装置。
3. 前記通常よりも高いフレームレートの動画のフレームを補間処理することにより新たな動画のフレームを中間フレームとして生成する中間フレーム生成部をさらに含み、
   前記フレーム選択部は、フレームレートを段階的に切り替えるに際しては、前記中間フレームを所定枚数飛ばしながら選択しつつ、飛ばすフレームの枚数を変更することを特徴とする請求項１に記載の装置。
4. 動画像を取得する撮像部と、
   前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの２種類のストリームを生成可能な画像符号化部と、
   前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、
   請求項１から３のいずれかに記載の画像再生制御装置と、
   前記画像再生制御装置により表示制御される表示装置とを含むことを特徴とする撮像装置。
5. 同一のシーンについて重複して撮影された通常のフレームレートの動画のストリームと、通常よりも高いフレームレートの動画のストリームとが同時に存在するときに、両者を切り替えて再生するに際しては、前記同一のシーンについての前記通常のフレームレートの動画のストリームと前記通常よりも高いフレームレートの動画のストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えながら再生することを特徴とする画像再生制御方法。

Images