JP2008301475A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 動画撮影中に静止画撮影するために、動画記録を中断する間の動画像データのデータサイズを小さくし、記録媒体への書き込み負荷を軽減する。
【解決手段】 動画撮影動作が実行されている期間に、静止画撮影動作の指示が入力された場合、動画撮影動作を中断し、静止画撮影動作を制御して静止画ファイルを記録媒体に記録し、中断した期間に対応する動画像を代替する画像の少なくとも１つとして差分情報がゼロであるフレーム間圧縮された画像を挿入した動画像ファイルを生成し記録媒体に記録する。
【選択図】 図３

Description

本発明は、撮像手段で撮像した画像データを記録媒体に記録する撮像装置及びその制御方法に関するものである。

従来から、ＣＣＤ等の撮像素子で撮像した画像信号をデジタル信号に変換し、そのデジタル信号を輝度色差のデジタル映像信号に処理した後、ＪＰＥＧなどの圧縮処理を施し、記録メディアへ記録するデジタルカメラが開発されている。

デジタルカメラにおける撮像素子は高解像度化が進み、１０００万画素を越えるものも出現している。その一方で、撮像素子の水平、垂直ラインなどを読み飛ばすことにより、画像信号を高速に読み出して動画像として記録する機能を有するものも増えている。すなわち、昨今のデジタルカメラでは、先に述べた静止画撮影を行う静止画撮影モードと、動画撮影を行う動画撮影モードと設けて、ユーザーの操作によって両方の撮影モードを切り換える仕様となってきている。

近年では、動画記録中に静止画の撮影を行うことも可能になってきている（特許文献１）。この文献には、動画記録中に静止画撮影を行った場合に、静止画撮影により中断した動画撮影における動画圧縮データファイルが、静止画を挟んで２つに分割される不具合を解消する技術が記載されている。これは、具体的には、静止画撮影期間の直前の１フレームを代替フレームとし、その静止画撮影する期間だけその代替フレームを連続させて動画ファイルに格納することで、動画が分断しないようにするものである。更に、この文献は静止画撮影が完了し、撮像手段による動画撮影処理を再開するための開始タイミングを、動画撮影処理が停止される前の動画撮影処理における動画フレーム撮影周期に同期させる技術も開示している。また、欠落した動画フレームに代わる代替フレームに特殊画像データを用いたり、無画像画面を用いたりしている技術も知られている（特許文献２）。
特開２００４−２０１２８２号公報 特開２００３−８９４８号公報

しかしながら、前述したような従来技術では、黒画像（ブラックアウト画像）や、動画の直前・直後あるいは静止画像からの代替フレーム（ストップモーション画像）をコピーしてファイルに挿入するため、ファイルサイズが大きくなるといった問題があった。

また、同じストップモーション画像を画像コーデックに入力しても、参照画像が入力画像より劣化しているため、期待するほど圧縮率が上げられないといった問題があった。

本発明は、上述した問題点を解決するためのものであり、動画撮影中に静止画撮影するために、動画記録を中断する間の動画像データのデータサイズを小さくし、記録媒体への書き込み負荷を軽減することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像手段で撮像した画像データを記録媒体に記録する撮像装置であって、前記撮像手段により連続して撮像することで得られる動画像を動画像ファイルとして前記記録媒体に記録する動画撮影動作を制御する動画撮影制御手段と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして前記記録媒体に記録する静止画撮影動作を制御する静止画撮影制御手段と、前記動画撮影動作が実行されている期間に、静止画撮影動作の指示が入力された場合、前記静止画撮影制御手段は前記静止画撮影動作を制御して前記静止画ファイルを前記記録媒体に記録し、前記動画撮影制御手段は前記動画像撮影動作を中断し、前記中断した期間に対応する動画像を代替する画像の少なくとも１つとして差分情報がゼロであるフレーム間圧縮された画像を挿入した動画像ファイルを生成し前記記録媒体に記録することを特徴とする。

本発明によれば、動画撮影中に静止画撮影するために、動画記録を中断する間の動画像データのデータサイズを小さくし、記録媒体への書き込み負荷を軽減することができる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、本実施形態における撮像装置としてのデジタルカメラ１００のブロック構成図である。

図示において、６は撮影レンズであり、１枚又は複数枚のレンズで構成される。８は絞りやシャッター等で構成され、被写体の輝度により、露出を調整する露出制御部である。１０は数百万画素程度の画素数のＣＣＤセンサーやＣＭＯＳセンサーなどの撮像手段としての撮像素子であり、撮像して得た各色成分のアナログ画像信号を出力する。１２は撮像素子１０からのアナログ画像信号をデジタル信号に変換するためのＡ／Ｄ変換器である。１４はＤＲＡＭであり、Ａ／Ｄ変換器１２からのデジタル画像信号を一時的に蓄えたり、後述する信号処理後の画像データや画像圧縮後のデータなどを、一時的に蓄えるバッファー機能を有する。通常は、ＤＲＡＭとの間にメモリーコントローラを介しデータの書き込みや読み出しを行うが、ここでは示していない。

１６はＡ／Ｄ変換器１２で得られたデジタル画像信号から、輝度信号と色差信号へ処理するための信号処理部で、ＹＵＶデータを生成する。１８は信号処理部１６からのＹＵＶデータをＪＰＥＧまたはＭＰＥＧ形式の画像データに圧縮したり、ＪＰＥＧまたはＭＰＥＧ形式の画像データをＹＵＶデータに伸張するための画像コーデック部である。

２０は画像圧縮処理されたデータをＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）カードやＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードなどの記録メディアへ書き込んだり、読み出したりするためも記録媒体インターフェースである。２１は、上述したＣＦカードやＳＤカードなどの脱着可能な記録メディアである。なお、使用する記録メディアは、ランダムアクセス可能な記録メディアであれば、その種類は問わない。例えば、光ディスク（ＤＶＤ）やハードディスクでも構わない。２２はカラー液晶表示器等で構成される表示部であり、ビューワー表示したり、撮影した画像に基づきレビュー表示したり、伸張した画像を再生表示するために用いる。なお、表示部２２は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。

２４は、信号処理部１６から出力されたＹＵＶデータを任意のサイズにリサイズするリサイズ部である。２６は、先に述べた各処理部や後述のデータフローなどを制御するためのＣＰＵである。２７は、ＣＰＵ２６の処理手順に係るプログラム（ファームウェア）や各種情報を記憶しているＲＯＭである。詳細は後述するが、このＲＯＭ２７には、既にＭＰＥＧ符号化されたブラックアウト画像データ、スキップトマクロブロック画像データ及び、擬似的なシャッター音のｗａｖｅ形式のデータが予め格納されている。各処理部はＣＰＵ２６のバス３３に繋がっている。又、図示しないが、各処理部とＤＲＡＭ１４間には、ＣＰＵとのＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うためのＤＭＡコントローラを備えている。更に、Ａ／Ｄ変換器１２から信号処理部１６と、信号処理部１６から画像コーデック部１８やリサイズ部２４などへは、図示していないがＣＰＵやＤＭＡとは別に、ダイレクトにデータを送受するパスを設けている。

２８は音声の録音や再生の処理を行うための音声処理部であり、３０は録音する時に音声入力するためのマイク、３２は音声を再生するためのスピーカーである。音声処理部２８は、音声のＡ／Ｄ変換とＤ／Ａ変換も行って、音声情報の録音と再生を行う。また、２３は静止画の撮影指示を行う際に利用するレリーズスイッチ２３ａ、動画記録のＯＮ／ＯＦＦを指示するための動画記録スイッチ２３ｂをはじめ、各種ボタンやダイヤルスイッチを含む操作部である。

次に、本実施形態における動画撮影動作について説明する。本実施形態では、ＣＰＵ２６が動画撮影制御の機能を有しており、ＣＰＵ２６が図１の各処理部を制御することにより動画撮影動作が実行される。

撮影レンズ６を通過した光は、絞りやシャッターの露出制御部８を通過し露出制御されて、撮像素子１０に結像する。動画撮影時には、メカ機構のシャッターは開き、絞りによって露出を制御する。撮像素子１０によって被写体像は光電変換され、アナログ信号としてＡ／Ｄ変換器１２に送られる。Ａ／Ｄ変換器１２では、アナログ画像信号をデジタル画像信号に変換して、デジタル画像信号はバス３３を介して信号処理部１６に転送される。動画撮影時には撮像素子１０からは全画素を読み出すのではなく、水平方向や垂直方向に間引かれた画素を、記録するフレームレートに合わせて読み出す。これは、リサイズ部２４の負荷を減らすためである。信号処理部１６では、動画撮影モードに応じて、水平垂直のフィルタ処理やアパチャー補正処理やガンマ処理などが行われ、処理された画像信号はリサイズ部２４に転送される。

リサイズ部２４は、画像信号をＶＧＡ（水平６４０画素、垂直４８０ライン）のサイズにリサイズして、ＤＲＡＭ１４に転送する。ＤＲＡＭ１４上のＶＧＡ画像データは、表示部２２に転送され、ＴＶやカメラに搭載された液晶上にスルー画像として表示される。本実施形態では、この表示処理までの状態を、動画撮影時のスタンバイ状態と言う。

この状態で、操作部２３に設けられた動画記録スイッチ２３ｂが押下された場合には、ＣＰＵ２６は各処理部に動画記録動作を開始させる。

すなわち、画像コーデック部がＤＲＡＭ１４上のＶＧＡ画像データをＭＰＥＧデータに変換するのと平行して、音声処理部２８がマイク３０で取り込んだ音声をｗａｖｅ形式の音声データに変換する。そして、ＣＰＵ２６がこれらのＭＰＥＧデータと音声ＷＡＶＥデータを用いて、ヘッダーなどを付加してＡＶＩ形式で動画ファイルを生成する。生成された動画ファイルは、記録媒体インターフェース２０を介して、記録メディア２１に記録される。この動画記録処理は、動画記録スイッチ２３ｂが再び押下されるまで実行される。

以下、動画撮影時のスタンバイ状態と動画記録処理を実行している状態の両方を満たす状態を動画撮影動作の状態とする。ここでの動画ファイルの形式ＡＶＩ形式で説明しているがＭＯＶ形式、ＭＰＥＧ形式でもよい。また、音声データ形式においては圧縮された音声データ形式でもよい。

次に本実施形態における静止画撮影動作について説明する。本実施形態では、ＣＰＵ２６が静止画撮影制御の機能を有しており、ＣＰＵ２６が図１の各処理部を制御することにより静止画撮影動作が実行される。

静止画撮影の待機状態では、上述した動画のスタンバイ状態とほぼ同じ処理が施され、撮像素子１０で撮像した画像のスルー画像が表示部２２に表示されている。

操作部２３に設けられたレリーズスイッチ２３ａは、２段階形式のスイッチで構成され、半押し状態をスイッチＳＷ１がＯＮ、全押しした状態ではスイッチＳＷ２がＯＮとなるようになっている。そのスイッチＳＷ１がＯＮで撮影準備状態になり、スイッチＳＷ２がＯＮで静止画撮影動作状態になる。

更に詳しく説明すると、スイッチＳＷ１がＯＮの撮影準備状態では、静止画撮影に必要な自動測距（ＡＦ）や自動測光（ＡＥ）が行われる。スイッチＳＷ２がＯＮされ準備状態から静止画撮影動作に切り替わると、先幕電子シャッターを閉じてから撮像素子１０の読み出しを止めて、露光のモードに変更する。そして撮影準備段階で被写体の輝度から予め算出した露出設定に従って絞りを設定し、センサーの余分電荷の吐き捨て後に算出したシャッタースピードでシャッターを開閉する。

シャッターが完全に閉じきってから撮像素子１０を露光モードから読み出しモードに切り換えて、複数フィールドに分けて全画素のデータを読み出す。

その読み出した信号をＡ／Ｄ変換器１２でデジタル信号に変換し、バスを介してＤＲＡＭ１４へＡ／Ｄ変換器１２からのＲＡＷデータを転送する。撮像素子１０からの読み出しが終了したら現像処理が開始される。

この現像処理では、まず、ＤＲＡＭ１４に記憶されたＲＡＷデータが読み出され信号処理部１６に転送される。信号処理部１６は、水平垂直のフィルタ処理やアパチャー補正処理やガンマ処理などを静止画撮影用のモードで処理し、処理後のＹＵＶデータを画像コーデック部１８へ転送する。画像コーデック部１８は、ＹＵＶデータをＪＰＥＧデータに変換してＤＲＡＭ１４へ書き戻す。

以上のＤＲＡＭ１４からのＲＡＷデータの読み出しからＪＰＥＧデータのＤＲＡＭ１４へ書き戻しまでが現像処理になる。

この後、生成された静止画画像データ（ＪＰＥＧデータ）は、記録メディア２１に静止画ファイルとして書き込まれる。また、現像処理の途中の信号処理部１６からのＹＵＶデータはリサイズ部２４へも転送される。リサイズ部２４は、転送されたＹＵＶデータをレビュー画像表示のためにＶＧＡサイズ程度にリサイズして、ＤＲＡＭ１４へ書き戻す。そして、前述の現像処理が終了したら、撮影確認のレビュー画像表示のために、ＶＧＡサイズのＹＵＶデータを表示部２２に転送して、ＴＶやカメラ上の液晶画面に表示することで、レビュー画像を表示している。

以上、本実施形態における動画撮影動作及び静止画撮影動作について説明したが、実施形態では動画記録中においても、静止画の撮影を行うことを許容する。すなわち、動画記録処理を継続させながら、静止画撮影動作による静止画撮影処理と静止画記録処理とを実行させることを可能とする。以下、この動画記録中における静止画撮影する場合のＣＰＵ２６の処理を、図２のフローチャートに従って説明する。

図２のステップＳ２００は、先述した動画撮影動作に従って動画が撮影及び記録されている状態を示す。すなわち、操作部２３における動画記録ボタン２３ｂを押下して、記録メディア２１に動画であるＡＶＩファイルを構築中のものである。

ステップＳ２０２では、この動画記録中に、前述のレリーズスイッチ２３ａの半押し検出用スイッチＳＷ１がＯＮであるか否か監視及び判断を行っている。スイッチＳＷ１がＯＦＦである場合には、通常の動画記録動作継続する。

レリーズスイッチが半押しされ、スイッチＳＷ１がＯＮになると、処理はステップＳ２０４へ移行し、動画記録に平行して静止画用の撮影準備のＡＦ（測距）とＡＥ（測光）が行われる。

次いで、ステップＳ２０６にて、スイッチＳＷ１を監視し、スイッチＳＷ１がＯＮの状態が保持されると、ＡＦとＡＥの動作が続けられる。一方、スイッチＳＷ１がＯＦＦになった場合には、静止画の撮影準備を終了する。ただし、ＣＰＵ２６は、その場合でもステップＳ２０２に戻り、動画記録処理を継続する。

次にスイッチＳＷ１がＯＮの状態であり撮影準備が完了すると、処理はステップＳ２０８に移行して、レリーズスイッチの全押しか否か、すなわち、スイッチＳＷ２がＯＮであるか否かの監視及び判断をする。

スイッチＳＷ２がＯＦＦであり、スイッチＳＷ１がＯＮ保持のままだと、ＡＦとＡＥがロックされ続ける。また、スイッチＳＷ２がＯＮになったと判断した場合には、ステップＳ２１０へ移行し、静止画撮影動作を実行する。

ステップＳ２１０の静止画の撮影動作は前述の静止画撮影動作とほぼ同じである。異なる点は、動画記録中に静止画撮影を行うため、動画の記録を一時的に中断する事である。このときは撮像素子１０の駆動モードが切り替わり、動画像による動画フレームを生成できない。本実施形態では、その欠落した動画フレームの代わりに代替フレームとスキップトマクロブロック画像を挿入する。その処理ついては、図３の静止画撮影動作を行った場合の動画ファイル生成フローを用いて詳しく説明する。上記、静止画撮影動作が完了すると、ステップＳ２１２にて、中断していた動画撮影動作の準備を行ない、ステップＳ２１４で動画撮影動作状態に戻る。

図３を用いて動画ファイル生成フローを説明する。この手順は、静止画撮影動作とほぼ並列に実行されるものである。ステップＳ３０１は、図２のステップＳ２０８でＹｅｓと判断されたことに応じて開始されることを示している。先ず、ステップＳ３０１で動画撮影を中断し、ＣＰＵ２６は本処理を開始する。

次いで、ＣＰＵ２６は、ステップＳ３０２に進み、静止画撮影するために動画像撮影動作を中断する期間に対応するものとして予め設定したブラックアウト画像の枚数Ｎ１のカウントを開始する（初期値ｉ＝１）。

ステップＳ３０３で、ＣＰＵ２６は、動画フレームの第１の代替フレームとしてブラックアウト画像とスキップトマクロブロック画像を挿入するためにＧＯＰの先頭フレームかどうかを判断する。

代替フレームがＧＯＰの先頭フレーム（ステップＳ３０３でＹＥＳ）ならば、ステップＳ３０４で画像コーデック部１８において符号化されたブラックアウト画像Ｉフレームを出力する。

代替フレームがＧＯＰの先頭フレームでなく（ステップＳ３０３でＮＯ）、ｉ＝１ならば（ステップＳ３０５でＹＥＳ）、画像コーデック部１８で符号化されたブラックアウト画像Ｐフレームを出力する（ステップＳ３０６）。

代替フレームがＧＯＰの先頭フレームでなく（ステップＳ３０３でＮＯ）、ｉ＝１でないならば（ステップＳ３０５でＮＯ）、スキップトマクロブロック画像（ＳＭＢ画像）を出力する（ステップＳ３０７）。

なお、ここで、Ｉフレームとは、Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅとよび、キーフレームのことである。Ｐフレームとは、Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅのことであり、差分フレーム（Ｂフレームも含む）である。ブラックアウト画像とは、無画像の真黒なＭＰＥＧデータであり、黒画像がＭＰＥＧ圧縮されているので非常に小さいデータサイズの画像データである。

また、スキップトマクロブロック画像とは、フレーム間圧縮された画像の一種であり、フレーム間の差分情報、一例として、動きベクトルがゼロの画像である。スキップトマクロブロック画像は、ＶＧＡサイズでも数十バイト程度の非常に小さいデータサイズの画像データである。このスキップトマクロブロック画像は、図１のＲＯＭ２７に格納されているスキップトマクロブロック画像２７ｂであり、ＶＧＡサイズでＭＰＥＧ符号化されているものである。

このスキップトマクロブロック画像２７ｂはＲＯＭ２７から読み出されて、第１の代替フレームとして動画ファイル（ＡＶＩデータ）上に挿入される。

また、後に記載するストップモーション画像がＰフレームの場合には、参照フレームとしてブラックアウト画像が必要であるため、画像コーデック部１８でブラックアウト画像を生成する。図５は、動画像記録中に静止画撮影した場合の動画ファイルの構成を示す図である。

図５において、フレームＮｏ．８のストップモーション画像Ｐフレームを生成するためにはフレームＮｏ．７の情報が必要である。フレームＮｏ．７はフレームＮｏ．６の情報が必要である。フレームＮｏ．６はフレームＮｏ．５の情報が必要である。フレームＮｏ．５はフレームＮｏ．４の情報が必要である。

したがって、フレームＮｏ．８はフレームＮｏ．４の情報が必要であるため、フレームＮｏ．４を画像コーデック部１８でブラックアウト画像Ｐフレームを生成しておく。または画像コーデック部１８がストップモーション画像Ｐフレームを生成するためのフレームＮｏ．４の情報を一時的に記憶しておく。

このようにフレームＮｏ．５〜フレームＮｏ．７はスキップトマクロブロック画像のため、フレームＮｏ．７の代わりにフレームＮｏ．４の情報を使用してフレームＮｏ．８を生成する。

ストップモーション画像がＩフレームの場合には、参照フレームとしてブラックアウト画像が必要ないため、画像コーデック部１８でブラックアウト画像を生成しない。この場合、ＭＰＥＧ圧縮されたブラックアウト画像２７ａがＲＯＭ２７から読み出され、第１の代替フレームとして動画ファイル（ＡＶＩデータ）上に挿入される。ここでＲＯＭ２７からＭＰＥＧ圧縮されたブラックアウト画像２７ａを読み出すとしたが、ＣＰＵでブラックアウト画像２７ａを生成してもよい。

その第１の代替フレームの長さ（期間）は、カメラグリーンモード（ＡＵＴＯモード）の最長露光時間と等しく、約１／８秒（１２５ｍＳｅｃ）程度である。動画像が３０フレーム／秒の撮像される場合、１／８秒間でのフレーム数は“４”である。したがって、ＲＯＭ２７のブラックアウト画像（または画像コーデック部１８で生成されるブラックアウト画像）を１回、スキップトマクロブロック画像を３回、ＡＶＩファイルに挿入することになる。なお、ブラックアウト画像の代わりに、「静止画撮影」等のメッセージを有する画像としても構わない。

ステップＳ３０８でブラックアウト画像Ｎ１枚に達していない場合（ステップＳ３０８でＮＯ）、ステップＳ３０９でｉをインクリメントし、ステップＳ３０３に戻る。ステップＳ３０８でブラックアウト画像の枚数がＮ１枚に達したら（ＳステップＳ３０８でＹＥＳ）、ステップＳ３１０に進む。

次にステップＳ３１０では、ＲＯＭ２７上に置かれた擬似シャッター音データ２７ｃを読み出して、動画ファイル（ＡＶＩデータ）の音声データに挿入する。これと共に、その擬似シャッター音データ２７ｃを音声処理部２８に出力し、スピーカー３２より再生させる。その擬似シャッター音データの時間長は、先のブラックアウト画像データの時間長とほぼ同じ時間にする。

このとき、マイク３０から録音される音声データから擬似データを急に置き換えると、データの急な切り替わりで高周波成分が発生し、エイリアシングによりノイズ音データが発生する。そこで擬似データに置き換える期間（擬似シャッター音をスピーカー３２で再生する期間でもある）は、音声処理部２８にてその期間をまず無音検出状態、すなわちミュート（無音）する。そのミュートされた音声データの上に擬似シャッター音を挿入するようにした。これにより、エイリアシングによる高周波ノイズを発生させずに高品位の擬似シャッター音を音声データに挿入することができる。

次にステップＳ３１１にて、先述した静止画撮影動作における静止画の現像処理の完了を待つ。現像が完了したらステップＳ３１２に進む。

この後ＣＰＵ２６は、図２のステップＳ２１０内の処理として、現像済みの静止画を画像コーデック部１８でＪＰＥＧ符号化し、符号化されたデータから１つの静止画ファイルを生成する。生成した静止画ファイルは動画像ファイルとは別に記録メディア２１に格納される。

この処理と平行し、またはこの後、ＣＰＵ２６は、このステップＳ３１２において、上記現像済みの静止画から、ＶＧＡサイズのレビュー画像をリサイズ部２４で生成し、ストップモーション画像の枚数Ｎ２のカウントを開始する（カウント初期値ｊ＝１）。

次にＧＯＰの先頭フレームか判断し、先頭ならば（ステップＳ３１３でＹＥＳ）、レビュー画像データを画像コーデック部１８でストップモーション画像Ｉフレームとして符号化し、出力する（ステップＳ３１４）。

ＧＯＰの先頭フレームでなく（ステップＳ３１３でＮＯ）、かつｊ＝１ならば（ステップＳ３１５でＹＥＳ）、レビュー画像データを画像コーデック部１８でストップモーション画像Ｐフレームとして符号化し、出力する（ステップＳ３１６）。

ＧＯＰの先頭フレームでなく（ステップＳ３１３でＮＯ）、かつｊ＝１でないならば（ステップＳ３１５でＮＯ）、スキップトマクロブロック画像（ＳＭＢ画像）を出力する（ステップＳ３１７）。

次にｊがＮ２に達していないならば（ステップＳ３１８でＮＯ）、ステップＳ３１９でｊをインクリメントし、ステップＳ３１３に戻る。ｊがＮ２に達したら（ＳステップＳ３１８でＹＥＳ）、ステップＳ２１２へ進む（ステップＳ３２０）。

この符号化されたＶＧＡサイズの画像（ストップモーション画像）が第２の代替フレームデータである。そして、先の第１の代替フレームであるブラックアウト画像に続けて、第２の代替フレームを、現像処理期間の動画記録が中断された動画フレーム数分をスキップトマクロブロック画像またはストップモーション画像で補う。つまり、第２の代替フレームを、適当な回数だけ繰り返しＡＶＩファイルに挿入する。

第２の代替フレーム期間中の音声データは、マイク３０からの音を音声処理部２８でＷＡＶＥデータにしてＡＶＩファイルに挿入する。つまり、このＡＶＩファイルを再生すると、静止画撮影で中断される期間の内、第１の代替フレームのブラックアウト期間は擬似シャッター音と録音した音声が合成された音声が記録される。そして、第２の代替フレームのストップモーション画像期間は、実際に静止画撮影された画像に相当するフレームが再生されると共に、その間に音声録音された音が再生されることになる。

次に、ステップＳ３２０にて図２のステップＳ２１２に戻り、動画撮影動作の再開の準備を行う。これは撮像素子１０の読み出しを動画用に切り換え、同時に信号処理部１６やリサイズ部２４や画像コーデック処理部１８などの設定を動画用に切り換え、データのパスも切り換える動作になる。ステップＳ２１４で、最初の動画撮影動作状態に戻り、動画記録のための撮影が連続して行われる。

図４は、動画記録中の静止画撮影のシーケンスを示している。同図において（ａ）は、撮影時のカメラの動作状態が移り変わる様子（シーケンス）を示す。同図の（ｂ）は、撮影時のスルー画像を表示部２２へ表示する画像の移り変わる様子（シーケンス）を示している。また、同図の（ｃ）は、生成された動画ファイル（ＡＶＩ形式）の記録状態を、実際の撮影及び記録時のシーケンスに対応づけて示している。言い換えるとすなわち動画ファイル（ＡＶＩ形式）を再生した時の液晶やＴＶモニターの画像表示の移り変わる様子（シーケンス）を示していることになる。更に同図（ｄ）は、作成したＡＶＩファイルをメディアへ書きこむタイミングを仮定して示している。

後述するが、動画撮影動作及び静止画撮影動作のうち、メディアへの記録処理に関しては、同図（ａ）のタイミングと一致していない。図４において、図の左端からレリーズスイッチが有するスイッチＳＷ１がＯＮになるまでの期間は、動画撮影動作状態を示している。

同図（ａ）の期間Ｓ４００では、動画撮影動作の状態を示している。この期間では、同図（ｂ）の期間Ｓ４１８で動画像のスルー画像を表示部２２へ表示し、同図（ｃ）での期間Ｓ４２８で動画像と音声データを動画ファイルとして記録する。

次のスイッチＳＷ１がＯＮになり、スイッチＳＷ２がＯＮになるまでの同図（ａ）の期間Ｓ４０２では、動画撮影及び記録も行ないながら静止画用の撮影準備のＡＥとＡＦを行う状態を示している。

同図（ｂ）での期間Ｓ４２０では、その静止画用の撮影準備のＡＥとＡＦを行う様子を表示部２２へ表示し、同図（ｃ）での期間Ｓ４３０でその静止画用の撮影準備のＡＥとＡＦを行う様子を動画ファイルに記録している。

スイッチＳＷ２がＯＮになるまで期間は、同図の（ａ）と（ｂ）と（ｃ）のタイミングが揃っているが、スイッチＳＷ２がＯＮになった以降は揃っていない。以下に、そのシーケンスについて説明する。

同図（ａ）の期間Ｓ４０４は、スイッチＳＷ２がＯＮになった直後の撮像素子１０のモード切り替え状態を示し、動画用の読み出しモードから静止画の露光のモードに切り替えをしている。次の期間Ｓ４０６は、静止画状態の露光期間を示しており、例えば本実施形態１における露光時間は１／２０００秒から１／８秒までを可変に被写体像の露出を制御する。

次の期間Ｓ４０８は、撮像素子１０から静止画像用の全画素を複数フィールドで読み出す読み出し期間を示しており、例えば３００ｍＳｅｃ程度の時間を要する。

次の期間Ｓ４１０は静止画像の現像処理の期間を示し、現像処理の内容は先述のＤＲＡＭ１４におけるＲＡＷデータの読み出しから処理後のＪＰＥＧデータをＤＲＡＭ１４へ書き戻す処理になる。

次の期間Ｓ４１２はレビュー画像を生成する期間を示し、先述した内容の信号処理部１６からのＹＵＶデータをリサイズ部２４でＶＧＡサイズにリサイズし、レビュー画像としてＤＲＡＭ１４に書き戻す処理になる。

この期間Ｓ４０４からＳ４１２までの期間では、同図（ｂ）に示すように、ブラックアウト画像（無画像）を表示部２２に表示する。

これは静止画の撮影処理中は、カメラが静止画像の取り込みと現状処理を行っていることを明確にユーザーに伝えるためであり、ＥＶＦのスルー画像表示と異なる無表示画像を表示しており、通常の静止画撮影動作と同様の表示になる。

期間Ｓ４１４は、期間Ｓ４１２で生成したレビュー画像から、動画ファイルにはめ込む第２の代替フレームデータの作成をする期間を示している。この期間では、ＶＧＡサイズのＹＵＶデータを画像コーデック部１８でＭＰＥＧデータに圧縮処理する。更に欠落して不足する動画フレーム枚数分をスキップトマクロブロック画像とし、そのときの音声データと合わせて動画ファイルを生成している。

同図（ｂ）の期間Ｓ４２４は、上記の期間Ｓ４１４の期間に前記レビュー画像を表示部２２へ表示する期間を示している。

同図（ｃ）の期間Ｓ４３２は、動画ファイル上で静止画撮影する際の期間Ｓ４０４の撮像素子１０のモード切り替え期間と期間Ｓ４０６の露光期間を合わせた期間を、無表示画像のブラックアウト画像とスキップトマクロブロック画像で補った期間を示している。

露光時間は被写体の輝度レベルにより可変であるが、このブラックアウトしている期間Ｓ４３２の期間は、実施形態１では露光時間の最長時間（５０＋８０＝１３０ｍＳｅｃ）にした。更に、この期間Ｓ４３２に合わせて擬似シャッター音もはめ込んでいる。

次に同図（ｃ）の期間Ｓ４３４は、先述の期間Ｓ４１４で生成した静止画のレビュー画像から代替フレームデータとスキップトマクロブロック画像を用いて欠落した動画フレームにはめ込む期間を示しており、動画ファイル上のストップモーションと称している。この期間は、ブラックアウトの代替フレーム期間の直後から動画に戻るまでの期間になる。

また、静止画撮影終了後では、次の通りである。先ず、同図（ａ）の期間Ｓ４１６では再度動画撮影動作に戻る状態を示している。同図（ｂ）の期間Ｓ４２６は再度動画像のスルー画を表示部２２への表示を示し、同図（ｃ）の期間Ｓ４３６は動画ファイル上も動画像が記録されている状態であることを示している。

通常、静止画像を撮影する時の実際のシャッター動作は「閉じ→開き」の動作になる。その静止画撮影動作を動画ファイル上でイメージさせるには、「動画→シャッター閉じ→静止画像のストップモーション画像表示→シャッター閉じ→シャッター開き→動画」の動作になる。

しかし、動画撮影動作中では、ユーザーがストップモーションによる静止画像を認識したら、すぐに動画に戻す方が動画記録に適している。したがって、先のストップモーション画像表示後のシャッターの動作を省き、「動画→シャッター閉じ→静止画像のストップモーション画像表示→動画」のシーケンスが最適である。

このシャッター閉じは、先述したようにブラックアウト画像を代替フレームとスキップトマクロブロック画像としてはめ込んでいるが、ストップモーション画像についての表示期間は所定の固定期間での表示が望ましい。

更にストップモーションの表示期間は、撮影した画像の確認を行う事になるが、長すぎると動画撮影動作を阻害することになる。したがって、この表示期間は第２の所定時間以内がよく、その第２の所定時間は静止画処理の期間で動画を再開するまでの期間を当てはめるのが、カメラ動作的にも望ましい。

すなわち、動画撮影動作に戻るまでの中断する期間の内で、ブラックアウト画像の代替フレーム以外を静止画のストップモーション画像で代替することになる。

本実施形態では、上記の結果、動画記録中に静止画撮影した場合における、その静止画を約６００ｍＳｅｃ程度の期間、ストップモーション画像として表示した。

次に、図４（ｄ）を用いてのメディアへの記録について説明する。本実施形態では動画のＡＶＩファイルは、音声データと映像データを１秒毎に配置した形式のデータ構造になっている。ＣＰＵ２６は、前述のＡＶＩバッファー領域のＡＶＩデータをファイルにしてメディアへ書き出すことでＡＶＩファイルをメディア上に生成する。

図４（ｄ）の期間Ｓ４４０はその動画撮影により生成したＡＶＩデータをメディアに書き出す期間を示す。同図（ｄ）の期間Ｓ４４２はスイッチＳＷ１がＯＮになったタイミング後の動画記録期間を示し、Ｓ４４０と同様にこの期間でも動画のＡＶＩファイルの記録はそのまま続ける。この期間は、スイッチＳＷ２がＯＮになったタイミング、すなわち、センサーからの動画読み出しが中断され動画のＡＶＩデータ生成も中断されるタイミングでは終了しない。

このタイミング時にはＤＲＡＭ１４上のＡＶＩバッファー領域にはまだＡＶＩデータは残っているため、そのＡＶＩバッファーに残ったデータ分は、メディアへ書き出し続けるためである。

ＡＶＩバッファー領域のデータがすべてメディアへ書き出された時が、同図（ｄ）の期間Ｓ４４２から期間Ｓ４４４へ移り変わるタイミングである。同図（ｄ）の期間Ｓ４４４では、前述した期間Ｓ４３２のブラックアウト期間に相当するブラックアウト画像データとスキップトマクロブロック画像データをメディアへ書き出すタイミングを示している。

ブラックアウト表示用のＡＶＩデータは、スイッチＳＷ２がＯＮになったタイミングから即時に生成されるため、ＡＶＩバッファー領域に残ったＡＶＩデータを書き出した直後に書き出すことができる。

更に、メディアの書きこみスピードが十二分に速く、ＡＶＩファイル生成をするとほぼ同時にメディアへの書き出しを行える場合には、ＡＶＩバッファーにデータが溜まらない。したがって、先に記載した期間Ｓ４４４におけるブラックアウト画像データとスキップトマクロブロック画像データが挿入されたＡＶＩデータの書き込みをスイッチＳＷ２がＯＮになった直後から行うことができる。

このブラックアウト画像データとスキップトマクロブロック画像データが挿入されたＡＶＩのデータ容量も小さいので比較的短時間で書きこむことになる。メディアへの書き込みスピードは使用するメディアによって個々に異なる。書き込みスピードが速い場合には、期間Ｓ４４４でブラックアウト画像データとスキップトマクロブロック画像データのＡＶＩデータの書き込み後から、次の期間Ｓ４４６への間にメディアへ書き込むデータがない。この期間は、書き込みが発生しない時間となる。

次の期間Ｓ４４６は、静止画撮影したＪＰＥＧデータファイル（記録モードに応じた現像処理の結果得られた全画素で構成される静止画ファイル）をメディアへ書き出すタイミングを示す。静止画ＪＰＥＧデータは、先述の期間Ｓ４１０のタイミングで生成しているので、メディアへの書き出しはそのタイミング以降になる。その期間Ｓ４４６における静止画ＪＰＥＧデータの書き出し直後に期間Ｓ４４８で、静止画撮影後のレビュー画像から作成したＡＶＩデータをメディアへ書き出すタイミングを示す。

この期間Ｓ４４８のレビュー画像ＡＶＩは、先に記載した期間Ｓ４３４の第２の代替フレーム期間分を記録している。そして期間Ｓ４４８のレビュー画像のＡＶＩデータを書き込み終えとき、先の期間Ｓ４１６で生成している動画のＡＶＩデータがＡＶＩバッファー上に溜めて込まれている。したがって、その動画のＡＶＩデータを期間Ｓ４５０のタイミングでメディアへ書き出す。

以上が動画記録中に静止画撮影を行った場合のメディアへのデータ書き込みのシーケンスになる。このように記録したＡＶＩデータは、前述したように再生すると、動画記録中に静止画撮影した状況をユーザーに分りやすく表示する事ができる。

なお、レリーズスイッチが半押し、すなわち、スイッチＳＷ１がＯＮで、スイッチＳＷ２がＯＦＦの状態のとき、撮像中の動画中の隅にレリーズスイッチのボタンのマークを合成しても良い。この場合、動画再生中に、静止画撮影によりブラックアウト画像が表示する直前で、静止画撮影しようとしていることを、ユーザーに知らせることが可能になる。

次に、図５を用いて動画像記録中に静止画撮影した場合の動画ファイルの構成について説明する。先に説明したように、１秒分の音声データがあり、そのあとに動画フレームが続く。

本実施形態では１５フレーム単位にＧＯＰの先頭Ｉフレームを生成する。動画撮影中に操作部２３ａのＳＷ２がＯＮになったとき、動画撮影が中断される。そして、画像コーデック部１８からブラックアウト画像Ｐフレームが出力され、ＡＶＩに１枚挿入され、続いて３枚スキップトマクロブロック画像（ＳＭＢ画像）がＡＶＩに３枚挿入される（ブラックアウト期間）。

次に、画像コーデック部１８で静止画撮影の現像処理が終了したら、レビュー画像からストップモーション画像Ｐフレームを画像コーデック部１８が生成し、ＡＶＩに挿入する。

それ続いてストップモーション期間中はＳＭＢ画像を挿入する。ストップモーション期間中のＧＯＰの先頭フレームはレビュー画像からストップモーション画像Ｉフレームを画像コーデック部１８生成し、ＡＶＩに挿入する。

ストップモーション期間が終了し動画撮影再開されたら、通常の動画撮影動作に戻り、順次、動画フレームと音声データをＡＶＩファイルに記録していく。

以上説明したように、本実施形態によれば、動画撮影中に静止画撮影することによって生じる動画ファイルの助長なフレームをスキップトマクロブロック画像とする。このファイル構成によって動画ファイルのファイルサイズを小さくすることができる。また、記憶媒体への書き込み負荷も小さくすることができる。

＜第２の実施形態＞
本実施形態のデジタルカメラは、第１の実施形態と同様に図１に示すものであり、動画像記録中に静止画撮影した場合の処理手順も、図２のフローチャートと同様なものである。

図６は図２におけるステップＳ２１０の静止画撮影動作を行った場合の動画ファイル生成処理手順を示すフローチャートである。

ステップＳ６０１で動画撮影の中断を行ない、ステップＳ６０２でストップモーション画像の枚数Ｎ２のカウントを開始する（カウント初期値ｊ＝１）。

次にＧＯＰの先頭フレームか判断し、先頭ならば（ステップＳ６０３でＹＥＳ）、静止画撮影動画開始する直前のフレーム画像データを画像コーデック部１８でＶＧＡサイズのストップモーション画像Ｉフレームとして符号化し、出力する（ステップＳ６０４）。

ＧＯＰの先頭フレームでない場合（ステップＳ６０３でＮＯ）、ＲＯＭ２７からＶＧＡサイズのスキップトマクロブロック画像２７ｂ（ＳＭＢ画像）を出力する（ステップＳ６０５）。

次にｊがＮ２に達していないならば（ステップＳ６０６でＮＯ）、ステップＳ６０７でｊをインクリメントし、ステップＳ６０３に戻る。ｊがＮ２に達したら（ステップＳ６０６でＹＥＳ）、ステップＳ２１２へ進む（ステップＳ６０８）。

この符号化されたＶＧＡサイズの画像（ストップモーション画像Ｉフレーム）が代替フレームデータである。この代替フレームはレビュー画像や動画撮影を中断する直前の画像から生成してもよいし、任意の画像としてもよい。

図７は、本実施形態における動画像記録中の静止画撮影した場合の動画ファイルの構成図である。まず音声データ１秒分のデータがあり、動画フレームが続いている。

フレームＮｏ．４でＳＷ２がＯＮによる動画撮影の中断があり、直前のフレーム（フレームＮｏ．３）をスキップするスキップトマクロブロック画像がストップモーション期間続く。

ストップモーション期間中に存在するＧＯＰの先頭フレーム（ここではＧＯＰを１５フレーム単位とする）はフレームＮｏ．１６である。このフレームのために、動画撮影を中断する直前のフレーム（フレームＮｏ．３）を画像コーデック部１８からＩフレームを生成する。

ストップモーション期間が終了したら、フレームＮｏ．２０から通常の動画撮影を再開し、動画フレームを画像コーデック部１８で生成する。ストップモーション期間中は音声データを記録しておいてもよいし、擬似シャッター音を挿入してもよい。

以上説明したように、本実施形態によれば、動画撮影中に静止画撮影することによって生じる動画ファイルの助長なフレームをスキップトマクロブロック画像とした。これによって動画ファイルのファイルサイズを小さくすることができる。また、記憶媒体への書き込み負荷も小さくすることができる。また、ストップモーション期間中にＧＯＰごとにＩフレームを挿入するので、編集単位を固定化して、簡易編集が可能となる。また、実施形態ではＩフレーム、Ｐフレームと記載したが、インターレース画像に対してもこの実施形態は適用できる。また、本実施形態では、動画像データの形式としてＭＰＥＧ方式を用いたが、フレーム間圧縮を行うものであれば、Ｈ２６４等の他の形式でも同様に適用可能である。

＜第３の実施形態＞
本実施形態のデジタルカメラは、第１の実施形態と同様に図１に示すものであり、動画像記録中に静止画撮影した場合の処理手順は、図２のフローチャートと同様なものである。

図８は図２におけるステップＳ２１０の静止画撮影動作を行った場合の動画ファイル生成処理手順を示すフローチャートである。

図８を用いて動画ファイル生成フローを説明する。この手順は、静止画撮影動作とほぼ並列に実行されるものである。ステップＳ８０１は、図２のステップＳ２０８でＹｅｓと判断されたことに応じて開始されることを示している。先ず、ステップＳ８０１で動画撮影を中断し、ＣＰＵ２６は本処理を開始する。

次いで、ＣＰＵ２６は、ステップＳ８０２に進み、静止画撮影するために動画像撮影動作を中断する期間に対応するものとして予め設定したブラックアウト画像の枚数Ｎ１のカウントを開始する（初期値ｉ＝１）。

ステップＳ８０３で、ＣＰＵ２６は、動画フレームの第１の代替フレームとしてブラックアウト画像とスキップトマクロブロック画像を挿入するためにＧＯＰの先頭フレームかどうかを判断する。

代替フレームがＧＯＰの先頭フレーム（ステップＳ８０３でＹＥＳ）ならば、ステップＳ８０４で画像コーデック部１８において符号化されたブラックアウト画像Ｉフレームを出力する。

代替フレームがＧＯＰの先頭フレームでなく（ステップＳ８０３でＮＯ）、ｉ＝１ならば（ステップＳ８０５でＹＥＳ）、画像コーデック部１８で符号化されたブラックアウト画像Ｐフレームを出力する（ステップＳ８０６）。

代替フレームがＧＯＰの先頭フレームでなく（ステップＳ８０３でＮＯ）、ｉ＝１でないならば（ステップＳ８０５でＮＯ）、スキップトマクロブロック画像（ＳＭＢ画像）を出力する（ステップＳ３０７）。

ブラックアウト画像Ｉフレームまたはブラックアウト画像ＰフレームはあらかじめＣＰＵ２６で作成してもよい。

このスキップトマクロブロック画像２７ｂはＲＯＭ２７から読み出されて、第１の代替フレームとして動画ファイル（ＡＶＩデータ）上に挿入される。

また、後に記載するストップモーション画像がＩフレームの場合には、参照フレームとしてブラックアウト画像が必要でないため、画像コーデック部１８でブラックアウト画像を生成する必要はない。図９は、動画像記録中に静止画撮影した場合の動画ファイルの構成を示す図である。

図９において、動画再開時に必要なフレームＮｏ．２６の動画像Ｐフレームを生成するためにはフレームＮｏ．１６の情報が必要である。

フレームＮｏ．１７〜フレームＮｏ．２５はスキップトマクロブロック画像で補う。

ストップモーション画像がＩフレームの場合（フレームＮｏ．１６の場合）には、参照フレームとしてブラックアウト画像が必要ないため、画像コーデック部１８でブラックアウト画像を生成しない。

この場合、ＭＰＥＧ圧縮されたブラックアウト画像２７ａがＲＯＭ２７から読み出され、第１の代替フレームとして動画ファイル（ＡＶＩデータ）上に挿入される。ここでＲＯＭ２７からＭＰＥＧ圧縮されたブラックアウト画像２７ａを読み出すとしたが、ＣＰＵでブラックアウト画像２７ａを生成してもよい。

ステップＳ８０８でブラックアウト画像Ｎ１枚に達していない場合でかつＧＯＰの最後のフレームでない場合、（ステップＳ８０８でＮＯ）、ステップＳ８０９でｉをインクリメントし、ステップＳ８０３に戻る。

ステップＳ８０８でブラックアウト画像の枚数がＮ１枚以上でなおかつＧＯＰの最後のフレームの場合（ＳステップＳ８０８でＹＥＳ）、ステップＳ８１０に進む。

次にステップＳ８１０では、ＲＯＭ２７上に置かれた擬似シャッター音データ２７ｃを読み出して、動画ファイル（ＡＶＩデータ）の音声データに挿入する。これと共に、その擬似シャッター音データ２７ｃを音声処理部２８に出力し、スピーカー３２より再生させる。その擬似シャッター音データの時間長は、先のブラックアウト画像データの時間長とほぼ同じ時間にする。

このとき、マイク３０から録音される音声データから擬似データを急に置き換えると、データの急な切り替わりで高周波成分が発生し、エイリアシングによりノイズ音データが発生する。そこで擬似データに置き換える期間（擬似シャッター音をスピーカー３２で再生する期間でもある）は、音声処理部２８にてその期間をまず無音検出状態、すなわちミュート（無音）する。そのミュートされた音声データの上に擬似シャッター音を挿入するようにした。これにより、エイリアシングによる高周波ノイズを発生させずに高品位の擬似シャッター音を音声データに挿入することができる。

次にステップＳ８１１にて、先述した静止画撮影動作における静止画の現像処理の完了を待つ。現像が完了したらステップＳ８１２に進む。

この後ＣＰＵ２６は、図２のステップＳ２１０内の処理として、現像済みの静止画を画像コーデック部１８でＪＰＥＧ符号化し、符号化されたデータから１つの静止画ファイルを生成する。生成した静止画ファイルは動画像ファイルとは別に記録メディア２１に格納される。

この処理と平行し、またはこの後、ＣＰＵ２６は、このステップＳ３１２において、上記現像済みの静止画から、ＶＧＡサイズのレビュー画像をリサイズ部２４で生成し、ストップモーション画像の枚数Ｎ２のカウントを開始する（カウント初期値ｊ＝１）。

次にＧＯＰの先頭フレームか判断し、先頭ならば（ステップＳ３１３でＹＥＳ）、レビュー画像データを画像コーデック部１８でストップモーション画像Ｉフレームとして符号化し、出力する（ステップＳ８１４）。

ＧＯＰの先頭フレームでないならば（ステップＳ８１３でＮＯ）、スキップトマクロブロック画像（ＳＭＢ画像）を出力する（ステップＳ８１５）。

次にｊがＮ２に達していないならば（ステップＳ３１６でＮＯ）、ステップＳ３１７でｊをインクリメントし、ステップＳ８１３に戻る。ｊがＮ２に達したら（ＳステップＳ８１６でＹＥＳ）、ステップＳ２１２へ進む（ステップＳ８１８）。

以上説明したように、本実施形態によれば、動画撮影中に静止画撮影することによって生じる動画ファイルの助長なフレームをスキップトマクロブロック画像とした。これによって動画ファイルのファイルサイズを小さくすることができる。また、記憶媒体への書き込み負荷も小さくすることができる。また、ストップモーション期間中にＧＯＰの単位でＩフレームを挿入するので、編集単位を固定化して、簡易編集が可能となる。また、実施形態ではブラックアウト画像をＧＯＰ単位で生成するため、ストップモーション画像についてはブラックアウト画像を参照フレームとしないＩフレームのみが必要となるため、Ｐフレームを生成する必要がない。そのため画像コーデック部１８に対する負荷が軽減できる。なお、ＧＯＰの数は１つに限らず、それ以上の数でもよい。

本実施形態では、Ｉフレーム、Ｐフレームと記載したが、インターレース画像に対してもこの実施形態は適用できる。また、本実施形態では、動画像データの形式としてＭＰＥＧ方式を用いたが、フレーム間圧縮を行うものであれば、Ｈ２６４等の他の形式でも同様に本発明を適用可能である。

また、第２の期間であるストップモーション画像を第１の期間と同じようにＧＯＰ単位で生成してもよい。

これにより、ストップモーション画像と次の動画再開時の動画像との相関が小さい場合でも、Ｉフレームから動画記録を再開するためレート制御が容易になる。

＜第４の実施形態＞
本実施形態のデジタルカメラは、第１の実施形態と同様に図１に示すものであり、動画像記録中に静止画撮影した場合の処理手順は、図２のフローチャートと同様なものである。

図１０は図２におけるステップＳ２１０の静止画撮影動作を行った場合の動画ファイル生成処理手順を示すフローチャートである。

図１０を用いて動画ファイル生成フローを説明する。この手順は、静止画撮影動作とほぼ並列に実行されるものである。ステップＳ１００１は、図２のステップＳ２０８でＹｅｓと判断されたことに応じて開始されることを示している。先ず、ステップＳ１００１で動画撮影を中断し、ＣＰＵ２６は本処理を開始する。

次いで、ＣＰＵ２６は、ステップＳ１００２に進み、静止画撮影するために動画像撮影動作を中断する期間に対応するものとして予め設定したブラックアウト画像の枚数Ｎ１のカウントを開始する（初期値ｉ＝１）。

ステップＳ１００３で、ＣＰＵ２６は、動画フレームの第１の代替フレームとしてブラックアウト画像を挿入するためにＧＯＰの先頭フレームかどうかを判断する。

代替フレームがＧＯＰの先頭フレーム（ステップＳ１００３でＹＥＳ）ならば、ステップＳ１００４で画像コーデック部１８において符号化されたブラックアウト画像Ｉフレームを出力する。

代替フレームがＧＯＰの先頭フレームでないならば（ステップＳ１００３でＮＯ）、画像コーデック部１８で符号化されたブラックアウト画像Ｐフレームはインターマクロブロック（インターＭＢ）を出力する（ステップＳ１００５）。

本処理でのインターＭＢとはフレーム間圧縮されたＰフレームにおいて、すべてのマクロブロックを、他のフレームに基づく予測符号化を行わないイントラマクロブロックとする画像である。

通常、Ｐフレームは、フレーム間での差分情報が格納されている。また、現フレームと前フレームの差分をマクロブロック単位で算出し、その差分情報をインターマクロブロック（インターＭＢ）としている。ここで差分情報が０だと、前に述べた実施形態のように、インターマクロブロックをスキップトマクロブロックに置き換えることが可能である。しかし、本実施形態の処理では、予め符号化されたＰフレームの各マクロブロックを前方参照しないマクロブロック、つまり、フレーム内で算出されたイントラマクロブロックとする。このインターＭＢは前方参照しないので、ブラックアウト画像Ｐフレームは、予め準備しておくことが可能である。

ブラックアウト画像Ｉフレームまたはブラックアウト画像ＰフレームはあらかじめＣＰＵ２６で作成してもよい。

このブラックアウト画像２７ｂはＲＯＭ２７から読み出されて、第１の代替フレームとして動画ファイル（ＡＶＩデータ）上に挿入される。

図１１は、動画像記録中に静止画撮影した場合の動画ファイルの構成を示す図である。

図１１において、フレームＮｏ．１からＮｏ．３までは動画中断前の画像である。
動画中断後のフレームＮｏ．４からＮｏ．６はブラックアウト画像ですべてＰフレームのインターマクロブロック（インターＭＢ）で構成されている。

フレームＮｏ．４を画像コーデック部１８でブラックアウト画像ＰフレームインターＭＢを生成しておく。

第１の代替フレームの長さ（期間）は、カメラグリーンモード（ＡＵＴＯモード）の最長露光時間と等しく、約１／８秒（１２５ｍＳｅｃ）程度である。動画像が３０フレーム／秒の撮像される場合、１／８秒間でのフレーム数は“４”である。したがって、ＲＯＭ２７のブラックアウト画像（または画像コーデック部１８で生成されるブラックアウト画像）を４回、ＡＶＩファイルに挿入することになる。

なお、ブラックアウト画像の代わりに、「静止画撮影」等のメッセージを有する画像としても構わない。

ステップＳ１００６でブラックアウト画像Ｎ１枚に達していない場合（ステップＳ１００６でＮＯ）、ステップＳ１００７でｉをインクリメントし、ステップＳ１００３に戻る。ステップＳ１００６でブラックアウト画像の枚数がＮ１枚に達したら（ＳステップＳ１００６でＹＥＳ）、ステップＳ１００８に進む。

次にステップＳ１００８では、ＲＯＭ２７上に置かれた擬似シャッター音データ２７ｃを読み出して、動画ファイル（ＡＶＩデータ）の音声データに挿入する。これと共に、その擬似シャッター音データ２７ｃを音声処理部２８に出力し、スピーカー３２より再生させる。その擬似シャッター音データの時間長は、先のブラックアウト画像データの時間長とほぼ同じ時間にする。

このとき、マイク３０から録音される音声データから擬似データを急に置き換えると、データの急な切り替わりで高周波成分が発生し、エイリアシングによりノイズ音データが発生する。そこで擬似データに置き換える期間（擬似シャッター音をスピーカー３２で再生する期間でもある）は、音声処理部２８にてその期間をまず無音検出状態、すなわちミュート（無音）する。そのミュートされた音声データの上に擬似シャッター音を挿入するようにした。これにより、エイリアシングによる高周波ノイズを発生させずに高品位の擬似シャッター音を音声データに挿入することができる。

次にステップＳ１００９にて、先述した静止画撮影動作における静止画の現像処理の完了を待つ。現像が完了したらステップＳ１０１０に進む。

この後ＣＰＵ２６は、図２のステップＳ２１０内の処理として、現像済みの静止画を画像コーデック部１８でＪＰＥＧ符号化し、符号化されたデータから１つの静止画ファイルを生成する。生成した静止画ファイルは動画像ファイルとは別に記録メディア２１に格納される。

この処理と平行し、またはこの後、ＣＰＵ２６は、このステップＳ１０１０において、上記現像済みの静止画から、ＶＧＡサイズのレビュー画像をリサイズ部２４で生成し、ストップモーション画像の枚数Ｎ２のカウントを開始する（カウント初期値ｊ＝１）。

次にＧＯＰの先頭フレームか判断し、先頭ならば（ステップＳ１０１１でＹＥＳ）、レビュー画像データを画像コーデック部１８でストップモーション画像Ｉフレームとして符号化し、出力する（ステップＳ１０１２）。

ＧＯＰの先頭フレームでないならば（ステップＳ１０１１でＮＯ）、レビュー画像データを画像コーデック部１８でストップモーション画像ＰフレームインターＭＢとして符号化し、出力する（ステップＳ１０１３）。

次にｊがＮ２に達していないならば（ステップＳ１０１４でＮＯ）、ステップＳ１０１５でｊをインクリメントし、ステップＳ１０１１に戻る。ｊがＮ２に達したら（ステップＳ１０１４でＹＥＳ）、ステップＳ２１２へ進む（ステップＳ１０１６）。

以上説明したように、本実施形態によれば、動画撮影中に静止画撮影することによって生じる動画ファイルの助長なＰフレームをインターＭＢ画像とした。これによって参照画像を必要としないため画像コーデック部１８に対する負荷が軽減できる。

Ｉフレーム、Ｐフレームと記載したが、インターレース画像に対してもこの実施形態は適用できる。また、本実施形態では、動画像データの形式としてＭＰＥＧ方式を用いたが、フレーム間圧縮を行うものであれば、Ｈ２６４等の他の形式でも同様に適用可能である。

本発明の実施形態におけるデジタルカメラのブロック図を示す図である。 本発明の実施形態における動画像記録中に静止画撮影した場合の処理手順を示すフローチャートである。 本発明の第１の実施形態における静止画撮影動作を行った場合の動画ファイルの生成処理手順を示すフローチャートである。 本発明の実施形態における動画像記録中に静止画撮影した場合のシーケンスを示す図である。 本発明の第１の実施形態における動画像記録中の静止画撮影した場合の動画ファイルの構成図である。 本発明の第２の実施形態における静止画撮影動作を行った場合の動画ファイルの生成処理手順を示すフローチャートである。 本発明の第２の実施形態における動画像記録中の静止画撮影した場合の動画ファイルの構成図である。 本発明の第３の実施形態における静止画撮影動作を行った場合の動画ファイルの生成処理手順を示すフローチャートである。 本発明の第３の実施形態における動画像記録中の静止画撮影した場合の動画ファイルの構成図である。 本発明の第４の実施形態における静止画撮影動作を行った場合の動画ファイルの生成処理手順を示すフローチャートである。 本発明の第４の実施形態における動画像記録中の静止画撮影した場合の動画ファイルの構成図である。

符号の説明

８ 画像コーデック部
１０ 撮像素子
１６ 信号処理部
２１ 記録メディア
２３ 操作部
２６ ＣＰＵ
２７ ＲＯＭ

Claims (23)

1. 撮像手段で撮像した画像データを記録媒体に記録する撮像装置であって、
   前記撮像手段により連続して撮像することで得られる動画像を動画像ファイルとして前記記録媒体に記録する動画撮影動作を制御する動画撮影制御手段と、
   前記撮像手段で撮像することで得られる静止画を静止画ファイルとして前記記録媒体に記録する静止画撮影動作を制御する静止画撮影制御手段と、
   前記動画撮影動作が実行されている期間に、静止画撮影動作の指示が入力された場合、前記静止画撮影制御手段は前記静止画撮影動作を制御して前記静止画ファイルを前記記録媒体に記録し、前記動画撮影制御手段は前記動画撮影動作を中断し、前記中断した期間に対応する動画像を代替する画像の少なくとも１つとして差分情報がゼロであるフレーム間圧縮された画像を挿入した動画像ファイルを生成し前記記録媒体に記録することを特徴とする撮像装置。
2. 前記差分情報がゼロとするフレーム間圧縮された画像はスキップトマクロブロック画像とすることを特徴とする請求項１に記載の撮像装置。
3. 前記動画ファイルに挿入する同じ画像が、ＧＯＰの先頭から始まる場合は、前記静止画撮影動作を行う直前の画像または任意の画像をＩフレームとして生成する生成手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記中断の期間は、静止画撮影動作のうち、少なくとも前記撮像手段から静止画用の画像データを読み出し、現像処理が完了するまでの期間を含むことを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 撮影した画像を表示するための表示手段と、前記静止画を撮像した後に、当該静止画撮影で得られた画像データに基づいて、前記表示手段に表示するためのレビュー画像を生成する手段をさらに備え、前記中断の期間の代替画像として、前記レビュー画像を用いることを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記動画撮影制御手段は、前記静止画撮影動作を行う期間のうち第１の期間では、所定の代替フレームと前記差分情報がゼロとするフレーム間圧縮された画像を挿入し、前記前記第１の期間に続く第２の期間では、前記静止画の撮影指示を受けて撮影した静止画に相当する画像と前記差分情報がゼロとするフレーム間圧縮された画像を挿入することを特徴とする請求項１から４のいずれかに記載の撮像装置。
7. 音声入力手段をさらに備え、前記動画撮影動作は、前記音声入力手段で得られた音声情報と共に、動画像を前記記録媒体に記録する動作を含むことを特徴とする請求項１から６のいずれかに記載の撮像装置。
8. 前記生成手段は、前記第１の期間内に、擬似的なシャッター音の音声情報を挿入し、前記第２の期間では、前記音声入力手段で入力した音声情報を挿入することを特徴とする請求項７に記載の撮像装置。
9. 前記第１の期間における前記擬似的なシャッター音の音声情報を挿入する期間では、前記音声入力手段を停止し、無音検出状態にすることを特徴とする請求項８に記載の撮像装置。
10. 前記動画撮影制御手段は、前記第２の期間において、撮像して得られた静止画データを、動画像として記録される大きさの画像までリサイズして記録することを特徴とする請求項６から９のいずれかに記載の撮像装置。
11. 前記第１の期間は、固定期間であることを特徴とする請求項６に記載の撮像装置。
12. 前記第１の期間は、少なくとも前記撮像手段による静止画撮影の際のシャッターが開いている露光期間を含むことを特徴とする請求項６に記載の撮像装置。
13. 前記第２の期間は、少なくとも前記撮像素子から静止画用の画像データを読み出し、現像処理が完了するまでの期間を含むことを特徴とする請求項６に記載の撮像装置。
14. 撮影した画像を表示するための表示手段と、前記静止画を撮像した後に、当該静止画撮影で得られた画像データに基づいて、前記表示手段に表示するためのレビュー画像を生成する手段をさらに備え、前記第２の期間で挿入する画像データとして、前記レビュー画像を用いることを特徴とする請求項６に記載の撮像装置。
15. 前記第１の期間で挿入される代替フレームはブラックアウト画像であることを特徴とする請求項６に記載の撮像装置。
16. 第１、第２の期間に対して前記代替フレームはＧＯＰごとに出力することを特徴とする請求項６に記載の撮像装置。
17. 前記差分情報がゼロとするフレーム間圧縮された画像を画像サイズごとにＲＯＭに持っておくことを特徴とする請求項１または６に記載の撮像装置。
18. 前記差分情報がゼロとするフレーム間圧縮された画像を画像サイズごとにＣＰＵで生成することを特徴とする請求項１または６に記載の撮像装置。
19. 前記動画撮影制御手段は、前記第１の期間がＧＯＰの数に応じて決まる期間になるように制御することを特徴とする請求項６に記載の撮像装置。
20. 前記動画撮影制御手段は、前記第２の期間がＧＯＰの数に応じて決まる期間になるように制御することを特徴とする請求項６に記載の撮像装置。
21. 前記第１の期間のフレーム間圧縮された画像は、他のフレームに基づく予測符号化を行わないインターマクロブロックの画像とすることを特徴とする請求項１に記載の撮像装置。
22. 前記第２の期間のフレーム間圧縮された画像は、前記インターマクロブロックの画像とすることを特徴とする請求項１に記載の撮像装置。
23. 撮像手段により連続して撮像することで得られる動画像を動画像ファイルとして記録媒体に記録する動画撮影動作と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして前記記録媒体に記録する静止画撮影動作とを実行する機能を有する撮像装置の制御方法であって、
    前記動画撮影動作が実行されている期間に、静止画撮影動作の指示が入力された場合、前記動画撮影動作を中断し、前記静止画撮影動作を制御して前記静止画ファイルを前記記録媒体に記録し、前記中断した期間に対応する動画像を代替する画像の少なくとも１つとして差分情報がゼロであるフレーム間圧縮された画像を挿入した動画像ファイルを生成し前記記録媒体に記録することを特徴とする撮像装置の制御方法。

Images