JP3729189B2

JP3729189B2 - 撮像装置

Info

Publication number: JP3729189B2
Application number: JP2003276803A
Authority: JP
Inventors: 克美金子; 拓木原; 文彦須藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2005-12-21
Anticipated expiration: 2023-07-18
Also published as: US7733378B2; EP1538830A4; JP2005039709A; CN1701594A; AU2004264252B8; US20060061666A1; CN100372367C; CA2499416A1; KR20060113837A; AU2004264252A8; EP1538830B1; DE602004024638D1; WO2005009030A1; KR101035777B1; AU2004264252A1; AU2004264252B2; EP1538830A1; CA2499416C

Description

この発明は撮像装置に関する。詳しくは、可変速フレームレート撮像画像の第１画像信号と外部から供給された第２画像信号のフレームレートを一致させて、このフレームレートが一致された第１画像信号と第２画像信号を用いて、モニタ用画像信号を生成するものである。

従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち１秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。

また、テレビジョン番組制作等では、番組の撮像や編集および送出等のディジタル化が図られていたが、ディジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもディジタル化が図られてきている。

ここで、映画製作等のディジタル化により撮像装置（ビデオカメラ）を用いて撮像を行うものとした場合、上述のように特殊な映像効果を得るためには、例えば所定の速度で撮像を行って得られた画像信号だけでなく、高速に撮像を行って得られた画像信号や低速に撮像を行って得られた画像信号を、サーバ等の記録装置に全て記録させる。次に、この記録されている画像信号から特殊な映像効果を得るために必要とされるフレーム画像の画像信号を読み出して画像処理を行うことで、特殊な映像効果を得られる画像信号が生成される。

また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することが可能とされている特許文献１の撮像装置を用いて、所定のフレームレートよりもフレームレートを低下して撮像を行い、所定のフレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い所定のフレームレートで再生すれば、簡単にスロー再生画像を得ることができる。

特開２０００−１２５２１０号公報

ところで、撮像装置では、ビデオテープや光ディスク等の記録媒体に記録されている画像を再生装置で再生して、例えば再生装置からの再生画像を撮像画像と共に画像表示装置である電子ビューファインダーやモニタ装置で表示して、撮像画像の画質や色合い等が再生画像と同等となるように撮像装置が設定される。しかし、フレームレートを可変できる撮像装置で生成された画像信号と再生装置から供給された画像信号のフレームレートが異なると、２つの画像信号を同期させることができないため、画像表示装置に再生画像と撮像画像を同時に表示することができない。

そこで、この発明では、撮像画像と、この撮像画像とはフレームレートが異なる画像を同時に表示可能とする撮像装置を提供するものである。

この発明に係る撮像装置は、可変速フレームレート撮像画像の第１画像信号を生成する画像信号生成手段と、第１画像信号のフレームレートと外部から供給された第２画像信号のフレームレートを一致させるフレームレート変換手段と、フレームレート変換手段で、フレームレートが一致された第１画像信号と第２画像信号を用いて、モニタ用画像信号を生成する信号生成手段を有するものである。

この発明においては、可変速フレームレート撮像画像の第１画像信号と外部から供給された第２画像信号のフレームレートが一致される。例えば第２画像信号のフレームレートが第１画像信号のフレームレートに変換される。このフレームレートが一致された第１画像信号と第２画像信号を用いて、第１画像信号に基づく画像と第２画像信号に基づく画像を混合した画像の画像信号が生成されてモニタ用画像信号として出力される。また、フレームレートが一致された第１画像信号と第２画像信号を用いて、第１画像信号に基づく画像の一部を第２画像信号に基づく画像に置き換えた画像の画像信号が生成されてモニタ用画像信号として出力される。

この発明によれば、可変速フレームレート撮像画像の第１画像信号と外部から供給された第２画像信号のフレームレートが一致されて、このフレームレートが一致された第１画像信号と第２画像信号を用いて、モニタ用画像信号が生成される。このため、フレームレートが異なる画像を１つの画面上に同時に表示できる。

また、第２画像信号のフレームレートを第１画像信号のフレームレートに一致させることで、フレームレート変換による信号の遅延が第１画像信号に生ずることがなく、可変速フレームレート撮像画像を遅延なく表示させることができる。

また、第１画像信号と第２画像信号を用いて、第１画像信号に基づく画像と第２画像信号に基づく画像を混合した画像の画像信号がモニタ用画像信号として生成されるので、例えば予め撮影されている背景画像等に撮像中の画像を重畳して表示させることができる。さらに、第１画像信号と第２画像信号を用いて、第１画像信号に基づく画像の一部を第２画像信号に基づく画像に置き換えた画像の画像信号がモニタ用画像信号として生成される。このため、撮像済みの画像と撮像中の画像を１画面上に同時に表示して、例えば撮像中の画像が撮像済みの画像と同等な輝度や色相等なるように撮像装置を容易に調整できる。

以下、図を参照しながら、この発明を実施するための一形態について説明する。図１は撮像装置の構成を示している。画像信号生成部１０の撮像部１１を構成する撮像素子（図示せず）の撮像面上には、撮像レンズ（図示せず）を通して入射された光に基づいた被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成し、駆動部１２から供給された駆動制御信号ＲＣに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を撮像信号Ｓpaとして撮像信号処理部１３に供給する。

駆動部１２は、後述する制御部５０から供給された制御信号ＣＴや同期信号ＳＹaに基づいて駆動制御信号ＲＣを生成して撮像部１１に供給する。

撮像信号処理部１３は、撮像信号Ｓpaを増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をディジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、画像信号ＤＶaを生成する。この画像信号ＤＶaは、フレーム加算処理部１４に供給される。なお、撮像信号処理部１３で行う信号処理動作は、後述する制御部５０から供給された制御信号ＣＴに基づいて設定される。

フレーム加算処理部１４は、画像信号ＤＶaに対してフレーム加算処理を行い、画像信号ＤＶaのフレームレートを可変する。このフレーム加算処理は、ＲＡＭ(Random Access Memory)を用いて行うことができる。例えば、３フレーム加算を行う場合、１フレーム目の画像信号ＤＶaをＲＡＭ-1に記憶させ、このＲＡＭ-1に記憶された信号を読み出して２フレーム目の画像信号ＤＶaと加算してＲＡＭ-2に記憶させる。このＲＡＭ-2に記憶されている加算信号を読み出して３フレーム目の画像信号ＤＶaと加算してＲＡＭ-3に記憶させる。このＲＡＭ-3に記憶された信号は、３フレーム分の画像信号ＤＶaを加算した信号となり、この信号を読み出して信号レベルを（１／３）倍すれば、所要の信号レベルであるとともに、フレームレートを１／３倍した信号となる。また、４フレーム目の画像信号ＤＶaをＲＡＭ-1に記憶させ、このＲＡＭ-1に記憶された信号を読み出して５フレーム目の画像信号ＤＶaと加算してＲＡＭ-2に記憶させる。このＲＡＭ-2に記憶されている加算信号を読み出して６フレーム目の画像信号ＤＶaと加算してＲＡＭ-3に記憶させる。このＲＡＭ-3に記憶された信号は、３フレーム分の画像信号ＤＶaを加算した信号となり、この信号を読み出して信号レベルを（１／３）倍すれば、所要の信号レベルであるとともに、フレームレートを１／３倍した信号となる。以下同様にして、３フレーム分の画像信号ＤＶaを加算した所要の信号レベルの画像信号を順次生成することができる。

また、このようにして順次生成された信号を、予め定められた出力フレームレートで読み出すものとすれば、出力フレームレートの画像信号内に、画像信号ＤＶaのフレームレートを１／３倍したフレームレートでの撮像画像が含まれた画像信号ＤＶbとなる。

なお、フレーム加算処理は、フレーム遅延回路を用いても行うことができる。例えば、１フレーム目の画像信号ＤＶaをフレーム遅延回路で２フレーム期間遅延させると共に、２フレーム目の画像信号ＤＶaをフレーム遅延回路で１フレーム期間遅延させる。この遅延させた１フレーム目の画像信号と２フレーム目の画像信号ＤＶaを、３フレーム目の画像信号ＤＶaに加算して３フレーム分の画像信号ＤＶaが加算された信号を得る。この信号を上述のように、予め定められたフレームレート例えば制御部５０から供給された同期信号ＳＹbに同期して読み出したのち信号レベルを（１／３）倍すれば、所要の信号レベルであるとともに、出力フレームレートの画像信号内に、画像信号ＤＶaのフレームレートを１／３倍したフレームレート分の撮像画像が含まれた画像信号ＤＶbを得ることができる。

このようにフレーム加算処理を行うことで、例えば画像信号ＤＶaのフレームレートが「６０Ｐ（数字は１秒当たりのフレーム数、Ｐはプログレッシブ方式の信号であることを示すものであり、他の場合も同様である)」であるとき、加算フレーム数を２フレームとして例えば６０Ｐの出力フレームレートで読み出すものとすれば、「３０Ｐ」のフレームレートでの撮像画像が含まれた画像信号を得ることができる。また加算フレーム数を４フレームとすれば、「１５Ｐ」のフレームレートでの撮影画像が含まれた画像信号を得ることができる。

さらに、加算フレーム数の切り換えだけでなく、撮像素子からの信号読み出しを制御して撮像信号Ｓpaのフレームレートを可変すれば、撮像画像のフレームレートを連続して可変することが可能となり、所望のフレームレートで撮像した画像である可変速フレームレート撮像画像が含まれた、出力フレームレートの画像信号ＤＶbを生成できる。

ここで、撮像信号Ｓpaのフレームレートを可変する場合、駆動部１２から撮像部１１に供給する駆動制御信号ＲＣによって、撮像素子での電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された撮像信号Ｓpaを得ることができる。さらに、ＣＤＲ方式(Common Data Rate:共通サンプリング周波数方式)を用いるものとして、水平帰線期間あるいは垂直帰線期間の長さを調整して、撮像フレームレートＦＲpの可変処理を行うものとすれば、撮像フレームレートＦＲpを可変しても有効画面期間の画像サイズが変化しない撮像信号Ｓpaを生成できる。また、ＣＤＲ方式を用いることで、撮像フレームレートＦＲpを用いる各部の動作周波数を撮像フレームレートＦＲpに応じて可変する必要がなく、構成が簡単となる。

このようにして、フレーム加算処理部１４で生成された出力フレームレートの画像信号ＤＶbは、モニタ用画像信号生成部４０のミックス処理部４１とワイプ処理部４２と出力選択部４３および撮像装置に接続された記録再生装置６０の記録処理部６１に供給される。

記録処理部６１は、供給された画像信号ＤＶbに含まれている可変速フレームレート撮像画像の画像信号を抽出する。さらに抽出した画像信号に対して、変調処理や誤り訂正符号の付加処理等を行い記録信号ＷＳを生成する。この記録信号ＷＳを記録ヘッド６２Ｗに供給して記録媒体７０に撮像画像を記録する。また、記録媒体７０に記録されている撮像画像を再生ヘッド６２Ｒによって読み出して、得られた読出信号ＲＳを再生処理部６３に供給する。再生処理部６３は、誤り訂正処理や復調処理を行い、得られた画像信号ＤＶrを撮像装置の入力選択部２１に供給する。

入力選択部２１は、入力端子２２と接続されており、入力端子２２を介して画像信号が供給可能とされている。この入力選択部２１は、後述する制御部５０からの入力選択信号ＳＩＥに基づき、再生処理部６３から供給された画像信号ＤＶr、あるいは入力端子２２を介して供給された画像信号ＤＶsの何れかを選択する。さらに、選択した画像信号を、画像信号ＤＶuとしてフレームレート変換部３０の画像信号保持部３１に供給する。また、フレームレート変換部３０に供給する画像信号ＤＶuから抽出した同期信号ＳＹuを書込制御部３２に供給する。

フレームレート変換部３０の書込制御部３２は、画像信号保持部３１に画像信号ＤＶuを書き込むための書込クロック信号ＣＫＷと書込制御信号ＳＥＷを、供給された同期信号ＳＹuに基づいて生成して画像信号保持部３１に供給する。

読出制御部３３は、制御部５０から同期信号ＳＹbが供給されており、画像信号保持部３１に書き込まれた画像信号を読み出すための読出クロック信号ＣＫＲと読出制御信号ＳＥＲを、供給された同期信号ＳＹbに基づいて生成して画像信号保持部３１に供給する。

図２は、画像信号保持部３１の構成を示している。画像信号保持部３１は、入力選択部２１から供給された画像信号ＤＶuをメモリに書き込み、このメモリに書き込まれた画像信号ＤＶuを、画像信号ＤＶbに同期させて読み出す。例えば、３つのＲＡＭ(Random Access Memory)３１２-1〜３１２-3を設けるものとして、信号セレクタ３１１を書込制御信号ＳＥＷによって駆動して、画像信号ＤＶuをＲＡＭ３１２-1〜３１２-3にフレーム単位で順次振り分ける。また、画像信号ＤＶuが振り分けられるＲＡＭに対して書込クロック信号ＣＫＷを供給して、振り分けられる画像信号ＤＶuをＲＡＭに記憶させる。また、読出クロック信号ＣＫＲをＲＡＭ３１２-1〜３１２-3に供給して、ＲＡＭ３１２-1〜３１２-3に記憶されている画像信号ＤＶuを画像信号ＤＶbに同期して読み出す。さらに、信号セレクタ３１３を読出制御信号ＳＥＲによって駆動して、読み出された画像信号ＤＶuを振り分けられた順に選択して、画像信号ＤＶwとしてミックス処理部４１とワイプ処理部４２と出力選択部４３に供給する。

ミックス処理部４１は、画像信号ＤＶbに基づく画像と画像信号ＤＶwに基づく画像を混合した画像の画像信号ＤＶmixを生成して出力選択部４３に供給する。例えば、画像信号ＤＶbと画像信号ＤＶwを加算したのち信号レベルを１／２倍として画像信号ＤＶmixを生成する。なお、制御部５０からのミックス制御信号をミックス処理部４１に供給して、画像信号ＤＶbに基づく画像と画像信号ＤＶwに基づく画像の混合比を可変するものとしても良い。

ワイプ処理部４２は、画像信号ＤＶbに基づく画像の一部を画像信号ＤＶwに基づく画像に置き換えた画像の画像信号ＤＶwpを生成する。例えば垂直走査や水平走査の途中で画像信号ＤＶbと画像信号ＤＶwの切り替えを行い画像信号ＤＶwpを生成する。なお、制御部５０からワイプ制御信号をワイプ処理部４２に供給して、画像信号ＤＶbと画像信号ＤＶwの切り替えタイミングを可変するものとしても良い。

出力選択部４３は、制御部５０からのモニタ出力選択信号ＭＥに基づき、画像信号ＤＶb，ＤＶw，ＤＶmix，ＤＶwpの何れかを選択してモニタ用画像信号ＤＭＴoutとして出力する。また、モニタ用画像信号ＤＭＴoutをアナログ信号として出力するときには、モニタ用画像信号ＤＭＴoutをＤ／Ａ変換部４４に供給して、モニタ用画像信号ＤＭＴoutをアナログのモニタ用画像信号ＳＭＴoutとして出力する。

制御部５０には、ユーザインタフェース部５１が接続されている。このユーザインタフェース部５１を介して、ユーザ操作に応じた操作信号ＰＳが供給されると、制御部５０は、この操作信号ＰＳに基づいて制御信号ＣＴ等を生成して各部の動作を制御することにより、撮像装置をユーザの操作に応じて動作させる。また、撮像画像のフレームレートを設定するフレームレート設定信号ＲＳＦがユーザインタフェース部５１を介して、制御部５０に供給されたとき、例えば操作部で撮像速度の切り換えを行い、操作信号ＰＳとしてフレームレート設定信号ＲＳＦが制御部５０に供給されたとき、あるいはリモートコントロール装置や外部の機器からフレームレート設定信号ＲＳＦが制御部５０に供給されたとき、制御部５０は、フレームレート設定信号ＲＳＦに基づいて、撮像部１１で生成する撮像信号Ｓpaのフレームレートやフレーム加算処理部１４の加算フレーム数を制御信号ＣＴを用いて制御する。さらに、操作信号ＰＳに基づき、入力選択信号ＳＩＥやモニタ出力選択信号ＭＥの生成も行う。また、撮像信号Ｓpaを生成するために同期信号ＳＹaを駆動部１２に供給する。また、画像信号ＤＹbを生成するために同期信号ＳＹbをフレーム加算処理部１４に供給するとともに、この同期信号ＳＹbを読出制御部３３に供給する。また、撮像装置に記録再生装置６０が接続されるときには、操作信号ＰＳに基づいて記録再生装置６０の動作を制御する。

次に、撮像装置の動作について説明する。フレームレート設定信号ＲＳＦによって設定される撮像画像のフレームレート（可変速フレームレートＦＲc）は、上述したように撮像部１１で生成される撮像信号Ｓpaのフレームレート（撮像フレームレートＦＲp）とフレーム加算処理部１４での加算フレーム数ＦＡを切り替えることで連続して可変できる。例えば図３に示すように、フレームレート設定信号ＲＳＦによって可変速フレームレートＦＲcが「６０Ｐ≧ＦＲc＞３０Ｐ」の範囲内に設定されたときは、加算フレーム数ＦＡを「１」として、撮像フレームレートＦＲpを可変速フレームレートＦＲcと等しくする。可変速フレームレートＦＲcが「３０Ｐ≧ＦＲc＞２０Ｐ」の範囲内に設定されたときは、加算フレーム数ＦＡを「２」として、撮像フレームレートＦＲpを可変速フレームレートＦＲcの２倍とする。可変速フレームレートＦＲcが「２０Ｐ≧ＦＲc＞１５Ｐ」の範囲内に設定されたときは、加算フレーム数ＦＡを「３」として、撮像フレームレートＦＲpを可変速フレームレートＦＲcの３倍とする。以下同様にして、撮像フレームレートＦＲpと加算フレーム数ＦＡを切り替える。

図４は画像信号ＤＶbの生成動作を説明するための図である。例えば可変速フレームレートＦＲcを「１８Ｐ」とする場合、撮像フレームレートは「５４Ｐ」、加算フレーム数は「３」となる。なお、図４Ａは画像信号ＤＶaのフレーム、図４Ｂはフレーム加算処理部１４を構成するＲＡＭ-1の動作、図４ＣはＲＡＭ-2の動作、図４ＤはＲＡＭ-3の動作、図４Ｅは画像信号ＤＶbのフレームを示している。また、画像信号ＤＶbのフレームレートである出力フレームレートは、画像信号ＤＶbが供給される機器に合わせて例えば「６０Ｐ」とする。

画像信号ＤＶaのフレーム「０f」が開始する図４Ａ〜図４Ｅの時点ｔ1において、フレーム加算処理部１４は、例えばＲＡＭ-1を書き込みＲＡＭに設定して、書き込みＲＡＭにフレーム「０f」の画像信号ＤＶaを記憶させる。

時点ｔ2で画像信号ＤＶbのフレーム開始タイミングとなったとき、３フレームの画像信号の加算が完了していないことから、画像信号ＤＶbはブランクフレームとする。

画像信号ＤＶaのフレーム「０f」が終了してフレーム「１f」が開始するタイミングである時点ｔ3では、フレーム「０f」の画像信号が記憶されたＲＡＭ-1を内部読み出しＲＡＭとして指定するとともに、書き込みＲＡＭをＲＡＭ-1から例えばＲＡＭ-2に変更する。さらに、内部読み出しＲＡＭに記録されている信号、すなわちＲＡＭ-1に記憶されているフレーム「０f」の信号を読み出して、この信号にフレーム「１f」の画像信号ＤＶaを加算器で加算して書き込みＲＡＭであるＲＡＭ-2に記憶させる。

画像信号ＤＶaのフレーム「１f」が終了してフレーム「２f」が開始するタイミングである時点ｔ4となると、３フレームの加算信号を生成するために、フレーム「０ｆ」とフレーム「１ｆ」を加算した信号が書き込まれているＲＡＭ-2を内部読み出しＲＡＭに指定する。また、書き込みＲＡＭをＲＡＭ-2から例えばＲＡＭ-3に変更する。さらに、内部読み出しＲＡＭに記録されている信号、すなわちＲＡＭ-2に記憶されている信号を読み出して、この信号にフレーム「２f」の画像信号ＤＶaを加算器で加算して書き込みＲＡＭであるＲＡＭ-3に記憶させる。

画像信号ＤＶaのフレーム「２f」が終了してフレーム「３f」が開始するタイミングである時点ｔ5となると、３フレーム分の画像信号ＤＶaを加算した３フレーム加算信号の生成が完了したことから、この３フレーム加算信号が記憶されているＲＡＭ-3を外部読み出しＲＡＭに指定する。また、ＲＡＭ-1を書き込みＲＡＭに設定して、書き込みＲＡＭにフレーム「３f」の画像信号ＤＶaを記憶させる。

３フレーム加算信号の生成後、画像信号ＤＶbのフレーム開始タイミングとなった場合、例えば時点ｔ6で画像信号ＤＶbのフレーム開始タイミングとなった場合、３フレーム加算信号を外部読み出しＲＡＭから読み出して、この読み出した信号の信号レベルを「１／３」倍して画像信号ＤＶbとして出力させる。また、外部読み出しＲＡＭから３フレーム加算信号の読み出しを行い画像信号ＤＶbを生成したフレームを有効画像のフレームとする。なお、ＲＡＭに対して３フレーム加算信号の書き込みが完了していないとき、あるいは書き込みが完了している３フレーム加算信号の読み出しが完了しているときに、画像信号ＤＶbのフレーム開始タイミングとなった場合、前のフレームの画像信号ＤＶbを繰り返し用いるものとして、このフレームを無効画像フレームとする。この場合、画像信号ＤＶbにおいて、各フレームの撮影画像の画像信号間にブランクフレームが設けられてしまうことがない。

以下同様に、ＲＡＭ-1〜ＲＡＭ-3と加算器等を使用して画像信号ＤＶaを３フレーム加算して３フレーム加算信号を生成し、この３フレーム加算信号を画像信号ＤＶbのフレーム開始タイミングで読み出すことにより、有効画像が可変速フレームレートＦＲcで含まれた出力フレームレートの画像信号ＤＶbを得ることができる。すなわち、図４Ｅに示すように、外部機器に対応した出力フレームレート「６０Ｐ」であり、所望の可変速フレームレート「１８Ｐ」で有効な撮像画像が含まれた画像信号ＤＶbを生成することができる。なお、図４Ｆは、画像信号ＤＶbのフレームが有効画像フレームであるか無効画像フレームであるかを示したフラグＥＦである。

記録再生装置６０では、フラグＥＦを利用して画像信号ＤＶbから有効画像フレームの画像信号を抽出し、記録媒体７０に記録する。また記録した画像信号の再生時には、画像信号ＤＶbと異なる再生フレームレート、例えば「２４Ｐ」のフレームレートで読み出しを行い、再生フレームレートの画像信号ＤＶrを入力選択部２１に供給する。このように、画像信号ＤＶbと異なる再生フレームレートで記録されている信号を再生すると、可変速フレームレートＦＲcが再生フレームレートと等しくされているときは、実際の被写体と動きの速度が等しい撮像画像を得ることができる。また、可変速フレームレートＦＲcが再生フレームレートよりも高く設定されているときは、被写体の動きを遅くした撮像画像を得ることができる。さらに、可変速フレームレートＦＲcが再生フレームレートよりも低く設定されているときは、被写体の動きを早くした撮像画像を得ることができる。

入力選択部２１は、固定フレームレートの画像信号ＤＶrあるいは画像信号ＤＶsの何れかを画像信号ＤＶuとして選択してフレームレート変換部３０に供給する。フレームレート変換部３０は、画像信号ＤＶuのフレームレートを画像信号ＤＶbのフレームレートに同期した画像信号ＤＶwに変換する。

図５は、フレームレート変換部３０の動作を説明するためのものであり、例えば画像信号ＤＶbのフレームレートが上述のように「６０Ｐ」で、画像信号ＤＶuのフレームレートが「２４Ｐ」である場合を示している。なお、図５Ａは画像信号ＤＶuのフレーム、図５ＢはＲＡＭ３１２-1の動作、図５ＣはＲＡＭ３１２-2の動作、図５ＤはＲＡＭ３１２-3の動作、図５Ｅは画像信号ＤＶwのフレーム、図５Ｆは画像信号ＤＶbのフレームを示している。

画像信号ＤＶuのフレーム「Ｆ０」が開始する図５Ａ〜図５Ｆの時点ｔ11において、フレームレート変換部３０は、例えばＲＡＭ３１２-1を書き込みＲＡＭに設定して、画像信号ＤＶuを信号セレクタ３１１によって書き込みＲＡＭに供給し、フレーム「Ｆ０」の画像信号ＤＶuを書き込みＲＡＭであるＲＡＭ３１２-1に記憶させる。

時点ｔ12で画像信号ＤＶbに同期したフレームのフレーム開始タイミングとなったとき、フレーム「Ｆ０」の画像信号ＤＶuの書き込みが終了していないことから、画像信号ＤＶwはブランクフレームとする。

画像信号ＤＶuのフレーム「Ｆ０」が終了してフレーム「Ｆ１」が開始するタイミングである時点ｔ13では、フレーム「Ｆ０」の画像信号が記憶されたＲＡＭ３１２-1を読み出しＲＡＭとして指定する。また、書き込みＲＡＭをＲＡＭ３１２-1から例えばＲＡＭ３１２-2に変更して、画像信号ＤＶuを信号セレクタ３１１によって書き込みＲＡＭに供給し、次のフレーム「Ｆ１」の画像信号ＤＶuをＲＡＭ３１２-2に記憶させる。

読み出しＲＡＭの指定後、時点ｔ14で画像信号ＤＶbのフレーム開始タイミングとなったとき、読み出しＲＡＭから読み出された画像信号を信号セレクタ３１３で選択して画像信号ＤＶwとして出力する。

その後、時点ｔ15で画像信号ＤＶuのフレーム「Ｆ１」が終了してフレーム「Ｆ２」が開始するときには、読み出しＲＡＭをＲＡＭ３１２-1からフレーム「Ｆ１」の画像信号が記憶されたＲＡＭ３１２-2に切り替える。また、書き込みＲＡＭをＲＡＭ３１２-2からＲＡＭ３１２-3に変更して、画像信号ＤＶuのフレーム「Ｆ２」をＲＡＭ３１２-3に記憶させる。

以下同様にして、ＲＡＭ３１２-1〜３１２-3に画像信号ＤＶuを、この画像信号ＤＶuのフレームレートで書き込み、ＲＡＭ３１２-1〜３１２-3に書き込まれた画像信号ＤＶuを、画像信号ＤＶbに同期したフレームレートで書き込んだフレーム順に読み出すことで、画像信号ＤＶuを画像信号ＤＶbに同期したフレームレートの画像信号ＤＶwに変換できる。

ミックス処理部４１は、画像信号ＤＶbと画像信号ＤＶwが同期した信号とされていることから、画像信号ＤＶbと画像信号ＤＶwを用いて画像信号ＤＶmixを生成できる。また、ワイプ処理部４２は、画像信号ＤＶbと画像信号ＤＶwが同期した信号とされていることから、画像信号ＤＶbと画像信号ＤＶwを用いて画像信号ＤＶwpを生成できる。

このため、出力選択部４３から画像信号ＤＶbをモニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力するように信号選択動作を制御すれば、撮像画像をモニターすることができる。また、画像信号ＤＶwをモニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力するように信号選択動作を制御すれば、記録媒体７０を再生したときの再生画像や入力端子２２から入力された画像信号ＤＶsに基づく画像を電子ビューファインダーやモニター装置に表示することができる。

さらに、画像信号ＤＶmixをモニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力するように出力選択部４３を制御すれば、画像合成を行ったとき、撮像した被写体が所望の位置となるように撮像方向等を適正に設定することができる。例えば背景画像に被写体画像を合成する場合、フレームレートが異なる背景画像の画像信号ＤＶrあるいは画像信号ＤＶsを、フレームレート変換部３０によって画像信号ＤＶbとフレームレートが等しく同期した画像信号ＤＶwとする。このとき、モニター画像では、背景画像に撮像した被写体画像が重畳されて表示されることから、撮像方向や撮像時の被写体の大きさ等を容易に最適化することができる。例えば、図６Ａに示す背景画像を先に撮像して記録媒体７０に記録しておき、この背景画像の画像信号ＤＶrをフレームレート変換部３０で画像信号ＤＶbに同期した画像信号ＤＶwに変換する。

また、背景画像に混合させる被写体を撮像して図６Ｂに示す撮像画像の画像信号ＤＶbを生成すると、電子ビューファインダーやモニタ装置の画面上には、背景画像に被写体が混合された図６Ｃに示す画像が表示されることとなる。このため、被写体を可変速フレームレートで撮像できる撮像装置を用いたことにより、画像信号ＤＶbと画像信号ＤＶrのフレームレートが異なっていても、被写体の大きさや位置を背景画像に合わせて撮像することができる。

さらに、画像信号ＤＶwpをモニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力するように出力選択部４３を制御すれば、前回の撮影画像と同等の輝度や色相等の撮像画像が得られるように撮像装置を容易に設定できる。例えば、図６Ｄに示す前回の撮像画像の画像信号ＤＶrを、フレームレート変換部３０で画像信号ＤＶbに同期した画像信号ＤＶwに変換する。

また、図６Ｅに示す現在の撮像画像の画像信号ＤＶbを生成すると、電子ビューファインダーやモニタ装置の画面上には、前回の撮像画像と現在の撮像画像が図６Ｆに示すように同時に表示されることとなる。このため、被写体を可変速フレームレートで撮像できる撮像装置を用いても、２つの撮像画像を比較して、撮像装置の設定を容易に行うことができる。

なお、上述の実施の形態では、フレームレート変換部３０で画像信号ＤＶuを撮像画像の画像信号ＤＶbに同期させるものとしたが、フレームレート変換部３０に画像信号ＤＶbを入力して、画像信号ＤＶbを画像信号ＤＶrあるいは画像信号ＤＶsに同期させても、画像信号ＤＶmixや画像信号ＤＶwpを生成できる。しかし、フレームレート変換部３０に画像信号ＤＶbを入力してたときには、画像信号ＤＶbのフレームレートで書き込んだ信号を、画像信号ＤＶrあるいは画像信号ＤＶsのフレームレートで読み出すため、撮像中の画像に遅延を生じてしまう場合がある。このため、画像信号ＤＶrあるいは画像信号ＤＶsのフレームレートを変換して画像信号ＤＶbに同期させることが好ましい。

以上のように、本発明に係る撮像装置は、撮像中の画像だけでなく、外部から供給された画像信号に基づく画像を撮像中の画像と共に１つの画面上に表示する場合に好適である。

撮像装置の構成を示す図である。画像信号保持部の構成を示す図である。可変速フレームレートに対する加算フレーム数と撮像フレームレートの関係を示す図である。画像信号ＤＶbの生成動作を説明するための図である。フレームレート変換部の動作を説明するための図である。モニタ用画像信号に基づく表示画像例を示す図である。

符号の説明

１０・・・画像信号生成部、１１・・・撮像部、１２・・・駆動部、１３・・・撮像信号処理部、１４・・・フレーム加算処理部、２１・・・入力選択部、２２・・・入力端子、３０・・・フレームレート変換部、３１・・・画像信号保持部、３２・・・書込制御部、３３・・・読出制御部、４０・・・モニタ用画像信号生成部、４１・・・ミックス処理部、４２・・・ワイプ処理部、４３・・・出力選択部、４４・・・Ｄ／Ａ変換部、５０・・・制御部、５１・・・ユーザインタフェース部、６０・・・記録再生装置、３１１，３１３・・・信号セレクタ、３１２-1〜３１２-3・・・ＲＡＭ

Claims

可変速フレームレート撮像画像の第１画像信号を生成する画像信号生成手段と、
前記第１画像信号のフレームレートと外部から供給された第２画像信号のフレームレートを一致させるフレームレート変換手段と、
前記フレームレート変換手段で、フレームレートが一致された前記第１画像信号と前記第２画像信号を用いて、モニタ用画像信号を生成する信号生成手段を有する
ことを特徴とする撮像装置。
前記フレームレート変換手段は、前記第２画像信号のフレームレートを前記第１画像信号のフレームレートに一致させる
ことを特徴とする請求項１記載の撮像装置。
前記信号生成手段は、前記第１画像信号と前記第２画像信号を用いて、前記第１画像信号に基づく画像と前記第２画像信号に基づく画像を混合した画像の画像信号を前記モニタ用画像信号として生成する
ことを特徴とする請求項１記載の撮像装置。
前記信号生成手段は、前記第１画像信号と前記第２画像信号を用いて、前記第１画像信号に基づく画像の一部を前記第２画像信号に基づく画像に置き換えた画像の画像信号を前記モニタ用画像信号として生成する
ことを特徴とする請求項１記載の撮像装置。