JP4569389B2 - Imaging apparatus, image processing method, and program - Google Patents
Imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP4569389B2 JP4569389B2 JP2005160643A JP2005160643A JP4569389B2 JP 4569389 B2 JP4569389 B2 JP 4569389B2 JP 2005160643 A JP2005160643 A JP 2005160643A JP 2005160643 A JP2005160643 A JP 2005160643A JP 4569389 B2 JP4569389 B2 JP 4569389B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- subject
- imaging
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 35
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 238000004091 panning Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、例えばデジタルカメラ等の撮像装置に係り、特に移動体を被写体として流し撮りなどを行う場合に用いて好適な撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。 The present invention relates to an image pickup apparatus such as a digital camera, and more particularly to an image pickup apparatus suitable for use when performing a panning shot using a moving body as a subject, and an image processing method and program used for the image pickup apparatus.
動きのある被写体を撮影してスピード感ある画像を得る場合に、シャッター速度を通常よりも遅く設定した状態で、撮影者が被写体の動きに合わせてカメラをパンニング(移動)することにより、被写体を静止させて背景を流すといった所謂「流し撮り」といったテクニックが用いられる。 When shooting a moving subject to obtain an image with a sense of speed, the photographer pans (moves) the camera according to the movement of the subject while the shutter speed is set slower than usual. A technique such as so-called “panning” is used in which the background is flushed.
一方、動きのある被写体を連続撮影して得られた複数枚の画像データを、背景部分を基準にして合成することにより、被写体の時間的な動きを表した画像を作成する技術が知られている(例えば、特許文献1参照)。
しかしながら、上述した流し撮りによる撮影は、動く被写体に対してカメラを的確に追従させなければならないため、慣れていないと非常に難しく、その上、シャッター速度を遅くしているために、メインとなる被写体までもぶれてしまうことが多い。この場合、シャッター速度を速めに設定すれば、メインとなる被写体のぶれを軽減することができるが、その一方で背景のぶれまでも少なくなるため、被写体のスピード感を強調した画像が得られなくなるといった問題がある。 However, the above-described shooting by panning requires the camera to follow the moving subject accurately, so it is very difficult if not used, and the shutter speed is slowed down. The subject is often blurred. In this case, if you set the shutter speed faster, you can reduce the blurring of the main subject, but on the other hand, there will be less blurring of the background, making it impossible to obtain an image that emphasizes the sense of speed of the subject. There is a problem.
また、前記特許文献1のように画像合成により被写体の動きを表した画像を得る方法が知られているが、背景部分を基準にして合成しているため、メインとなる被写体を静止させて背景を流すといった流し撮りのような画像を得ることはできない。
Also, a method for obtaining an image representing the movement of a subject by image composition as in
そこで、本発明の目的は、動きのある被写体を撮影した場合に、その被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることのできる撮像装置、画像処理方法及びプログラムを提供することにある。 Accordingly, an object of the present invention is to provide an imaging apparatus, an image processing method, and a program that anyone can easily obtain a panning image in which a subject is stopped and the background is flushed when a moving subject is photographed. Is to provide.
請求項1記載の発明は、被写体像を連続撮像して複数の画像データを取得する撮像手段と、この撮像手段によって取得された画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出手段と、前記画像データにおける複数の被写体像のうち、前記速度検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定手段と、この特定手段によって特定されたメイン被写体像を基準として、前記撮像手段によって取得された複数の画像データを合成する画像処理手段とを具備して構成される。 According to the first aspect of the present invention, an imaging unit that continuously captures a subject image to acquire a plurality of image data, and a speed detection unit that detects the speeds of the plurality of subject images in the image data acquired by the imaging unit. When, among the plurality of object images in the image data, the smallest subject image speed detected by the speed detecting means, and identifying means for identifying a main subject image, a main object image identified by the identification means As a reference, it comprises image processing means for synthesizing a plurality of image data acquired by the imaging means .
請求項2記載の発明は、請求項1記載の発明において、第1の撮影モードと第2の撮影モードとを含む撮影モードを設定するモード設定手段と、前記特定手段は、前記モード設定手段によって第1の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、前記動き検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定し、前記モード設定手段によって第2の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、前記動き検出手段によって検出された速度が最も大きい被写体像を、メイン被写体像として特定することを特徴とする。According to a second aspect of the present invention, in the first aspect of the present invention, the mode setting means for setting the photographing mode including the first photographing mode and the second photographing mode, and the specifying means are determined by the mode setting means. When the first shooting mode is set, a subject image with the lowest speed detected by the motion detection unit among the plurality of subject images in each image data is specified as a main subject image, and the mode setting is performed. When the second shooting mode is set by the means, the subject image having the highest speed detected by the motion detection means among the plurality of subject images in the respective image data is specified as the main subject image. Features.
請求項3記載の発明は、請求項2記載の発明において、前記モード設定手段は、前記第1の撮影モードと前記第2の撮影モードと、第3の撮影モードとを含む撮影モードを設定し、前記特定手段は、前記モード設定手段によって第3の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、撮影範囲における所定の領域に最も近い被写体像をメイン被写体像として特定することを特徴とする。According to a third aspect of the present invention, in the second aspect of the invention, the mode setting means sets a photographing mode including the first photographing mode, the second photographing mode, and the third photographing mode. The specifying unit selects a subject image closest to a predetermined region in the shooting range among a plurality of subject images in the image data when the third shooting mode is set by the mode setting unit. It is characterized by specifying as.
請求項4記載の発明は、請求項1から3いずれか1項に記載の発明において、前記撮像手段は、1回の撮像における露光時間を所定時間よりも短く設定して連続撮像を行い、前記画像処理手段は、前記撮像手段によって得られた複数の画像データを重ね合わせたときに、少なくとも前記メイン被写体像の各画素の値を適正な値に補正することを特徴とする。According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the imaging unit performs continuous imaging by setting an exposure time in one imaging to be shorter than a predetermined time. The image processing means corrects at least the value of each pixel of the main subject image to an appropriate value when a plurality of image data obtained by the imaging means are superimposed.
請求項5記載の発明は、請求項1から4いずれか1項に記載の発明において、前記撮像手段によって複数の画像データが取得される時間間隔を任意に設定する間隔設定手段を具備したことを特徴とする。According to a fifth aspect of the invention, in the invention according to any one of the first to fourth aspects, there is provided an interval setting means for arbitrarily setting a time interval at which a plurality of image data is acquired by the imaging means. Features.
請求項6記載の発明は、請求項1から5いずれか1項に記載の発明において、前記画像処理手段による合成に用いる画像データの枚数を任意に設定する枚数設定手段を具備したことを特徴とする。The invention according to claim 6 is the invention according to any one of
請求項7記載の発明は、連続撮像された複数の画像データを取得する取得ステップと、この撮像ステップにおいて得られた画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出ステップと、前記画像データにおける複数の被写体像のうち、前記速度検出において検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定ステップと、この特定ステップにおいて特定されたメイン被写体像を基準として、前記撮像ステップにおいて取得された複数の画像データを合成する画像処理ステップとを含むことを特徴とする。The invention according to claim 7 is an acquisition step of acquiring a plurality of image data continuously captured, a speed detection step of detecting the speeds of a plurality of subject images in the image data obtained in the imaging step, Of the plurality of subject images in the image data, a specifying step for specifying a subject image with the smallest speed detected in the speed detection as a main subject image, and using the main subject image specified in the specifying step as a reference, And an image processing step of combining a plurality of image data acquired in the imaging step.
請求項8記載の発明は、被写体像を連続撮像して複数の画像データを取得する撮像手段を備えるコンピュータを、前記撮像手段によって所得された画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出手段、前記画像データにおける複数の被写体像のうち、前記速度検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定手段、この特定手段によって特定されたメイン被写体像を基準として、前記撮像手段によって取得された複数の画像データを合成する画像処理手段、として機能させる。The invention according to
以上のように本発明によれば、動きのある被写体を撮影した場合に、その被写体の動きに合わせてカメラを的確に追従させなくとも、被写体を連続撮影するだけの操作で、被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることができる。 As described above, according to the present invention, when a moving subject is photographed, the subject can be stopped by simply photographing the subject continuously without having to follow the camera accurately in accordance with the movement of the subject. Anyone can easily get a panoramic image with a background.
以下、図面を参照して本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図1(a)は主に前面の構成、同図(b)は主に背面の構成を示す斜視図である。 FIG. 1 is a diagram showing an external configuration when a digital camera is taken as an example of an imaging apparatus according to an embodiment of the present invention. FIG. 1 (a) is mainly a front configuration, and FIG. It is a perspective view which shows the structure of a back surface.
このデジタルカメラ1は、略矩形の薄板状ボディ2の前面に、撮影レンズ3、セルフタイマランプ4、光学ファインダ窓5、ストロボ発光部6、マイクロホン部7などを有し、上面の(ユーザにとって)右端側には電源キー8及びシャッタキー9などが設けられている。
The
電源キー8は、電源のオン/オフ毎に操作するキーであり、シャッタキー9は、撮影時に撮影タイミングを指示するキーである。
The
また、デジタルカメラ1の背面には、撮影モード(R)キー10、再生モード(P)キー11、光学ファインダ12、スピーカ部13、マクロキー14、ストロボキー15、メニュー(MENU)キー16、リングキー17、セット(SET)キー18、表示部19などが設けられている。
Also, on the back of the
撮影モードキー10は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。
The
前記シャッタキー9は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー9が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー9が押下されたときのタイミングで動画の撮影が開始され、シャッタキー9が再度押下されたときにその動画の撮影が終了する。
The
再生モードキー11は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。
When the
マクロキー14は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー15は、ストロボ発光部6の発光モードを切換える際に操作する。メニューキー16は、流し撮りモードを含む各種メニュー項目等を選択する際に操作する。リングキー17は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー17の中央に位置するセットキー18は、その時点で選択されている項目を設定する際に操作する。
The
表示部19は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。
The
また、このデジタルカメラ1には、光学ズーム機能が備えられており、ズームキー20a,20bの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー20a,20bのうち、一方のズームキー20aはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー20bはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。
Further, the
なお、図示はしないがデジタルカメラ1の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばUSB(Universal Serial Bus)コネクタ等が設けられている。
Although not shown, the
図2はデジタルカメラ1の電子回路構成を示すブロック図である。
FIG. 2 is a block diagram showing an electronic circuit configuration of the
このデジタルカメラ1には、前記撮影レンズ3を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系22がモータ21の駆動により光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系22の光軸後方に撮像素子であるCCD(charge coupled device)23が配設されている。このCCD23は、撮影レンズ3を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。
In the
基本モードである記録モード時において、CCD23がタイミング発生器(TG)24、ドライバ25によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。このCCD23の光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路26でサンプルホールドされ、A/D変換器27でデジタルデータに変換される。
In the recording mode, which is the basic mode, the
そして、画像処理回路28において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Y及び色差信号U,V(Cb,Cr)が生成され、DMA(Direct Memory Access)コントローラ29に出力される。
Then, the
DMAコントローラ29は、画像処理回路28の出力する輝度信号Y及び色差信号U,Vを、同じく画像処理回路28からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書き込み、DRAMインタフェース(I/F)30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。
The
制御部32は、デジタルカメラ1全体の制御を行うものであり、CPUと、このCPUで実行される動作プログラムを記憶したROM、そして、ワークメモリ32aとして使用されるRAMなどを含むマイクロコンピュータにより構成される。
The
輝度及び色差信号のDRAM31へのDMA転送終了後、この制御部32は、この輝度及び色差信号をDRAMインタフェース30を介してDRAM31より読み出し、VRAMコントローラ33を介してVRAM34に書き込む。
After the DMA transfer of the luminance and color difference signals to the
デジタルビデオエンコーダ35は、前記輝度及び色差信号をVRAMコントローラ33を介してVRAM34より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部19に出力する。
The
この表示部19は、上述した如く撮影時にはモニタ表示部(電子ファインダ)として機能するもので、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
As described above, the
このように、表示部19にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー9を押下操作すると、トリガ信号が発生する。
As described above, when the image at that time is displayed in real time as the monitor image on the
制御部32は、このトリガ信号に応じて、その時点でCCD23から取込んでいる1画面分の輝度及び色差信号のDRAM31へのDMA転送の終了後、直ちにCCD23からのDRAM31への経路を停止し、記録保存の状態に遷移する。
In response to the trigger signal, the
この記録保存の状態では、制御部32がDRAM31に書き込まれている1フレーム分の輝度及び色差信号をDRAMインタフェース30を介してY,Cb,Crの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読み出して、JPEG(Joint Photograph coding Experts Group)回路37に書き込み、このJPEG回路37でADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
In this recording and storage state, the
そして得た符号データを1画像のデータファイルとして該JPEG回路37から読み出して記録用のメモリ38に書き込む。このメモリ38としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。1フレーム分の輝度及び色差信号の圧縮処理及びメモリ38への全圧縮データの書込み終了に伴って、制御部32はCCD23からDRAM31への経路を再び起動する。
The obtained code data is read out from the
制御部32には、さらに音声処理部39、USBインタフェース(I/F)40、ストロボ駆動部41が接続される。
The
音声処理部39は、PCM音源等の音源回路を備え、音声の録音時には前記マイクロホン部(MIC)7より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(MPEG−1 audio layer 3)規格に従ってデータ圧縮して音声データファイルを作成してメモリ38へ送出する一方、音声の再生時にはメモリ38から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ1の背面側に設けられるスピーカ部(SP)13を通じて出力する。
The
USBインタフェース40は、USBコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部41は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部32からの制御に基づいてストロボ発光部6を閃光駆動する。
The
なお、前記キー入力部36は、上述したシャッタキー9の他に、電源キー8、撮影モードキー10、再生モードキー11、マクロキー14、ストロボキー15、メニューキー16、リングキー17、セットキー18、ズームキー20a,20bなどから構成され、それらのキー操作に伴う信号は直接制御部32へ送出される。
In addition to the
また、静止画像ではなく動画像の撮影時においては、シャッタキー9が押下操作されたときに、上述したJPEG回路37によりmotion−JPEG(Joint Photographic Experts Group)などの手法により撮影動画をデータ圧縮してメモリ38へ記録する。再度シャッタキー9が操作されると、動画データの記録を終了する。
Further, when shooting a moving image instead of a still image, when the
一方、基本モードである再生モード時には、制御部32がメモリ38に記録されている画像データを選択的に読み出し、JPEG回路37で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをDRAMインタフェース30を介してDRAM31に保持させた上で、このDRAM31の保持内容をVRAMコントローラ33を介してVRAM34に記憶させ、このVRAM34より定期的に画像データを読み出してビデオ信号を発生し、表示部19で再生出力させる。
On the other hand, in the playback mode which is the basic mode, the
選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。 If the selected image data is not a still image but a moving image, the multiple frames of still image data that make up the moving image data are played back and displayed sequentially in chronological order, and all the still image data is played back. For example, the top still image data is displayed until the next playback instruction is given.
ここで、デジタルカメラ1の動作を説明する前に、本発明の画像合成方法について簡単に説明しておく。
Here, before describing the operation of the
図3は動く被写体を連続撮影した場合の画像データの変移を模式的に示した図である。図中の斜線で示す部分が動く被写体であり、ここでは連続撮影により4枚の画像P1〜P4が得られたものとする。 FIG. 3 is a diagram schematically showing the transition of image data when a moving subject is continuously photographed. The hatched portion in the figure is a moving subject. Here, it is assumed that four images P1 to P4 are obtained by continuous shooting.
メインとなる被写体が動いているため、フレーム内で同じ位置で撮影し続けることは困難である。このため、連続撮影によって得られた画像P1〜P4を単純に合成すると、図4(a)のように被写体がぶれた画像になる。 Since the main subject is moving, it is difficult to continue shooting at the same position in the frame. For this reason, when the images P1 to P4 obtained by continuous shooting are simply combined, an image in which the subject is blurred as shown in FIG.
そこで、画像間でのメイン被写体のずれを検出することにより、メイン被写体が同じ位置に重なるように画像P1〜P4を合成する。このような画像合成により、図4(b)のように被写体を静止させた画像が得られる。また、各画像内の被写体以外の部分つまり背景部分は変化しているので、被写体を基準にして合成することで、背景部分を流したような画像が得られる。 Therefore, by detecting a shift of the main subject between the images, the images P1 to P4 are synthesized so that the main subject overlaps the same position. By such image composition, an image in which the subject is stationary as shown in FIG. 4B is obtained. In addition, since the portion other than the subject in each image, that is, the background portion is changed, an image in which the background portion is flowed can be obtained by compositing with the subject as a reference.
次に、このような流し撮り画像を作成するための具体的な処理動作について説明する。なお、以下の各フローチャートで示される処理は、マイクロコンピュータである制御部32がROMやRAM等の記録媒体に記録された所定のプログラムを読み込むことにより実行される。
Next, a specific processing operation for creating such a panning image will be described. Note that the processes shown in the following flowcharts are executed when the
図5はデジタルカメラ1による撮影処理を示すフローチャートである。
FIG. 5 is a flowchart showing a photographing process by the
今、例えば自動車などの動く被写体をメインにして静止画の撮影を行う場合を想定する。図1の撮影モードキー10の操作により撮影モードを設定すると、まず、現在撮影対象となっている被写体のプレビュー画像(スルー画像とも呼ぶ)が表示部19に表示される(ステップA11)。
Assume that a still image is taken mainly with a moving subject such as an automobile. When the shooting mode is set by operating the
制御部32は、シャッタキー9が押されるまでの間(ステップA12のNo)、CCD23から順次得られる画像データを読み込み(ステップA13)、この画像データをプレビュー画像として表示部19に表示する処理を行っている(ステップA14)。
The
ここで、シャッタキー9が押されると(ステップA12のYes)、制御部32は、所定枚数分の連続撮影を実行して、その連続撮影によって得られた各画像データを合成する(ステップA15)。なお、このときの連続撮影と画像合成の処理については、後に図6および図7のフローチャートを参照して詳しく説明する。
Here, when the
このようして合成画像が得られると、その合成画像は簡易流し撮り画像として表示部19に確認表示された後(ステップA16)、所定の方式で圧縮処理されてメモリ38に記録保存される(ステップA17,A18)。
When a composite image is obtained in this manner, the composite image is confirmed and displayed on the
次に、前記ステップA15で実行される連続撮影と画像合成の処理について詳しく説明する。 Next, the continuous shooting and image composition processing executed in step A15 will be described in detail.
図6および図7はデジタルカメラ1による連続撮影と画像合成の処理を示すフローチャートである。
6 and 7 are flowcharts showing the continuous shooting and image composition processing by the
まず、流し撮りモードが設定されているか否かが判断される(ステップB11)。この流し撮りモードは、画像合成により簡易に流し撮り画像を作成するためのモードであり、例えばメニューキー16の操作により任意に設定される。
First, it is determined whether or not the panning mode is set (step B11). This panning mode is a mode for easily creating a panning image by image synthesis, and is arbitrarily set by operating the
また、この流し撮りモードを設定したときに、図8に示すような流し撮りモード選択画面51が表示される。この流し撮りモード選択画面51には、流し撮りモードとして、「カメラ追従モード」、「カメラ固定モード」、「自由モード」のいずれかを選択するための項目52〜54が設けられている。
Further, when this panning mode is set, a panning
「カメラ追従モード」とは、図9に示すように、撮影者がメインとなる被写体の動きに合わせてカメラをパンニングして撮影する場合を想定したモードである。「カメラ固定モード」とは、図10に示すように、カメラの撮影範囲を固定してメインとなる被写体を撮影する場合を想定したモードである。また、「自由モード」とは、カメラを固定せずに通常のカメラ操作でメインとなる被写体を撮影する場合を想定したモードである。 The “camera follow-up mode” is a mode that assumes a case where the photographer pans and shoots the camera in accordance with the movement of the main subject as shown in FIG. As shown in FIG. 10, the “camera fixed mode” is a mode assuming a case where a main subject is shot with a shooting range of the camera fixed. The “free mode” is a mode that assumes a case where a main subject is photographed by normal camera operation without fixing the camera.
このような流し撮りモードが設定されている場合において(ステップB11のYes)、まず、撮影条件として連続撮影時の露光時間が所定の時間(被写体の明るさに応じて決定される時間)よりも短く設定される(ステップB12)。この露光時間に従って所定時間毎に連続撮影が行われ、CCD23から所定枚数分の画像データが取得されて制御部32内のワークメモリ32aに一時的に記憶される(ステップB13)。
When such a panning mode is set (Yes in step B11), first, as an imaging condition, the exposure time during continuous shooting is longer than a predetermined time (time determined according to the brightness of the subject). Short (step B12). Continuous shooting is performed at predetermined intervals according to the exposure time, and a predetermined number of image data is acquired from the
なお、このときの連続撮影の時間間隔や撮影枚数は、例えばメニューキー16の操作により表示される図示せぬ連続撮影設定画面を通じて撮影者が自由に設定することができる。
Note that the continuous shooting time interval and the number of shots can be freely set by the photographer through a continuous shooting setting screen (not shown) displayed by operating the
ここで、制御部32は、前記ワークメモリ32aに記憶された複数の画像データを比較し、画素値およびその配置パターンが所定面積以上に亘って連続的に類似している領域部分を抽出する(ステップB14)。そして、これらの領域部分の画像内の各画素の移動ベクトル(速度および方向)を算出し(ステップB15)、画像上で移動ベクトル(速度および方向)の異なる領域部分を実際に移動速度の異なる別々の被写体部分として識別する(ステップB16)。
Here, the
続いて、これらの被写体部分の中でメインとなる被写体を特定する。メインとなる被写体とは、撮影者が着目している被写体のことであり、その被写体の動きはカメラの撮影状態によって異なる。つまり、カメラを固定して撮影している場合には、メイン被写体は画像上では最も速く移動しているのに対し、カメラをパンニングしながら撮影している場合には画像上では最も遅く移動していることになる。 Subsequently, a main subject among these subject portions is specified. The main subject is a subject that the photographer is paying attention to, and the movement of the subject varies depending on the shooting state of the camera. In other words, when shooting with the camera fixed, the main subject moves the fastest on the image, whereas when shooting while panning the camera, the main subject moves the slowest on the image. Will be.
そこで、制御部32は、現在設定されている流し撮りモードの種別を判断する(ステップB17)。その結果、「カメラ追従モード」が設定されていれば、最も移動速度の遅い被写体部分の画像をメイン被写体として決定する(ステップB18)。一方、「カメラ固定モード」が設定されていれば、最も移動速度の速い被写体部分の画像をメイン被写体として決定する(ステップB19)。
Therefore, the
また、「自由モード」が設定されていれば、制御部32は、ファインダ内のターゲット領域に最も近い被写体部分の画像をメイン被写体として決定する(ステップB20)。前記ターゲット領域は、予めメイン被写体を捕捉するための基準として設定されており、例えばファインダ内の画面の中心である。
If the “free mode” is set, the
このようにしてメイン被写体部分が特定されると、制御部32は、各画像データのメイン被写体部分の移動ベクトルに基づいて、各画像間におけるメイン被写体部分の相対的なずれ量およびずれ方向を検出する(ステップB21)。
When the main subject portion is specified in this way, the
そして、制御部32は、前記検出されたメイン被写体部分の相対的なずれ量およびずれ方向に基づいて、メイン被写体部分が同じ位置になるように各画像データを重ね合わせる(ステップB22)。その際、メイン被写体部分に相当する各画素については、これらの値の中でかけ離れているものを除いて平均化したり、あるいは、各画素値を多数決処理するなどのノイズ除去処理を行うと共に、各画素の値に所定の係数を乗じるなどして明るさを補正する(ステップB23)。また、メイン被写体部分以外の部分つまり背景部分に相当する各画素の値については、各画素の値を加算すると共に必要に応じて明るさを補正する(ステップB24)。
Based on the detected relative shift amount and shift direction of the main subject portion, the
このようして各画素の値を補正して1枚の合成画像を生成する(ステップB25)。図11に合成画像の一例を示す。図中の61が動く被写体であり、撮影者がメイン被写体として撮影した部分である。62がメイン被写体以外の部分つまり背景部分である。
In this way, one composite image is generated by correcting the value of each pixel (step B25). FIG. 11 shows an example of a composite image.
このように、動きのある被写体を撮影する場合に、その被写体の動きに合わせてカメラを的確に追従させて撮影しなくとも、被写体を連続撮影するだけの操作で、被写体部分を基準にした画像合成により、メイン被写体部分を静止させ、それ以外の背景部分を流したような流し撮り画像を簡単に得ることができる。 In this way, when shooting a moving subject, an image based on the subject portion can be obtained simply by continuously shooting the subject without having to follow the camera accurately in accordance with the movement of the subject. By synthesizing, it is possible to easily obtain a panning image in which the main subject portion is stationary and the other background portions are flowed.
この場合、通常の流し撮りでは、シャッター速度を遅くして撮影しなければならないため、メイン被写体にぶれが生じ易いが、本発明では、1枚1枚の画像データの撮影における露光時間を短く設定してあるため、メイン被写体のぶれを少なくできる。 In this case, in normal panning, it is necessary to shoot with a slow shutter speed, so the main subject is likely to be shaken. However, in the present invention, the exposure time for shooting each piece of image data is set short. Therefore, it is possible to reduce the shake of the main subject.
また、通常は露光時間を短くすると撮影画像が暗くなってしまうが、画像合成によって各画像データのメイン被写体部分を重ね合わせることで、十分な明るさを確保できると共にノイズを除去してSN比を改善できる。このような効果は、メイン被写体部分を基準とした画像合成によって得られるものであり、背景画像を基準とした画像合成では得ることはできない。 In general, when the exposure time is shortened, the captured image becomes dark. However, by superimposing the main subject portions of the respective image data by image synthesis, sufficient brightness can be secured and noise can be removed to reduce the SN ratio. Can improve. Such an effect is obtained by image composition based on the main subject portion, and cannot be obtained by image composition based on the background image.
また、露光時間を短くしたことで、メイン被写体部分以外の部分つまり背景部分がぶれずに撮影されたとしても、各画像の背景部分の位置をずらして重ね合わせることで、図11に示したような流れ効果を出すことができる。 Further, by shortening the exposure time, even if a portion other than the main subject portion, that is, a background portion is photographed without blurring, the positions of the background portions of each image are shifted and superimposed, as shown in FIG. Can produce a great flow effect.
また、図6のステップB13における連続撮影の時間間隔や撮影枚数を変化させることで、メイン被写体部分に対する背景部分のぶれの量や画像の滑らかさを調整することができる。 In addition, by changing the continuous shooting time interval and the number of shots in step B13 in FIG. 6, the amount of blurring of the background portion relative to the main subject portion and the smoothness of the image can be adjusted.
なお、図5に示すフローチャートのステップA16の合成画像の確認表示において、撮影者がやり直しを指示した場合には、当該合成画像の画像圧縮および記録保存を行わずに、画像合成に用いる画像データの枚数を変えて再度画像合成からやり直したり、ステップA11に戻り連続撮影の間隔を変えて再度連続撮影からやり直すようにしても良い。 In the confirmation display of the composite image in step A16 of the flowchart shown in FIG. 5, when the photographer instructs to redo, the image data used for image composition is not compressed and recorded and stored without performing image compression and recording storage of the composite image. It is also possible to change the number of images and start again from image composition, or return to step A11 and change the interval of continuous shooting to restart from continuous shooting.
また、前記実施形態では、デジタルカメラを例にして説明したが、本発明はこれに限る者ではなく、例えばデジタルムービカメラの他、同様の撮像機能を備えた携帯電話やPDA(Personal Digital Assistant)などにも適用可能である。 In the above-described embodiment, the digital camera has been described as an example. However, the present invention is not limited to this. For example, in addition to a digital movie camera, a mobile phone or a PDA (Personal Digital Assistant) having a similar imaging function. It is also applicable to.
要するに、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1…デジタルカメラ、2…ボディ、3…撮影レンズ、4…セルフタイマランプ、5…光学ファインダ窓、6…ストロボ発光部、7…マイクロホン部、8…電源キー、9…シャッタキー、10…撮影モードキー、11…再生モードキー、12…光学ファインダ、13…スピーカ部、14…マクロキー、15…ストロボキー、16…メニュー(MENU)キー、17…リングキー、18…セット(SET)キー、19…表示部、20a,20b…ズームキー、21…モータ、22…レンズ光学系、23…CCD、24…タイミング発生器(TG)、25…ドライバ、26…サンプルホールド回路(S/H)、27…A/D変換器、28…画像処理回路、29…DMAコントローラ、30…DRAMインタフェース(I/F)、31…DRAM、32…制御部、32a…ワークメモリ、33…VRAMコントローラ、34…VRAM、35…デジタルビデオエンコーダ、36…キー入力部、37…JPEG回路、38…メモリ、39…音声処理部、40…USBインタフェース(I/F)、41…ストロボ駆動部、51…流し撮りモード選択画面、61…メイン被写体部分、62…背景部分。
DESCRIPTION OF
Claims (8)
この撮像手段によって取得された画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出手段と、
前記画像データにおける複数の被写体像のうち、前記速度検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定手段と、
この特定手段によって特定されたメイン被写体像を基準として、前記撮像手段によって取得された複数の画像データを合成する画像処理手段と
を具備したことを特徴とする撮像装置。 Imaging means for continuously capturing a subject image to obtain a plurality of image data;
Speed detection means for detecting the speeds of a plurality of subject images in the image data acquired by the imaging means,
A specifying unit for specifying , as a main subject image, a subject image having the smallest speed detected by the speed detection unit among the plurality of subject images in the image data ;
An image processing apparatus comprising: an image processing unit configured to combine a plurality of pieces of image data acquired by the image capturing unit with reference to the main subject image specified by the specifying unit.
前記特定手段は、The specifying means is:
前記モード設定手段によって第1の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、前記動き検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定し、When the first shooting mode is set by the mode setting unit, the subject image having the lowest speed detected by the motion detection unit among the plurality of subject images in each image data is specified as the main subject image. And
前記モード設定手段によって第2の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、前記動き検出手段によって検出された速度が最も大きい被写体像を、メイン被写体像として特定することを特徴とする請求項1記載の撮像装置。When the second shooting mode is set by the mode setting means, the subject image having the highest speed detected by the motion detection means among the plurality of subject images in each image data is specified as the main subject image. The imaging apparatus according to claim 1, wherein:
前記第1の撮影モードと前記第2の撮影モードと第3の撮影モードとを含む撮影モードを設定し、Setting shooting modes including the first shooting mode, the second shooting mode, and the third shooting mode;
前記特定手段は、The specifying means is:
前記モード設定手段によって第3の撮影モードが設定された場合に、前記各画像データにおける複数の被写体像のうち、撮影範囲における所定の領域に最も近い被写体像をメイン被写体像として特定することを特徴とする請求項2記載の撮像装置。When the third shooting mode is set by the mode setting means, a subject image closest to a predetermined region in the shooting range is specified as a main subject image among a plurality of subject images in each image data. The imaging apparatus according to claim 2.
前記画像処理手段は、前記撮像手段によって得られた複数の画像データを重ね合わせたときに、少なくとも前記メイン被写体像の各画素の値を適正な値に補正することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The imaging means performs continuous imaging by setting an exposure time in one imaging to be shorter than a predetermined time,
Wherein the image processing means, when the superposed plurality of image data obtained by said image pickup means, to claim 1, characterized in that correction to an appropriate value the value of each pixel of at least the main object image 4. The imaging device according to any one of 3 .
この撮像ステップにおいて得られた画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出ステップと、
前記画像データにおける複数の被写体像のうち、前記速度検出において検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定ステップと、
この特定ステップにおいて特定されたメイン被写体像を基準として、前記撮像ステップにおいて取得された複数の画像データを合成する画像処理ステップと
を含むことを特徴とする画像処理方法。 An acquisition step of acquiring a plurality of continuously captured image data;
A speed detecting step for detecting the speeds of a plurality of subject images in the image data obtained in the imaging step,
A specifying step of specifying , as a main subject image, a subject image having the smallest speed detected in the speed detection among a plurality of subject images in the image data ;
Image processing method characterized by reference to the main subject image specified in this particular step, and an image processing step of combining a plurality of image data acquired in the imaging step.
前記撮像手段によって所得された画像データにおける複数の被写体像の速度を、それぞれ検出する速度検出手段、
前記画像データにおける複数の被写体像のうち、前記速度検出手段によって検出された速度が最も小さい被写体像を、メイン被写体像として特定する特定手段、
この特定手段によって特定されたメイン被写体像を基準として、前記撮像手段によって取得された複数の画像データを合成する画像処理手段、
として機能させるためのプログラム。 A computer comprising imaging means for continuously capturing a subject image and acquiring a plurality of image data ;
Speed detecting means for detecting the speeds of a plurality of subject images in the image data obtained by the imaging means,
A specifying unit that specifies, as a main subject image, a subject image having the smallest speed detected by the speed detection unit among a plurality of subject images in the image data ;
Image processing means for synthesizing a plurality of image data acquired by the imaging means on the basis of the main subject image specified by the specifying means;
Program to function as .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005160643A JP4569389B2 (en) | 2005-05-31 | 2005-05-31 | Imaging apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005160643A JP4569389B2 (en) | 2005-05-31 | 2005-05-31 | Imaging apparatus, image processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006339903A JP2006339903A (en) | 2006-12-14 |
JP2006339903A5 JP2006339903A5 (en) | 2008-06-26 |
JP4569389B2 true JP4569389B2 (en) | 2010-10-27 |
Family
ID=37560075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005160643A Expired - Fee Related JP4569389B2 (en) | 2005-05-31 | 2005-05-31 | Imaging apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4569389B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10764498B2 (en) | 2017-03-22 | 2020-09-01 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling the same, and storage medium |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2541902B1 (en) | 2007-03-06 | 2014-06-25 | Panasonic Corporation | Imaging processing device and image processing method |
JP4985251B2 (en) * | 2007-09-10 | 2012-07-25 | カシオ計算機株式会社 | Imaging apparatus, focus control method, and focus control program |
EP2239935B1 (en) | 2008-02-04 | 2019-01-30 | Panasonic Intellectual Property Corporation of America | Image synthesis device, image synthesis method and image synthesis program |
JP4561845B2 (en) | 2008-02-29 | 2010-10-13 | カシオ計算機株式会社 | Imaging apparatus and image processing program |
JP4720859B2 (en) | 2008-07-09 | 2011-07-13 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP5210198B2 (en) * | 2009-02-13 | 2013-06-12 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
JP5179398B2 (en) | 2009-02-13 | 2013-04-10 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
JP5326799B2 (en) * | 2009-05-18 | 2013-10-30 | 株式会社ニコン | Imaging device |
JP2013110754A (en) * | 2013-01-17 | 2013-06-06 | Casio Comput Co Ltd | Camera device, and photographing method and program of the same |
JP5608803B1 (en) | 2013-10-03 | 2014-10-15 | オリンパス株式会社 | Imaging device, imaging method, and imaging control program |
JP6351335B2 (en) * | 2014-03-31 | 2018-07-04 | キヤノン株式会社 | Imaging device, control method thereof, and control program |
US10291845B2 (en) | 2015-08-17 | 2019-05-14 | Nokia Technologies Oy | Method, apparatus, and computer program product for personalized depth of field omnidirectional video |
JP6736410B2 (en) * | 2016-08-08 | 2020-08-05 | キヤノン株式会社 | Imaging device, control method of imaging device, program, and storage medium |
JP7005338B2 (en) * | 2017-03-22 | 2022-01-21 | キヤノン株式会社 | Information processing equipment and its control method and program |
JP7637927B2 (en) | 2021-02-26 | 2025-03-03 | パナソニックIpマネジメント株式会社 | User interface device, control method, and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005101837A (en) * | 2003-09-24 | 2005-04-14 | Canon Inc | Optical instrument |
-
2005
- 2005-05-31 JP JP2005160643A patent/JP4569389B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005101837A (en) * | 2003-09-24 | 2005-04-14 | Canon Inc | Optical instrument |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10764498B2 (en) | 2017-03-22 | 2020-09-01 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling the same, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2006339903A (en) | 2006-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4569389B2 (en) | Imaging apparatus, image processing method, and program | |
JP4305434B2 (en) | Electronic camera and program | |
JP2009147730A (en) | Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program | |
JP4697078B2 (en) | Imaging apparatus and program thereof | |
JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
JP2009111518A (en) | IMAGING DEVICE, IMAGE REPRODUCING DEVICE AND ITS PROGRAM, AND DATA FILE DATA STRUCTURE | |
JP2017175319A (en) | Image processing apparatus, image processing method, and program | |
JP2003179798A (en) | Digital camera | |
JP4639965B2 (en) | Imaging apparatus, image processing method, and program | |
JP2010021710A (en) | Imaging device, image processor, and program | |
JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
US20160012562A1 (en) | Image processing apparatus and image processing method | |
CN102209199B (en) | Imaging apparatus | |
JP4475165B2 (en) | Imaging apparatus, exposure control method, and program | |
JP4467232B2 (en) | Image recording apparatus and method | |
JP4525459B2 (en) | Movie processing apparatus, movie processing method and program | |
JP4306341B2 (en) | Image shooting device | |
CN100406945C (en) | Camera device and lens unit control method | |
JP2006094031A (en) | Imaging apparatus, image processing method, and program | |
JP4379921B2 (en) | Imaging apparatus and program thereof | |
JP4345515B2 (en) | Imaging apparatus and program | |
JP4349288B2 (en) | Imaging apparatus, image processing method, and program | |
JP4910862B2 (en) | Imaging apparatus and computer program therefor | |
JP4535089B2 (en) | Imaging apparatus, image processing method, and program | |
JP4678273B2 (en) | Imaging apparatus, moving image storage method, and moving image storage program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100726 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4569389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |