JP2020010097A - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】複数フレームの画像を連写撮像して記録する際に、より精度の高い動き情報を生成可能な画像処理装置を提供すること。【解決手段】画像処理装置は、連写撮像して得られた複数の画像データから動き検出を行う動き検出部１０３と、複数の前記画像データのうち、所定の間隔で撮像された画像データから、記録部に記録するための第１の画素数である複数の第１の画像データを生成する第１の生成手段と、複数の前記画像データから、表示部に表示するための第１の画素数よりも小さい第２の画素数である第２の画像データを生成する第２の生成手段と、を有し、動き検出部１０３は、連写撮像して得られた複数の画像データから検出される動き情報を、複数の第１の画像データ間の動き情報として生成する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法およびプログラムに関する。

デジタルカメラ等の撮像装置には被写体を連続で撮像する連写撮像の機能が搭載されているものがある。連写撮像ではシャッターチャンスを逃さないために、１シーンで多数回の撮像を行っておき、後から所望の画像を選ぶという使い方をする場合がある。特許文献１は、動画データに付加された動き情報に基づいて、変化のあるシーンを検出して代表画像を出力する検索技術を開示している。

特開２０１３−１３１８３５号公報

しかしながら、特許文献１に開示されている技術では、フレームレートによっては像ブレ等の影響を受けて精度の高い動き情報が検出出来ないという課題があった。

上記課題に鑑み、本発明は、複数フレームの画像を連写撮像して記録する際に、より精度の高い動き情報を生成可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、連写撮像して得られた複数の画像データから動き検出を行う検出手段と、複数の前記画像データのうち、所定の間隔で撮像された画像データから、記録部に記録するための第１の画素数である複数の第１の画像データを生成する第１の生成手段と、複数の前記画像データから、表示部に表示するための前記第１の画素数よりも小さい第２の画素数である第２の画像データを生成する第２の生成手段と、を有し、前記検出手段は、前記連写撮像して得られた複数の画像データから検出される動き情報を、前記複数の第１の画像データ間の動き情報として生成する。

本発明によれば、複数フレームの画像を連写撮像して記録する際に、より精度の高い動き情報を生成可能な画像処理装置を提供することができる。

撮像装置の構成を示す図である。 連写処理を示すフローチャートである。 動き検出処理を示すフローチャートである。 動き情報および動体マップを説明する図である。 画像検索の一連の流れを説明する図である。

図１は、撮像装置１の構成の一例を示す図である。撮像装置１は、例えば、デジタル一眼カメラ、ビデオカメラ、コンパクトデジタルカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の連写機能を有した撮像装置である。本実施形態では、レンズ装置を着脱可能な撮像装置１の例を示しているが、レンズ装置と一体となっている撮像装置であってもよい。また、センサ１００を除く各処理部（撮像部１０１〜外部記録部１１２）の集合は、画像データを処理可能な画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。また、任意の機器がネットワーク上のプロセッサー等の処理手段を備えたサーバ機器（仮想マシンを含む）に画像データと操作内容を送信し、画像データに対する処理の一部又は全部をサーバ機器で実行する構成が含まれていてもよい。

撮像装置１は、センサ１００、撮像部１０１、画像処理部１０２、動き検出部１０３、動体マップ生成部１０４、被写体認識部１０５、表示部１０６、制御部１０７、データ転送部１０８、一時記録部１１０、記録部１１１、外部記録部１１２を備える。各処理部は、バス１０９を介して接続されている。センサ１００は、レンズからの入射光に対して光電変換を行って電気信号に変換する撮像素子である。センサ１００は、画像データを撮像部１０１に出力する。センサ１００の例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。

撮像部１０１は、センサ１００から画像データを取得し、画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などの補正処理を行う。また、撮像部１０１は、例えば画像処理部１０２が行うホワイトバランスの調整など、画像データを処理する際に使用する補助データを生成する。撮像部１０１は、補正済の画像データと補助データをデータ転送部１０８を介して一時記録部１１０へ書き出す。なお、本実施形態では、記録用の静止画データ（第１の画像データ）と、表示用の第２の画像データを取得する。撮像部１０１は、第１の画像データを生成する第１の生成手段としての機能と、第２の画像データを生成する第２の生成手段としての機能を有する。

画像処理部１０２は、補正済の画像データに対して、ホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形、ノイズリダクション、拡縮処理などの複数の画像処理を実行する。画像処理部１０２は、撮像部１０１により補正が行われた画像データを取得して画像処理を施し、処理結果をデータ転送部１０８を介して一時記録部１１０へ書き出す。

動き検出部１０３は、フレーム間の画像データに基づいて動きを検出する。例えば、動き検出部１０３は、フレーム間の画像データの画素値の差分絶対値和をとり、閾値以上であれば動きがあったと判定する。また、動き検出部１０３は、画素のもつ輝度値が微小時間後（次のフレーム）にその輝度値を変えず、座標のみが変化するという前提のもと、画素の速度ベクトルを求めるオプティカルフロー計算により動きベクトルを求めてもよい。なお、動き検出の方法は、本実施形態で説明した方法に限られるものではなく、他の動き検出手法を採用してもよい。動き検出部１０３は、データ転送部１０８から時間的に異なる複数の画像データを取得してフレーム間の動き検出を行う。動き検出結果は、データ転送部１０８を介して一時記録部１１０へ書き出してもよいし、動き検出部１０３内部に保持していてもよい。

動体マップ生成部１０４は、動き検出部１０３の動き検出結果に応じて動体マップを生成する（第３の生成手段）。動体マップとは、画像から検出された被写体の動きの分布を表すマップデータである。動体マップ生成部１０４は、生成した動体マップをデータ転送部１０８を介して一時記録部１１０へ書き出す。

被写体認識部１０５は、データ転送部１０８を介して一時記録部１１０から画像データを読み出して、画像データの被写体の認識を行う。被写体の認識方法としては、例えば、画像データから特徴量を抽出し、入力パターンと標準パターンを比較して特徴領域の認識を行う方法がある。入力パターンと標準パターンの比較方法には、例えば、パターンマッチング、統計的識別法、構造識別法などがある。なお、被写体の認識方法はこれに限られるものではなく、他の方法であってもよい。

表示部１０６は、データ転送部１０８から画像データを取得し、表示用の画像を生成し、不図示の表示デバイスに表示する。表示デバイスは、例えば、ＬＣＤ（液晶ディスプレイ）、ＥＶＦ（電子ビューファインダー）などの表示装置である。表示部１０６は、取得した画像データに対して、画像の周辺への固定色（例えば、黒塗り）の画素追加処理、表示データへの撮像時間などの埋め込み処理、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像の重畳処理など複数の処理を実行する。画素追加処理は、表示画像のサイズを表示デバイスのサイズに合わせるために行われる。さらに、表示部１０６は、処理後の画像データに対して表示デバイスに合わせたフォーマット変換を行い、表示用の画像を生成する。

制御部１０７は、撮像装置１全体を制御する。制御部１０７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、記録部１１１に記録されたプログラムを読み出して実行することで、撮像装置１が備える各処理部を制御し、後述する各処理を実現する。

データ転送部１０８は、データ転送を行う。データ転送部１０８は、例えば、複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を備える。撮像部１０１などの各処理部から出力された画像データは、データ転送部１０８によってバス１０９に出力され、一時記録部１１０に一時記憶される。一時記録部１１０に記憶された画像データは、データ転送部１０８によってバス１０９に出力され、データ転送部１０８に接続されている各処理部へ出力される。バス１０９は、システムバスとデータバスを備え、各々独立したバス構成となっている。

一時記録部１１０は、メモリ制御部とメモリを備え、制御部１０７或いはデータ転送部１０８からの指示に応じて、メモリへのデータの書き込みや、メモリからのデータの読み出しを行う。一時記録部１１０のメモリは、所定枚数の静止画や所定時間の動画像、音声等のデータや制御部１０７の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置である。

記録部１１１は、不揮発性メモリ制御部と不揮発性メモリを備え、制御部１０７からの指示に応じて、不揮発性メモリへのデータを書き込みや、不揮発性メモリからのデータの読み出しを行う。記録部１１１の不揮発性メモリには、制御部１０７の動作用の定数、プログラム等が記憶される。

外部記録部１１２は、制御部１０７からの指示に応じて、外部メモリへのデータの書き込みや、外部メモリからのデータの読み出しを行う。外部メモリは、例えばＳＤカードなどの記録媒体である。外部メモリには、例えばＪＰＥＧ形式で圧縮した圧縮画像データ等が記録される。なお、圧縮形式はＪＰＥＧに限られるものではなく、例えば動画像データの場合は、ＭＰＥＧ形式などで圧縮した圧縮画像データが記録される。

図２は、静止画の連写処理を示すフローチャートである。静止画の連写処理は、制御部１０７によって制御される。連写処理を開始すると、ステップＳ２００で、制御部１０７は、画像データの撮像モードが静止画撮影か否かを判定する。撮像モードが静止画撮影の場合は、ステップＳ２０１へ進む、一方、撮像が静止画でない場合は、ステップＳ２０２へ進む。

ステップＳ２０１で、制御部１０７は、センサ１００、撮像部１０１、画像処理部１０２を静止画モードで制御し、所定の間隔で連写で撮像した画像データを処理して、外部記録部１１２へ記録する。外部記録部１１２へ連写した画像データを記録する際には一連の連写をグルーピングするために、例えば、一連の連写毎にフォルダを作成して記録してもよいし、ＪＰＥＧのヘッダに連写グループと判別できる判別子を付加して記録してもよい。

ステップＳ２０２で、制御部１０７は、ライブビューモード（以下、ＬＶモードという）での撮像か否か判定する。本実施形態において、ＬＶモードは記録用の静止画の連写撮像のフレームの間に撮像された画像に基づき、画角は静止画と同じであるが、解像度などが静止画と異なるライブビュー画像（以下、ＬＶ画像という）を表示部１０６へ表示するモードとする。記録用の静止画は、記録部１１１に記録するための第１の画素数の画像である（第１の画像）。ＬＶ画像は、表示部１０６に表示するための第１の画素数よりも小さい第２の画素数の画像である（第２の画像）。ＬＶモードの場合は、ステップＳ２０３へ進む。一方、ＬＶモードでない場合は、ステップＳ２０６へ進む。ステップＳ２０３で、制御部１０７は、センサ１００、撮像部１０１、画像処理部１０２をＬＶモードで制御し、画像データを処理して、ＬＶ画像を表示部１０６で表示する。

ステップＳ２０４で、制御部１０７は、動き検出部１０３を制御して、動き検出処理を行い、ステップＳ２０５へ進む。動き検出処理の詳細は図３を用いて、後述する。ステップＳ２０５で、制御部１０７は、動体マップ生成部１０４を制御して、動き検出処理の結果に基づいて動体マップを生成し、ステップＳ２０６へ進む。動体マップは、一連の連写毎に１つ作成される。なお、すでに動体マップが生成されている場合は、動き情報をマージして動体マップを更新する。動体マップの具体的な作成例は、図４を用いて後述する。

ステップＳ２０６で、制御部１０７は、連写撮像の終了判断を行う。連写撮像を終了する場合はステップＳ２０７へ進む。一方、連写撮像を終了しない場合は、ステップＳ２００へ戻る。ステップＳ２０７で、制御部１０７は、ステップＳ２０５で作成した動体マップを、外部記録部１１２へ記録して、連写処理を終了する。動体マップを記録する際には、連写した画像データと関連付けて保存する。例えば、連写した画像データを記録する際に一連の連写毎にフォルダを作成していた場合には、該当のフォルダに動体マップを記録する。連写した画像データを記録する際に一連の連写毎にＪＰＥＧのヘッダに連写グループと判別できる判別子を付加している場合には、動体マップにも同じ判別子を付加して記録する。

図３は、ステップＳ２０４の動き検出処理の詳細を示すフローチャートである。動き検出処理は、制御部１０７によって制御される。ステップＳ３００で、制御部１０７は、高速連写モードか否かを判定する。高速連写モードであるか否かは、例えば、秒間に撮像する記録用の静止画のコマ数と閾値とを比較して判定する。コマ数が閾値以上の場合、すなわち、高速連写モードの場合は、ステップＳ３０１へ進む。一方、高速連写モードでない低速連写モードの場合は、ステップＳ３０３へ進む。なお、高速連写モードであるか否かを連写モードの設定値や記録容量から判定するようにしてもよい。

ステップＳ３０１で、制御部１０７は、一時記録部１１０に一時的に溜まっている画像データの容量が所定の容量を超えていないか否か、すなわち、予め定めた記録領域に画像データを記録できる領域が残っているか否かを判定する。予め定めた記録領域に画像データを記録できる領域が残っていない場合（以下、バッファフルという）は、ステップＳ３０３へ進む。一方、バッファフルでない場合は、ステップＳ３０２へ進む。

ステップＳ３０２で、制御部１０７は、動き検出で使用するために動き検出部１０３へ入力する複数の静止画の画像データを決定し、ステップＳ３０７に進む。静止画の高速連写モードもしくは被写体速度が低速の場合においては、２枚の静止画の画像データを選択する。本実施形態では、例えば、連写して取得した画像データの中から、ある静止画の画像データと該画像データの直前もしくは直後に撮像された静止画の画像データを、動き検出部１０３へ入力する画像データに決定する。

ステップＳ３０７で、制御部１０７は、画像処理部１０２を制御して静止画の画像データの縮小を行う。つまり、ステップＳ３０２で決定した２枚の静止画の画像データを画像処理部１０２へ入力し、画像処理部１０２は、ＬＶの画像データと同じサイズとなるように画像データの縮小を行い、ステップＳ３０９へ進む。なお、制御部１０７は、後述するステップＳ３０８と同様に、画像処理部１０２を制御して静止画の画像データの調整を行ってもよい。

ステップＳ３０９で、制御部１０７は、ステップＳ３０２、ステップＳ３０４、ステップＳ３０６のいずれかで決定した画像データを動き検出部１０３へ入力し、動き検出結果を得る。そして、制御部１０７は、動き検出結果に基づいて、フレーム内を複数の画素単位の矩形領域に分割して、動きが検出された領域を表す動き情報を生成する。また動き検出結果と被写体認識の結果に基づいて、動きが検出された領域のうち、被写体認識部１０５で認識した領域だけを抽出して、主被写体の動き情報を生成するようにしてもよい。

ステップＳ３０３で、制御部１０７は、被写体速度を算出し、被写体速度が高速であるか否か判定する。被写体速度を算出するために、例えば、画像データを被写体認識部１０５へ入力して被写体検出結果を得て、１フレーム前の被写体検出結果と合わせて、三角測量などを用いて被写体の移動距離を算出する。そして、被写体の移動距離とフレーム間の撮像間隔に応じて、距離／時間の計算によって被写体速度を求める。なお、被写体速度の算出方法はこれに限られるものではない。制御部１０７は、算出した被写体速度を閾値（第１の速度）と比較して被写体速度が高速か否かを判定する。被写体速度が第１の速度以上である場合は、被写体速度が高速であると判定し、ステップＳ３０４へ進む。一方、被写体速度が高速ではない場合は、ステップＳ３０５へ進む。

ステップＳ３０４で、制御部１０７は、動き検出で使用するために動き検出部１０３へ入力する複数の画像データを決定し、ステップＳ３０８に進む。被写体速度が高速なＬＶモードにおいては、静止画の画像とＬＶ画像を選択する。本実施形態では、例えば、連写して取得した画像データの中から、ある静止画の画像データと該画像データの直前もしくは直後に撮像されたＬＶ画像の画像データを、動き検出部１０３へ入力する画像データに決定する。

ステップＳ３０８で、制御部１０７は、画像処理部１０２を制御して静止画の画像データの縮小を行う。つまり、ステップＳ３０４で決定した静止画の画像データを画像処理部１０２へ入力し、画像処理部１０２は、ＬＶの画像データと同じ解像度となるように画像データの縮小を行う。さらに、制御部１０７は、画像処理部１０２を制御して静止画の画像データの調整を行う。具体的には、画像処理部１０２は、静止画とＬＶ画像を入力された動き検出部１０３の誤認識を抑制するため、静止画の画像データの画質、解像度、明るさ、色味などをＬＶの画像データと同じとなるようにゲイン、ガンマ、ホワイドバランスなどを調整する。

ステップＳ３０５で、制御部１０７は、ステップＳ３０３で求めた被写体速度が中速か否か判定する。被写体速度が閾値（第２の速度）以上である場合、すなわち被写体速度が中速の場合は、ステップＳ３０６に進む。一方、被写体速度が第２の速度未満である場合、すなわち被写体速度が低速の場合は、ステップＳ３０２に進む。

ステップＳ３０６で、制御部１０７は、動き検出部１０３へ入力する画像データを、動き検出で使用するために動き検出部１０３へ入力する複数の画像データを決定し、ステップＳ３０９に進む。被写体速度が中速なＬＶモードにおいては、２枚のＬＶ画像を選択する。本実施形態では、例えば、連写して取得した画像データの中から、あるＬＶ画像データと該ＬＶ画像データの直前もしくは直後に撮像されたＬＶ画像データを、動き検出部１０３へ入力する画像データに決定する。

以上説明したように、連写速度と被写体速度に応じて動き検出に使用する画像を切替えることにより、手振れやデジタルカメラのパンニングなどによる動きの影響を抑制し、精度の高い動き情報および動体マップを生成することが可能となる。

図４は、動き情報および動体マップを説明する図である。なお、図４は、静止画の高速連写モードでなく、被写体速度が高速であった場合の連写の模式図であり、図３においてはステップＳ３０４、ステップＳ３０８のルートを通ることになる。画像４００〜画像４０９は、野球選手のスイングを連写撮像した各フレームの画像である。画像４００、画像４０３、画像４０６、画像４０９が静止画の画像データである。ＬＶ画像４０１、ＬＶ画像４０２、ＬＶ画像４０４、ＬＶ画像４０５、ＬＶ画像４０７、ＬＶ画像４０８がＬＶ画像の画像データである。なお、連写中は、ＬＶ画像の画像データのみを表示部１０６に表示させても良いし、静止画の画像データをＬＶと同じ解像度、明るさや色味に変換して、ＬＶ画像と静止画の画像データを表示部１０６に表示させても良い。

動き情報４１０、動き情報４１１、動き情報４１２は、ステップＳ３０９の動き情報生成で生成した動き情報である。動き情報４１０〜動き情報４１２の斜線部が動き情報を示している。動き情報４１０は、動き検出部１０３でＬＶ画像４０２と画像４０３を用いて動き検出した結果である。

動体マップ４１３、動体マップ４１４、動体マップ４１５は、ステップＳ２０５で生成した動体マップである。動体マップは、例えば、フレーム毎に動きの検出された領域を２ｂｉｔフラグで表したマップである。本実施形態においては、動体マップには、フレーム毎に決まったｂｉｔを割り当て、動き情報に基づいて動きがあった矩形領域に割り当てられたｂｉｔを１にする。例えば、画像４０３に対応する動き情報４１０をｂｉｔ０に割り当て、画像４０６に対応する動き情報４１１をｂｉｔ１に割り当て、画像４０９に対応する動き情報４１２をｂｉｔ２に割り当て、割り当たられたｂｉｔに１を書き込む。動体マップ４１３には、ｂｉｔ０に動き情報４１０が割り当てられている。動体マップ４１４は、動体マップ４１３に動き情報４１１をマージした動体マップであり、ｂｉｔ１に動き情報４１１が割り当てられている。動体マップ４１５は、動体マップ４１４に動き情報４１２をマージした動体マップであり、ｂｉｔ２に動き情報４１２が割り当てられている。ステップＳ２０７で記録される動体マップは、最後に作成された動体マップ４１５となる。

図５は、画像検索の一連の流れを説明する図である。画像５００は、連写撮像した１枚目の静止画の画像４００に、動体マップ４１５に基づいて動きのあった領域を重畳表示している画像である。本実施形態では、画像４００上に動きのあった矩形領域を実線で囲って示しているが、これに限られるものではなく、例えば特定色を重畳表示するなど動きのあった領域を確認できる表示であればよい。なお、矩形領域の実線の表示は、制御部１０７が表示部１０６を制御して表示させている。

画像５０１は、画像５００にユーザが指定した領域である指定領域が斜線で追加された表示画像である、斜線部分は、ユーザがバットとボールのミートの瞬間の静止画の画像データが欲しくて指定した領域となる。指定方法は、表示画面を指でタッチする、あるいは、デジタルカメラのボタン操作で指定するなどのユーザ操作による。ユーザは画像５００に表示された動きのあった領域の中で指定領域を指定する。

動体マップ５０２は、動体マップ４１５に、画像５０１で指定された斜線領域を重ねた動体マップである。制御部１０７は、動体マップ５０２から斜線部の値を読み出すことで、どの画像に動きがあったのかを判別できる。動体マップ５０２の例では、０ｘ２が読み込まれ、ｂｉｔ１に１が立っているため、画像４０６と判定して、画像４０６を表示部１０６で表示することになる。なお、読み出した値が０ｘ３であった場合は、画像４０３および画像４０６が該当することになるが、時間方向に最初に現れる画像４０３を表示部１０６へ表示する。このように、動体マップを用いた画像検索を行うことで、検索時間を短縮しつつユーザが欲している動きのあった画像を表示可能となる。

以上説明したように、本実施形態によれば、複数フレームの画像を連写撮像して記録する際に、連写速度や被写体速度に応じて動き検出に用いる画像を切り替えることで、より精度の高い動き情報を生成することが可能となる。そのため、本実施形態によれば、静止画の画像データの検索を高速に行うことが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０１ 撮像部
１０２ 動き検出部
１０３ 動体マップ生成部

Claims (14)

1. 連写撮像して得られた複数の画像データから動き検出を行う検出手段と、
   複数の前記画像データのうち、所定の間隔で撮像された画像データから、記録部に記録するための第１の画素数である複数の第１の画像データを生成する第１の生成手段と、
   複数の前記画像データから、表示部に表示するための前記第１の画素数よりも小さい第２の画素数である第２の画像データを生成する第２の生成手段と、を有し、
   前記検出手段は、前記連写撮像して得られた複数の画像データから検出される動き情報を、前記複数の第１の画像データ間の動き情報として生成することを特徴とする画像処理装置。
2. 前記検出手段は、連写撮像の連写速度または前記複数の画像データ内の被写体の速度に応じて、前記動き検出に用いる画像データに前記第２の画像データを含めるか否かを切替えることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記連写速度が第１の速度未満である場合、前記第１及び第２の画像データから前記動き検出を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記連写速度が第１の速度以上である場合、前記第１の画像データのみを用いて前記動き検出を行うことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記画像データから被写体を認識する被写体認識手段と、
   前記被写体認識手段が認識した被写体の速度を算出する算出手段と、をさらに備え、
   前記検出手段は、前記連写速度が第１の速度未満である場合において、前記被写体の速度が第２の速度以上である場合、前記第１及び第２の画像データを用いて前記動き検出を行い、前記被写体の速度が前記第２の速度未満かつ前記第２の速度より遅い第３の速度以上である場合、複数の前記第２の画像データを用いて前記動き検出を行い、前記第３の速度未満である場合、複数の前記第１の画像データを用いて前記動き検出を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記検出手段が前記動き検出に前記第１の画像データを用いる場合、画素数を前記第２の画像データに合わせる画像処理を行う画像処理手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記検出手段の検出結果に基づいて、画像データ内の被写体の動きの分布を表す動体マップを生成する第３の生成手段と、
   前記連写撮像した複数の画像データと、該複数の画像データに対応する前記動体マップを関連付けて記録する記録手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第３の生成手段は、前記検出手段の検出結果に基づいて、複数の画素ごとに分割した領域のうち被写体の動きが検出された領域を表す動き情報を生成して、前記動き情報に基づいて動体マップを生成し、連写撮像において既に動体マップが生成されている場合は、前記動き情報に基づいて該動体マップを更新することを特徴とする請求項７に記載の画像処理装置。
9. 前記動体マップは、動きが検出された領域を２ｂｉｔフラグで表したマップであることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第２の画像データに基づく画像を表示部に表示する表示制御手段と、
    ユーザの指定に応じて前記第１の画像データを検索する検索手段と、をさらに有し、
    前記第１の画像データの検索を行う場合、
    前記表示制御手段は、表示する画像に前記動体マップに基づいて動きが検出された領域を重畳表示し、
    前記検索手段は、重畳表示した前記動きが検出された領域の中でユーザにより指定された指定領域において動きのあった前記第１の画像データを検索し、
    前記表示制御手段は、前記検索手段が検索した前記第１の画像データを表示することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記第１の画像データは記録用の静止画像データであり、前記第２の画像データは表示用の画像データであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 画像を撮像する撮像手段と、
    連写撮像して得られた複数の画像データから動き検出を行う検出手段と、
    複数の前記画像データのうち、所定の間隔で撮像された画像データから、記録部に記録するための第１の画素数である複数の第１の画像データを生成する第１の生成手段と、
    複数の前記画像データから、表示部に表示するための前記第１の画素数よりも小さい第２の画素数の第２の画像データを生成する第２の生成手段と、を有し、
    前記検出手段は、前記連写撮像して得られた複数の画像データから検出される動き情報を、前記複数の第１の画像データ間の動き情報として生成することを特徴とする撮像装置。
13. 画像処理装置の制御方法であって、
    連写撮像して得られた複数の画像データから動き検出を行う検出工程と、
    複数の前記画像データのうち、所定の間隔で撮像された画像データから、記録部に記録するための第１の画素数である複数の第１の画像データを生成する第１の生成工程と、
    複数の前記画像データから、表示部に表示するための前記第１の画素数よりも小さい第２の画素数の第２の画像データを生成する第２の生成工程と、を有し、
    前記検出工程においては、前記連写撮像して得られた複数の画像データから検出される動き情報を、前記複数の第１の画像データ間の動き情報として生成することを特徴とする制御方法。
14. 請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images