JP2016181823A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像から合成画像を生成する際の画像を選択するユーザの負担を軽減させること。
【解決手段】撮像装置１は、画像取得部５１と、画像評価部５３と、画像選択部５５と、画像生成部５６と、を備える。画像取得部５１は、複数の画像を取得する。画像評価部５３は、画像取得部５１より取得された複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する。画像選択部５５は、画像評価部５３による評価結果に基づいて、複数の画像から所定枚数の特定の画像を選択する。画像生成部５６は、画像選択部５５により選択された所定枚数の特定の画像から、新たな画像を生成する。
【選択図】図３

Description

本発明は、画像を生成する画像処理装置、画像処理方法及びプログラムに関する。

従来、複数の画像から任意に複数の画像を選択し、当該複数の画像を合成するという手法が行われている（特許文献１を参照）。

特開２０００−０４３３６３号公報

しかしながら、上述した特許文献１に記載された技術では、任意に個別の画像を選択する必要があるため、選択する画像の量によっては、ユーザへの負担が大きくなる虞があった。

本発明は、このような状況に鑑みてなされたものであり、複数の画像から合成画像を生成する際の画像を選択するユーザの負担を軽減させることを目的とする。

上記目的を達成するため、本発明の一態様の画像生成装置は、
複数の画像を取得する取得手段と、
前記取得手段より取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価手段と、
前記評価手段による評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択手段と、
前記選択手段により選択された前記所定枚数の特定の画像から、新たな画像を生成する生成手段と、
を備えたことを特徴とする。

本発明によれば、複数の画像から合成画像を生成する際の画像を選択するユーザの負担を軽減させることができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 ダイジェスト動画の生成を説明するための模式図である。 図１の撮像装置の機能的構成のうち、画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図１の撮像装置が実行する画像生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、本実施形態においては、複数の画像を評価し、当該評価に基づいて選択された画像から新たな画像である１つの動画（以下、「ダイジェスト動画」という。）を生成する機能を有する。

図２は、ダイジェスト動画の生成を説明するための模式図である。
本実施形態においては、図２に示すように、静止画や動画から１つのダイジェスト動画を生成する。
例えば、静止画の場合には、評価・分別した画像から、評価結果に基づいて、画像を選択して、選択した画像をフレーム画像とするダイジェスト動画を生成する。
また、動画の場合には、評価・分別した動画から、評価結果に基づいて、動画を選択し、選択した動画のフレーム画像からダイジェスト動画を生成する。この場合、選択した動画から複数のフレーム画像を選択することもできる。
また、１つの動画からもダイジェスト動画を生成可能であり、この場合には、動画を構成するフレーム画像に対して、評価・分別を行って、評価結果に基づいて、フレーム画像を選択して、ダイジェスト動画を生成する。
また、静止画と動画からもダイジェスト動画を生成可能であり、これらの生成に用いる画像の種類の選択をユーザが行うことができるように構成される。
なお、以下、ダイジェスト動画を構成するフレーム画像として用いられる静止画やフレーム画像については、単に画像と呼ぶ。

ここで、ダイジェスト動画の生成に際して行われる評価について説明する。
本実施形態で用いられる評価手法は、画像に対する撮影や編集や再生等の操作に対応する点数を合計して、評価を決定する。本実施形態においては、画像に対する撮影や編集や再生等の操作を操作時に操作に起因する情報として操作履歴の記憶をしておき、評価の際に用いる。
また、評価項目は、本実施形態においては、画像編集の操作に関するもの、撮像時の特定撮像操作に関するもの、動画撮影時に静止画として撮影する操作によるもの、または再生に関する操作によるものがある。
画像編集の操作（編集履歴）としては、例えば、ライティング（＋１），ホワイトバランス（＋１），明るさ編集（＋１），トリミング（＋２），プロテクト（＋２）という項目において（ ）内に示す配点となる評価がなされる。
撮像時の特定撮像操作（撮影操作履歴）としては、例えば、シャッター長押し操作（＋３），フォーカス操作（＋２）という項目において（ ）内に示す配点となる評価がなされる。
動画撮影時に静止画として撮影する操作（静止画保存履歴）の項目には、例えば、（＋２）の配点となる評価がなされる。
再生に関する操作（再生履歴）としては、評価対象が静止画の場合には、撮影直後の再生（＋１），マルチ再生での再生（＋１），拡大再生（＋１）とし、評価対象が動画の場合には、対象となる操作を行ったフレームの各々について、通常再生（＋１），拡大再生（＋３），ポーズ＆コマ送り（＋２），早送り（−１），早戻し（＋１）という項目において（ ）内に示す配点となる評価がなされる。

また、グループ分別については、本実施形態においては、上述した評価項目と、画像の撮影日時や撮影場所の近さで行う。
高い評価の画像を選択するように構成した場合、特定の評価項目を有する画像が偏って高い評価を受けてしまったときには、特定の評価項目を有する画像が多数選択されてしまうが、このように評価項目毎にグループ分別をすると、グループで所定の枚数の画像を選択することになるため評価項目での選択の偏りを減らすことができる。なお、評価項目での選択を行いたい場合には、例えば、特定のグループのみから選択するようにしたり、特定のグループから選択する枚数を増やすように選択の重み付けをしたりすればよい。
また、さらに撮影日時や撮影場所の近さでもグループ分別を行うと、似た場面シーンでの画像の偏りをなくすことができる。

また、画像の選択については、各グループから所定の枚数選択するように構成したり、特定のグループから画像を選択するようにしたり、グループ毎に選択する枚数に重み付けることができる。グループ内での画像の選択は、例えば、高い評価の画像を選択する等の画像の評価結果を用いる。また、逆に、低い評価やマイナス評価の画像を選択しないように構成することもできる。

図３は、このような撮像装置１の機能的構成のうち、画像生成処理を実行するための機能的構成を示す機能ブロック図である。
画像生成処理とは、画像を評価して、評価した画像をグループに分別した複数の画像を評価し、グループ毎に高い評価の画像を選択して、当該選択された画像からダイジェスト動画を生成するまで一連の処理をいう。

画像生成処理は、図３に示すように、ＣＰＵ１１において、画像取得部５１と、画像評価部５３と、画像分別部５４と、画像選択部５５と、画像生成部５６と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、画像情報記憶部７２とが設定される。

画像記憶部７１には、撮影や外部ネットワークから取得した画像のデータが記憶される。
なお、取得した画像には、撮影日時と撮影場所の情報が付帯情報として記憶されている。

画像情報記憶部７２には、撮影等で取得した画像に対する操作に起因した情報が記憶される。操作に起因した情報とは、本実施形態においては、画像の画像編集に関する情報、撮像時の特定撮像操作に関する情報、動画撮影時に静止画として撮影されたか否かの情報、または再生に関する情報である。
画像編集の操作（編集履歴）の情報としては、例えば、ライティング，ホワイトバランス，明るさ編集，トリミング，プロテクトの操作の有無の情報である。
撮像時の特定撮像操作（撮影操作履歴）の情報としては、例えば、シャッター長押し操作，フォーカス操作の有無の情報である。
動画撮影時に静止画として撮影する操作（静止画保存履歴）の情報とは、当該操作の有無の情報である。
再生に関する操作（再生履歴）の情報としては、例えば、評価対象が静止画の場合には、撮影直後の再生，マルチ再生での再生，拡大再生とし、評価対象が動画の場合には、対象となる操作を行ったフレームの各々について、通常再生，拡大再生，ポーズ＆コマ送り，早送り，早戻しの有無の情報である。
撮像装置１では、画像に対する操作を監視し、操作が行われた場合に、画像情報に逐次画像と操作とを対応付けて記憶する。

画像取得部５１は、ユーザによって指定されたダイジェスト動画の生成に使用する画像の種類を選択する。具体的には、ユーザによって、静止画のみ、動画のみ又は静止画と動画のうちから指定された画像の種類を選択する。
また、画像取得部５１は、選択された画像の種類に基づいて、画像記憶部７１に記憶される画像を取得する。

画像設定部５２は、ユーザの入力部１７に対する操作により、使用する画像の枚数を決定（設定）する。本実施形態においては、ダイジェスト動画を生成するため、動画における１枚当たりの再生時間を考慮して、使用枚数を設定する。また、選択順に応じて１枚の再生時間も設定するように構成することもできる。なお、生成される画像が動画ではなく、画像（例えば、コラージュ画像）の場合には、そのまま使用枚数を設定する。
また、画像設定部５２は、ユーザの入力部１７に対する操作により、選択枚数のグループにおける重み付けを設定する。選択枚数のグループにおける重み付けがされることにより、グループにおける選択枚数が設定される。また、本実施形態においては、グループの分別に用いなかった評価項目で選択枚数に重み付けをするか否かを設定する。例えば、日付でグループの分別を行って、評価項目のうち画像の編集履歴のある画像を優先的に選択させる等の重み付けを設定する。

画像評価部５３は、画像取得部５１によって取得された画像を評価する。具体的には、画像評価部５３は、画像情報記憶部７２に記憶される操作に起因する情報を参照して、各画像に対して、配点項目毎に点数を付けて、合計の点数により、評価を行う。点数が高い画像は高評価となり、点数が低い画像は低評価となり、マイナス評価の画像は使用しない画像となる。

画像分別部５４は、評価項目毎に画像をグループに分別する。具体的には、画像分別部５４は、例えば、画像の付加情報と、画像情報記憶部７２に記憶される操作に起因する情報を参照して、撮影日付や撮影場所の近さと、評価項目とを組み合わせたグループ分けを行う。

画像選択部５５は、各グループから画像を選択する。具体的には、画像選択部５５は、例えば、各グループにおいて点数が高く評価が高い画像を所定の画像枚数分（例えば、ダイジェスト動画の再生時間を考慮して、グループで１枚やユーザが設定した枚数）を選択する。また、画像選択部５５は、グループの種類に応じて、異なる画像枚数で画像を選択するように構成することもできる。

画像生成部５６は、画像選択部５５によって選択された画像からダイジェスト動画を生成する。具体的には、画像生成部５６は、選択した各画像が所定の再生時間となるようにフレーム画像の生成を行って、再生順番に並び替えた後に合成して、１つのダイジェスト動画を生成する。

図４は、図３の機能的構成を有する図１の撮像装置１が実行する画像生成処理の流れを説明するフローチャートである。
画像生成処理は、ユーザによる入力部１７への画像生成処理開始の操作により開始される。

ステップＳ１１において、画像取得部５１は、画像記憶部７１に記憶される画像を取得する。

ステップＳ１２において、画像取得部５１は、ユーザによって指定されたダイジェスト動画の生成に使用する画像の種類を選択する。具体的には、ユーザによって、静止画のみ、動画のみ又は静止画と動画のうちから指定された画像の種類を選択する。

ステップＳ１３において、画像取得部５１は、選択された画像の種類に基づいて、取得した画像から、選択された画像の種類の画像を取得する。

ステップＳ１４において、画像設定部５２は、ユーザの入力部１７に対する操作により、画像の使用枚数を決定（設定）する。本実施形態においては、ダイジェスト動画を生成するため、動画における１枚当たりの再生時間を考慮して、使用枚数を設定する。

ステップＳ１５において、画像評価部５３は、画像取得部５１によって取得された画像を評価する。詳細には、画像評価部５３は、画像情報記憶部７２に記憶される操作に起因する情報を参照して、各画像に対して、配点項目毎に点数を付けて、合計の点数により、評価を行う。点数が高い画像は高評価となり、点数が低い画像は低評価となり、マイナス評価の画像は使用しない画像となる。
具体的には、以下のような評価項目と配点の下で、画像における合計点数で評価をする。
画像編集の操作（編集履歴）としては、例えば、ライティング（＋１），ホワイトバランス（＋１），明るさ編集（＋１），トリミング（＋２），プロテクト（＋２）という項目において（ ）内に示す配点となる評価がなされる。
撮像時の特定撮像操作（撮影操作履歴）としては、例えば、シャッター長押し操作（＋２），フォーカス操作（＋２）という項目において（ ）内に示す配点となる評価がなされる。
動画撮影時に静止画として撮影した操作（静止画保存履歴）の項目には、例えば、（＋２）の配点となる評価がなされる。
再生に関する操作（再生履歴）としては、評価対象が静止画の場合には、撮影直後の再生（＋１），マルチ再生での再生（＋１），拡大再生（＋１）とし、評価対象が動画の場合には、対象となる操作を行ったフレームの各々について、通常再生（＋１），拡大再生（＋３），ポーズ＆コマ送り（＋２），早送り（−１），早戻し（＋１）という項目において（ ）内に示す配点となる評価がなされる。

ステップＳ１６において、画像分別部５４は、評価項目毎に画像をグループに分別する。具体的には、画像分別部５４は、画像の付加情報と、画像情報記憶部７２に記憶される操作に起因する情報を参照して、撮影日付や撮影場所の近さと、評価項目である各画像の画像編集の有無、撮像時の特定撮像操作の有無、動画撮影時の静止画であるか否かによって、グループ分けを行う。例えば、撮影日付が近く画像編集を行っている画像が１つのグループとして分別される。

ステップＳ１７において、画像設定部５２は、選択枚数の重み付け処理を行うか否かを判定する。具体的には、画像設定部５２は、ユーザの入力部１７に対する操作により、選択枚数のグループにおける重み付けが設定された場合に、選択枚数の重み付け処理を行うと判定する。
選択枚数の重み付け処理を行わない場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、画像設定部５２は、グループ毎の選択枚数を設定する。即ち、画像設定部５２は、ユーザの入力部１７に対する操作に基づいて、グループにおいて選択枚数の重み付けをつけて、グループ毎の選択枚数を設定する。この際、画像設定部５２は、グループの分別に用いなかった評価項目で選択枚数に重み付けをするか否かを設定する。具体的には、画像設定部５２は、例えば、日付でグループの分別を行って、評価項目のうち画像の編集履歴のある画像を優先的に選択させるように設定する。

これに対して、選択枚数の重み付け処理を行わない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１９に進む。

ステップＳ１９において、画像選択部５５は、各グループから画像を選択する。具体的には、画像選択部５５は、例えば、各グループにおいて点数が高く評価が高い画像を選択する。また、画像選択部５５は、グループ毎の選択枚数が設定されている場合には、グループの種類に応じて、異なる画像枚数で画像を選択する。

ステップＳ２０において、画像生成部５６は、画像選択部５５によって選択された画像からダイジェスト動画を生成する。具体的には、画像生成部５６は、選択した各画像が所定の再生時間となるようにフレーム画像の生成を行って、再生順番に並び替えた後に合成して、１つのダイジェスト動画を生成する。その結果、図２に示すように、動画や静止画からダイジェスト動画が生成される。
その後、画像生成処理は終了する。

以上のように構成される撮像装置１は、画像取得部５１と、画像評価部５３と、画像選択部５５と、画像生成部５６と、を備える。
画像取得部５１は、複数の画像を取得する。
画像評価部５３は、画像取得部５１より取得された複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する。
画像選択部５５は、画像評価部５３による評価結果に基づいて、複数の画像から所定枚数の特定の画像を選択する。
画像生成部５６は、画像選択部５５により選択された所定枚数の特定の画像から、新たな画像を生成する。
これにより、撮像装置１においては、操作に起因する情報に基づいた評価に基づいて、画像を選択することで、ユーザの興味／不興を反映した画像の選択ができるために、よりユーザの関心の高い画像により構成される新たな画像を生成することができる。また、ユーザが関心の高い画像を自ら探し出して選択する必要がないために、画像選択の手間を削減することができる。

画像の編集に係る操作は、ライティング、ホワイトバランス、明るさ、トリミング又はプロテクトを変更する操作を含む。
これにより、撮像装置１においては、ライティング、ホワイトバランス、明るさ、トリミング又はプロテクトを変更する操作で画像を評価することができ、ユーザが関心の高い画像を自ら探し出して選択する必要がないために、画像選択の手間を削減することができる。

撮像時の特定の撮像に係る操作は、ズーム操作、シャッター長押し操作、フォーカス操作又は動画撮影中の静止画撮影操作を含む。
これにより、撮像装置１においては、ズーム操作、シャッター長押し操作、フォーカス操作又は動画撮影中の静止画撮影操作で画像を評価することができ、ユーザが関心の高い画像を自ら探し出して選択する必要がないために、画像選択の手間を削減することができる。

再生に係る操作は、静止画を再生する場合、撮影直後の再生操作、マルチ再生時に選択して再生する再生操作又は拡大再生操作を含む。
これにより、撮像装置１においては、静止画を再生する場合、撮影直後の再生操作、マルチ再生時に選択して再生する再生操作又は拡大再生操作で画像を評価することができ、ユーザが関心の高い画像を自ら探し出して選択する必要がないために、画像選択の手間を削減することができる。

再生に係る操作は、動画を再生する場合、拡大再生、ポーズ、コマ送り又は早戻しの操作を含む。
これにより、撮像装置１においては、動画を再生する場合、拡大再生、ポーズ、コマ送り又は早戻しの操作で画像を評価することができ、ユーザが関心の高い画像を自ら探し出して選択する必要がないために、画像選択の手間を削減することができる。

撮像装置１は、画像分別部５４を更に備える。
画像分別部５４は、前記操作に起因する情報に基づいて、複数の画像を複数のグループに分別する。
画像選択部５５は、画像分別部５４により分別された複数のグループの夫々から、所定枚数の特定の画像を選択する。
これにより、撮像装置１においては、操作に起因する情報に基づいて、画像を複数のグループに分別するために、ユーザの関心の種類毎に画像群を構成でき、偏ったユーザの関心事での画像を無意識的に多く選択してしまう等のことがなく、ユーザが関心の高い画像を多彩に選択することができる。

画像分別部５４は、画像取得部５１で取得された複数の画像夫々の関連情報を取得する。
画像分別部５４は、画像分別部５４により取得された関連情報と画像評価部５３による評価結果とに基づいて、複数の画像を複数のグループに分別する。
これにより、撮像装置１においては、例えば、日付や場所等の関連情報でさらにグループに分別することで、似たシーンの画像を選択することがないために、ユーザが関心の高い画像を多彩に選択することができる。

また、撮像装置１は、画像生成部５６における画像生成に使用する画像数を決定する画像設定部５２を更に備える。
画像選択部５５は、画像設定部５２により決定された画像数に基づいて、複数の画像から特定の画像を選択する。
これにより、撮像装置１においては、画像数を決定することができ、任意の枚数で構成された新たな画像を生成することができる。

画像設定部５２は、各画像の画像評価部５３による評価結果又は画像の付帯情報の何れかに基づいて、複数のグループの夫々から選択する画像数に重み付けを行う。
これにより、撮像装置１においては、各画像の評価結果又は画像の付帯情報の何れかに基づいて、グループ毎に画像数の重み付けが設定されるために、評価結果又は画像の付帯情報とグループによる偏重が考慮された新たな画像を生成することができる。

画像取得部５１は、１の動画から複数の画像を取得する。
画像生成部５６は、画像取得部５１によって取得された画像から、１の動画を構成する場面を集約したダイジェスト動画を生成する。
これにより、撮像装置１においては、ユーザの興味を引く動画を生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、複数の画像（静止画や動画）から新たな画像（本実施形態においては、ダイジェスト動画）を生成する例について説明したがこれに限られない。例えば、１つの動画内において各フレームでの評価を行って、コラージュ画像のような新たな画像を生成してもよい。この場合、生成元の動画を要約する形でコラージュ画像を生成するために、動画を全て見る必要がなくなる。特に長い動画の場合には効果的である。また、生成されたコラージュ画像を動画のサムネイルとして用いた場合には、動画全体の内容を反映することになり、動画の視認性や判別性を向上させることができる。
また、動画の撮影中に操作がなされて静止画を保存した場合には、当該静止画で構成したコラージュ画像を生成してもよい。この際も、生成されたコラージュ画像をサムネイルとして用いることができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を取得する取得手段と、
前記取得手段より取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価手段と、
前記評価手段による評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択手段と、
前記選択手段により選択された前記所定枚数の特定の画像から、新たな画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
［付記２］
前記画像の編集に係る操作は、ライティング、ホワイトバランス、明るさ、トリミング又はプロテクトを変更する操作を含む、
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記撮像時の特定の撮像に係る操作は、ズーム操作、シャッター長押し操作、フォーカス操作又は動画撮影中の静止画撮影操作を含む、
ことを特徴とする付記１又は２に記載の画像生成装置。
［付記４］
前記再生に係る操作は、静止画を再生する場合、撮影直後の再生操作、マルチ再生時に選択して再生する再生操作又は拡大再生操作を含む、
ことを特徴とする付記１から３の何れか１つに記載の画像生成装置。
［付記５］
前記再生に係る操作は、動画を再生する場合、拡大再生、ポーズ、コマ送り又は早戻しの操作を含む、
ことを特徴とする付記１から４の何れか１つに記載の画像生成装置。
［付記６］
前記操作に起因する情報に基づいて、前記複数の画像を複数のグループに分別する分別手段を更に備え、
前記選択手段は、前記分別手段により分別された複数のグループの夫々から、所定枚数の特定の画像を選択する、
ことを特徴とする付記１から５の何れか１つに記載の画像生成装置。
［付記７］
前記取得手段で取得された前記複数の画像夫々の関連情報を取得する情報取得手段を更に備え、
前記分別手段は、前記情報取得手段により取得された前記関連情報と前記評価手段による前記評価結果とに基づいて、前記複数の画像を複数のグループに分別する、
ことを特徴とする付記６に記載の画像生成装置。
［付記８］
前記生成手段における画像生成に使用する画像数を決定する画像数決定手段を更に備え、
前記選択手段は、前記画像数決定手段により決定された前記画像数に基づいて、前記複数の画像から特定の画像を選択する、
ことを特徴とする付記１に記載の画像生成装置。
［付記９］
前記選択手段は、前記各画像の前記評価手段による評価結果又は画像の付帯情報の何れかに基づいて、前記複数のグループの夫々から選択する画像数に重み付けを行う重み付け手段を更に備える、
ことを特徴とする付記１乃至４の何れか１つに記載の画像生成装置。
［付記１０］
前記取得手段は、１の動画から複数の画像を取得し、
前記生成手段は、前記取得手段によって取得された画像から、前記１の動画を構成する場面を集約したダイジェスト動画を生成する、
ことを特徴とする付記１乃至４の何れか１つに記載の画像生成装置。
［付記１１］
複数の画像を取得する取得ステップと、
前記取得ステップより取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択ステップと、
前記選択ステップにより選択された前記所定枚数の特定の画像から、新たな画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
［付記１２］
コンピュータを、
複数の画像を取得する取得手段、
前記取得手段より取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価手段、
前記評価手段による評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択手段、
前記選択手段により選択された前記所定枚数の特定の画像から、新たな画像を生成する生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・画像設定部，５３・・・画像評価部，５４・・・画像分別部，５５・・・画像選択部，５６・・・画像生成部，７１・・・画像記憶部，７２・・・画像情報記憶部

Claims (12)

1. 複数の画像を取得する取得手段と、
   前記取得手段より取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価手段と、
   前記評価手段による評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択手段と、
   前記選択手段により選択された前記所定枚数の特定の画像から、新たな画像を生成する生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 前記画像の編集に係る操作は、ライティング、ホワイトバランス、明るさ、トリミング又はプロテクトを変更する操作を含む、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記撮像時の特定の撮像に係る操作は、ズーム操作、シャッター長押し操作、フォーカス操作又は動画撮影中の静止画撮影操作を含む、
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記再生に係る操作は、静止画を再生する場合、撮影直後の再生操作、マルチ再生時に選択して再生する再生操作又は拡大再生操作を含む、
   ことを特徴とする請求項１から３の何れか１項に記載の画像生成装置。
5. 前記再生に係る操作は、動画を再生する場合、拡大再生、ポーズ、コマ送り又は早戻しの操作を含む、
   ことを特徴とする請求項１から４の何れか１項に記載の画像生成装置。
6. 前記操作に起因する情報に基づいて、前記複数の画像を複数のグループに分別する分別手段を更に備え、
   前記選択手段は、前記分別手段により分別された複数のグループの夫々から、所定枚数の特定の画像を選択する、
   ことを特徴とする請求項１から５の何れか１項に記載の画像生成装置。
7. 前記取得手段で取得された前記複数の画像夫々の関連情報を取得する情報取得手段を更に備え、
   前記分別手段は、前記情報取得手段により取得された前記関連情報と前記評価手段による前記評価結果とに基づいて、前記複数の画像を複数のグループに分別する、
   ことを特徴とする請求項６に記載の画像生成装置。
8. 前記生成手段における画像生成に使用する画像数を決定する画像数決定手段を更に備え、
   前記選択手段は、前記画像数決定手段により決定された前記画像数に基づいて、前記複数の画像から特定の画像を選択する、
   ことを特徴とする請求項１に記載の画像生成装置。
9. 前記選択手段は、前記各画像の前記評価手段による評価結果又は画像の付帯情報の何れかに基づいて、前記複数のグループの夫々から選択する画像数に重み付けを行う重み付け手段を更に備える、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
10. 前記取得手段は、１の動画から複数の画像を取得し、
    前記生成手段は、前記取得手段によって取得された画像から、前記１の動画を構成する場面を集約したダイジェスト動画を生成する、
    ことを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
11. 複数の画像を取得する取得ステップと、
    前記取得ステップより取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価ステップと、
    前記評価ステップによる評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択ステップと、
    前記選択ステップにより選択された前記所定枚数の特定の画像から、新たな画像を生成する生成ステップと、
    を含むことを特徴とする画像生成方法。
12. コンピュータを、
    複数の画像を取得する取得手段、
    前記取得手段より取得された前記複数の画像を、各画像に対する特定の撮影、編集及び再生に係る操作うちの少なくとも一つの操作に起因する情報に基づいて夫々評価する評価手段、
    前記評価手段による評価結果に基づいて、前記複数の画像から所定枚数の特定の画像を選択する選択手段、
    前記選択手段により選択された前記所定枚数の特定の画像から、新たな画像を生成する生成手段、
    として機能させることを特徴とするプログラム。

Images