JP2007019893A - 画像生成装置、及び画像生成方法 - Google Patents

Abstract

【課題】同一画像から構図の異なる複数の画像を生成する場合におけるユーザーの作業負担を軽減することが可能となる画像生成装置および画像生成方法を提供する。
【解決手段】撮影により取得した静止画像（又は記録されている静止画像）１００に、撮影時に手動又は自動で設定されていた任意のＡＦ領域（斜線で示された矩形領域）に従い、各々がＡＦ領域を含む複数のトリミング領域１００ａ〜１００ｅを自動的に設定し、それらを対象とする複数回のトリミング処理を行うことにより、複数の構図画像を生成する。また別に、静止画像１００から人物等の被写体部分を認識し、静止画像１００に、各々が認識した被写体部分を含む複数のトリミング領域を設定し、それらのトリミング領域を対象とする複数回のトリミング処理を行い複数の構図画像を生成する。構図が異なる複数の撮影画像等を極めて簡単に得ることができる。
【選択図】 図４

Description

本発明は、例えばデジタルカメラに用いて好適な画像生成装置、及び画像生成方法に関するものである。

従来、撮影により取得した被写体の画像データをメモリカード等の記録媒体に記録するデジタルカメラにおいて、例えば記録画像のデータをプリンターに送り印刷させる際、ユーザーによって指定された記録画像を画面上に表示するとともに、ユーザーに所定のキー操作を繰り返し行わせることにより、表示中の記録画像に複数のトリミング領域を設定する技術が下記特許文献１に記載されている。係る技術によれば、ユーザーは同一画像に対する異なるトリミング領域の設定作業を連続して行うことができるため、同一画像から構図の異なる複数の部分画像をトリミングして印刷する場合や、トリミングした画像を新たな画像として記録する場合等における操作性を向上させることができるのである。
特開２００３−２４４６３１号公報

しかしながら、前述した技術においては、表示した画像に複数のトリミング領域を設定することが不可欠であるが、その作業自体が煩雑であることから、同一画像に設定するトリミング領域の数が多くなるに従い、ユーザーの作業負担が増大するといった問題があった。同一画像に設定するトリミング領域の数が多い場合や、複数のトリミング領域が相互に重なる場合には、ユーザー自身が設定領域に混乱を来すこととなり、当初考えていたトリミング結果を得ることができず、結果的に同一画像にトリミング領域を再度設定し直す必要が生じるという懸念もあった。

本発明は、かかる従来の課題に鑑みてなされたものであり、同一画像から構図の異なる複数の画像を生成する場合におけるユーザーの作業負担を軽減することが可能となる画像生成装置および画像生成方法と、それらの実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する領域設定手段と、前記領域設定手段により設定された各々のトリミング領域を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する画像生成手段とを備えたものとした。

かかる構成においては、画像から複数の構図画像を自動的に生成することができる。

また、請求項２の発明にあっては、前記画像における撮影時のフォーカス位置を取得するフォーカス位置取得手段を備え、前記領域設定手段は、前記フォーカス位置取得手段により取得されたフォーカス位置に基づく所定の設定条件に従い複数のトリミング領域を設定するものとした。

かかる構成においては、画像から、それが撮影されたときのフォーカス位置を含む複数の構図画像を自動的に生成することができる。

また、請求項３の発明にあっては、前記フォーカス位置取得手段により取得されるフォーカス位置は、使用者により指示されたフォーカス位置であるものとした。

かかる構成においては、画像から、それが撮影されたとき使用者により指示されたフォーカス位置を含む複数の構図画像を自動的に生成することができる。

また、請求項４の発明にあっては、前記フォーカス位置取得手段により取得されるフォーカス位置は、前記画像の撮影時に所定のフォーカス位置設定条件に従い設定されたフォーカス位置であるものとした。

かかる構成においては、画像から、それが撮影されたとき自動的に設定されたフォーカス位置を含む複数の構図画像を自動的に生成することができる。

また、請求項５の発明にあっては、前記領域設定手段は、前記所定の設定条件に従い予め決められている数のトリミング領域を前記画像に設定するものとした。

かかる構成においては、画像から予め決められた数の構図画像を自動的に生成することができる。

また、請求項６の発明にあっては、前記領域設定手段は、前記フォーカス位置取得手段により取得されるフォーカス位置に基づきトリミング領域の数を決定する決定手段を含み、この決定手段により決定された数のトリミング領域を前記画像に設定するものとした。

かかる構成においては、画像から、フォーカス位置に応じて異なる数の構図画像を自動的に生成することができる。

また、請求項７の発明にあっては、前記決定手段は、所定の撮影条件に基づきトリミング領域の数を決定するものとした。

かかる構成においては、画像から生成する構図画像の数を撮影条件に即して制御することができる。

また、請求項８の発明にあっては、前記画像における被写体部分を認識する認識手段を備え、前記領域設定手段は、各々が前記認識手段により認識された被写体部分を含む複数のトリミング領域を設定するものとした。

かかる構成においては、画像から、任意の被写体部分を含む複数の構図画像を自動的に生成することができる。

また、請求項９の発明にあっては、前記領域設定手段は、前記所定の設定条件に従い予め決められている数のトリミング領域を前記画像に設定するものとした。

かかる構成においては、画像から予め決められた数の構図画像を自動的に生成することができる。

また、請求項１０の発明にあっては、前記領域設定手段は、前記認識手段により認識された被写体部分の認識結果に基づきトリミング領域の数を決定する決定手段を含み、この決定手段により決定された数のトリミング領域を前記画像に設定するものとした。

かかる構成においては、画像から、被写体部分の認識結果に応じて異なる数の構図画像を自動的に生成することができる。

また、請求項１１の発明にあっては、前記決定手段は、前記画像に設定するトリミング領域の数の決定に際し、その数を前記認識手段により認識された被写体部分の認識結果に基づき制限する制限手段を含むものとした。

かかる構成においては、画像から生成する構図画像の数を被写体の内容に即して制御することができる。

また、請求項１２の発明にあっては、前記認識手段は、前記画像における被写体部分を被写体の種類毎に認識し、前記領域設定手段は、前記認識手段により認識された被写体部分が複数である場合に、前記被写体の種類毎に予め決められている優先度合がより高い被写体部分を含むトリミング領域を順に設定するものとした。

かかる構成においては、画像から、優先度合がより高い、つまりより重要と考えられる被写体部分を含む構図画像を優先的に生成することができる。

また、請求項１３の発明にあっては、前記領域設定手段は、前記認識手段により認識された複数の被写体部分を所定の基準に従いグループ化するグループ化手段を含み、このグループ化手段によりグループ化された同一グループの全ての被写体部分を含むトリミング領域を複数設定するものとした。

かかる構成においては、画像から、各々が複数の被写体部分を含む構図画像を自動的に生成することができる。

また、請求項１４の発明にあっては、前記認識手段は、前記画像において所定形状に合致する部分を被写体部分として認識するものとした。

また、請求項１５の発明にあっては、前記認識手段は、前記被写体部分として移動体を認識するものとした。

かかる構成においては、画像から、各々が移動体を含む構図画像を自動的に生成することができる。

また、請求項１６の発明にあっては、前記画像を撮像する撮像手段を備え、前記領域設定手段は、前記画像が前記撮像手段により撮像された時点で、前記所定の設定条件に従い前記静止画像に複数のトリミング領域を設定するものとした。

かかる構成においては、画像を撮影した時点で、画像から複数の構図画像を自動的に生成することができる。

また、請求項１７の発明にあっては、前記画像を記録する画像記録手段を備え、前記領域設定手段は、前記画像記録手段に記録されている画像に、前記所定の設定条件に従い複数のトリミング領域を設定するものとした。

かかる構成においては、既に記録されている画像から複数の構図画像を自動的に生成することができる。

また、請求項１８の発明にあっては、撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する工程と、設定した複数のトリミング領域の各々を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する工程とを含む方法とした。

かかる方法によれば、画像から複数の構図画像を自動的に生成することができる。

また、請求項１９の発明にあっては、画像を生成する画像生成装置が有するコンピュータに、撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する処理と、設定した複数のトリミング領域の各々を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する処理とを実行させるためのプログラムとした。

以上のように本発明によれば、画像から複数の構図画像を自動的に生成することができる。よって、同一画像から構図の異なる複数の画像を生成する場合におけるユーザーの作業負担を軽減することが可能となる。

また、複数の構図画像として、画像が撮影されたとき、使用者に指示されていたり、自動的に設定されていたフォーカス位置が含まれる構図画像を自動的に生成することができる。よって、各々に主たる被写体である可能性が高い被写体が含まれている構図画像を自動的に得ることができる。

また、画像から予め決められた数や、フォーカス位置に応じて異なる数の構図画像を自動的に生成することができ、さらに構図画像の生成数を撮影条件に即して制御することができる。

また、画像から、任意の被写体部分を含む複数の構図画像を自動的に生成することができる。よって、主たる被写体が変化に富んだ多様な構図画像を自動的に得ることができる。

また、画像から予め決められた数や、被写体部分の認識結果に応じて異なる数の構図画像を自動的に生成することができ、さらに構図画像の生成数を被写体の内容に即して制御することができる。しかも、その際、優先度合がより高い、つまりより重要と考えられる被写体部分を含む構図画像を優先的に生成することができる。

また画像から、各々が複数の被写体部分を含む構図画像や、各々が移動体を含む構図画像を自動的に生成することができる。

また、前述した構図画像を撮影した時点の画像から自動的に生成したり、既に記録されている画像から自動的に生成することができる。

（実施形態１）

以下、本発明の第１の実施の形態を図にしたがって説明する。図１は、各実施の形態に共通する本発明に係るデジタルカメラ１の電気的構成を示すブロック図である。デジタルカメラ１はＡＥ（自動露出）、ＡＦ（オートフォーカス）といった一般的な機能に加え、後述する構図アシスト機能を備えたものであり、以下の構成を備えている。なお、ＡＦ機能は周知のコントラスト検出方式である。

デジタルカメラ１は、システムの全体の制御を行うＣＰＵ２と、フォーカスレンズ、ズームレンズを含む光学系３により感光部に結像された被写体の光学像に応じたアナログの撮像信号を出力する撮像手段であるＣＣＤ４を備えている。なお、光学系３における前記フォーカスレンズは、ＣＰＵ２からレンズ駆動部１４に送られる制御信号によって駆動位置を制御される。ＣＣＤ４はＴＧ（Timing Generator）５により所定の周期で走査駆動され、被写体の光学像を光電変換し、光の強さに応じた画素信号からなるアナログの撮像信号をアナログ処理部６に出力する。また、ＣＣＤ４はＣＰＵ２から送られるシャッターパルスに応じ電荷蓄積時間を制御されることにより電子シャッターとして機能する。

アナログ処理部６は、ＣＣＤ４から入力した撮像信号に含まれるノイズを除去するＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）と、ＣＤＳを経た撮像信号を増幅するアナログアンプであるＡＧＣ（ゲイン調整アンプ）と、ＡＧＣで増幅され調整されたアナログの撮像信号をデジタル信号に変換するＡＤ（Ａ／Ｄ変換器）とからなり、デジタルデータ化した撮像信号をＣＰＵ２に出力する。

ＣＰＵ２は、画像データの圧縮・伸張を含む各種のデジタル信号処理機能を備えており、アナログ処理部６から出力された撮像信号をアドレス・データバス７を介して順次ＤＲＡＭ８に送り、ＤＲＡＭ８内に画像データとして蓄積する。また、ＤＲＡＭ８に蓄積された画像データを所定の画像処理ブロック単位で読み出し、Ｒ，Ｇ，Ｂ毎のデジタルの画像データを生成した後、輝度（Ｙ）成分、及び色差（Ｃｂ，Ｃｒ）成分からなる画像データ（ＹＵＶデータ）へ変換し、さらに変換後の画像データに基づきビデオ信号を生成して後述する液晶モニタ９へ送る。

また、ＣＰＵ２は、画像記録時においては画像処理ブロック単位の画像データ（ＹＵＶデータ）を所定の方式で圧縮符号化し、記録されている静止画像の再生時には伸張復号化する。撮影時に圧縮符号化された画像データは、静止画データとして内蔵フラッシュメモリ１０や、カードインターフェース１１を介して着脱自在な各種のメモリカード１２（記録媒体）に記録される。

液晶モニタ９は、記録モードにおいて所定のフレーム周期で更新される被写体画像をスルー画像として表示したり、再生モードにおいてメモリカード１２から読み出され伸張復号化された静止画像を表示したりする。また、液晶モニタ９は、必要に応じて操作補助用の各種のメニュー画面や、記録画像サイズの設定用等の種々の設定画面や、メッセージ等を表示する。

キー入力部１３は、前記記録モードや前記再生モード等の各種モードの設定に使用されるモード設定スイッチ、シャッターキー、ズームキー、液晶モニタ９に前述した各種のメニュー画面や種々の設定画面を表示させるためのメニューキー、設定操作に用いられる４方向キーや、実行（セット）スイッチなどの各スイッチ類により構成され、ユーザーによるキー操作に応じた操作信号をＣＰＵ２に送る。

前記内蔵フラッシュメモリ１０には、前述した圧縮後の画像データを記憶するための画像記憶領域とは別にプログラム領域が確保されている。プログラム領域には、ＣＰＵ２に画像データの圧縮・伸張や、色調整処理を含む各種の画像信号処理や、ＡＥ制御、ＡＦ制御等を行わせるための各種プログラムと、それらのプログラムに基づく動作に必要な各種データが記憶されている。特に、本実施の形態においては、記録モードが設定されているとき、必要に応じてＣＰＵ２に後述する動作を行わせることにより、ＣＰＵ２を本発明の領域設定手段、画像生成手段、フォーカス位置取得手段、決定手段として機能させるためのプログラムが前記プログラム領域に記憶されている。

なお、内蔵フラッシュメモリ１０のプログラム領域には、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムやデジタルカメラ１に設けられている各種の機能に関する設定データが随時記憶される。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。図２は、前記デジタルカメラ１において記録モードの下位モードとして予め設けられている構図アシストモードが設定された状態でスルー画像を表示しているときのＣＰＵ２の処理内容を示すフローチャートである。なお、デジタルカメラ１においては、ユーザーによるモード設定スイッチ操作により構図アシストモードが選択されると、ユーザーによる設定操作の有無に関係なく、フォーカスモードがオートに自動的に設定され、かつ撮影する画像のサイズ（解像度）が最大サイズ（最高解像度）に設定されるものとする。

以下説明すると、構図アシストモードにおいてＣＰＵ２は、スルー画像の表示中にシャッターキーが半押しされると（ステップＳＡ１でＹＥＳ）、例えば前記光学系３のフォーカスレンズの位置を合焦可能範囲の遠端側から近端側（近端側から遠端側）へ制御するととともに、その間にＣＣＤ４により撮像された画像における、図３に示した予め設定されている複数のＡＦ評価領域ａ〜ｉ、すなわち本実施の形態においては、画面を縦５×横５の２５ブロックに区画したときの外周領域を除く９つの領域の各々について画像信号のコントラスト値がピーク位置となるレンズ位置をそれぞれ取得し、レンズ位置がより至近側の位置であったいずれかのＡＦ評価領域ａ〜ｉをＡＦポイントとして決定する（ステップＳＡ２）。なお、前記光学系３のフォーカスレンズの位置を合焦可能範囲の近端側から遠端側へ移動させながらＡＦ評価領域ａ〜ｉの各コントラスト値を取得していき、最初にピーク位置が検出されたＡＦ評価領域をＡＦポイントとして決定するようにしてもよい。

そして、決定したＡＦポイントのＡＦ評価領域において前記コントラスト値がピークとなっていた位置へフォーカスレンズを移動させる。つまり最終的なＡＦ処理を実行して上記ＡＦ評価領域内の被写体に対するピント合わせを行う（ステップＳＡ３）。また、この時のＡＦポイントであったいずれかのＡＦ評価領域（本発明のフォーカス位置）を示すＡＦポイント情報（例えば各ＡＦ評価領域ａ〜ｉに付けられている領域番号）を内蔵フラッシュメモリ１０の作業領域に記憶する（ステップＳＡ４）。

その後、シャッターキーの半押しが解除されたときには（ステップＳＡ５でＹＥＳ）、ステップＳＡ１へ戻り、シャッターキーの半押しが解除されなければ（ステップＳＡ５でＮＯ）、フォーカスレンズの位置をそのままとして、ＡＦポイント（ＡＦ評価領域）の被写体にピント合った状態を維持する。その後、シャッターキーの半押しが解除されることなく、シャッターキーが全押しされたら（ステップＳＡ６でＹＥＳ）、記録用の撮像処理を行い、撮像した画像のデータをＤＲＡＭ８に一時記憶する（ステップＳＡ７）。

次に、記憶した画像に対して、直前のステップＳＡ４で記憶したＡＦポイント情報により示されるＡＦ評価領域（フォーカス位置）に基づき複数のトリミング領域を設定する（ステップＳＡ８）。本実施の形態において複数のトリミング領域は前記ＡＦ評価領域ａ〜ｉの各々に対応して予め決められており、例えばＡＦポイントが画面中央に位置するＡＦ評価領域ｅであった場合には、図４（ａ）〜（ｅ）に示したように、撮像した画像（以下、撮影画像という。）１００に対して、各々がＡＦ評価領域ｅを含むとともに相互に重なり合う５つのトリミング領域１００ａ〜１００ｅを設定する。なお、トリミング領域１００ａ〜１００ｅの縦横比は撮影画像１００と同じであり、また、ＡＦ評価領域によりトリミングを行なう領域の数が異なっている。例えばＡＦポイントが画面片隅に位置するＡＦ評価領域ａ、ｃ、ｇ、ｉであった場合には、撮影画像に対して、各々がＡＦ評価領域を含むとともに相互に重なり合う２つのトリミング領域を設定し、また、ＡＦポイントが画面の上下左右に位置するＡＦ評価領域ｂ、ｄ、ｆ、ｈであった場合には、撮影画像に対して、各々がＡＦ評価領域を含むとともに相互に重なり合う３つのトリミング領域を設定する。 引き続き、設定したトリミング領域１００ａ〜１００ｅのいずれか１つについてトリミング処理（切り出し処理）を実行することにより構図画像を生成し（ステップＳＡ９）、生成した構図画像を撮影画像として圧縮しメモリカード１２に記録する（ステップＳＡ１０）。そして全てのトリミング領域１００ａ〜１００ｅについての構図画像の記録が終了するまで、ステップＳＡ９，ＳＡ１０の処理を繰り返し（ステップＳＡ１１でＮＯ）、それが終了した時点で（ステップＳＡ１１でＹＥＳ）、１回の撮影処理を完了する。

以上のように構図アシストモードでの撮影時には、デジタルカメラ１が、１回のシャッター全押し操作（撮影作業）に応じて被写体の画像を取得した後、その撮影画像１００から構図が異なる複数の構図画像を自動的に生成して記録する。したがって、撮影者は、シャッター操作を１回行うだけで、構図が異なる複数の撮影画像を極めて簡単に得ることができる。なお、構図アシストモードでの撮影時においては、ズームキー操作により任意の位置にズームレンズを移動させることによりユーザの望む画角内において異なる複数の構図画像を自動的に生成するようにしてもよいが、画角は広角であるほうが様々な構図画像を生成することが可能になるので、構図アシストモードが選択された際に自動的にズームレンズの位置を広角側に設定するようにしてもよい。

また、撮影画像１００に設定される複数のトリミング領域１００ａ〜１００ｅの各々には、ＡＦ制御に際して採用されたＡＦ評価領域ａ〜ｉ、つまりピントの合っている被写体が含まれる領域が含まれるため、最終的に記録される複数枚の記録画像には、撮影者が意図した主たる被写体をほぼ確実に収めることができる。したがって、撮影者の好みに合った構図の撮影画像を高い確率で記録することが可能であり、撮り直しが必要となる事態の発生を未然に防止することができる。

なお、本実施の形態においては、撮影画像１００から生成する構図画像の数がＡＦ評価領域の位置に応じて変更される場合について説明したが、生成する画像の枚数はＡＦ評価領域の位置に関係なく固定とすることができる。また、ＡＦ評価領域の位置に応じた構図画像の枚数を固定することなく、ユーザーが必要に応じて設定できる構成としたり、撮影時における種々の条件に基づき枚数を自動的に設定する構成としてもよい。例えばＡＦ制御に際してフォーカスレンズの位置に基づき取得した被写体距離（測距センサを備えた構成であれば、測距センサによる測距結果）が遠ざかるに従い多くする等、被写体距離に応じて設定してもよい。また、光学ズーム倍率（ズームレンズ位置）に応じて設定するようにしてもよい。例えばズームレンズ位置が広角側であるときの枚数を望遠側であるときの枚数より多くしてもよい。また、撮影画像１００から生成する構図画像のサイズ（解像度）をユーザーが選択できる構成とし、選択された画像サイズに応じて設定したりしてもよい。

また、本実施の形態では、ＡＦ制御時に、複数のＡＦ評価領域ａ〜ｉの中からピント合わせに使用するＡＦ評価領域を自動的に判断し、前述したステップＳＡ７で撮影画像に複数のトリミング領域１００ａ〜１００ｅを設定する際には、自動的に判断したいずれかのＡＦ評価領域（フォーカス位置）を含む複数のトリミング領域を設定するものとしたが、次のようにしてもよい。例えばフォーカスモードとして、ピント合わせを行うべき領域をユーザーが手動操作により選択可能なＡＦモードが設けられている構成においては、ユーザーに選択されていた領域（フォーカス位置）をそれぞれ含む複数のトリミング領域を撮影画像１００に設定させるようにしてもよい。

また、本実施の形態では、ＡＦ制御時に、ピーク位置が検出されたレンズ位置がより至近側の位置であったいずれかのＡＦ評価領域ａ〜ｉをＡＦポイントとして決定するようにしたが、画像内において人物部分等の被写体部分を認識し、この認識位置をＡＦポイントとして決定するようにしてもよい。

また、本実施の形態では、撮影画像１００から生成した複数の構図画像の全てを撮影画像としてメモリカード１２に記録するものとしたが、例えば記録前に生成した複数の構図画像を縮小して液晶モニタ９の画面上に一覧表示し、それらの中から１又は複数の構図画像をユーザーに手動操作により選択させた後、選択された（あるいは選択されなかった）構図画像のみをメモリカード１２に記録するようにしてもよい。また、撮影画像１００、つまり通常の撮影画像は記録しないものとしたが、それを構図画像と共に関連付けて記録させたり、その記録の要否をユーザーが事前に設定できるような構成としてもよい。

また、本実施の形態では、撮影画像１００から生成した複数の構図画像の各々を別個の撮影画像（画像ファイル）としてメモリカード１２に記録するものとしたが、例えば複数の構図画像を合成することにより１つの撮影画像を生成し、これをメモリカード１２に記録するようにしてもよい。

また、本実施の形態では、撮影記録時に撮影画像１００から複数の構図画像を生成してメモリカード１２に記録するようにしたが、画像再生時に再生画像から複数の構図画像を生成するようにしてもよい。すなわち、メモリカード１２に既に記録されている撮影画像１００を読み出し、この読出画像から複数の構図画像を生成してメモリカード１２に記録するようにしてもよい。

図５及び図６は、画像再生時に再生画像から複数の構図画像を生成する場合の処理内容を示すフローチャートである。

図５は、前述したデジタルカメラ１において、フォーカスモードがオートに設定された通常の記録モードでスルー画像を表示しているときＣＰＵ２が実行する処理内容を示すフローチャートである。

図から明らかなように、通常の記録モードにおいてもＣＰＵ２は、構図アシストモードにおける場合と同一の処理を実行して、撮像した画像つまり最も近い位置の被写体にピントが合った画像のデータをＤＲＡＭ８に一時記憶する（ステップＳＢ１〜ＳＢ７）。しかる後、その画像データを圧縮するとともに、圧縮後の画像データに、他の撮影情報（撮影日時や画像サイズ、シャッター速度等）と共にＡＦ制御時にステップＳＢ４で記憶しておいたＡＦポイント情報を付加してメモリカード１２に記録する（ステップＳＢ８）。

また、図６は、前述したデジタルカメラ１において、再生モードの下位モードとして予め設けられている構図画像生成モードが設定されたときのＣＰＵ２の処理内容を示すフローチャートである。なお、構図画像生成モードは、前述した通常の記録モードで撮影されメモリカード１２等に記録された複数の記録画像の中の任意の記録画像から、複数の構図画像を新たに生成し記録するために設けられているモードである。

以下説明すると、構図画像生成モードが設定されるとＣＰＵ２は、まずメモリカード１２（又は内蔵フラッシュメモリ）に記録されている記録画像の縮小画像を液晶モニタ９の画面上に一覧表示する（ステップＳＣ１）。そして、その間にユーザーに所定のキー操作による表示画像の送り操作や選択操作を行わせるとともに、構図画像の生成元となる所望の画像を選択させ、それが選択されたら（ステップＳＣ２でＹＥＳ）、選択された画像のデータをメモリカード１２等から読み出す（ステップＳＣ３）。しかる後、読み出した画像データに付加されている前述したＡＦポイント情報を確認し（ステップＳＣ４）、そのＡＦポイント情報に基づき図２で説明したステップＳＡ８〜ＳＡ１１と同一の処理を行って複数の構図画像の生成し、記録する（ステップＳＣ５）。

したがって、構図画像生成モードを用いることにより、撮影者は、所望の画像を選択するだけで、過去に撮影した記録画像から、その記録画像の撮影時には想定していなかった構図が異なる複数の撮影画像を極めて簡単に得ることができる。しかも、それを任意の時点で行うことができる。

なお、構図画像生成モードにおいても、構図アシストモードで構図画像を生成する場合と同様、生成する構図画像の数は、例えばそのサイズ（解像度）をユーザーが選択可能な構成であれば、選択された画像サイズに応じた数としたり、光学ズーム倍率や被写体距離に応じた数としてよい。また、生成した複数の構図画像を一覧表示し、それらの中からユーザーに選択された構図画像のみを記録するようにしてもよい。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示した構成を備えたデジタルカメラ１において、前記内蔵フラッシュメモリ１０のプログラム領域には、ＣＰＵ２を本発明の領域設定手段、画像生成手段、認識手段、グループ化手段として機能させるためのプログラムが記憶されているとともに、前述した第１の実施の形態とは異なる構図アシストモード及び構図画像生成モードが設けられたものである。

まず、本実施の形態における構図アシストモードによる撮影時の動作について説明する。図７は、構図アシストモードでスルー画像を表示しているときのＣＰＵ２の処理内容を示したフローチャートである。

構図アシストモードにおいてＣＰＵ２は、スルー画像の表示中にシャッターキーが半押しされると（ステップＳＤ１でＹＥＳ）、第１の実施の形態で説明したステップＳＡ２，ＳＡ３（図２参照）と同様のＡＦ処理を実行し、最も近い位置の被写体へのピント合わせを行う（ステップＳＤ２）。その後、シャッターキーの半押しが解除されたときには（ステップＳＤ３でＹＥＳ）、ステップＳＤ１へ戻り、シャッターキーの半押しが解除されなければ（ステップＳＤ３でＮＯ）、フォーカスレンズの位置をそのままとして、最も近い位置の被写体にピント合った状態を維持する。その後、シャッターキーの半押しが解除されることなく、シャッターキーが全押しされたら（ステップＳＤ４でＹＥＳ）、記録用の撮像処理を行い、撮像した画像のデータをＤＲＡＭ８に一時記憶する（ステップＳＤ５）。

次に、記憶した撮影画像に対して所定の設定条件に従ってトリミング領域を設定する（ステップＳＤ６）。図８は、そのトリミング領域設定処理を示すフローチャートであり、係る処理では、まず撮影画像における人物部分を認識し、人物部分の位置情報を記憶する（ステップＳＤ１０１）。ここで、人物部分の認識は、人物に特徴的な基本形状（人体の形状や顔のパーツ形状）と合致する形状部分をパターン認識することにより行う。また、記憶する人物部分の位置情報は、認識した人物部分を囲む最小面積の矩形領域（以下、人物領域という）を示す座標情報である。図９（ａ）は撮影画像２００の例、図９（ｂ）は、その撮影画像２００における人物領域ａ〜ｅをそれぞれ示した図である。

引き続き、ＣＰＵ２は、互いに隣接する２つの人物領域間の相対距離を画素単位で計算した後（ステップＳＤ１０２）、画面内で最も左側に位置する人物領域から右方向へ向かって相対距離を順に累積して行き、累積結果が所定の大きさを超えないような１又は複数の人物領域を組として人物領域をグループ化する（ステップＳＤ１０３）。図９（ｂ）の例では、図中に楕円で示されたものがグループ化の結果であり、人物領域ａ，ｂの組と、人物領域ｃ，ｄ，ｅの組がそれぞれグループ化された例である。

次に、グループ毎に全ての人物領域を包含する最小矩形を取得する（ステップＳＤ１０４）。さらに、グループ毎に上記最小矩形を含むとともに縦横比が撮影画像と同一である、予め決められた設定条件を満たす範囲内での最大矩形を設定し（ステップＳＤ１０５）、その最大矩形の領域をトリミング領域として各々の領域データを一時記憶する（ステップＳＤ１０６）。上記設定条件は、前記最小矩形の中心と、設定する最大矩形の中心とのずれ量が決められた量以下であること、また、設定する最大矩形の面積が撮影画像において決められた割合を超えないことの２点である。図１０（ａ）は、図９（ｂ）に示したグループ毎のトリミング領域２００ａ、２００ｂを示した図である。

そして、上記のように設定したトリミング領域のいずれか１つについてトリミング処理（切り出し処理）を実行することにより、図１０（ｂ）に示したような構図画像２０１を生成し（ステップＳＤ７）、生成した構図画像を撮影画像として圧縮しメモリカード１２に記録する（ステップＳＤ８）。以後、全てのトリミング領域についての構図画像（図１０（ｃ）の構図画像２０２）の記録が終了するまで、ステップＳＤ７，ＳＤ８の処理を繰り返し（ステップＳＤ９でＮＯ）、それが終了した時点で（ステップＳＤ９でＹＥＳ）、１回の撮影処理を完了する。

以上のように本実施の形態における構図アシストモードにおいても、その撮影時には、１回のシャッター全押し操作（撮影作業）に応じて被写体の画像を取得した後、その撮影画像（２００）から構図が異なる複数の構図画像（２０１，２０２）を自動的に生成して記録する。したがって、第１の実施の形態と同様、撮影者は、シャッター操作を１回行うだけで、構図が異なる複数の撮影画像を極めて簡単に得ることができる。しかも、生成される構図画像（２０１，２０２）には、撮影画像（２００）から自動的に認識された人物部分が含まれるため、主たる被写体が変化に富んだ多様な構図の撮影画像を極めて簡単に得ることができる。

なお、本実施の形態では、第１の実施の形態と同様、シャッターキーが半押しされたときＡＦ処理によって最も近い被写体にピント合わせを行うようにしたが、係るＡＦ処理は廃止しても構わない。また、例えば絞りを備えるとともに、フォーカスモードとして被写界深度を可能な限り深く設定し画角内のほぼ全域にピントを合わせるためのパンフォーカスモードを有する構成であれば、構図アシストモードが設定されたとき自動的にパンフォーカスモードを設定するようにしてもよい。

また、前述したステップＳＤ６のトリミング領域設定処理においては、例えば人物領域のグループ化を、画面内における縦方向の相対距離を累積し、その累積結果に基づき行う等、他の手法によって行ったり、また、グループ化を行うことなく個々の人物領域のみに基づいてトリミング領域を設定するようにしてもよい。その場合、例えば前述した各グループの最小矩形に基づく処理を各人物領域に基づく処理に代えてトリミング領域を設定するようにしてもよい。また、トリミング領域を設定するとき、グループ化した複数の人物領域に基づくトリミング領域と、個々の人物領域に基づくトリミング領域との双方を設定するようにしたり、さらに、それを人物領域の数が所定数に達していない場合にのみ双方のトリミング領域を設定するようにしてもよい。

また、本実施の形態では、撮影時の撮影画像における１又は複数の人物部分を認識し、それに基づき撮影画像にトリミング領域を設定するようにしたが、撮影画像において認識可能なものであれば、人物部分以外の他の特定の被写体部分（自動車や動物等）を認識し、それに基づきトリミング領域を設定するようにしてもよい。また、認識する被写体の種類を複数設定しておくようにしてもよい。

また、前述したグループ化の有無にかかわらず、ＣＰＵ２を本発明の決定手段として機能させることにより、人物部分等の被写体部分の認識結果に基づき、例えば認識した被写体部分の数や、撮影画像内における複数の被写体部分の分布状態等に基づきトリミング領域の数を自動的に決定（設定）するようにしてもよい。その際、例えばグループ化を行わない場合等においては、認識される人物部分等の被写体部分が多数存在することも予想される。したがって、ＣＰＵ２を本発明の制限手段として機能させることにより、トリミング領域の数を決定するとき、その数を被写体部分の認識結果に基づき所定数に制限するようにしてもよい。また、トリミング領域の設定数、又は設定可能なトリミング領域の数（上限）をユーザーが必要に応じて設定できる構成としてもよい。

さらに、トリミング領域の数や上限を設定するとともに、複数種類の被写体を認識する場合においては、予め被写体の種類毎に優先順位を決めておき、より優先度合が高い種類の被写体（被写体部分）を用いてトリミング領域を設定するようにしてもよい。すなわち始めに優先順位が最も高い種類の被写体部分についてトリミング領域を１又は複数設定した後、その時点でトリミング領域の設定数が上限（設定数を含む）に達していなければ、優先順位が次ぎに高い種類の被写体部分についてトリミング領域を１又は複数設定し、以後、トリミング領域の設定数が上限に達するまで、同様の手順でトリミング領域を設定するとともに、いずれかの種類の被写体部分についてトリミング領域を設定している間にその設定数が上限に達したら、その時点でトリミング領域の設定を終了する。なお、その場合には、ユーザーによる被写体の種類毎の優先順位が設定可能な構成とすることが望ましい。

また、本実施の形態においても、撮影画像２００から生成した複数の構図画像の全てを撮影画像としてメモリカード１２に記録するようにしたが、第１の実施の形態で述べたように、例えば生成した複数の構図画像を縮小して液晶モニタ９の画面上に一覧表示し、それらの中から１又は複数の構図画像をユーザーに選択させた後、選択された（あるいは選択されなかった）構図画像のみを記録するようにしてもよい。また、撮影画像１００、つまり通常の撮影画像は記録しないものとしたが、それを構図画像と共に関連付けて記録させたり、その記録の要否をユーザーが事前に設定できるような構成としてもよい。また、例えば撮影画像１００から生成した複数の構図画像を合成することにより１つの撮影画像を生成し、これをメモリカード１２に記録するようにしてもよい。

また、本実施の形態では、撮影記録時に撮影画像２００から複数の構図画像を生成してメモリカード１２に記録するようにしたが、画像再生時に再生画像から複数の構図画像を生成するようにしてもよい。すなわち、メモリカード１２に既に記録されている撮影画像１００を読み出し、この読出画像から複数の構図画像を生成してメモリカード１２に記録するようにしてもよい。

図１１は、画像再生時に再生画像から複数の構図画像を生成する場合の処理内容を示すフローチャートであり、本実施の形態のデジタルカメラに１おいて、再生モードの下位モードとして予め設けられている構図画像生成モードが設定されたときのＣＰＵ２の処理内容を示すフローチャートである。

図示したように構図画像生成モードが設定されるとＣＰＵ２は、まずメモリカード１２（又は内蔵フラッシュメモリ）に記録されている記録画像の縮小画像を液晶モニタ９の画面上に一覧表示する（ステップＳＥ１）。そして、その間にユーザーに所定のキー操作による表示画像の送り操作や選択操作を行わせるとともに、構図画像の生成元となる所望の画像を選択させ、それが選択されたら（ステップＳＥ２でＹＥＳ）、選択された画像のデータをメモリカード１２等から読み出す（ステップＳＥ３）。しかる後、読み出した画像データ、すなわち記録画像について、構図アシストモードにおいて既説したステップＳＤ６〜ステップＳＤ９と同様の処理を行うことによって、複数の構図画像の生成し、記録する（ステップＳＥ４〜ＳＥ７）。

したがって、構図画像生成モードを用いることにより、撮影者は、所望の画像を選択するだけで、過去に撮影した記録画像から、その記録画像の撮影時には想定していなかった構図が異なる複数の撮影画像を極めて簡単に得ることができる。しかも、それを任意の時点で行うことができる。

なお、係る構図画像生成モードにおいても先に構図アシストモードでの説明において言及したように、トリミング領域の設定条件やトリミング領域の設定数、トリミング領域の設定に際して認識する被写体の種類は適宜変更してもよく、また、撮影画像としてメモリカード１２に記録する構図画像をユーザーに選択させるようにしたり、通常の撮影画像の記録の要否をユーザーが事前に設定できるようにしたりしてもよい。さらに、生成した複数の構図画像を合成し記録するようにしてもよい。

（実施形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、図１に示した構成を備えたデジタルカメラ１において、前述した第１及び第２の実施の形態とは異なる構図アシストモードが記録モードの下位モードとして設けられたものである。

以下、本実施の形態における構図アシストモードによる撮影時の動作について説明する。図１２は、構図アシストモードでスルー画像を表示しているときのＣＰＵ２の処理内容を示したフローチャートである。

構図アシストモードにおいてＣＰＵ２は、所定のフレーム周期での撮像をＣＣＤ４に行わせ、液晶モニタ９に表示するスルー画像を更新する（ステップＳＦ１）。また、新たな撮像が行われる毎に、前回の撮影画像と今回の撮影画像とを比較して、撮影画像内における移動体部分を認識し（ステップＳＦ２）、認識した移動体部分を囲む最小面積の矩形領域を示す領域情報（座標情報）を記憶する（ステップＳＦ３）。なお、ここでは便宜上、認識される移動体部分が常に１箇所であるものとする。

以後、シャッターキーが全押しされるまでは（ステップＳＦ４でＮＯ）、上述した処理を繰り返すことにより、移動体部分の領域情報を更新する。また、図示しないが、フォーカスモードがオートに設定されていれば、その間にシャッターキーが半押しされる毎に第１及び第２の実施の形態で説明したＡＦ処理を実行する。

その後、シャッターキーが全押しされたら（ステップＳＦ４でＹＥＳ）、記録用の撮像処理を行い、撮像した画像のデータをＤＲＡＭ８に一時記憶する（ステップＳＦ５）。次に、記憶した撮影画像に対してトリミング領域を設定する（ステップＳＦ６）。図１３は、そのトリミング領域設定処理を示すフローチャートであり、係る処理では、まず撮影画像を縦５×横５の２５ブロック（図３参照）に区画し、そのうちで直前のステップＳＦ３で記憶された領域情報により示される移動体領域を最も多く含むブロックを確認する（ステップＳＦ１０１）。しかる後、確認したブロックを含む４ブロック、及び９ブロックからなる縦横比が撮影画像と同一の領域をトリミング領域として、各々の領域データを一時記憶する（ステップＳＦ１０２）。

そして、上記のように設定したトリミング領域のいずれか１つについてトリミング処理（切り出し処理）を実行することにより構図画像を生成し（ステップＳＦ７）、生成した構図画像を撮影画像として圧縮しメモリカード１２に記録する（ステップＳＦ８）。以後、全てのトリミング領域についての構図画像の記録が終了するまで、ステップＳＦ７，ＳＦ８の処理を繰り返し（ステップＳＦ９でＮＯ）、それが終了した時点で（ステップＳＦ９でＹＥＳ）、１回の撮影処理を完了する。

以上のように本実施の形態における構図アシストモードにおいては、その撮影時には、１回のシャッター全押し操作（撮影作業）に応じて被写体の画像を取得した後、その撮影画像から、撮影時に移動していた被写体（移動体）を含む複数の構図画像を自動的に生成して記録する。したがって、第１及び第２の実施の形態と同様、撮影者は、シャッター操作を１回行うだけで、構図が異なる複数の撮影画像を極めて簡単に得ることができる。

なお、前述した説明では、スルー画像の表示中にステップＳＦ２で認識される移動体部分が常に１箇所であるものとしたが、スルー画像の表示中に、複数ヶ所の移動体部分を認識可能とするとともに、それらの領域情報を逐次更新して一時記憶しておき、図１３のトリミング領域設定処理においては、複数の領域情報の各々に基づき前述した手順によって複数のトリミング領域を設定させるようにしてもよい。

また、本実施の形態では、移動体部分の認識結果（移動体領域）に基づき複数のトリミング領域を設定するとき、前述したように移動体領域を最も多く含むブロックを含む４ブロック、及び９ブロックからなる縦横比が撮影画像と同一の領域をトリミング領域としたが、これとは異なる設定条件にしたがって、複数のトリミング領域を設定するようにしてもよい。

また、本実施の形態においても、撮影画像から生成した構図画像の記録に際しては、第１及び第２の実施の形態で述べたように、生成した複数の構図画像の中から１又は複数の構図画像をユーザーに選択させた後、選択された（あるいは選択されなかった）構図画像のみを記録するようにしてもよい。また、通常の撮影画像を構図画像と共に関連付けて記録させたり、通常の撮影画像の記録の要否をユーザーが事前に設定できるような構成としてもよい。また、例えば撮影画像から生成した複数の構図画像を合成することにより１つの撮影画像を生成し、これをメモリカード１２に記録するようにしてもよい。

また、以上の説明においては、本発明を静止画像に適用した場合について説明したが、これに限らず本発明は、動画像にも適用することができる。この場合、第１、２の実施の形態のみならず第３の実施の形態においても、画像再生時に再生画像から複数の構図画像を生成するといったことが可能になる。

また、以上の説明においては、本発明をデジタルカメラに適用した場合について説明したが、これに限らず本発明は、例えばデジタルビデオカメラや、既に記録されている撮影画像に対する種々の画像処理機能を備えたパーソナルコンピュータを含む他の画像処理装置にも適用することができる。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 第１の実施の形態における構図アシストモードでの動作を示すフローチャートである。 同実施の形態でＡＦ処理で設定される撮影画面内のＡＦ評価領域を示す図である。 同ＡＦ評価領域に対応して予め決められている複数のトリミング領域の一例を示す図である。 第１の実施の形態における通常の記録モードでの動作を示すフローチャートである。 同実施の形態における構図画像生成モードでの動作を示すフローチャートである。 第２の実施の形態における構図アシストモードでの動作を示すフローチャートである。 同構図アシストモードでのトリミング領域設定処理を示すフローチャートである。 （ａ）は撮影画像の例、（ｂ）は撮影画像における人物領域及びそのグループを示す図である。 （ａ）は、図９（ｂ）に示したグループ毎のトリミング領域を示した図、（ｂ）及び（ｃ）は、（ａ）のトリミング領域に対応する構図画像を示した図である。 第２の実施の形態における構図画像生成モードでの動作を示すフローチャートである。 第３の実施の形態における構図アシストモードでの動作を示すフローチャートである。 同構図アシストモードでのトリミング領域設定処理を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ ＣＰＵ
３ 光学系
４ ＣＣＤ
５ ＴＧ
６ アナログ処理部
７ データバス
８ ＤＲＡＭ
９ 液晶モニタ
１０ 内蔵フラッシュメモリ
１１ カードインターフェース
１２ メモリカード
１３ キー入力部
１４ レンズ駆動部

Claims (19)

1. 撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する領域設定手段と、
   前記領域設定手段により設定された各々のトリミング領域を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する画像生成手段と
   を備えたことを特徴とする画像生成装置。
2. 前記画像における撮影時のフォーカス位置を取得するフォーカス位置取得手段を備え、
   前記領域設定手段は、前記フォーカス位置取得手段により取得されたフォーカス位置を含む複数のトリミング領域を設定する
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記フォーカス位置取得手段により取得されるフォーカス位置は、使用者により指示されたフォーカス位置であることを特徴とする請求項２記載の画像生成装置。
4. 前記フォーカス位置取得手段により取得されるフォーカス位置は、前記画像の撮影時に所定のフォーカス位置設定条件に従い設定されたフォーカス位置であることを特徴とする請求項２記載の画像生成装置。
5. 前記領域設定手段は、前記所定の設定条件に従い予め決められている数のトリミング領域を前記画像に設定することを特徴とする請求項１乃至４いずれか記載の画像生成装置。
6. 前記領域設定手段は、前記フォーカス位置取得手段により取得されるフォーカス位置に基づきトリミング領域の数を決定する決定手段を含み、この決定手段により決定された数のトリミング領域を前記画像に設定することを特徴とする請求項２，３又は４記載の画像生成装置。
7. 前記決定手段は、所定の撮影条件に基づきトリミング領域の数を決定することを特徴とする請求項１乃至５いずれか記載の画像生成装置。
8. 前記画像における被写体部分を認識する認識手段を備え、
   前記領域設定手段は、各々が前記認識手段により認識された被写体部分を含む複数のトリミング領域を設定する
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記領域設定手段は、前記所定の設定条件に従い予め決められている数のトリミング領域を前記画像に設定することを特徴とする請求項８記載の画像生成装置。
10. 前記領域設定手段は、前記認識手段により認識された被写体部分の認識結果に基づきトリミング領域の数を決定する決定手段を含み、この決定手段により決定された数のトリミング領域を前記画像に設定することを特徴とする請求項８記載の画像生成装置。
11. 前記決定手段は、前記画像に設定するトリミング領域の数の決定に際し、その数を前記認識手段により認識された被写体部分の認識結果に基づき制限する制限手段を含むことを特徴とする請求項１０記載の画像生成装置。
12. 前記認識手段は、前記画像における被写体部分を被写体の種類毎に認識し、
    前記領域設定手段は、前記認識手段により認識された被写体部分が複数である場合に、前記被写体の種類毎に予め決められている優先度合がより高い被写体部分を含むトリミング領域を順に設定する
    ことを特徴とする請求項８乃至１１記載の画像生成装置。
13. 前記領域設定手段は、前記認識手段により認識された複数の被写体部分を所定の基準に従いグループ化するグループ化手段を含み、このグループ化手段によりグループ化された同一グループの全ての被写体部分を含むトリミング領域を複数設定することを特徴とする請求項８乃至１２いずれか記載の画像生成装置。
14. 前記認識手段は、前記画像において所定形状に合致する部分を被写体部分として認識することを特徴とする請求項８乃至１３いずれか記載の画像生成装置。
15. 前記認識手段は、前記被写体部分として移動体を認識することを特徴とする請求項８乃至１３いずれか記載の画像生成装置。
16. 前記画像を撮像する撮像手段を備え、
    前記領域設定手段は、前記画像が前記撮像手段により撮像された時点で、前記所定の設定条件に従い前記画像に複数のトリミング領域を設定することを特徴とする請求項１乃至１５いずれか記載の画像生成装置。
17. 前記画像を記録する画像記録手段を備え、
    前記領域設定手段は、前記画像記録手段に記録されている画像に、前記所定の設定条件に従い複数のトリミング領域を設定することを特徴とする請求項１乃至１５いずれか記載の画像生成装置。
18. 撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する工程と、
    設定した複数のトリミング領域の各々を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する工程と
    を含むことを特徴とする画像生成方法。
19. 画像を生成する画像生成装置が有するコンピュータに、
    撮影により取得された画像に、予め決められている所定の設定条件に従い複数のトリミング領域を設定する処理と、
    設定した複数のトリミング領域の各々を対象とする複数回のトリミング処理を前記画像に行い複数の構図画像を生成する処理と
    を実行させるためのプログラム。
    

Images