JP4844657B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に、様々な被写体や一般のシーンにおいても、理想的な構図やセンスの良い構図での撮影を可能にする技術に関する。
に関する。

従来より、ユーザがカメラで撮影する場合、意図とは異なる撮影画像が得られる場合があった。かかる失敗を回避すべく、様々な回避策が提案されている。

例えば、人物などの周囲の風景全体を撮影しようとして、人物などを小さく撮影してしまう、という現象が発生する。この現象の回避策は、特許文献１などで提案されている。

例えば、ユーザは、Ｆ値の小さい（口径の大きい）レンズを使用したり、絞りを開放してＦ値を下げることで、前景にだけピントを合わせて、背景をぼかした撮影をすることができる。しかしながら、ぼかし度合が適切でない状態で撮影する、という現象が発生する。この現象の回避策は、特許文献２などで提案されている。

例えば、ユーザは、ピント合わせに気をとられている場合等に、被写体を中央に配置させる構図で、すなわち、いわゆる「日の丸構図」で撮影してしまう。このような場合、撮影画像が、初心者が撮影したような画像になったり、単調な説明画像になってしまう、という現象が発生する。この現象の回避策は、特許文献３，４などで提案されている。

特開２００６−１４８３４４号公報 特開平０６−３０３４９号公報 特開２００２−２３２７５３号公報 特開２００７−１７４５４８号公報

しかしながら、様々な被写体や一般のシーンにおいて、理想的な構図やセンスの良い構図で撮影することができない、という現象が発生する場合がある。かかる現象を回避すべく、特許文献１乃至４を含め従来の回避策を適用しても、効果的に回避することは困難である。

そこで、本発明は、様々な被写体や一般のシーンにおいても、理想的な構図やセンスの良い構図で撮影することを可能にすることを目的とする。

本発明の第１の観点によると、スルー撮像により順次得られる主要被写体を含むフレーム画像データを出力する撮像部と、この撮像部から出力されるフレーム画像データに対して、前記フレーム画像データから抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、分類識別パターンを含むモデル構図案を複数記憶する記憶部と、前記推定部により推定された前記注目点領域と前記記憶部に記憶されている複数の分類識別パターンとを用いて、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する識別部と、を備える画像処理装置を提供する。

本発明の第２の観点によると、前記撮像部から出力される前回と今回のフレーム画像データとを比較する比較部と、この比較部による比較結果に基づき、前記推定部による今回のフレーム画像データに対する注目点領域の推定を実行するか否かを制御する推定制御部とをさらに備える画像処理装置を提供する。
本発明の第３の観点によると、前記撮像部から出力されるフレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍か否かを判断する判断部と、この判断部により前記フレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍であると判断された場合に前記撮像部に対して撮影処理を行わせる撮影制御部とをさらに備える画像処理装置を提供する。

本発明の第４の観点によると、前記識別部により識別された前記モデル構図案に対する評価をする評価部をさらに備え、前記判断部は、さらに前記評価部の評価結果である評価値が所定値以上であるか否かを判断し、前記撮影制御部は、前記判断部により前記フレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍であると判断され、且つ前記評価値が所定値以上であると判断された場合に前記撮像部に対して撮影処理を行わせる画像処理装置を提供する。
本発明の第５の観点によると、前記撮像部から出力されるフレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍か否かを判断する判断部と、この判断部により前記フレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍であると判断された場合に前記撮像部に対して撮影処理を行わせる撮影制御部とをさらに備える画像処理装置を提供する。

本発明の第６の観点によると、前記推定部により推定された前記注目点領域の配置パターンを取得する取得部をさらに備え、前記記憶部は、前記分類識別パターンとして配置パターンを含むモデル構図案を複数記憶し、前記識別部は、前記取得部により取得された配置パターンと前記記憶部に記憶されている配置パターンとを比較照合することにより、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する画像処理装置を提供する。
本発明の第７の観点によると、前記推定部により推定された前記注目点領域の画像データを取得する取得部をさらに備え、前記記憶部は、前記分類識別パターンとして画像データを含むモデル構図案を複数記憶し、前記識別部は、前記取得部により取得された画像データと前記記憶部に記憶されている画像データとを比較照合することにより、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する画像処理装置を提供する。

本発明の第８の観点によると、前記識別部は、前記注目点領域に加えてさらに、前記フレーム画像データに対応するエッジ画像の線成分を用いて、前記主要被写体の配置状態に関して前記フレーム画像データと類似する構図案を識別する画像処理装置を提供する。
本発明の第９の観点によると、前記識別部により識別された前記モデル構図案を提示する提示部をさらに備える画像処理装置を提供する。
本発明の第１０の観点によると、前記撮像部から出力されるフレーム画像データをスルー画像として表示する表示部と、前記識別部により識別された前記モデル構図案に基づいて、所定構図に導くガイド情報を生成する生成部と、この生成部により生成された前記ガイド情報を前記表示部にスルー画像と共に表示させる表示制御部とをさらに備える画像処理装置を提供する。

本発明の第１１の観点によると、撮像部からスルー画像として順次出力される主要被写体を含むフレーム画像データに対して、前記フレーム画像データから抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、前記推定ステップの処理により推定された前記注目点領域と、分類識別パターンを含むモデル構図案を複数記憶する記憶部に記憶されている複数の分類識別パターンとを用いて、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する識別ステップと、を含む画像処理方法を提供する。

本発明によれば、様々な被写体や一般のシーンにおいても、理想的な構図やセンスの良い構図で撮影することができる。

本発明の第１実施形態に係る画像処理装置のハードウェアの構成図である。 本発明の第１実施形態におけるシーン構図識別処理の概略を説明する図である。 本発明の第１実施形態におけるシーン構図識別処理のうちの構図分類処理において用いられる、モデル構図案毎の各種情報が格納されたテーブル情報の一例を示す図である。 本発明の第１実施形態におけるシーン構図識別処理のうちの構図分類処理において用いられる、モデル構図案毎の各種情報が格納されたテーブル情報の一例を示す図である。 本発明の第１実施形態における撮影モード処理の流れの一例を示すフローチャートである。 本発明の第１実施形態における撮影モード処理の具体的な処理結果の例を示す図である。 本発明の第１実施形態における撮影モード処理のうちのシーン構図識別処理の流れの詳細例を示すフローチャートである。 本発明の第１実施形態における撮影モード処理のうちの注目点領域推定処理の流れの詳細の一例を示すフローチャートである。 本発明の第１実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの一例を示すフローチャートである。 本発明の第１実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの別の例を示すフローチャートである。 本発明の第１実施形態における撮影モード処理のうちの構図分類処理の流れの詳細の一例を示すフローチャートである。 本発明の第２実施形態における液晶ディスプレイの表示例を示している。

〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態に係る画像処理装置１００のハードウェアの構成を示す図である。画像処理装置１００は、例えばデジタルカメラにより構成することができる。

画像処理装置１００は、光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８と、ＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１と、液晶表示コントローラ１２と、液晶ディスプレイ１３と、操作部１４と、メモリカード１５と、測距センサ１６と、測光センサ１７と、を備える。

光学レンズ装置１は、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、ＣＭＯＳセンサ４の受光面に被写体像を結像させるためレンズである。

シャッタ装置２は、例えばシャッタ羽根などから構成される。シャッタ装置２は、ＣＭＯＳセンサ４へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置２はまた、ＣＭＯＳセンサ４へ入射する光束の光量を調節する絞りとしても機能する。アクチュエータ３は、ＣＰＵ９による制御にしたがって、シャッタ装置２のシャッタ羽根を開閉させる。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ４は、例えばＣＭＯＳ型のイメージセンサなどから構成される。ＣＭＯＳセンサ４には、光学レンズ装置１からシャッタ装置２を介して被写体像が入射される。そこで、ＣＭＯＳセンサ４は、ＴＧ６から供給されるクロックパルスにしたがって、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）５には、ＣＭＯＳセンサ４からアナログの画像信号が供給される。そこで、ＡＦＥ５は、ＴＧ６から供給されるクロックパルスにしたがって、アナログの画像信号に対し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施す。各種信号処理の結果、ディジタル信号が生成され、ＡＦＥ５から出力される。

ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６は、ＣＰＵ９による制御にしたがって、一定時間毎にクロックパルスをＣＭＯＳセンサ４とＡＦＥ５とにそれぞれ供給する。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、ＡＦＥ５により生成されるディジタル信号や、ＤＳＰ８により生成される画像データを一時的に記憶する。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）８は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７に記憶されたディジタル信号に対して、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とでなる画像データが生成される。なお、以下、かかる画像データをフレーム画像データと称し、このフレーム画像データにより表現される画像をフレーム画像と称する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９は、画像処理装置１００全体の動作を制御する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０は、ＣＰＵ９が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ９は、ＲＡＭ１０をワーキングエリアとして、ＲＯＭ１１に記憶されているプログラムとの協働により各種処理を実行する。

液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７やメモリカード１５に記憶されているフレーム画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像として、フレーム画像を表示する。

また、液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＲＯＭ１１などに予め記憶されている各種画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像を表示する。例えば本実施の形態では、各種シーンを特定可能な情報（以下、シーン情報と称する）の画像データがＲＯＭ１１に記憶されている。このため、図４を参照して後述するように、各種シーン情報が液晶ディスプレイ１３に適宜表示される。

操作部１４は、ユーザから各種ボタンの操作を受け付ける。操作部１４は、電源釦、十字釦、決定釦、メニュー釦、レリーズ釦などを備える。操作部１４は、ユーザから受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ９に供給する。ＣＰＵ９は、操作部１４からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。

メモリカード１５は、ＤＳＰ８により生成されたフレーム画像データを記録する。測距センサ１６は、ＣＰＵ９による制御にしたがって、被写体までの距離を検出する。測光センサ１７は、ＣＰＵ９による制御にしたがって、被写体の輝度（明るさ）を検出する。

このような構成を有する画像処理装置１００の動作モードとしては、撮影モードや再生モードを含む各種モードが存在する。ただし、以下、説明の簡略上、撮影モード時における処理（以下、撮影モード処理と称する）についてのみ説明する。なお、以下、撮影モード処理の主体は主にＣＰＵ９であるとする。

次に、図１の画像処理装置１００の撮影モード処理のうち、顕著性マップに基づく注目点領域を用いて、シーンの構図を識別するまでの一連の処理の概略について説明する。なお、以下、かかる処理を、シーン構図識別処理と称する。
図２は、シーン構図識別処理の概略を説明する図である。

図１の画像処理装置１００のＣＰＵ９は、撮影モードを開始させると、ＣＭＯＳセンサ４による撮影を継続させ、その間にＤＳＰ８により逐次生成されるフレーム画像データを、ＤＲＡＭ７に一時的に記憶させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー撮像と称する。
また、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、スルー撮像時にＤＲＡＭ７に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ１３に表示させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー表示と称する。また、スルー表示されているフレーム画像を、スルー画像と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図２に示されるスルー画像５１が液晶ディスプレイ１３に表示されているとする。

この場合、ステップＳａにおいて、ＣＰＵ９は、特徴量マップ作成処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、スルー画像５１に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図９や図１０を参照して後述する。
例えば図２の例では、後述する図１０Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップＦｃが作成されている。また、後述する図１０ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップＦｈが作成されている。また、図１０Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップＦｓが作成されている。

ステップＳｂにおいて、ＣＰＵ９は、複数種類の特徴量マップを統合することで、顕著性マップを求める。例えば図２の例では、特徴量マップＦｃ，Ｆｈ，Ｆｓが統合されて顕著性マップＳが求められている。
ステップＳｂの処理は、後述する図８のステップＳ４５の処理に対応する。

ステップＳｃにおいて、ＣＰＵ９は、顕著性マップを用いて、スルー画像の中から、人間の視覚的注意を引く可能性の高い画像領域（以下、注目点領域と称する）を推定する。例えば図２の例では、顕著性マップＳを用いて、スルー画像５１の中から注目点領域５２が推定されている。
ステップＳｃの処理は、後述する図８のステップＳ４６の処理に対応する。

なお、以上のステップＳａ乃至Ｓｃまでの一連の処理を、以下、注目点領域推定処理と称する。注目点領域推定処理は、後述する図７のステップＳ２６の処理に対応する。注目点領域推定処理の詳細については、図８乃至図１０を参照して後述する。

次に、ステップＳｄにおいて、ＣＰＵ９は、注目点領域評価処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、注目点領域（図２の例では注目点領域５２）に関する評価を行う。具体的には例えば、ＣＰＵ９は、注目点領域についての、面積、個数、分布範囲の広がり、分散、孤立度合などの各種評価を行う。
ステップＳｄの処理は、後述する図７のステップＳ２７の処理に対応する。

一方、ステップＳｅにおいて、ＣＰＵ９は、エッジ画像生成処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、スルー画像５１に対して、平均化処理及びエッジフィルタ処理を施すことで、エッジ画像（輪郭画像）を生成する。例えば図２の例では、エッジ画像５３が得られている。
ステップＳｅの処理は、後述する図７のステップＳ２８の処理に対応する。

ステップＳｆにおいて、ＣＰＵ９は、エッジ画像評価処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、エッジ画像から、直線成分、曲線成分、及びエッジ（輪郭線）成分の抽出を試みる。そして、ＣＰＵ９は、抽出された成分毎に、個数、長さ、位置関係、分布状態などの各種評価を行う。例えば図２の例では、エッジ成分ＳＬなどが抽出され、その評価が行われる。
ステップＳｆの処理は、後述する図７のステップＳ２９の処理に対応する。

次に、ステップＳｇにおいて、ＣＰＵ９は、スルー画像５１についての構図要素の抽出処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、ステップＳｄの注目点領域評価処理の評価結果、及び、ステップＳｆのエッジ画像評価処理の評価結果を用いて、スルー画像５１に含まれる被写体のうち注目すべき主要被写体について、各構図要素の配列パターンを抽出する。
構図要素自体は、特に限定されないが、例えば本実施形態では、注目点領域、各種線（エッジとなる線含む）、及び人物の顔が採用されているとする。
配列パターンの種類も特に限定されない。例えば本実施の形態では、注目点領域については、「画面全体に広く分布」、「上下に分割」、「水平に分布」、「垂直に分布」、「斜めに分割」、「対角に分布」、「略中央に分布」、「中央下方にトンネル状」、「左右に対称」、「左右に並列」、「複数の相似形で分布」、「分散」、「孤立」などが、配列パターンとして採用されている。各種線については、存在有無、長短、中央下方にトンネル状、同一種類の複数の線が略同一方向に存在、やや中央から上下／左右に放射状、上又は下から放射状などが、配列パターンとして採用されている。人物の顔については、主要被写体に含まれるか否かなどが、配列パターンとして採用されている。
ステップＳｇの処理は、後述する図１１の構図分類処理のうちステップＳ２０１の処理に対応する。すなわち、図２の例では、ステップＳｇの処理は、あたかもステップＳｈの処理とは独立しているように描画されているが、本実施の形態ではステップＳｈの一部の処理とされている。なお、当然ながら、ステップＳｇの処理は、ステップＳｈの処理とは独立した処理とすることも容易に可能である。

ステップＳｈにおいて、ＣＰＵ９は、構図分類処理として、例えば次のような処理を実行する。

すなわち、１のモデル構図案を識別できる所定パターン（以下、分類識別パターンと称する）が、複数の構図案毎にＲＯＭ１１などに予め記憶されているとする。なお、分類識別パターンの具体例については、図３と図４を参照して後述する。
この場合、ＣＰＵ９は、スルー画像５１に含まれる主要被写体についての各構図要素の配列パターンと、複数のモデル構図案の各分類識別パターンのそれぞれとを、１つずつ比較照合していく。そして、ＣＰＵ９は、比較照合の結果に基づいて、複数のモデル構図案の中から、スルー画像５１と類似するモデル構図案の候補（以下、モデル構図案候補と称する）をＰ個選択する。なお、Ｐは、１以上の整数値であって、設計者などが任意に設定し得る整数値である。例えば、図２の例では、モデル構図案候補として、構図Ｃ３［斜線構図／対角線構図］や構図Ｃ４［放射線構図］が選択され、分類結果として出力されている。
ステップＳｈの処理は、後述する図１１の構図解析分類処理のうちステップＳ２０２以降の処理に対応する。

図３と図４は、このようなステップＳｈの構図分類処理において用いられる、モデル構図案毎の各種情報が格納されたテーブル情報の一例を示している。

例えば本実施の形態では、図３と図４に示されるテーブル情報がＲＯＭ１１に予め記憶されているとする。
図３と図４のテーブル情報には、「構図案の名称、見本画像、及び説明文」、並びに「分類識別パターン」という各項目が設けられている。また、図３と図４のテーブル情報において、所定の１行は所定の１モデル構図案に対応している。
したがって、同一行の各項目には、所定のモデル構図案についての項目名称と同内容の情報、すなわち、その名称、見本画像（画像データ）、及び説明文（テキストデータ）、並びに分類識別パターンのそれぞれが格納されている。

「分類識別パターン」の項目において、太い線は、構図要素としての「エッジ」を示している。点線は、構図要素としての「線」を示している。斜線やドットの灰色の領域は、構図要素としての「注目点領域」を示している。また、構図要素抽出処理の結果が、図２に示されるような画像５４（画像データ）であった場合には、分類識別パターンもまた、図３に示されるような画像（画像データ）として格納される。
一方、図２のステップＳｇの構図要素抽出処理の結果が、上述したような構図要素とその配置パターンの内容を示す情報であった場合、分類識別パターンもまた、構図要素と配置パターンの内容を示す情報として格納される。具体的には例えば、１行目の構図Ｃ１［水平線構図］の分類識別パターンは、「水平に長い直線エッジが存在」、並びに、「注目点領域が画面全体に広く分布」、「注目点領域が水平方向に分布」、及び「水平に長い直線が存在」という情報として格納される。

なお、図３と図４には、本実施形態で採用されているモデル構図案の一部が示されているに過ぎない。そこで、以下、次のモデル構図案Ｃ０乃至Ｃ１２が本実施形態で採用されているとする。なお、次段落の括弧内の要素は、モデル構図案Ｃｋ（ｋは０乃至１２のうちのいずれかの整数値）についての、符号Ｃｋ、構図案の名称、及び説明文をそれぞれ示している。

（Ｃ０，中央一点構図，集中力をもって被写体の存在感を強調する。）
（Ｃ１，水平線構図，画面に広がりと伸びやかさを出す。）
（Ｃ２，垂直線構図，上下方向への伸張感で画面を引きしめる。）
（Ｃ３，斜線構図／対角線構図，生き生きとしたリズミカルな動感を出す。
又は、等分割した画面で安定感を出す。）
（Ｃ４，放射線構図，開放感や高揚感、躍動感を引き出す。）
（Ｃ５，曲線構図／Ｓ字構図，優美さや穏やかさを画面に醸し出す。）
（Ｃ６，三角形／逆三角形構図，安定感と動かしがたい力強さを出す。
又は、上部へ広がる生命力や開放感を表わす。）
（Ｃ７，対比／対称構図，緊張感や落ち着いた静寂感を表わす。）
（Ｃ８，トンネル構図，画面に集中力や落ち着きをもたらす。）
（Ｃ９，パターン構図，繰り返しパターンによるリズム感や統一感を出す。）
（Ｃ１０，ポートレート構図，・・・）
（Ｃ１１，３分割／４分割構図，最もポピュラーな構図で、
バランスのとれた写真になる。）
（Ｃ１２，遠近法構図，自然形態に応じて、距離感や奥行きを強調する。）

以上、図２乃至図４を参照して、画像処理装置１００が実行するシーン構図識別処理の概略について説明した。次に、図５乃至図１１を参照して、シーン構図識別処理を含む撮影モード処理全体について説明する。

図５は、撮影モード処理の流れの一例を示すフローチャートである。

撮影モード処理は、ユーザが撮影モードを選択する所定の操作を操作部１４に対して行った場合、その操作を契機として開始される。すなわち、次のような処理が実行される。

ステップＳ１において、ＣＰＵ９は、スルー撮像とスルー表示を行う。

ステップＳ２において、シーン構図識別処理を実行することで、Ｐ個のモデル構図案候補を選択する。シーン構図識別処理については、その概略は図２を参照して上述した通りであり、その詳細は図７を参照して後述する。

ステップＳ３において、ＣＰＵ９は、液晶表示コントローラ１２などを制御することで、選択されたＰ個のモデル構図案候補を液晶ディスプレイ１３に表示させる。正確には、Ｐ個のモデル構図案候補毎に、各々を特定可能な情報（例えば見本画像や名称など）が、液晶ディスプレイ１３に表示される。

ステップＳ４において、ＣＰＵ９は、Ｐ個のモデル構図案候補の中からモデル構図案を決定する。ステップＳ５において、ＣＰＵ９は、撮影条件を設定する。

ステップＳ６において、ＣＰＵ９は、その時点のスルー画像に対するモデル構図案の構図評価値を算出する。そして、ＣＰＵ９は、液晶表示コントローラ１２などを制御することで、構図評価値を液晶ディスプレイ１３に表示させる。構図評価値は、例えば、予め設定された指標値に対する、スルー画像とモデル構図案との相違度、分散、類似度、相関性などの比較結果に基づいて算出される。

ステップＳ７において、ＣＰＵ９は、モデル構図案に基づいて、ガイド情報を生成する。そして、ＣＰＵ９は、液晶表示コントローラ１２などを制御することで、ガイド情報を液晶ディスプレイ１３に表示させる。なお、ガイド情報の具体的な表示例については、図６を参照して後述する。

ステップＳ８において、ＣＰＵ９は、スルー画像の被写体位置と、モデル構図案の被写体位置とを比較する。ステップＳ９において、ＣＰＵ９は、その比較結果に基づいて、スルー画像の被写体位置が、モデル構図案の被写体位置の近傍か否かを判定する。

スルー画像の被写体位置が、モデル構図案の被写体位置の遠方に存在する場合、未だ撮影処理のタイミングではないとして、ステップＳ９においてＮＯであると判定されて、処理はステップＳ６に戻され、それ以降の処理が繰り返される。すなわち、構図取りの変更（フレーミング）に応じて、構図評価値とガイド情報の表示が刻々と更新されていく。

その後、スルー画像の被写体位置が、モデル構図案の被写体位置の近傍になった時点で、撮影処理のタイミングになったとして、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。ステップＳ１０において、ＣＰＵ９は、構図評価値が設定値以上であるか否かを判定する。

構図評価値が設定値未満の場合、未だスルー画像にとって適切な構図になっていないとして、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ６に戻され、それ以降の処理が繰り返される。この場合、図５には図示されていないが、例えば、その時点のスルー画像（その主要被写体の配列パターン）に近いモデル構図案や、構図評価値を設定値より高くできるモデル構図案が、液晶ディスプレイ１３やファインダ（図１に図示せず）に表示されるとする。また、その後、それらのモデル構図案の中からユーザにより新たなモデル構図案が許諾又は選択された場合、新たに許諾又は選択されたモデル構図案の位置関係となるようにガイドしてくことで、撮影構図を変更させるガイド情報が、液晶ディスプレイ１３やファインダに表示されるとする。この場合、新たに許諾又は選択されたモデル構図案に対して、ステップＳ６以降の処理が実行される。

その後、再度撮影処理のタイミングになった時点、すなわち、再度ステップＳ９の処理でＹＥＳであると判定された時点で、構図評価値が設定値以上になっていると、スルー画像にとって適切な構図になったとして、ステップＳ１０においてＹＥＳであると判定されて、処理はステップＳ１１に進む。そして、次のようなステップＳ１１の処理が実行されることで、その時点のモデル構図案に対応する構図で自動撮影が行われる。

すなわち、ステップＳ１１において、ＣＰＵ９は、撮影条件などに基づいてＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）処理（オートフォーカス処理）を実行する。ステップＳ１２において、ＣＰＵ９は、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理（オートホワイトバランス処理）、及び、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理（自動露出処理）を実行する。すなわち、測光センサ１７による測光情報や撮影条件などに基づいて、絞り、露出時間、ストロボ条件などが設定される。

ステップＳ１３において、ＣＰＵ９は、ＴＧ６やＤＳＰ８などを制御して、撮影条件などに基づいて露出及び撮影処理を実行する。この露出及び撮影処理により、撮影条件などにしたがってＣＭＯＳセンサ４により撮影された被写体像は、フレーム画像データとしてＤＲＡＭ７に記憶される。なお、以下、かかるフレーム画像データを撮影画像データと称し、また、撮影画像データにより表現される画像を撮影画像と称する。

ステップＳ１４において、ＣＰＵ９は、ＤＳＰ８などを制御して、撮影画像データに対して補正及び変更処理を施す。ステップＳ１５において、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、撮影画像のレビュー表示処理を実行する。また、ステップＳ１６において、ＣＰＵ９は、ＤＳＰ８などを制御して撮影画像データの圧縮符号化処理を実行する。その結果、符号化画像データが得られることになる。そこで、ステップＳ１７において、ＣＰＵ９は、符号化画像データの保存記録処理を実行する。これにより、符号化画像データがメモリカード１５などに記録され、撮影モード処理が終了となる。

なお、ＣＰＵ９は、符号化画像データの保存記録処理として、撮影時のシーンモードや撮影条件データなどは勿論のこと、撮影時に決定又は算出されたモデル構図案や構図評価値の情報を、符号化画像データと関連付けてメモリカード１５に記録させることもできる。これにより、ユーザは、撮影画像を検索する場合、シーンや撮影条件のみならず、撮影された構図や構図評価値の良否などを用いることができるので、所望の画像を迅速に検索することができるようになる。

図６は、図５の撮影モード処理の具体的な処理結果を示している。

図６Ａは、ステップＳ７の処理後の液晶ディスプレイ１３の表示例を示している。
なお、図１には図示せぬファインダにも、液晶ディスプレイ１３と同様の表示がなされているとする。
図６Ａに示されるように、液晶ディスプレイ１３には、主表示領域１０１と、サブ表示領域１０２とが設けられている。

図６Ａの例では、スルー画像５１が主表示領域１０１に表示されている。
主表示領域１０１にはまた、補助情報として、スルー画像５１の注目点領域の近傍の導線１２１や、その注目点領域周囲の被写体の輪郭線１２２が、他と区別可能なように表示されている。なお、このような補助情報は、導線１２１や輪郭線１２２に特に限定されない。例えば、注目点領域（主要被写体）についての、輪郭形状若しくはその位置、分布や配列パターンを示す図形、又は、それらの位置関係を示す補助線を、主表示領域１０１に表示させることもできる。
主表示領域１０１にはまた、ガイド情報として、モデル構図案の構図要素の線に対応する参照線１２３、モデル構図案の指標線１２４、注目点領域の移動目標を示すシンボル１２５が表示されている。なお、このようなガイド情報は、参照線１２３、指標線１２４、シンボル１２５などに特に限定されない。例えば、モデル構図案における主要被写体についての、輪郭形状若しくはその位置、分布や配列パターンを示す図形、又は、それらの位置関係を示す補助線を、主表示領域１０１に表示させることもできる。
主表示領域１０１にはまた、ガイド情報として、フレームの移動方向を示す矢印１２６や、フレームの回転方向を示す矢印１２７などが表示されている。すなわち、矢印１２６，１２７などは、スルー画像５１中の主要被写体の位置を、モデル構図案における被写体の位置（例えばシンボル１２５の位置）まで移動するようにユーザをガイドしていくことで、構図を変更させるガイド情報である。このようなガイド情報は、矢印１２６，１２７に特に限定されず、その他例えば「カメラをもう少し右に向けて下さい」などのメッセージを採用することもできる。

また、モデル構図案を示す情報１１１乃至１１３がサブ表示領域１０２に表示されている。
図６Ａの例では、図５のステップＳ４の処理で決定されたモデル構図案は、例えば、情報１１１に対応するモデル構図案とされている。
また、例えば、情報１１２や情報１１３は、構図評価値が設定値未満の場合にステップＳ１０においてＮＯであると判定された後に表示される。具体的には例えば、情報１１２や情報１１３は、スルー画像に近いモデル構図案を示す情報や、構図評価値を設定値より高くできるモデル構図案を示す情報である。
したがって、ユーザは、構図評価値が設定値未満の場合などに、操作部１４を操作することで、各モデル構図案を示す情報１１１乃至１１３の中から、所望の１つを選択して決定することができる。この場合、ＣＰＵ９は、ユーザにより決定された情報に対応するモデル構図案に対して、ステップＳ６乃至Ｓ１０の処理を施す。

図６Ａの表示状態で、構図取りの変更や自動的なフレーミングが行われ、その結果、図６Ｂの表示状態になったとする。すなわち、スルー画像５１中の主要被写体の位置がシンボル１２５の位置に一致するまで構図が変更されたとする。この場合、図５のステップＳ９の処理でＹＥＳであると判定される。したがって、構図評価値が設定値以上であれば、ステップＳ１０の処理でＹＥＳであると判定されて、ステップＳ１１乃至Ｓ１７の処理が実行される。これにより、図６Ｂに示される構図で自動撮影が行われる。その結果、図６Ｃに示される撮影画像１３１のレビュー表示がなされて、撮影画像１３１に対応する符号化画像データがメモリカード１５に記録される。

なお、図５の例では省略されているが、当然ながら、ユーザが指などでレリーズ釦を押すことで、ＣＰＵ９に撮影処理を実行させることもできる。この場合、ユーザは、例えば、図６Ａに示されるガイド情報に従って構図を手動で移動させ、図６Ｂに示される構図になったタイミングでレリーズ釦を全押しすることができる。その結果、図６Ｃに示される撮影画像１３１のレビュー表示がなされて、撮影画像１３１に対応する符号化画像データがメモリカード１５に記録される。

次に、図５の撮影モード処理のうち、ステップＳ２のシーン構図識別処理の詳細例について説明する。

図７は、シーン構図識別処理の流れの詳細例を示すフローチャートである。

ステップＳ２１において、ＣＰＵ９は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして入力する。

ステップＳ２２において、ＣＰＵ９は、識別済ＦＬＡＧが１であるか否かを判定する。識別済ＦＬＡＧとは、前回のフレーム画像データについてモデル構図案候補が選択済（識別済）であるか否かを示すフラグをいう。したがって、識別済ＦＬＡＧ＝０の場合、前回のフレーム画像データについてモデル構図案候補が未選択である。このため、識別済ＦＬＡＧ＝０の場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２６に進み、それ以降の処理が実行される。その結果、処理対象画像データに対するモデル構図案候補が選択される。ただし、ステップＳ２６以降の処理の詳細については後述する。

これに対して、識別済ＦＬＡＧ＝１の場合、前回のフレーム画像データについてモデル構図案候補が選択済であるため、処理対象画像データに対するモデル構図案候補の選択が不要になる場合もある。すなわち、ＣＰＵ９は、ステップＳ２６以降の処理を実行するか否かを判断する必要がある。このため、識別済ＦＬＡＧ＝１の場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進み、次のような処理が実行される。

すなわち、ステップＳ２３において、ＣＰＵ９は、処理対象画像データと前回のフレーム画像データとを比較する。ステップＳ２４において、ＣＰＵ９は、撮影条件又は被写体状態に、所定以上の変化があるか否かを判定する。撮影条件及び被写体状態に所定以上の変化がない場合、ステップＳ２４においてＮＯであると判定されて、ステップＳ２６以降の処理は実行されずに、シーン構図識別処理は終了となる。

これに対して、撮影条件と被写体状態のうち少なくとも一方に所定以上の変化がある場合、ステップＳ２４においてＹＥＳであると判定されて、処理はステップＳ２５に進む。ステップＳ２５において、ＣＰＵ９は、識別済ＦＬＡＧを０に変更する。これにより、次のようなステップＳ２６以降の処理が実行される。

ステップＳ２６において、ＣＰＵ９は、注目点領域推定処理を実行する。すなわち、上述した図２のステップＳａ乃至Ｓｃに対応する処理が実行される。これにより、上述したように、処理対象画像データについての注目点領域が得られることになる。なお、注目点領域推定処理の詳細例については、図８乃至図１０を参照して後述する。

ステップＳ２７において、ＣＰＵ９は、注目点領域評価処理を実行する。すなわち、上述した図２のステップＳｄに対応する処理が実行される。

ステップＳ２８において、ＣＰＵ９は、エッジ画像生成処理を実行する。すなわち、上述した図２のステップＳｅに対応する処理が実行される。これにより、上述したように、処理対象画像データについてのエッジ画像が得られることになる。

ステップＳ２９において、ＣＰＵ９は、エッジ画像評価処理を実行する。すなわち、上述した図２のステップＳｆに対応する処理が実行される。

ステップＳ３０において、ＣＰＵ９は、注目点評価処理の結果やエッジ画像評価処理の結果を用いて、構図分類処理を実行する。すなわち、上述した図２のステップＳｈ（ステップＳｇ含む）に対応する処理が実行される。なお、構図分類処理の詳細例については、図１１を参照して後述する。

ステップＳ３１において、ＣＰＵ９は、構図の分類識別に成功したか否かを判定する。

ステップＳ３０の処理でＰ＝１以上のモデル構図案候補案が選択された場合、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。ステップＳ３２において、ＣＰＵ９は、識別済ＦＬＡＧを１に設定する。

これに対して、ステップＳ３０の処理でモデル構図案候補案が選択されなかった場合、ステップＳ３１においてＮＯであると判定されて、処理はステップＳ３３に進む。ステップＳ３３において、ＣＰＵ９は、識別済ＦＬＡＧを０に設定する。

識別済ＦＬＡＧが、ステップＳ３２の処理で１に設定されるか、又は、ステップＳ３３の処理で０に設定されると、シーン構図識別処理は終了し、すなわち、図５のステップＳ２の処理は終了し、処理はステップＳ３に進み、それ以降の処理が実行される。

次に、図７のシーン構図識別処理のうち、ステップＳ２６（図２のステップＳａ乃至Ｓｃ）の注目点領域処理の詳細例について説明する。

上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
なお、Ｔｒｅｉｓｍａｎの特徴統合理論については、「Ａ．Ｍ．Ｔｒｅｉｓｍａｎ ａｎｄ Ｇ．Ｇｅｌａｄｅ，“Ａ ｆｅａｔｕｒｅ―ｉｎｔｅｇｒａｔｉｏｎ ｔｈｅｏｒｙ ｏｆ ａｔｔｅｎｔｉｏｎ”，Ｃｏｇｎｉｔｉｖｅ Ｐｓｙｃｈｏｌｏｇｙ，Ｖｏｌ．１２，Ｎｏ．１，ｐｐ．９７−１３６，１９８０．」を参照すると良い。
また、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップについては、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

図８は、Ｔｒｅｉｓｍａｎの特徴統合理論やＮｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。

ステップＳ４１において、ＣＰＵ９は、処理対象画像データを取得する。なお、ここで取得される処理対象画像データとは、図７のステップＳ２１の処理で入力された処理対象画像データを意味する。

ステップＳ４２において、ＣＰＵ９は、ガウシアン解像度ピラミット（Ｇａｕｓｓｉａｎ Ｒｅｓｏｌｕｔｉｏｎ Ｐｙｒａｍｉｄ）を作成する。具体的には例えば、ＣＰＵ９は、処理対象画像データ｛（ｘ，ｙ）の位置の画素データ｝をＩ（０）＝Ｉ（ｘ，ｙ）として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データＩ（Ｌ）（例えばＬ∈｛０・・・８｝）の組が生成される。この階層型のスケール画像データＩ（Ｌ）の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールＬ＝ｋ（ここではｋは１乃至８のうちの何れかの整数値）の場合、スケール画像データＩ（ｋ）は、１／２^ｋの縮小画像（ｋ＝０の場合は原画像）を示す。

ステップＳ４３において、ＣＰＵ９は、各特徴量マップ作成処理を開始する。各特徴量マップ作成処理の詳細例については、図９や図１０を参照して後述する。

ステップＳ４４において、ＣＰＵ９は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち１つでも処理が終了していない場合、ステップＳ４４において、ＮＯであると判定されて、処理はステップＳ４４に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップＳ４４の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、ＣＰＵ９は、各特徴量マップを線形和で結合して、顕著性マップＳ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を求める。

ステップＳ４６において、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから注目領域を推定する。すなわち、一般に、主要被写体となる人物や撮影対象（ｏｂｊｅｃｔｓ）となる物体の多くは、背景（ｂａｃｋｇｒｏｕｎｄ）領域に比べ、顕著性（ｓａｌｉｅｎｃｙ）が高いと考えられる。そこで、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから顕著性（ｓａｌｉｅｎｃｙ）が高い領域を認識する。そして、ＣＰＵ９は、その認識結果に基づいて、人間の視覚的注意を引く可能性の高い領域、すなわち、注目点領域を推定する。このようにして、注目点領域が推定されると、注目点領域推定処理は終了する。すなわち、図７のステップＳ２６の処理は終了し、処理はステップＳ２７に進む。図２の例でいえば、ステップＳａ乃至Ｓｃの一連の処理は終了し、処理はステップＳｄに進む。

次に、各特徴量マップ作成処理の具体例について説明する。

図９は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。

図９Ａは、輝度の特徴量マップ作成処理の一例を示している。

ステップＳ６１において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素ｃ∈｛２，３，４｝が設定されたとして、以下の説明を行う。各注目画素ｃ∈｛２，３，４｝とは、スケールｃ∈｛２，３，４｝のスケール画像データＩ（ｃ）上の演算対象として設定された画素をいう。

ステップＳ６２において、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝の各スケール画像の輝度成分を求める。

ステップＳ６３において、ＣＰＵ９は、各注目画素の周辺画素ｓ＝ｃ＋δの各スケール画像の輝度成分を求める。各注目画素の周辺画素ｓ＝ｃ＋δとは、例えばδ∈｛３，４｝とすると、スケールｓ＝ｃ＋δのスケール画像Ｉ（ｓ）上の、注目画素（対応点）の周辺に存在する画素をいう。

ステップＳ６４において、ＣＰＵ９は、各スケール画像について、各注目画素ｃ∈｛２，３，４｝における輝度コントラストを求める。例えば、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝と、各注目画素の周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）のスケール間差分を求める。ここで、注目画素ｃをＣｅｎｔｅｒと呼称し、注目画素の周辺画素ｓをＳｕｒｒｏｕｎｄと呼称すると、求められたスケール間差分は、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分と呼称することができる。この輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、注目画素ｃが白で周辺画素ｓが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをＩ（ｃ，ｓ）と記述する。

ステップＳ６５において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。

すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップＳ６１乃至Ｓ６５の処理がそれぞれ施されて、各画素の輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、各注目画素ｃ∈｛２，３，４｝、及び、周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）が設定される場合、ステップＳ６１乃至Ｓ６５の１回の処理で、（注目画素ｃの３通り）×（周辺画素ｓの２通り）＝６通りの輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、所定のｃと所定のｓについて求められた輝度コントラストＩ（ｃ，ｓ）の画像全体の集合体を、以下、輝度コントラストＩの特徴量マップと称する。輝度コントラストＩの特徴量マップは、ステップＳ６１乃至Ｓ６５のループ処理の繰り返しの結果、６通り求められることになる。このようにして、６通りの輝度コントラストＩの特徴量マップが求められると、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、ＣＰＵ９は、輝度コントラストＩの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、ＦＩと記述する。

図９Ｂは、色の特徴量マップ作成処理の一例を示している。

図９Ｂの色の特徴量マップ作成処理は、図９Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図９ＢのステップＳ８１乃至Ｓ８６のそれぞれの処理は、図９ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図９Ａとは異なるだけである。したがって、図９Ｂの色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、図９ＡのステップＳ６２とＳ６３の処理対象は、輝度成分であったのに対して、図９ＢのステップＳ８２とＳ８３の処理対象は、色成分である。
また、図９ＡのステップＳ６４の処理では、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、輝度コントラストＩ（ｃ，ｓ）として求められた。これに対して、図９ＢのステップＳ８４の処理では、色相（Ｒ／Ｇ，Ｂ／Ｙ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がＲで示され、緑の成分がＧで示され、青の成分がＢで示され、黄の成分がＹで示されている。また、以下、色相Ｒ／Ｇについての色相コントラストを、ＲＧ（ｃ，ｓ）と記述し、色相Ｂ／Ｙについての色相コントラストを、ＢＹ（ｃ，ｓ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、図９ＡのステップＳ６１乃至Ｓ６５のループ処理の結果、６通りの輝度コントラストＩの特徴量マップが求められた。これに対して、図９ＢのステップＳ８１乃至Ｓ８５のループ処理の結果、６通りの色相コントラストＲＧの特徴量マップと、６通りの色相コントラストＢＹの特徴量マップとが求められる。
最終的に、図９ＡのステップＳ６６の処理で、輝度の特徴量マップＦＩが求められた。これに対して、図９ＢのステップＳ８６の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、ＦＣと記述する。

図９Ｃは、方向性の特徴量マップ作成処理の一例を示している。

図９Ｃの方向性の特徴量マップ作成処理は、図９Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図９ＣのステップＳ１０１乃至Ｓ１０６のそれぞれの処理は、図９ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図９Ａとは異なるだけである。したがって、図９Ｃの方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、ステップＳ１０２とＳ１０２３の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメターとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、０°，４５°，９０°，１３５°の４方向を採用することができる。
また、ステップＳ１０４の処理では、方向性のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、Ｏ（ｃ，ｓ，θ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、ステップＳ１０１乃至Ｓ１０５のループ処理の結果、回転角θ毎に、６通りの方向性コントラストＯの特徴量マップが求められる。例えば回転角θとして、０°，４５°，９０°，１３５°の４方向が採用されている場合には、２４通り（＝６×４通り）の方向性コントラストＯの特徴量マップが求められる。
最終的に、ステップＳ１０６の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、ＦＯと記述する。

以上説明した図９の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

なお、特徴量マップ作成処理は、図９の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

図１０は、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。

図１０Ａは、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップＳ１２１において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Ｆｃと記述する。

図１０Ｂは、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の一例を示している。

ステップＳ１４１において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば｛０．５，０．７５，１．０，１．５，２．０｝などを採用することができる。

ステップＳ１４２において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ２乗距離を求める。ステップＳ１４３において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを求める。

ステップＳ１４４において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを用いて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを作成する。これにより、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Ｆｈと記述する。

図１０Ｃは、色空間分布の特徴量マップ作成処理の一例を示している。

ステップＳ１６１において、ＣＰＵ９は、色空間分布について、水平方向の分散を計算する。また、ステップＳ１６２において、ＣＰＵ９は、色空間分布について、垂直方向の分散を計算する。そして、ステップＳ１６３において、ＣＰＵ９は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。

ステップＳ１６４において、ＣＰＵ９は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Ｆｓと記述する。

以上説明した図１０の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｔ．Ｌｉｕ，Ｊ．Ｓｕｎ，Ｎ．Ｚｈｅｎｇ，Ｘ．Ｔａｎｇ，Ｈ．Ｓｕｍ，“Ｌｅａｒｎｉｎｇ ｔｏ Ｄｅｔｅｃｔ Ａ Ｓａｌｉｅｎｔ Ｏｂｊｅｃｔ”，ＣＶＰＲ０７，ｐｐ．１−８，２００７．」を参照すると良い。

次に、図７のシーン構図識別処理のうち、ステップＳ３０の構図分類処理の詳細例について説明する。

図１１は、構図分析処理の流れの詳細例を示すフローチャートである。

なお、図１１の例では、上述したモデル構図案Ｃ１乃至Ｃ１１のうちの１つが、モデル構図案候補として選択される。すなわち、図１１の例では、Ｐ＝１のモデル構図案候補が選択される。

ステップＳ２０１において、ＣＰＵ９は、構図要素抽出処理を実行する。すなわち、上述した図２のステップＳｇに対応する処理が実行される。これにより、上述したように、図７のステップＳ２１の処理で入力された処理対象画像データから、構図要素とその配列パターンが抽出される。

そこで、図２のステップＳｈ（ステップＳｇを除く）に対応する処理として、次のようなステップＳ２０２以降の処理が実行される。なお、図１１の例では、ステップＳ２０１の処理の結果として、構図要素とその配置パターンの内容を示す情報が得られるとする。このため、図３と図４のテーブル情報に格納されている分類識別パターンの形態は、同図に示されるような画像データではなく、構図要素と配置パターンの内容を示す情報であるとする。すなわち、以下のステップＳ２０２以降の処理においては、ステップＳ２０１の処理の結果得られた構図要素及びその配置パターンと、分類識別パターンとしての構図要素及びその配置パターンとが比較照合される。

ステップＳ２０２において、ＣＰＵ９は、注目点領域が画面全体に広く分布しているか否かを判定する。

ステップＳ２０２において、注目点領域が画面全体に広く分布していないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２１２に進む。ただし、ステップＳ２１２以降の処理については後述する。

これに対して、ステップＳ２０２において、注目点領域が画面全体に広く分布していると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２０３に進む。ステップＳ２０３において、ＣＰＵ９は、注目点領域が上下に分割又は水平に分布しているか否かを判定する。

ステップＳ２０３において、注目点領域が上下に分割しておらず、かつ水平に分布していないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２０６に進む。ただし、ステップＳ２０６以降の処理については後述する。

これに対して、ステップＳ２０３において、注目点領域が上下に分割又は水平に分布していると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２０４に進む。ステップＳ２０４において、ＣＰＵ９は、水平に長い直線エッジがあるか否かを判定する。

ステップＳ２０４において、水平に長い直線エッジはないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２０４において、水平に長い直線エッジがあると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２０５に進む。ステップＳ２０５において、ＣＰＵ９は、モデル構図案Ｃ１「水平線構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２０３の処理でＮＯであると判定されると、処理はステップＳ２０６に進む。ステップＳ２０６において、ＣＰＵ９は、注目点領域が左右に分割又は垂直に分布しているか否かを判定する。

ステップＳ２０６において、注目点領域が左右に分割しておらず、かつ垂直に分布していないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２０９に進む。ただし、ステップＳ２０９以降の処理については後述する。

これに対して、ステップＳ２０６において、注目点領域が左右に分割又は垂直に分布していると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２０７に進む。ステップＳ２０７において、ＣＰＵ９は、垂直に長い直線エッジがあるか否かを判定する。

ステップＳ２０７において、垂直に長い直線エッジはないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２０７において、垂直に長い直線エッジがあると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２０８に進む。ステップＳ２０８において、ＣＰＵ９は、モデル構図案Ｃ２「垂直線構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２０６の処理でＮＯであると判定されると、処理はステップＳ２０９に進む。ステップＳ２０９において、ＣＰＵ９は、注目点領域が斜めに分割又は対角に分布しているか否かを判定する。

ステップＳ２０９において、注目点領域が斜めに分割しておらず、かつ対角に分布していないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２０９において、注目点領域が斜めに分割又は対角に分布していると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１０に進む。ステップＳ２１０において、ＣＰＵ９は、長い斜線エッジがあるか否かを判定する。

ステップＳ２１０において、長い斜線エッジはないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２１０において、長い斜線エッジがあると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１１に進む。ステップＳ２１１において、ＣＰＵ９は、モデル構図案Ｃ３「斜線構図／対角線構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２０２の処理でＮＯであると判定されると、処理はステップＳ２１２に進む。ステップＳ２１２において、ＣＰＵ９は、注目点領域が略中央にやや広く分布しているか否かを判定する。

ステップＳ２１２において、注目点領域が略中央にやや広く分布していないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２１９に進む。ただし、ステップＳ２１９以降の処理については後述する。

これに対して、ステップＳ２１２において、注目点領域が略中央にやや広く分布していると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１３に進む。ステップＳ２１３において、ＣＰＵ９は、長い曲線があるか否かを判定する。

ステップＳ２１３において、長い曲線はないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２１５に進む。ただし、ステップＳ２１５以降の処理については後述する。

これに対して、ステップＳ２１３において、長い曲線があると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１４に進む。ステップＳ２１４において、ＣＰＵ９は、モデル構図案Ｃ５「曲線構図／Ｓ字構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３２の処理でＹＥＳであると判定されて、ステップＳ３１の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２１３の処理でＮＯであると判定されると、処理はステップＳ２１５に進む。ステップＳ２１５において、ＣＰＵ９は、斜線エッジ又は放射線エッジが存在するか否かを判定する。

ステップＳ２１５において、斜線エッジ及び放射線エッジが存在しないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２１７に進む。ただし、ステップＳ２１７以降の処理については後述する。

これに対して、ステップＳ２１５において、斜線エッジ又は放射線エッジが存在すると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１６に進む。ステップＳ２１６において、ＣＰＵ９は、モデル構図案Ｃ６「三角形／逆三角形構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２１５の処理でＮＯであると判定されると、処理はステップＳ２１７に進む。ステップＳ２１７において、ＣＰＵ９は、注目点領域及びエッジが共に、中央下方にトンネル状であるか否かを判定する。

ステップＳ２１７において、注目点領域及びエッジが共に、中央下方にトンネル状でないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２１７において、注目点領域及びエッジが共に、中央下方にトンネル状であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２１８に進む。ステップＳ２１８において、ＣＰＵ９は、モデル構図案Ｃ８「トンネル構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２１２の処理でＮＯであると判定されると、処理はステップＳ２１９に進む。ステップＳ２１９において、ＣＰＵ９は、注目点領域が分散又は孤立であるか否かを判定する。

ステップＳ２１９において、注目点領域が分散でもなく孤立でもないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２７に進む。ただし、ステップＳ２２７以降の処理については後述する。

これに対して、ステップＳ２１９において、注目点領域が分散又は孤立であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２０に進む。ステップＳ２２０において、ＣＰＵ９は、主要被写体は人物の顔であるか否かを判定する。

ステップＳ２２０において、主要被写体は人物の顔ではないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２２に進む。ただし、ステップＳ２２２以降の処理については後述する。

これに対して、ステップＳ２２０において、主要被写体は人物の顔であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２１に進む。ステップＳ２２１において、ＣＰＵ９は、モデル構図案Ｃ１０「ポートレート構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２２０の処理でＮＯであると判定されると、処理はステップＳ２２２に進む。ステップＳ２２２において、ＣＰＵ９は、注目点領域が左右又は対称に並列であるか否かを判定する。

ステップＳ２２２において、注目点領域が左右及び対称に並列でないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２４に進む。ただし、ステップＳ２２４以降の処理については後述する。

これに対して、ステップＳ２２２において、注目点領域が左右又は対称に並列であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２３に進む。ステップＳ２２３において、ＣＰＵ９は、モデル構図案Ｃ７「対比／対称構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２２２の処理でＮＯであると判定されると、処理はステップＳ２２４に進む。ステップＳ２２４において、ＣＰＵ９は、注目点領域又は輪郭が複数の相似形で分散であるか否かを判定する。

ステップＳ２２４において、注目点領域又は輪郭が複数の相似形で分散であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２５に進む。ステップＳ２２５において、ＣＰＵ９は、モデル構図案Ｃ９「パターン構図」を、モデル構図案候補として選択する。

これに対して、ステップＳ２２４において、注目点領域及び輪郭が複数の相似形でもないし分散でもないいと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２２６に進む。ステップＳ２２６において、ＣＰＵ９は、モデル構図案Ｃ１１「３分割／４分割構図」を、モデル構図案候補として選択する。

ステップＳ２２５又はＳ２２６の処理が終了すると、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２０４，Ｓ２０７，Ｓ２０９，Ｓ２１０，Ｓ２１７，又はＳ２１９の処理でＮＯであると判定されると、処理はステップＳ２２７に進む。ステップＳ２２７において、ＣＰＵ９は、複数の斜線又は放射線があるか否かを判定する。

ステップＳ２２７において、複数の斜線も複数の放射線もないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２３４に進む。ただし、ステップＳ２３４以降の処理については後述する。

これに対して、ステップＳ２２７において、複数の斜線又は放射線があると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２８に進む。ステップＳ２２８において、ＣＰＵ９は、略同一方向に複数の斜線があるか否かを判定する。

ステップＳ２２８において、略同一方向に複数の斜線がないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２３０に進む。ただし、ステップＳ２３０以降の処理については後述する。

これに対して、ステップＳ２２８において、略同一方向に複数の斜線があると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２２９に進む。ステップＳ２２９において、ＣＰＵ９は、モデル構図案Ｃ３「斜線構図／対角線構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２２８の処理でＮＯであると判定されると、処理はステップＳ２３０に進む。ステップＳ２３０において、ＣＰＵ９は、斜線がやや中央から上下又は左右に放射状であるか否かを判定する。

ステップＳ２３０において、斜線がやや中央から上下に放射状でもないし左右に放射状でもないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２３２に進む。ただし、ステップＳ２３２以降の処理については後述する。

これに対して、ステップＳ２３０において、斜線がやや中央から上下又は左右に放射状であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２３１に進む。ステップＳ２３１において、ＣＰＵ９は、モデル構図案Ｃ４「放射線構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２３０の処理でＮＯであると判定されると、処理はステップＳ２３２に進む。ステップＳ２３２において、ＣＰＵ９は、斜線が上又は下から放射状であるか否かを判定する。

ステップＳ２３２において、斜線が上から放射状でもないし下から放射状でもないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２３４に進む。ただし、ステップＳ２３４以降の処理については後述する。

これに対して、ステップＳ２３２において、斜線が上又は下から放射状であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２３３に進む。ステップＳ２３３において、ＣＰＵ９は、モデル構図案Ｃ６「三角形／逆三角形構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

上述したように、ステップＳ２２７又はＳ２３２の処理でＮＯであると判定されると、処理はステップＳ２３４に進む。ステップＳ２３４において、ＣＰＵ９は、主要被写体は人物の顔であるか否かを判定する。

ステップＳ２３４において、主要被写体は人物の顔であると判定された場合、すなわち、ＹＥＳであると判定された場合、処理はステップＳ２３５に進む。ステップＳ２３５において、ＣＰＵ９は、モデル構図案Ｃ１０「ポートレート構図」を、モデル構図案候補として選択する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＹＥＳであると判定されて、ステップＳ３２の処理で、識別済ＦＬＡＧが１に設定される。その結果、シーン構図識別処理全体が終了となる。

これに対して、ステップＳ２３４において、主要被写体は人物の顔ではないと判定された場合、すなわち、ＮＯであると判定された場合、処理はステップＳ２３６に進む。ステップＳ２３６において、ＣＰＵ９は、構図の分類識別に失敗と認定する。これにより、構図分類処理は終了となる。すなわち、図７のステップＳ３０の処理が終了し、ステップＳ３１の処理でＮＯであると判定されて、ステップＳ３３の処理で、識別済ＦＬＡＧが０に設定される。その結果、シーン構図識別処理全体が終了となる。

以上説明したように、第１実施形態に係る画像処理装置１００のＣＰＵ９は、主要被写体を含む入力画像に対して、入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する機能を有している。ＣＰＵ９は、注目点領域を用いて、複数のモデル構図案の中から、主要被写体の配置状態（例えば、配列パターンや位置関係）に関して入力画像と類似するモデル構図案を識別する機能を有している。

このようにして識別された構図案は、主要被写体の配置状態（例えば、配列パターンや位置関係）に関して入力画像（スルー画像）と類似するので、入力画像にとって理想的な構図案やセンスの良い構図案であると把握することができる。したがって、このような構図案がユーザに提示されて受け入れられた場合には、ユーザは、様々な被写体や一般のシーンにおいても、理想的な構図やセンスの良い構図で撮影することが可能になる。

第１実施形態に係るＣＰＵ９の構図案を識別する機能には、注目点領域に加えてさらに、入力画像に対応するエッジ画像の線成分を用いて、主要被写体の配置状態（例えば、配列パターンや位置関係）に関して入力画像と類似する構図案を識別する機能が含まれる。

このような機能を採用することで、従来の黄金分割線（３分割線）グリッドの交点に被写体を置くというような単純な構図案以外の多種多様な構図案も、構図案候補として提示することができる。その結果、構図案候補として提示された構図案は紋切り型の構図にならないので、ユーザは、シーンや被写体に応じて多種多様な構図で、また、臨機応変の様々な構図で、主要被写体を撮影することが可能になる。

第１実施形態に係るＣＰＵ９はまた、識別されたモデル構図案を提示する機能を有する。これにより、ユーザは、ファインダなどで入力画像（スルー画像）を見ながら主要被写体を狙うだけで、人物の顔以外の一般の主要被写体を撮影する際のモデル構図案が提示される。したがって、ユーザは、提示されたモデル構図案に基づいて構図の良し悪しを評価することができる。また、ユーザは、シーンを変更することで、シーン毎の複数のモデル構図案が提示されるので、提示された複数のモデル構図案の中から所望のものを、撮影時の構図として選択することができる。

第１実施形態に係るＣＰＵ９はまた、識別されたモデル構図案に対する評価をする機能を有している。そして、提示の機能には、この評価結果を、識別されたモデル構図案とともに提示する機能が含まれる。これにより、ＣＰＵ９は、構図取りの変更（フレーミング）に応じて刻々とモデル構図案を識別し、それらの評価を刻々とすることができる。したがって、ユーザは、刻々と変化する評価を用いることで、入力画像にとってより良い構図を探したり、様々な構図取りを容易に試すことができる。

第１実施形態に係るＣＰＵ９はまた、識別されたモデル構図案に基づいて、所定構図（例えば理想的な構図）に導くガイド情報を生成する機能を有している。そして、提示の機能には、このガイド情報を提示する機能が含まれる。これにより、撮影に不慣れなユーザであっても、理想的な構図や、センスの良い構図、又は、バランスの良い構図で、主要被写体を撮影することが容易にできる。

さらに、第１実施形態に係るＣＰＵ９は、識別したモデル構図案に対応する構図となるように、フレーミングやズーミングを移動したり変更するようにユーザをガイドしていくこともできる。また、ＣＰＵ９は、識別したモデル構図案に対応する構図に近づくように、自動フレーミングや自動トリミングを実行して、撮影することもできる。また、複数枚連写がなされた場合、ＣＰＵ９は、連写された複数の撮影画像をそれぞれ入力画像として、モデル構図案を識別することができる。したがって、ＣＰＵ９は、連写された複数の撮影画像の中から構図の良い撮影画像を、識別された各モデル構図案に基づいて選択し、記録させることもできる。その結果、ユーザは、「日の丸構図」や単調な構図から脱して、適切な構図で撮影することが可能になる。また、ユーザにとっては、失敗構図で撮影してしまうことを回避することが可能になる。

〔第２実施形態〕
次に、本発明の第２実施形態を説明する。
なお、本発明の第２実施形態に係る画像処理装置のハードウェアの構成は、第１実施形態に係る画像処理装置１００の図１のハードウェアの構成と基本的に同様である。また、ＣＰＵ９の機能も、第１実施形態のＣＰＵ９が有する上述した各種機能をそのまま有している。

第２実施形態に係る画像処理装置１００は、さらに、「ピクチャモード」や「ＢＥＳＴ ＳＨＯＴ（登録商標）」などの機能に基づいて、複数のシーンをユーザに提示する機能を有している。

図１２は、液晶ディスプレイ１３の表示例として、複数のシーンをそれぞれ特定可能な情報（以下、シーン情報と称する）が表示された例を示している。
シーン情報２０１は、「朝日／夕日」のシーンを示している。シーン情報２０２は、「花」のシーンを示している。シーン情報２０３は、「桜」のシーンを示している。シーン情報２０４は、「渓流」のシーンを示している。シーン情報２０５は、「木」のシーンを示している。シーン情報２０６は、「森／林」のシーンを示している。シーン情報２０７は、「空／雲」のシーンを示している。シーン情報２０８は、「滝」のシーンを示している。シーン情報２０９は、「山」のシーンを示している。シーン情報２１０は、「海」のシーンを示している。
なお、説明の簡略上、シーン情報２０１乃至２１０としては、各シーンの名称が表示されるように図１２には描画されているが、特に図１２の例に限定されず、その他例えば、各シーンの見本画像であっても構わない。

ユーザは、操作部１４を操作して、シーン情報２０１乃至２１０の中から、所望のシーン情報を選択することができる。第２実施形態に係る画像処理装置１００は、このような選択に対する機能として、次のような機能を有している。すなわち、画像処理装置１００は、選択されたシーン情報に対応するシーン、そのシーンに含まれ得る被写体の種類、そのシーンの作風などに応じて、複数のモデル構図案の中から、そのシーンに対して推奨するモデル構図案を識別する機能を有している。

具体的には例えば、シーン情報２０１が選択された場合、画像処理装置１００は、「朝日／夕日」のシーンに対して、モデル構図案Ｃ１１「３分割／４分割構図」を識別する。これにより、太陽と水平線が３分割法に基づく位置に配置させて撮影することが可能になる。

例えばシーン情報２０２が選択された場合、画像処理装置１００は、「花」のシーンに対して、モデル構図案Ｃ７「対比／対称構図」を識別する。これにより、主役の花を引き立てる脇役を見つけ、主役と脇役による「対比構図」での撮影が可能になる。

例えばシーン情報２０３が選択された場合、画像処理装置１００は、「桜」のシーンに対して、モデル構図案Ｃ４「放射線構図」を識別する。これにより、木の幹と枝とについて「放射線構図」での撮影が可能になる。

例えばシーン情報２０４が選択された場合、画像処理装置１００は、「渓流」のシーンに対して、モデル構図案Ｃ１２「遠近法構図」を識別する。これにより、距離感を強調した「遠近法構図」にて、ポイントとなる被写体を配置させた撮影が可能になる。

例えばシーン情報２０５が選択された場合、画像処理装置１００は、「木」のシーンに対して、モデル構図案Ｃ７「対比／対称構図」を識別する。これにより、主役の古木などを引き立てる脇役を背景の木々として、主役と脇役による「対比構図」での撮影が可能になる。その結果、古木など被写体のスケール感を引き出すことが可能になる。

例えばシーン情報２０６が選択された場合、画像処理装置１００は、「森／林」のシーンに対して、モデル構図案Ｃ４「放射線構図」を識別する。これにより、光が降り注ぐ透過光下で、木の幹をアクセントラインとする「放射線構図」で撮影することが可能になる。

例えばシーン情報２０７が選択された場合、画像処理装置１００は、「空／雲」のシーンに対して、モデル構図案Ｃ４「放射線構図」やモデル構図案Ｃ３「斜線構図／対角線構図」を識別する。これにより、雲のラインを「放射線構図」や「対角線構図」で撮影することが可能になる。

例えばシーン情報２０８が選択された場合、画像処理装置１００は、「滝」のシーンに対して、低速シャッタで得られる滝の流れを「構図の軸」にして撮影することが可能なモデル構図案を識別する。

例えばシーン情報２０９が選択された場合、画像処理装置１００は、「山」のシーンに対して、モデル構図案Ｃ３「斜線構図／対角線構図」を識別する。これにより、稜線を「斜線構図」で撮影し、撮影画像にリズム感を出すすることが可能になる。なお、この場合、空は広く撮影しすぎないことが好適である。

例えばシーン情報２１０が選択された場合、画像処理装置１００は、「海」のシーンに対して、モデル構図案Ｃ１「水平線構図」とモデル構図案Ｃ７「対比／対称構図」を識別する。これにより、海を「水平線構図」と「対比構図」との組み合わせで撮影することが可能になる。

このような第２実施形態では、第１実施形態で奏することが可能な効果をそのまま奏することができることは勿論のこと、さらに、次のような効果を奏することが可能になる。

すなわち、第２実施形態では、シーン別の撮影プログラムが選択されて撮影する場合などにおいて、シーンに対応するモデル構図案が識別されるので、入力画像（スルー画像）における主要被写体の配置や位置関係だけによらず、シーンを引き立てるような最適なモデル構図案を識別することが可能になる。その結果、何人も、理想的な構図で撮影することが可能になる。

例えば、シーン別の撮影プログラムに対応する見本画像や、モデル構図案として、ユーザが撮影した画像や、有名作家の写真作品などを追加登録できるとする。この場合、画像処理装置１００は、登録画像から注目点領域などを抽出して、抽出結果に基づいて構図要素や配列パターンなどを自動的に抽出することができる。これにより、画像処理装置１００は、抽出された構図要素や配列パターンなどを、新たなモデル構図案や配列パターン情報として追加登録することができる。この場合、シーン別の撮影プログラムによる撮影時に、ユーザは、追加登録されたモデル構図案を選択することで、所望の構図案による撮影をより一段と簡単に行うことができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

また、また、第１実施形態と第２実施形態とを組み合わせても良い。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１１や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１００・・・画像処理装置、１・・・光学レンズ装置、２・・・シャッタ装置、３・・・アクチュエータ、４・・・ＣＭＯＳセンサ、５・・・ＡＦＥ、６・・・ＴＧ、７・・・ＤＲＡＭ、８・・・ＤＳＰ、９・・・ＣＰＵ、１０・・・ＲＡＭ、１１・・・ＲＯＭ１１・・・液晶表示コントローラ、１３・・・液晶ディスプレイ、１４・・・操作部、１５・・・メモリカード、１６・・・測距センサ、１７・・・測光センサ

Claims (11)

1. スルー撮像により順次得られる主要被写体を含むフレーム画像データを出力する撮像部と、
   この撮像部から出力されるフレーム画像データに対して、前記フレーム画像データから抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
   分類識別パターンを含むモデル構図案を複数記憶する記憶部と、
   前記推定部により推定された前記注目点領域と前記記憶部に記憶されている複数の分類識別パターンとを用いて、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する識別部と、
   を備える画像処理装置。
2. 前記撮像部から出力される前回と今回のフレーム画像データとを比較する比較部と、
   この比較部による比較結果に基づき、前記推定部による今回のフレーム画像データに対する注目点領域の推定を実行するか否かを制御する推定制御部と
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像部から出力されるフレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍か否かを判断する判断部と、
   この判断部により前記フレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍であると判断された場合に前記撮像部に対して撮影処理を行わせる撮影制御部とをさらに備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記識別部により識別された前記モデル構図案に対する評価をする評価部をさらに備え、
   前記判断部は、さらに前記評価部の評価結果である評価値が所定値以上であるか否かを判断し、
   前記撮影制御部は、前記判断部により前記フレーム画像データの被写体位置が前記モデル構図案の被写体位置の近傍であると判断され、且つ前記評価値が所定値以上であると判断された場合に前記撮像部に対して撮影処理を行わせることを特徴とする請求項３記載の画像処理装置。
5. 前記識別部は、複数のモデル構図案を識別し、
   前記識別部により識別された前記複数のモデル構図案の中からモデル構図案を決定する決定部とをさらに備えることを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 前記推定部により推定された前記注目点領域の配置パターンを取得する取得部をさらに備え、
   前記記憶部は、前記分類識別パターンとして配置パターンを含むモデル構図案を複数記憶し、
   前記識別部は、前記取得部により取得された配置パターンと前記記憶部に記憶されている配置パターンとを比較照合することにより、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
7. 前記推定部により推定された前記注目点領域の画像データを取得する取得部をさらに備え、
   前記記憶部は、前記分類識別パターンとして画像データを含むモデル構図案を複数記憶し、
   前記識別部は、前記取得部により取得された画像データと前記記憶部に記憶されている画像データとを比較照合することにより、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
8. 前記識別部は、前記注目点領域に加えてさらに、前記フレーム画像データに対応するエッジ画像の線成分を用いて、前記主要被写体の配置状態に関して前記フレーム画像データと類似する構図案を識別する
   ことを特徴とする請求項１乃至７の何れかに記載の画像処理装置。
9. 前記識別部により識別された前記モデル構図案を提示する提示部と
   をさらに備えることを特徴とする請求項１乃至８の何れかに記載の画像処理装置。
10. 前記撮像部から出力されるフレーム画像データをスルー画像として表示する表示部と、
    前記識別部により識別された前記モデル構図案に基づいて、所定構図に導くガイド情報を生成する生成部と、
    この生成部により生成された前記ガイド情報を前記表示部にスルー画像と共に表示させる表示制御部と
    をさらに備えることを特徴とする請求項１乃至９の何れかに記載の画像処理装置。
11. 撮像部からスルー画像として順次出力される主要被写体を含むフレーム画像データに対して、前記フレーム画像データから抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、
    前記推定ステップの処理により推定された前記注目点領域と、分類識別パターンを含むモデル構図案を複数記憶する記憶部に記憶されている複数の分類識別パターンとを用いて、前記記憶部に記憶されている複数のモデル構図案の中から、前記主要被写体の配置状態に関して前記フレーム画像データと類似するモデル構図案を識別する識別ステップと、
    を含む画像処理方法。