JP2005250778A - 画像の天地方向判定 - Google Patents

Abstract

【課題】 画像の天地を自動的に判定することのできる技術を提供する。
【解決手段】 まず、カラー画像の画素値を解析することによって、カラー画像の特徴を表す所定の画像特徴情報を取得する。そして、画像特徴情報を利用した判定ルールを用いてカラー画像の天地方向を判定する。画像特徴情報としては、人物領域情報、空・地上領域情報、直線情報、棒状オブジェクト情報などの複数のものを利用することができる。
【選択図】 図２

Description

この発明は、画像の天地を自動的に判定する技術に関する。

デジタルカメラやカメラ付き携帯電話の普及によって、写真の電子化が急激に進められている。そのため、写真アルバムとしても、コンピュータ上でアルバムを構成する「電子アルバム」を好んで利用するユーザが増加している傾向にある。

電子アルバムに写真画像を配列する場合には、画像の天地を正しく向ける操作が必要になる。しかし、従来の電子アルバムは、画像の天地判定を行なう機能は有しておらず、手動により画像の方向を正しい方向に修正するという煩わしい作業をユーザに強いていた。

特許文献１には、複写機において原稿の向きを検知する方法が開示されている。しかし、この方法は文字の向きから原稿の向きを検知するものであり、電子アルバムの素材となる写真画像（非文字画像）には適用できないものであった。

特開２００３−１４３３７５号公報

なお、上述のような問題は、電子アルバムに限らず、画像管理ソフトウェアなどの他の画像処理ソフトウェアや画像処理装置にも共通する問題であった。

本発明は、上述した従来の課題を解決するためになされたものであり、画像の天地を自動的に判定することのできる技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明による装置は、カラー画像の天地方向を判定する画像処理装置であって、
前記カラー画像の画素値を解析することによって、前記カラー画像の特徴を表す所定の画像特徴情報を取得する特徴情報取得部と、
前記画像特徴情報を利用した判定ルールを用いて前記カラー画像の天地方向を判定する天地方向判定部と、
を有することを特徴とする。

この装置によれば、画像特徴情報を利用した判定ルールを用いてカラー画像の天地方向を判定するので、画像の天地を自動的に判定することが可能である。

前記天地方向判定部は、前記カラー画像の天地方向とともにその確率を決定し、確率の高い天地方向を採用するようにしてもよい。

この構成によれば、より正確に天地方向を判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する人物領域を表す人物領域情報を取得し、
前記天地方向判定部は、前記人物領域の天地の向きに応じて前記カラー画像の天地方向を判定するようにしてもよい。

この構成では、画像が人物を含む場合に、人物領域の向きに応じて天地方向を判定できるので、人物が正しく向くように画像の天地方向を決定することができる。

前記特徴情報取得部は、前記人物領域として、前記カラー画像内に存在する肌色領域を検出するようにしてもよい。

この構成では、肌色領域から人物を検出することができる。

前記特徴情報取得部は、肌色と認識する画素値の範囲を前記カラー画像の平均輝度に応じて変更するようにしてもよい。

一般に、画像内の肌色の画素値は撮影時の周囲の明るさの影響を受ける。従って、上記の構成によれば、画像の平均輝度（明るさ）に応じて肌色領域を検出するパラメータを変更するので、より正確に肌色を検出することができる。

前記天地方向判定部は、前記肌色領域に隣接する胴体領域の有無を前記天地方向判定に利用するようにしてもよい。

この構成では、より正確に天地方向を判定することができる。

前記特徴情報取得部は、前記人物領域として、前記カラー画像内に存在する人物の顔領域を検出するようにしてもよい。

この構成では、顔領域から人物を検出することができる。

前記特徴情報取得部は、前記カラー画像内に存在する肌色領域を抽出し、抽出された肌色領域の縦横比から前記顔領域となる肌色領域を選択するようにしてもよい。

この構成では、より正確に顔領域を検出することができる。

前記特徴情報取得部は、前記肌色領域の縦横比から前記顔領域の候補を選択し、前記顔領域候補の中で、顔の器官が含まれている領域を前記顔領域として選択するようにしてもよい。

この構成では、さらに正確に顔領域を検出することができる。

前記特徴情報取得部は、肌色領域であって、かつ、顔の器官が含まれている領域を前記顔領域として選択するようにしておもよい。

この構成によっても、顔領域を正確に検出することができる。

前記天地方向判定部は、前記顔領域の中における前記顔の器官の位置関係を前記天地方向判定に利用するようにしてもよい。

この構成では、より正確に天地方向を判定することができる。

前記天地方向判定部は、前記顔領域に隣接する頭髪領域の有無を前記天地方向判定に利用するようにしてもよい。

この構成によっても、正確に天地方向を判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する天空領域を表す天空領域情報を取得するようにしてもよい。

この構成では、画像が天空を含む場合に、天空領域情報に基づいて天地方向を判定できるので、天空が正しく上を向くように画像の天地方向を決定することができる。

前記特徴情報取得部は、
（ｉ）前記カラー画像の昼夜の判定を行い、
（ｉｉ）前記カラー画像が昼に撮影された画像であると判定された場合には、前記カラー画像の平均輝度よりも明るい画素で構成された領域であって、かつ、前記カラー画像の端部に存在し、かつ、青、白、グレイのいずれかに属する色である領域を前記天空領域として検出するようにしてもよい。

この構成では、昼の画像の場合に天空領域を正しく検出することができる。

前記特徴情報取得部は、
（ｉ）前記カラー画像を複数の区分領域に分割し、
（ｉｉ）各区分領域に対して周波数分析を行うことによって各区分領域の周波数特性を取得し、
（ｉｉｉ）低周波成分を主とする周波数特性を有する区分領域を前記天空領域として検出するようにしてもよい。

一般に、天空領域には物体がほとんど存在しないので、高周波成分が少なく低周波成分が主となる。従って、上記の構成によれば、天空領域を正しく検出することが可能である。

前記天地方向判定部は、前記天空領域が最も広く存在している箇所に近い画像端部を上方として判定するようにしてもよい。

この構成では、天地方向を正確に判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する地上領域を表す地上領域情報を取得するようにしてもよい。

この構成では、画像が地上領域を含む場合に、地上領域情報に基づいて天地方向を判定できるので、地上領域が正しく下に存在するように画像の天地方向を決定することができる。

前記特徴情報取得部は、
（ｉ）前記カラー画像の昼夜の判定を行い、
（ｉｉ）前記カラー画像が夜に撮影された画像であると判定された場合には、前記カラー画像の平均輝度よりも明るい領域、または、所定の輝度以上の高輝度を有する高輝度部分が点在する暗い領域を前記地上領域として検出するようにしてもよい。

夜の画像では、地上領域に明かりが存在するので、明るい領域が地上領域となる可能性が高い。また、街灯やビルの明かりは、画像内に点在する高輝度部分となる。従って、上記の構成では、夜の画像における地上領域を正確に検出することができる。

前記特徴情報取得部は、
（ｉ）前記カラー画像を複数の区分領域に分割し、
（ｉｉ）各区分領域に対して周波数分析を行うことによって各区分領域の周波数特性を取得し、
（ｉｉｉ）高周波成分を主とする周波数特性を有する区分領域を地上領域として検出するようにしてもよい。

一般に、地上領域には多数の物体が存在するので、高周波成分が主となる。従って、上記の構成によって、地上領域を正しく検出することが可能である。

前記特徴情報取得部は、
（ｉ）前記カラー画像の昼夜の判定を行い、
（ｉｉ）前記カラー画像が夜に撮影された画像であると判定された場合には、
前記カラー画像を縦方向に二分割した第１の画像と、横方向に二分割した第２の画像とに関して、分割した２つの領域の輝度コントラストを前記画像特徴情報としてそれぞれ算出し、
前記天地方向判定部は、前記輝度コントラストがより大きな分割方向において、輝度がより高い領域を下方として判定するようにしてもよい。

一般に、夜の画像では、地上の方が天空よりも明るい傾向がある。従って、上記の構成によって天地方向を正しく判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像の全体にわたる直線を表す直線情報を取得し、前記天地方向判定部は、前記画像の上下方向と左右方向とのうちで前記直線となす角度がより大きな方向を天地方向と判定するようにしてもよい。

この構成では、水平線や地平線などのように画像の全体を横切る直線を用いて天地方向を判定することができる。

前記天地方向判定部は、
（ｉ）前記直線を水平線または地平線とみなすとともに、
（ｉｉ）前記カラー画像の長手方向と前記直線の方向とが平行から所定の角度範囲にあると判断した場合に、現在の天地関係が正しいと判定するようにしてもよい。

この構成では、画像が水平線や地平線を含む場合に天地方向を正しく判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、さらに、前記カラー画像内に存在する天空領域を表す天空領域情報を取得し、
前記天地方向判定部は、
（ｉ）前記直線を水平線または地平線とみなすとともに、
（ｉｉ）前記水平線または地平線に対して前記天空領域が存在する方向を上方として判定するようにしてもよい。

この構成によっても、画像が水平線や地平線を含む場合に天地方向を正しく判定することができる。

前記天地方向判定部は、
（ｉ）前記直線を水平線または地平線とみなすとともに、
（ｉｉ）前記直線の近傍に所定の輝度以上の高輝度領域が一つのみ存在する場合に、前記直線に対して前記高輝度領域が存在する方向を上方として判定するようにしてもよい。

この構成では、例えば夕方の画像であって水平線や地平線の近傍に太陽が存在するような場合に、その天地方向を正しく判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する３本以上の収束する直線で構成される消失線を表す消失線情報を取得するようにしてもよい。

この構成では、画像が消失線を含む場合に天地方向を正しく判定することができる。

前記天地方向判定部は、前記消失線の両側の輝度コントラストを比較し、輝度が明るい側を上方として判定するようにしてもよい。

消失線の上側には天空が存在することが多いので、上記の構成によって天地方向を正しく判定することができる。

前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する棒状のオブジェクトを表す棒状オブジェクト情報を取得するようにしてもよい。

この構成では、画像がビルディングのような棒状オブジェクトを含む場合に天地方向を正しく判定することができる。

前記特徴情報取得部は、
（ｉ）前記カラー画像を色情報に基づいて複数の色領域に分離し、
（ｉｉ）前記複数の色領域のうちで縦横比が所定の値以上である色領域を前記棒状オブジェクトとして検出するようにしてもよい。

この構成では、棒状オブジェクトを容易に検出することができる。

あるいは、前記特徴情報取得部は、
（ｉ）前記カラー画像を空間微分することによりエッジ画像を生成し、
（ｉｉ）前記エッジ画像に含まれる閉領域を検出するとともに、
（ｉｉｉ）縦横比が所定の値以上である閉領域を前記棒状オブジェクトとして検出するようにしてもよい。

これらの構成によっても、棒状オブジェクトを容易に検出することができる。

前記特徴情報取得部は、前記画像特徴情報として、さらに、前記カラー画像内に存在する天空領域を表す天空領域情報を取得し、
前記天地方向判定部は、前記棒状オブジェクトの長手方向の片端が前記天空領域に重なっている場合に、前記棒状オブジェクトの長手方向に沿った方向であって前記重なりの存在する方向を上方として判定するようにしてもよい。

ビルディングなどの棒状オブジェクトが鉛直方向に立っている場合には、その上方が天空領域に係っているのが普通である。従って、上記の構成によって天地方向を正しく判定することができる。

前記画像特徴情報取得部は、複数種類の画像特徴情報を取得し、
前記天地方向判定部は、前記複数種類の画像特徴情報を用いて前記カラー画像の天地方向を判定するようにしてもよい。

この構成では、複数の画像特徴情報を用いて天地方向を判定するので、より正確に判定を行うことができる。

前記天地方向判定部は、
（ｉ）各種類の画像特徴情報を用いて前記カラー画像の天地方向とその確率とをそれぞれ決定するとともに、
（ｉｉ）各種類の画像特徴情報を用いて得られた天地方向とその確率とを総合して前記カラー画像の天地方向を決定するようにしてもよい。

この構成では、さらに正確に天地判定を行うことができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像の天地方向決定方法および装置、電子アルバムの作成方法および装置、電子アルバムのための画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の態様で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例の装置構成および処理の概要：
Ｂ．天地方向判定処理の詳細：
Ｃ．変形例：

Ａ．実施例の装置構成および処理の概要：
図１は、本発明の一実施例としての画像処理システムを示す説明図である。この画像処理システムは、デジタルカメラ１００とコンピュータ２００とカラープリンタ３００とを備えている。コンピュータ２００は、電子アルバムの作成処理を実行する画像処理部２１０を備えている。この画像処理部２１０は、デジタルカメラ１００に設けられていてもよく、また、カラープリンタ３００に設けられていてもよい。

画像処理部２１０は、ユーザインタフェース部２１２と、画像群選択部２１４と、画像特徴情報取得部２１６と、天地方向判定部２１８と、ページ割当部２２０と、アルバム生成部２２２と、画像データ出力部２２４と、を有している。電子アルバムの素材として用いられる複数の画像は、画像格納部２３０に格納されている。これらの画像は通常は写真画像であるが、スキャナで取得した画像やコンピュータグラフィックスをアルバムの素材として用いても良い。後述するように、ユーザインタフェース部２１２（図１）は、ユーザが天地判定ルールを選択する際に使用するルール選択部としての機能を有している。画像処理部２１０の各構成要素の機能は、コンピュータプログラムによって実現される。

図２は、実施例における処理手順を示すフローチャートである。ステップＳ１００では、ユーザが電子アルバムの作成に関する種々の条件を指定する。この指定は、ユーザインタフェース部２１２によって表示デバイス上に表示されたユーザインタフェース画面を用いて行われる。

図３は、アルバム作成条件指定のためのユーザインタフェース画面の例を示す説明図である。このユーザインタフェース画面には、アルバム名を入力するためのフィールドＦ１と、天地判定ルールを選択するための複数のボタンＢＴと、アルバムに入れる画像を選択するための画像選択領域ＩＳＡと、を有している。

天地判定ルールは、画像の天地判定を行う際に使用するルールである。各ルールは、それぞれ異なる画像的な特徴に基づいて天地判定を行う。図３の例では、「人物」と、「空・地上」と、「直線」と、「棒状オブジェクト」と、の４つの特徴を用いるルールが選択可能に表示されている。「人物」に基づくルールは、画像を解析して人物である領域を画像的特徴として抽出し、この人物領域に基づいて天地を判定するルールである。「空・地上」に基づくルールは、画像を解析して天空または地上である領域を画像的特徴として抽出し、この空・地上領域に基づいて天地を判定するルールである。「直線」に基づくルールは、画像を解析して画像内に含まれている１つまたは複数の直線を画像的特徴として抽出し、この直線に基づいて天地を判定するルールである。「棒状オブジェクト」に基づくルールは、画像を解析してビルディングなどの棒状オブジェクト領域を画像的特徴として抽出し、この棒状オブジェクト領域に基づいて天地を判定するルールである。なお、天地判定ルールとしては、任意の複数のルールを選択対象とすることが可能である。

この例から理解できるように、複数の天地判定ルールは、互いに異なる画像的な特徴を使用して画像の天地を判定するものである。なお、画像的な特徴としては、画像の画素値を解析した得られるものと、被写体位置のように各画像の撮影時に作成された付属情報から取得されるものを使用することができる。但し、複数の天地判定ルールは、少なくとも画像の画素値を解析して得られる画像的特徴を利用するものを含むことが好ましい。

図３のボタンＢＴの中の「全て」の選択肢は、各特徴に基づく個別の天地判定を総合して最終的な天地判定を行うルールである。複数種類の画像特徴（例えば「人物」と「空・地上」）が選択されたときにも、それぞれの特徴によるに基づく個別の天地判定を総合して最終的な天地判定が行われる。

図３の画像選択領域ＩＳＡに示されている８つの画像Ｇ１〜Ｇ８の中で、１番目の画像Ｇ１と６番目の画像Ｇ６は、画像の左側が天方向である。従って、これらの画像Ｇ１，Ｇ６は、後述する天地判定において、画像の左端が天方向であると判定される。

アルバム作成条件が指定されると、ステップＳ２００，Ｓ３００，Ｓ４００，Ｓ５００において、選択された天地判定ルールに従って各画像の天地方向とその確率が決定される。この際、画像群選択部２１４（図１）が、画像選択領域ＩＳＡで選択された複数の画像を画像格納部２３０から取得する。そして、画像特徴情報取得部２１６が各画像の画像特徴情報を取得し、天地方向判定部２１８が画像特徴情報を用いて画像の天地方向と確率を決定する。なお、ステップＳ２００，Ｓ３００，Ｓ４００，Ｓ５００の詳細については後述する。

ステップＳ６００では、天地方向判定部２１８が複数のルールに基づく天地判定の結果を総合して、最終的な天地判定を実行する。この処理についても後述する。なお、ステップＳ１００で１つの天地判定ルールのみが選択されているときには、そのルールで決定された結果がそのまま採用される。

ステップＳ７００では、ページ割当部２２０が、アルバムの各ページに画像を割り当てる。この際、各画像の向きがステップＳ６００で決定された正しい天地方向を向くように必要に応じて画像の回転が行われる。

こうして画像の各ページへの割当が終了すると、ステップＳ８００において、アルバム生成部２２２が、アルバム画像を表すアルバム画像データを生成する。図４は、生成されたアルバム画像の一例を示している。この例では、１番目の画像Ｇ１と６番目の画像Ｇ６は、正しい天地方向を向くように画像が回転されて配置されている。

このように、本実施例では、画像を解析することによって画像的な特徴を抽出し、この特徴に基づいて画像の天地を判定するので、ユーザの操作を有することなく画像を正しい向きに配置することができる。特に、複数の特徴に基づく天地判定を用いて総合的に天地判定を行うので、天地判定を精度良く行うことが可能である。

Ｂ．天地方向判定処理の詳細：
以下では、次の順に天地方向判定処理を説明する。
Ｂ１．人物領域に基づく天地方向判定手順：
Ｂ２．空・地上領域に基づく天地方向判定手順：
Ｂ３．直線に基づく天地方向判定手順：
Ｂ４．棒状オブジェクトに基づく天地方向判定手順：
Ｂ５．総合天地判定手順：

Ｂ１．人物領域に基づく天地方向判定手順：
図５Ａは、人物領域に基づく天地判定手順を示すフローチャートである。ステップＳ２０２では、画像特徴情報取得部２１６が、処理対象とするカラー画像（以下、「処理対象画像」と呼ぶ）から人物領域を抽出する。図５ＢはステップＳ２０２の詳細手順を示している。

ステップＳ２６２では、カラー画像から肌色領域を抽出する。この際、まず、画像データをＨＳＶ（色相／彩度／輝度）色空間に変換し、カラー画像の平均輝度Ｖaveを算出する。そして、平均輝度Ｖaveの所定の範囲毎に、肌色画素値の適切な範囲を設定して肌色画素の抽出を行なっている。肌色画素値の範囲の具体例は以下の通りである（Ｈ成分の範囲が０〜３５９、Ｓ，Ｖ各成分の範囲が０〜２５５の場合）。

（Ａ１）１２０≦Ｖaveの場合の肌色画素値の範囲：
Ｈ成分：１０＜Ｈ＜４０
Ｓ成分：Ｓ＞６０
Ｖ成分：Ｖ＞１５０
但し、Ｖ成分が２１０以上の画素に関しては、Ｓ成分の値に無関係に、Ｈ成分が１０＜Ｈ＜４５の画素を肌色画素とする。この理由は、輝度が極めて高い画素、すなわちハイライトと考えられる画素に対しては、Ｓ（彩度）成分を無視してＨ（色相）成分のみで判断を行なう方が適切だからである。

（Ａ２）９０≦Ｖave＜１２０の場合の肌色画素値の範囲：
Ｈ成分：０＜Ｈ＜４０
Ｓ成分：Ｓ＞６０
Ｖ成分：Ｖ＞１００
但し、Ｖ成分が２１０以上の画素に関しては、Ｓ成分の値に無関係に、Ｈ成分が１０＜Ｈ＜４５の画素を肌色画素とする。

（Ａ３）Ｖave＜９０の場合の肌色画素値の範囲：
Ｈ成分：０＜Ｈ＜３０ 又は ３５０＜Ｈ＜３６０
Ｓ成分：３０＜Ｓ＜２００
Ｖ成分：Ｖ＞８０
但し、Ｖ成分が２１０以上の画素に関しては、Ｓ成分の値に無関係に、１０＜Ｈ＜３５の画素を肌色画素とする。

このように、画像の平均輝度Ｖave（または平均明度）を複数の範囲に区分し、各範囲に対して肌色画素値の範囲を設定するようにすれば、画像全体が明るいか暗いかに応じて、適切な肌色画素の範囲を設定することができる。この結果、肌色画素の検出をより正確に行うことが可能である。

こうして検出された肌色画素の集合が肌色領域として抽出される。この際、ある程度の数（例えば１０画素、または、画像全体の画素数の１％以上）以上の肌色画素が接した状態で集合している画像領域のみを肌色領域として抽出してもよい。また、肌色領域の中に、顔の器官（眉、目、鼻、口、耳）などが含まれている場合には、これらの器官を包含する領域を１つの肌色領域として抽出してもよい。なお、顔の器官を「顔の要素」とも呼ぶ。

図６（Ａ）は、１番目の画像Ｇ１から抽出された肌色領域ＦＡの例を示している。この例では、顔の器官を含む領域が１つの肌色領域ＦＡとして抽出されている。

なお、肌色画素の判断方法としては、これ以外の任意の方法を採用することができる。例えば、Ｓ成分やＶ成分の値に無関係に、Ｈ成分が予め定められた範囲内の値を有する場合に肌色画素として検出することが可能である。また、色空間としては、ＣＩＥＬａｂ色空間やＹＩＱ色空間などの色空間を用いることも可能である。

図５ＢのステップＳ２６４では、抽出した各肌色領域の縦横比Ｒを算出する。縦横比Ｒは、図６（Ｂ）に示すように、肌色領域を包含する矩形の長辺の長さＷlongと短辺の長さＷshortの比である。ステップＳ２６６では、この縦横比Ｒが所定の範囲（本実施例では１．５以上で３未満）の場合に、この肌色領域を人物の顔領域とみなして、その領域に顔領域（または「人物領域」）であることを示すフラグを付ける。ステップＳ２６４，Ｓ２６６の処理は、処理対象画像中のすべての肌色領域について実行される（ステップＳ２６８）。

なお、本実施例では、顔領域を人物領域として抽出するものとしたが、これ以外の方法で人物領域を抽出するものとしてもよい。例えば、人物を構成する複数の要素（頭部、胴体、手足）のいくつかを含む広い領域を人物領域として抽出することも可能である。

こうして人物領域の抽出が終了すると、図５ＡのステップＳ２０４において、天地方向判定部２１８が、処理対象画像内に人物領域が存在するか否かを判定する。人物領域が存在しない場合には、ステップＳ２０６において処理対象画像の天地方向が不明と判定され、ステップＳ６００に移行して総合的な天地方向判定処理を待つことになる。この場合に、ステップＳ２０６における「天地方向が不明」という判定結果は、人物領域に基づく天地方向判定ができないことを意味しており、他の特徴を用いた天地判定はできる可能性がある。

一方、処理対象画像内に人物領域が存在する場合には、人物領域の天地の向きに応じて画像の天地方向が判定される。具体的には、ステップＳ２０８において、画像特徴情報取得部２１６が、人物領域内の顔の器官を検出する。顔器官抽出処理は、例えば、ニューラルネットワークによる処理や、画像内の色変化や輝度変化を利用した処理、画像内の形状を利用した処理などの種々の処理を利用することができる。本実施例では、顔の器官として目と口を検出するものと仮定する。

天地方向判定部２１８は、ステップＳ２１０〜Ｓ２４２において、顔の器官として目と口のいずれが検出されたかに応じて以下のような処理を実行する。

目と口の両方とも検出できた場合（ステップＳ２１０）には、顔領域に対する目、口の位置関係から画像の天地方向を判定する（ステップＳ２１２）。例えば、図６（Ａ）の例のように、両目と口とが検出された場合井は、両目の中間位置と口とを結ぶ直線によって天地方向が決定される。すなわち、口から両目の中間位置に向かう方向が天方向である。また、片目と口とが検出された場合には、その目と口とを結ぶ直線によって天地方向が決定される。ステップＳ２１４では、目と口の検出結果から判定確率が決定される。例えば、両目と口を全て検出できた場合は、判定確率を１００％と決定し、片目と口が検出できた場合は判定確立を７５％に設定する。

口が検出できずに目だけ検出できた場合（ステップＳ２２０）には、顔領域に対する目の位置から画像の天地方向を判定する（ステップＳ２２２）。例えば、顔領域のうちで目に近い端部から反対側の端部に向かうに方向を地方向（下方向）として決定する。この場合には、目のみが検出できているので、ステップＳ２２４において、判定確率を５０％に設定する。この判定確率は、目と口の両方が検出された場合（ステップＳ２１４）よりも小さな値に設定される。

目が検出できずに口だけ検出できた場合（ステップＳ２３０）には、顔領域に対する口の位置から画像の天地方向（上方向）を判定する（ステップＳ２３２）。例えば、顔領域のうちで口に近い端部から反対側の端部に向かう方向を天方向（上方向）として決定する。口は目に比べてより顔の端に近い位置に存在するので、目のみ検出できた場合よりも判定確率を少し高めの判定確率（例えば６０％）に設定する。

目と口の両方とも検出できなかった場合（ステップＳ２４０）には、天地方向が不明としてステップＳ２５０に移行する。なお、天地方向が不明の場合には、画像の４つの辺の判定確率がすべて０％に設定される。また、ステップＳ２１２，Ｓ２２２，Ｓ２３２において天地方向（天方向または地方向）であると判定されなかった辺については、判定確率が０％に設定される。このような判定確率の設定は、他の特徴を用いた処理でも同じである。

なお、ステップＳ２４０において天地方向を不明とする代わりに、顔領域の長手方向に沿った直線と交差する２つの辺のうちで、顔領域がより近い辺を天方向と判定してもよい。この場合の判定確率は、目や口を検出できた場合よりも低い値（例えば３０％）に設定される。

ステップＳ２５０では、処理対象画像内のすべての人物領域に関する処理が終了したか否かが判断され、終了すると図２のステップＳ６００（最終天地判定）に移行する。

なお、複数の人物領域において異なる判定結果が得られた場合には、各人物領域の判定結果を総合して、人物領域に基づく判定結果を求めることができる。例えば、複数の判定結果の中で最も判定確率の高いものを採用することができる。また、同じ天地方向を有するものと判定された人物領域が複数個存在する場合には、その方向の判定確率を高めるように判定確率を修正してもよい。例えば、同じ第１の天地方向を有し、かつ、判定確率が７５％である人物領域が２つ存在した場合には、その判定確率を９０％に修正してもよい。この時、仮に他の人物領域に基づいて判定された第２の天地方向の７５％の確率であれば、第１の天地方向およびその判定確率９０％が最終的な判定結果として採用される。

図６（Ｃ）は、上述した処理によって検出された天地方向に応じて回転した画像を示している。通常は、このように、画像の矩形の４辺のうちの１辺に平行な方向が天地方向となる。

ところで、図６（Ｄ）の例ように、人物領域から判定された天方向Ｆupと、画像の１辺に並行な方向Ｇupとの間の角度θがかなり大きな値を示す場合がある。この場合には、例えば、４辺の方向Ｇup，Ｇdown，Ｇright，Ｇleftのうちで、顔領域の天方向Ｆupと最も近いものを画像の天方向として選択することが可能である。但し、画像の下方向Ｇdownは、天方向の候補から除外するようにしてもよい。この理由は、カメラを上下反転して撮影することが極めてまれだからである。

このように、人物領域に基づく天地方向判定処理では、処理対象画像を解析して人物領域を抽出し、その人物領域の天地の向きから画像の天地方向を判定するので、自動的に天地方向を判定することができる。また、特に、人物領域内における顔の器官の位置から天地方向を判定するようにすれば、より正確に天地方向を判定することができる。

なお、上述の説明では、顔領域内における顔の器官の位置に応じて天地方向を判定していたが、この代わりに、顔領域とその顔領域に隣接する頭髪部分（頭髪領域）との位置関係から天地方向を判定することも可能である。また、肌色領域（顔領域）とその肌色領域に隣接する胴体部分（胴体領域）との位置関係から天地方向を判定することも可能である。頭髪部分や胴体部分の判定は、例えばこれらの部分の典型的な形状を用いた形状テンプレートマッチングを用いて行うことが可能である。

Ｂ２．空・地上領域に基づく天地方向判定手順：
図７は、空・地上領域に基づく天地判定手順を示すフローチャートである。ステップＳ３０２では、画像特徴情報取得部２１６が、処理対象画像の平均輝度を求め、この平均輝度に応じて昼夜の判定を行なう。具体的には、画像の平均輝度が所定の閾値（例えば１１０）以上の場合には、昼に撮影された画像と判定し、閾値未満の場合には夜に撮影された画像と判定する。なお、昼夜判定は、撮影時に画像データに付されている撮影時間情報から行なっても良い。

図８（Ａ）は、図３の２番目の画像Ｇ２を示している。この画像Ｇ２は昼に撮影された画像であり、明るい空領域を含んでいる。

昼の画像と判定された場合には、ステップＳ３０６以下の処理が実行される。まず、ステップＳ３０６では、画像特徴情報取得部２１６が、画像全体の平均輝度よりも明るい画素にフラグ付けを行なう。そして、ステップＳ３０８では、フラグ付けされた画素であって、かつ、連続している画素同士を連結する。以下では、こうして画素同士が連結された領域を「連結領域」と呼ぶ。ステップＳ３１０では、連結領域の色を調べ、その連結領域が青、白、グレイのいずれかに属する所定の色を有する場合に、空領域候補（「天空領域候補」とも呼ぶ）として再度フラグ付けを行なう。青、白、グレイに属する画素値の範囲は、例えば以下のように設定することができる。

青：２００＜Ｈ＜２４０、Ｓは全範囲、Ｖ＞（平均輝度Ｖaveの１．５倍）
白：Ｈは全範囲、Ｓ＜１０、Ｖ＞（平均輝度Ｖaveの１．５倍）
グレイ：Ｈは全範囲、Ｓ＜３０、Ｖ＞（平均輝度aveの１．５倍）

ある領域を空領域候補としてフラグ付けするかどうかの判断基準としては、例えば、（ｉ）連結領域中の７０％以上の画素が青、白、グレイのいずれかに属する色に分類される場合、あるいは、（ｉｉ）連結領域の平均色が青、白、グレイのいずれかに属する色に分類される場合、などのいくつかの基準を採用することができる。図８（Ｂ）は、画像Ｇ２に関して抽出された空領域ＳＡ（空領域候補）を示している。

こうして空領域候補が検出されると、天地方向判定部２１８は、ステップＳ３１２において、画像の４辺のうちで、空領域候補が一番広く存在する端部（辺）を画像の上方（天方向）と判定する。この際、空領域候補が複数の辺に接している場合には、各辺上における空領域候補の長さを計算し、各辺の長さに対する空領域候補の長さの比が最も大きい辺が画像の上方と判定される。図８（Ｂ）の例では、画像Ｇ２の上辺が、画像の上方（天方向）と判定される。

ステップＳ３１４では、空領域候補が一つの辺のみにかかっている場合に、その判定確率が１００％に設定される。また、各辺上における空領域候補の長さで上方を判定した場合には、判定確率が７５％に設定される。

このように、昼の画像に関しては、空領域が画像の４辺のうちのいずれに最も多く長く接しているかに応じて画像の天地方向を判定すれば、かなり正確に天地方向を判定することが可能である。

一方、ステップＳ３０４において、昼の画像と判定されなかった場合には、ステップＳ３２０において、夜の画像であるか否かの判定が行われる。具体的には、例えば、画像全体の平均輝度Ｖaveが９０未満の場合には夜と判定することができる。あるいは、画像を９等分し、そのうちの中央のブロックの平均輝度Ｖaveが９０未満の場合に夜として判定を行なうことも可能である。昼の画像とも夜の画像とも判定されなかった場合には、ステップＳ３３０において天地方向不明と判定され、ステップＳ６００（総合天地判定処理）に移行する。

図９（Ａ）は、図３の３番目の画像Ｇ３を示している。この画像Ｇ３は、全体的に暗く輝度が低いので、夜に撮影された画像であると判断される。なお、画像Ｇ３内の白い点は、街灯や、建物の窓、自動車のヘッドライトなどの明るい物体である。

ステップＳ３２０で夜の画像と判定された場合には、画像特徴情報取得部２１６は、ステップＳ３２２において処理対象画像を４つのブロックに等分し、各ブロックの平均輝度を求める。図９（Ｂ）は、画像Ｇ３が４つのブロックＢ１〜Ｂ４に区分された状態を示している。ステップＳ３２４では、図９（Ｃ）に示すように、画像の上方にある２つのブロックＢ１，Ｂ２で構成される上方領域Ａupperと、下方にある２つのブロックＢ３，Ｂ４で構成される下方領域Ａlowerの間の輝度コントラストＣＴ１が算出される。輝度コントラストＣＴ１は、上方領域Ａupperの平均輝度Ｖave（Ａupper）と、下方領域Ａlowerの平均輝度Ｖave（Ａlower）の比である。同様に、図９（Ｄ）に示すように、現在の画像方向の左方にある２つのブロックＢ１，Ｂ３で構成される左方領域Ａleftと、右方にある２つのブロックＢ２，Ｂ４で構成される右方領域Ａrightの間の輝度コントラストＣＴ２＝Ｖave（Ａleft）／Ｖave（Ａright）が算出される。

天地方向判定部２１８は、ステップＳ３２２において、これらの輝度コントラストＣＴ１，ＣＴ２を比較し、より大きなコントラストを与える分割方向を画像の天地方向と判定する。さらに、その天地方向のうちで、より輝度の高い方を下方（地方向）と判定する。図９（Ｃ），９（Ｄ）の例では、図９（Ｃ）の上下分割のコントラストＣＴ１の方が大きいので、現在の画像の上下方向が天地方向であると判定される。また、画像の上下方向のうちで、下方がより輝度が高いので、現在の下方が地方向であると判定される。なお、本明細書において、「分割方向」とは、分割線に垂直な方向を意味する。

ステップＳ３２８では、輝度コントラストの値が十分大きい場合（例えば２以上の場合）に、判定確率が１００％に設定され、それ以外の場合には判定確率が７５％に設定される。

このように、空・地上領域に基づく天地方向判定処理では、昼の画像の場合には空領域を抽出し、その空領域の画像内の位置に応じて天地方向を判定するので、自動的に天地方向を判定することができる。また、夜の画像の場合には、画像内の上下方向の輝度コントラストと左右方向の輝度コントラストとを用いて天地方向を判定するので、夜の画像に関しても、正しく天地方向を判定することができる。但し、昼の画像か夜の画像かを判定せずに、画像内の空領域を抽出し、空領域の画像内の位置から天地方向を判定するようにしてもよい。

また、空領域（空領域候補）が抽出された場合には、それ以外の領域を地上領域として認識するようにしてもよい。あるいは、空領域が認識できない場合にも、特定の色や形状を有する領域（例えば茶色や緑色の広大な領域）を地上領域として抽出するようにしてもよい。この場合には、地上領域の画像内の位置に応じて天地方向を判定することが可能である。

図１０は、図７のステップＳ３２０以降の処理の変形例を示している。この処理手順では、図７のステップＳ３２２〜Ｓ３２８がステップＳ３４０〜Ｓ３４４で置き換えられており、他の手順は図７と同じである。

ステップＳ３４０では、画像特徴情報取得部２１６が、処理対象画像を４つのブロックに等分し、各ブロックにおいて、それぞれの平均輝度よりも高い輝度を有する画素数Ｈ１〜Ｈ４（「高輝度画素数」と呼ぶ）をカウントする。図１１（Ａ），（Ｂ）は、画像Ｇ３と、４つのブロックＢ１〜Ｂ４に関する高輝度画素数Ｈ１〜Ｈ４が検出された状態を示している。なお、ブロック分割の数は、４以外の任意の値に設定することが可能である。但し、画像の上下方向の分割数と左右方向の分割数を同じ値にすることが好ましい。

ステップＳ３４２では、天地方向判定部２１８が、各ブロックの高輝度画素数Ｈ１〜Ｈ４を比較して、高輝度画素数の値が最も大きなブロックがある方向を下方（地方向）と判定する。図１１（Ｂ）の場合には、４番目のブロックＢ４に接する画像の下辺または右辺を画像の下方（地方向）と判定する。この理由は、夜の画像で明かりのあるところは、地上に近い可能性が高いからである。なお、この判定の際には、画像の下辺または右辺のうちで、２番目の高輝度画素数を有するブロックＢ３にも接する辺を下方と判定することが好ましい。図１１（Ｃ）は、９つのブロックＢ１〜Ｂ９に分割した場合を示している。この場合には、８番目のブロックＢ８の高輝度画素数Ｈ８が最も大きいので、このブロックＢ８に接する画像の下辺が画像の下方向と判定される。

ステップＳ３４４では、高輝度画素数の最大値Ｈmaxと最小値Ｈminとの差を求め、この差が大きい場合には判定確率を１００％に設定し、小さい場合には判定確率を７５％に設定してステップＳ６００（総合天地判定処理）に移行する。なお、（Ｈmax−Ｈmin）が大きい場合に判定確率をより高い値に設定する理由は、この場合に地上と空の区別がより明瞭になっていると考えられるからである。

図１２は、図７のステップＳ３２０以降の処理の他の変形例を示している。この処理手順では、図７のステップＳ３２２〜Ｓ３２８がステップＳ３５０〜Ｓ３５４で置き換えられており、他の手順は図７と同じである。

ステップＳ３５０では、画像特徴情報取得部２１６が、処理対象画像を１６個のブロックに等分し、各ブロックにおいて周波数分析を行い、高周波数成分が大きなブロックに対してフラグ付けを行う。

図１３は、画像Ｇ３の１６個のブロックに関して周波数分析が行われた結果を示している。ここでは、画像の上側にある８つのブロックでは低周波成分が主成分となっており、下側にある８つのブロックでは高周波成分が主成分となっている。ここで、高周波成分と低周波成分のいずれが主成分となっているかの判定は、例えば、全周波数領域を所定の境界周波数で２つに分割し、高周波領域での成分の和（または最大値）と、低周波領域の成分の和（または最大値）とを比較することによって実行することができる。なお、この変形例でもブロック分割の数は、１６以外の任意の値に設定することが可能である。

ステップＳ３５２では、天地方向判定部２１８が、高周波ブロックが多く存在する領域を地上領域と見なして、その領域に近い画像の端部（辺）を画像の下方（地方向）と判定する。具体的には、例えば、互いに隣接する１つ以上高周波ブロックで構成される地上領域を検出し、その地上領域に最も近接している画像の辺を、画像の下方と判定することが可能である。

ステップＳ３５４は、高周波ブロックがステップＳ３５２で画像の下方と判定された端部（辺）に接している場合には、判定確率を８０％と設定し、そうでない場合には判定確率を６０％と設定する。高周波ブロックが画像の下方と判定された端部に接している場合により高い判定確率を設定する理由は、地上領域をより正しく検出できている可能性が高いからである。

上述した図７および図１０，図１２の変形例から理解できるように、夜の画像に関しては、分割ブロックの輝度または周波数分析結果を利用することによって、画像の天地方向を判定することが可能である。但し、夜の画像に関しては、上述の方法以外の種々の方法で地上領域を検出することも可能である。例えば、処理対象画像の平均輝度よりも明るい領域を地上領域として検出してもよく、あるいは、所定の輝度以上の高輝度を有する高輝度部分が点在する暗い領域を地上領域として検出してもよい。

なお、図１２の周波数分析を用いた天地判定は、夜の画像に限らず昼の画像にも適用可能である。昼の画像では、空領域では低周波成分が主成分となるので、低周波成分が主である領域やブロックを、空領域（空領域候補）として選択することができる。従って、昼の画像か夜の画像かに拘わらず、低周波成分を主とする領域を空領域と判定し、高周波成分を主とする領域を地上領域と判定することができる。

Ｂ３．直線に基づく天地方向判定手順：
図１４Ａおよび図１４Ｂは、直線に基づく天地判定手順を示すフローチャートである。ステップＳ４０２では、画像特徴情報取得部２１６が、処理対象画像内の直線の検出を行なう。なお、画像内の直線は、例えば、処理対象画像を空間微分して各画素のエッジ量を求め、各画素のエッジ量で構成される画像（エッジ画像）を生成し、このエッジ画像に対してハフ変換を行うことによって求めることができる。なお、画像の空間微分は、例えばラプラシアンフィルタなどの微分フィルタを用いて行うことが可能である。

ステップＳ４０４では、天地方向判定部２１８が、直線が検出されたか否かを判断する。ここで、直線とは、所定の長さ（例えば１００画素）以上の線分を意味している。直線が検出されなかった場合には、ステップＳ４４０において天地方向不明と判定し、ステップＳ６００（総合天地判定処理）に移行する。一方、直線が検出された場合には、ステップＳ４０６において、その直線が画像の縦方向、あるいは横方向全体にわたる直線であるかどうかの判定を行なう。縦方向または横方向全体にわたる直線が存在しない場合には、図１４Ｂに示す収束直線判定処理（後述）に移行する。

一方、画像全体にわたる直線が存在する場合には、天地方向判定部２１８が、図１４ＡのステップＳ４１０以降の処理を実行する。図１５は、画像全体にわたる直線（「貫通直線」とも呼ぶ）を含む画像の例を示している。この画像Ｇ４は水平線を含んでおり、この水平線が貫通直線ＴＳＧとして判定される。なお、図３に示した画像Ｇ２，Ｇ５，Ｇ６も直線を含んでいるが、貫通直線は含んでいない。

ステップＳ４１０では、まず、画像の長手方向と貫通直線の方向が一致するかどうか判定を行なう。この判定は、画像の長手方向と貫通直線の方向のなす角度が所定の値（例えば２０度）以下であるか否かによって行うことができる。画像の長手方向と一致する長い直線が存在する場合には、その直線が水平線や地平線などであることが多いと考えられる。そこで、これらの２つの方向が一致した場合には、ステップＳ４１２において、現在の画像の上方をそのまま上方と判定し、判定確率を７５％に設定してステップＳ６００（総合天地判定処理）へ移る。この理由は、横長の画像を撮影する際にカメラを上下反転して撮影することが極めてまれだからである。一方、２つの方向が一致しなかった場合には、ステップＳ４２０において、画像特徴情報取得部２１６が空領域の検出を行なう。この処理は、図７のステップＳ３１０で説明したものと同じである。

ステップＳ４２０において空領域が検出できた場合には、ステップＳ４２２において、空領域が検出された方向を上方と判定し、判定確率を７５％に設定してステップＳ６００（総合天地判定処理）へ移る。但し、図７のステップＳ３１２，Ｓ３１４と同様に、空領域と画像の辺（端部）との関係から判定確率を設定するようにしても良い。

一方、ステップＳ４２０で空領域が検出できなかった場合には、ステップＳ４３０において、貫通直線近傍に高輝度領域が存在するかどうかの判定を行なう。ここで、「高輝度領域」とは、例えば、ＨＳＶ色空間でのＶ値が所定の値（例えば２００）以上である画素が、所定数（例えば２０画素）以上集合している領域を意味する。例えば、夕焼けの画像を撮影した場合には、太陽が高輝度領域として認識される。貫通直線近辺に高輝度領域が検出された場合には、ステップＳ４３２において、貫通直線よりも高輝度領域に近い方の画像の辺を上方として判定し、判定確率を７５％に設定してステップＳ６００（総合天地判定処理）へ移る。なお、高輝度領域が２つ以上検出された場合には、物体の鏡面反射によるものである可能性が高いので、高輝度領域無しと判定してもよい。ステップＳ４３０において貫通直線近傍に高輝度領域が検出できなかった場合には、ステップＳ４４０において天地方向不明と判定し、ステップＳ６００（総合天地判定処理）へ移る。

図１４Ｂに示す収束直線判定処理では、まずステップＳ４５０において、画像特徴情報取得部２１６が、３本以上の直線が検出されているか否かを判断する。３本以上の直線が検出された場合には、ステップＳ４５２において、ほぼ１点に収束する３本以上の直線の組（「収束直線群」または「消失線群」と呼ぶ）を探索する。図１６（Ａ）は元画像Ｇ５を示し、図１６（Ｂ）は、収束点ＣＰに収束する直線群ＣＳＧを示している。なお、収束直線群ＣＳＧの収束点ＣＰは、ある程度の許容範囲を有していてもよい。

ステップＳ４５０において３本の直線が検出されなかった場合、あるいは、ステップＳ４５２において収束直線群が検出されなかった場合には、天地方向不明と判定して、ステップＳ６００（総合天地判定処理）へ移る。

一方、ステップＳ４５２において、収束直線群が検出された場合には、画像特徴情報取得部２１６が、収束直線群の両側に関する輝度コントラストを算出する。具体的には、例えば図１６（Ｃ）に示すように、収束直線群ＣＳＧを挟む２つの領域Ａ１，Ａ２における平均輝度をそれぞれ算出して、それらの平均輝度の比を輝度コントラストとして算出する。そして、輝度がより高い方の領域が存在する画像の辺を上方（天方向）と判定し、その判定確率を６０％に設定してステップＳ６００（総合天地判定処理）へ移る。輝度がより高い領域を画像の上方向と判定する理由は、輝度が高い方がより空に近い方向である可能性が高いからである。なお、この場合の設定確率も、図７のステップＳ３１２，Ｓ３１４と同様に、より高輝度の領域と画像の辺（端部）との関係に応じて設定するようにしても良い。

このように、直線に基づく天地方向判定処理では、図１５のように貫通直線が存在する場合に、貫通直線の方向や、貫通直線と空領域との位置関係に応じて画像の天地を正しく判定することができる。従って、水平線や地平線などのような貫通直線がある場合に、画像の天地を正しく判定することが可能である。また、収束直線群が存在する場合には、収束直線群の両側の輝度に応じて画像の天地を正しく判定することができる。

なお、画像が貫通直線を含む場合には、上述の判定の代わりに、画像の上下方向と左右方向との２つの方向のうちで、貫通直線となす角度がより大きな方向を天地方向と判定するようにしてもよい。例えば、貫通直線の向きが画像の左右方向に近い場合には、画像の上下方向が天地方向となり、元の画像の方向が正しく天地を向いていると判定される。一方、貫通直線の向きが画像の上下方向に近い場合には、画像の左右方向が天地方向となる。この場合には、他の画像的な特徴（例えば画像の左右のコントラストなど）を用いて天方向または地方向を判定してもよい。

また、画像が収束線群を含む場合には、上述の判定の代わりに、収束線群の方向に基づいて天地を判定してもよい。通常は、図１６の例のように、収束線群の収束点ＣＰが画像の上方向に向いている場合が多い。従って、収束線群の向かう方向に基づいて、画像の上下方向または左右方向を天地方向と判定することが可能である。この場合にも、他の画像的な特徴（例えば画像のコントラストなど）を用いて天方向または地方向を判定してもよい。

Ｂ４．棒状オブジェクトに基づく天地方向判定手順：
図１７は、棒状オブジェクトに基づく天地判定手順を示すフローチャートである。棒状オブジェクトとは、ビルディングなどのような長手の被写体を意味している。

ステップＳ５０２では、画像特徴情報取得部２１６が、処理対象画像の各画素の色情報を用いて領域分割処理（領域分離処理）を行なう。具体的には、例えば、ＨＳＶ色空間のＨ成分を所定の複数の範囲に予め区分しておき、各範囲のＨ成分を有する画素で構成される領域を抽出することによって、領域分割を行うことが可能である。この場合に、ある領域内の画素数が極めて少ない（例えば１０画素以下）の場合には、その領域が周囲のより大きな領域に吸収されるものとしてもよい。

なお、領域分割は、他の方法を用いて行うことも可能である。例えば、処理対象画像を空間微分することによってエッジ画像を求め、このエッジ画像内の閉領域を検出することによって領域分割を行うことも可能である。

ステップＳ５０４では、画像特徴情報取得部２１６が、縦横比が所定の値（例えば４倍）以上の領域に対して、棒状オブジェクトとしてのフラグ付けを行なう。図１８（Ａ）は、棒状オブジェクトＳＯＢを含む画像Ｇ６の例を示している。縦横比Ｒは、図１８（Ｂ）に示すように、棒状オブジェクトＳＯＢを包含する矩形の長辺の長さＷlongと短辺の長さＷshortの比である。

ステップＳ５０６では、天地方向判定部２１８が、棒状オブジェクトの一方の端が空領域に重なるかどうかの判定を行なう。空領域の抽出処理は、図７のステップＳ３１０で説明したものと同じである。図１８（Ａ）のように、棒状オブジェクトの一端が空領域に重なっている（または接している）場合には、重なっている端部の方向を上方（天方向）と判定し、判定確率を７５％に設定する（ステップＳ５０８，Ｓ５１０）。そして、次の棒状オブジェクトがあればステップＳ５１２からステップＳ５０６に戻り、ステップＳ５０６以降の処理を繰り返す。一方、ステップＳ５０６において、棒状オブジェクトの両方の端部がいずれも空領域に重ならない場合、または、空領域が存在しない場合には、天地方向不明と判定してステップＳ６００（総合天地判定処理）へ移る。

図１８（Ａ）の画像Ｇ６の場合には、棒状オブジェクトＳＯＢの左側の端部が空領域と重なっているので、画像の左側が天方向であると判定される。図１８（Ｃ）は、判定された天地方向に応じて回転した画像を示している。

このように、画像内にビルディングのような棒状オブジェクトがある場合には、その長手方向が天地方向である可能性が高い。従って、上述のように、棒状オブジェクトを用いてかなり正確に天地方向を判定することができる。

Ｂ５．総合天地判定手順：
図１９は、総合天地判定処理の手順を示すフローチャートである。天地方向判定部２１８は、図３において選択された各特徴を用いた天地方向判定結果を用いて、画像の各端ごと（各辺ごと）に判定確率を加算する（ステップＳ６０２，Ｓ６０４）。具体的には、画像の上辺と下辺と左辺と右辺について、各特徴を用いて算出された判定確率を加算する。なお、上述したように、各特徴を用いた判定処理において、天地方向不明の場合には４辺のすべての判定確率が０％に設定されている。また、天方向または地方向と判定されていない辺についても判定確率が０％に設定されている。なお、判定確率の加算は、天方向または地方向のいずれかに関して行われる。この場合に、地方向と判定された辺がある場合には、その対向する辺が天方向と判定されたものと見なされる。本実施例では、天方向に関して判定確率を加算している。

判定確率の加算がすべて終了すると、ステップＳ６０６において、判定確率が最も高い端（辺）を上方（天方向）と最終的に判断し、ステップＳ６０８でその結果を出力する。この結果出力としては、最終的に上方と判定された端（辺）を上方にするように画像を回転した結果を出力しても良く、あるいは、あらかじめ各端に番号付けを行なっておき、上方となる端の番号を出力しても良い。

このように、本実施例では、複数の特徴についてそれぞれ天地方向とその判定確率を決定し、画像の各辺毎に判定確率を加算し、加算後の判定確率を用いて最終的な天地方向を決定するので、高い精度で天地方向を判定することが可能である。また、天地方向判定に用いる特徴の種類は、ユーザが所定の選択肢の中から任意に選択できるので、関係が少ないと思われる特徴を予め除外して処理を進めることができる。この結果、より精度良く、より短時間で判定結果を得ることが可能である。

なお、上述の総合天地判定処理において、各辺の判定確率を加算する代わりに、各特徴を用いて得られた判定確率の中で最も高い値を示す辺を、画像の天地方向（天方向または地方向）として決定するようにしてもよい。但し、判定確率を加算すれば、より確実に正しい天地方向を決定できる可能性がある。

Ｃ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ1．変形例1：
上記実施例では、色空間としてＨＳＶ色空間を使用していたが、他の任意の色空間を用いて処理を行うことが可能である。

Ｃ2．変形例2：
上記実施例では、各特徴を用いた天地方向判定の際に、判定確率を同時に算出していたが、判定確率は必ずしも算出する必要は無い。

Ｃ3．変形例3：
上記実施例では、画像的な特徴として、人物領域と、空領域・地上領域と、直線と、棒状オブジェクトの４種類を使用していたが、画像的な特徴としては、この一部のみを使用することもでき、また、他の種々の特徴を利用することも可能である。但し、人物領域と空領域とは多くの写真画像で検出されると期待されるので、少なくともこれらの２種類の特徴を利用することが好ましい。

Ｃ4．変形例4：
上記実施例では、電子アルバムを作成する方法および装置を説明したが、本発明による画像の天地方向の判定は、電子アルバムの作成に限らず、他の用途にも利用することも可能である。

本発明の一実施例としての画像処理システムを示す説明図。 実施例における処理手順を示すフローチャート。 アルバム作成条件指定のためのユーザインタフェース画面の例を示す説明図。 アルバム画像の一例を示す説明図。 人物領域に基づく天地判定手順を示すフローチャート。 ステップＳ２０２の詳細手順を示すフローチャート。 人物領域に基づく天地判定処理の内容を示す説明図。 空・地上領域に基づく天地判定手順を示すフローチャート。 昼の画像に関する空・地上領域に基づく天地判定処理の内容を示す説明図。 夜の画像に関する空・地上領域に基づく天地判定処理の内容を示す説明図。 空・地上領域に基づく天地判定手順の変形例を示すフローチャート。 図１０の処理の内容を示す説明図。 空・地上領域に基づく天地判定手順の他の変形例を示すフローチャート。 図１２の処理の内容を示す説明図。 直線に基づく天地判定手順を示すフローチャート。 収束直線判定の手順を示すフローチャート。 画像全体にわたる直線を含む画像の例を示す説明図。 収束直線群を含む画像の例を示す説明図。 棒状オブジェクトに基づく天地判定手順を示すフローチャート。 棒状オブジェクトに基づく天地判定処理の内容を示す説明図。 総合天地判定処理の手順を示すフローチャート。

符号の説明

１００…デジタルカメラ
２００…コンピュータ
２１０…画像処理部
２１２…ユーザインタフェース部
２１４…画像群選択部
２１６…画像特徴情報取得部
２１８…天地方向判定部
２２０…ページ割当部
２２２…アルバム生成部
２２４…画像データ出力部
２３０…画像格納部
３００…カラープリンタ

Claims (34)

1. カラー画像の天地方向を判定する画像処理装置であって、
   前記カラー画像の画素値を解析することによって、前記カラー画像の特徴を表す所定の画像特徴情報を取得する特徴情報取得部と、
   前記画像特徴情報を利用した判定ルールを用いて前記カラー画像の天地方向を判定する天地方向判定部と、
   を有することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記天地方向判定部は、前記カラー画像の天地方向とともにその確率を決定し、確率の高い天地方向を採用する、画像処理装置。
3. 請求項１または２記載の画像処理装置であって、
   前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する人物領域を表す人物領域情報を取得し、
   前記天地方向判定部は、前記人物領域の天地の向きに応じて前記カラー画像の天地方向を判定する、画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記特徴情報取得部は、前記人物領域として、前記カラー画像内に存在する肌色領域を検出する、画像処理装置。
5. 請求項記４載の画像処理装置であって、
   前記特徴情報取得部は、肌色と認識する画素値の範囲を、前記カラー画像の平均輝度に応じて変更する、画像処理装置。
6. 請求項３ないし５のいずれかに記載の画像処理装置であって、
   前記天地方向判定部は、前記肌色領域に隣接する胴体領域の有無を前記天地方向判定に利用する、画像処理装置。
7. 請求項３ないし６のいずれかに記載の画像処理装置であって、
   前記特徴情報取得部は、前記人物領域として、前記カラー画像内に存在する人物の顔領域を検出する、画像処理装置。
8. 請求項７記載の画像処理装置であって、
   前記特徴情報取得部は、前記カラー画像内に存在する肌色領域を抽出し、抽出された肌色領域の縦横比から前記顔領域となる肌色領域を選択する、画像処理装置。
9. 請求項８記載の画像処理装置であって、
   前記特徴情報取得部は、前記肌色領域の縦横比から前記顔領域の候補を選択し、前記顔領域候補の中で、顔の器官が含まれている領域を前記顔領域として選択する、画像処理装置。
10. 請求項７記載の画像処理装置であって、
    前記特徴情報取得部は、肌色領域であって、かつ、顔の器官が含まれている領域を前記顔領域として選択する、画像処理装置。
11. 請求項１０または９記載の画像処理装置であって、
    前記天地方向判定部は、前記顔領域の中における前記顔の器官の位置関係を前記天地方向判定に利用する、画像処理装置。
12. 請求項７ないし１１のいずれかに記載の画像処理装置であって、
    前記天地方向判定部は、前記顔領域に隣接する頭髪領域の有無を前記天地方向判定に利用する、画像処理装置。
13. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する天空領域を表す天空領域情報を取得する、画像処理装置。
14. 請求項１３記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像の昼夜の判定を行い、
    （ｉｉ）前記カラー画像が昼に撮影された画像であると判定された場合には、前記カラー画像の平均輝度よりも明るい画素で構成された領域であって、かつ、前記カラー画像の端部に存在し、かつ、青、白、グレイのいずれかに属する色である領域を前記天空領域として検出する、画像処理装置。
15. 請求項１３記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像を複数の区分領域に分割し、
    （ｉｉ）各区分領域に対して周波数分析を行うことによって各区分領域の周波数特性を取得し、
    （ｉｉｉ）低周波成分を主とする周波数特性を有する区分領域を前記天空領域として検出する、画像処理装置。
16. 請求項１３ないし１５のいずれかに記載の画像処理装置であって、
    前記天地方向判定部は、前記天空領域が最も広く存在している箇所に近い画像端部を上方として判定する、画像処理装置。
17. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する地上領域を表す地上領域情報を取得する、画像処理装置。
18. 請求項１７記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像の昼夜の判定を行い、
    （ｉｉ）前記カラー画像が夜に撮影された画像であると判定された場合には、前記カラー画像の平均輝度よりも明るい領域、または、所定の輝度以上の高輝度を有する高輝度部分が点在する暗い領域を前記地上領域として検出する、画像処理装置。
19. 請求項１７記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像を複数の区分領域に分割し、
    （ｉｉ）各区分領域に対して周波数分析を行うことによって各区分領域の周波数特性を取得し、
    （ｉｉｉ）高周波成分を主とする周波数特性を有する区分領域を地上領域として検出する、画像処理装置。
20. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像の昼夜の判定を行い、
    （ｉｉ）前記カラー画像が夜に撮影された画像であると判定された場合には、
    前記カラー画像を縦方向に二分割した第１の画像と、横方向に二分割した第２の画像とに関して、分割した２つの領域の輝度コントラストを前記画像特徴情報としてそれぞれ算出し、
    前記天地方向判定部は、前記輝度コントラストがより大きな分割方向において、輝度がより高い領域を下方として判定する、画像処理装置。
21. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像の全体にわたる直線を表す直線情報を取得し、
    前記天地方向判定部は、前記画像の上下方向と左右方向とのうちで前記直線となす角度がより大きな方向を天地方向と判定する、画像処理装置。
22. 請求項２１記載の画像処理装置であって、
    前記天地方向判定部は、
    （ｉ）前記直線を水平線または地平線とみなすとともに、
    （ｉｉ）前記カラー画像の長手方向と前記直線の方向とが平行から所定の角度範囲にあると判断した場合に、現在の天地関係が正しいと判定する、画像処理装置。
23. 請求項２１記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、さらに、前記カラー画像内に存在する天空領域を表す天空領域情報を取得し、
    前記天地方向判定部は、
    （ｉ）前記直線を水平線または地平線とみなすとともに、
    （ｉｉ）前記水平線または地平線に対して前記天空領域が存在する方向を上方として判定する、画像処理装置。
24. 請求項２１記載の画像処理装置であって、
    前記天地方向判定部は、
    （ｉ）前記直線を水平線または地平線とみなすとともに、
    （ｉｉ）前記直線の近傍に所定の輝度以上の高輝度領域が一つのみ存在する場合に、前記直線に対して前記高輝度領域が存在する方向を上方として判定する、画像処理装置。
25. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する３本以上の収束する直線で構成される消失線を表す消失線情報を取得する、画像処理装置。
26. 請求項２５記載の画像処理装置であって、
    前記天地方向判定部は、前記消失線の両側の輝度コントラストを比較し、輝度が明るい側を上方として判定する、画像処理装置。
27. 請求項１または２記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、前記カラー画像内に存在する棒状のオブジェクトを表す棒状オブジェクト情報を取得する、画像処理装置。
28. 請求項２７記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像を色情報に基づいて複数の色領域に分離し、
    （ｉｉ）前記複数の色領域のうちで縦横比が所定の値以上である色領域を前記棒状オブジェクトとして検出する、画像処理装置。
29. 請求項２７記載の画像処理装置であって、
    前記特徴情報取得部は、
    （ｉ）前記カラー画像を空間微分することによりエッジ画像を生成し、
    （ｉｉ）前記エッジ画像に含まれる閉領域を検出するとともに、
    （ｉｉｉ）縦横比が所定の値以上である閉領域を前記棒状オブジェクトとして検出する、画像処理装置。
30. 請求項２７ないし２９のいずれかに記載の画像処理装置であって、
    前記特徴情報取得部は、前記画像特徴情報として、さらに、前記カラー画像内に存在する天空領域を表す天空領域情報を取得し、
    前記天地方向判定部は、前記棒状オブジェクトの長手方向の片端が前記天空領域に重なっている場合に、前記棒状オブジェクトの長手方向に沿った方向であって前記重なりの存在する方向を上方として判定する、画像処理装置。
31. 請求項１または２記載の画像処理装置であって、
    前記画像特徴情報取得部は、複数種類の画像特徴情報を取得し、
    前記天地方向判定部は、前記複数種類の画像特徴情報を用いて前記カラー画像の天地方向を判定する、画像処理装置。
32. 請求項３１記載の画像処理装置であって、
    前記天地方向判定部は、
    （ｉ）各種類の画像特徴情報を用いて前記カラー画像の天地方向とその確率とをそれぞれ決定するとともに、
    （ｉｉ）各種類の画像特徴情報を用いて得られた天地方向とその確率とを総合して前記カラー画像の天地方向を決定する、画像処理装置。
33. カラー画像の天地を判定する方法であって、
    （ａ）前記カラー画像の画素値を解析することによって、前記カラー画像の特徴を表す所定の画像特徴情報を取得する工程と、
    （ｂ）前記画像特徴情報を利用した判定ルールを用いて前記カラー画像の天地方向を判定する工程と、
    を備えることを特徴とする画像天地判定方法。
34. カラー画像の天地を判定するためのコンピュータプログラムであって、
    前記カラー画像の画素値を解析することによって、前記カラー画像の特徴を表す所定の画像特徴情報を取得する特徴情報取得機能と、
    前記画像特徴情報を利用した判定ルールを用いて前記カラー画像の天地方向を判定する天地方向判定機能と、
    をコンピュータに実現させるコンピュータプログラム。

Images