JP4308319B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、被写体の画像に関する処理を行う装置に関し、特に、陰影に関する処理を行う装置に関する。

近年、陰影（「かげ」；ｓｈａｄｏｗ）を利用した画像処理方法が広く行なわれている。例えば、非特許文献１では、形状既知の被写体の物体から落とされる「かげ」である影（ｃａｓｔ ｓｈａｄｏｗ）の明るさ分布を利用することで、実照明の光源分布を推定する手法を提案している。この手法は、光源−被写体−陰影の関係が幾何学的・光学的にモデル化できることに由来している。この考え方を光源情報が既知の環境に適用することで、陰影から被写体の３次元形状を推定することも可能であろう。

また画像処理において、撮影画像の一部が逆光や陰影によって輝度が低くなってしまった場合、その陰影領域のみの輝度を補正することで、きれいな画像を表現する陰影補正処理も行なわれている。

ここで、「陰影」とは、立体に光が当たったときに生じる「かげ（ｓｈａｄｏｗ）」であり、「陰（ａｔｔａｃｈｅｄ ｓｈａｄｏｗ）」と「影（ｃａｓｔ ｓｈａｄｏｗ）」とを含む。「陰」とは、光の当たり方によって立体自身に生じる「かげ」であり、「影」とは、立体により光が遮断されたことにより他の平面や他の立体の上にできる「かげ」である。

非特許文献１では、影領域のみを利用して光源分布を推定する方法であるため、もし、陰領域を影領域と判断して処理を行なった場合、正確な推定が行なえないことは明白である。

また、陰影補正処理の場合、陰領域は被写体に立体感を与える要素であるため、影領域のみを補正し、陰領域は処理を行なわないことが望ましい。

そのため、陰影領域を陰領域と影領域とに分類することが非常に重要である。

陰影領域を陰領域と影領域とに分類するために、非特許文献２では、様々な方向から光源を当てた被写体の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、この線形化画像を利用して陰影領域を分類している。
佐藤いまり，佐藤洋一，池内克史，"物体の陰影に基づく光源環境推定"，情報処理学会論文誌：コンピュータビジョンとイメージメディア，Ｖｏｌ．４１，Ｎｏ．ＳＩＧ１０ （ＣＶＩＭ１），ｐｐ．３１−４０，２０００ 石井育規，福井孝太郎，向川康博，尺長健，"光学現象の分類に基づく画像の線形化"，情報処理学会論文誌：コンピュータビジョンとイメージメディア，Ｖｏｌ．４４，Ｎｏ．ＳＩＧ５ （ＣＶＩＭ６），ｐｐ．１１−２１，２００３

しかしながら、上記非特許文献２では、様々な方向から光源を当てた被写体の画像を必要とするため、装置が大規模になってしまうという問題がある。また、陰影分類を行なう陰影は、移動させた光源によって生じる陰影のみであり、位置が変わらない光源によって生じる陰影の分類はできない。そのため、屋外で太陽光によって生じる陰影や、屋内で照明として利用している白熱灯によって生じる陰影領域を分類することは不可能である。

そこで、本発明は、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から陰領域と影領域とを抽出することができる画像処理装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、被写体の画像における陰影に関する処理を行う画像処理装置であって、前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得部と、前記画像情報取得部で取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、前記被写体画像から抽出する陰影領域抽出部と、前記陰影領域抽出部で抽出された陰領域及び影領域を特定する情報を出力する出力部とを備えることを特徴とする。

より具体的には、本発明では、陰領域と影領域の偏光特性の違いに着目している。偏光情報である偏光度や偏光推定誤差の偏光特性の違いに着目することで、本発明では、陰領域と影領域とを抽出する。また、反射率が低く、物体色が黒い被写体と陰影との分離は困難であるために、本発明では、陰影と低反射率領域を含めた低輝度領域に対して領域抽出を行う。これにより、偏光情報を利用することで、簡易に、陰影領域を含む低輝度領域に対して陰領域及び影領域が抽出される。

なお、本発明は、画像処理装置として実現できるだけでなく、画像処理方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたＤＶＤ等のコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明によれば、被写体の偏光情報を利用することで、陰領域及び影領域の抽出が行われる。これにより、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から陰領域と影領域とを抽出することができる。

よって、本発明により、簡易に、被写体の陰領域と影領域とが抽出され、これによって画像の高精細化が可能となり、特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態では、本発明に係る画像処理装置の一例として、光学的領域分割装置について説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における光学的領域分割装置の概要について説明する。

図１は、本実施の形態における光学的領域分割装置１００の構成を示す機能ブロック図である。この光学的領域分割装置１００は、被写体の画像における陰影に関する処理を行う画像処理装置の一例であり、ここでは、被写体を撮像することによって被写体の表面を光学的に領域分割する装置であり、画像情報取得部１１０、陰影領域抽出部１２０及び出力部を備える。

画像情報取得部１１０は、被写体からの光の輝度に関する情報である輝度情報及び被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する処理部であり、偏光画像撮像部１０１及び偏光情報生成部１０２を有する。なお、この画像情報取得部１１０は、被写体画像を構成する単位画像ごとに、輝度情報及び偏光情報を取得する。

画像情報取得部１１０における偏光画像撮像部１０１は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する処理部である。

画像情報取得部１１０における偏光情報生成部１０２は、偏光画像撮像部１０１によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する処理部である。

陰影領域抽出部１２０は、画像情報取得部１１０で取得された輝度情報及び偏光情報に基づいて、単位画像の単位で、光の当たり方によって被写体の表面に生じる「かげ」の領域である陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる「かげ」の領域である影領域を、被写体画像から抽出する処理部であり、本実施の形態では、領域抽出の一例である領域分割をする領域分割部１０３を有する。

陰影領域抽出部１２０における領域分割部１０３は、偏光画像の輝度情報と偏光情報生成部１０２で生成された偏光情報とにおける類似性（共通性）を利用して、偏光画像を、光学的に共通する画像領域の集まりからなる複数の領域に分割する処理部である。このとき、領域分割部１０３は、画像領域の輝度と予め定められたしきい値とを比較し、輝度がしきい値よりも小さい場合に、当該画像領域を、陰影領域（陰領域及び影領域）を含む低輝度領域（本実施の形態では、陰影領域）として、領域分割をする。

なお、この領域分割部１０３は、画像（ここでは、偏光画像）に対して領域分割をするが、本発明における陰影領域抽出部の動作としては、領域分割に限られず、領域抽出（つまり、画像の一部の領域を特定する処理）でよい。つまり、本明細書では、発明の理解を容易にするために、領域抽出の一例として、画像の全領域を、陰領域及び影領域を含む複数の種類の領域のいずれかに分割する領域分割について説明するが、本発明に係る画像処理装置としては、このような領域分割に限られず、画像の一部の領域を特定する領域抽出でよい。よって、本明細書における「領域分割（領域の分割）」は、「領域抽出（領域の抽出）」と読み替えてもよい。また、本明細書における「領域検出（領域の検出）」は、「領域抽出（領域の抽出）」と同義である。

出力部１３０は、陰影領域抽出部１２０で抽出された陰領域及び影領域を特定する情報を出力する処理部であり、識別子付加部１３１及び陰影領域出力部１３２を有する。

出力部１３０における識別子付加部１３１は、陰影領域抽出部１２０で抽出された陰領域及び影領域を構成する単位画像に対して、それぞれ、陰領域及び影領域であることを示す識別子を付与し、付与した識別子を出力する。

出力部１３０における陰影領域出力部１３２は、陰影領域抽出部１２０で抽出された陰領域及び影領域を特定する情報として、それぞれ、被写体画像における陰領域及び影領域に対応する部分（画像）を出力する。

図２は、本実施の形態における光学的領域分割装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図３は、図２に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、撮像画像を光学的に領域分割する機能を備える撮像装置であり、パターン偏光子２０１、撮像素子２０２、メモリ２０３、ＣＰＵ２０４および発光装置２０７を備える。

パターン偏光子２０１は、図３に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。

撮像素子２０２は、図３に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受光する２次元状に配置された画素（受光素子）の集まりであり、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素（受光素子）とから、撮像単位２０６が構成される。この撮像単位２０６によって得られる画像は、偏光情報生成部１０２および領域分割部１０３における各処理の単位（「単位画像」）である。つまり、光学的領域分割装置１００は、撮像単位２０６によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成および領域分割を行なう。

メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。

ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および発光装置２０７を制御するプロセッサである。

発光装置２０７は、被写体に投光するフラッシュである。

なお、図１に示された偏光画像撮像部１０１は、図２に示されたパターン偏光子２０１および撮像素子２０２によって実現される。図１に示された偏光情報生成部１０２および領域分割部１０３は、図２に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。また、メモリ２０３は、偏光画像撮像部１０１で取得された偏光画像、偏光情報生成部１０２で生成された偏光情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。

図４は、本実施の形態における光学的領域分割装置１００による処理の流れを示すフローチャートである。まず、偏光画像撮像部１０１は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である偏光画像を撮像する（Ｓ１０１）。偏光情報生成部１０２は、偏光画像撮像部１０１が撮像した偏光画像の輝度変化を利用して、偏光情報を生成する（Ｓ１０２）。領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および低輝度領域（本実施の形態では、陰領域および影領域）に領域分割する（Ｓ１０３）。

次に、本実施の形態における光学的領域分割装置１００の各構成要素の詳細な機能を説明する。

まず、偏光画像撮像部１０１の詳細な機能について説明する。偏光画像撮像部１０１は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図５は、図３に示された撮像単位２０６を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０６は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。

このような特性は、例えば、『川島、佐藤、川上、長嶋、太田、青木、“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』：非特許文献３に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。

この偏光情報の撮影に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。

次に、偏光情報生成部１０２の詳細な機能について説明する。偏光情報生成部１０２は、偏光画像撮像部１０１が取得した偏光画像を利用して、偏光情報を生成する処理部である。

偏光子を透過した輝度は、偏光子の偏光主軸角によって変化することが知られている。図６は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図５の点５０１における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。

この偏光情報生成部１０２は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角ψに対する反射光輝度Ｉを以下のように近似する。

ここで、図６に示されるように、式１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、式１は、以下のように展開できる。

ただし、

つまり、４画素のサンプル（ψｉ、Ｉｉ）において、以下の式５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数（式１）の近似ができる。ただし、Ｉｉは、偏光板回転角ψｉ時の観測輝度を示している。また、Ｎはサンプル数であり、ここでは、４である。

以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。

こうして求めたパラメータを利用して、偏光情報生成部１０２は、偏光情報として、以下のいずれかまたは複数を生成する。
・偏光度ρ

・偏光位相φ（０°≦φ≦１８０°）

・偏光推定誤差Ｅ

ここで、偏光度とは、光がどれだけ偏光しているかを表す指標であり、偏光位相とは、偏光主軸角度に依存して変化する輝度が最大となる角度であり、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。

図７は、球体であるプラスチック製ボールの被写体を撮影した場合の偏光度ρ、偏光位相φおよび偏光推定誤差Ｅを画像として表示した図である。この図において、図７（ａ）は被写体であるプラスチック製ボールの画像、図７（ｂ）は図７（ａ）の被写体に対する偏光度ρ、図７（ｃ）は図７（ａ）の被写体に対する偏光位相φ（０°が黒、１８０°が白）、図７（ｄ）は図７（ａ）の被写体に対する偏光推定誤差Ｅを示している。また、図８は、図７の各図を模式的に示した図（濃淡を明瞭化した図）である。いずれも輝度の白いほうが値が大きいことを意味しており、ボールの遮蔽エッジ付近で偏光度が大きいこと、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を反時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。

次に、領域分割部１０３の詳細な機能について説明する。領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報と偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰領域および影領域に領域分割する。

ここで、拡散反射と鏡面反射について説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。

被写体が「てかり」である鏡面反射を生じる物体である場合、すべての方向から光が照射された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ、佐藤洋一、池内克史、柏木寛、“ハイライトの偏光解析にもとづく透明物体の表面形状測定”、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ． Ｊ８２−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１３８３−１３９０、１９９９：非特許文献４）。

図９および図１０は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ．Ｗｏｌｆｆ ａｎｄ Ｔ．Ｅ．Ｂｏｕｌｔ、“Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、１９９１」：非特許文献５参照）。ここで、図９の横軸は入射角、縦軸は偏光度を示している。また、図１０の横軸は出射角、縦軸は偏光度を示している。これらの図より、すべての方向から光が入射された場合、拡散反射成分に比べ、鏡面反射成分の偏光度が高くなることがわかる。このことから、偏光特性としても、鏡面反射成分が支配的になると推測される。このことは、出射角が９０°に近い、遮蔽エッジなどを除外した場合に成り立つ。

次に、陰領域と影領域について説明する。図１１は、陰領域と影領域（陰影領域の分類）を説明するための模式図である。ここでは、ある面１００２に置かれた球状物体である被写体１００１が、光源１００３に照らされている様子が示されている。この図において、領域１００４と領域１００５は、どちらも、陰影領域を示している。領域１００４は、被写体１００１の法線が光源１００３を向いていないために生じる「陰領域」であり、領域１００５は、面１００２において、遮蔽物である被写体１００１によって光が遮蔽されることによって生じる「影領域」である。

次に、陰領域と影領域の偏光特性の違いについて説明する。まず、地上で撮影されるほとんどの撮影シーンで成り立つ以下の条件１が満たされた撮影シーンにおいて撮影が行なわれると想定する。

条件１：「被写体が存在する撮影シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮影シーンでは成り立つ。
１．屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。

また、壁や建物も広い面を有するため、地上で撮影されるほとんどの撮影シーンでは、この条件が成り立つ。

この条件１が成り立つ場合に、まず陰領域について説明する。図１１に示されるように、陰領域は、被写体の法線が光源と反対方向を向いているために生じる陰影（かげ）領域である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、陰領域には、さまざまな方向から多重反射光が入射していると考えられる。つまり、カメラ２００と陰領域が生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図１２は、この様子を示した模式図である。この図において、カメラ１００６は、本実施の形態における光学的領域分割装置１００が搭載されたカメラ、面１００７は上記広い面を示している。

ところで、前述のように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示す陰領域は、相対的に偏光度が高くなる。

次に、影領域について説明する。図１１に示されるように、影領域は、何らかの遮蔽物によって光が遮蔽されることによって生じる陰影（かげ）領域である。ここで、条件１を考慮すると、影領域は、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光は、陰領域に比べ、限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図１３は、この様子を示した模式図である。

さらに、図１０に示されるように、拡散反射成分の偏光度は相対的に低い。このことから、影領域の偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、影領域の偏光推定誤差は非常に大きくなる。

以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
（１）陰領域
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
（２）影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

この分類基準を利用することで、陰影領域を陰領域と影領域とに分類することができる。たとえば、偏光情報が鏡面反射の偏光特性（偏光度が高い、あるいは、偏光推定誤差が小さい）を示す低輝度領域を陰領域と分類することができる。このような性質を利用して領域分割をする領域分割部１０３について、以下で詳細に説明する。

図１４は、図１に示された光学的領域分割装置１００における領域分割部１０３の詳細な構成を示す機能ブロック図である。この領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報と偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰領域および影領域に領域分割する処理部であり、陰影領域検出部３０１、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５および蓄積部３０６を備える。

陰影領域検出部３０１は、偏光画像撮像部１０１が取得した画像における画素が陰影領域であるかどうかを推定する処理部である。

ＤＢ３０２は、偏光度比較部３０３により参照される閾値ＴＨ＿ＰＤＳおよび偏光推定誤差比較部３０４により参照される閾値Ｔｈ＿Ｅｒｒを予め格納しているメモリ等である。

偏光度比較部３０３は、ＤＢ３０２から閾値ＴＨ＿ＰＤＳを読み出し、陰影領域検出部３０１で陰影領域でないと推定された画素について、対象となる画素の偏光度と閾値ＴＨ＿ＰＤＳとを比較する処理部である。

偏光推定誤差比較部３０４は、ＤＢ３０２から閾値Ｔｈ＿Ｅｒｒを読み出し、陰影領域検出部３０１で陰影領域であると推定された画素について、対象となる画素の偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較する処理部である。

領域判断部３０５は、偏光度比較部３０３および偏光推定誤差比較部３０４での比較結果に応じて、対象の画素が拡散反射領域、鏡面反射領域、影領域および陰領域のいずれであるかを判断し、その結果を蓄積部３０６へ蓄積する。

蓄積部３０６は、領域判断部３０５による領域分割の結果を格納するメモリ等である。

図１５は、この領域分割部１０３による処理の流れを示すフローチャートである。まず、陰影領域検出部３０１は、偏光画像撮像部１０１が取得した画像における画素が低輝度領域（本実施の形態では、陰影領域）であるかどうかを推定する（Ｓ２０１）。これは、例えば、陰影領域は輝度値が低いことを利用し、輝度値や偏光子による輝度の変動カーブの振幅が閾値以下の画素を陰影領域と推定すればよい。このように陰影領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像の輝度値に対しては、２５６を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。図１６（ａ）は、図７（ａ）の画像（その模式図である図８（ａ））に対して、陰影検出処理を実施した結果である。図の黒色領域が影として検出された結果を示している。

画素が陰影領域ではなかった場合（Ｓ２０１でＮｏ）、偏光度比較部３０３は、その画素において拡散反射成分が支配的であるか、鏡面反射成分が支配的であるかを判断する（Ｓ２０２）。図１７は、この偏光度比較部３０３による拡散反射鏡面反射分類処理（Ｓ２０２）の詳細な流れを示すフローチャートである。ここでは、偏光度比較部３０３は、前述の「鏡面反射は偏光度が高い」ことを利用して、画素が拡散反射と鏡面反射のどちらが支配的かを判断する。まず、偏光度比較部３０３は、画素の偏光度が閾値ＴＨ＿ＰＤＳより小さいか、大きいかを調べる（Ｓ２１１）。画素の偏光度が閾値ＴＨ＿ＰＤＳより小さかった場合（Ｓ２１１でＹｅｓ）、領域判断部３０５は、その画素では拡散反射が支配的である（その画素は拡散反射領域である）と判断する（Ｓ２１２）。一方、偏光度が閾値ＴＨ＿ＰＤＳより大きかった場合（Ｓ２１１Ｎｏ）、領域判断部３０５は、その画素では鏡面反射が支配的である（その画素は鏡面反射領域である）と判断する（Ｓ２１３）。領域判断部３０５は、領域分割の結果を蓄積部３０６に蓄積する。

なお、閾値Ｔｈ＿ＰＤＳは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図９および図１０に示されるように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図９および図１０で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈ＿ＰＤＳとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに、閾値Ｔｈ＿ＰＤＳとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１０より、拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈ＿ＰＤＳとして、０．７程度を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。

拡散反射鏡面反射分類処理（Ｓ２０２）が終了後、領域判断部３０５は、すべての画素の光学的分類が完了したかどうかをチェックする（Ｓ２０３）。もし、まだ分類を行なっていない画素が存在する場合（Ｓ２０３でＮｏ）、陰影領域検出部３０１は、別の画素が陰影領域かどうかを検出する（Ｓ２０１）。また、すべての画素の光学的分類が完了した場合（Ｓ２０３でＹｅｓ）、領域分割部１０３は、処理を終了する。

一方、画素が陰影領域であった場合（Ｓ２０１でＹｅｓ）、偏光推定誤差比較部３０４は、上記式８で定義される偏光推定誤差Ｅの大きさを評価する（Ｓ２０４）。すなわち、偏光推定誤差比較部３０４は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（Ｓ２０４でＹｅｓ）、領域判断部３０５は、その画素が影領域であると判断し（Ｓ２０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さかった場合（Ｓ２０４でＮｏ）、領域判断部３０５は、その画素が陰領域であると判断する（Ｓ２０６）。領域判断部３０５は、領域分割の結果を蓄積部３０６へ蓄積する。

このときの閾値Ｔｈ＿Ｅｒｒは撮影画像の輝度値や式２の振幅成分Ａ、バイアス成分Ｃを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。

この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。このような閾値はＤＢ３０２に保持しておけばよい。

図１６（ｂ）および図１６（ｃ）は、それぞれ、このようにして求めた影領域および陰領域を示している。この図において、黒色領域が選択された領域である。こうして求めた影領域と陰領域に対し、画像処理で広く使われている領域の収縮膨張処理を行なうことにより、影領域と陰領域とを分離できる。

図１８は、領域分割部１０３による領域分割例を示す図である。ここでは、偏光画像を構成する各画素について、画素位置、振幅Ａ、偏光度ρ、偏光位相φ、偏光推定誤差Ｅの具体値と、領域分割結果が示されている。ここでの、領域分割における判断基準は、図１９に示される通りである。つまり、拡散反射領域または鏡面反射領域か陰影領域かは、振幅Ａが２５６以上であるか否かによって判断され（図１５のＳ２０１）、拡散反射領域か鏡面反射領域かは、偏光度ρが０．７より小さいか否かによって判断され（図１７のＳ２１１）、影領域であるか陰領域であるかは、偏光推定誤差Ｅが上記式９で示される閾値Ｔｈ＿Ｅｒｒより大きいか否かによって判断される（図１５のＳ２０４）。このような判断基準で判断された結果、図１８に示されるように、画素（１４１、１１７）は、拡散反射領域に属すると判断され、画素（１５１、１３８）は、鏡面反射領域に属すると判断され、画素（１１１、１４４）は、陰領域に属すると判断され、画素（９８、１５１）は、影領域に属すると判断され、画素（１６５、１４４）は、拡散反射領域に属すると判断される。

なお、図１５に示される処理では、画素において拡散反射成分が支配的であるか鏡面反射成分が支配的であるかを判断するために偏光度が利用されたが（Ｓ２０２）、輝度値を利用するようにしても構わない。図２０は、輝度値を利用して拡散反射か鏡面反射かを判断する変形例に係る領域分割部１０３ａの詳細な構成を示す機能ブロック図である。この領域分割部１０３ａは、陰影領域検出部３０１、ＤＢ３０２、偏光推定誤差比較部３０４、領域判断部３０５、蓄積部３０６および輝度比較部３１０を備える。なお、図２０において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明は省略する。

輝度比較部３１０は、ＤＢ３０２から閾値ＴＨ＿ＩＤＳを読み出し、対象の画素の輝度値と閾値ＴＨ＿ＩＤＳとを比較する処理部である。

図２１は、この領域分割部１０３ａによる処理の流れを示すフローチャートである。なお、図２１において、図１７と共通のステップには図１７と同一の符号を付しており、その詳細な説明を省略する。輝度比較部３１０は、画素の輝度値が閾値ＴＨ＿ＩＤＳより小さいか、大きいかを調べる（Ｓ２１４）。画素の輝度値が閾値ＴＨ＿ＩＤＳより小さかった場合（Ｓ２１４でＹｅｓ）、領域判断部３０５は、その画素は拡散反射が支配的であると判断する（Ｓ２１２）。一方、輝度値が閾値ＴＨ＿ＩＤＳより大きかった場合（Ｓ２１４でＮｏ）、領域判断部３０５は、その画素は鏡面反射が支配的であると判断する（Ｓ２１３）。このようにして、輝度値を利用して、その画素において拡散反射成分が支配的であるか鏡面反射成分が支配的であるかが判断される。

また、図１５に示される処理では、偏光推定誤差を利用して、画素が陰領域か影領域かが判断されたが（Ｓ２０４）、偏光推定誤差ではなく、偏光度を利用するようにしても構わない。図２２は、偏光度を利用して陰領域か影領域かを判断する変形例に係る領域分割部１０３ｂの詳細な構成を示す機能ブロック図である。この領域分割部１０３ｂは、陰影領域検出部３０１、ＤＢ３０２、偏光度比較部３０３、領域判断部３０５および蓄積部３０６を備える。なお、図２２において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。

図２３は、この領域分割部１０３ｂによる処理の流れを示すフローチャートである。なお、図２３において、図１５と共通のステップには図１５と同一の符号を付しており、その詳細な説明を省略する。

陰影領域検出部３０１によって画素が陰影領域であると判断された場合（Ｓ２０１でＹｅｓ）、偏光度比較部３０３は、その画素が陰領域か影領域かを判断するために、式６で定義される偏光度ρと閾値Ｔｈ＿Ｐとを比較する（Ｓ２０７）。その結果、偏光度ρが閾値Ｔｈ＿Ｐより小さかった場合（Ｓ２０７でＹｅｓ）、領域判断部３０５は、その画素は影領域であると判断し（Ｓ２０５）、一方、偏光度ρが閾値Ｔｈ＿Ｐより大きかった場合（Ｓ２０７でＮｏ）、領域判断部３０５は、その画素は陰領域であると判断する（Ｓ２０６）。このようにして、偏光度と利用して、画素が陰領域か影領域かが判断される。

なお、閾値Ｔｈ＿Ｐは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図９および図１０に示されるように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図９および図１０で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈ＿Ｐとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈ＿Ｐとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１０より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈ＿Ｐとして、０．７程度を設定すればよい。

また、図１５に示される処理において、その画素が陰領域か影領域かを判断するに際して（Ｓ２０４）、偏光推定誤差および偏光度のいずれかを利用するのではなく、両方を利用するようにしても構わない。図２４は、偏光推定誤差および偏光度の両方を利用して画素が陰領域か影領域かを判断する変形例に係る領域分割部１０３ｃの詳細な構成を示す機能ブロック図である。この領域分割部１０３ｃは、陰影領域検出部３０１、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５および蓄積部３０６を備える。なお、図２４において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。この領域分割部１０３ｃは、図１４に示された領域分割部１０３と同一の構成要素を備えるが、領域判断部３０５での領域分割における判断基準が領域分割部１０３と異なる。

図２５は、この領域分割部１０３ｃによる処理の流れを示すフローチャートである。なお、図２５において、図１５と共通のステップには図１５と同一の符号を付しており、その詳細な説明を省略する。陰影領域検出部３０１によって対象となる画素が陰影領域と判断された場合（Ｓ２０１でＹｅｓ）、その画素が陰領域か影領域かを判断するために、偏光推定誤差比較部３０４および偏光度比較部３０３は、それぞれ、式８で定義される偏光推定誤差Ｅと式６で定義される偏光度ρとを評価する。つまり、偏光推定誤差比較部３０４は、偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較し、偏光度比較部３０３は、偏光度ρと閾値Ｔｈ＿Ｐとを比較する。

その結果、偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きい、または、偏光度ρの大きさが閾値Ｔｈ＿Ｐより小さい場合（Ｓ２０８でＹｅｓ）、領域判断部３０５は、その画素は影領域であると判断し（Ｓ２０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さく、かつ、偏光度ρの大きさが閾値Ｔｈ＿Ｐより大きい場合（Ｓ２０８でＮｏ）、領域判断部３０５は、その画素は陰領域であると判断する（Ｓ２０６）。このようにして、画素が陰領域か影領域かを判断するのに、偏光推定誤差および偏光度の両方が利用される。

なお、偏光推定誤差Ｅの閾値Ｔｈ＿Ｅｒｒは、図１５の処理のように偏光推定誤差のみで判断する場合に比べて大きな値を、偏光度ρの閾値Ｔｈ＿Ｐは、図２３の処理のように、偏光度のみで判断する場合に比べて小さな値をとるようにしても構わない。また、領域判断部３０５による判断（Ｓ２０８）では、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きく、かつ、偏光度ρの大きさが閾値Ｔｈ＿Ｐより小さかった場合にのみ、その画素が影領域であると判断するようにしても構わない。

また、図１５の処理では、画素が陰領域か影領域かを判断するために偏光推定誤差が利用されたが（Ｓ２０４）、陰領域の偏光特性が鏡面反射特性となることを利用しても構わない。これは、例えば、式７で定義される偏光位相φを利用すればよい。後述するように、偏光位相φは、被写体の法線の１成分を示しているが、偏光位相φと被写体の法線の１成分の関係は、被写体が鏡面反射成分が支配的か、拡散反射成分が支配的かによって位相が９０度異なる。例えば、図７（ｃ）（その模式図である図８（ｃ））において、陰領域の偏光位相が、その近傍の偏光位相情報と大きく異なっていることがわかる。これは、陰領域が鏡面反射成分の偏光特性を示しているのに対し、その近傍領域は拡散反射成分の偏光特性を示しているためである。そこで、被写体の偏光位相の連続性を評価することにより、鏡面反射成分の偏光特性を示す画素を検出し、陰領域を検出する。

また、本発明は、図１に示されるような光学的領域分割装置１００単体として実現できるだけでなく、光学的領域分割装置１００の出力を利用して法線情報を生成する処理部を光学的領域分割装置１００に付加した構成として実現することもできる。

図２６は、本発明に係る画像処理装置の一例である光学的領域分割装置１００に、法線情報を生成する処理部（法線情報生成部）を付加した装置の構成を示す機能ブロック図である。法線情報生成部１０４は、領域分割部１０３で分割された領域ごとに、偏光情報生成部１０２で生成された偏光情報を用いて、対応する被写体の表面での法線を特定する法線情報を生成する処理部である。

図２７は、図２６に示された光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。本図は、図４に示されるフローチャートにおけるステップＳ１０３の後に、法線情報の処理ステップＳ１０４が付加されたものに相当する。法線情報生成部１０４は、領域分割処理（Ｓ１０３）の後に、領域分割部１０３で分割された領域ごとに、偏光情報生成部１０２で生成された偏光情報を用いて、対応する被写体の表面での法線を特定する法線情報を生成する（Ｓ１０４）。

ここで、偏光情報から法線情報を生成するアルゴリズムについて説明する。偏光位相φから、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面（入射角）の角度１自由度を求める方法が知られている。しかし、被写体において鏡面反射が支配的か拡散反射が支配的かによって、法線情報の求め方が全く異なることも知られている（例えば、「Ｏｎｄｆｅｊ Ｄｒｂｏｈｌａｖ ａｎｄ Ｓａｒａ Ｒａｄｉｍ、“Ｕｓｉｎｇ ｐｏｌａｒｉｚａｔｉｏｎ ｔｏ ｄｅｔｅｒｍｉｎｅ ｉｎｔｒｉｎｓｉｃ ｓｕｒｆａｃｅ ｐｒｏｐｅｒｔｉｅｓ”、Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．３８２６、ｐｐ．２５３−２６３、１９９９」：非特許文献６参照）。拡散反射成分が支配的な場合、拡散反射の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度として求めることができる。一方、鏡面反射成分が支配的な場合、拡散反射の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度として求めることができる。ここで、偏光輝度の変動カーブが１８０°周期の正弦関数となることに着目すると、拡散反射が支配的か鏡面反射が支配的かを考慮せずに法線情報を生成した場合、推定された法線の１自由度は９０°の誤差を持ってしまうことがわかる。そのため、拡散反射と鏡面反射とを分類することは、偏光情報からの法線情報を生成する処理において重要である。

図２８は、図２６に示された法線情報生成部１０４の詳細な構成を示す機能ブロック図である。この法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する処理部であり、蓄積部３０６、領域参照部３０７、拡散反射仮定法線情報生成部３０８および鏡面反射仮定法線情報生成部３０９を備える。なお、この図において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明は省略する。

領域参照部３０７は、蓄積部３０６に蓄積された領域分割の結果を参照することで、対象となる画素においては、拡散反射成分が支配的か（拡散反射領域であるか）、あるいは、鏡面反射成分が支配的か（鏡面反射領域であるか）、または、その画素が陰領域であるか否かを判断する処理部である。

拡散反射仮定法線情報生成部３０８は、拡散反射領域の画素に対して、拡散反射仮定で法線情報を生成する処理部である。具体的には、上述した近似によって得られた正弦関数において輝度が最大となる偏光主軸角度を、当該画素に対応する被写体の出射面の法線情報として生成する。

鏡面反射仮定法線情報生成部３０９は、鏡面反射領域および陰領域の画素に対して、鏡面反射仮定で法線情報を生成する処理部である。具体的には、上述した近似によって得られた正弦関数において輝度が最小となる偏光主軸角度を、当該画素に対応する被写体の入射面の法線情報として生成する。

図２９は、この法線情報生成部１０４による処理の流れを示すフローチャートである。まず、領域参照部３０７は、領域分割部１０３が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。この処理は、領域判断部３０５の結果が蓄積されている蓄積部３０６から領域分割結果を読み出せばよい。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、拡散反射仮定法線情報生成部３０８は、その画素について拡散反射仮定で法線情報を生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。つまり、上述した近似によって得られた正弦関数において輝度が最大となる偏光主軸角度を、当該画素に対応する被写体の出射面の法線情報として生成する。

また、画素が拡散反射成分が支配的ではない場合（Ｓ３０１でＮｏ）、領域参照部３０７は、鏡面反射成分が支配的（画素が鏡面反射領域である）、または、画素が陰領域であるか否かを判断する（Ｓ３０３）。その結果、鏡面反射成分が支配的、または、画素が陰領域であると判断された場合には（Ｓ３０３でＹｅｓ）、鏡面反射仮定法線情報生成部３０９は、その画素について鏡面反射仮定で法線情報を生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。つまり、上述した近似によって得られた正弦関数において輝度が最小となる偏光主軸角度を、当該画素に対応する被写体の入射面の法線情報として生成する。

一方、画素が影領域であると判断された場合、つまり、拡散反射成分も鏡面反射成分も支配的ではなく、陰領域でもない場合（Ｓ３０３でＮｏ）、この法線情報生成部１０４は、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成処理を行なわない（Ｓ３０５）。

以上のように、本発明に係る画像処理装置に、後処理部としての法線情報生成部を付加することで、陰影領域を含む光学的な領域ごとに法線情報を自動生成する法線情報生成装置が実現される。

なお、図１４等に示される陰影領域検出部３０１は、カメラ２００に搭載された発光装置２０７（フラッシュなど）を利用するようにしても構わない。これは、暗幕のように、十分に小さい反射率をもつ被写体が存在する場合、前述の輝度値による判断のみでは陰影領域と暗幕の区別がつかないためである。このようなフラッシュを利用する本実施の形態の変形例に係る光学的領域分割装置について図を用いて詳述する。

図３０は、このような変形例に係る光学的領域分割装置１００ａの構成を示す機能ブロック図である。ここでは、光学的領域分割装置１００ａによる処理結果を利用する処理例としての法線情報生成部１０４も併せて図示されている。この光学的領域分割装置１００ａは、図１に示された光学的領域分割装置１００に発光部１０５が付加された構成を備える。なお、図３０において、図２６と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。

発光部１０５は、光学的領域分割装置１００ａによる撮像動作に連動して被写体に投光するフラッシュである。このとき、この発光部１０５はフラッシュの点灯制御を行なう。偏光画像撮像部１０１は、発光部１０５と連動し、フラッシュを発光させた状態と発光させない状態の２枚の画像を撮影する。このとき、被写体とカメラ２００の位置関係は変化がないように撮影を行なう。このような撮影は、例えば、カメラ２００の連写機能などを利用して撮影すればよい。

図３１は、この変形例に係る光学的領域分割装置１００ａによる陰影検出処理の流れを示すフローチャートである。つまり、図１５における陰影領域検出処理（Ｓ２０１）の別の手法を示すフローチャートである。まず、陰影領域検出部３０１は、フラッシュを発光させない状態での画素の輝度値を調べる（Ｓ４０１）。もし、画素の輝度値が閾値よりも高い場合（Ｓ４０１でＮｏ）、陰影領域検出部３０１は、画素は低輝度領域（ここでは、陰影領域）ではないと判断し（Ｓ４０２）、処理を終了する。

一方、もし、画素の輝度値が閾値以下である場合（Ｓ４０１でＹｅｓ）、画素が陰影領域である可能性が高いため、陰影領域検出部３０１は、フラッシュを発光させた状態で撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像の差分画像を作成する（Ｓ４０３）。フラッシュの点灯位置が撮像素子位置に十分近く、ほぼ等しいとすると、点灯したフラッシュによって生じる影は撮影画像には存在しない。これは、視線方向と光源方向が等しいためである。そのため、フラッシュを発光させない状態では陰影であった領域は、フラッシュを発光させることにより、直接光が存在する。そのため、陰影領域の輝度値は大きく増える。

一方、画素が陰影領域ではなく、反射率の小さな暗幕であった場合、フラッシュを発光させても反射率が小さいために、ほとんど輝度値は変化しない。すなわち、もし、フラッシュによる差分画像の輝度値が閾値以上だった場合（Ｓ４０４でＹｅｓ）、陰影領域検出部３０１は、その画素は陰影領域と判断し（Ｓ４０５）、処理を終了する。一方、フラッシュによる差分画像の輝度値が閾値より小さかった場合、陰影領域検出部３０１は、その画素は陰影領域ではなく、低反射率領域（あるいは、低反射率画素）であると判断し（Ｓ４０６）、処理を終了する。

このように、たとえ暗幕のような小さな反射率を持った被写体が存在したとしても、正確に陰影領域を検出し、陰影領域を陰領域と影領域とに分類することができる。ここで、陰領域に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。

以上のように、本実施の形態における光学的領域分割装置によれば、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から陰影領域を陰領域と影領域とに分類することができる。

なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、カメラ２００のレンズ前に装着した偏光板を回転させながら撮影することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報：特許文献１に開示されている。

（第２の実施の形態）
次に、本発明の第２の実施の形態における光学的領域分割装置について説明する。

図３２は、本実施の形態における光学的領域分割装置１００ｂの構成を示す機能ブロック図である。この光学的領域分割装置１００ｂは、被写体を撮像することによって被写体の表面を光学的に領域分割する装置であり、低輝度領域を「陰領域または低反射率領域」と影領域とに分類する点に特徴を有し、図１に示された光学的領域分割装置１００における領域分割部１０３に代えて、領域分割部１０３１を備える。ここでは、光学的領域分割装置１００ｂによる処理結果を利用する処理例としての法線情報生成部１０４１も併せて図示されている。この法線情報生成部１０４１は、本発明に係る画像処理装置に必須の構成要素ではないが、本発明に係る画像処理装置の処理結果を利用する後処理部の一例として示されている。なお、図３２において、図２６と共通の構成要素には同一の符号を付し、その説明を省略する。

領域分割部１０３１は、偏光画像の輝度情報と偏光情報生成部１０２で生成された偏光情報とにおける類似性（共通性）を利用して、偏光画像を、光学的に共通する画像領域の集まりからなる複数の領域に分割する処理部である。このとき、領域分割部１０３１は、画像領域の輝度と予め定められたしきい値とを比較し、輝度がしきい値よりも小さい場合に、当該画像領域を、陰影領域を含む低輝度領域（本実施の形態では、「陰領域または低反射率領域」と影領域とを含む領域）として、領域分割をする。本実施の形態では、領域分割部１０３１は、低輝度領域を「陰領域または低反射率領域」と影領域とに分類することで、画像を拡散反射領域、鏡面反射領域、「陰領域または低反射率領域」および影領域に領域分割する。

法線情報生成部１０４１は、領域分割部１０３１で分割された領域ごとに、偏光情報から法線情報を生成する処理部である。この法線情報生成部１０４１は、第１の実施の形態で説明した法線情報生成部１０４と異なり、陰領域を「陰領域または低反射率領域」として法線情報を生成する。

図３３は、本実施の形態における光学的領域分割装置１００ｂおよび法線情報生成部１０４１による処理の流れを示すフローチャートである。なお、図３３において、第１の実施の形態における図４と共通のステップには図４と同一の符号を付しており、その詳細な説明を省略する。

領域分割部１０３１は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および低輝度領域（本実施の形態では、「陰領域または低反射率領域」および影領域）に分類する（Ｓ１０３１）。

法線情報生成部１０４１は、後述するように、領域分割部１０３１が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０４）。このとき、影領域に関しては偏光情報に誤差が多いため、法線情報生成処理を行なわない。

まず、反射率の小さな被写体の偏光特性の違いについて説明する。表面が滑らかな反射率の小さな被写体では、内部反射がほぼ０になるため、拡散反射成分が非常に小さくなる。一方、正反射の条件では、光を反射して鏡面反射が大きくなる。つまり、低反射率領域では、拡散反射成分は小さく、相対的に鏡面反射成分が支配的になると考えられる。これは、反射率の小さな物体は、以下のように陰領域と同様の偏光特性を有することを示している。
（１）「陰領域または低反射率領域」
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
（２）影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

この分類基準を利用することで、低輝度領域を「陰領域または低反射率領域」と影領域とに分類する。以下、図を用いてこの処理を詳述する。

図３４は、図３２に示された光学的領域分割装置１００ｂにおける領域分割部１０３１の詳細な構成を示す機能ブロック図である。この領域分割部１０３１は、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５、蓄積部３０６および低輝度画素検出部３１１を備える。なお、図３４において、第１の実施の形態における図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。

低輝度画素検出部３１１は、偏光画像撮像部１０１が取得した画像のある画素が低輝度領域（「陰領域または低反射率領域」および影領域を含む領域）であるかどうかを推定する処理部である。

図３５は、この領域分割部１０３１による処理の流れを示すフローチャートである。まず、低輝度画素検出部３１１は、偏光画像撮像部１０１が取得した画像のある画素の輝度値を評価する（Ｓ５０１）。これは、前述のステップＳ２０１と同様に、輝度値が閾値以下かそうでないかを評価する。このような低輝度領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。輝度値が閾値より大きかった場合（Ｓ５０１でＮｏ）、領域分割部１０３１は、その画素において拡散反射成分が支配的であるか、鏡面反射成分が支配的であるかを、前述のステップＳ２０２と同様の方法（偏光度比較部３０３による比較）で判断する（Ｓ５０２）。拡散反射鏡面反射分類処理（Ｓ５０２）が終了後、領域判断部３０５は、すべての画素の光学的分類が完了したかどうかをチェックする（Ｓ５０３）。もし、まだ分類を行なっていない画素が存在する場合（Ｓ５０３でＮｏ）、低輝度画素検出部３１１は、別の画素の輝度値を評価する（Ｓ５０１）。また、すべての画素の光学的分類が完了した場合（Ｓ５０３でＹｅｓ）、領域分割部１０３１は、処理を終了する。

一方、画素の輝度値が閾値以下であった場合（Ｓ５０１でＹｅｓ）、その画素が「陰領域または低反射率領域」か影領域かが判断される（Ｓ５０４）。これは、前述のように、偏光推定誤差比較部３０４が、式８で定義される偏光推定誤差Ｅの大きさを評価する（偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較する）ことにより、実現される。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（Ｓ５０４でＹｅｓ）、領域判断部３０５は、画素が影領域であると判断し（Ｓ５０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さかった場合（Ｓ５０４でＮｏ）、領域判断部３０５は、画素が「陰領域または低反射率領域」であると判断する（Ｓ５０６）。このときの閾値Ｔｈ＿Ｅｒｒは前述の方法で決定すればよい。領域分割を行なった結果は、蓄積部３０６へ蓄積される。

法線情報生成部１０４１は、領域分割部１０３１が行なった領域分割結果に基づき、偏光情報から法線情報を生成する。この法線情報生成部１０４１は、構成要素としては、第１の実施の形態で説明した法線情報生成部１０４と同様の構成、つまり、図２６に示されるように、蓄積部３０６、領域参照部３０７、拡散反射仮定法線情報生成部３０８および鏡面反射仮定法線情報生成部３０９を備える。ただし、この法線情報生成部１０４１は、第１の実施の形態と異なり、陰領域を「陰領域または低反射率領域」として法線情報を生成する。

図３６は、この法線情報生成部１０４１による処理の流れを示すフローチャートである。なお、図３６において、図２９と共通のステップには図２９と同一の符号を付しており、その詳細な説明を省略する。

法線情報生成部１０４１の領域参照部３０７は、領域分割部１０３１が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。この処理は、領域判断部３０５の結果が蓄積されている蓄積部３０６から領域分割結果を読み出せばよい。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、拡散反射仮定法線情報生成部３０８は、その画素の法線情報を拡散反射仮定で生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。また、画素は拡散反射成分が支配的ではなく（Ｓ３０１でＮｏ）、鏡面反射成分が支配的、または「陰領域または低反射率領域」であった場合（Ｓ３０６でＹｅｓ）、鏡面反射仮定法線情報生成部３０９は、その画素の法線情報を鏡面反射仮定で生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。一方、画素が影領域であった場合、（Ｓ３０３でＮｏ）、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成部１０４１は、法線情報生成処理を行なわない（Ｓ３０５）。

以上のように、本実施の形態における光学的領域分割装置によれば、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から低輝度領域を「陰領域または低反射率領域」と影領域とに分類できる。そして、「陰領域または低反射率領域」に関しては、鏡面反射を仮定することで、法線情報生成部により、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。

なお、ステップＳ５０４において、その画素が「陰領域または低反射率領域」か影領域かを判断するために、偏光推定誤差ではなく、第１の実施の形態と同様に、偏光度、偏光推定誤差と偏光度の両方、偏光位相を利用するようにしても構わない。

（第３の実施の形態）
次に、本発明の第３の実施の形態における光学的領域分割装置について説明する。

図３７は、本実施の形態における光学的領域分割装置１００ｃの構成を示す機能ブロック図である。この光学的領域分割装置１００ｃは、被写体を撮像することによって被写体の表面を光学的に領域分割する装置であり、正確に法線情報を生成できる場合にだけ法線情報を生成する点に特徴を有し、図１に示された光学的領域分割装置１００の構成に加えて、撮像条件判定部１０６を備える。ここでは、光学的領域分割装置１００ｃによる処理結果を利用する処理例としての法線情報生成部１０４も併せて図示されている。この法線情報生成部１０４は、本発明に係る画像処理装置に必須の構成要素ではないが、本発明に係る画像処理装置の処理結果を利用する後処理部の一例として示されている。なお、図３７において、図２６と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。

撮像条件判定部１０６は、偏光画像撮像部１０１による撮像の対象となる撮像シーンが、領域分割部１０３が正確に領域分割できる撮像条件として予め定められた撮像条件を満たしているか否かを判定する処理部である。

図３８は、この撮像条件判定部１０６の詳細な構成を示す機能ブロック図である。この撮像条件判定部１０６は、ＤＢ３０２、光軸方向検出部３１２および光軸方向比較部３１３を備える。

光軸方向検出部３１２は、光学的領域分割装置１００ｃの光軸方向を検出する角度センサ等である。

光軸方向比較部３１３は、光学的領域分割装置１００ｃが水平面（地平面）よりも上方を向いているかどうかを判断する処理部である。

ここで、本実施の形態においても、第１の実施の形態で説明したように、撮影シーンは、条件１が満たされていることを必要とする。

条件１：「被写体が存在する撮影シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
ただし、光学的領域分割装置１００ｃが置かれている状況においては、上記条件１が満たされているとは限らない。そこで、本実施の形態では、撮像条件判定部１０６は、上記条件１が満たされているかどうかを判定する。ここで、光源は上方にあることが多いことに着目すると、条件１は、以下の条件２では満たされない。

条件２：「撮像者が上方を撮影する」
この条件２は、例えば、以下のような撮影シーンでは成り立つ。
１．屋外シーンにおいて、空や月、星などを撮影する。
２．屋内シーンにおいて、蛍光灯が光っている天井方向を撮影する。

上記撮影シーン１の場合、例えば三日月を撮影することを考える。三日月の陰影領域は陰領域であると考えられる。しかし、この陰影領域は、地球照と呼ばれる地球からの多重反射である照り返しにより輝度を持つ。そのため、陰領域ではあるが、多重反射光の入射方向は地球のみの非常に限られた範囲になり、正反射成分である鏡面反射成分はほとんど存在しないと考えられる。そのため、光学的領域分割装置１００ｃは正確に機能しない。そこで、撮像条件判定部１０６は、光学的領域分割装置１００ｃが正確に機能する（正確に領域分割できる）かどうかを判断し、機能すると考えられる場合には、陰領域、影領域分割処理を行ない、機能しないと考えられる場合には、陰影領域の分割処理を中止し、陰影領域からの法線情報生成処理を中止する。

図３９は、本実施の形態における光学的領域分割装置１００ｃが搭載されたカメラ２００ａのハードウェア構成例を示している。このカメラ２００ａは、撮像画像を光学的に領域分割する機能を備える撮像装置であり、パターン偏光子２０１、撮像素子２０２、メモリ２０３、ＣＰＵ２０４、角度センサ２０５、表示部２０８およびスピーカ２０９を備える。なお、図３９において、図２と共通の構成要素には図２と同一の符号を付しており、その詳細な説明を省略する。

角度センサ２０５は、カメラ２００ａの光軸方向を検出し、その情報を出力する。

表示部２０８は、撮像条件判定部１０６によって撮像シーンが上記条件１を満たさないと判断された場合に、その旨のメッセージを表示するディスプレイである。

スピーカ２０９は、撮像条件判定部１０６によって撮像シーンが上記条件１を満たさないと判断された場合に、その旨のメッセージを音声で出力する。

なお、図３８に示された光軸方向検出部３１２は、図３９に示された角度センサ２０５によって実現される。図３８に示された光軸方向比較部３１３は、図３９に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。

図４０は、本実施の形態における光学的領域分割装置１００ｃおよび法線情報生成部１０４１による処理の流れを示すフローチャートである。なお、図４０において、図４と共通のステップには図４と同一の符号を付しており、その詳細な説明を省略する。

本実施の形態では、光軸方向検出部３１２（角度センサ２０５）は、光学的領域分割装置１００ｃ（カメラ２００ａ）の光軸方向を示す光軸方向情報を取得する（Ｓ１０６）。こうして求めた光軸方向情報を利用して、撮影シーンが、法線情報の生成が実現可能な環境であるかどうかが判断される（Ｓ１０７）。これは、光軸方向比較部３１３が、光学的領域分割装置１００ｃ（カメラ２００ａ）の光軸方向が上方を向いているかどうかを判断することによって行われる。光軸方向比較部３１３は、例えば、光軸が水平方向から４５度以上上方を向いている場合には、光軸方向が上方を向いていると判断する。この閾値４５度は、実験的に決定すればよく、このような閾値は、ＤＢ３０２に保持しておけばよい。ここで、光軸方向が上方を向いていると判断された場合、撮像条件判定部１０６は撮像シーンが条件１を満たさないと判断し（Ｓ１０７でＮｏ）、領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰影領域に分類する（Ｓ１０８）。このケースでは、条件１が満たされていないため、陰影領域を陰領域と影領域とに分類することは行なわれない。続いて、法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０９）。図４１は、この処理（Ｓ１０９）の詳細な流れを示すフローチャートである。なお、図４１において、図２９と共通のステップには図２９と同一の符号を付しており、その詳細な説明を省略する。

法線情報生成部１０４は、領域分割部１０３が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、法線情報生成部１０４は、その画素の法線情報を拡散反射仮定で生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。また、画素は拡散反射成分が支配的ではなく（Ｓ３０１でＮｏ）、鏡面反射成分が支配的であった場合（Ｓ３０７でＹｅｓ）、法線情報生成部１０４は、その画素の法線情報を鏡面反射仮定で法線情報を生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。一方、画素が陰影領域であった場合、つまり、拡散反射成分も鏡面反射成分も支配的ではない場合（Ｓ３０７でＮｏ）、法線情報生成部１０４は、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成処理を行なわない（Ｓ３０５）。

一方、光軸方向が上方を向いていないと判断された場合（Ｓ１０７でＹｅｓ）、撮像条件判定部１０６は、撮像シーンが条件１を満たすと判断し、領域分割部１０３が光学的領域分割処理を行ない（Ｓ１０３）、続いて、法線情報生成部１０４が法線情報を生成する（Ｓ１０４）。

なお、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、表示部２０８が「領域分割が実現できません」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで同様のメッセージを撮像者に伝えるのが望ましい。

もっとも、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、光学的領域分割処理や法線情報生成処理を行なわないのではなく、陰影領域に関しては拡散反射仮定で法線情報を生成し、表示部２０８が「領域分割処理が不安定です」などとディスプレイに表示したり、スピーカ２０９が音声信号で発生させることで同様のメッセージを撮像者に伝えるようにしても構わない。

また、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、法線情報生成部１０４は、陰影領域に関しては、近傍の法線情報を利用して、補間処理などで、法線情報を合成しても構わない。補間処理については、従来の手法を利用すればよい。

また、撮像条件判定部１０６は、光軸方向検出部３１２を利用するものに限るわけではなく、例えば、光学的領域分割装置１００ｃが置かれている環境を認識する機能を有する処理部を利用するようにしても構わない。これは、例えば、ソナーなどを利用することで実現する。このような環境認識機能を有する本実施の形態の変形例に係る光学的領域分割装置について説明する。

図４２は、そのような変形例に係る光学的領域分割装置が搭載されたカメラ２００ｂのハードウェア構成例を示している。このカメラ２００ｂは、図３９に示された本実施の形態におけるカメラ２００ａの構成のうち、角度センサ２０５をソナー２１０に置き換えた構成を備える。なお、図４２において、図３９と共通の構成要素には図３９と同一の符号を付しており、その詳細な説明を省略する。

図４３は、この変形例に係る光学的領域分割装置が備える撮像条件判定部１０６ａの詳細な構成を示す機能ブロック図である。なお、この変形例に係る光学的領域分割装置は、図３７に示された本実施の形態における光学的領域分割装置１００ｃの構成のうち、撮像条件判定部１０６を撮像条件判定部１０６ａに置き換えた構成を備える。この撮像条件判定部１０６ａは、音波を発生し、音波の反射波を受信することで、周囲の対象物までの距離を測定するソナーを有し、ソナーによって当該光学的領域分割装置の近傍に物体があるか否かを判断し、物体がないと判断した場合に、撮像シーンが撮像条件を満たしていないと判定する点に特徴を有し、ＤＢ３０２、撮像環境検出部３１５および撮像環境認識部３１６を備える。なお、図４３において、図３８と共通の構成要素には図３８と同一の符号を付しており、その詳細な説明を省略する。

撮像環境検出部３１５は、周囲の対象物までの距離を測定し、その距離情報を撮像環境情報として生成する処理部であり、図４２に示されたソナー２１０に相当する。

撮像環境認識部３１６は、撮像環境検出部３１５からの撮像環境情報を利用して、撮影シーンが光学的領域分割が実現可能な環境であるかどうかを判断する処理部である。

図４４は、この変形例に係る光学的領域分割装置および法線情報生成部１０４による処理の流れを示すフローチャートである。なお、図４４において、図４０と共通のステップには図４０と同一の符号を付しており、その詳細な説明を省略する。

本変形例に係る光学的領域分割装置では、撮像環境検出部３１５は、撮像環境情報をソナー２１０で取得する（Ｓ１１１）。このソナー２１０は、アクティブソナーであり、超音波や音波を発生させ、その反射波を受信することで、周囲の対象物までの距離を測定する装置である。そのため、ソナー２１０を利用することで、カメラ２００ｂの周囲に物体があるかないか、また、物体がある場合、その物体までの距離情報を撮像環境情報として取得できる。なお、ソナー２１０は、魚群探知機などに広く使用されており、公知であるため、詳細な説明は省略する。

こうして求めた撮像環境情報を利用して、撮影シーンが、光学的領域分割が実現可能な環境であるかどうかが判断される（Ｓ１０７）。これは、撮像環境認識部３１６が、カメラ２００ｂの近傍に物体があるかどうかを判断することによって行われる。具体的には、撮像環境検出部３１５は、カメラ２００ｂの周囲（全方位）の物体までの距離情報を取得し、その距離が一定値ＴＨ＿Ｓより短い立体角の大きさを評価すればよい。このような立体角の大きさが閾値ＴＨ＿ＳＲより小さい場合、撮像条件判定部１０６は撮像シーンが条件１を満たさないと判断し（Ｓ１０７でＮｏ）、領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰影領域に分類する（Ｓ１０８）。条件１が満たされていないため、陰影領域を陰領域と影領域とに分類することは行なわない。さらに法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０９）。一方、このような立体角の大きさが閾値ＴＨ＿ＳＲより大きい場合、撮像条件判定部１０６は撮像シーンが条件１を満たすと判断し（Ｓ１０８でＹｅｓ）、領域分割部１０３によって光学的領域分割処理を行ない、さらに法線情報生成部１０４によって法線情報を生成する。

なお、このような閾値ＴＨ＿Ｓ、ＴＨ＿ＳＲは実験的に決定すればよく、また、ＤＢ３０２に保持しておけばよい。

以上のように、本実施の形態における光学的領域分割装置によれば、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から低輝度画素を陰領域と影領域とに分類することができる。さらに、もし、分類が困難な場合には、精度の悪い結果を求めるのではなく、処理ができないことを撮像者に知らせることで、信頼度の高い領域分割処理を行なうことができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態における光学的領域分割装置について説明する。

図４５は、本実施の形態における光学的領域分割装置１００ｄの構成を示す機能ブロック図である。この光学的領域分割装置１００ｄは、被写体を撮像することによって被写体の表面を光学的に領域分割する装置であり、信頼性の低い領域分割結果および法線情報を生成しない点に特徴を有し、図１に示された光学的領域分割装置１００の構成に加えて、信頼性判定部１０７を備える。ここでは、光学的領域分割装置１００ｄによる処理結果を利用する処理例としての法線情報生成部１０４も併せて図示されている。この法線情報生成部１０４は、本発明に係る画像処理装置に必須の構成要素ではないが、本発明に係る画像処理装置の処理結果を利用する後処理部の一例として示されている。なお、図４５において、図２６と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。また、本実施の形態における光学的領域分割装置１００ｄが搭載されたカメラは、図２に示される第１の実施の形態におけるカメラ２００と同じハードウェア構成を有している。

信頼性判定部１０７は、領域分割部１０３による光学的領域分割結果を利用して、光学的領域分割結果の信頼性を評価し、信頼性がない場合には光学的領域分割結果および法線情報を廃棄する。その結果、信頼性がない領域の領域分割結果および法線情報が破棄される。

図４６は、本実施の形態における光学的領域分割装置１００ｄおよび法線情報生成部１０４による処理の流れを示すフローチャートである。なお、図４６において、図４および図４０と共通のステップには図４および図４０と同一の符号を付しており、その詳細な説明を省略する。信頼性判定部１０７は、領域分割部１０３の光学的領域分割結果を利用して、上述した条件１が満たされているかどうか、つまり、光学的領域分割結果の信頼性を評価する（Ｓ１０７）。信頼性がない場合には（Ｓ１０７でＮｏ）、信頼性判定部１０７は、光学的領域分割結果および法線情報生成部１０４が生成した法線情報を廃棄する（Ｓ１１０）。

ここで、条件１が満たされているかどうかを判断するためには、陰影領域内に正反射多重反射光の影響により鏡面反射成分が支配的となる陰領域が存在するかどうかを判断すればよい。そのために、ここでは、撮像された偏光画像の偏光度と輝度値を利用して信頼性を評価する方法を説明する。これは、陰影領域において、鏡面反射偏光特性を示す画素が存在しない場合、つまり、撮像された画像上に陰領域が存在しない場合、条件１を満たしていないと判断すればよい。

図４７は、信頼性判定部１０７の詳細な構成を示す機能ブロック図である。信頼性判定部１０７は、ＤＢ３０２、蓄積部３０６および陰領域存在判断部３１４を備える。

蓄積部３０６は、領域分割部１０３によって行なわれた領域分割結果を蓄積している。

陰領域存在判断部３１４は、蓄積部３０６に蓄積された領域分割結果を参照し、十分な（予め定められたしきい値以上の）大きさの陰領域が分割されているかどうかを判断する処理部である。

図４６に示される信頼性判定部１０７による処理（Ｓ１０７、Ｓ１１０）の詳細は以下の通りである。

陰領域存在判断部３１４は、蓄積部３０６に蓄積された領域分割結果を参照し、十分な大きさの陰領域が分割されているかどうかを判断する（Ｓ１０７）。その結果、撮像画像中に十分な大きさ、例えば、ＶＧＡ画像において１００画素以上の陰領域が存在しなかった場合（Ｓ１０７でＮｏ）、信頼性判定部１０７は、撮像シーンが条件１を満たさないと判断し、陰影領域に関する光学的領域分割結果および法線情報を廃棄する（Ｓ１１０）。このとき、表示部２０８が「領域分割が実現できません」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで撮像者に伝えることが望ましい。一方、もし、撮像画像中に陰領域が存在した場合（Ｓ１０７でＹｅｓ）、信頼性判定部１０７は、撮像シーンが条件１を満たすと判断し、生成した法線情報を出力する。ここで、陰領域の大きさの閾値は実験的に決定すればよく、このような閾値はＤＢ３０２に保持しておけばよい。

以上のように、本発明の光学的領域分割装置によれば、一般環境において、光源を変動させるような大規模なシステムを必要とせず、スナップショットを撮影するように撮影された画像から低輝度画素を陰領域と影領域とに分類することができる。さらに、もし、分類が困難な場合には、精度の悪い結果を求めるのではなく、処理ができないことを撮像者に知らせることで、信頼度の高い領域分割処理を行なうことができる。

以上、本発明に係る画像処理装置について、第１〜第４の実施の形態およびその変形例を用いて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。

各実施の形態および変形例における任意の構成要素を組み合わせて実現される別の形態や、各実施の形態および変形例に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

また、信頼性判定部１０７によって撮像シーンが条件１を満たさないと判断された場合、法線情報生成処理を行なわないのではなく、処理は行なうが、表示部２０８が「領域分割処理が不安定です」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで撮像者に伝えるようにしても構わない。

また、信頼性判定部１０７によって撮像シーンが条件１を満たさないと判断された場合、陰影領域だけではなく、すべての光学的領域分割結果および法線情報を廃棄するようにしても構わない。

また、上記実施の形態および変形例の一部では、光学的領域分割装置とともに法線情報生成部が図示されたが、本発明に係る画像処理装置は、法線情報生成部を備えてもよいし、法線情報生成部を備えなくてもよい。法線情報生成部は、領域分割部による領域分割の処理結果を利用する処理部の一例に過ぎない。領域分割の結果を利用する他の処理例としては、被写体の形状をモデル化する各種形状情報を生成したり、陰影領域を補正することで立体体感を与える綺麗な画像を生成したりする処理等が考えられる。

また、第４の実施の形態では、領域分割部１０３による光学的領域分割結果を利用して光学的領域分割結果の信頼性が評価されたが、信頼性の評価はこの手法に限定されるものではなく、例えば、被写体の形状情報を用いて光学的領域分割結果の信頼性を評価してもよい。

図４８は、被写体の形状情報を用いて光学的領域分割結果の信頼性を評価する本発明の変形例に係る光学的領域分割装置１００ｅの構成を示す機能ブロック図である。この光学的領域分割装置１００ｅは、被写体を撮像することによって被写体の表面を光学的に領域分割する装置であり、信頼性の低い領域分割結果を出力しない点に特徴を有し、図１に示された光学的領域分割装置１００の構成に加えて、信頼性判定部１０７ａを備える。

信頼性判定部１０７ａは、被写体の形状情報を生成し、生成した形状情報を用いて領域分割部１０３による光学的領域分割結果の信頼性を評価し、信頼性がない場合には光学的領域分割結果を廃棄する処理部であり、図４９に示されるように、ＤＢ３０２、法線情報生成部３１７および位相情報比較部３１８を備える。

ＤＢ３０２は、位相情報比較部３１８での比較に用いられるしきい値を格納している記憶部である。

法線情報生成部３１７は、形状情報生成部２１１で生成された形状情報を利用することで、偏光画像の各画素の対応する法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を法線情報として生成し、生成した法線ベクトルから、パターン偏光子面に投影した法線ベクトルの１自由度情報φ_Ｎを算出する処理部である。

位相情報比較部３１８は、陰影領域に存在するすべての画素について、偏光情報生成部１０２で生成された偏光位相φと法線情報生成部３１７で算出された法線ベクトルの１自由度情報φ_Ｎとを比較し、その差がＤＢ３０２に格納されているしきい値よりも小さいか否かで、それらの値が十分に近いかどうかを判断する処理部である。

図５０は、このような光学的領域分割装置１００ｅが搭載されたカメラ２００ｃのハードウェア構成例を示している。このカメラ２００ｃは、撮像画像を光学的に領域分割する機能を備える撮像装置であり、パターン偏光子２０１、撮像素子２０２、メモリ２０３、ＣＰＵ２０４、角度センサ２０５、表示部２０８、スピーカ２０９および形状情報生成部２１１を備える。この構成は、図３９に示されるカメラ２００ａに形状情報生成部２１１を付加したものに相当する。

形状情報生成部２１１は、被写体の形状情報を生成するものであり、レンジファインダやステレオカメラなどである。なお、図４９に示される法線情報生成部３１７は、図５０に示される形状情報生成部２１１、ＣＰＵ２０４およびメモリ２０３等によって実現され、位相情報比較部３１８は、図５０に示されるＣＰＵ２０４およびメモリ２０３等によって実現される。

図５１は、このような光学的領域分割装置１００ｅによる光学的領域分割の処理の流れを示すフローチャートである。なお、このフローチャートは、図２７に示されるフローチャートにステップＳ１２０〜Ｓ１２３を付加したものに相当する。なお、ここでは、図２７におけるステップＳ１０３がＳ１０３ａとＳ１０３ｂに分離して図示されている。以下、ステップＳ１２０〜Ｓ１２３を説明する。

信頼性判定部１０７ａの法線情報生成部３１７は、形状情報生成部２１１で生成された形状情報を利用することで、偏光画像の各画素の対応する法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を法線情報として生成する（Ｓ１２０）。ここで、生成される法線ベクトルは、光軸方向の焦点位置を原点、撮像素子２０２の光軸方向をＺｃ方向としたカメラ座標系（Ｘｃ−Ｙｃ―Ｚｃ）で表現されている。また、パターン偏光子２０１の主軸角ψや偏光位相φは、ψ＝φ＝０°においてカメラ座標系のＸｃ軸に一致し、ψ＝φ＝９０°においてカメラ座標系のＹｃ軸に一致するものとする。図５２は、この座標系の模式図である。法線情報生成部３１７は、さらに、こうして生成した法線ベクトルから、以下の式１０に従って計算することで、パターン偏光子面に投影した法線ベクトルの１自由度情報φ_Ｎを推定する（Ｓ１２１）。

ところで、こうして求めた法線ベクトルの１自由度情報φ_Ｎは、拡散反射成分が支配的な場合、偏光位相φと等しくなる。つまり、もし、陰影領域に存在するすべての画素において、偏光位相φと形状情報生成部２１１からの形状情報より求めた法線ベクトルの１自由度情報φ_Ｎとが十分に近い場合、陰影領域内の画素はすべて拡散反射成分が支配的であり、正反射多重反射光の影響が存在しないと判断できる。そこで、位相情報比較部３１８は、偏光情報生成部１０２で生成された偏光位相φと法線情報生成部３１７で算出された法線ベクトルの１自由度情報φ_Ｎとを比較し、その差がＤＢ３０２に格納されているしきい値よりも小さいか否かで、それらの値が十分に近いかどうかを判断する（Ｓ１２２）。もし、十分に近かった場合（Ｓ１２２でＹｅｓ）、信頼性判定部１０７ａは、撮像シーンが上記条件１を満たさないと判断し、陰影領域に関する光学的領域分割結果を廃棄する（Ｓ１２３）。一方、もし、撮像画像中に陰領域が存在した場合、信頼性判定部１０７ａは、撮像シーンが条件１を満たすと判断し（Ｓ１２２でＮｏ）、陰影領域に関する光学的領域分割結果を出力する。前述のように、被写体において鏡面反射成分が支配的か、拡散反射成分が支配的かによって偏光位相は９０°異なることが知られているため、このように位相情報を比較するためのしきい値は、４５°を設定すればよい。もちろん、位相情報を比較するためのしきい値は実験的に決定しても構わない。このようなしきい値はＤＢ３０２に保持しておけばよい。

なお、光学的領域分割装置１００ｅが備える法線情報生成部３１７としては、形状情報生成部２１１で生成された形状情報を利用して法線情報を生成するものに限られず、偏光情報から法線情報を生成するものであってもよい。つまり、この光学的領域分割装置１００ｅは、法線情報生成部３１７に代えて、第１の実施の形態における法線情報生成部１０４を備えてもよい。

また、本発明は、画像処理装置として実現されるだけではなく、図５３に示されるように、本発明に係る画像処理装置を内蔵するデジタルスチルカメラやデジタルムービーカメラ等の応用製品としても実現され得る。

また、図１４等に示される陰影領域検出部３０１は、影領域を検出するために、まず輝度値を用いて陰影領域を判断したが（図１５のＳ２０１等）、本発明は、このような手順に限定されず、偏光情報生成部１０２によって生成された偏光情報だけで影領域を検出してもよい。このような処理は、油絵など、影領域は存在するが、陰領域が存在しないことが分かっている被写体に対して有効である。これは、黒い絵の具のように、十分に小さい反射率をもつ被写体が存在する場合、前述の輝度値による判断のみでは陰影領域と黒い絵の具の区別がつかないためである。このような、本実施の形態の変形例に係る光学的領域分割装置について図を用いて詳述する。

このような変形例に係る光学的領域分割装置の構成を示す機能ブロック図は図２６と同様であるため、ブロック構成の説明は省略する。

図５４は、このような変形例に係る光学的領域分割装置による陰影検出処理の流れを示すフローチャートである。つまり、図１５に示された陰影領域検出処理（Ｓ２０１、Ｓ２０２、Ｓ２０４〜Ｓ２０６）の別の手法を示すフローチャートである。図５４に示されるように、偏光度比較部３０３は、画素の偏光度が閾値ＴＨ＿ＰＳより小さいか、大きいかを調べる（Ｓ４０７）。画素の偏光度が閾値ＴＨ＿ＰＤＳより大きかった場合（Ｓ４０７でＮｏ）、陰影領域検出部３０１は、その画素は影領域ではないと判断し（Ｓ４０２）、その画素において拡散反射が支配的であるか鏡面反射が支配的であるかを判定し（Ｓ２０２）、処理を終了する。一方、偏光度が閾値ＴＨ＿ＰＳより小さかった場合（Ｓ４０７でＹｅｓ）、陰影領域検出部３０１は、その画素が影領域であると判断し（Ｓ４０５）、処理を終了する。

図５５は、油絵の被写体を撮影した場合の偏光度ρを画像として表示した図である。この図において、図５５（ａ）は被写体である油絵の画像を示し、図５５（ｂ）は、図５５（ａ）に示された画像に対応する偏光度ρ（つまり、偏光情報生成部１０２によって生成された偏光情報）を示している。また、図５６は、このような変形例に係る光学的領域分割装置によって、図５５（ａ）に示される画像に対して、図５５（ｂ）に示される偏光度ρを用いて抽出された影領域を示している。この図における黒色領域が、抽出された影領域である。なお、こうして抽出された影領域を最終的な影領域として出力してもよいし、あるいは、このように抽出された影領域に対して、画像処理で広く使われている領域の収縮膨張処理を行なうことにより、新たに再定義した領域を最終的な影領域として出力してもよい。

このような変形例に係る光学的領域分割装置による画像処理のメリットは次の通りである。図５５及び図５６において、領域Ａは影領域を、領域Ｂは黒い絵の具の領域を示している。図５５（ａ）に示される画像では、これら領域Ａと領域Ｂの輝度情報がほぼ等しいことから分かるよう、領域Ａと領域Ｂとの分離が困難である。しかしながら、図５５（ｂ）の偏光度情報を利用することで、図５６に示されるように、領域Ａは影領域であり、領域Ｂは影領域ではないと、正しく領域抽出ができている。

本発明に係る画像処理装置は、被写体の画像における陰影に関する処理を行う画像処理装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。

図１は、本発明の第１の本実施の形態における光学的領域分割装置の構成を示す機能ブロック図である。 図２は、本発明の第１、第２および第４の本実施の形態における光学的領域分割装置が搭載されたカメラの構成図である。 図３は、図２に示されたカメラが備えるパターン偏光子と撮像素子との関係を示す模式図である。 図４は、本発明の第１の本実施の形態における光学的領域分割装置による処理の流れを示すフローチャートである。 図５は、図２に示されたカメラが備えるパターン偏光子の配列状態を説明するための模式図である。 図６は、正弦関数輝度変化と観測輝度点を説明するための模式図である。 図７（ａ）は、球体であるプラスチック製ボールの被写体を示す図、図７（ｂ）〜図７（ｄ）は、それぞれ、その被写体を撮影した場合の偏光度ρ、偏光位相φ、偏光推定誤差Ｅを画像として表示した図である。 図８（ａ）〜図８（ｄ）は、それぞれ、図７（ａ）〜図７（ｄ）の濃淡を明瞭化した模式図である。 図９は、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の入射角に対する偏光度を示すグラフである。 図１０は、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における拡散反射成分の出射角に対する偏光度を示すグラフである。 図１１は、陰領域と影領域による陰影領域の分類を説明するための模式図である。 図１２は、陰領域における多重反射光の入射を説明するための模式図である。 図１３は、影領域における多重反射光の入射を説明するための模式図である。 図１４は、本発明の第１の本実施の形態における領域分割部の詳細な構成を示す機能ブロック図である。 図１５は、本発明の第１の本実施の形態における領域分割部による処理の流れを示すフローチャートである。 図１６（ａ）図１６（ｂ）図１６（ｃ）は、本発明の第１の本実施の形態における領域分割部による光学的領域分割結果を示す図である。 図１７は、本発明の第１の本実施の形態における拡散反射鏡面反射分類処理の流れを示すフローチャートである。 図１８は、本発明の第１の本実施の形態における領域分割部による領域分割の具体例を示す図である。 図１９は、領域分割部による領域分割時の判断基準の具体例を示す図である。 図２０は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２１は、図２０に示された領域分割部による拡散反射鏡面反射分類処理の流れを示すフローチャートである。 図２２は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２３は、図２２に示された領域分割部による処理の流れを示すフローチャートである。 図２４は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２５は、図２４に示された領域分割部による処理の流れを示すフローチャートである。 図２６は、本発明に係る画像処理装置に法線情報生成部を付加した装置の構成を示す機能ブロック図である。 図２７は、図２６に示された光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。 図２８は、図２６に示された法線情報生成部の詳細な構成を示す機能ブロック図である。 図２９は、図２６に示された法線情報生成部による処理の流れを示すフローチャートである。 図３０は、フラッシュを利用した第１の本実施の形態の変形例における光学的領域分割装置の構成を示す機能ブロック図である。 図３１は、図３０に示される光学的領域分割装置による陰影検出処理の流れを示すフローチャートである。 図３２は、本発明の第２の本実施の形態における光学的領域分割装置の構成を示す機能ブロック図である。 図３３は、本発明の第２の本実施の形態における光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。 図３４は、本発明の第２の本実施の形態における領域分割部の詳細な構成を示す機能ブロック図である。 図３５は、本発明の第２の本実施の形態における領域分割部による処理の流れを示すフローチャートである。 図３６は、本発明の第２の本実施の形態における法線情報生成部による処理の流れを示すフローチャートである。 図３７は、本発明の第３の本実施の形態における光学的領域分割装置の構成を示す機能ブロック図である。 図３８は、本発明の第３の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図３９は、本発明の第３の本実施の形態における光学的領域分割装置が搭載されたカメラの構成例である。 図４０は、本発明の第３の本実施の形態における光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。 図４１は、本発明の第３の本実施の形態における法線情報生成部による処理の流れを示すフローチャートである。 図４２は、ソナーを利用した本発明の第３の本実施の形態の変形例における光学的領域分割装置が搭載されたカメラの構成例である。 図４３は、本発明の第３の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図４４は、図４２に示された光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。 図４５は、本発明の第４の本実施の形態における光学的領域分割装置の構成を示す機能ブロック図である。 図４６は、本発明の第４の本実施の形態における光学的領域分割装置および法線情報生成部による処理の流れを示すフローチャートである。 図４７は、本発明の第４の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図４８は、被写体の形状情報を用いて光学的領域分割結果の信頼性を評価する本発明の変形例に係る光学的領域分割装置の構成を示す機能ブロック図である。 図４９は、図４８に示される光学的領域分割装置が備える信頼性判定部の詳細な構成を示す機能ブロック図である。 図５０は、図４８に示される光学的領域分割装置が搭載されたカメラのハードウェア構成例を示す図である。 図５１は、図４８に示される光学的領域分割装置による光学的領域分割の処理の流れを示すフローチャートである。 図５２は、カメラ座標系における法線ベクトルを説明する図である。 図５３（ａ）図５３（ｂ）は、発明に係る画像処理装置を内蔵する応用製品の例を示す図である。 図５４は、本発明の変形例に係る光学的領域分割装置による陰影検出処理の流れを示すフローチャートである。 図５５（ａ）は、被写体である油絵の画像、図５５（ｂ）は、図５５（ａ）に示された画像に対応する偏光度ρ（偏光情報）を示す図である。 図５６は、同光学的領域分割装置によって抽出された影領域を示す図である。

符号の説明

１００、１００ａ〜１００ｅ 光学的領域分割装置
１０１ 偏光画像撮像部
１０２ 偏光情報生成部
１０３、１０３ａ〜１０３ｃ、１０３１ 領域分割部
１０４、１０４１ 法線情報生成部
１０５ 発光部
１０６、１０６ａ 撮像条件判定部
１０７、１０７ａ 信頼性判定部
１１０ 画像情報取得部
１２０ 陰影領域抽出部
１３０ 出力部
２００、２００ａ〜２００ｃ カメラ
２０１ パターン偏光子
２０２ 撮像素子
２０３ メモリ
２０４ ＣＰＵ
２０５ 角度センサ
２０６ 撮像単位
２０７ 発光装置
２０８ 表示部
２０９ スピーカ
２１０ ソナー
２１１ 形状情報生成部
３０１ 陰影領域検出部
３０２ ＤＢ（データベース）
３０３ 偏光度比較部
３０４ 偏光推定誤差比較部
３０５ 領域判断部
３０６ 蓄積部
３０７ 領域参照部
３０８ 拡散反射仮定法線情報生成部
３０９ 鏡面反射仮定法線情報生成部
３１０ 輝度比較部
３１１ 低輝度画素検出部
３１２ 光軸方向検出部
３１３ 光軸方向比較部
３１４ 陰領域存在判断部
３１５ 撮像環境検出部
３１６ 撮像環境認識部
３１７ 法線情報生成部
３１８ 位相情報比較部

Claims (20)

1. 被写体の画像における陰影に関する処理を行う画像処理装置であって、
   前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得部と、
   前記画像情報取得部で取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、それぞれ、前記被写体画像から抽出する陰影領域抽出部と、
   前記陰影領域抽出部で抽出された陰領域及び影領域それぞれを特定する情報を出力する出力部と
   を備えることを特徴とする画像処理装置。
2. 前記被写体画像は、複数の単位画像から構成され、
   前記画像情報取得部は、前記単位画像ごとに、前記輝度情報及び前記偏光情報を取得し、
   前記陰影領域抽出部は、前記単位画像の単位で、前記陰領域及び前記影領域を抽出し、
   前記出力部は、前記陰影領域抽出部で抽出された陰領域及び影領域を構成する単位画像に対して、それぞれ、陰領域及び影領域であることを示す識別子を付与し、付与した識別子を出力する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記出力部は、陰領域及び影領域を特定する情報として、それぞれ、前記被写体画像における陰領域及び影領域に対応する部分を出力する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記画像情報取得部は、
   偏光主軸角度が異なる複数の偏光子を透過してくる光を受光することで、前記輝度情報をもつ被写体の偏光画像を取得する偏光画像撮像部と、
   取得された前記偏光画像から、当該偏光画像を構成する単位画像のそれぞれについて、前記複数の偏光子の偏光主軸角度と前記複数の偏光子を透過した光の輝度との対応関係を用いて、前記偏光情報を生成する偏光情報生成部とを有し、
   前記陰影領域抽出部は、前記単位画像ごとに、前記偏光画像の輝度情報に基づいて、当該単位画像の輝度と予め定められたしきい値とを比較し、前記輝度が前記しきい値よりも小さい場合に、当該単位画像が、陰領域及び影領域を含む低輝度領域に属すると判断し、前記低輝度領域に属する単位画像について、前記偏光情報生成部で生成された偏光情報に基づいて、当該単位画像が陰領域及び影領域のいずれであるかを判断することによって、前記陰領域及び前記影領域を抽出する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記偏光画像撮像部は、前記偏光画像を取得するための複数の撮像単位から構成され、
   前記複数の撮像単位のそれぞれは、
   異なる偏光主軸角度をもつ複数の偏光子と、
   前記複数の偏光子のそれぞれを通過した光を受光する複数の画素を有し、
   前記偏光情報生成部は、前記撮像単位で得られた画像を前記単位画像として偏光情報を生成する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記陰影領域抽出部は、前記低輝度領域に属する単位画像について、前記偏光情報が鏡面反射の偏光特性を示すか否かを判断し、前記偏光情報が鏡面反射の偏光特性を示す場合に、当該単位画像を陰領域として抽出する
   ことを特徴とする請求項４記載の画像処理装置。
7. 前記偏光情報生成部は、前記偏光情報として、光がどれだけ偏光しているかを表す指標である偏光度を生成し、
   前記陰影領域抽出部は、前記低輝度領域に属する単位画像における偏光度と予め定められたしきい値とを比較し、前記偏光度が前記しきい値よりも小さい場合に、当該単位画像を影領域として抽出し、前記偏光度が前記しきい値以上である場合に、当該単位画像を陰領域として抽出する
   ことを特徴とする請求項４記載の画像処理装置。
8. 前記偏光情報生成部は、前記偏光情報として、前記偏光画像撮像部で得られた輝度と、前記偏光主軸角度と前記輝度との対応関係を近似した正弦関数から定まる輝度との差である偏光推定誤差を生成し、
   前記陰影領域抽出部は、低輝度領域に属する単位画像における偏光推定誤差と予め定められたしきい値とを比較し、前記偏光推定誤差が前記しきい値よりも大きい場合に、当該単位画像を影領域として抽出し、前記偏光推定誤差が前記しきい値以下である場合に、当該単位画像を陰領域として抽出する
   ことを特徴とする請求項４記載の画像処理装置。
9. 前記偏光画像撮像部は、前記被写体に対してフラッシュによる投光をした場合における第１偏光画像と、フラッシュによる投光をしない場合における第２偏光画像とを取得し、
   前記陰影領域抽出部は、低輝度領域に属する単位画像について、前記第１偏光画像および前記第２偏光画像における輝度の差分を算出し、算出した差分と予め定められたしきい値とを比較し、前記差分が前記しきい値よりも大きい場合に、当該単位画像を陰領域または影領域として抽出する
   ことを特徴とする請求項４記載の画像処理装置。
10. 前記陰影領域抽出部は、前記低輝度領域に属する単位画像について、前記偏光情報が鏡面反射の偏光特性を示すか否かを判断し、前記偏光情報が鏡面反射の偏光特性を示す場合に、当該単位画像を「陰領域または低反射率領域」として抽出する
    ことを特徴とする請求項４記載の画像処理装置。
11. 前記偏光情報生成部は、前記偏光情報として、光がどれだけ偏光しているかを表す指標である偏光度を生成し、
    前記陰影領域抽出部は、低輝度領域に属する単位画像における偏光度と予め定められたしきい値とを比較し、前記偏光度が前記しきい値よりも小さい場合に、当該単位画像を影領域として抽出し、前記偏光度が前記しきい値以上である場合に、当該単位画像を「陰領域または低反射率領域」として抽出する
    ことを特徴とする請求項１０記載の画像処理装置。
12. 前記偏光情報生成部は、前記偏光情報として、前記偏光画像撮像部で得られた輝度と、前記偏光主軸角度と前記輝度との対応関係を近似した正弦関数から定まる輝度との差である偏光推定誤差を生成し、
    前記陰影領域抽出部は、低輝度領域に属する単位画像における偏光推定誤差と予め定められたしきい値とを比較し、前記偏光推定誤差が前記しきい値よりも大きい場合に、当該単位画像を影領域として抽出し、前記偏光推定誤差が前記しきい値以下である場合に、当該単位画像を「陰領域または低反射率領域」として抽出する
    ことを特徴とする請求項１０記載の画像処理装置。
13. 前記画像処理装置はさらに、前記偏光画像撮像部による撮像の対象となる撮像シーンが、前記陰影領域抽出部が正確に領域抽出できる撮像条件として予め定められた撮像条件を満たしているか否かを判定する撮像条件判定部を備え、
    前記陰影領域抽出部は、前記撮像条件判定部によって撮像条件が満たされていないと判定された場合には、低輝度領域についての領域抽出を中止する
    ことを特徴とする請求項４記載の画像処理装置。
14. 予め定められた前記撮像条件は、「被写体が存在する撮影シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」という条件である
    ことを特徴とする請求項１３記載の画像処理装置。
15. 前記撮像条件判定部は、前記偏光画像撮像部の撮像方向を検出する角度センサを有し、前記角度センサによって前記偏光画像撮像部が水平面よりも上方を向いていることが検出された場合に、前記撮像シーンが前記撮像条件を満たしていないと判定する
    ことを特徴とする請求項１３記載の画像処理装置。
16. 前記撮像条件判定部は、音波を発生し、前記音波の反射波を受信することで、周囲の対象物までの距離を測定するソナーを有し、前記ソナーによって当該画像処理装置の近傍に物体があるか否かを判断し、物体がないと判断した場合に、前記撮像シーンが前記撮像条件を満たしていないと判定する
    ことを特徴とする請求項１３記載の画像処理装置。
17. 前記画像処理装置はさらに、前記陰影領域抽出部による領域抽出の結果を評価することで、領域抽出の信頼性があるか否かを判定し、信頼性がないと判定した場合に、前記陰影領域抽出部による領域抽出の結果を破棄する信頼性判定部を備える
    ことを特徴とする請求項４記載の画像処理装置。
18. 信頼性判定部は、前記陰影領域抽出部による領域抽出の結果、低輝度領域において陰領域が存在するか否かを判断し、低輝度領域において陰領域が存在しない場合に、前記領域抽出の信頼性がないと判定する
    ことを特徴とする請求項１７記載の画像処理装置。
19. 被写体の画像における陰影に関する処理を行う画像処理方法であって、
    前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップで取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、それぞれ、前記被写体画像から抽出する陰影領域抽出ステップと、
    前記陰影領域抽出ステップで抽出された陰領域及び影領域それぞれを特定する情報を出力する出力ステップと
    を含む画像処理方法。
20. 被写体の画像における陰影に関する処理を行う画像処理装置のためのプログラムであって、
    請求項１９記載の画像処理方法をコンピュータに実行させる
    ことを特徴とするプログラム。

Images