[go: up one dir, main page]

JP3955616B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP3955616B2
JP3955616B2 JP2006549202A JP2006549202A JP3955616B2 JP 3955616 B2 JP3955616 B2 JP 3955616B2 JP 2006549202 A JP2006549202 A JP 2006549202A JP 2006549202 A JP2006549202 A JP 2006549202A JP 3955616 B2 JP3955616 B2 JP 3955616B2
Authority
JP
Japan
Prior art keywords
pixel
subject
reflection component
image processing
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006549202A
Other languages
English (en)
Other versions
JPWO2007029446A1 (ja
Inventor
堅司 近藤
克洋 金森
一生 登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3955616B2 publication Critical patent/JP3955616B2/ja
Publication of JPWO2007029446A1 publication Critical patent/JPWO2007029446A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Polarising Elements (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、偏光フィルタを通して被写体を撮影した画像において、拡散反射成分及び鏡面反射成分を、両者の確率的独立性を利用して分離する方法に関し、特に、一般の照明環境において反射成分分離を可能とする技術に属する。
物体からの反射光は、鏡面反射成分と拡散反射成分の２成分の和として表現できる。この２成分による反射は、非特許文献１において、２色性反射モデル(dichromatic reflection model)として提案されている。鏡面反射成分は、物体表面と空気層の間の境界で反射される光であり、拡散反射成分は、物体表面を通過して物体内部に入射した光が色素により反射を繰り返して再び空気中に戻ってきた光である。
対応点探索や照度差ステレオ等の画像処理アルゴリズムの多くは拡散反射を前提にしており、鏡面反射は多くの画像処理アルゴリズムの性能低下要因となる。このため、鏡面反射成分と拡散反射成分を分離する技術が数多く提案されてきた。
鏡面反射成分と拡散反射成分とを分離する手法では、（Ａ）反射光の色特性を利用するもの、（Ｂ）鏡面反射の偏光特性を利用するもの、の２方式が数多く提案されてきた。
（Ａ）は、被写体が誘電体の場合に、拡散反射光は物体色を反映し、鏡面反射光は照明色を反映することから、色ベクトルの違いを利用して両反射成分を分離するものである。しかしながら、物体色と照明色が類似している場合や、他の物体が相互反射により映り込んでいる場合には、うまく分離できないという問題がある。また、被写体が金属の場合には、金属の種類によってはフレネル係数の波長依存性が大きく、鏡面反射光と照明光の色ベクトルが一致しないため色特性を利用した分離方法を適用できない。
一方、（Ｂ）は、鏡面反射成分が多くの場合偏光しており、拡散反射成分が殆どの場合非偏光とみなせることを利用して両反射成分を分離するものである。偏光を利用した方式としては、非特許文献２、非特許文献３、特許文献１、特許文献２等が提案されている。これらの手法は偏光を用いた方法であるため、色特性を用いる方法とは異なり、照明色及び物体色に依存しないで処理が行い得るという利点がある。
非特許文献２では、ガラスの表面で反射する光がガラスを通過してくる光よりも強く偏光していることを利用して、カメラに取り付けた偏光フィルタを回転させながら取り込んだ複数の画像から各画素の輝度最小値を求めることにより、ガラスに映り込んだ像とその背後にある物体からの像とを分離している。しかしながら、ガラスに映り込んだ像が良好に分離できるのは、ガラスへの入射角がブリュースタ角に近い場合のみである。
非特許文献３では、カメラに取り付けた偏光フィルタを回転させながら取り込んだ複数の画像において、画素毎に、輝度最小値及び最大値を求め、それらの比を基にフレネル係数の平行成分・垂直成分の比を推定して、入射角がブリュースタ角以外でも被写体からの鏡面反射光と拡散反射光を分離している。しかしながら、鏡面反射が存在する領域では拡散反射成分が一定であるという仮定を用いており、拡散反射によるテクスチャがある被写体には適用できない。
特許文献１では、照明側とカメラ側の両方に偏光フィルタを使用する。照明光を直線偏光させ、カメラ側に取り付けた偏光フィルタを回転させながら取り込んだ複数の画像において、画素毎に輝度最小値を求め、それらの最小値で構成される画像を拡散反射画像として記録するものである。この手法は、照明光が完全に偏光している場合、その鏡面反射光は入射角によらず完全に偏光する性質を利用している。しかしながら、この手法は完全偏光の照明以外からの鏡面反射光を取り除くことが出来ないので、無光沢・黒色の遮光箱内で利用しており、一般的な環境では使用することができない。
特許文献２では、鏡面反射成分と拡散反射成分間には確率的独立性があることを仮定して、偏光フィルタを通して撮影した複数の画像から両反射成分を分離する。この手法は、非特許文献２とは異なり、ブリュースタ角以外でも反射成分分離が可能であり、また非特許文献３とは異なり、拡散反射によるテクスチャがある被写体にも適用可能であり、さらに特許文献１とは異なり、照明を偏光させる必要がない。
この特許文献２の方法について以降説明を行うが、その前に物体からの光の反射と偏光について一般的な説明を行っておく。
先に触れた２色性反射モデルによれば、物体からの反射光は、拡散反射成分と鏡面反射成分の２成分の和で表現される。拡散反射成分Ｌｄｉｆｆは（数１）で表されるLambertianモデルで表現されることが多い。
ここで、Ｌｉは入射光の強度であり、θｉは入射角、κｄｉｆｆは物体の拡散反射率である。この拡散反射成分は、殆どの場合非偏光とみなすことができる。
一方、鏡面反射成分Ｌｓｐｅｃは（数２）で表されるTorrance-Sparrowモデルで表現されることが多い。
ここで、ＬｉはLambertianモデルの時と同じく入射光の強度であり、θｒは物体表面の法線と視線方向のなす角度であり、αは鏡面反射を形成するマイクロファセットの法線方向と物体表面の法線方向とのなす角であり、σαは物体表面の粗さを表すパラメータである。また、Ｆは反射エネルギについてのフレネル係数であり、マイクロファセットへの入射角θ'ｉ及び２つの媒質の屈折率η１，η２の比である相対屈折率ηに依存する。媒質が誘電体の場合は実数となり、以後ｎで表す。Ｇは幾何減衰率であり、マイクロファセットによる入射光の遮蔽(masking)、反射光の遮蔽(shadowing)の影響を表す。ｃは拡散反射と鏡面反射の比率を表す定数である。
この鏡面反射成分は、光の入射面に対して平行な成分と垂直な成分に対するフレネル係数が異なることにより偏光する。平行成分と垂直成分に対する、反射エネルギについてのフレネル係数は、それぞれ（数３）、（数４）のようになる。
ここで、θ"ｉはマイクロファセットに関する屈折角であり、Snellの法則から（数５）が成り立つ。
ここで、ｎ１及びｎ２は、それぞれ、入射側の媒質１の屈折率，屈折側の媒質２の屈折率である。以後は、屈折率ｎ２とｎ１との比を相対屈折率ｎで表す。
図２６に相対屈折率ｎ＝１．６の場合の、入射面に対する平行成分と垂直成分に対するフレネル係数のグラフを示す。
以上から、非偏光である入射光に対する反射光の強度Ｌｒは（数６）のように表すことができる。ここで、Ｌ'ｓｐｅｃは、（数２）で表される鏡面反射成分Ｌｓｐｅｃから、フレネル強度反射率の項を除いたものである。
偏光フィルタを通して物体からの反射光を観測した場合、その強度は、偏光フィルタを通過する前の反射光のうち、偏光フィルタの主軸に平行な成分の強度となる。偏光フィルタを回転させながら物体からの反射光を観測した場合、その強度は偏光フィルタの主軸の角度に応じて、図２７のようにsin関数的に変化する。図２６が示すように、殆どの入射角において、反射光の入射面に対する垂直成分は平行成分よりも大きくなる。よって、観測される鏡面反射成分強度は、偏光フィルタの主軸が入射面に平行な場合（偏光フィルタの主軸と入射面のなす角ψが０radの時）に最小となり、垂直な場合（偏光フィルタの主軸と入射面のなす角ψがπ／２radの時）に最大となる。また、拡散反射成分は、非偏光とみなすことができるので偏光フィルタの主軸方向によらず一定である。
Torrance-Sparrowモデルにおいては、入射光が物体表面上のマイクロファセットにより反射されることで鏡面反射が生じているとされている。即ち、観測画像の各画素における鏡面反射成分の入射面及び局所入射角は、光源方向とカメラ視線方向によって決定され、物体表面の法線方向とは独立である。
特許文献２の方法は、光源が十分遠くにあり、カメラモデルとして正射影モデルを仮定している。この場合には、図３３のように、撮影画像における、鏡面反射を生じる全画素において入射面と局所入射角が同一であるとみなすことができる。ここで、「入射面が同一である」とは、図５のような、注目している画素に対応する入射面を画像平面に投影した方向が、鏡面反射を生じている画素について全て等しいことを表すものとする。また、同時に、物体の屈折率が一様であると仮定している。これらの仮定の下では、物体に対応する全画素のフレネル係数が同一となり、偏光フィルタを回転させたときの鏡面反射の輝度値変化は、全画素において同位相となる。
ここで、Ｉｄ，Ｉｓ，Ｉをそれぞれ拡散反射画像ベクトル、鏡面反射画像ベクトル、観測画像ベクトルとすると、（数７）の関係が成り立つ。尚、ベクトルＩｄ，Ｉｓ，Ｉは、いずれも画素数分の次元数を持つ列ベクトルである。ｆ(ψ)は、偏光フィルタの主軸と入射面がなす角度ψの関数（スカラー）である。
これらの関係を図示すると、図２８のようになる。観測画像ベクトルは、ｆ(０)Ｉｓとｆ(π/2）Ｉｓの範囲で増減することになる。異なった主軸を持った偏光フィルタを介して、複数、例えば２枚の画像ベクトルＩ１，Ｉ２を観測した場合、図２９に示すように、その差(Ｉ１−Ｉ２)から、鏡面反射画像ベクトルＩｓの方向が得られる。よって、この差のベクトルに適当な定数ｋを乗じて観測画像ベクトルから減じれば、拡散反射画像ベクトルＩｄが得られる。
特許文献２の方法は、拡散反射画像ベクトルＩｄと鏡面反射ベクトルＩｓとの間の確率的独立性を仮定し、両ベクトルと係数ｆ(ψ)を得ている。具体的には、
（１）観測された複数の画像行ベクトルを要素に持つ行列を、最大階数分解を利用して積の形に分解する。
（２）任意の２×２正則行列を導入し、拡散反射画像ベクトル候補と鏡面反射画像ベクトル候補を仮決定する。
（３）両者の相互情報量を評価することにより、相互情報量が最小（確率的独立性が最大）となる拡散反射画像ベクトル、鏡面反射画像ベクトル、係数ｆ(ψ)行列を推定値として採用する。
特開平１１−４１５１４号公報 特許第３４５９９８１号公報 S.Shafer, "Using color to separate reflection components", Color Research and Applications, vol.10, no.4, pp.210-218, 1985 岩瀬正樹，山村毅，田中敏光，大西昇，「映り込み分離カメラシステム」，電子情報通信学会論文誌D-II, Vol.J81-D-II, No.6, pp.1224-1232, 1998年6月 L.B.Wolff, "Using Polarization to Separate Reflection Components", Proc. IEEE Conf. CVPR, pp.363-369, 1989
特許文献２の方法では、図３３のように、平行光光源（光源が十分遠くにある状態と等価）を仮定し、同時に、カメラモデルとして正射影モデルを仮定している。しかしながら、我々が普段生活をしている一般環境おいては、平行光の仮定は殆ど成り立たない。屋外においては、晴天の太陽光は平行光とみなせるものの、曇天の場合は空全体が拡散面光源の状態となり平行光とみなすことができない。また、室内においては、ある程度の大きさを持った照明器具が近距離にある場合や、複数の照明器具が存在する場合は平行光とみなすことができない。また、屋外又は室内において、相互反射が存在する場合は平行光とみなすことができない。
図３０は、図３１に示す環境下で、なめらかな表面を持つゴム製の球体を撮影した画像である。図３１から分かるように、被写体のゴム球の左側方及び上方に蛍光灯照明が設置されている。図３０においては、図３１の蛍光灯照明Ａから、鏡面反射領域１が、蛍光灯照明群Ｂの一部から鏡面反射領域２が、被写体のゴム球上に生じている。これらの鏡面反射は異なる方向からの照明によって生じており、照明環境全体では平行光とみなすことはできないので、カメラ前に設置した偏光フィルタを回転させたときの鏡面反射の輝度値変化が全画素において同位相にならない。図３０の小領域１及び小領域２における、カメラ前の偏光フィルタ角度に対する輝度値変化のグラフを図３２に示す。偏光フィルタは、ある基準方向を０度とし、１８０度まで１０度間隔で回転させた。領域１と領域２とでは、輝度値の位相がほぼ逆転していて、同位相にならないため、特許文献２の方法では、このような照明環境下において鏡面反射を分離できない。
前記の問題に鑑み、本発明は、一般の照明環境においても、偏光フィルタを通して被写体を撮影した画像から拡散／鏡面反射成分を分離することを課題とする。
本発明は、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に入射面を特定するとともに、入射角を算出し、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つ以上の画素集合を形成し、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するものである。
本発明によると、鏡面反射が生じている画素群について、画素毎に、入射面及び入射角を求めた後、両者がそれぞれ類似している画素同士をクラスタリングし、クラスタリングされた各画素集合において、確率的独立性を用いた反射成分分離を行う。すなわち、任意の照明下で撮影した画像において、様々な入射面および入射角の鏡面反射光が混在している場合であっても、入射面及び入射角の両方が類似している画素同士がクラスタリングされ、クラスタリングされた各画素集合において反射成分分離が行われる。このため、入射面及び入射角が画素毎にまちまちであっても、反射成分分離を精度良く実行することが可能となる。したがって、一般的な照明環境にて撮影された画像においても拡散反射成分及び鏡面反射成分を分離することができる。
ただし、確率的独立性を用いた反射成分分離が可能となるためには、各画素集合において、被写体の屈折率が略一定であることが必要となる。また、被写体が、撮影画像の一画素に対応する局所領域において光学的に滑らかであるとき、一画素内で、入射面および入射角が一定とみなすことができるので、反射成分分離がより精度良く実行可能となる。
図３４は、ある入射面において、非平行光の環境下で生じた鏡面反射光が中心射影のカメラに入射する様子を示している。図３４では、入射角でクラスタリングを行った結果、（ア）、（イ）、（ウ）の３通りに分類できたことを示している。（ア）、（イ）、（ウ）のそれぞれで確率的独立性を用いた反射成分分離を行うことで、拡散反射成分と鏡面反射成分を分離することができる。
本発明によると、一般の照明環境においても、偏光フィルタを通して被写体を撮影した画像から拡散／鏡面反射成分を分離することができる。
本発明の第１態様は、画像処理方法として、被写体を、主軸が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、前記撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に入射面を特定するステップと、前記撮影した複数の画像から、前記画素群について画素毎に入射角を算出するステップと、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成するステップと、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップと、を備えたものを提供する。
本発明の第２様態は、前記入射面特定ステップは、前記画素群の画素毎に被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射面を特定するステップと、を備えた第１様態の画像処理方法を提供する。
本発明の第３様態は、前記入射角算出ステップは、前記画素群の画素毎に被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップと、を備えた第１様態の画像処理方法を提供する。
本発明の第４様態は、前記法線ベクトルを算出するステップは、既知である前記被写体の３次元形状データを用いて、撮影した前記画像における被写体の見えを基に、カメラ座標系における前記被写体の３次元位置及び３次元姿勢を推定するステップを備え、推定した前記被写体の３次元位置及び３次元姿勢を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出する第２様態又は第３様態の画像処理方法を提供する。
本発明の第５様態は、前記入射面特定ステップは、撮影した前記画像の数が３以上のとき、前記画素群の画素毎に、前記偏光素子の主軸角度に対する輝度値変化の位相を検出するステップを備え、検出した位相から入射面を特定する第１様態の画像処理方法を提供する。
本発明の第６様態は、前記入射角算出ステップは、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備え、前記法線ベクトルを算出するステップは、撮影した前記画像の数が３以上のとき、前記入射面特定ステップにおいて前記画素群の画素毎に特定した入射面を画像平面に射影した方向の、第１の２次元分布を算出するステップと、既知である被写体の３次元形状モデルを用いて、カメラ座標系における被写体の３次元位置及び３次元姿勢を仮定し、仮定した前記３次元位置及び３次元姿勢を有する前記３次元形状モデルを射影した画像平面における画素毎に入射面を計算し、前記計算した入射面を画像平面に射影した方向の、第２の２次元分布を算出するステップと、前記第１及び第２の２次元分布同士をマッチングさせることにより、前記被写体の３次元位置及び３次元姿勢を決定するステップと、決定した前記被写体の３次元位置及び３次元姿勢を基に、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、を備えた第５様態の画像処理方法を提供する。
本発明の第７様態は、前記入射面特定ステップの後に、前記画素群について、入射面が類似している画素同士を暫定的にクラスタリングして、少なくとも１つの画素集合を形成する暫定クラスタリングステップを実行し、その後、前記反射成分分離ステップを、前記暫定クラスタリングステップで形成された各画素集合において、実行し、その後、前記入射角算出ステップ、前記クラスタリングステップおよび前記反射成分分離ステップを、所定回数、繰り返し実行するものであり、前記入射角算出ステップは、前回実行された反射成分分離ステップによって得られた拡散反射成分を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備えたものである第１様態の画像処理方法を提供する。
本発明の第８様態は、撮影した前記画像の数が３以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値を算出し、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から前記被写体の屈折率を算出するステップをさらに備えた第１様態の画像処理方法を提供する。
本発明の第９様態は、撮影した前記画像の数が３以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最小値を算出し、前記最小値が予め定めた第１の閾値より小さいとき、前記入射角算出ステップにおいて算出した前記注目画素における入射角はブリュースタ角であると判断し、このブリュースタ角から前記被写体の屈折率を算出するステップをさらに備えた第１様態の画像処理方法を提供する。
本発明の第１０様態は、撮影した前記画像の数が３以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値とを算出し、前記最小値が予め定めた第２の閾値以上であるときは、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から前記被写体の屈折率を算出するステップをさらに備えた第１様態の画像処理方法を提供する。
本発明の第１１様態は、画像処理装置として、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影する偏光画像取得部と、前記偏光画像取得部によって、主軸方向が互いに異なる偏光素子を通して撮影された複数の画像から、鏡面反射が生じている画素群について画素毎に入射面を特定する入射面特定部と、前記複数の画像から、前記画素群について画素毎に入射角を算出する入射角算出部と、前記画素群について、前記入射面特定部により特定された入射面及び前記入射角算出部により特定された入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成する分類部と、前記分類部により形成された各画像集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する反射成分分離部と、を備えたものを提供する。
本発明の第１２様態は、画像処理プログラムとして、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像を取り込んで、当該複数の画像から鏡面反射が生じている画素群について画素毎に入射面を特定する処理と、前記複数の画像から、前記画素群について画素毎に入射角を算出する処理と、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成する処理と、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する処理と、をコンピュータに実行させるものを提供する。
本発明の第１３態様では、画像処理方法として、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、前記撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定するステップと、前記撮影した複数の画像における前記領域から、鏡面反射が生じている画素群について、画素毎に、入射面を特定するステップと、前記撮影した複数の画像における前記領域から、前記画素群について、画素毎に、入射角を算出するステップと、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成するステップと、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップとを備えたものを提供する。
本発明の第１４態様では、前記被写体は、人の顔であり、前記領域特定ステップは、眼の領域または眼鏡のレンズの領域を、前記領域として特定するものである第１３態様の画像処理方法を提供する。
以下、本発明の実施の形態について、図面を参照して説明する。
まず、本発明の実施時における、各種条件を説明する。
照明は、平行光である必要はない。即ち、照明が複数あってもよいし、１つの照明は点光源でなく面光源であってもよい。他の被写体からの反射光は照明と見なすことができるので、他の被写体からの反射光も存在していてもよい。また、照明の分光特性や照明方向に関する知識も不要である。
被写体は、屈折率が略一定であり、局所領域において光学的に滑らかな性質を持つとする。「屈折率が略一定」である必要性は、特許文献２と同様である。即ち、被写体の撮影時、鏡面反射を生じている各画素について、屈折率が略一定であり、かつ、鏡面反射の入射面および入射角が揃っている場合は、各画素におけるフレネル係数が略一定となり、確率的独立性を利用した鏡面反射分離が可能となる。ここで、屈折率は厳密に一定である必要はなく、フレネル係数が一定と見なせることができ、確率的独立性を利用した鏡面反射分離が可能となる程度に略一定であればよい。
「局所領域において光学的に滑らか」であるとは、局所領域におけるマイクロファセットの法線がほぼ均一に揃っており、マイクロファセット法線と形状を表すマクロ法線が同一であるとみなせるということである。このような被写体上の鏡面反射が生じている局所領域を観測するとき、たとえ全周囲に面光源が存在したとしても、その局所領域の鏡面反射は一方向の入射光から生じているといえる。即ち、カメラを用いて鏡面反射を観測する場合、撮影画像での一画素に対応する被写体上の局所領域では、マイクロファセット法線方向が全て揃っており、その結果、鏡面反射の入射面と入射角が全て揃っているということである。但し、局所領域で滑らかである必要はあるが、大局的に滑らかである必要はない。すなわち、マクロ法線が空間的に不連続に変化するような、稜線（法線エッジ）が存在していても構わない。
また、被写体の形状については、少なくとも鏡面反射が生じている領域におけるマクロ法線（＝マイクロファセット法線）方向を知る必要がある。以下、第１の実施形態では、既知の被写体の形状モデルを用いて、被写体の３次元位置および３次元姿勢を求めることにより、法線方向を求めている。第２の実施形態では、分離した拡散反射成分を用いてステレオ視を行い、ステレオ視から求めた法線方向を用いて反射成分分離を行う処理を繰り返すことにより、法線方向を求めている。
カメラモデルに関しては、中心射影等の任意のモデルを用いることができる。
表１に、本発明と特許文献２が前提とする各種条件の比較を示す。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。この画像処理装置は、偏光画像取得部１００、フレームメモリ１０４、法線算出部１０５、形状データベース１０６、入射面特定部１０７、入射角算出部１０８、分類部１０９、反射成分分離部１１０を備えている。偏光画像取得部１００は、偏光素子１０１、カメラ１０２及び、制御部１０３を含む。
また、図２は本発明の第１の実施形態に係る画像処理方法のフローチャートである。
以下、図１のブロック図及び図２のフローチャートに従って、本実施形態に係る画像処理方法及び画像処理装置について説明する。
まず、偏光画像取得部１００において、被写体の画像を撮影する（ＳＡ０）。
制御部１０３は、偏光素子１０１の主軸方向の角度をＦ通り（本実施形態ではＦ＝２）変化させると共に、異なった主軸方向に対してそれぞれ画像を撮影するようにカメラ１０２の撮影タイミングを制御する。得られたＦ個の画像は、フレームメモリ１０４に格納される。本実施形態では、偏光素子１０１として直線偏光フィルタを使用し、直線偏光フィルタをモータ等により回転させることにより主軸の角度を変化させる。主軸角度は、図３のように０，π／２（rad）の２通りを用いる。本画像処理装置は、これらの角度の値を知る必要はない。また、カメラ１０２として、鏡面反射の輝度が飽和しない露出条件において、鏡面反射の存在する画素での拡散反射のテクスチャが十分取得可能なダイナミックレンジ及び量子化ビット数を有するものを用いる。また、予め、カメラキャリブレーションにより、焦点距離、画像中心座標、撮像素子の画素ピッチ及びレンズ歪みの内部パラメータを算出しておく。これらのパラメータは、法線算出ステップＳＡ１で使用する。
撮影された２枚の画像において、輝度値に予め定めた所定値以上の差が存在する画素には鏡面反射が存在すると判断する。２枚の撮影画像をＩ１(x，y)，Ｉ２(x，y)とすると、（数８）のように、被写体上の注目画素位置(xｐ，yｐ)における輝度値Ｉ１(xｐ，yｐ)，Ｉ２(xｐ，yｐ)に、所定値以上の輝度差Th１が生じている場合に、画素位置(xｐ，yｐ)には鏡面反射が存在すると判断する。
尚、偏光素子１０１の主軸方向の角度が３通り以上の場合は、輝度変化に正弦（余弦）関数をフィッティングさせることで得られた振幅が所定値以上であることにより、鏡面反射が存在するか否かを判断できる。
以下の処理では、鏡面反射が生じている画素群のみを処理対象とする。
尚、特許文献２の方法ではカメラモデルとして正射影モデルを仮定していたが、本発明の場合は、偏光素子の入射角依存性がない場合、中心射影（透視投影）モデルも加えて使用可能である。例えば、有効入射角が±２０度の偏光素子を用いる場合、画角４０度までの中心射影カメラを用いることができる。
ここでは、主軸角度として０，π／２のように直交する２軸を用いたが、観測される鏡面反射に輝度差が生じるような設定であれば、他の角度でもよい。
ここでは、物理的に偏光フィルタを回転させることにより、複数の偏光画像を取得したが、例えば、特開平１１−３１３２４２号公報に開示されているような、液晶を利用した、電気的に主軸方向を制御可能な素子を用いても良い。また、「J.D.Barter, H.R.Thompson, and C.L.Richardson: “Visible-Regime polarimetric imager: a fully polarimetric, real-time imaging system”, Applied Optics-LP, Vol.42, No.9, pp.1620-1628(2003)」に開示されているように、複数の撮像素子、複数の偏光フィルタと、光路を分離するプリズムとを用いることにより、主軸方向の互いに異なる偏光フィルタを通した画像を、同タイミングで取得してもよい。また、「J.Guo, and D.Brady: “Fabrication of thin-film micro polarizer arrays for visible imaging polarimetry”, Applied Optics-OT, Vol39, No.10, pp.1486-1492(2000)」で開示されているように、主軸方向の互いに異なる微小偏光フィルタを、撮像素子の各画素上に並べた構成を持つ、微小偏光板アレイを用いてもよい。
次に、法線算出部１０５において、被写体上の法線方向を計算する（ＳＡ１）。本画像処理装置は、撮影対象となっている被写体の３次元形状に関する知識を有する（形状データベース１０６に予め記憶されている）ものとする。法線算出部１０５は、形状データベース１０６から被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「K.Nishino and S.K.Nayar: "The World in an Eye", in Proc. of Computer Vision and Pattern Recognition CVPR '04, vol.I, pp444-451, Jul., 2004.」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば上記文献の手法を本発明に適用することが可能である。
被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、カメラ座標系における単位法線ベクトルＮ＝(nＸ，nＹ，nＺ)が算出できる。以上の処理を、撮影画像において鏡面反射が存在している全画素について繰り返し、被写体の法線ベクトルＮを算出する。
尚特殊な例であるが、被写体が図３０で表されるような球体であれば、輪郭線に円をフィッティングするだけで、撮像された球体の各画素において、カメラ座標系での法線ベクトルＮを算出可能である。
次に、入射面特定部１０７において、被写体上の鏡面反射をカメラで観測している時の入射面を、鏡面反射が存在する画素毎に特定する（ＳＡ２）。予め求めておいた、焦点距離、画像中心座標、画素サイズ及びレンズ歪みの内部パラメータを用いて、まず、被写体上の注目画素での視線方向ベクトルＶを決定する。視線方向ベクトルＶの決定方法を、図４を用いて説明する。
図４のように、カメラ座標系Ｏ-Ｘ-Ｙ-Ｚ, 画像座標系Ｏｉ-ｘ-ｙを考える。カメラキャリブレーションにより求められた焦点距離をｆ、画像中心座標Ｏｉを(xｏ，yｏ)、ｘ方向，ｙ方向の画素ピッチをそれぞれｄｘ，ｄｙで表す。レンズ歪み、及び、撮像素子の設置ずれ（光軸と素子面が垂直でない等）は補正済であるとする。被写体上の点Ｐｏｂｊに対応する、注目画素Ｐｉの座標を(xｐ，yｐ)とすると、被写体上の点Ｐｏｂｊへの視線方向ベクトルＶは（数９）となる。
よって、点Pｏｂｊを観測したときの入射面は、視線方向ベクトルＶとステップＳＡ１で算出した法線ベクトルＮとを含む平面となる。この入射面を図５のように画像平面に射影すると、図６で表されるように角度φで入射面方向を表現することができる。ここで、方向のみを考慮し、向きは考慮しないので０≦φ＜πである。鏡面反射が存在している全画素について、以上の処理を行うと、図７のように入射面方向を表す角度φの２次元分布が得られる。
次に、入射角算出部１０８において、被写体上の鏡面反射をカメラで観測している時の入射角を、鏡面反射が存在する画素毎に特定する（ＳＡ３）。ステップＳＡ１で算出した法線ベクトルＮと、ステップＳＡ２で算出した視線方向ベクトルＶから、（数１０）を用いて入射角θを算出する。入射角であるため０≦θ＜π／２である。鏡面反射が存在している全画素について、以上の処理を行うと、図８のように入射角θの２次元分布が得られる。
次に、分類部１０９において、入射面と入射角の両方がそれぞれ類似している画素同士をクラスタリングして、少なくとも１つ以上の画素集合を形成する（ＳＡ４）。クラスタリング手法として任意の方法を用いることができるが、ここではk-meanアルゴリズムを用いる。まず、初期クラスタとして、φ−θの２次元空間内に、Ｃ個のクラスタ中心（φｃ０，θｃ０）を均等に配置する（ｃ＝０，…，C-1）。クラスタ数Ｃは、予備実験において事前に決定しておく。鏡面反射が生じている画素数をＫ個とすると、入射面方向φｋ及び入射角θｋを有するｋ番目の画素が属するクラスタ番号は、（数１１）を満たすｃｋｊとなる（ｋ＝０，…，K-1）。
ここで、ｊはクラスタリング回数を表し、初回はｊ＝０である。(φｃｊ，θｃｊ)は、クラスタリングｊ回目のｃ番目のクラスタ中心を表す。λは、入射面に関する距離と入射角に関する距離の影響の強さを決定するパラメータであり、ここではλ＝１とする。また、関数ｄ(ｘ)は、図９で表されるように、ｘ＝±π／２のときに極大値をとり、ｘ＝０，±πのときに極小値０をとる関数である。Ｋ個の画素を全てＣ個のクラスタのどれかに属させた後は、クラスタ中心を更新（同時にｊをインクリメント）し、繰り返しクラスタリングを行う。全クラスタ中心の移動距離が予め定めた距離閾値よりも小さくなればクラスタリングを終了する。尚、クラスタリング回数ｊが予め定めた所定回数に達した場合にクラスタリングを終了するようにしてもよい。
ここまでの処理で、鏡面反射が生じている画素において、入射面と入射角の両方がそれぞれ類似している画素同士は同じ集合にクラスタリングされる。被写体が図３０で表されるような球体であり、球体の全面に鏡面反射が生じている場合には、クラスタリング結果は図１０のようになる。尚、被写体の形状が球体のような単純な形状でない場合は、画素位置が互いに離れていても、入射面及び入射角の両方が類似している場合には、同一のクラスタに分類されることもありうる。
次に、反射成分分離部１１０において、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う（ＳＡ５）。同一のクラスタに含まれる画素同士は、入射面及び入射角がほぼ揃っているので、特許文献２の方法を用いることができる。特許文献２の方法は、特異値分解を利用しているが、一般的な独立成分分析の手法を用いることもできる。
このように、入射面及び入射角がそれぞれ類似した画素同士にクラスタリングした後、確率的独立性を仮定した反射成分分離を行うことで、平行光以外の光源環境下でも反射成分分離が可能となる。
反射成分分離を行うことで、拡散反射を利用する多くの画像処理アルゴリズムの前処理として利用可能である。また、物体の反射特性を計算機上に取り込み（modeling）、見えを正確に再現する(rendering)というＣＶ（Computer Vision）／ＣＧ（Computer Graphics）の分野において、modelingの第１ステップとしても利用可能である。
特に、虹彩認証は、虹彩からの拡散反射光を入力として個人を同定する、画像処理・認識アプリケーションの１つである。虹彩画像の入力の際、角膜上で生じる、照明光の鏡面反射が、撮影画像における虹彩領域と重なることが課題の１つになっている。角膜表面はある程度の曲率を有しており、周囲に存在する広範囲の光源が映り込むため、照明位置を調整することにより映り込みを防止することは難しい。ここで、
１）角膜表面は涙の膜に覆われており、屈折率一様、局所的に光学的滑らかという両特徴を有すること
２）人間の角膜形状・大きさは個人に係らずほぼ一定であるため、予め形状モデルを用意しておくことが容易であること
３）角膜による鏡面反射は周囲の光源の分布により生じ、虹彩による拡散反射は虹彩自体の反射率から生じることから、両者の確率的独立性が仮定できる
ということから、角膜による鏡面反射分離に対して、本発明を適用できる。
なお、虹彩認証の鏡面反射対策として、特開平９−２１２６４４号、特開平１０−１６２１４６号、特開平１１−２０３４７８号などの方法が提案されているが、これらは主に、虹彩撮影装置に備えられた照明（近赤外光ＬＥＤが多く用いられている）に対応するものである。屋外で虹彩認証を行う場合には、太陽光に近赤外成分が多く含まれ、太陽光に照らされた多くの物体が新たな光源としてほぼ全周囲から角膜表面に映り込むため、上記従来手法の適用が難しい。しかしながら、本発明は、このような屋外での虹彩認証に対しても適用可能である。
なお、顔画像における眼（角膜）領域のように、全体の一部が、屈折率一様であり、かつ、光学的滑らかである被写体の場合は、前処理として、屈折率一様であり、かつ、光学的滑らかである領域を特定した後、特定した領域に対して本発明を適用すればよい。例えば、顔画像から眼領域を抽出する方法としては、虹彩認証や顔認証で用いられている既存の技術を利用することができる。
すなわち、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影し、この撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定する。そして、以降の処理は、この特定した領域について実行する。例えば、被写体が人の顔である場合、眼の領域を、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域として特定すればよい。
また、顔画像認証において、眼鏡の着脱に対して認証を頑健にするために、色情報や形状情報から眼鏡フレーム領域を特定・除去し、除去された領域の周辺の色情報を用いて、除去された領域を補間することによって、眼鏡を着用していない顔画像を擬似的に生成する取り組みが行われている。このとき、眼鏡のフレーム領域は除去できるが、眼鏡のレンズ領域に映り込んだ周囲の像は色や形状が不定であるため特定・除去することができず、擬似的に生成された顔画像においてノイズとなってしまい、顔認証精度を低下させるという問題がある。そこで、特定された眼鏡のフレーム領域からレンズ領域をさらに特定し、レンズ領域に対して本発明を適用し鏡面反射成分を除去することによって、顔認証の精度をさらに向上させることが可能である。眼鏡のレンズは、局所的に光学的に滑らかであり、かつ、屈折率一様という条件を満たすと考えられるため、本発明を適用可能である。
図１１は、第１の実施形態の変形例に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。この画像処理装置は、図１の入射面特定部１０７の代わりに、位相検出部１１１を備える。また、第１の実施形態の変形例に係る画像処理方法のフローチャートとして図１２を用いる。
以下、図１１のブロック図及び図１２のフローチャートに従って、第１の実施形態の変形例に係る画像処理方法及び画像処理装置について説明する。
まず、偏光画像取得部１００において、被写体の画像を撮影する（ＳＢ０）。制御部１０３は、偏光素子１０１の主軸方向の角度をＦ通り（本実施形態ではＦ＝４）変化させると共に、異なった主軸方向に対してそれぞれ画像を撮影するようにカメラ１０２の撮影タイミングを制御する。得られたＦ個の画像は、設定された主軸方向の角度情報と共に、フレームメモリ１０４に格納される。本実施形態では、偏光素子１０１として直線偏光フィルタを使用し、直線偏光フィルタをモータ等により回転させることにより主軸の角度を変化させる。主軸角度は、図１３のように０，π／４，π／２，３π／４（rad）の４通りを用いる。
次に、位相検出部１１１にて、撮影された画像の画素毎に入射面を特定する（ＳＢ１）。フレームメモリ１０４に格納されたＦ（＝４）枚の画像から、画素位置（座標）毎に輝度値変化の位相を検出する。図１４は、ある画素位置において、偏光フィルタを回転させて観測した４個の輝度値をsin関数にフィッティングさせた結果である。同図における白抜きの四角のプロットは、それぞれ、偏光フィルタの主軸を０，π／４，π／２，３π／４（rad）の４通りに設定した時の輝度計測値（ｚｉ；ｉ＝１，２，３，４）である。実線は、輝度計測値ｚｉを（数１２）のsin関数にフィッティングさせたものである。
sin関数へのフィッティングは、計測値ｚｉと（数１２）の関数との自乗誤差が最小となる基準で算出した。即ち、（数１３）を最小化するようなパラメータＡ，Ｂ，φを求める。ここで、Ｆ＝４であり、θ１＝０，θ２＝π／４，θ３＝π／２，θ４＝３π／４である。
（数１３）を最小化するには（数１４）を満たせばよい。（数１２）からも分かるように（数１４）は非線形連立方程式であるため、ここでは非線形最適化法の１つであるLevenberg-Marquardt法を用いる。Levenberg-Marquardt法の詳細は、「J.J. More: "The Levenberg-Marquardt Algorithm: Implementation and Theory," in G.A. Watson (ed.), Lecture Notes in Mathematics 630, Springer-Verlag, Berlin, 1978, 105-116.」に記載されているため説明を省略する。
図２７で説明したように、鏡面反射をカメラで観測している場合、カメラ前方に設置した偏光素子の主軸を回転させて観測される輝度値はsin関数的に変化する。よって、偏光素子の主軸角度とsin関数の輝度値変化の関係（数１２における位相φ）から、入射面を画像平面に投影した方向が特定できることになる。図５は、ある画素位置において鏡面反射を観測している場合の図である。特定した入射面を画像平面に投影すると、方向に関する情報が得られる。方向を表現するために、位相φ（０≦φ＜π）を用いることができる。図１４のような輝度値変化が観測できず輝度値がほぼ一定である画素に対しては、その画素には鏡面反射が生じていないと判断し、位相φの情報を以降の処理に用いない。輝度値がほぼ一定であるかどうかは、例えば、（数１５）のように（数１２）における振幅Ａが予め定めた閾値Thよりも小さいかどうかで判断できる。
次に、法線算出部１０５において、被写体上の法線方向を計算する（ＳＢ２）。本画像処理装置は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。法線算出部１０５は、形状データベース１０６から被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、カメラ座標系における被写体の３次元姿勢及び３次元位置を推定する。３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、カメラ座標系における単位法線ベクトルＮ＝(nＸ，nＹ，nＺ)が算出できる。以上の処理を、撮影画像において鏡面反射が存在している全画素について繰り返し、被写体の法線ベクトルＮを算出する。
本実施の形態では、被写体の３次元姿勢及び３次元位置を推定するために、被写体の見えに加えて、被写体の表面法線ベクトルと視線方向ベクトルとを含む面である、入射面を画像平面に射影した方向（図５）の２次元分布を利用する。図１５に示すように、ステップＳＢ１にて偏光素子を用いて実測した入射面を画像平面に投影した方向の２次元分布Ａが得られている場合について考える。被写体の３次元形状データを用いて、カメラ座標における３次元姿勢及び３次元位置を仮定すれば、照明方向が不明でも入射面が定義でき、入射面を画像平面に射影した方向の２次元分布Ｂが得られる。３次元姿勢および３次元姿勢は、６次元ベクトルｘで表現することができる。
この２次元分布Ａと２次元分布Ｂが一致するように、カメラ座標における３次元姿勢及び３次元位置ｘを更新すればよい。３次元姿勢及び３次元位置ｘを決定すれば、被写体上の法線が算出できる。
図１６を用いて、入射面を画像平面に射影した方向の２次元分布Ａ、Ｂの一致度算出の様子を説明する。座標(i，j)における方向φについて、偏光素子を用いて実測したＡと３次元姿勢および３次元位置ｘを仮定して得られたＢが存在している場合、対応する座標(i，j)での方向φの類似度sｉ，ｊは（数１６）で表現できる。
（数１６）を用いると、０≦sｉ，ｊ≦１であり、２つの方向φＡ，φＢのなす角が０の時はsｉ，ｊ=１，直交する時は類似度sｉ，ｊ=０となる。
２次元分布Ａ，Ｂ同士の一致度は、（数１６）を用いて（数１７）で表すことができる。ここで、Ωは、実測した画像について鏡面反射が生じている座標(i，j)の集合である。
（数１７）が最大となるような、３次元姿勢および３次元位置ｘを求めた後、被写体上の法線を算出する。
被写体上の法線が算出できた場合、以降の処理は、第１の実施形態と同様にできる。
尚、ここでは異なる主軸を持った偏光素子を通して撮影した画像の個数をＦ＝４としたが、サンプリング定理からＦ≧３であればよい。
本実施の形態では、第１の実施形態よりも３次元位置および３次元姿勢の推定のために利用できる情報が多くなるため、それらの推定が容易になるという利点がある。
（屈折率の推定）
本発明は、さまざまな方向から入射する照明光が、さまざまな法線を持った被写体で鏡面反射を生じる場合でも鏡面反射成分と拡散反射成分を分離することができる。換言すれば、さまざまな入射角で生じた鏡面反射を分離することができる。この分離結果を利用して、屈折率は被写体に関して略一様であるという前提の下で、被写体の物理特性の一つである屈折率を推定可能である。この屈折率は画素単位で推定できるため、画素単位で推定した値の平均値や中間値を算出することで、より確からしい推定が可能になる。
屈折率を推定することにより、非接触で物質の種類を推定することができる。また、屈折率は被写体の鏡面反射特性を決定するフレネル係数を決定するため、物体の反射特性を計算機上に取り込み（modeling）、見えを正確に再現する(rendering)というＣＶ（Computer Vision），ＣＧ（Computer Graphics）に貢献することができる。
以下に、図１７のフローチャートを用いて屈折率推定方法を説明する。上述した本発明に係る反射成分分離を行って、既に鏡面反射成分と拡散反射成分が分離されているとする。
カメラの前方に設置した偏光素子の主軸方向を変化させて鏡面反射を含む画素を観測した場合、その輝度値は、主軸方向角度に対してsin関数的に変化することを図２７にて説明した。図１８からも分かるように、偏光素子の主軸と入射面が直交しているとき輝度値は最大となる。この時、偏光素子を通過する前の輝度値における拡散反射成分をＩｄ，鏡面反射成分をＩｓとした場合、偏光素子を通して観測される輝度Ｉｍａｘは（数１８）で表される。ここで用いるＩｄ，Ｉｓは、（数７）で用いたベクトルＩｄ，Ｉｓとは異なりスカラーである。
ここで、Ｆｐ，Ｆｓはそれぞれ（数３）、（数４）で表される、反射エネルギについてのフレネル係数である。同様に、偏光素子の主軸と入射面が平行であるとき、輝度値は最小となり、この時、偏光素子を通して観測される輝度Ｉｍｉｎは（数１９）で表される。
異なる主軸を持った偏光素子を通して撮影した画像の個数Ｆが３以上であるとき、図１４のように、注目画素での輝度値変化にsin関数をフィッティングさせることにより、観測される輝度値変化の最大値Ｉｍａｘ及び最小値Ｉｍｉｎを求めることができることについては既に述べた。本発明の反射成分分離方法を用いた後、同様にして、それぞれ（数２０），（数２１）で表される鏡面反射成分Ｉsの最大値Ｉsｍａｘ、最小値Ｉsｍｉｎを求める（ＳＤ０）。
図１９は、偏光素子の主軸と入射面のなす角度に対する輝度値変化について、（ａ）反射成分分離前と（ｂ）反射成分分離後（鏡面反射成分のみ）の場合について表したグラフの例である。
次に、最小値Ｉsｍｉｎが予め定めた閾値Th２以上であるかどうかを判定する（ＳＤ１）。閾値Th２以上である場合は、以下のステップＳＤ２を実行する。
鏡面反射成分Ｉsの最大値Ｉsｍａｘ、最小値Ｉsｍｉｎの比を計算すると（数２２）が得られる。
（数５）のスネルの法則を利用すると、鏡面反射成分の最大値と最小値の比は、マイクロファセットへの局所入射角θ'ｉ，相対屈折率ｎで表すことができる。被写体が光学的に滑らかである場合、局所入射角θ'ｉとマクロ法線に関する入射角θｉは等しい。入射角θｉは画素毎に算出済であるため、鏡面反射を生じている画素位置毎に（数２３）を解くことにより、画素位置毎の相対屈折率ｎが算出できる。
ここで、入射角がブリュースタ角に近い画素位置の場合はフレネル係数Ｆｐが０に近づくため、鏡面反射成分の最小値Ｉsｍｉｎが０に近づき、（数２３）の比の値は非常に大きくなり、相対屈折率ｎの推定誤差が大きくなるために、上記の処理は行わない。つまり、閾値Th2は、１／Ｉsｍｉｎを数値計算に用いることができるか否かを判断するための閾値であり、最小値Ｉsｍｉｎが閾値Th2よりも小さいときには、上記の処理は行わない。
図２０は、鏡面反射成分の最小値Ｉsｍｉｎが閾値Th2以上である場合の、偏光素子の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。この例では、鏡面反射成分の最小値Ｉsｍｉｎが閾値Th２以上であるため、（数２３）の比の値が所定の精度で計算できる。
ステップＳＤ１にて閾値Th２未満であった場合は、以下のステップＳＤ３以降を実行する。
まず、最小値Ｉsｍｉｎが予め定めた閾値Th３未満であるかどうかを判定する（ＳＤ３）。閾値はTh３≦Th２の関係を満たすものとする。ここで、Th３＜Th２とした場合は、最小値Ｉsｍｉｎが閾値Th ３ 以上である場合が存在する。その場合（ステップＳＤ３にてＮｏの場合）は、現在注目している画素位置については、ステップＳＤ２及び、後述するステップＳＤ５の計算のそれぞれにおいて計算誤差が大きいと判断し、屈折率計算を行わない（ＳＤ６）。尚、Th３＝Th２とした場合において、ステップＳＤ１において閾値Th２未満と判定されたときは、全て次のステップＳＤ４を実行する（ステップＳＤ３，ＳＤ６が省略される）。
ステップＳＤ３にて、最小値Ｉsｍｉｎが予め定めた閾値Th３未満であった場合、現在注目している画素の入射角はブリュースタ角であると判断する（ＳＤ４）。つまり、閾値Th３は最小値Ｉsｍｉｎが０（ゼロ）とみなすことができるか否かを判断する閾値である。
図２１は、鏡面反射成分の最小値Ｉsｍｉｎが閾値Th３未満である場合の、偏光素子の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。この例では、鏡面反射成分の最小値ＩsｍｉｎがTh３未満であるため、現在注目している画素の入射角がブリュースタ角であると判断される。
そして、既に求められた、現在の注目画素における入射角θｉを利用して、（数２４）により相対屈折率ｎを算出する（ＳＤ５）。
媒質１が空気の場合、相対屈折率の値はそのまま媒質２（被写体）の屈折率となる。本実施の形態では、複数の画素位置において独立に屈折率を算出した。また、被写体の屈折率は略一様であるという仮定があるので、算出した複数の屈折率の中間値又は平均値を計算することで、屈折率をよりロバストに推定可能である。
（第２の実施形態）
図２２は、第２の実施形態に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。第１の実施形態及びその変形例で説明した、偏光画像取得部１００、偏光素子１０１、カメラ１０２、制御部１０３、フレームメモリ１０４、入射角算出部１０８、位相検出部１１１、分類部１０９、反射成分分離部１１０をそれぞれ２つずつ備えている。添え字ａ、ｂを用いて２組を区別する。また、法線算出部１０５を１つ備える。第２の実施形態に係る画像処理方法のフローチャートとしては、図２３を用いる。
以下、図２２のブロック図及び図２３のフローチャートに従って、第２の実施形態に係る画像処理方法及び画像処理装置について説明する。
まず、偏光画像取得部１００ａ，１００ｂのそれぞれにおいて、被写体の画像を撮影する（ＳＢ０）。それぞれにおける処理は、第１の実施形態の変形例におけるステップＳＢ０と同様である。すなわち、偏光画像取得部１００ａ，１００ｂにて、それぞれＦ（＝４）個ずつの画像を撮影する。偏光画像取得部１００ａ，１００ｂによって撮影された画像セットを、それぞれ、画像セットＡ，Ｂと呼ぶ。また、２台のカメラ１０２ａ、１０２ｂは、以降の法線算出ステップＳＣ４にてステレオ計測を行うために、予めカメラキャリブレーションを行っておくものとする。
次に、位相検出部１１１ａ，１１１ｂのそれぞれにおいて、撮影された画像セットＡ，Ｂの画素毎に入射面を特定する（ＳＢ１）。それぞれにおける処理も、第１の実施形態の変形例におけるステップＳＢ１と同様である。
次に、反復回数のカウンタｒを０にセットする（ＳＣ２）。
次に、分類部１０９ａ，１０９ｂのそれぞれにおいて、画像セットＡ，Ｂのそれぞれに対して、入射面が類似している画素同士をクラスタリングする（ＳＣ３）。以降は、画像セットＡに対する処理を説明するが、画像セットＢに対する処理も同様である。
クラスタリング手法として任意の方法を用いることができるが、ここではk-meanアルゴリズムを用いる。まず、初期クラスタとして、位相φで張られる１次元空間内に、Ｃ１個のクラスタ中心φｃ０を均等に配置する（ｃ＝０，…，Ｃ１-1）。クラスタ数Ｃ１は、予備実験において事前に決定しておく。鏡面反射が生じている画素数をＫ個とすると、位相（入射面方向）φkを有するｋ番目の画素が属するクラスタ番号は、（数２５）を満たすｃｋｊとすることができる（ｋ＝０，…，K-1）。
ここで、ｊはクラスタリング回数を表す。現在はｊ＝０である。φｃｊは、クラスタリングｊ回目のｃ番目のクラスタ中心を表す。また、関数ｄ(ｘ)は、図９で表されるように、ｘ=±π／２のときに極大値をとり、ｘ＝０，±πのときに極小値０をとる関数である。Ｋ個の画素を全てＣ１個のクラスタのどれかに属させた後は、クラスタ中心を更新（同時にｊをインクリメント）し、繰り返しクラスタリングを行う。全クラスタ中心の移動距離が予め定めた距離閾値よりも小さくなればクラスタリングを終了する。尚、クラスタリング回数ｊが予め定めた所定回数に達した場合にクラスタリングを終了するようにしてもよい。
この段階では、鏡面反射が生じている画素を、入射面の方向が類似している画素同士にクラスタリングしただけであり、同一クラスタの中で入射角の大きさは類似していない場合がある。被写体の法線方向が未知の場合は入射角が算出できないので、ここでは、暫定クラスタリングとして、画像平面の座標が近いもの同士を更にクラスタリングする。Ｃ１個のクラスタに対し、それぞれを更にＣ２個のクラスタに分割する。結果としてＣ１×Ｃ２個のクラスタに分割されたことになる。クラスタリングの詳細については省略する。
以上の処理を、画像セットＢに対しても行う。
次に、反射成分分離部１１０ａ，１１０ｂのそれぞれにおいて、画像セットＡ，Ｂのそれぞれおける、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う（ＳＣ７）。同一のクラスタに含まれる画素同士は、入射面がほぼ揃っている。また、画像平面での座標が近いもの同士をクラスタリングしているため、同一のクラスタに含まれる画素同士は入射角がほぼ揃っているとみなせる。よって、反射成分分離手法として特許文献２の方法を用いることができる。特許文献２の方法は特異値分解を利用しているが、一般的な独立成分分析の手法を用いることもできる。
この段階で、異なる２つのカメラ１０２ａ、１０２ｂにより撮影された２つの画像セットＡ，Ｂから、それぞれ拡散反射成分と鏡面反射成分とを分離した。図２４に、ここまでの処理の概要を図示する。ただし、被写体上に法線によるエッジがある場合は、同一のクラスタに含まれる画素同士は入射角が揃っていないために、反射成分分離の精度が低くなっている可能性がある。そのため、本実施の形態では、分離した拡散反射成分より法線を推定し、得られた法線を用いて反射成分分離をする処理（ステップＳＣ４〜ＳＣ７）を少なくとも１回以上繰り返す。
反復回数ｒが上限Ｒに達していないかのチェックを行い（ＳＣ８）、上限Ｒ以上であれば終了する。そうでなければｒを１だけインクリメントする（ＳＣ９）。
次に、法線算出部１０５にて、被写体上の法線方向を算出する（ＳＣ４）。ここでは、カメラ１０２ａ，１０２ｂのそれぞれにより撮影された画像セットＡ，Ｂから分離された、２つの拡散反射画像を用いてステレオ視を行い、距離画像を得た後、法線方向を算出する。ステレオ視として、area-basedステレオ視を用いることができる。ステレオ視に関しては、多くの文献に記載があるが、例えば、「コンピュータビジョン 技術評論と将来展望，松山隆司・久野義徳・井宮淳編，新技術コミュニケーションズ，第８章ステレオ視」に概要が記載されているので、ここでは説明を省略する。
ステレオ視により、両カメラ１０２ａ、１０２ｂにより撮影した輝度画像に対応するdepth画像Ｄａ(x，y），Ｄｂ(x，y)が得られる。ここで、(x，y)は、図４で説明した画像平面におけるｘ、ｙ座標値であり、depth画像の要素はカメラ座標系におけるＺ座標値である。次に、depth画像Ｄａ(x，y）から法線画像Ｎａ(x，y)を、depth画像Ｄｂ(x，y)から法線画像Ｎｂ(x，y)をそれぞれ生成する。法線画像の要素は、カメラ座標系（Ｘ，Ｙ，Ｚ）における単位法線ベクトル方向（ｎＸ，ｎＹ，ｎＺ）の３次元となる。
depth画像から法線画像を算出するさまざまな方法が提案されているが、ここでは以下のような方法を用いる。depth画像において、図２５（ａ）のように座標（i，j）に注目した場合、８近傍のdepth値を利用して、図２５（ｂ）のように注目点と隣接８点との間に三角面を定義する。そして、各三角面の単位法線ベクトルを算出し、それらの単位法線ベクトルの平均を計算することにより、注目画素（i，j）の単位法線ベクトルＮを算出する。各三角面の法線ベクトル方向は、三角面を張る２つのベクトルの外積から計算できる。以上の方法を、depth画像Ｄａ，Ｄｂの全画素に対して適用することにより、法線画像Ｎａ，Ｎｂを得る。
本実施の形態では、反射成分分離処理で得られた拡散反射画像をステレオ視に用いて、一度距離値を求め、その後、法線を算出したが、「L.B.Wolff, “Surface orientation from two camera stereo with polarizers”, in Proc. Opt. Illumination Image Sensing Machine Vision IV, vol.1194 (Philadelphia, PA), Nov. 1989, pp.287-297.」で開示されているように、鏡面反射の入射面を利用したステレオ視を用いて、法線を直接算出してもよい。この従来技術では、被写体上の同一点を２台のカメラで観測している場合、２台のカメラ両方で鏡面反射を観測する必要がある。２個のカメラ画像における対応点検出には、先に説明した拡散反射成分を利用したステレオ視を用いることができる。対応点が分かれば、鏡面反射成分の輝度値変化から求めた入射面を利用したステレオ視により法線を算出することができる。
次に、入射角算出部１０８ａ，１０８ｂのそれぞれにおいて、被写体上の鏡面反射をカメラで観測している時の入射角を、鏡面反射が存在する画素毎に特定する（ＳＣ５）。ここでの処理は、第１の実施形態におけるステップＳＡ３と同様であるので詳細は省略する。
次に、分類部１０９ａ，１０９ｂのそれぞれにおいて、画像セットＡ，Ｂのそれぞれに対して、入射面と入射角の両方がそれぞれ類似している画素同士をクラスタリングする（ＳＣ６）。ここでの処理は、第１の実施形態におけるステップＳＡ４と同様であるので詳細を省略する。
次に、反射成分分離部１１０ａ，１１０ｂのそれぞれにおいて、画像セットＡ，Ｂのそれぞれおける、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う（ＳＣ７）。同一のクラスタに含まれる画素同士は、入射面がほぼ揃っている。また、入射角に関しては、ｊ＝０回目の反射成分分離で得られた拡散反射成分を利用して法線を算出しており、前回よりも入射角が揃ったクラスタリングが達成できている。よって、特許文献２の方法を再度用いて、反射成分分離を行う。
以上説明した、ステップＳＣ４〜ＳＣ７の各処理を、所定回数Ｒに達するまで繰り返し行うことにより、精度の良い反射成分分離が行い得る。
尚、第２の実施形態に係る画像処理方法に従って反射成分分離を行った後に、上述した屈折率推定を行うことも可能である。
本発明は、一般的な照明環境で撮影した画像について、拡散反射成分と鏡面反射成分とを分離するための画像処理方法を提供するので、拡散反射成分を利用する、多くの画像処理アルゴリズムの前処理として利用できる。また、物体の反射特性を計算機上に取り込み（modeling）、見えを正確に再現する(rendering)というＣＶ（Computer Vision）／ＣＧ（Computer Graphics）の分野において、modelingの第１ステップとしても利用可能である。
本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。 本発明の第１の実施形態における偏光フィルタの主軸方向を示す図である。 本発明の各実施形態における座標系を説明する図である。 鏡面反射の入射面を画像平面に射影してできる直線（入射面方向）を示す図である。 鏡面反射の入射面を画像平面に射影してできる入射面方向を表現する角度を説明する図である。 入射面方向の２次元分布を示す図である。 入射角の２次元分布を示す図である。 本発明の第１の実施形態における、クラスタリング時の距離尺度を決定する関数の例を示すグラフである。 被写体が球体のときのクラスタリング結果を示す図である。 本発明の第１の実施形態の変形例に係る画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態の変形例に係る画像処理方法を示すフローチャートである。 本発明の第１の実施形態の変形例における偏光フィルタの主軸方向を示す図である。 鏡面反射を含む被写体上の領域を、偏光フィルタの主軸方向を変化させて観測した時の輝度値に、sin関数をフィッティングさせた結果を示すグラフである。 被写体の３次元姿勢及び３次元位置を決定するために、入射面方向の２次元分布を利用する様子を示した図である。 被写体の３次元姿勢および３次元位置の決定のため、入射面方向の２次元分布のマッチングを行う様子を示した図である。 本発明の屈折率推定方法を示すフローチャートである。 屈折率を推定する際に利用する、偏光フィルタ主軸角度と鏡面反射輝度値の関係を示すグラフである。 偏光素子の主軸と入射面のなす角度に対する輝度値変化について、（ａ）反射成分分離前と（ｂ）反射成分分離後（鏡面反射成分のみ）との場合について表したグラフの例である。 鏡面反射成分の最小値Ｉsｍｉｎが閾値Th2以上である場合の、偏光素子の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。 鏡面反射成分の最小値Ｉsｍｉｎが閾値Th３未満である場合の、偏光素子の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る画像処理方法を示すフローチャートである。 本発明の第２の実施形態において、反射成分分離までを行う様子を示した図である。 depth画像から法線を算出する方法の例を示す図である。 相対屈折率が１．６の場合のフレネル強度反射率を示すグラフである。 偏光フィルタ主軸角度と観測される輝度値の関係を示すグラフである。 平行光照明・正射影カメラモデルの下で屈折率一様の被写体を、偏光フィルタ主軸を変化させながら観測した場合の、画像ベクトルの変化範囲を示す図である。 平行光照明・正射影カメラモデルの下で屈折率一様の被写体を、２通りの偏光フィルタ主軸で観測した場合の、２つの画像ベクトル、拡散反射画像ベクトル、鏡面反射画像ベクトルの関係を示す図である。 複数方向に照明が存在する環境下で球状の被写体を撮影した画像である。 図３０の画像を撮影した照明環境を示す図である。 図３０の被写体の鏡面反射領域における、偏光フィルタ角度と観測輝度値の関係を示すグラフである。 特許文献２の方法が前提とする条件を図示した図である。 本発明において、入射角が等しい画素同士をクラスタリングした様子を示した図である。
符号の説明
１００ 偏光画像取得部
１０１ 偏光素子
１０２ カメラ
１０６ 法線算出部
１０７ 入射面特定部
１０８ 入射角算出部
１０９ 分類部
１１０ 反射成分分離部

Claims (14)

  1. 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、
    前記撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定するステップと、
    前記撮影した複数の画像から、前記画素群について、画素毎に、入射角を算出するステップと、
    前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成するステップと、
    前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップとを備えた
    ことを特徴とする画像処理方法。
  2. 請求項１に記載の画像処理方法において、
    前記入射面特定ステップは、
    前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、
    前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射面を特定するステップとを備えた
    ことを特徴とする画像処理方法。
  3. 請求項１に記載の画像処理方法において、
    前記入射角算出ステップは、
    前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、
    前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備えた
    ことを特徴とする画像処理方法。
  4. 請求項２又は請求項３に記載の画像処理方法において、
    前記法線ベクトル算出ステップは、
    既知である前記被写体の３次元形状データを用いて、撮影した前記画像における被写体の見えを基に、カメラ座標系における前記被写体の３次元位置及び３次元姿勢を推定するステップを備え、
    推定した前記被写体の３次元位置及び３次元姿勢を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するものである
    ことを特徴とする画像処理方法。
  5. 請求項１に記載の画像処理方法において、
    前記入射面特定ステップは、撮影した前記画像の数が３以上のとき、
    前記画素群の画素毎に、前記偏光素子の主軸角度に対する輝度値変化の位相を検出するステップを備え、
    検出した位相から、入射面を特定するものである
    ことを特徴とする画像処理方法。
  6. 請求項５に記載の画像処理方法において、
    前記入射角算出ステップは、
    前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、
    前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備え、
    前記法線ベクトル算出ステップは、撮影した前記画像の数が３以上のとき、
    前記入射面特定ステップにおいて前記画素群の画素毎に特定した入射面を画像平面に射影した方向の、第１の２次元分布を算出するステップと、
    既知である被写体の３次元形状モデルを用いて、カメラ座標系における被写体の３次元位置及び３次元姿勢を仮定し、仮定した前記３次元位置及び３次元姿勢を有する前記３次元形状モデルを射影した画像平面における画素毎に入射面を計算し、前記計算した入射面を画像平面に射影した方向の、第２の２次元分布を算出するステップと、
    前記第１及び第２の２次元分布同士をマッチングさせることにより、前記被写体の３次元位置及び３次元姿勢を決定するステップと、
    決定した前記被写体の３次元位置及び３次元姿勢を基に、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップとを備えたものである
    ことを特徴とする画像処理方法。
  7. 請求項１に記載の画像処理方法において、
    前記入射面特定ステップの後に、
    前記画素群について、入射面が類似している画素同士を暫定的にクラスタリングして、少なくとも１つの画素集合を形成する暫定クラスタリングステップを実行し、
    その後、前記反射成分分離ステップを、前記暫定クラスタリングステップで形成された各画素集合において、実行し、
    その後、前記入射角算出ステップ、前記クラスタリングステップ、および前記反射成分分離ステップを、所定回数、繰り返し実行するものであり、
    前記入射角算出ステップは、
    前回実行された反射成分分離ステップによって得られた拡散反射成分を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、
    前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備えたものである
    ことを特徴とする画像処理方法。
  8. 請求項１に記載の画像処理方法において、
    撮影した前記画像の数が３以上のとき、
    前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値を算出し、
    前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から、前記被写体の屈折率を算出するステップをさらに備えた
    ことを特徴とする画像処理方法。
  9. 請求項１に記載の画像処理方法において、
    撮影した前記画像の数が３以上のとき、
    前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最小値を算出し、
    前記最小値が予め定めた第１の閾値より小さいとき、前記入射角算出ステップにおいて算出した前記注目画素における入射角はブリュースタ角であると判断し、このブリュースタ角から、前記被写体の屈折率を算出するステップをさらに備えた
    ことを特徴とする画像処理方法。
  10. 請求項１に記載の画像処理方法において、
    撮影した前記画像の数が３以上のとき、
    前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値を算出し、
    前記最小値が予め定めた第２の閾値以上であるときは、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から、前記被写体の屈折率を算出するステップをさらに備えた
    ことを特徴とする画像処理方法。
  11. 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影する偏光画像取得部と、
    前記偏光画像取得部によって、主軸方向が互いに異なる偏光素子を通して撮影された複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定する入射面特定部と、
    前記複数の画像から、前記画素群について、画素毎に、入射角を算出する入射角算出部と、
    前記画素群について、前記入射面特定部により特定された入射面及び前記入射角算出部により特定された入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成する分類部と、
    前記分類部により形成された各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する反射成分分離部とを備えた
    ことを特徴とする画像処理装置。
  12. 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像を取り込んで、当該複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定する処理と、
    前記複数の画像から、前記画素群について、画素毎に、入射角を算出する処理と、
    前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成する処理と、
    前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する処理と
    をコンピュータに実行させる画像処理プログラム。
  13. 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、
    前記撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定するステップと、
    前記撮影した複数の画像における前記領域から、鏡面反射が生じている画素群について、画素毎に、入射面を特定するステップと、
    前記撮影した複数の画像における前記領域から、前記画素群について、画素毎に、入射角を算出するステップと、
    前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも１つの画素集合を形成するステップと、
    前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップとを備えた
    ことを特徴とする画像処理方法。
  14. 請求項１３に記載の画像処理方法において、
    前記被写体は、人の顔であり、
    前記領域特定ステップは、眼の領域、または眼鏡のレンズの領域を、前記領域として特定するものである
    ことを特徴とする画像処理方法。
JP2006549202A 2005-09-01 2006-08-10 画像処理方法、画像処理装置及び画像処理プログラム Expired - Fee Related JP3955616B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005253439 2005-09-01
JP2005253439 2005-09-01
PCT/JP2006/315840 WO2007029446A1 (ja) 2005-09-01 2006-08-10 画像処理方法、画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP3955616B2 true JP3955616B2 (ja) 2007-08-08
JPWO2007029446A1 JPWO2007029446A1 (ja) 2009-03-26

Family

ID=37835570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006549202A Expired - Fee Related JP3955616B2 (ja) 2005-09-01 2006-08-10 画像処理方法、画像処理装置及び画像処理プログラム

Country Status (4)

Country Link
US (1) US7626585B2 (ja)
JP (1) JP3955616B2 (ja)
CN (1) CN101044507B (ja)
WO (1) WO2007029446A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101473768B1 (ko) * 2013-11-28 2014-12-24 한국과학기술연구원 편광 라이트 필드 카메라를 이용한 스페큘러 및 디퓨즈 영상 생성 장치 및 그것의 제어방법
KR20170123257A (ko) 2016-04-28 2017-11-07 샤프 가부시키가이샤 화상 처리 방법 및 화상 처리 장치
WO2019123795A1 (ja) * 2017-12-21 2019-06-27 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US10521660B2 (en) 2016-04-28 2019-12-31 Sharp Kabushiki Kaisha Image processing method and image processing device

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3828519A3 (en) * 2007-05-31 2021-10-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device
RU2009107143A (ru) * 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство обработки изображений и способ обработки изображений
WO2009019886A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 法線情報生成装置および法線情報生成方法
JP2009086783A (ja) * 2007-09-28 2009-04-23 Fujitsu Microelectronics Ltd フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ
US8085987B2 (en) * 2007-10-26 2011-12-27 Ahmed Shalaby Method and tool for surface texture evaluation
US8564700B2 (en) * 2007-12-07 2013-10-22 Panasonic Corporation Image processing device, image processing method, and imaging device using a patterned polarizer
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
CN102017601B (zh) * 2008-06-26 2013-03-13 松下电器产业株式会社 图像处理装置及图像合成方法
CN102177719B (zh) * 2009-01-06 2013-08-28 松下电器产业株式会社 摄像装置朝向检测装置和具备该装置的移动体
CN101814179B (zh) * 2009-02-19 2012-06-27 富士通株式会社 图像增强方法和设备
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
JP5440927B2 (ja) * 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP5310483B2 (ja) * 2009-10-28 2013-10-09 株式会社リコー 撮像装置
JP5562005B2 (ja) * 2009-11-02 2014-07-30 キヤノン株式会社 画像処理装置及び画像処理方法
WO2011070708A1 (ja) 2009-12-08 2011-06-16 パナソニック株式会社 画像処理装置
US9373052B2 (en) * 2010-04-21 2016-06-21 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
CN102742259B (zh) * 2010-12-01 2016-07-06 松下知识产权经营株式会社 立体图像拍摄装置和内窥镜
JP5503573B2 (ja) * 2011-02-21 2014-05-28 日本放送協会 撮像装置および画像処理情報生成プログラム
JP5899684B2 (ja) 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE102011081428A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
US8610976B1 (en) * 2012-06-27 2013-12-17 3M Innovative Properties Company Image enhancement methods
US9076213B2 (en) * 2013-04-16 2015-07-07 Adobe Systems Incorporated Light estimation from video
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
GB201414144D0 (en) * 2014-08-08 2014-09-24 Imagination Tech Ltd Relightable texture for use in rendering an image
JP6519265B2 (ja) * 2015-03-27 2019-05-29 株式会社Ihi 画像処理方法
CN108028892B (zh) * 2015-09-30 2021-02-09 索尼公司 信息获得设备和信息获得方法
JP6568301B2 (ja) * 2016-02-29 2019-08-28 富士通フロンテック株式会社 撮像装置及び撮像方法
JP6650848B2 (ja) * 2016-08-22 2020-02-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
KR102243118B1 (ko) * 2016-12-29 2021-04-21 후아웨이 테크놀러지 컴퍼니 리미티드 지상 환경 검출 방법 및 장치
CN108738372A (zh) * 2017-01-31 2018-11-02 夏普株式会社 拍摄装置以及图像处理装置
JP6550094B2 (ja) * 2017-06-08 2019-07-24 シャープ株式会社 認証装置および認証方法
EP3454298B1 (de) * 2017-09-06 2019-08-07 Sick AG Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
CN107592465B (zh) * 2017-10-10 2020-05-26 联想(北京)有限公司 一种成像系统以及成像方法
CN107688244B (zh) * 2017-10-10 2020-01-31 联想(北京)有限公司 一种成像系统以及成像方法
JP7027807B2 (ja) * 2017-10-30 2022-03-02 富士フイルムビジネスイノベーション株式会社 表示装置、スキャナ、表示システム及びプログラム
CN109919847B (zh) * 2017-12-13 2023-03-14 彩优微电子(昆山)有限公司 改善放大图像品质的方法
WO2019124080A1 (ja) * 2017-12-20 2019-06-27 シャープ株式会社 認証装置、および認証方法
CN110392186B (zh) * 2018-04-13 2021-10-01 合肥京东方显示技术有限公司 减少雾霾影响的成像装置及成像方法
CN110033509B (zh) * 2019-03-22 2023-03-31 嘉兴超维信息技术有限公司 一种基于漫反射梯度偏振光构建三维人脸法线的方法
CN114731368B (zh) * 2019-12-13 2024-07-16 索尼集团公司 成像装置、信息处理装置、成像方法和信息处理方法
KR20210108082A (ko) 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
CN114155338B (zh) * 2021-11-30 2024-12-10 北京达佳互联信息技术有限公司 图像渲染方法、装置及电子设备
WO2024127584A1 (ja) * 2022-12-15 2024-06-20 日本電信電話株式会社 分光特性補正装置、分光特性補正方法及びプログラム
CN116246006A (zh) * 2023-03-01 2023-06-09 之江实验室 基于轻量装置的时变光场的动态人脸高光材质提取算法
CN117132634B (zh) * 2023-10-26 2024-01-23 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) * 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
USRE37752E1 (en) * 1992-10-29 2002-06-18 Equinox Corporation Polarization viewer
US5488700A (en) * 1993-07-30 1996-01-30 Xerox Corporation Image rendering system with local, adaptive estimation of incident diffuse energy
JP3278521B2 (ja) * 1994-01-28 2002-04-30 松下電器産業株式会社 背面投写型画像表示装置
IL115915A (en) * 1994-11-10 1999-12-22 Lawrence B Wolff Method and apparatus for viewing
JPH09212644A (ja) 1996-02-07 1997-08-15 Oki Electric Ind Co Ltd 虹彩認識装置および虹彩認識方法
JPH10162146A (ja) 1996-11-29 1998-06-19 Oki Electric Ind Co Ltd 個人識別装置
JP3727758B2 (ja) 1997-07-17 2005-12-14 日本放送協会 映り込み防止形撮像装置
JPH11203478A (ja) 1998-01-07 1999-07-30 Oki Electric Ind Co Ltd アイリスデータ取得装置
JPH11211433A (ja) 1998-01-30 1999-08-06 Toppan Printing Co Ltd 成形品の表面形状測定方法及び測定システム
US6539126B1 (en) * 1998-04-17 2003-03-25 Equinox Corporation Visualization of local contrast for n-dimensional image data
JPH11313242A (ja) 1998-04-28 1999-11-09 Nippon Hoso Kyokai <Nhk> 撮像用光学機器および撮像装置
JP3459981B2 (ja) * 2000-07-12 2003-10-27 独立行政法人産業技術総合研究所 拡散および鏡面反射成分の分離方法
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US7024037B2 (en) * 2002-03-22 2006-04-04 Unilever Home & Personal Care Usa, A Division Of Conopco, Inc. Cross-polarized imaging method for measuring skin ashing
JP2005092549A (ja) * 2003-09-18 2005-04-07 Canon Inc 三次元画像処理方法および装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101473768B1 (ko) * 2013-11-28 2014-12-24 한국과학기술연구원 편광 라이트 필드 카메라를 이용한 스페큘러 및 디퓨즈 영상 생성 장치 및 그것의 제어방법
US9325886B2 (en) 2013-11-28 2016-04-26 Korea Institute Of Science And Technology Specular and diffuse image generator using polarized light field camera and control method thereof
KR20170123257A (ko) 2016-04-28 2017-11-07 샤프 가부시키가이샤 화상 처리 방법 및 화상 처리 장치
US10521660B2 (en) 2016-04-28 2019-12-31 Sharp Kabushiki Kaisha Image processing method and image processing device
WO2019123795A1 (ja) * 2017-12-21 2019-06-27 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JPWO2019123795A1 (ja) * 2017-12-21 2020-12-17 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP7147784B2 (ja) 2017-12-21 2022-10-05 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
US11663831B2 (en) 2017-12-21 2023-05-30 Sony Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
CN101044507A (zh) 2007-09-26
US20070222781A1 (en) 2007-09-27
CN101044507B (zh) 2010-08-18
WO2007029446A1 (ja) 2007-03-15
US7626585B2 (en) 2009-12-01
JPWO2007029446A1 (ja) 2009-03-26

Similar Documents

Publication Publication Date Title
JP3955616B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
CN114766003B (zh) 用于利用偏振增强传感器系统和成像系统的系统和方法
Li et al. Through the looking glass: Neural 3d reconstruction of transparent shapes
Umeyama et al. Separation of diffuse and specular components of surface reflection by use of polarization and statistical analysis of images
Morris et al. Reconstructing the surface of inhomogeneous transparent scenes by scatter-trace photography
US8090160B2 (en) Automated method for human face modeling and relighting with application to face recognition
CN102047651B (zh) 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP4563513B2 (ja) 画像処理装置及び擬似立体画像生成装置
Kondo et al. Accurate polarimetric BRDF for real polarization scene rendering
Qian et al. 3d reconstruction of transparent objects with position-normal consistency
CN102901489B (zh) 路面积水积冰检测方法及装置
EP2104365A1 (en) Method and apparatus for rapid three-dimensional restoration
Atkinson et al. High-sensitivity analysis of polarization by surface reflection
CN107203743A (zh) 一种人脸深度跟踪装置及实现方法
Tang et al. Dense photometric stereo using tensorial belief propagation
Murai et al. Surface normals and shape from water
Miyazaki et al. Polarization-based shape estimation of transparent objects by using raytracing and PLZT camera
Kuo et al. Surface normals and shape from water
Gu et al. Joint dense 3D reconstruction method for endoscopic images of weak texture scenes
Dana Capturing computational appearance: More than meets the eye
Wang et al. Per-pixel water detection on surfaces with unknown reflectance
Kong et al. A 3D measurement method for specular surfaces based on polarization image sequences and machine learning
CN111696146A (zh) 人脸模型重建方法、系统、图像处理系统及存储介质
WO2021229984A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Thilak et al. Image segmentation from multi-look passive polarimetric imagery

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070502

R150 Certificate of patent or registration of utility model

Ref document number: 3955616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20061207

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees