CN101044507B - 图像处理方法以及图像处理装置 - Google Patents

Abstract

取得偏振图像部(100)，经过主轴互相不同的偏振元件(101)对被摄物进行摄像。确定入射面部(107)为每个像素确定入射面，计算入射角部(108)为每个像素计算出入射角。分类部(109)，对入射面和入射角相似的像素进行聚类。分离反射成分部(110)，假设为漫反射成分和镜面反射成分在概率上相互独立，对已聚类的各个像素集合进行反射成分分离。

Description

图像处理方法以及图像处理装置

技术领域

本发明涉及一种在经过偏振滤光片对被摄物进行摄像而得到的图像中，利用漫反射成分和镜面反射成分在概率上相互独立这一事情来使漫反射成分和镜面反射成分分离开的方法，特别是属于一种设为能在一般的照明环境下进行反射成分分离的技术。

背景技术

来自物体的反射光，是可以表现为镜面反射成分和漫反射成分这两种成分之和的。在非专利文献1中，有人提案过该两种成分所构成的反射作为双色性反射模式(dichromatic reflection model)。镜面反射成分，是在物体表面与空气层之间的境界反射的光；漫反射成分，是通过物体表面而射入到物体内部的光由于色素的存在而反复进行反射，再回到空气中的光。

对应点的搜寻(search)、光度立体等图像处理算法中的很多算法以漫反射为前提，镜面反射在很多图像处理算法中成为使性能降低的因素。因此，曾经被提案过很多使镜面反射成分和漫反射成分分离开的技术。

在使镜面反射成分和漫反射成分分离开的技术方案中，有很多提案的是下述两种方式，即：(A)利用反射光的颜色特性的方式；(B)利用镜面反射的偏振特性的方式。

(A)是下述方式，即：鉴于在被摄物为电介质的情况下，漫反射光反映物体的颜色而镜面反射光反映照明的颜色这一事情，利用颜色向量的不同来使两种反射成分分离开。然而，在物体的颜色和照明的颜色相似的情况、和由于相互反射而其他物体映在该被摄物上的情况下，不好分离。这是一个问题。此外，在被摄物为金属的情况下，当采用某些种类的金属时，菲涅耳(Fresnel)系数对波长的依赖性很强，镜面反射光和照明光的颜色向量不一致，因而不能采用利用颜色特性的分离方法。

(B)是下述方式，即：利用镜面反射成分在很多情况下已偏振，而在大多情况下可以将漫反射成分看作非偏振光这一事情，来使两种反射成分分离开。作为利用偏振光的方式，曾经被提案过非专利文献2、非专利文献3、专利文献1、专利文献2等技术方案。因为这些技术方案是利用偏振光的方法，所以与利用颜色特性的方法不同，有能在不依赖于照明的颜色和物体的颜色的状态下进行处理这一优点。

在非专利文献2中，利用在玻璃表面上反射的光进行偏振的程度大于透过玻璃射出的光进行偏振的程度这一事情，通过使安装在摄像机上的偏振滤光片回转着取入多个图像，再对所述多个图像求出各个像素的最小亮度值，来使映在玻璃上的图像和位于玻璃背后的物体的图像分离开。然而，该方法只在向玻璃射入的入射角近于布儒斯特角时，才能够良好地分离出映在玻璃上的图像。

在非专利文献3中，使安装在摄像机上的偏振滤光片回转着取入多个图像，再为所述多个图像的每个像素而求出最小亮度值和最大亮度值，根据这些值的比率推定菲涅耳系数的平行成分和垂直成分的比率，从而即使在入射角不是布儒斯特角的情况下，也使来自被摄物的镜面反射光和漫反射光分离开。然而，该技术方案假设为漫反射成分在存在镜面反射的区域内很均匀，不能用于有漫反射所形成的纹理的被摄物。

在专利文献1中，在照明侧和摄像机侧都使用偏振滤光片。使照明光成为线性偏振光，使安装在摄像机侧的偏振滤光片回转着取入多个图像，再为所述多个图像的每个像素而求出最小亮度值，然后将这些最小亮度值所构成的图像作为漫反射图像进行记录。该技术方案利用的是，在照明光已完全成为偏振光的的情况下，无论入射角的大小，该照明光的镜面反射光都完全成为偏振光的特性。然而，因为该技术方案不能除去来自光已完全成为偏振光的照明以外的来源的镜面反射光，所以该技术在无光泽的黑色遮光箱内被利用，不能在一般环境下使用该技术方案。

在专利文献2中，假设为镜面反射成分和漫反射成分在概率上相互独立，使经过偏振滤光片摄得的多个图像分离为两种反射成分。该技术方法与非专利文献2不同，在具有布儒斯特角以外的角度的情况下也能够进行反射成分分离。此外，与非专利文献3不同，该技术方案也能用于具有漫反射所形成的纹理的被摄物。而且，与非专利文献1不同，该技术方案不需要使照明光成为偏振光。

下面，关于该专利文献2的方法进行说明，不过，在这之前关于光在物体上的反射现象和偏振现象进行一般性说明。

根据前面介绍的双色性反射模式，来自物体的反射光被表现为漫反射成分和镜面反射成分这两种成分之和。在很多情况下，以[算式1]所示的朗伯(Lambertian)模式表示漫反射成分L_diff。

L_diff＝κ_diffmax[0，(L_icosθ_i)]

在此，L_i是入射光的强度；θ_i是入射角；κ_diff是物体的漫反射率。在大多情况下，可以将该漫反射成分看作非偏振光。

在很多情况下，以[算式2]所示的托兰斯-斯派罗(Torrance-Sparrow)模式表示镜面反射成分L_spec。

$L_{\mathrm{spec}}=\mathrm{cF}({{\mathrm{\θ}}^{\′}}_i,\mathrm{\η})G\frac{L_i}{\cos {\mathrm{\θ}}_r}\exp (-\frac{{\mathrm{\α}}^2}{{{2\mathrm{\σ}}_{\mathrm{\α}}}^2})$

在此，L_i是入射光的强度，与朗伯模式的情况一样；θ_r是物体表面的法线和视线方向所成的角度；α是形成镜面反射的微面(microfacet)的法线方向和物体表面的法线方向所成的角度；σ_α是表示物体表面的粗糙程度的参数。F是关于反射能的菲涅耳系数，依赖于射入微面时的入射角θ’_i、和两种介质的折射率η₁和η₂的比率即相对折射率η。在介质是电介质的情况下，该F成为实数，后面以n表示该成为实数的F。G是几何衰减率，表示微面通过遮蔽入射光(masking)或者遮蔽反射光(shadowing)而带来的影响程度。c是表示漫反射和镜面反射的比率的常数。

因为与光入射面平行的成分和垂直于光入射面的成分的菲涅耳系数不一样，所以该镜面反射成分成为偏振光。[算式3]和[算式4]分别表示平行成分和垂直成分的、关于反射能的菲涅耳系数。

$F_p=\frac{{\tan }^2({{\mathrm{\θ}}^{\′}}_i-{{\mathrm{\θ}}^{\′\′}}_i)}{{\tan }^2({{\mathrm{\θ}}^{\′}}_i+{{\mathrm{\θ}}^{\′\′}}_i)}$

$F_s=\frac{{\sin }^2({{\mathrm{\θ}}^{\′}}_i-{{\mathrm{\θ}}^{\′\′}}_i)}{{\sin }^2({{\mathrm{\θ}}^{\′}}_i+{{\mathrm{\θ}}^{\′\′}}_i)}$

在此，θ”_i是关于微面的折射角。由于斯涅耳(Snell)定律，[算式5]成立。

$\frac{{{\sin \mathrm{\θ}}^{\′}}_i}{{{\sin \mathrm{\θ}}^{\′\′}}_i}=\frac{n_2}{n_1}=n$

在此，n₁是位于入射侧的介质1的折射率，n₂是位于折射侧的介质2的折射率。下面，以相对折射率n表示折射率n₂和n₁的比率。

在图26中，表示相对折射率n＝1.6的情况下的、关于与入射面平行的成分和垂直于该入射面的成分的菲涅耳系数的曲线图。

鉴于上述情况，可以用[算式6]表示相对一种非偏振光即入射光的反射光强度L_r。在此，L’_spec是从以[算式2]表示的镜面反射成分L_spec中除去菲涅耳强度反射率的项的部分。

$L_r=L_{\mathrm{diff}}+\frac{1}{2}(F_p({{\mathrm{\θ}}^{\′}}_i,n)+F_s({{\mathrm{\θ}}^{\′}}_i,n)){L^{\′}}_{\mathrm{spec}}$

在经过偏振滤光片观测来自物体的反射光的情况下，该反射光的强度，是通过偏振滤光片之前的反射光中的与偏振滤光片主轴平行的成分的强度。在使偏振滤光片回转着观测来自物体的反射光的情况下，该反射光的强度根据偏振滤光片的主轴角度像正弦函数一样地变化，如图27所示。如图26所示，在大多入射角中，反射光中的垂直于入射面的成分大于与该入射面平行的成分。因此，在偏振滤光片的主轴与入射面平行的情况(偏振滤光片的主轴和入射面所成的角度ψ为0rad(弧度)时)下，观测到的镜面反射成分强度最小，而在该主轴垂直于该入射面的情况(偏振滤光片的主轴和入射面所成的角度ψ为

时)下，观测到的镜面反射成分强度最大。因为可以将漫反射成分看作非偏振光，所以漫反射成分不受偏振滤光片主轴方向的影响，而具有一定的强度。

在托兰斯-斯派罗模式中认为，入射光在物体表面的微面上反射，从而发生镜面反射。就是说，观测图像的各个图像中的镜面反射成分的入射面和局部入射角，是根据光源的方向和摄像机的视线方向决定的，与物体表面的法线方向相互独立而不依赖。

专利文献2的方法，假设为光源位于足够远的位置，并且摄像模式是正交投影模式。如图33所示，在该情况下可以看作，在摄像图像中的发生了镜面反射的所有像素中，各个像素相互间的入射面及局部入射角相同。在此，这样下定义，即：“入射面相同”，是指如图5所示将与所注目的像素对应的入射面投影在图像平面上的方向，在发生了镜面反射的所有像素的相互间都相同。同时，假设为物体的折射率均匀。在这些假设下，对应于物体的所有像素的菲涅耳系数相同，使偏振滤光片回转时的镜面反射的亮度值变化的相位，在所有像素的相互间相同。

在此，在设I_d为漫反射图像向量、设I_s为镜面反射图像向量、设I为观测图像向量的情况下，[算式7]的关系成立。补充说明一下，向量I_d、I_s、I都是具有与像素数量一样的维数的列向量。f(ψ)，是偏振滤光片的主轴和入射面所成的角度ψ的函数(标量)。

I＝I_d+f(ψ)I_s

若用图表示上述关系，就呈图28所示的样子。观测图像向量，在f(0)I_s与f()I_s之间的范围内增减。在经过主轴相互不同的偏振滤光片观测多个、例如为两个图像的图像向量I₁、I₂的情况下，如图29所示，能根据其差(I₁-I₂)得到镜面反射图像向量I_s的方向。因此，若该差的向量乘以适当的常数k，再由观测图像向量减去通过所述乘法来得到的数量，就能够得到漫反射图像向量I_d。

在专利文献2的方法中，假设为漫反射图像向量I_d和镜面反射向量I_s在概率上相互独立，来得到这两种向量和系数f(ψ)。具体而言，该方法是按照下述顺序进行的。

(1)利用最大秩分解，将具有所观测到的多个图像行向量作为矩阵元的矩阵分解为乘法的形式。

(2)引进任意的2×2非奇异矩阵，暂时决定候补漫反射图像向量和候补镜面反射图像向量。

(3)通过对两者的交互信息量进行评价，来采用交互信息量最小(概率上的相互独立性最强)的漫反射图像向量、镜面反射图像向量及系数f(ψ)矩阵作为推测值。

专利文献1：日本公开专利公报特开平11-41514号公报

专利文献2：日本专利公报专利第3459981号公报

非专利文献1：S.Shafer、“Using color to separate reflectioncomponents”、Color Research and Applications、vol.10、no.4、pp.210-218、1985

非专利文献2：岩濑正树、山村毅、田中敏光、大西升、《眩光分离摄像系统》、电子情报通信学会论文杂志D-II、Vol.J81-D-II、No.6、pp.1224-1232、1998年6月

非专利文献3：L.B.Wolff、“Using Polarization to SeparateReflection Components”、Proc.IEEE Conf.CVPR、pp.363-369、1989

如图33所示，在专利文献2的方法中，假设为存在平行光光源(与光源位于足够远的位置的状态等价)，同时假设摄像模式为正交投影模式。然而，在我们平时生活的一般环境下，平行光的假设几乎不会成立。在室外，虽然可以将晴天的太阳光看作平行光，但是在阴天时，整个天空处于扩散面光源的状态，不能看作平行光。在室内，在很近的地方存在具有一定程度的大小的照明器材时、和存在多个照明器材时，不能看作平行光。在室外或室内，在存在相互反射的情况下，不能看作平行光。

图30，是在图31所示的环境下，对表面平滑的橡胶制球体进行摄像而得到的图像。由图31可见，在被摄物即橡胶球的左侧边和上方设置有荧光灯照明。在图30中，受图31所示的荧光灯照明A的影响，在被摄物即橡胶球上形成了镜面反射区域1；受图31所示的荧光灯照明组B中的一部分的影响，在该被摄物即橡胶球上形成了镜面反射区域2。这些镜面反射，是来自不同方向的照明所形成的，在整个照明环境下，不能看作平行光。因此，使设置在摄像机前面的偏振滤光片回转时所发生的、镜面反射的亮度值变化的相位，不在所有像素的相互间相同。图32是曲线图，表示图30所示的小区域1和小区域2中的、亮度值的相对摄像机前面的偏振滤光片角度的变化情况。将某个基准方向作为0度，使偏振滤光片以10度的间隔回转到180度为止。因为区域1和区域2的亮度值的相位几乎相反，不成为相同相位，所以根据专利文献2的方法，不能在这样的照明环境下分离出镜面反射。

发明内容

本发明，正是为解决所述问题而研究开发出来的。其目的在于：在一般照明环境下，也使经过偏振滤光片对被摄物进行摄像而得到的图像分离为漫反射成分和镜面反射成分。

在本发明中，在任意照明下经过主轴方向互相不同的偏振元件进行摄像而得到多个图像，为所述多个图像中发生了镜面反射的像素组的每个像素而确定入射面、并且计算出入射角，再对所述像素组中的所述入射面和入射角都相似的像素进行聚类(clustering)，来至少形成一个以上的像素集合，然后在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来使各个像素的亮度值分离为漫反射成分和镜面反射成分。

根据本发明，在为发生了镜面反射的像素组中的每个像素而求出入射面和入射角后，对该入射面和入射角都相似的像素进行聚类，再在通过聚类而成的各个像素集合中，利用概率上的独立性进行反射成分分离。就是说，即使是在任意照明环境下摄得的图像中，具有不同的入射面和不同的入射角的镜面反射光混在一起的情况下，也对入射面和入射角都相似的像素进行聚类，再在通过聚类而成的各个像素集合中进行反射成分分离。因此，即使在入射面和入射角不在每个像素相互间都一样的情况下，也能以高精度实行反射成分分离。因此，即使是在一般照明环境下摄得的图像，也能使漫反射成分和镜面反射成分分离开。

不过，为了能够利用概率上的独立性进行反射成分分离，需要被摄物的折射率在各个像素集合中具有大致一定的值。被摄物的与摄像图像的一个像素对应的局部区域在光学上很平滑时，可以看作入射面和入射角在一个像素内具有固定的面或角度，因而能以更高的精度实行反射成分分离。

图34，表示在非平行光的环境下当某个入射面时发生的镜面反射光射入中心投影式摄像机中的状况。图34表示，通过根据入射角进行聚类，能分成(甲)、(乙)及(丙)这三种集合。通过在(甲)、(乙)及(丙)中分别利用概率上的独立性进行反射成分分离，就能使漫反射成分和镜面反射成分分离开。

-发明的效果-

根据本发明，在一般照明环境下，也能使经过偏振滤光片对被摄物进行摄像而得到的图像分离为漫反射成分和镜面反射成分。

附图说明

图1，是表示本发明的第一实施例所涉及的图像处理装置的结构例的方框图。

图2，是表示本发明的第一实施例所涉及的图像处理方法的流程图。

图3，是表示本发明的第一实施例所涉及的偏振滤光片的主轴方向的图。

图4，是对本发明的各个实施例中的坐标系进行说明的图。

图5，是表示将镜面反射的入射面投影在图像平面上而成的直线(入射面方向)的图。

图6，是对表示将镜面反射的入射面投影在图像平面上而成的入射面方向的角度进行说明的图。

图7，是表示入射面方向的二维分布情况的图。

图8，是表示入射角的二维分布情况的图。

图9，是表示本发明的第一实施例中的、决定聚类时的区间尺度的函数的例子的坐标图。

图10，是表示被摄物为球体时的聚类结果的图。

图11，是表示本发明的第一实施例的变形例所涉及的图像处理装置的结构例的方框图。

图12，是表示本发明的第一实施例的变形例所涉及的图像处理方法的流程图。

图13，是表示本发明的第一实施例的变形例中的偏振滤光片的主轴方向的图。

图14，是曲线图，表示用正弦函数对在使偏振滤光片的主轴方向回转着观测含有镜面反射的被摄物上的区域时得到的亮度值进行了拟合(fitting)的结果。

图15，是表示为了决定被摄物的三维姿势和三维位置而利用入射面方向的二维分布的状况的图。

图16，是表示为了决定被摄物的三维姿势和三维位置而进行入射面方向的二维分布的匹配的状况的图。

图17，是表示本发明的折射率推测方法的流程图。

图18，是表示在推测折射率时利用的、偏振滤光片主轴角度与镜面反射亮度值之间的关系的坐标图。

图19，是表示亮度值相对偏振元件主轴和入射面所成的角度的变化情况的坐标图的例子，图19(a)表示反射成分分离之前的情况；图19(b)表示反射成分分离之后(仅表示镜面反射成分)的情况。

图20，是坐标图的例子，表示镜面反射成分的最小值Is_min为阈值Th₂以上的情况下的、亮度值相对偏振元件主轴和入射面所成的角度的变化情况。

图21，是坐标图的例子，表示镜面反射成分的最小值Is_min小于阈值Th₃的情况下的、亮度值相对偏振元件主轴和入射面所成的角度的变化情况。

图22，是表示本发明的第二实施例所涉及的图像处理装置的结构例的方框图。

图23，是表示本发明的第二实施例所涉及的图像处理方法的流程图。

图24，是表示在本发明的第二实施例中，进行到反射成分分离为止的情况的图。

图25，是表示根据深度(depth)图像计算出法线的方法的例子的图。

图26，是表示相对折射率为1.6的情况下的菲涅耳强度反射率的曲线图。

图27，是表示偏振滤光片主轴角度与观测到的亮度值之间的关系的坐标图。

图28，是表示在照明为平行光、并且摄像模式为正交投影摄像模式的情况下，使偏振滤光片主轴变化着观测折射率均匀的被摄物时的图像向量的变化范围的图。

图29，是表示在照明为平行光、并且摄像模式为正交投影摄像模式的情况下，用两种偏振滤光片主轴观测折射率均匀的被摄物时的、两种图像向量、漫反射图像向量以及镜面反射图像向量之间的关系的图。

图30，是在照明存在于多个方向上的环境下，对球状被摄物进行摄像而得到的图像。

图31，是表示摄得了图30所示的图像时的照明环境的图。

图32，是表示图30中的被摄物的镜面反射区域内的、偏振滤光片角度与观测亮度值之间的关系的曲线图。

图33，是表示专利文献2的方法所作为前提的条件的图。

图34，是表示在本发明中，对入射角相等的像素进行聚类的状况的图。

符号说明

100-取得偏振图像部；101-偏振元件；102-摄像机；106-计算法线部；107-确定入射面部；108-计算入射角部；109-分类部；110-分离反射成分部。

具体实施方式

本发明的第一形态提供一种图像处理方法，该图像处理方法包括：用摄像机经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到多个图像的步骤，根据所述摄得的多个图像，为发生了镜面反射的像素组的每个像素而确定入射面的步骤，根据所述摄得的多个图像，为所述像素组的每个像素而计算出入射角的步骤，对所述像素组中的所述入射面和所述入射角都相似的像素进行聚类，来至少形成一个像素集合的步骤，以及在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的步骤。

本发明的第二形态提供第一形态的图像处理方法，在该第二形态的图像处理方法中，所述确定入射面步骤包括：为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量确定入射面的步骤。

本发明的第三形态提供第一形态的图像处理方法，在该第三形态的图像处理方法中，所述计算入射角步骤包括：为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量计算出入射角的步骤。

本发明的第四形态提供第二形态或第三形态的图像处理方法，在该第四形态的图像处理方法中，所述计算法线向量步骤，包括用已知的、所述被摄物的三维形状数据，根据摄得的所述图像中的被摄物的外观，推定摄像机坐标系中的所述被摄物的三维位置和三维姿势的步骤；所述计算法线向量步骤，是为了所述像素组的每个像素，用推定的所述被摄物的三维位置和三维姿势，计算出被摄物的法线向量的。

本发明的第五形态提供第一形态的图像处理方法，在该第五形态的图像处理方法中，在摄得的所述图像的数目为3以上时，所述确定入射面步骤，包括为所述像素组的每个像素而检测出相对所述偏振元件主轴角度的亮度值变化的相位的步骤，在所述确定入射面步骤中，根据检测出的相位确定入射面。

本发明的第六形态提供第五形态的图像处理方法，在该第六形态的图像处理方法中，所述计算入射角步骤，包括：为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量计算出入射角的步骤；在摄得的所述图像的数目为3以上时，所述计算法线向量步骤包括：计算出将在所述确定入射面步骤中为所述像素组的每个像素而确定的入射面投影在图像平面上的方向的第1二维分布的步骤，用已知的被摄物三维形状模型假设摄像机坐标系中的被摄物的三维位置和三维姿势，为投影了具有假设的所述三维位置和所述三维姿势的所述三维形状模型的图像平面上的每个像素而计算出入射面，再计算出将所述计算出的入射面投影在图像平面上的方向的第2二维分布的步骤，通过使所述第1及第2二维分布互相进行匹配，来决定所述被摄物的三维位置和三维姿势的步骤，以及根据所决定的所述被摄物的三维位置和三维姿势，为所述像素组的每个像素而计算出被摄物的法线向量的步骤。

本发明的第七形态提供第一形态的图像处理方法，在该第七形态的图像处理方法中，在所述确定入射面步骤之后，实行对所述像素组中的入射面相似的像素暂时进行聚类，来至少形成一个像素集合的暂时聚类步骤，之后，对在所述暂时聚类步骤中形成的各个像素集合实行所述分离反射成分步骤，之后，将所述计算入射角步骤、所述聚类步骤及所述分离反射成分步骤反复实行规定次数；所述计算入射角步骤，包括：为了所述像素组的每个像素，用通过上一次实行的分离反射成分步骤来得到的漫反射成分计算出被摄物的法线向量的步骤，和为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量而计算出入射角的步骤。

本发明的第八形态提供第一形态的图像处理方法，该第八形态的图像处理方法，在摄得的所述图像的数目为3以上时还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最大值和最小值，再根据所述最大值和所述最小值的比值和在所述计算入射角步骤中计算出的、所述注目的像素上的入射角，计算出所述被摄物的折射率的步骤。

本发明的第九形态提供第一形态的图像处理方法，该第九形态的图像处理方法，在摄得的所述图像的数目为3以上时还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最小值，当所述最小值小于预定的第一阈值时，判断在所述计算入射角步骤中计算出的、所述注目的像素上的入射角为布儒斯特角，再根据该布儒斯特角计算出所述被摄物的折射率的步骤。

本发明的第十形态提供第一形态的图像处理方法，该第十形态的图像处理方法，在摄得的所述图像的数目为3以上时还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最大值和最小值，当所述最小值为预定的第二阈值以上时，根据所述最大值和所述最小值的比值和在所述计算入射角步骤中计算出的、所述注目的像素上的入射角，计算出所述被摄物的折射率的步骤。

本发明的第十一形态提供一种图像处理装置，该图像处理装置，包括：在任意照明下，经过主轴方向互相不同的偏振元件对被摄物进行摄像的取得偏振图像部，根据由所述取得偏振图像部经过主轴方向互相不同的偏振元件摄得的多个图像，为发生了镜面反射的像素组的每个像素而确定入射面的确定入射面部，根据所述多个图像，为所述像素组的每个像素而计算出入射角的计算入射角部，对所述像素组中的、所述确定入射面部所确定的入射面和所述计算入射角部所确定的入射角都相似的像素进行聚类，来至少形成一个像素集合的分类部，以及在所述分类部所形成的各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的分离反射成分部。

本发明的第十二形态提供一种图像处理程序，该图像处理程序，让计算机执行下述处理：取入在任意照明下，经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到的多个图像，再根据所述多个图像，为发生了镜面反射的像素组的每个像素而确定入射面的处理，根据所述多个图像，为所述像素组的每个像素而计算出入射角的处理，对所述像素组中的所述入射面和所述入射角都相似的像素进行聚类，来至少形成一个像素集合的处理，以及在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的处理。

本发明的第十三形态提供一种图像处理方法，该图像处理方法，包括：在任意照明下，用摄像机经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到多个图像的步骤，从所述摄得的多个图像中确定折射率均匀、并且局部区域在光学上平滑的区域的步骤，根据所述摄得的多个图像中的所述区域，为发生了镜面反射的像素组的每个像素而确定入射面的步骤，根据所述摄得的多个图像中的所述区域，为所述像素组的每个像素而计算出入射角的步骤，对所述像素组中的所述入射面和所述入射角都相似的像素进行聚类，来至少形成一个像素集合的步骤，以及在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的步骤。

本发明的第十四形态提供第十三形态的图像处理方法，在该第十四形态的图像处理方法中，所述被摄物是人的脸；所述确定区域步骤，是将眼睛区域或眼镜片区域确定为所述区域的。

下面，参照附图，说明本发明的实施例。

首先，说明实施本发明时的各种条件。

照明不需要为平行光。就是说，也可以有多个照明，对一个照明来讲，也可以不是点光源而是面光源。因为可以将来自其他被摄物的反射光看作照明，所以也可以存在来自其他被摄物的反射光。此外，也不需要关于照明的光谱特性和照明方向的知识。

假设为被摄物的折射率大致均匀，并且被摄物的局部区域在光学上很平滑。要假设为“折射率大致均匀”的原因，与专利文献2一样。就是说，在对被摄物进行摄像时，在发生了镜面反射的各个像素的折射率大致均匀、并且镜面反射的入射面和入射角一样的情况下，各个像素具有大致一样的菲涅耳系数，能够利用概率上的相互独立性进行镜面反射分离。在此，折射率并不需要严密地均一，只要可以看作菲涅耳系数互相相同，并且该相同的程度是可以利用概率上的相互独立性进行镜面反射分离的程度就可以。

“局部区域在光学上很平滑”意味着局部区域内的微面的法线大致均匀，可以看作微面法线和表示形状的宏观法线相同。在对这样的、被摄物上的发生了镜面反射的局部区域进行观测时，即使在整个周围存在面光源，也可谓该局部区域的镜面反射是由于来自一个方向的入射光而发生的。就是说，在用摄像机观测镜面反射的情况下，在被摄物上的与摄像图像的一个像素对应的局部区域，微面法线方向都一样，其结果是，镜面反射的入射面和入射角都一样。不过，虽然局部区域需要很平滑，但是不需要从大局上来看时平滑。就是说，也可以存在宏观法线在空间不连续地变化的部位即棱线(法线边缘)。

对被摄物的形状来讲，至少需要得知发生了镜面反射的区域的宏观法线(等于微面法线)方向。下面，在第一实施例中，通过用已知的被摄物形状模型求出被摄物的三维位置和三维姿势，来求出法线方向。在第二实施例中，通过反复进行下述处理来求出法线方向，该处理是：用已分离的漫反射成分进行立体观测，再用通过立体观测来求出的法线方向进行反射成分分离。

关于摄像模式，可以采用中心投影等任意模式。

在图表1中，表示本发明和专利文献2所作为前提的各种条件的对比。

[图表1]

	光源	摄像模式	被摄物
				本发明	任意	任意	在光学上平滑
专利文献2	平行光	正交投影	任意

(第一实施例)

图1，是方框图，表示实行本发明的第一实施例所涉及的图像处理方法的图像处理装置的结构。该图像处理装置，包括：取得偏振图像部100、帧存储器104、计算法线部105、形状数据库106、确定入射面部107、计算入射角部108、分类部109以及分离反射成分部110。取得偏振图像部100，包括偏振元件101、摄像机102及控制部103。

图2，是本发明的第一实施例所涉及的图像处理方法的流程图。

下面，根据图1的方框图和图2的流程图，说明本实施例所涉及的图像处理方法和图像处理装置。

首先，在取得偏振图像部100中，对被摄物进行摄像，得到图像(SA0)。

控制部103，使偏振元件101主轴方向的角度变化为F种角度(在本实施例中，F＝2)，并且控制摄像机102的摄像时刻(timing)，使摄像机102对应于不同的主轴方向分别进行摄像而得到图像。摄得的F个图像，被存储在帧存储器104中。在本实施例中，用线性偏振滤光片作为偏振元件101，通过用马达等使线性偏振滤光片回转，来使主轴角度变化。如图3所示，使用两种主轴角度，即0和

。本图像处理装置不需要得知这些角度的值。用具有能在镜面反射的亮度不饱和的曝光条件下，充分地取得存在镜面反射的像素中的漫反射纹理的动态范围和量子化比特数的摄像机作为摄像机102。事先通过摄像机标定来计算出焦点距离、图像中心坐标、摄像元件的像素间距及透镜歪斜度的内部参数。在计算法线步骤SA1中使用这些参数。

判断在摄得的两张图像之间存在预定规定值以上的亮度值差的像素为存在镜面反射的像素。在假设两张摄像图像为I₁(x，y)、I₂(x，y)的情况下，如[算式8]所示在被摄物上的、注目的像素位置(x_p，y_p)上的亮度值I₁(x_p，y_p)与I₂(x_p，y_p)之间有规定值以上的亮度差Th₁时，判断为在像素位置(x_p，y_p)上存在镜面反射。

|I₁(x_p，y_p)-I₂(x_p-y_p)|≥Th₁

补充说明一下，在偏振元件101主轴方向的角度有三种以上的情况下，能根据用正弦(余弦)函数对亮度变化进行拟合而得到的振幅是否具有规定值以上的值这一点，来判断是否存在镜面反射。

在以下处理中，仅将发生了镜面反射的像素组作为处理对象。

补充说明一下，在专利文献2的方法中，假设摄像模式为正交投影模式，而在本发明中，若没有偏振元件对入射角的依赖性，就除正交投影模式以外还能采用中心投影(透视投影)模式。例如，在使用有效入射角为±20度的偏振元件的情况下，能够使用视角为40度以内的中心投影式摄像机。

在此，采用了0和这两条互成直角的轴作为主轴角度，只要是使观测到的镜面反射互相发生亮度差的设定，就采用其他角度也可以。

在此，通过使偏振滤光片实际地回转，来取得了多个偏振图像。也可以使用例如日本公开专利公报特开平11-313242号公报所公开的、利用液晶的、能用电力控制主轴方向的元件。此外，也可以是这样的，如“J.D.Barter、H.R.Thompson、and C.L.Richardson、《Visible-Regimepolarimetric imager：a fully polarimetric、real-time imaging system》、Applied Optics-LP、Vol.42、No.9、pp.1620-1628(2003)”所示，通过使用多个摄像元件、多个偏振滤光片及分离光路的棱镜，来在同一个时刻取得经过了主轴方向相互不同的偏振滤光片的图像。此外，也可以是这样的，如“J.Guo、and D.Brady、《Fabrication of thin-film micro polarizerarrays for visible imaging polarimetry》、Applied Optics-OT、Vol.39、No.10、pp.1486-1492(2000)”所示，使用微小偏振板阵列，该微小偏振板阵列具有将主轴方向互相不同的微小偏振滤光片排列在摄像元件的各个像素上的结构。

接着，在计算法线部105中，计算被摄物上的法线方向(SA1)。假设为本图像处理装置，已经具有关于成为摄像对象的被摄物的三维形状的知识(形状数据库106事先存储了该知识)。计算法线部105，从形状数据库106取得被摄物的三维形状数据，再根据摄像图像中的被摄物的外观(appearance)推定被摄物的三维姿势和三维位置。在“K.Nishino andS.K.Nayar、《The World in an Eye》、in Proc.of Computer Vision andPattern Recognition CVPR’04、vol.I、pp.444-451、Jul.、2004.”中公开了在被摄物是人眼的角膜的情况下，根据外观推定三维位置和三维姿势的例子。虽然不是能根据外观推定任何被摄物的三维位置和三维姿势，但如果是能根据外观推定三维位置和三维姿势的被摄物，就可以将所述文献的做法用于本发明中。

在推定被摄物的三维姿势和三维位置后，能在被摄物上的任意位置上计算出摄像机坐标系中的单位法线向量N＝(n_X，n_Y，n_Z)。反复进行上述处理，来对摄像图像中的存在镜面反射的所有像素计算出被摄物的法线向量N。

补充说明一下，若被摄物是如图30所示的球体，只要用圆对轮廓线进行拟合，就能对摄得的球体的各个像素计算出摄像机坐标系中的法线向量N，虽然被摄物呈球体的例子是很特殊的。

接着，在确定入射面部107中，为存在镜面反射的每个像素而确定用摄像机观测被摄物上的镜面反射时的入射面(SA2)。首先，用事先求出的焦点距离、图像中心坐标、像素尺寸及透镜歪斜度的内部参数，决定被摄物上的、所注目的像素上的视线方向向量V。用图4说明决定视线方向向量V的方法。

如图4所示，对摄像机坐标系O-X-Y-Z、图像坐标系O_i-x-y进行考虑。用f表示通过摄像机标定求出的焦点距离；用(x_O，y_O)表示通过摄像机标定求出的图像中心距离O_i；用d_x表示通过摄像机标定求出的、x方向上的像素间距；用d_y表示通过摄像机标定求出的、y方向上的像素间距。假设为透镜歪斜度和设置摄像元件时的不准确性(光轴不垂直于元件表面等)已经被修正。在假设与被摄物上的点P_obj对应的、所注目的像素P_i的坐标为(x_p，y_p)的情况下，对被摄物上的点P_obj的视线方向向量V呈[算式9]的样子。

$V=(\frac{d_x\·(x_p-x_o)}{c},\frac{d_y\·(y_p-y_o)}{c},\frac{f}{c})$

在此， $c=\sqrt{{[d_x\·(x_p-x_o)]}^2+{[d_y\·(y_p-y_o)]}^2+f^2}$

因此，在观测点P_obj时的入射面，是包括视线方向向量V和在步骤SA1中计算出的法线向量N的平面。在如图5所示将该入射面投影在图像平面上的情况下，能够以角度φ表示入射面方向，如图6所示。在此，因为只考虑方向如何而不考虑朝向该方向中的哪一侧，所以0≤φ＜π。若对存在镜面反射的所有像素进行上述处理，就能够得到表示入射面方向的角度φ的二维分布，如图7所示。

接着，在计算入射角部108中，为存在镜面反射的每个像素而确定用摄像机观测被摄物上的镜面反射时的入射角(SA3)。根据在步骤SA1中计算出的法线向量N和在步骤SA2中计算出的视线方向向量V，用[算式10]计算出入射角θ。因为θ是入射角，所以 $0\&le;\mathrm{\&theta;}<\frac{\mathrm{\&pi;}}{2}$ 。若对存在镜面反射的所有像素进行上述处理，就能得到入射角θ的二维分布，如图8所示。

θ＝cos^-1(N，V)

接着，在分类部109中，对入射面和入射角都相似的像素进行聚类，来至少形成一个以上的像素集合(SA4)。可以用任意方法作为聚类的做法，在此使用了k均值(k-mean)算法。首先，将C个聚类中心(φc₀，θ_c0)均匀地布置在φ-θ的二维空间内作为初期聚类(c＝0、……、C-1)。通过预备实验，来事先决定聚类数C。假设为这样的，即：在发生了镜面反射的像素数为K个的情况下，具有入射面方向φ_k和入射角θ_k的第k个像素所属的聚类号码，是符合[算式11]的c_kj(k＝0、……、K-1)。

$c_{\mathrm{kj}}=\arg \underset{c}{\min }(d({\mathrm{\&phi;}}_{\mathrm{cj}}-{\mathrm{\&phi;}}_k)+\mathrm{\&lambda;}\&CenterDot;d({\mathrm{\&theta;}}_{\mathrm{cj}}-{\mathrm{\&theta;}}_k))$

在此，j表示聚类次数，第一次为j＝0。(φ_cj，θ_cj)表示第j次聚类时的第c个聚类中心。λ是决定关于入射面的距离和关于入射角的距离的影响力多大的参数，在此假设为λ＝1。如图9所示，函数d(x)是在 $x=\&PlusMinus;\frac{\mathrm{\&pi;}}{2}$ 时成为极大值，在x＝0、±π时成为极小值即0的函数。在使K个像素分别属于C个聚类中的某个聚类以后，更新聚类中心(同时，使j增值(increment))，再反复进行聚类。在所有聚类中心的移动距离小于预定的距离阈值的情况下，结束聚类。补充说明一下，也可以是这样的，在聚类次数j达到了预定的规定次数的情况下，结束聚类。

在到此为止的处理中，发生了镜面反射的像素中入射面和入射角都相似的像素，被聚集到同一个集合中。在被摄物是如图30所示的球体，并且在整个球体表面上发生了镜面反射的情况下，聚类结果呈图10所示的样子。补充说明一下，在被摄物形状不是像球体那样简单的形状的情况下，也会有下述情况，即：像素的位置不相邻，而因为所述像素的入射面和入射角都相似，所以所述像素被聚集到同一个聚类中。

接着，在分离反射成分部110中，为每个包含在同一个聚类中的像素集合而进行反射成分分离(SA5)。因为包含在同一个聚类中的像素的入射面和入射角互相大致相同，所以能够利用专利文献2的方法。专利文献2的方法利用奇异值分解，也可以利用一般的独立成分分析的方法。

这样通过对入射面和入射角都相似的像素进行聚类后，假设为存在概率上的相互独立性，进行反射成分分离，也就能在平行光以外的光源环境下进行反射成分分离。

因为这样进行反射成分分离，所以能够利用上述做法作为利用漫反射的许多种图像处理算法的预处理。此外，在将物体的反射特性输入到计算机中(造型：modeling)，从而正确地再现外观(绘制：rendering)这样的CV(计算机视觉：Computer Vision)和CG(计算机图形：Computer Graphics)领域中，也能够利用上述做法作为造型的第一个步骤。

特别说一下，虹膜认证是一种图像处理及识别应用程序，将来自虹膜的漫反射光作为输入，从而将个人确定为同一个人。在输入虹膜图像时，发生在角膜上的、照明光的镜面反射与摄像图像中的虹膜区域重叠，这成为一个课题。因为角膜表面具有某个程度的曲率，存在于周围的、广大范围内的光源映在角膜表面上，所以难以通过调整照明位置来防止光源映在角膜表面上的现象。在此，鉴于下述情况，可以将本发明用于分离角膜上的镜面反射的处理。

1.角膜表面被泪膜覆盖，具有折射率均匀、局部在光学上平滑的特点。

2.因为人的角膜形状和角膜大小几乎没有每个人之间的差别而大致一样，所以能事先容易地准备形状模型。

3.因为角膜所造成的镜面反射是由于周围的光源的分布而发生的，而虹膜所造成的漫反射是由于虹膜本身的反射率而发生的，所以可以假设为两者在概率上相互独立。

补充说明一下，曾经有人提案过日本公开专利公报特开平9-212644号公报、日本公开专利公报特开平10-162146号公报及日本公开专利公报特开平11-203478号公报等方法作为虹膜认证的镜面反射对策。这些方法，主要是与安装在虹膜摄像装置中的照明(使用近红外发光二极管的情况比较多)对应的方法。在室外进行虹膜认证的情况下，因为太阳光含有大量的近红外成分，被太阳照射的很多物体成为新光源，并从周围的几乎所有方向映在角膜表面上，所以难以采用所述现有的做法。然而，本发明也可以用于这种在室外的虹膜认证。

补充说明一下，在如脸部图像中的眼睛(角膜)区域那样，整体的一部分是折射率均匀且在光学上平滑的被摄物的情况下，作为预处理确定折射率均匀且在光学上平滑的区域后，对该确定的区域采用本发明就可以。可以利用例如在虹膜认证或脸的认证中使用的现有技术作为从脸部图像中抽出眼睛区域的方法。

就是说，在任意照明下，用摄像机经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到多个图像，再根据这些摄得的图像确定折射率均匀、并且局部区域在光学上平滑的区域。对所述确定的区域实行以后的处理。例如，在被摄物是人脸的情况下，将眼睛区域确定为折射率均匀、并且局部区域在光学上平滑的区域就可以。

此外，在脸图像认证中，被进行下述研究，即：为了设为无论戴还是不戴眼镜都能准确地进行认证，根据颜色信息或形状信息确定并除去眼镜框区域，利用除去的区域周围的颜色信息，对除去后的区域进行插值，来模拟地生成不戴眼镜的脸图像。这时，能够除去眼镜框区域，但是因为映在眼镜片区域的、来自周围的图像的颜色和形状不是固定的，所以不能确定并除去所述来自周围的图像。所述来自周围的图像在模拟地生成的脸图像中成为噪声，使脸认证精度下降。这是一个问题。于是，通过根据确定的眼镜框区域进一步确定眼镜片区域，再对眼镜片区域采用本发明，除去镜面反射成分，就能进一步提高脸认证的精度。可以认为眼镜片符合局部在光学上平滑、并且折射率均匀的条件，因而采用本发明。

图11，是表示实行第一实施例的变形例所涉及的图像处理方法的图像处理装置的结构的方框图。该图像处理装置，包括检测相位部111，来代替图1的确定入射面部107。用图12作为第一实施例的变形例所涉及的图像处理方法的流程图。

下面，根据图11所示的方框图和图12所示的流程图，说明第一实施例的变形例所涉及的图像处理方法及图像处理装置。

首先，在取得偏振图像部100中，对被摄物进行摄像而得到被摄物的图像(SB0)。控制部103，使偏振元件101主轴方向的角度变化为F种角度(在本实施例中，F＝4)，并且控制摄像机102的摄像时刻，使该摄像机102对应于不同的主轴方向分别进行摄像而得到图像。摄得的F个图像，与设定的主轴方向的角度信息一起存储在帧存储器104中。在本实施例中，用线性偏振滤光片作为偏振元件101，通过用马达等使线性偏振滤光片回转，来使主轴角度变化。如图13所示，使用四种主轴角度，即0、

及

。

接着，在检测相位部111中，为摄得的图像的每个像素而确定入射面(SB1)。根据存储在帧存储器104中的F(＝4)张图像，为每个像素位置(坐标)而检测出亮度值变化的相位。图14，表示用正弦函数对使偏振滤光片回转着观测到的、某个像素位置上的四个亮度值进行了拟合的结果。该图14中的呈白四角形的小区(plot)，分别表示设定偏振滤光片主轴为0、

及

这四种角度时的亮度测量值(即z_i。i＝1、2、3或4)。实线是用[算式12]的正弦函数对亮度测量值z_i进行拟合而得到的。

f(A，B，φ；θ)＝Asin(2θ+φ)+B

按测量值z_i和[算式12]的函数的平方误差(square error)成为最小值的基准，计算出了与正弦函数的拟合。就是说，求出使[算式13]成为最小值的参数A、B及φ。在此，F＝4、θ₁＝0、 ${\mathrm{\&theta;}}_2=\frac{\mathrm{\&pi;}}{4},$ ${\mathrm{\&theta;}}_3=\frac{\mathrm{\&pi;}}{2}$ 且

${\mathrm{\&theta;}}_4=\frac{3\mathrm{\&pi;}}{4}.$

$E(A,B,\mathrm{\&phi;})=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(f(A,B,\mathrm{\&phi;};{\mathrm{\&theta;}}_i)-z_i)}^2$

若要使[算式13]成为最小值，满足[算式14]就可以。由[算式12]也可以看出，[算式14]是非线性联立方程，因而在此利用一种非线性最优化方法即拉凡格氏(Levenberg-Marquardt)法。因为在“J.J.More、《The Levenberg-Marquardt Algorithm：Implementation andTheory》、in G.A.Watson(ed.)、Lecture Notes in Mathematics 630、Springer-Verlag、Berlin、1978、105-116.”中介绍拉凡格氏法的详细内容，所以在此省略该方法的说明。

$\frac{\&PartialD;E}{\&PartialD;A}=\frac{\&PartialD;E}{\&PartialD;B}=\frac{\&PartialD;E}{\&PartialD;\mathrm{\&phi;}}=0$

如根据图27进行了说明的那样，在用摄像机观测镜面反射的情况下，使设置在摄像机前边的偏振滤光片的主轴回转着观测而得到的亮度值变化情况呈像正弦函数一样的样子。因此，能根据偏振元件的主轴角度与正弦函数的亮度值变化之间的关系(算式12中的相位φ)，确定将入射面投影在图像平面上的方向。图5，是表示观测在某个像素位置上发生的镜面反射的情况的图。若将确定的入射面投影在图像平面上，就能够得到关于方向的信息。为了表现方向，能够利用相位φ(0≤φ＜π)。将观测不到如图14那样的亮度值变化的、亮度值具有大致一定的值的像素判断为没有发生镜面反射的像素，在以后的处理中不使用该像素的相位φ的信息。例如，像[算式15]那样，能根据[算式12]中的振幅A是否小于预定的阈值Th，来判断亮度值是否具有大致一定的值。

A＜Th

接着，在计算法线部105中，计算被摄物上的法线方向(SB2)。假设为本图像处理装置具有与成为摄像对象的被摄物的三维形状有关的知识。计算法线部105，从形状数据库106取得被摄物的三维形状数据，再根据摄像图像中的被摄物的外观(appearance)推定被摄物在摄像机坐标系中的三维姿势和三维位置。若推定三维姿势和三维位置，就能对被摄物上的任意位置计算出摄像机坐标系中的单位法线向量N＝(n_X，n_Y，n_Z)。反复进行上述处理，为摄像图像中的存在镜面反射的所有像素而计算出被摄物的法线向量N。

在本实施例中，为了推定被摄物的三维姿势和三维位置，除了被摄物的外观以外，还利用将包括被摄物的表面法线向量和视线方向向量的面即入射面投影在图像平面上的方向(图5)的二维分布。如图15所示，对已得到了将在步骤SB1中用偏振元件实际测量出的入射面投影在图像平面上的方向的二维分布A的情况进行研究。若用被摄物的三维形状数据假设摄像机坐标系中的三维姿势和三维位置，即使在没得知照明方向的情况下也就能对入射面下定义，能够得到将入射面投影在图像平面上的方向的二维分布B。能用六维向量x表示三维姿势和三维位置。

只要通过更新摄像机坐标系中的三维姿势和三维位置x，来使所述二维分布A和二维分布B互相一致就可以。若决定三维姿势和三维位置x，就能计算出被摄物上的法线。

用图16说明计算出将入射面投影在图像平面上的方向的二维分布A、B的一致度时的情况。在关于坐标(i，j)上的方向φ存在用偏振元件实际测量出的二维分布A、和假定三维姿势和三维位置x而得到的二维分布B的情况下，能用[算式16]表示所对应的坐标(i，j)上的方向φ的相似度s_i，j。

$s_{i,j}\left(x\right)=|cos({\mathrm{\&phi;}}_{A_{i,j}}-{\mathrm{\&phi;}}_{B_{i,j}}\left(x\right))|$

在使用[算式16]的情况下，为0≤s_i，j≤1，在两个方向φ_A、φ_B所成的角度是0的时候，s_i，j＝1；在两个方向φ_A、φ_B互成直角的时候，相似度s_i，j＝0。

能利用[算式16]，以[算式17]的形式表示二维分布A、B的相互一致度。在此，Ω是实际观测的图像中的发生了镜面反射的坐标(i，j)的集合。

$S\left(x\right)=\underset{(i,j)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{s}_{i,j}\left(x\right)=\underset{(i,j)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}|cos({\mathrm{\&phi;}}_{A_{i,j}}-{\mathrm{\&phi;}}_{B_{i,j}}\left(x\right))|$

求出[算式17]成为最大值的三维姿势和三维位置x后，计算出被摄物上的法线。

若计算出被摄物上的法线，就能以与第一实施例一样的方式进行以后的处理。

补充说明一下，在此，设经过主轴互相不同的偏振元件摄得的图像为图像数量F＝4。鉴于取样原理，只要是F≥3就可以。

在本实施例中，能为了推定三维位置和三维姿势所利用的信息比第一实施例多，因此本实施例有能容易地推定所述三维位置和三维姿势这一优点。

(推定折射率)

根据本发明，即使在从各种方向射入的照明光在具有各种法线的被摄物上进行镜面反射的情况下，也能将镜面反射成分和漫反射成分分离开。换句话说，能够分离出以各种入射角发生的镜面反射。在关于被摄物的折射率大致均匀的前提下，能够利用该分离结果推定被摄物的一种物理特性即折射率。因为该折射率是能以像素为单位推测的，所以通过计算出以像素为单位推定的值的平均值或中间值，能够进行可靠性更高的推测。

通过推定折射率，能够在不接触物质的状态下推定该物质的种类。因为折射率决定对被摄物的镜面反射特性进行决定的菲涅耳系数，所以能为将物体的反射特性输入到计算机中(造型：modeling)，从而正确地再现外观(绘制：rendering)这样的CV(计算机视觉：Computer Vision)和CG(计算机图形：Computer Graphics)作出贡献。

下面，用图17的流程图说明推定折射率的方法。假设为通过进行上述本发明所涉及的反射成分分离，镜面反射成分和漫反射成分已经分离开。

 根据图27已经说明了下述事情，即：在使设置在摄像机前边的偏振元件的主轴方向变化着观测含有镜面反射的像素的情况下，该像素的亮度值相对主轴方向角度的变化呈像正弦函数一样的样子。由图18也可以看出，在偏振元件的主轴和入射面互成直角的情况下，亮度值最大。这时，在设在经过偏振元件之前的亮度值中的漫反射成分为I_d、在经过偏振元件之前的亮度值中的镜面反射成分为I_s的情况下，能以[算式18]表示经过偏振元件观测到的亮度I_max。在此使用的I_d和I_s与在[算式7]中使用的向量I_d、I_s不同，是标量。

$\frac{1}{2}{I}_d+\frac{F_s}{F_s+F_p}{I}_s=I_{\max }$

在此，F_p是以[算式3]表示的、关于反射能的菲涅耳系数；F_s是以[算式4]表示的、关于反射能的菲涅耳系数。同样，在偏振元件的主轴和入射面互相平行时，亮度值最小。这时，能以[算式19]表示经过偏振元件观测到的亮度I_min。

$\frac{1}{2}{I}_d+\frac{F_p}{F_s+F_p}{I}_s=I_{\min }$

已经说明了下述事情，即：在经过主轴不同的偏振元件摄得的图像的数量F为3以上时，通过如图14所示用正弦函数对所注目的像素上的亮度值变化进行拟合，就能求出观测到的亮度值变化的最大值I_max和最小值I_min。利用本发明的反射成分分离方法后，同样求出以[算式20]表示的镜面反射成分Is的最大值Is_max和以[算式21]表示的镜面反射成分Is的最小值Is_min(SD0)。

$\frac{F_s}{F_s+F_p}{I}_s=I_{s_{\max }}$

$\frac{F_p}{F_s+F_p}{I}_s=I_{s_{\min }}$

图19是坐标图的例子，关于亮度值相对偏振元件主轴和入射面所成的角度的变化情况，表示(a)反射成分分离之前的情况和(b)反射成分分离之后(只表示镜面反射成分)的情况。

接着，判断最小值Is_min是否为预定的阈值Th₂以上(SD1)。在最小值Is_min为阈值Th₂以上的情况下，实行下述步骤即步骤SD2。

若计算镜面反射成分Is的最大值Is_max和最小值Is_min的比率，就能得到[算式22]。

$\frac{i_{s_{\max }}}{i_{s_{\min }}}=\frac{F_s}{F_p}=\frac{{\cos }^2({{\mathrm{\&theta;}}^{\&prime;}}_i-{{\mathrm{\&theta;}}^{\&prime;\&prime;}}_i)}{{\cos }^2({{\mathrm{\&theta;}}^{\&prime;}}_i+{{\mathrm{\&theta;}}^{\&prime;\&prime;}}_i)}$

在利用[算式5]的斯涅耳定律的情况下，能用向微面射入时的局部入射角θ’_i和相对折射率n表示镜面反射成分的最大值和最小值的比率。在被摄物在光学上很平滑的情况下，局部入射角θ’_i和关于宏观法线的入射角θ_i相等。因为已经为每个像素计算出了入射角θ_i，所以通过为发生了镜面反射的每个像素位置而求解[算式23]，就能计算出每个像素位置的相对折射率n。[算式23] $\frac{i_{s_{\max }}}{i_{s_{\min }}}=\frac{F_s}{F_p}=\frac{{\cos }^2({\mathrm{\&theta;}}_i-{\sin }^{-1}\left(\frac{1}{n}\sin {\mathrm{\&theta;}}_i\right))}{{\cos }^2({\mathrm{\&theta;}}_i+{\sin }^{-1}\left(\frac{1}{n}{\sin \mathrm{\&theta;}}_i\right))}$

在此，在是入射角近于布儒斯特角的像素位置的情况下，因为菲涅耳系数F_p近于0，所以镜面反射成分的最小值Is_min近于0，[算式23]的比值非常大，相对折射率n的推测误差很大，因此在上述情况下不进行上述处理。就是说，阈值Th₂是用来判断可否将

用于数值的计算的阈值，在最小值Is_min小于阈值Th₂时不进行上述处理。

图20是坐标图的例子，表示镜面反射成分的最小值Is_min为阈值Th₂以上的情况下的、亮度值相对偏振元件主轴和入射面所成的角度的变化情况。在该例子中，因为镜面反射成分的最小值Is_min为阈值Th₂以上，所以能以规定的精度计算[算式23]的比值。

在步骤SD1中，在该最小值Is_min小于阈值Th₂情况下，实行下述步骤SD3以后的步骤。

首先，判断最小值Is_min是否小于预定的阈值Th₃(SD3)。将阈值设为符合Th₃≤Th₂的关系。在此，在设为Th₃＜Th₂的情况下，会存在最小值Is_min为阈值Th₃以上的情况。在该情况(在步骤SD3中，为否的情况)下，判断为对现在注目的像素位置来讲，步骤SD2和后述的步骤SD5中的计算的计算误差很大，于是不进行折射率的计算(SD6)。补充说明一下，在设为Th₃＝Th₂的情况下，在步骤SD1中判断为最小值Is_min小于阈值Th₂时，都进行下述步骤即步骤SD4(省略而不进行步骤SD3和步骤SD6)。

在步骤SD3中，在最小值Is_min小于预定的阈值Th₃的情况下，判断为现在注目的像素的入射角是布儒斯特角(SD4)。就是说，阈值Th₃是判断可否将最小值Is_min看作0(零)的阈值。

图21，是坐标图的例子，表示镜面反射成分的最小值Is_min小于阈值Th₃的值的情况下的、亮度值相对偏振元件主轴和入射面所成的角度的变化情况。在该例子中，因为镜面反射成分的最小值Is_min小于Th₃，所以判断为现在注目的像素的入射角是布儒斯特角。

之后，利用已经求出的、现在注目的像素上的入射角θ_i，用[算式24]计算出相对折射率n(SD5)。

n＝tanθ_i

在介质1为空气的情况下，相对折射率的值成为介质2(被摄物)的折射率。在本实施例中，对多个像素位置相互独立地计算出了折射率。因为假定为被摄物的折射率大致均匀，所以能通过计算已计算出的多个折射率的中间值或平均值，更为稳定(robust)地推定折射率。

(第二实施例)

图22，是表示实行第二实施例所涉及的图像处理方法的图像处理装置的结构的方框图。该图像处理装置，包括在第一实施例和其变形例中说明的下列结构因素，下列结构因素的数量分别有两个，所述结构因素是：取得偏振图像部100、偏振元件101、摄像机102、控制部103、帧存储器104、计算入射角部108、检测相位部111、分类部109以及分离反射成分部110。用附上的符号a和b来区别两套结构因素。此外，所述图像处理装置还包括一个计算法线部105。用图23作为第二实施例所涉及的图像处理方法的流程图。

下面，根据图22的方框图和图23的流程图，说明第二实施例所涉及的图像处理方法和图像处理装置。

首先，在各个取得偏振图像部100a、100b中，对被摄物进行摄像而得到被摄物的图像(SB0)。在各个取得偏振图像部100a、100b中的处理，与第一实施例的变形例中的步骤SB0一样。就是说，在取得偏振图像部100a、100b中分别进行摄像，来分别得到F(＝4)个图像。将由取得偏振图像部100a摄得的一套图像称为图像组A；将由取得偏振图像部100b摄得的一套图像称为图像组B。假设为事先对两台摄像机102a、102b进行摄像机标定，以在后面的计算法线步骤SC4中进行立体测量。

接着，在各个检测相位部111a、111b中，为摄得的图像组A、B的每个像素而确定入射面(SB1)。在各个检测相位部111a、111b中的处理，也与第一实施例的变形例中的步骤SB1一样。

接着，将反复次数的计数器r设为0(SC2)。

接着，在各个分类部109a、109b中，对各个图像组A、B中的入射面相似的像素进行聚类(SC3)。以后，说明对图像组A进行的处理内容，对图像组B进行的处理内容也一样。

可以利用任意方法作为聚类的方法，在此利用了k均值算法。首先，将C₁个聚类中心φ_c0均匀地布置在以相位φ规定的一维空间内作为初期聚类(c＝0、……、C₁-1)。通过预备实验，事先决定聚类数C₁。在假设发生了镜面反射的像素数为K个的情况下，可以用符合[算式25]的c_kj(k＝0、……、K-1)表示具有相位(入射面方向)φ_k的第k个像素所属的聚类号码。

$c_{\mathrm{kj}}=\arg \underset{c}{\min }\left(d({\mathrm{\&phi;}}_{\mathrm{cj}}-{\mathrm{\&phi;}}_k)\right)$

在此，j表示聚类次数。现在是j＝0。φ_cj表示第j次聚类的第c个聚类中心。如图9所示，函数d(x)是在 $x=\&PlusMinus;\frac{\mathrm{\&pi;}}{2}$ 时成为极大值，在x＝0、±π时成为极小值即0的函数。在使K个像素分别属于C₁个聚类中的某个聚类以后，更新聚类中心(同时，使j增值)，再反复进行聚类。在所有聚类中心的移动距离小于预定的距离阈值的情况下，结束聚类。补充说明一下，也可以是这样的，在聚类次数j达到了预定的规定次数的情况下，结束聚类。

在这个阶段中，只不过是对发生了镜面反射的像素中入射面方向相似的像素进行了聚类而已，会有同一个聚类中的入射角大小不均匀的情况。因为没得知被摄物的法线方向的情况下，不能计算出入射角，所以在此对图像平面的坐标互相近似的像素进一步进行聚类作为暂时聚类。将C₁个聚类还分别分割为C₂个聚类。其结果是，一共分割成C₁×C₂个聚类。关于聚类的详细内容，省略说明。

对图像组B也进行上述处理。

接着，在各个分离反射成分部110a、110b中，为各个图像组A、B中的每个包含在同一个聚类中的像素集合而进行反射成分分离(SC7)。包含在同一个聚类中的像素的入射面，大致均匀。因为对图像平面上的坐标互相近似的像素进行了聚类，所以可以看作包含在同一个聚类中的像素的入射角大致均匀。因此，能够利用专利文献2的方法作为反射成分分离的做法。专利文献2的方法利用奇异值分解，也可以利用一般的独立成分分析的方法。

在这个阶段中，从用互相不同的两个摄像机102a、102b摄得的两个图像组A、B分别分离出了漫反射成分和镜面反射成分。图24表示到此为止的处理的概要。不过，在被摄物上有法线的边缘的情况下，因为包含在同一个聚类中的像素的入射角不均匀，所以有可能反射成分分离的精度很低。因此，在本实施例中，将根据分离的漫反射成分推定法线，再用得到的法线进行反射成分分离的处理(步骤SC4到SC7)至少反复一次以上。

进行反复次数r是否达到了上限R的检查(SC8)，若反复次数r大于或等于上限R，就结束；若反复次数r小于上限R，就进行增值，即让r的值加1(SC9)。

接着，在计算法线部105中，计算出被摄物上的法线方向(SC4)。在此，用从由各个摄像机即摄像机102a、102b摄得的图像组A和图像组B中分离出的、两个漫反射图像进行立体观测，得到距离图像后，计算出法线方向。可以采用基于区域相关的(area-based)立体观测作为立体观测。在许多文献中有与立体观测有关的记载，例如在“《计算机视觉技术评论与未来展望》，松山隆司、久野义德及井宫淳编，新技术沟通社(Communications)，第8章立体观测”中介绍概要，因而在此省略说明。

能通过立体观测，得到与用两个摄像机102a、102b摄得的亮度图像对应的深度(depth)图像Da(x，y)、Db(x，y)。在此，(x，y)是根据图4说明的图像平面中的x、y坐标值，深度图像的因素是摄像机坐标系中的Z坐标值。接着，根据深度图像Da(x，y)生成法线图像Na(x，y)，根据深度图像Db(x，y)生成法线图像Nb(x，y)。法线图像的因素，是摄像机坐标系(X，Y，Z)中的单位法线向量方向(n_X，n_Y，n_Z)这三维因素。

被提案过各种根据深度图像计算出法线图像的方法，在此使用的是下述方法。在深度图像中，在如图25(a)那样注目坐标(i，j)的情况下，利用八个位于附近的坐标的深度值，在所注目的点与相邻的八个点之间如图25(b)所示对三角面下定义。之后，通过计算出各个三角面的单位法线向量，再计算这些单位法线向量的平均值，来计算出所注目的像素(i，j)的单位法线向量N。能根据构成三角面的两个向量的向量积，计算出各个三角面的法线向量方向。通过对深度图像Da、Db的所有像素利用上述方法，来得到法线图像Na、Nb。

在本实施例中，将通过反射成分分离处理得到的漫反射图像用于立体观测，来首先求出距离值，然后计算出法线。也可以是这样的，如在“L.B.Wolff、《Surface orientation from two camera stereo withpolarizers》、in Proc.Opt.Illumination Image Sensing Machine VisionIV、vol.1194(Philadelphia、PA)、Nov.1989、pp.287-297.”中所公开，通过利用镜面反射的入射面进行立体观测，来直接计算出法线。在该现有技术中，在用两台摄像机对被摄物上的同一个点进行观测的情况下，需要由两台摄像机都观测镜面反射。为了检测出两个摄像图像中的互相对应的点，可以利用前面说明的、利用漫反射成分的立体观测。若得知互相对应的点，就能利用根据镜面反射成分的亮度值变化求出的入射面进行立体观测，从而计算出法线。

接着，在各个计算入射角部108a、108b中，为存在镜面反射的每个像素而确定用摄像机观测被摄物上的镜面反射时的入射角(SC5)。这时的处理内容，与第一实施例中的步骤SA3一样，因而省略详细的说明。

接着，在各个分类部109a、109b中，对各个图像组A、B中的入射面和入射角都相似的像素进行聚类(SC6)。这时的处理内容，与第一实施例中的步骤SA4一样，因而省略详细的说明。

接着，在各个分离反射成分部110a、110b中，为各个图像组A、B中的每个包含在同一个聚类中的像素集合而进行反射成分分离(SC7)。包含在同一个聚类中的像素的入射面，大致均匀。对入射角来讲，利用在第j＝0次反射成分分离中得到的漫反射成分计算出法线，达成了与上一次相比入射角更均匀的聚类。因此，再次利用专利文献2的方法进行反射成分分离。

将上述步骤SC4到SC7的各个处理反复进行到达到规定次数R为止。这样，就能够进行精度良好的反射成分分离。

补充说明一下，也可以是这样的，在按照第二实施例所涉及的图像处理方法进行反射成分分离后，进行上述折射率的推测。

-工业实用性-

因为本发明提供用来将在一般照明环境下摄得的图像的漫反射成分和镜面反射成分分离开的图像处理方法，所以能够利用本发明作为利用漫反射成分的许多种图像处理算法的预处理。此外，在将物体的反射特性输入到计算机中(造型)，从而正确地再现外观(绘制)这样的CV(计算机视觉)和CG(计算机图形)领域中，也能够利用本发明作为造型的第一个步骤。

Claims (13)

1.一种图像处理方法，其特征在于：

包括：

在任意照明下，用摄像机经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到多个图像的步骤，

根据所述摄得的多个图像，为发生了镜面反射的像素组的每个像素而确定入射面的步骤，

根据所述摄得的多个图像，为所述像素组的每个像素而计算出入射角的步骤，

对所述像素组中的所述入射面和所述入射角都相似的像素进行聚类，来至少形成一个像素集合的步骤，以及

在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的步骤。

2.根据权利要求1所述的图像处理方法，其特征在于：

所述确定入射面步骤，包括：

为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和

为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量确定入射面的步骤。

3.根据权利要求1所述的图像处理方法，其特征在于：

所述计算入射角步骤包括：

为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和

为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量计算出入射角的步骤。

4.根据权利要求2或3所述的图像处理方法，其特征在于：

所述计算法线向量步骤，包括用已知的、所述被摄物的三维形状数据，根据摄得的所述图像中的被摄物的外观，推定摄像机坐标系中的所述被摄物的三维位置和三维姿势的步骤；

所述计算法线向量步骤，是为了所述像素组的每个像素，用推定的所述被摄物的三维位置和三维姿势计算出被摄物的法线向量的。

5.根据权利要求1所述的图像处理方法，其特征在于：

在摄得的所述图像的数目为3以上时，

所述确定入射面步骤，包括为所述像素组的每个像素而检测出相对所述偏振元件主轴角度的亮度值变化的相位的步骤，

在所述确定入射面步骤中，根据检测出的相位确定入射面。

6.根据权利要求5所述的图像处理方法，其特征在于：

所述计算入射角步骤，包括：

为所述像素组的每个像素而计算出被摄物的法线向量的步骤，和

为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量计算出入射角的步骤；

在摄得的所述图像的数目为3以上时，所述计算法线向量步骤包括：

计算出将在所述确定入射面步骤中为所述像素组的每个像素而确定的入射面投影在图像平面上的方向的第1二维分布的步骤，

用已知的被摄物三维形状模型假设摄像机坐标系中的被摄物的三维位置和三维姿势，为投影了具有假设的所述三维位置和所述三维姿势的所述三维形状模型的图像平面上的每个像素而计算出入射面，再计算出将所述计算出的入射面投影在图像平面上的方向的第2二维分布的步骤，

通过使所述第1及第2二维分布互相进行匹配，来决定所述被摄物的三维位置和三维姿势的步骤，以及

根据所决定的所述被摄物的三维位置和三维姿势，为所述像素组的每个像素而计算出被摄物的法线向量的步骤。

7.根据权利要求1所述的图像处理方法，其特征在于：

在所述确定入射面步骤之后，实行对所述像素组中的入射面相似的像素暂时进行聚类，来至少形成一个像素集合的暂时聚类步骤，之后，对在所述暂时聚类步骤中形成的各个像素集合实行所述分离反射成分步骤，之后，将所述计算入射角步骤、所述聚类步骤及所述分离反射成分步骤反复实行规定次数；

所述计算入射角步骤，包括：

为了所述像素组的每个像素，用通过上一次实行的分离反射成分步骤来得到的漫反射成分计算出被摄物的法线向量的步骤，和

为了所述像素组的每个像素，根据对应于该像素的被摄物法线向量和视线向量而计算出入射角的步骤。

8.根据权利要求1所述的图像处理方法，其特征在于：

在摄得的所述图像的数目为3以上时，还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最大值和最小值，再根据所述最大值和所述最小值的比值和在所述计算入射角步骤中计算出的、所述注目的像素上的入射角，计算出所述被摄物的折射率的步骤。

9.根据权利要求1所述的图像处理方法，其特征在于：

在摄得的所述图像的数目为3以上时，还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最小值，当所述最小值小于预定的第一阈值时，判断在所述计算入射角步骤中计算出的、所述注目的像素上的入射角为布儒斯特角，再根据该布儒斯特角计算出所述被摄物的折射率的步骤。

10.根据权利要求1所述的图像处理方法，其特征在于：

在摄得的所述图像的数目为3以上时，还包括根据所述镜面反射成分的相对所述偏振元件主轴角度的亮度值变化，对所述像素组中所注目的像素计算出该亮度值的最大值和最小值，当所述最小值为预定的第二阈值以上时，根据所述最大值和所述最小值的比值和在所述计算入射角步骤中计算出的、所述注目的像素上的入射角，计算出所述被摄物的折射率的步骤。

11.一种图像处理装置，其特征在于：

包括：

取得偏振图像部，在任意照明下，经过主轴方向互相不同的偏振元件对被摄物进行摄像，

确定入射面部，根据由所述取得偏振图像部经过主轴方向互相不同的偏振元件摄得的多个图像，为发生了镜面反射的像素组的每个像素而确定入射面，

计算入射角部，根据所述多个图像，为所述像素组的每个像素而计算出入射角，

分类部，对所述像素组中的、所述确定入射面部所确定的入射面和所述计算入射角部所确定的入射角都相似的像素进行聚类，来至少形成一个像素集合，以及

分离反射成分部，在所述分类部所形成的各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分。

12.一种图像处理方法，其特征在于：

包括：

在任意照明下，用摄像机经过主轴方向互相不同的偏振元件对被摄物进行摄像而得到多个图像的步骤，

从所述摄得的多个图像中确定折射率均匀、并且局部区域在光学上平滑的区域的步骤，

根据所述摄得的多个图像中的所述区域，为发生了镜面反射的像素组的每个像素而确定入射面的步骤，

根据所述摄得的多个图像中的所述区域，为所述像素组的每个像素而计算出入射角的步骤，

对所述像素组中的所述入射面和所述入射角都相似的像素进行聚类，来至少形成一个像素集合的步骤，以及

在所述各个像素集合中，假设为漫反射成分和镜面反射成分在概率上相互独立，进行反射成分分离，来将各个像素的亮度值分离为漫反射成分和镜面反射成分的步骤。

13.根据权利要求12所述的图像处理方法，其特征在于：

所述被摄物，是人的脸；

所述确定区域步骤，是将眼睛区域或眼镜片区域确定为所述区域的。

Images