CN102236786B - 一种光照自适应的人体肤色检测方法 - Google Patents

Abstract

本发明公开了模式识别和图像处理技术领域中的一种光照自适应的人体肤色检测方法。本发明通过收集训练数据库，用训练数据库来训练基础肤色模型和光照模型，并用基础肤色模型对待检测图像的像素点进行筛选，从光照模型中找出一个和待检测图像最接近的光照模型，用该模型对待检测图像和基础肤色模型进行修正，修正后的待检测图像经修正后的基础肤色模型检测后输出。本发明显著改善了待检测图像中肤色区域的光照成分，提高了检测精度，提升了肤色检测的准确度，并且降低噪声干扰。

Description

一种光照自适应的人体肤色检测方法

技术领域

本发明属于模式识别和图像处理技术领域，尤其涉及一种光照自适应的人体肤色检测方法。

背景技术

人体肤色检测技术广泛应用于多个领域，如手势识别、人脸识别和色情图像过滤等。肤色检测通常作为这些领域的一种预处理工作，它的精度将对后期的处理工作产生很大的影响。该技术要求能够在一幅图像中尽可能多地检测出人体皮肤的像素点，并且减少非肤色像素点的数目。通常的处理方法是对大量人体肤色图像进行收集整理，并且将肤色像素点在图中进行标注，然后根据这些像素点构建肤色模型，再对待检测的图像中的像素点进行判别。然而在图像中人体肤色受光照影响变化显著，从而使得基础的肤色检测方法不能够很好地应对不同的光照情况。为了肤色检测能够适应不同的光照环境，通常有两种做法：一是对待检测图像重新进行光照平衡而保持肤色模型不变(colorconstancy)，另一种是将肤色模型进行动态自适应(dynamic adaptation)。

这两种方法都存在一定的不足，第一种方法采用统一的光照模型，把所有的待检测图像全部利用该光照模型进行光照修正。然而统一的光照模型并不适合所有的待检测图像，变换后的图像通常会引起颜色失真。第二种方法通过分析待检测图像中的光照来对肤色模型进行自适应处理，但是光照分析过程容易引入噪声，使用带有噪声的光照模型来修正肤色模型容易导致模型的偏移。

发明内容

针对上述背景技术中提到的现有方法在进行肤色检测过程中存在颜色失真和容易引入噪声等不足，本发明提出了一种光照自适应的人体肤色检测方法。

本发明的技术方案是，一种光照自适应的人体肤色检测方法，其特征是该方法包括以下步骤：

步骤1：收集数据构成数据库，用数据库中的数据来训练基础肤色模型和光照模型；

步骤2：用基础肤色模型对待检测图像的像素点进行筛选；

步骤3：在步骤2的基础上对待检测图像进行光照模型分析，从光照模型中找出一个和待检测图像最接近的光照模型；

步骤4：用和待检测图像最接近的光照模型对待检测图像和基础肤色模型进行修正；

步骤5：修正后的待检测图像经修正后的基础肤色模型检测后输出。

所述用基础肤色模型对待检测图像的像素点进行筛选的公式为：

$\frac{P\left(\mathrm{rgb}\right|\mathrm{skin})}{P\left(\mathrm{rgb}\right|\⫬\mathrm{skin})}\≥{\mathrm{\Θ}}_1$

其中：

P(rgb|skin)为颜色区块(r，g，b)内肤色像素点出现的概率；

为颜色区块(r，g，b)内非肤色像素点出现的概率；

Θ₁为初次检测阈值。

所述P(rgb|skin)的计算公式为：

$P\left(\mathrm{rgb}\right|\mathrm{skin})=\frac{s\left(\mathrm{rgb}\right)}{T_s}$

其中：

s(rgb)为训练数据库中的肤色像素点落入颜色区块(r，g，b)内的个数；

T_s为训练数据库里的肤色像素点的总数。

所述

的计算公式为：

$P\left(\mathrm{rgb}\right|\⫬\mathrm{skin})=\frac{n\left(\mathrm{rgb}\right)}{T_n}$

其中：

n(rgb)为训练数据库中的非肤色像素点落入颜色区块(r，g，b)内的个数；

T_n为训练数据库里的非肤色像素点的总数。

所述对待检测图像进行修正的方法为肤色区域投影，肤色区域投影的公式为：

x_t＝Ax_i+b

其中：

x_t为投影后的肤色像素点；

x_i为原图像中的一个3×1维的肤色像素点；

A为非奇异矩阵；

b为3×1维的向量。

所述对基础肤色模型进行修正的方法为肤色模型融合，肤色模型融合的公式为：

P′(rgb|skin)＝P(rgb|skin)+u*P_t(rgb|skin)

其中：

P′(rgb|skin)为肤色模型融合后，颜色区块(r，g，b)中的肤色像素点出现的概率；

u为肤色模型融合阈值

P_t(rgb|skin)为在光照模型t中，颜色区块(r，g，b)内的肤色像素点的出现概率。

所述P_t(rgb|skin)的计算公式为：

$P_t\left(\mathrm{rgb}\right|\mathrm{skin})=\frac{s_t\left(\mathrm{rgb}\right)}{T_{\mathrm{st}}}$

其中：

s_t(rgb)为在光照模型t中，区块(r，g，b)中出现的肤色像素点的个数；

T_st为整个光照模型t中的像素点总数。

本发明通过聚类的方法从训练数据库中挖掘所有可能出现的肤色光照情况，由此生成多个光照模型，这些光照模型能够有效地对不同的肤色光照信息进行模拟。利用光照模型对待检测图像进行修正，能够显著改善待检测图像中肤色区域的光照成分，使待检测图像中的肤色光照量与光照模型一致，从而达到提高检测精度的目的。而且此过程不会使得图像变得失真。利用光照模型对基础肤色模型进行修改，可以使得基础肤色模型朝着待检测图像的肤色区域进行偏移，从而能够显著提升肤色检测的准确度，并且降低噪声干扰。

附图说明

图1为本发明的训练流程图；

图2为本发明的测试流程图；

图3为光照模型分类中的距离测度示意图。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明分为训练和测试两个步骤，分别如附图1和附图2所示。

1.在训练步骤中，首先要收集数据构成数据库，即大量的训练图像，其中包括含有人体皮肤和不含人体皮肤的图像。数据库将用来训练基础肤色模型和光照模型。基础肤色模型的训练使用直方图统计模型实现。光照模型的训练步骤分为图像特征提取、图像聚类两个部分。光照模型的原理是将训练数据库中含有相同或相近光照量的肤色图像进行聚类，然后构造M个不同的光照环境，用于适应光照条件不同的待检测图像。

2.在测试步骤中，一幅待检测图像首先要经过初次检测，初次检测只使用基础肤色操作，利用传统的贝叶斯估计来得到一个粗略的肤色结果。经过初次检测后，将检测结果进行光照分析，在已经训练好的光照模型中挑选出一个最接近的光照模型，利用该光照模型来同时修正待检测图像和基础肤色模型。对于待检测图像的修正使用肤色区域投影的方法，对基础肤色模型的修正使用肤色模型融合方法。修正后的待检测图像经过修正后的肤色模型二次检测后输出。

本发明具体步骤为：

步骤1：收集数据构成数据库，用数据库中的数据来训练基础肤色模型和光照模型；

步骤2：用基础肤色模型对待检测图像的像素点进行筛选；

步骤3：在步骤2的基础上对待检测图像进行光照模型分析，从光照模型中找出一个和待检测图像最接近的光照模型；

步骤4：用和待检测图像最接近的光照模型对待检测图像和基础肤色模型进行修正；

步骤5：修正后的待检测图像经修正后的基础肤色模型检测后输出。

下面结合附图1具体说明系统的训练流程：

1.基础肤色模型的训练

基础肤色模型的训练采用直方图统计模型来实现。在rgb颜色空间中将每一个通道划分为32等分，这样一共有32×32×32个颜色区块。对肤色像素点和非肤色像素点分别建立一个直方图模型，统计落入每个颜色区块里的肤色和非肤色像素点个数。这样我们就可以计算出每个颜色区块中肤色或者非肤色像素点出现的概率，定义如下：

$P\left(\mathrm{rgb}\right|\mathrm{skin})=\frac{s\left(\mathrm{rgb}\right)}{T_s},$ $P\left(\mathrm{rgb}\right|\⫬\mathrm{skin})=\frac{n\left(\mathrm{rgb}\right)}{T_n}---\left(1\right)$

其中：

P(rgb|skin)为颜色区块(r，g，b)内肤色像素点出现的概率；

为颜色区块(r，g，b)内非肤色像素点出现的概率；

s(rgb)为训练数据库中的肤色像素点落入颜色区块(r，g，b)内的个数；

n(rgb)为训练数据库中的非肤色像素点落入颜色区块(r，g，b)内的个数；

T_s为训练数据库里的肤色像素点的总数；

T_n为训练数据库里的非肤色像素点的总数。

2.光照模型的训练

光照模型的训练分为特征提取和聚类。

首先将训练数据库中的肤色图像进行特征提取，根据肤色图像的标注(将肤色像素点手工标注出来)，将一幅图像中所有的肤色像素点进行统计。特征向量定义为：

ξ＝[m(r)，m(g)，m(b)，δ(r)，δ(g)，δ(b)]    (2)

其中：

ξ为该肤色图像的特征向量；

m(r)为肤色像素点在r通道中的均值；

m(g)为肤色像素点在g通道中的均值；

m(b)为肤色像素点在b通道中的均值；

δ(r)为肤色像素点在r通道的标准差；

δ(g)为肤色像素点在g通道的标准差；

δ(b)为肤色像素点在b通道的标准差。

通过特征提取，每幅肤色图像就可以用一个特征向量ξ来表示。

接下来设光照模型的数量为M，通过k-means算法对训练数据库中所有的特征向量进行聚类，聚类数与光照模型的数量相同，也为M，这样每个聚类就可以代表一种肤色光照量。在特定的光照环境下每个聚类中的肤色像素点可以使用一个多元高斯分布来进行描述，所以一个光照模型就被表示成一个rgb空间的三元高斯分布，定义如下：

$p\left(x\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{3/2}{\left|{\mathrm{\Σ}}_t\right|}^{1/2}}\exp [-\frac{1}{2}{(x-{\mathrm{\μ}}_t)}^T{{\mathrm{\Σ}}_t}^{-1}(x-{\mathrm{\μ}}_t)]---\left(3\right)$

其中：

p(x)为像素点x在光照模型中的分布概率；

x为三维像素点；

μ_t为光照模型的均值；

∑_t为光照模型的协方差矩阵，μ_t和∑_t可以由最大似然估计得到。

这样，一个光照模型就可以用高斯分布(μ_t，∑_t)来进行表示。

下面结合附图2具体说明系统的测试流程：

1.初次检测

对于一幅待检测的图像，首先要对它进行初次检测，得到一个粗略的检测结果，初次检测只使用基础肤色模型。对于该图像中的每个像素点，首先确定它位于哪个颜色区块，然后应用如下公式进行筛选：

$\frac{P\left(\mathrm{rgb}\right|\mathrm{skin})}{P\left(\mathrm{rgb}\right|\⫬\mathrm{skin})}\≥{\mathrm{\Θ}}_1,$ (Θ₁≥0)    (4)

其中：

Θ₁为初次检测阈值。

如果一个像素点满足式(4)，则将这个像素点标记为肤色像素点，否则，标记为非肤色像素点。Θ₁选择得越大，对于肤色像素点的要求则越严格，就会得到更少的肤色像素点。初次检测的结果将会影响到后面的肤色区域投影步骤。

2.光照模型选择

初次检测的结果将用来分析其中的光照量，并且在已经训练好的光照模型中找出与其最接近的一个，用这个光照模型来进行后面的肤色区域投影和肤色模型融合步骤。

对于初次检测后得到的肤色像素点，首先我们也用三元高斯模型来描述它们在rgb空间中的分布，即我们也得到了一组参数(μ_i，∑_i)来描述待检测图像的肤色像素点分布情况。由高斯分布的特性我们可以得知，具有相同概率的点分布在一个超椭球体的表面上，而且大多数的数据都落在由(μ，∑)构成的超椭球体内。这个超椭球体为：

γ²＝(x-μ)^T∑^-1(x-μ)    (5)

其中：

γ为马氏距离；

μ为高斯分布的均值；

∑为高斯分布的协方差矩阵。

在三维rgb颜色空间中，它就成为了一个三维椭球体，我们选取γ＝1，这样我们就有了两个椭球体：光照模型椭球体和图像椭球体，如图3所示。我们需要找到一个度量来描述待检测图像和光照模型之间的关系，因此我们定义了一个距离。每个椭球体有6个顶点，两个椭球体的顶点之间有对应关系，这个距离就定义为这6对顶点的距离之和。这些顶点可以通过对两个协方差矩阵∑_t和∑_i进行特征值分解得到。这样我们就可以计算待检测图像和光照模型之间的距离，和待检测图像距离最小的光照模型就用来代表该图像的光照情况。

3.肤色区域投影(skin color region projection)

选定光照模型后需要对待检测的图像进行处理，以修正其中的光照量，这样有利于提高肤色模型检测的精度。在这一步骤我们将使用肤色区域投影来实现，它的原理是将待检测的图像的肤色区域，投影到已经训练好的光照模型中去，以改变其中的光照条件。前面步骤中我们已经得到了光照模型椭球体(μ_t，∑_t)和图像椭球体(μ_i，∑_i)，也已得知在高斯分布中大部分的数据都落在由(μ，∑)构成的超椭球体中，其中：μ代表了椭球体的中心，∑代表了椭球体旋转和缩放。因此我们只需要将图像椭球体投影到光照模型椭球体(目标椭球体)上，就可以实现光照情况的改变。肤色区域投影基于仿射变换，定义为：

x_t＝Ax_i+b    (6)

其中：

x_t为投影后的肤色像素点；

x_i为原图像中的一个3×1维的肤色像素点；

A和b是投影参数，其中A为非奇异矩阵，b为3×1维的向量。

投影意味着投影前和投影后的数据点有着相同的概率值，因此令γ_i＝γ_t，由此我们可以得到投影方程：

(x_t-μ_t)^T∑_t ^-1(x_t-μ_t)＝(x_i-μ_i)^T∑_i ^-1(x_i-μ_i)    (7)

将式(6)代入，得到：

(Ax_i+b-μ_t)^T∑_t ^-1(Ax_i+b-μ_t)＝(x_i-μ_i)^T∑_i ^-1(x_i-μ_i)    (8)

[x_i-A^-1(μ_t-b)]^TA^T∑_t ^-1A[x_i-A^-1(μ_t-b)]＝(x_i-μ_i)^T∑_i ^-1(x_i-μ_i)    (9)

$\⇒$ $\left\{\begin{array}{c}{A}^{-1}({\mathrm{\μ}}_t-b)={\mathrm{\μ}}_i\\ A^T{{\mathrm{\Σ}}_t}^{-1}A={{\mathrm{\Σ}}_i}^{-1}\end{array}\right.---\left(10\right)$

∑_t和∑_i均为对称矩阵，所以∑_t ^-1和∑_i ^-1也为对称矩阵，对∑_t ^-1和∑_i ^-1做特征值分解，可以得到：

${\mathrm{\Σ}}_t^{-1}=V_t\·D_t\·V_t^T;$ ${\mathrm{\Σ}}_i^{-1}=V_i\·D_i\·V_i^T---\left(11\right)$

其中：

V_t，V_i为3×3维的正交矩阵，并且V_t ^-1＝V_t ^T，V_i ^-1＝V_i ^T；

D_t，D_i为3×3维的实对角矩阵。

这样式(10)中的第二个方程就变成了：

$A^T{V}_t{D}_t{V}_t^{T}A=V_i{D}_i{V}_i^T---\left(12\right)$

$\⇒$ $V_i^T{A}^T{V}_t{D}_t{V}_t^{T}A{V}_i=D_i---\left(13\right)$

可设 $Y=V_t^T{\mathrm{AV}}_i,$ 则：

Y^TD_tY＝D_i    (14)

不妨设Y为对角矩阵，则：

$Y^2{D}_t=D_i\⇒Y=\sqrt{D_t/D_i}---\left(15\right)$

由式(10)和(15)可得出：

$A=V_{t}Y{V}_i^T=V_t\sqrt{D_t/D_i}{V}_i^T---\left(16\right)$

b＝μ_t-Aμ_i    (17)

由式(16)、(17)得出的参数(A，b)表示图像椭球体完全投影到了目标椭球体(光照模型椭球体)上，但是通常情况下，完全进行投影会使得图像失真，从而达不到预期的效果。所以，一般我们只需要图像椭球体部分地向光照模型椭球体进行移动，也就是说，要改变目标椭球体所在的位置。这里，我们使用了阈值来控制目标椭球体的位置，新的目标椭球体定义为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_t^{\′}=w{\mathrm{\μ}}_i+(1-w){\mathrm{\μ}}_t\\ {\mathrm{\Σ}}_t^{\′}=v{\mathrm{\Σ}}_i+(1-v){\mathrm{\Σ}}_t\end{array}\right.,$ (w，v ∈[0，1])    (18)

其中：

μ′_t为目标椭球体的均值；

∑′_t为目标椭球体的协方差矩阵；

w为目标椭球体的均值控制阈值；

v为目标椭球体的协方差矩阵控制阈值。

这样的设置可以保证(μ′_t，∑′_t)在(μ_i，∑_i)和(μ_t，∑_t)之间。因此w＝v＝0表示完全投影，w＝v＝1表示不投影。这样，我们把式(16)中的(μ_t，∑_t)替换成(μ′_t，∑′_t)就得到了：

$\left\{\begin{array}{c}A=V_t^{\′}\sqrt{D_t^{\′}/D_i}{V}_i^T\\ b={\mathrm{\μ}}_t^{\′}-A{\mathrm{\μ}}_i\end{array}\right.---\left(19\right)$

其中：

$V_t^{\′}\·D_t^{\′}\·{V_t^{\′}}^T={\mathrm{\Σ}}_t^{\′-1}.$

这样就可以利用式(6)对待检测图像进行投影。

4.肤色模型融合(skin model fusion)和二次检测

固定的基础肤色模型不能够很好地应对不同的光照环境，因此我们利用已选择的光照模型同样对基础肤色模型进行改进，即进行肤色模型融合。由于光照模型是由一系列肤色图像组成，因此，我们可以像构建基础肤色模型那样也计算出在光照模型中肤色像素点出现的概率，而且和基础肤色模型采取同样的32×32×32的颜色区块设置。光照模型中的肤色像素点的出现概率定义为：

$P_t\left(\mathrm{rgb}\right|\mathrm{skin})=\frac{s_t\left(\mathrm{rgb}\right)}{T_{\mathrm{st}}}---\left(20\right)$

其中：

P_t(rgb|skin)为在光照模型t中，颜色区块(r，g，b)中肤色像素点的出现概率；

s_t(rgb)为在光照模型t中，区块(r，g，b)中出现的肤色像素点的个数；

T_st为整个光照模型t中的像素点总数。

在肤色模型融合中，我们同样使用阈值来控制光照模型对基础肤色模型的影响程度。肤色模型融合的公式为：

P′(rgb|skin)＝P(rgb|skin)+u*P_t(rgb|skin)    (21)

其中：

P′(rgb|skin)为肤色模型融合后，颜色区块(r，g，b)中的肤色像素点出现的概率；

u为肤色模型融合阈值。

将投影后的待检测图像使用新的肤色模型进行二次检测，其方法和初次检测相同，定义为：

$\frac{P^{\′}\left(\mathrm{rgb}\right|\mathrm{skin})}{P\left(\mathrm{rgb}\right|\⫬\mathrm{skin})}\≥{\mathrm{\Θ}}_2,$ (Θ₂≥0)    (22)

同样，图像中满足式(22)的像素点将会被标记为肤色像素点，输出经二次检测后的待检测图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (1)

1.一种光照自适应的人体肤色检测方法，其特征是该方法包括以下步骤：

步骤1：收集数据构成数据库，用数据库中的数据来训练基础肤色模型和光照模型；

步骤2：用基础肤色模型对待检测图像的像素点进行筛选；

所述用基础肤色模型对待检测图像的像素点进行筛选的公式为：

其中：

P(rgb|skin)为颜色区块(r,g,b)内肤色像素点出现的概率；

为颜色区块(r,g,b)内非肤色像素点出现的概率；

Θ₁为初次检测阈值；

所述P(rgb|skin)的计算公式为：

其中：

s(rgb)为训练数据库中的肤色像素点落入颜色区块(r,g,b)内的个数；

T_s为训练数据库里的肤色像素点的总数；

所述 

的计算公式为：

其中： 

n(rgb)为训练数据库中的非肤色像素点落入颜色区块(r,g,b)内的个数；

T_n为训练数据库里的非肤色像素点的总数；

步骤3：在步骤2的基础上对待检测图像进行光照模型分析，从光照模型中找出一个和待检测图像最接近的光照模型；

步骤4：用和待检测图像最接近的光照模型对待检测图像和基础肤色模型进行修正；

所述对待检测图像进行修正的方法为肤色区域投影，肤色区域投影的公式为：

x_t=Ax_i+b

其中：

x_t为投影后的肤色像素点；

x_i为原图像中的一个3×1维的肤色像素点；

A为非奇异矩阵；

b为3×1维的向量；

所述对基础肤色模型进行修正的方法为肤色模型融合，肤色模型融合的公式为：

P′(rgb|skin)=P(rgb|skin)+u*P_t(rgb|skin)

其中：

P′(rgb|skin)为肤色模型融合后，颜色区块(r,g,b)中的肤色像素点出现的概率；

u为肤色模型融合阈值；

P_t(rgb|skin)为在光照模型t中,颜色区块(r,g,b)内的肤色像素点的 出现概率；

所述P_t(rgb|skin)的计算公式为：

其中：

s_t(rgb)为在光照模型t中,区块(r,g,b)中出现的肤色像素点的个数；

T_st为整个光照模型t中的像素点总数；

步骤5：修正后的待检测图像经修正后的基础肤色模型检测后输出。 

Images