CN101504719B - 图像处理装置和方法 - Google Patents

Abstract

本发明提供了一种图像处理装置、方法和程序。所述图像处理装置包括：保存单元，被配置为对于第一角度和第二角度的每种组合保存包含与特征点的位置有关的信息的学习字典，所述第一角度指示包含人脸的第一人脸图像的人脸方向，所述第二角度指示包含人脸的第二人脸图像的人脸方向，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一和第二人脸图像关联起来；选择单元，被配置为根据第一和第二角度的组合来选择对于每种组合所保存的学习字典；以及相似程度估计单元，被配置为基于对应于包含在所选择的学习字典中的特征点的位置的、从人脸图像中提取的特征量，估计第一和第二人脸图像之间的面部相似程度。

Description

图像处理装置和方法

相关申请的交叉引用 

本发明包含涉及2008年2月5日提交给日本特许厅的日本专利申请JP 2008-025148的主题，通过引用将其全文并入本文中。 

技术领域

本发明涉及一种图像处理装置、方法和程序。具体地，本发明涉及一种可以容易地提高图像识别性能的图像处理装置、方法和程序。 

背景技术

到目前为止，已经提出各种用来识别人脸图像是否是同一人的技术。 

本发明的申请人发明了一种用于在使用两个特征量之间的相关性来执行识别处理的情形下提高识别精度的图像处理装置，并提交专利申请为日本专利申请JP 2006-332302(此后，将其称为在先申请)。 

根据在先申请，识别处理的精度可以被提高，但是仅可以高精度识别面向正向或特定方向的人脸。这是因为当人脸的方向改变时，面部特征的图像模式被显著改变，同一人的面部特征之间的相似性可能丢失。 

另外，已经在例如日本未审查专利申请公布No.2000-322577中提出一种识别面向任意方向的人脸的方法。 

根据日本未审查专利申请公布No.2000-322577，通过使用人脸的标准人脸3D模型，可以识别面向任意方向的人脸。根据这种方法，在不同方向获取的两张人脸图像被互相比较，并且人脸图像之一被添加到人脸3D模型。接着，与另一张人脸图像处于相同方向的人脸图像被合成以实现在不同方向上的人脸识别。 

另外，Volker Blanz等在“Face Recognition Based 0n Fitting a 3DMorphable Model”的论文中提出了一种方法，该方法从基于多种参数使标准3D人脸变形模型变形所合成的人脸图像，使用最接近输入人脸图像的参数来执行人脸识别。 

发明内容

然而，上面提及的包括日本未审查专利申请公布No.2000-322577和所述论文的现有技术中的技术是基于从标准人脸3D模型使用CG(计算机图形)方法来合成不同方向的人脸的方法。为了获得这样的3D模型，需要高精度的3D测量装置。因此，一般而言，在该装置被安装到特别是家用产品上时，仅可以使用根据在先获得的数据生成的模型。 

为此，根据人脸形状与该模型不匹配的个人来更新模型或将该模型改变成专用于识别少量有限人群例如家庭成员的模型是非常困难的。 

另外，通过将人脸图像应用到标准人脸3D模型并且旋转模型所合成的人脸图像经常降低识别性能，因为在模型和实际的人脸形状之间的差异大的情形下执行合适的合成是困难的。基于参数使3D人脸变形模型变形来获得合适图像的方法具有这样的问题，即计算需花很长一段时间。 

鉴于上述情况做出本发明，期望容易地改进图像识别性能。 

根据本发明的实施例，提供了一种图像处理装置，包括：保存装置，对于第一角度和第二角度的每种组合保存包含与特征点的位置有关的信息的学习字典，所述第一角度指示包含人脸的第一人脸图像的人脸方向，所述第二角度指示包含人脸的第二人脸图像的人脸方向，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一人脸图像和第二人脸图像关联起来；选择装置，根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典；以及相似程度估计装置，基于对应于包含在所 选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度。 

根据本实施例的图像处理装置还可以包括识别装置，基于估计的相似程度来识别第一人脸图像和第二人脸图像。 

在根据本实施例的图像处理装置中，第二人脸图像可以被预先注册，且与提取的特征量和第二角度相关联。 

根据本实施例的图像处理装置还可以包括：检测装置，从包含人类的图像中检测第一人脸图像的一部分；面部特征检测装置，从所检测的第一人脸图像中检测作为人脸特征的面部特征位置；人脸角度估计装置，基于所检测的第一人脸图像和面部特征位置来估计第一角度；以及提取装置，在所检测的第一人脸图像中从面部特征位置附近的图像中提取特征量，其中，选择装置根据估计的第一角度和注册的第二角度的组合来选择学习字典，并且其中，相似程度估计装置基于对应于包含在所选择的学习字典中的特征点位置的、从第一人脸图像中提取的特征量和注册的第二人脸图像的特征量，估计相似程度。 

在根据本实施例的图像处理装置中，在由第一角度指示的方向被设置在包括左向、前向和右向的三段(stage)中并且由第二角度指示的方向被设置在包括左向、前向和右向的三段中的情形下，保存装置可以对于所有的组合保存学习字典。 

在根据本实施例的图像处理装置中，学习字典可以包含用作识别第一人脸图像和第二人脸图像的基准的预定阈值，并且识别装置基于估计的相似程度和阈值的比较结果，可以识别第一人脸图像的人脸和第二人脸图像的人脸是同一人还是不同人。 

根据本发明的实施例，提供了一种图像处理方法，包括下列步骤：根据第一角度和第二角度的组合为第一角度和第二角度的每种组合选择对于第一角度和第二角度的每种组合所保存的学习字典，所述第一角度指示包含人脸的第一人脸图像的人脸方向，所述第二角度指示包含人脸的第二人脸图像的人脸方向，所述学习字典包含与特征点的 位置有关的信息，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一人脸图像和第二人脸图像关联起来；以及基于对应于包含在所选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度。 

根据本发明的实施例的程序包括对应于上面提及的图像处理方法的程序。 

在根据本发明的上述实施例的图像处理装置、图像处理方法和程序中，为第一角度和第二角度的每个组合保存包括与特征点的位置有关的信息的学习字典，根据第一角度和第二角度的组合为第一角度和第二角度的每个组合选择对于第一角度和第二角度的每个组合所保存的学习字典，并且基于对应于包括在选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度，其中，所述第一角度指示包括人脸的第一人脸图像的人脸方向，所述第二角度指示包括人脸的第二人脸图像的人脸方向，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一人脸图像和第二人脸图像关联起来。 

根据本发明的其它实施例，提供了一种图像处理装置，包括：保存装置，对于第一角度和第二角度的每种组合保存包含与特征点的位置有关的信息的学习字典，所述第一角度指示包含物体或生物的第一图像的、具有预定形状和特征的物体或生物的方向，所述第二角度指示包含物体或生物的第二图像的、具有预定形状和特征的物体或生物的方向，所述特征点的位置在估计第一图像和第二图像之间的相似程度时将第一图像和第二图像关联起来；选择装置，根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典；以及相似程度估计装置，基于对应于包含在所选择的学习字典中的特征点的位置的、从第一图像和第二图像中提取的特征量，估计第一图像和第二图像之间物体或生物的相似程度。根据本发明的 其它实施例，提供了一种图像处理方法，包括下列步骤：根据第一角度和第二角度的组合为第一角度和第二角度的每种组合选择对于第一角度和第二角度的每种组合所保存的学习字典，所述第一角度指示包含物体或生物的第一图像的、具有预定形状和特征的物体或生物的方向，所述第二角度指示包含物体或生物的第二图像的、具有预定形状和特征的物体或生物的方向，所述学习字典包括与特征点的位置有关的信息，所述特征点的位置在估计第一图像和第二图像之间的相似程度时将第一图像和第二图像关联起来；以及基于对应于包含在所选择的学习字典中的特征点的位置的、从第一图像和第二图像中提取的特征量，估计第一图像和第二图像之间物体或生物的相似程度。根据本发明的其它实施例的程序包括对应于上面提及的图像处理方法的程序。 

在根据本发明的上述其它实施例的图像处理装置、图像处理方法和程序中，对于第一角度和第二角度的每个组合保存包含与特征点的位置有关的信息的学习字典；根据第一角度和第二角度的组合为第一角度和第二角度的每种组合选择对于第一角度和第二角度的每种组合所保存的学习字典；并且基于对应于包含在所选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度，其中，所述第一角度指示包含物体或生物的第一图像的、具有预定形状和特征的物体或生物的方向，所述第二角度指示包含物体或生物的第二图像的、具有预定形状和特征的物体或生物的方向，特征点的位置在估计第一图像和第二图像之间的相似程度时将第一图像和第二图像关联起来。 

如上所述，根据本发明的实施例，可以容易地提高图像识别性能。 

附图说明

图1是描述输入人脸和注册人脸的组合的示意图； 

图2示出根据应用本发明实施例的图像识别装置的配置； 

图3示出人脸检测单元的详细配置例； 

图4示出面部特征检测单元的详细配置例； 

图5示出面部相似程度估计单元的详细配置例； 

图6是描述人脸识别处理的流程图； 

图7是描述面部相似程度估计处理的流程图； 

图8示出字典学习装置的配置例； 

图9是描述字典学习处理的流程图；以及 

图10示出使用软件来执行应用本发明实施例的图像处理的计算机的配置例。 

具体实施方式

下面将参考附图描述根据本发明的实施例。 

本发明的实施例具有下列特征。在输入的人脸图像(此后也可以称为“输入人脸”)中人脸的方向(角度)和注册的人脸图像(此后也可以称为“注册人脸”)中人脸的方向彼此显著不同的情形下，人脸的各特征点的图像模式发生很大改变，对这些人脸图像高精度地执行识别处理变得困难。在关注上面提及的情形时，根据这些角度组合合适地选择用于识别这是同一人还是不同人的信息，例如特征点和特征量。 

鉴于上述，首先参考图1描述在输入人脸和注册人脸的方向组合模式被设置为将应用于人脸识别处理的参数时改进人脸识别性能的原理。 

在图1中，上部示出的人脸图像代表面向左侧(L)的人脸图像、面向正侧(F)的人脸图像和面向右侧(R)的人脸图像。在图1的例子中，所有的图像L、F和R都是用户A的人脸图像，即同一人的人脸图像。 

另外，通过多种虚线连接到输入人脸的各自人脸图像的注册人脸代表面向左侧(L)的人脸图像、面向正侧(F)的人脸图像和面向右侧(R)的人脸图像，类似于上部的输入人脸。在图1的例子中，L 和F是用户B和用户C的人脸图像，即与用户A不同的人的人脸图像，仅R是用户A的人脸图像，即与用户A是同一人的人脸图像。 

在图1的下部示出通过多种虚线连接到注册人脸的各自人脸图像的人脸识别结果。人脸识别结果是基于通过相同类型虚线连接的输入人脸和注册人脸的组合的识别结果。例如，当关注输入人脸L和注册人脸L的组合时，该组合由面向左侧的用户A的侧面人脸和面向左侧的用户B的侧面人脸形成。因此，识别结果示出用LL表示的不同人。 

用相似的方式，例如，在组合输入人脸L和注册人脸F的情形下，LF示出不同人，但是在组合输入人脸L和注册人脸R的情形下，尽管面向方向是左和右，但都是用户A的侧面人脸，因此LR示出同一人。 

另外，例如，在组合输入人脸F与注册人脸L、F和R的情形下，FL和FF示出不同的人，而FR示出同一人。此外，用相似的方式，例如，在组合输入人脸R与注册人脸L、F和R的情形下，RL和RF示出不同的人，而RR示出同一人。 

用这种方法，在包括L、F和R的三个方向上设置输入人脸方向并且在包括L、F和R的三个方向上设置注册人脸方向的情形下，这些角度组合是包括LL、LF、LR、FL、FF、FR、RL、RF和RR的9种模式。因此，对于这些角度的每种组合，使用哪个特征点上的哪个特征量来指示怎样执行人脸识别处理(估计人脸图像相似程度的处理)的信息被分类并保存。通过在人脸识别处理时参考根据人脸图像角度组合的信息，即使在输入人脸和注册人脸中人脸的面向方向彼此不同时，也可以高精度地执行人脸识别。 

应该注意的是，在图1的例子中角度组合的9种模式中，尽管输入人脸和注册人脸的方向是相对的，但因为组合是相同的，所以LF和FL、LR和RL、FR和RF分别被统一分类为LF、LR、FR。此后，为了简化描述，根据本实施例，类似于图1的例子，通过选出这些组合，利用下列6种组合进行说明，包括LL、LF、LR、FF、FR和 RR。然而，当然可以使用9种组合，另外不分为左向、正向和右向三段，而是进一步将角度分为更小的片段，可以增加组合的数目。在组合的数目增加的情形下，通过增加组合的数目可以进一步提高人脸识别的精度。 

另外，对于参考图1描述的每种角度组合所分类并保存的信息此后被称为按角度组合分类的学习字典。 

接着，基于上面提及的原理，适用于通过使用上述按角度组合分类的学习字典来执行输入人脸和注册人脸的识别处理的图像识别处理装置将被描述。 

图2是根据应用本发明实施例的图像识别装置的配置框图。 

图像识别装置1是适用于例如执行图像识别处理的装置，例如数码相机、个人计算机或监控摄像机。 

如图2所示，图像识别装置1包括图像获取单元11、人脸检测单元12、面部特征检测单元13、人脸角度估计单元14、面部相似程度估计单元15、注册人脸数据库16和人脸识别单元17。 

图像获取单元11具有包括例如相机等的配置。图像获取单元11具有获取人类的图像或获得由外部安装的相机或其它装置获取的图像的功能。换句话说，由图像获取单元11获得的图像是至少包括一部分人脸的图像。由图像获取单元11获得的图像被提供给人脸检测单元12。 

应当注意的是，根据本实施例，人脸图像的识别处理被描述为一个例子，但是本发明也可以应用到例如动物或汽车等其它物体的识别处理。即，本发明也可以应用到包括具有预定形状和特征的物体或生物的图像识别处理。 

人脸检测单元12对从图像获取单元11提供的图像执行预定图像分析处理，以提取对应于人脸的部分。 

更具体地，如图3所示，人脸检测单元12包括图像剪切单元21、人脸确定单元22和人脸学习数据库23。在人脸学习数据库23中存储用于提取与包括在预定图像中的人脸相对应的部分的统计学习信息。 

此处，首先，图像剪切单元21按顺序从来自图像获取单元11的图像中剪切预定面积的图像(例如20×20像素的图像)，其被提供给人脸确定单元22。接着，基于人脸学习数据库23中存储的人脸图像的提取信息，人脸确定单元22确定从图像剪切单元21按顺序输入的剪切图像是否为人脸图像。对应于人脸的部分(人脸的位置和尺寸)被提取，并且对应于人脸的提取部分的图像(人脸图像)被检测。 

从图像获取单元11提供的图像是包括识别目标用户的人脸的图像。然而，例如，图像可以包括除人脸之外的部分，例如拍摄全身的图像。人脸检测单元12扫描这样的图像以识别人脸的区域，并且提取对应于人脸的部分。用这种方法检测的人脸图像(输入人脸)被提供给面部特征检测单元13、人脸角度估计单元14和面部相似程度估计单元15。 

回到参考图2，面部特征检测单元13对从人脸检测单元12提供的人脸图像执行预定的图像分析处理，以检测例如成为人脸特征的部分，例如眼睛、鼻子和嘴巴，即面部特征部分。 

更具体地，如图4所示，面部特征检测单元13包括图像剪切单元31、面部特征确定单元32和面部特征学习数据库33。面部特征学习数据库33存储用于提取包括在预定人脸图像中的面部特征部分的统计学习信息。 

此处，首先，图像剪切单元31按顺序从来自人脸检测单元12的图像中剪切预期包括诸如眼睛、鼻子和嘴巴的面部特征部分的各种尺寸的图像(例如20×20像素的图像)，其被提供给面部特征确定单元32。接着，基于面部特征学习数据库33中存储的面部特征信息的提取信息，面部特征确定单元32确定从图像剪切单元31按顺序输入的人脸图像中剪切的图像是否包括面部特征部分，以提取面部特征部分。 

例如，面部特征确定单元32对于整个扫描的人脸图像(也可以是人脸图像的一部分)赋予一个代表面部特征部分的各特征的程度的分数，并将赋予的最高分所在的位置及其尺寸作为面部特征位置提供 给人脸角度估计单元14和面部相似程度估计单元15。 

应当注意的是，在面部特征检测单元13中执行的特征检测处理可以采用与人脸检测单元12的人脸检测处理类似的方法。例如，在希望识别用上面提及的方法很难执行特征检测的特征点例如脸颊或前额的情形下，或在不管什么角度都希望高精度识别整个脸上的大量特征点位置的情形下，例如，特征检测处理可以采用被称为自适应采样方法的方法等来检测特征点。 

回到参考图2，来自人脸检测单元12的人脸图像和来自面部特征检测单元13的面部特征位置被输送到人脸角度估计单元14。基于面部特征位置，人脸角度估计单元14估计图像(输入人脸)中人脸的方向，并将该方向作为输入人脸角度信息输出到面部相似程度估计单元15。用这种配置可以计算输入人脸的方向(角度)。 

应当注意的是，对输入人脸的角度的估计方法不限于使用人脸图像和面部特征位置的方法，可以通过仅使用人脸图像来执行估计。在那种情况下，输入人脸角度信息可以由人脸检测单元12检测。也应当注意的是，为了更高精度地计算输入人脸角度信息，优选使用人脸图像和面部特征位置两者。 

一个或多个注册人脸被存储在注册人脸数据库16中。对于每个注册人脸，代表注册人脸的方向的信息(此后，也称为注册人脸角度信息)和注册人脸局部特征量被预先计算并存储。 

即，在例如图像识别装置1在注册人脸数据库16中注册新的注册人脸的情形下，通过对新的注册人脸采用预定图像分析处理，注册人脸角度信息和局部特征量被获得并与注册人脸相关联地存储。每次新注册一个注册人脸，通过执行这样的注册处理，与注册人脸角度信息相关联的注册人脸和局部特征量被注册在注册人脸数据库16中。应当注意的是，在注册处理中，除了注册人脸角度信息和局部特征量之外，例如注册人脸的人名以及其它个人信息也可以与注册人脸相关联地被注册。 

来自人脸检测单元12的人脸图像、来自面部特征检测单元13 的面部特征位置、来自人脸角度估计单元14的输入人脸角度信息以及来自注册人脸数据库16的注册人脸角度信息和局部特征量被提供给面部相似程度估计单元15。 

面部相似程度估计单元15根据输入人脸角度信息和注册人脸角度信息的组合来选择按角度组合分类的学习字典(图5的按角度组合分类的学习字典44A)。基于选择的按角度组合分类的学习字典，面部相似程度估计单元15确定用于相似程度估计的特征点和特征量，并且估计输入人脸和注册人脸之间的人脸相似程度。 

在此将参考图5描述面部相似程度估计单元15的详细配置。 

如图5所示，面部相似程度估计单元15包括人脸图像校准单元41、局部特征量提取单元42、按角度组合分类的学习字典选择单元43、按角度组合分类的学习字典保存单元44和面部相似程度估计单元45。 

人脸图像校准单元41通过分析从面部特征检测单元13提供的面部特征部分以及从人脸检测单元12提供的人脸图像来校准人脸图像，并且将校准后的人脸图像提供给局部特征量提取单元42。 

局部特征量提取单元42对在从人脸图像校准单元41提供的人脸图像中面部特征位置附近的图像提取局部特征量。 

此处，作为局部特征量的提取方法，例如，使用在用于计算的面部特征位置附近的图像的方法以及对用于计算的特征位置使用贾柏(Gabor)过滤器和高斯导数过滤器等卷积计算方法可以被采用。 

用这种方式计算的输入人脸的局部特征量被提供给面部相似程度估计单元45。 

另一方面，来自人脸角度估计单元14的输入人脸角度信息和来自注册人脸数据库16的注册人脸角度信息被提供给按角度组合分类的学习字典选择单元43。根据输入人脸角度信息和注册人脸角度信息，按角度组合分类的学习字典选择单元43选择保存在按角度组合分类的学习字典保存单元44中的按角度组合分类的学习字典44A，并将该学习字典提供给面部相似程度估计单元45。 

按角度组合分类的学习字典保存单元44保存例如6个按角度组合分类的学习字典44A，包括按人脸图像的角度组合分类的学习字典LL、LF、LR、FF、FR和RR。这是因为如本发明的原理中所描述的，例如，在包括左向(L)、正向(F)和右向(R)的三段中设置人脸方向情形下，按角度组合分类的学习字典44A需要6种模式——LL、LF、LR、FF、FR和RR。 

在按角度组合分类的学习字典44A中，除了与按人脸图像的各角度组合分类的、在估计人脸图像的相似程度时关注的特征点的位置及其特征量的种类等有关的信息之外，还描述了例如用作在确定输入人脸和注册人脸的人脸是否为同一人时的基准的预定阈值(此后，也称为个人识别阈值)以及其它赋予的按角度组合分类的有用信息。 

除了来自按角度组合分类的学习字典选择单元43的、根据角度组合而定的按角度组合分类的学习字典44A之外，来自局部特征量提取单元42的输入人脸中的多个局部特征量以及来自注册人脸数据库16的注册人脸中的多个局部特征量也被输入到面部相似程度估计单元45。 

面部相似程度估计单元45从输入人脸和注册人脸各自的多个局部特征量中获得与在按角度组合分类的学习字典44A中描述的、在估计面部相似程度时关注的特征点及其特征量种类相对应的输入人脸的局部特征量和注册人脸局部特征量。接着，面部相似程度估计单元45使用由此获得的输入人脸的局部特征量和注册人脸局部特征量来执行用于估计输入人脸和注册人脸之间的面部相似程度的预定操作。 

应当注意，可以通过例如标准化相关运算等运算方法来计算该面部相似程度。 

面部相似程度估计单元45将估计的面部相似程度和按角度组合分类的学习字典44A中描述的个人识别阈值一起提供给人脸识别单元17。 

人脸识别单元17将由面部相似程度估计单元45估计的面部相似程度与个人识别阈值进行比较。在面部相似程度超过个人识别阈值的 情形下，输入人脸和注册人脸被识别为同一人。另一方面，在面部相似程度等于或小于个人识别阈值的情形下，人脸识别单元17识别输入人脸和注册人脸不是同一人。人脸识别单元17将识别结果输出到后一级的模块(未示出)。 

用上面提及的方式配置图像识别装置1。 

接着，将描述由图像识别装置1执行的处理。 

首先，将参考图6描述由图像识别装置1执行的人脸识别处理。 

在步骤S1中，图像获取单元11获得例如至少包括对应于人脸的部分的图像，例如用相机拍摄的图像，并将图像提供给人脸检测单元12。 

在步骤S2中，人脸检测单元12对从图像获取单元11提供的图像执行人脸检测处理，以从包括对应于人脸的部分的图像中检测人脸图像。人脸检测单元12将检测的人脸图像提供给面部特征检测单元13、人脸角度估计单元14和面部相似程度估计单元15。 

在步骤S3中，面部特征检测单元13对从人脸检测单元12提供的人脸图像执行面部特征检测处理，以检测例如眼睛、鼻子和嘴巴等面部特征部分，并将通过该处理获得的每个面部特征部分的面部特征位置提供给人脸角度估计单元14和面部相似程度估计单元15。 

在步骤S4中，基于从人脸检测单元12提供的人脸图像和从面部特征检测单元13提供的面部特征位置，人脸角度估计单元14估计输入人脸的方向，并将该方向作为输入人脸角度信息提供给面部相似程度估计单元15。 

在步骤S5中，根据从人脸角度估计单元14提供的输入人脸角度信息和存储在注册人脸数据库16中的注册人脸角度信息，面部相似程度估计单元15选择按角度组合分类的学习字典44A。基于选择的按角度组合分类的学习字典44A，面部相似程度估计单元15执行面部相似程度估计处理。面部相似程度估计单元15将面部相似程度的估计结果提供给人脸识别单元17。下面将参考图7的流程图描述面部相似程度估计处理的细节。 

在步骤S6中，基于从面部相似程度估计单元15提供的面部相似程度的估计结果，人脸识别单元17识别输入人脸和注册人脸的人脸是同一人还是不同人，并将识别结果输出到后一级的模块(未示出)。然后，人脸识别处理结束。 

接着，参考图7的流程图，将描述在图6步骤S5中执行的面部相似程度估计处理的细节。 

在步骤S11中，人脸图像校准单元41通过分析从面部特征检测单元13提供的面部特征位置和从人脸检测单元12提供的人脸图像来校准人脸图像。人脸图像校准单元41将校准后的人脸图像提供给局部特征量提取单元42。 

在步骤S12中，例如，使用在面部特征位置附近的图像，或使用贾柏过滤器和高斯导数过滤器等卷积计算方法，局部特征量提取单元42对在从人脸图像校准单元41提供的人脸图像中面部特征位置附近的图像提取局部特征量。局部特征量提取单元42将提取的输入人脸局部特征量提供给面部相似程度估计单元45。 

在步骤S13中，根据从人脸角度估计单元14提供的输入人脸角度信息和存储在注册人脸数据库16中的注册人脸角度信息，按角度组合分类的学习字典选择单元43从保存在按角度组合分类的学习字典保存单元44中的按角度组合分类的学习字典44A中选择合适的学习字典，并将该学习字典提供给面部相似程度估计单元45。 

例如，在输入人脸面向左向(L)并且注册人脸面向右向(R)的情形下，按角度组合分类的学习字典选择单元43从按角度组合分类的学习字典44A——LL、LF、LR、FF、FR和RR中选择学习字典LR，并将学习字典LR提供给面部相似程度估计单元45。 

面部相似程度估计单元45获得与在由按角度组合分类的学习字典选择单元43选择的按角度组合分类的学习字典44A中描述的、在估计面部相似程度时关注的特征点及其特征量种类相对应的输入人脸的局部特征量和注册人脸局部特征量，并且使用这些局部特征量例如通过标准化相关运算来估计输入人脸和注册人脸之间的面部相似 程度。 

例如，在输入人脸面向左向(L)而注册人脸面向右向(R)的情形下，学习字典LR被选择。因此，面部相似程度估计单元45获得在学习字典LR中描述的、在估计面向左向(L)的人脸图像和面向右向(R)的人脸图像之间的相似程度时的最佳位置处的输入人脸的局部特征量和注册人脸局部特征量。换句话说，面部相似程度估计单元45从提供自局部特征量提取单元42的输入人脸的多个局部特征量和存储在注册人脸数据库16中的注册人脸的多个局部特征量中获得与在根据人脸图像的角度组合选择的、按角度组合分类的学习字典44A中描述的特征点的位置相对应的输入人脸的局部特征量和注册人脸局部特征量。 

接着，面部相似程度估计单元45使用在这样获得的输入人脸和注册人脸的方向组合中的最优局部特征量来估计面部相似程度。 

用这种方式，通过为输入人脸和注册人脸的每种组合准备多个学习字典LL到RR等，即使在识别面向任意方向的人脸的情形下，也可以根据角度组合从多个学习字典中选择一个合适的学习字典。因此，与仅使用单个学习字典的情形相比，该方法可以获得高精度识别结果。 

即，一般而言，在人脸的各特征点的图像模式中，人脸方向引起的改变明显大于个体人物之间的改变。提取可从所有方向上的人脸角度的图像模式中识别的特征点和特征量(角度不变的特征量)是非常困难的。根据本实施例，为了限制输入人脸角度范围和注册人脸角度范围，通过为每组角度预先准备多个学习字典，根据输入人脸的方向和注册人脸的方向的组合来切换用于相似程度估计的学习字典。 

应用这种配置到上面提及的在先申请中称为提升(boosting)的方法可以实现更高精度的识别，利用该方法可选择统计上最利于识别的特征点和特征顺序。 

另外，根据本实施例，通过限制人脸角度的组合，可以选择可统计识别的特征点和特征量，并且获得角度不变的特征量的可能性增 加。因此，可以改进人脸识别的性能。 

接着，在图像识别装置1中，与在现有技术中执行的仅使用前向的人脸识别处理相比，仅增加了根据人脸角度的组合来切换学习字典的处理。因此，可以用基本等于现有技术中的人脸识别处理的运算量来执行各种角度的人脸识别处理。换句话说，可以容易地改进人脸图像的识别性能。 

应当注意，在对于一张输入人脸有多张注册人脸被注册的情形下，例如，面部相似程度估计单元45计算输入人脸对所有注册人脸的面部相似程度，此后按顺序输出与面部相似程度一致的分数。接着，与注册在注册人脸数据库16中的注册人脸数目相同的分数被输入到人脸识别单元17。由此，人脸识别单元17可以将获得从面部相似程度估计单元15输入的分数中的最高分数的注册人脸识别为与输入人脸类似的注册人脸。 

用上面提及的方式执行面部相似程度估计处理。 

顺便提及，例如通过准备同一人或不同人的多个人脸图像对并且将预定的学习处理应用到这些人脸图像对，可以创建按角度组合分类的学习字典44A，其中人脸图像对是特定人脸的角度组合。 

鉴于上述，接着将描述配置用于生成按角度组合分类的学习字典44A的字典学习装置51。 

图8示出字典学习装置51的配置例。 

如图8所示，除了用来保存按角度组合分类的学习字典44A的按角度组合分类的学习字典保存单元44(对应于图5中的按角度组合分类的学习字典保存单元44)之外，字典学习装置51还包括图像处理单元61、人脸图像校准单元62、局部特征量提取单元63、相似程度矢量生成单元64和学习单元65。 

图像处理单元61获得例如构成特定角度的组合的人脸图像对，并且对这样获得的人脸图像对执行预定的图像分析处理，以检测人脸图像和面部特征位置。人脸图像和面部特征位置的检测处理基本类似于在上述图2的人脸检测单元12和面部特征检测单元13中执行的检 测处理，因此可以省略其描述。 

对每个人脸图像对检测得到的人脸图像和面部特征位置被提供给人脸图像校准单元62。 

人脸图像校准单元62通过分析从图像处理单元61提供的人脸图像和面部特征位置来执行校准，并且将校准后的人脸图像对提供给局部特征量提取单元63。 

对于在从人脸图像校准单元62提供的人脸图像对中的面部特征位置附近的图像，局部特征量提取单元63使用例如在面部特征位置附近的图像，或使用贾柏过滤器和高斯导数过滤器等卷积计算方法，来提取各自的局部特征量。局部特征量提取单元63将提取的人脸图像对的局部特征量提供给相似程度矢量生成单元64。 

相似程度矢量生成单元64计算从局部特征量提取单元63提供的人脸图像对的各自局部特征量之间的相关性，以生成相似程度矢量。相似程度矢量生成单元64将这样生成的相似程度矢量提供给学习单元65。 

学习单元65通过所谓的提升(boosting)来学习从相似程度矢量生成单元64提供的相似程度矢量的哪个部分被使用。接着，学习单元65生成通过学习获得的、按角度组合分类的诸如最佳特征点的位置等信息，作为按角度组合分类的学习字典44A被注册在按角度组合分类的学习字典保存单元44中。 

接着，将描述由字典学习装置51执行的处理。 

图9的流程图描述了由图8的字典学习装置51执行的字典学习处理。 

在步骤S31中，图像处理单元61对构成特定角度的组合的人脸图像对执行预定的图像分析处理，以检测各个人脸图像对的人脸图像和面部特征位置。接着，图像处理单元61将人脸图像和面部特征位置提供给人脸图像校准单元62。 

应当注意，为了生成高精度的按角度组合分类的学习字典44A，样本的数目增大。因此，优选尽量多地准备同一人或不同人的构成特 定人脸的角度组合的人脸图像对。 

在步骤S32中，人脸图像校准单元62分析从图像处理单元61提供的各人脸图像对的人脸图像和面部特征位置，以执行校准。人脸图像校准单元62将校准后的人脸图像对提供给局部特征量提取单元63。 

在步骤S33中，对于在从人脸图像校准单元62提供的人脸图像对中面部特征位置附近的图像，局部特征量提取单元63使用例如在面部特征位置附近的图像来提取各自的局部特征量。局部特征量提取单元63将提取的人脸图像对的局部特征量提供给相似程度矢量生成单元64。 

在步骤S34中，相似程度矢量生成单元64计算从局部特征量提取单元63提供的人脸图像对的各自局部特征量之间的相关性，以生成相似程度矢量。相似程度矢量生成单元64将相似程度矢量提供给学习单元65。 

在步骤S35中，学习单元65基于从相似程度矢量生成单元64提供的相似程度矢量，通过提升(boosting)来执行学习。 

在步骤S36中，学习单元65生成通过学习获得的、按角度组合分类的诸如最佳特征点的位置等信息，作为按角度组合分类的学习字典44A被注册在按角度组合分类的学习字典保存单元44中。接着，字典学习处理结束。 

用上面提及的方式生成按角度组合分类的学习字典保存单元44。 

应当注意的是，根据本实施例，在图像识别装置1被认为是不同于字典学习装置51的装置时进行描述，但是这些装置可以由单个装置构成，使得各装置的功能可以由该单个装置实现。在这种情况下，由于字典学习装置51作为字典学习单元被包含在图像识别装置1中，所以在人脸识别处理和学习处理中都被执行的处理，例如人脸图像检测处理可以在同一模块中执行。 

如上所述，根据本发明的实施例，通过限制人脸角度的组合，可 统计识别的特征点和特征量可以被选择，并且获得角度不变的特征量的可能性增加。因此，可以改进人脸识别的性能。结果，可以改进不同角度人脸的识别性能。 

另外，根据本发明的实施例，与在现有技术中执行的仅使用前向的人脸识别处理相比，仅增加了根据人脸角度的组合来切换学习字典的处理。因此，可以用基本等于现有技术中的人脸识别处理的运算量来执行各种角度的人脸识别处理。结果可以容易地改进人脸图像的识别性能。 

上面提及的处理系列可以使用硬件来执行也可以使用软件来执行。在处理系列由软件执行的情形下，构成软件的程序从程序记录介质被安装到包含专用硬件的计算机或通用个人计算机中，该计算机例如在安装了各种程序时可以执行各种功能。 

图10是在上面提及的处理系列由程序执行时的个人计算机配置例的框图。CPU(中央处理器)111根据记录在ROM(只读存储器)112或记录单元118中的程序执行各种处理。RAM(随机访问存储器)113适当地存储由CPU 111执行的程序、数据等等。CPU 111、ROM112和RAM 113通过总线114互相连接。 

输入和输出接口115经由总线114被连接到CPU 111。由麦克风等构成的输入单元116以及由显示器、扬声器等构成的输出单元117被连接到输入和输出接口115。CPU 111响应于从输入单元116输入的指示来执行各种处理。接着，CPU 111将处理结果输出到输出单元117。 

连接到输入和输出接口115的记录单元118由例如硬盘驱动器构成。记录单元118记录由CPU 111执行的程序和各种数据。通信单元119经由诸如因特网或局域网的网络执行与外部装置的通信。 

另外，可以通过通信单元119获得程序以记录在记录单元118中。 

当诸如磁盘、光盘、磁光盘或半导体盘的可移动介质121被安装到连接至输入和输出接口115的驱动器120上时，驱动器120驱动可 移动介质并获得记录在其中的程序、数据等。这样获得的程序和数据视需要被传送到记录单元118并记录。 

如图10所示，存储被安装到计算机中并由计算机执行的程序的程序记录介质由用作封装介质的可移动介质121构成，例如磁盘(包括柔性盘)、光盘(包括CD-ROM(紧致盘只读存储器)或DVD(数字多功能盘))、磁光盘、或半导体存储器，或者由临时或永久存储程序的ROM 112、构成记录单元118的硬盘驱动器等构成。视需要，通过用作接口的通信单元119例如路由器或调制解调器，利用有线或无线通信介质例如局域网、因特网或数字卫星广播将程序存储到程序记录介质中。 

应当注意，在本说明书中，处理不仅包括在时间上按记载的顺序执行描述被存储在记录介质中的程序的步骤的情形，而且包括不按所述时间顺序，而是并行地或单独地执行步骤的情形。 

本发明的实施例不限于上述实施例。应该理解，本领域技术人员可根据设计要求和其它因素，进行不同的修改、组合、子组合和替代，只要其在所附权利要求及其等同物的范围之内。 

Claims (9)

1.一种图像处理装置，包括：

保存装置，对于第一角度和第二角度的每种组合保存包含与特征点的位置有关的信息的学习字典，所述第一角度指示包含人脸的第一人脸图像的人脸方向，所述第二角度指示包含人脸的第二人脸图像的人脸方向，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一人脸图像和第二人脸图像关联起来；

选择装置，根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典；以及

相似程度估计装置，基于对应于包含在所选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度。

2.根据权利要求1的图像处理装置，还包括：

识别装置，基于估计的相似程度来识别第一人脸图像的人脸和第二人脸图像的人脸是否为同一人。

3.根据权利要求1的图像处理装置，其中，第二人脸图像被预先注册，且与提取的特征量和第二角度相关联。

4.根据权利要求3的图像处理装置，还包括：

检测装置，从包含人类的图像中检测第一人脸图像；

面部特征检测装置，从所检测的第一人脸图像中检测作为人脸特征的面部特征位置；

人脸角度估计装置，基于所检测的第一人脸图像和所述面部特征位置来估计第一角度；以及

提取装置，在所检测的第一人脸图像中从所述面部特征位置附近的图像中提取特征量，

其中，所述选择装置根据估计的第一角度和注册的第二角度的组合来选择学习字典，并且

其中，所述相似程度估计装置基于对应于包含在所选择的学习字典中的特征点的位置的、从第一人脸图像中提取的特征量和注册的第二人脸图像的特征量，估计相似程度。

5.根据权利要求1的图像处理装置，其中，在由第一角度指示的方向被设置在包括左向、前向和右向的三段中并且由第二角度指示的方向被设置在包括左向、前向和右向的三段中的情形下，所述保存装置对于所有的组合保存学习字典。

6.根据权利要求2的图像处理装置，

其中，所述学习字典包含用作识别第一人脸图像和第二人脸图像的基准的预定阈值，并且

其中，所述识别装置基于估计的相似程度和所述阈值之间的比较结果，识别第一人脸图像的人脸和第二人脸图像的人脸是同一人还是不同人。

7.一种图像处理方法，包括下列步骤：

根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典，所述第一角度指示包含人脸的第一人脸图像的人脸方向，所述第二角度指示包含人脸的第二人脸图像的人脸方向，所述学习字典包含与特征点的位置有关的信息，所述特征点的位置在估计第一人脸图像和第二人脸图像之间的相似程度时将第一人脸图像和第二人脸图像关联起来；以及

基于对应于包含在所选择的学习字典中的特征点的位置的、从第一人脸图像和第二人脸图像中提取的特征量，估计第一人脸图像和第二人脸图像之间的面部相似程度。

8.一种图像处理装置，包括：

保存装置，对于第一角度和第二角度的每种组合保存包含与特征点的位置有关的信息的学习字典，所述第一角度指示包含具有预定形状和特征的物体的第一图像中该物体的方向，所述第二角度指示包含具有预定形状和特征的物体的第二图像中该物体的方向，所述特征点的位置在估计第一图像和第二图像之间的相似程度时将第一图像和第二图像关联起来；

选择装置，根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典；以及

相似程度估计装置，基于对应于包含在所选择的学习字典中的特征点的位置的、从第一图像和第二图像中提取的特征量，估计第一图像和第二图像之间物体的相似程度。

9.一种图像处理方法，包括下列步骤：

根据第一角度和第二角度的组合来选择对于第一角度和第二角度的每种组合所保存的学习字典，所述第一角度指示包含具有预定形状和特征的物体的第一图像中该物体的方向，所述第二角度指示包含具有预定形状和特征的物体的第二图像中该物体的方向，所述学习字典包括与特征点的位置有关的信息，所述特征点的位置在估计第一图像和第二图像之间的相似程度时将第一图像和第二图像关联起来；以及

基于对应于包含在所选择的学习字典中的特征点的位置的、从第一图像和第二图像中提取的特征量，估计第一图像和第二图像之间物体的相似程度。

Images