CN101710427A - 面部检测器和面部检测方法 - Google Patents

Abstract

本发明涉及面部检测器和面部检测方法。面部检测器包括检测处理器，其用于根据使用窗口的参数或窗口尺寸及窗口位移的模板匹配，来从运动图像的帧中检测面部图像。参数控制器为检测处理器指定参数的预定的正常变化范围，以根据正常变化范围执行运动图像的第一帧的面部检测，根据用于第一帧的面部检测的参数值和第一帧的面部图像中的至少一个，确定小于正常变化范围的受限变化范围。为检测处理器指定受限变化范围，以根据该受限变化范围，执行运动图像的第一帧之后的后续帧的面部检测。

Description

面部检测器和面部检测方法

技术领域

本发明涉及面部检测器和面部检测方法。更特别地，本发明涉及能够从运动图像的帧中高精度地检测人面部的面部检测器和面部检测方法。

背景技术

在如数码摄像机和数码相机这样的成像设备中，从运动图像(motionpicture)或静止图像中检测人的面部图像，以便执行各种功能的处理任务，例如，用于自动将人面部作为对象进行对焦的自动对焦，用于细致地重现面部图像的曝光调整和白平衡矫正。另外，有一种根据面部的运动改变成像方向的已知技术，用于监视人物的运动。

模板匹配是作为人面部的面部检测实例的一种方法。窗口或四边形区域在对象图像中被显示，并以一个常数值的窗口位移(window shift)逐步地移动。根据每个窗口的位置，通过裁剪图像部分而得到窗口图像。通过计算获得窗口图像与模板图像的相关性。具有与模板图像高相关性的窗口图像之一被确定为面部图像。用于检测随机人面部的模板图像的实例是大量人面部图像的平均图像的信息。

通常地，取决于对象距离和其他因素，人面部图像的尺寸不是一个常数。面部检测是通过连续地改变对象图像尺寸与窗口尺寸的比例来实现的。改变该比例的方法的一个实例是使用常数尺寸的窗口的方法，该常数尺寸是相对于从具有各种缩放比例值的对象图像中得到的扩大或缩小的图像的。在另一个实例中，使用相对于常数尺寸对象图像的各种尺寸的窗口。

在模板匹配中，通过裁剪获得大量窗口图像，并通过改变对象图像尺寸与窗口尺寸的比例来评估窗口图像与模板图像的相关性。如果需要高精度的面部检测，运算操作步骤的数量很可能非常高。那么在短时间内，例如，在一帧时期内，处理运动图像将是不可能的。在处理运动图像中，运算操作所需的长时间是个问题。

考虑到这个问题，美国专利NO.2006/028576(对应于JP-A 2006-025238)公开了一种图像拾取设备中的面部检测，其中，根据由焦点对准位置的信息和视角信息所表示的对象距离，检测图像中人面部的尺寸，并通过使用面部尺寸的窗口来检测面部。

在JP-A 2006-228061的面部检测中，在根据先前检测到的局部部分的位置所确定的搜索区域中，面部的局部部分被追踪。一开始，从最初的输入图像中检测面部。接着，从该面部中检测单个的局部部分的位置。根据已检测的局部部分的位置，在输入图像的一部分中确定搜索区域。对于后续的图像，在该搜索区域中追踪局部部分。

JP-A 2003-271933公开了检测到特定面部的面部检测。在一开始用于从窗口图像中移除重叠部分的模板匹配中，获取并处理多个窗口图像。否则，如果在窗口图像之间出现重叠部分，就选择性地指定一个具有高相关性的窗口图像。模式识别，例如，支持向量机(SVM)分析，可用于检测面部图像中的特定的一个。

然而，美国专利NO.2006/028576(对应于JP-A 2006-025238)不适于通过使用景深检测不同距离的多个人的面部。此外，没有焦点对准位置信息和视角信息的图像无法被检测，因为检测需要这些信息。JP-A 2006-228061存在一个问题，典型地，当人物运动(motion)很大时，很可能从已确定的搜索区域中失去面部图像。运算操作步骤的数量不能减少，因为必须对整个图像进行检测。JP-A 2003-271933不能用于随机的人面部的面部检测。

发明内容

考虑到上述问题，本发明的一个目的是提供可以从运动图像的帧中高精度地检测人面部的面部检测器和面部检测方法。

为了实现上述和其他目标以及本发明的优点，面部检测器包括用于根据使用参数的模板匹配，从运动图像帧中检测面部图像的检测处理器。参数控制器用于：为检测处理器指定一个参数的预定的正常变化范围，以根据所述正常变化范围来执行所述运动图像的第一帧的面部检测；根据用于所述第一帧的所述面部检测的所述参数的值和所述第一帧的所述面部图像的状态中的至少一个，确定小于所述正常变化范围的受限变化范围；以及为所述检测处理器指定所述受限变化范围，以根据所述受限变化范围，执行所述运动图像的所述第一帧之后的后续帧的面部检测。

所述受限变化范围是根据所述第一帧的所述面部图像的所述面部检测的检测历史的基于历史的范围，以便加快对所述后续帧的所述面部检测的处理。

此外，计时器测量从所述第一帧中检测所述面部图像所需要的数据处理时间。如果所述数据处理时间等于或小于所述运动图像的一个帧周期，所述参数控制器分配所述第一帧的所述后续帧，并为所述检测处理器指定所述正常变化范围。

此外，在一个优选实施例中，计时器测量从所述第一帧中检测所述面部图像所需要的数据处理时间。所述参数控制器根据所述数据处理时间改变所述受限变化范围的限制，以确定所述受限变化范围。

此外，在另一个优选实施例中，计时器测量从所述第一帧中检测所述面部图像所需要的数据处理时间。所述参数控制器将所述数据处理时间与参考时间相比较，如果所述数据处理时间小于所述参考时间，则指定所述受限变化范围，以及如果所述数据处理时间等于或大于所述参考时间，则指定小于所述受限变化范围的特定受限变化范围。

所述参数控制器根据所述受限变化范围的指定，检查所述后续帧的所述面部检测的结果的可接受性，并且如果所述结果与所述后续帧之前的帧的所述面部检测的结果相比较是不可接受的，则为所述检测处理器指定所述正常变化范围。

在检测到所述面部图像时，所述参数控制器检查所述后续帧的所述面部检测的结果的可接受性，并且如果所述结果是不可接受的，则为所述面部检测分配所述第一帧的所述后续帧。

所述正常变化范围中的所述参数是多个窗口尺寸。所述检测处理器为所述模板匹配在所述第一帧中移动所述多个窗口尺寸中的每一个的窗口。由从所述多个窗口尺寸中选择的至少一个窗口尺寸来构成所述受限变化范围。

所述正常变化范围中的所述参数是逐步移动(shift)窗口所使用的多个窗口位移。所述检测处理器为所述模板匹配在所述第一帧中以所述多个窗口位移中的每一个移动所述窗口。由从所述多个窗口位移中选择的至少一个窗口位移来构成所述受限变化范围。

在本发明的一个方面中，一种面部检测方法包括下列步骤：根据通过使用预定的正常变化范围中的参数的模板匹配，来从运动图像的第一帧中检测面部图像。根据用于所述第一帧的所述面部检测的所述参数的值和所述第一帧的所述面部图像的状态中的至少一个，确定小于所述正常变化范围的受限变化范围。根据通过使用所述受限变化范围中的所述参数的所述模板匹配，来从所述运动图像的所述第一帧之后的后续帧中检测面部图像。

所述正常变化范围中的所述参数是多个窗口尺寸。在所述的面部检测中，为所述模板匹配在所述第一帧中移动所述多个窗口尺寸中的每一个的窗口。由从所述多个窗口尺寸中选择的至少一个窗口尺寸来构成所述受限变化范围。

所述正常变化范围中的所述参数是逐步移动窗口所使用的多个窗口位移。在所述面部检测中，为所述模板匹配在所述第一帧中以所述多个窗口位移中的每一个移动所述窗口。由从所述多个窗口位移中选择的至少一个窗口位移来构成所述受限变化范围

此外，提供了用于面部检测的计算机可执行程序，该程序包括用于根据使用预定的正常变化范围中的参数的模板匹配，检测来自运动图像的帧中的面部图像的程序代码。程序代码根据用于第一帧的面部检测的参数值和第一帧的面部图像状态的至少一个，来确定小于正常变化范围的受限的变化范围。程序代码根据使用受限变化范围内的参数的模板匹配，来从运动图像第一帧之后的后续帧中检测面部图像。

在本发明的另一个方面，对象检测器包括检测处理器，其根据使用参数的模板匹配，从运动图像帧中检测感兴趣的区域。参数控制器给检测处理器指定参数的预定正常变化范围，以根据正常变化范围执行运动图像第一帧的对象检测，根据用于第一帧对象检测的参数值和第一帧感兴趣区域的状态的至少一个来确定小于正常变化范围的受限变化范围，并给检测处理器指定受限的变化范围，以根据受限的变化范围执行运动图像第一帧之后的后续帧的对象检测。

因此，由于使用参数的受限变化范围在要分析的帧中细致地搜索部分区域，所以能够从运动图像的帧中高精度地检测到人的面部。

附图说明

结合下列附图阅读下面的详细说明，将会更清楚地了解本发明的上述目的和优点，在附图中：

图1是说明本发明的面部检测器的框图；

图2是说明用于模板匹配的帧的扫描的平面图；

图3是说明面部检测的流程图；

图4A是说明在正常模式中的面部检测参数的图表；

图4B和4C是说明为快速模式改变的面部检测的参数的图表；

图5是说明改变参数限制的优选实施例的流程图；

图6是说明在图5的实施例中的参数的改变的流程图；

图7是说明参数的受限变化范围可改变的优选实施例的流程图；

图8是说明图7的实施例中参数的改变的优选实施例的流程图；

图9是说明检查面部检测结果的可接受性的优选实施例的流程图。

具体实施方式

在图1中，说明了本发明的面部检测器2。面部检测器2执行构成运动图像20的帧图像的模板匹配。面部图像由面部检测器2根据面部检测技术进行检测。面部检测器2输出面部图像区域的面部区域信息18。输入面板4是可以手工操作的，并且其生成用于控制的输入信号。控制器3响应来自输入面板4的输入信号，并控制面部检测器2中的各个单元。

面部检测器2的模式分为正常模式和快速模式。当设置为正常模式时，超过面部检测所需的数据处理时间的检测面部的精度优先被设置。当设置为快速模式时，处于运动图像20的帧速率的帧的帧图像的面部检测的数据处理时间优先被设置。

输入的运动图像20的一个第一帧被指定，或从快速模式改变到正常模式时的第一帧被指定，作为运动图像20的给定已选帧。对于给定的帧，以正常模式执行面部检测。如果一帧的数据处理时间等于或小于正常模式中规定时间Ta，那么对紧邻这一帧之后的帧也以正常模式执行面部检测。因此，数据处理时间等于或小于规定时间Ta的帧的后续帧，被指定为新的已选帧。如果数据处理时间大于正常模式中的规定时间Ta，那么就对后续帧的帧图像使用快速模式。注意，规定时间Ta为0.033秒，等于对应于30fps的一帧的帧周期作为图像拾取的帧速率，但是该规定时间也能设置为小于一帧的帧周期。

存在图像存储器6，通过外部设备，将运动图像20作为面部检测的对象输入到图像存储器6中，并以图像数据的格式写入。控制器3操作以控制图像存储器6以便从图像存储器6中读出帧图像并输出一帧作为运动图像20的帧或组分。帧图像以正常帧速率(例如，每1/30秒一帧)正常输出。在正常模式中，在一个帧图像面部检测完成之前，通过控制阻止输出后续帧的帧图像。

依次向检测处理器7或数据处理器提供来自图像存储器6的帧图像的信息。检测处理器7执行帧图像的模板匹配，检测帧图像中的面部图像，并输出面部图像的面部区域信息18。

缓冲存储器8被包括用于图像及面部区域信息18的输出的同步。缓冲存储器8临时存储来自图像存储器6的图像。响应于与来自检测处理器7的图像相关联的面部区域信息18的输出，图像从缓冲存储器8中被读出，并进行外部输出。因此，面部检测器2以30fps的速度连同面部区域信息18一起正常输出运动图像20。

通过检测处理器7向显示面板9提供面部区域信息18，并从缓冲存储器8向显示面板9提供图像信息。显示面板9的实例是液晶显示面板或类似物。驱动器驱动显示面板9。显示面板9依次显示从缓冲存储器8输入的图像，并指示交叠于图像上并根据面部区域信息18所产生的窗口的框架线(frame line)。用户能够观察到显示面板9中的图像和窗口，并检查面部图像的检测到的状态。

检测处理器7的实例可以由高速数字信号处理器、存储器和其他单元构成。检测处理器7中包括匹配设备11，参数控制器12，和参数存储器13。从图像存储器6一帧一帧地向匹配设备11提供帧图像。模板图像存储于匹配设备11中，作为从大量的人面部中产生的平均面部图像的信息。匹配设备11执行输入帧图像的模板匹配，并检测帧图像中的面部图像区域。

注意，为了等于将要详细描述的窗口尺寸的尺寸，此处模板图像以缩小或扩大的状态被使用。或者，可以准备及存储尺寸等于窗口尺寸的模板图像以备使用。

在模板匹配中，检查模板图像与通过使用窗口或四边形区域从帧图像中裁剪的窗口图像之间的相关性，以便检查窗口图像是否是人的面部图像。面部图像的已检测区域被输出为与面部图像的尺寸、位置等等相关的面部区域信息18。

对于模板匹配，如图2所示，匹配设备11从帧图像F的左上角到右下角移动窗口W以进行扫描。裁剪窗口图像并检查其与模板图像的相关性。具体到扫描中，窗口W从左端向右以给定值的窗口位移逐步地移动，并在到达右端后，被设置返回左端并且向下移动窗口位移，以及随后再次逐步地向右边移动。

可变参数由窗口尺寸和窗口W的窗口位移构成。匹配设备11通过在其指定可变范围内的窗口尺寸和窗口位移的组合来操作进行扫描。

匹配设备11为了模板匹配最初以最大窗口尺寸和最大窗口位移进行扫描。如果第一区域中的窗口图像和模板图像的相关性信息等于或高于第一阈值，那么匹配设备11将该第一区域确定为面部区域。如果第二区域中的窗口图像和模板图像之间的相关性信息等于或高于第二阈值并低于第一阈值，那么匹配设备11将该第二区域确定为候选面部区域。匹配设备11进一步通过窗口尺寸和窗口位移的改变来扫描第二区域。

参数控制器12确定参数可以改变的变化范围，并为匹配设备11指定该变化范围。参数控制器12存储正常模式下窗口尺寸的变化范围和窗口位移的变化范围的信息。在正常模式中，参数控制器12为匹配设备11指定正常模式下的窗口尺寸和窗口位移的变化范围。

为了高精度地检测面部，上述的正常模式下的窗口尺寸和窗口位移的变化范围被预先定义。例如，窗口尺寸的变化范围从100×100像素到15×15像素。窗口位移的变化范围从5个像素到1个像素。匹配设备11逐步地每次5个像素地改变窗口尺寸，并逐步地每次1个像素地改变窗口位移。

如果正常模式下的数据处理时间大于规定时间Ta，那么参数控制器12为后续帧确定基于历史的受限的变化范围。在加快数据处理方面这样做是有效的。受限的变化范围包括快速模式下的窗口尺寸的变化范围和窗口位移的变化范围，也就是与正常模式比起来参数值在其中受到限制的范围。参数控制器12为匹配设备11指定受限变化范围的信息。

在匹配设备11的模板匹配中，以调整过的窗口尺寸和窗口位移来扫描区域，该区域包括根据最初的最大窗口尺寸和窗口位移，通过扫描检测到的候选面部。因此，根据包含于图像中的面部的数量，通过改变扫描的区域及次数，数据处理时间增加或者减少。

快速模式下的窗口尺寸的变化范围被确定为小于正常模式的范围，包括参考窗口尺寸，也就是在正常模式下对面部图像的先前面部检测中的具体窗口尺寸。特别地，快速模式下的窗口尺寸的变化范围被这样确定：其上限等于比参考窗口尺寸的最大值还大一级的尺寸，其下限等于比参考窗口尺寸的最小值还小一级的尺寸。此外，快速模式下的窗口位移被固定地确定为单一值，例如3个像素。

对于窗口尺寸的变化范围，作为本发明的参数之一，根据作为面部检测的一个结果的数据处理时间来确定其限制的有效或无效状态。根据检测到面部图像时的窗口尺寸的值来确定基于历史的窗口尺寸的受限变化范围。对于窗口位移，作为本发明的参数之一，根据作为面部检测的一个结果的数据处理时间来确定其限制的有效或无效状态。窗口位移再次被确定为常数值。

参数存储器13存储参考窗口尺寸、作为面部检测时的窗口位移的特定值的参考窗口位移、以及由匹配设备11写入的数据处理时间的信息。根据正常模式中新的帧图像的模板匹配结果来更新存储于参数存储器13中的信息。存储于参数存储器13中的信息可由参数控制器12读出。注意，匹配设备11中的计时器16测量数据处理时间。

现在描述实施例的操作步骤。首先，面部检测中使用的运动图像20被写入并存储于图像存储器6中。当完成运动图像20的写入时，从图像存储器6中一帧一帧地读出帧图像，并将它们顺序地输入到检测处理器7和缓冲处理器8。检测处理器7开始面部检测的操作。

在面部检测的开头，起先设置为正常模式。在图3中，在步骤S1，正常模式下窗口尺寸和窗口位移的变化范围由参数控制器12指定给匹配设备11。在步骤S2，识别第一帧的帧图像的输入。在步骤S3，匹配设备11操作以进行模板匹配以便在帧图像中检测人的面部图像。

在模板匹配中，指定正常模式下的窗口尺寸和窗口位移的变化范围。根据窗口尺寸和窗口位移的组合变化范围来扫描图像。首先，通过使用具有100×100像素窗口尺寸的窗口和5个像素的窗口位移来扫描图像。通过扫描顺序地获取窗口图像，并计算窗口图像与模板图像之间的相关性。如果相关性信息等于或高于第一阈值，那么将窗口图像确定为人的面部图像，以便输出面部图像的位置和尺寸作为面部区域信息18。如果相关性信息等于或高于第二阈值且低于第一阈值，那么将窗口图像确定为人的候选面部图像。

当完成第一次的扫描时，以5个像素的窗口位移和95×95像素，90×90像素，…，以及15×15像素的窗口尺寸依次扫描根据初步检测具有候选面部的区域。这以后，从4，3和2个像素到1个像素改变窗口位移。窗口尺寸在从95×95像素到15×15像素的变化范围中改变。

根据扫描其相关性信息等于或高于第一阈值的窗口图像被确定为人的面部图像。输出面部图像的面部区域信息18。作为结果，多个面部图像当在帧图像中出现时被分别检测。输出每个面部图像的一组面部区域信息18。由于确定并指定了正常模式下的窗口尺寸和窗口位移的变化范围，所以能够以高精度检测面部图像。

当完成第一帧图像的模板匹配时，匹配设备11向参数存储器13写入在检测人的面部图像时的窗口尺寸信息作为参考窗口尺寸。匹配设备11向参数存储器13写入窗口位移信息作为参考窗口位移。匹配设备11向参数存储器13写入第一帧图像的模板匹配所需的数据处理时间。参见步骤S4。

在写入参考窗口尺寸、参考窗口位移和数据处理时间之后，在步骤S5，参数控制器12读取存储于参数存储器13中的数据处理时间，并检查数据处理时间是否等于或小于规定时间Ta或帧周期。

如果数据处理时间等于或小于规定时间Ta，就保持正常模式。当在步骤S2检测到第二帧的帧图像的接收时，在步骤S3执行模板匹配。使用正常模式下窗口尺寸和窗口位移的指定变化范围，以与上述方式相类似的方式执行匹配设备11的模板匹配。在步骤S4，访问参数存储器13以存储第二帧的帧图像的参考窗口尺寸、参考窗口位移及数据处理时间的信息。在步骤S5检查数据处理时间是否等于或小于规定时间Ta。

如上所述，如果在正常模式中数据处理时间等于或小于规定时间Ta，运动图像20的帧速率可以保持不变，以依次输入图像。因此，根据高精度的可能性的正常模式下窗口尺寸和窗口位移的指定的变化范围，检测人的面部图像。

在正常模式中，如果第N帧的帧图像的数据处理时间大于规定时间Ta，那么为了保持运动图像20的预定帧速率，对后续帧设置快速模式。

在快速模式中，通过基于历史的限制加快了数据处理。参数控制器12根据通过指定要检测的第N帧所获取的参考窗口尺寸，确定快速模式下窗口尺寸的变化范围。在步骤S6，将快速模式下的窗口位移设置为仅三(3)个像素。在步骤S7，为匹配设备11指定快速模式下的窗口尺寸和窗口位移的变化范围。

当在步骤S8检测到第N+1帧的图像的接收时，在步骤S9通过使用指定变化范围的窗口尺寸和窗口位移，匹配设备11执行模板匹配。在预定级别或更高的相关性的情况下，则将窗口图像确定为人的面部图像。输出对应于此的面部区域信息18。

在图4A中，为第N帧设置正常模式。以从100×100像素到15×15像素的窗口尺寸的变化范围和从5个像素到1个像素的窗口位移的变化范围来执行模板匹配。参见图4B。例如，从第N帧的帧图像中检测出3个人的面部。该检测的窗口尺寸为50×50、35×35及30×30像素。窗口位移为三(3)个像素。数据处理时间为0.04秒。

在上面的情况中，数据处理时间大于规定时间Ta＝0.033秒。对于第(N+1)帧来说，在快速模式的模板匹配中处理图像。因为检测面部图像所使用的窗口尺寸是50×50、35×35及30×30像素，所以快速模式下的窗口尺寸的变化范围被确定为从55×55像素到25×25像素。参见图4C。此外，窗口位移被确定为3个像素。

当通过使用快速模式下的窗口尺寸及受限的窗口位移的变化范围来完成第(N+1)帧的帧图像的模板匹配时，在步骤S10检查指定正常模式是有效还是无效状态。在没有指定正常模式的情况下，操作返回到步骤S8，准备第(N+2)帧的帧图像的输入。当输入第(N+2)帧的帧图像时，执行快速模式下的帧图像的模板匹配。用快速模式下确定的窗口尺寸和窗口位移的变化范围来检测人的面部图像。

同样地，在下一次指定正常模式之前，通过使用快速模式下的窗口尺寸和窗口位移的变化范围来执行模板匹配。快速模式中使用的窗口尺寸和窗口位移与正常模式相比，是处于基于历史的受限的变化范围之中的。因此，在数据处理时间适合保持帧图像的预定帧速率的情况下，进行面部检测是可能的。在检测中可以保持足够高的精度，因为基于历史的受限变化范围的窗口尺寸是来自于，正常模式下已以较高精度检测到面部图像时候的窗口尺寸。

在模板匹配期间，通过面部检测器2同步并输出来自缓冲存储器8的图像和面部区域信息18，面部区域信息18由与图像相相关联的检测处理器7生成。仅当数据处理时间大于正常模式中的规定时间Ta时，才改变帧速率。否则，可以与面部区域信息18一起输出保持常数值的帧速率的运动图像20。

显示面板9根据用于指示人的面部区域的面部区域信息18，显示覆盖于运动图像20上的框架线。如果没有显示与感兴趣的人的面部有关的框架线，或者没有框架线与感兴趣的人的已显示面部相关，那么操作者通过操纵输入面板4设置正常模式。

当指示设置正常模式时，通过从步骤S10返回步骤S1，为匹配设备11指定正常模式下的窗口尺寸和窗口位移的变化范围。以与上述步骤相类似的方式来执行正常模式下的模板匹配。还没有被检测到的人的面部图像可能成为检测目标。

在图5中，说明了一个优选实施例，其中，根据作为检测结果之一的数据处理时间来改变快速模式下窗口尺寸的变化范围。在该实施例中，在确定快速模式下窗口尺寸的变化范围时，访问存储于参数存储器13中的数据处理时间信息，并将该时间信息与参考时间Tb进行比较。参考时间Tb是评估数据处理时间减少量的基础，其被预先确定为大于规定时间Ta(Tb＞Ta)。

如果根据比较，数据处理时间小于参考时间Tb，那么快速模式下窗口尺寸的变化范围就与上述实施例相等地以这样一种方式被确定：其上限等于比参考窗口尺寸的最大值大一级的尺寸，并且其下限等于比参考窗口尺寸的最小值小一级的尺寸。

如果数据处理时间等于或大于参考时间Tb，参考窗口尺寸的平均值就确定为一个固定值或快速模式下窗口尺寸的受限变化范围，以便显著地减少数据处理时间。

例如，参考时间Tb为0.055秒。图6[a]部分中的数据处理时间是0.04秒。在这种情况下，数据处理时间小于参考时间Tb，并被确定与规定时间Ta稍有不同。那么，快速模式下窗口尺寸的变化范围就是从55×55像素到25×25像素，作为一个比参考窗口尺寸大一级的范围。在另一种情况下，图6的[b]部分中的数据处理时间为0.07秒，并且等于或大于参考时间Tb。数据处理时间被确定与规定时间Ta有很大差异。那么，快速模式下的窗口尺寸的变化范围是作为参考窗口尺寸平均值的仅35×35像素的固定值。

图7中，说明了一个实例，其中快速模式下窗口尺寸的变化范围的限制是可以根据作为面部检测结果之一的数据处理时间来改变的。在这个实例中，在确定快速模式下窗口尺寸的变化范围时，访问存储于参数处理器13中的数据处理时间的信息，并与参考时间Tb进行比较，Tb与规定时间Ta有很大不同。

如果根据比较，数据处理时间小于参考时间Tb，那么快速模式下窗口尺寸的变化范围就确定为：其上限等于比参考窗口尺寸的最大值大一级的尺寸，而其下限等于比参考窗口尺寸的最小值小一级的尺寸。根据正常模式中的参考窗口尺寸，例如图8中所示的50×50、35×35和30×30像素，快速模式下窗口尺寸的变化范围设置为从55×55像素到25×25像素，如图8的[a]部分中所示。

如果数据处理时间等于或大于参考时间Tb，那么就通过从参考窗口尺寸的最大值中推导出上限及从参考窗口尺寸的最小值中推导出下限，来确定快速模式下窗口尺寸的变化范围。这么做更加显著地减小了窗口尺寸的变化范围。参见图8的[b]部分。当参考窗口尺寸是50×50、35×35、30×30和25×25像素时，快速模式下窗口尺寸的变化范围是从50×50像素到25×25像素。

图9中，说明了另一个优选实施例，其中检查快速模式下面部图像的面部检测结果的可接受性。如果不可接受，则该面部检测之后的帧进行正常模式下的面部检测。下面将详细描述该实施例与第一实施例的差异。与第一实施例相类似的单元在图8中被指定为相同的参考数字。

在正常模式下检测人的面部图像时，在步骤S20，检测的面部图像的数量或面部检测的事件数量被写入到参数存储器13中作为面部检测的参考事件数量。在快速模式中，在步骤S21根据对分别的帧的模板匹配，将面部检测的事件数量与存储于参数存储器13中的参考事件数量相比较，以检查增加或减少的可接受性。如果确认可以接受，就判定可接受检测结果。在步骤S22，参数存储器13中的参考事件数量通过面部检测的结果来更新，以便在快速模式下执行后续帧的面部检测。

如果在步骤S21中由于快速模式中的面部检测结果的不可接受性而检测到不可接受的状态，那么在步骤S23为匹配设备11指定正常模式下窗口尺寸和窗口位移的变化范围。设置正常模式，其中从不可接受的帧图像处执行模板匹配。对于步骤S21中检测到的面部图像数量中的变化，如果面部检测的事件数量明显低于参考事件数量，例如比参考事件数量低50％，那就检测为不可接受状态。

在本实施例中，当在快速模式下执行模板匹配时，将当前帧图像的面部检测事件数量与直接在当前帧图像之前的帧的帧图像的面部检测事件数量相比较，以检查检测结果的可接受性。如果不可接受，在正常模式的模板匹配中处理当前帧图像。这在无需丢弃而在面部检测中保持可靠性及减少数据处理时间以保持预定的帧速率方面是有效的。

在上面的实施例中，根据人的面部图像的面部检测事件数量的增加或减少，来检查快速模式中面部检测结果的可接受性。然而，可以使用各种方法检查可接受性。在检查方法的一个实例中，评估当前帧图像的面部图像的第一窗口尺寸与当前帧图像之前的帧图像的面部图像的第二窗口尺寸之间的差别。如果该差别大于可容忍值，那么就判定不可接受。在检查方法的另一个实例中，评估当前帧图像的面部图像的第一位置与当前帧图像之前的帧图像的面部图像的第二位置之间的差别。如果该差别大于可容忍值，那么就判定不可接受。此外，对于用户来说，可以从多个检查可接受性的方法中选择或指定优选的一个。如果不可接受，可以改为正常模式，在正常模式中当前帧图像的后续帧图像进行面部检测。

注意，本发明不限于使用窗口尺寸和窗口位移的基于历史的受限变化范围来加快数据处理的上述方法、状况等。例如，分别等于参考窗口尺寸和参考窗口位移的窗口尺寸和窗口位移可以在快速模式下的模板匹配中使用。可以考虑窗口尺寸和窗口位移的第一参考窗口尺寸和参考窗口位移，用于确定第二窗口尺寸和窗口位移的基于历史的受限变化范围。为此，优选的是，通过保持预定的帧速率，抑制检查人面部图像的精确度的下降。

注意，本发明中的可变参数是不同于上述实施例中窗口的窗口尺寸和窗口位移的其他值或特性。模板匹配的方法不限于上述实施例中的方法。通过使用人面部图像的面部检测的可变参数，其他方法也可以用于检测人的面部图像。例如，可以使用美国专利NO.5,309,228(对应于JP-A5-158164)，JP-A7-306483中公开的面部检测及类似方法。

此外，本发明的面部检测方法可以用于摄取图像的光学装置中，例如具有照相机组件的蜂窝电话。此外，通过适当地安装面部检测的计算机程序，个人计算机可以作为面部检测器。

虽然通过优选实施例并参考其附图已对本发明进行了充分描述，但是各种改进和修改对于本领域的技术人员来说是显而易见的。因此，除非这样的改进和修改脱离了本发明的范围，否则都应解释为包括于本发明的范围中。

Claims (13)

1.一种面部检测器，包括：

检测处理器，用于根据使用参数的模板匹配来从运动图像的帧中检测面部图像；以及

参数控制器，用于

为所述检测处理器指定所述参数的预定的正常变化范围，以根据所述正常变化范围来执行所述运动图像的第一帧的面部检测；

根据用于所述第一帧的所述面部检测的所述参数的值和所述第一帧的所述面部图像的状态中的至少一个，确定小于所述正常变化范围的受限变化范围；以及

为所述检测处理器指定所述受限变化范围，以根据所述受限变化范围，执行所述运动图像的所述第一帧之后的后续帧的面部检测。

2.如权利要求1所述的面部检测器，其中，所述受限变化范围是根据所述第一帧的所述面部图像的所述面部检测的检测历史的基于历史的范围，以便加快对所述后续帧的所述面部检测的处理。

3.如权利要求1所述的面部检测器，还包括计时器，用于测量从所述第一帧中检测所述面部图像所需要的数据处理时间；

如果所述数据处理时间等于或小于所述运动图像的一个帧周期，所述参数控制器分配所述第一帧的所述后续帧，并为所述检测处理器指定所述正常变化范围。

4.如权利要求1所述的面部检测器，还包括计时器，用于测量从所述第一帧中检测所述面部图像所需要的数据处理时间；

其中，所述参数控制器根据所述数据处理时间改变所述受限变化范围的限制，以确定所述受限变化范围。

5.如权利要求1所述的面部检测器，还包括计时器，用于测量从所述第一帧中检测所述面部图像所需要的数据处理时间；

其中，所述参数控制器将所述数据处理时间与参考时间相比较，并且如果所述数据处理时间小于所述参考时间，则指定所述受限变化范围，并且如果所述数据处理时间等于或大于所述参考时间，则指定小于所述受限变化范围的特定受限变化范围。

6.如权利要求1所述的面部检测器，其中，所述参数控制器根据指定的所述受限变化范围，检查所述后续帧的所述面部检测的结果的可接受性，并且如果所述结果与所述后续帧之前的帧的所述面部检测的结果相比较是不可接受的，则为所述检测处理器指定所述正常变化范围。

7.如权利要求6所述的面部检测器，其中，在检测所述面部图像时，所述参数控制器检查所述后续帧的所述面部检测的结果的可接受性，并且如果所述结果是不可接受的，则为所述面部检测分配所述第一帧的所述后续帧。

8.如权利要求1所述的面部检测器，其中，所述正常变化范围中的所述参数是多个窗口尺寸；

所述检测处理器为所述模板匹配在所述第一帧中移动所述多个窗口尺寸中的每一个的窗口；

由从所述多个窗口尺寸中选择的至少一个窗口尺寸来构成所述受限变化范围。

9.如权利要求1所述的面部检测器，其中，所述正常变化范围中的所述参数是逐步移动窗口所使用的多个窗口位移；

所述检测处理器为所述模板匹配在所述第一帧中使用所述多个窗口位移中的每一个来移动所述窗口；

由从所述多个窗口位移中选择的至少一个窗口位移来构成所述受限变化范围。

10.一种面部检测方法，包括下列步骤：

根据使用预定的正常变化范围中的参数的模板匹配，来从运动图像的第一帧中检测面部图像；

根据用于所述第一帧的所述面部检测的所述参数的值和所述第一帧的所述面部图像的状态中的至少一个，确定小于所述正常变化范围的受限变化范围；

根据使用所述受限变化范围中的所述参数的所述模板匹配，来从所述运动图像的所述第一帧之后的后续帧中检测面部图像。

11.如权利要求10所述的面部检测方法，其中，所述受限变化范围是根据所述第一帧的所述面部图像的所述面部检测的检测历史的基于历史的范围，以便加快对所述后续帧的所述面部检测的处理。

12.如权利要求10所述的面部检测方法，其中，所述正常变化范围中的所述参数是多个窗口尺寸；

在所述面部检测中，为所述模板匹配在所述第一帧中移动所述多个窗口尺寸中的每一个的窗口；

由从所述多个窗口尺寸中选择的至少一个窗口尺寸来构成所述受限变化范围。

13.如权利要求10所述的面部检测方法，其中，所述正常变化范围中的所述参数是逐步移动窗口所使用的多个窗口位移；

在所述面部检测中，为所述模板匹配在所述第一帧中使用所述多个窗口位移中的每一个来移动所述窗口；

由从所述多个窗口位移中选择的至少一个窗口位移来构成所述受限变化范围。

Images