[go: up one dir, main page]

CN101464955A - 模式识别单元生成方法及信息处理装置 - Google Patents

模式识别单元生成方法及信息处理装置 Download PDF

Info

Publication number
CN101464955A
CN101464955A CNA2008101858635A CN200810185863A CN101464955A CN 101464955 A CN101464955 A CN 101464955A CN A2008101858635 A CNA2008101858635 A CN A2008101858635A CN 200810185863 A CN200810185863 A CN 200810185863A CN 101464955 A CN101464955 A CN 101464955A
Authority
CN
China
Prior art keywords
branch
arbiter
weak
data
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101858635A
Other languages
English (en)
Other versions
CN101464955B (zh
Inventor
伊藤嘉则
加藤政美
山本贵久
森克彦
野村修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101464955A publication Critical patent/CN101464955A/zh
Application granted granted Critical
Publication of CN101464955B publication Critical patent/CN101464955B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及模式识别单元生成方法及信息处理装置。所述模式识别单元生成方法生成模式识别单元，在所述模式识别单元中，通过将多个弱判别器级联连接而获得的弱判别器阵列分支，并且分支之后的各个枝连接有所述弱判别器阵列，所述模式识别单元生成方法基于通过向所述弱判别器阵列输入一组评价用的数据而获得的处理结果，来评价分支之后的弱判别器阵列是否达到要连接的段数。基于该评价结果，确定作为所述弱判别器阵列的要不分支地连接的所述弱判别器的段数。

Description

模式识别单元生成方法及信息处理装置
技术领域
本发明涉及一种模式识别单元生成方法及信息处理装置。
背景技术
近年来，在模式辨识领域中，以下这种方法受到关注：通过将弱判别器级联连接来构造识别单元，并且高速地执行用于检测诸如图像中的人脸等的特定物体的处理。
例如，在由Viola和Jones在P.Viola and M.Jones，“Rapid ObjectDetection using a Boosted Cascade of Simple Features”，Proc.IEEE Conf.onComputer Vision and Pattern Recognition，Vol.1，pp.511-518，December2001(下文称为“非专利文献1”)中所公开的方法中，将用于提取矩形特征的预定数量的弱判别器级联连接，以构造称为“级”的强判别器。该弱判别器是利用增强(boosting)学习算法(在日本特开平8-329031号公报等中所公开的)来生成的。此外，已经提出了一种具有通过将多个这种级级联连接而获得的结构的模式识别单元。通过在对各强判别器进行中止确定(对图像中某一检测对象位置的处理结束)的同时推进处理，由于中止了对早期被确定为不是检测对象的输入的后续计算，因此总体上能够执行高速处理。以下将详细地描述该模式识别方法。
非专利文献1的模式识别单元使具有特定尺寸的矩形区(处理窗801)在要被处理的图像800内移动，并且检查各移动目的地处的处理窗801是否包含人脸，如图8所示。
图9是示出非专利文献1中的在各移动目的地位置处的处理窗801中所执行的人脸检测处理的序列的图。使用多级来执行某一处理窗中的人脸检测处理。向各个级分配不同的组合的弱判别器，并且通过级联连接来处理不同的组合的弱判别器，以使其用作强判别器。各弱判别器检测所谓的“Haar相似”特征，并且由矩形滤波器的组合构成。如图9所示，分配给各个级的弱判别器的数量是不同的。各个级也具有级联连接的结构，并且按它们的连接顺序来执行确定处理。即，例如在图9中，第二级在第一级之后执行确定处理，然后第三级执行确定。
各级依次地使用所分配的模式的弱判别器来检查处理窗是否包含人脸。如果在某一级中确定该处理窗不包含任何人脸，则后续级不对该位置处的处理窗执行确定处理。即，级联处理中止。如果在最终级中确定包含人脸，则确定该位置处的处理窗包含人脸。
以下将参照图10的流程图来详细地描述人脸检测处理的序列。
在人脸检测处理中，在人脸检测对象图像800上分配要被处理的处理窗801(步骤S1001)。基本上，通过从人脸检测对象图像800的末端沿垂直方向和水平方向按预定间隔依次地进行扫描来全面地移动并选择该处理窗，如图8所示。例如，通过对人脸检测对象图像800进行光栅扫描来选择处理窗。
对所选择的处理窗执行关于该处理窗是否包含人脸的确定处理。使用多个级来执行该确定处理，如以上使用图9所描述的。因此，从第一级开始依次地选择执行确定处理的级(步骤S1002)。
所选择的级执行确定处理(步骤S1003)。在该级的确定处理中，如果累积得分(稍后描述)不超过预先针对各级而确定的阈值(步骤S1004中的“否”)，则确定该处理窗不包含任何人脸(步骤S1008)，并且执行步骤S1007以及后续步骤中的处理。稍后将描述步骤S1007以及后续步骤中的处理。
另一方面，如果累积得分超过预先针对各级而确定的阈值(步骤S1004中的“是”)，则确定是否由最终级来执行该确定处理(步骤S1003中的处理)。如果不由最终级来执行该确定处理(步骤S1005中的“否”)，则处理返回到步骤S1002以选择下一级，并且由新选择的级来执行该确定处理。另一方面，如果由最终级来执行该确定处理(步骤S1005中的“是”)，则最终地确定当前的处理窗包含人脸(步骤S1006)。此时，确定该处理窗包含人脸。
然后，确定已经受确定处理的处理窗是否是人脸检测对象图像中的最后一个处理窗。如果该处理窗不是最后一个处理窗(步骤S1007中的“否”)，则处理返回到步骤S1001以选择下一处理窗，并且执行步骤S1002及后续步骤中的处理。另一方面，如果该处理窗是最后一个处理窗，则对作为人脸检测对象的该输入图像的人脸检测处理结束。
以下将描述各级中的确定的处理内容。
将一个或更多个模式的弱判别器分配给各级。该分配在学习处理中由诸如AdaBoost等的集成学习算法来执行。各级基于分配给自身的模式的弱判别器来确定处理窗是否包含人脸。
在各级中，基于分配给该级的模式的弱判别器来计算处理窗中的多个矩形区中的特征量。在这种情况下，所使用的特征量是使用各矩形区中的像素值的总和值(矩形区中的总和值)(例如，矩形区中的像素值的合计值、平均值等)而计算出的值。能够使用累积图像信息(称为总和面积表(SAT)或积分图像)来对输入图像高速地计算矩形区中的总和值。
图11A及图11B是用于说明SAT的示例的图。图11A示出了原输入图像1101，以左上角为原点(0，0)。假设I(x，y)为输入图像1101的坐标位置(x，y)处的像素值，将SAT的相同位置(x，y)处的成分C(x，y)定义为：
C ( x , y ) = Σ x ′ ≤ x y ′ ≤ y I ( x ′ , y ′ ) . . . ( 1 )
如图11B所示，输入图像1101上的以原点位置(0，0)及位置(x，y)为对角位置而限定的矩形中的像素的总和值是位置(x，y)处的值C(x，y)。例如参照图12中所示的四个点，能够使用下式来计算输入图像1101上的任意矩形区中的像素值I(x，y)的和：
C(x0，y0；x1，y1)＝C(x0-1，y0-1)-C(x0-1，y1)-C(x1，y0-1)+C(x1，y1)    ...(2)
作为计算出的特征量的相对值(例如，比率或差值；假定在这种情况下计算特征量的差值)，计算差值，并且基于该差值来确定处理窗是否包含人脸。更具体来说，确定计算出的差值比在确定中所使用的模式的弱判别器中所设定的阈值大还是小。根据该确定结果，确定处理窗是否包含人脸。
然而，此时的确定是基于各模式的单独的弱判别器而进行的，并不是对级的确定。以这种方式，在各级中，基于所分配的所有的模式的弱判别器来单独地执行确定处理，并且获得各个确定结果。
接下来，计算该级中的累积得分。向各个模式的弱判别器分配单独的可靠性权重(得分)。可靠性权重是表示“确定的概率”的固定值，即，单独的可靠性。如果确定处理窗包含人脸，则参照分配给此时所使用的模式的弱判别器的得分，并将该得分加到该级的累积得分中。以这种方式，单独地加起来的得分的总和被计算为该级的累积得分。即，该累积得分是表示作为整体的该级中的确定的概率的值(级整体可靠度)。如果级整体可靠性超过预定阈值(级整体可靠性阈值)，则在该级中确定处理窗有可能包含人脸，并且处理继续前进到下一级。另一方面，如果该级中的级整体可靠性不超过阈值，则确定处理窗不包含任何人脸，并且中止后续的级联处理。
在非专利文献1中，以该序列来实现由人脸检测所代表的高速模式识别。注意，图9及图10中的检测器在预先经过适当的学习的情况下，能够用作针对除人脸以外的其他模式的模式识别单元。
日本特开第2004-185611号公报及日本特开第2005-044330号公报已经公开了与基于非专利文献1的构思的模式识别方法及装置相关联的发明。具有其中这些弱判别器级联连接成一线的结构的模式识别单元，当从图像中特别地将相似(look-alike)模式(检测对象模式)与其他模式(非检测对象模式)分开时，发挥快速且充分的识别性能。
然而，当检测对象模式例如是人脸图像时，如果模式尽管保持朝向前方但是向左或向右倾斜大约几十度(下文中称为面内旋转)，则其不是关于原直立的正脸的“相似”模式。此外，如果模式沿轴向旋转(下文中称为深度旋转或横向深度旋转)到接近侧脸，则其变成十分不同的二维图像模式。根本不可能利用成一线的级联连接来识别具有如此大的变化的模式，导致处理时间的增加以及检测精度的劣化。由于弱判别器的级联连接结构的目的在于逐渐地排除与要识别的检测对象模式不相似的非检测对象模式，因此以使用要识别的相似的模式为前提。
在仅有面内旋转的情况下，在将输入图像在逐渐地连续旋转之后输入给检测出接近于直立的图像的正脸的识别单元时，能够识别360°的各角度的人脸。然而，利用该方法，处理时间随旋转的次数而增加，并且如果应用该方法，则不能处理深度旋转。
因此，Z.Zhang，L.Zhu，S.Z.Li，and H.Zhang，“Real-Time Multi-ViewFace Detection”，Proceedings of the Fifth IEEE International Conference onAutomatic Face and Gesture Recognition(FGR′02)(下文中称为“非专利文献2”)提出了一种具有基于Coarse to Fine战略的分层金字塔结构的识别单元。利用该识别单元，在第一层级中，输入包含要检测的所有的人脸视向变化的学习图像模式，以学习一个级。在第二层级中，针对各个预定范围而划分人脸视向变化，并且使用仅包含所划分的范围内的变化的学习图像模式来学习多个级。在下一层级中，进一步将变化划分成更窄的范围，并且学习多个级(其数量进一步增加)。以这种方式，随着层级的进展，坚固性(robustness)逐渐降低的强判别器(级)的数量逐渐增加，由此构成金字塔状的结构。注意，此文献中的识别单元仅通过划分横向深度旋转的人脸视向变化来支持旋转。在第二层级中，将±90°的全深度旋转范围划分成三个范围，而在第三层级中，将其划分成九个范围，但是不对面内旋转范围进行划分。
在该识别单元的检测处理中，如果输入子窗已通过第一层级的级，则其依次地执行第二层级的各个级。如果该子窗已通过这些级中的任一个，则其前进到下一层级的级。以这种方式，由于识别单元以粗检测开始并接着进入精度水平逐渐提高的检测，因此构造出能够高精度地检测所有变化的人脸模式的识别单元。
日本特开第2005-284487号公报还公开了一种基于相同的构思的方法：构造出具有从坚固性大的检测器逐渐地分支成坚固性较低的检测器的树结构的识别单元。在该识别单元中，学习树的各枝的一个节点(级)，以覆盖通过对要由父节点所覆盖的变化范围进行划分而获得的部分变化范围。日本特开第2005-284487号公报中所公开的实施例所支持的人脸视向变化不仅包括横向深度旋转的变化，还包括人脸从正脸向上或向下转的纵向深度旋转的变化。人们凭经验确定各个节点的弱判别器段的数量以执行学习。
在检测处理中，在执行包括所有的横向及纵向深度旋转变化的第一节点的检测处理之后，处理分支成三个变化，即，正脸、沿右方向的深度旋转脸以及沿左方向的深度旋转脸。在下一层级中，处理进一步分支成三个不同的纵向深度旋转变化范围。在下一层级中，仅正脸的纵向旋转中央变化进一步分支成三个范围。在预先确定这种分支结构之后，输入许多与各个变化相对应的样本数据，以使各个分支学习。与非专利文献2不同的是，由于不需要执行对在较高层级节点处中止的变化中所包含的较低层级节点的计算，因此能够实现高速处理。注意，日本特开第2005-284487号公报中的弱判别器使用像素差来代替矩形差。然而，通过将弱判别器级联连接来构造强判别器的构思保持相同。
C.Huang，H.Ai，Y.Li，and S.Lao，“Vector Boosting for RotationInvariant Multi-View Face Detection”，Tenth IEEE International Conference onComputer Vision(ICCV2005)，Volume1，17-21 Oct.2005，pp 446-453(下文中称为“非专利文献3”)提出了具有与日本特开第2005-284487号公报相似的树结构的识别单元的另一种学习方法。该文献中所描述的识别单元所支持的变化包括面内旋转变化及横向深度旋转变化。该文献定义了这样一种结构，在该结构中：在两个层级中，横向深度旋转变化从第一层级的节点而被分支成五个范围，其后，在第四层级中，旋转变化被分支成三个范围。根据该结构进行学习与上述文献相同。而且，凭经验确定各个节点的弱判别器段的数量，以与上述文献中相同的方式来执行学习。
然而，与上述文献中不同的是，在到达最终分支之前学习的各节点的判别器的输出不是标量值，而是具有与该节点的下一层级的分支的数量相等的数量的元素的矢量值。即，在分支之前的各节点检测器不仅具有中止非人脸图像的功能，而且具有进行对下一层级的分支选择的功能。当检测时，由于仅起动各节点的与输出矢量值接近于1的元素相对应的分支，因此无需进行不必要的计算，由此保证了高速处理。
在诸如非专利文献2、非专利文献3以及日本特开第2005-284487号公报的现有技术中，在学习之前确定基于Coarse to Fine战略或树结构的变化范围的划分方法(即，分支结构)。所划分的各个节点(级)的弱判别器段的数量是由进行机器学习处理的人员凭经验(或直觉)确定的段的预定数量。例如，日本特开第2005-284487号公报确定各分支的枝节点的弱判别器的数量是100。而且，非专利文献2通过T次的反复处理来逐一地(即，T段)生成矢量输出弱判别器。
弱判别器段的数量(例如，是凭经验确定的)不一定是最佳的。在具有分支结构(或金字塔结构)的模式识别单元中，在后段中的节点中，要识别的模式具有较小的坚固性。因此，越往后段，将对象模式与诸如背景等的其他模式分开所需的处理段数(即，速度)及精度越高。考虑到在现有技术中凭经验确定的处理段数足以确定是否开始后一段的节点的处理，但其不是处理段的最小必需数量。由于越往后段坚固性越低，因此期望提高尽可能早地到达最终分支之后的节点时的处理速度。然而，在上述现有技术中，未提出用于判别各分支节点中的处理段的最小必需数量的方法。
发明内容
为了解决上述问题而做出本发明，本发明的目的在于提供一种能够判别在学习具有分支结构的模式识别单元时的各分支中的处理段的最小必需数量的技术。
根据本发明的一方面，提供了一种模式识别单元生成方法，该方法生成模式识别单元，在所述模式识别单元中，通过将多个弱判别器级联连接而获得的弱判别器阵列分支，并且分支之后的各枝连接有弱判别器阵列，所述模式识别单元生成方法包括以下步骤：
评价步骤，该步骤基于通过向所述弱判别器阵列输入一组评价用的数据而获得的处理结果，来评价分支之后的弱判别器阵列是否达到要连接的段数；
确定步骤，该步骤基于所述评价步骤中的评价结果，确定作为分支之后的所述弱判别器阵列的要不分支地连接的所述弱判别器的段数。
根据本发明的另一方面，提供了一种信息处理装置，该信息处理装置执行生成模式识别单元的模式识别单元生成方法，在所述模式识别单元中，使通过将多个弱判别器级联连接而获得的弱判别器阵列分支，并且分支之后的各枝连接有弱判别器阵列，所述信息处理装置包括：
评价单元，其适合于，基于通过向所述弱判别器阵列输入一组评价用的数据而获得的处理结果，来评价分支之后的一弱判别器阵列是否达到要连接的段数；
确定单元，其适合于，基于所述评价单元的评价结果，确定作为分支之后的所述弱判别器阵列的、要不分支地连接的所述弱判别器的段数。
根据本发明，能够通过判别各分支中的处理段的最小必需数量来学习具有分支结构的模式识别单元。
参照附图，根据对示例性实施例的以下描述，本发明的其他特征将变得清楚。
附图说明
图1是用于说明根据本发明优选实施例的模式识别单元生成方法中的学习处理的流程图；
图2是示出根据本发明优选实施例的执行模式识别单元生成方法的装置的结构的示例的框图；
图3A及图3B是用于说明根据本发明优选实施例的利用模式识别单元生成方法而生成的分支结构模式识别单元的节点的连接结构的图；
图4是用于说明根据本发明优选实施例的模式识别单元的弱判别器节点的详细结构的框图；
图5是用于说明根据本发明优选实施例的由分支结构模式识别单元所支持的检测对象数据的变化类别的示例的图；
图6是用于说明根据本发明优选实施例的基本学习处理的细节的流程图；
图7是用于说明根据本发明优选实施例的识别单元节点中的处理的示例的流程图；
图8是用于说明根据本发明优选实施例的作为模式辨识处理的示例的人脸检测处理的图；
图9是示出由多个弱判别器构成的传统的模式识别单元的结构的示例的图；
图10是由多个弱判别器构成的传统的模式识别单元中的检测处理的流程图；
图11A及图11B是用于说明SAT的示例的图；
图12是用于说明基于SAT的矩形区中的总和值的计算方法的图；
图13是用于说明滤波器阈值的确定方法的图；
图14是用于说明中止阈值的确定方法的图；
图15A及图15B是示出根据本发明优选实施例的利用模式识别单元的分支选择处理的检测处理的序列的流程图；
图16是用于说明根据第一实施例的分支选择处理的细节的流程图；
图17A及图17B是示出根据本发明优选实施例的模式识别单元的参数存储器的存储映像的示例的图；
图18是用于说明根据第一实施例的基于累积得分评价的非分支接续段的数量的确定处理的细节的流程图；
图19A及图19B是示出根据第一实施例的弱判别器的各个段的累积得分的改变状态的示例的曲线图；
图20是用于说明根据第二实施例的基于选择错误比率评价的非分支接续段的数量的确定处理的细节的流程图；
图21是示出根据第二实施例的弱判别器的各个段的选择错误比率的改变状态的示例的曲线图；
图22是示出根据第三实施例的分支选择判别器的示例的图；
图23是用于说明根据第三实施例的分支选择处理的细节的流程图；以及
图24是示出弱判别器的各个段的非人脸数据的中止比率的改变状态的示例的曲线图。
具体实施方式
在下文中将参照附图来对本发明的优选实施例进行详细的示例性的说明。然而，这些实施例中所描述的组件仅为示例，本发明的技术范围由权利要求书的范围来确定，而并不限于以下个别的实施例。
(第一实施例)
(对框图的说明)
图2是示出根据本发明实施例的信息处理装置的结构的框图。图像输入单元201具有将要经受模式识别处理的输入图像数据以及学习用的样本图像数据取到装置中的功能。图像输入单元201包括例如由光学系统、诸如CCD传感器等的光电转换设备、驱动器电路、AD转换器、执行各种图像处理的信号处理电路、帧缓冲器等构成的图像传感设备。或者，图像输入单元201包括与通信接口(I/F)206(稍后描述)共用硬件并且经由诸如连接到I/F的网络等的预定通信路径而从外部装置接收图像数据的I/F设备。
预处理单元202执行有效的实现检测处理所需的各种预处理。更具体来说，预处理单元202使用硬件来处理诸如色彩转换处理、对比度校正处理、生成SAT(总和面积表)数据等的各种图像数据转换。判别处理单元203具有参照来自预处理单元202的输出来识别存在/不存在预定物体模式的功能。判别处理单元203基于通过学习而生成的参数来执行增强判别处理。注意，还能够将预处理单元202及判别处理单元203的功能(或一些功能)实现为由CPU 208(稍后描述)所执行的软件程序的处理。
DMAC(直接存储器存取控制器)204控制CPU总线205上的各个处理单元与RAM 210及ROM 209之间的数据传送等。
通信I/F 206能够接收从外部装置到本装置的预定操作的指令，并且能够将学习所需的数据组从外部装置传送到大容量存储单元211(稍后描述)。
用户接口(User I/F)207包括：操作者用来指定对装置的操作的、诸如按钮开关及键盘的输入设备及输出设备，以及用于向操作者呈示信息的显示板等。
CPU(中央处理单元)208执行根据本发明的处理，对经由CPU总线205而连接的作为整体的本装置的各个单元的操作进行控制。ROM 209存储指定CPU 208的操作的指令。RAM 210用作CPU 208的操作所需的工作存储器。RAM 210包括诸如DRAM(动态RAM)等的具有相对大的容量的存储器。大容量存储单元211是诸如硬盘、闪存等的大容量数据存储设备。例如，学习所需的大量数据组(例如，样本图像等)存储在大容量存储单元211中。
信息处理装置采用其中所有的组件都连接到CPU总线205的结构，如图2所示。除该结构以外，例如，图像输入单元201、预处理单元202、判别处理单元203及DMAC 204可以连接到另一总线(图像总线)，并且该图像总线与CPU总线可以经由桥而连接。通过分开这些总线，硬件处理单元(图像输入单元201、预处理单元202及判别处理单元203)与CPU 208能够进行并行操作。
(变化类别)
本实施例的信息处理装置使用基于图5中所示的3个变化类别而被分类的人脸图像作为检测对象模式，来学习分支结构的模式识别。
变化类别501包括面内旋转变化。检测对象的变化范围包括从直立的状态(图5中的中央人脸图像)分别地顺时针(+)/逆时针旋转直到45°的人脸图像。在本实施例中，假定将该±45°范围划分成3个范围：由a来标记从-45°至-15°的范围、由b来标记从-15°至+15°的范围、由c来标记从+15°至+45°的范围。
变化类别502包括沿右方及左方的深度旋转变化。在本实施例中，对象的变化范围包括从正脸至右视侧脸以及从正脸至左视侧脸的变化，并且被划分成3个范围。由A来标记从右视侧脸至紧接几乎出现两眼之前的脸的范围(-90°至-30°)，由B来标记包括出现两眼时的正脸的脸的范围(-30°至+30°)，由C来标记从紧接几乎出现两眼之前的脸至左视侧脸的范围(+30°至+90°)。
变化类别503包括尺寸变化。在本实施例中，人脸尺寸由在0°面内旋转的情况下的两眼与口之间的高度差的像素数来指定。最小人脸尺寸为16，最大人脸尺寸为22。将该范围划分成2个范围，由1来标记较小的人脸尺寸的范围，由2来标记较大的人脸尺寸的范围。注意，通过放大或缩小输入图像的通道处理来检测落在该范围之外的人脸。
本实施例采用基于这三种变化类别的变化的混合的人脸图像作为检测对象。可以向这些变化添加沿上方向及下方向的深度旋转变化，并且可以进一步增加各变化类别的划分数量以提高检测精度。然而，为了简单起见，在此不对其进行描述。
在各变化类别中，可以确保相邻的分类的交叠区，并且可能存在属于这两个分类的模式。例如，对于变化类别501，可以由a来标记从-45°至-12.5°的范围，可以由b来标记包括直立的图像的从-17.5°至+17.5°的范围，可以由c来标记从+12.5°至+45°的范围。在这种情况下，例如，属于一个交叠区的+15°旋转数据不仅被分类为b而且被分类为c。
在识别单元(稍后描述)中，分支目的地中的一个与上述变化类别中的任一个相对应，并且一个分支的各枝的弱判别器阵列覆盖通过划分相对应的变化类别的变化范围而获得一个分类作为要检测的覆盖范围。即，各分支的枝的数量与相对应的变化类别的变化范围的划分数量相匹配。
在学习时确保分类中的交叠区是要确保一个分支的两枝中的任一枝都能够检测的变化范围。以这种方式，能够确保检测出与相邻的分类之间的边界相对应的模式，并且能够期望进一步提高检测精度的效果。
(分支结构)
本实施例的模式识别单元具有分支结构，并且在各个分支的各个枝上布置分别通过将多个弱判别器节点级联连接而获得的弱判别器阵列。使用判别处理单元203来执行这些弱判别器阵列的处理。
图3A示出了具有分支结构的模式识别单元的示例。由圆301、302等所表示的节点(弱判别器节点)中的每一个都包括一个弱判别器。与非专利文献1中不同的是，在本实施例的识别单元中，各节点不采用具有大量的弱判别器的级结构，而仅包括一个弱判别器。即，各单独的弱判别器进行中止确定。然而，各节点可以采用具有大量的弱判别器的级结构，而不影响本发明的要旨。
图3A示出了分支型模式识别单元的示例。弱判别器的级联连接从第一段中的弱判别器301开始有预定数量的段不分支。该级联连接在弱判别器302处分支成从弱判别器303及弱判别器304开始的两个级联连接序列。在分支的枝中，弱判别器接续预定数量的段，并且各分支在弱判别器305处扩展为三个分支。在这些分支的总共六个枝中的每一枝中，弱判别器都接续预定数量的段，然后到达最终段中的弱判别器306。弱判别器301至306中的每一个进行中止确定，并且当在给定的弱判别器处处理被中止时，不执行后续的弱判别器的处理。将到达最终段的弱判别器306的输出输入到最终确定单元307，并经受综合(integration)处理。然后，综合后的输出经受接受确定，并且如果输出被接受，则确定检测到对象物体模式。
图3B示出了本实施例的分支型模式识别单元的结构。本实施例采用基于参照图5而描述的三种变化类别的分支结构。通过预备学习来预先地确定分支顺序。在本实施例的情况下，按照变化类别501的面内旋转变化、变化类别503的尺寸变化、变化类别502的深度旋转变化的顺序来进行分支。即，在图3B中所示的分支结构中，第一分支包括三个分支(a、b、c)，第二分支包括两个分支(1、2)，第三分支包括三个分支(A、B、C)。稍后将描述对相邻的分支之间的弱判别器阵列的长度的确定的细节。
在这种树结构识别单元中，可利用分支处理执行方法的一些变型。
第一种方法为执行所有的分支的全起动方法。在这种情况下，将途中不被中止地到达最终段中的弱判别器306的分支的所有的输出输入到最终确定单元307。最终确定单元307根据各个分支的输出坐标以及判别的可靠性来执行预定综合处理，然后执行用于确定是否接受综合后的输出的阈值处理。该方法的优点在于精度高，并且能够与检测同时地相对精确地进行基于变化类别的分类。缺点在于需要长的处理时间。
第二种方法为全搜索起动方法。在这种情况下，例如，从上分支(在图3A中的弱判别器303及弱判别器304的情况下为弱判别器303侧)开始依次地执行检测处理，直到该检测处理被中止为止。当检测处理被中止时，处理返回到紧邻的前一分支(例如，弱判别器302)，然后执行在被中止的节点之下的紧邻的节点(兄弟节点，弱判别器304)。如果有到达最终段的分支，则进行最终确定。如果输出被接受，则处理完成。如果处理不被接受，则处理返回到紧接的前一分支，以继续检测处理。该方法的优点在于易于实现并且能够在一定程度上加快检测处理。缺点在于，由于该方法取决于分支执行顺序，因此不能获得精确的分类。
第三种方法为分支选择性起动方法。基于途中的节点的处理结果来选择要起动哪个分支。优点在于高速处理，并期望获得比第二种方法更高速的处理。并且，尽管精度取决于选择方法，但是能够实现相对精确的分类。缺点在于需要稍微复杂的处理。例如，需要与非专利文献3中相似地生成分支可选的节点，并且需要实现另一分支选择方法。
本实施例采用能够期望最高处理速度的第三种方法。作为分支选择方法，与非专利文献3中在分支之前选择的方法不同的是，采用了如下方法：临时地起动分支的所有的枝，并基于各个枝的处理结果来选择要留下的分支(分支后选择方法)。稍后描述本实施例的分支选择方法的细节。
(基本检测处理)
以下将参照图4及图7来描述本实施例的模式识别单元中的基本检测处理。图4是示出弱判别器节点的内部结构的框图，图7是用于说明在各弱判别器节点中执行的节点内判别处理的序列的流程图。
参照图4，节点401及节点402中的每一个表示一个弱判别器及其外围电路(合称为节点或弱判别器节点)。图4示出了这两个节点之间的逻辑连接状态。作为整个模式识别单元，连接有要级联或中途分支的更多个节点，如图3A及图3B所示。这些节点物理上由在通过切换参数来进行分时的同时使用的一个处理电路构成，由此逻辑上实现大量节点。出于高速处理的目的，可以将多个节点实现为物理上独立的电路，并且可以将处理并行地分配给这些电路。
参数寄存器411及参数寄存器412中的每一个存储构造一个弱判别器所需的参数信息。判别处理单元203中的参数存储器451将要存储在这些寄存器中的针对所有的弱判别器节点的参数信息一起存储起来。参数存储器451是可从判别处理单元203的外部的CPU 208及DMAC 204存取的，并且在执行检测处理之前利用参数信息来设定。
由于本实施例的弱判别器使用如非专利文献1中的矩形特征，因此需要矩形的数量、矩形坐标、滤波器系数、滤波器阈值、可靠性权重(＝得分)及识别阈值作为检测时的参数。图17A及图17B例示了存储在参数存储器451上的各个弱判别器节点的参数。除了这些参数以外，参数存储器451能够针对各弱辨别器节点而保持自身ID、作为前一段的弱判别器节点的ID的前一段ID、以及作为后续段的多个弱判别器节点的ID的多个后续段ID。
注意，自身ID、前一段ID及后续段ID形成一种能够表达节点的连接结构(＝分支结构)的双向列表。由于图17A及图17B中的第一块(弱判别器节点1)表示图3B中的识别单元中的第一节点，因此不存储前一段ID，而仅存储一个后续段ID。在本实施例中，后续ID域具有固定的尺寸(即，上限值)。即，每个节点的参数块的尺寸是固定的。在紧接分支之前的节点中，存储了与分支的数量一样多的后续段ID。在执行时，通过追踪该双向列表区，能够指定弱判别器的执行顺序。根据给定的作用(role)(稍后描述)来分配节点ID，开始节点具有最小的ID值。由于参数存储器按ID的升序依次地从参数块存储参数，因此第一块总是表示开始节点，并且能够通过地址解码器来容易地实现用于读出与期望ID相对应的参数的处理。
在上述参数中，“矩形的数量”是指定检测窗中的矩形的数量的信息。例如，在如同图9中所示的第一级和第二级中的弱判别器的滤波器的情况下，矩形的数量为2。在图9中的第n级中的第m弱判别器的情况下，矩形的数量为3。在图9中，白色矩形及黑色矩形中的每一个对应于一个矩形。弱判别器421使用“滤波器阈值”来执行对通过将矩形中的总和值(或平均值)乘以对各个矩形设定的“滤波器系数”而获得的值的合计的阈值处理。如果满足阈值条件(不等式(3))，则弱判别器421输出“1”；否则，其输出“-1”。
Σ i p S i C i > W Th _ t . . . ( 3 )
其中，p：矩形区的数量，
      Si：矩形区中的像素值总和，
Ci：矩形区的滤波器系数，且
WTh_t：节点t的弱判别器的滤波器阈值。
矩形区的形状、位置及数量，滤波器系数Ci以及滤波器阈值WTh_t是在学习时确定的参数。在本实施例的弱判别器中，Ci取值“1”或“-1”。即，不等式(3)的左边与用于计算多个矩形区中的像素总和值Si的差值的处理相对应。比预定滤波器阈值WTh_t大的该差值与表示仅在本弱判别器的情况下输入数据是识别对象模式的确定结果相对应。
如前所述，能够参照SAT数据来很快地计算出矩形区中的总和值Si。SAT存储器450存储由预处理单元202在检测处理开始之前计算出的、对于一帧的输入图像数据的SAT数据。SAT存储器450可以可靠地设置在RAM 210中，但是期望将其布置为判别处理单元203中的内部RAM，以获得高速处理。弱判别器421参照来自SAT存储器450的检测窗位置处的值来计算Si，并检查不等式(3)是否得到满足。
“矩形坐标”是表示各矩形区的位置的坐标信息。“滤波器系数”是正系数或负系数。“可靠性权重(得分)”是表示对象节点的单独的弱判别器的可靠性的值。使用在第t节点之前已被处理的各个节点的单独的得分的带符号的总和值(下文中称为累积得分)来执行增强判别。即，累积得分是表示通过将第1节点至第t节点级联连接的整个识别单元的判别的概率的值，即，整个识别单元的可靠性。“识别阈值”是用于由增强判别器使用该累积得分值来进行确定的阈值。
假设hk(x)(x：输入数据)为级联连接中的第k节点的弱判别器(等同于弱判别器421)的判别结果，αk为可靠性，Tgh_t为第t段的节点的识别阈值。然后，第t段的中止确定单元(等同于中止确定单元461)的中止确定由下式描述：
Σ k = 1 t α k h k ( x ) > T gh _ t . . . ( 4 )
注意，当各弱判别器单独地确定检测对象物体时(＝当不等式(3)的滤波器阈值条件得到满足时)，hk(x)的值为1，当各弱判别器确定非检测对象物体时(＝当不满足滤波器阈值条件时)，hk(x)的值为-1。
如果不满足不等式(4)，则中止处理；否则，处理继续以将累积得分(整体可靠性)输出至下一节点。如果该判别条件在最终节点中得到满足，则确定检测到检测对象模式。注意，可靠性αt及识别阈值Tgh_t是在第t段的节点学习时确定的参数。
从与节点相对应的参数寄存器(等同于参数寄存器411或412)中读出可靠性αk，并由乘法器(等同于乘法器431)将其乘以弱判别器(等同于弱判别器421)的输出hk(x)。加法器(等同于加法器441)将乘积加到从前一段的节点输出的累积得分。中止确定单元(等同于中止确定单元461)使用从与弱判别器相对应的参数寄存器(等同于参数寄存器411)中读出的识别阈值Tgh_t来对到目前为止所获得的累积得分检查不等式(4)。
如果累积得分比识别阈值(不等式(4)的右边)大，则处理继续，并且将累积得分输出到下一段的节点。如果所关心的节点为分支节点，并且在下一段中有多个节点，则所关心的节点将同一累积得分值输出给下一段中的所有的节点(＝兄弟节点)。
图7是示出各弱判别器节点中的处理的序列的流程图。参照图7，步骤S701是计算不等式(3)的左边的特征量计算处理。步骤S702是使用滤波器阈值的确定处理(即，不等式(3)的确定处理)，如果要被处理的节点是第t段的节点，则该处理将与不等式(4)中的ht(x)相对应的值设定为“1”或“-1”。这是弱判别器421的输出。
步骤S703是要被处理的各单独的弱判别器节点的得分值计算处理，其计算与不等式(4)中的αtht(x)相对应的值。可靠性αt是从参数寄存器411或412读出的值，如上所述。
在步骤S704中，通过将得分值加到来自前一段的输出值来计算累积和值(累积得分值)。在对累积得分值的计算中，计算不等式(4)的左边。当前一段的节点的处理执行完成时，将前一段之前的累积得分值与前一段的节点的ID相关联地保持在内部存储器中。
由于前一段ID存储在执行中节点的参数寄存器中，因此能够使用前一段ID从存储器中读出前一段之前的累积得分值。因此，该步骤中的处理仅需将在步骤S703中计算出的值加到从存储器中读出的值。
在步骤S705中，执行与不等式(4)相对应的判别处理。该处理由中止确定单元461来执行。如果在步骤S705中确定要中止处理，则在步骤S707中做出中止设定(设定标记等)，以中止后续段的处理。如果确定不中止处理，则在步骤S706中将累积得分值与节点ID相关联地存储在内部存储器(未示出)中，从而可在后续段的节点处理中使用该值。在步骤S706中，可以保持除累积得分以外的其他处理结果值(例如，单独的得分值等)。已描述了由判别处理单元203所执行的弱判别器节点的处理。
当不被中止的所有的弱判别器节点完成时，将这些累积得分值输入给图3A中的最终确定单元307。对保持不被中止的累积得分值应用综合处理，并使用最终识别阈值来执行阈值处理。如果分支选择(稍后描述)中允许同时选择多个枝，则多个累积得分值的输出可能同时到达最终确定单元307。在这种情况下，综合处理例如可以将到达的所有的累积得分值相加、或可以使用它们的最大值或平均值。如果仅允许选择一个枝，则由于最终确定单元执行与由中止确定单元461所执行的阈值处理相同的单纯的阈值处理，因此最终段的弱判别器306的中止确定单元可以替代地执行该处理。
(节点ID)
向各弱判别器节点分配节点ID，如图3B所示。将该节点ID分成分支枝ID部分及唯一ID部分。唯一ID部分包括唯一地分配给各节点的号。向开始节点的唯一ID部分分配号0，并且该号随着处理段数的增加而逐一地递增。在分支之后，向到达下一分支之前的每个枝的节点分配连续的号。在到达下一分支之后，向下一枝的第一节点分配下一号。即，不存在唯一ID相同的节点，并且通过将唯一ID号乘以块尺寸，能够容易地计算出与参数存储器上的节点相对应的参数块的地址。
分支枝ID部分包括两个号，即，分支号及枝号。分支号在初始非分支状态中为0，并且每次处理分支时递增1。每次处理分支时，枝号从0开始，并向各个枝分配逐1增加的号。
根据上述规则，例如，假设n0为分支之前的处理段数，开始节点的ID为00_0，紧邻第一分支之前的节点的ID为00_<n0-1>。此外，假设n1为在第一分支之后并且紧邻第二分支之前的处理段数，第一分支的第一枝的第一节点的ID为10_<n0>。紧邻该枝的弱判别器阵列的第二分支之前的节点的ID为10_<n0+n1-1>，第二枝的第一节点的ID为10_<n0+n1>。
(利用分支选择的检测处理)
以下将参照图15A及图15B来对当输入各子窗的图像(等同于图8中的图像801)时要在执行分支选择的同时执行的检测处理的序列进行描述。响应于来自图2中的CPU 208的指令，使用包括判别处理单元203的各个单元来执行该处理。
在步骤S1501中，执行执行预定队列的初始设定处理。该处理按执行顺序将预定要被执行的节点的ID插入队列中。如上述ID，由于第一节点的ID被确定为00_0，因此首先将其插入。然后，通过追踪参数存储器的双向列表区的ID，按照根据节点的连接结构的处理的顺序而插入ID。在这种情况下，在假定要执行第一分支之后的在预定段数(m1)之前的节点的情况下，设定ID。即，在插入分支之前的ID：00_0至ID：00_<n0-1>之后，将第一分支的第一枝的从ID：10_<n0>至ID：10_<n0+m1-1>的ID插入。然后，在插入第二枝的从ID：11_<n0+n1>至ID：11_<n0+n1+m1-1>的ID、以及第三枝的从ID：12_<n0+2n1>至12_<n0+2n1+m1-1>的ID之后，中止处理。
预定段数m1是在学习(稍后描述)时被确定的、要接续的非分支接续段的最小必需数量，并且可能与从第一分支至第二分支的接续段的数量n1(m1≤n1)相匹配。如稍后将要描述的，本识别单元基于在第一分支的所有的枝的弱判别器阵列的m1段之前的处理结果来确定继续处理的枝。因此，不可避免地执行被插入执行预定队列中的在ID：12_<n0+2n1+m1-1>的之前的节点的处理，除非这些处理在枝的途中被中止。即，第一分支的第m1段的节点为第一分支的分支选择节点。并且，假定第m2段及第m3段的节点分别为第二分支及第三分支的分支选择节点。
在步骤S1502中，提取执行预定队列中所存储的一个第一ID。对于具有所提取的ID的节点，执行步骤S1503中的节点内确定处理。以上已使用图7来描述了节点内确定处理的细节。
在步骤S1504中检查节点内判别处理结果是否表示中止确定。如果该结果表示中止确定，并且如果执行中的节点是第一分支之前的弱判别器阵列中的一个节点，则不需要执行后续处理。如果执行中的节点是分支的一个枝的弱判别器阵列中的一个节点，则不需要执行该枝的后续段的判别器以及从该枝扩展的所有的枝的判别器。
步骤S1505是用于从执行预定队列中去除不需要执行的所有的节点的ID的处理。在该处理中，首先检查被确定中止的节点的分支枝ID部分。然后，从开头扫描执行预定队列，并且去除分支枝ID部分与该ID部分相匹配的所有的ID。保持最后被去除的ID，并且当去除具有相同的分支枝ID的所有的ID时，使用最后的ID从参数存储器中检查其后续段ID。然后，再次扫描执行预定队列，以去除分支枝ID部分与检查出的后续段ID的ID部分相匹配的所有的ID。通过重复该处理，能够从执行预定队列中去除在被确定中止的节点之后的所有的节点的ID。
在步骤S1506中检查执行预定队列中是否仍剩余其他节点ID。如果第一分支之前的节点被中止，则此时队列中未剩余ID。如果第一分支之后的枝中的任一个的节点被中止，则有可能剩余其他枝的ID。如果确定仍剩余其他节点ID，则处理返回到步骤S1502，以再次逐一地提取ID，由此执行判别处理。
如果执行预定队列中未剩余ID，则处理进入步骤S1507，以检查是否剩余除被中止的枝以外的其他接续中的枝。该检查处理是通过查看是否保持接续中的ID(稍后描述)而获得的。如果剩余接续中的枝，则处理进入步骤S1511(稍后描述)。如果未剩余接续中的枝，则中止所有的枝，并且确定所关心的子窗不包含任何人脸，由此结束处理。
如果在步骤S1504中确定结果不表示中止确定，则处理进入步骤S1508，以检查被执行的节点是否是存储在队列中的终端节点。如果对执行预定队列进行扫描并且该队列中未存储该枝的后续节点的ID，则确定被执行的节点是队列中的终端节点。在步骤S1509中，当前被执行的节点ID作为接续中的ID而保持在存储器的预定区中。如果被执行的节点不是终端节点，则跳过步骤S1509中的处理。
在步骤S1510中检查执行预定队列中是否仍剩余其他ID。如果仍剩余其他ID，则处理返回到步骤S1502，以重复这些处理，从而与步骤S1506中相同地执行这些ID的节点。
如果从执行预定队列中提取了所有的ID，则处理进入步骤S1511，以检查存在/不存在非执行节点。作为前一处理的结果，由于在步骤S1509中在存储器的预定区中保持接续中的节点ID，因此使用该ID来访问参数存储器451的双向列表区，以检查是否设定了后续段ID。如果确定设定了后续段ID，则确定存在非执行节点。
如果确定存在非执行节点，则处理进入步骤S1512，以执行分支选择处理。本实施例的分支选择处理使用要处理的分支的所有的枝的预定段位置处的弱判别器的处理结果。因此，在步骤S1512之前，必须完成所有的枝中的预定段数或更多的弱判别器的处理。在以上描述中，要被存储在执行预定队列中的ID是达到预定段数的ID。然而，并不特别地限制ID的数量，只要其等于或大于预定段数即可。
本实施例的分支选择处理很简单，如图16的流程图所示。在步骤S1601中，获取接续中的分支选择节点的累积得分值。如上所述，由于保持接续中的ID，并且前一ID表示执行预定队列中所存储的终端节点，因此该ID表示其处理在分支选择段(第m1、m2或m3段)中未被中止的节点。由于将累积得分值与ID相关联地保持，如图7中的步骤S706中所描述的，因此能够使用接续中的ID来获取累积得分值。
在步骤S1602中，选择累积得分值最大的节点的ID作为要接续的ID。即，所选择ID的分支枝ID部分表示所选择的分支的枝。注意，可以使用新的阈值，并且不仅可以剩余累积得分值最高的ID而且可以剩余阈值的范围内的多个ID。作为结果，尽管要处理的分支的枝的数量增加，但是以处理速度为代价提高了精度。
参照回图15B，在步骤S1513中重新设定执行预定队列。该处理使用作为步骤S1512中的分支选择处理的结果的剩余分支的接续中的节点ID，来参照参数存储器451的双向列表区。然后，将接续中的节点所属的分支枝的所有的剩余节点、以及下一分支的各个枝的达到预定段数的分支选择节点存储在执行预定队列中。如前所述，在第二分支中，预定段数在为直到第m2段，在第三分支中，预定段数为直到第m3段，并且在学习(稍后描述)时对该预定段数进行确定。在不存在后续分支时，将双向列表中的接续中的节点ID之后的终端之前的所有的节点的ID存储在执行预定队列中。
在步骤S1514中，清除所保持的接续中的ID，处理返回到步骤S1502，以重复各个节点的处理。
如果在步骤S1511中确定不存在非执行节点，则执行步骤S1515中的综合处理。该综合处理将作为接续中的节点而剩余的ID的输出值进行综合，并且计算平均值、合计值或最大值作为用于确定最终人脸概率的可靠性得分值。此外，也可以基于到达的分支枝来估计人脸变化。
在步骤S1516中，计算出的可靠性得分值经受最终阈值处理，以判别是否检测到人脸。该步骤与图3A中的最终确定单元307的处理相对应。
(基本学习处理)
以下将参照图6描述通过机器学习处理来生成根据本实施例的增强型模式识别单元的基本方法。图6是用于生成仅由成一线的非分支弱判别器阵列构成的模式识别单元的机器学习处理的流程图。当学习与分支的各个枝相对应的各个弱判别器阵列时，基本上使用同一算法。注意，用于各个枝的学习用的数据组的人脸数据与由各个枝所覆盖的变化范围的分类相对应。
当图2中的CPU 208执行学习处理程序时，实现以下要描述的机器学习处理。
在下述的学习处理之前，根据变化类别来对学习所需的数据组进行分类，并将其存储在大容量存储单元211中。这些数据组是被提取到以上使用图8所描述的处理窗尺寸的数据801中的人脸模式或非人脸模式。作为另一种选择，可以在每次执行处理时提取数据。然后，能够使用大量的具有被与要学习的弱判别器阵列相对应的变化类别的变化范围分类的变化的检测对象数据、以及大量的非检测对象数据(例如，背景等)。例如，当覆盖了图5中所描述的标记aB1的变化范围的第三分支之后的枝中的弱判别器阵列学习时，使用被分类成同一标记aB1并被保持在大容量存储单元211中的人脸图像数据中的全部或一些。对于非分支枝，使用包括所有的类别的变化的数据。当第一分支的枝学习时，使用包含变化类别502及变化类别503的所有的变化的数据。当第二分支的枝学习时，使用包含变化类别503的所有的变化的数据。
根据称为AdaBoost的集成学习算法来学习弱判别器。基本学习算法与非专利文献1中所描述的方法相同。
在步骤S601中，从保持在大容量存储单元211中的学习用的数据中选择当前的学习中所使用的数据。在这种情况下，提取作为检测对象模式的人脸数据以及作为非检测对象模式的非人脸数据，以使得所提取的数据的数量满足预定比率。
由于预备识别单元或主识别单元的分支包含作为要被覆盖的变化类别的组合的分类，因此选择属于这些分类的人脸数据作为检测对象模式。作为非检测对象模式，使用非人脸数据。此外，作为非检测对象模式，在学习时可以添加被分类为不被覆盖的变化类别的组合的人脸模式。作为结果，期望预备识别单元或分支执行选择性较高的检测处理。
在步骤S602中，对所提取的学习用的数据组的权重系数进行初始化。如果学习用的数据的总数是m，则所有的权重系数wt，j(t：节点号，j：学习用的数据号)由下式初始化：
w 1 , i = 1 m , i = 1 , . . . , m . . . ( 5 )
即，在第一节点学习时，对所有的学习用的数据赋予共同的权重。在步骤S603中，执行根据下式来对权重系数进行正规化的处理：
w t , i &LeftArrow; w t , i &Sigma; j = 1 m w t , j . . . ( 6 )
当第一次执行步骤S603时，权重系数wl，j取在步骤S602中所设定的值(式(5))，并且已满足式(6)。因此，该步骤S603是用于当在第二节点及后续节点学习时改变权重系数wt，j时，将权重系数wt，j的总和正规化为1的处理。
在步骤S603至S610中，学习一个弱判别器。
在步骤S604中，从矩形滤波器组中选择一个矩形滤波器。矩形滤波器组包括具有相对于具有预定形状的基本矩形滤波器的、根据尺寸及在检测窗中的位置的变型的多个矩形滤波器候选。例如，在图9中的第一弱判别器中所例示的邻接的上矩形区及下矩形区的差分滤波器的情况下，根据各矩形区的尺寸及纵横比以及在检测窗中的位置，多个变型是可用的。作为矩形滤波器组，参照一些预定的基本矩形滤波器以及它们的变型来准备所有的组合。向准备好的矩形滤波器分配序号作为滤波器号。该步骤执行用于依次逐一地选择这些准备好的矩形滤波器候选的处理。
然后，使用在步骤S605中所选择的矩形滤波器候选，评价该矩形滤波器对于所有的学习用的数据的判别性能。最初，针对所有的学习用的数据，计算该矩形滤波器的输出值，并确定用于将检测对象与非检测对象分开的阈值。此时，使用判别处理单元203，通过硬件来处理滤波器输出值计算。使用矩形滤波器输出值的直方图来确定阈值。
图13示出了针对所有的学习用的数据的检测对象数据的直方图1302及非检测对象数据的直方图1301。横坐标绘制滤波器输出值(矩形差值)，纵坐标绘制用于产生该值的学习用的数据的数量。使用这些直方图来确定将检测对象与非检测对象分开得最佳的阈值FTh_t，j(其使错误率最小化，t：学习中的节点号，j：滤波器候选号)。此外，在步骤S605中，使用所确定的阈值FTh_t，j来计算针对所有的学习用的数据的检测错误率。由下式给出针对所有的学习用的数据的权重错误率：
Et，j＝∑iwt，i|ht，j(xi)-yi|           ...(7)
其中，t：学习中的节点号，
      j：滤波器候选号，且
      i：学习用的数据号。
注意，ht，j(xi)是矩形滤波器候选j对学习用的数据号i的确定输出：当使用阈值FTh_t，j而确定输入对象数据xi是检测对象时，输出“1”；或者，当确定输入对象数据xi不包含任何检测对象时，输出“0”。yi是取决于输入学习用的数据i是否是检测对象而被分配“1”或“0”的正确答案标记(教示标记)。通过步骤S606中的反复的处理，针对所有的矩形滤波器候选而执行上述处理(步骤S604及S605)，由此计算权重错误率Et，j。
当对所有的权重错误率Et，j的计算完成时(步骤S606)，搜索权重错误率Et，j最小的矩形滤波器候选j(即，判别性能最高的矩形滤波器)，并选择其作为弱判别器(步骤S607)。假定Et为此时的权重错误率。并且，将该滤波器中所使用的阈值FTh_t，j确定为滤波器阈值WTh_t。
然后，由下式来计算弱判别器的可靠性αt(步骤S608)：
&alpha; t = log ( 1 - E t E t ) . . . ( 8 )
将计算出的可靠性αt，滤波器阈值WTh_t，以及矩形滤波器的矩形区的形状、位置、矩形的数量、及滤波器系数作为学习中的节点t的参数而记录在RAM 210中。
在步骤S609中，确定中止阈值。在这种情况下，能够按照与矩形滤波器的确定阈值的确定方法相同的方式，基于检测对象数据的累积得分的直方图以及非检测对象数据的累积得分的直方图来确定阈值。图14是用于说明累积直方图的示例的图，以说明中止阈值的确定方法。标号1401表示非检测对象数据的累积得分的直方图；标号1402表示检测对象数据的累积得分的直方图。确定中止阈值落入其中对检测对象数据的中止率(被中止的检测对象数据的数量/检测对象数据的数量)等于或小于预定值的许可范围内。被中止的检测对象数据的数量是其直方图1402的累积得分变得等于或小于该步骤中所确定的阈值的数据的总数。由于非检测对象数据尽可能早地被中止，因此在该步骤中不需要考虑非检测对象数据。该步骤中所确定的阈值是在图4中的中止确定单元461中所使用的中止阈值参数Tgh_t。
此外，在步骤S610中，由下式来对各个学习用的数据的权重系数进行更新：
w t + 1 , i = w t , i &times; ( E t 1 - E t ) . . . ( 9 )
注意，要由式(9)来更新的权重系数wt，j仅是被正确地检测到的学习用的数据i的权重系数。即，对被正确地检测到的学习用的数据(检测对象数据和非检测对象数据)的权重进行更新以使其减小。因此，在步骤S610中，错误地检测到的学习用的数据的权重相对地增加。
在利用到目前为止所执行的处理(步骤S603至S610)来生成一个弱判别器之后，在步骤S611中确定是否生成了满足预定完成条件的增强识别单元。注意，首先当弱判别器的数量达到预先设定的上限值时预定条件得到满足。作为另一种选择，当使用式(7)而计算出的权重错误率Et，j小于预定值时，或者当单独地布置的性能测量单元确定整个识别单元的识别性能能够在学习开始时达到期望的性能时，预定条件得到满足。如果不满足预定条件，则处理返回到步骤S603，以接续后续弱判别器的生成处理。
(学习用的数据组及评价用的数据组)
在本实施例中，在学习之前，执行样本数据的输入处理及分类处理。这是用于输入物体对象数据作为学习处理中以及该学习处理中的评价处理中所使用的检测对象(本实施例中的人脸图像数据)的处理，并且需要包含对象类别的所有的变化的足够大量的数据。可以将学习用的数据与评价用的数据分开地输入，或者可以输入大量的人脸图像数据组，并且可以通过在学习处理及评价处理时进行采样来使用该人脸图像数据组。
还将一组非检测对象模式(例如，不是检测对象物体的物体、背景等)(即，本实施例中的一组非人脸数据)输入给装置，并且能够在学习处理及评价处理中使用该组非检测对象模式。
由图2中的图像输入单元201来输入这些数据。当图像输入单元201包含图像传感设备时，当用户经由用户I/F 207而将所需的附加信息(眼及口的位置坐标)输入给通过图像传感而获取的人脸图像时，对数据进行累积。作为另一种选择，可以将预先获取的人脸图像与附加信息一起经由图像输入单元201所共用的通信I/F 206而从外部装置输入。所输入的学习用的数据及评价用的数据保持在大容量存储单元211中。
使用附加信息，按照识别单元所支持的所有的变化类别，对所输入并保持的人脸图像数据进行分类(标记)。例如，使用图5中所示的标记，将“沿面内旋转方向逆时针旋转30°、沿深度旋转方向向左旋转10°、并且尺寸为18＂的人脸”分类为“aB1”。
在本实施例中，人脸数据附有三条信息，例如，两眼坐标、口坐标及深度旋转角度。当用户使用用户I/F207来输入这些条信息时，他或她使用诸如鼠标等的指示设备来输入在显示器上所显示的人脸图像的眼和口的坐标。并且，用户使用键盘来输入(主观的)深度旋转角度。当从外部装置发送来学习用的数据及评价用的数据时，已输入的这些条附加信息一起被发送来。
在本实施例中，基于连接两眼的线段的角度来计算变化类别501的面内旋转角度。在该线段在图像中水平时，面内旋转角度为0°，并且顺时针旋转角度以该角度为基准而取正值。基于从连接两眼的线段到口位置的高度差的像素数量来计算变化类别503的尺寸变化。当侧脸中仅出现一只眼时，单独地输入表示紧贴头上方的位置的头顶方向作为附加信息，由此使得可以计算面内旋转及尺寸。可以增加表示特征点位置(例如，一只眼的内眼角及外眼角、耳朵位置、鼻孔位置等)的附加信息的条数，并且可以基于这些条信息来估计并计算头顶方向。
可以在学习开始之前的任意定时执行学习用的数据及评价用的数据的输入处理及分类处理。当以下要描述的学习中所使用的数据与评价中所使用的数据不同时，仅需要在这些处理中的每一个开始之前完成这些数据的输入处理及分类处理，并且将其保持在大容量存储单元211中。
作为另一种选择，在学习处理过程中，可以经由通信I/F206而依次地获取存储在外部装置中的经分类的数据。
作为分支(以下描述)的各枝中的弱判别器阵列的检测对象的人脸数据是基于要被该分支枝覆盖的变化类别的划分的变化范围的组合而被分类的人脸数据。例如，第三分支之后的枝的弱判别器阵列(其与图5中由标记aB1所表示的分类相对应)仅学习带有与检测对象数据相同的标记的人脸图像。在到达最终分支之前的枝中，基于尚未到达的变化类别的分类是任意的，并且各个枝覆盖了所有的变化范围。例如，表示第一分支的覆盖范围的标记是“a**”、“b**”、“c**”中的一个，用星号将该标记与尚未开始的分支要覆盖的变化类别相关联地表达。作为非检测对象的非人脸数据对于每个枝是共同的，不特别地具有任何标记。
(确定接续段的最小数量的学习序列)
图1是示出作为本发明的特征处理的模式识别单元生成方法的示例的流程图。在该处理中，确定分支型模式识别单元中的分支的各个枝的非分支接续段的数量。在图1中，步骤S101、S103及S107中的弱判别器生成处理与使用图6所描述的基本学习处理方法等同。
在步骤S101中，生成分支之前的一个弱判别器阵列。假定在该处理中，与图6中的步骤S611相对应的对完成条件的确定使用凭经验确定的预定段数。作为另一种选择，使用大量的非人脸数据作为评价用的数据组，每次生成一段时执行检测处理(图7及图15)，以检查其累积中止率，将达到预定非人脸累积中止率之前的段的数量确定为预定段数。各段的非人脸中止率不一定单调地减小，如图24所示，并且如同图24中的第三段及第四段，在大部分非人脸数据未被中止之后，可以中止许多非人脸数据。在这种情况下，在段数接续到第四段而不是第三段时，可以提高中止效率。此外，可以将人脸数据中止率考虑在内。例如，可以将等于或低于预定许可人脸中止率的人脸数据中止率添加到接续条件中。该构思也能够在对分支之后的各枝的非分支接续段的数量的确定中使用，如稍后将描述的。
当对预定段数的弱判别器的生成完成时，在步骤S102中设定分支点。作为步骤S102中的第一处理，由于分支结构如图3B中所示，因此设定了将变化类别501的变化范围划分成三个范围的、与a、b、c相对应的三个分支。
在步骤S103中，将各个分支枝的弱判别器阵列生成预定段数。作为预定段数，在非分支接续段的最小必需数量(接续段的最小数量)是例如根据经验而预先明确得知的时，能够在分支之后的第一执行时设定该段数。当非分支接续段的数量未知时，或者当第二次或在分支之后执行该步骤时，将一个段设定为预定段数。各个分支枝中所使用的学习用的数据是具有由变化类别501所表示的变化a、b、c的数据，并包括与变化类别502及变化类别503的变化相关联的所有的变化范围的数据。认为各个分支枝的弱判别器阵列是从识别单元的开头的分支之前的弱判别器起连续的。此时，与图6中的步骤S602中的权重系数初始化相对应的处理与上述处理稍有不同。在该处理中，将各个分支枝的学习用的数据组输入给所生成的分支之前的弱判别器阵列，并且在不改变各段的处理中的滤波器或其他系数的情况下，设定通过执行步骤S603或S610中的权重系数更新处理而获取的权重。
在步骤S104中，对所生成的分支枝的弱判别器阵列进行评价和比较，并且检查是否达到要接续的段的最小必需数量。在本实施例中，使用如图18中所示的累积得分作为评价用的参数来执行评价。
参照图18，在步骤S1801中，选择与当前要被评价的分支相对应的变化类别中的一个分类(即，划分的变化范围中的一个)，并且从预先准备好的评价用的数据中选择具有被分类到该变化范围内的变化的数据组。
例如，作为第一分支的评价处理，选择被分类为变化类别501的变化范围a、b、c中的一个的数据组作为评价用的数据组。这些数据组包括其余的变化类别502及变化类别503的所有的变化范围的数据。为了简单起见，使用星号来描述用于表达该数据的分类标记的除确定的变化类别以外的其他变化类别的数字，如同“a**”及“b**”。
在步骤S1802中，选择分支枝中的一个。各枝是覆盖变化类别501的变化范围a、b、c中的一个的弱判别器阵列。
在步骤S1803中，将在步骤S1801中所选择的评价用的数据输入给所选择的枝的弱判别器阵列，并且执行检测处理。当认为从非分支的第一弱判别器到所选择的枝的所生成的弱判别器的弱判别器作为一个弱判别器阵列时，执行该检测处理，并且不执行图15B中所示的分支选择处理(步骤S1512)。仅将图7中所示的处理重复与弱判别器节点的段数一样多，并且如果在步骤S707中检测处理被中止，则不执行后续段的处理。
在步骤S1804中，检查是否针对所有的分支枝完成了所选择的变化的评价用的数据的检测处理的执行。如果检测处理的执行尚未完成，则处理返回到步骤S1802，以执行针对所有的分支枝的处理。
在步骤S1805中，检查使用与评价中的分支相关联的所有的分类的评价用的数据的检测处理是否完成。如果使用所有的分类的数据的检测处理尚未完成，则处理返回到步骤S1801，以选择下一分类。
以这种方式，获得输入给各个弱判别器阵列的变化数据的所有的组合的检测处理结果。例如，在第一分支中，获得将数据a、b、c输入给弱判别器阵列a、b、c时的九个不同的检测处理结果。
当所有的组合的检测处理完成时，在步骤S1806中执行累计得分差计算处理。该处理计算在将某一变化范围数据组输入给一个分支枝时的累积得分值的平均值，并且比较分支枝之间的差值。
图19A示出了在将“a**”变化数据组输入给第一分支之后的三个分支枝时各弱判别器段的累积得分值的转变。该示例仅包括非分支弱判别器的一个段，并且第一段的输出是相同的值。识别单元从第二段起被分成三个枝，并且在各个枝中生成不同的弱判别器。如从图19A可以看出的，随着处理段数的增加，累积得分之间的差逐渐变大。由于“a**”变化数据组要由与“a**”相对应的分支枝正常地检测到，因此“a**”分支的输出最高。由于“a**”为面内左旋转(如图5中由标号501所表示的)，因此覆盖相对地接近于“a**”的变化范围的“b**”分支的输出次最高，“c**”分支输出最低的累积得分值。
图19B示出了在将“b**”变化数据组输入给三个分支枝时的平均累积得分值及转变。由于“b**”变化范围表示几乎直立的面内旋转范围，因此“b**”变化范围等同地接近于“a**”及“c**”。因此，原先要覆盖该数据组的“b**”分支表现出最高的累积得分值，并且“a**”及“c**”表现出几乎相等的值。
以这种方式，在具有三个或更多个分支枝的分支的情况下，在步骤S1806中执行用于计算这些枝的平均累积得分值之间的差并对它们进行综合的处理。作为综合处理，可以计算累积得分差值的平均，或者可以选择最小值。当选择最小值时，期望提高分支选择性，但是相应地很可能需要较长的接续段的数量。
如果在步骤S1807中确定综合后的差值变得等于或大于预先设定的预定值，则将此时的段数确定为接续段的最小必需数量。可以使用差值自身来确定预定值，但是可以由对更大致地评价的段的平均累积得分最大值的比率来定义该预定值。
本实施例的检测时的分支选择处理基于分支之后的各个枝的累积得分值来选择累积得分值最高的节点所属的枝，如同以上参照图16所描述的。因此，当关于所输入的评价用的数据组的平均累积得分差变大时，期望增加正确地选择覆盖相应的范围的分支枝的比率。可以使用用于确定非分支接续段的数量、还考虑了除平均累积得分差以外的变化的算法。
如果在步骤S1807中确定各个枝的平均累积得分差变得等于或大于预定差(预先设定的差值)，则在步骤S1808中将当前被评价的段确定为段的最小必需数量。如果该差不等于或不大于预定差，则在步骤S1809中确定尚未达到接续段的最小必需数量。
参照回图1，在步骤S105中确定是否达到接续段的最小必需数量。实际上，该步骤中的处理可以与步骤S1807结合起来，但是出于描述方便，也在图1中进行了描述。如果确定达到接续段的最小必需数量(步骤S105中“是”)，则由于仅确定非分支接续段的“最小必需”数量，因此并不特别地限制实际中要接续的段数，只要其等于或大于非分支接续段的数量即可。因此，在处理进入下一步骤S106之前，可以额外地生成预定段数的弱判别器。
在步骤S106中检查是否仍剩余下一分支预定。例如，在第一分支之后的第一处理的情况下，处理返回到步骤S102以重新开始该处理，从而接着执行第二分支。如果第三分支之前的处理完成并且未剩余分支，则处理进入步骤S107。
在步骤S107中，生成相对于所生成的各个分支枝的弱判别器的、预定段数的或者直到预定条件得到满足的剩余的弱判别器。如果所有的分支的生成完成，则处理结束。
如上所述，根据本实施例的模式识别单元生成方法，由于评价对于特定的变化的评价用的数据的分支的各个枝的累积得分差，因此能够确定实现令人满意的分支选择所需的非分支接续段的最小必需数量。
(第二实施例)
在第一实施例中，已对使用累积得分的差值来确定非分支接续段的最小必需数量的方法进行了说明。在第二实施例中，将对基于输入评价用的数据时的分支的选择错误率来确定接续段的最小必需数量的方法进行说明。
在本实施例中，为了避免与第一实施例的描述重复，仅对与第一实施例的不同之处进行描述。用于在评价所生成的各个分支枝的弱判别器阵列的同时推进学习的基本处理的序列与图1中所示的第一实施例相同。在本实施例中，执行步骤S104中所描述的所生成的弱判别器评价处理，如图20所示。
在图20中的评价处理中，作为评价用的数据组，使用具有与要被评价的分支相关联的所有的变化类别的分类的组合的变化的人脸数据组。当评价第一分支时，使用所有的标记的人脸数据组。当评价带有第一分支标记“a”的枝的第二分支时，使用带有标记“a**”的人脸数据组。注意，“**”表示变化类别501及变化类别503的所有的标记的组合。在步骤S2001中，从这些评价用的数据中选择一个人脸数据。
在步骤S2002中，将所选择的人脸数据输入给具有直到所生成的段的分支结构的模式识别单元，并执行图15A、图15B及图16中所示的具有分支选择处理的检测处理。作为结果，选择生成中的分支的枝中的一个。对各评价用的人脸数据分配分类标记，如前所述。并且，对各分支枝分配要覆盖的分类标记。作为图16中的选择处理的结果，如果该标记与要被评价的变化类别的数字相匹配，则进行了正确的选择。在步骤S2003中检查在步骤S2002中的检测处理中是否进行了正确的选择。如果选择不正确(步骤S2003中的“是”)，则处理进入步骤S2004。在步骤S2004中，选择错误计数递增。
另一方面，如果在步骤S2003中的确定处理中确定分支选择不是错误(步骤S2003中的“否”)，则处理进入步骤S2005。
在步骤S2005中检查是否完成了对要被评价的所有的数据的检测处理及选择错误确定处理。如果仍剩余要被评价的数据，则处理返回到步骤S2001以评价剩余的数据。
在完成对所有的评价用的数据的处理时，在步骤S2006中计算选择错误的比率(选择错误率)。这是用于将选择错误计数除以被评价的数据的总数的处理。
在步骤S2007中检查该错误率是否等于或小于预定值。如果错误率等于或小于预定值，则确定所生成的段达到接续段的最小必需数量(步骤S2008)；否则，确定所生成的段尚未达到接续段的最小必需数量(步骤S2009)。后续处理如图1中所描述的。
期望选择错误率随着处理段数的增加而减小，如图21所示。这是与累积得分差随着处理段数的增加而变大相关联的，如同第一实施例中所描述的。
根据本实施例，在评价时也执行检测时要执行的分支选择处理，并且基于错误率来确定分支之后的接续段的最小必需数量。因此，能够比第一实施例更直接地实现模式识别单元的所期望的性能。当选择错误率在处理段数增加的情况下不减小时，可以一起使用其他方法(例如，为接续段的数量设定上限)。
(第三实施例)
第一实施例及第二实施例说明了使用分支之后的预定段中的累积得分值来进行分支选择的情况。然而，可以使用其他分支选择方法。
在图22中，标号2201表示某一分支中的分支选择判别器。模式识别单元基于从分支选择判别器2201输出的分支选择判别结果来选择各分支中要留下的枝。
分支选择判别器2201选择以由要经受分支选择处理的弱判别器阵列的各个节点所计算出的特征量作为输入的分支方向。该判别能够使用已知的判别处理(例如，线性判别分析、SVM(支撑矢量机)等)，并且需要预先对这些识别方法所需的参数进行学习和计算。
将由弱判别器节点的通常的判别处理(图7)所计算出的量(本实施例中的特征量)输入给用于分支枝选择的分支选择判别器2201，而不特别地针对分支选择而计算该量。因此，与对与弱判别器的处理无关的新的量进行计算并将其输入给分支选择判别器2201的情况相比，选择所需的开销较小。
用作对分支选择判别器2201的输入的值并不限于特征量，而可以使用在图7中的判别处理中所计算出的任何其他值(例如，使用滤波器阈值的判别结果、单个的得分、累积得分等)。将要使用的值与节点ID相关联地保持在存储器中。
图22示出了两个分支的情况，但是本实施例可以应用于三个或更多个分支。当在三个分支的情况下使用2类判别器(例如，与两个分支中相同的SVM)时，可以采用将2类判别器连接到3个分支中的两个分支的所有的组合并对这些得分进行比较的方法。
图23中示出了使用该分支选择判别器2201的分支选择处理。在步骤S2301中，基于所生成的各个分支枝的最终段的节点ID，参照图17A及17B中的参数存储器上的双向列表区，获取从分支之后的节点起的所有的ID。
在步骤S2302中，从存储器中获取与所获取的所有的ID相对应并且在分支选择处理中使用的诸如特征量等的值。在步骤S2303中，将所获取的值输入给分支选择判别器2201以执行判别处理。在步骤S2304中，基于所获得的判别结果来确定要选择的分支的ID，由此结束处理。
当使用图23中的分支选择处理来执行图20中的选择错误率评价处理时，必须在评价之前执行分支选择判别器2201的重新学习。这是因为：由于每次生成一个段的弱判别器时要输入给分支选择判别器2201的特征量的数量增加，因此需要具有与前一评价中所使用的分支选择判别器2201不同的输入维数的判别器。当分支选择判别器2201学习时，与选择中一样地从双向列表中获取输入节点的ID。分支选择判别器2201的学习用的数据组中的各数据经受检测处理，以获得各分支的判别器输出，并且基于学习用的数据的正确答案标记来执行诸如预定SVM等的学习处理。
当使用这种分支选择判别器2201时，与仅使用最终段的累积得分值来进行确定的情况相比，能够期望精度更高的分支选择。分支选择判别器2201还可以应用于如同第二实施例中的基于选择错误率的对处理段的最小必需数量的确定处理，并且能够期望获得性能较高的模式识别单元。然而，如上所述，每次生成一个段的弱判别器时，需要进行分支选择判别器2201的重新学习，导致识别单元的总学习时间较长。
(其他实施例)
前述的各种处理方法可以组合应用。例如，作为第一实施例中所描述的第一分支之前的接续段的数量的确定方法，可以将使用非人脸数据或人脸数据的中止率的方法添加为确定分支之后的接续段的数量时的一个条件。
作为另一种选择，第三实施例中所描述的使用分支选择判别器的分支选择方法可以应用于第一实施例中的已通过确定非分支接续段的数量而学习的模式识别单元中。当分支选择判别器仅在已学习的分支结构模式识别单元中的结构及弱判别器的参数固定的同时学习时，能够提高选择精度，由此提高性能。
在到目前为止所描述的实施例中，仅说明了分支数为2或3的情况。然而，本发明的分支数并不限于此。
在上述实施例中，描述了基于累积得分差的评价方法以及基于选择错误率的评价方法。然而，本发明的要旨并不限于这些特定的方法。本发明可以应用于这样一种方法：将评价用的数据组输入给所生成的弱判别器阵列，并基于检测处理结果来确定接续段的数量。因此，可以基于对象模式的检测性能(未检出率、误检测率、检测速度等)来确定接续段的数量。
上述实施例说明了对图像数据中所包含的作为检测对象模式的人脸进行检测的模式识别单元。然而，本发明的应用范围并不限于此。例如，本发明可以应用于用于指定输入图像中所包含的人的个人识别的模式识别单元，或者应用于用于检测除人以外的其他特定物体的模式识别单元。
本发明并不限于对二维图像数据的处理，而可以应用于从诸如音频数据等的一维数据或包括空间要素的多维数据(三维或更多)中提取特定模式的模式识别单元。
在上述实施例中，本发明应用于使用矩形滤波器作为弱判别器的方法。然而，本发明可以应用于各种其他弱判别器。
作为弱判别器的学习方法的示例，描述了AdaBoost。然而，本发明并不限于这种特定方法。已提出各种其他Boosting方法，并且本发明包括由使用这些方法来学习的弱判别器构造的检测器。
在上述实施例中，通过硬件来实现判别处理单元203。然而，本发明可以应用于使用DSP(数字信号处理器)等的判别处理单元203的软件实现。甚至在这种情况下，也能够通过应用本发明来计算接续段的最小必需数量。
在上述实施例中，描述了包括根据本发明的学习方法并且能够进行装置内学习的模式识别装置。然而，本发明的实施例并不限于此。例如，本发明可以应用为使用外部工作站等通过学习确定弱判别器所需的参数数据来生成弱判别器的模式识别单元生成系统。此外，本发明的应用范围包括模式识别单元生成程序(计算机程序)以及存储计算机程序的存储介质。
注意，本发明的目的还通过向系统或装置提供记录有能够实现上述实施例的功能的计算机程序的计算机可读存储介质来达到。而且，本发明的目的通过系统或装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的计算机程序来达到。
在这种情况下，从存储介质中读出的计算机程序自身实现了上述实施例的功能，并且存储有程序的存储介质构成本发明。
作为用于提供计算机程序的存储介质，例如可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、非易失性存储卡、ROM等。
计算机执行所读出的计算机程序，以实现上述实施例的功能。并且，本发明包括计算机上所运行的OS(操作系统)等基于计算机程序的指令来执行实际处理操作的部分或全部由此实现上述实施例的情况。
虽然参照示例性实施例来对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对以下权利要求书的范围给予最宽泛的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (22)

1.一种模式识别单元生成方法，该方法生成模式识别单元，在所述模式识别单元中，使通过将多个弱判别器级联连接而获得的弱判别器阵列分支，并且分支之后的各枝连接有弱判别器阵列，所述模式识别单元生成方法包括以下步骤：
评价步骤，该步骤基于通过向所述弱判别器阵列输入一组评价用的数据而获得的处理结果，来评价分支之后的一弱判别器阵列是否达到要连接的段数；
确定步骤，该步骤基于所述评价步骤中的评价结果，确定作为分支之后的所述弱判别器阵列的、要不分支地连接的所述弱判别器的段数。
2.根据权利要求1所述的模式识别单元生成方法，其中，所述组评价用的数据包括被分类为用作检测对象的图像的变化类别的数据，并且
所述级联连接的分支之后的各枝与所分类的变化类别相对应。
3.根据权利要求1所述的模式识别单元生成方法，其中，所述弱判别器中的每一个计算得分值作为针对所输入的所述组评价用的数据的判别结果，并且将通过把所计算出的所述得分值加到从前一段的弱判别器输出的输出值而获得的累积得分值，输出给后一段的弱判别器。
4.根据权利要求3所述的模式识别单元生成方法，其中，所述组评价用的数据包括由一组非检测对象模式构成的数据，并且
所述弱判别器中的每一个确定在所述累积得分值超过预定阈值时中止处理。
5.根据权利要求3所述的模式识别单元生成方法，其中，在所述评价步骤中，将所述组评价用的数据输入给分支之后的所述各弱判别器阵列，并且基于从构成所述弱判别器阵列的所述弱判别器中的各个输出的所述累积得分值，来评价所述弱判别器阵列中的各个是否达到要连接的段数。
6.根据权利要求5所述的模式识别单元生成方法，其中，在所述确定步骤中，基于所述评价步骤中的所述评价结果，将分支之后的所述各弱判别器阵列中的所述累积得分值之间的差变得不小于预定值时的段数，确定为不分支地连接所述弱判别器所需的段数。
7.根据权利要求5所述的模式识别单元生成方法，其中，在所述确定步骤中，在分支之后的所述弱判别器阵列的数量不小于3时，计算利用所有的所述弱判别器阵列中的两个弱判别器阵列的组合而计算出的所述累积得分值之间的差，并且基于所述评价步骤中的所述评价结果，将通过对所述弱判别器阵列的所有的所述组合的所述差进行综合而获得的值变得不小于预定值时的段数，确定为不分支地连接所述弱判别器所需的段数。
8.根据权利要求3所述的模式识别单元生成方法，该模式识别单元生成方法还包括分支选择步骤，该分支选择步骤基于所述累积得分值来选择要对所述组评价用的数据继续进行处理的分支枝。
9.根据权利要求8所述的模式识别单元生成方法，其中，在所述分支选择步骤中，确定分类后的变化类别是否与被输入给所选择的分支枝的所述组评价用的数据相匹配，并且计算不与所述变化类别相匹配的数据的比率作为错误率。
10.根据权利要求9所述的模式识别单元生成方法，其中，在所述评价步骤中，基于在所述分支选择步骤中所计算出的所述错误率，来评价所选择的分支枝中的所述弱判别器阵列是否达到要连接的段数。
11.根据权利要求10所述的模式识别单元生成方法，其中，在所述确定步骤中，基于所述评价步骤中的所述评价结果，将所述错误率变得不大于预定值时的段数确定为不分支地连接所述弱判别器所需的段数。
12.一种信息处理装置，该信息处理装置执行生成模式识别单元的模式识别单元生成方法，在所述模式识别单元中，使通过将多个弱判别器级联连接而获得的弱判别器阵列分支，并且分支之后的各枝连接有弱判别器阵列，所述信息处理装置包括：
评价单元，其适合于，基于通过向所述弱判别器阵列输入一组评价用的数据而获得的处理结果，来评价分支之后的一弱判别器阵列是否达到要连接的段数；
确定单元，其适合于，基于所述评价单元的评价结果，确定作为分支之后的所述弱判别器阵列的、要不分支地连接的所述弱判别器的段数。
13.根据权利要求12所述的信息处理装置，其中，所述组评价用的数据包括被分类为用作检测对象的图像的变化类别的数据，并且
所述级联连接的分支之后的各枝与所分类的变化类别相对应。
14.根据权利要求12所述的信息处理装置，其中，所述弱判别器中的每一个计算得分值作为针对所输入的所述组评价用的数据的判别结果，并且将通过把所计算出的所述得分值加到从前一段的弱判别器输出的输出值而获得的累积得分值，输出给后一段的弱判别器。
15.根据权利要求14所述的信息处理装置，其中，所述组评价用的数据包括由一组非检测对象模式构成的数据，并且
所述弱判别器中的每一个确定在所述累积得分值超过预定阈值时中止处理。
16.根据权利要求14所述的信息处理装置，其中，所述评价单元将所述组评价用的数据输入给分支之后的所述各弱判别器阵列，并且基于从构成所述弱判别器阵列的所述弱判别器中的各个输出的所述累积得分值，来评价所述弱判别器阵列中的各个是否达到要连接的段数。
17.根据权利要求16所述的信息处理装置，其中，所述确定单元基于所述评价单元的所述评价结果，将在分支之后的所述各弱判别器阵列中的所述累积得分值之间的差变得不小于预定值时的段数，确定为不分支地连接所述弱判别器所需的段数。
18.根据权利要求16所述的信息处理装置，其中，在分支之后的所述弱判别器阵列的数量不小于3时，所述确定单元计算利用所有的所述弱判别器阵列中的两个弱判别器阵列的组合而计算出的所述累积得分值之间的差，并且基于所述评价单元的所述评价结果，将在通过对所述弱判别器阵列的所有的所述组合的所述差进行综合而获得的值变得不小于预定值时的段数，确定为不分支地连接所述弱判别器所需的段数。
19.根据权利要求14所述的信息处理装置，该信息处理装置还包括分支选择单元，该分支选择单元适合于，基于所述累积得分值来选择要对所述组评价用的数据继续进行处理的分支枝。
20.根据权利要求19所述的信息处理装置，其中，所述分支选择单元确定分类后的变化类别是否与被输入给所选择的分支枝的所述组评价用的数据相匹配，并且计算不与所述变化类别相匹配的数据的比率作为错误率。
21.根据权利要求20所述的信息处理装置，其中，所述评价单元基于由所述分支选择单元所计算出的所述错误率，来评价所选择的分支枝中的所述弱判别器阵列是否达到要连接的段数。
22.根据权利要求21所述的信息处理装置，其中，所述确定单元基于所述评价单元的所述评价结果，将在所述错误率变得不大于预定值时的段数，确定为不分支地连接所述弱判别器所需的段数。
CN2008101858635A 2007-12-18 2008-12-18 模式识别单元生成方法及信息处理装置 Expired - Fee Related CN101464955B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007326585A JP4948379B2 (ja) 2007-12-18 2007-12-18 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
JP2007326585 2007-12-18
JP2007-326585 2007-12-18

Publications (2)

Publication Number Publication Date
CN101464955A true CN101464955A (zh) 2009-06-24
CN101464955B CN101464955B (zh) 2012-08-08

Family

ID=40754618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101858635A Expired - Fee Related CN101464955B (zh) 2007-12-18 2008-12-18 模式识别单元生成方法及信息处理装置

Country Status (3)

Country Link
US (1) US8472721B2 (zh)
JP (1) JP4948379B2 (zh)
CN (1) CN101464955B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136075A (zh) * 2011-03-04 2011-07-27 杭州海康威视软件有限公司 复杂场景下的多视角人脸检测方法及其装置
CN111339749A (zh) * 2020-03-02 2020-06-26 乐山师范学院 无条件文本生成方法、文本生成装置及存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5058681B2 (ja) * 2007-05-31 2012-10-24 キヤノン株式会社 情報処理方法及び装置、プログラム、記憶媒体
JP5101993B2 (ja) * 2007-11-01 2012-12-19 キヤノン株式会社 情報処理装置および情報処理方法
US8331655B2 (en) * 2008-06-30 2012-12-11 Canon Kabushiki Kaisha Learning apparatus for pattern detector, learning method and computer-readable storage medium
JP5444898B2 (ja) * 2009-07-09 2014-03-19 アイシン精機株式会社 状態検出装置、状態検出方法及びプログラム
JP5340088B2 (ja) * 2009-09-07 2013-11-13 キヤノン株式会社 情報処理方法及び装置
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP5336995B2 (ja) * 2009-10-19 2013-11-06 キヤノン株式会社 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム
JP5448758B2 (ja) * 2009-11-30 2014-03-19 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、プログラム及びデータ構造
JP2011128990A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置とその方法
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
CN102216958A (zh) * 2010-02-01 2011-10-12 株式会社摩如富 物体检测装置以及物体检测方法
JP5394959B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 判別器生成装置および方法並びにプログラム
JP5574816B2 (ja) * 2010-05-14 2014-08-20 キヤノン株式会社 データ処理装置及びデータ処理方法
US8655053B1 (en) 2010-05-31 2014-02-18 Andrew S Hansen Body modeling and garment fitting using an electronic device
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
JP2012038106A (ja) 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
US8768944B2 (en) 2010-08-18 2014-07-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP5675214B2 (ja) 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20120328160A1 (en) * 2011-06-27 2012-12-27 Office of Research Cooperation Foundation of Yeungnam University Method for detecting and recognizing objects of an image using haar-like features
US8873112B2 (en) 2011-10-21 2014-10-28 Canon Kabushiki Kaisha Image processing apparatus and determination method
JP5806606B2 (ja) 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10728450B2 (en) 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US9923004B2 (en) 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
JP2016151805A (ja) * 2015-02-16 2016-08-22 大日本印刷株式会社 オブジェクト検出装置、オブジェクト検出方法、及びプログラム
US9704056B2 (en) 2015-04-02 2017-07-11 Qualcomm Incorporated Computing hierarchical computations for computer vision calculations
US10460198B2 (en) * 2015-12-23 2019-10-29 Fotonation Limited Image processing system
KR102574449B1 (ko) * 2016-11-17 2023-09-04 삼성전자 주식회사 데이터 처리 방법 및 장치
US11086918B2 (en) * 2016-12-07 2021-08-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for multi-label classification
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
JP7402623B2 (ja) 2019-06-17 2023-12-21 キヤノン株式会社 フィルタ処理装置及びその制御方法
US11170203B2 (en) * 2019-11-27 2021-11-09 National Central University Training data generation method for human facial recognition and data generation apparatus
US20230121812A1 (en) * 2021-10-15 2023-04-20 International Business Machines Corporation Data augmentation for training artificial intelligence model

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661913A (en) * 1984-09-11 1987-04-28 Becton, Dickinson And Company Apparatus and method for the detection and classification of articles using flow cytometry techniques
US5508823A (en) 1991-08-28 1996-04-16 Canon Kabushiki Kaisha Image processing method and apparatus
US5390259A (en) * 1991-11-19 1995-02-14 Xerox Corporation Methods and apparatus for selecting semantically significant images in a document image without decoding image content
US6463438B1 (en) * 1994-06-03 2002-10-08 Urocor, Inc. Neural network for cell image analysis for identification of abnormal cells
CA2167748A1 (en) 1995-02-09 1996-08-10 Yoav Freund Apparatus and methods for machine learning hypotheses
DE19623033C1 (de) * 1996-06-08 1997-10-16 Aeg Electrocom Gmbh Verfahren und Anordnung zur Mustererkennung auf statistischer Basis
US6021220A (en) * 1997-02-11 2000-02-01 Silicon Biology, Inc. System and method for pattern recognition
US6272479B1 (en) * 1997-07-21 2001-08-07 Kristin Ann Farry Method of evolving classifier programs for signal processing and control
US6714925B1 (en) * 1999-05-01 2004-03-30 Barnhill Technologies, Llc System for identifying patterns in biological data using a distributed network
US6678548B1 (en) * 2000-10-20 2004-01-13 The Trustees Of The University Of Pennsylvania Unified probabilistic framework for predicting and detecting seizure onsets in the brain and multitherapeutic device
US7197180B2 (en) * 2001-05-30 2007-03-27 Eaton Corporation System or method for selecting classifier attribute types
JP4846924B2 (ja) 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
US7016885B1 (en) * 2001-08-28 2006-03-21 University Of Central Florida Research Foundation, Inc. Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals
US7369687B2 (en) 2002-11-21 2008-05-06 Advanced Telecommunications Research Institute International Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position
JP4166143B2 (ja) 2002-11-21 2008-10-15 株式会社国際電気通信基礎技術研究所 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
WO2004055735A1 (ja) 2002-12-16 2004-07-01 Canon Kabushiki Kaisha パターン識別方法、その装置及びそのプログラム
EP3358501B1 (en) 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
US7274832B2 (en) * 2003-11-13 2007-09-25 Eastman Kodak Company In-plane rotation invariant object detection in digitized images
EP1697877B1 (en) 2003-12-16 2009-09-16 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP5025893B2 (ja) 2004-03-29 2012-09-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4217664B2 (ja) 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
JP2007080160A (ja) * 2005-09-16 2007-03-29 Konica Minolta Holdings Inc 特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法
WO2008004710A1 (fr) 2006-07-07 2008-01-10 Canon Kabushiki Kaisha Dispositif de traitement d'image, procédé de traitement d'image, et programme de traitement d'image
JP2009086749A (ja) 2007-09-27 2009-04-23 Canon Inc パターン識別手法、識別用パラメータ学習方法、及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136075A (zh) * 2011-03-04 2011-07-27 杭州海康威视软件有限公司 复杂场景下的多视角人脸检测方法及其装置
CN111339749A (zh) * 2020-03-02 2020-06-26 乐山师范学院 无条件文本生成方法、文本生成装置及存储介质
CN111339749B (zh) * 2020-03-02 2022-05-20 乐山师范学院 无条件文本生成方法、文本生成装置及存储介质

Also Published As

Publication number Publication date
US8472721B2 (en) 2013-06-25
JP4948379B2 (ja) 2012-06-06
US20090157707A1 (en) 2009-06-18
JP2009151395A (ja) 2009-07-09
CN101464955B (zh) 2012-08-08

Similar Documents

Publication Publication Date Title
CN101464955B (zh) 模式识别单元生成方法及信息处理装置
Chen et al. Only look once, mining distinctive landmarks from convnet for visual place recognition
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN112990976B (zh) 基于开源数据挖掘的商业网点选址方法、系统、设备及介质
US20140010407A1 (en) Image-based localization
CN107305624A (zh) 一种基于多模式生物识别信息的个人识别方法和装置
Lee et al. Place recognition using straight lines for vision-based SLAM
CN104809452A (zh) 一种指纹识别方法
US8352395B1 (en) Training an attentional cascade
CN103954280B (zh) 一种快速和高鲁棒性自主恒星识别方法
CN111400535A (zh) 轻量级人脸识别方法、系统、计算机设备及存储介质
CN106408578A (zh) 一种单木分割方法及装置
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
Neuhausen et al. Automatic window detection in facade images
CN110472999A (zh) 基于地铁和共享单车数据的客流模式分析方法及装置
CN107251048A (zh) 可靠指尖和手掌检测
Wang et al. S 3 D: Scalable pedestrian detection via score scale surface discrimination
CN111414958A (zh) 一种视觉词袋金字塔的多特征图像分类方法及系统
CN110443290A (zh) 一种基于大数据的产品竞争关系量化生成方法及装置
CN107229842A (zh) 一种基于局部图的三代测序序列校正方法
Liu et al. Aerial remote sensing image cascaded road detection network based on edge sensing module and attention module
Alshehhi et al. Detection of Martian dust storms using mask regional convolutional neural networks
CN112179335B (zh) 一种基于最简一般子图的星图识别方法
CN104463175A (zh) 手指静脉特征匹配方法和装置
Jie et al. Object detection algorithm based on deformable part models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120808