CN110826495A - 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统 - Google Patents

Abstract

本公开公开了基于面部朝向的身体左右肢体一致性跟踪判别方法及系统，获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

Description

基于面部朝向的身体左右肢体一致性跟踪判别方法及系统

技术领域

本公开涉及人体姿态跟踪技术领域，特别是涉及基于面部朝向的身体左右肢体一致性跟踪判别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

目前的人体姿态跟踪方法倾向于基于检测的方法，即首先在每一视频帧中估计人体姿态，然后在连续帧中整合姿态之间的时间和空间相关性，二维人体姿态跟踪在计算机视觉中是一个重要而且仍然具有挑战性的问题。为了获得更好的跟踪性能，许多研究通过构建稳健的人体表观模型或建模更复杂的人体结构来提高姿态估计的性能，也有研究人员建议通过层次化的人体结构来建模更真实的身体部件依赖关系。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

虽然这些方法对姿态估计是有效的，但是在跟踪过程中存在一个重要的影响跟踪效果的问题，那就是基于检测的跟踪方法通常使用图结构模型(PS)，忽视了左右身体肢体部件在连续视频帧中的一致性，仅仅依赖于肢体部件在图片坐标系中的相对位置，这经常会导致在跟踪中出现左右肢体混淆的问题。例如，对于一段视频帧序列，特别是当身体的所有部件都可见的时候，虽然所有身体部件姿态都可以被准确地检测出来，但是左右肢体经常被混淆，这种情况在视频序列中存在人体侧身运动的时候更易出现。目前在人体姿态的估计和跟踪中并未解决此问题。

在视频序列中，二维人体姿态跟踪还有一个很大的挑战是人体的自遮挡。由于人体是一个中心对称结构，人体不同部件在二维图像呈现上经常发生相互遮挡的情况，例如肢体部件被躯干或其对称部件遮挡等。在遮挡情况下，姿态检测中还会出现“重复计数”问题，即使用相同的图像区域来确定两个对称肢体部件的位置。之前有方法将遮挡的时间推理融入到跟踪框架中，对人体姿态进行跟踪，这类方法迫使跟踪器在发生遮挡时寻找图像证据以支持平滑路径，对重复计数问题起到了一定的改善作用，但是该方法需要有很强的时序先验，应用方面会大大受限。

发明内容

为了解决现有技术的不足，本公开提供了基于面部朝向的身体左右肢体姿态跟踪判别方法及系统；

第一方面，本公开提供了基于面部朝向的身体左右肢体一致性跟踪判别方法；

基于面部朝向的身体左右肢体一致性跟踪判别方法，包括：

获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；

最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

第二方面，本公开还提供了基于面部朝向的身体左右肢体一致性跟踪判别系统；

基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：

肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

面部朝向估计模块，其被配置为：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

人体姿态判别模块，其被配置为：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

本方法提出了一种基于面部朝向的身体左右肢体部件一致性跟踪判别框架，简单而且有效地提高二维人体姿态跟踪效能。

所提出的面部朝向估计很好地融合进了图结构模型，可以在跟踪中有效地避免由于遮挡等造成的肢体左右判别不一致的问题；

在人体姿态推断阶段，由于融入了面部朝向估计，两侧肢体会分别进行判别，这样不仅可以修正肢体在树形图结构模型中的左右判别误差，而且可以避免左右对称肢体的重复计数问题；

所提出的方法尤其提高了较小肢体部位的跟踪精度，例如手臂和腿部，该框架对运动和方向变化较大的复杂视频序列具有较高的检测率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2(a)、图2(e)、图2(i)、图2(m)示例被跟踪目标不同朝向的头部矩形框区域；

图2(b)、图2(f)、图2(j)、图2(n)示例头部区域由肤色检测器获得的肤色区域；

图2(c)、图2(g)、图2(k)、图2(o)示例头部区域的肤色/非肤色区域的二值化结果；

图2(d)、图2(h)、图2(l)、图2(p)示例一组预设的不同面部朝向的模板；图2(d)表示面部朝向前，图2(h)表示面部朝向后，图2(l)表示面部朝向左侧，图2(p)表示面部朝向右侧。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了基于面部朝向的身体左右肢体一致性跟踪判别方法；

如图1所示，基于面部朝向的身体左右肢体一致性跟踪判别方法，包括：

S1：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

S2：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

S3：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；

最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

作为一个或多个实施例，S1中，所述肢体部件，包括：头部、躯干、左大腿、左小腿、右大腿、右小腿、左上臂、左下臂、右上臂和右下臂；

作为一个或多个实施例，S1中，所述部件检测器，是指：由机器学习方法训练得到的用于检测所有肢体部件的表观模型。

所述部件检测器的训练过程为：

构建一个分类器，构建训练集，所述训练集为已知肢体部件名称的图像；

将训练集输入到分类器中，对分类器进行训练，得到训练好的分类器。

所述部件检测器的应用过程为：将未知肢体部件名称的图像输入到分类器中，分类器输出对肢体部件的识别结果和对应每个识别结果的置信度。

使用似然函数p(l_i|d_i),i＝1,…,N。其中，i表示肢体部件编号，N表示肢体部件的总数，此例中规定N＝10，l_i表示第i个肢体部件的参数表示，由中心点位置坐标和旋转角度三元组(x,y,θ)表示，d_i是l_i对应区域的图像特征；

作为一个或多个实施例，S1中，所述每个识别结果对应的置信度，是指每一部件检测器对每一帧进行滑窗扫描后给出的所有检测结果。

作为一个或多个实施例，S2中，估计被跟踪目标的面部朝向的具体步骤包括：

S201：将视频每一帧图像中被跟踪目标的头部区域利用矩形框进行标记；矩形框即为头部区域边界框；

S202：从头部区域边界框中，识别肤色区域；

S203：根据不同面部朝向的模板确定肤色区域在头部边界框中的位置；

根据肤色区域在头部边界框中的位置进行面部朝向判断：如果肤色区域在头部边界框中位于左下区域，则认为面部朝向右侧；如果肤色区域在头部边界框中位于右下区域，则认为面部朝向左侧。

作为一个或多个实施例，所述S201中，将视频每一帧图像中被跟踪目标的头部区域利用矩形框进行标记；矩形框即为头部区域边界框，具体是将S1输出的头部检测结果中具有最高置信度的位置区域设为头部区域；边界框根据预设分辨率比例画出，例如，人的高度如果预设220像素，那么头部区域采用33*28分辨率。

作为一个或多个实施例，所述S202中，从头部区域边界框中，识别肤色区域；具体是采用基于YCrCb颜色空间的肤色检测器来生成头部区域边界框中所包含的皮肤区域的二值图像。

作为一个或多个实施例，所述S203中，不同面部朝向的模板，具体是指：预设的一组能够指示面部朝向的二值区域模板，

图2(a)、图2(e)、图2(i)、图2(m)示例被跟踪目标不同朝向的头部矩形框区域；

图2(b)、图2(f)、图2(j)、图2(n)示例头部区域由肤色检测器获得的肤色区域；

图2(c)、图2(g)、图2(k)、图2(o)示例头部区域的肤色/非肤色区域的二值化结果；

图2(d)、图2(h)、图2(l)、图2(p)示例一组预设的不同面部朝向的模板；

图2(d)表示面部朝向前，图2(h)表示面部朝向后，图2(l)表示面部朝向左侧，图2(p)表示面部朝向右侧。

作为一个或多个实施例，S2中，根据面部朝向判断人体的面向位置的具体步骤包括：如果面部朝向左侧，则人体面向左侧；如果面部朝向后侧，则人体面向右侧。

作为一个或多个实施例，S3中，根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；具体步骤包括：

S301：如果根据面部朝向判断出人体面向右侧，则将左侧肢体部件赋予高优先级，即首先对左侧肢体部件的检测结果进行选取，得到左侧肢体部件的候选集；然后再在左侧肢体部件的候选基础上，选取右侧肢体部件，得到右侧肢体部件的候选集；

S302：如果根据面部朝向判断出人体面向左侧，则将右侧肢体部件赋予高优先级，即首先对右侧肢体部件的检测结果进行选取，得到右侧肢体部件的候选集；然后再在右侧肢体部件的候选基础上，选取左侧肢体部件，得到左侧肢体部件的候选集。

作为一个或多个实施例，S301和S302中，对肢体部件的检测结果进行选取得到候选集，具体是指：将S1中的每一肢体部件所有扫描检测结果根据高斯先验和估计的肢体朝向进行采样，高斯先验是指根据前一帧的检测结果，在靠近被跟踪肢体部件中心的位置并根据置信度高低排序采样更多的像素点位置作为候选集元素，例，可取每一肢体部件置信度的前a个作为该肢体部件候选集的元素，此处a可根据实际应用进行调整，一般小于30即可。

作为一个或多个实施例，S3中，对候选集利用图结构模型PS(PictorialStructure model)进行推断以获得肢体最终姿态，具体是指：

其中，E^u表示检测肢体部件的表观模型，E^p表示肢体之间的关联模型，对于肢体部位铰链式的人体结构表示为L＝[l₁,...,l_N]，相应的图像信息描述为D＝[d₁,...,d_N]，N是定义的肢体部位的数目；在t时刻，人体结构表示为L_t，图像信息用D_t表示，每一肢体部件用

表示，i表示肢体部件编号，N表示肢体部件的总数，此例中规定N＝10。i～j表示直接关联的两个肢体部件。

跟踪中使用图结构模型PS来建模人体姿态，模型中左右肢体部件的定义仅取决于它们在图像坐标系中的相对位置，这导致在视频序列跟踪中随着人体运动方位的不同，跟踪的肢体部件的左右经常混淆。另一方面，通常的图结构模型在肢体部件检测过程中，由于总是使用所有身体部件检测器中的候选来推断身体姿态，因此当遮挡存在时，例如侧面姿态，会出现“重复计算”问题，即使用相同的图像区域来确定两个对称肢体部件的位置。针对以上两个问题，我们提出了一种基于面部朝向的身体左右肢体部件一致性跟踪判别和修正方法，利用头部朝向在跟踪中提供有指导意义的信息。通过在跟踪框架中引入面部朝向的估计步骤，作为辅助人体姿态估计的工具。面部朝向是头部姿态的一种重要形式，在人体姿态跟踪过程中，我们需要一个指示人体朝向的指标(向左或向右)，这里通过设计肤色检测器来实现。通常，当被跟踪的目标处于侧向姿态时，遮挡更容易发生。在跟踪过程中，首先确定面部朝向，据此系统可以确定身体未遮挡侧为左侧或右侧，那么未遮挡侧即完全可见，然后再根据图像信息推断另一侧肢体的姿态。例如，对于某一侧向的位姿，头部姿态检测器指示面部朝向右侧，那么系统可以据此识别出身体的左侧是可见的，相应地，系统对左侧肢体部件给予更高的优先级，并将得分更高的肢体部件候选项首先分配给左侧；然后，再搜索右侧肢体的后验候选项，并参照其左侧肢体进行分配。如果某个右侧身体部件的所有后验分数都很低，则该部件即视为被遮挡。因此，所提方法可以有效地降低左右肢体部位判别的混淆，而且能够很好地避免重复计数问题，从而很好地实现人体左右肢体的一致性跟踪。

(1)对于肢体部件铰链式的人体结构，可以表示为L＝[l₁,...,l_N]，相应的图像信息描述为D＝[d₁,...,d_N]，其中N是定义的肢体部件的数目。在t时刻，人体结构表示为L_t，图像信息用D_t表示。给定一个图像序列，人体姿态跟踪是推断所有帧的后验概率p(L_t|D_t)，即估计每个肢体部件的最优轨迹，即找到最大后验：

如前所述，此框架存在两个问题，重复计数和跟踪中左右肢体判别不一致。为了提高跟踪效能，这里提出，在姿态估计时，首先利用头部朝向检测器估计头部朝向，然后根据估计结果给不同侧肢体部位赋予不同优先级，之后再来推断人体姿态。

在人体结构模型中，每个单独的肢体部件姿态由位置(x，y)和方向θ决定，N是定义的人体部件的数量，在我们的跟踪平台中，采用N＝10，即人体分为10个肢体部位：头部、躯干、左大腿、左小腿、右大腿、右小腿、左上臂、左下臂、右上臂、右下臂。图结构模型包括肢体部件表观模型部分(一元项)和肢体之间的关联建模部分(二元项)这两个部分，对于每一帧，有：

其中，i～j表示直接关联的两个肢体部件。一元项表示基于所有肢体部件的一组预训练表观模型，二元项表示肢体部件之间的关联关系信息。

(2)面部朝向估计面部朝向估计用来确定被跟踪目标的面向方位(左/右/前/后)，即在推断人体姿态之前，通过设计面部朝向估计器识别出被跟踪目标的面向方位，如前方、后方、左侧或右侧。给定头部边界框，我们注意到面部区域的绝对位置或面部与头发区域的相对位置是头部朝向估计的很重要线索。考虑到图像序列中人体姿态跟踪任务里面，图像中人体头部区域的尺寸一般较小，为了确保算法效率，我们采用肤色检测器来确定面部区域，将检测出的面部区域生成二值化表示。首先将头部图像从RGB颜色空间变换到YCbCr颜色空间，得到的图像由强度分量(Y)和色度分量(Cb和Cr)组成。YCbCr颜色空间是一种有效的彩色图像像素分离方法，适用于光照不均匀的复杂彩色图像。

为了确定面部朝向，预先设置一组用于不同面部朝向的模板，如图2(b)所示。将肤色区域的边界设计为椭圆形，并将其与头部边界框相交的区域视为以绿色标记的肤色区域。如果肤色区域仅位于边界框的右下或左下区域，则我们认为头部是向左或向右看的，则认定侧向姿势是向左或向右。算法如下：

在该方法中，对所有肢体部件，首先使用预训练的人体部件检测器得到所有肢体部件在每一帧图片中所有像素点位置的置信度，然后根据高斯先验和估计的肢体朝向，对每个肢体部件进行采样，并根据前一帧的检测结果，在靠近被跟踪肢体部件中心的位置采样更多的候选。根据头部朝向如果确定人体姿态不是正面或背面，那么系统可以首先确定肢体的哪一侧完全可见，并赋予该侧更高的优先级进行优先采样。下一步才是推断另一侧肢体的后验，并将其分配到与完全可见侧肢体不同的位置。特别地，如果另一侧肢体部件的所有后验值相对都很小，则该侧肢体部件将被视为被遮挡。如果肢体被确定为正面或背面，系统会直接通过完整的10部分图结构模型进行模型推断以获得人体姿态。

实施例二，本实施例还提供了基于面部朝向的身体左右肢体姿态跟踪判别系统；

基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：

肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

面部朝向估计模块，其被配置为：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

人体姿态判别模块，其被配置为：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于面部朝向的身体左右肢体一致性跟踪判别方法，其特征是，包括：

获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；

最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

2.如权利要求1所述的方法，其特征是，所述每个识别结果对应的置信度，是指每一部件检测器对每一帧进行滑窗扫描后给出的所有检测结果。

3.如权利要求1所述的方法，其特征是，估计被跟踪目标的面部朝向的具体步骤包括：

S201：将视频每一帧图像中被跟踪目标的头部区域利用矩形框进行标记；矩形框即为头部区域边界框；

S202：从头部区域边界框中，识别肤色区域；

S203：根据不同面部朝向的模板确定肤色区域在头部边界框中的位置；

根据肤色区域在头部边界框中的位置进行面部朝向判断：如果肤色区域在头部边界框中位于左下区域，则认为面部朝向右侧；如果肤色区域在头部边界框中位于右下区域，则认为面部朝向左侧。

4.如权利要求3所述的方法，其特征是，所述S202中，从头部区域边界框中，识别肤色区域；具体是采用基于YCrCb颜色空间的肤色检测器来生成头部区域边界框中所包含的皮肤区域的二值图像。

5.如权利要求1所述的方法，其特征是，根据面部朝向判断人体的面向位置的具体步骤包括：如果面部朝向左侧，则人体面向左侧；如果面部朝向后侧，则人体面向右侧。

6.如权利要求1所述的方法，其特征是，根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；具体步骤包括：

S301：如果根据面部朝向判断出人体面向右侧，则将左侧肢体部件赋予高优先级，即首先对左侧肢体部件的检测结果进行选取，得到左侧肢体部件的候选集；然后再在左侧肢体部件的候选基础上，选取右侧肢体部件，得到右侧肢体部件的候选集；

S302：如果根据面部朝向判断出人体面向左侧，则将右侧肢体部件赋予高优先级，即首先对右侧肢体部件的检测结果进行选取，得到右侧肢体部件的候选集；然后再在右侧肢体部件的候选基础上，选取左侧肢体部件，得到左侧肢体部件的候选集。

7.如权利要求1所述的方法，其特征是，对候选集利用图结构模型PS进行推断以获得肢体最终姿态，具体是指：

其中，E^u表示检测肢体部件的表观模型，E^p表示肢体之间的关联模型，对于肢体部位铰链式的人体结构表示为L＝[l₁,...,l_N]，相应的图像信息描述为D＝[d₁,...,d_N]，N是定义的肢体部位的数目；在t时刻，人体结构表示为L_t，图像信息用D_t表示，每一肢体部件用

表示，i表示肢体部件编号，N表示肢体部件的总数，i～j表示直接关联的两个肢体部件。

8.基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：

肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

面部朝向估计模块，其被配置为：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

人体姿态判别模块，其被配置为：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。

Images