CN108256479B - 人脸跟踪方法和装置 - Google Patents

Abstract

本申请实施例公开了人脸跟踪方法和装置。该方法的一具体实施方式包括：获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像；根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像；将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息。该实施方式实现了人脸跟踪准确度的提升。

Description

人脸跟踪方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及人脸跟踪方法和装置。

背景技术

随着计算机技术的发展，图像处理技术应用到了越来越多的领域。其中基于图像序列的人脸跟踪技术是从视频中检测出人脸，并在后续帧中捕获人脸位置、大小等信息的技术。

在人脸跟踪技术中，传统的方法包括基于模型跟踪和基于运动信息跟踪。其中基于模型跟踪是获取目标的先验知识，建立基于肤色、五官的相对位置等的模型，对每一帧图像通过滑动窗口进行匹配。基于运动信息跟踪是利用图像连续帧间目标运动的连续性规律，进行人脸区域的预测。通常采用运动分割、光流、立体视觉等方法，利用时空梯度，卡尔曼滤波器进行跟踪。上述方法针对同一帧图像中的不同人脸对象采用相同的模板或相同的预测方法进行跟踪，难以区分不同人脸之间的差异。

发明内容

本申请实施例提出了人脸跟踪方法和装置。

第一方面，本申请实施例提供了一种人脸跟踪方法，包括：获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像；根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像；将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。

在一些实施例中，上述方法还包括：将搜索区域中目标人脸对象的位置信息映射至当前图像帧中，得到当前图像帧中目标人脸对象的位置信息。

在一些实施例中，上述根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象位置的搜索区域，包括：以当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为搜索区域的中心位置，在当前图像帧中确定出至少覆盖当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

在一些实施例中，上述人脸区域定位模型包括第一卷积神经网络和第二卷积神经网络，以及全连接层；上述将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息，包括：将上一个图像帧对应的目标人脸图像输入第一卷积神经网络进行特征提取，得到第一特征；将当前图像帧对应的搜索区域图像输入第二卷积神经网络进行特征提取，得到第二特征；将第一特征和第二特征连接生成连接特征，并将连接特征输入人脸区域定位模型的全连接层，输出搜索区域中目标人脸对象的位置信息。

在一些实施例中，上述方法还包括：提取出当前图像帧中由搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成当前图像帧对应的目标人脸对象；比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致；根据比对结果确定搜索区域中目标人脸对象的位置信息是否准确。

在一些实施例中，上述比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致，包括：将上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果；其中，人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的。

第二方面，本申请实施例提供了一种人脸跟踪装置，包括：第一提取单元，用于获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像；第二提取单元，用于根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像；以及定位单元，用于将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。

在一些实施例中，上述装置还包括：映射单元，用于将搜索区域中目标人脸对象的位置信息映射至当前图像帧中，得到当前图像帧中目标人脸对象的位置信息。

在一些实施例中，上述第二提取单元用于按照如下方式从当前图像帧中确定出目标人脸对象位置的搜索区域：以当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为搜索区域的中心位置，在当前图像帧中确定出至少覆盖当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

在一些实施例中，上述人脸区域定位模型包括第一卷积神经网络和第二卷积神经网络，以及全连接层；以及上述定位单元用于按照如下方式确定搜索区域中目标人脸对象的位置信息：将上一个图像帧对应的目标人脸图像输入第一卷积神经网络进行特征提取，得到第一特征；将当前图像帧对应的搜索区域图像输入第二卷积神经网络进行特征提取，得到第二特征；将第一特征和第二特征连接生成连接特征，并将连接特征输入人脸区域定位模型的全连接层，输出搜索区域中目标人脸对象的位置信息。

在一些实施例中，上述装置还包括：第三提取单元，用于提取出当前图像帧中由搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成当前图像帧对应的目标人脸对象；比对单元，用于比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致，以及判断单元，用于根据比对结果确定搜索区域中目标人脸对象的位置信息是否准确。

在一些实施例中，上述比对单元用于按照如下方式比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致：将上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果；其中，人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的人脸跟踪方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的人脸跟踪方法。

本申请上述实施例的人脸跟踪方法和装置，通过获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像，而后根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像，之后将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的，实现了人脸跟踪准确度的提升，能够有效避免不同跟踪对象在图像中相距较近或交叠带来的跟踪误差。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的人脸跟踪方法的一个实施例的流程图；

图3是根据本申请的人脸跟踪方法的一个实施例的原理示意图；

图4是根据本申请的人脸跟踪方法的另一个实施例的流程图；

图5是根据本申请实施例的人脸跟踪装置的一个结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的人脸跟踪方法或人脸跟踪装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如摄影摄像类应用、图像处理类应用、搜索类应用等。

终端设备101、102、103可以是具有图像采集功能的电子设备，例如可以是监控摄像头、包含摄像头的门禁设备，也可以是具有显示屏、摄像头并且支持网络数据访问的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的视频进行处理的视频服务器。视频处理服务器可以对接收到的视频序列进行分析等处理，并将处理结果(例如跟踪到的人脸在视频序列的各图像帧中的位置信息)反馈给终端设备。

需要说明的是，本申请实施例所提供的人脸跟踪方法可以由服务器105执行，相应地，人脸跟踪装置可以设置于服务器105中。

需要指出的是，服务器105的本地也可以直接存储视频序列，服务器105可以直接提取本地的视频序列进行人脸识别，此时，示例性系统架构100可以不存在终端设备101、102、103和网络104。

还需要指出的是，终端设备101、102、103中也可以安装有视频处理类应用，终端设备101、102、103也可以基于视频处理类应用对视频序列进行人脸检测，此时，人脸跟踪方法也可以由终端设备101、102、103执行，相应地，人脸跟踪装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100可以不存在服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。例如服务器可以为集群式的服务器，包括部署了不同进程的多台服务器。

继续参考图2，其示出了根据本申请的人脸跟踪方法的一个实施例的流程200。该人脸跟踪方法，包括以下步骤：

步骤201，获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像。

在本实施例中，上述人脸跟踪方法运行于其上的电子设备(例如图1所示的终端设备或服务器)可以首先获取视频序列。这里的视频序列可以是某一场景(例如监控场景、电视电话会议场景)的视频序列，包括连续采集的多个图像帧。

上述视频序列可以存储于上述人脸跟踪方法运行于其上的电子设备中，这时，上述电子设备可以从存储器中读取视频序列。上述视频序列也可以是存储于其他设备中的，这时上述电子设备可以通过有线或无线的连接方式与存储视频序列的设备建立通信连接，可以响应于接收到视频检索请求而接收该存储视频序列的设备发送的视频序列，也可以主动向存储视频序列或采集视频序列的终端设备发出获取请求，接收终端设备响应于该获取请求而传输的视频序列。

在获取视频序列之后，可以依次检测视频序列中的每一个图像帧是否包含目标人脸对象，具体地，可以按照视频序列中图像帧的采集时间，从最先采集的图像帧开始，检测每一个图像帧是否包含目标人脸对象。在这里，目标人脸对象是跟踪对象，可以是指定身份标识的目标人脸对象，也可以是视频序列中检测到的人脸对象。在实际场景中，可以将视频序列中检测到的第一个人脸对象作为目标人脸对象，或者指定视频序列中的某一个人脸对象作为目标人脸对象。

可以采用人脸检测方法来确定出视频序列中第一个包含目标人脸对象的图像帧。检测目标人脸对象时，可以利用预先构建的人脸模型与图像帧进行匹配。该预先构建的人脸模型可以是包含五官的相对位置、相对尺寸、头部长宽比等数据和数据组合的模型，也可以是基于特征提取算法提取出的人脸图像的特征点构建的模型。还可以采用基于决策树、逻辑回归、隐马尔可夫、神经网络等架构的机器学习模型来进行人脸检测，在这里，机器学习模型可以是利用标记出其中的人脸对象的样本图像训练得出的。

需要说明的是，本实施例中人脸检测方法不限于上述基于人脸模型和基于机器学习的方法，还可以基于肤色等特征、采用小波变换、Adaboost等算法来执行人脸检测。

在检测到一个图像帧中包含目标人脸对象时，可以接着在下一个图像帧中检测该目标人脸对象，这样，可以依次检测出包含该人脸对象的所有图像帧。

具体来说，在确定了当前图像帧的上一个图像帧中目标人脸对象的位置时，可以对当前图像帧进行目标人脸对象的检测。这时可以获取当前图像帧的上一个图像帧中目标人脸对象的位置信息。该位置信息是目标人脸对象所覆盖区域在整个图像帧中的位置信息，可以例如是上一个图像帧中目标人脸对象所覆盖的图像区域的最小外接矩形的四个顶点的坐标。然后可以根据该位置信息从上一个图像帧中提取出目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像。例如可以将上述最小外接矩形内的图像信息提取出来形成上一个图像帧对应的目标人脸图像。

步骤202，根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像。

视频序列包括连续采集的图像帧，图像连续帧间目标运动具有连续性规律，通常同一对象在相邻两个图像帧之间的运动位移较小，也就是说，同一目标人脸对象在相邻两个图像帧之间的位置变化在一定的范围内。在本实施例中，可以根据上一个图像帧中目标人脸对象的位置信息确定当前图像帧中目标人脸对象的搜索范围。具体来说，可以在当前图像帧中划定一个覆盖上一个图像帧中目标人脸对象的位置信息所指示的范围的区域作为搜索区域，并且该区域的面积大于上一个图像帧中目标人脸对象所覆盖的区域的面积。然后提取出当前图像帧中搜索区域的图像信息，形成当前图像帧对应的搜索区域图像。

在本实施例的一些可选的实现方式中，上述根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象位置的搜索区域，可以按照如下方式实现：以当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为搜索区域的中心位置，在当前图像帧中确定出至少覆盖当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

具体来说，在上述实现方式中，可以将上一个图像帧中的目标人脸对象的位置信息所定位的中心位置的坐标和边缘位置的坐标映射至当前图像帧中，将该中心位置的坐标确定为搜索区域的中心位置坐标，然后将边缘位置向外扩展一定的范围，来确定搜索区域的边缘位置。举例来说，若上一个图像帧中的目标人脸对象的位置信息为矩形区域的四个顶点坐标，则可以在当前图像帧中以对应的矩形区域的中心点为中心，将矩形区域的每条边界向外扩展使得扩展后的矩形区域覆盖扩展之间的矩形区域，可以将扩展后的矩形区域作为搜索区域。

可以从当前图像帧中将搜索区域部分的图像分离出来，形成当前图像帧对应的搜索区域图像。该搜索区域图像为当前图像帧中目标人脸对象的搜索区域的图像。

步骤203，将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息。

在这里，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。

上述电子设备可以将步骤201提取出的上一个图像帧对应的目标人脸图像和步骤202提取出的当前图像帧对应的搜索区域图像输入已采用机器学习方法训练得到的人脸区域定位模型。利用人脸区域定位模型可以对输入的搜索区域图像中的目标人脸图像所包含的人脸对象进行定位，可以定位出搜索区域中与目标人脸图像中的人脸对象一致的人脸对象的图像区域。则可以得到搜索区域中目标人脸对象的位置信息。

上述人脸区域定位模型可以是采用有监督学习方法训练得出的。具体地，可以构建样本视频序列，并标记样本视频序列所包含的各图像帧中的至少一个人脸对象的位置信息，例如可以在样本视频序列的每一个图像帧中利用矩形框来标记人脸对象。可选地，还可以标记这些人脸对象的标识，以区分不同的人脸对象。然后将样本视频序列的相邻两个图像帧中的前一个图像帧的指定人脸对象的图像信息提取出来，形成样本人脸图像；将样本视频序列的相邻两个图像帧中的后一个图像帧中包含指定人脸对象的图像信息、且面积大于样本人脸图像面积的区域提取出来，形成样本搜索区域图像。之后可以将样本人脸图像和样本搜索区域图像输入人脸区域定位模型进行预测，人脸区域定位模型可以提取样本人脸图像的特征，在样本搜索区域图像中匹配提取出的特征，输出样本搜索区域图像中指定人脸对象的位置信息的预测结果。然后可以比对样本搜索区域图像中指定人脸对象的位置信息的预测结果所指示的人脸对象在样本视频序列的相邻两个图像帧中的后一个图像帧中的位置信息，以及标记的该人脸对象在样本视频序列的相邻两个图像帧中的后一个图像帧中的位置信息，根据比对结果所指示的二者的差异调整人脸区域定位模型的参数，重复迭代执行上述对人脸对象的位置信息进行预测、比对预测结果与标记结果、调整人脸区域定位模型的参数的步骤，直到人脸区域定位模型的预测结果与标记结果之间的差异满足预设的收敛条件，可以停止对人脸区域定位模型的参数的更新。这时，得到已训练的人脸区域定位模型。

在得到当前图像帧对应的搜索区域中目标人脸对象的位置信息之后，可以将下一个图像帧作为当前图像帧，采用上述方法确定下一个图像帧中目标人脸对象的位置信息，继而确定出视频序列中每个图像帧中目标人脸对象的位置信息，实现人脸跟踪。

本申请上述实施例的人脸跟踪方法，通过获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像，而后根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像，之后将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的，实现了结合位置连续性和人脸特征的人脸跟踪，提升了人脸跟踪的准确度，能够有效避免不同跟踪对象在图像中相距较近或交叠带来的跟踪误差。

在一些实施例中，上述人脸区域定位模型是基于卷积神经网络构建的，可以包括第一卷积神经网络和第二卷积神经网络，以及全连接层。第一卷积神经网络和第二卷积神经网络用于对输入的图像进行特征提取。第一卷积神经网络可以包括多个卷积层、多个池化层以及全连接层，第二卷积神经网络可以包括多个卷积层、多个池化层以及全连接层。输入第一卷积神经网络或第二卷积神经网络的图像经过卷积、池化以及归一化处理之后，得到图像的特征向量。

这时，上述将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息的步骤203可以按照如下方式执行：将当前图像帧的上一个图像帧对应的目标人脸图像输入第一卷积神经网络进行特征提取，得到第一特征；将当前图像帧对应的搜索区域图像输入第二卷积神经网络进行特征提取，得到第二特征；将第一特征和第二特征连接生成连接特征，并将连接特征输入人脸区域定位模型的全连接层，输出搜索区域中目标人脸对象的位置信息。

具体来说，可以将步骤201提取出的上一个图像帧对应的目标人脸图像输入第一卷积神经网络，由第一卷积神经网络提取出上一个图像帧对应的目标人脸图像的第一特征，该第一特征可以表征目标人脸对象的特征，可以例如为一个128维的向量；将步骤202提取出的当前图像帧对应的搜索区域图像输入第二卷积神经网络，由第二卷积神经网络提取出当前图像帧对应的搜索区域图像的第二特征，该第二特征可以表征当前图像帧对应的搜索区域图像的特征，可以例如为一个128维的向量。然后将第一特征与第二特征拼接起来生成连接特征，流入将两个128维的向量拼接起来形成一个256维的特征作为连接特征。之后将连接特征输入人脸区域定位模型的全连接层，该人脸区域定位模型的全连接层可以估算人脸区域的位置信息的概率(例如矩形区域的顶点坐标在搜索区域图像中的各个像素点位置的概率)，并根据概率确定出搜索区域图像中目标人脸对象的位置信息。

采用包括上述第一卷积神经网络和第二卷积神经网络，以及全连接层的人脸定位模型，可以精准地提取出上一个图像帧对应的目标人脸图像的人脸特征，和当前图像帧对应的搜索区域图像的特征，进而可以比对出当前图像帧中与目标人脸图像的人脸特征相似的特征所在的位置，从而可以更准确地定位目标人脸对象的位置信息。

在一些实施例中，上述人脸跟踪方法还可以包括：将搜索区域中目标人脸对象的位置信息映射至当前图像帧中，得到当前图像帧中目标人脸对象的位置信息。在输出搜索区域中目标人脸对象的位置信息之后，还可以根据步骤202中确定出目标人脸对象的搜索区域时所定位的搜索区域在当前图像帧中的位置，根据搜索区域在当前图像帧中的位置以及目标人脸对象在搜索区域图像中的位置信息确定目标人脸对象在当前图像帧中的位置信息。例如可以通过坐标转换将用于指示目标人脸对象在搜索区域图像中的位置的矩形的顶点坐标转换至当前图像帧的坐标中，得到当前图像帧中用于指示目标人脸对象在搜索区域图像中的位置的矩形的顶点坐标。

请参考图3，其示出了根据本申请的人脸跟踪方法一个实施例的原理示意图。如图3所示，在当前图像帧F2的上一个图像帧F1中确定了目标人脸对象的位置为图中矩形区域A，可以将在矩形区域A映射在当前图像帧F2中，并对该矩形区域向外扩展得到搜索区域R。

然后可以将矩形区域A从上一个图像帧F1中提取出来形成目标人脸图像，将搜索区域R从当前图像帧F2中提取出来形成搜索区域图像。之后将目标人脸图像和搜索区域输入人脸区域定位模型，具体地，将目标人脸图像输入人脸定位模型的第一卷积神经网络CNN1进行特征提取得到目标人脸对象的第一特征f1；将搜索区域图像输入人脸定位模型的第二卷积神经网络CNN2进行特征提取得到搜索区域脸图像的第二特征f2，之后将第一特征f1和第二特征f2拼接后输入人脸定位模型的全连接层FC，得到搜索区域图像中目标人脸对象的位置信息，如图所示矩形区域TA为目标人脸对象在搜索区域R中的位置。之后可以将搜索区域中目标人脸对象的位置TA信息至当前图像帧F2中，得到目标人脸对象在当前图像帧F2中的位置。

在得到当前图像帧F2中目标人脸对象的位置之后，可以将当前图像帧F2作为与图像帧F2相邻的下一个图像帧F3的上一个图像帧，将图像帧F3作为当前图像帧，继续执行上述人脸跟踪方法，由此实现了连续图像帧中目标人脸对象的位置跟踪。

图4示出了根据本申请的人脸跟踪方法的另一个实施例的流程图。如图4所示，该人脸跟踪方法的流程400可以包括以下步骤：

步骤401，获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像。

在本实施例中，人脸跟踪方法运行于其上的电子设备可以首先从本地或其他设备获取视频序列，并检测视频序列中的目标人脸对象。目标人脸对象可以是指定的人脸对象，或者是视频序列中检测到的第一个人脸对象。具体可以采用多种人脸检测方法来检测目标人脸对象。

在检测到一个图像帧中的目标人脸对象之后，可以继续对下一个图像帧中该目标人脸对象的位置进行追踪。具体地，可以将获取当前图像帧的上一个图像帧中目标人脸对象的位置信息，例如可以获取当前图像帧的上一个图像帧中目标人脸对象所在区域的坐标，然后提取出该区域的图像信息作为目标人脸图像。

步骤402，根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像。

可以在当前图像帧中划定一个覆盖上一个图像帧中目标人脸对象的位置信息所指示的范围的区域作为搜索区域，并且该区域的面积大于上一个图像帧中目标人脸对象所覆盖的区域的面积。然后提取出当前图像帧中搜索区域的图像信息，形成当前图像帧对应的搜索区域图像。

步骤403，将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息。

在这里，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。可以将步骤401提取出的上一个图像帧对应的目标人脸图像和步骤402提取出的当前图像帧对应的搜索区域图像输入已采用机器学习方法训练得到的人脸区域定位模型。通过人脸区域定位模型对输入的搜索区域图像中的目标人脸图像所包含的人脸对象进行定位，可以定位出搜索区域中与目标人脸图像中的人脸对象一致的人脸对象的图像区域。则可以得到搜索区域中目标人脸对象的位置信息。

上述步骤401、步骤402、步骤403分别与前述实施例的步骤201、步骤202、步骤203一一对应，上文针对步骤201、步骤202、步骤203的描述也适用于步骤401、步骤402、步骤403，此处不再赘述。

步骤404，提取出当前图像帧中由所述搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成当前图像帧对应的目标人脸对象。

在确定当前图像帧对应的搜索区域图像中目标人脸对象的位置信息之后，可以将搜索区域图像中目标人脸对象所在区域的图像信息提取出来，形成当前图像帧对应的目标人脸图像。

具体地，可以根据步骤403确定的搜索区域图像中目标人脸对象的位置信息，将搜索区域图像中该位置信息对应的区域从搜索区域图像中分割出来，则得到当前图像帧对应的目标人脸图像。

步骤405，比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致。

在本实施例中，可以比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致。在这里，比对的目的是确定上一个图像帧中定位出的目标人脸对象是否与当前图像帧中定位出的目标人脸对象为同一人脸对象。具体的比对方法可以为基于特征的比对方法。可以采用诸如尺度不变特征变换(Scale-invariant FeatureTransform，SIFT)、加速稳健特征(Speeded Up Robust Features,SURF)、基于高斯滤波器等的特征提取方法来提取两个目标人脸图像的特征点、纹理、轮廓等信息。然后基于提取出的特征计算二者的相似度，若相似度大于预设的阈值，则可以确定上一个图像帧中对应的目标人脸图像与当前图像帧对应的目标人脸图像一致。

在本实施例的一些可选的实现方式中，可以按照如下方式比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致：将上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果。其中，人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的。

具体来说，可以将两个目标人脸图像输入人脸图像一致性比对模型，人脸图像一致性比对模型可以基于卷积神经网络构建，可以提取输入的两个图像的特征图，并比对特征图所表征的图像特征之间的一致性。该人脸图像一致性比对模型可以采用如下方式训练：获取已标记一致性比对结果的样本人脸图像对，将样本人脸图像对输入人脸图像一致性比对模型，得到样本人脸图像对的一致性比对的预测结果，基于人脸图像预知性比对模型的输出和样本人脸图像对的一致性比对的标记结果构建损失函数，计算损失函数的值，采用反向传播算法更新人脸图像一致性比对模型的参数，直到损失函数的值小于预设的值。这时得到已训练的人脸图像一致性比对模型。

步骤406，根据比对结果确定搜索区域中目标人脸对象的位置信息是否准确。

若比对结果为上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像一致，则可以确定搜索区域中目标人脸对象的位置信息准确。若比对结果为上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像不一致，则可以确定搜索区域中目标人脸对象的位置信息不准确。这时可以返回执行步骤202和步骤203，重新确定搜索区域并定位搜索区域中的目标人脸对象，或者可以认为目标人脸对象未出现在当前图像帧中，结束人脸跟踪。

从图4可以看出，本实施例的人脸跟踪方法通过增加比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像的一致性的步骤，可以进一步保证相邻图像帧中提取出的目标人脸对象为同一人脸对象，避免在人脸跟踪过程中跟错对象，进一步提升人脸跟踪的精确度。

继续参考图5，作为对上述各图所示方法的实现，本申请提供了一种人脸跟踪装置的一个实施例，该装置实施例与图2和图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的人脸跟踪装置500包括：第一提取单元501、第二提取单元502以及定位单元503。其中，第一提取单元501可以用于获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像；第二提取单元502可以用于根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像；定位单元503可以用于将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。

在本实施例中，第一提取单元501可以首先获取视频序列，然后检测视频序列中的图像帧是否包含目标人脸对象。具体地，可以按照视频序列中图像帧的采集时间，从最先采集的图像帧开始，检测每一个图像帧是否包含目标人脸对象。在这里，目标人脸对象可以是指定身份标识的目标人脸对象，也可以是视频序列中检测到的任意一个人脸对象。在实际场景中，可以将视频序列中检测到的第一个人脸对象作为目标人脸对象，或者指定视频序列中的某一个人脸对象作为目标人脸对象。

然后可以确定检测到的目标人脸对象在图像帧中的位置信息。在对当前图像帧进行目标人脸对象跟踪时第一提取单元501可以获取上一个图像帧中已检测出的目标人脸对象的位置信息，然后将该位置信息所指示的目标人脸对象在上一个图像帧中的区域分割出来，形成上一个图像帧对应的目标人脸图像。

第二提取单元502可以根据上一个图像帧中目标人脸对象的位置信息确定当前图像帧中目标人脸对象的搜索范围。具体来说，第二提取单元502可以在当前图像帧中划定一个覆盖上一个图像帧中目标人脸对象的位置信息所指示的范围、且面积大于上一个图像帧中目标人脸对象的位置信息所指示的范围的区域作为搜索区域。然后提取出当前图像帧中搜索区域的图像信息，形成当前图像帧对应的搜索区域图像。

定位单元503可以利用人脸区域定位模型，对上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像进行特征提取，并比对提取出的特征，从而在搜索区域图像中找出目标人脸对象的位置。

在一些实施例中，上述装置500还可以包括：映射单元，用于将搜索区域中目标人脸对象的位置信息映射至当前图像帧中，得到当前图像帧中目标人脸对象的位置信息。

在一些实施例中，上述第二提取单元502可以用于按照如下方式从当前图像帧中确定出目标人脸对象位置的搜索区域：以当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为搜索区域的中心位置，在当前图像帧中确定出至少覆盖当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

在一些实施例中，上述人脸区域定位模型包括第一卷积神经网络和第二卷积神经网络，以及全连接层。这时，上述定位单元503可以用于按照如下方式确定搜索区域中目标人脸对象的位置信息：将上一个图像帧对应的目标人脸图像输入第一卷积神经网络进行特征提取，得到第一特征；将当前图像帧对应的搜索区域图像输入第二卷积神经网络进行特征提取，得到第二特征；将第一特征和第二特征连接生成连接特征，并将连接特征输入人脸区域定位模型的全连接层，输出搜索区域中目标人脸对象的位置信息。

在一些实施例中，上述装置500还可以包括：第三提取单元，用于提取出当前图像帧中由搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成当前图像帧对应的目标人脸对象；比对单元，用于比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致，以及判断单元，用于根据比对结果确定搜索区域中目标人脸对象的位置信息是否准确。

在进一步的实施例中，上述比对单元可以用于按照如下方式比对上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像是否一致：将上一个图像帧对应的目标人脸图像和当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果；其中，人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的。

装置500中记载的诸单元与参考图2和图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

本申请上述实施例的人脸跟踪装置500，通过第一提取单元获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像，而后第二提取单元根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像，最后定位单元将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的，实现了结合位置连续性和人脸特征的人脸跟踪，提升了人脸跟踪的准确度，能够有效避免不同跟踪对象在图像中相距较近或交叠带来的跟踪误差。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一提取单元、第二提取单元和定位单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，提取单元还可以被描述为“获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出当前图像帧的上一个图像帧中由位置信息所指示的目标人脸对象所在区域的图像信息，形成上一个图像帧对应的目标人脸图像；根据当前图像帧的上一个图像帧中目标人脸对象的位置信息，从当前图像帧中确定出目标人脸对象的搜索区域，提取出搜索区域的图像信息，形成当前图像帧对应的搜索区域图像；将上一个图像帧对应的目标人脸图像和当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出搜索区域中目标人脸对象的位置信息；其中，人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种人脸跟踪方法，包括：

获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出所述当前图像帧的上一个图像帧中由所述位置信息所指示的目标人脸对象所在区域的图像信息，形成所述上一个图像帧对应的目标人脸图像；

根据所述当前图像帧的上一个图像帧中目标人脸对象的位置信息，从所述当前图像帧中确定出目标人脸对象的搜索区域，提取出所述搜索区域的图像信息，形成所述当前图像帧对应的搜索区域图像；

将所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出所述搜索区域中目标人脸对象的位置信息；

其中，所述人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的；

所述方法还包括：提取出所述当前图像帧中由所述搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成所述当前图像帧对应的目标人脸对象；基于目标人脸图像的人脸特征，比对上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像是否一致，包括：将所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果，所述人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的；根据比对结果确定所述搜索区域中目标人脸对象的位置信息是否准确；

其中，所述根据比对结果确定所述搜索区域中目标人脸对象的位置信息是否准确，包括：若比对结果为所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像不一致，则确定所述搜索区域中目标人脸对象的位置信息不准确，重新从所述当前图像帧中确定出目标人脸对象的搜索区域并定位搜索区域中的目标人脸对象。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将所述搜索区域中目标人脸对象的位置信息映射至所述当前图像帧中，得到所述当前图像帧中所述目标人脸对象的位置信息。

3.根据权利要求1所述的方法，其中，所述根据所述当前图像帧的上一个图像帧中目标人脸对象的位置信息，从所述当前图像帧中确定出目标人脸对象位置的搜索区域，包括：

以所述当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为所述搜索区域的中心位置，在所述当前图像帧中确定出至少覆盖所述当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

4.根据权利要求1所述的方法，其中，所述人脸区域定位模型包括第一卷积神经网络和第二卷积神经网络，以及全连接层；

所述将所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出所述搜索区域中目标人脸对象的位置信息，包括：

将所述上一个图像帧对应的目标人脸图像输入所述第一卷积神经网络进行特征提取，得到第一特征；

将所述当前图像帧对应的搜索区域图像输入所述第二卷积神经网络进行特征提取，得到第二特征；

将所述第一特征和所述第二特征连接生成连接特征，并将连接特征输入所述人脸区域定位模型的全连接层，输出所述搜索区域中目标人脸对象的位置信息。

5.一种人脸跟踪装置，包括：

第一提取单元，用于获取视频序列中当前图像帧的上一个图像帧中目标人脸对象的位置信息，并提取出所述当前图像帧的上一个图像帧中由所述位置信息所指示的目标人脸对象所在区域的图像信息，形成所述上一个图像帧对应的目标人脸图像；

第二提取单元，用于根据所述当前图像帧的上一个图像帧中目标人脸对象的位置信息，从所述当前图像帧中确定出目标人脸对象的搜索区域，提取出所述搜索区域的图像信息，形成所述当前图像帧对应的搜索区域图像；

定位单元，用于将所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的搜索区域图像输入人脸区域定位模型，输出所述搜索区域中目标人脸对象的位置信息；

其中，所述人脸区域定位模型是基于已标记了所包含的各图像帧中的人脸对象的位置信息的样本视频序列训练得到的；

所述装置还包括：第三提取单元，用于提取出所述当前图像帧中由所述搜索区域中目标人脸对象的位置信息所指示的目标人脸对象所在区域的图像信息，形成所述当前图像帧对应的目标人脸对象；比对单元，用于基于目标人脸图像的人脸特征，比对上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像是否一致，包括：将所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像输入人脸图像一致性比对模型，得到比对结果，所述人脸图像一致性比对模型是基于卷积神经网络构建、并基于已标记一致性比对结果的样本人脸图像对训练得出的；以及判断单元，用于根据比对结果确定所述搜索区域中目标人脸对象的位置信息是否准确；

其中，所述判断单元，进一步用于若比对结果为所述上一个图像帧对应的目标人脸图像和所述当前图像帧对应的目标人脸图像不一致，则确定所述搜索区域中目标人脸对象的位置信息不准确，重新从所述当前图像帧中确定出目标人脸对象的搜索区域并定位搜索区域中的目标人脸对象。

6.根据权利要求5所述的装置，其中，所述装置还包括：

映射单元，用于将所述搜索区域中目标人脸对象的位置信息映射至所述当前图像帧中，得到所述当前图像帧中所述目标人脸对象的位置信息。

7.根据权利要求5所述的装置，其中，所述第二提取单元用于按照如下方式从所述当前图像帧中确定出目标人脸对象位置的搜索区域：

以所述当前图像帧的上一个图像帧中目标人脸对象的位置信息所定位的中心位置为所述搜索区域的中心位置，在所述当前图像帧中确定出至少覆盖所述当前图像帧的上一个图像帧中目标人脸对象的位置信息所指示的图像区域的搜索区域。

8.根据权利要求5所述的装置，其中，所述人脸区域定位模型包括第一卷积神经网络和第二卷积神经网络，以及全连接层；

所述定位单元用于按照如下方式确定所述搜索区域中目标人脸对象的位置信息：

将所述上一个图像帧对应的目标人脸图像输入所述第一卷积神经网络进行特征提取，得到第一特征；

将所述当前图像帧对应的搜索区域图像输入所述第二卷积神经网络进行特征提取，得到第二特征；

将所述第一特征和所述第二特征连接生成连接特征，并将连接特征输入所述人脸区域定位模型的全连接层，输出所述搜索区域中目标人脸对象的位置信息。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。