CN114353818B - 目标对象跟随方法、装置、设备、介质和计算机程序产品 - Google Patents

Abstract

本申请公开了一种目标对象跟随方法、装置、设备、介质和计算机程序产品。所述方法包括，在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；根据所述图像序列，确定所述目标对象的运动轨迹点集合；根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合；根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径；根据所述行驶路径跟随所述目标对象。根据本申请实施例实现了车辆自动跟随目标对象。

Description

目标对象跟随方法、装置、设备、介质和计算机程序产品

技术领域

本申请属于目标追踪技术领域，尤其涉及一种目标对象跟随方法、装置、设备、介质和计算机程序产品。

背景技术

随着经济科技的发展，人们对生活品质的要求越来越高，用户在长途开车旅行或者越野的时候，由于开车比较疲倦在比较平坦的路面想下车走走拍照的时候，用户希望车辆可以主动跟随自己，使用户想重新出发时不用重新返回停车点。

因此，如何实现车辆自动跟随目标对象成为目前急需解决的技术问题。

发明内容

本申请实施例提供的一种目标对象跟随方法、装置、设备、介质和计算机程序产品，能够实现车辆自动跟随目标对象。

第一方面，本申请实施例提供一种目标对象跟随方法应用于车辆，包括：

在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

根据所述图像序列，确定所述目标对象的运动轨迹点集合；

根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息；

根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径；

根据所述行驶路径跟随所述目标对象。

在一些实施例中，所述根据所述图像序列，确定所述目标对象的运动轨迹点集合，包括：

根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹点。

在一些实施例中，所述目标对象跟随回归模型包括并行的第一特征提取网络和第二特征提取网络，以及全连接层；

所述根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹点，具体包括：

通过第一特征提取网络提取第一帧图像的第一目标对象特征，并通过所述第二特征提取网络提取第二帧图像的第二目标对象特征，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像；

将所述第一目标对象特征和第二目标对象特征输入到所述全连接层，通过所述全连接层，确定所述目标对象的相对运动趋势；

根据所述相对运动趋势，确定所述目标对象在所述第二帧图像中的边界框的预设特征点的坐标点；

根据所述边界框的预设特征点的坐标点，确定所述目标对象在所述第二帧图像中的运动轨迹点。

在一些实施例中，提取所述第二帧图像中所述目标对象的快速定向旋转(Oriented fast and Rotated Brie，ORB)特征点的坐标点；

根据坐标系之间的第一坐标转换关系，将所述ORB特征点的坐标点转换为像素坐标系下的第一像素坐标点；

所述根据所述边界框的预设特征点的坐标点，确定所述目标对象在所述第二帧图像中的运动轨迹点，包括：

根据坐标系之间的第二坐标转换关系，将所述边界框的预设特征点的坐标点转换为像素坐标系下的第二像素坐标点；

根据所述第一像素坐标点与所述第二像素坐标点，生成所述目标对象在所述第二帧图像中的运动轨迹点。

在一些实施例中，所述根据所述车辆的准运动轨迹，规划所述车辆的行驶路径，包括：

在所述车辆的准运动轨迹点集合中的轨迹点数量大于预设数值时，根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径。

在一些实施例中，在根据所述行驶路径跟随所述目标对象之后，还包括：

在跟随所述目标对象的过程中，检测到所述行驶路径中遇到障碍物时，停止跟随所述目标对象，并向目标终端发送第一提示信息，其中，所述目标终端与所述车辆建立有通信连接的终端，所述第一提示信息用于提示所述车辆停止跟随所述目标对象。

在一些实施例中，在获取目标对象在运动过程中的图像序列之前，还包括：

获取由相机采集到的待识别图像；

根据所述待识别图像，识别所述目标对象。

在一些实施例中，在获取由相机采集到的待识别图像之前，还包括：

接收目标终端发送的第二提示信息；

根据所述第二提示信息开启车辆目标对象跟随模式。

第二方面，本申请实施例提供了一种目标对象跟随装置，装置包括：

获取模块，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

第一确定模块，用于根据所述图像序列，确定所述目标对象的运动轨迹点集合；

第二确定模块，用于根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息；

规划模块，用于根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径；

跟随模块，用于根据所述行驶路径跟随所述目标对象。

第三方面，本申请实施例提供了一种车辆，车辆包括：

相机，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

处理器，用于执行本申请任一实施例中所述的目标对象跟随方法。

第四方面，本申请实施例提供了一种目标对象跟随设备，设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现本申请任一实施例中所述的目标对象跟随方法。

第五方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如本申请任一实施例中所述的目标对象跟随方法。

第六方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如本申请任一实施例中所述的目标对象跟随方法。

本申请实施例的一种目标对象跟随方法、装置、设备、介质和计算机程序产品，本申请实施例中，在处于车辆目标对象跟随模式的情况下，在根据目标对象在运动过程中的图像序列后确定目标对象的运动轨迹点集合之后，根据该运动轨迹点集合与相对位置信息来确定车辆的准运动轨迹点集合，进而根据该准运动轨迹点集合规划的车辆的行驶路径是可以与目标对象运动轨迹相匹配的路径，实现了车辆根据该行驶路径准确的跟随目标对象，实现了车辆对目标对象的自动跟随。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种坐标系转换示意图；

图2是本申请实施例提供的一种目标对象跟随方法流程示意图；

图3是本申请实施例提供的另一种目标对象跟随方法流程示意图；

图4是本申请实施例提供的再一种目标对象跟随方法流程示意图；

图5是本申请实施例提供的再一种目标对象跟随方法流程示意图；

图6是本申请实施例提供的再一种目标对象跟随方法流程示意图；

图7a是本申请实施例提供的一种应用场景中的目标对象跟随方法流程示意图；

图7b是本申请实施例提供的一种应用场景中的车辆跟随目标对象示意图；

图8是本申请实施例提供的目标对象跟随方法装置示意图；

图9是本申请实施例提供的目标对象跟随方法设备示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在阐述本申请实施例所提供的技术方案之前，为了便于对本申请实施例理解，本申请首先对专用术语进行介绍。

图像坐标系：以相机采集的矩形图像的中心为原点的平面直接坐标系，其中，坐标轴的延伸方向与图像的边界延伸方向一致。

像素坐标系：以相机采集的矩形图像的角点为原点的平面直接坐标系，其中，坐标轴的延伸方向图像坐标系坐标轴的延伸方向一致。

相机坐标系：以预设位置为原点的三维笛卡儿坐标系，其中，预设位置点是预先设置的代表车辆位置的位置点。

作为一个示例，图像坐标系与像素坐标系的关系可以如图1所示，其中，x轴与y轴表示图像坐标系中的坐标轴，u轴与v轴表示像素坐标系轴的坐标轴，O₁表示图像坐标系中的原点，O₀表示像素坐标系中的原点。可以理解的是，在像素坐标系与图像坐标系的坐标尺度一般而言并不相同。

如背景技术所述，有时用户希望车辆可以自动跟随自己，以方便用户在想继续驾驶车辆时不用重新返回停车点。

为了解决现有技术问题，本申请实施例提供了一种应用于车辆的目标对象跟随方法、装置、设备、介质和计算机程序产品。

下面首先对本申请实施例所提供的目标对象跟随方法进行介绍。

图2示出了本申请实施例提供的一种目标对象跟随方法流程示意图，所示方法包括：

S110，在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列。

S120，根据所述图像序列，确定所述目标对象的运动轨迹点集合。

S130，根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息。

S140，根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径。

S150，根据所述行驶路径跟随所述目标对象。

本申请实施例中，本申请实施例中，在处于车辆目标对象跟随模式的情况下，在根据目标对象在运动过程中的图像序列后确定目标对象的运动轨迹点集合之后，根据该运动轨迹点集合与相对位置信息来确定车辆的准运动轨迹点集合，进而根据该准运动轨迹点集合规划的车辆的行驶路径是可以与目标对象运动轨迹相匹配的路径，实现了车辆根据该行驶路径准确的跟随目标对象，实现了车辆对目标对象的自动跟随。

为了便于描述，以下以目标对象跟随作为执行主体，对目标对象跟随方法的具体过程进行说明。

在一些实施例中，在S110中，目标对象可以是当前车辆的用户，车辆在处于车辆目标对象跟随模式时，对用户进行追踪跟随，此时目标对象跟随装置通过安装在车辆上的相机采集的图像得到用户在运动过程中的图像序列。

为了提高车辆自动跟随的准确性，如图3所示的本申请实施例提供的另一种目标对象跟随方法流程示意图在一些实施例中，在获取目标对象在运动过程中的图像序列之前，还可以包括S210-S220：

S210，获取由相机采集到的待识别图像。

在一些实施例中，在S120中，目标对象跟随装置将安装在车辆上的相机采集到的当前图像作为待识别图像。具体地，相机采集图像的方式本申请实施例不在限定，可以是按照一定的时间间隔采集图像，例如每隔w毫秒就采集一张图像，也可以是根据相机实时拍摄的视频，通过对拍摄的视频数据进行处理图像处理进而得到图像。

在一些实施例中，相机可以是安装在车辆上的侧视相机。

S220，根据所述待识别图像，识别所述目标对象。

在一些实施例中，在S220中，目标对象跟随装置通过人脸识别模型对用户进行人脸识别以确定用户的身份，保证后续车辆跟随特定的用户。

作为一个示例，目标对象跟随装置可以通过基于卷积神经网络 (ConvolutionalNeural Networks,CNN)的图像人脸检测的开源库Libfacedetection对人脸识别进行模型训练后，识别待识别图像中的用户。

本申请实施例中，在跟随目标对象之前还对目标对象进行识别以保证跟随特定的对象，避免了跟随错误的对象，提高了车辆跟随的准确性。

为了满足用户对车辆跟随不同场景应用的需求，在一些实施例中，如图4所示的本申请实施例提供的再一种目标对象跟随方法流程示意图，在获取由相机采集到的待识别图像之前，还可以包括S310-S320：

S310：接收目标终端发送的第二提示信息。

在一些实施例中，在S310中，目标终端为用户的移动终端。用户在需要车辆跟随时，通过移动终端选择开启车辆目标对象跟随模式后，移动终端将包括指示目标对象跟随装置开启车辆目标对象跟随模式的信息的第二提示信息发送给目标对象跟随装置，目标对象跟随装置即接收到第二提示信息。例如，用户喝酒后避免酒驾则通过手机选择开启车辆目标对象跟随模式，或者用户在旅游时想要中途拍照也可以手机选择开启车辆目标对象跟随模式。

S320：根据所述第二提示信息开启车辆目标对象跟随模式。

在一些实施例中，在S320中，目标对象跟随装置在接收到第二提示信息后即开启车辆目标对象跟随模式。

本申请实施例中，在只有在接收到目标终端发送的第二提示信息后才会根据该信息开启车辆目标跟随模式，也就是说，当用户想要车辆跟随自己时，通过目标终端即可控制车辆开始跟随，满足了用户对车辆跟随不同场景应用的需求。

在一些实施例中，在S120中，图像序列包含若干张图像，每一张图像中用户的位置相较于前一张图像都会有变化，目标对象跟随装置将用户的用一个点来表示，将用户的位置的变化都记录同一张图像上进而得到用户在用户过程中的运动轨迹点集合。

为了提高运动轨迹点的获取效率，在一些实施例中，S120可以包括：

根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹点。

该实施方式中，目标对象跟随装置将图像序列中的每一帧图像输入到目标对象跟随回归模型中，通过目标对象跟随回归模型对图像进行处理进而输出用户的运动轨迹点集合。

本申请实施例中，目标对象的运动轨迹点由目标对象运动过程中的图像序列以及目标跟随回归模型来确定，通过模型自主确定运动轨迹点提高了运动轨迹点的获取效率。

为了提高运动轨迹点的获取效率，在一些实施例中，所述目标对象跟随回归模型包括并行的第一特征提取网络和第二特征提取网络，以及全连接层，

根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹可以包括：

通过第一特征提取网络提取第一帧图像的第一目标对象特征，并通过所述第二特征提取网络提取第二帧图像的第二目标对象特征，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像；

在一些实施例中，第二帧图像为图像序列中当前帧的图像，目标对象跟随装置将图像序列中的位于当前帧的图像的前一帧图像输入到第一特征提取网络，将当前帧的图像输入到第二特征提取网络之后，第一特征提取网络与第二特征提取网络并行处理输入的图像，提取图像中相同的目标对象特征后将提取到的特征输入到全连接层。

在一些实施例中，目标对象特征为包括用于指示目标对象的特征信息以及目标对象周围环境物体的特征信息。

将所述第一目标对象特征和第二目标对象特征输入到所述全连接层，通过所述全连接层，确定所述目标对象的相对运动趋势；

在一些实施例中，在将所述第一目标对象特征和第二目标对象特征输入到所述全连接层之前还可以包括将第一目标对象特征和第二目标对象特征进行融合，将融合后的目标对象特征输入到所述全连接层。

作为一个示例，目标对象跟随回归模型可以是一种基于CNN的目标对象跟随模型，第一特征提取网络和第二特征提取网络可以是该基于CNN的目标对象跟随模型中的两个基于CNN的子跟随模型，其中一个子跟随模型负责提取当前帧的图像中用于识别用户的特征，另一个子跟随模型负责提取前一帧的图像中用于识别用户的特征。两相邻帧的图像的特征提取完后，将提取的特征融合后输出到全连接层，全连接层根据融合后的特征预测用户的运动趋势后输出用户在当前帧的图像上相对于前一帧的图像上的相对运动趋势。

根据所述相对运动趋势，确定所述目标对象在所述第二帧图像中的边界框的预设特征点的坐标点；

在一些实施例中，预设特征点为预设选取的边界框中的一个点，目标对象跟随装置通过全连接层根据预测的用户在当前帧的图像中的相对运动趋势，划定一个边界框以包含用户的相对运动趋势下的波动范围，并输出该边界框的预设特征点在图像坐标系下的坐标。

作为一个示例，预设特征点可以为边界框的中心点。

根据所述边界框的预设特征点的坐标点，确定所述目标对象在所述第二帧图像中的运动轨迹点。

本申请实施例中，通过第一特征提取网络、第二特征提取网络以及全连接层完成对相邻两帧图像的进行处理，以得到目标对象的相对运动趋势，再根据该相对运动趋势确定目标对象在第二帧图像中的边界框，划定目标图像在第二帧图像中的位移的范围，进而以边界框的预设特征点的坐标点确定的运动轨迹点，不必通过复杂的步骤去计算目标对象运动后的位置，提高了获取运动轨迹点的效率。

为了提高车辆自动跟随的准确性，在一些实施例中，如图5所示的本申请实施例提供的再一种目标对象跟随方法流程示意图，所示方法还可以包括S410-S440：

S410，提取所述第二帧图像中所述目标对象的快速定向旋转ORB特征点的坐标点。

S420，根据坐标系之间的坐标转换关系，将所述ORB特征点的坐标点转换为像素坐标系下的第一像素坐标点。

S430，根据坐标系之间的坐标转换关系，将所述边界框的预设特征点的坐标点转换为像素坐标系下的第二像素坐标点。

S440，根据所述第一像素坐标点与所述第二像素坐标点，生成所述目标对象在所述第二帧图像中的运动轨迹点。

本申请实施例中，目标对象在第二帧图像中的运动轨迹点是根据边界框的预设特征点的第二像素坐标点和第二帧图像中目标对象的ORB特征点的第一像素坐标点生成的，也就是说，运动轨迹点是在边界框划定的目标对象在第二帧图像中的运动范围的基础上，又进一步结合目标对象的ORB 特征点得到的，提高了计算对象的运动轨迹点的准确性，进而提高车辆跟随的准确性。

在一些实施例中，在S410中，目标对象跟随装置根据像第二帧图像中像素的明暗程度素提取用户的ORB特征点后，并通过位姿估计算法计算 ORB特征点相对于相机坐标系下原点的位置，得到ORB特征点在相机坐标系下的坐标点。位姿估计算法为现有技术，在此不做赘述。

在一些实施例中，在S420中，第一坐标转换关系为三维坐标系转换二维坐标系的转换关系，目标对象跟随装置通过三维坐标系转换二维坐标系的转换关系，将ORB特征点在相机坐标系下的坐标点转换为像素坐标系下的第一像素坐标点。其中，三维坐标系转换二维坐标系的转换关系为现有技术，在此不做赘述。

在一些实施例中，在S430中，第二坐标转换关系为图像坐标系转换为像素坐标系的转换关系，目标对象跟随装置通过图像坐标系转换为像素坐标系的转换关系，将边界框的预设特征点的在图像坐标系下的坐标点转换为像素坐标系下的第二像素坐标点。

在一些实施例中，参照图1，图像坐标系转换为像素坐标系的转换关系可以为式1，通过式1将边界框的预设特征点的在图像坐标系下的坐标点转换为像素坐标系下的第二像素坐标点。

其中，u表示像素坐标系中的横坐标值；v表示像素坐标系中的纵坐标值；u₀和v₀分别表示在图像坐标系下图像坐标系中的原点与像素坐标系中的原点之间相差的横向像素的个数和纵向像素的个数；dx和和dy分别表示在图像坐标系下，在x轴方向和y轴方向上一个像素分别所占的单位长度。

在一些实施例中，在S440中，目标对象跟随装置基于第一像素坐标点和第二像素坐标点生成用户在当前图像中的运动轨迹点，并将运动轨迹点添加到运动轨迹点集合中。

在一些实施例中，在S130中，相对位置信息为像素坐标系下预设坐标偏移量，目标对象跟随装置在得到用户在当前图像中的运动轨迹点后，通过将运动轨迹点的坐标按照预设坐标偏移量在像素坐标系下偏移，偏移后的运动轨迹点即为车辆的准运动轨迹点，并将准运动轨迹点添加到准运动轨迹点集合中。

作为一个示例，预设坐标偏移量可以为车辆与用户之间水平方向上的预设距离。

在一些实施例中，在S140中，目标对象跟随装置结合当前帧的图像中提取的ORB特征点，将车辆的准运动轨迹点集合中像素坐标系下的各个准运动轨迹点转换到基于相机坐标系下的二维局部地图中，并连接各准运动轨迹点得到车辆的准运动轨迹，之后基于车辆的准运动轨迹规划车辆的行驶路径。行驶路径具体包括的要素根据实际情况而定，本申请实施例不做限制，例如行驶路径可以包括但不限于车辆的跟随速度，行驶方向以及行驶轨迹等信息。二维局部地图可以为当前帧的图像也可以为前面某一帧的图像。

为了提高车辆跟随的准确性，在一些实施例中，所述根据所述车辆的准运动轨迹，规划所述车辆的行驶路径，可以包括：

在所述车辆的准运动轨迹点集合中的轨迹点数量大于预设数值时，根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径。

在一些实施例中，预设数值可以为100。

本申请实施例中，先累积一定数量的轨迹点后，再根据车辆的准运动轨迹，规划车辆的行驶路径，也就是说，在目标对象运动了一段时间后才开始对车辆的行驶路径进行规划，使行驶路径更贴合用户的运动轨迹，提高了车辆跟随的准确性。

为了提高车辆自动跟随的安全性，在一些实施中，如图6所示的本申请实施例提供的一种目标对象跟随方法流程示意图，在根据所述行驶路径跟随所述目标对象之后，还可以包括S510：

S510：在跟随所述目标对象的过程中，检测到所述行驶路径中遇到障碍物时，停止跟随所述目标对象，并向目标终端发送第一提示信息，其中，所述目标终端与所述车辆建立有通信连接的终端，所述第一提示信息用于提示所述车辆停止跟随所述目标对象。

在一些实施例中，在S510中，目标终端可以是用户的移动终端，目标对象跟随装置在跟随用户的过程中实时检测路况，当检测到行驶路径中有妨碍车辆前进的障碍物后就立即停止车辆跟随，并向用户的移动终端发送提示用户车辆当前停止跟随的提示信息。目标对象跟随装置在跟随用户的过程中实时检测障碍物的具体方式本申请实施例不做限制，可以是通过蓝牙、雷达、红外或超声波等物理波信号对车辆周围环境进行扫描以检测障碍物，也可以结合人工智能以及车辆摄像头采集的图像对车辆周围环境进行检测。可以理解的是，障碍物包括但不限于行驶路径中的车辆前方的路人等生物以及妨碍车辆前进的客体例如墙壁，路桩等。

在一些实施例中，用户在不想车辆跟随时还可以在移动终端选择终止车辆目标对象跟随模式，移动终端将该提示信息发送给目标对象跟随装置。目标对象跟随装置在接收到该提示信息后就停止跟随用户。

本申请实施例中，在检测到障碍物时就停止跟随目标对象，同时向目标对象发送停止跟随的提示信息，进而可以提醒目标对象车辆遇到障碍物，当前停止跟随。一方面，检测到障碍物时立即停止跟随可以避免障碍物对车辆的剐蹭，另一方面，当目标对象或其它对象在车辆前方时，可以被被当做障碍物检测到，进而停止车辆的跟随，避免车辆撞倒目标对象或其它对象，提高了车辆自动跟随期间的安全性。

在一种应用场景中，如图7a与图7b所示，以相机为车辆的侧视相机为例，用户A在行驶车辆的过程中感想要停下走走，此时用户A需要车辆跟随自己。目标对象跟随装置首先检测用户A的移动终端是否与车辆互相，若不互联则无法开启车辆目标对象跟随模式。

用户A在移动终端上选择开启车辆目标对象跟随模式后，移动终端向目标对象跟随装置发送提示信息，目标对象跟随装置在接收到指示开启车辆目标对象跟随模式的提示信后，目标对象跟随装置通过车辆的侧视摄像头对用户A进行人脸识别在人脸识别通过的情况下，目标对象跟随装置通过基于CNN的目标对象跟随模型识别用户A在当前帧图像中的边界框的中心点在图像坐标系下的坐标点，并将该中心点在图像坐标系下的坐标点转换为像素坐标系下的坐标点。同时，目标对象跟随装置提取图像中用户 A的ORB特征点，并通过位姿估计算法计算ORB特征点在相机坐标系下的坐标点，之后将ORB特征点在相机坐标系下的坐标点转换为像素坐标系下的坐标点。之后目标对象跟随装置根据中心点的像素坐标系下的坐标点于ORB特征点的像素坐标系下的坐标点确定用户A的运动轨迹点，得到用户A的运动轨迹点集合(WP_xy)＝{(x_1,y_1),(x_2,y_2),(x_3,y_3)……(x_ n,y_n)}。并基于用户A的运动轨迹点根据坐标偏移量d实时计算车辆的准运动轨迹点，得到车辆的准运动轨迹点集合(WPC_xy)＝{(x_1,y_1),(x_2,y_2),(x_3,y_3)……(x_n,y_n)}。

之后，在车辆的准运动轨迹点集合中的准运动轨迹点的个数大于100 时，目标对象跟随装置将准运动轨迹点集合中像素坐标系下的各个准运动轨迹点转换到基于相机坐标系下的当前帧的图像中，并连接各准运动轨迹点得到车辆的准运动轨迹。然后规划车辆的跟随路径，使车辆按照一定的跟随速度沿与用户A相同的运动轨迹行驶跟随用户A。如图7a所示，虚线为用户A的运动轨迹，实线为车辆跟随用户A的轨迹。

在跟随过程中，目标对象跟随装置检测到路径中有障碍物时，退出车辆目标对象跟随模式停止跟随用户A，并向用户A的移动终端发送提示信息，提示用户A车辆停止跟随。

在跟随过程中，用户A觉得车辆目前不必要跟随时，通过移动终端选择停止车辆跟随，移动终端向目标对象跟随装置发送提示信息，目标对象跟随装置在接收到指示退出车辆目标对象跟随模式。

基于上述任一实施例提供的目标对象跟随方法，本申请还提供了一种目标对象跟随方法装置实施例，具体参见图8。

图8示出了本申请一实施例提供的一种目标对象跟随装置示意图。如图8所示，目标对象跟随装置800可以包括：

获取模块810，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列。

第一确定模块820，用于根据所述图像序列，确定所述目标对象的运动轨迹点集合。

第二确定模块830，用于根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息。

规划模块840，用于根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径。

跟随模块850，用于根据所述行驶路径跟随所述目标对象。

本申请实施例中的装置，本申请实施例中，在处于车辆目标对象跟随模式的情况下，在根据目标对象在运动过程中的图像序列后确定目标对象的运动轨迹点集合之后，根据该运动轨迹点集合与相对位置信息来确定车辆的准运动轨迹点集合，进而根据该准运动轨迹点集合规划的车辆的行驶路径是可以与目标对象运动轨迹相匹配的路径，实现了车辆根据该行驶路径准确的跟随目标对象，实现了车辆对目标对象的自动跟随。

在一些实施例中，为了提高运动轨迹点的获取效率第一确定模块820 可以包括：

第一确定子模块，用于根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹点。

本申请实施例中的装置，目标对象的运动轨迹点由目标对象运动过程中的图像序列以及目标跟随回归模型来确定，通过模型自主确定运动轨迹点提高了运动轨迹点的获取效率。

在一些实施例中，为了提高运动轨迹点的获取效率，第一确定子模块可以包括：

第一提取单元，用于通过第一特征提取网络提取第一帧图像的第一目标对象特征，并通过所述第二特征提取网络提取第二帧图像的第二目标对象特征，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像。

第一确定单元，用于将所述第一目标对象特征和第二目标对象特征输入到所述全连接层，通过所述全连接层，确定所述目标对象的相对运动趋势。

第二确定单元，用于根据所述相对运动趋势，确定所述目标对象在所述第二帧图像中的边界框的预设特征点的坐标点。

第三确定单元，用于根据所述边界框的预设特征点的坐标点，确定所述目标对象在所述第二帧图像中的运动轨迹点。

本申请实施例中的装置，通过第一特征提取网络、第二特征提取网络以及全连接层完成对相邻两帧图像的进行处理，以得到目标对象的相对运动趋势，再根据该相对运动趋势确定目标对象在第二帧图像中的边界框，划定目标图像在第二帧图像中的位移的范围，进而以边界框的预设特征点的坐标点确定的运动轨迹点，不必通过复杂的步骤去计算目标对象运动后的位置，提高了获取运动轨迹点的效率。

在一些实施例中，为了提高车辆自动跟随的准确性，目标对象跟随装置800还可以包括：

提取模块，用于提取所述第二帧图像中所述目标对象的快速定向旋转 ORB特征点的坐标点；

第一转换模块，用于根据坐标系之间的第一坐标转换关系，将所述ORB特征点的坐标点转换为像素坐标系下的第一像素坐标点；

第二转换模块，用于根据坐标系之间的第二坐标转换关系，将所述边界框的预设特征点的坐标点转换为像素坐标系下的第二像素坐标点；

生成模块。用于根据所述第一像素坐标点与所述第二像素坐标点，生成所述目标对象在所述第二帧图像中的运动轨迹点。

本申请实施例中的装置，目标对象在第二帧图像中的运动轨迹点是根据边界框的预设特征点的第二像素坐标点和第二帧图像中目标对象的ORB 特征点的第一像素坐标点生成的，也就是说，运动轨迹点是在边界框划定的目标对象在第二帧图像中的运动范围的基础上，又进一步结合目标对象的ORB特征点得到的，提高了计算对象的运动轨迹点的准确性，进而提高车辆跟随的准确性。

在一些实施例中，为了提高车辆跟随的准确性，规划模块840可以包括：

规划子模块，用于在所述车辆的准运动轨迹点集合中的轨迹点数量大于预设数值时，根据所述车辆的准运动轨迹，规划所述车辆的行驶路径。

本申请实施例中的装置，先累积一定数量的轨迹点后，再根据车辆的准运动轨迹，规划车辆的行驶路径，也就是说，在目标对象运动了一段时间后才开始对车辆的行驶路径进行规划，使行驶路径更贴合用户的运动轨迹，提高了车辆跟随的准确性。

在一些实施例中，为了提高车辆自动跟随的安全性，跟随模块850还可以包括：

检测子模块，用于在跟随所述目标对象的过程中，检测到所述行驶路径中遇到障碍物时，停止跟随所述目标对象，并向目标终端发送第一提示信息，其中，所述目标终端与所述车辆建立有通信连接的终端，所述第一提示信息用于提示所述车辆停止跟随所述目标对象。

本申请实施例中的装置，在检测到障碍物时就停止跟随目标对象，同时向目标对象发送停止跟随的提示信息，进而可以提醒目标对象车辆遇到障碍物，当前停止跟随。一方面，检测到障碍物时立即停止跟随可以避免障碍物对车辆的剐蹭，另一方面，当目标对象或其它对象在车辆前方时，可以被被当做障碍物检测到，进而停止车辆的跟随，避免车辆撞倒目标对象或其它对象，提高了车辆自动跟随期间的安全性。

在一些实施例中，为了提高车辆自动跟随的准确性，目标对象跟随装置800还可以包括：

第一获取模块，用于获取由相机采集到的待识别图像。

识别模块，用于根据所述待识别图像，识别所述目标对象。

本申请实施例中的装置，在跟随目标对象之前还对目标对象进行识别以保证跟随特定的对象，避免了跟随错误的对象，提高了车辆跟随的准确性。

在一些实施例中，为了满足用户对车辆跟随不同场景应用的需求，目标对象跟随装置800还可以包括：

接收模块，用于接收目标终端发送的第二提示信息。

开启模块，用于根据所述第二提示信息开启车辆目标对象跟随模式。

本申请实施例中的装置，在只有在接收到目标终端发送的第二提示信息后才会根据该信息开启车辆目标跟随模式，也就是说，当用户想要车辆跟随自己时，通过目标终端即可控制车辆开始跟随，满足了用户对车辆跟随不同场景应用的需求。

基于上述任一实施例提供的目标对象跟随方法，本申请还提供了一种车辆实施例。

车辆包括摄像机和处理器。

相机，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

处理器，用于执行本申请任一实施例中所述的目标对象跟随方法。

上述车辆具有实现方法实施例中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。此外，结合上述实施例中滤波模型更新方法，如图9所示，本申请实施例可提供一种目标对象跟随设备，所述设备可以包括处理器910以及存储有计算机程序指令的存储器920。

具体地，上述处理器910可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器920可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器920可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus， USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器920可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器920可在综合网关容灾设备的内部或外部。在特定实施例中，存储器920 是非易失性固态存储器。在特定实施例中，存储器920包括只读存储器 (ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程 ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM (EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器910通过读取并执行存储器920中存储的计算机程序指令，以实现上述实施例中的任意一种目标对象跟随方法。

在一个示例中，电子设备还可包括通信接口930和总线940。其中，如图9所示，处理器910、存储器920、通信接口930通过总线940连接并完成相互间的通信。

通信接口930，主要用于实现本申请实施例中各模块、设备、单元和/ 或设备之间的通信。

总线940包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI- Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线940可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该目标对象跟随设备执行所述计算机程序指令时实现上述任一实施例所述的目标对象跟随方法。

另外，结合上述目标对象跟随方法，本申请实施例可提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一实施例所述的目标对象跟随方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种目标对象跟随方法，其特征在于，应用于车辆，所述方法包括：

在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

根据所述图像序列，确定所述目标对象的运动轨迹点集合；

根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息；

根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径；

根据所述行驶路径跟随所述目标对象；

所述根据所述图像序列，确定所述目标对象的运动轨迹点集合，包括：

根据第一帧图像和第二帧图像，确定所述目标对象在所述第二帧图像上相对于在所述第一帧图像上的相对运动趋势，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像；

根据所述相对运动趋势，确定所述目标对象在所述第二帧图像中的边界框的预设特征点的坐标点；

提取所述第二帧图像中所述目标对象的快速定向旋转ORB特征点的坐标点；

根据坐标系之间的第一坐标转换关系，将所述ORB特征点的坐标点转换为像素坐标系下的第一像素坐标点；

根据坐标系之间的第二坐标转换关系，将所述边界框的预设特征点的坐标点转换为像素坐标系下的第二像素坐标点；

根据所述第一像素坐标点与所述第二像素坐标点，生成所述目标对象在所述第二帧图像中的运动轨迹点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列，确定所述目标对象的运动轨迹点集合，具体包括：

根据所述图像序列和目标对象跟随回归模型，确定所述目标对象的运动轨迹点。

3.根据权利要求2所述的方法，其特征在于，所述目标对象跟随回归模型包括并行的第一特征提取网络和第二特征提取网络，以及全连接层；

所述根据第一帧图像和第二帧图像，确定所述目标对象在所述第二帧图像上相对于在所述第一帧图像上的相对运动趋势，具体包括：

通过第一特征提取网络提取第一帧图像的第一目标对象特征，并通过所述第二特征提取网络提取第二帧图像的第二目标对象特征，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像；

将所述第一目标对象特征和第二目标对象特征输入到所述全连接层，通过所述全连接层，确定所述目标对象在所述第二帧图像上相对于在所述第一帧图像上的相对运动趋势。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述车辆的准运动轨迹，规划所述车辆的行驶路径，具体包括：

在所述车辆的准运动轨迹点集合中的轨迹点数量大于预设数值时，根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径。

5.根据权利要求1-3任一项所述的方法，其特征在于，在根据所述行驶路径跟随所述目标对象之后，还包括：

在跟随所述目标对象的过程中，检测到所述行驶路径中遇到障碍物时，停止跟随所述目标对象，并向目标终端发送第一提示信息，其中，所述目标终端与所述车辆建立有通信连接的终端，所述第一提示信息用于提示所述车辆停止跟随所述目标对象。

6.根据权利要求1所述的方法，其特征在于，在获取目标对象在运动过程中的图像序列之前，还包括：

获取由相机采集到的待识别图像；

根据所述待识别图像，识别所述目标对象。

7.根据权利要求6所述的方法，其特征在于，在获取由相机采集到的待识别图像之前，还包括：

接收目标终端发送的第二提示信息；

根据所述第二提示信息开启车辆目标对象跟随模式。

8.一种目标对象跟随装置，其特征在于，所述装置包括：

获取模块，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

第一确定模块，用于根据所述图像序列，确定所述目标对象的运动轨迹点集合；

第二确定模块，用于根据所述目标对象的运动轨迹点集合以及相对位置信息，确定车辆的准运动轨迹点集合，所述相对位置信息为所述车辆与所述目标对象之间的相对位置信息；

规划模块，用于根据所述车辆的准运动轨迹点集合，规划所述车辆的行驶路径；

跟随模块，用于根据所述行驶路径跟随所述目标对象；

所述第一确定模块，具体用于：

根据第一帧图像和第二帧图像，确定所述目标对象在所述第二帧图像上相对于所述第一帧图像的相对运动趋势，其中，所述第一帧图像为所述图像序列中位于所述第二帧图像之前的图像；

根据所述相对运动趋势，确定所述目标对象在所述第二帧图像中的边界框的预设特征点的坐标点；

提取所述第二帧图像中所述目标对象的快速定向旋转ORB特征点的坐标点；

根据坐标系之间的第一坐标转换关系，将所述ORB特征点的坐标点转换为像素坐标系下的第一像素坐标点；

根据坐标系之间的第二坐标转换关系，将所述边界框的预设特征点的坐标点转换为像素坐标系下的第二像素坐标点；

根据所述第一像素坐标点与所述第二像素坐标点，生成所述目标对象在所述第二帧图像中的运动轨迹点。

9.一种电动车辆，其特征在于，包括：

相机，用于在处于车辆目标对象跟随模式的情况下，获取目标对象在运动过程中的图像序列；

处理器，用于执行权利要求1-7任一项所述的方法。

10.一种目标对象跟随设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的目标对象跟随方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的目标对象跟随方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1-7任意一项所述的目标对象跟随方法。