CN112633096B - 客流的监测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种客流的监测方法、装置、电子设备及存储介质，所述方法包括：获取目标区域的第一目标图像序列与第二目标图像序列；分别对第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列；根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；根据所述三维人头序列，对所述目标区域进行客流的监测。可以提高客流量监测效果。

Description

客流的监测方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种客流的监测方法、装置、电子设备及存储介质。

背景技术

随着人工智能的发展，线下店铺为寻求可以精准营销的商业模式，而采用了人工智能中的图像技术，来获取客流量信息、客流转化率信息、客户在店铺的行为信息等，来使营销策略更加精准。一般的图像技术中，对于客流量信息的获取一般采用在二维平面内画线、画框等设置来进行，当有人员跨线或进入框中时，则进行客流计数。然而，单一的计算逻辑无法同时兼容店铺场景的多变、行人进店路线多变、行人身高等等因素，造成计数准确率较差，由此分析出的其他信息可靠性也较差。因此，现有的客流量监测效果不好。

发明内容

本发明实施例提供一种客流的监测方法，能够提高客流量的计数准确度，进而提高客流量监测效果。

第一方面，本发明实施例提供一种客流的监测方法，所述方法包括：

获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；

分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

根据所述三维人头序列，对所述目标区域进行客流的监测。

可选的，所述第一目标图像序列通过第一相机进行获取，所述第二目标图像序列通过第二相机进行获取，所述方法还包括：

在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面；

基于所述标定的地面，构建得到所述三维空间。

可选的，所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

获取与所述目标区域关联的标定物信息，所述标定物信息为所述第一相机或第二相机的坐标系下的标定物信息；

根据所述标定物信息进行地面标定，得到标定的地面。

可选的，所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

计算第一相机与第二相机所对应的地面特征点，对所述地面特征点进行三角化，得到所述地面特征点对应的三维空间点；

对所述三维空间点进行平面参数拟合，得到标定的地面。

可选的，所述将所述配对人头框序列在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，包括：

计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图；

通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头；

基于所述当前帧三维人头，得到目标人员的三维人头序列。

可选的，所述计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图，包括：

根据预设的先验视差，计算得到有效视差区间；

计算所述当前帧中所述配对人头框中第一人头框与第二人头框的视差图，并判断所述视差图是否落入所述有效视差区间；

若所述视差图落入所述有效视差区间，则判断所述视差图为有效视差图。

可选的，所述通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头，包括：

根据所述有效视差图，计算最终视差值；

根据预设的第一相机内参或第二相机内参，计算得到目标人员的人头深度信息；

根据所述人头深度信息，在所述预设的三维空间中进行人头三维重建，得到当前帧三维人头。

可选的，所述三维空间包括标定的地面，所述根据所述三维人头序列，对所述目标区域进行客流的监测，包括：

将所述三维人头序列中的三维人头投影到所述标定的地面，得到目标人员的投影轨迹；

根据所述投影轨迹，对所述目标区域进行客流的监测。

可选的，所述标定的地面包括与所述目标区域对应的目标标定区域，所述根据所述投影轨迹，对所述目标区域进行客流的监测，包括：

计算所述投影轨迹在每个时序点与所述目标标定区域的状态信息，得到所述投影轨迹与所述目标标定区域的状态序列；

根据所述状态序列，对所述目标区域进行客流的监测。

第二方面，本发明实施例还提供一种客流的监测装置，所述装置包括：

第一获取模块，用于获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；

处理模块，用于分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

匹配模块，用于根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

三维重建模块，用于根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

监测模块，用于根据所述三维人头序列，对所述目标区域进行客流的监测。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的客流的监测方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的客流的监测方法中的步骤。

本发明实施例中，获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；根据所述三维人头序列，对所述目标区域进行客流的监测。通过目标人员不同角度的人头图像，提取到更为准确的目标人头信息用于三维重建，使得三维目标人头在三维空间中的位置更为准确，从而提高客流量的计数准确度，进而提高客流量监测效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种客流的监测方法的流程图；

图2是本发明实施例提供的一种构建三维空间方法的流程图；

图3是本发明实施例提供的一种三维人头重建方法的示意图；

图4是本发明实施例提供的另一种客流的监测方法的流程图；

图4a是本发明实施例提供的一种区域与状态关系的示意图；

图5是本发明实施例提供的一种客流的监测装置的结构示意图；

图6是本发明实施例提供的另一种客流的监测装置的结构示意图；

图7是本发明实施例提供的一种标定模块的结构示意图；

图8是本发明实施例提供的另一种标定模块的结构示意图；

图9是本发明实施例提供的一种三维重建模块的结构示意图；

图10是本发明实施例提供的一种第二计算子模块的结构示意图；

图11是本发明实施例提供的一种重建子模块的结构示意图；

图12是本发明实施例提供的一种监测模块的结构示意图；

图13是本发明实施例提供的一种监测子模块的结构示意图；

图14是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种客流的监测方法的流程图，如图1所示，该方法用于定时或实时进行客流的监测，包括以下步骤：

101、获取目标区域的第一目标图像序列与第二目标图像序列。

在本发明实施例中，上述第一目标图像序列与上述第二目标图像序列为同一时刻不同角度采集得到。上述的第一目标图像序列与第二目标图像序列中包括至少1个目标人员。

可以通过两个不同拍摄角度的摄像头分别采集第一目标图像序列与第二目标图像序列，两个摄像头可以在安装的时候进行标定并且形成关联，以使两个摄像头处理同一坐标系进行拍摄，并使两个摄像头可以是同一时间进行拍摄。也可以通过标定好的双目摄像头采集第一目标图像序列与第二目标图像序列。在本发明实施例中，优选为通过标定好的双目摄像头来采集第一目标图像序列与第二目标图像序列，则第一目标图像序列与第二目标图像序列分别可以为左目图像序列与右目图像序列。

上述第一目标图像序列与第二目标图像序列可以是双目摄像头实时采集到的连续的帧图像序列(视频流图像)，也可以是双目摄像头历史采集到的连续的帧图像。

102、分别对第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列。

在本发明实施例中，上述第一人头框序列包括至少一个目标人员的第一人头框，上述第二人头框序列包括至少一个目标人员的第二人头框。第一人头框对应于第一目标图像序列，第二人头框对应于第二目标图像序列。

可以通过人头检测模型对上述第一目标图像序列与第二目标图像序列分别进行人头检测，得到第一人头框序列与第二人头框序列。具体的，上述可以通过人头检测模型对上述第一目标图像序列与第二目标图像序列逐帧进行人头检测，得到每帧图像对应的人头框。

可选的，可以通过人头跟踪模型对第一人头框序列进行人头框跟踪，得到根据每帧第一目标图像对应的第一人头框进行跟踪的第一人头框序列。在上述第一人头框序列中，包括每帧第一目标图像中检测到的第一人头框。当然，也可以是通过人头跟踪模型对第二人头框序列进行人头框跟踪，得到根据每帧第二目标图像对应的第二人头框进行跟踪的第二人头框序列。另外，还可以是通过人头跟踪模型对第一人头框序列进行人头框跟踪，同时，通过人头跟踪模型对第二人头框序列进行人头框跟踪，得到根据每帧第一目标图像对应的第一人头框进行跟踪的第一人头框序列，以及根据每帧第二目标图像对应的第二人头框进行跟踪的第二人头框序列。

在一种可能的实施例中，上述第一人头框序列可以是多个目标人员对应的第一人头框序列，上述第二人头框序列可以是多个目标人员对应的第二人头框序列。进一步的，上述第一人头框可以是多个第一人头框，对应于多个目标人员，上述第二人头框也可以是多个第二人头框，对应于多个目标人员。

更进一步的，可以根据人头框跟踪算法，对每个目标人员的人头框进行ID分配，即每个目标人员的人头框对应一个人头框ID，该人头框ID用于识别对应人头框是否属于同一个人，同一个人头框ID，则对应于同一个目标人员的人头框。比如，在只对第一人头框进行跟踪时，可以为不同目标人员分配不同的人头框ID，然后根据不同的人头框ID，得到不同目标人员的第一人头框序列。进一步，可以根据第一人头框与第二人头框的相似度，得到不同目标人员的第二人头框序列。

103、根据第一人头框序列与第二人头框序列的时序关系，将第一人头框与第二人头框进行匹配，得到每个目标人员的配对人头框序列。

在本发明实施例中，上述配对人头框序列包括至少一个目标人员的配对人头框。

上述第一人头框序列与第二人头框序列的时序关系可以通过第一目标图像序列与第二目标图像序列中各个图像帧的时序进行确定。在对目标图像序列逐帧进行人头检测时，则得到的人头框具体与目标图像序列相同的时序。

由于第一目标图像序列与第二目标图像序列为同时进行采集得到的，第一目标图像序列与第二目标图像序列中对应的帧图像是同步的，进而对第一目标图像序列与第二目标图像序列提取到的第一人头框序列与第二人头框序列也具有同步属性。因此，可以将同步的第一人头框与第二人头框进行相似度匹配，得到每个目标人员的配对人头框序列。

104、根据配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列。

在本发明实施例中，上述的配对人头框序列中包括每帧第一目标图像与第二目标图像对应的配对人头框，每个配对人头框中包括同一个目标人员的第一人头框与第二人头框。可以通过同一个目标人员的第一人头框与第二人头框，来计算第一人头框与第二人头框中目标人员的人头景深信息，根据人头的景深信息，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头，对目标人员的配对人头框序列中每个配对人头框都进行人头三维重建，则可以得到目标人员的三维人头序列。

进一步的，可以根据第一人头框在第一目标图像中提取对应的第一人头图像，根据第二人头框在第二目标图像中提取对应的第二人头图像，第一人头图像与第二人头图像为同一目标人员在同一时刻的人头图像。可以通过同一个目标人员的第一人头图像与第二人头图像来计算目标人员的人头景深信息，根据人头的景深信息，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头，对目标人员的配对人头框序列中每个配对人头框都进行人头三维重建，则可以得到目标人员的三维人头序列。

105、根据三维人头序列，对目标区域进行客流的监测。

在本发明实施例中，由于目标人员是移动的，因此，重建得到的目标人员的三维人头在三维空间中的位置也是会发生对应的位置变化，从而形成三维人头在三维空间中的移动轨迹，可以根据三维人头在三维空间中的移动轨迹，得到目标人员的移动轨迹。比如，可以将三维人头在三维空间中的移动轨迹映射到现实空间中，得到目标人员在现实空间的移动轨迹来对目标区域进行客流的监测。也可以在三维空间中映射出目标区域在三维空间的位置，根据三维人头在三维空间中的移动轨迹与目标区域在三维空间的位置，来对目标区域进行客流的监测。

上述对目标区域进行客流的监测可以是客流量的数量统计监测，比如可以是进出目标区域客流的数量统计，也可以是对客流轨迹进行监测。

在本发明实施例中，获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；根据所述三维人头序列，对所述目标区域进行客流的监测。通过目标人员不同角度的人头图像，提取到更为准确的目标人头信息用于三维重建，使得三维目标人头在三维空间中的位置更为准确，从而提高客流量的计数准确度，进而提高客流量监测效果。

可选的，在本发明实施例中，上述第一目标图像序列通过第一相机进行获取，上述第二目标图像序列通过第二相机进行获取，可以根据第一相机与第二相机的设置安装来构建适于三维人头重建的三维空间。

具体的，三维空间包括标定的地面，请参见图2，图2是本发明实施例提供的一种构建三维空间方法的流程图，如图2所示，包括以下步骤：

201、在第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面。

在本发明实施例中，第一相机与第二相机可以分别是双目相机中的左目相机和右目相机。在对第一相机与第二相机进行初始化时，对第一相机与第二相机的内参与外参进行标定，以及对地面进行标定，得到标定的地面。

上述对第一相机与第二相机的内参与外参进行标定可以采用棋盘格的想定标定方法。具体的，分别用棋盘格做单相机标定以及双相机标定，得到第一相机的内参、第二相机的内参，以及第一相机与第二相机之间的外参。

上述标定的地面可以是基于第一相机的坐标系所得到，也可以是基于第二相机的坐标系所得到，所述第一相机所采集到的图像可以与第二相机所采集到的图像进行坐标变换，具体可以通过第一相机的内参、第二相机的内参，以及第一相机与第二相机之间的外参，将第一相机所采集到的图像的坐标变换到第二相机的坐标系中。因此，标定的地面可以选择第一相机或第二相机中任意一个相机的坐标系进行标定。

在一种可能的实施例中，在对地面进行标定时，可以获取与目标区域关联的标定物信息，标定物信息为与地面在同一个平面的标定物的信息。上述标定物信息为上述第一相机或第二相机的坐标系下的标定物信息；根据上述标定物信息进行地面标定，得到标定的地面。具体的，上述标定物信息包括角点信息，可以根据该角点信息利用PnP(Perspective-n-Point)算法计算出相机位姿，从而得到地面参数，根据该地面参数得到标定的地面。比如，可以是在目标区域中或目标区域附近的地面上设置一个二维码，将该二维码当做特定的标定物信息与目标区域进行关联，这样，可以通过找到该二维码的4个角点，将该二维码的4个角点进行亚像素细化，并通过4个角点PnP算法得到相机位姿，从而得到标定的地面。在PnP算法中，可以通过已知的相机内参，以及4个角点在世界坐标系下的坐标，以及在图像坐标系下的坐标，计算得到相机位姿，从而得到地面参数，根据该地面参数得到标定的地面。

在另一种可能的实施例中，在对地面进行标定时，可以计算第一相机或第二相机所对应的地面特征点，对地面特征点进行三角化，得到地面特征点对应的三维空间点；对三维空间点进行平面参数拟合，得到标定的地面。具体的，可以在计算提取到地面特征点后，地面特征点进行三角化，得到特征点在世界坐标系下的点云坐标，可以通过3D Hough变换点云平面检测算法和ransac随机一致性采样算法，对平面参数进行拟合，得到地面参数，根据地面参数得到标定的地面。

在另一种可能的实施例中，可以将上述两种地面标定方法进行结合，比如，通过特征提取，提取到地面标定物信息，该地面标定物信息为与地面在同一个平面的标定物。通过计算提取到地面标定物特征点后，对地面标定物特征点进行三角化，得到地面标定物特征点在世界坐标系下的点云坐标，可以通过3D Hough变换点云平面检测算法和ransac随机一致性采样算法，对平面参数进行拟合，得到地面参数，根据地面参数得到标定的地面。

202、基于标定的地面，构建得到三维空间。

在本发明实施例中，标定的地面为基于第一相机的坐标系或基于第二相机的坐标系所得，因此，构建得到的三维空间也是基于第一相机或基于第二相机的三维空间。由于三维空间是基于相机坐标系进行建立的，所以通过该三维空间进行三维人头重建，可以得到更准确的三维人头信息。

可选的，请参见图3，图3是本发明实施例提供的一种三维人头重建方法的流程图，如图3所示，包括以下步骤：

301、计算当前帧中配对人头框中第一人头框与第二人头框的有效视差图。

在本发明实施例中，上述视差图指的是两个图像之间的距离，相同的视差代表对应物体离相机的距离相同。

具体的，可以根据预设的先验视差，计算得到有效视差区间；以及计算当前帧中配对人头框中第一人头框与第二人头框的视差图，并判断视差图是否落入有效视差区间；若视差图落入有效视差区间，则判断视差图为有效视差图。可以通过预设的视差阈值计算得到有效视差区间，比如，假设先验视差为64，阈值为10，则有效视差区间为54-74，即当图像的视差图对应的数值在该有效视差区间的54-74内时，该图像的视差图为有效视差图。

可选的，可以通过SGBM(Semi-Global Block Matching)算法计算第一人头框与第二人头框的视差图，SGBM算法中的自适应参数可以根据先验视差进行确定，可以对先验视差除以16结果四舍五入然后加一作为SGBM算法的自适应参数。

需要说明的是，上述第一人头框中包括目标人员在第一目标图像中的人头图像，第二人头框中包括目标人员在第二目标图像中的人头图像，第一人头框与第二人头框的视差图可以理解为目标人员在第一目标图像中的人头图像与目标人员在第二目标图像中的人头图像之间的视差。

302、通过有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头。

在本发明实施例中，可以通过有视差图，计算得到目标人员的人头深度信息(也可以称为人对景深信息)，进而根据人头深度信息进行人头三维重建。

进一步的，可以根据有效视差图，计算最终视差值；根据预设的第一相机内参或第二相机内参，计算得到目标人员的人头深度信息；根据人头深度信息，在预设的三维空间中进行人头三维重建，得到当前帧三维人头。当三维空间是基于第一相机的坐标系进行构建时，则可以根据第一相机内参计算目标人员的人头深度信息，当三维空间是基于第二相机的坐标系进行构建时，则可以根据第二相机内参计算目标人员的人头深度信息。上述最终视差值可以是有效视差图的平均值。相机内参可以包括相机焦距、基线长度。通过相机内参以及最终视差值，计算得到目标人员的人头深度信息，具体可以通过式子Z＝fb/d进行计算，其中，Z代表深度，f代表焦距，b代表基线长度，d代表最终视差值。

可选的，在得到人头深度信息后，可以将人头深度信息进行坐标变换，得到第一相机或第二相机坐标系下的人头深度信息，用以在三维空间中进行人头三维重建。

303、基于当前帧三维人头，得到目标人员的三维人头序列。

在本发明实施例中，会对每帧第一目标图像与第二目标图像中的目标人员进行三维人头重建，这样可以得到目标人员的三维人头序列。

可选的，请参见图4，图4是本发明实施例提供的另一种客流的监测方法的流程图，本发明实施例中，三维空间包括标定的地面，对目标区域进行客流的监测可以是客流量的数量统计监测，比如可以是进出目标区域客流的数量统计。如图4所示，包括以下步骤：

401、将三维人头序列中的三维人头投影到标定的地面，得到目标人员的投影轨迹。

若目标人员为多个，则可以将每个目标人员的三维人头投影到三维空间中标定的地面，从而得到每个目标人员的投影轨迹。

402、根据投影轨迹，对目标区域进行客流的监测。

上述的对目标区域进行客流的监测可以是客流量的数量统计监测。

可选的，由于三维空间中标定的地面是基于第一相机坐标系或第二相机坐标系进行构建的，因此，也可以将相机坐标系与世界坐标系进行转换，进一步将目标人员的投影轨迹转换为目标人员在世界坐标系下的轨迹，从而根据目标人员在世界坐标系下的轨迹，对目标区域进行客流量的数量统计监测。

在一种可能的实施例中，三维空间中标定的地面包括与目标区域对应的目标标定区域，可以计算投影轨迹在每个时序点与目标标定区域的状态信息，得到投影轨迹与目标标定区域的状态序列；根据状态序列，对目标区域进行客流的监测。

比如，以店铺的进出门为例，统计监测进出店的客流量，投影轨迹与目标标定区域的状态序列中包括各个时序点状态信息，上述状态信息可以分为有效区域状态和无效区域状态，具体的，如图4a所示，上述目标区域可以是店门左右两侧的区域，即上述目标标定区域可以是标定的地面中店门左右两侧的固定区域，上述有效区域状态还可以分为：

a：店门外，可以表示此时人头投影在目标标定区域的靠外的一侧，进一步表示目标人员在店门区域两侧的外侧区域。

b：店门内，可以表示此时人头投影在目标标定区域的靠内的一侧，进一步表示目标人员在店门区域两侧的内侧区域。

c：店外，可以表示此时人头投影在目标标定区域的外侧，进一步表示目标人员在店门外侧区域的外侧，店门外侧区域的内侧为b状态对应的店门区域两侧的内侧区域。

d：店内，可以表示此时人头投影在目标标定区域的内侧，进一步表示目标人员在店门内侧区域的内侧，店门内侧区域的外侧为a状态对应的店门区域两侧的外侧区域。

无效状态：

t：id消失，可以表示此时目标人员脱离相机的拍摄范围。

n：不确定区域，可以包含a、b附近缓冲区及距离相机极近、极远区域(通常由人头框匹配错误引起)。

此时，上述的状态序列可以由a、b、c、d、t、n组成，根据该状态序列可以进行正则搜索，进而进行客流量的计数统计。例如，一个目标人员的状态序列为c…ca…ab…bd…dt，则可以说明目标人员由店外、到店门外侧、到店门内侧、到店内、到消失的一个过程，可以计为进店客流加1；一个目标人员的状态序列为d…db…ba…ac…ct，则可以说明目标人员由店内、到店门内侧、到店门外侧、到店外、到消失的一个过程，可以计为出店客流加1；一个目标人员的状态序列为c…ca…ac…ca…ab…ba…ab…bd…dt，则可以说明目标人员由店外、到店门外侧、到店外、到店门外侧、到店门内侧、到店门外侧、到店门内侧、到店内、到消失的一个过程，中间虽然有由店外、到店门外侧、到店外以及店门内侧、到店门外侧、到店门内侧两个徘徊过各，但目标人员最终还是进入了店内，可以计为进店客流加1。这样，可以避免一个人员在店门处徘徊时，多次进行客流计数的问题，提高客流计数的准确度，进面提高客流监测的准确性。

当然，也可以将上述投影轨迹转换到世界坐标系中，计算对应目标人员的轨迹在每个时序点与目标区域的状态信息，得到目标人员与目标区域的状态序列，再根据该状态序列来对目标区域进行客流的监测。

需要说明的是，上述各个状态的标识可以根据用户的需要进行设置，而不应视为是对本发明实施例的限定。比如，上述a、b、c、d、t、n也可以通过1、2、3、4、5、6来进行标识。

在本发明实施例中，通过状态序列来对目标人员进行客流统计，可以增加统计的准确度。

请参见图5，图5是本发明实施例提供的一种客流的监测装置的结构示意图，如图5所示，所述装置包括：

获取模块501，用于获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；

处理模块502，用于分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

匹配模块503，用于根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

三维重建模块504，用于根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

监测模块505，用于根据所述三维人头序列，对所述目标区域进行客流的监测。

可选的，如图6所示，所述第一目标图像序列通过第一相机进行获取，所述第二目标图像序列通过第二相机进行获取，所述装置还包括：

标定模块506，用于在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面；

构建模块507，用于基于所述标定的地面，构建得到所述三维空间。

可选的，如图7所示，所述标定模块506，包括：

获取子模块5061，用于获取与所述目标区域关联的标定物信息，所述标定物信息为所述第一相机或第二相机的坐标系下的标定物信息；

第一标定子模块5062，用于根据所述标定物信息进行地面标定，得到标定的地面。

可选的，如图8所示，所述标定模块506，包括：

第一计算子模块5063，用于计算第一相机与第二相机所对应的地面特征点，对所述地面特征点进行三角化，得到所述地面特征点对应的三维空间点；

第二标定子模块5064，用于对所述三维空间点进行平面参数拟合，得到标定的地面。

可选的，如图9所示，所述三维重建模块504，包括：

第二计算子模块5041，用于计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图；

重建子模块5042，用于通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头；

序列子模块5043，用于基于所述当前帧三维人头，得到目标人员的三维人头序列。

可选的，如图10所示，所述第二计算子模块5041，包括：

第一计算单元50411，用于根据预设的先验视差，计算得到有效视差区间；

第二计算单元50412，用于计算所述当前帧中所述配对人头框中第一人头框与第二人头框的视差图，并判断所述视差图是否落入所述有效视差区间；

判断单元50413，用于若所述视差图落入所述有效视差区间，则判断所述视差图为有效视差图。

可选的，如图11所示，所述重建子模块5042，包括：

第三计算单元50421，用于根据所述有效视差图，计算最终视差值；

第四计算单元50422，用于根据预设的第一相机内参或第二相机内参，计算得到目标人员的人头深度信息；

重建单元50423，用于根据所述人头深度信息，在所述预设的三维空间中进行人头三维重建，得到当前帧三维人头。

可选的，如图12所示，所述监测模块505，包括：

投影子模块5051，用于将所述三维人头序列中的三维人头投影到所述标定的地面，得到目标人员的投影轨迹；

监测子模块5052，用于根据所述投影轨迹，对所述目标区域进行客流的监测。

可选的，如图13所示，所述标定的地面包括与所述目标区域对应的目标标定区域，所述监测子模块5052，包括：

第五计算单元50521，用于计算所述投影轨迹在每个时序点与所述目标标定区域的状态信息，得到所述投影轨迹与所述目标标定区域的状态序列；

监测单元50522，用于根据所述状态序列，对所述目标区域进行客流的监测。

需要说明的是，本发明实施例提供的客流的监测装置可以应用于可以进行客流的监测的手机、监控器、计算机、服务器等设备。

本发明实施例提供的客流的监测装置能够实现上述方法实施例中客流的监测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图14，图14是本发明实施例提供的一种电子设备的结构示意图，如图14所示，包括：存储器1402、处理器1401及存储在所述存储器1402上并可在所述处理器1401上运行的计算机程序，其中：

处理器1401用于调用存储器1402存储的计算机程序，执行如下步骤：

获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标序列为同一时刻不同角度采集得到；

分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

根据所述三维人头序列，对所述目标区域进行客流的监测。

可选的，所述第一目标图像序列通过第一相机进行获取，所述第二目标图像序列通过第二相机进行获取，处理器1401还执行包括：

在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面；

基于所述标定的地面，构建得到所述三维空间。

可选的，处理器1401执行的所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

获取与所述目标区域关联的标定物信息，所述标定物信息为所述第一相机或第二相机的坐标系下的标定物信息；

根据所述标定物信息进行地面标定，得到标定的地面。

可选的，处理器1401执行的所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

计算第一相机与第二相机所对应的地面特征点，对所述地面特征点进行三角化，得到所述地面特征点对应的三维空间点；

对所述三维空间点进行平面参数拟合，得到标定的地面。

可选的，处理器1401执行的所述将所述配对人头框序列在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，包括：

计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图；

通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头；

基于所述当前帧三维人头，得到目标人员的三维人头序列。

可选的，处理器1401执行的所述计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图，包括：

根据预设的先验视差，计算得到有效视差区间；

计算所述当前帧中所述配对人头框中第一人头框与第二人头框的视差图，并判断所述视差图是否落入所述有效视差区间；

若所述视差图落入所述有效视差区间，则判断所述视差图为有效视差图。

可选的，处理器1401执行的所述通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头，包括：

根据所述有效视差图，计算最终视差值；

根据预设的第一相机内参或第二相机内参，计算得到目标人员的人头深度信息；

根据所述人头深度信息，在所述预设的三维空间中进行人头三维重建，得到当前帧三维人头。

可选的，所述三维空间包括标定的地面，处理器1401执行的所述根据所述三维人头序列，对所述目标区域进行客流的监测，包括：

将所述三维人头序列中的三维人头投影到所述标定的地面，得到目标人员的投影轨迹；

根据所述投影轨迹，对所述目标区域进行客流的监测。

可选的，所述标定的地面包括与所述目标区域对应的目标标定区域，所述根据所述投影轨迹，对所述目标区域进行客流的监测，包括：

计算所述投影轨迹在每个时序点与所述目标标定区域的状态信息，得到所述投影轨迹与所述目标标定区域的状态序列；

根据所述状态序列，对所述目标区域进行客流的监测。

需要说明的是，上述电子设备可以是可以应用于可以进行客流的监测的手机、监控器、计算机、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中客流的监测方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的客流的监测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种客流的监测方法，其特征在于，包括以下步骤：

获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标图像序列为同一时刻不同角度采集得到；

分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

根据所述三维人头序列，对所述目标区域进行客流的监测；

所述三维空间包括标定的地面，所述根据所述三维人头序列，对所述目标区域进行客流的监测，包括：

将所述三维人头序列中的三维人头投影到所述标定的地面，得到目标人员的投影轨迹；

根据所述投影轨迹，对所述目标区域进行客流的监测；

所述标定的地面包括与所述目标区域对应的目标标定区域，所述根据所述投影轨迹，对所述目标区域进行客流的监测，包括：

计算所述投影轨迹在每个时序点与所述目标标定区域的状态信息，得到所述投影轨迹与所述目标标定区域的状态序列，所述状态信息包括有效区域状态和无效区域状态；

根据所述状态序列，对所述目标区域进行客流的监测。

2.如权利要求1所述的方法，其特征在于，所述第一目标图像序列通过第一相机进行获取，所述第二目标图像序列通过第二相机进行获取，所述方法还包括：

在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面；

基于所述标定的地面，构建得到所述三维空间。

3.如权利要求2所述的方法，其特征在于，所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

获取与所述目标区域关联的标定物信息，所述标定物信息为所述第一相机或第二相机的坐标系下的标定物信息；

根据所述标定物信息进行地面标定，得到标定的地面。

4.如权利要求2所述的方法，其特征在于，所述在所述第一相机或第二相机的坐标系下，进行地面标定，得到标定的地面，包括：

计算第一相机或第二相机所对应的地面特征点，对所述地面特征点进行三角化，得到所述地面特征点对应的三维空间点；

对所述三维空间点进行平面参数拟合，得到标定的地面。

5.如权利要求1所述的方法，其特征在于，所述将所述配对人头框序列在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，包括：

计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图；

通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头；

基于所述当前帧三维人头，得到目标人员的三维人头序列。

6.如权利要求5所述的方法，其特征在于，所述计算当前帧中所述配对人头框中第一人头框与第二人头框的有效视差图，包括：

根据预设的先验视差，计算得到有效视差区间；

计算所述当前帧中所述配对人头框中第一人头框与第二人头框的视差图，并判断所述视差图是否落入所述有效视差区间；

若所述视差图落入所述有效视差区间，则判断所述视差图为有效视差图。

7.如权利要求6所述的方法，其特征在于，所述通过所述有效视差图，在预设的三维空间中进行人头三维重建，得到当前帧三维人头，包括：

根据所述有效视差图，计算最终视差值；

根据预设的第一相机内参或第二相机内参，计算得到目标人员的人头深度信息；

根据所述人头深度信息，在所述预设的三维空间中进行人头三维重建，得到当前帧三维人头。

8.一种客流的监测装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标区域的第一目标图像序列与第二目标图像序列，所述第一目标图像序列与所述第二目标图像序列为同一时刻不同角度采集得到；

处理模块，用于分别对所述第一目标图像序列与第二目标图像序列进行人头检测，得到第一人头框序列与第二人头框序列，所述第一人头框序列包括至少一个目标人员的第一人头框，所述第二人头框序列包括至少一个目标人员的第二人头框；

匹配模块，用于根据所述第一人头框序列与第二人头框序列的时序关系，将所述第一人头框与所述第二人头框进行匹配，得到每个目标人员的配对人头框序列，所述配对人头框序列包括至少一个目标人员的配对人头框；

三维重建模块，用于根据所述配对人头框序列，在预设的三维空间中进行人头三维重建，得到目标人员的三维人头序列，所述三维人头序列中包括目标人员的三维人头；

监测模块，用于根据所述三维人头序列，对所述目标区域进行客流的监测；

所述三维空间包括标定的地面，所述监测模块，包括：

投影子模块，用于将所述三维人头序列中的三维人头投影到所述标定的地面，得到目标人员的投影轨迹；

监测子模块，用于根据所述投影轨迹，对所述目标区域进行客流的监测；

所述标定的地面包括与所述目标区域对应的目标标定区域，所述监测子模块，包括：

第五计算单元，用于计算所述投影轨迹在每个时序点与所述目标标定区域的状态信息，得到所述投影轨迹与所述目标标定区域的状态序列，所述状态信息包括有效区域状态和无效区域状态；

监测单元，用于根据所述状态序列，对所述目标区域进行客流的监测。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的客流的监测方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的客流的监测方法中的步骤。