CN113058246A - 一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统 - Google Patents

Abstract

本发明提出一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统，属于体育运动专用装置技术领域。该系统包括：运动状态检测装置、图像采集装置以及与该两个装置分别连接中央控制计算机；运动状态检测装置用于实时采集冰壶运动过程中的运动状态数据；图像采集装置用于采集冰壶训练或比赛的视频；中央控制计算机通过对运动状态数据进行解算得到冰壶出手速度和出手角速度，通过对视频数据进行处理得到冰壶在实际冰场中运动轨迹的复现结果。本发明可以实时检测冰壶的运动状态数据，重建冰壶在实际冰场上的运动轨迹情况，为轮椅冰壶运动员和教练员提供了一种科学有效的训练手段和复盘方法。

Description

一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统

技术领域

本发明属于体育运动专用装置技术领域，特别涉及一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统。

背景技术

轮椅冰壶运动是一项年轻的运动，它于20世纪90年代末在欧洲兴起并迅速传到欧洲，由于其本身的趣味性与竞技性，轮椅冰壶运动迅速赢得了众多体育爱好者的青睐。

轮椅冰壶运动与传统的冰壶运动使用相同的赛道以及相同的冰壶石，轮椅冰壶运动的某些规则也是参考了冰壶运动的规则，但是两者仍然有着比较明显的区别。轮椅冰壶运动中，运动员必须坐在轮椅上，使用推杆进行投壶，而且由于冰场长度较长，赛道两条端线内沿之间的长度为45.72米，轮椅冰壶运动员分处赛道两端，冰壶在冰场上运动期间，由于冰壶距离运动员较远，轮椅冰壶运动员难以直接观测到冰壶在冰场上的运动轨迹以及运动状态。

在健全人冰壶比赛中，冰壶在投掷出手后，两名冰壶队员可以跟随冰壶运动轨迹前进并根据冰壶运行状况在冰壶行进的方向上进行适当的刷冰，从而改变冰壶前方冰面的表面形貌，减小冰面的摩擦系数，进而增加冰壶的运动时间，增大冰壶的运动距离。在刷冰过程中，冰壶运动员可以方便的观察到冰壶的运动状态和运动轨迹，并依此调整下一次投壶的力量和旋转，而轮椅冰壶运动员由于运动不便，因此难以直接观测到冰壶在冰场上的运动轨迹以及运动状态。

肖书明等在专利CN 103157262 B中提出了一种可以实时采集自身运动参数的智能冰壶及方法，但该冰壶体积较大，且只能检测冰壶自身的运动状态数据，并没有提供进一步地处理和显示模块，更没有为运动员提供一个科学有效的技战术分析系统；金晶等在专利 CN 111709301 A中提出了一种冰壶球运动状态估计方法，但在复杂的冰壶比赛或冰壶训练中，冰场上往往会有不止一个冰壶，通过该方法训练好的冰壶球目标检测网络无法准确识别到需要跟踪的冰壶球，且其获得冰壶把手转角只是一个估计结果，无法给轮椅冰壶运动员提供准确的参考数据。

发明内容

本发明的目的在于克服已有技术的不足之处，提出一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统。本发明可以实时检测冰壶的运动状态数据，给予轮椅冰壶运动员和教练员实时的反馈，此外，本发明还可以通过对冰壶运动视频进行跟踪标注存储，并通过冰场重建可以得到冰壶在实际冰场上的运动轨迹情况，为轮椅冰壶运动员和教练员提供了一种科学有效的训练手段和复盘方法。

本发明提出一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统，其特征在于，包括：运动状态检测装置、图像采集装置以及与该两个装置分别连接的中央控制计算机；

所述运动状态检测装置安装在选取的冰壶的壶体上表面中心，用于实时采集该冰壶运动过程中的运动状态数据，运动状态检测装置将采集的运动状态数据发送到中央控制计算机；

所述的图像采集装置用于采集冰壶训练或比赛的视频，并将该视频发送到中央控制计算机；

所述中央控制计算机，用于分别接收运动状态检测装置发送的运动状态数据和图像采集装置发送的视频数据；中央控制计算机通过对运动状态数据进行解算，得到冰壶出手速度和出手角速度并进行显示和储存，通过对视频数据进行处理，得到冰壶在实际冰场中运动轨迹的复现结果并进行显示和储存。

本发明的有益效果是：

本发明提出一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统，该系统可以实时检测冰壶在运动过程中的角速度、加速度、速度等关键参数，让轮椅冰壶运动员每次投壶之后都可以得到定量的数据参考，此外，本系统通过使用高清摄像机采集冰壶在运动过程中的视频图像，传输到中央控制计算机进行图像处理，可以对冰壶进行跟踪并绘制冰壶的运动轨迹线路，进一步经过坐标转换可以得到冰壶在实际冰场上的运动轨迹情况，为轮椅冰壶运动员和教练员提供了一种科学有效的训练手段。

附图说明

图1是本发明实施例的一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统的结构示意图。

图2是本发明实施例的冰壶运动状态检测装置安装示意图。

具体实施方式

本发明提出一种冰壶轨迹识别定位跟踪与运动状态检测系统，下面结合附图和具体实施例对本发明进一步详细说明如下。在以下的描述中，给出了本发明中冰壶轨迹识别定位跟踪与运动状态检测系统的大量细节，从而能够透彻的说明本发明中冰壶轨迹识别定位跟踪与运动状态检测系统的研制方法以及具体参数，但是显而易见的是，本发明无需严格按照所有的细节说明进行研制，简单的结构替换以及部分细节的修改仍然可以达到相同的目的，因此仍应处于本发明的保护范围。

本发明实施例的一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统，结构如图1所示，包括：运动状态检测装置，图像采集装置以及中央控制计算机。其中，运动检测装置与中央控制计算机通过无线连接，图像采集装置与中央控制计算机通过有线连接；

所述运动状态检测装置安装在选取的冰壶的壶体上表面中心，用于实时采集训练时该冰壶运动过程中的运动状态数据，所述运动状态数据包括该冰壶在运动时各时刻的加速度、角速度和角度，运动状态检测装置将采集的运动状态数据通过无线传输方式传输到中央控制计算机；

所述的图像采集装置用于采集轮椅冰壶比赛或训练过程中冰壶运动的视频，并将该视频传输到中央控制计算机；

所述中央控制计算机，用于分别接收运动状态检测装置发送的运动状态数据和图像采集装置发送的视频数据；中央控制计算机通过对运动状态数据进行解算，得到冰壶出手速度和出手角速度并进行显示和储存，中央控制计算机通过对视频图像数据进行处理，得到冰壶在实际冰场中运动轨迹的复现结果并进行显示和储存。

本发明系统各部件实现方式如下：

所述运动状态检测装置，一种具体的实现方式如下：该装置包括：在芯片模组上集成的三轴陀螺仪、三轴加速度计、姿态解算模块、信号差分放大电路、滤波电路、数据传输模块和电源模块；其中，三轴陀螺仪和三轴加速度计均依次通过信号差分放大电路、滤波电路与姿态解算模块的输入端相连，用于将测量的冰壶三轴角速度和三轴加速度的模拟信号通过数字滤波和动态卡尔曼滤波后传输至姿态解算模块，该姿态解算模块将接收的滤波后模拟信号转化为含有时间、空间角度和加速度等信息的数字信号(具体为：利用滤波后的三轴陀螺仪、三轴加速度计等数据，根据四元数或其他常规算法解算出俯仰角、滚转角和偏航角)通过数据传输模块传输至中央控制计算机；数据传输模块与芯片模组通过串口焊接，该数据传输模块可选用无线数据传输模块(如433MHz、蓝牙或Zigbee无线模块)，本实施例中采用蓝牙无线模块进行无线传输；电源模块用于为运动状态检测装置内的其余各器件供电，可采用3.3V/5V电源，其中电源正极与器件的VCC端口通过导线连接，电源负极与器件的GND端口通过导线连接。进一步地，运动状态检测装置还包括设置在芯片模组上的三轴磁力计，该三轴磁力计与信号差分放大电路的输入端相连，用于消除三轴加速度计的漂移误差。此外，可将三轴加速度计、三轴陀螺仪、三轴地磁力计、信号差分放大电路、滤波电路和姿态解算模块用六轴运动传感器或九轴运动传感器替换，可进一步减小运动参数测量单元的整体尺寸；本实施例中采用型号为MPU6050的六轴运动传感器。 (专利申请号：201910490859.8)。进一步地，由于冰壶出手阶段时间较短，因此对冰壶运动状态检测装置的三轴陀螺仪、三轴加速度计有较高的采样速度要求，一般来说，采样速度应不低于100Hz。

所述运动状态检测装置进行了扁平化封装，并采取粘接等方式安装到冰壶壶体的上表面中心，扁平化封装的目的是防止轮椅冰壶运动员在推壶过程中推杆与冰壶运动状态检测装置发生干涉，进而影响投壶效果。本实施例的冰壶运动状态检测装置安装示意图如图2 所示，安装运动状态检测装置3时，将运动状态检测装置3进行扁平化封装，之后通过粘连接的方式将运动状态检测装置3安装到冰壶石壶体4的中心位置。在本实施例中，运动状态检测装置3与推杆头1、冰壶壶柄2的最小间距不小于10mm，能够保证轮椅冰壶运动员在推壶过程中推杆与冰壶运动状态检测装置不会发生干涉。

所述图像采集装置，可采用一台高清摄像机，该图像采集装置可架设在在冰场任一端，冰场的起点或终点均可，或者架设到冰场观众席，使拍摄角度较高，从而保证能够拍摄到整个冰场，并尽力避免冰壶在运动过程中遭到较多遮挡，从而获得较为满意的冰壶跟踪效果。使用时，可利用三脚架等辅助拍摄装置，三脚架可以用于调整摄像机的拍摄高度和拍摄角度；拍摄后的视频图像通过有线传输线缆发送给中央控制计算机。本实施例中高清摄像机的型号为索尼可更换镜头数码相机ILCE-7M2，拍摄帧率为50帧每秒。

所述中央控制计算机可为任意型号的上位机，所述中央控制计算机包括：冰壶运动状态解算模块、冰壶运动状态数据显示模块、冰壶运动状态数据存储模块和冰壶运动视频图像处理模块；其中冰壶运动视频图像处理模块包括目标跟踪子模块、冰场重建子模块和冰壶运动轨迹复现子模块；冰壶运动状态解算模块的输入端连接冰壶运动状态检测装置的输出端，冰壶运动状态解算模块的输出端分别连接冰壶运动状态数据存储模块的输入端和冰壶运动视频图像处理模块的输入端；冰壶运动视频图像处理模块中目标跟踪子模块的输入端和冰场重建子模块的输入端分别连接图像采集装置的输出端，目标跟踪子模块和冰场重建子模块的输出端分别连接冰壶运动轨迹复现子模块。

其中，冰壶运动状态解算模块用于接收运动状态检测装置发送的运动状态数据，利用该状态数据，标记冰壶角速度从零开始变大所对应的时间戳，即为冰壶出手阶段初始时间戳，标记冰壶角速度最大值对应的时间戳，即为冰壶出手阶段结束时间戳，截取该两个时间戳内冰壶的运动状态数据，对该段时间内的冰壶加速度进行积分，可以得到冰壶出手速度。获取冰壶出手阶段初始时间戳的角速度数据，可以得到冰壶出手角速度，然后将计算得到的冰壶出手速度和出手角速度分别发送给冰壶运动状态数据显示模块和冰壶运动状态数据存储模块；

所述冰壶运动状态数据显示模块用于显示接收到的冰壶出手加速度和出手角速度数据，便于教练员和轮椅冰壶运动员及时直观获取该次投掷的出手数据；所述冰壶运动状态数据存储模块将接收到的冰壶出手加速度和出手角速度数据存储到数据库中，便于教练员和轮椅冰壶运动员及时调用进行比赛或训练后的复盘分析；

所述冰壶运动视频图像处理模块包括目标跟踪子模块，冰场重建子模块和冰壶运动轨迹复现子模块；所述目标跟踪子模块和冰场重建子模块分别从图像采集装置获取冰壶运动的视频图像，目标跟踪子模块对视频图像中的目标冰壶(即安装有运动状态检测装置的冰壶)进行跟踪，得到由各帧图像中冰壶中心位置像素点坐标组成的冰壶像素点运动轨迹并发送给冰壶运动轨迹复现子模块；所述冰场重建子模块通过对视频图像中的冰场图像进行重建，得到冰场像素点坐标和实际冰场位置之间的坐标转换矩阵并发送给冰壶运动轨迹复现子模块；所述冰壶运动轨迹复现子模块，根据接收到的冰壶像素点运动轨迹和坐标转换矩阵，得到冰壶在实际冰场中的运动位置变化情况，进而可以实现冰壶运动轨迹的复现。

本发明系统工作方法如下：

轮椅冰壶运动员使用冰壶推杆将安装有冰壶运动状态检测装置的冰壶在冰场上推出，该冰壶运动状态检测装置实时采集冰壶的运动状态数据，并实时回传到中央控制计算机，图像采集装置同时进行冰壶运动视频图像的采集，通过有线连接的方式将视频图像回传到中央控制计算机；

所述中央控制计算机将回传得到的冰壶运动状态数据传入冰壶运动状态解算模块，解算得到冰壶出手角速度和出手速度；

所述冰壶运动状态解算模块将解算得到的冰壶出手角速度和出手速度传入冰壶运动状态数据显示模块和冰壶运动状态数据存储模块，所述冰壶状态数据显示模块实时显示冰壶出手角速度和出手速度，所述冰壶运动状态数据存储模块将轮椅冰壶运动员该次冰壶运动状态数据存储到对应数据库中；

所述中央控制计算机将回传得到的冰壶运动视频图像传入冰壶运动视频图像处理模块，所述冰壶运动视频图像处理模块包括目标跟踪子模块，冰场重建子模块和冰壶运动轨迹复现子模块；

所述目标跟踪子模块对视频图像中的目标冰壶进行跟踪，得到由各帧图像中冰壶中心位置像素点坐标组成的冰壶像素点运动轨迹并发送给冰壶运动轨迹复现子模块；所述冰场重建子模块通过对视频图像中的冰场图像进行重建，到冰场像素点坐标和实际冰场位置之间的坐标转换矩阵并发送给冰壶运动轨迹复现子模块；

所述冰壶运动轨迹复现子模块，根据接收到的冰壶像素点运动轨迹和坐标转换矩阵，得到冰壶在实际冰场中的运动位置变化情况，进而可以实现冰壶运动轨迹的复现。

所述冰壶目标跟踪子模块，可以对目标冰壶进行跟踪，得到冰壶中心位置像素点坐标，连接各帧冰壶像素点坐标可以得到冰壶运动轨迹，最终输出具有冰壶轨迹标注的完整视频，并将跟踪得到的冰壶像素点坐标输出存储到文档中，所述目标跟踪子模块实现预设目标主要包括以下五个步骤：

1.从图像采集装置发送的冰壶运动视频中框选标记跟踪冰壶初始区域(该初始区域位于冰壶运动视频的第一帧，为包含目标冰壶的矩形框)，提取初始区域的图像特征，主要包括手工设计的特征(如灰度等)和深度特征(通过大量训练样本学习出来的特征)；

2.在视频的下一帧生成众多候选样本，常用的生成方法有粒子滤波和滑动窗口，其中粒子滤波是通过递归的方式推断目标的隐含状态，滑动窗口则是一种穷举搜索方法；

3.根据初始区域的图像特征判定候选样本的相似度，其中相似度最高的即为下一帧中所要跟踪的目标冰壶；

4.重复步骤2)和3)，逐帧寻找目标冰壶位置，并计算每一帧中该目标冰壶中心像素点坐标，标注冰壶运动轨迹

5.输出具有冰壶运动轨迹标注的完整视频，并将跟踪得到的冰壶像素点坐标输出存储到文档中。

所述冰场重建子模块，可以对摄像机拍摄得到的冰场图像进行重建，并得到冰场像素点坐标和实际冰场位置之间的坐标转换矩阵，根据冰壶目标跟踪模块得到的冰壶像素点坐标，可以得到冰壶在实际冰场中的运动位置变化情况，进而可以实现冰壶运动轨迹的复现，为了实现所述目的，冰场重建子模块工作流程如下：

1.从图像采集装置发送的冰壶运动视频中获取一帧图像，对该图像进行二值化处理和边缘提取；

2.使用霍夫变换处理进过步骤1得到的第一帧图像，对该图像进行直线检测，得到冰场两端前掷线和两边界线的四个交点对应像素点坐标

3.根据实际冰场四个对应点坐标，根据透视变换重建冰场，可以求解得到冰场像素点坐标和实际冰场位置之间的坐标转换矩阵并发送给冰壶运动轨迹复现子模块；坐标矩阵形式如下：

其中x、y分别为四个交点的像素点坐标，u、v为四个交点在实际冰场中的坐标，由于转换是从二维空间变换到三维空间，因此定义w为透视变换常数，对坐标矩阵求解无影响，代入四个坐标可以求解得出转换矩阵的元素m0～m7，从而得到冰场像素点坐标和实际冰场坐标之间的转换关系；

4.在冰壶运动轨迹复现子模块，将目标跟踪子模块输出的冰壶像素点坐标代入坐标转换矩阵，得到冰壶在实际冰场中的运动轨迹情况。

Claims (4)

1.一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统，其特征在于，包括：运动状态检测装置、图像采集装置以及与该两个装置分别连接的中央控制计算机；

所述运动状态检测装置安装在选取的冰壶的壶体上表面中心，用于实时采集该冰壶运动过程中的运动状态数据，运动状态检测装置将采集的运动状态数据发送到中央控制计算机；

所述的图像采集装置用于采集冰壶训练或比赛的视频，并将该视频发送到中央控制计算机；

所述中央控制计算机，用于分别接收运动状态检测装置发送的运动状态数据和图像采集装置发送的视频数据；中央控制计算机通过对运动状态数据进行解算，得到冰壶出手速度和出手角速度并进行显示和储存，通过对视频数据进行处理，得到冰壶在实际冰场中运动轨迹的复现结果并进行显示和储存。

2.如权利要求1所述的系统，其特征在于，所述运动状态检测装置，包括：在芯片模组上集成的三轴陀螺仪、三轴加速度计、姿态解算模块、信号差分放大电路、滤波电路、数据传输模块和电源模块；其中，三轴陀螺仪和三轴加速度计均依次通过信号差分放大电路、滤波电路与姿态解算模块的输入端相连。

3.如权利要求1所述的系统，其特征在于，所述中央控制计算机包括：冰壶运动状态解算模块、冰壶运动状态数据显示模块、冰壶运动状态数据存储模块和冰壶运动视频图像处理模块；其中冰壶运动视频图像处理模块包括目标跟踪子模块、冰场重建子模块和冰壶运动轨迹复现子模块；

所述冰壶运动状态解算模块的输入端连接冰壶运动状态检测装置的输出端，冰壶运动状态解算模块的输出端分别连接冰壶运动状态数据存储模块的输入端和冰壶运动视频图像处理模块的输入端；冰壶运动视频图像处理模块中目标跟踪子模块的输入端和冰场重建子模块的输入端分别连接图像采集装置的输出端，目标跟踪子模块和冰场重建子模块的输出端分别连接冰壶运动轨迹复现子模块；

所述冰壶运动状态解算模块用于接收运动状态检测装置发送的运动状态数据，利用该状态数据，标记冰壶角速度从零开始变大所对应的时间戳为冰壶出手阶段初始时间戳，标记冰壶角速度最大值对应的时间戳为冰壶出手阶段结束时间戳，截取该两个时间戳内冰壶的运动状态数据，对该段时间内的冰壶加速度进行积分，得到冰壶出手速度；获取冰壶出手阶段初始时间戳的角速度数据，得到冰壶出手角速度；然后将冰壶出手速度和出手角速度分别发送给冰壶运动状态数据显示模块和冰壶运动状态数据存储模块；

所述冰壶运动状态数据显示模块用于显示接收到的冰壶出手加速度和出手角速度数据；所述冰壶运动状态数据存储模块用于存储接收到的冰壶出手加速度和出手角速度数据；

所述目标跟踪子模块和冰场重建子模块分别从图像采集装置获取冰壶运动的视频图像，目标跟踪子模块对视频图像中安装有运动状态检测装置的冰壶进行跟踪，得到由各帧图像中该冰壶中心位置像素点坐标组成的冰壶像素点运动轨迹并发送给冰壶运动轨迹复现子模块；所述冰场重建子模块通过对视频图像中的冰场图像进行重建，得到冰场像素点坐标和实际冰场位置之间的坐标转换矩阵并发送给冰壶运动轨迹复现子模块；所述冰壶运动轨迹复现子模块，根据接收到的冰壶像素点运动轨迹和坐标转换矩阵，得到冰壶在实际冰场中的运动位置变化情况，实现冰壶运动轨迹的复现。

4.如权利要求2所述的系统，其特征在于，所述运动状态检测装置的芯片模组上还集成有与所述信号差分放大电路输入端相连的三轴磁力计，用于消除所述三轴加速度计的漂移误差。

Images