CN110472549A - 基于车载gpu加速的列车驾驶员动作实时识别系统及方法 - Google Patents

Abstract

本发明提供了一种基于车载GPU加速的列车驾驶员动作实时识别系统及方法，实时监控模块连接物体检测模块，物体检测模块连接动作识别模块，动作识别模块分别连接监控预警模块、存储模块和信息传输模块；识别方法包括：实时监控模块采集驾驶员监控画面；物体检测模块识别出驾驶员的各身体部位和驾驶室内的重要标注物体；动作识别模块进行动作匹配得到识别结果；后续处理模块对识别结果进行处理。本发明提供的基于车载GPU加速的列车驾驶员动作实时识别系统及方法，针对车载GPU的特点，对深度学习模型进行了优化和改进，在保证识别准确度的前提下，极大地提高了驾驶员动作识别的速度，使其可以在嵌入式环境中实时运行。

Description

基于车载GPU加速的列车驾驶员动作实时识别系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于车载GPU加速的列车驾驶员动作实时识别系统及方法。

背景技术

在列车行驶过程中对列车驾驶员的行为进行监控对保证列车安全具有重要意义。随着深度学习和计算机视觉的迅速发展，涌现了很多优秀的人类动作识别方案。但是这些方案往往需要繁重的计算，对硬件的要求极高，而且难以实时运行。对于列车驾驶员动作识别这一具体问题，CMU的OpenPose人体关键点检测系统对硬件的要求过高，在GTX 1080上只能达到 5fps左右的速度，无法满足实时的要求；基于三维卷积运算的各种深度学习动作识别系统由于过高的运算量和过大的模型，造成对硬件要求过高和实时性难以保证等问题从而难以部署在列车上。

发明内容

针对上述现有技术的不足，本发明提供了一种基于车载GPU加速的列车驾驶员动作实时识别系统及方法，针对车载GPU的特点，对深度学习模型进行了优化和改进，在保证识别准确度的前提下，极大地提高了驾驶员动作识别的速度，使其可以在嵌入式环境中实时运行。

本发明采用如下技术方案：

一种基于车载GPU加速的列车驾驶员动作实时识别系统，包括实时监控模块、车载GPU 加速驾驶员行为识别模块和后续处理模块，所述车载GPU加速驾驶员行为识别模块包括物体检测模块和动作识别模块，所述后续处理模块包括监控预警模块、存储模块和信息传输模块，所述实时监控模块连接所述物体检测模块，所述物体检测模块连接所述动作识别模块，所述动作识别模块分别连接所述监控预警模块、存储模块和信息传输模块；所述实时监控模块用于采集驾驶员监控画面并输入到物体检测模块，物体检测模块用于根据预先训练好的模型识别出驾驶员的各身体部位和驾驶室内的重要标注物体，所述动作识别模块用于进行动作匹配以识别特定动作，并将识别结果输入到后续处理模块中，所述监控预警模块用于比较驾驶员的动作判断驾驶员是否处于对列车造成危险的动作中，所述存储模块用于记录识别结果，所述信息传输模块用于在有需要时传输识别结果。

所述基于车载GPU加速的列车驾驶员动作实时识别系统的识别方法包括：实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块；物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块；动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中；后续处理模块对识别结果进行处理。

进一步地，所述GPU采用Nvidia Jetson TX1型号的GPU。因为多层卷积神经网络需要极大的计算量，传统的CPU和单片机无法支持这种繁重的工作。GPU独特的硬件结构使其支持大规模并行运算，非常适合深度神经网络的运行。

进一步地，所述实时监控模块为广角摄像头。

进一步地，所述存储模块为SD卡存储设备。

进一步地，所述实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块，包括：所述广角摄像头逐帧采集驾驶员监控画面，并将监控画面输入到物体检测模块。

进一步地，所述物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块，包括：基于YOLO模型线下训练一个优化的深度学习模型，采用mobilenet中的深度可分离卷积操作在YOLO模型的图像特征提取中将传统卷积替换为深度可分离卷积，形成优化的深度学习模型；物体检测模块根据优化的深度学习模型识别出驾驶员身份、驾驶员的头部和手、驾驶室内的操作屏、司控器、驾驶座和电话；其中，所述驾驶室内的重要标注物体为操作屏、司控器、驾驶座和电话；物体检测模块将识别过的监控画面输入到动作识别模块。

进一步地，所述动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中，包括：根据预先输入的人类动作模板进行动作匹配，判断手和头的高度、距离，并与整个人框的长度和高度比较，识别出驾驶员是否在打手势；所述打手势为手的连贯动作，或结合手指的形状一起，通过识别打手势可对用户身份进行验证或者当前所处状态进行识别；根据整个人框的高度判断驾驶员是处于站立还是坐下的状态；根据驾驶员手部与关键物体的重合程度和时长，判断驾驶员的操作状态。

进一步地，所述动作识别模块采用模板匹配的方式，所述驾驶员的操作状态包括操作机车屏幕、挂挡、打手势、打电话、坐在驾驶座上、站立；预先导入驾驶员状态表情系列包以进行身份识别或控制是否发送报警信号到后台，避免使用人皮面具以假身份模仿；通过面部识别结合表情系列包来进行身份识别，以分配登录权限，或是否发送报警信号到后台从而避免被劫持无法报警的情况

进一步地，所述后续处理模块对识别结果进行处理，包括：存储模块对识别结果进行记录；监控预警模块比较驾驶员的动作，判断驾驶员是否处于对列车造成危险的动作中以进行预警；信息传输模块根据需要传输识别结果。

一种基于车载GPU加速的列车驾驶员动作实时识别方法，基于列车驾驶员动作实时识别系统，所述方法包括以下步骤：实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块；物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块；动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中；后续处理模块对识别结果进行处理。

本发明的有益效果为：

1.检测速度快。经过车载GPU加速的驾驶员动作识别系统可以达到30fps的速度，针对车载GPU优化的YOLO神经网络结构使得网络层数显著减小，前向传播时间减少，而且动作识别模块使用了动作模板匹配的方式，时间消耗几乎可以忽略不计。

2.高度优化，动作识别准确。使用优化的深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。而动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

3.性价比高，成本低。车载GPU相对GTX 1080或者Titan X等高级设备而言体积较小，价格较低，同时经过本方案的优化后同样能实现驾驶员动作的实时识别，适合大规模部署在我国列车系统中。

附图说明

图1为本发明基于车载GPU加速的列车驾驶员动作实时识别系统的结构示意图。

图2为本发明基于车载GPU加速的列车驾驶员动作实时识别方法的步骤示意图。

附图中，实时监控模块1、车载GPU加速驾驶员行为识别模块2、物体检测模块21、动作识别模块22、后续处理模块3、监控预警模块31、存储模块32、信息传输模块33。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明提供了一种基于车载GPU的列车驾驶员动作实时识别系统，包括实时监控模块1、车载GPU加速驾驶员行为识别模块2和后续处理模块3，车载GPU加速驾驶员行为识别模块2包括物体检测模块21和动作识别模块22，后续处理模块3包括监控预警模块31、存储模块32和信息传输模块33，实时监控模块1连接物体检测模块21，物体检测模块21连接动作识别模块22，动作识别模块22分别连接监控预警模块31、存储模块32和信息传输模块33。

本实施方式中，车载GPU采用Nvidia Jetson TX1型号的GPU，实时监控模块1为广角摄像头，用于采集驾驶员监控画面并输入到物体检测模块，物体检测模块21用于根据预先训练好的模型识别出驾驶员的各身体部位和驾驶室内的重要标注物体，动作识别模块22用于进行动作匹配以识别特定动作，并将识别结果输入到后续处理模块中，监控预警模块31用于比较驾驶员的动作判断驾驶员是否处于对列车造成危险的动作中；存储模块32为SD卡存储设备，用于记录识别结果；信息传输模块33用于在有需要时传输识别结果。

本实施方式采用Nvidia Jetson TX1型号的GPU，根据车载GPU的特点特别定制了基于深度学习的列车驾驶员动作实时识别加速方法，针对车载GPU的性能优化了深度学习模型和动作识别模块，使其适应嵌入式版本GPU的计算能力。实现整套流程的高效准确运行，硬件成本相对低廉，而且该嵌入式方案具有很强的普适性，其中车载GPU加速模块对于输入和输出硬件设备无特殊要求，可以适配多种使用环境。该系统的输出信息仅为动作识别结果，是只有几个字节的信息，相比输出监控画面节省了大量的资源消耗，对实时监控的预警、传输和存储都具有重大意义。

本实施方式中，GPU加速主要针对深度学习部分。因为多层卷积神经网络需要极大的计算量，传统的CPU和单片机无法支持这种繁重的工作。GPU独特的硬件结构使其支持大规模并行运算，非常适合深度神经网络的运行。这种加速方法的特点在于对特定场景进行模型优化，减小了神经网络模型的参数数量和前向传播计算次数，在保证检测准确度的前提下加快了检测速度，可以在嵌入式场景下实时运行。

如图2所示，本发明还提供了一种基于车载GPU加速的列车驾驶员动作实时识别方法，该方法的具体步骤如下：

S1、实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块。实时监控模块为广角摄像头，在采集驾驶员监控画面时为逐帧采集。

S2、物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块。

S2.1、预先训练好的模型为基于YOLO模型线下训练的一个优化的深度学习模型。

YOLO为一种新的目标检测方法，该方法的特点是实现快速检测的同时还达到较高的准确率。将目标检测任务看作目标区域预测和类别预测的回归问题。该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。相对于其它目标检测与识别方法(比如Fast R-CNN)将目标识别任务分类目标区域预测和类别预测等多个流程，YOLO将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下快速目标检测与识别，更加适合现场应用环境。YOLO模型采用卷积神经网络结构。开始的卷积层提取图像特征，全连接层预测输出概率，模型结构类似于GoogleNet。

本方法中训练的优化的深度学习模型，采用mobilenet中的深度可分离卷积操作在YOLO 模型的图像特征提取中将传统卷积替换为深度可分离卷积，设计轻量级的卷积神经网络，有效减少了计算量和内存访问量，加快了模型运行速度。深度级可分离卷积是一种可分解卷积操作，其可以分解为两个更小的操作：深度卷积和逐点卷积。标准卷积的卷积核是对所有的输入通道进行操作，而深度卷积中每个输入通道对只对应一个卷积核，这个卷积核在对应的输入特征图上滑动并在每个位置进行一次矩阵计算。

S2.2、物体检测模块根据优化的深度学习模型识别出驾驶员身份、驾驶员的头部和手、驾驶室内的操作屏、司控器、驾驶座和电话，其中，驾驶室内的重要标注物体为操作屏、司控器、驾驶座和电话。

S2.3、物体检测模块将识别过的监控画面输入到动作识别模块。

S3、动作识别模块采用模板匹配的方式，根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中。因为动作识别模块采用模板匹配的方式，所以计算量极小，基本可以忽略不计。

S3.1、根据预先输入的人类动作模板进行动作匹配，判断手和头的高度、距离，并与整个人框的长度和高度比较，识别出驾驶员是否在打手势；打手势为手的连贯动作，或结合手指的形状一起，通过识别打手势可对用户身份进行验证或者当前所处状态进行识别；例如，在进行用户身份验证时，驾驶员的手势动作设置为双臂齐平，同时前臂垂直向上。

S3.2、根据整个人框的高度判断驾驶员是处于站立还是坐下的状态；

S3.3、根据驾驶员手部与关键物体的重合程度和时长，判断驾驶员的操作状态，该操作状态包括操作机车屏幕、挂挡、打手势、打电话、坐在驾驶座上、站立；预先导入驾驶员状态表情系列包以进行身份识别或控制是否发送报警信号到后台，避免使用人皮面具以假身份模仿；通过面部识别结合表情系列包来进行身份识别，以分配登录权限，或是否发送报警信号到后台从而避免被劫持无法报警的情况；例如，在登录身份识别时，驾驶员面部表情包设置为左眼眼球向右，右眼眼球向左，并吐舌头；在发送报警信号时，驾驶员面部表情包设置为双手抓住自己的耳朵并使手臂合并，同时使嘴唇张开到最大。

S4、后续处理模块对识别结果进行处理。

S4.1、存储模块对识别结果进行记录；

S4.2、监控预警模块比较驾驶员的动作，判断驾驶员是否处于对列车造成危险的动作中以进行预警；

S4.3、信息传输模块根据需要传输识别结果；如需要对驾驶员进行考核时使用识别结果判断驾驶员在工作过程中是否进行了违规操作或者不规范的操作。

本实施方式所产生的有益效果为：

1.检测速度快。经过车载GPU加速的驾驶员动作识别系统可以达到30fps的速度，针对车载GPU优化的YOLO神经网络结构使得网络层数显著减小，前向传播时间减少，而且动作识别模块使用了动作模板匹配的方式，时间消耗几乎可以忽略不计。

2.高度优化，动作识别准确。使用优化的深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。而动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。

3.性价比高，成本低。车载GPU相对GTX 1080或者Titan X等高级设备而言体积较小，价格较低，同时经过本方案的优化后同样能实现驾驶员动作的实时识别，适合大规模部署在我国列车系统中。

本实施方式中，YOLO模型为背景技术的中的现有技术，故不做过多赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，包括实时监控模块、车载GPU加速驾驶员行为识别模块和后续处理模块，所述车载GPU加速驾驶员行为识别模块包括物体检测模块和动作识别模块，所述后续处理模块包括监控预警模块、存储模块和信息传输模块，所述实时监控模块连接所述物体检测模块，所述物体检测模块连接所述动作识别模块，所述动作识别模块分别连接所述监控预警模块、存储模块和信息传输模块；所述实时监控模块用于采集驾驶员监控画面并输入到物体检测模块，物体检测模块用于根据预先训练好的模型识别出驾驶员的各身体部位和驾驶室内的重要标注物体，所述动作识别模块用于进行动作匹配以识别特定动作，并将识别结果输入到后续处理模块中，所述监控预警模块用于比较驾驶员的动作判断驾驶员是否处于对列车造成危险的动作中，所述存储模块用于记录识别结果，所述信息传输模块用于在有需要时传输识别结果；

所述基于车载GPU加速的列车驾驶员动作实时识别系统的识别方法包括：实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块；物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块；动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中；后续处理模块对识别结果进行处理。

2.根据权利要求1所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述GPU采用Nvidia Jetson TX1型号的GPU。

3.根据权利要求2所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述实时监控模块为广角摄像头。

4.根据权利要求3所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述存储模块为SD卡存储设备。

5.根据权利要求4所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块，包括：所述广角摄像头逐帧采集驾驶员监控画面，并将监控画面输入到物体检测模块。

6.根据权利要求4所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块，包括：

基于YOLO模型线下训练一个优化的深度学习模型，采用mobilenet中的深度可分离卷积操作在YOLO模型的图像特征提取中将传统卷积替换为深度可分离卷积，形成优化的深度学习模型；

物体检测模块根据优化的深度学习模型识别出驾驶员身份、驾驶员的头部和手、驾驶室内的操作屏、司控器、驾驶座和电话；其中，所述驾驶室内的重要标注物体为操作屏、司控器、驾驶座和电话；

物体检测模块将识别过的监控画面输入到动作识别模块。

7.根据权利要求4所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中，包括：

根据预先输入的人类动作模板进行动作匹配，判断手和头的高度、距离，并与整个人框的长度和高度比较，识别出驾驶员是否在打手势；所述打手势为手的连贯动作，或结合手指的形状一起，通过识别打手势可对用户身份进行验证或者当前所处状态进行识别；

根据整个人框的高度判断驾驶员是处于站立还是坐下的状态；

根据驾驶员手部与关键物体的重合程度和时长，判断驾驶员的操作状态。

8.根据权利要求7所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述动作识别模块采用模板匹配的方式，所述驾驶员的操作状态包括操作机车屏幕、挂挡、打手势、打电话、坐在驾驶座上、站立；预先导入驾驶员状态表情系列包以进行身份识别或控制是否发送报警信号到后台，避免使用人皮面具以假身份模仿；通过面部识别结合表情系列包来进行身份识别，以分配登录权限，或是否发送报警信号到后台从而避免被劫持无法报警的情况。

9.根据权利要求4所述的基于车载GPU加速的列车驾驶员动作实时识别系统，其特征在于，所述后续处理模块对识别结果进行处理，包括：

存储模块对识别结果进行记录；

监控预警模块比较驾驶员的动作，判断驾驶员是否处于对列车造成危险的动作中以进行预警；

信息传输模块根据需要传输识别结果。

10.一种基于车载GPU加速的列车驾驶员动作实时识别方法，其特征在于，基于权利要求1-9中任一项权利要求中的基于车载GPU加速的列车驾驶员动作实时识别系统，所述方法包括以下步骤：

实时监控模块采集驾驶员监控画面，并输入监控画面到物体检测模块；

物体检测模块根据预先训练好的模型识别出驾驶员、驾驶员的身体部位和驾驶室内的重要物体，并输入到动作识别模块；

动作识别模块根据人类动作模板进行动作匹配，识别驾驶员的动作得到识别结果，并将识别结果输入到后续处理模块中；

后续处理模块对识别结果进行处理。