CN107657236A - 汽车安全驾驶预警方法及车载预警系统 - Google Patents

Abstract

本发明公开了一种汽车安全驾驶预警方法及车载预警系统，所述方法包括：构建CNN深度学习框架模型，模拟驾驶员驾驶的复杂环境和驾驶员驾驶的状态指标；对驾驶员人脸检测，判断驾驶员驾驶过程中人脸状态；对驾驶员疲劳驾驶行为进行检测；对驾驶员安全驾驶行为进行检测；实时采集车辆连续行驶的时间信息或距离信息；监控汽车的位置信息和运行轨迹，并定时识别驾驶员身份信息。本发明通过CNN深度学习框架模型对采集的驾驶员面部图像进行比对，判断驾驶员的驾驶安全状态，算法运行效率高，准确率高，硬件配置要求低，实用性强，通过定位系统单元实时获取车辆的位置信息和行驶参数，实现对驾驶员的驾车行为管理、车辆行驶管理、防丢车管理。

Description

汽车安全驾驶预警方法及车载预警系统

技术领域

本发明涉及汽车驾驶预警技术领域，特别是涉及一种基于CNN深度学习框架模型的汽车安全驾驶预警方法及车载预警系统。

背景技术

汽车安全驾驶是人们日常生活中非常关心的一项内容，在汽车安全驾驶预警领域，现有技术普遍采用的技术方案为：一是需要联网，通过联网人工或机器检测的方式，判断驾驶员有无不安全驾驶行为，这种方式严重依赖于网络，受网络传输速度的限制较大，特别是在一些没有无线网络信号覆盖的地域，这种方法无法实施；二是采用图像比对算法，但是现有技术的算法一般较简单，不能精细的判断驾驶员的面部状态信息，例如Opencv自带的Harr检测方法，难以在复杂的真实环境中捕捉到人脸图像，只能判断驾驶员的大幅度移动位置的状态信息，同时，现有技术的图像比对算法成本高，误判率高。

因此，现有技术需要改进。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种汽车安全驾驶预警方法及车载预警系统，以解决现有技术中存在的问题。

根据本发明实施例的一个方面，提供的一种汽车安全驾驶预警方法，包括：

构建CNN深度学习框架模型，模拟驾驶员驾驶的复杂环境和驾驶员驾驶的状态指标；

根据CNN深度学习框架模型中的收缩CNN方法，对驾驶员人脸检测，判断驾驶员驾驶过程中人脸状态；

根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测，所述疲劳驾驶行为为驾驶员眼睛睁闭状态、睁闭频率、闭眼时长行为；

根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测，所述安全驾驶行为为驾驶员在驾驶过程中的转移目视方向、双手离开方向盘的行为；

实时采集车辆连续行驶的时间信息或距离信息，当超过设定连续行驶时间或连续行驶距离时，发出告警信息；

监控汽车的位置信息和运行轨迹，并定时识别驾驶员身份信息，对驾驶员驾驶行为及驾驶员身份进行管理。

基于上述汽车安全驾驶预警方法的另一个实施例中，还包括：

根据采集的驾驶员驾驶状态图像，重新训练CNN深度学习框架模型。

基于上述汽车安全驾驶预警方法的另一个实施例中，所述对驾驶员人脸检测包括：检测驾驶员的人脸亮度信息、左右倾斜信息、上下偏移信息和前后俯仰信息。

基于上述汽车安全驾驶预警方法的另一个实施例中，所述根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测包括：

在设定时间范围内连续分析驾驶员的眼睛睁闭状态信息；

计算驾驶员的眼睛睁闭频率和连续闭眼时长；

判断是否发生驾驶员的眼睛睁闭频率降低，且连续闭眼时长超过设定时间阈值；

如果是，则判断驾驶员为疲劳驾驶，告警系统进行语音提示。

基于上述汽车安全驾驶预警方法的另一个实施例中，所述根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测包括：

在设定时间范围内连续检测驾驶员的驾驶状态是否为不安全驾驶状态，所述不安全驾驶状态包括：驾驶员驾驶过程中驾驶员接听电话、驾驶员驾驶过程中环顾四周、驾驶员驾驶过程中双手离开方向盘、驾驶员驾驶过程中与他人交谈；

判断驾驶员不安全驾驶行为的持续时间是否超过设定时间阈值或者发生不安全驾驶行为的次数是否超过设定次数阈值；

如果是，则判断驾驶员为非安全状态驾驶车辆，告警系统进行语音提示。

基于本发明实施例的另一个方面，还公开了一种汽车安全驾驶预警的车载系统，包括：

主控单元，所述主控单元用于加载CNN深度学习框架模型，所述主控单元包括检测算法模块，采取检测算法，对采集的驾驶员图像与CNN深度学习框架模型比对，判断驾驶员的驾驶状态，所述检测算法包括面部识别检测、眼部识别检测和行为识别检测；

图像采集单元，所述图像采集单元与所述主控单元连接，将采集的实时图像发送至主控单元，图像采集单元实时采集驾驶员的人脸面部图像，并分析驾驶员眼睛状态、头部动作、上肢状态；

定位系统单元，与所述主控单元连接，将车辆的实时位置信息、连续行驶距离信息、连续行驶时间信息发送至主控单元，并由主控单元判断驾驶员是否疲劳驾驶；

告警单元，所述告警单元与所述主控单元连接，当主控单元判断驾驶员有不安全驾驶行为时，所述告警单元进行声音提醒。

基于上述汽车安全驾驶预警的车载系统的另一个实施例中，其特征在于，还包括：

通讯单元，与主控单元连接，用于将图像采集单元采集的驾驶员图像信息、车辆状态信息上传至服务器系统，由服务器系统保存驾驶员的图像信息和车辆的运行信息、状态信息、位置信息；

服务器系统，与通讯单元连接，对车辆进行实时定位，对驾驶员身份进行识别，并判断、记录、存储驾驶员的驾驶行为、车辆行驶行为、车辆状态信息。

基于上述汽车安全驾驶预警的车载系统的另一个实施例中，所述主控单元包括CNN深度学习框架模型训练模块，所述CNN深度学习框架模型训练模块根据接收的驾驶员图像信息，重新训练CNN深度学习框架模型，以提高目标识别率。

基于上述汽车安全驾驶预警的车载系统的另一个实施例中，所述主控单元包括RK1108芯片,所述RK1108芯片根据接收的训练模块重新训练的CNN深度学习框架模型自动升级，以提升算法的准确率和适应性。

与现有技术相比，本发明具有以下优点：

基于本发明上述实施例提供的汽车安全驾驶预警方法及车载预警系统，通过CNN深度学习框架模型对采集的驾驶员面部图像进行比对，判断驾驶员的驾驶安全状态，并能根据采集的图像，重新训练深度学习框架模型，算法运行效率高，准确率高，硬件配置要求低，成本降低，实用性强，通过定位系统单元实时获取车辆的位置信息和行驶参数，实现对驾驶员的驾车行为管理、车辆行驶管理、防丢车管理。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1是本发明汽车安全驾驶预警的车载系统的一个实施例的结构示意图。

图2是本发明汽车安全驾驶预警方法的一个实施例的流程图。

图3是本发明汽车安全驾驶预警方法的另一个实施例的流程图。

图4是本发明汽车安全驾驶预警方法的又一个实施例的流程图。

图中：1主控单元、2图像采集单元、3定位系统单元、4告警单元、5通讯单元、6服务器系统。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是本发明汽车安全驾驶预警的车载系统的一个实施例的结构示意图，如图1所示，该实施例的汽车安全驾驶预警的车载系统包括：

主控单元1，所述主控单元1用于加载CNN深度学习框架模型，所述主控1包括检测算法模块，通过检测算法对采集的驾驶员图像与CNN深度学习框架模型比对，判断驾驶员的驾驶状态；CNN深度学习框架模型模拟驾驶员驾驶的实际复杂环境，使机器自动学习人脸特征，分析并识别驾驶过程中的驾驶员人脸特征与机器自学习的人脸特征比对，判断驾驶员当前的驾驶状态；本发明的CNN深度学习框架模型能够在RK1108芯片上快速运行，在保证人脸检测的精度情况下，尽量缩小了模型的参数。主控单元1包括算法模块，通过进行检测算法，对采集的驾驶员图像与CNN深度学习框架模型比对，判断驾驶员的驾驶状态，所述检测算法包括面部识别检测、眼部识别检测和行为识别检测；

图像采集单元2，所述图像采集单元2与所述主控单元1连接，将采集的实时图像发送至主控单元1，图像采集单元2实时采集驾驶员的人脸面部图像，并分析驾驶员眼睛状态、头部动作、上肢状态；图像采集单元2由高清摄像设备和图像处理设备组成，通过高清摄像设备实时采集驾驶员的高清图像信息，并经过图像处理设备自动对焦人脸图像的眼睛部位，实时检测眼睛的睁闭状态、睁闭时长、睁闭频率，检测人体头部的左右倾斜、上下偏移、前后俯仰状态信息；检测人体上肢的位置信息；

定位系统单元3，与所述主控单元1连接，将车辆的实时位置信息、连续行驶距离信息、连续行驶时间信息发送至主控单元1，并由主控单元1判断驾驶员是否疲劳驾驶，所述定位系统单元3包括GPS定位系统和/或北斗定位系统，定位系统单元3能实时记录车辆的位置信息，计算车辆的连续行驶速度、连续行驶时间和连续行驶距离，通过设定驾驶员限定连续驾驶时间阈值，当定位系统单元3检测到驾驶员连续驾驶时间超过设定时间阈值时，主控单元1发出告警信息；

告警单元4，所述告警单元4与所述主控单元1连接，当主控单元1判断驾驶员有不安全驾驶行为时，所述告警单元4进行声音提醒。

通讯单元5，与主控单元1连接，用于将图像采集单元采集的驾驶员图像信息、车辆状态信息上传至服务器系统6，由服务器系统6保存驾驶员的图像信息和车辆的运行信息、状态信息、位置信息，在一个具体的实施例中，通讯单元5为4G和/或3G通讯模块，当用户插入4G和/或3G手机卡并开通数据服务时，通讯单元5提供数据通讯功能，如果没有安装手机卡，则不提供数据服务，系统按照不联网模式运行；在另一个具体的实施例中，通讯单元5采用卫星通信模块，依托卫星通信的数据传输信道资源，提供远距离的数据通信；

服务器系统7，与通讯单元5连接，对车辆进行实时定位，对驾驶员身份进行识别，并判断、记录、存储驾驶员的驾驶行为、车辆行驶行为、车辆状态信息，服务器系统7是提供软件升级、公共数据服务的平台，并能够为驾驶员图像、车辆运行轨迹、车辆不安全行驶信息等进行备份。

所述主控单元1包括CNN深度学习框架模型训练模块，所述CNN深度学习框架模型训练模块根据接收的驾驶员图像信息，重新训练CNN深度学习框架模型，以提高目标识别率。所述主控单元1包括RK1108芯片。

图2是本发明汽车安全驾驶预警方法的一个实施例的流程图，如图2所示，所述汽车安全驾驶预警方法包括：

10，构建CNN深度学习框架模型，模拟驾驶员驾驶的复杂环境和驾驶员驾驶的状态指标；

20，根据CNN深度学习框架模型中的收缩CNN方法，对驾驶员人脸检测，判断驾驶员驾驶过程中人脸状态；

30，根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测，所述疲劳驾驶行为为驾驶员眼睛睁闭状态、睁闭频率、闭眼时长行为；

40，根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测，所述安全驾驶行为为驾驶员在驾驶过程中的转移目视方向、双手离开方向盘的行为；

50，实时采集车辆连续行驶的时间信息或距离信息，当超过设定连续行驶时间或连续行驶距离时，发出告警信息；

60，监控汽车的位置信息和运行轨迹，并定时识别驾驶员身份信息，对驾驶员驾驶行为及驾驶员身份进行管理。

还包括：

70，根据采集的驾驶员驾驶状态图像，重新训练CNN深度学习框架模型。

所述对驾驶员人脸检测包括：检测驾驶员的人脸亮度信息、左右倾斜信息、上下偏移信息和前后俯仰信息。

图3是本发明汽车安全驾驶预警方法的另一个实施例的流程图，如图3所示，所述根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测包括：

101，在设定时间范围内连续分析驾驶员的眼睛睁闭状态信息；

102，计算驾驶员的眼睛睁闭频率和连续闭眼时长；

103，判断是否发生驾驶员的眼睛睁闭频率降低，且连续闭眼时长超过设定时间阈值；

104，如果是，则判断驾驶员为疲劳驾驶，告警单元4进行语音提示。

在一个具体实施例中，设定时间阈值为1秒，则CNN深度学习框架模型检测到驾驶员在驾驶过程中连续闭眼时间超过1秒，则认为驾驶员处于疲劳驾驶状态，触发告警单元4发出告警信号。

图4是本发明汽车安全驾驶预警方法的又一个实施例的流程图，如图4所示，所述根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测包括：

201，在设定时间范围内连续检测驾驶员的驾驶状态是否为不安全驾驶状态，所述不安全驾驶状态包括：驾驶员驾驶过程中驾驶员接听电话、驾驶员驾驶过程中环顾四周、驾驶员驾驶过程中双手离开方向盘、驾驶员驾驶过程中与他人交谈；

202，判断驾驶员不安全驾驶行为的持续时间是否超过设定时间阈值或者发生不安全驾驶行为的次数是否超过设定次数阈值；

203，如果是，则判断驾驶员为非安全状态驾驶车辆，告警单元4进行语音提示。

在一个具体的实施例中，设定的时间阈值为1秒，设定的次数阈值为2此，如果驾驶员不安全驾驶行为的持续时间超过1秒，或者驾驶员发生不安全驾驶行为的次数大于2次，则判断驾驶员正在进行非安全驾驶，触发告警单元4的告警。

在驾驶员驾驶汽车的过程中，通过开启定位系统单元3，可以采集实时数据，如果驾驶员连续行车时间超过设定的N个小时，则触发告警单元4提醒用户持续驾驶时间不能超过N小时，请泊车休息；

根据定位系统单元3信息与时间判断，如果行驶连续超过N千米，则触发告警单元4提醒用户持续行驶不能超过N小时，请泊车休息。

随着产品投入使用，算法模型的种类越来越多，因此，根据CNN深度学习框架模型的自学习算法，模型重新进行训练，然后自动升级到芯片上，提升算法的准确率和适应性。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (9)

1.一种汽车安全驾驶预警方法，其特征在于，包括：

构建CNN(Convolutional Neural Network，卷积神经网络)深度学习框架模型，模拟驾驶员驾驶的复杂环境和驾驶员驾驶的状态指标；

根据CNN深度学习框架模型中的收缩CNN方法，对驾驶员人脸检测，判断驾驶员驾驶过程中人脸状态；

根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测，所述疲劳驾驶行为为驾驶员眼睛睁闭状态、睁闭频率、闭眼时长行为；

根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测，所述安全驾驶行为为驾驶员在驾驶过程中的转移目视方向、双手离开方向盘的行为；

实时采集车辆连续行驶的时间信息或距离信息，当超过设定连续行驶时间或连续行驶距离时，发出告警信息；

监控汽车的位置信息和运行轨迹，并定时识别驾驶员身份信息，对驾驶员驾驶行为及驾驶员身份进行管理。

2.根据权利要求1所述的汽车安全驾驶预警方法，其特征在于，还包括：

根据采集的驾驶员驾驶状态图像，重新训练CNN深度学习框架模型。

3.根据权利要求1或2所述的汽车安全驾驶预警方法，其特征在于，所述对驾驶员人脸检测包括：检测驾驶员的人脸亮度信息、左右倾斜信息、上下偏移信息和前后俯仰信息。

4.根据权利要求1或2所述的汽车安全驾驶预警方法，其特征在于，所述根据CNN深度学习框架模型对驾驶员疲劳驾驶行为进行检测包括：

在设定时间范围内连续分析驾驶员的眼睛睁闭状态信息；

计算驾驶员的眼睛睁闭频率和连续闭眼时长；

判断是否发生驾驶员的眼睛睁闭频率降低，且连续闭眼时长超过设定时间阈值；

如果是，则判断驾驶员为疲劳驾驶，告警系统进行语音提示。

5.根据权利要求1或2所述的汽车安全驾驶预警方法，其特征在于，所述根据CNN深度学习框架模型对驾驶员安全驾驶行为进行检测包括：

在设定时间范围内连续检测驾驶员的驾驶状态是否为不安全驾驶状态，所述不安全驾驶状态包括：驾驶员驾驶过程中驾驶员接听电话、驾驶员驾驶过程中环顾四周、驾驶员驾驶过程中双手离开方向盘、驾驶员驾驶过程中与他人交谈；

判断驾驶员不安全驾驶行为的持续时间是否超过设定时间阈值或者发生不安全驾驶行为的次数是否超过设定次数阈值；

如果是，则判断驾驶员为非安全状态驾驶车辆，告警系统进行语音提示。

6.一种汽车安全驾驶预警的车载系统，其特征在于，包括：

主控单元，所述主控单元用于加载CNN深度学习框架模型，所述主控单元包括检测算法模块，采取检测算法，对采集的驾驶员图像与CNN深度学习框架模型比对，判断驾驶员的驾驶状态，所述检测算法包括面部识别检测、眼部识别检测和行为识别检测；

图像采集单元，所述图像采集单元与所述主控单元连接，将采集的实时图像发送至主控单元，图像采集单元实时采集驾驶员的人脸面部图像，并分析驾驶员眼睛状态、头部动作、上肢状态；

定位系统单元，与所述主控单元连接，将车辆的实时位置信息、连续行驶距离信息、连续行驶时间信息发送至主控单元，并由主控单元判断驾驶员是否疲劳驾驶；

告警单元，所述告警单元与所述主控单元连接，当主控单元判断驾驶员有不安全驾驶行为时，所述告警单元进行声音提醒。

7.根据权利要求6所述的汽车安全驾驶预警的车载系统，其特征在于，还包括：

通讯单元，与主控单元连接，用于将图像采集单元采集的驾驶员图像信息、车辆状态信息上传至服务器系统，由服务器系统保存驾驶员的图像信息和车辆的运行信息、状态信息、位置信息；

服务器系统，与通讯单元连接，对车辆进行实时定位，对驾驶员身份进行识别，并判断、记录、存储驾驶员的驾驶行为、车辆行驶行为、车辆状态信息。

8.根据权利要求6所述的汽车安全驾驶预警的车载系统，其特征在于，所述主控单元包括CNN深度学习框架模型训练模块，所述CNN深度学习框架模型训练模块根据接收的驾驶员图像信息，重新训练CNN深度学习框架模型，以提高目标识别率。

9.根据权利要求6所述的汽车安全驾驶预警的车载系统，其特征在于，所述主控单元包括RK1108芯片。