CN108819900A - 车辆控制方法和系统、车载智能系统、电子设备、介质 - Google Patents

Abstract

本申请实施例公开了一种车辆控制方法和系统、车载智能系统、电子设备、介质，其中，方法包括：获取当前请求使用车辆的用户的人脸图像；获取所述人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；如果所述特征匹配结果表示特征匹配成功，控制车辆动作以允许所述用户使用车辆。本申请实施例，基于特征匹配保证了预先记录人员的权利，并且可以在无网情况下实现特征匹配，克服了对网络的依赖性，进一步提高了车辆的安全保障性。

Description

车辆控制方法和系统、车载智能系统、电子设备、介质

技术领域

本申请涉及车辆智能识别技术，尤其是一种车辆控制方法和系统、车载智能系统、电子设备、介质。

背景技术

智能车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。目前对智能车辆的研究主要致力于提高汽车的安全性、舒适性，以及提供优良的人车交互界面。近年来，智能车辆己经成为世界车辆工程领域研究的热点和汽车工业增长的新动力，很多发达国家都将其纳入到各自重点发展的智能交通系统当中。

发明内容

本申请实施例提供的一种车辆控制方法和系统、车载智能系统、电子设备、介质。

根据本申请实施例的一个方面，提供的一种车辆控制方法，包括：

获取当前请求使用车辆的用户的人脸图像；

获取所述人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

如果所述特征匹配结果表示特征匹配成功，控制车辆动作以允许所述用户使用车辆。

可选地，所述使用车辆包括以下之一或任意组合：预约用车、开车、乘车、清洗车辆、保养车辆、维修车辆、给车辆加油、给车辆充电。可选地，所述数据集中存储有至少一个已预约乘车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门。

可选地，所述数据集中存储有至少一个已预约用车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门以及放行车辆驾驶控制权。

可选地，所述数据集中存储有至少一个已记录的允许乘车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门。

可选地，所述数据集中存储有至少一个已记录的允许用车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门以及放行车辆驾驶控制权。

可选地，所述数据集中存储有至少一个已预约开锁或已记录允许开锁的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车锁。

可选地，所述数据集中存储有至少一个已预约给车辆加油或已记录的允许给车辆加油的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车辆加油口。

可选地，所述数据集中存储有至少一个已预约给车辆充电或已记录的允许给车辆充电的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制允许充电设备连接车辆的电池。

可选地，还包括：控制车辆发出用于表示用户允许使用车辆的提示信息。

可选地，获取当前请求使用车辆的用户的人脸图像，包括：

通过设置在所述车辆上的拍摄组件采集所述用户的人脸图像。

可选地，还包括：

在所述车辆与云端服务器处于通信连接状态时，向所述云端服务器发送数据集下载请求；

接收并存储所述云端服务器发送的数据集。

可选地，还包括：

如果所述特征匹配结果表示特征匹配成功，根据特征匹配成功的预存人脸图像获取所述用户的身份信息；

向所述云端服务器发送所述人脸图像和所述身份信息。

可选地，所述方法还包括：获取所述人脸图像的活体检测结果；

所述根据特征匹配结果，控制车辆动作以允许所述用户使用车辆，包括：

所述根据特征匹配结果和活体检测结果，控制车辆动作以允许所述用户使用车辆。

可选地，还包括：

在所述车辆与移动端设备处于通信连接状态时，向所述移动端设备发送数据集下载请求；

接收并存储所述移动端设备发送的数据集。

可选地，还包括：所述数据集是由所述移动端设备在接收到所述数据集下载请求时，从云端服务器获取所述数据集并发送给所述车辆的。

可选地，还包括：

如果所述特征匹配结果表示特征匹配不成功，车辆动作以拒绝所述用户使用车辆。

可选地，还包括：

发出提示预约信息；

根据所述预约信息接收所述用户的预约请求，所述用户预约请求包括用户的预约人脸图像；

根据所述预约人脸图像，建立数据集。

可选地，还包括：

基于所述人脸图像进行用户状态检测；

根据用户状态检测的结果，进行异常状态的预警提示。

可选地，所述用户状态检测包括以下任意一项或多项：用户疲劳状态检测，用户分心状态检测，用户预定分心动作检测。

可选地，所述基于所述人脸图像进行用户疲劳状态检测时，包括：

对所述人脸图像的人脸至少部分区域进行检测，得到人脸至少部分区域的状态信息，所述人脸至少部分区域的状态信息包括以下任意一项或多项：眼睛睁合状态信息、嘴巴开合状态信息；

根据一段时间内的所述人脸至少部分区域的状态信息，获取用于表征用户疲劳状态的指标的参数值；

根据用于表征用户疲劳状态的指标的参数值确定用户疲劳状态检测的结果。

可选地，所述用于表征用户疲劳状态的指标包括以下任意一项或多项：闭眼程度、打哈欠程度。

可选地，所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率；和/或，

所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地，所述基于所述人脸图像进行用户分心状态检测时，包括：

对所述人脸图像中用户进行人脸朝向和/或视线方向检测，得到人脸朝向信息和/或视线方向信息；

根据一段时间内的所述人脸朝向信息和/或视线方向信息，确定用于表征用户分心状态的指标的参数值；所述用于表征用户分心状态的指标包括以下任意一项或多项：人脸朝向偏离程度，视线偏离程度；

根据用于表征所述用户分心状态的指标的参数值确定用户分心状态检测的结果。

可选地，所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，

所述视线偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地，所述基于所述人脸图像对用户进行人脸朝向和/或视线方向检测时，包括：

检测所述视频流中图像的人脸关键点；

根据所述人脸关键点进行人脸朝向和/或视线方向检测。

可选地，根据所述人脸关键点进行人脸朝向检测，得到人脸朝向信息，包括：

根据所述人脸关键点获取头部姿态的特征信息；

根据所述头部姿态的特征信息确定人脸朝向信息。

可选地，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作。

可选地，所述基于所述人脸图像进行用户分心状态检测时，包括：

对所述人脸图像进行所述预定分心动作相应的目标对象检测，得到目标对象的检测框；

根据所述目标对象的检测框，确定是否出现所述预定分心动作。

可选地，还包括：

若出现分心动作，获取一段时间内是否出现所述预定分心动作的确定结果，获取用于表征分心程度的指标的参数值；

根据所述用于表征分心程度的指标的参数值确定用户预定分心动作检测的结果。

可选地，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地，还包括：

若用户预定分心动作检测的结果为检测到预定分心动作，提示检测到的分心动作。

可选地，还包括：

执行与所述用户状态检测的结果对应的控制操作。

可选地，所述执行与所述用户状态检测的结果对应的控制操作，包括以下至少之一：

如果确定的所述用户状态检测的结果满足提示/告警预定条件，输出与所述提示/告警预定条件相应的提示/告警信息；和/或，

如果确定的所述用户状态检测的结果满足预定条件，向预设联系方式发送预定信息或与预设联系方式建立通信连接。

可选地，还包括：

向所述云端服务器发送所述用户状态检测的至少部分结果。

可选地，所述至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

可选地，还包括：

存储与所述异常用车状态信息对应的人脸图像；和/或，

向所述云端服务器发送与所述异常用车状态信息对应的人脸图像。

根据本申请实施例的另一个方面，提供的一种车载智能系统，包括：

用户图像获取单元，用于获取当前请求使用车辆的用户的人脸图像；

匹配单元，用于获取所述人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

车辆控制单元，用于如果所述特征匹配结果表示特征匹配成功，控制车辆动作以允许所述用户使用车辆。

可选地，所述使用车辆包括以下之一或任意组合：预约用车、开车、乘车、清洗车辆、保养车辆、维修车辆、给车辆加油、给车辆充电。

可选地，所述数据集中存储有至少一个已预约乘车的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车门。

可选地，所述数据集中存储有至少一个已预约用车的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车门以及放行车辆驾驶控制权。

可选地，所述数据集中存储有至少一个已记录的允许乘车的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车门。

可选地，所述数据集中存储有至少一个已记录的允许用车的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车门以及放行车辆驾驶控制权。

可选地，所述数据集中存储有至少一个已预约开锁或已记录允许开锁的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车锁。

可选地，所述数据集中存储有至少一个已预约给车辆加油或已记录的允许给车辆加油的用户的预存人脸图像；

所述车辆控制单元，用于控制开启车辆加油口。

可选地，所述数据集中存储有至少一个已预约给车辆充电或已记录的允许给车辆充电的用户的预存人脸图像；

所述车辆控制单元，用于控制允许充电设备连接车辆的电池。

可选地，还包括：控制车辆发出用于表示用户允许使用车辆的提示信息。

可选地，所述用户图像获取单元，具体用于通过设置在所述车辆上的拍摄组件采集所述用户的人脸图像。

可选地，还包括：

第一数据下载单元，用于在所述车辆与云端服务器处于通信连接状态时，向所述云端服务器发送数据集下载请求；接收并存储所述云端服务器发送的数据集。

可选地，还包括：

信息存储单元，用于如果所述特征匹配结果表示特征匹配成功，根据特征匹配成功的预存人脸图像获取所述用户的身份信息；向所述云端服务器发送所述人脸图像和所述身份信息。

可选地，所述装置还包括：活体检测单元，用于获取所述人脸图像的活体检测结果；

所述车辆控制单元，用于所述根据特征匹配结果和活体检测结果，控制车辆动作以允许所述用户使用车辆。

可选地，还包括：

第二数据下载单元，用于在所述车辆与移动端设备处于通信连接状态时，向所述移动端设备发送数据集下载请求；接收并存储所述移动端设备发送的数据集。

可选地，所述第二数据下载单元，用于由所述移动端设备在接收到所述数据集下载请求时，从云端服务器获取所述数据集并发送给所述车辆的。

可选地，所述车辆控制单元，还用于如果所述特征匹配结果表示特征匹配不成功，车辆动作以拒绝所述用户使用车辆。

可选地，还包括：

预约单元，用于发出提示预约信息；根据所述预约信息接收用户所述用户的预约请求，所述用户预约请求包括用户的预约人脸图像；根据所述预约人脸图像，建立数据集。

可选地，还包括：

状态检测单元，用于基于所述人脸图像进行用户状态检测；

输出单元，用于根据用户状态检测的结果，进行异常状态的预警提示。

可选地，所述用户状态检测包括以下任意一项或多项：用户疲劳状态检测，用户分心状态检测，用户预定分心动作检测。

可选地，所述状态检测单元基于所述人脸图像进行用户疲劳状态检测时，用于：

对所述人脸图像的人脸至少部分区域进行检测，得到人脸至少部分区域的状态信息，所述人脸至少部分区域的状态信息包括以下任意一项或多项：眼睛睁合状态信息、嘴巴开合状态信息；

根据一段时间内的所述人脸至少部分区域的状态信息，获取用于表征用户疲劳状态的指标的参数值；

根据用于表征用户疲劳状态的指标的参数值确定用户疲劳状态检测的结果。

可选地，所述用于表征用户疲劳状态的指标包括以下任意一项或多项：闭眼程度、打哈欠程度。

可选地，所述闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率；和/或，

所述打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地，所述状态检测单元基于所述人脸图像进行用户分心状态检测时，用于：

对所述人脸图像中用户进行人脸朝向和/或视线方向检测，得到人脸朝向信息和/或视线方向信息；

根据一段时间内的所述人脸朝向信息和/或视线方向信息，确定用于表征用户分心状态的指标的参数值；所述用于表征用户分心状态的指标包括以下任意一项或多项：人脸朝向偏离程度，视线偏离程度；

根据用于表征所述用户分心状态的指标的参数值确定用户分心状态检测的结果。

可选地，所述人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，

所述视线偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地，所述状态检测单元基于所述人脸图像对用户进行人脸朝向和/或视线方向检测时，用于：

检测所述视频流中图像的人脸关键点；

根据所述人脸关键点进行人脸朝向和/或视线方向检测。

可选地，所述状态检测单元根据所述人脸关键点进行人脸朝向检测，得到人脸朝向信息时，用于：

根据所述人脸关键点获取头部姿态的特征信息；

根据所述头部姿态的特征信息确定人脸朝向信息。

可选地，所述预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作。

可选地，所述状态检测单元基于所述人脸图像进行用户分心状态检测时，用于：

对所述人脸图像进行所述预定分心动作相应的目标对象检测，得到目标对象的检测框；

根据所述目标对象的检测框，确定是否出现所述预定分心动作。

可选地，所述状态检测单元，还用于：

若出现分心动作，获取一段时间内是否出现所述预定分心动作的确定结果，获取用于表征分心程度的指标的参数值；

根据所述用于表征分心程度的指标的参数值确定用户预定分心动作检测的结果。

可选地，所述分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地，还包括：

提示单元，用于若用户预定分心动作检测的结果为检测到预定分心动作，提示检测到的分心动作。

可选地，还包括：

控制单元，用于执行与所述用户状态检测的结果对应的控制操作。

可选地，所述控制单元，用于：

如果确定的所述用户状态检测的结果满足提示/告警预定条件，输出与所述提示/告警预定条件相应的提示/告警信息；和/或，

如果确定的所述用户状态检测的结果满足预定条件，向预设联系方式发送预定信息或与预设联系方式建立通信连接；和/或，

如果确定的所述用户状态检测的结果满足预定驾驶模式切换条件，将驾驶模式切换为自动驾驶模式。

可选地，还包括：

结果发送单元，用于向所述云端服务器发送所述用户状态检测的至少部分结果。

可选地，所述至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

可选地，还包括：

图像存储单元，用于存储与所述异常用车状态信息对应的人脸图像；和/或，

向所述云端服务器发送所述与所述异常用车状态信息对应的人脸图像。

根据本申请实施例的另一个方面，提供的一种车辆控制方法，包括：

接收车辆发送的待识别的人脸图像；

获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

如果所述特征匹配结果表示特征匹配成功，向所述车辆发送允许控制车辆的指令。

可选地，还包括：

接收车辆发送的数据集下载请求，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

向所述车辆发送所述数据集。

可选地，还包括：

接收车辆或移动端设备发送的预约请求，所述预约请求包括用户的预约人脸图像；

根据所述预约人脸图像，建立数据集。

可选地，所述获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，包括：

从所述车辆获取所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

可选地，还包括：

接收所述车辆发送的所述用户状态检测的至少部分结果，进行异常用车状态的预警提示。

可选地，所述至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

可选地，还包括：执行与所述用户状态检测的结果对应的控制操作。

可选地，所述执行与所述用户状态检测的结果对应的控制操作，包括：

如果确定的所述用户状态检测的结果满足提示/告警预定条件，输出与所述提示/告警预定条件相应的提示/告警信息；和/或，

如果确定的所述用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接。

可选地，还包括：接收所述车辆发送的与所述异常用车状态信息对应的人脸图像。

可选地，还包括：基于所述异常用车状态信息进行以下至少一个操作：

数据统计、车辆管理、用户管理。

可选地，所述基于所述异常用车状态信息进行数据统计，包括：

基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行统计，使所述人脸图像按不同异常用车状态进行分类，确定每种所述异常用车状态的统计情况。

可选地，所述基于所述异常用车状态信息进行车辆管理，包括：

基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行统计，使所述人脸图像按不同车辆进行分类，确定每个所述车辆的异常用车统计情况。

可选地，所述基于所述异常用车状态信息进行用户管理，包括：

基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行处理，使所述人脸图像按不同用户进行分类，确定每个所述用户的异常用车统计情况。

根据本申请实施例的另一个方面，提供的一种电子设备，包括：

图像接收单元，用于接收车辆发送的待识别的人脸图像；

匹配结果获得单元，用于获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

指令发送单元，用于如果所述特征匹配结果表示特征匹配成功，向所述车辆发送允许控制车辆的指令。

可选地，还包括：

数据发送单元，用于接收车辆发送的数据集下载请求，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；向所述车辆发送所述数据集。

可选地，还包括：

注册请求接收单元，用于接收车辆或移动端设备发送的预约请求，所述预约请求包括用户的预约人脸图像；

根据所述预约人脸图像，建立数据集。

可选地，所述匹配结果获得单元，具体用于从所述车辆获取所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

可选地，还包括：

检测结果接收单元，用于接收所述车辆发送的所述用户状态检测的至少部分结果，进行异常用车状态的预警提示。

可选地，所述至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

可选地，还包括：执行控制单元，用于执行与所述用户状态检测的结果对应的控制操作。

可选地，所述执行控制单元，用于：

如果确定的所述用户状态检测的结果满足提示/告警预定条件，输出与所述提示/告警预定条件相应的提示/告警信息；和/或，

如果确定的所述用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接。

可选地，还包括：

状态图像接收单元，用于接收所述车辆发送的与所述异常用车状态信息对应的人脸图像。

可选地，还包括：

异常处理单元，用于基于所述异常用车状态信息进行以下至少一个操作：数据统计、车辆管理、用户管理。

可选地，所述异常处理单元基于所述异常用车状态信息进行数据统计时，用于基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行统计，使所述人脸图像按不同异常用车状态进行分类，确定每种所述异常用车状态的统计情况。

可选地，所述异常处理单元基于所述异常用车状态信息进行车辆管理时，用于基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行统计，使所述人脸图像按不同车辆进行分类，确定每个所述车辆的异常用车统计情况。

可选地，所述异常处理单元基于所述异常用车状态信息进行用户管理时，用于基于所述异常用车状态信息对接收的与所述异常用车状态信息对应的人脸图像进行处理，使所述人脸图像按不同用户进行分类，确定每个所述用户的异常用车统计情况。

根据本申请实施例的另一个方面，提供的一种用户管理系统，包括：车辆和/或云端服务器；

所述车辆用于执行如上任意一项所述的用户管理方法；

所述云端服务器用于执行如上任意一项所述的车辆控制方法。

可选地，还包括：移动端设备，用于：

接收用户注册请求，所述用户注册请求包括用户的注册人脸图像；

将所述用户注册请求发送给所述云端服务器。

根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述车辆控制方法的操作。

根据本申请实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述车辆控制方法的操作。

基于本申请上述实施例提供的一种车辆控制方法和系统、车载智能系统、电子设备、介质，获取当前请求使用车辆的用户的人脸图像；获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆，基于特征匹配保证了预先记录人员的权利，并且可以在无网情况下实现特征匹配，克服了对网络的依赖性，进一步提高了车辆的安全保障性。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请实施例车辆控制方法一个实施例的流程图。

图2为本申请实施例中基于人脸图像进行用户疲劳状态检测一个实施例的流程图。

图3为本申请实施例中基于人脸图像进行用户分心状态检测一个实施例的流程图。

图4为本申请实施例中基于人脸图像进行预定分心动作检测一个实施例的流程图。

图5为本申请实施例用户状态检测一个实施例的流程示意图。

图6为本申请实施例车载智能系统一个实施例的结构示意图。

图7为本申请实施例车辆控制方法一个实施例的流程图。

图8为本申请实施例电子设备一个实施例的结构示意图。

图9为本申请实施例车辆管理系统一个实施例的使用流程图。

图10为本申请实施例电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本申请实施例车辆控制方法一个实施例的流程图。如图1所示，该实施例方法执行主体可为车辆端设备，例如执行主体可为车载智能系统或其他具有类似功能的设备，该实施例方法包括：

步骤110，获取当前请求使用车辆的用户的人脸图像。

为了获取用户的人脸图像，可选地，可通过设置在车辆外部或内部的图像采集装置对出现的人进行图像采集，以获得人脸图像。可选地，为了获得质量较好的人脸图像，可以对采集到的图像进行人脸检测、人脸质量筛选和活体识别等操作。

步骤120，获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果。

其中，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像。

可选地，将人脸图像与数据集中的预存人脸图像进行特征匹配，可以通过卷积神经网络分别获得人脸图像的特征和预存人脸图像的特征，之后进行特征匹配，以识别与人脸图像对应相同人脸的预存人脸图像，进而实现对采集到人脸图像的用户的身份进行识别。

步骤130，如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆。

可选地，特征匹配结果包括两种情况：特征匹配成功和特征匹配不成功，当特征匹配成功时，表示该用户是经过预约或被允许的用户，可以使用车辆，此时，控制车辆动作以允许用户使用车辆。

基于本申请上述实施例提供的一种车辆控制方法，获取当前请求使用车辆的用户的人脸图像；获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆，基于特征匹配保证了预先记录人员的权利，并且可以在无网情况下实现特征匹配，克服了对网络的依赖性，进一步提高了车辆的安全保障性。

在一个或多个可选的实施例中，可选地，使用车辆可以包括但不限于以下之一或任意组合：预约用车、开车、乘车、清洗车辆、保养车辆、维修车辆、给车辆加油、给车辆充电。

通常对于用车、开车，需要获得对车辆的驾驶控制权；而对于乘车(例如：班车、网约车)只需控制开启车门即可；对于清洗车辆可以有不同情况，如果是人工洗车的情况，车辆可以固定不动，对于清洗人员只需为其控制开启车门即可，而对于自动洗车的情况，可能需要为清洗人员提供车辆的驾驶控制权；保养车辆和维修车辆可以仅为对应人员控制开启车门即可；给车辆加油，需要控制开启加油口；给车辆充电(对于电动车)时，需要控制允许充电设备(如：充电枪)连接车辆的电池。

在其中一些实施方式中，数据集中存储有至少一个已预约乘车的用户的预存人脸图像；

步骤130可以包括：控制开启车门。

为预约乘车(如：网约车)的用户开启车门，使用户可以成功上车，而非预约用户无法开启车门上车，保证了预约用户的权益和车辆的安全。

在其中一些实施方式中，数据集中存储有至少一个已预约用车的用户的预存人脸图像；

步骤130可以包括：控制开启车门以及放行车辆驾驶控制权。

当预约用户预约的是驾驶车辆(如：预约租车)，为用户提供车辆驾驶控制权，而其他非预约用户无法进入车辆，即使非法进入车辆也无法驾驶车辆，保证了车辆的安全。

在其中一些实施方式中，数据集中存储有至少一个已记录的允许乘车的用户的预存人脸图像；

步骤130可以包括：控制开启车门。

当用户是已记录允许乘车的用户(如：私家车对应的没有驾驶能力的成员、班车的乘客)，为用户控制开启车门，使用户可以安全乘车。

在其中一些实施方式中，数据集中存储有至少一个已记录的允许用车的用户的预存人脸图像；

步骤130包括：控制开启车门以及放行车辆驾驶控制权。

当用户是已记录的允许用车的用户(如：私家车对应的具有驾驶能力的成员)，为用户提供车辆驾驶控制权，而其他非记录用户无法进入车辆，即使非法进入车辆也无法驾驶车辆，保证了车辆的安全。

在其中一些实施方式中，数据集中存储有至少一个已预约开锁或已记录允许开锁的用户的预存人脸图像；

步骤130包括：控制开启车锁。

对于一些特殊车辆(如：电动自行车、电动摩托车、共享单车等)，这些车辆只需开启车锁即可获得使用车辆，此时，用户可以是预约用户(临时预约或长期预约)或已记录允许开锁的用户，为该用户控制开启车锁，保证了车辆的安全。

在其中一些实施方式中，数据集中存储有至少一个已预约给车辆加油或已记录的允许给车辆加油的用户的预存人脸图像；

步骤130包括：控制开启车辆加油口。

在车辆需要进行加油时，需要开启加油口，对于已预约给车辆加油或已记录的允许给车辆加油的用户，为该用户控制开启车辆加油口，以实现为车辆加油，保证了车辆各方面性能的安全性。

在其中一些实施方式中，数据集中存储有至少一个已预约给车辆充电或已记录的允许给车辆充电的用户的预存人脸图像；

步骤130包括：控制允许充电设备连接车辆的电池。

在车辆需要进行充电时(如：电动汽车或电动自行车等)，需要控制允许充电设备连接车辆中的电池，对于已预约给车辆充电或已记录的允许给车辆充电的用户，为该用户控制允许充电设备连接车辆的电池，以实现为车辆充电，保证了车辆电池的安全性。

在一个或多个可选的实施例中，还包括：控制车辆发出用于表示用户允许使用车辆的提示信息。

为了给用户提供更好的使用体验，还可以发出用于表示用户允许使用车辆的提示信息，以提示用户可以使用车辆，避免用户等待或缩短用户等待的时间，为用户提供了更好的服务。

在一个或多个可选的实施例中，步骤110可以包括：

通过设置在车辆上的拍摄组件采集用户的人脸图像。

由于本实施例为用户提供的是使用车辆的服务，可以包括在车辆内部的操作(如：开车)或在车辆外部的操作(如：开车门、开车锁)，因此，拍摄组件可以设置在车辆外部或内部，可以是固定设置或活动设置。

在一个或多个可选的实施例中，还包括：

在车辆与云端服务器处于通信连接状态时，向云端服务器发送数据集下载请求；

接收并存储云端服务器发送的数据集。

可选地，通常数据集保存在云端服务器中，本实施例需要实现在车辆端进行人脸匹配，为了可以在无网络的情况下也能对人脸进行匹配，可以在有网络的情况下，从云端服务器下载数据集，并将数据集保存在车辆端，此时，即使没有网络，无法与云端服务器通信，也可以在车辆端实现人脸匹配，并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中，还可以包括：

如果特征匹配结果表示特征匹配成功，根据特征匹配成功的预存人脸图像获取用户的身份信息；

向云端服务器发送人脸图像和身份信息。

本实施例中，当匹配成功时，说明该用户是已经预约或已允许使用车辆的用户，从数据集中可获得对应的身份信息，而将人脸图像和身份信息发送到云端服务器，可以在云端服务器对该用户建立实时追踪(例如：某个用户在什么时间、什么地点乘坐某一车辆)，在存在网络的情况下，将人脸图像实时上传到云端服务器，可实现对用户使用车辆状态的分析和统计。

在一个或多个可选的实施例中，本实施例方法还包括：获取人脸图像的活体检测结果；

步骤130可以包括：

根据特征匹配结果和活体检测结果，控制车辆动作以允许用户使用车辆。

活体检测是用来判断图像是否来自真人(或活人)，通过活体检测可使得驾驶员的身份验证更为准确。本申请实施例对活体检测的具体方式不做限定，例如，可以采用对图像的三维信息深度分析、面部光流分析、傅里叶频谱分析、边缘或反光等防伪线索分析、视频流中多帧视频图像帧综合分析等等方法实现，不再赘述。

在一个或多个可选的实施例中，还包括：

在车辆与移动端设备处于通信连接状态时，向移动端设备发送数据集下载请求；

接收并存储移动端设备发送的数据集。

可选地，数据集是由移动端设备在接收到数据集下载请求时，从云端服务器获取数据集并发送给车辆的。

可选地，移动端设备可以是手机、PAD或者其他车辆上的终端设备等，移动端设备在接收到数据集下载请求时向云端服务器发送数据集下载请求，然后获得数据集在发送给车辆，通过移动端设备下载数据集时，可以应用移动端设备自带的网络(如：2G、3G、4G网络等)，避免了车辆受网络限制不能从云端服务器下载到数据集而无法进行人脸匹配的问题。

在一个或多个可选的实施例中，如果特征匹配结果表示特征匹配不成功，车辆动作以拒绝用户使用车辆。

特征匹配不成功表示该用户未经过预约或未被允许使用车辆，此时，为了保障已预约或已被允许使用车辆的用户的权益，车辆将拒绝该用户使用车辆，可选地，发出提示预约信息；

根据预约信息接收用户的预约请求，用户预约请求包括用户的预约人脸图像；

根据预约人脸图像，建立数据集。

通过车辆接收用户发出的预约请求，对该用户的人脸图像进行保存，在车辆端基于该人脸图像建立数据集，通过数据集可实现车辆端的单独人脸匹配，无需从云端服务器下载数据集。

在一个或多个可选的实施例中，还包括：

基于人脸图像进行用户状态检测；

根据用户状态检测的结果，进行异常状态的预警提示。

在其中一些实施方式中，可以根据用户状态检测的结果，输出用户的用户状态检测的结果。

在其中一些实施方式中，当用户为驾驶员时，可以根据用户状态检测的结果，对车辆进行智能驾驶控制。

在其中一些实施方式中，当用户为驾驶员时，可以根据用户状态检测的结果，输出用户的用户状态检测的结果，同时对车辆进行智能驾驶控制。

在其中一些实施方式中，输出用户的用户状态检测的结果可以包括：本地输出用户状态检测的结果和/或远程输出用户状态检测的结果。其中，本地输出用户状态检测的结果即通过驾驶状态检测装置或者用户监控系统输出用户状态检测的结果，或者向车辆中的中控系统输出用户状态检测的结果，以便车辆基于该用户状态检测的结果对车辆进行智能驾驶控制。远程输出用户状态检测的结果，例如可以是向云服务器或管理节点发送用户状态检测的结果，以便由云端服务器或管理节点进行用户状态检测的结果的收集、分析和/或管理，或者基于该用户状态检测的结果对车辆进行远程控制。

在一个可选示例中，根据用户状态检测的结果，进行异常用车状态的预警提示，可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的输出模块执行。

在一个可选示例中，上述操作可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的用户状态检测单元执行。

在一些实施方式中，用户状态检测例如可以包括但不限于以下任意一项或多项：用户疲劳状态检测，用户分心状态检测，用户预定分心动作检测，用户手势检测。则用户状态检测的结果相应包括但不限于以下任意一项或多项：用户疲劳状态检测的结果，用户分心状态检测的结果，用户预定分心动作检测的结果，用户手势检测的结果。

本申请实施例中的预定分心动作，可以是任意可能分散用户的注意力的分心动作，例如抽烟动作、喝水动作、饮食动作、打电话动作、娱乐动作等。其中，饮食动作例如吃水果、零食等食物；娱乐动作例如发信息、玩游戏、K歌等任意借助于电子设备执行的动作。其中的电子设备例如手机终端、掌上电脑、游戏机等。

基于本申请上述实施例提供的状态检测方法，可以对人脸图像进行用户状态检测，根据用户状态检测的结果输出用户的用户状态检测的结果，从而实现对用户的使用车辆状态的实时检测，以便于在用户的使用车辆状态较差时及时采取相应的措施，有利于保证安全驾驶，减少或避免发生道路交通事故。

图2为本申请实施例中基于人脸图像进行用户疲劳状态检测一个实施例的流程图。在一个可选示例中，该图2所示实施例可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的状态检测单元执行。如图2所示，在其中一些实施方式中，基于视频流进行用户疲劳状态检测，包括：

202，基于人脸图像的人脸至少部分区域进行检测，得到人脸至少部分区域的状态信息。

在一个可选示例中，上述人脸至少部分区域可以包括：用户人脸眼部区域、用户人脸嘴部区域以及用户面部整个区域等中的至少一个。其中，该人脸至少部分区域的状态信息可以包括以下任意一项或多项：眼睛睁合状态信息、嘴巴开合状态信息。

上述眼睛睁合状态信息可以用于进行用户的闭眼检测，如检测用户是否半闭眼(“半”表示非完全闭眼的状态，如瞌睡状态下的眯眼等)、是否闭眼、闭眼次数、闭眼幅度等。眼睛睁合状态信息可以可选的为对眼睛睁开的高度进行归一化处理后的信息。上述嘴巴开合状态信息可以用于进行用户的哈欠检测，如检测用户是否打哈欠、哈欠次数等。嘴巴开合状态信息可以可选的为对嘴巴张开的高度进行归一化处理后的信息。

在一个可选示例中，可以对人脸图像进行人脸关键点检测，直接利用所检测出的人脸关键点中的眼睛关键点进行计算，从而根据计算结果获得眼睛睁合状态信息。

在一个可选示例中，可以先利用人脸关键点中的眼睛关键点(例如，眼睛关键点在用户图像中的坐标信息)对用户图像中的眼睛进行定位，以获得眼睛图像，并利用该眼睛图像获得上眼睑线和下眼睑线，通过计算上眼睑线和下眼睑线之间的间隔，获得眼睛睁合状态信息。

在一个可选示例中，可以直接利用人脸关键点中的嘴巴关键点进行计算，从而根据计算结果获得嘴巴开合状态信息。

在一个可选示例中，可以先利用人脸关键点中的嘴巴关键点(例如，嘴巴关键点在用户图像中的坐标信息)对用户图像中的嘴巴进行定位，通过剪切等方式可以获得嘴巴图像，并利用该嘴巴图像获得上唇线和下唇线，通过计算上唇线和下唇线之间的间隔，获得嘴巴开合状态信息。

204，根据一段时间内的人脸至少部分区域的状态信息，获取用于表征用户疲劳状态的指标的参数值。

在一些可选示例中，用于表征用户疲劳状态的指标例如可以包括但不限于以下任意一项或多项：闭眼程度、打哈欠程度。

其中，闭眼程度的参数值例如可以包括但不限于以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率；和/或，打哈欠程度的参数值例如可以包括但不限于以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

206，根据上述用于表征用户疲劳状态的指标的参数值确定用户疲劳状态检测的结果。

上述用户疲劳状态检测的结果可以包括：未检测到疲劳状态和疲劳驾驶状态。或者，当用户为驾驶员时，上述用户疲劳状态检测的结果也可以是疲劳驾驶程度，其中的疲劳驾驶程度可以包括：正常驾驶级别(也可以称为非疲劳驾驶级别)以及疲劳驾驶级别；其中的疲劳驾驶级别可以为一个级别，也可以被划分为多个不同的级别，例如，上述疲劳驾驶级别可以被划分为：提示疲劳驾驶级别(也可以称为轻度疲劳驾驶级别)和警告疲劳驾驶级别(也可以称为重度疲劳驾驶级别)；当然，疲劳驾驶程度可以被划分为更多级别，例如，轻度疲劳驾驶级别、中度疲劳驾驶级别以及重度疲劳驾驶级别等。本申请不限制疲劳驾驶程度所包括的不同级别。

在一个或多个可选的实施例中，基于人脸图像进行用户疲劳状态检测时，可以包括以下步骤：

图3为本申请实施例中基于人脸图像进行用户分心状态检测一个实施例的流程图。在一个可选示例中，该图3所示实施例可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的状态检测单元执行。如图3所示，在其中一些实施方式中，基于视频流进行用户分心状态检测，可以包括：

302，基于人脸图像进行人脸朝向和/或视线方向检测，得到人脸朝向信息和/或视线方向信息。

其中，人脸朝向信息可以用于确定用户的人脸方向是否正常，如确定用户是否侧脸或者是否回头等。人脸朝向信息可选的可以为用户人脸正前方与用户所驾驶的车辆正前方之间的夹角。上述视线方向信息可以用于确定用户的视线方向是否正常，如确定用户是否目视前方等，视线方向信息可以用于判断用户的视线是否发生了偏离现象等。视线方向信息可选的可以为用户的视线与用户所使用的车辆正前方之间的夹角。

304，根据一段时间内用户的人脸朝向信息和/或视线方向信息，确定用于表征用户分心状态的指标的参数值。

其中，用于表征用户分心状态指标，例如可以包括但不限于以下任意一项或多项：人脸朝向偏离程度，视线偏离程度。在其中一些可选示例中，人脸朝向偏离程度的参数值例如可以包括但不限于以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，视线偏离程度的参数值例如可以包括但不限于以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

上述视线偏离程度例如可以包括：视线是否偏离以及视线是否严重偏离等中的至少一个；上述人脸朝向偏离程度(也可以称为转脸程度或者回头程度)例如可以包括：是否转头、是否短时间转头以及是否长时间转头中的至少一个。

在一个可选示例中，在判断出人脸朝向信息大于第一朝向，大于第一朝向的这一现象持续了N1帧(例如，持续了9帧或者10帧等)，则确定用户出现了一次长时间大角度转头现象，可以记录一次长时间大角度转头，也可以记录本次转头时长；在判断出人脸朝向信息不大于第一朝向，大于第二朝向，在不大于第一朝向，大于第二朝向的这一现象持续了N1帧(例如，持续了9帧或者10帧等)，则确定用户出现了一次长时间小角度转头现象，可以记录一次小角度转头偏离，也可以记录本次转头时长。

在一个可选示例中，在判断出视线方向信息和汽车正前方之间的夹角大于第一夹角，大于第一夹角的这一现象持续了N2帧(例如，持续了8帧或9帧等)，则确定用户出现了一次视线严重偏离现象，可以记录一次视线严重偏离，也可以记录本次视线严重偏离时长；在判断出视线方向信息和汽车正前方之间的夹角不大于第一夹角，大于第二夹角，在不大于第一夹角，大于第二夹角的这一现象持续了N2帧(例如，持续了9帧或10帧等)，则确定用户出现了一次视线偏离现象，可以记录一次视线偏离，也可以记录本次视线偏离时长。

在一个可选示例中，上述第一朝向、第二朝向、第一夹角、第二夹角、N1以及N2的取值可以根据实际情况设置，本申请不限制取值的大小。

306，根据用于表征用户分心状态的指标的参数值确定用户分心状态检测的结果。

其中，用户分心状态检测的结果例如可以包括：用户注意力集中(用户注意力未分散)，用户注意力分散；或者，用户分心状态检测的结果可以为用户注意力分散级别，例如可以包括：用户注意力集中(用户注意力未分散)，用户注意力轻度分散，用户注意力中度分散，用户注意力严重分散等。其中的用户注意力分散级别可以通过用于表征用户分心状态的指标的参数值所满足的预设条件确定。例如，若视线方向偏离角度和人脸朝向偏离角度均小于第一预设角度，用户注意力分散级别为用户注意力集中；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不大于第一预设时长、且小于第二预设时长为用户注意力轻度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不大于第二预设时长、且小于第三预设时长为用户注意力中度分散；若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度，且持续时间不下于第三预设时长为用户注意力重度分散。

当用户为驾驶员时，本实施例通过检测用户图像的人脸朝向和/或视线方向来确定用于表征用户分心状态的指标的参数值，并据此确定用户分心状态检测的结果，以判断用户是否集中注意力驾驶，通过对用户分心状态的指标进行量化，将驾驶专注程度量化为视线偏离程度和转头程度的指标中的至少一个，有利于及时客观的衡量用户的专注驾驶状态。

在其中一些实施方式中，操作302对人脸图像进行人脸朝向和/或视线方向检测，可以包括：

检测人脸图像的人脸关键点；

根据人脸关键点进行人脸朝向和/或视线方向检测。

由于人脸关键点中通常会包含有头部姿态特征信息，在其中一些可选示例中，根据人脸关键点进行人脸朝向检测，得到人脸朝向信息，包括：根据人脸关键点获取头部姿态的特征信息；根据头部姿态的特征信息确定人脸朝向(也称为头部姿态)信息，此处的人脸朝向信息例如可以表现出人脸转动的方向以及角度，这里的转动的方向可以为向左转动、向右转动、向下转动和/或者向上转动等。

在一个可选示例中，可以通过人脸朝向判断用户是否集中注意力驾驶。人脸朝向(头部姿态)可以表示为(yaw,pitch)，其中，yaw分别表示头部在归一化球坐标(摄像头所在的相机坐标系)中的水平偏转角度(偏航角)和垂直偏转角度(俯仰角)。当水平偏转角和/或垂直偏转角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定用户分心状态检测的结果为注意力不集中。

在一个可选示例中，可以利用相应的神经网络来获得各用户图像的人脸朝向信息。例如，可以将上述检测到的人脸关键点输入第一神经网络，经第一神经网络基于接收到的人脸关键点提取头部姿态的特征信息并输入第二神经网络；由第二神经网络基于该头部姿态的特征信息进行头部姿态估计，获得人脸朝向信息。

在采用现有的发展较为成熟，具有较好的实时性的用于提取头部姿态的特征信息的神经网络和用于估测人脸朝向的神经网络来获取人脸朝向信息的情况下，针对摄像头摄取到的视频，可以准确及时的检测出视频中的各图像帧(即各帧用户图像)所对应的人脸朝向信息，从而有利于提高确定用户注意力程度的准确性。

在其中一些可选示例中，根据人脸关键点进行视线方向检测，得到视线方向信息，包括：根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，并根据瞳孔边沿位置计算瞳孔中心位置；根据瞳孔中心位置与眼睛中心位置计算视线方向信息。例如，计算瞳孔中心位置与眼睛图像中的眼睛中心位置的向量，该向量即可作为视线方向信息。

在一个可选示例中，可以通过视线方向判断用户是否集中注意力驾驶。视线方向可以表示为(yaw,pitch)，其中，yaw分别表示视线在归一化球坐标(摄像头所在的相机坐标系)中的水平偏转角度(偏航角)和垂直偏转角度(俯仰角)。当水平偏转角和/或垂直偏转角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定用户分心状态检测的结果为注意力不集中。

其中，根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置，可以通过如下方式实现：基于该第三神经网络对根据人脸关键点分割出的图像中的眼睛区域图像进行瞳孔边沿位置的检测，并根据第三神经网络输出的信息获取到瞳孔边沿位置。

图4为本申请实施例中基于人脸图像进行预定分心动作检测一个实施例的流程图。在一个可选示例中，该图4所示实施例可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的状态检测单元执行。如图4所示，在其中一些实施方式中，基于人脸图像进行预定分心动作检测，包括：

402，基于人脸图像进行预定分心动作相应的目标对象检测，得到目标对象的检测框。

404，根据上述目标对象的检测框，确定是否出现预定分心动作。

本实施例提供了对用户进行预定分心动作检测的实现方案，通过检测预定分心动作相应的目标对象、根据检测到的目标对象的检测框确定是否出现分心动作，从而判断用户是否分心，有助于获取准确的用户预定分心动作检测的结果，从而有助于提高用户状态检测的结果的准确性。

例如，预定分心动作为抽烟动作时，上述操作402～404可以包括：经第四神经网络对用户图像进行人脸检测，得到人脸检测框，并提取人脸检测框的特征信息；经第四神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。

又如，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)时，上述操作402～404可以包括：经第五神经网络对用户图像进行饮食动作/喝水动作/打电话动作/娱乐动作相应的预设目标对象检测，得到预设目标对象的检测框，其中的预设目标对象包括：手部、嘴部、眼部、目标物体；目标物体例如可以包括但不限于以下任意一类或多类：容器、食物、电子设备；根据预设目标对象的检测框确定预定分心动作的检测结果，该预定分心动作的检测结果可以包括以下之一：未出现饮食动作/喝水动作/打电话动作/娱乐动作，出现饮食动作，出现喝水动作，出现打电话动作，出现娱乐动作。

在一些可选示例中，预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即：饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)时，根据预设目标对象的检测框确定预定分心动作的检测结果，可以包括：根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和目标物体的检测框，以及根据手部的检测框与目标物体的检测框是否重叠、目标物体的类型以及目标物体的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件，确定预定危险动作的检测结果。

可选地，若手部的检测框与目标物体的检测框重叠，目标物体的类型为容器或食物、且目标物体的检测框与嘴部的检测框之间重叠，确定出现饮食动作或喝水动作；和/或，若手部的检测框与目标物体的检测框重叠，目标物体的类型为电子设备，且目标物体的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者目标物体的检测框与眼部的检测框之间的最小距离小于第二预设距离，确定出现娱乐动作或打电话动作。

另外，若未同时检测到手部的检测框、嘴部的检测框和任一目标物体的检测框，且未同时检测到手部的检测框、眼部的检测框和任一目标物体的检测框，确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作；和/或，若手部的检测框与目标物体的检测框未重叠，确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作；和/或，若目标物体的类型为容器或食物、且目标物体的检测框与嘴部的检测框之间未重叠，和/或，目标物体的类型为电子设备、且目标物体的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者目标物体的检测框与眼部的检测框之间的最小距离不小于第二预设距离，确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作。

另外，在上述对用户图像进行预定分心动作检测的实施例中，还可以包括：若用户分心状态检测的结果为检测到预定分心动作，提示检测到的分心动作，例如，检测到抽烟动作时，提示检测到抽烟；检测到喝水动作时，提示检测到喝水；检测到打电话动作时，提示检测到打电话。

在一个可选示例中，上述提示检测到的分心动作的操作可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的第一提示模块执行。

另外，再参见图4，在对用户图像进行用户预定分心动作检测的另一个实施例中，还可以选择性地包括：

406，若出现预定分心动作，根据一段时间内是否出现预定分心动作的确定结果，获取用于表征用户分心程度的指标的参数值。其中，用于表征用户分心程度的指标例如可以包括但不限于以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。例如，抽烟动作的次数、持续时长、频率；喝水动作的次数、持续时长、频率；打电话动作的次数、持续时长、频率；等等。

408，根据用于表征分心程度的指标的参数值确定用户预定分心动作检测的结果。

上述用户预定分心动作检测的结果可以包括：未检测到预定分心动作，检测到的预定分心动作。另外，上述用户预定分心动作检测的结果也可以为分心级别，例如，上述分心级别例如可以被划分为：未分心级别(也可以称为专注驾驶级别)，提示分心驾驶级别(也可以称为轻度分心驾驶级别)和警告分心驾驶级别(也可以称为重度疲劳驾驶级别)；当然，分心级别也可以被划分为更多级别，例如：未分心驾驶级别，轻度分心驾驶级别、中度分心驾驶级别以及重度分心驾驶级别等。当然，本申请各实施例的分心级别也可以按照其他情况划分，不限制为上述级别划分情况。

其中的分心级别可以通过用于表征分心程度的指标的参数值所满足的预设条件确定。例如，若未检测到预定分心动作，分心级别为未分心级别(也可以称为专注驾驶级别)；若检测到预定分心动作的持续时间小于第一预设时长、且频率小于第一预设频率，分心级别为轻度分心驾驶级别；若检测到预定分心动作的持续时间大于第一预设时长，和/或频率大于第一预设频率，分心级别为重度分心驾驶级别。

另外，在本申请驾驶状态检测方法的另一个实施例中，还可以包括：根据用户分心状态检测的结果和/或用户预定分心动作检测的结果，输出分心提示信息。

来说，若用户分心状态检测的结果为用户注意力分散或者用户注意力分散级别，和/或用户预定分心动作检测的结果为检测到预定分心动作，则可以输出分心提示信息，以提醒用户集中注意力驾驶。

在一个可选示例中，上述根据用户分心状态检测的结果和/或用户预定分心动作检测的结果，输出分心提示信息的操作可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的第二提示模块执行。

图5为本申请用户状态检测一个实施例的流程示意图。在一个可选示例中，该图5所示实施例可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的状态检测单元执行。参见图5，该实施例方法包括：

502，基于人脸图像进行用户疲劳状态检测、用户分心状态检测和用户预定分心动作检测，得到用户疲劳状态检测的结果，用户分心状态检测的结果，用户预定分心动作检测的结果。

504，根据用户疲劳状态检测的结果、用户分心状态检测的结果和用户预定分心动作检测的结果所满足的预设条件确定用户状态等级。

506，将确定的用户状态等级作为用户状态检测的结果。

在一个可选示例中，每一个状态等级均对应有预设条件，可以实时的判断根据用户疲劳状态检测的结果、用户分心状态检测的结果和用户预定分心动作检测的结果所满足的预设条件，可以将被满足的预设条件所对应的状态等级确定为用户的用户状态检测的结果。当用户为驾驶员时，其中的状态等级例如可以包括：正常驾驶状态(也可以称为专注驾驶级别)，提示驾驶状态(驾驶状态较差)，警告驾驶状态(驾驶状态非常差)。

在一个可选示例中，上述图5所示实施例可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的输出模块执行。

例如，当用户为驾驶员时，在一个可选示例中，正常驾驶状态(也可以称为专注驾驶级别)对应的预设条件可以包括：

条件1、用户疲劳状态检测的结果为：未检测到疲劳状态或者非疲劳驾驶级别；

条件2，用户分心状态检测的结果为：用户注意力集中；

条件3，用户预定分心动作检测的结果为：未检测到预定分心动作或者未分心级别。

在上述条件1、条件2、条件3均满足的情况下，驾驶状态等级为正常驾驶状态(也可以称为专注驾驶级别)。

例如，在一个可选示例中，提示提示驾驶状态(驾驶状态较差)对应的预设条件可以包括：

条件11、用户疲劳状态检测的结果为：提示疲劳驾驶级别(也可以称为轻度疲劳驾驶级别)；

条件22，用户分心状态检测的结果为：用户注意力轻度分散；

条件33，用户预定分心动作检测的结果为：提示分心驾驶级别(也可以称为轻度分心驾驶级别)。

在上述条件11、条件22、条件33中的其中任一条件满足、其他条件中的结果未达到更严重的疲劳驾驶级别、注意力分散级别、分心级别对应的预设条件的情况下，驾驶状态等级为提示驾驶状态(驾驶状态较差)。

例如，在一个可选示例中，警告驾驶状态(驾驶状态非常差)对应的预设条件可以包括：

条件111、用户疲劳状态检测的结果为：警告疲劳驾驶级别(也可以称为重度疲劳驾驶级别)；

条件222，用户分心状态检测的结果为：用户注意力严重分散；

条件333，用户预定分心动作检测的结果为：警告分心驾驶级别(也可以称为重度疲劳驾驶级别)。

在上述条件111、条件222、条件333中的其中任一条件满足时，驾驶状态等级为警告驾驶状态(驾驶状态非常差)。

进一步地，在本申请驾驶状态检测方法的又一个实施例中，还可以包括：

执行与用户状态检测的结果对应的控制操作。

在一个可选示例中，执行与用户状态检测的结果对应的控制操作可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的第一控制模块执行。

在其中一些可选示例中，执行与用户状态检测的结果对应的控制操作，可以包括以下至少之一：

如果用户状态检测的结果满足提示/告警预定条件，例如满足提示提示状态(如：驾驶状态较差)对应的预设条件或者状态等级为提示驾驶状态(如：驾驶状态较差)，输出与该提示/告警预定条件相应的提示/告警信息，例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户注意，促使用户将被分散的注意力回归到驾驶上或者促使用户进行休息等，以实现安全驾驶，避免发生道路交通事故；再如，

和/或，当用户为驾驶员时，如果用户状态检测的结果满足预定驾驶模式切换条件，满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故；同时，还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户，促使将被分散的注意力回归到驾驶上或者促使用户进行休息等；再如，

和/或，如果用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接；例如：约定用户做出某个或某些动作时，表示用户处于危险状态或需要求助，当检测到这些动作时，向预定联系方式(例如：报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如：报警信息、提示信息或拨通电话)，还可以直接通过车载设备与预定联系方式建立通信连接(如：视频通话、语音通话或电话通话)，以保障用户的人身和/或财产安全。

在一个或多个可选的实施例中，还包括：

向云端服务器发送用户状态检测的至少部分结果。

可选地，至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

将用户状态检测得到的部分结果或全部结果发送到云端服务器，可实现对异常用车状态信息的备份，由于正常用车状态无需进行记录，因此，本实施例仅将异常用车状态信息发送给云端服务器；当得到的用户状态检测结果包括正常用车状态信息和异常用车状态信息时，传输部分结果，即仅将异常用车状态信息发送给云端服务器；而当用户状态检测的全部结果都为异常用车状态信息时，传输全部的异常用车状态信息给云端服务器。

可选地，还包括：

存储与异常用车状态信息对应的人脸图像；和/或，

向云端服务器发送与异常用车状态信息对应的人脸图像。

本实施例中通过在车辆端本地保存与异常用车状态信息对应的人脸图像，实现证据保存，通过保存的人脸图像，如果后续由于用户异常用车状态出现安全或其他问题，可以通过调取保存的人脸图像进行责任确定，如果在保存的人脸图像中发现与出现的问题相关的异常用车状态，即可确定该用户的责任；而为了防止车辆端的数据被误删或蓄意删除，可以将与异常用车状态信息对应的人脸图像上传到云端服务器进行备份，在需要信息时，可从云端服务器下载到车辆端进行查看，或从云端服务器下载到其他客户端进行查看。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图6为本申请实施例车载智能系统一个实施例的结构示意图。该实施例的车载智能系统可用于实现本申请上述各车载智能方法实施例。如图6所示，该实施例的车载智能系统包括：

用户图像获取单元61，用于获取当前请求使用车辆的用户的人脸图像。

匹配单元62，用于获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果。

其中，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像。

车辆控制单元63，用于如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆。

基于本申请上述实施例提供的一种车载智能系统，获取当前请求使用车辆的用户的人脸图像；获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆，基于特征匹配保证了预先记录人员的权利，并且可以在无网情况下实现特征匹配，克服了对网络的依赖性，进一步提高了车辆的安全保障性。

在一个或多个可选的实施例中，使用车辆包括以下之一或任意组合：预约用车、开车、乘车、清洗车辆、保养车辆、维修车辆、给车辆加油、给车辆充电。

在其中一些实施方式中，数据集中存储有至少一个已预约乘车的用户的预存人脸图像；

车辆控制单元，用于控制开启车门。

在其中一些实施方式中，数据集中存储有至少一个已预约用车的用户的预存人脸图像；

车辆控制单元，用于控制开启车门以及放行车辆驾驶控制权。

在其中一些实施方式中，数据集中存储有至少一个已记录的允许乘车的用户的预存人脸图像；

车辆控制单元，用于控制开启车门。

在其中一些实施方式中，数据集中存储有至少一个已记录的允许用车的用户的预存人脸图像；

车辆控制单元，用于控制开启车门以及放行车辆驾驶控制权。

在其中一些实施方式中，数据集中存储有至少一个已预约开锁或已记录允许开锁的用户的预存人脸图像；

车辆控制单元，用于控制开启车锁。

在其中一些实施方式中，数据集中存储有至少一个已预约给车辆加油或已记录的允许给车辆加油的用户的预存人脸图像；

车辆控制单元，用于控制开启车辆加油口。

在其中一些实施方式中，数据集中存储有至少一个已预约给车辆充电或已记录的允许给车辆充电的用户的预存人脸图像；

车辆控制单元，用于控制允许充电设备连接车辆的电池。

在一个或多个可选的实施例中，还包括：控制车辆发出用于表示用户允许使用车辆的提示信息。

为了给用户提供更好的使用体验，还可以发出用于表示用户允许使用车辆的提示信息，以提示用户可以使用车辆，避免用户等待或缩短用户等待的时间，为用户提供了更好的服务。

在一个或多个可选的实施例中，用户图像获取单元61，具体用于通过设置在车辆上的拍摄组件采集用户的人脸图像。

由于本实施例为用户提供的是使用车辆的服务，可以包括在车辆内部的操作(如：开车)或在车辆外部的操作(如：开车门、开车锁)，因此，拍摄组件可以设置在车辆外部或内部，可以是固定设置或活动设置。

在一个或多个可选的实施例中，还包括：

第一数据下载单元，用于在车辆与云端服务器处于通信连接状态时，向云端服务器发送数据集下载请求；接收并存储云端服务器发送的数据集。

可选地，通常数据集保存在云端服务器中，本实施例需要实现在车辆端进行人脸匹配，为了可以在无网络的情况下也能对人脸进行匹配，可以在有网络的情况下，从云端服务器下载数据集，并将数据集保存在车辆端，此时，即使没有网络，无法与云端服务器通信，也可以在车辆端实现人脸匹配，并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中，还可以包括：

信息存储单元，用于如果特征匹配结果表示特征匹配成功，根据特征匹配成功的预存人脸图像获取用户的身份信息；向云端服务器发送人脸图像和身份信息。

本实施例中，当匹配成功时，说明该用户是已经预约或已允许使用车辆的用户，从数据集中可获得对应的身份信息，而将人脸图像和身份信息发送到云端服务器，可以在云端服务器对该用户建立实时追踪(例如：某个用户在什么时间、什么地点乘坐某一车辆)，在存在网络的情况下，将人脸图像实时上传到云端服务器，可实现对用户使用车辆状态的分析和统计。

在一个或多个可选的实施例中，本实施例系统还可以包括：活体检测单元，用于获取人脸图像的活体检测结果；

车辆控制单元，用于根据特征匹配结果和活体检测结果，控制车辆动作以允许所述用户使用车辆。

活体检测是用来判断图像是否来自真人(或活人)，通过活体检测可使得驾驶员的身份验证更为准确。本申请实施例对活体检测的具体方式不做限定，例如，可以采用对图像的三维信息深度分析、面部光流分析、傅里叶频谱分析、边缘或反光等防伪线索分析、视频流中多帧视频图像帧综合分析等等方法实现，不再赘述。

在一个或多个可选的实施例中，还包括：

第二数据下载单元，用于在车辆与移动端设备处于通信连接状态时，向移动端设备发送数据集下载请求；接收并存储移动端设备发送的数据集。

可选地，第二数据下载单元，用于由移动端设备在接收到数据集下载请求时，从云端服务器获取数据集并发送给车辆的。

可选地，移动端设备可以是手机、PAD或者其他车辆上的终端设备等，移动端设备在接收到数据集下载请求时向云端服务器发送数据集下载请求，然后获得数据集在发送给车辆，通过移动端设备下载数据集时，可以应用移动端设备自带的网络(如：2G、3G、4G网络等)，避免了车辆受网络限制不能从云端服务器下载到数据集而无法进行人脸匹配的问题。

在一个或多个可选的实施例中，车辆控制单元，还用于如果特征匹配结果表示特征匹配不成功，车辆动作以拒绝用户使用车辆。

特征匹配不成功表示该用户未经过预约或未被允许使用车辆，此时，为了保障已预约或已被允许使用车辆的用户的权益，车辆将拒绝该用户使用车辆，可选地，还包括：

预约单元，用于发出提示预约信息；根据预约信息接收用户的预约请求，用户预约请求包括用户的预约人脸图像；根据预约人脸图像，建立数据集。

通过车辆接收用户发出的预约请求，对该用户的人脸图像进行保存，在车辆端基于该人脸图像建立数据集，通过数据集可实现车辆端的单独人脸匹配，无需从云端服务器下载数据集。

在一个或多个可选的实施例中，还包括：

状态检测单元，用于基于人脸图像进行用户状态检测；

输出单元，用于根据用户状态检测的结果，进行异常状态的预警提示。

在其中一些实施方式中，可以根据用户状态检测的结果，输出用户的用户状态检测的结果。

在其中一些实施方式中，当用户为驾驶员时，可以根据用户状态检测的结果，对车辆进行智能驾驶控制。

在其中一些实施方式中，当用户为驾驶员时，可以根据用户状态检测的结果，输出用户的用户状态检测的结果，同时对车辆进行智能驾驶控制。

在其中一些实施方式中，输出用户的用户状态检测的结果可以包括：本地输出用户状态检测的结果和/或远程输出用户状态检测的结果。其中，本地输出用户状态检测的结果即通过驾驶状态检测装置或者用户监控系统输出用户状态检测的结果，或者向车辆中的中控系统输出用户状态检测的结果，以便车辆基于该用户状态检测的结果对车辆进行智能驾驶控制。远程输出用户状态检测的结果，例如可以是向云服务器或管理节点发送用户状态检测的结果，以便由云端服务器或管理节点进行用户状态检测的结果的收集、分析和/或管理，或者基于该用户状态检测的结果对车辆进行远程控制。

可选地，用户状态检测包括以下任意一项或多项：用户疲劳状态检测，用户分心状态检测，用户预定分心动作检测。

可选地，状态检测单元基于人脸图像进行用户疲劳状态检测时，用于：

对人脸图像的人脸至少部分区域进行检测，得到人脸至少部分区域的状态信息，人脸至少部分区域的状态信息包括以下任意一项或多项：眼睛睁合状态信息、嘴巴开合状态信息；

根据一段时间内的人脸至少部分区域的状态信息，获取用于表征用户疲劳状态的指标的参数值；

根据用于表征用户疲劳状态的指标的参数值确定用户疲劳状态检测的结果。

可选地，用于表征用户疲劳状态的指标包括以下任意一项或多项：闭眼程度、打哈欠程度。

可选地，闭眼程度的参数值包括以下任意一项或多项：闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率；和/或，

打哈欠程度的参数值包括以下任意一项或多项：打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地，状态检测单元基于人脸图像进行用户分心状态检测时，用于：

对人脸图像中用户进行人脸朝向和/或视线方向检测，得到人脸朝向信息和/或视线方向信息；

根据一段时间内的人脸朝向信息和/或视线方向信息，确定用于表征用户分心状态的指标的参数值；用于表征用户分心状态的指标包括以下任意一项或多项：人脸朝向偏离程度，视线偏离程度；

根据用于表征用户分心状态的指标的参数值确定用户分心状态检测的结果。

可选地，人脸朝向偏离程度的参数值包括以下任意一项或多项：转头次数、转头持续时长、转头频率；和/或，

视线偏离程度的参数值包括以下任意一项或多项：视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地，状态检测单元基于人脸图像对用户进行人脸朝向和/或视线方向检测时，用于：

检测视频流中图像的人脸关键点；

根据人脸关键点进行人脸朝向和/或视线方向检测。

可选地，状态检测单元根据人脸关键点进行人脸朝向检测，得到人脸朝向信息时，用于：

根据人脸关键点获取头部姿态的特征信息；

根据头部姿态的特征信息确定人脸朝向信息。

可选地，预定分心动作包括以下任意一项或多项：抽烟动作，喝水动作，饮食动作，打电话动作，娱乐动作。

可选地，状态检测单元基于人脸图像进行用户分心状态检测时，用于：

对人脸图像进行预定分心动作相应的目标对象检测，得到目标对象的检测框；

根据目标对象的检测框，确定是否出现预定分心动作。

可选地，状态检测单元，还用于：

若出现分心动作，获取一段时间内是否出现预定分心动作的确定结果，获取用于表征分心程度的指标的参数值；

根据用于表征分心程度的指标的参数值确定用户预定分心动作检测的结果。

可选地，分心程度的参数值包括以下任意一项或多项：预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地，还包括：

提示单元，用于若用户预定分心动作检测的结果为检测到预定分心动作，提示检测到的分心动作。

在一个或多个可选的实施例，还包括：

控制单元，用于执行与用户状态检测的结果对应的控制操作。

可选地，控制单元，用于实现以下至少之一：

如果用户状态检测的结果满足提示/告警预定条件，例如满足提示提示状态(如：驾驶状态较差)对应的预设条件或者状态等级为提示驾驶状态(如：驾驶状态较差)，输出与该提示/告警预定条件相应的提示/告警信息，例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户注意，促使用户将被分散的注意力回归到驾驶上或者促使用户进行休息等，以实现安全驾驶，避免发生道路交通事故；再如，

和/或，当用户为驾驶员时，如果用户状态检测的结果满足预定驾驶模式切换条件，满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故；同时，还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户，促使将被分散的注意力回归到驾驶上或者促使用户进行休息等；再如，

和/或，如果用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接；例如：约定用户做出某个或某些动作时，表示用户处于危险状态或需要求助，当检测到这些动作时，向预定联系方式(例如：报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如：报警信息、提示信息或拨通电话)，还可以直接通过车载设备与预定联系方式建立通信连接(如：视频通话、语音通话或电话通话)，以保障用户的人身和/或财产安全。

在一个或多个可选的实施例中，还包括：

结果发送单元，用于向云端服务器发送用户状态检测的至少部分结果。

将用户状态检测得到的部分结果或全部结果发送到云端服务器，可实现对异常用车状态信息的备份，由于正常用车状态无需进行记录，因此，本实施例仅将异常用车状态信息发送给云端服务器；当得到的用户状态检测结果包括正常用车状态信息和异常用车状态信息时，传输部分结果，即仅将异常用车状态信息发送给云端服务器；而当用户状态检测的全部结果都为异常用车状态信息时，传输全部的异常用车状态信息给云端服务器。

可选地，至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

可选地，还包括：

图像存储单元，用于存储与异常用车状态信息对应的人脸图像；和/或，

向云端服务器发送与异常用车状态信息对应的人脸图像。

本申请实施例提供的车载智能系统任一实施例的工作过程以及设置方式均可以参照本公开上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。

图7为本申请实施例车辆控制方法一个实施例的流程图。如图7所示，本实施例的车辆控制方法执行主体可为云端服务器，例如执行主体可为电子设备或其他具有类似功能的设备，该实施例方法包括：

步骤710，接收车辆发送的待识别的人脸图像。

可选地，待识别的人脸图像通过车辆进行采集，获得人脸图像的过程可以包括：人脸检测、人脸质量筛选和活体识别，通过这些过程以保证获得的待识别的人脸图像是车辆内或外的真实用户的质量较好的人脸图像，保证了后续特征匹配的效果。

步骤720，获得人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

其中，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；可选地，云端服务器可以从车辆直接获取到人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，此时，特征匹配的过程在车辆端实现。

步骤730，如果特征匹配结果表示特征匹配成功，向车辆发送允许控制车辆的指令。

基于本申请上述实施例提供的一种车辆控制方法，通过在车辆端实现人脸特征匹配，减少了用户识别对网络的依赖，可以在无网情况下实现特征匹配，进一步提高了车辆的安全保障性。

可选地，还包括：

接收车辆发送的数据集下载请求，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

向车辆发送数据集。

由于数据集通常保存在云端服务器中，本实施例需要实现在车辆端进行人脸匹配，为了可以在无网络的情况下也能对人脸进行匹配，可以在有网络的情况下，从云端服务器下载数据集，并将数据集保存在车辆端，此时，即使没有网络，无法与云端服务器通信，也可以在车辆端实现人脸匹配，并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中，还包括：

接收车辆或移动端设备发送的预约请求，预约请求包括用户的预约人脸图像；

根据预约人脸图像，建立数据集。

为了识别用户是否经过预约，首先需要存储预约的用户对应的人脸图像，本实施例中，在云端数据集，为已预约的人脸图像建立数据集，在数据集中保存已经预约的多个用户的人脸图像，通过云端服务器保存，保证了数据的安全性。

在一个或多个可选的实施例中，还包括：

接收车辆发送的用户状态检测的至少部分结果，进行异常用车状态的预警提示。

可选地，至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

将用户状态检测得到的部分结果或全部结果发送到云端服务器，可实现对异常用户状态信息的备份，由于正常用车状态无需进行记录，因此，本实施例仅将异常用车状态信息发送给云端服务器；当得到的驾驶员状态检测结果包括正常用车状态信息和异常用车状态信息时，传输部分结果，即仅将异常用车状态信息发送给云端服务器；而当用户状态检测的全部结果都为异常用车状态信息时，传输全部的异常用车状态信息给云端服务器。

在一个或多个可选的实施例中，还包括：执行与用户状态检测的结果对应的控制操作。

可选地，如果用户状态检测的结果满足提示/告警预定条件，例如满足提示提示状态(如：驾驶状态较差)对应的预设条件或者状态等级为提示驾驶状态(如：驾驶状态较差)，输出与该提示/告警预定条件相应的提示/告警信息，例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户注意，促使用户将被分散的注意力回归到驾驶上或者促使用户进行休息等，以实现安全驾驶，避免发生道路交通事故；再如，

和/或，当用户为驾驶员时，如果用户状态检测的结果满足预定驾驶模式切换条件，满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故；同时，还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户，促使将被分散的注意力回归到驾驶上或者促使用户进行休息等；再如，

和/或，如果用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接；例如：约定用户做出某个或某些动作时，表示用户处于危险状态或需要求助，当检测到这些动作时，向预定联系方式(例如：报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如：报警信息、提示信息或拨通电话)，还可以直接通过车载设备与预定联系方式建立通信连接(如：视频通话、语音通话或电话通话)，以保障用户的人身和/或财产安全。

可选地，还包括：接收车辆发送的与异常用车状态信息对应的人脸图像。

而为了防止车辆端的数据被误删或蓄意删除，可以将与异常用车状态信息对应的人脸图像上传到云端服务器进行备份，在需要信息时，可从云端服务器下载到车辆端进行查看，或从云端服务器下载到其他客户端机械能查看。

可选地，还包括：基于异常用车状态信息进行以下至少一个操作：

数据统计、车辆管理、用户管理。

云端服务器可以接收多个车辆的异常用车状态信息，可实现基于大数据的数据统计、对车辆及用户的管理，以实现更好的为车辆和用户服务。

可选地，基于异常用车状态信息进行数据统计，包括：

基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行统计，使人脸图像按不同异常用车状态进行分类，确定每种异常用车状态的统计情况。

对每种不同异常用车状态进行分类统计，可以得到基于大数据的驾驶员经常出现的异常用车状态，可以为车辆开发者提供更多的参考数据，以便在车辆中提供更适合应对异常用车状态的设置或装置，为用户提供更舒适的用车环境。

可选地，基于异常用车状态信息进行车辆管理，包括：

基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行统计，使人脸图像按不同车辆进行分类，确定每个车辆的异常用车统计情况。

通过基于车辆对异常用车状态信息进行统计，可以对车辆对应的所有用户的异常用车状态信息进行处理，例如：当某一车辆出现问题，通过查看该车辆对应的所有异常用车状态信息即可实现责任确定。

可选地，基于异常用车状态信息进行用户管理，包括：

基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行处理，使人脸图像按不同用户进行分类，确定每个用户的异常用车统计情况。

通过基于用户对异常用车状态信息进行统计，可获得每个用户的用车习惯及经常出现的问题，可为每个用户提供个性化服务，在达到安全用车的目的的同时，不会对用车习惯良好的用户造成干扰；例如：经过对异常用车状态信息进行统计，确定某个驾驶员经常在开车时打哈欠，针对该驾驶员可提供更高音量的提示信息。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图8为本申请实施例电子设备一个实施例的结构示意图。该实施例的电子设备可用于实现本申请上述各车辆控制方法实施例。如图8所示，该实施例的电子设备包括：

图像接收单元81，用于接收车辆发送的待识别的人脸图像.

匹配结果获得单元82，用于获得人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

其中，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像。可选地，云端服务器可以从车辆直接获取到人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，此时，特征匹配的过程在车辆端实现。

指令发送单元83，用于如果特征匹配结果表示特征匹配成功，向车辆发送允许控制车辆的指令。

基于本申请上述实施例提供的一种电子设备，通过在车辆端实现人脸特征匹配，减少了用户识别对网络的依赖，可以在无网情况下实现特征匹配，进一步提高了车辆的安全保障性。

可选地，还包括：

数据发送单元，用于接收车辆发送的数据集下载请求，数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；向车辆发送数据集。

在一个或多个可选的实施例中，还包括：

注册请求接收单元，用于接收车辆或移动端设备发送的预约请求，预约请求包括用户的预约人脸图像；

根据预约人脸图像，建立数据集。

为了识别用户是否经过预约，首先需要存储预约的用户对应的人脸图像，本实施例中，在云端数据集，为已预约的人脸图像建立数据集，在数据集中保存已经预约的多个用户的人脸图像，通过云端服务器保存，保证了数据的安全性。

在一个或多个可选的实施例中，还包括：

检测结果接收单元，用于接收车辆发送的用户状态检测的至少部分结果，进行异常用车状态的预警提示。

可选地，至少部分结果包括：根据用户状态检测确定的异常用车状态信息。

将用户状态检测得到的部分结果或全部结果发送到云端服务器，可实现对异常用户状态信息的备份，由于正常用车状态无需进行记录，因此，本实施例仅将异常用车状态信息发送给云端服务器；当得到的驾驶员状态检测结果包括正常用车状态信息和异常用车状态信息时，传输部分结果，即仅将异常用车状态信息发送给云端服务器；而当用户状态检测的全部结果都为异常用车状态信息时，传输全部的异常用车状态信息给云端服务器。

在一个或多个可选的实施例中，还包括：执行控制单元，用于执行与用户状态检测的结果对应的控制操作。

可选地，如果用户状态检测的结果满足提示/告警预定条件，例如满足提示提示状态(如：驾驶状态较差)对应的预设条件或者状态等级为提示驾驶状态(如：驾驶状态较差)，输出与该提示/告警预定条件相应的提示/告警信息，例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户注意，促使用户将被分散的注意力回归到驾驶上或者促使用户进行休息等，以实现安全驾驶，避免发生道路交通事故；再如，

和/或，当用户为驾驶员时，如果用户状态检测的结果满足预定驾驶模式切换条件，满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时，将驾驶模式切换为自动驾驶模式，以实现安全驾驶，避免发生道路交通事故；同时，还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示用户，以便于提醒用户，促使将被分散的注意力回归到驾驶上或者促使用户进行休息等；再如，

和/或，如果用户状态检测的结果满足预定条件，向预定联系方式发送预定信息或与预定联系方式建立通信连接；例如：约定用户做出某个或某些动作时，表示用户处于危险状态或需要求助，当检测到这些动作时，向预定联系方式(例如：报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如：报警信息、提示信息或拨通电话)，还可以直接通过车载设备与预定联系方式建立通信连接(如：视频通话、语音通话或电话通话)，以保障用户的人身和/或财产安全。

可选地，还包括：

状态图像接收单元，用于接收车辆发送的与异常用车状态信息对应的人脸图像。

可选地，还包括：

异常处理单元，用于基于异常用车状态信息进行以下至少一个操作：数据统计、车辆管理、用户管理。

可选地，异常处理单元基于异常用车状态信息进行数据统计时，用于基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行统计，使人脸图像按不同异常用车状态进行分类，确定每种异常用车状态的统计情况。

可选地，异常处理单元基于异常用车状态信息进行车辆管理时，用于基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行统计，使人脸图像按不同车辆进行分类，确定每个车辆的异常用车统计情况。

可选地，异常处理单元基于异常用车状态信息进行用户管理时，用于基于异常用车状态信息对接收的与异常用车状态信息对应的人脸图像进行处理，使人脸图像按不同用户进行分类，确定每个用户的异常用车统计情况。

本申请实施例提供的电子设备任一实施例的工作过程以及设置方式均可以参照本公开上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。

根据本申请实施例的另一个方面，提供的一种车辆管理系统，包括：车辆和/或云端服务器；

车辆用于执行如图1-5所示实施例中任意一项的车辆控制方法；

云端服务器用于执行如图7所示实施例中任意一项的车辆控制方法。

可选地，还包括：移动端设备，用于：

接收用户注册请求，用户注册请求包括用户的注册人脸图像；

将用户注册请求发送给云端服务器。

本实施例车辆管理系统通过在车辆客户端实现人脸匹配，无需依赖云端进行人脸匹配，减少实时数据传输耗费的流量成本；灵活性高，对网络依赖低，车辆数据集下载可在有网络时完成，车辆空闲时进行特征提取，减小了对网络的依赖。用户请求使用车辆时可不依赖网络，可在认证成功后待有网络时再上传比对结果。

图9为本申请实施例车辆管理系统一个实施例的使用流程图。如图9所示，上述实施例实现的预约过程在手机端(移动端设备)实现，并将经过筛选的人脸图像和用户ID信息上传到云端服务器中，云端服务器将人脸图像和用户ID信息存入预约数据集，在采集到请求人员图像时，通过车辆端下载预约数据集到车辆客户端进行匹配；车辆获取请求人员图像，对请求人员图像依次经过人脸检测、质量筛选和活体识别，以经过筛选的请求人脸图像与预约数据集中所有人脸图像进行匹配，匹配基于人脸特征实现，人脸特征可通过神经网络提取获得，基于比对结果确定请求人脸图像是否为预约人员，允许预约人员使用车辆。

本申请具体应用时，可包括三个部分：移动端设备(如：手机端)、云端服务器和车辆(如：车机端)，具体地，手机端拍照，做质量筛选，然后将照片和人员信息上传云端存储，完成预约过程。云端将人员信息同步到车机端。车机端根据人员信息进行人脸识别比对后，做出智能判断，同时通知云端更新用户状态。具体优点包括：实时性好，响应速度快，深度学习技术和嵌入式芯片优化技术结合；车机端支持ARM，X86主流平台(支持价格更低的车载芯片IMX6，Cotex-A9 800MHz)；灵活性高，对网络依赖低，车机端信息同步可在有网络时完成。用户上车登陆使用时不依赖网络，可在认证成功后待有网络时在上传状态信息；流程清晰简单，网络传输图片尺寸可根据人脸位置裁剪，减少了网络开销。图片大小经过JPEG压缩占用几十K；通过云端存储和管理数据，不易丢失，可扩展性强；人脸识别全流程的衔接优化，保证了最终识别准确率。

根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述实施例任意一项车辆控制方法的操作。

图10为本申请实施例电子设备一个应用实施例的结构示意图。下面参考图10，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图10所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本申请实施例提供的任一方法对应的操作，例如，获取当前请求使用车辆的用户的人脸图像；获取人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；如果特征匹配结果表示特征匹配成功，控制车辆动作以允许用户使用车辆。

此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本申请上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请任一实施例提供的车辆控制方法步骤对应的指令。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被处理器执行时，执行本申请的任一方法中的相应操作。

根据本申请实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述实施例任意一项车辆控制方法的操作。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本申请的方法和装置、系统、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、系统、设备。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种车辆控制方法，其特征在于，包括：

获取当前请求使用车辆的用户的人脸图像；

获取所述人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

如果所述特征匹配结果表示特征匹配成功，控制车辆动作以允许所述用户使用车辆。

2.根据权利要求1所述的方法，其特征在于，所述使用车辆包括以下之一或任意组合：预约用车、开车、乘车、清洗车辆、保养车辆、维修车辆、给车辆加油、给车辆充电。

3.根据权利要求2所述的方法，其特征在于，所述数据集中存储有至少一个已预约乘车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门。

4.根据权利要求2所述的方法，其特征在于，所述数据集中存储有至少一个已预约用车的用户的预存人脸图像；

所述控制车辆动作以允许所述用户使用车辆，包括：控制开启车门以及放行车辆驾驶控制权。

5.一种车载智能系统，其特征在于，包括：

用户图像获取单元，用于获取当前请求使用车辆的用户的人脸图像；

匹配单元，用于获取所述人脸图像与车辆的数据集中至少一个预存人脸图像的特征匹配结果；其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

车辆控制单元，用于如果所述特征匹配结果表示特征匹配成功，控制车辆动作以允许所述用户使用车辆。

6.一种车辆控制方法，其特征在于，包括：

接收车辆发送的待识别的人脸图像；

获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

如果所述特征匹配结果表示特征匹配成功，向所述车辆发送允许控制车辆的指令。

7.一种电子设备，其特征在于，包括：

图像接收单元，用于接收车辆发送的待识别的人脸图像；

匹配结果获得单元，用于获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果，其中，所述数据集中存储有至少一个预先记录的允许使用车辆的用户的预存人脸图像；

指令发送单元，用于如果所述特征匹配结果表示特征匹配成功，向所述车辆发送允许控制车辆的指令。

8.一种车辆管理系统，其特征在于，包括：车辆和/或云端服务器；

所述车辆用于执行如权利要求1-37任意一项所述的车辆控制方法；

所述云端服务器用于执行如权利要求75-87任意一项所述的车辆控制方法。

9.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至4任意一项所述车辆控制方法或权利要求6所述的车辆控制方法的操作。

10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至4任意一项所述车辆控制方法或权利要求6所述的车辆控制方法的操作。