CN109598174A - 驾驶员状态的检测方法、及其装置和系统 - Google Patents
驾驶员状态的检测方法、及其装置和系统 Download PDFInfo
- Publication number
- CN109598174A CN109598174A CN201710908401.0A CN201710908401A CN109598174A CN 109598174 A CN109598174 A CN 109598174A CN 201710908401 A CN201710908401 A CN 201710908401A CN 109598174 A CN109598174 A CN 109598174A
- Authority
- CN
- China
- Prior art keywords
- detection
- driver
- cloud
- car
- mounted terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 423
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims description 109
- 230000005540 biological transmission Effects 0.000 claims description 39
- 238000004458 analytical method Methods 0.000 claims description 38
- 230000001815 facial effect Effects 0.000 claims description 31
- 230000005484 gravity Effects 0.000 claims description 22
- 238000007689 inspection Methods 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 20
- 230000004044 response Effects 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- BYACHAOCSIPLCM-UHFFFAOYSA-N 2-[2-[bis(2-hydroxyethyl)amino]ethyl-(2-hydroxyethyl)amino]ethanol Chemical compound OCCN(CCO)CCN(CCO)CCO BYACHAOCSIPLCM-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及驾驶员状态监控领域，公开了一种驾驶员状态的检测方法、及其装置、车载终端和系统。本发明中的驾驶员状态的检测方法包括以下步骤：车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；车载终端基于驾驶员图像对驾驶员的状态进行第一类检测，并向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测；其中，人脸特征基于所述当前的驾驶员图像获得。本发明可同时利用车载终端能够对驾驶员状态进行快速响应和云端能够对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高驾驶员状态检测的及时性和准确性。
Description
技术领域
本发明涉及驾驶员状态监控领域，特别涉及一种驾驶员状态的检测方法、及其装置、车载终端和系统。
背景技术
据统计全世界每年由交通事故导致的死亡人数为60万，直接经济损失约125亿美元，这些事故中57％的灾难性事故与疲劳驾驶有关。因此，针对疲劳驾驶的驾驶员状态检测有着重要的意义。
在对驾驶员状态进行检测的过程中，可以利用检测心跳、脉搏等接触性手段检测驾驶员的状态，也可以利用相机通过对驾驶员面部宏观运动和局部运动进行图像检测来分析和推测驾驶员的状态。基于相机的驾驶员状态检测，由于非接触、对驾驶员无干扰等优点在驾驶员状态检测中获得了广泛的应用。虽然随着图像处理技术的发展、算法效率和精度的逐年提高，以及多核嵌入式处理器、FPGA(现场可编程门阵列)及GPU(图形处理器)并行处理的出现，计算机的计算能力得到了大幅提高，以往在个人计算机上才能实时运行的许多图像处理程序也可以在嵌入式平台上运行，但是，类似疲劳驾驶这种需要基于海量数据进行模型训练与模型计算的应用仍然很难实现在嵌入式平台上的实时计算。
随着3G/4G/5G(第三代移动通信技术/第四代移动电话行动通信技术/第五代移动通信技术)等通信技术的发展，把终端需要处理的数据传送到云端，利用云端服务器的强大计算能力进行检测处理，并将服务器端的处理结果实时回传给终端已经成为可能。目前，存在车载终端采集驾驶员生理数据并发送至云端服务器进行分析后，云端服务器将分析结果反馈给车载终端的技术方案。但在该技术方案中，所有数据都需要发送到云端进行处理，存在数据传输量大，不能及时将判断结果反馈给驾驶员等问题。
发明内容
本发明的目的在于提供一种驾驶员状态的检测方法、及其装置、车载终端和系统，可同时利用车载终端能够对驾驶员状态进行快速响应和云端能够对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高驾驶员状态检测的及时性和准确性。
为解决上述技术问题，本发明的实施方式公开了一种驾驶员状态的检测方法，包括以下步骤：
车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
车载终端基于驾驶员图像对驾驶员的状态进行第一类检测，并向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测；
其中，人脸特征基于当前的驾驶员图像获得。
在本发明一优选实施例中，第一类检测和第二类检测至少满足下列中的一种：
第一类检测的计算量小于第二类检测的计算量；
第一类检测的紧急程度大于第二类检测的紧急程度。
在本发明另一优选实施例中，该检测方法在向云端发送包括驾驶员的人脸特征的行驶数据之前，还包括：
判断是否满足向云端发送行驶数据的发送条件；
如果判断的结果为是，则向云端发送包括驾驶员的人脸特征的行驶数据。
在本发明另一优选实施例中，发送条件为下列中的至少一项：
当前时间为向云端定时发送行驶数据的预定发送时间；
车载终端向与云端传输数据的速率大于预定传输速率或者车载终端向云端传输数据的带宽大于预定传输带宽；
车载终端基于驾驶员图像的第一类检测检测出的驾驶状态，满足需要向云端发送行驶数据的预定条件。
在本发明另一优选实施例中，行驶数据包括基于驾驶员的图像得到的驾驶员的人脸图像，人脸图像包括人脸特征，并且，人脸图像的大小小于驾驶员的图像的大小。
在本发明另一优选实施例中，在采集当前的驾驶员图像之后，该方法还包括：
所述车载终端根据所述驾驶员的图像进行第二类检测，并在从云端接收到所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与该车载终端所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
在本发明另一优选实施例中，在向云端发送包括驾驶员的人脸特征的行驶数据之后，还包括：
如果接收到云端发送的该云端基于行驶数据所进行的第一类检测的检测结果，则车载终端将来自云端的检测结果与该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
在本发明另一优选实施例中，第一类检测包括：检测驾驶员的闭眼时长是否超过预定闭眼时长、所述驾驶员的视线超出预定视线范围的时间是否大于预定视线时间以及人脸朝向超出预定朝向范围的时间是否大于预定朝向时间；
第二类检测包括：检测驾驶员是否处于疲劳驾驶状态。
在本发明另一优选实施例中，该方法还包括以下步骤：
在第一类检测和/或第二类检测的检测结果为是时，执行下列项中的至少一项：
向驾驶员发送预警信号；
向驾驶员所在车辆的周围的车辆发送预警信号；
降低驾驶员所在车辆的行车速度；
启动驾驶员所在车辆的自动驾驶功能。
本发明的实施方式还公开了一种驾驶员状态的检测方法，包括以下步骤：
云端接收车载终端发送的包括驾驶员的人脸特征的行驶数据，其中，人脸特征基于当前的驾驶员图像获得，驾驶员图像由车载终端采集，并且，车载终端基于当前的驾驶员图像对驾驶员的状态进行第一类检测；
云端基于接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测。
在本发明的一优选例中，第一类检测和第二类检测至少满足下列中的一种：
第一类检测的计算量小于第二类检测的计算量；
第一类检测的紧急程度大于第二类检测的紧急程度。
在本发明另一优选实施例中，在接收车载终端发送的包括驾驶员的人脸特征的行驶数据之后，还包括：
云端基于所述行驶数据对所述驾驶员的状态进行第二类检测，并将所述检测结果与所述车载终端根据所述驾驶员的图像进行的第二类检测的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
在本发明另一优选实施例中，在接收车载终端发送的包括驾驶员的人脸特征的行驶数据之后，该方法还包括：
基于行驶数据对驾驶员的状态进行第一类检测并向车载终端发送检测结果，以供车载终端将检测结果和该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对该车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
在本发明的另一优选例中，基于接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测包括：
根据当前接收到的行驶数据和历史行驶数据进行第二类检测。
在本发明的另一优选例中，行驶数据还包括驾驶员所在车辆的驾驶环境信息；并且，第二类检测包括根据驾驶员所在车辆的驾驶环境信息和接收到的其他驾驶员所共享的驾驶环境信息对驾驶员的驾驶状态进行检测，并将检测结果发送至驾驶员所在车辆的车载终端。
本发明的实施方式还公开了一种驾驶员状态的检测方法，包括以下步骤：
车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
车载终端基于驾驶员图像对驾驶员的状态进行第一类检测，并向云端发送包括驾驶员的人脸特征的行驶数据；
云端根据接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测；
其中，人脸特征基于当前的驾驶员图像获得。
本发明的实施方式还公开了一种驾驶员状态的检测装置，该检测装置包含在车载终端中，并且该检测装置包括：
采集单元，用于在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
第一检测单元，用于基于驾驶员图像对驾驶员的状态进行第一类检测；
发送单元，用于向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测；
其中，人脸特征基于当前的驾驶员图像获得。
在另一优选例中，该方法还包括：
分析单元，用于根据所述驾驶员的图像进行第二类检测，并在从云端接收到所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与该车载终端所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
在另一优选例中，该方法还包括：
修正单元，用于在接收到云端发送的该云端基于行驶数据所进行的第一类检测的检测结果时，将来自云端的检测结果与第一检测单元所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对第一类检测单元进行第一类检测所采用的检测模型和/或检测参数进行修正。
本发明的实施方式还公开了一种驾驶员状态的检测装置，该检测装置设置在云端，并且该检测装置包括：
接收单元，用于接收车载终端发送的包括驾驶员的人脸特征的行驶数据，其中，人脸特征基于当前的驾驶员图像获得，驾驶员图像由车载终端采集，并且，车载终端基于当前的驾驶员图像对驾驶员的状态进行第一类检测；
第二检测单元，用于基于接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测。
本发明的实施方式还公开了一种驾驶员状态的检测系统，包括车载终端和云端，其中，
车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；并基于驾驶员图像对驾驶员的状态进行第一类检测，向云端发送包括驾驶员的人脸特征的行驶数据；
云端根据接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测；
其中，人脸特征基于当前的驾驶员的图像获得。
本发明实施方式与现有技术相比，主要区别及其效果在于：
同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
进一步地，将需要及时响应的、紧急程度高的、计算量相对较少的检测项目放在车载终端执行，而将计算量大的，需要高计算性能的检测项目放在云端进行，实现了检测资源的合理配置，同时减少了车载终端和云端不必要的数据交互，提高了将检测结果反馈给驾驶员的反馈效率和准确性。
进一步地，通过设置发送条件，能够有效减少车载终端与云端之间不必要的数据传输。例如，可以设置以一定的时间间隔向云端传输行驶数据。同时，由于某些特殊情况需要及时向云端传输行驶数据，可以设置在这些特殊情况下及时向云端传输行驶数据。例如，预定条件为在驾驶员图像中检测不到人脸、或者车载终端检测出驾驶员的闭眼时间超过预定闭眼时间、或者其他比较危险的状态。
进一步地，将预处理的仅包含驾驶员人脸的人脸图像传送给云端，能够有效减小车载终端和云端之间的数据传输量。
进一步地，
在车载终端无法与云端通信或者两者通信状况不佳时，可以设置车载终端进行第二类检测，以及时向驾驶员发送关于第二类检测的检测结果。同时，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法)比车载终端的检测方式更加精确，并且云端所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加详细，因此，在通信恢复时，将两者的结果综合分析能够提高检测的准确性。
进一步地，可以设置定时或者手动设置由云端进行与车载终端相同的检测项目，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法等)和所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加有优势，因此，检测结果比车载终端更加准确，而根据云端的检测结果能够有效对车载终端的检测模型、检测参数等进行修正，以提高车载终端的检测结果。
进一步地，能够即时提醒驾驶中精力不集中的驾驶员或者协助驾驶员使得车辆进入正常驾驶状态，并提醒周边车辆该车辆处于非正常驾驶状态，最大程度地防止交通事故的发生。
附图说明
图1是根据本发明第一实施方式的驾驶员状态的检测方法的流程示意图；
图2是根据本发明第二实施方式的驾驶员状态的检测方法的流程示意图；
图3是根据本发明第五实施方式的驾驶员状态的检测方法的流程示意图；
图4是根据本发明第六实施方式的驾驶员状态的检测方法的流程示意图；
图5是根据本发明第七实施方式的驾驶员状态的检测装置的结构示意图；
图6是根据本发明第八实施方式的驾驶员状态的检测装置的结构示意图；
图7是根据本发明第九实施方式的驾驶员状态的检测系统的结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种驾驶员状态的检测方法。图1是该驾驶员状态的检测方法的流程示意图。
具体地，如图1所示，该驾驶员状态的检测方法包括以下步骤：
在步骤101中，车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像。此后进入步骤102。
在步骤102中，车载终端基于驾驶员图像对驾驶员的状态进行第一类检测，并向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测。其中，人脸特征基于当前的驾驶员图像获得。
此后结束本流程。
可以理解，在本发明的一优选例中，行驶数据包括基于驾驶员的图像得到的驾驶员的人脸图像，人脸图像包括人脸特征，并且，人脸图像的大小小于驾驶员的图像的大小。
值得注意的是，本发明各实施方式中所述的人脸特征可以是从驾驶员图像中截取的驾驶员的脸部图像，也可以是基于驾驶员图像提取的表示驾驶员面部特征的信息，比如眼睛睁开的幅度、视线方向、人脸朝向等信息。因此，在本发明的其他实施方式中，行驶数据可以直接包含表示驾驶员面部特征的信息，而不是驾驶员的人脸图像。
将预处理的仅包含驾驶员人脸的人脸图像传送给云端，能够有效减小车载终端和云端之间的数据传输量。
可以理解，在本发明的一优选例中，第一类检测和第二类检测至少满足下列中的一种：
第一类检测的计算量小于第二类检测的计算量；
第一类检测的紧急程度大于第二类检测的紧急程度。
例如，第一类检测包括：检测驾驶员的闭眼时长是否超过预定闭眼时长和驾驶员的视线超出预定视线范围的时间是否大于预定视线时间、人脸朝向超出预定朝向范围的时间是否大于预定朝向时间。第二类检测包括：检测驾驶员是否处于疲劳驾驶状态。其中，疲劳驾驶状态的检测包括驾驶员的闭眼时间、闭眼百分比、眨眼频率、眨眼速度检测，及基于上述各参数的综合运算结果来判断是否超过预定疲劳阈值，驾驶员的低头频率是否大于预定低头频率和/或驾驶员的连续驾驶时间是否超过预定驾驶时间。
在本发明的各实施方式中，紧急程度是指所检测的项目对驾驶员的当前驾驶状态会产生的影响的紧迫程度，并且越紧急，需要对驾驶员进行越及时的响应。例如，对驾驶员是否打瞌睡和是否分神的检测需要实时进行并且计算量较小，其紧急程度大于对驾驶员是否疲劳驾驶的检测的紧急程度，计算量也小于对疲劳驾驶的检测。因此，在本发明的优选例中，将对驾驶员是否打瞌睡和是否分神的检测放在车载终端进行，将对疲劳驾驶的检测放在云端进行。
如此，将需要及时响应的、紧急程度高的、计算量相对较少的检测项目放在车载终端执行，而将计算量大的，需要高计算性能的检测项目放在云端进行，实现了检测资源的合理配置，同时减少了车载终端和云端不必要的数据交互，提高了将检测结果反馈给驾驶员的反馈效率和准确性。
此外，还可以根据其他因素对第一类检测和第二类检测进行划分，只要能够充分利用车载终端和云端的计算资源，而不影响对驾驶员状态及时和准确的检测和反馈即可，在此不做限制。
此外，在本发明的一优选例中，该检测方法还包括以下步骤：
在第一类检测和/或第二类检测的检测结果为是时，执行下列项中的至少一项：
向驾驶员发送预警信号；
向驾驶员所在车辆的周围的车辆发送预警信号；
降低驾驶员所在车辆的行车速度；
启动驾驶员所在车辆的自动驾驶功能。
通过执行上述项目，能够即时提醒驾驶中精力不集中的驾驶员或者协助驾驶员使得车辆进入正常驾驶状态，并提醒周边车辆该车辆处于非正常驾驶状态，最大程度地防止交通事故的发生。
可以理解，在本发明的各实施方式中，车载终端包括能够对驾驶员进行图像采集并对驾驶员状态进行第一类检测的位于驾驶员所在车辆的各种终端，在此不做限制。
可同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
本发明第二实施方式涉及一种驾驶员状态的检测方法。
第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：通过设置发送条件，能够有效减少车载终端与云端之间不必要的数据传输。例如，可以设置以一定的时间间隔向云端传输行驶数据。同时，由于某些特殊情况需要及时向云端传输行驶数据，可以设置在这些特殊情况下及时向云端传输行驶数据。
图2是该检测方法的流程示意图。具体地，如图2所示，该检测方法包括以下步骤：
在步骤201中，车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像。此后进入步骤202。
在步骤202中，车载终端基于驾驶员图像对驾驶员的状态进行第一类检测。此后进入步骤203。
在步骤203中，判断是否满足向云端发送行驶数据的发送条件。如果判断结果为是，则进入步骤204。否则，结束本流程。
在步骤204中，向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测；其中，人脸特征基于当前的驾驶员图像获得。
此后结束本流程。
在一优选例中，上述发送条件为下列中的至少一项：
当前时间为向云端定时发送行驶数据的预定发送时间；
车载终端向与云端传输数据的速率大于预定传输速率或者车载终端向云端传输数据的带宽大于预定传输带宽；
车载终端基于驾驶员图像的第一类检测检测出的驾驶状态，满足需要向云端发送行驶数据的预定条件。
可以理解，在本发明中预定条件为在驾驶员图像中检测不到人脸、或者车载终端检测出驾驶员的闭眼时间超过预定闭眼时间、或者其他比较危险的状态。
本实施方式是在第一实施方式上进行了改进的实施方式，第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。
本发明第三实施方式涉及一种驾驶员状态的检测方法。
第三实施方式在第一或第二实施方式的基础上进行了改进，主要改进之处在于：
在车载终端无法与云端通信或者两者通信状况不佳时，可以设置车载终端进行第二类检测，以及时向驾驶员发送关于第二类检测的检测结果。同时，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法)比车载终端的检测方式更加精确，并且云端所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加详细，因此，在通信恢复时，将两者的结果综合分析能够提高检测的准确性。
具体地，在上述步骤101或者201之后，本实施方式的驾驶员状态检测方法还包括：
所述车载终端根据所述驾驶员的图像进行第二类检测，并在从云端接收到所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与该车载终端所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
该步骤可在车载终端无法与云端通信或者两者通信状况不佳时适用。例如，车载终端与云端无法通信时，由车载终端进行第二类检测，以及时给驾驶员提供第二类检测的检测结果。此外，由于第二类检测所要求的计算能力较强、数据量较大，而车载终端的计算能力有限且可存储的数据量较小，因此，在通信恢复时，车载终端向云端发送驾驶员的图像，并接收云端进行的第二类检测的检测结果，进行上述的综合分析，或者车载终端向云端发送第二类检测的检测结果，由云端进行综合分析。
本实施方式是在第一或第二实施方式上进行了改进的实施方式，第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。
本发明第四实施方式涉及一种驾驶员状态的检测方法。
第四实施方式在第一至第三实施方式中的任一实施方式的基础上进行了改进，主要改进之处在于：
可以设置定时或者手动设置由云端进行与车载终端相同的检测项目，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法等)和所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加有优势，因此，检测结果比车载终端更加准确，而根据云端的检测结果能够有效对车载终端的检测模型、检测参数等进行修正，以提高车载终端的检测结果。
具体地，在上述步骤102或者204之后，本实施方式的驾驶员状态检测方法还包括：
如果接收到云端发送的该云端基于行驶数据所进行的第一类检测的检测结果，则车载终端将来自云端的检测结果与该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
可以理解，在本发明的各实施方式中，检测参数可以包括如检测闭眼时长时所用到的预定闭眼时长，检测人脸朝向时用到的预定朝向范围和预定朝向时间，以及预定低头频率等用于进行第一类检测的各种设定的参数。检测模型可以包括人脸检测模型、人脸特征点检测模型。
本实施方式是在第一至第三实施方式中的任一种实施方式上进行了改进的实施方式，第一至第三实施方式中的任一种实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。
本发明第五实施方式涉及一种驾驶员状态的检测方法。图3是该驾驶员状态的检测方法的流程示意图。
具体地，如图3所示，该驾驶员状态的检测方法包括以下步骤：
步骤301，云端接收车载终端发送的包括驾驶员的人脸特征的行驶数据，其中，人脸特征基于当前的驾驶员图像获得，驾驶员图像由车载终端采集，并且，车载终端基于当前的驾驶员图像对驾驶员的状态进行第一类检测。此后进入步骤302。
在步骤302中，云端基于接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测。
此后，结束本流程。
可以理解，在本发明的一优选例中，行驶数据包括基于驾驶员的图像得到的驾驶员的人脸图像，人脸图像包括人脸特征，并且，人脸图像的大小小于驾驶员的图像的大小。
将预处理的仅包含驾驶员人脸的人脸图像传送给云端，能够有效减小车载终端和云端之间的数据传输量。
可以理解，在本发明的一优选例中，第一类检测和第二类检测至少满足下列中的一种：
第一类检测的计算量小于第二类检测的计算量；
第一类检测的紧急程度大于第二类检测的紧急程度。
例如，第一类检测包括：检测驾驶员的闭眼时长是否超过预定闭眼时长、所述驾驶员的视线超出预定视线范围的时间是否大于预定视线时间以及人脸朝向超出预定朝向范围的时间是否大于预定朝向时间；。第二类检测包括：检测驾驶员是否处于疲劳驾驶状态。其中，疲劳驾驶状态的检测包括驾驶员的闭眼时间、闭眼百分比、眨眼频率、眨眼速度检测，及基于上述各参数的综合运算结果来判断是否超过预定疲劳阈值，驾驶员的低头频率是否大于预定低头频率和/或驾驶员的连续驾驶时间是否超过预定驾驶时间。
在本发明的各实施方式中，紧急程度是指所检测的项目对驾驶员的当前驾驶状态会产生的影响的紧迫程度，并且越紧急，需要对驾驶员进行越及时的响应。例如，对驾驶员是否打瞌睡和是否分神的检测需要实时进行并且计算量较小，其紧急程度大于对驾驶员是否疲劳驾驶的检测的紧急程度，计算量也小于对疲劳驾驶的检测。因此，在本发明的优选例中，将对驾驶员是否打瞌睡和是否分神的检测放在车载终端进行，将对疲劳驾驶的检测放在云端进行。
如此，将需要及时响应的、紧急程度高的、计算量相对较少的检测项目放在车载终端执行，而将计算量大的，需要高计算性能的检测项目放在云端进行，实现了检测资源的合理配置，同时减少了车载终端和云端不必要的数据交互，提高了将检测结果反馈给驾驶员的反馈效率和准确性。
此外，还可以根据其他因素对第一类检测和第二类检测进行划分，只要能够充分利用车载终端和云端的计算资源，而不影响对驾驶员状态及时和准确的检测和反馈即可，在此不做限制。此外，在本发明的一优选例中，该检测方法还包括以下步骤：
在第一类检测和/或第二类检测的检测结果为是时，执行下列项中的至少一项：
通过车载终端向驾驶员发送预警信号；
向驾驶员所在车辆的周围的车辆发送预警信号；
降低驾驶员所在车辆的行车速度；
启动驾驶员所在车辆的自动驾驶功能。
通过执行上述项目，能够即时提醒驾驶中精力不集中的驾驶员或者协助驾驶员使得车辆进入正常驾驶状态，并提醒周边车辆该车辆处于非正常驾驶状态，最大程度地防止交通事故的发生。
可以理解，在本发明的各实施方式中，车载终端包括能够对驾驶员进行图像采集并对驾驶员状态进行第一类检测的位于驾驶员所在车辆的各种终端，在此不做限制。
在一优选例中，在上述步骤301之后，该检测方法还包括：
云端基于所述行驶数据对所述驾驶员的状态进行第二类检测，并将所述检测结果与所述车载终端根据所述驾驶员的图像进行的第二类检测的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
在车载终端无法与云端通信或者两者通信状况不佳时，可以设置车载终端进行第二类检测，以及时向驾驶员发送关于第二类检测的检测结果。同时，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法)比车载终端的检测方式更加精确，并且云端所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加详细，因此，在通信恢复时，将两者的结果综合分析能够提高检测的准确性。该步骤可在车载终端无法与云端通信或者两者通信状况不佳时适用。
此外，在一优选例中，在上述步骤301之后，该检测方法还包括：
基于行驶数据对驾驶员的状态进行第一类检测并向车载终端发送检测结果，以供车载终端将检测结果和该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对该车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
可以设置定时或者手动设置由云端进行与车载终端相同的检测项目，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法等)和所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加有优势，因此，检测结果比车载终端更加准确，而根据云端的检测结果能够有效对车载终端的检测模型、检测参数等进行修正，以提高车载终端的检测结果。
此外，在一优选例中，上述步骤302包括：
根据当前接收到的行驶数据和历史行驶数据进行第二类检测。例如，综合驾驶员当前人脸图像和过去一段时间内接收到的人脸图像中的眼睛睁开程度、打哈欠频率等判定驾驶员是否出现疲劳驾驶。
此外，在一优选例中，行驶数据还包括驾驶员所在车辆的驾驶环境信息；并且，第二类检测包括根据驾驶员所在车辆的驾驶环境信息和接收到的其他驾驶员所共享的驾驶环境信息对驾驶员的驾驶状态进行检测，并将检测结果发送至驾驶员所在车辆的车载终端。驾驶环境信息可以包括车辆位置、车速、道路信息、天气状况等。
同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
本发明第六实施方式涉及一种驾驶员状态的检测方法。图4是该驾驶员状态的检测方法的流程示意图。
具体地，如图4所示，该驾驶员状态的检测方法包括以下步骤：
在步骤401中，车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像。此后进步步骤402。
在步骤402中，车载终端基于驾驶员图像对驾驶员的状态进行第一类检测，并向云端发送包括驾驶员的人脸特征的行驶数据。其中，人脸特征基于当前的驾驶员图像获得。
值得注意的是，在该步骤402中，可以对驾驶员图像进行脸部特征点的检测，提取出驾驶员的人脸图像后，将该人连图像作为行驶数据的一部分发送给云端，其中，人脸图像包括人脸特征，并且，人脸图像的大小小于驾驶员的图像的大小。例如，可以采用基于AdaBoost算法(一种迭代算法)的人脸监测方法监测驾驶员图像中人脸的位置，采用DSR(Discriminative Shape Regression，形状模型回归)回归方法进行脸部特征点的提取，得到人脸图像。这样，将预处理的仅包含驾驶员人脸的人脸图像传送给云端，能够有效减小车载终端和云端之间的数据传输量。
此后进入步骤403。
在步骤403中，云端根据接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测。
此后结束本流程。
可以理解，在本发明的一优选例中，第一类检测和第二类检测至少满足下列中的一种：
第一类检测的计算量小于第二类检测的计算量；
第一类检测的紧急程度大于第二类检测的紧急程度。
例如，第一类检测包括：检测驾驶员的闭眼时长是否超过预定闭眼时长、所述驾驶员的视线超出预定视线范围的时间是否大于预定视线时间以及人脸朝向超出预定朝向范围的时间是否大于预定朝向时间。第二类检测包括：检测驾驶员是否处于疲劳驾驶状态。其中，疲劳驾驶状态的检测包括驾驶员的闭眼时间、闭眼百分比、眨眼频率、眨眼速度检测，及基于上述各参数的综合运算结果来判断是否超过预定疲劳阈值，驾驶员的低头频率是否大于预定低头频率和/或驾驶员的连续驾驶时间是否超过预定驾驶时间。
其中，当检测出驾驶员的闭眼时长超过预定闭眼时长时，判定驾驶员出现非正常驾驶状态，车载终端可以向驾驶员发送预警信号，并可将该检测结果发送给云端(也可以由车载终端直接发送)，由云端向驾驶员所在车辆的周围的车辆发送预警信号，以提醒周围车辆。并且，在驾驶员没有及时调整驾驶状况，或者检测出驾驶员没有对预警信号作出响应时，降低驾驶员所在车辆的行车速度，启动驾驶员所在车辆的自动驾驶功能。以最大程度地防止交通事故的发生。
如此，将需要及时响应的、紧急程度高的、计算量相对较少的检测项目放在车载终端执行，而将计算量大的，需要高计算性能的检测项目放在云端进行，实现了检测资源的合理配置，同时减少了车载终端和云端不必要的数据交互，提高了将检测结果反馈给驾驶员的反馈效率和准确性。
此外，还可以根据其他因素对第一类检测和第二类检测进行划分，只要能够充分利用车载终端和云端的计算资源，而不影响对驾驶员状态及时和准确的检测和反馈即可，在此不做限制。
此外，在一优选例中，上述步骤402包括：
判断是否满足向云端发送行驶数据的发送条件。如果判断结果为是，向云端发送包括驾驶员的人脸特征的行驶数据。
其中，发送条件为下列中的至少一项：
当前时间为向云端定时发送行驶数据的预定发送时间；
车载终端向与云端传输数据的速率大于预定传输速率或者车载终端向云端传输数据的带宽大于预定传输带宽；
车载终端基于驾驶员图像的第一类检测检测出的驾驶状态，满足需要向云端发送行驶数据的预定条件。预定条件可以是驾驶员图像中检测不到人脸、或者车载终端检测出驾驶员的闭眼时间超过预定闭眼时间、或者其他比较危险的状态。
此外，在一优选例中，在上述步骤402之后，该检测方法还包括以下步骤：
如果判断出车载终端无法与所述云端通信，则由车载根据所述驾驶员的图像进行第二类检测，并定时判断车载终端与云端的通信是否恢复正常；
如果所述通信恢复正常，则向云端发送行驶数据，并接收所述云端发送的第二类检测的检测结果；
车载终端将来自云端的检测结果与该车载终端所进行的第二类检测的相同检测项的检测结果进行综合分析，得出第二类检测的综合分析结果；其中，在综合分析中，来自云端的第二类检测的检测结果所占的参考比重大于车载终端的第二类检测的检测结果所占的参考比重。例如，设置车载终端疲劳报警阈值为3，当云端检测到驾驶员疲劳状态值为4，而车载终端检测出的驾驶员疲劳状态值为2时，可将云端的参考比重设置为60％，车载终端的参考比重设置为40％，从而得出综合结果3.2，即超过预定警告阈值，需要预警。但是与驾驶安全紧密相关的驾驶员闭眼、分神等内容则主要根据本地终端结果来确定。
在车载终端无法与云端通信或者两者通信状况不佳时，可以设置车载终端进行第二类检测，以及时向驾驶员发送关于第二类检测的检测结果。同时，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法)比车载终端的检测方式更加精确，并且云端所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加详细，因此，在通信恢复时，将两者的结果综合分析能够提高检测的准确性。
请注意，本发明中的各类检测的划分前提是：云端的计算能力强于车载终端，所具有的相关计算数据比车载终端所具有的更加全面，即云端的检测准确度高于车载终端。
在该优选例中，可以设置定时由云端检测与车载终端相同的检测项目，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法)比车载终端的检测方式更加精确，并且云端所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加详细，因此，将两者的结果综合分析能够提高检测的准确性。
此外，在一优选例中，在上述步骤402之后，该检测方法还包括以下步骤：
如果判断出当前时刻为预定的综合检测时刻，则云端基于接收到的来自车载终端的行驶数据进行的第一类检测，并向车载终端发送检测结果；
车载终端将来自云端的检测结果与该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
在该优选例中，可以设置定时或者手动设置由云端进行与车载终端相同的检测项目，由于云端具有存储空间大、计算性能高等优势，其检测方式(如检测模型、算法等)和所拥有的与检测结果相关的行驶数据、历史数据等都比车载终端更加有优势，因此，检测结果比车载终端更加准确，而根据云端的检测结果能够有效对车载终端的检测模型、检测参数等进行修正，以提高车载终端的检测结果。
值得注意的是，如果车载终端无法跟云端通信，则可采用自身的检测方法对驾驶员的疲劳驾驶进行检测，例如，采用PECLOS(percentage of eyelid closure)算法来判断驾驶员的疲劳状态，PERCLOS是由美国国家交通安全局提出，通过计算一定时间段内驾驶员眼睛的开合度来对驾驶员状态进行推测的算法。。上述被修改的检测参数可以包括采用该算法时判定疲劳驾驶的阈值。
同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
本发明的第七实施方式公开了一种驾驶员状态的检测装置。图5是该检测装置的结构示意图。
具体地，该检测装置包含在车载终端中，如图5所示，该检测装置包括：
采集单元，用于在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像。
第一检测单元，用于基于驾驶员图像对驾驶员的状态进行第一类检测。
判断单元，用于判断是否满足向云端发送行驶数据的发送条件。
发送单元，用于向云端发送包括驾驶员的人脸特征的行驶数据，供云端对驾驶员状态进行不同于第一类检测的第二类检测。其中，人脸特征基于当前的驾驶员图像获得。
执行单元，用于在第一类检测和/或第二类检测的检测结果为是时，执行下列项中的至少一项：
向驾驶员发送预警信号；
向驾驶员所在车辆的周围的车辆发送预警信号；
降低驾驶员所在车辆的行车速度；
启动驾驶员所在车辆的自动驾驶功能。
在一优选例中，该装置还包括：
分析单元，用于根据所述驾驶员的图像进行第二类检测，并在从云端接收所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与所述第一检测单元所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
在一优选例中，该装置还包括：
修正单元，用于在接收到云端发送的该云端基于行驶数据所进行的第一类检测的检测结果时，将来自云端的检测结果与第一检测单元所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对第一类检测单元进行第一类检测所采用的检测模型和/或检测参数进行修正。
可同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
第一、第二、第三和第四实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一、第二、第三和第四实施方式互相配合实施。第一、第二、第三和第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一、第二、第三和第四实施方式中。
本发明的第八实施方式公开了一种驾驶员状态的检测装置。图6是该检测装置的结构示意图。
具体地，该检测装置设置在云端，如图6所示，该检测装置包括：
接收单元，用于接收车载终端发送的包括驾驶员的人脸特征的行驶数据，其中，人脸特征基于当前的驾驶员图像获得，驾驶员图像由车载终端采集，并且，车载终端基于当前的驾驶员图像对驾驶员的状态进行第一类检测；
第二检测单元，用于基于接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测。
同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
第五实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第五实施方式互相配合实施。第五实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第五实施方式中。
本发明的第九实施方式公开了一种驾驶员状态的检测系统。图7是该检测装置的结构示意图。
具体地，如图7所示，该检测系统包括车载终端和云端，其中，车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；并基于驾驶员图像对驾驶员的状态进行第一类检测，向云端发送包括驾驶员的人脸特征的行驶数据；
云端根据接收到的行驶数据，对驾驶员状态进行不同于第一类检测的第二类检测；其中，人脸特征基于当前的驾驶员的图像获得。
同时利用车载终端能够对驾驶员状态进行快速响应和云端对驾驶员状态进行高性能计算的优势对驾驶员状态进行检测，提高了对驾驶员状态检测的及时性和准确性。
第六实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第六实施方式互相配合实施。第六实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第六实施方式中。
需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (20)
1.一种驾驶员状态的检测方法，其特征在于，包括以下步骤：
车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
车载终端基于所述驾驶员图像对所述驾驶员的状态进行第一类检测，并向云端发送包括所述驾驶员的人脸特征的行驶数据，供云端对所述驾驶员状态进行不同于所述第一类检测的第二类检测；
其中，所述人脸特征基于所述当前的驾驶员图像获得。
2.根据权利要求1所述的检测方法，其特征在于，所述第一类检测和第二类检测至少满足下列中的一种：
所述第一类检测的计算量小于所述第二类检测的计算量；
所述第一类检测的紧急程度大于所述第二类检测的紧急程度。
3.根据权利要求1所述的检测方法，其特征在于，在所述向云端发送包括所述驾驶员的人脸特征的行驶数据之前，还包括：
判断是否满足向云端发送所述行驶数据的发送条件；
如果所述判断的结果为是，则向云端发送包括所述驾驶员的人脸特征的行驶数据。
4.根据权利要求3所示的检测方法，其特征在于，所述发送条件为下列中的至少一项：
当前时间为向云端定时发送行驶数据的预定发送时间；
所述车载终端向与所述云端传输数据的速率大于预定传输速率或者所述车载终端向所述云端传输数据的带宽大于预定传输带宽；
所述车载终端基于所述驾驶员图像的第一类检测检测出的驾驶状态，满足需要向所述云端发送行驶数据的预定条件。
5.根据权利要求1所述的检测方法，其特征在于，所述行驶数据包括基于所述驾驶员的图像得到的所述驾驶员的人脸图像，所述人脸图像包括所述人脸特征，并且，所述人脸图像的大小小于所述驾驶员的图像的大小。
6.根据权利要求1所述的检测方法，其特征在于，在所述采集当前的驾驶员图像之后，还包括：
所述车载终端根据所述驾驶员的图像进行第二类检测，并在从云端接收到所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与该车载终端所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
7.根据权利要求1所述的检测方法，其特征在于，在所述向云端发送包括所述驾驶员的人脸特征的行驶数据之后，还包括：
如果接收到所述云端发送的该云端基于所述行驶数据所进行的第一类检测的检测结果，则车载终端将来自云端的所述检测结果与该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
8.根据权利要求1至7中任一项所述的检测方法，其特征在于，所述第一类检测包括：检测驾驶员的闭眼时长是否超过预定闭眼时长、所述驾驶员的视线超出预定视线范围的时间是否大于预定视线时间以及人脸朝向超出预定朝向范围的时间是否大于预定朝向时间；
所述第二类检测包括：检测所述驾驶员是否处于疲劳驾驶状态。
9.根据权利要求8所述的检测方法，其特征在于，还包括以下步骤：
在所述第一类检测和/或第二类检测的检测结果为是时，执行下列项中的至少一项：
向所述驾驶员发送预警信号；
向所述驾驶员所在车辆的周围的车辆发送预警信号；
降低驾驶员所在车辆的行车速度；
启动驾驶员所在车辆的自动驾驶功能。
10.一种驾驶员状态的检测方法，其特征在于，包括以下步骤：
云端接收车载终端发送的包括所述驾驶员的人脸特征的行驶数据，其中，所述人脸特征基于当前的驾驶员图像获得，所述驾驶员图像由所述车载终端采集，并且，所述车载终端基于所述当前的驾驶员图像对所述驾驶员的状态进行第一类检测；
云端基于接收到的所述行驶数据，对所述驾驶员状态进行不同于所述第一类检测的第二类检测。
11.根据权利要求10所述的检测方法，其特征在于，在所述云端接收车载终端发送的包括所述驾驶员的人脸特征的行驶数据之后，还包括：
云端基于所述行驶数据对所述驾驶员的状态进行第二类检测，并将所述检测结果与所述车载终端根据所述驾驶员的图像进行的第二类检测的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
12.根据权利要求10所述的检测方法，其特征在于，在所述云端接收车载终端发送的包括所述驾驶员的人脸特征的行驶数据之后，还包括：
云端基于所述行驶数据对所述驾驶员的状态进行第一类检测并向所述车载终端发送检测结果，以供车载终端将所述检测结果和该车载终端所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对该车载终端进行第一类检测所采用的检测模型和/或检测参数进行修正。
13.根据权利要求10至12中的任一项所述的检测方法，其特征在于，所述云端基于接收到的所述行驶数据，对所述驾驶员状态进行不同于所述第一类检测的第二类检测包括：
云端根据当前接收到的行驶数据和历史行驶数据进行所述第二类检测。
14.根据权利要求10至12中的任一项所述的检测方法，其特征在于，所述行驶数据还包括所述驾驶员所在车辆的驾驶环境信息；并且，所述第二类检测包括根据所述驾驶员所在车辆的所述驾驶环境信息和接收到的其他驾驶员所共享的驾驶环境信息对所述驾驶员的驾驶状态进行检测，并将检测结果发送至所述驾驶员所在车辆的车载终端。
15.一种驾驶员状态的检测方法，其特征在于，包括以下步骤：
车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
车载终端基于所述驾驶员图像对所述驾驶员的状态进行第一类检测，并向云端发送包括所述驾驶员的人脸特征的行驶数据；
所述云端根据接收到的所述行驶数据，对所述驾驶员状态进行不同于所述第一类检测的第二类检测；
其中，所述人脸特征基于所述当前的驾驶员图像获得。
16.一种驾驶员状态的检测装置，其特征在于，该检测装置包含在车载终端中，并且该检测装置包括：
采集单元，用于在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；
第一检测单元，用于基于所述驾驶员图像对所述驾驶员的状态进行第一类检测；
发送单元，用于向云端发送包括所述驾驶员的人脸特征的行驶数据，供云端对所述驾驶员状态进行不同于所述第一类检测的第二类检测；
其中，所述人脸特征基于所述当前的驾驶员图像获得。
17.根据权利要求16所述的检测装置，其特征在于，还包括：
分析单元，用于根据所述驾驶员的图像进行第二类检测，并在从云端接收所述云端基于所述行驶数据所进行的第二类检测的检测结果时，将来自云端的所述第二类检测的检测结果与所述第一检测单元所进行的第二类检测的相同检测项的检测结果进行综合分析，得出所述第二类检测的综合分析结果；其中，在所述综合分析中，来自所述云端的第二类检测的检测结果所占的参考比重大于所述车载终端的第二类检测的检测结果所占的参考比重。
18.根据权利要求16所述的检测装置，其特征在于，还包括：
修正单元，用于在接收到所述云端发送的该云端基于所述行驶数据所进行的第一类检测的检测结果时，将来自云端的所述检测结果与所述第一检测单元所进行的第一类检测的相同检测项的检测结果进行比较，并根据比较结果对所述第一类检测单元进行第一类检测所采用的检测模型和/或检测参数进行修正。
19.一种驾驶员状态的检测装置，其特征在于，该检测装置设置在云端，并且该检测装置包括：
接收单元，用于接收车载终端发送的包括所述驾驶员的人脸特征的行驶数据，其中，所述人脸特征基于当前的驾驶员图像获得，所述驾驶员图像由所述车载终端采集，并且，所述车载终端基于所述当前的驾驶员图像对所述驾驶员的状态进行第一类检测；
第二检测单元，用于基于接收到的所述行驶数据，对所述驾驶员状态进行不同于所述第一类检测的第二类检测。
20.一种驾驶员状态的检测系统，其特征在于，包括车载终端和云端，其中，
所述车载终端在检测到驾驶员处于驾驶状态时，采集当前的驾驶员图像；并基于所述驾驶员图像对所述驾驶员的状态进行第一类检测，向云端发送包括所述驾驶员的人脸特征的行驶数据；
所述云端根据接收到的所述行驶数据，对所述驾驶员状态进行不同于所述第一类检测的第二类检测；
其中，所述人脸特征基于所述当前的所述驾驶员的图像获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908401.0A CN109598174A (zh) | 2017-09-29 | 2017-09-29 | 驾驶员状态的检测方法、及其装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908401.0A CN109598174A (zh) | 2017-09-29 | 2017-09-29 | 驾驶员状态的检测方法、及其装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109598174A true CN109598174A (zh) | 2019-04-09 |
Family
ID=65955342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710908401.0A Pending CN109598174A (zh) | 2017-09-29 | 2017-09-29 | 驾驶员状态的检测方法、及其装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598174A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110678873A (zh) * | 2019-07-30 | 2020-01-10 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| JP6727465B1 (ja) * | 2019-07-25 | 2020-07-22 | 三菱電機株式会社 | 運転者状態判断装置および運転者状態判断方法 |
| CN112319419A (zh) * | 2020-10-23 | 2021-02-05 | 江西江铃集团新能源汽车有限公司 | 一种智能行车控制方法及控制系统 |
| CN112422656A (zh) * | 2020-11-06 | 2021-02-26 | 杭州图软科技有限公司 | 一种基于大数据的驾驶行为分析方法及其系统 |
| CN113744498A (zh) * | 2020-05-29 | 2021-12-03 | 杭州海康汽车软件有限公司 | 驾驶员注意力监测的系统和方法 |
| CN114360267A (zh) * | 2021-11-25 | 2022-04-15 | 广东唯普汽车电子商务股份有限公司 | 基于云端检测系统的车况检测方法、装置及云端检测系统 |
| CN114348017A (zh) * | 2021-12-17 | 2022-04-15 | 际络科技(上海)有限公司 | 基于车载终端和云端解析的驾驶员监控方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102208125A (zh) * | 2010-03-30 | 2011-10-05 | 深圳市赛格导航科技股份有限公司 | 疲劳驾驶监测系统及方法 |
| CN105844964A (zh) * | 2016-05-05 | 2016-08-10 | 深圳市元征科技股份有限公司 | 一种车辆安全驾驶预警方法及装置 |
| CN106205054A (zh) * | 2016-09-13 | 2016-12-07 | 深圳市几米软件有限公司 | 安全驾驶智能预警方法、车载设备及服务器 |
| CN106218405A (zh) * | 2016-08-12 | 2016-12-14 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
| US20170001648A1 (en) * | 2014-01-15 | 2017-01-05 | National University Of Defense Technology | Method and Device for Detecting Safe Driving State of Driver |
| CN206416996U (zh) * | 2016-10-12 | 2017-08-18 | 德尔福电子(苏州)有限公司 | 一种车载驾驶行为综合评估和矫正系统 |
-
2017
- 2017-09-29 CN CN201710908401.0A patent/CN109598174A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102208125A (zh) * | 2010-03-30 | 2011-10-05 | 深圳市赛格导航科技股份有限公司 | 疲劳驾驶监测系统及方法 |
| US20170001648A1 (en) * | 2014-01-15 | 2017-01-05 | National University Of Defense Technology | Method and Device for Detecting Safe Driving State of Driver |
| CN105844964A (zh) * | 2016-05-05 | 2016-08-10 | 深圳市元征科技股份有限公司 | 一种车辆安全驾驶预警方法及装置 |
| CN106218405A (zh) * | 2016-08-12 | 2016-12-14 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
| CN106205054A (zh) * | 2016-09-13 | 2016-12-07 | 深圳市几米软件有限公司 | 安全驾驶智能预警方法、车载设备及服务器 |
| CN206416996U (zh) * | 2016-10-12 | 2017-08-18 | 德尔福电子(苏州)有限公司 | 一种车载驾驶行为综合评估和矫正系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6727465B1 (ja) * | 2019-07-25 | 2020-07-22 | 三菱電機株式会社 | 運転者状態判断装置および運転者状態判断方法 |
| CN110678873A (zh) * | 2019-07-30 | 2020-01-10 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| WO2021016873A1 (zh) * | 2019-07-30 | 2021-02-04 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| CN113744498A (zh) * | 2020-05-29 | 2021-12-03 | 杭州海康汽车软件有限公司 | 驾驶员注意力监测的系统和方法 |
| CN113744498B (zh) * | 2020-05-29 | 2023-10-27 | 杭州海康汽车软件有限公司 | 驾驶员注意力监测的系统和方法 |
| CN112319419A (zh) * | 2020-10-23 | 2021-02-05 | 江西江铃集团新能源汽车有限公司 | 一种智能行车控制方法及控制系统 |
| CN112319419B (zh) * | 2020-10-23 | 2022-02-01 | 江西江铃集团新能源汽车有限公司 | 一种智能行车控制方法及控制系统 |
| CN112422656A (zh) * | 2020-11-06 | 2021-02-26 | 杭州图软科技有限公司 | 一种基于大数据的驾驶行为分析方法及其系统 |
| CN114360267A (zh) * | 2021-11-25 | 2022-04-15 | 广东唯普汽车电子商务股份有限公司 | 基于云端检测系统的车况检测方法、装置及云端检测系统 |
| CN114360267B (zh) * | 2021-11-25 | 2023-10-10 | 广东唯普汽车电子商务股份有限公司 | 基于云端检测系统的车况检测方法、装置及云端检测系统 |
| CN114348017A (zh) * | 2021-12-17 | 2022-04-15 | 际络科技(上海)有限公司 | 基于车载终端和云端解析的驾驶员监控方法和系统 |
| CN114348017B (zh) * | 2021-12-17 | 2024-11-26 | 嬴彻星创智能科技(上海)有限公司 | 基于车载终端和云端解析的驾驶员监控方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598174A (zh) | 驾驶员状态的检测方法、及其装置和系统 | |
| CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
| CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
| CN111191545B (zh) | 一种驾驶员行为实时监控分析系统及方法 | |
| CN106515725A (zh) | 一种车辆防碰撞的方法及终端 | |
| US12136278B2 (en) | Systems and methods for identifying distracted driver behavior from video | |
| CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
| CN106467057B (zh) | 车道偏离预警的方法、装置及系统 | |
| CN106530623A (zh) | 一种疲劳驾驶检测装置及检测方法 | |
| CN105303830A (zh) | 一种驾驶行为分析系统及分析方法 | |
| CN103129385A (zh) | 驾驶行为分析警示系统与方法 | |
| CN104751663A (zh) | 驾驶员安全驾驶辅助系统和方法 | |
| CN104809887A (zh) | 一种高速公路上车辆逆行检测方法与自动报警装置 | |
| Charniya et al. | Drunk driving and drowsiness detection | |
| CN105539450B (zh) | 一种驾驶行程的自动识别方法和装置 | |
| Lashkov et al. | Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing | |
| CN108248610A (zh) | 一种自适应分心驾驶行为的监测及干预装置 | |
| CN111179551A (zh) | 一种危化品运输驾驶员实时监控方法 | |
| Huda et al. | Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values | |
| Dua et al. | Drowsiness detection and alert system | |
| Oh et al. | Intervehicle safety warning information system for unsafe driving events: Methodology and prototypical implementation | |
| CN108961683A (zh) | 一种疲劳驾驶确定装置及其使用方法 | |
| CN203562070U (zh) | 防酒驾及防瞌睡的装置 | |
| Songchitruksa et al. | Advancing safety performance monitoring at signalized intersections through use of connected vehicle technology | |
| CN109243150A (zh) | 一种车辆预警方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |
|
| RJ01 | Rejection of invention patent application after publication |