[go: up one dir, main page]

CN111310657B - 驾驶员人脸监控方法、装置、终端和计算机可读存储介质 - Google Patents

驾驶员人脸监控方法、装置、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN111310657B
CN111310657B CN202010092216.0A CN202010092216A CN111310657B CN 111310657 B CN111310657 B CN 111310657B CN 202010092216 A CN202010092216 A CN 202010092216A CN 111310657 B CN111310657 B CN 111310657B
Authority
CN
China
Prior art keywords
face
accumulation threshold
frame accumulation
feature
feature fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010092216.0A
Other languages
English (en)
Other versions
CN111310657A (zh
Inventor
邱静
徐林浩
何天翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Tsp Technology Co ltd
Original Assignee
Beijing China Tsp Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Tsp Technology Co ltd filed Critical Beijing China Tsp Technology Co ltd
Priority to CN202010092216.0A priority Critical patent/CN111310657B/zh
Publication of CN111310657A publication Critical patent/CN111310657A/zh
Application granted granted Critical
Publication of CN111310657B publication Critical patent/CN111310657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种驾驶员人脸监控方法、装置、终端和计算机可读存储介质，该方法包括：当系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；每当人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将人脸识别帧值清零后重新累加计数；若驾驶员的身份正确，每当特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将特征融合帧值清零后重新累加计数。本发明的技术方案可避免不必要的运算，大大减少车载SOC的运算压力，从而实现系统的高效运行等。

Description

驾驶员人脸监控方法、装置、终端和计算机可读存储介质
技术领域
本发明涉及驾驶监控技术领域，尤其涉及一种驾驶员人脸监控方法、装置、终端和计算机可读存储介质。
背景技术
随着ADAS(高级驾驶辅助系统)技术的快速发展，驾驶员监控系统(DMS，DriverMonitoring System)也逐步开始搭载在汽车上，而基于车载摄像头的视觉处理是目前广泛采用的方案。基于视觉处理的核心问题是人脸特征的提取，而采用的方案是否可以高效地，稳定地融合人脸特征，从而输出有效的驾驶员状态信息，决定着该方案能否落地应用。
目前，一种常见的方案是将其他场景的人脸识别应用移植到车载SOC系统中，典型地，如运行在手机的人脸特征检测。该种方案的常用步骤为：利用通用的人脸数据集(如WIDER FACE等)训练得到人脸检测的卷积神经网络模型，然后将训练得到的模型应用在人脸识别数据集(如LFW等)，通过人脸对齐处理，进而训练得到人脸识别卷积神经网络；基于相同的思路分别在特定的数据集(如疲劳检测数据集、注意力检测数据集、异常动作数据集等)进行训练，从而得到对应的疲劳检测、注意力检测、异常动作检测等的卷积神经网络模型。
然而上述方案没有考虑到特定的应用场景，面对多变的车舱光照条件的变化，其准确性和稳定性往往不尽如人意。另外，由于没有考虑到车载SOC的计算能力普遍低于手机SOC，车载设备功耗要求高，驾驶员监控系统需要长时间运行等限制，这将导致后期的算法优化压力较大等等。
发明内容
有鉴于此，本发明目的是为了克服现有技术中的至少一种不足，提出一种驾驶员人脸监控方法、装置、终端和计算机可读存储介质。
本发明的一实施例提出一种驾驶员人脸监控方法，包括：
当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；
每当所述人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将所述人脸识别帧值清零后重新累加计数；根据所述对应的人脸特征向量判断所述驾驶员的身份是否正确，以及将获得的相邻两个人脸特征向量输入帧累计阈值决策模型以获得新的人脸识别帧累计阈值，并将当前人脸识别帧累计阈值更新为所述新的人脸识别帧累计阈值；
若所述驾驶员的身份正确，每当所述特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将所述特征融合帧值清零后重新累加计数；将检测到的人脸和所述人脸特征点输入特征融合模型以获得对应的特征信息，以及将每一特征信息输入所述帧累计阈值决策模型以获得新的特征融合帧累计阈值，并将当前特征融合帧累计阈值更新为所述新的特征融合帧累计阈值；其中，所述特征信息包括疲劳程度值和注意力偏差值；
根据获得的特征信息执行预设操作。
进一步地，在上述的驾驶员人脸监控方法中，所述通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测之前，还包括：
当系统处于初始开机阶段时，初始化摄像头数据捕获模块并加载所述人脸检测模型；
判断是否存在上一次关机前保存的历史人脸搜索区域，若存在，则利用所述历史人脸搜索区域通过所述人脸检测模型进行人脸搜索；
若搜索到人脸，则将当前得到的人脸检测框尺寸扩大，并将扩大后的人脸检测框作为所述确定的人脸搜索区域；
然后加载所述人脸识别模型、所述人脸特征点检测模型、所述特征融合模型和所述帧累计阈值决策模型。
进一步地，在上述的驾驶员人脸监控方法中，还包括：
若不存在所述历史人脸搜索区域，则在摄像头的全图像区域进行人脸搜索；
若在所述历史人脸搜索区域内没有搜索到人脸，则将所述历史人脸搜索区域扩大搜索。
进一步地，在上述的驾驶员人脸监控方法中，所述摄像头数据捕获模块的初始化，包括：
加载预先创建的由若干大小相同的缓存区组成的共享内存缓存区，所述共享内存缓存区用于存储通过平台的摄像头数据捕获接口调用的所述摄像头所捕获的图像；
加载预先创建的捕获设备的上下文以及捕获线程，所述捕获线程用于以固定帧率从所述共享内存缓存区中获取由所述摄像头捕获的图像帧。
进一步地，在上述的驾驶员人脸监控方法中，所述帧累计阈值决策模型包括人脸识别帧累计阈值的计算公式和特征融合帧累计阈值的计算公式，所述人脸识别帧累计阈值的计算公式用于根据输入的相邻两个人脸特征向量计算得到新的人脸识别帧累计阈值；所述特征融合帧累计阈值的计算公式用于根据输入的特征信息计算得到新的特征融合帧累计阈值；
所述人脸识别帧累计阈值的计算公式如下：
Figure BDA0002384070500000041
其中，Ai表示前一时刻的历史人脸特征向量A的第i个分量；Bi表示当前时刻的人脸特征向量B的第i个分量；n表示向量维度；cosθ表示余弦相似度；e表示输出的人脸识别帧累计阈值；C1和C2分别为用于划分等级的两个余弦相似度阈值；N1和N2分别表示不同等级对应的人脸识别帧累计阈值；N5表示原始人脸识别帧累计阈值。
进一步地，在上述的驾驶员人脸监控方法中，所述特征信息包括疲劳程度值和注意力偏差值；所述特征融合帧累计阈值的计算公式如下：
Figure BDA0002384070500000042
其中，ai表示第i个疲劳程度值；bi表示第i个注意力偏差值；M1表示疲劳程度值系数；M2表示注意力偏差值系数；M3表示衰减因子；ck表示前k次历史人脸特征融合值；dk表示前k次输出的特征融合帧累计阈值；K1、K2和K3分别为用于划分等级的三个历史人脸特征融合值阈值；X1、X2和X3分别表示不同等级对应的特征融合帧累计阈值；X0表示原始特征融合帧累计阈值。
进一步地，在上述的驾驶员人脸监控方法中，所述人脸检测模型、所述人脸识别模型、所述人脸特征点检测模型和所述特征融合模型均利用采集的驾驶员多场景人脸数据并基于深度卷积神经网络进行预先训练得到。
本发明的另一实施例提出一种驾驶员人脸监控装置，包括：
人脸检测模块，用于当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；
人脸识别模块，用于每当所述人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将所述人脸识别帧值清零后重新累加计数；根据所述对应的人脸特征向量判断所述驾驶员的身份是否正确，以及将获得的相邻两个人脸特征向量输入帧累计阈值决策模型以获得新的人脸识别帧累计阈值，并将当前人脸识别帧累计阈值更新为所述新的人脸识别帧累计阈值；
特征获取模块，用于若所述驾驶员的身份正确，每当所述特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将所述特征融合帧值清零后重新累加计数；将检测到的人脸和所述人脸特征点输入特征融合模型以获得对应的特征信息，以及将每一特征信息输入所述帧累计阈值决策模型以获得新的特征融合帧累计阈值，并将当前存储的特征融合帧累计阈值更新为所述新的特征融合帧累计阈值；其中，所述特征信息包括疲劳程度值和注意力偏差值；
操作执行模块，用于根据获得的特征信息执行预设操作。
本发明的又一实施例提出一种终端，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的驾驶员人脸监控方法。
本发明的再一实施例提出一种计算机可读存储介质，其存储有计算机程序，在所述计算机程序被执行时，实施根据上述的驾驶员人脸监控方法。
本发明实施例的技术方案具有如下有益效果：
本发明实施例提出的方法利用训练的人脸检测模型在得到的人脸搜索区域内进行人脸实时检测，并基于帧累计阈值决策模型，通过在实车上运行标定，获得一个能够兼顾性能和资源占用的动态帧累计阈值，仅当对应的帧累计值超过当前阈值的时候才激活人脸识别模型及人脸特征点检测模型，避免不必要的运算，大大减少了车载SOC的运算压力以实现监控系统的高效运行，也不用对现有的驾驶员监控系统进行整体架构的改造等。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例的驾驶员人脸监控方法的第一流程示意图；
图2示出了本发明实施例的驾驶员人脸监控方法的第二流程示意图；
图3示出了本发明实施例的驾驶员人脸监控方法的第三流程示意图；
图4示出了本发明实施例的驾驶员人脸监控方法的共享内存缓存区的示意图；
图5示出了本发明实施例的驾驶员人脸监控装置的结构示意图。
主要元件符号说明：
10-驾驶员人脸监控装置；110-人脸检测模块；120-人脸识别模块；130-特征获取模块；140-操作执行模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
请参照图1，本实施例提出一种驾驶员人脸监控方法，可应用于行驶过程中对驾驶员进行是否疲劳驾驶、是否突发疾病等状态的监控，从而提高驾驶安全性等。下面对该驾驶员人脸监控方法进行详细说明。
步骤S11，当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测。
示范性地，若该监控系统在确定的人脸搜索区域内检测到有效的驾驶员人脸，则执行步骤S12。若没有检测到人脸，则移动该人脸搜索区域以继续进行人脸检测，直到检测到有效人脸，才执行步骤S12。
步骤S12，若每次检测到有效的人脸，则分别对人脸识别帧值和特征融合帧值进行一次累加计数。
示范性地，对于设置的两个值，一个表示人脸识别帧，用于对人脸识别帧累计阈值进行动态调整；另一个表示特征融合帧，用于对特征融合帧累计阈值进行动态调整。在上述步骤S12中，每当检测到一次有效的人脸后，则使这两个值分别进行累计加一。其中，有效的人脸通过预先训练好的人脸检测模型进行检测。
步骤S13，判断该人脸识别帧值是否超过当前人脸识别帧累计阈值。
对于步骤S13，若累加后的该人脸识别帧值大于当前的人脸识别帧累计阈值，则执行步骤S14和S15。若小于等于该当前的人脸识别帧累计阈值，则继续累加，直到超过该当前的人脸识别帧累计阈值。可以理解，步骤S14和步骤S15可同时执行，也可以按照设置的先后顺序进行，在此不作限定。
步骤S14，若超过，则启动人脸识别模型以获得对应的人脸特征向量。
示范性地，该系统将检测到的有效人脸输入预先训练好的人脸识别模型中进行人脸识别，然后输出对应的人脸特征向量。接着，利用该人脸特征向量与预先存储的驾驶员人脸进行对比，从而判断该驾驶员的身份是否正确，即执行步骤S16。
可以理解，对于每一次的人脸识别帧值从零到累加至超过人脸识别帧累计阈值的这一过程中，人脸识别模型将不会被启动；而仅当每次累加计数的人脸识别帧值超过当前的人脸识别帧累计阈值时，才会启动该人脸识别模型进行一次人脸识别，相应地输出一人脸特征向量。换言之，即每隔一定数量的帧才会执行一次人脸识别操作，而该数量取决于该人脸识别帧累计阈值的大小。
步骤S15，若超过，则将该人脸识别帧值清零后重新累加计数。
对于步骤S15，每当该人脸识别帧值累加至大于当前的人脸识别帧累计阈值时，则对该人脸识别帧值进行清零，并重新开始累计检测到有效人脸的次数。
步骤S16，根据获得的人脸特征向量判断驾驶员的身份是否正确。
对于步骤S16，若身份正确，则进行下一步的获取该驾驶员的特征信息，如疲劳程度和注意力偏差等，从而判断该驾驶员是否出现疲劳驾驶，注意力不集中等。若身份不正确，可选地，则可提前发出警报等而无须进行后续不必要的大量特征融合运算。
步骤S17，将获得的相邻两个人脸特征向量输入帧累计阈值决策模型，以获得新的人脸识别帧累计阈值。
本实施例中，该帧累计阈值决策模型包括两部分，分别为人脸识别帧累计阈值的计算公式和特征融合帧累计阈值的计算公式。其中，该人脸识别帧累计阈值的计算公式用于根据输入的相邻两个人脸特征向量计算得到新的人脸识别帧累计阈值；而该特征融合帧累计阈值的计算公式则用于根据输入的特征信息计算得到新的特征融合帧累计阈值。
示范性地，在获取到两个相邻人脸特征向量后，可根据这两个相邻的人脸特征向量的余弦相似度来确定下一次的人脸识别帧累计阈值。通常地，若相邻的两个人脸特征向量相似度较高，则下一次的人脸识别帧累计阈值可以稍微变大，即相隔更多的帧才启动一次人脸识别模型。当然，在实际运用中也可添加其他约束条件来动态调整该人脸识别帧累计阈值。
示范性地，该人脸识别帧累计阈值的计算公式如下：
Figure BDA0002384070500000101
其中，Ai表示前一时刻的历史人脸特征向量A的第i个分量；Bi表示当前时刻的人脸特征向量B的第i个分量；n表示向量维度；cosθ表示这两个相邻的人脸特征向量之间的余弦相似度。e表示输出的人脸识别帧累计阈值；C1和C2分别表示两个余弦相似度阈值，通过这两个值可以划分出三个区间，即对应三个等级；N1和N2分别表示不同等级对应的人脸识别帧累计阈值；N0表示原始人脸识别帧累计阈值(即预设的默认人脸识别帧累计阈值)。例如，若本次计算出的余弦相似度大于C1，则人脸识别帧累计阈值e将取值为N1，又或者，当计算出的余弦相似度小于C2，则人脸识别帧累计阈值e将取值为N0。然后，利用计算出来的该N1(或N0)对当前的人脸识别帧累计阈值进行替换。
对于上述的N0～N2，分别为三个等级区间对应的人脸识别帧累计阈值，而C1和C2分别为不同的余弦相似度阈值，上述这几个参数可通过对实车进行测试标定得到。示范性地，通过车载摄像头采集视频数据，数据应尽可能地覆盖所有场景，包括存在干扰的情况等。然后标记每一帧数据，并构建以准确率和帧率综合最优的目标函数，进而通过如遗传算法等最优化算法来标定出上述各值。对于上述等级的划分，可不限于为三个等级，其具体可根据实际情况来选取。本实施例中，优先选取为三个等级，这主要是根据实际经验来确定的，因等级划分太多，标定所需的数据量过大，模型收敛困难；而等级划分太少，又无法满足要求。
步骤S18，将当前人脸识别帧累计阈值更新为该新的人脸识别帧累计阈值。
在上述步骤S18中，若利用上述计算公式输出一个e，此时的e将替换掉该当前的人脸识别帧累计阈值，作为用于下一次启动人脸识别模型的新的人脸识别帧累计阈值。例如，若当前的人脸识别帧累计阈值为N3，通过公式输出了N4，则下一次累加计数的人脸识别帧值大于N4时，才会启动人脸识别模型。
步骤S19，若驾驶员的身份正确，判断该特征融合帧值是否超过当前特征融合帧累计阈值。
与上述的人脸识别帧的原理类似，在驾驶员身份正确的前提下，判断该特征融合值是否超过当前的特征融合帧累计阈值，若超过，则执行步骤S20和S21。若未达到，则继续累加。
步骤S20，若超过，启动人脸特征点检测模型以获得对应的人脸特征点。
示范性地，系统将识别出的驾驶员人脸输入至预先训练好的人脸特征点检测模型中，然后输出对应的人脸特征点检测框，例如眼、嘴等特征的区域框，之后执行步骤S22。通常地，当人比较疲劳时，其人脸特征尤其是眼睛，往往具有较明显的状态变化，故通过对人脸特征点的检测，对驾驶员的状态及行为的判断具有一定的帮助。
步骤S21，若超过，将该特征融合帧值清零后重新累加计数。
对于步骤S21，当该特征融合帧值累加至大于当前的特征融合帧累计阈值时，则对该特征融合帧值进行清零，并重新开始累计检测到有效人脸的次数。
步骤S22，将检测到的人脸和所述人脸特征点输入特征融合模型，以获得对应的特征信息。
对于步骤S22，将得到的人脸检测框及通过步骤S21得到的如眼、嘴等特征点的区域框输入至预先训练好的特征融合模型中，然后输出得到对应的特征信息。示范性地，该特征信息包括但不限于为，疲劳程度值、注意力偏差值、异常动作等。
可以理解，对于每一次的特征融合帧值从零到累加至超过特征融合帧累计阈值的这一过程中，特征融合模型将不会被启动；而仅当每次累加计数的特征融合帧值超过当前的特征融合帧累计阈值时，才会启动该特征融合模型进行一次特征融合，相应地得到一特征信息。
步骤S23，将每一特征信息输入该帧累计阈值决策模型以获得新的特征融合帧累计阈值。
示范性地，若该特征信息包括疲劳程度值和注意力偏差值，则该特征融合帧累计阈值的计算公式如下：
Figure BDA0002384070500000121
其中，ai表示第i个疲劳程度值；bi表示第i个注意力偏差值；M1表示疲劳程度值系数；M2表示注意力偏差值系数；M3表示衰减因子；ck表示前k次历史人脸特征融合值；dk表示前k次输出的特征融合帧累计阈值；K1、K2和K3分别表示三个历史人脸特征融合值阈值，通过这三个值将划分出四个区间，即对应有四个等级；X1、X2和X3分别表示不同等级对应的特征融合帧累计阈值；X0表示原始特征融合帧累计阈值。
对于上述的X0～X3，分别为四个等级区间对应的特征融合帧累计阈值，而K1～K3分别为设置的三个不同的历史人脸特征融合值阈值，上述这几个参数均可通过对实车进行测试标定得到。其具体标定方式与上述的人脸识别帧累计阈值的类似，故在此不再详述。本实施例中，优先划分为四个等级，当然，也可以划分为更多或更少的等级，具体可根据实际情况来确定。
步骤S24，将当前特征融合帧累计阈值更新为该新的特征融合帧累计阈值。
在上述步骤S24中，基于上述计算公式计算输出的值将作为新的特征融合帧累计阈值，以用于下一次特征融合模型的启动。其原理与上述的人脸识别帧值类似，故在此不再详述描述。
考虑到驾驶员在车辆行驶过程中，在大多数情况下，人脸特征状态处于缓慢变化的状态，若对每次采集到的一帧图像数据都利用人脸识别模型及特征融合模型进行推理运算，往往将导致系统资源的占用率高、负荷大。然而，若是采用固定的帧累计阈值，在避免大量运算的同时，可能会导致无法跟踪人脸特征快速变化的场景，进而导致监控系统无法处理应急场景且响应延迟较大。为了解决上述问题，本实施例提出上述的基于历史人脸特征数据的帧累计阈值决策模型来动态计算该人脸识别帧累计阈值和特征融合帧累计阈值，这样可以很好地平衡运算量大和快速响应人脸特征变化的需求，实现该监控系统的高效运行。
步骤S25，根据获得的特征信息执行预设操作。
示范性地，对于获取的特征信息，该预设操作可包括但不限于为，保存及显示该特征信息等。可选地，若得到的特征信息，如疲劳程度值超过了预设阈值，则该预设操作还可以是进行报警等，从而提醒相应工作人员注意。
本实施例中，对于上述的人脸检测模型、人脸识别模型、人脸特征点检测模型和特征融合模型，示范性地，这些模型可以基于不同的神经网络，如卷积神经网络、深度卷积神经网络等进行预先训练得到。
例如，可通过车载摄像头采集获取大量的驾驶员多场景人脸数据集，其中包含在不同光照条件下，不同疲劳程度值，注意力偏差值(如看正前方、左看、右看等)的人脸图像，并且对该数据集进行人脸框标记，人脸特征点(如眼、嘴等)标记，状态行为(如疲劳程度，注意力，异常动作等)标记。
随后，可通过人脸框标记数据，训练得到人脸检测模型；根据人脸特征点标记数据对卷积神经网络进行训练，得到人脸特征点检测模型；然后利用该人脸特征点检测模块输出得到眼、嘴等特征点区域框。此外，将人脸检测框，眼，嘴等区域框作为卷积神经网络的输入，将疲劳程度、注意力偏差，异常动作等状态行为作为输出，训练得到特征融合模型。同时，还利用人脸识别数据集对卷积神经网络进行训练，得到用于识别驾驶员身份的人脸识别模型。
可以理解，基于帧累计阈值决策模型进行人脸识别帧累计阈值及特征融合帧累计阈值的动态确定，并仅在满足相应条件时才启动对应的模型进行运算，可以在流程上极大地减少所需的运算量，进而可降低对该监控系统对车载SOC的性能要求等。对于本实施例的驾驶员人脸监控系统而言，可以使其高效地运行在资源受限的车载SOC上，不仅可以解决现有技术中因后台需要长期进行复杂运算而导致的高资源占用现象，也不需要增加额外的视觉处理器进行独立运算，避免了硬件增加带来的集成复杂度和成本的增加，具有较好的经济效益等。
实施例2
请参照图2，基于上述实施例1的方法，本实施例提出的驾驶员人脸监控方法，在上述步骤S11之前，该方法还包括：当系统处于初始开机阶段时，利用历史人脸搜索数据对人脸搜索区域进行快速定位，这样可实现以较少的运算量即可确定人脸搜索区域，从而减少系统资源的占用等。
示范性地，如图2所示，该方法主要包括以下步骤：
步骤S1，当系统处于初始开机阶段时，初始化摄像头数据捕获模块并加载人脸检测模型。
示范性地，当驾驶员人脸监控系统处于开机的初始阶段时，先对与摄像头关联的摄像头数据捕获模块进行初始化，并在初始化成功后加载人脸检测模型以用于人脸检测。
步骤S2，判断是否存在上一次关机前保存的历史人脸搜索区域。
由于驾驶员在行驶过程中，人脸通常出现在一个相对固定的区域，为此，可先判断是否存在历史人脸搜索数据以快速确定该人脸搜索区域是否存在。若存在，则可优先在该区域内进行人脸检测，即执行步骤S3，从而减少在大范围内进行搜索时所需的资源占用等。当然，若不存在，才在整个图像区域内进行扩大范围搜索，即执行步骤S5。
步骤S3，若存在，则利用该历史人脸搜索区域通过人脸检测模型进行人脸搜索。对于步骤S3，若搜索到人脸，则执行步骤S4；若没有搜索到人脸，则执行步骤S6。
步骤S4，若搜索到人脸，则将当前得到的人脸检测框尺寸扩大，并将扩大后的人脸检测框作为所述确定的人脸搜索区域。
示范性地，若在该历史人脸搜索区域内检测到人脸存在，则可适当扩大该人脸检测框的尺寸，得到一个较大的人脸检测框，即作为新的人脸搜索区域，然后执行步骤S7。
步骤S5，若在历史人脸搜索区域内没有搜索到人脸，则将所述历史人脸搜索区域扩大搜索。
示范性地，以该历史人脸搜索区域为基准进行范围扩大调整，以进一步搜索人脸所在的位置。
步骤S6，若不存在历史人脸搜索区域，则在摄像头的全图像区域进行人脸搜索。
步骤S7，然后加载人脸识别模型、人脸特征点检测模型、特征融合模型和帧累计阈值决策模型。
示范性地，对于上述步骤S4的快速确定了人脸搜索区域的情况，可直接跳转至执行该步骤S7；若为上述步骤S5、S6等情况，则可在最终确定了人脸搜索区域后再加载上述多个模型。可以理解，这些模型的训练方法与上述实施例1的各模型相同，故在此不再重复描述。
在一种实施例中，如图3所示，对于上述步骤S1，该摄像头数据捕获模块的初始化，主要包括：
步骤S101，加载预先创建的由若干大小相同的缓存区组成的共享内存缓存区。其中，所述共享内存缓存区将用于存储通过平台的摄像头数据捕获接口调用的摄像头所捕获的图像。
步骤S102，加载预先创建的捕获设备的上下文以及捕获线程。其中，所述捕获线程用于以固定帧率从所述共享内存缓存区中获取由摄像头捕获的图像帧。
本实施例中，该摄像头数据捕获模块将采用系统平台的摄像头捕获接口，为了避免不必要的摄像头数据拷贝，进而节省资源的占用及数据拷贝获取的时间，优选地，可预先在系统底层创建一共享内存缓存区，然后创建捕获设备的上下文以及捕获线程，以用于其他模块调用存储在该共享内存缓存区中的摄像头图像数据。
例如，如图4所示，该共享内存缓存区可由若干个大小相同的缓存区组成，每一个缓存区均可以存放一个完整的图像数据。而对于该捕获线程，可设置一个固定帧率来获取，其中，该固定帧率可根据摄像头图像拍摄帧率的大小来对应设定，通常地，该固定帧率小于该图像拍摄帧率。
对于上述步骤S101和S102，通过在初始化过程中加载这些预先创建的共享内存缓存区、捕获设备的上下文以及捕获线程，即可实现后续对摄像头数据的跨模块的共享，不仅可以节省数据拷贝的时间，提高数据获取效率，并且，尤其是对于资源受限的系统而言，通过跨模块共享数据可避免在数据拷贝时占用大量的内存资源等。
本实施例中，该驾驶员人脸监控系统可采用QNX系统等，进而可利用该QNX系统平台支持的zero-copy摄像头数据共享及支持快速启动的特性。当然，该系统还可以采用其他的系统，只要该系统能够满足以下两个条件：一支持多模块之间的zero-copy的摄像头数据共享；二是系统支持快速启动，保证DMS可以在2s内开始工作。其中，上述的系统的初始开机阶段，可以理解为该系统在快速启动后的这一阶段，利用系统的快速启动的这一特性，可以实现对人脸搜索区域的快速定位等。
可以理解，除了利用上述实施例1的基于帧累计阈值决策模型动态确定人脸识别帧累计阈值及特征融合帧累计阈值这一关键点来实现该监控系统的高效运动外，本实施例还从其他两方面着手：
第一，借助如QNX平台等系统高效的设备捕获接口，通过创建共享内存缓存区进行图像数据存储，使得由摄像头获得的数据无需拷贝就可以实现跨模块共享，并可以保证图像数据的同步；
第二，考虑到驾驶员人脸区域大多数时间都出现在相同的位置区域，通过利用QNX等系统的快速启动特性，即在初始开机阶段，结合历史人脸数据进行进行人脸搜索区域的快速定位，使得在大多数时间里可以以较少的运算数据量就可以得到人脸检测框。
基于上述两点，能够进一步地减少不必要的运算，从而实现在不增加硬件成本的基础上实现驾驶员人脸监控系统的高效运行等。
实施例3
请参照图5，基于上述实施例1的驾驶员人脸监控方法，本实施例提出一种驾驶员人脸监控装置10，包括：
人脸检测模块110，用于当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；
人脸识别模块120，用于每当所述人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将所述人脸识别帧值清零后重新累加计数；根据所述对应的人脸特征向量判断所述驾驶员的身份是否正确，以及将获得的相邻两个人脸特征向量输入帧累计阈值决策模型以获得新的人脸识别帧累计阈值，并将当前人脸识别帧累计阈值更新为所述新的人脸识别帧累计阈值；
特征获取模块130，用于若所述驾驶员的身份正确，每当所述特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将所述特征融合帧值清零后重新累加计数；将检测到的人脸和所述人脸特征点输入特征融合模型以获得对应的特征信息，以及将每一特征信息输入所述帧累计阈值决策模型以获得新的特征融合帧累计阈值，并将当前存储的特征融合帧累计阈值更新为所述新的特征融合帧累计阈值；其中，所述特征信息包括疲劳程度值和注意力偏差值；
操作执行模块140，用于根据获得的特征信息执行预设操作。
可以理解，上述的驾驶员人脸监控装置10对应于实施例1的驾驶员人脸监控方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。
本发明还提供了一种终端，如车载影像等电子设备，该终端包括存储器和处理器，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述的驾驶员人脸监控方法或者上述的驾驶员人脸监控装置中的各个模块的功能。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质，用于储存上述终端中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种驾驶员人脸监控方法，其特征在于，包括：
当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；
每当所述人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将所述人脸识别帧值清零后重新累加计数；根据所述对应的人脸特征向量判断所述驾驶员的身份是否正确，以及将获得的相邻两个人脸特征向量输入帧累计阈值决策模型以获得新的人脸识别帧累计阈值，并将当前人脸识别帧累计阈值更新为所述新的人脸识别帧累计阈值；
若所述驾驶员的身份正确，每当所述特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将所述特征融合帧值清零后重新累加计数；将检测到的人脸和所述人脸特征点输入特征融合模型以获得对应的特征信息，以及将每一特征信息输入所述帧累计阈值决策模型以获得新的特征融合帧累计阈值，并将当前特征融合帧累计阈值更新为所述新的特征融合帧累计阈值；其中，所述特征信息包括疲劳程度值和注意力偏差值；
根据获得的特征信息执行预设操作；
其中，所述帧累计阈值决策模型包括人脸识别帧累计阈值的计算公式和特征融合帧累计阈值的计算公式，所述人脸识别帧累计阈值的计算公式用于根据输入的相邻两个人脸特征向量计算得到新的人脸识别帧累计阈值；所述特征融合帧累计阈值的计算公式用于根据输入的特征信息计算得到新的特征融合帧累计阈值；
所述人脸识别帧累计阈值的计算公式如下：
Figure FDA0004257897990000021
其中，Ai表示前一时刻的历史人脸特征向量A的第i个分量；Bi表示当前时刻的人脸特征向量B的第i个分量；n表示向量维度；cosθ表示余弦相似度；e表示输出的人脸识别帧累计阈值；C1和C2分别为用于划分等级的两个余弦相似度阈值；N1和N2分别表示不同等级对应的人脸识别帧累计阈值；N0表示原始人脸识别帧累计阈值；
所述特征融合帧累计阈值的计算公式如下：
Figure FDA0004257897990000022
Figure FDA0004257897990000023
其中，ai表示第i个疲劳程度值；bi表示第i个注意力偏差值；M1表示疲劳程度值系数；M2表示注意力偏差值系数；M3表示衰减因子；ck表示前k次历史人脸特征融合值；dk表示前k次输出的特征融合帧累计阈值；K1、K2和K3分别为用于划分等级的三个历史人脸特征融合值阈值；X1、X2和X3分别表示不同等级对应的特征融合帧累计阈值；X0表示原始特征融合帧累计阈值。
2.根据权利要求1所述的驾驶员人脸监控方法，其特征在于，所述通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测之前，还包括：
当系统处于初始开机阶段时，初始化摄像头数据捕获模块并加载所述人脸检测模型；
判断是否存在上一次关机前保存的历史人脸搜索区域，若存在，则利用所述历史人脸搜索区域通过所述人脸检测模型进行人脸搜索；
若搜索到人脸，则将当前得到的人脸检测框尺寸扩大，并将扩大后的人脸检测框作为所述确定的人脸搜索区域；
然后加载所述人脸识别模型、所述人脸特征点检测模型、所述特征融合模型和所述帧累计阈值决策模型。
3.根据权利要求2所述的驾驶员人脸监控方法，其特征在于，还包括：
若不存在所述历史人脸搜索区域，则在摄像头的全图像区域进行人脸搜索；
若在所述历史人脸搜索区域内没有搜索到人脸，则将所述历史人脸搜索区域扩大搜索。
4.根据权利要求2所述的驾驶员人脸监控方法，其特征在于，所述摄像头数据捕获模块的初始化，包括：
加载预先创建的由若干大小相同的缓存区组成的共享内存缓存区，所述共享内存缓存区用于存储通过平台的摄像头数据捕获接口调用的所述摄像头所捕获的图像；
加载预先创建的捕获设备的上下文以及捕获线程，所述捕获线程用于以固定帧率从所述共享内存缓存区中获取由所述摄像头捕获的图像帧。
5.根据权利要求1所述的驾驶员人脸监控方法，其特征在于，所述人脸检测模型、所述人脸识别模型、所述人脸特征点检测模型和所述特征融合模型均利用采集的驾驶员多场景人脸数据并基于深度卷积神经网络进行预先训练得到。
6.一种驾驶员人脸监控装置，其特征在于，包括：
人脸检测模块，用于当监控系统启动后，通过人脸检测模型在确定的人脸搜索区域内进行驾驶员人脸实时检测，并在每次检测到人脸时分别对人脸识别帧值和特征融合帧值进行累加计数；
人脸识别模块，用于每当所述人脸识别帧值超过当前人脸识别帧累计阈值时，启动人脸识别模型以获得对应的人脸特征向量，以及将所述人脸识别帧值清零后重新累加计数；根据所述对应的人脸特征向量判断所述驾驶员的身份是否正确，以及将获得的相邻两个人脸特征向量输入帧累计阈值决策模型以获得新的人脸识别帧累计阈值，并将当前人脸识别帧累计阈值更新为所述新的人脸识别帧累计阈值；
特征获取模块，用于若所述驾驶员的身份正确，每当所述特征融合帧值超过当前特征融合帧累计阈值时，启动人脸特征点检测模型以获得对应的人脸特征点，以及将所述特征融合帧值清零后重新累加计数；将检测到的人脸和所述人脸特征点输入特征融合模型以获得对应的特征信息，以及将每一特征信息输入所述帧累计阈值决策模型以获得新的特征融合帧累计阈值，并将当前存储的特征融合帧累计阈值更新为所述新的特征融合帧累计阈值；其中，所述特征信息包括疲劳程度值和注意力偏差值；
操作执行模块，用于根据获得的特征信息执行预设操作；
其中，所述帧累计阈值决策模型包括人脸识别帧累计阈值的计算公式和特征融合帧累计阈值的计算公式，所述人脸识别帧累计阈值的计算公式用于根据输入的相邻两个人脸特征向量计算得到新的人脸识别帧累计阈值；所述特征融合帧累计阈值的计算公式用于根据输入的特征信息计算得到新的特征融合帧累计阈值；
所述人脸识别帧累计阈值的计算公式如下：
Figure FDA0004257897990000041
其中，Ai表示前一时刻的历史人脸特征向量A的第i个分量；Bi表示当前时刻的人脸特征向量B的第i个分量；n表示向量维度；cosθ表示余弦相似度；e表示输出的人脸识别帧累计阈值；C1和C2分别为用于划分等级的两个余弦相似度阈值；N1和N2分别表示不同等级对应的人脸识别帧累计阈值；N0表示原始人脸识别帧累计阈值；
所述特征融合帧累计阈值的计算公式如下：
Figure FDA0004257897990000051
Figure FDA0004257897990000052
其中，ai表示第i个疲劳程度值；bi表示第i个注意力偏差值；M1表示疲劳程度值系数；M2表示注意力偏差值系数；M3表示衰减因子；ck表示前k次历史人脸特征融合值；dk表示前k次输出的特征融合帧累计阈值；K1、K2和K3分别为用于划分等级的三个历史人脸特征融合值阈值；X1、X2和X3分别表示不同等级对应的特征融合帧累计阈值；X0表示原始特征融合帧累计阈值。
7.一种终端，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施根据权利要求1至5中任一项所述的驾驶员人脸监控方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，在所述计算机程序被执行时，实施根据权利要求1至5中任一项所述的驾驶员人脸监控方法。
CN202010092216.0A 2020-02-14 2020-02-14 驾驶员人脸监控方法、装置、终端和计算机可读存储介质 Active CN111310657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010092216.0A CN111310657B (zh) 2020-02-14 2020-02-14 驾驶员人脸监控方法、装置、终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010092216.0A CN111310657B (zh) 2020-02-14 2020-02-14 驾驶员人脸监控方法、装置、终端和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111310657A CN111310657A (zh) 2020-06-19
CN111310657B true CN111310657B (zh) 2023-07-07

Family

ID=71149044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092216.0A Active CN111310657B (zh) 2020-02-14 2020-02-14 驾驶员人脸监控方法、装置、终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111310657B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973083A (zh) * 2022-05-18 2022-08-30 交通运输通信信息集团有限公司 一种驾驶员身份自动识别装置、系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535639B1 (en) * 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US7072521B1 (en) * 2000-06-19 2006-07-04 Cadwell Industries, Inc. System and method for the compression and quantitative measurement of movement from synchronous video
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101551934A (zh) * 2009-05-15 2009-10-07 东北大学 驾驶员疲劳驾驶的监测装置及监测方法
CN102254148A (zh) * 2011-04-18 2011-11-23 周曦 一种多人动态环境下的实时人脸识别方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN106686314A (zh) * 2017-01-18 2017-05-17 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106874864A (zh) * 2017-02-09 2017-06-20 广州中国科学院软件应用技术研究所 一种室外行人实时检测方法
CN206271049U (zh) * 2016-12-07 2017-06-20 西安蒜泥电子科技有限责任公司 一种人脸扫描仪同步系统装置
CN107832694A (zh) * 2017-10-31 2018-03-23 北京赛思信安技术股份有限公司 一种视频关键帧提取算法
CN110728234A (zh) * 2019-10-12 2020-01-24 爱驰汽车有限公司 驾驶员人脸识别方法、系统、设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535639B1 (en) * 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US7072521B1 (en) * 2000-06-19 2006-07-04 Cadwell Industries, Inc. System and method for the compression and quantitative measurement of movement from synchronous video
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101551934A (zh) * 2009-05-15 2009-10-07 东北大学 驾驶员疲劳驾驶的监测装置及监测方法
CN102254148A (zh) * 2011-04-18 2011-11-23 周曦 一种多人动态环境下的实时人脸识别方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
EP3109114A1 (en) * 2014-01-15 2016-12-28 National University of Defense Technology Method and device for detecting safe driving state of driver
CN206271049U (zh) * 2016-12-07 2017-06-20 西安蒜泥电子科技有限责任公司 一种人脸扫描仪同步系统装置
CN106686314A (zh) * 2017-01-18 2017-05-17 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106874864A (zh) * 2017-02-09 2017-06-20 广州中国科学院软件应用技术研究所 一种室外行人实时检测方法
CN107832694A (zh) * 2017-10-31 2018-03-23 北京赛思信安技术股份有限公司 一种视频关键帧提取算法
CN110728234A (zh) * 2019-10-12 2020-01-24 爱驰汽车有限公司 驾驶员人脸识别方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111310657A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN103634593B (zh) 摄像机移动检测方法和系统
EP3268933A1 (en) Systems and methods for object tracking
CN113362371B (zh) 目标跟踪方法及装置、电子设备、存储介质
CN111192277A (zh) 一种实例分割的方法及装置
CN109308704B (zh) 背景剔除方法、装置、计算机设备及存储介质
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
CN111757008B (zh) 一种聚焦方法、设备及计算机可读存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN111699509B (zh) 物体检测装置、物体检测方法以及记录介质
EP2309454A2 (en) Apparatus and method for detecting motion
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
US9053355B2 (en) System and method for face tracking
CN111310657B (zh) 驾驶员人脸监控方法、装置、终端和计算机可读存储介质
CN117152453A (zh) 道路病害的检测方法、装置、电子设备和存储介质
CN101107625A (zh) 图像处理方法、图像处理系统、摄像装置、图像处理装置及计算机程序
CN110799984A (zh) 跟踪控制方法、设备、计算机可读存储介质
JP7154071B2 (ja) 運転状態監視支援システム、運転状態監視支援方法及びプログラム
EP2453383A1 (en) Facial features detection
US12177567B2 (en) Efficient unwanted reflection artifact mitigation in videos for embedded devices
CN113642442B (zh) 人脸检测方法及装置、计算机可读存储介质、终端
CN109993078A (zh) 车载环境的图像识别方法、装置及设备
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
US10713517B2 (en) Region of interest recognition
CN114140822A (zh) 行人重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant