CN101601077B

CN101601077B - 驾驶员管理装置和行驶管理系统

Info

Publication number: CN101601077B
Application number: CN2008800038092A
Authority: CN
Inventors: 大见拓宽
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-02-01
Filing date: 2008-01-30
Publication date: 2013-01-02
Anticipated expiration: 2028-01-30
Also published as: DE112008000301B4; US20100090839A1; DE112008000301T5; CN101601077A; JP2008210375A; US8164463B2; JP4985428B2

Abstract

在用于管理交通工具的驾驶员的驾驶员管理装置中，状态估计模块(14)根据来自传感模块(11，12，25)的感测信息来估计驾驶员的状态。根据估计结果，提取模块(14)提取部分感测信息作为捕获区域。捕获信息存储模块(16)提取与提取的捕获区域相关联的感测信息并将该提取的感测信息存储为捕获信息。确定模块(14)判断估计结果是否满足报告条件。当确定该估计结果满足报告条件时，管理模块(23，24)取得与估计结果相关联的捕获信息并且将该取得的捕获信息与估计结果一起传输到外部中心(30)。

Description

驾驶员管理装置和行驶管理系统

技术领域

本发明涉及用于管理交通工具行驶的行驶管理系统，以及涉及用于管理该交通工具的驾驶员的驾驶员管理装置。该驾驶员管理装置形成该行驶管理系统的一部分。

背景技术

行驶管理系统是已知的，它通过在交通工具的驾驶员管理装置和行驶管理中心之间的通信，以该装置和该中心之间交换的信息来恰当地管理交通工具的行驶。行驶管理中心的行驶管理器确认从驾驶员管理装置发送到该行驶管理中心的关于该驾驶员和交通工具的数据。然后，该行驶管理器判断该驾驶员的状态正常还是不正常并且作出指示或警告。

然而，由于只在预设时间发送关于驾驶员和交通工具的数据，所以，如果(例如)驾驶员突然生病，则对策迟后。

另一行驶管理系统(例如参考JP2002-74599A)包括驾驶员管理装置，该驾驶员管理装置包括驾驶员状态确定单元。根据驾驶员的生理数据(例如心率)，确定单元判断驾驶员的状态正常与否。如果确定单元确定该状态异常，则该单元将驾驶员的面部图像(或面部图像和生理数据)传输至管理中心。根据该面部图像，管理中心的行驶管理器全面地判断情况，例如驾驶员的状态。然后，管理器给驾驶员指示或命令。

乘员面部图像处理系统是已知的，其通过准确地获取与驾驶该交通工具的乘员相关的信息来提高安全性。乘员面部图像处理系统包括：用于获取该乘员面部图像的面部图像获取模块、用于将图像上的数据转换成用于传输的数据形式的转换模块、以及用于将经转换的数据传输至路上(onroad)设备并用于从该路上设备接收获取该面部图像的指示信息的通信控制模块(例如，参考JP2001-126091A)。

在JP2002-74599A所述的行驶管理系统中，驾驶员管理装置根据由驾驶员的生理数据所确定的他/她的状态，同时传输该确定和面部图像。然而，给面部图像拍照的时间并非指定的。行驶管理中心的行驶管理器很难仅仅根据一张面部图像来正确地判断该驾驶员的情况，如他/她的状态。

在JP2001-126091A中所述的乘员面部图像处理系统中，将乘员的面部图像转换成可传输的数据形式并且对其进行传输。然而，其并未指定将哪种场景切下并传输。行驶管理中心的行驶管理器很难仅仅根据切下的面部图像来正确地判断该驾驶员的情况，如他/她的状态。

发明内容

鉴于此种问题，本发明的目的在于当管理交通工具的行驶时，更正确地确定该交通工具的驾驶员的状态。

本发明内容的第一方面，一种用于管理交通工具驾驶员的驾驶员管理装置，所述装置能够与外部中心交换多组数据，所述装置包括：感测模块、信息存储模块、状态估计模块、提取模块、捕获信息存储模块、确定模块、控制模块。感测模块用于感测驾驶员。感测信息存储模块用于临时存储感测信息，所述感测信息是感测模块提供的驾驶员感测结果。状态估计模块用于根据感测信息估计所述驾驶员的状态。提取模块用于根据由状态估计模块提供的估计结果来提取由感测信息存储模块存储的感测信息的一部分，以作为捕获区域。捕获信息存储模块用于从感测信息存储模块提取与由提取模块提取的所述捕获区域相关联的所述感测信息的该部分，将与所述捕获区域相关联的所述感测信息的该提取出的部分作为捕获信息进行存储。确定模块用于确定由状态估计模块所提供的估计结果是否满足用于确定将向外部中心告知该估计结果的报告条件。控制模块用于：当确定模块确定估计结果满足报告条件时，从捕获信息存储模块取得与估计结果相关联的捕获信息，使取得的捕获信息与估计结果一起传输至外部中心，其中，与作为所述捕获信息传输的所述感测信息的该部分相关联的所述捕获区域是一个区域，在该区域中存在对作为驾驶员状态的驾驶员的嗜睡度水平估计有巨大影响的现象。

本发明的第二方面，一种用于管理交通工具驾驶员的驾驶员管理装置，所述装置能够将与外部中心交换多组数据，所述装置包括：感测模块、感测信息存储模块、状态估计模块、提取模块、捕获信息存储模块、确定模块、行驶信息存储模块、控制模块。感测模块用于感测驾驶员。感测信息存储模块用于临时存储感测信息，所述感测信息是感测模块提供的驾驶员感测结果。状态估计模块用于根据感测信息估计驾驶员的状态。提取模块用于根据由状态估计模块提供的估计结果来提取由感测信息存储模块存储的感测信息的一部分，以作为捕获区域。捕获信息存储模块用于：从感测信息存储模块提取与由提取模块提取的所述捕获区域相关联的所述感测信息的该部分，将与所述捕获区域相关联的所述感测信息的该提取出的部分作为捕获信息进行存储。确定模块用于确定由状态估计模块所提供的估计结果是否满足用于确定向外部中心告知该估计结果的报告条件。行驶信息存储模块能够存储与交通工具行驶相关的信息。控制模块用于：当确定模块确定估计结果满足报告条件时，从捕获信息存储模块取得与估计结果相关联的捕获信息，使行驶信息存储模块存储所取得的捕获信息与估计结果，其中，与作为所述捕获信息传输的所述感测信息的该部分相关联的所述捕获区域是一个区域，在该区域中存在对作为驾驶员状态的驾驶员的嗜睡度水平估计有巨大影响的现象。

本发明的第三方面，一种用于管理交通工具行驶的行驶管理系统包括：中心和上述驾驶员管理装置。该中心和驾驶员管理装置用于相互之间交换多组数据。该中心包括用于接收由驾驶员管理装置提供的信息的输入模块。该中心包括用于存储所接收的信息的存储模块。

附图说明

参考附图，本发明的前述和其他的目的、结构以及优点将从下面详细的说明中变得更加显而易见，附图中：

图1是根据本发明第一实施例的驾驶员管理系统的示意性框图；

图2是在驾驶员每只眼睛的上下眼睑之间的距离的时间变化的示例性附图，通常示出在将驾驶员的面部图像处理后发现的变化；

图3是驾驶员的嗜睡度水平D的估计结果的示例性附图；

图4是驾驶员状态估计处理的流程图；

图5是图像存储处理的流程图；

图6A是面部图像压缩的示例性附图；

图6B是面部图像压缩的另一示例性附图；

图6C是面部图像压缩的又一示例性附图；

图7是根据本发明第二实施例的驾驶员管理系统的示意性框图；

图8是根据本发明第三实施例的驾驶员管理系统的示意性框图；

图9A是图像存储处理的第一示例性附图；

图9B是图像存储处理的第二示例性附图。

具体实施方式

下面将参考附图描述本发明的实施例。

[第一实施例]

图1是根据本发明第一实施例的行驶管理系统1的示意性框图。图2是在驾驶员每只眼睛的上下眼睑之间的距离的时间变化的示例性附图，通常示出在处理了驾驶员的面部图像时发现的变化。图3是驾驶员的嗜睡度水平D的估计结果的示例性附图。

[驾驶员管理系统1的结构的说明]

如图1所示，行驶管理系统1是用于管理交通工具行驶的系统，并且包括驾驶员管理装置10和中心30，多组数据可在驾驶员管理装置10和中心30之间交换。数据传输不仅包括实时无线电数据传输而且包括通过便携式存储设备或其他硬件的数据传输以及有线数据传输。

[驾驶员管理装置10的结构的说明]

如图1所示，驾驶员管理装置10包括：摄像头11、聚光灯12、信息处理ECU 13、状态估计ECU 14、感测信息存储单元15、捕获信息存储单元16、驾驶记录器17、显示单元18、扬声器19、座椅振动器20、空气调节器21、数据传输器-接收器22、信息获取单元23、数据生成单元24。

摄像头11具有照相元件并且捕获交通工具中驾驶员的面部图像，以便摄像头11将图像发送至信息处理ECU 13，驾驶员管理装置10安装在该交通工具中。

聚光灯12是用于在摄像头11捕获面部图像时照亮驾驶员面部的装置。为了节电和延长寿命，优选聚光灯12只与摄像头11的曝光时间同时发射光。为了不使驾驶员夜间眼花，优选聚光灯12发射近红外光或者其他不可见光。

信息处理ECU 13接收来自摄像头11的捕获到的图像，分析接收到的图像，提取图像中含有驾驶员面部的区域，检测该区域中如眼、鼻、嘴的面部部分，更具体地分析眼睛以便检测眼睛的睁开(包括他们的眨眼状态)，并且将检测结果发送到状态估计ECU 14。信息处理ECU 13也将从摄像头11接收的捕获到的图像作为感测信息发送到感测信息存储单元15。

根据来自信息处理ECU 13的处理结果，状态估计ECU 14估计可影响交通工具驾驶的驾驶员的精神和生理状态。这一ECU 14从驾驶员面部图像(感测信息)提取该图像的捕获区域，在该捕获区域存在对于估计具有很大影响的现象。ECU 14将提取出的捕获区域发送到捕获信息存储单元16。根据与捕获区域提取相关的信息，该捕获信息存储单元16从感测信息存储单元15获得相关联的感测信息并将该相关联的感测信息作为捕获信息存储。本实施例中，状态估计ECU 14通过后面将要描述的算法在每个确定循环(例如每分钟)中估计驾驶员嗜睡度水平D作为该驾驶员的精神和生理状态。作为驾驶员的精神和生理状态而估计的嗜睡度水平D对应于权利要求书中的估计结果。状态估计ECU 14将该估计的嗜睡度水平D(估计结果)发送到数据生成单元24。

状态估计ECU 14也将控制信号发送到扬声器19、座椅振动器20、以及空气调节器21，以控制他们。

感测信息存储单元15暂时存储输入信息处理ECU 13的感测信息。这一存储单元15将部分存储的感测信息作为捕获信息发送到捕获信息存储单元16。

根据由状态估计ECU 14所提取的捕获区域提取结果，捕获信息存储单元16从感测信息存储单元15获得必要的感测信息。捕获信息存储单元16将该获得的感测信息存储为捕获信息。另外，捕获信息存储单元16对包括在捕获信息中的数据进行压缩。

信息获取单元23从外部获取交通工具信息、操作信息以及交通工具环境信息。交通工具信息是与交通工具相关的信息，例如与交通工具的行为相关的信息，与时间相关的信息。行为信息可以是指示交通工具当前位置的信息、指示交通工具相对于行车道的位置的信息、指示交通工具速度的信息、或者指示交通工具姿态的信息。操作信息指示驾驶员的操作，例如与交通工具的转向角相关联的信息、与刹车相关联的信息、与加速器操作相关联的信息、与喇叭操作相关联的信息、与方向指示器或该交通工具的另一聚光灯操作相关联的信息，或者与空气调节器、声音系统或该交通工具的另一系统的操作相关的信息。交通工具环境信息是与交通工具的环境相关联的信息，例如与道路环境相关联的信息，与交通堵塞、道路施工或另一交通状况相关联的信息，与当前天气相关联的信息、与天气预报相关联的信息、与照明相关联的信息、或者与时间或时区相关联的信息。从交通工具的导航仪或摄像头获取关于道路环境的信息。通过与该交通工具的摄像头或该交通工具外部的装置如VICS进行通信来获取关于交通堵塞、道路施工或另一交通状况的信息。通过与该交通工具的雨量感测器或另一感测器或者该交通工具外部的装置如VICS进行通信来获取关于当前天气的信息。通过与该交通工具外部的装置如VICS进行通信来获取关于天气预报的信息。从该交通工具的照度仪来获取关于照明的信息。可从该交通工具的计时器来获取关于时间或时区信息。

信息获取单元23将获取的交通工具信息、操作信息以及交通工具环境信息发送到数据生成单元24。交通工具信息、操作信息以及交通工具环境信息对应于权利要求书中的其他信息。

通过从状态估计ECU 14发送的“估计结果”以及从捕获信息存储单元16发送的“捕获信息”，数据生成单元24产生用于传输至中心30的数据。如果信息获取单元23发送“其它信息”，则与用于传输的数据一起产生在用于传输的数据中添加的其它信息。数据生成单元24通过数据传输器-接收器22向中心30发送所产生的数据。当基于估计结果不存在驾驶员的状态问题时，可只将结果发送到中心30。当基于估计结果存在驾驶员的状态问题时，可将结果和捕获信息发送到中心30。可分别包装及传输捕获信息(例如图像数据)和其他信息(例如，特征信息)。或者，可产生并传输具有叠加于图像数据上的特征的图像。

数据生成单元24也向驾驶记录器17和显示单元18发送用于传输的数据。

当车辆发生交通事故时，或者当驾驶员突然刹车或者采取其他行动以避免事故时，驾驶记录器17记录指示该交通工具行为(速度、震动)的行为数据、指示乘员操作(转向、刹车)的操作数据、或其他数据。驾驶记录器17也记录从数据生成单元24发送的用于传输的数据。

显示单元18可以是液晶显示器或有机EL显示器。显示单元18显示估计结果、捕获信息或包括在从数据生成单元24发送的用于传输的数据中的其他信息作为图像。

根据来自状态估计ECU 14的控制信号，扬声器19输出多种警示音和声音。

根据来自状态估计ECU 14的控制信号，座椅振动器20振动驾驶员座椅。

根据来自状态估计ECU 14的控制信号，空气调节器21从交通工具外部摄取空气、加热或冷却该空气、并且将该空气供给该交通工具，或者当循环该空气时加热或冷却交通工具中的空气。

数据传输器-接收器22与中心30的数据传输器-接收器32进行通信。

摄像头11和聚光灯12对应于权利要求的感测模块。感测信息存储单元15对应于权利要求的感测信息存储模块。状态估计ECU 14对应于权利要求的状态估计模块、提取模块和确定模块。捕获信息存储单元16对应于权利要求的捕获信息存储模块和数据压缩模块。信息获取单元23和数据生成单元24对应于权利要求的控制模块。

[用于确定驾驶员的嗜睡度水平的算法的说明]

用于实时确定驾驶员的嗜睡度水平的算法使用该驾驶员的多种现象用于计算。该计算可基于眨眼数(每分钟)、闭眼时间率(秒/分钟)、眼睛睁开(％)、以及许多其他因素。图2典型地示出了驾驶员上下眼睑之间的距离的时间变化。当处理了驾驶员的面部图像时发现变化。波型中的向下的峰值表示眨眼。与眨眼相关的信息包括眨眼的持续期(从眼睛闭上的时间到眼睛睁开的时间)、关于半闭眼状态的信息、眨眼数、以及许多其他条信息。嗜睡度的估计涉及通过将上述因子乘以于实验中发现的加权系数来计算水平。例如可根据下面等式1来计算嗜睡度水平D。

等式1：嗜睡度水平D＝a×f1+b×f2+c×f3…+z×fn

如图3所示，通过对许多因素求和来计算嗜睡度水平D。如果在上述因素之一中观察到高值，该因素提高水平D。实时或者以有规则间隔(例如一分钟)来估计嗜睡度水平D，在感测信息存储单元15中临时记录图像。换言之，在内部记录该图像直到确定嗜睡度水平D为止。确定后，删除(总是覆盖)无用的数据(下面描述)。

当嗜睡度水平D超过阈值时，将发生显著现象的图像(压缩并)记录为嗜睡度估计中的因素，并且可将该记录的图像传输到行驶管理器或记录在驾驶记录器中。图3的实例中，b×f2的值升高至优于其他值，并且这指示上面的升高状态已经升高了嗜睡度水平D。因此，根据时间的时间标记，剪切b×f2的值指示高处的图像。时间标记对应于捕获区域。

因此，即使仅仅估计了嗜睡度估计的结果，用于上述估计的显著现象仍旧是无可争辩的证据。这可作为对于驾驶员在驾驶员驾驶交通工具时保持或提高驾驶员的紧张状态的触发器。这也可作为用于驾驶员在来自行驶管理器的要求下进行休息的触发器。该触发器有助于预防性安全措施。通过提取最影响嗜睡度估计的因素而非通过随机记录或传输驾驶员的面部图像，可以使得存储器和传输数据有效、节约管理器的时间、以及保持该现象的证据。

[中心30的结构的说明]

如图1所示，中心30包括：存储单元31、数据传输器/接收器32、控制单元33、以及显示单元34。

存储单元31包括非易失存储器并且存储来自驾驶员管理装置10的面部图像和其它数据。

数据传输器/接收器32与驾驶员管理装置10的数据传输器/接收器22进行通信。

显示单元34可以是液晶显示或CRT，并且将多种类型的信息作为图像显示。

控制单元33管理中心30的单元31、32和34。控制单元33使存储单元31存储由数据传输器/接收器32接收的多种类型的信息。此外，管理单元33使显示单元34显示由数据传输器/接收器32接收的多种类型的信息。

[驾驶员状态估计处理的说明]

下面将参考图4的流程图来描述由驾驶员管理装置10执行的驾驶员状态估计处理。当开启驾驶员管理装置10时进行这一处理。

首先，驾驶员管理装置10获取驾驶员的面部图像作为动态图像(S110)。具体地说，装在交通工具的操作测量仪附近的聚光灯12照亮面部，并且摄像头11捕获由面部反射的图像，并将该图像发送到信息处理ECU 13，该信息处理ECU 13接收来自摄像头11的图像。

随后，驾驶员管理装置10处理来自摄像头11的面部图像(S120)。具体地说，信息处理ECU 13分析从摄像头11接收的捕获到的图像，在该图像中定位驾驶员的面部，检测该图像中的面部部分，在经检测面部部分中确定眼睛，并且从他/她的眼睑所在处的面部部分的形状变化来检测眼睛的眨眼状态(图2)。然后，信息处理ECU 13将提取出的眨眼图案作为处理结果发送到状态估计ECU 14。通过信息处理ECU 13将捕获的信息发送到感测信息存储单元15，进行临时存储。

随后，驾驶员管理装置10确定驾驶员的嗜睡度水平(S130)。具体地说，根据来自信息处理ECU 13的眨眼图案，状态估计ECU 14估计可能影响交通工具的驾驶操作的驾驶员的精神和生理状态(图3)。更具体地说，由于当驾驶员清醒时展现的驾驶员的眨眼行为与驾驶员困乏时展现的眨眼行为存在明显的区别，所以驾驶员管理装置10根据行为改变通过前述算法来确定嗜睡度水平D。随着驾驶员变得困乏而变化的眨眼行为包括有区别的图案，如缓慢眨眼和半闭眼状态。嗜睡度水平D的确定涉及实验发现以及在数字上制定每种图案间的校正以及根据定义的嗜睡度指数。已经提出了一些用来分类嗜睡度水平D的方法。例如，经常将嗜睡度水平D分成约五个阶段，例如0：根本不困乏；1：轻微困乏；2：困乏；3：比较困乏；4：非常困乏；以及5：瞌睡。

随后，状态估计ECU 14确定嗜睡度水平D是否高于阈值Th(S140)。具体地说，ECU 14比较在上面描述所发现的嗜睡度水平D与由行驶管理器或其它人所预设的阈值Th用于针对驾驶者采取行动。当嗜睡度水平D高于阈值Th时，ECU 14分析等式中哪种眨眼特征提高了该水平。当ECU 14确定嗜睡度水平D不高于阈值Th时(S140：否)，则处理返回S110。

当状态估计ECU 14确定嗜睡度水平D高于阈值Th时(S140：是)，则状态估计ECU 14分析对于该确定贡献的程度并提取所述因素(S150)。换言之，一种情形下，在特征图案示出的驾驶员变得困乏是预先已知时，可为驾驶员定制嗜睡度估计算法。这种情形下，与如S150的情形相同，ECU14根据与对确定贡献的程度相关的驾驶员的变量来提取该因素。为了消除个体间的估计结果误差，可在该过程中改变估计逻辑，并因而加权系数相应地改变。ECU 14总用改变的系数来分析贡献程度。ECU 14分析等式中哪种眨眼特征提高了嗜睡度水平D。如果这一分析的结果是驾驶员的眼睛长时间闭合，则ECU 14提取记录了图像清楚地示出该长时间闭合的时间标记作为捕获区域(S160)。根据提取出的捕获区域，从感测信息存储单元15取得图像，然后作为一条捕获信息存储在捕获信息存储单元16中。根据需要，数据生成单元24从捕获信息存储单元16取得该条捕获信息(S170)。通过数据传输器/接收器22将取得的捕获信息传输到行驶管理器或在驾驶员记录器17中记录该取得的捕获信息等，驾驶员管理装置10旨在保持驾驶员适度紧张。然而，由于图像记录容量和数据传送容量的限制，可能需要减少数据量。因此，为了将捕获信息限制到预设的容量，捕获信息存储单元16根据需要进行信息的图像压缩(8180)。可通过下面方法之一进行图像压缩。(1)存储单元16极大地压缩全部或部分背景并且按原样保留面部区域(图6A)。为了在图像处理期间识别驾驶员的面部轮廓，将驾驶员的面部区域设定为包括该驾驶员面部周围的区域。(2)存储单元16彻底删除背景并仅将面部区域按原样剪切下来(图6B)。或者，删除部分背景。(3)存储单元16以不同的比率压缩面部区域和背景。具体地说，存储单元16以低于存储单元16压缩背景的比率A的比率B来压缩面部区域(图6C)。(4)存储单元16使全部或部分背景成为单色(使得全部或部分背景为黑色或白色)，并且就按原样留下面部区域(图6B)。如果没有特殊限制，那么就不需要上述的压缩。如果留有更多的容量，可切下时间标记附近的图像，但是可均匀地捕获包括该场景的5秒的图像。数据生成单元24从压缩了的捕获信息、估计结果、和其他信息产生用于传输的数据，将该数据传输至中心30，并在驾驶员记录器17中记录该数据(S190)。

可在捕获信息存储单元16存储捕获信息时压缩包括在捕获信息中的数据。具体地说，当存储单元16存储根据捕获区域从感测信息取得的捕获信息时，压缩包括在该捕获信息中的数据。或者，当控制模块传输该捕获信息时或当驾驶员记录器17存储该捕获信息时，压缩包括在该捕获信息中的数据。

[图像存储处理的说明]

下面将参考图5的流程图来描述由驾驶员管理装置10执行的图像存储处理。这一处理在开启驾驶员管理装置10时独立于驾驶员状态估计处理而进行。

首先，信息处理ECU 13重置并启动计时器(S200)。接下来，信息处理ECU 18使计时器计数(S210)。接下来，感测信息存储单元15记录来自信息处理ECU 13的面部图像(S220)。接下来，信息处理ECU 13确定由计时器计数的数字是否大于Tmax(S230)。如果ECU 13确定了该计数的数字不大于Tmax(S230：否)，则处理返回S210。如果ECU 13确定了该计数的数字大于Tmax(S230：是)，则感测信息存储单元15删除所记录的面部图像中最久远的一个(S240)。然后处理返回S200。

图像存储处理包括顺序获取超过感测信息存储单元15容量的新图像。如图9A的第一实例所示，图像存储处理包括将感测信息存储单元15中存储的所有久远的图像丢弃并记录新图像。或者如图9B的第二实例所示，可一个接一个地覆盖感测信息存储单元15中的图像帧。

在向驾驶员管理装置10供电同时可进行驾驶员状态估计处理和图像存储处理。不仅可以在驾驶交通工具同时进行估计处理和存储处理，而且可以在开始驾驶交通工具前进行估计处理和存储处理。通过驾驶员的操作来开始该行动。可在交通工具的门开锁、打开或关闭时开始该行动。可在驾驶员坐在驾驶员座位上时，或者在打开点火开关时开始该行动。

[第一实施例的效果]

根据第一实施例的行驶管理系统1实现了下面的效果。由驾驶员管理装置10进行的驾驶员状态估计处理包括获取驾驶员的面部图像作为动态图像(S110)、处理该获取的图像(S120)、以及随后根据该处理后的图像来确定驾驶员的嗜睡度水平D(S130)的步骤。如果状态估计ECU 14确定嗜睡度水平D高于阈值Th(S140：是)，则状态估计ECU 14分析对于该确定的贡献程度并提取所述因素(S150)。ECU 14分析哪种眨眼特征提高了嗜睡度水平D。如果这一分析的结果是驾驶员眼睛的长时间闭合，则ECU 14提取记录了图像清楚地示出该长时间闭合的时间标记作为捕获区域(S160)。将与所提取的捕获区域相关的图像作为捕获信息存储，并根据需要取得(S170)。根据需要，将取得的图像压缩为限于预设的容量(S180)。从压缩了的捕获信息、估计结果、和其他信息产生用于传输的数据，将该数据传输至中心30，并在驾驶员记录器17中记录该数据(S190)。在中心30中，可将接收到的图像存储在存储单元31中或显示在显示单元34上。

中心30中的行驶管理器能够通过考虑从驾驶员管理装置10传输的估计结果和捕获信息来全面地判断驾驶员的状态。这使得能够更恰当地确定交通工具的驾驶员状态并将他们用于驾驶员管理、未来的驾驶训练等。

电磁干涉等可根据来自传输或传送到中心的感测信息和捕获信息来阻止驾驶员状态估计结果。即使在上面的情形中，该中心可在交通工具行驶结束后收集估计结果和捕获信息。中心30的管理器能够通过考虑从驾驶员管理装置10传输的收集结果和信息来全面地判断驾驶员的状态。这使得能够更恰当地确定交通工具的驾驶员状态并将它们用于驾驶员管理、未来的驾驶训练等。

(2)第一实施例的驾驶员行驶装置10根据需要压缩图像，以将该图像限于预设容量(S180)并将压缩了的图像传输到中心30。这使得能够减少捕获信息的数据量，但是面部区域的图像质量没有恶化。面部区域对于可视化地估计驾驶员的状态是至关重要的。因此，能够减少存储单元16以及驾驶员记录器17的捕获信息的容量(这是捕获信息的存储所必需的)。也能够在数据生成单元24传输估计结果和捕获信息时减少负载。

(3)在S120驾驶员状态估计处理处，第一实施例的驾驶员管理装置10分析从摄像头11接收的捕获到的图像，在图像中定位驾驶员的面部，在图像中检测面部部分，在该检测的面部部分中确定驾驶员的眼睛，并且根据该面部部分中眼睑的形状改变来检测眼睛的眨眼状态。信息处理ECU 13从检测到的眨眼状态提取眨眼图案(图2)。换言之，编辑或处理面部图像以便从该图像提取显示出驾驶员状态的部分。将该编辑或处理过的信息传输到报道该信息的中心30，以便行驶管理器可以更加恰当地判断驾驶员的状态。

(4)如果根据第一实施例的驾驶员管理装置10的信息获取单元23发送出“其他信息”，则驾驶员管理装置10将估计结果和捕获信息传输到中心30，并在驾驶记录器中一起记录该估计结果和捕获信息，以及该其他信息。中心30的管理器通过考虑除了来自驾驶员管理装置10的估计结果和捕获信息以外的其他信息而能够全面地判断驾驶员的状态。这使得能够更恰当地确定交通工具的驾驶员状态并将它们利用于驾驶员管理、未来的驾驶训练等。

[第二实施例]

图7是根据本发明第二实施例的行驶管理系统2的示意性框图。

下面将提供对一种情形的说明，其中感测驾驶员的心电图、血压、脉波、呼吸和/或类似内容。

如图7所示，根据本实施例的行驶管理系统2包括驾驶员管理装置40。这一装置40包括：生物信息获取单元25、信息处理ECU 13、状态估计ECU14、感测信息存储单元15、捕获信息存储单元16、驾驶记录器17、显示单元18、扬声器19、座椅振动器20、空气调节器21、数据传输器-接收器22、信息获取单元23、和数据生成单元24。

生物信息获取单元25获取驾驶员的生物信息并由该生物信息感测驾驶员的状态。该生物信息是与驾驶员的心电图、血压、脉波、呼吸等相关的信息。生物信息获取单元25获取与心电相关的信息、与血压相关的信息、与脉波相关的信息、以及与呼吸相关的信息中的至少其一作为驾驶员的生物信息。信息处理ECU 13分析从生物信息获取单元25接收到的生物信息，将处理结果发送到状态估计ECU 14，并且也通过信息处理ECU 13将感测了的生物信息发送到感测信息存储单元15。根据信息处理ECU 13提供的处理结果，状态估计ECU 14估计可影响交通工具驾驶的驾驶员的精神和生理状态。由该处理结果，这一ECU 14提取一区域作为捕获区域，在该捕获区域存在对于估计有很大影响的现象。ECU 14将提取出的捕获区域发送到捕获信息存储单元16。根据状态估计ECU 14提供的提取结果，捕获信息存储单元16从感测信息存储单元15获得捕获信息并对其进行存储。

通过从状态估计ECU 14发送的“估计结果”以及从捕获信息存储单元16发送的“捕获信息”，数据生成单元24产生用于传输至中心30的数据。在存在通过信息获取单元23发送的“其它信息”的情形下，通过将该其他信息添加到信息获取单元23而产生用于传输到中心30的上述数据。数据生成单元24通过数据传输器-接收器22向中心30发送所产生的数据。当基于估计结果驾驶员的状态不存在问题时，可只将结果发送到中心30。当基于估计结果驾驶员的状态存在问题时，可将结果和捕获信息发送到中心30。数据生成单元24也向驾驶记录器17和显示单元18发送该用于传输的数据。

中心30中的管理器能够通过考虑根据从驾驶员管理装置40传输的驾驶员的心电图、血压、脉波和呼吸的捕获信息和估计结果来全面地判断驾驶员的状态。这样就能够更恰当地确定交通工具的驾驶员的状态，并将它们用于驾驶员管理、未来的驾驶训练等。

[第三实施例]

图8是根据本发明第三实施例的行驶管理系统3的示意性框图。

下面将提供对一种情形的说明，其中感测驾驶员的心电图、血压、脉波、呼吸和/或类似内容，并且其中从驾驶员的面部图像提取捕获信息。

如图8所示，根据本实施例的行驶管理系统3包括驾驶员管理装置50。这一装置50包括：摄像头11、聚光灯12、生物信息获取单元25、信息处理ECU 13、状态估计ECU 14、感测信息存储单元15、面部图像存储单元26、捕获信息存储单元16、驾驶记录器17、显示单元18、扬声器19、座椅振动器20、空气调节器21、数据传输器-接收器22、信息获取单元23、和数据生成单元24。

生物信息获取单元25获取驾驶员的生物信息，并由该生物信息感测驾驶员的状态。该生物信息可以是与驾驶员的心电图、血压、脉波、呼吸等相关的信息。生物信息获取单元25获取与心电相关的信息、与血压相关的信息、与脉波相关的信息、以及与呼吸相关的信息中的至少其一作为驾驶员的生物信息。

摄像头11获取驾驶员的面部图像并通过信息处理ECU 13将该图像发送到面部图像存储单元26用于临时存储。

信息处理ECU 13分析从生物信息获取单元25接收到的生物信息，并将处理结果发送到状态估计ECU 14。生物信息获取单元25通过信息处理ECU 13将生物信息发送到感测信息存储单元15用于临时存储。

面部图像存储单元26临时存储来自摄像头11的面部图像。

根据信息处理ECU 13提供的处理结果，状态估计ECU 14估计可影响交通工具驾驶的驾驶员的精神和生理状态。这一ECU 14提取一区域作为捕获区域，在该捕获区域存在对于估计具有很大影响的现象。根据ECU 14检测的捕获区域的提取结果，捕获信息存储单元16从感测信息存储单元15中存储的感测信息和面部图像存储单元26中存储的面部图像中至少其一提取捕获信息。捕获信息存储单元16存储该提取的捕获信息。

通过从状态估计ECU 14发送的“估计结果”以及从捕获信息存储单元16发送的“捕获信息”，数据生成单元24产生用于传输至中心30的数据。在存在通过信息获取单元23发送“其它信息”的情形下，通过将该其他信息添加到信息获取单元23而产生用于传输到中心30的上述数据。数据生成单元24通过数据传输器-接收器22向中心30发送所产生的数据。当基于估计结果驾驶员的状态不存在问题时，可只将结果发送到中心30。当基于估计结果驾驶员的状态存在问题时，可将结果和捕获信息发送到中心30。数据生成单元24也向驾驶记录器17和显示单元18发送该用于传输的数据。

中心的管理器能够通过考虑从驾驶员管理装置传输的估计结果和捕获信息来全面地判断驾驶员的状态。这样能够更恰当地确定交通工具的驾驶员状态并将它们用于驾驶员管理、未来的驾驶训练等。

电磁干涉等可根据来自传输或传送到中心的感测信息和捕获信息来阻止驾驶员状态估计结果。即使在这样的情形下，该中心可在交通工具行驶结束后收集估计结果和捕获信息。中心30的管理器能够通过考虑从驾驶员管理装置10传输的收集结果和信息来全面地判断驾驶员的状态。这样能够更恰当地确定交通工具的驾驶员状态，并将它们用于驾驶员管理、未来的驾驶训练等。

[其他实施例]

上文中描述了本发明的一个实施例。本发明并不限于本实施例而可体现为下面的形式。

(1)在前述实施例的驾驶员状态估计处理的S110处，获取驾驶员的面部图像作为动态图像。然而，记录或传送该动态图像不是必需的。行驶管理器能够可视化地理解驾驶员的状态是至关重要的。例如，可记录或传送一个或多个静态图像。不需说明，动态图像有益于眨眼的表示。然而，即使是静态图像或一系列多个静态图像能够显示颈部肌肉放松的瞌睡的驾驶员。

(2)前述实施例的驾驶员状态估计处理包括每分钟进行确定的步骤。如果在确定之间发生作为嗜睡度证据的现象，则等待确定时间。然而，将图像切下并将它传输到行驶管理器或者在实时每次，嗜睡度估计算法确定驾驶员是瞌睡或者处于紧急状态下可能是有效的。

(3)在前述实施例的驾驶员状态估计处理中，如果根据现象的组合估计驾驶员是困乏的，则捕获并传输两个或多个图像。由于在不同时间发生该现象，如果经常发生类似现象，则从类似现象选择代表。

(4)驾驶员能够确认记录了的图像。对于私人信息的保护，可给予驾驶员拒绝图像传输和/或记录的权利。具体地说，可只在驾驶员同意时传输和/或记录图像。可预先、周期性地、或者在传输和/或记录图像时确认驾驶员的同意。为了行驶管理器认识到，优选留下驾驶员对图像的确认、删除等的记录。驾驶员能够在一旦记录了该图像后通过检查记录了的图像而确定是否删除该图像。

(5)在前述实施例的驾驶员状态估计处理中，可改变阈值Th。或者，对于驾驶员状态估计处理可设定两个或多个阈值Th。可通过数据传输器/接收器22远程改变阈值Th。

(6)参考嗜睡度描述前述实施例。所检测内容并不具体限制并且可为粗心驾驶、酒后驾驶、疲劳驾驶或驾驶员的不安全状态或糟糕的生理状态。所检测内容并不限于图像并且可以是心电图、心跳或脉波。如果在监控时预报了异常等，可提取并发送直接示出该异常等的典型图像或信号。

(7)在前述实施例中，从驾驶员的面部图像来估计他/她的状态。可从驾驶员的体态，或者从驾驶员的心电图、驾驶员的血压、驾驶员的脉波、驾驶员的呼吸、驾驶员的特征操作或特征方式来估计驾驶员的状态。对于驾驶员的面部图像，从前述实施例的眨眼来估计该驾驶员的状态，但是可根据驾驶员的面部表情或者根据驾驶员将手移至面部的方式来估计驾驶员的状态。对于驾驶员的体态的图像，可从驾驶员席坐的方式来估计驾驶员的状态。

(8)在前述实施例的驾驶员状态估计处理的S140处，驾驶员的状态估计结果确定应该告知中心30感测信息的报告条件是驾驶员困乏。更具体地说，报告条件是嗜睡度水平D高于阈值Th。报告条件可以是驾驶员粗心驾驶、醉酒或疲劳，中心应要求传输该估计结果和捕获信息，驾驶员应想要将估计结果和捕获信息传输到中心，确定为根据交通工具的环境或者驾驶员的生物节律优选将该估计结果和捕获信息传输到中心，当前的时间为将估计结果和捕获信息传输到中心所需的预设时间，或者交通工具的当前位置对应于将估计结果和捕获信息传输到中心所需的预设位置。

交通工具的环境是该交通工具启动时的时间、交通堵塞的时间、交通工具进入高速路的时间、或者诸如白天或夜间的时间区。可通过驾驶员生活类型的昼夜节律或circasemi-dian节律并且考虑行驶状态来设定生物节律。可将用于向中心传输估计结果和捕获信息的预设时间设定为预定时间间隔或预定距离。可由某一阶段用于每日服务的中心的管理器将向中心传输估计结果和捕获信息所需的预设位置设定为检测点。预设位置是有效的，因为当交通工具通过检测点时，管理器可能需要管理监视时间、在该时间的道路环境、或者在该时间的驾驶员的状态。可通过GPS或DSRC(ETC)来检测预设位置。

当嗜睡度水平不高于阈值Th时，不需要发送出估计结果和捕获信息来响应来自中心30的需要。因此，即使嗜睡度水平D等于或者低于阈值Th，应当经常提取清楚指示驾驶员状态的捕获区域。

(9)在嗜睡度水平D的确定中，眨眼数是提升该水平的主要因素。这种情形下，根据嗜睡度水平D改变选择要切下的图像的条件。眨眼数(眨眼间隔)与嗜睡度水平D没有正相关性，但是该数字随着该水平增加或减少时统计学上显而易见的。因此，选择图像以提取最符合嗜睡度水平D的特征并且将其传输到中心30是有效的。

(10)参考图像压缩处理的实例描述前述实施例。类似的压缩处理对于降低用于心电波形或其他生物感测信息的数据容量是有效的。

Claims

1.一种用于管理交通工具驾驶员的驾驶员管理装置，所述装置能够与外部中心(30)交换多组数据，所述装置包括：

感测模块(11，12，25)，用于感测所述驾驶员；

感测信息存储模块(15)，用于临时存储感测信息，所述感测信息是感测模块(11，12，25)提供的驾驶员感测结果；

状态估计模块(14)，用于根据所述感测信息估计所述驾驶员的状态；

提取模块(14)，用于根据由状态估计模块(14)提供的估计结果来提取由感测信息存储模块(15)存储的感测信息的一部分，以作为捕获区域；

捕获信息存储模块(16)，用于：

从感测信息存储模块(15)提取与由所述提取模块(14)提取的所述捕获区域相关联的所述感测信息的该部分，

将与所述捕获区域相关联的所述感测信息的该提取出的部分作为捕获信息进行存储；

确定模块(14)，用于确定由所述状态估计模块(14)所提供的估计结果是否满足用于确定将向外部中心(30)告知该估计结果的报告条件；

控制模块(23，24)，用于：当所述确定模块(14)确定所述估计结果满足所述报告条件时，从所述捕获信息存储模块(16)取得与估计结果相关联的捕获信息，使所述取得的捕获信息与所述估计结果一起传输至所述外部中心(30)，

其中，与作为所述捕获信息传输的所述感测信息的该部分相关联的所述捕获区域是一个区域，在该区域中存在对作为驾驶员状态的驾驶员的嗜睡度水平估计有巨大影响的现象。

2.根据权利要求1所述的驾驶员管理装置，其中所述控制模块(23，24)使所述估计结果与所述捕获信息以及其他信息一起传输到所述外部中心(30)。

3.根据权利要求2所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取与交通工具相关的交通工具信息；

所述控制模块(23，24)使所述估计结果与所述捕获信息以及所获取的用作其他信息的交通工具信息一起传输到所述外部中心(30)。

4.根据权利要求2所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取指示驾驶员操作的操作信息；

所述控制模块(23，24)使所述估计结果与所述捕获信息以及所获取的用作其他信息的操作信息一起传输到外部中心(30)。

5.根据权利要求2所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取与交通工具的环境形势相关的交通工具环境信息；

所述控制模块(23，24)使所述估计结果与所述捕获信息以及所获取的用作其他信息的环境信息一起传输到所述外部中心(30)。

6.一种用于管理交通工具驾驶员的驾驶员管理装置，所述装置能够将与外部中心(30)交换多组数据，所述装置包括：

感测模块(11，12，25)，用于感测驾驶员；

感测信息存储模块(15)，用于临时存储感测信息，所述感测信息是所述感测模块(11，12，25)提供的驾驶员感测结果；

状态估计模块(14)，用于根据所述感测信息估计驾驶员的状态；

提取模块(14)，用于根据由所述状态估计模块(14)提供的估计结果来提取由所述感测信息存储模块(15)存储的感测信息的一部分，以作为捕获区域；

捕获信息存储模块(16)，用于：

从所述感测信息存储模块(15)提取与由所述提取模块(14)提取的所述捕获区域相关联的所述感测信息的该部分，

确定模块(14)，用于确定由所述状态估计模块(14)所提供的估计结果是否满足用于确定向所述外部中心(30)告知该估计结果的报告条件；

行驶信息存储模块(17)，能够存储与交通工具行驶相关的信息；

控制模块(23，24)，用于：当所述确定模块(14)确定所述估计结果满足所述报告条件时，从所述捕获信息存储模块(16)取得与估计结果相关联的捕获信息，使所述行驶信息存储模块(17)存储所取得的捕获信息与所述估计结果，

7.根据权利要求6所述的驾驶员管理装置，其中所述控制模块(23，24)使所述行驶信息存储模块(17)存储所述估计结果与所述捕获信息以及其他信息。

8.根据权利要求7所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取与所述交通工具相关的交通工具信息；

所述控制模块(23，24)使所述行驶信息存储模块(17)存储所述估计结果与所述捕获信息以及所获取的用作其他信息的交通工具信息。

9.根据权利要求7所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取指示驾驶员操作的操作信息；

所述控制模块(23，24)使所述行驶信息存储模块(17)存储所述估计结果与所述捕获信息以及所获取的用作其他信息的操作信息。

10.根据权利要求7所述的驾驶员管理装置，其中：

所述控制模块(23，24)能够获取与交通工具的环境相关联的交通工具环境信息；

控制模块(23，24)使所述行驶信息存储模块(17)存储所述估计结果与所述捕获信息以及所获取的用作其他信息的环境信息。

11.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述感测模块(11，12，25)获取驾驶员的生物信息并根据所获取的生物信息感测该驾驶员。

12.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述感测模块(11，12，25)获取驾驶员的面部图像并且根据获取的图像感测该驾驶员。

13.根据权利要求12所述的驾驶员管理装置，其中，所述感测模块(11，12，25)获取驾驶员的面部图像作为动态图像或一系列多个静态图像。

14.根据权利要求1-10中任一项所述的驾驶员管理装置，还包括：

数据压缩模块(16)，用于压缩包括在所述捕获信息内的数据。

15.根据权利要求14所述的驾驶员管理装置，其中，当所述捕获信息存储在所述捕获信息存储模块(16)中时，所述数据压缩模块(16)压缩包含在所述捕获信息中的数据。

16.根据权利要求14所述的驾驶员管理装置，其中：

当所述捕获信息包括图像时，所述数据压缩模块(16)区分出所述图像中除了驾驶员面部区域以外的区域；

所述数据压缩模块(16)只压缩全部或者部分区分出的区域。

17.根据权利要求14所述的驾驶员管理装置，其中：当所述捕获信息包括图像时，所述数据压缩模块(16)区分出所述图像中除了驾驶员面部区域以外的区域；

所述数据压缩模块(16)删除全部或者部分区分出的区域。

18.根据权利要求14所述的驾驶员管理装置，其中：

所述数据压缩模块(16)使全部或者部分区分出的区域单色化。

19.根据权利要求14所述的驾驶员管理装置，其中：

所述数据压缩模块(16)以不同压缩率压缩面部区域和除了面部区域以外的区域。

20.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：驾驶员是困乏的。

21.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：驾驶员粗心驾驶。

22.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：驾驶员酒后行驶。

23.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：驾驶员疲劳驾驶。

24.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：所述外部中心(30)要求向其传输估计结果和捕获信息。

25.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：驾驶员想要向所述外部中心(30)传输估计结果和捕获信息。

26.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：根据交通工具的环境形势确定优选将估计结果和捕获信息传输到所述外部中心(30)。

27.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：根据驾驶员的生物节律确定优选将估计结果和捕获信息传输到所述外部中心(30)。

28.根据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：现在的时间是需要将估计结果和捕获信息传输至外部中心(30)的预设时间。

29.据权利要求1-10中任一项所述的驾驶员管理装置，其中，所述报告条件包括：交通工具的位置对应于预设点，在该预设点，需要将估计结果和捕获信息传输到所述外部中心(30)。

30.一种用于管理交通工具行驶的行驶管理系统，所述系统包括：

中心(30)；

根据权利要求1、6中任一项所述的驾驶员管理装置(10)，其中：

所述中心(30)和所述驾驶员管理装置(10)用于相互间交换多组数据；

所述中心(30)包括用于接收由所述驾驶员管理装置(10)提供的信息的输入模块(32)；

所述中心(30)包括用于存储接收到的信息的存储模块(31)。

31.根据权利要求30所述的行驶管理系统，其中，所述中心(30)还包括报告模块(34)，该报告模块(34)用于取得存储在所述存储模块(31)中的信息并用于对其进行报告。