CN101681426B - 图像处理设备和图像处理方法 - Google Patents

Abstract

一种图像处理设备(1)构造成使得依照为各处理单独设定的优先级为每个单位周期(根据计数器CT的值)设定被执行的处理的组合，并且在由六个单位周期构成的基本周期中执行图像处理。根据从1到6变化的计数器CT的值，有选择地执行面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理。根据图像处理设备(1)，可更有效地执行包括多个处理的图像处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和一种图像处理方法。 

背景技术

日本专利申请公报No.2003-15816描述了一种面部/视线识别设备，其通过对立体摄像机所拍摄的用户的面部图像数据执行一系列处理，即面部搜索、面部追踪、眨眼检测和视线方向判定，来实时检测用户的面部和视线方向。在此面部/视线识别设备中，减少了导致浪费操作时间的误差以实现高速图像处理。 

在一些系统中，例如其中要求实时输出图像处理结果的预碰撞安全系统，必须在预定时间段内完成一系列处理。然而，即使当未出现误差时，图像处理中每个处理的处理时间也不恒定，而是根据例如转移条件和其它中断处理(尤其是多次中断)(参见图8)变化。同时，在许多情况下处理的重要性和要求精度根据处理而变化。因此，还考虑到实时处理和要求精度，难以断言可有效地无区别地执行所有处理。 

发明内容

本发明提供一种图像处理设备和一种图像处理方法，其更有效地执行包括多个处理的图像处理。 

根据本发明的第一方面的图像处理设备为通过对摄像装置所拍摄的图像数据执行多个处理而在基本周期中执行图像处理的图像处理设备，该设备包括：处理设定装置，其用于由多个单位周期构成基本周期，在所述基本周期中一系列图像处理被执行，并且处理设定装置用于依照多个处理中的每一个的优先级为构成基本周期的所述多个单位周期中 的每一个从多个处理中选择被执行的处理并设定所选处理的组合；以及处理装置，其用于依照由处理设定装置所设定的组合执行各个处理。 

根据本发明的第一方面的图像处理设备并非构造成使得全部以相同的优先级无区别地执行构成图像处理的多个处理，而是构造成使得依照为各处理单独设定的优先级为每个单位周期设定所执行的处理的组合，并且在由多个单位周期构成的每个基本周期执行图像处理。相应地，可在考虑各处理的优先级的情况下在处理周期(处理时间)的限度内实现最佳处理组合。结果，可有效地执行包括多个处理的图像处理。此图像处理设备能够有效地执行图像处理。因此，当可用资源有限时，例如当用作车载图像处理设备时，该图像处理设备尤其有用，且其可实时获得所需信息。 

“处理”的意思是为了从图像数据获得“各种信息片段”而执行的那些。“各种信息片段”包括例如与物体的检测有关的信息、与物体状态的判定有关的信息以及与使用此类信息作出的判定有关的信息。通过设定为了从图像数据获得“各种信息片段”而执行的处理的优先级，并且依照这些优先级为多个单位周期中的每一个设定被执行的处理的组合，可有效地执行图像处理。 

处理设定装置可为多个单位周期中的每一个从多个处理中选择被执行的处理并设定所选处理的组合，使得该处理的优先级越高，则该处理在基本周期中的占有率就越高。当以此方式设定在基本周期中的占有率使得该处理的优先级越高，则该处理在基本周期中的占有率就越高时，执行此类处理的次数以及此类处理所用的处理时间增加，这使得可有效地执行图像处理。 

处理设定装置可在考虑各个处理的处理时间和要求精度和/或与在基本周期内接收的所拍摄图像的次数相关的执行各处理的要求次数的情况下设定处理的组合。 

在具有此结构的情况下，可在考虑每个处理的重要性、更新处理结果的要求频率、处理负荷和要求精度——其为用于设定优先级的标准——的情况下设定各处理的组合，从而可根据各处理的优先级调节每个处理的处理负荷占整个处理负荷的比例。 

处理设定装置可设定各处理的组合使得在每个单位周期执行的处理在单个单位周期内完成。 

在此情况下，设定各处理的组合使得各处理在一个单位周期内完成，并因此可确保图像处理结果的实时输出。 

在此情况下，处理设定装置可设定各处理的组合使得在每个单位周期内执行的各处理的处理时间之和小于单个单位周期的持续时间。 

处理设定装置可改变各处理的优先级，并依照所改变的优先级为各个单位周期中从多个处理中选择被执行的处理。当优先级以此方式改变时，可关于取决于条件变化的处理响应于处理的重要性和要求精度而有效地执行图像处理。 

图像处理设备还可包括用于检测车辆行驶状态的行驶状态检测装置，摄像装置可安装在车辆内，并且处理设定装置可基于行驶状态检测装置所检测到的车辆行驶状态来设定各个处理的优先级，并依照所设定的优先级为各个单位周期从多个处理中选择被执行的处理。 

当对安装在车辆内的摄像装置所拍摄的图像数据执行图像处理时，每个处理的上述优先级和处理负荷受车辆行驶状态例如车辆运动状态和行驶环境的影响。根据依照本发明的第一方面的图像处理设备，基于车辆行驶状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据所拍摄的图像为每个处理设定适当的优先级，并因此可依照这些优先级为每个单位周期选择所执行的处理并设定各处理的组合。结果，可对安装在车辆内的摄像装置所拍摄的图像数据更有效地执行包括多个处理的图像处理。 

图像处理设备还可包括用于判定驾驶者状态的驾驶者状态判定装置，摄像装置所拍摄的图像可以是驾驶者的面部图像；并且处理设定装置可基于驾驶者状态判定装置所判定的驾驶者状态来设定每个处理的优先级，并依照所设定的优先级从多个处理中为每个单位周期选择被执行的处理。 

当基于驾驶者的面部图像数据执行图像处理时，每个处理的上述优先级和处理负荷都受驾驶者状态例如驾驶者的动作、外部特征和个人特征的影响。根据依照本发明的第一方面的图像处理设备，基于驾驶者状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据驾驶者的面部图像为每个处理设定适当的优先级，并因此可依照这些优先级为每个单位周期选择所执行的处理并 设定各处理的组合。结果，可更有效地对驾驶者的面部图像数据执行包括多个处理的图像处理。 

处理设定装置在设定每个处理的优先级的过程中还可考虑摄像装置所拍摄的驾驶者面部图像。 

当对驾驶者面部图像数据执行图像处理时，每个处理的上述优先级和处理负荷都受到例如驾驶者面部图像——即面部方向——的影响。根据依照本发明的第一方面的图像处理设备，在还考虑驾驶者面部图像数据的情况下设定各处理的优先级，并因此可根据个体面部的图像数据为每个处理设定最佳优先级。结果，可更有效地对驾驶者面部图像数据执行包括多个处理的图像处理。 

根据本发明的第一方面，图像处理设备，其通过对所接收的图像数据执行多个处理而在每个基本周期执行图像处理，其构造成使得依照多个处理中的每一个的优先级为构成基本周期的多个单位周期中的每一个从多个处理中选择被执行的处理并设定此类处理的组合。因此，可更有效地执行包括多个处理的图像处理。 

在根据本发明的第二方面的图像处理方法中，在基本周期中执行图像处理，其中对摄像装置所拍摄的图像数据执行多个处理。该图像处理方法包括：依照多个处理中的每一个的优先级，为构成基本周期的多个单位周期的每一个从多个处理中选择被执行的处理并设定所选处理的组合；以及依照所设定的处理的组合执行各个处理。 

根据本发明的第二方面，图像处理设备，其通过对所接收的图像数据执行多个处理而在每个基本周期执行图像处理，其依照各处理的优先级为构成基本周期的各个单位周期从多个处理中选择被执行的处理并设定此类处理的组合。因此，可更有效地执行包括多个处理的图像处理。 

附图说明

从以下参照附图对示例实施方式的描述，本发明的前述及另外的特征和优点将变得显而易见，在附图中用相同的标号代表相同的元件，并且其中： 

图1是示出根据第一实施方式的图像处理设备的结构的框图； 

图2A和图2B是示出根据第一实施方式的图像处理设备所执行的图像处理(第一图像处理)的处理步骤的流程图； 

图3是示出第一图像处理的每个处理的处理正时和处理时间的图； 

图4是示出根据第二实施方式的图像处理设备的结构的框图； 

图5是示出根据第二实施方式的图像处理设备所执行的图像处理(第二图像处理)的处理步骤的流程图； 

图6A至图6D是示出车辆运动状态、行驶环境、驾驶者状态和各处理的优先级的示例的图； 

图7是示出第二图像处理的每个处理的处理正时和处理时间的图；以及 

图8是示出常规图像处理的每个处理的处理正时和处理时间的图。 

具体实施方式

以下将参照附图描述本发明的示例实施方式。在附图中，相同或对应的元件由相同的参考标号标出。例如，将按照根据本发明的实施方式的设备被安装在车辆内并且基于所拍摄的驾驶者面部图像判断驾驶者的睡意的情况进行描述。 

首先，将参照图1，描述根据第一实施方式的图像处理设备1的结构。图1是示出图像处理设备1的结构的框图。 

图像处理设备1安装在车辆内。图像处理设备1通过对所拍摄的驾驶者面部图像执行图像数据的处理来检测驾驶者面部方向、驾驶者视线方向和驾驶者的眨眼，并基于检测结果判断驾驶者是否打瞌睡以及驾驶者意识下降的级别。为此，图像处理设备1包括用于拍摄驾驶者面部图像的摄像机10，以及图像处理ECU(电子控制单元)40。 

摄像机10用来获得包括驾驶者面部的区域的图像。摄像机10安装在仪表板或转向杆中，定向成朝向驾驶者面部。摄像机10每隔预定的 时间段(例如1/30秒)拍摄图像，并且将每帧图像数据作为视频信号发送到图像处理ECU40。为了获得清晰的图像，设备可包括LED灯。 

图像处理ECU40包括：执行计算的微处理器；储存用于引起微处理器执行各种处理的程序的ROM；储存各种数据如计算结果的RAM；以及通过电池等保持其记忆内容的备份RAM。 

图像处理ECU40读取由摄像机10拍摄的驾驶者面部图像数据，并通过在基本周期(例如600ms)内对所读取的数据反复执行图像处理(初始化处理和图像接收处理、过滤处理和特征点检测处理、面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理、意识下降级别判定处理以及输出处理和诊断处理)来执行驾驶者打瞌睡判定和/或驾驶者意识下降级别判定。应当注意的是，在该基本周期内可多次执行一个处理。 

当由图像处理所包括的多个处理(面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理)执行上述处理时，图像处理ECU40依照各处理的优先级为构成基本周期的六个单位周期中的每一个(例如100ms)选择要执行的处理并设定各处理的组合，并根据该组合执行各个处理。图像处理ECU40设定处理的组合使得在每个单位周期内执行的处理在单个单位周期内完成。具体而言，设定各处理的组合使得在每个单位周期内所执行的各处理的处理时间之和小于单个单位周期的持续时间。因此，图像处理ECU40可视为本发明的处理设定装置和处理装置。在每个单位周期执行初始化处理和图像接收处理、过滤处理和特征点检测处理，以及输出处理和诊断处理。 

接下来，将参照图2A、图2B和图3描述图像处理设备1的操作。图2A、图2B是示出由图像处理设备1所执行的图像处理(下文称为“第一图像处理”)的处理步骤的流程图。由图像处理ECU40执行的该处理从当图像处理ECU40ECU40开启时到当图像处理ECU40关闭时在预定周期(例如100ms)中被反复执行。图3是示出第一图像处理的每个处理的处理正时和处理时间的图。 

在步骤S100中，读取摄像机10所拍摄的驾驶者面部图像数据。随后，在步骤S102中，所读取的面部图像数据经过过滤处理。 

随后，在步骤S104中，基于所获得的面部图像数据判定驾驶者的面部位置。通过结合执行边缘检测和图案识别来判定面部位置。 

接下来，在步骤S106中，检测在步骤S104中判定其位置的面部中的特征点。面部的特征点是例如定位在皮肤与外眼角中的每一个、内眼角中的每一个、左、右鼻孔中的每一个以及左、右嘴角中的每一个之间的边界上的点，并因而是在图像数据中存在明显差异的点，如亮度和颜色。 

随后，在步骤S108中，计数器CT的值以一递增，其值从1到6变化并且被用来执行为每个单位周期所设定的处理。因此，每次执行处理时计数器CT的值以一递增，并且当计数达到6时，将计数器CT的值重设为零(稍后描述的步骤S132)。 

在随后的步骤S110中，判定计数器CT的值是否为“1”。当计数器CT的值为“1”时，执行面部方向判定(步骤S122)和视线方向判定(步骤S124)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝1”的情况)。在面部方向判定(步骤S122)中，通过结合使用所建立的方法如边缘检测，来从所获得的图像数据检测面部中心(穿过鼻尖的线)的位置和面部两侧的位置，并且基于面部中心和两侧的位置计算出面部方向。在视线方向判定(步骤S124)中，基于在步骤S106中获得的特征点检测驾驶者的视线。更具体而言，利用眼睛虹膜的中心与位于眼角的特征点之间的相对位置的变化来判定视线。应当注意的是，限定面部方向和视线方向使得与宿主车辆的前进方向一致的方向具有零角、在前进方向右侧的方向具有正角，并且在前进方向左侧的方向具有负角。另一方面，当计数器CT的值不是“1”时，处理进行到步骤S112。 

在步骤S112中，判定计数器CT的值是否为“2”。当计数器CT的值为“2”时，执行视线判定(步骤S124)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝2”的情况)。视线方向判定如上所述，并因此将省略其描述。在眨眼检测(步骤S126)中，检测在步骤S106中检测到的特征点的变化，这些特征点与眼睛相关，而眼睛由于睡意而发生变化，即眨眼。当计数器CT的值不是“2”时，处理进行到步骤S114。 

在步骤S114中，判定计数器CT的值是否为“3”。当计数器CT的 值为“3”时，执行面部方向判定(S122)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝3”的情况)。面部方向判定和眨眼检测如上所述，并因此将省略其描述。当计数器CT的值不是“3”时，处理进行到步骤S116。 

在步骤S116中，判定计数器CT的值是否为“4”。当计数器CT的值为“4”时，执行视线方向判定(步骤S124)、打瞌睡判定(步骤S128)和意识下降级别判定(步骤S130)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝4”的情况)。视线方向判定如上所述，并因此将省略其描述。在打瞌睡判定(步骤S128)中，基于在步骤S124中判定的视线方向和在步骤S126中检测到的眨眼，当例如判定驾驶者的眼睛已闭上超过预定时间段时，判定驾驶者在打瞌睡。在意识下降级别判定(步骤S130)中，基于在步骤S126中检测到的眨眼，判断驾驶者的意识是否下降。更具体而言，将重点放在眨眼上(尤其是连续眨眼：在比正常的眨眼间隔更短的间隔执行的多次眨眼)，并且当检测到连续眨眼时，判定驾驶者的意识下降。当计数器CT的值不是“4”时，处理进行到步骤S118。 

在步骤S118中，判断计数器CT的值是否为“5”。当计数器CT的值为“5”时，执行面部方向判定(步骤S122)、视线方向判定(步骤S124)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝5”的情况)。面部方向判定、视线方向判定和眨眼检测如上所述，并因此将省略其描述。当计数器CT的值不是“5”时，处理进行到步骤S120。 

在步骤S120中，判定计数器CT的值是否为“6”。当计数器CT的值为“6”时，执行眨眼检测(步骤S126)、打瞌睡判定(步骤S128)和意识下降级别判定(步骤S130)，并且然后将计数器CT的值重设为零(参见图3中“计数器CT＝6”的情况)。此后，处理进行到步骤S134。眨眼检测、打瞌睡判定和意识下降级别判定如上所述，并因此将省略其描述。当计数器CT的值不是“6”时，处理进行到步骤S134。 

在步骤S134中，执行上述几组处理之一后，输出其结果。然后，在预定单位周期中反复执行处理。 

根据此实施方式，如上所述执行每个步骤，使得：在“计数器CT＝1” 的情况下执行面部方向判定和视线方向判定；在“计数器CT＝2”的情况下执行视线方向判定和眨眼检测；以及在“计数器CT＝3”的情况下执行面部方向判定和眨眼检测，如图3所示。在“计数器CT＝4”的情况下执行视线方向判定、打瞌睡判定和意识下降级别判定，在“计数器CT＝5”的情况下执行面部方向判定、视线方向判定和眨眼检测，并且在“计数器CT＝6”的情况下执行眨眼检测、打瞌睡判定和意识下降级别判定。 

因此，此实施方式并非构造成全部无区别地以相同的优先级执行构成图像处理的多个处理(此实施方式中为五个)，而是构造成依照为各处理单独设定的优先级为每个单位周期(根据计数器CT的值)设定所执行的处理的组合，并且在由六个单位周期构成的每个基本周期执行图像处理。相应地，可在考虑各处理的优先级的情况下在处理周期(处理时间)的限度内获得最佳处理组合。结果，可有效地执行包括多个处理的图像处理。 

根据此实施方式，可考虑每个处理的重要性、更新处理结果的要求频率、处理负荷和要求精度——其为用于设定优先级的标准——预先设定各处理的组合，使得可根据各处理的优先级调节每个处理的处理负荷占整个处理负荷的比例。 

另外，根据此实施方式，设定各处理的组合使得在每个单位周期中执行的处理在单个单位周期内完成，并因此可确保图像处理结果的实时输出。 

虽然在上述第一实施方式中，每个处理的优先级和处理的组合是预定的，但也可采取其中每个处理的优先级和处理的组合依赖于车辆的行驶状态和驾驶者状态而变化的结构。 

接下来，将参照图4描述根据第二实施方式的图像处理设备2的结构。图4是示出图像处理设备2的结构的框图。在图4中，与第一实施方式相同或类似的构件将由相同的参考标号标出。 

图像处理设备2与上述图像处理设备1的不同之处在于，图像处理设备2还包括检测车辆行驶状态的行驶状态检测装置20和感知车辆行驶于其上的道路的环境的行驶环境感知装置30。 

另外，第二实施方式与上述第一实施方式的不同之处在于作为图像处理设备2的构件的图像处理ECU41，，其基于行驶状态检测装置20和/或行驶环境感知装置30检测到的车辆行驶状态而为每个处理设定优先级，以及在于图像处理ECU41依照所设定的优先级为每个单位周期从上述多个处理中选择要执行的处理。其他构件与上述第一实施方式的相应构件相同或类似，并因此将省略其描述。 

行驶状态检测装置20包括例如转向角传感器21、加速器踏板操作量传感器22、车速传感器23、横向加速度传感器24和纵向加速度传感器25。转向角传感器21为检测转向轮的转向角并将检测到的值输出到图像处理ECU41的传感器。加速器踏板操作量传感器22为检测加速器踏板的操作量并将检测到的值输出到图像处理ECU41的传感器。车速传感器23为检测车速并将检测到的值输出到图像处理ECU41的传感器。横向加速度传感器24为检测车辆的横向加速度并将检测到的值输出到图像处理ECU41的传感器。 

行驶环境感知装置30包括前方车辆速度/距离传感器31和汽车导航系统32。前方车辆速度/距离传感器31基于雷达提供的关于宿主车辆前方区域的雷达数据来感知是否存在前方车辆，并且当存在前方车辆时，前方车辆速度/距离传感器31感知前方车辆的速度和与前方车辆之间的距离并将感知结果信息输出到图像处理ECU41。例如，汽车导航系统32为检测车辆的当前位置和行驶方向并提供到达目的地的路线的引导并将此类数据输出到图像处理ECU41的系统。另外，汽车导航系统32输出关于当前位置周围的道路的信息到图像处理ECU41。道路信息包括例如交通拥堵信息、交通信号信息、十字路口形状和车道数目。如从本说明书可看出，行驶状态检测装置20和行驶环境感知装置30可视为本发明的行驶状态检测装置。 

接下来，将参照图5和图6A至图6D描述图像处理设备2的操作。图5是示出图像处理设备2所执行的图像处理(下文称为“第二图像处理”)的处理步骤的流程图。由图像处理ECU41执行的该处理从当图像处理ECU41开启时到当图像处理ECU41关闭时在预定周期(例如100ms)中反复执行。图6A至图6D是示出第二图像处理中每个处理的处理正时和处理时间的图。 

由于步骤S200到S206与上述步骤S100到S106相同，所以将省略 其描述。 

随后，在步骤S208中，读取行驶状态检测装置20和行驶环境感知装置30所获得的显示车辆行驶状态的检测结果。另外，读取驾驶者状态。基于所拍摄的驾驶者图像来判定驾驶者状态。在此情况下，摄像机10和图像处理ECU41可视为本发明的驾驶者状态判定装置。 

在随后的步骤S210中，基于在步骤S208中读取的各种数据来判定和分类车辆的运动状态、行驶环境和驾驶者状态。分类的示例在图6A至图6D中示出。如图6A至图6D所示，类别包括“车辆的运动状态”、“行驶环境1”、“行驶环境2”和“驾驶者状态”。在类别“车辆的运动状态”下面有诸如“高速行驶”、“低速行驶”、“横向加速度高”和“纵向加速度高”之类的项目。在类别“行驶环境1”下面有诸如“拥堵道路(无交通信号)”、“拥堵道路(有交通信号)”、“山路”、“直路”“窄路/居住区街道”、“多车道道路”、“在高速公路上行驶”、“在东京首都高速公路上行驶”和“收费道路/机动车道路”之类的项目。在类别“行驶环境2”下面有诸如“日光直射”、“夜间行驶”、“通勤时间”、“宿主车辆周围的车辆”和“步行者”之类的项目。在类别“驾驶者状态”下面有诸如“戴眼镜”、“戴太阳镜”、“眼睛被头发覆盖”、“戴帽”、“习惯行驶的道路”和“初次行驶的道路”之类的项目。 

基于车速传感器23的检测结果作出与项目“高速行驶”和“低速行驶”有关的判定，利用横向加速度传感器24作出与项目“横向加速度高”有关的判定，并且基于纵向加速度传感器25和加速器踏板操作量传感器22的检测结果作出与项目“纵向加速度高”有关的判定。基于汽车导航系统32提供的VICS(车辆信息和通讯系统)信息和地图数据作出与项目“拥堵道路(无交通信号)”和“拥堵道路(有交通信号)”有关的判定。基于汽车导航系统32提供的地图数据作出与项目“山路”、“直路”“窄路/居住区街道”、“多车道道路”、“在高速公路上行驶”、“在东京首都高速公路上行驶”和“收费道路/机动车道路”有关的判定。基于面部图像数据的亮度作出与项目“日光直射”有关的判定，基于汽车导航系统32提供的时间数据作出与项目“夜间行驶”和“通勤时间”有关的判定，并且基于前方车辆速度/距离传感器31的检测结果作出与项目“宿主车辆周围的车辆”和“步行者”有关的判定。基于面部图像数据作出与项目“戴眼镜”、“戴太阳镜”、“眼睛被头发覆盖”和“戴帽” 有关的判定，并且基于汽车导航系统32提供的车辆路线历史数据作出与项目“习惯行驶的道路”和“初次行驶的道路”有关的判定。 

随后，在步骤S212中，执行在每个单位周期内执行的处理的安排。更具体而言，基于例如在步骤S210中判定和分类的车辆运动状态、行驶环境和驾驶者状态来设定每个处理的优先级，并且依照所设定的优先级选择在每个单位周期内执行的处理并设定组合。上述项目与各处理(面部方向判定、视线方向判定、眨眼检测、打瞌睡判定和意识下降级别判定)的优先级之间的关系的示例在图6A至图6D中示出。例如，当判定车辆处于“高速行驶”状态时，面部方向判定、视线方向判定、眨眼检测、打瞌睡判定和意识下降级别判定这些处理的优先级分别为“A”、“B”、“A”、“A”和“B”。在图6A至图6D中，各处理的优先级满足“A”＞“B”＞“C”。 

将针对以下情况描述安排各处理的方法，例如，该情况下判定关于车辆运动状态满足“高速行驶”和“横向加速度高”的条件、关于行驶环境1满足“东京首都高速公路”的条件、关于行驶环境2满足“夜间行驶”和“宿主车辆周围的车辆”的条件，以及关于驾驶者状态满足“戴眼镜”的条件。 

如上所述，当判定车辆处于“高速行驶”状态时，面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理的优先级分别为“A”、“B”、“A”、“A”和“B”。同样，当判定车辆处于“横向加速度高”状态时，面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理的优先级分别为“B”、“B”、“B”、“C”和“C”。同样，为项目“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”中的每一个读取各处理的优先级。 

接下来，判定在满足项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的条件的情况下，各处理的优先级。更具体而言，由于对于例如“面部方向判定”，项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的优先级分别为“A”、“B”、“A”、“A”、“A”和“A”，其中假设A、B和C的点数分别为4、2和1，所以平均值的计算结果为 (4+2+4+4+4+4)/6＝3.7。当假设平均值等于或大于3的处理的优先级为“A”、平均值等于或大于2且小于3的处理的优先级为“B”并且平均值小于2的处理的优先级为“C”时，判定“面部方向判定”处理的优先级为“A”。 

同样，对于例如“视线方向判定”，项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的优先级分别为“B”、“B”、“A”、“B”、“A”和“B”。因此，平均值为(2+2+4+2+4+2)/6＝2.7。因此，判定“视线方向判定”处理的优先级为“B”。当同样判定各处理的优先级时，“眨眼检测”处理、“打瞌睡判定”处理和“意识下降级别判定”处理的优先级分别为“A”、“B”和“C”。 

基于计算出的各处理的优先级执行各处理的安排。将描述安排方法的示例。将上述第一实施方式中采取的各处理的组合(安排)设定为默认值。此外，将根据处理优先级(A、B和C)的分配规则限定如下：当优先级为“A”时在每个基本周期(六个单位周期)中的占有率等于或大于66％，当优先级为“B”时约为50％，并且当优先级为“C”时等于或小于30％。各处理被分配到六个单位周期中的每一个使得具有优先级“A”的处理被执行四次或更多，具有优先级“B”的处理被执行三次，并且具有优先级“C”的处理被执行两次(使得处理的优先级越高，则该处理的占有率就越高)。 

在此实施方式中，处理器的计算能力的上限值对于具有优先级“A”的处理为3，而对于具有优先级“B”的处理为2。在此情况下，由于计算结果为3*66(％)+2*50(％)＝3*(4/6)+2*(3/6)＝3，所以各具有优先级“A”、“B”和“C”之一的处理被分配以使得不会超过该值。在此实施方式的情况下，“面部方向判定”处理、“视线方向判定”处理、“眨眼检测”处理、“打瞌睡判定”处理和“意识下降级别判定”处理的优先级分别为“A”、“B”、“A”、“B”和“C”，并且平均值因此计算如下：2*(4/6)+2*(3/6)+1*(2/6)＝2.7。因此，由于该值未超过计算能力的上限值，所以判定计算周期和安排不存在问题。 

随后，在步骤S214中，根据在步骤S212中所设定的每个单位周期的处理安排来执行处理。以与第一实施方式的处理(步骤S108至S132)类似的方式执行每个单位周期的每个处理。该方法如上所述，并因此将 省略其详细描述。 

接下来，在步骤S216中输出处理结果，并且处理暂时退出。然后，在预定的基本周期中反复执行处理。 

根据此实施方式，基于车辆运动状态、行驶环境和驾驶者状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理，并且然后执行安排。依照处理安排来执行各处理，并且，结果，如图7所示，在“计数器CT＝1”的情况下执行面部方向判定、打瞌睡判定和意识下降级别判定；在“计数器CT＝2”的情况下执行面部方向判定、视线方向判定和眨眼检测；并且在“计数器CT＝3”的情况下执行眨眼检测和打瞌睡判定。在“计数器CT＝4”的情况下执行面部方向判定、视线方向判定和意识下降级别判定，在“计数器CT＝5”的情况下执行面部方向判定和视线方向判定，并且在“计数器CT＝6”的情况下执行面部方向判定、打瞌睡判定和意识下降级别判定。 

根据此实施方式，基于车辆运动状态、行驶环境和驾驶者状态设定各处理的优先级，并依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据所拍摄的图像为每个处理设定适当的优先级，并因此可依照优先级为每个单位周期选择所执行的处理以完成安排。结果，可对安装在车辆内的摄像机10所拍摄的驾驶者面部图像数据更有效地执行包括多个处理的图像处理。 

另外，在上述第二实施方式中，可采取这样一种结构，其中通过基于左、右眼之间的眨眼检测的可靠性的差异设定所采用的检测结果的优先级、基于驾驶者面部方向与应对左、右眼进行眨眼检测有关的优先级、以及因此对于上述可靠性低的眼睛或者对于上述优先级低的眼睛跳过下次计算来减小计算负荷。 

当在驾驶者面向前方时检测到左、右眼睑的位置时，取决于光线条件，可能出现其中对一个眼睑的检测精度不如对另一个眼睑的检测精度的情况。可采取这样一种构造，其中在此类情况下仅使用有关可靠性较高的眼睑眨眼的数据，并且假设另一个眼睑的眨眼与前一眼睑的相同以跳过计算。 

可采取这样一种构造，其中通过当驾驶者面向右方时仅对左眼执行检测、当驾驶者面向左方时仅对右眼进行检测、以及当眼睛闭上时跳过 视线方向判定处理并因此不检测眨眼来减小计算负荷。 

这样，在同样考虑驾驶者面部图像数据的情况下设定各处理的优先级，并因此可根据个体面部的图像数据为每个处理设定最佳优先级。结果，使得可有效地对驾驶者面部图像数据执行包括多个处理的图像处理。 

虽然已描述本发明的各实施方式，但本发明不局限于上述实施方式，并且可作出各种改型。在上述实施方式的描述中，举例描述了其中图像处理设备安装在车辆内并且基于所拍摄的驾驶者面部图像数据判定驾驶者的睡意的情况。然而，毋容置疑，根据本发明的图像处理设备的应用范围不局限于这些实施方式。 

构成其中执行图像处理的基本周期的单位周期的数目不局限于六个。此外，各处理的内容和多个处理的分工不局限于上述实施方式中的那些。 

作为行驶状态检测装置20和行驶环境感知装置30的构件的各种传感器不局限于上述实施方式中的那些。作为上述传感器的替代或补充，可使用一个或更多不同的传感器。 

在上述实施方式中，依照各处理的优先级，该处理的优先级越高，则在每个单位周期中执行该处理的次数(处理时间)就越多。然而，可采取这样一种构造，其中具有较高优先级的处理采用高精度算法执行，而具有较低优先级的处理则采用具有较低精度的算法执行或者跳过。 

通过为每个处理准备具有不同处理精度(操作密度)的多个算法，并依照优先级分配处理资源(处理能力)，可依照优先级控制处理负荷。另外，采用精度低的算法意味着采用低负荷算法。 

一些算法显示出高精度但完成处理所花费的时间长；同时，其他算法显示出较低精度但完成处理所花费的时间较少。通过基于车辆行驶状态和驾驶者状态设定优先级并依照优先级选择算法，可有效地执行图像处理。 

Claims (12)

1.一种图像处理设备，其通过对摄像装置所拍摄的图像的数据执行多个处理而在每个基本周期执行图像处理，所述设备的特征在于包括：

处理设定装置，其用于由多个单位周期构成所述基本周期，在所述基本周期中一系列图像处理被执行，并且所述处理设定装置用于依照所述多个处理中的每一个的优先级为构成所述基本周期的所述多个单位周期中的每一个从所述多个处理中选择被执行的处理并设定所选处理的组合；以及

处理装置，其用于依照由所述处理设定装置设定的所述组合来执行每个所述处理，其中：

为所述多个单位周期中的每一个设定表示所选处理的所述组合和顺序的计数器值；并且

所述处理装置依照所述优先级和所设定的计数器值顺次为所述多个单位周期中的每一个执行所选处理的所述组合。

2.如权利要求1所述的图像处理设备，其中，所述处理设定装置为所述多个单位周期中的每一个从所述多个处理中选择所述被执行的处理并设定所选处理的所述组合，使得所述处理的优先级越高，则所述处理在所述基本周期中的占有率就越高。

3.如权利要求1或2所述的图像处理设备，其中，所述处理设定装置在考虑如下情况下设定所述处理的所述组合：每个所述处理的处理时间和要求精度，和/或相对于在所述基本周期内接收所拍摄的图像的次数而要求执行所述处理的次数。

4.如权利要求1或2所述的图像处理设备，其中，所述处理设定装置设定所述处理的所述组合使得在每个单位周期被执行的处理在所述单位周期内完成。

5.如权利要求4所述的图像处理设备，其中，所述处理设定装置设定所述处理的所述组合使得在每个单位周期被执行的处理的处理时间之和小于所述单位周期的持续时间。

6.如权利要求1或2所述的图像处理设备，其中，所述处理设定装置改变所述处理的优先级，并且依照所改变的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。

7.如权利要求1或2所述的图像处理设备，进一步包括用于检测车辆行驶状态的行驶状态检测装置，其中：

所述摄像装置安装在所述车辆内；并且

所述处理设定装置基于由所述行驶状态检测装置检测到的所述车辆的行驶状态来设定每个所述处理的优先级，并且依照所设定的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。

8.如权利要求1或2所述的图像处理设备，进一步包括用于判定驾驶者的状态的驾驶者状态判定装置，其中：

所述摄像装置所拍摄的所述图像为所述驾驶者的面部图像；并且

所述处理设定装置基于由所述驾驶者状态判定装置判定出的所述驾驶者的状态来设定每个所述处理的优先级，并且依照所设定的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。

9.如权利要求8所述的图像处理设备，其中，所述处理设定装置在设定每个所述处理的优先级的过程中还考虑由所述摄像装置拍摄的所述驾驶者的面部图像。

10.如权利要求1或2所述的图像处理设备，其中，所述处理设定装置选择要用来执行每个所述处理的算法，使得所述处理的优先级越高，则要用来执行所述处理的算法的精度就越高，而所述处理的优先级越低，则要用来执行所述处理的算法的精度就越低。

11.如权利要求1或2所述的图像处理设备，其中，所述多个处理包括面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理中的至少两者。

12.一种图像处理方法，其用于通过对摄像装置所拍摄的图像的数据执行多个处理而在每个基本周期执行图像处理，所述方法的特征在于包括：

由多个单位周期构成所述基本周期，在所述基本周期中一系列图像处理被执行；

依照所述多个处理中的每一个的优先级，为构成所述基本周期的所述多个单位周期中的每一个从所述多个处理中选择被执行的处理并设定所选处理的组合；

为所述多个单位周期中的每一个设定表示所选处理的所述组合和顺序的计数器值；以及

依照所述优先级和所设定的计数器值顺次为所述多个单位周期中的每一个执行所选处理的所述组合。

Images