CN110942668A - 图像处理系统、图像处理方法和图像处理设备 - Google Patents

Abstract

一种图像处理系统、图像处理方法和图像处理设备。图像处理系统包括：取得通过对车辆外部进行成像而获取的拍摄图像的图像取得单元，存储在指定拍摄图像中包含的对象时要参照的词典数据的词典存储单元，基于词典数据指定对象的指定单元，取得指示车辆的行为状态的行为信息的行为信息取得单元，以及基于车辆对于不可指定对象的行为信息对车辆是否需要避开不可指定对象进行分类的分类单元，不可指定对象作为指定单元未指定的对象。不可指定对象的图像数据与分类单元的分类结果一起用于创建所述词典数据。

Description

图像处理系统、图像处理方法和图像处理设备

技术领域

本发明涉及一种图像处理系统、图像处理方法和用于指定车辆外部的拍摄图像中包含的对象的图像处理设备。

背景技术

日本未审查专利申请公开第2005-346381号(JP2005-346381A)公开了一种立体对象识别装置，其包括对车辆外部成像的立体相机、将拍摄图像转换为指示与待成像的对象的距离的距离图像的距离图像创建单元、将距离图像转换为平面图像的视点转换单元、对平面图像中没有数据的部分进行标记的标记单元、将标记组的特征与模板数据进行对照以执行匹配的聚类单元、以及基于匹配结果指定立体对象的图像判定单元。

发明内容

在JP 2005-346381 A中公开的技术中，通过与模板数据匹配来指定拍摄的立体对象；然而，所有待成像的立体对象几乎不能预先存储为模板数据，并且在立体对象具有不确定形状的情况下，可以不利用模板数据指定立体对象。期望通过重新成像来指定未指定类型的立体对象。

本发明提供了一种用于在将来能够指定在拍摄图像中包含的不可指定对象的技术。

本发明的第一方案涉及一种图像处理系统。所述图像处理系统包括图像取得单元、词典存储单元、指定单元、行为信息取得单元和分类单元。图像取得单元被配置为取得通过对车辆外部进行成像而获取的拍摄图像。词典存储单元被配置为存储在指定拍摄图像中包含的对象时要参照的词典数据。指定单元被配置为基于词典数据指定对象。行为信息取得单元被配置为取得指示车辆的行为状态的行为信息。分类单元被配置为基于对于不可指定对象的车辆的行为信息，对车辆是否需要避开所述不可指定对象进行分类，所述不可指定对象作为指定单元未指定的对象。不可指定对象的图像数据与分类单元的分类结果一起用于创建所述词典数据。

在根据本发明第一方案的图像处理系统中，分类单元可以被配置为将不可指定对象的图像数据分类为第一图像组和第二图像组，其中所述第一图像组作为包括车辆需要避开的对象的图像数据组，所述第二图像组作为包括车辆不需要避开的对象的图像数据组。

在根据本发明的第一方案的图像处理系统中，分类单元可以被配置为将分类为第一图像组的图像数据中包含的对象的图像分类为彼此类似的多个第一类似图像组，并且将分类为第二图像组的图像数据中包含的对象的图像分类为彼此类似的多个第二类似图像组。在词典数据中，可以添加用于指定为第一类似图像组和第二类似图像组中的每一个生成的新对象的数据。

在根据本发明的第一方案的图像处理系统中，分类单元可以被配置为基于车辆对于不可指定对象的避开操作的有无，对车辆是否需要避开不可指定对象进行分类。

在根据本发明的第一方案的图像处理系统中，图像取得单元可以被配置为从多个车辆取得拍摄图像。行为信息取得单元可以被配置为从车辆取得行为信息。分类单元可以被配置为：根据基于车辆对于不可指定对象的行为信息得出的车辆的避开比例，对车辆是否需要避开所述不可指定对象进行分类。

根据本发明的第一方案的图像处理系统还可以包括学习单元，学习单元被配置为基于分类单元的分类结果来创建新的词典数据。

本发明的第二方案涉及一种图像处理方法。所述图像处理方法包括：取得车辆外部的拍摄图像；存储在指定所述拍摄图像中包含的对象时要参照的词典数据；基于所述词典数据指定所述对象；取得指示车辆的行为状态的行为信息；基于所述车辆对于作为未指定的所述对象的不可指定对象的所述行为信息，对所述车辆是否需要避开所述不可指定对象进行分类；以及基于所述不可指定对象的图像数据和分类结果创建词典数据。

本发明的第三方案涉及一种图像处理设备。所述图像处理设备包括图像获取单元、词典存储单元和信息处理设备。图像获取单元被配置为取得通过对车辆外部进行成像而获取的拍摄图像。词典存储单元被配置为存储在指定拍摄图像中包含的对象时要参照的词典数据。信息处理设备被配置为：取得指示车辆的行为状态的行为信息，基于拍摄图像和词典数据指定对象，对车辆是否需要避开未指定的不可指定对象进行分类，以及基于分类结果创建新的词典数据。

根据本发明的各方案，可以提供一种能够在将来指定在拍摄图像中包含的不可指定对象的技术。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的附图标记表示相同的元件，并且其中：

图1是示出图像处理系统的概要的图，并且是示出附有第一框和第二框的拍摄图像的图；

图2是示出图像处理系统的功能配置的图；

图3A是示出车辆的避开操作的图；

图3B是示出车辆的避开操作的图；

图3C是示出车辆的避开操作的图；

图4A是示出在通过对象时车辆的摇晃程度的图；

图4B是示出在通过对象时车辆的摇晃程度的图；

图5是示出分类单元中的不可指定对象的分类结果的图；以及

图6是示出用于对不可指定对象的图像数据进行分类的处理的流程图。

具体实施方式

图1是示出图像处理系统1的概要的图，并且示出了附有第一框46和第二框48的拍摄图像40。拍摄图像40是通过对车辆前方的车辆外部进行成像所取得的。在拍摄图像40中，包含作为车辆的第一对象42和作为水洼的第二对象44。提取对象作为框中一定范围内的图像数据。对象包括形成在道路上的对象，例如凹陷的洞或沟。

在图像处理系统1指定存在于车辆的行驶方向上的第二对象44成为行驶障碍的情况下，车载终端警告驾驶员以避开第二对象44，或执行控制使得车辆不与第二对象44接触。

图像处理系统1通过用于识别第一对象42和第一对象44的图像处理，参照预先存储的词典数据，来判定第一对象42和第二对象44中的每一个是否对应于词典数据中包含的任何对象。这里，图像处理系统1可以提取第一对象42和第二对象44作为待指定的对象，并且可以将第一对象42指定为车辆，但是可以不指定第二对象44。这是因为，在可能存在于道路上的水洼等是不确定的并且具有与存储在词典数据中的水洼的特征明显不同的特征的情况下，图像处理系统1无法指定水洼。未预先在词典数据中登记的对象也无法由图像处理系统1指定。

因此，在存在不可指定的第二对象44的情况下，图像处理系统1监视车辆的行为，关于车辆是表现出用于避开第二对象44的行为还是车辆表现出在不避开第二对象44的情况下通过第二对象44的行为，基于行为的检测结果对车辆是否需要避开第二对象44进行分类，并使用第二对象44的图像数据来创建词典数据。由此，在随后存在类似于第二对象44的水洼的情况下，可以增加图像处理系统1能够指定水洼的可能性。

图2是示出图像处理系统1的功能配置的图。如图2所示，被描述为执行各种处理的功能块的元件在硬件方面可以由电路块、存储器和其他大规模集成电路(LSI)构成，并且由在存储器等中加载的程序实现。因此，本领域技术人员应当理解，功能块可以单独通过硬件、单独通过软件、或者通过硬件和软件的组合以各种形式来实现，并且不限于这些形式之一。

图像处理设备10包括通信单元20、图像取得单元21、指定单元22、车辆信息分析单元24、分类单元26、学习单元28和词典存储单元30。车载终端12包括成像单元32、位置信息取得单元34和行为信息检测单元36。

车载终端12的成像单元32对车辆外部进行成像以生成拍摄图像，并将拍摄图像发送到图像处理设备10的通信单元20。成像单元32不限于对车辆前方的车辆外部进行成像，并且可以对车辆后方或车辆周围的车辆外部进行成像。

位置信息取得单元34使用全球定位系统(GPS)取得车辆的位置信息和时间。位置信息取得单元34例如从导航装置取得车辆的位置信息和时间。

行为信息检测单元36检测指示车辆的行为状态的行为信息，并将行为信息发送到通信单元20。车辆的行为信息是用于指示车辆的避开操作的信息，并且例如包括：转向角、车速和时间。此外，车辆的行为信息是指示车辆通过对象时的摇晃程度的信息，并且包括垂直方向上的加速度和时间。在指示车辆行为的信息中，可以包括拍摄图像或者可以包括用于车辆的其他传感器的信息。

图像处理设备10的通信单元20通过网络向车载终端12发送信息和从车载终端12接收信息。通信单元20从车载终端12接收拍摄图像、位置信息和行为信息，并将通过图像处理指定的对象的信息发送到车载终端12。在图2中，尽管仅示出了一个车载终端12，但实际上存在多个车载终端12，并且图像处理设备10从车载终端12收集信息。

图像取得单元21取得由成像单元32成像的车辆外部的拍摄图像。词典存储单元30存储在指定在拍摄图像中包含的对象时要参照的词典数据。词典数据是用于指定诸如汽车、摩托车、人、垃圾袋或水洼之类的对象的信息，并且由从对象的图像数据提取的对象的模板构成。词典存储单元30在将指示对象是否是车辆需要避开的对象的属性信息附加到对象的模板的同时，将对象的模板存储为词典数据。例如，汽车、摩托车、人等被分类为车辆需要避开的对象，并且水洼、雨伞等被分类为车辆不需要避开的对象。即使相同类型的对象也可以根据尺寸进行是否需要避开对象的分类。

指定单元22基于词典数据指定拍摄图像中包含的对象。具体地，指定单元22提取在拍摄图像中包含的对象，并参照词典数据指定该对象。在图像数据中包含的对象与词典数据中包含的任何模板之间的一致度等于或大于预定值的情况下，指定单元22指定该对象与词典数据的该模板一致；并且，在指定对象与车辆的行驶方向重叠的情况下，指定单元22指定车辆是否需要避开该对象。通过通信单元20将指定单元22的指定结果发送到车载终端12。词典数据不仅限于模板，并且可以是用于通过分类器对图像进行分类的规则或参数。

在判定图像数据中包含的对象与词典数据中包含的任何模板不一致达到预定值以上的情况下，指定单元22判定该对象是不可指定的，并且将不可指定对象的图像数据发送到分类单元26。不可指定对象的图像数据例如是图1所示的第二框48中的提取图像。

车辆信息分析单元24取得由行为信息检测单元36所检测的车辆的行为信息，并基于所取得的行为信息检测车辆对于该对象的避开操作的有无。车辆信息分析单元24还用作取得车辆的行为信息的行为信息取得单元。

图3A至3C是示出车辆的避开操作的图。在图3A至3C中，示出了在双车道道路的左车道上行驶的车辆50的移动轨迹，并且对象52存在于与车辆50的行驶方向重叠的位置处。图3A和3B示出了车辆50执行对于对象52的避开操作的情况，而图3C示出了车辆50未执行对于对象52的避开操作的情况。

在图3A中，车辆50执行车道变换以避开对象52，并且在紧接提取对象52之后，基于转向角和车速的行为信息检测到车辆转弯的情况下，车辆信息分析单元24检测到存在车辆对于对象52的避开操作。基于拍摄图像的成像时间、行为信息的检测时间和位置信息的取得时间，执行避开操作的有无和对象52的关联。

在图3B中，车辆50执行车道变换以避开对象52，接着，执行车道变换以返回到原始车道，并且在紧接提取对象52之后，基于转向角和车速的行为信息检测到车辆转弯的情况下，车辆信息分析单元24检测到存在车辆对于对象52的避开操作。

在图3C中，车辆50在不避开对象52的情况下直线移动，并且在紧接提取对象52之后，基于转向角和车速的行为信息检测到车辆未转弯的情况下，车辆信息分析单元24检测到不存在车辆对于对象52的避开操作。在车辆50通过对象52的情况下，车辆信息分析单元24基于车辆50的行为信息检测车辆中是否发生强烈摇晃。

返回图2，分类单元26基于对于作为指定单元22未指定的对象的不可指定对象的行为信息，对车辆是否需要避开不可指定对象进行分类。分类单元26从车辆信息分析单元24接收车辆对于不可指定对象的行为，并且基于车辆的行为对车辆是否需要避开不可指定对象进行分类。

分类单元26基于车辆对于不可指定对象的避开的有无来对车辆是否需要避开不可指定对象进行分类。例如，在车辆已经避开了不可指定对象的情况下，不可指定对象很可能是要避开的对象，而在车辆未避开不可指定对象的情况下，不可指定对象很有可能是不需要避开的对象。以这种方式，即使对象是不可指定的，也可以基于车辆的行为附加关于是否需要避开该对象的属性信息，并且可以对词典数据使用该属性信息来判定是否需要避开该对象。

在车辆未避开对象的情况下，分类单元26基于车辆的摇晃程度来对车辆是否需要避开对象进行分类。此处，将参照4A和4B提供描述。

图4A和4B是示出车辆在通过对象时的摇晃程度的图。在图4A和4B中，纵轴表示垂直方向上的加速度，横轴表示时间。在图4A和4B中，在时刻t，图3C中所示的车辆50通过对象52。

在图4A中，在车辆50通过对象52的时刻t，由于车辆50摇晃不大，并且垂直方向上的加速度小于预定阈值th，因此分类单元26分类为车辆50不需要避开对象52。

在图4B中，在车辆50通过对象52的时刻t，车辆50摇晃很大，并且垂直方向上的加速度等于或大于预定阈值th，分类单元26分类为车辆50需要避开对象52。这样，即使在车辆50没有避开对象52的情况下，在车辆50的摇晃程度等于或大于预定阈值th的情况下，分类单元26也可以分类为需要避开对象52，并且可以提高关于是否需要避开对象的分类的准确性。

返回图2，分类单元26取得多个车辆对于同一不可指定对象的避开操作的有无，并且基于该多个车辆对于不可指定对象的避开比例来对车辆是否需要避开不可指定对象进行分类。例如，即使在车辆已经避开了不可指定对象的情况下，在同一道路上行驶的许多其他车辆也有可能没有避开该对象。以这种方式，基于多个车辆对于不可指定对象的行为信息来执行分类，由此可以提高关于是否需要避开不可指定对象的分类的准确性。在车辆避开对象的比例等于或大于50％的情况下，分类单元26将对象分类为需要避开的对象，而在车辆避开对象的比例小于50％的情况下，则分类单元26将对象分类为不需要避开的对象。

分类单元26可以基于车辆对于不可指定对象的避开比例以及车辆在通过不可指定对象时的摇晃程度，来对车辆是否需要避开所述不可指定对象进行分类。

分类单元26基于是否需要避开对象来对多个不可指定对象的图像数据进行分类，接着，使用已知的方法进一步将不可指定对象的图像数据分类为彼此类似的类似图像组。也就是说，分类单元26将不可指定对象的图像数据分组为类似的事物。将参照图5描述分类结果。

图5是示出分类单元26中的不可指定对象的分类结果的图。分类单元26将不可指定对象的图像数据分类为作为包括车辆需要避开的对象的图像数据组的第一图像组，以及作为包括车辆不需要避开的对象的图像数据组的第二图像组。例如，虽然水洼和凹陷的洞的形状类似，但是不需要避开水洼，而需要避开凹陷的洞。通过分类为第一图像组和第二图像组，有可能基于车辆行为在类似形状例如水洼和凹陷的洞之间进行区分。

分类单元26将分类为第一图像组的图像数据中包含的对象的图像分类为彼此类似的多个第一类似图像组，并且将分类为第二图像组的图像数据中包含的对象的图像分类为彼此类似的多个第二类似图像组。包括在类似图像组中的图像数据具有等于或大于预定分数的类似度。由此，变得容易捕捉不可指定对象的图像数据的特征，并且当使用词典数据时，有可能提高指定单元22的识别率。

分类单元26可以通过网络取得类似于类似图像组的图像，并且可以将附加到类似图像的标签名称附加到类似图像组。

返回图2，学习单元28基于由分类单元26进行分类的不可指定对象的类似图像组来执行学习，并将学习结果作为新类型的词典数据发送到词典存储单元30。在不可指定对象的类似图像组中包括的对象的图像数据的数量等于或大于预定数量时，学习单元28从类似图像组计算特征量并学习特征量以计算用于指定新的对象的数据。以这种方式，作为指定单元22未指定的对象的不可指定对象的图像数据与分类单元26的分类结果一起用于创建词典数据。

在词典数据中，添加用于指定为第一类似图像组和第二类似图像组中的每一个生成的新对象的数据。以这种方式，可以基于不可指定对象的图像数据创建用于指定类似于该不可指定对象的对象的词典数据。由此，即使对类似于过去未指定的对象的对象进行成像，该对象也不是不可指定的，并且指定单元22可以指定是否需要避开该对象。

图6是示出用于对不可指定对象的图像数据进行分类的处理的流程图。图像取得单元21取得车辆外部的拍摄图像40(S10)。指定单元22参照词典数据指定拍摄图像40中包含的对象(S12)。

在指定单元22能够指定对象的情况下(在S14，否)，将指定结果传输到车载终端12，并且本处理结束。在指定单元22不能指定对象并且不能判定是否需要避开对象的情况下(在S14，是)，开始用于对不可指定对象进行分类的处理，并且车辆信息分析单元24取得车辆对于不可指定对象的行为信息(S16)，并且得出车辆是否采取对于不可指定对象的避开操作。

分类单元26基于车辆对于不可指定对象的避开操作的有无对车辆是否需要避开对象进行分类(S18)。分类单元26将多个不可指定对象的图像数据分类为彼此类似的类似图像组(S20)。学习单元28从不可指定对象的类似图像组计算特征量(S22)，基于特征量来执行学习，并创建用于使能够指定为新类型的对象的词典数据(S24)。

该示例旨在仅为说明性的，并且对于本领域技术人员来说显而易见的是，可以对组成元件的组合做出各种变型示例，并且这些变型示例也落入本发明的范围内。

在该示例中，如图2中所示，尽管已经描述了图像处理设备10包括指定单元22和词典存储单元30的方案，但是指定单元22和词典存储单元30的配置可以设置在车载终端12中。车载终端12可以指定拍摄图像中包含的对象，并且在未指定对象的情况下，可以将未指定的图像数据和图像数据的成像时间传输到图像处理设备10。在变型示例中，例如，在图像处理设备10改变词典数据的情况下，将更新的词典数据传输到车载终端12。

Claims (8)

1.一种图像处理系统，其特征在于包括：

图像取得单元，其被配置为取得通过对车辆外部进行成像而获取的拍摄图像；

词典存储单元，其被配置为存储在指定所述拍摄图像中包含的对象时要参照的词典数据；

指定单元，其被配置为基于所述词典数据指定所述对象；

行为信息取得单元，其被配置为取得指示车辆的行为状态的行为信息；以及

分类单元，其被配置为基于所述车辆对于不可指定对象的所述行为信息，对所述车辆是否需要避开所述不可指定对象进行分类，所述不可指定对象作为所述指定单元未指定的所述对象，

其中，所述不可指定对象的图像数据与所述分类单元的分类结果一起用于创建所述词典数据。

2.根据权利要求1所述的图像处理系统，其特征在于，所述分类单元被配置为将所述不可指定对象的所述图像数据分类为第一图像组和第二图像组，所述第一图像组作为包括所述车辆需要避开的对象的图像数据组，所述第二图像组作为包括所述车辆不需要避开的对象的图像数据组。

3.根据权利要求2所述的图像处理系统，其特征在于：

所述分类单元被配置为将分类为所述第一图像组的所述图像数据中包含的对象的图像分类为彼此类似的多个第一类似图像组，并且将分类为所述第二图像组的所述图像数据中包含的对象的图像分类为彼此类似的多个第二类似图像组；以及

在所述词典数据中，添加用于指定为所述第一类似图像组和所述第二类似图像组中的每一个生成的新对象的数据。

4.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，所述分类单元被配置为基于所述车辆对于所述不可指定对象的避开操作的有无，对所述车辆是否需要避开所述不可指定对象进行分类。

5.根据权利要求4所述的图像处理系统，其特征在于：

所述图像取得单元被配置为从多个车辆取得所述拍摄图像；

所述行为信息取得单元被配置为从所述车辆取得所述行为信息；以及

所述分类单元被配置为：根据基于所述车辆对于所述不可指定对象的所述行为信息得出的所述车辆的避开比例，对所述车辆是否需要避开所述不可指定对象进行分类。

6.根据权利要求1所述的图像处理系统，其特征在于，还包括学习单元，所述学习单元被配置为基于所述分类单元的所述分类结果来创建新的词典数据。

7.一种图像处理方法，其特征在于包括：

取得车辆外部的拍摄图像；

存储在指定所述拍摄图像中包含的对象时要参照的词典数据；

基于所述词典数据指定所述对象；

取得指示车辆的行为状态的行为信息；

基于所述车辆对于作为未指定的所述对象的不可指定对象的所述行为信息，对所述车辆是否需要避开所述不可指定对象进行分类；以及

基于所述不可指定对象的图像数据和所述分类的结果创建词典数据。

8.一种图像处理设备，其特征在于包括：

图像取得单元，其被配置为取得通过对车辆外部进行成像而获取的拍摄图像；

词典存储单元，其被配置为存储在指定所述拍摄图像中包含的对象时要参照的词典数据；以及

信息处理设备，其被配置为

取得指示车辆的行为状态的行为信息，

基于所述拍摄图像和所述词典数据指定所述对象，

对所述车辆是否需要避开未指定的不可指定对象进行分类，以及

基于所述分类的结果创建新的词典数据。

Images