CN108528431B - 车辆行驶自动控制方法和装置 - Google Patents
车辆行驶自动控制方法和装置 Download PDFInfo
- Publication number
- CN108528431B CN108528431B CN201710120432.XA CN201710120432A CN108528431B CN 108528431 B CN108528431 B CN 108528431B CN 201710120432 A CN201710120432 A CN 201710120432A CN 108528431 B CN108528431 B CN 108528431B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- target vehicle
- lane
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013507 mapping Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 description 20
- 238000006073 displacement reaction Methods 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 238000002955 isolation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0014—Adaptive controllers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种车辆行驶自动控制方法和装置,其中,方法包括:根据第一图像获取前方公路车道线,根据第三图像获取后方公路车道线,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和所述第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,根据生成多个前方车辆识别范围识别前方目标车辆,根据生成多个后方车辆识别范围识别后方目标车辆;根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。由此,能够对巡航进行正确控制,提高了主体车辆的行驶安全性。
Description
技术领域
本发明涉及汽车控制技术领域,尤其涉及一种车辆行驶自动控制方法和装置。
背景技术
目前,车辆自适应巡航系统通常使用毫米波雷达、激光雷达等作为测距传感器。由此,主体车辆通过安装上述任一种类型的测距传感器就可以感测主体车辆前方的多个目标车辆并自适应地调整巡航系统的运动参数。
然而,对于多个目标车辆行驶于弯道的情况,毫米波雷达、激光雷达等测距传感器并不能很好地识别车道线。因此仅安装载毫米波雷达或激光雷达的主体车辆很可能将本车道的目标车辆识别为在非本车道,并可能将非本车道的目标车辆识别为在本车道,可能导致主体车辆的自适应巡航系统执行错误的制动或制动延迟,主体车辆的行驶安全性低。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种车辆行驶自动控制方法,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性。
本发明的第二个目的在于提出一种车辆行驶自动控制装置。
为达上述目的,本发明第一方面实施例提出了一种车辆行驶自动控制方法,包括:从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;根据所述第一图像获取前方公路车道线,根据所述第三图像获取后方公路车道线;根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆;根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行巡航控制。
本发明实施例的车辆行驶自动控制方法,首先从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。
为达上述目的,本发明第二方面实施例提出了一种车辆行驶自动控制装置,包括:第一获取模块,用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;第二获取模块,用于根据所述第一图像获取前方公路车道线;第三获取模块,用于根据所述第三图像获取后方公路车道线;第一生成模块,用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;第一识别模块,用于根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆;控制模块,用于根据所述前方目标车辆和所述后方目标车辆的运动参数以及转向灯对所述主体车辆的运动参数进行巡航控制。
本发明实施例的车辆行驶自动控制装置,首先从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一个实施例提供的车辆行驶自动控制方法的流程示意图;
图2为本发明另一个实施例提供的车辆行驶自动控制方法的流程示意图;
图3为本发明一个实施例提供的准确识别后方左侧非本车道目标车辆的转向灯的示意图;
图4为本发明一个实施例提供的在直道中准确识别向左弯道中前方目标车辆完成向右变道的示意图;
图5为本发明一个实施例提供的在直道中准确识别向右弯道中前方目标车辆正在向左变道的示意图;
图6为本发明又一个实施例提供的车辆行驶自动控制方法的流程示意图;
图7为本发明一个实施例提供的车辆行驶自动控制装置的结构示意图;
图8为本发明另一个实施例提供的车辆行驶自动控制装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的车辆行驶自动控制方法和装置。
通常,通过安装毫米波雷达、激光雷达等作为测距传感器感测主体车辆前方的多个目标车辆并自适应地调整巡航系统的运动参数。
然而,在多个目标车辆行驶于弯道的情况下,毫米波雷达、激光雷达等测距传感器并不能很好地识别车道线。可能导致主体车辆的自适应巡航系统执行错误的制动或制动延迟,主体车辆的行驶安全性低。
为了解决上述问题,本发明提出一种车辆行驶自动控制方法,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,提高了主体车辆的行驶安全性。具体如下:
图1为本发明一个实施例提供的车辆行驶自动控制方法的流程示意图。
如图1所示,该车辆行驶自动控制方法包括以下步骤:
步骤101,从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。
可以理解的是,从前置3D相机获取主体车辆前方环境的第一图像和第二图像以及从后置3D相机获取主体车辆后方环境的第三图像和第四图像的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:
第一种示例,从前置3D相机的图像传感器获取主体车辆前方环境的第一图像,从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像。
具体地,通过图像传感器获取主体车辆前方环境的色彩或亮度图像作为第一图像和通过飞行时间传感器获取主体车辆前方环境的深度图像作为第二图像。
第二种示例,从后置3D相机的图像传感器获取主体车辆后方环境的第三图像,从后置3D相机的飞行时间传感器获取主体车辆后方环境的第四图像。
具体地,通过图像传感器获取主体车辆后方环境的色彩或亮度图像作为第三图像和通过飞行时间传感器获取主体车辆后方环境的深度图像作为第四图像。
步骤102,根据第一图像获取前方公路车道线,根据第三图像获取后方公路车道线。
可以理解的是,第一图像可以是亮度图像、或者是色彩图像。根据不同的第一图像根据第一图像获取前方公路车道线不同,具体说明如下:
第一种示例,当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。
第二种示例,当第一图像为色彩图像,将色彩图像转换为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。
需要说明的是,获取前方公路车道线指的是获取主体车辆前方所有的公路车道线。
可以理解的是,第三图像可以是亮度图像、或者是色彩图像。根据不同的第三图像根据第三图像获取后方公路车道线不同,具体说明如下:
第一种示例,当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。
第二种示例,当第三图像为色彩图像,将色彩图像转换为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。
需要说明的是,获取后方公路车道线指的是获取主体车辆后方所有的公路车道线。
步骤103,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。
可以理解的是,第一图像和第二图像之间的交织映射关系表示第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标,因此根据第一图像获取的前方公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置,从而在第二图像中获取了等比例调整的前方公路车道线。
由此,根据第二图像中获取的等比例的前方公路车道线,每两个相邻的前方公路车道线唯一创建一个前方车辆识别范围,从而,多个两个相邻的前方公路车道线能够生成多个前方车辆识别范围。
可以理解的是,第三图像和第四图像之间的交织映射关系表示第三图像的每个像素的行列坐标经过等比例的调整都可以在第四图像至少确定一个像素的行列坐标,因此根据第三图像获取的后方公路车道线的每个边缘像素位置都可以在第四图像至少确定一个像素位置,从而在第四图像中获取了等比例调整的后方公路车道线。
由此,根据第四图像中获取的等比例的后方公路车道线,每两个相邻的后方公路车道线唯一创建一个后方车辆识别范围,从而,多个两个相邻的后方公路车道线能够生成多个后方车辆识别范围。
步骤104,根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆。
可以理解的是,根据所有前方车辆识别范围识别前方目标车辆的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:
第一种示例,对所有前方车辆识别范围标记前方本车道和前方非本车道的标签,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆,根据两两组合的前方车辆识别范围识别前方变道目标车辆。
第二种示例,采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。
具体地,前方目标车辆相对于飞行时间传感器的距离和位置随时间总是变化的,而路面、隔离带相对于飞行时间传感器的距离和位置随时间近似是不变化的。因此可以通过利用两幅不同时刻获取的第二图像(深度图像)创建时间微分深度图像以检测上述距离和位置的变化,进而标记本车道标签的前方车辆识别范围识别前方本车道目标车辆,标记非本车道标签的前方车辆识别范围识别前方非本车道目标车辆,在两两组合的前方车辆识别范围识别前方变道目标车辆。
可以理解的是,根据所有后方车辆识别范围识别后方目标车辆的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:
第一种示例,对所有后方车辆识别范围标记后方本车道和后方非本车道的标签,根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆,根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆,根据两两组合的后方车辆识别范围识别后方变道目标车辆。
第二种示例,采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。
具体地,后方目标车辆相对于飞行时间传感器的距离和位置随时间总是变化的,而路面、隔离带相对于飞行时间传感器的距离和位置随时间近似是不变化的。因此可以通过利用两幅不同时刻获取的第二图像(深度图像)创建时间微分深度图像以检测上述距离和位置的变化,进而标记本车道标签的后方车辆识别范围识别后方本车道目标车辆,标记非本车道标签的后方车辆识别范围识别后方非本车道目标车辆,在两两组合的后方车辆识别范围识别后方变道目标车辆。
步骤105,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。
可以理解的是,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制的方式有很多种,根据不同的工况进行不同的控制,具体说明如下:
具体地,在本发明的一个实施例中,可以根据前方目标车辆生成前方目标车辆范围,根据后方目标车辆生成后方目标车辆范围。
可以理解的是,根据前方目标车辆生成前方目标车辆范围的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:
第一种示例,根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围。
第二种示例,根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围。
第三种示例,根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。
具体地,在本发明的一个实施例中,可以根据后方目标车辆生成后方目标车辆范围的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:
第一种示例,根据后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围。
第二种示例,根据后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围。
第三种示例,根据后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。
具体地,在本发明的一个实施例中,还可以根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。
具体地,第一图像和第二图像之间的交织映射关系表示第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标,并且前方目标车辆的车灯的成像包含在相应的前方目标车辆范围中,从而在第一图像中生成了车灯识别区域。
具体地,第三图像和第四图像之间的交织映射关系表示第四图像中后方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第三图像至少确定一个像素的行列坐标,并且后方目标车辆的车灯的成像包含在相应的后方目标车辆范围中,从而在第三图像中生成了车灯识别区域。
具体地,在本发明的一个实施例中,还可以根据前方车灯识别区域识别相应前方目标车辆的转向灯,根据后方车灯识别区域识别相应后方目标车辆的转向灯。
具体地,可以根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。
举例而言,前方目标车辆变道的初期其纵向位移和横向位移都较小,意味着前方目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。
具体地,可以根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。
举例而言,后方目标车辆变道的初期其纵向位移和横向位移都较小,意味着后方目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。
由此,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制的方式有很多种,还可以加上转向灯进一步提高控制的准确性。具体如下:
第一种示例,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行制动调整。由此,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。
第二种示例,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统不进行制动调整。由此,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。
第三种示例,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行调整,和/或,以使主体车辆的车灯系统提醒后方目标车辆。由此,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
本发明实施例的车辆行驶自动控制方法,首先从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。
图2为本发明另一个实施例提供的车辆行驶自动控制方法的流程示意图。
如图2所示,该车辆行驶自动控制方法包括以下步骤:
步骤201,从前置3D相机的图像传感器获取主体车辆前方环境的第一图像,从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像,从后置3D相机的图像传感器获取主体车辆后方环境的第三图像,从后置3D相机的飞行时间传感器获取主体车辆后方环境的第四图像其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。
具体地,图像传感器指的是亮度像素传感器的阵列或集合,比如红、绿、蓝(RGB)或亮度、色度(YUV)等亮度像素传感器,与检测物体之间的距离有关系,通常用于获取环境的亮度图像。
具体地,飞行时间传感器指飞行时间像素传感器的阵列或集合,比如飞行时间像素传感器可以是光传感器、相位检测器等,可以检测来自脉冲光源、调制光源的光在飞行时间像素传感器与被检测物体之间传播的飞行时间,从而检测物体的距离并获取深度图像。
举例而言,图像传感器或飞行时间传感器都可以使用互补金属氧化物半导体(CMOS)工艺进行制作,并且亮度像素传感器和飞行时间像素传感器可以按比例制作在同一基板之上,例如以8:1比例进行制作的8个亮度像素传感器和1个飞行时间像素传感器组成一个大的交织像素,其中1个飞行时间像素传感器的感光面积可以等于8个亮度像素传感器的感光面积,其中8个亮度像素传感器可以按2行及4列的阵列形式排列。
进一步地,再例如,可以在1英寸光学靶面的基板上制作360行及480列的上述活跃交织像素的阵列,可获取720行及1920列的活跃亮度像素传感器阵列、360行及480列的活跃TOF像素传感器阵列,由此图像传感器和飞行时间传感器组成的同一个相机可同时获取彩色或亮度图像和深度图像。
因此,在本实施例中,可以利用同一个前置3D相机获取关于主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像;可以利用同一个后置3D相机获取关于主体车辆后方环境的第三图像和第四图像,其中,第三图像为彩色或亮度图像,第四图像为深度图像。
其中,彩色或亮度图像像素和深度图像像素的特征是按比例的交织排列。并且由于获取第一图像和第二图像的同一个前置3D相机可以使用CMOS工艺制造实现以及获取第三图像和第四图像的同一个后置3D相机可以使用CMOS工艺制造实现,根据半导体工业的摩尔定律,3D相机在有限时期内将具备足够低的生产成本。
步骤202,当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线,当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。
需要说明的是,前方(后方)公路车道线既有前方(后方)实线车道线也有前方(后方)虚线车道线。第一图像和第三图像都为亮度图像时,两者识别前方(后方)公路车道线的具体过程相同,下面以第一图像为亮度图像时,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线为例具体说明如下:
具体地,首先根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像,可以理解的是可以通过利用前方公路车道线与路面的亮度差异,可以查找得到某些亮度阈值作为预设的亮度阈值,预设的亮度阈值可以利用“直方图统计—双峰”算法来查找得到,并利用预设的亮度阈值和亮度图像创建前方公路车道线的二值图像。
还可以理解的是,可以通过将亮度图像划分为多个亮度子图像,对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值,利用各个亮度阈值和相应的亮度子图像创建前方公路车道线的二值子图像,并利用二值子图像创建完整的前方公路车道线的二值图像。
进一步地,根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。
可以理解的是,前方公路车道线的曲率半径不可能太小,并且由于相机投影原理导致近处前方公路车道线相对远处前方公路车道线的成像像素更多,使得弯道的前方实线车道线在亮度图像中排列成直线的像素也占前方实线车道线成像像素的大部分。
由此,可以通过Hough变换算法等预设的检测算法在前方公路车道线的二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。
需要说明的是,上述预设的检测算法也可以将隔离带、电线杆在二值图像中的直线边缘像素位置检出。根据图像传感器的长宽比例、3D相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围,从而根据斜率范围将非车道线的直线过滤排除。
需要说明的是,弯道的实线车道线的边缘像素位置总是连续变化的,因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置,并将该连通像素位置并入该初始直线边缘像素集合,重复上述查找和并入该连通像素位置,最后将弯道实线车道线的全部边缘像素位置唯一确定。
可理解的是,上述方式也能够将前方虚线车道线全部边缘像素位置检测出来。
作为一种示例,根据实线车道线的先验知识、车道线中相互平行的原则、图像传感器及3D相机的投影参数,将实线车道线的全部边缘像素位置投影到虚线车道线的初始直线边缘像素位置以连接该虚线车道线的初始直线边缘像素位置和属于该虚线车道线的其他较短的车道线的边缘像素位置,从而获取虚线车道线的全部边缘像素位置。
作为另一种示例,不需要得到直道或弯道的先验知识。由于车辆在直道巡航或恒定转向角弯道巡航的过程中,虚线车道线的横向偏移在较短的连续时间内几乎可以忽略,但纵向偏移却较大,因此虚线车道线在不同时刻的连续几幅公路车道线的二值图像中可以叠加成一条实线车道线,然后再通过上述实线车道线的识别方法获取该虚线车道线的全部边缘像素位置。
可以理解的是,由于虚线车道线的纵向偏移量受到主体车辆车速的影响,以此可以根据从轮速传感器获取的车速动态地确定不同时刻的连续的公路车道线的二值图像的最少幅数以将虚线车道线叠加成一条实线车道线,从而获取虚线车道线的全部边缘像素位置。
需要说明的是,在本实施例中,“公路车道线”代指公路车道线的全部边缘像素位置。
需要说明的是,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线包括根据第三图像的亮度信息和预设的亮度阈值创建后方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置的具体说明可以参见对根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线的具体描述,此处不再详述。
步骤203,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。
需要说明的是,步骤S203的描述与上述步骤S103相对应,因此对的步骤S203的描述参考上述步骤S103的描述,在此不再赘述。
步骤204,对所有前方车辆识别范围标记前方本车道和前方非本车道的标签,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据标记前方非本车道标签的前方车辆识别范围识别前方非本车道目标车辆,根据两两组合的前方车辆识别范围识别前方变道目标车辆。
在本发明的一个是实施例中,根据第二图像中获取的等比例的前方公路车道线,取每个前方公路车道线的初始直线部分所占的行数和列数相比得到前方公路车道线的初始直线的斜率,对根据斜率最大的两条前方公路车道线的初始直线所在的前方公路车道线创建的前方车辆识别范围标记本车道的标签,对其他创建的前方车辆识别范围标记非本车道的标签。
可以理解的是,第二图像为深度图像,同一个前方目标车辆的背面的光反射到TOF传感器形成的深度子图像包含一致的距离信息,因此只要识别前方目标车辆形成的深度子图像在深度图像中的位置即可获取前方目标车辆的距离信息。其中,子图像指图像的一部分像素的组合。
可以理解的是,同一个前方目标车辆的背面的光反射到TOF传感器形成深度子图像是包含一致的距离信息,而路面的光反射到TOF传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了前方目标车辆在深度图像中的目标边界。
进一步地,可以通过采用图像处理算法中的检测边界的Canny、Sobel、Laplace等多种边界检测方法以检测前方目标车辆的目标边界。
进一步地,车辆识别范围由车道线的全部像素位置所确定,因此在车辆识别范围内检测前方目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。
具体地,分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定前方车辆识别范围内所有前方目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置。其中,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。
进一步地,根据前方车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在前方车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定前方车辆识别范围内所有前方目标车辆的位置和距离信息。
因此,检测获取前方目标车辆的目标边界即可以唯一确定前方目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定前方目标车辆的距离信息。
由此,通过上述示例的边界检测方法可以同时检测多个前方目标车辆及其距离信息。
进一步地,根据上述示例,在标记前方本车道标签的车辆识别范围内识别前方本车道目标车辆,在标记前方非本车道标签的车辆识别范围内识别前方非本车道目标车辆,在两两组合的前方车辆识别范围内识别变道前方目标车辆。
步骤205,对所有后方车辆识别范围标记后方本车道和后方非本车道的标签,根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆,根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆,根据两两组合的后方车辆识别范围识别后方变道目标车辆。
在本发明的一个是实施例中,根据第四图像中获取的等比例的后方公路车道线,取每个后方公路车道线的初始直线部分所占的行数和列数相比得到后方公路车道线的初始直线的斜率,对根据斜率最大的两条后方公路车道线的初始直线所在的后方公路车道线创建的后方车辆识别范围标记本车道的标签,对其他创建的后方车辆识别范围标记非本车道的标签。
可以理解的是,第二图像为深度图像,同一个后方目标车辆的背面的光反射到TOF传感器形成的深度子图像包含一致的距离信息,因此只要识别后方目标车辆形成的深度子图像在深度图像中的位置即可获取后方目标车辆的距离信息。其中,子图像指图像的一部分像素的组合。
可以理解的是,同一个后方目标车辆的背面的光反射到TOF传感器形成深度子图像是包含一致的距离信息,而路面的光反射到TOF传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了后方目标车辆在深度图像中的目标边界。
进一步地,可以通过采用图像处理算法中的检测边界的Canny、Sobel、Laplace等多种边界检测方法以检测后方目标车辆的目标边界。
进一步地,后方车辆识别范围由车道线的全部像素位置所确定,因此在后方车辆识别范围内检测后方目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。
具体地,分别将每个后方车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定后方车辆识别范围内所有后方目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置。其中,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。
进一步地,根据后方车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在后方车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定后方车辆识别范围内所有后方目标车辆的位置和距离信息。
因此,检测获取后方目标车辆的目标边界即可以唯一确定后方目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定后方目标车辆的距离信息。
由此,通过上述示例的边界检测方法可以同时检测多个后方目标车辆及其距离信息。
进一步地,根据上述示例,在标记后方本车道标签的车辆识别范围内识别后方本车道目标车辆,在标记后方非本车道标签的车辆识别范围内识别后方非本车道目标车辆,在两两组合的后方车辆识别范围内识别变道后方目标车辆。
步骤206,根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围,根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。
具体地,第一图像和第二图像之间的交织映射关系表示第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标,并且前方目标车辆的车灯的成像包含在相应的前方目标车辆范围中,从而在第一图像中生成了车灯识别区域。
具体地,第三图像和第四图像之间的交织映射关系表示第四图像中后方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第三图像至少确定一个像素的行列坐标,并且后方目标车辆的车灯的成像包含在相应的后方目标车辆范围中,从而在第三图像中生成了车灯识别区域。
步骤207,根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯,根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。
具体地,通过连续获取多幅不同时刻的彩色或亮度图像并对前方(后方)目标车辆的车灯识别区域进行时间微分处理以创建前方(后方)目标车辆的时间微分车灯识别区域子图像。
其中,时间微分车灯识别区域子图像将突出前方(后方)目标车辆的连续闪烁的车尾灯(车前灯)子图像。然后将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取前方(后方)目标车辆的车尾灯(车前灯)子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像并查找车尾灯(车前灯)子图像的起始和终点行坐标位置,将车尾灯(车前灯)子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认前方(后方)目标车辆的车尾灯(车前灯)的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车尾灯(车前灯)子图像的行、列坐标位置。
进一步地,闪烁的车尾灯(车前灯)子图像的行、列坐标位置只在前方(后方)目标车辆的车灯识别区域左侧时可以确定前方(后方)目标车辆在打左转向灯,闪烁的车尾灯(车前灯)子图像的行、列坐标位置只在前方(后方)目标车辆的车灯识别区域右侧时可以确定前方(后方)目标车辆在打右转向灯,闪烁的车尾灯(车前灯)子图像的行、列坐标位置在前方(后方)目标车辆的车灯识别区域两侧时可以确定前方(后方)目标车辆在打双闪警示灯。
需要说明的是,当前方(后方)目标车辆变道的过程中其纵向位移或横向位移较大导致前方(后方)目标车辆的车灯识别区域大小变化也较大,可以对连续获取的多幅不同时刻的前方(后方)目标车辆的车灯识别区域进行纵向位移或横向位移补偿并缩放成大小一致的车灯识别区域,再对调整后的前方(后方)目标车辆的车灯识别区域进行时间微分处理以创建前方(后方)目标车辆的时间微分车灯识别区域子图像。
进一步地,将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取前方(后方)目标车辆的车尾灯(车前灯)子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像并查找车尾灯(车前灯)子图像的起始和终点行坐标位置,将车尾灯(车前灯)子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认前方(后方)目标车辆的车尾灯(车前灯)的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车尾灯(车前灯)子图像的行、列坐标位置,最后完成左转向灯、右转向灯或双闪警示灯的识别。
步骤208,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行制动调整。
需要说明的是,以前方本车道的左右车道线为参考,无论前方目标车辆变道时处于直道或是弯道、无论前方目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的运动控制依据。
由此,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
作为另一种实现方式,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统不进行制动调整。
举例而言,识别到本车道目标车辆的右转向灯亮起时前方目标车辆的左侧目标边界到本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离P;经过连续获取N幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为T),期间识别并记录目标车辆的距离R的变化;识别到前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合,本车道宽度为D;因此,前方目标车辆在连续变道过程中的运动参数为持续时间N×T、相对主体车辆的距离为R和横向位移为(D-P)。
因此,根据上述识别的前方目标车辆变道过程中的距离R,主体车辆自适应巡航系统只要确定R始终大于设定的安全巡航制动距离即可保持匀速巡航,甚至即使识别到前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合且R小于安全巡航制动距离,主体车辆自适应巡航系统也可能减少动力输出,稍微等待识别到目标车辆继续向右位移产生更安全更大的横向位移即可恢复动力输出以保持匀速巡航。
由此,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。
作为再一种实现方式,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行调整,和/或,以使主体车辆的车灯系统提醒后方目标车辆。
由此,识别到后方非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
为了本领域人员更加清楚上述实施例控制过程,下面结合图3至图5举例说明如下:
可以理解的是,上述识别的横向位移以本车道的左右车道线为参考,无论目标车辆变道时处于直道或是弯道、无论目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的控制依据。
如图3所示,可以在通常的直道或弯道工况中控制主体车辆跟随前方本车道目标车辆匀速巡航,识别前方目标车辆的距离为RA,并同时识别到主体车辆后方左侧非本车道目标车辆的距离为RB并且识别其右转向灯正在闪烁的变道意图;当RB距离过小,后方目标车辆变道至主体车辆后方容易发生追尾碰撞,由于识别后方目标车辆打转向灯的初始变道意图,可以控制主体车辆的刹车灯提前亮起以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
进一步地,可以准确识别后方目标车辆继续强行变道且变道不减速产生的相对于本车道线的横向位移,可以控制主体车辆的巡航系统自动地提高车速以适当地减少主体车辆与前方目标车辆的跟随距离、增大主体车辆与后方目标车辆的距离,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
然而,传统的仅依靠毫米波雷达或激光雷达的车辆识别后方变道目标车辆具有足够大的变道横向位移才能判断后方目标车辆的变道意图,将导致追尾碰撞风险增大。
因此,识别后方目标车辆的运动参数和相应识别后方目标车辆的转向灯,可以识别到后方非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。
进一步地,传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,以主体车辆为参考识别的目标车辆的横向位移有时将不能提供给车辆自适应巡航系统准确的运动控制依据。
如图4所示,当本车道前方目标车辆从本车道完成向右变道正好处在向左弯的弯道时,位于直道上传统车辆的毫米波雷达或激光雷达仍可能识别前方目标车辆部分处于本车道上,上述弯道曲率半径250米,上述前方目标车辆变道过程中在弯道上行驶了25米,与前方目标车辆的左侧目标边界重合的本车道右侧车道线在弯道25米处已经相对车道线的直道延长线向左偏移了
可以理解的是,若此时上述传统车辆的毫米波雷达或激光雷达识别到前方目标车辆的距离为50米至80米,即上述传统车辆的毫米波雷达或激光雷达位于直道上并且距离弯道入口仍有25米至55米的距离,上述传统车辆的毫米波雷达或激光雷达在缺乏弯道先验知识的情况下将识别到前方目标车辆仍然约有1.25米宽度的车身在本车道上,并且随着目标车辆继续沿着向左弯道减速行驶,上述传统车辆的毫米波雷达或激光雷达识别到前方目标车辆有更大宽度的车身在本车道上,即上述传统车辆的毫米波雷达或激光雷达将产生了不准确的识别并将导致传统车辆自适应巡航系统执行连续的不准确和不必要的制动,从而导致传统车辆与其后方目标车辆的追尾碰撞风险增大。
同理,上述传统车辆的毫米波雷达或激光雷达对上述本车道目标车辆在向右弯道上从本车道完成向左变道的识别也存在不准确性。
因此,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。
可以理解的是,可以识别和监控非本车道目标车辆从打转向灯到完成变道至本车道的连续过程,而前方目标车辆在连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而前方目标车辆的运动参数可以用于控制主体车辆的运动参数以更早做出制动调整并提高行驶安全性、并更早地控制车灯警示后方目标车辆以减少追尾碰撞风险。
如图5所示,主体车辆在本车道直道以定速模式行驶,并且距离弯道入口仍有55米(或至25米)的距离,弯道向右弯曲并且曲率半径为250米,在距离弯道入口前方25米本车道右侧有一辆非本车道前方目标车辆正在打左转向灯向本车道变道,并且前方目标车辆的左侧目标边界已经与本车道的右侧车道线重合。
由此,可以准确识别前方目标车辆正在向本车道变道,由于前方目标车辆距离主体车辆约80米(或至50米),可以控制主体车辆的动力系统准确地执行动力输出减小甚至制动的动作、及时亮起刹车灯,以保证主体车辆与前方、后方目标车辆的安全距离,从而提高了主体车辆的行驶安全性和减少了追尾碰撞风险。
需要说明的是,传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的前方目标车辆的横向位移是以主体车辆为参考的,在缺乏弯道先验知识的情况下将识别前方目标车辆距离本车道右侧车道线的延长线还约有的横向距离,即错误地识别前方目标车辆需要继续向左横向位移约1.25米上述毫米波雷达或激光雷达才能确认前方目标车辆开始进入本车道。
可以理解的是,若前方目标车辆横向位移速度为1米每秒,则上述传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统将在前方目标车辆实际进入本车道约1.25秒以后才能执行动力输出减小甚至制动的动作,无疑减少了主体车辆与前方、后方目标车辆的安全距离,导致了主体车辆的行驶安全性下降和增加了追尾碰撞风险。
因此,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。
进一步地,基于上述实施例,为了进一步有效地减少了追尾碰撞风险以及进一步提高了主体车辆的行驶安全性。可以通过自动校准的方式进行处理。具体过程结合图6描述如下:
步骤601,根据前方目标车辆范围或前方车灯识别区域获取前方目标车辆方位角。
具体地,获取前方目标车辆方位角的方式有很多种,比如通过预设算法、公式等。举例说明如下:
作为一种示例,首先获取第一图像或第二图像的摄像机的镜头参数和安装位置可通过事先的本领域人员熟悉的摄像机标定技术获取,因此可以建立以摄像机为原点的道路景物坐标与第一图像或第二图像的像素坐标的关系查找表。
进一步地,通过上述关系查找表可将前方目标车辆范围或前方车灯识别区域包含的像素坐标转换为以摄像机为原点的前方目标车辆坐标,从而根据转换的以摄像机为原点的前方目标车辆坐标计算以摄像机为原点的前方目标车辆方位角。
步骤602,获取恒载频雷达的中频信号,根据中频信号获取前方雷达目标的相对速度和方位角。
需要说明的是,恒载频雷达的发射机工作于几乎恒定的电磁波频率上,因此恒载频雷达相对于测距的调频雷达占用的电磁波带宽很小,从而恒载频雷达可以减少元器件的使用并降低成本。
可以理解的是,当前方目标车辆与主体车辆存在相对速度时,恒载频雷达接收到的前方目标车辆的反射信号可以经过移相器产生正交反射信号,正交反射信号与恒载频雷达的发射信号经过混频器产生正交中频信号,正交中频信号包含关于上述相对速度的多普勒频率,多普勒频率的大小与相对速度的大小成正比,多普勒频率的正负号与与相对速度的正负号相同。
进一步地,利用模数转换器和复数快速傅里叶算法等方式即可创建突出该多普勒频率的该正交中频信号的频谱,利用峰值检测算法即可获取该正交中频信号的频谱的该多普勒频率的大小和正负号;根据获取的该多普勒频率的大小和正负号即可利用多普勒测速公式确定相对速度的大小和正负号。
进一步地,恒载频雷达可以包含两个以上的接收机用以获取前方雷达目标的方位角。恒载频雷达的各个接收机相互的位置差异导致各个接收机获取的正交中频信号在同一多普勒频率处的相位存在相位差。
进一步地,根据正交中频信号的频谱获取的各个接收机在同一多普勒频率处的相位差和各个接收机相互的位置关系即可利用相位法测角公式获取前方雷达目标的方位角。
步骤603,根据前方目标车辆方位角、前方雷达目标的相对速度和方位角获取前方目标车辆的相对速度,根据识别的前方目标车辆对恒载频雷达进行自动校准。
可以理解的是,当存在多个前方目标车辆时,获取多个前方目标车辆的方位角,接着将获得多个前方雷达目标的相对速度和方位角,利用单个前方目标车辆的方位角与某一前方雷达目标的方位角近似相等的原则将前方雷达目标的相对速度确定为前方目标车辆的相对速度。
可以理解的是,当摄像机和恒载频雷达的安装位置相差较远时,上述方位角近似相等的原则可能导致误差,只要根据摄像机和恒载频雷达的安装位置关系将两者的不同原点的方位角坐标校准为同一原点的的方位角坐标即可消除上述误差。
可以理解的是,恒载频雷达的安装位置处于驾驶室以外时,其方位角的测量结果可能受到振动、温度变化、雨雪泥污覆盖物的影响,需要进行自动校准。
举例而言,当识别到主体车辆有多个不同方位角的前方目标车辆,即可对比识别的多个前方目标车辆的方位角与前方雷达目标的方位角是否有一致的偏差,若有一致的偏差,将该偏差记录至恒载频雷达的储存器中,恒载频雷达在后续的方位角测量时读出该偏差进行自动校准和补偿;若有不一致的偏差,可以对主体车辆驾驶员发出恒载频雷达不可用的警示,提醒主体车辆驾驶员对恒载频雷达进行检查或清洁。
由此,通过自动校准的方式,进一步有效地减少了追尾碰撞风险以及进一步提高了主体车辆的行驶安全性。
为了实现上述实施例,本发明还提出一种车辆行驶自动控制装置。
图7为本发明一个实施例提供的车辆行驶自动控制装置的结构示意图。
如图7所示,该车辆行驶自动控制装置包括:第一获取模块701、第二获取模块702、第三获取模块703、第一生成模块704、第一识别模块705和控制模块706。
其中,第一获取模块701用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。
第二获取模块702用于根据第一图像获取前方公路车道线。
第三获取模块703用于根据第三图像获取后方公路车道线。
第一生成模块704用于根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。
第一识别模块705用于根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆。
控制模块706用于根据前方目标车辆和后方目标车辆的运动参数以及转向灯对主体车辆的运动参数进行巡航控制。
进一步地,在本发明实施例的一种可能的实现方式中,第一获取模块701用于从前置3D相机的图像传感器获取主体车辆前方环境的第一图像;从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像;从后置3D相机的图像传感器获取主体车辆后方环境的第三图像;从后置3D相机的飞行时间传感器获取主体车辆后方环境的第四图像。
进一步地,在本发明实施例的一种可能的实现方式中,第二获取模块702包括:第一识别单元7021和第一转换单元7022。
其中,第一识别单元7021用于当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。或者,
第一转换单元7022用于当第一图像为色彩图像,将色彩图像转换为亮度图像,第一识别单元7021用于根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。
在本发明的一个实施例中,第一识别单元7021具体用于根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
进一步地,在本发明实施例的一种可能的实现方式中,第三获取模块703包括:第二识别单元7031和第一转换单元7032。
其中,第二识别单元7031用于当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。或者,
第二转换单元7032用于当第三图像为色彩图像,将色彩图像转换为亮度图像,第二识别单元7031用于根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。
在本发明的一个实施例中,第二识别单元7031具体用于根据第三图像的亮度信息和预设的亮度阈值创建后方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
在本发明的一个实施例中,第一识别模块705具体用于对所有前方车辆识别范围标记前方本车道和前方非本车道的标签;根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆;根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆;根据两两组合的前方车辆识别范围识别前方变道目标车辆。对所有后方车辆识别范围标记后方本车道和后方非本车道的标签;根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆;根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆;根据两两组合的后方车辆识别范围识别后方变道目标车辆。
在本发明的一个实施例中,第一识别模块705还用于采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别;采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。
进一步地,在本发明实施例的一种可能的实现方式中,如图8所示,在图7的基础上,该车辆行驶自动控制装置还包括:第二生成模块707、第三生成模块708、第二识别模块709、第四获取模块710、第五获取模块711和校准模块712。
其中,第二生成模块707用于根据前方目标车辆生成前方目标车辆范围,根据后方目标车辆生成后方目标车辆范围。
第三生成模块708用于根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。
第二识别模块709用于根据前方车灯识别区域识别相应前方目标车辆的转向灯,根据后方车灯识别区域识别相应后方目标车辆的转向灯。
进一步地,在本发明实施例的一种可能的实现方式中,第二生成模块707用于根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围,根据后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围。或者,
根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围,根据后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围。或者,
根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围,根据后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。
进一步地,在本发明实施例的一种可能的实现方式中,第二识别模块709用于根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯;根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。
进一步地,在本发明实施例的一种可能的实现方式中,控制模块706用于根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行制动调整。或者,
根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统不进行制动调整。或者,
根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统提前进行调整,和/或,以使主体车辆的车灯系统提醒后方目标车辆。
第四获取模块710用于根据前方目标车辆范围或前方车灯识别区域获取前方目标车辆方位角。
第五获取模块711用于获取恒载频雷达的中频信号,根据中频信号获取前方雷达目标的相对速度和方位角。
校准模块712用于根据前方目标车辆方位角、前方雷达目标的相对速度和方位角获取前方目标车辆的相对速度,根据识别的前方目标车辆对恒载频雷达进行自动校准。
需要说明的是,前述对车辆行驶自动控制方法实施例的解释说明也适用于本发明实施例的车辆行驶自动控制装置,此处不再赘述。
综上所述,本发明实施例的车辆行驶自动控制装置,首先从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行巡航控制。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (24)
1.一种车辆行驶自动控制方法,其特征在于,包括:
从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;
根据所述第一图像获取前方公路车道线,根据所述第三图像获取后方公路车道线;
根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;
根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆;
根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行巡航控制;
所述根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆,包括:
对所有前方车辆识别范围标记前方本车道和前方非本车道的标签;
根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆;
根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆;
根据两两组合的前方车辆识别范围识别前方变道目标车辆;
对所有后方车辆识别范围标记后方本车道和后方非本车道的标签;
根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆;
根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆;
根据两两组合的后方车辆识别范围识别后方变道目标车辆。
2.如权利要求1所述的方法,其特征在于,所述从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,包括:
从前置3D相机的图像传感器获取主体车辆前方环境的第一图像;
从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像;
从后置3D相机的图像传感器获取主体车辆后方环境的第三图像;
从后置3D相机的飞行时间传感器获取主体车辆后方环境的第四图像。
3.如权利要求1所述的方法,其特征在于,所述根据所述第一图像获取前方公路车道线,包括:
当所述第一图像为亮度图像,根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线;或者,
当所述第一图像为色彩图像,将所述色彩图像转换为亮度图像,根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线。
4.如权利要求3所述的方法,其特征在于,所述根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线,包括:
根据所述第一图像的亮度信息和预设的亮度阈值创建所述前方公路车道线的二值图像;
根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;
根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
5.如权利要求1所述的方法,其特征在于,所述根据所述第三图像获取后方公路车道线,包括:
当所述第三图像为亮度图像,根据所述第三图像中后方公路车道线与路面的亮度差异识别所述后方公路车道线;或者,
当所述第三图像为色彩图像,将所述色彩图像转换为亮度图像,根据所述第三图像中后方公路车道线与路面的亮度差异识别所述后方公路车道线。
6.如权利要求5所述的方法,其特征在于,所述根据所述第三图像中后方公路车道线与路面的亮度差异识别所述后方公路车道线,包括:
根据所述第三图像的亮度信息和预设的亮度阈值创建所述后方公路车道线的二值图像;
根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;
根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
7.如权利要求1所述的方法,其特征在于,所述根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆,包括:
采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别;
采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。
8.如权利要求1所述的方法,其特征在于,还包括:
根据所述前方目标车辆生成前方目标车辆范围,根据所述后方目标车辆生成后方目标车辆范围;
根据所述第一图像和所述第二图像之间的交织映射关系将所述前方目标车辆范围映射至所述第一图像中生成前方车灯识别区域,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方目标车辆范围映射至所述第三图像中生成后方车灯识别区域;
根据所述前方车灯识别区域识别相应前方目标车辆的转向灯,根据所述后方车灯识别区域识别相应后方目标车辆的转向灯;
所述根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行巡航控制,包括:
根据所述前方目标车辆和所述后方目标车辆的运动参数以及转向灯对所述主体车辆的运动参数进行巡航控制。
9.如权利要求8所述的方法,其特征在于,所述根据所述前方目标车辆生成前方目标车辆范围,根据所述后方目标车辆生成后方目标车辆范围,包括:
根据所述前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围;或者,
根据所述前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围;或者,
根据所述前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。
10.如权利要求8所述的方法,其特征在于,所述根据所述前方车灯识别区域识别相应前方目标车辆的转向灯,根据所述后方车灯识别区域识别相应后方目标车辆的转向灯,包括:
根据所述前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯;
根据所述后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。
11.如权利要求8所述的方法,其特征在于,所述根据所述前方目标车辆和所述后方目标车辆的运动参数以及转向灯对所述主体车辆的运动参数进行巡航控制,包括:
根据所述前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使所述主体车辆的运动参数控制系统提前进行制动调整;或者,
根据所述前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使所述主体车辆的运动参数控制系统不进行制动调整;或者,
根据所述后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使所述主体车辆的运动参数控制系统提前进行调整,和/或,以使所述主体车辆的车灯系统提醒后方目标车辆。
12.如权利要求1-11任一所述的方法,其特征在于,所述方法还包括:
根据所述前方目标车辆范围或前方车灯识别区域获取前方目标车辆方位角;
获取恒载频雷达的中频信号,根据中频信号获取前方雷达目标的相对速度和方位角;
根据前方目标车辆方位角、前方雷达目标的相对速度和方位角获取前方目标车辆的相对速度,根据识别的前方目标车辆对恒载频雷达进行自动校准。
13.一种车辆行驶自动控制装置,其特征在于,包括:
第一获取模块,用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像,从后置3D相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;
第二获取模块,用于根据所述第一图像获取前方公路车道线;
第三获取模块,用于根据所述第三图像获取后方公路车道线;
第一生成模块,用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;
第一识别模块,用于根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆;
控制模块,用于根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行巡航控制;
所述第一识别模块用于:
对所有前方车辆识别范围标记前方本车道和前方非本车道的标签;
根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆;
根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆;
根据两两组合的前方车辆识别范围识别前方变道目标车辆;
对所有后方车辆识别范围标记后方本车道和后方非本车道的标签;
根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆;
根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆;
根据两两组合的后方车辆识别范围识别后方变道目标车辆。
14.如权利要求13所述的装置,其特征在于,所述第一获取模块用于:
从前置3D相机的图像传感器获取主体车辆前方环境的第一图像;
从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像;
从后置3D相机的图像传感器获取主体车辆后方环境的第三图像;
从后置3D相机的飞行时间传感器获取主体车辆后方环境的第四图像。
15.如权利要求13所述的装置,其特征在于,所述第二获取模块包括:
第一识别单元,用于当所述第一图像为亮度图像,根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线;或者,
第一转换单元,用于当所述第一图像为色彩图像,将所述色彩图像转换为亮度图像,所述第一识别单元用于根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线。
16.如权利要求15所述的装置,其特征在于,所述第一识别单元具体用于:
根据所述第一图像的亮度信息和预设的亮度阈值创建所述前方公路车道线的二值图像;
根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;
根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
17.如权利要求13所述的装置,其特征在于,所述第三获取模块包括:
第二识别单元,用于当所述第三图像为亮度图像,根据所述第三图像中后方公路车道线与路面的亮度差异识别所述后方公路车道线;或者,
第二转换单元,用于当所述第三图像为色彩图像,将所述色彩图像转换为亮度图像,所述第二识别单元用于根据所述第三图像中后方公路车道线与路面的亮度差异识别所述后方公路车道线。
18.如权利要求17所述的装置,其特征在于,所述第二识别单元具体用于:
根据所述第三图像的亮度信息和预设的亮度阈值创建所述后方公路车道线的二值图像;
根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;
根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。
19.如权利要求13所述的装置,其特征在于,所述第一识别模块还用于:
采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别;
采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。
20.如权利要求13所述的装置,其特征在于,还包括:
第二生成模块,用于根据所述前方目标车辆生成前方目标车辆范围,根据所述后方目标车辆生成后方目标车辆范围;
第三生成模块,用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方目标车辆范围映射至所述第一图像中生成前方车灯识别区域,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方目标车辆范围映射至所述第三图像中生成后方车灯识别区域;
第二识别模块,用于根据所述前方车灯识别区域识别相应前方目标车辆的转向灯,根据所述后方车灯识别区域识别相应后方目标车辆的转向灯;
所述控制模块用于:
根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数以及转向灯进行巡航控制。
21.如权利要求20所述的装置,其特征在于,所述第二生成模块用于:
根据所述前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围;或者,
根据所述前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围;或者,
根据所述前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围,根据所述后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。
22.如权利要求20所述的装置,其特征在于,所述第二识别模块用于:
根据所述前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯;
根据所述后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。
23.如权利要求20所述的装置,其特征在于,所述控制模块用于:
根据所述前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使所述主体车辆的运动参数控制系统提前进行制动调整;或者,
根据所述前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使所述主体车辆的运动参数控制系统不进行制动调整;或者,
根据所述后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使所述主体车辆的运动参数控制系统提前进行调整,和/或,以使所述主体车辆的车灯系统提醒后方目标车辆。
24.如权利要求13-23任一所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于根据所述前方目标车辆范围或前方车灯识别区域获取前方目标车辆方位角;
第五获取模块,用于获取恒载频雷达的中频信号,根据中频信号获取前方雷达目标的相对速度和方位角;
校准模块,用于根据前方目标车辆方位角、前方雷达目标的相对速度和方位角获取前方目标车辆的相对速度,根据识别的前方目标车辆对恒载频雷达进行自动校准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710120432.XA CN108528431B (zh) | 2017-03-02 | 2017-03-02 | 车辆行驶自动控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710120432.XA CN108528431B (zh) | 2017-03-02 | 2017-03-02 | 车辆行驶自动控制方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108528431A CN108528431A (zh) | 2018-09-14 |
CN108528431B true CN108528431B (zh) | 2020-03-31 |
Family
ID=63489033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710120432.XA Active CN108528431B (zh) | 2017-03-02 | 2017-03-02 | 车辆行驶自动控制方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108528431B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109703556B (zh) * | 2018-12-20 | 2021-01-26 | 斑马网络技术有限公司 | 驾驶辅助方法及设备 |
US10967853B2 (en) | 2019-02-11 | 2021-04-06 | Ford Global Technologies, Llc | Enhanced collision mitigation |
US11440471B2 (en) * | 2019-03-21 | 2022-09-13 | Baidu Usa Llc | Automated warning system to detect a front vehicle slips backwards |
US11673533B2 (en) * | 2019-06-19 | 2023-06-13 | Ford Global Technologies, Llc | Vehicle sensor enhancements |
CN110723072B (zh) * | 2019-10-09 | 2021-06-01 | 卓尔智联(武汉)研究院有限公司 | 辅助驾驶方法、装置、计算机设备和存储介质 |
CN112141103A (zh) * | 2020-08-31 | 2020-12-29 | 恒大新能源汽车投资控股集团有限公司 | 一种控制车辆跟随前车行驶的方法和系统 |
CN112257535B (zh) * | 2020-10-15 | 2022-04-08 | 天目爱视(北京)科技有限公司 | 一种躲避物体的三维匹配的设备及方法 |
CN113085722B (zh) * | 2021-06-09 | 2021-10-22 | 禾多科技(北京)有限公司 | 车辆控制方法、电子设备和计算机可读介质 |
CN113362649A (zh) * | 2021-06-30 | 2021-09-07 | 安诺(深圳)创新技术有限公司 | 一种基于车联网的辅助驾驶系统 |
CN114023109B (zh) * | 2021-11-03 | 2023-06-30 | 中国矿业大学 | 一种用于移动罐车防追尾的预警系统 |
CN114475665B (zh) * | 2022-03-17 | 2024-07-02 | 北京小马睿行科技有限公司 | 自动驾驶车辆的控制方法、控制装置及自动驾驶系统 |
CN114882709B (zh) * | 2022-04-22 | 2023-05-30 | 四川云从天府人工智能科技有限公司 | 车辆拥堵检测方法、装置及计算机存储介质 |
CN115923781B (zh) * | 2023-03-08 | 2023-07-04 | 江铃汽车股份有限公司 | 一种智能网联乘用车自动避障方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011014081A1 (de) * | 2011-03-16 | 2012-09-20 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Verfahren zum Erkennen eines Abbiegemanövers |
US9586584B2 (en) * | 2013-09-11 | 2017-03-07 | Robert Bosch Gmbh | Modifying adaptive cruise control to mitigate rear-end collisions |
CN104952254B (zh) * | 2014-03-31 | 2018-01-23 | 比亚迪股份有限公司 | 车辆识别方法、装置和车辆 |
JP6384949B2 (ja) * | 2014-07-01 | 2018-09-05 | 株式会社Subaru | 車両用運転支援装置 |
CN104724117A (zh) * | 2015-02-05 | 2015-06-24 | 温州大学 | 一种带有后方车辆预警功能的自适应在线调整车速系统 |
-
2017
- 2017-03-02 CN CN201710120432.XA patent/CN108528431B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108528431A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108528431B (zh) | 车辆行驶自动控制方法和装置 | |
CN108528448B (zh) | 车辆行驶自动控制方法和装置 | |
US12214717B2 (en) | Vehicular multi-sensor system using a camera and lidar sensor to detect objects | |
CN108528433B (zh) | 车辆行驶自动控制方法和装置 | |
CN107886770B (zh) | 车辆识别方法、装置及车辆 | |
CN108528432B (zh) | 车辆行驶自动控制方法和装置 | |
CN108536134B (zh) | 车辆行驶自动控制方法和装置 | |
EP2910971B1 (en) | Object recognition apparatus and object recognition method | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP5855272B2 (ja) | ブレーキ状況を認識する方法および装置 | |
US20090254260A1 (en) | Full speed range adaptive cruise control system | |
US20080007429A1 (en) | Visibility condition determining device for vehicle | |
JP5313638B2 (ja) | 車両用前照灯装置 | |
JP2009071836A (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
JP5361901B2 (ja) | 前照灯制御装置 | |
US20230415734A1 (en) | Vehicular driving assist system using radar sensors and cameras | |
US12106583B2 (en) | Vehicular lane marker determination system with lane marker estimation based in part on a LIDAR sensing system | |
JP6699344B2 (ja) | 逆走車検出装置、逆走車検出方法 | |
CN103596805A (zh) | 用于为灯光控制单元提供信号的方法和设备 | |
CN107886729B (zh) | 车辆识别方法、装置及车辆 | |
CN108528449B (zh) | 车辆行驶自动控制方法和装置 | |
CN107886036B (zh) | 车辆控制方法、装置及车辆 | |
CN108528450B (zh) | 车辆行驶自动控制方法和装置 | |
JP7084223B2 (ja) | 画像処理装置および車両用灯具 | |
JP5643877B2 (ja) | 車両用前照灯装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |