CN109727470A - 一种分布式智能网联汽车交叉路口复杂场景通行决策方法 - Google Patents
一种分布式智能网联汽车交叉路口复杂场景通行决策方法 Download PDFInfo
- Publication number
- CN109727470A CN109727470A CN201910015069.4A CN201910015069A CN109727470A CN 109727470 A CN109727470 A CN 109727470A CN 201910015069 A CN201910015069 A CN 201910015069A CN 109727470 A CN109727470 A CN 109727470A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- intersection
- speed
- decision
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000013209 evaluation strategy Methods 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012152 algorithmic method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提出的一种分布式智能网联汽车交叉路口复杂场景通行决策方法,属于智能交通技术领域。与传统基于规则或强化学习的无信号灯交叉路口决策方法不同,本发明引入了车辆违反交通规则检测机制,实现了规则与强化学习方法的融合。首先采用隐式曲线族的车辆违章检测算法判断交叉路口是否有车辆违反交通规则;当车辆都遵守交通规则时,采用规则方法进行交叉路口车辆通行决策;反之则采用基于强化学习的方法进行交叉路口车辆通行决策。本发明实现了遵守与违反交通规则混杂的复杂交通场景下的无信号灯交叉路口智能网联汽车自主通行决策,为提高复杂环境下的交通安全和交叉路口通行效率提供技术支撑。
Description
技术领域
本发明属于智能交通技术领域,特别涉及一种分布式智能网联汽车交叉路口复杂场景通行决策方法。
背景技术
相关报告显示2016年我国因道路交通事故造成的人员伤亡位居世界前列,其直接造成的经济损失高达数十亿。文献(任书杭.基于TCT的城市道路十字交叉口安全评价研究[D].长安大学,2016.)记录了对我国某代表性城市进行的交通事故数据调查,调查结果显示城市交叉路口是交通事故第一高发路段。该文献通过对某城市15个交叉口进行实地调研,结果显示行人与汽车驾驶员违反交通规则是交叉路口处交通事故高发的根本原因。
智能网联汽车(Intelligent Connected Vehicle,ICV)是指搭载有先进的车载传感器、控制器、执行器等装置,并融合V2X通信(Vehicle-to-Everything,V2X,是指车辆与外界进行信息交换),实现车与人、车、路等信息交换共享,实现安全、舒适、节能、高效行驶,并最终可替代人来操作的新一代汽车。ICV是汽车产业的必然发展趋势。交叉路口通行决策是指ICV通过信息搜集、处理、最后做出车辆以什么速度通过交叉路口的决定。进行通行决策是ICV通过交叉路口的首要任务。因此,研究遵守与违反交通规则混杂场景下的复杂交叉路口ICV通行决策,具有非常重要的理论意义和工程价值。
交叉路口通行决策的一个主要研究课题是无信号控制的分布式交叉路口通行决策,基于规则的分布式交叉路口决策已经取得一系列研究成果,主要包括基于可接受间隙模型的方法、基于动态博弈的方法、基于冲突表的资源锁方法等。但是基于规则的分布式交叉路口决策只有在所有车辆都遵守交通规则的时候才能达到预期效果,当交叉路口存在违法交通规则车辆时,基于规则的分布式交叉路口决策效果并不十分理想。
强化学习又称再励学习,是一种重要的机器学习方法。近年来强化学习也被应用于交叉路口的通行决策。但是强化学习需要相对较大的计算量很难保证ICV全程在线处理。
针对车辆违反交通规则(中华人民共和国交通道路安全法)的检测方法也取得了一定研究成果(如参考文献1,2,3)。目前违反交通规则的检测方法主要应用于为公安交通管理局对违反交通规则行为识别提供辅助参考,但是没有直接应用于交叉路口的自动驾驶车辆自主决策之中。
发明内容
本发明的目的是针对上述需求,提出一种分布式智能网联汽车交叉路口复杂场景通行决策方法,本发明方法在全自动驾驶的条件下,针对无信号灯交叉路口,将车辆违反交通规则的检测机制引入到交叉路口的自动驾驶车辆自主决策之中,实现了规则与学习决策方法的融合,为提高复杂环境下的交通安全和交叉路口通行效率提供技术支撑。
为了实现上述目的,本发明采用如下技术方案:
本发明提出的一种分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,该方法包括1)系统平台搭建与参数设定、2)车辆违反交通规则检测判定、3)基于规则方法的交叉路口通行决策判定、4)基于强化学习的交叉路口通行决策判定四部分,具体实现过程如下:
1)系统平台搭建与参数设定,具体包括:
1-1)系统平台搭建:
在交叉路口搭建车辆状态检测及V2X广播系统,包括路侧服务器、摄像机和V2X通信设备;其中,摄像机安装在交叉路口每个车道来车方向的上方,保证所有摄像机覆盖包含交叉路口的所有区域;所述路侧服务器安装于交叉路口的路侧,与各台摄像机连接,用于接收所有摄像机采集的图像、处理包含图像在内的所有数据;V2X通信设备装载在交叉路口范围内的每一辆智能网联汽车上,用于接收通过路侧服务器传输的交叉路口地图与交叉路口范围内的全局车辆状态,该全局车辆状态包括交叉路口范围内的所有车辆的车牌号、车辆坐标、车辆速度、车头朝向角度、和采集时间;
1-2)参数设定:
设定循环周期T=1/f,其中,f为智能网联汽车通过V2X通信设备接收交叉路口地图与全局车辆状态的频率;
设定交叉路口大地坐标系为以交叉路口几何中心为零点,自西向东为X轴,自南向北为Y轴,所建立的右手笛卡尔直角坐标系;
设定如下四种车速:a)车速1是根据实际交通情况,选取的一个速度大于10km/h且小于20km/h的车速;b)车速2是根据实际交通情况,选取的一个速度大于20km/h且小于道路最高限速的车速;c)车速3是基于学习方法的交叉路口通行决策输出的自车速度指令,该指令大于等于0km/h且小于等于20km/h;d)停车,即车辆速度为0km/h;
2)数据采集与车辆违反交通规则检测判断,具体包括以下步骤:
2-1)时钟以频率f生成触发信号开始一个新的循环周期;
2-2)新的循环周期开始时,自车通过V2X通信设备以频率f接收交叉路口地图与全局车辆状态;
2-3)将通过步骤2-2)得到的交叉路口地图与全局车辆状态作为输入,将交叉路口范围内的每个车辆是否遵守交通规则作为输出,根据违反交通规则检测算法判断交叉路口范围内是否有车辆违反交通规则;当交叉路口范围内的所有车辆都遵守交通规则时,执行步骤3-1);当交叉路口范围内至少存在一辆车辆违反交通规则时,执行步骤4-1);其中,所述违反交通规则检测算法包括隐式曲线族的车辆违章检测算法、基于计算机视觉技术的车辆违章检测算法方法和基于车辆轨迹的交通违法行为检测方法;
3)基于规则方法的交叉路口通行决策判定,具体包括以下步骤:
3-1)通过自车在交叉路口大地坐标系中的坐标与交叉路口地图判断自车是否在交叉路口范围内:当自车坐标在交叉路口范围内,输出自车车速指令速度1,本循环周期计算结束,智能网联汽车按照指令速度1行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标没有在交叉路口范围内,执行步骤3-2);
3-2)在交叉路口大地坐标系下,定义阈值时间为自车坐标与交叉路口停止线的垂直距离除以自车速度,并定义阈值时间小于2/f的情况为自车坐标接近交叉路口,反之称为自车坐标未接近交叉路口;对自车坐标是否接近交叉路口进行判断:当自车坐标未接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,执行步骤3-3);
3-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于规则方法的交叉路口决策对自车进行交叉路口通行决策;然后根据基于规则方法的交叉路口决策结果,输出自车的车速指令为车速1或停车,本循环周期计算结束,智能网联汽车按照指令速度 1行驶或停车,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;其中,所述基于规则方法的交叉路口决策包括基于可接受间隙模型的方法、基于动态博弈的控制方法、基于冲突表的资源锁方法和基于车辆通行规则库方法;
4)基于强化学习的交叉路口通行决策,具体包括以下步骤:
4-1)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,对自车坐标是否在交叉路口范围内进行判断:当自车坐标没有在交叉路口范围内,执行步骤4-2);当自车坐标在交叉路口范围内,执行步骤4-3);
4-2)采用步骤3-2)中定义的自车坐标是否接近交叉路口,对自车坐标是否接近交叉路口进行判断:当自车坐标没有接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,输出自车车速指令停车,即车速为0m/s,本循环周期计算结束,智能网联汽车停车,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;
4-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于时序差分方法的强化学习对自车进行交叉路口通行决策;然后根据基于时序差分方法的强化学习得到的交叉路口决策结果,输出自车的车速指令为车速3,本循环周期计算结束,智能网联汽车按照指令车速3行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;其中,所述基于时序差分方法的强化学习包括同策略的Sarsa算法和异策略的Q-learning算法。
本发明特点及有益效果:与传统基于规则的分布式交叉路口决策或基于强化学习的交叉路口决策方法不同,本发明在全自动驾驶的条件下,针对无信号灯交叉路口,将车辆违反交通规则的检测机制引入到交叉路口的自动驾驶车辆自主决策之中,提出了一种分布式智能网联汽车交叉路口复杂场景通行决策方法,实现了规则与学习决策方法的融合。采用车辆违反交通规则检测机制判断交叉路口车辆是否违法交通规则;当车辆遵守交通规则时,采用规则方法进行交叉路口车辆通行决策;当交叉路口存在违反交通规则的车辆时,采用学习方法进行交叉路口车辆通行决策。本发明实现了遵守与违反交通规则混杂的复杂交通场景下的无信号灯交叉路口智能网联汽车自主通行决策,为提高复杂环境下的交通安全和交叉路口通行效率提供技术支撑。
附图说明
图1是本发明实施例的一种分布式智能网联汽车交叉路口复杂场景通行决策方法的流程示意图。
具体实施方式
下面结合附图及实施例对本发明的技术方案详细说明如下:
本发明提出的一种分布式智能网联汽车交叉路口复杂场景通行决策方法,其流程图如图1所示,该方法包括1)系统平台搭建与参数设定、2)车辆违反交通规则检测判定、3)基于规则方法的交叉路口通行决策判定、4)基于强化学习的交叉路口通行决策判定四部分,具体实现过程如下:
1)系统平台搭建与参数设定,具体包括:
1-1)系统平台搭建:
在交叉路口搭建车辆状态检测及V2X广播系统,包括路侧服务器、摄像机和V2X通信设备;其中,摄像机安装在交叉路口每个车道来车方向的上方,保证所有摄像机覆盖包含交叉路口的所有区域;所述路侧服务器安装于交叉路口的路侧,与各台摄像机连接,用于接收所有摄像机采集的图像、处理包含图像在内的所有数据;V2X通信设备装载在交叉路口范围内的每一辆智能网联汽车上,用于接收通过路侧服务器传输的交叉路口地图与交叉路口范围内的全局车辆状态,该全局车辆状态包括交叉路口范围内的所有车辆的车牌号、车辆坐标、车辆速度、车头朝向角度、和采集时间;
通过搭建的系统平台,用于实时检测交叉路口范围内的全局车辆状态(即所有车辆的车牌号、车辆坐标、车辆速度、车头朝向角度、和采集时间等信息,并通过V2X通信设施与ICV进行通信,将交叉路口地图(即交叉路口车辆可行驶道路的坐标)与全局车辆状态广播给交叉路口范围内的每一辆ICV。交叉路口范围内的每一辆ICV都安装有车载V2X 设备,用于接收交叉路口地图与交叉路口范围内所有车辆的车牌号、车辆坐标、车辆速度、车头朝向角度、和采集时间等信息。
1-2)参数设定:
设定循环周期T=1/f,其中,f为ICV通过车载V2X通信设备接收交叉路口地图与全局车辆状态的频率,循环周期T的值根据实际情况选择,一般取值范围在10ms和200ms 之间。
设定交叉路口大地坐标系为以交叉路口几何中心为零点,自西向东为X轴,自南向北为Y轴,所建立的右手笛卡尔直角坐标系。
设定如下四种车速:a)车速1是根据实际交通情况,选取的一个速度大于10km/h且小于20km/h的车速;b)车速2是根据实际交通情况,选取的一个速度大于20km/h且小于道路最高限速的车速;c)车速3是基于学习方法的交叉路口通行决策判定输出的自车速度指令,该指令大于等于0km/h且小于等于20km/h;d)停车,即车辆速度为0km/h。
2)数据采集与车辆违反交通规则检测判断,具体包括以下步骤:
2-1)时钟以频率f生成触发信号开始一个新的循环周期。
2-2)新的循环周期开始时,自车通过V2X通信设备以频率f接收交叉路口地图与全局车辆状态;
2-3)将通过步骤2-2)得到的交叉路口地图与全局车辆状态作为输入,将交叉路口范围内的每个车辆是否遵守交通规则作为输出,根据违反交通规则检测算法判断交叉路口范围内是否有车辆违反交通规则(即违反中华人民共和国交通道路安全法);当交叉路口范围内的所有车辆都遵守交通规则时,执行步骤3-1);当交叉路口范围内至少存在一辆车辆违反交通规则时,执行步骤4-1);其中,所述违反交通规则检测算法主要包括隐式曲线族的车辆违章检测算法(具体可参见参考文献1)、基于计算机视觉技术的车辆违章检测算法方法(具体可参见参考文献2)、基于车辆轨迹的交通违法行为检测方法(具体可参见参考文献3)等;
本实施例采用隐式曲线族的车辆违章检测算法,具体实现方式如下:
2-3-1)在交叉路口大地坐标系上,根据交叉路口实际情况,采用隐式曲线族F描述交叉路口地图上的不同区域,其中F={fi(x,y)},i=1,2,…,n,i表示交叉路口地图上的第i个区域, (x,y)表示车辆位置,隐式曲线fi(x,y)>0、fi(x,y)=0、fi(x,y)<0分别表示车辆在第i个隐式曲线 fi(x,y)内、车辆在第i个隐式曲线fi(x,y)上、车辆在第i个隐式曲线fi(x,y)外;
2-3-2)按照中华人民共和国交通道路安全法设定所有违章规则Rule(j),其中,j表示中华人民共和国交通道路安全法所规定的第j种车辆违章情况;设定第1帧时隐式曲线的初值为0,即F={fi(x,y)=0},i=1,2,…,n;然后根据步骤2-2)接收到的交叉路口地图与全局车辆状态,计算本次循环周期的隐式曲线族F的值,判断上次循环周期和本次循环周期的隐式曲线族F的值是否满足Rule(j);如果满足Rule(j)则违反了相应的交通规则,反之则不违反相应的交通规则;
现以直行左拐违章为例进行说明:设定隐式曲线f1(x,y)表示区域1只允许直行,设定隐式曲线f2(x,y)表示如果车辆从区域1左拐则进入的区域2,设定直行左拐违章为Rule(1): f1(x,y)>=0→f2(x,y)>=0,即从上次循环周期跳转到本次循环周期时隐式曲线的值发生的改变;然后根据步骤2-2)接收到的交叉路口地图与全局车辆状态,判断上次循环周期和本次循环周期车辆是否满足车辆直行左拐违章Rule(1);如果满足则车辆直行左拐违章,反之则没有车辆直行左拐违章;
3)基于规则方法的交叉路口通行决策判定,具体包括以下步骤:
3-1)通过自车在交叉路口大地坐标系中的坐标与交叉路口地图判断自车是否在交叉路口范围内:当自车坐标在交叉路口范围内,输出自车车速指令速度1,本循环周期计算结束,然后智能网联汽车按照指令速度1行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标没有在交叉路口范围内,执行步骤3-2);
3-2)在交叉路口大地坐标系下,定义阈值时间为自车坐标与交叉路口停止线的垂直距离除以自车速度,并定义阈值时间小于2/f的情况为自车坐标接近交叉路口,反之称为自车坐标未接近交叉路口。对自车坐标是否接近交叉路口进行判断。当自车坐标未接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,然后智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,执行步骤3-3);
3-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于规则方法的交叉路口决策对自车进行交叉路口通行决策;然后根据基于规则方法的交叉路口决策结果,输出自车的车速指令为车速1,本循环周期计算结束,然后智能网联汽车按照指令速度1行驶或停车,返回步骤2-1),等待时钟生成触发信号开始新的周循环期;其中,所述基于规则方法的交叉路口决策主要包括基于可接受间隙模型的方法、基于动态博弈的控制方法、基于冲突表的资源锁方法、基于车辆通行规则库方法等;
本实施例基于规则方法的交叉路口决策采用基于车辆通行规则库方法,具体实现方式如下:设定救护车和消防车的优先权最高,其余种类车辆的优先权都相同且低于救护车和消防车的优先权,;设定车辆减速之后的车速指令为速度1;然后采用基于车辆通行规则库方法进行计算(基于车辆通行规则库方法具体可参见参考文献4,第129页,图6.9);
4)基于强化学习的交叉路口通行决策,具体包括以下步骤:
4-1)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,对自车坐标是否在交叉路口范围内进行判断。当自车坐标没有在交叉路口范围内,执行步骤4-2);当自车坐标在交叉路口范围内,执行步骤4-3);
4-2)采用步骤3-3)中定义的自车坐标是否接近交叉路口,对自车坐标是否接近交叉路口进行判断。当自车坐标没有接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,然后智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,输出自车车速指令停车,即车速为 0m/s,本循环周期计算结束,智能网联汽车停车,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;
4-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于时序差分方法的强化学习对自车进行交叉路口通行决策;然后根据基于时序差分方法的强化学习得到的交叉路口决策结果,输出自车的车速指令为车速3,本循环周期计算结束,智能网联汽车按照指令车速3行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;其中,所述基于时序差分方法的强化学习包括同策略的Sarsa算法和异策略的Q-learning算法;
本实施例采用同策略的Sarsa算法,具体实现方式如下:
以a米为距离间隔,0.5m≤a≤2m,分别沿平行于交叉路口大地坐标系X轴和Y轴画直线,将接收到的交叉路口地图划分为多个网格,将交叉路口范围内的所有网格的集合作为状态集S;以bkm/h为速度间隔,0km/h≤b≤10km/h,在0km/h到20km/h之间选取多个速度组成的集合作为动作集A;定义设定轨迹为符合中华人民共和国交通道路安全法且使得智能网联汽车通过交叉路口的一组轨迹点。自车沿着设定轨迹的回报为r1,0<r1 <100;自车偏离设定轨迹的回报为r2,-50<r2<0;设定自车与其他车辆发生碰撞的回报为r3,-100<r3<-50;设定衰减因子γ,0<γ<1;设定评估策略和行动策略为贪婪策略;然后根据同策略的Sarsa算法进行运算(同策略Sarsa算法具体可参见参考文献5,第79 页,图5.6),将计算结果设定为输出自车的车速指令,也就是速度3。
在一个周期内,本专利方法最多输出一个车速指令,即停车、车速1、车速2、车速3中的一个指令;然后ICV响应车速指令,按照指令所给车速驱动ICV通过交叉路口,直到 ICV离开交叉路口区域。
与传统基于规则的分布式交叉路口决策或基于强化学习的交叉路口决策方法不同,本发明在全自动驾驶的条件下,针对无信号灯交叉路口,将车辆违反交通规则的检测机制引入到交叉路口的自动驾驶车辆自主决策之中,提出了一种分布式智能网联汽车交叉路口通行决策方法,实现了规则与学习决策方法的融合。本发明实现了遵守与违反交通规则混杂的复杂交通场景下的无信号灯交叉路口智能网联汽车自主通行决策,为提高复杂环境下的交通安全和交叉路口通行效率提供技术支撑。
以上所述方案例只是对本发明的优先实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的变形和改进,均应落入本发明的权利要求书确定的保护范围内。
参考文献说明:
参考文献1:马丽文,郭玉坤,李金屏.一种利用隐式曲线族的车辆违章检测算法[J]. 西安电子科技大学学报(自然科学版),2016,43(2):139-144.
参考文献2:智能交通中的违章识别算法研究[D].哈尔滨工业大学,2014.
参考文献3:贾永华,张晓,朱江.一种基于车辆轨迹的交通违法行为检测方法[J].中国公共安全,2012(11):196-200.
参考文献4:鲁光泉,王云鹏,田大新.车车协同安全控制技术[M].科学出版社,2014. (第129页,图6.9无信号交叉路口驾驶行为流程图).
参考文献5:郭宪,方勇纯.深入浅出强化学习[M],电子工业出版社,2018(第79页,图5.6同策略Sarsa强化学习算法)。
Claims (5)
1.一种分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,该方法包括1)系统平台搭建与参数设定、2)车辆违反交通规则检测判定、3)基于规则方法的交叉路口通行决策判定、4)基于强化学习的交叉路口通行决策判定四部分,具体实现过程如下:
1)系统平台搭建与参数设定,具体包括:
1-1)系统平台搭建:
在交叉路口搭建车辆状态检测及V2X广播系统,包括路侧服务器、摄像机和V2X通信设备;其中,摄像机安装在交叉路口每个车道来车方向的上方,保证所有摄像机覆盖包含交叉路口的所有区域;所述路侧服务器安装于交叉路口的路侧,与各台摄像机连接,用于接收所有摄像机采集的图像、处理包含图像在内的所有数据;V2X通信设备装载在交叉路口范围内的每一辆智能网联汽车上,用于接收通过路侧服务器传输的交叉路口地图与交叉路口范围内的全局车辆状态,该全局车辆状态包括交叉路口范围内的所有车辆的车牌号、车辆坐标、车辆速度、车头朝向角度、和采集时间;
1-2)参数设定:
设定循环周期T=1/f,其中,f为智能网联汽车通过V2X通信设备接收交叉路口地图与全局车辆状态的频率;
设定交叉路口大地坐标系为以交叉路口几何中心为零点,自西向东为X轴,自南向北为Y轴,所建立的右手笛卡尔直角坐标系;
设定如下四种车速:a)车速1是根据实际交通情况,选取的一个速度大于10km/h且小于20km/h的车速;b)车速2是根据实际交通情况,选取的一个速度大于20km/h且小于道路最高限速的车速;c)车速3是基于学习方法的交叉路口通行决策输出的自车速度指令,该指令大于等于0km/h且小于等于20km/h;d)停车,即车辆速度为0km/h;
2)数据采集与车辆违反交通规则检测判断,具体包括以下步骤:
2-1)时钟以频率f生成触发信号开始一个新的循环周期;
2-2)新的循环周期开始时,自车通过V2X通信设备以频率f接收交叉路口地图与全局车辆状态;
2-3)将通过步骤2-2)得到的交叉路口地图与全局车辆状态作为输入,将交叉路口范围内的每个车辆是否遵守交通规则作为输出,根据违反交通规则检测算法判断交叉路口范围内是否有车辆违反交通规则;当交叉路口范围内的所有车辆都遵守交通规则时,执行步骤3-1);当交叉路口范围内至少存在一辆车辆违反交通规则时,执行步骤4-1);其中,所述违反交通规则检测算法包括隐式曲线族的车辆违章检测算法、基于计算机视觉技术的车辆违章检测算法方法和基于车辆轨迹的交通违法行为检测方法;
3)基于规则方法的交叉路口通行决策判定,具体包括以下步骤:
3-1)通过自车在交叉路口大地坐标系中的坐标与交叉路口地图判断自车是否在交叉路口范围内:当自车坐标在交叉路口范围内,输出自车车速指令速度1,本循环周期计算结束,智能网联汽车按照指令速度1行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标没有在交叉路口范围内,执行步骤3-2);
3-2)在交叉路口大地坐标系下,定义阈值时间为自车坐标与交叉路口停止线的垂直距离除以自车速度,并定义阈值时间小于2/f的情况为自车坐标接近交叉路口,反之称为自车坐标未接近交叉路口;对自车坐标是否接近交叉路口进行判断:当自车坐标未接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,执行步骤3-3);
3-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于规则方法的交叉路口决策对自车进行交叉路口通行决策;然后根据基于规则方法的交叉路口决策结果,输出自车的车速指令为车速1或停车,本循环周期计算结束,智能网联汽车按照指令速度1行驶或停车,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;其中,所述基于规则方法的交叉路口决策包括基于可接受间隙模型的方法、基于动态博弈的控制方法、基于冲突表的资源锁方法和基于车辆通行规则库方法;
4)基于强化学习的交叉路口通行决策,具体包括以下步骤:
4-1)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,对自车坐标是否在交叉路口范围内进行判断:当自车坐标没有在交叉路口范围内,执行步骤4-2);当自车坐标在交叉路口范围内,执行步骤4-3);
4-2)采用步骤3-2)中定义的自车坐标是否接近交叉路口,对自车坐标是否接近交叉路口进行判断:当自车坐标没有接近交叉路口时,输出自车车速指令速度2,本循环周期计算结束,智能网联汽车按照指令速度2行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;当自车坐标接近交叉路口时,输出自车车速指令停车,即车速为0m/s,本循环周期计算结束,智能网联汽车停车,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;
4-3)根据步骤2-2)接收到的交叉路口地图与全局车辆状态,采用基于时序差分方法的强化学习对自车进行交叉路口通行决策;然后根据基于时序差分方法的强化学习得到的交叉路口决策结果,输出自车的车速指令为车速3,本循环周期计算结束,智能网联汽车按照指令车速3行驶,返回步骤2-1),等待时钟生成触发信号开始新的循环周期;其中,所述基于时序差分方法的强化学习包括同策略的Sarsa算法和异策略的Q-learning算法。
2.如权利要求1所述的分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,步骤2-3)中,所述违反交通规则检测算法采用隐式曲线族的车辆违章检测算法,具体实现过程如下:
2-3-1)在交叉路口大地坐标系上,根据交叉路口实际情况,采用隐式曲线族F描述交叉路口地图上的不同区域,其中F={fi(x,y)},i=1,2,…,n,i表示交叉路口地图上的第i个区域,(x,y)表示车辆位置,隐式曲线fi(x,y)>0、fi(x,y)=0、fi(x,y)<0分别表示车辆在第i个隐式曲线fi(x,y)内、车辆在第i个隐式曲线fi(x,y)上、车辆在第i个隐式曲线fi(x,y)外;
2-3-2)按照中华人民共和国交通道路安全法设定的所有违章规则Rule(j),其中,j表示中华人民共和国交通道路安全法所规定的第j种车辆违章情况;设定第1帧时隐式曲线的初值为0,即F={fi(x,y)=0},i=1,2,…,n;然后根据步骤2-2)接收到的交叉路口地图与全局车辆状态,计算本次循环周期的隐式曲线族F的值,判断上次循环周期和本次循环周期的隐式曲线族F的值是否满足Rule(j);如果满足Rule(j)则违反了相应的交通规则,反之则不违反相应的交通规则。
3.如权利要求1所述的分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,步骤3-3)中,所述基于规则方法的交叉路口决策采用基于车辆通行规则库方法,其中,设定救护车和消防车的优先权最高,其余种类车辆的优先权都相同且低于救护车和消防车的优先权,并设定车辆减速之后的车速指令为所述速度1。
4.如权利要求1所述的分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,步骤4-3)中,所述基于时序差分方法的强化学习采用同策略的Sarsa算法,具体实现方式如下:
以a米为距离间隔,0.5m≤a≤2m,分别沿平行于交叉路口大地坐标系X轴和Y轴画直线,将接收到的交叉路口地图划分为多个网格,将交叉路口范围内的所有网格的集合作为状态集S;以bkm/h为速度间隔,0km/h≤b≤10km/h,在0km/h到20km/h之间选取多个速度组成的集合作为动作集A;定义设定轨迹为符合中华人民共和国交通道路安全法且使得智能网联汽车通过交叉路口的一组轨迹点;自车沿着设定轨迹的回报为r1,10<r1<100;自车偏离设定轨迹的回报为r2,-50<r2<0;设定自车与其他车辆发生碰撞的回报为r3,-100<r3<-50;设定衰减因子γ,0<γ<1;设定评估策略和行动策略为贪婪策略;然后根据同策略的Sarsa算法进行运算,将计算结果设定为所述车速3。
5.如权利要求1~4中任意一项所述的分布式智能网联汽车交叉路口复杂场景通行决策方法,其特征在于,步骤1-2)中,设定的循环周期T取值范围在10ms和200ms之间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015069.4A CN109727470B (zh) | 2019-01-08 | 2019-01-08 | 一种分布式智能网联汽车交叉路口复杂场景通行决策方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015069.4A CN109727470B (zh) | 2019-01-08 | 2019-01-08 | 一种分布式智能网联汽车交叉路口复杂场景通行决策方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109727470A true CN109727470A (zh) | 2019-05-07 |
CN109727470B CN109727470B (zh) | 2020-09-11 |
Family
ID=66298875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910015069.4A Active CN109727470B (zh) | 2019-01-08 | 2019-01-08 | 一种分布式智能网联汽车交叉路口复杂场景通行决策方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109727470B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111605A (zh) * | 2019-06-12 | 2019-08-09 | 吉林大学 | 基于动态博弈的自动驾驶车辆出入口匝道行驶决策方法 |
CN110263709A (zh) * | 2019-06-19 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 驾驶决策挖掘方法和装置 |
CN110288847A (zh) * | 2019-06-28 | 2019-09-27 | 浙江吉利控股集团有限公司 | 一种自动驾驶决策方法、装置、系统、存储介质及终端 |
CN110444015A (zh) * | 2019-07-08 | 2019-11-12 | 清华大学 | 基于无信号十字路口分区的智能网联汽车速度决策方法 |
CN110473419A (zh) * | 2019-09-09 | 2019-11-19 | 重庆长安汽车股份有限公司 | 一种自动驾驶车辆在无信号灯交叉路口的通行方法 |
CN111833614A (zh) * | 2020-09-18 | 2020-10-27 | 得威科技(浙江)有限公司 | 交通违章自动识别方法、系统、电子设备及存储介质 |
CN112349094A (zh) * | 2020-09-27 | 2021-02-09 | 北京博研智通科技有限公司 | 一种无信号灯控制路口机动车通行效率评价方法及系统 |
CN112373472A (zh) * | 2021-01-14 | 2021-02-19 | 长沙理工大学 | 一种自动驾驶交叉口车辆进入时刻与行驶轨迹控制方法 |
CN113205693A (zh) * | 2020-01-31 | 2021-08-03 | 奥迪股份公司 | 用于运行交通信号设备的方法 |
CN113276884A (zh) * | 2021-04-28 | 2021-08-20 | 吉林大学 | 一种可变博弈模式的智能车交互决策通行方法及系统 |
CN113313957A (zh) * | 2021-05-30 | 2021-08-27 | 南京林业大学 | 基于增强型Dijkstra算法的无信号灯交叉路口车辆调度方法 |
CN114268369A (zh) * | 2021-12-20 | 2022-04-01 | 东南大学 | 一种基于可见光的车际网通信系统 |
CN114919581A (zh) * | 2022-05-11 | 2022-08-19 | 中南大学 | 智能车辆无序交叉路口的行为决策方法、计算机装置 |
CN116168550A (zh) * | 2022-12-30 | 2023-05-26 | 福州大学 | 一种面向智能网联车辆在无信号交叉口的通行协调方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3405269C2 (de) * | 1984-02-15 | 1986-09-25 | Battelle-Institut E.V., 6000 Frankfurt | Verfahren und Vorrichtung zur selbsttätigen Führung von Fahrzeugen längs Leitlinien |
US20130018572A1 (en) * | 2011-07-11 | 2013-01-17 | Electronics And Telecommunications Research Institute | Apparatus and method for controlling vehicle at autonomous intersection |
CN103177596A (zh) * | 2013-02-25 | 2013-06-26 | 中国科学院自动化研究所 | 一种交叉路口自主管控系统 |
CN103996312A (zh) * | 2014-05-23 | 2014-08-20 | 北京理工大学 | 具有社会行为交互的无人驾驶汽车控制系统 |
CN104590274A (zh) * | 2014-11-26 | 2015-05-06 | 浙江吉利汽车研究院有限公司 | 一种驾驶行为自适应系统及驾驶行为自适应方法 |
CN104754011A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团公司 | 一种车联网多方协同控制方法以及车联网协同平台 |
CN104882008A (zh) * | 2015-06-03 | 2015-09-02 | 东南大学 | 一种车联网环境下的无信号交叉口车辆协同控制方法 |
CN105321362A (zh) * | 2015-10-30 | 2016-02-10 | 湖南大学 | 一种交叉口车辆智能协同通行方法 |
JP5973447B2 (ja) * | 2010-10-05 | 2016-08-23 | グーグル インコーポレイテッド | ゾーンドライビング |
US9459623B1 (en) * | 2015-04-29 | 2016-10-04 | Volkswagen Ag | Stop sign intersection decision system |
CN108009587A (zh) * | 2017-12-01 | 2018-05-08 | 驭势科技(北京)有限公司 | 一种基于强化学习和规则确定驾驶策略的方法与设备 |
RU2016143345A (ru) * | 2015-11-05 | 2018-05-10 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Автономное вождение на перекрестках на основе данных восприятия |
CN108225364A (zh) * | 2018-01-04 | 2018-06-29 | 吉林大学 | 一种无人驾驶汽车驾驶任务决策系统及方法 |
CN108877269A (zh) * | 2018-08-20 | 2018-11-23 | 清华大学 | 一种交叉路口车辆状态检测及v2x广播方法 |
-
2019
- 2019-01-08 CN CN201910015069.4A patent/CN109727470B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3405269C2 (de) * | 1984-02-15 | 1986-09-25 | Battelle-Institut E.V., 6000 Frankfurt | Verfahren und Vorrichtung zur selbsttätigen Führung von Fahrzeugen längs Leitlinien |
JP5973447B2 (ja) * | 2010-10-05 | 2016-08-23 | グーグル インコーポレイテッド | ゾーンドライビング |
US20130018572A1 (en) * | 2011-07-11 | 2013-01-17 | Electronics And Telecommunications Research Institute | Apparatus and method for controlling vehicle at autonomous intersection |
CN103177596A (zh) * | 2013-02-25 | 2013-06-26 | 中国科学院自动化研究所 | 一种交叉路口自主管控系统 |
CN104754011A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团公司 | 一种车联网多方协同控制方法以及车联网协同平台 |
CN103996312A (zh) * | 2014-05-23 | 2014-08-20 | 北京理工大学 | 具有社会行为交互的无人驾驶汽车控制系统 |
CN104590274A (zh) * | 2014-11-26 | 2015-05-06 | 浙江吉利汽车研究院有限公司 | 一种驾驶行为自适应系统及驾驶行为自适应方法 |
US9459623B1 (en) * | 2015-04-29 | 2016-10-04 | Volkswagen Ag | Stop sign intersection decision system |
CN104882008A (zh) * | 2015-06-03 | 2015-09-02 | 东南大学 | 一种车联网环境下的无信号交叉口车辆协同控制方法 |
CN105321362A (zh) * | 2015-10-30 | 2016-02-10 | 湖南大学 | 一种交叉口车辆智能协同通行方法 |
RU2016143345A (ru) * | 2015-11-05 | 2018-05-10 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Автономное вождение на перекрестках на основе данных восприятия |
CN108009587A (zh) * | 2017-12-01 | 2018-05-08 | 驭势科技(北京)有限公司 | 一种基于强化学习和规则确定驾驶策略的方法与设备 |
CN108225364A (zh) * | 2018-01-04 | 2018-06-29 | 吉林大学 | 一种无人驾驶汽车驾驶任务决策系统及方法 |
CN108877269A (zh) * | 2018-08-20 | 2018-11-23 | 清华大学 | 一种交叉路口车辆状态检测及v2x广播方法 |
Non-Patent Citations (5)
Title |
---|
CHAIRIT WUTHISHUWONG ET AL.: "Vehicle to Infrastructure based Safe Trajectory Planning for Autonomous Intersection Management", 《IEEE》 * |
E. ONIEVA ET AL.: "Amulti-objective evolutionary algorithm for the tuning of fuzzy rule bases for uncoordinated intersections in autonomous driving", 《EL SEVIER》 * |
GAOCHAO WANG ET AL.: "TLB-VTL: 3-Level Buffer based Virtual Traffic Light Scheme for Intelligent Collaborative Intersections", 《IEEE》 * |
ZHANG TAO ET AL: "Multi-branch Model of Intersection for Vehicle Navigation", 《IEEE》 * |
卓福庆: "面向自驾联网车的交叉口协同控制方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111605A (zh) * | 2019-06-12 | 2019-08-09 | 吉林大学 | 基于动态博弈的自动驾驶车辆出入口匝道行驶决策方法 |
CN110111605B (zh) * | 2019-06-12 | 2021-08-31 | 吉林大学 | 基于动态博弈的自动驾驶车辆出入口匝道行驶决策方法 |
CN110263709A (zh) * | 2019-06-19 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 驾驶决策挖掘方法和装置 |
CN110263709B (zh) * | 2019-06-19 | 2021-07-16 | 百度在线网络技术(北京)有限公司 | 驾驶决策挖掘方法和装置 |
CN110288847A (zh) * | 2019-06-28 | 2019-09-27 | 浙江吉利控股集团有限公司 | 一种自动驾驶决策方法、装置、系统、存储介质及终端 |
CN110288847B (zh) * | 2019-06-28 | 2021-01-19 | 浙江吉利控股集团有限公司 | 一种自动驾驶决策方法、装置、系统、存储介质及终端 |
CN110444015A (zh) * | 2019-07-08 | 2019-11-12 | 清华大学 | 基于无信号十字路口分区的智能网联汽车速度决策方法 |
CN110444015B (zh) * | 2019-07-08 | 2020-10-09 | 清华大学 | 基于无信号十字路口分区的智能网联汽车速度决策方法 |
CN110473419A (zh) * | 2019-09-09 | 2019-11-19 | 重庆长安汽车股份有限公司 | 一种自动驾驶车辆在无信号灯交叉路口的通行方法 |
CN113205693A (zh) * | 2020-01-31 | 2021-08-03 | 奥迪股份公司 | 用于运行交通信号设备的方法 |
CN111833614A (zh) * | 2020-09-18 | 2020-10-27 | 得威科技(浙江)有限公司 | 交通违章自动识别方法、系统、电子设备及存储介质 |
CN112349094A (zh) * | 2020-09-27 | 2021-02-09 | 北京博研智通科技有限公司 | 一种无信号灯控制路口机动车通行效率评价方法及系统 |
CN112373472A (zh) * | 2021-01-14 | 2021-02-19 | 长沙理工大学 | 一种自动驾驶交叉口车辆进入时刻与行驶轨迹控制方法 |
CN113276884A (zh) * | 2021-04-28 | 2021-08-20 | 吉林大学 | 一种可变博弈模式的智能车交互决策通行方法及系统 |
CN113313957A (zh) * | 2021-05-30 | 2021-08-27 | 南京林业大学 | 基于增强型Dijkstra算法的无信号灯交叉路口车辆调度方法 |
CN114268369A (zh) * | 2021-12-20 | 2022-04-01 | 东南大学 | 一种基于可见光的车际网通信系统 |
CN114919581A (zh) * | 2022-05-11 | 2022-08-19 | 中南大学 | 智能车辆无序交叉路口的行为决策方法、计算机装置 |
CN114919581B (zh) * | 2022-05-11 | 2024-04-26 | 中南大学 | 智能车辆无序交叉路口的行为决策方法、计算机装置 |
CN116168550A (zh) * | 2022-12-30 | 2023-05-26 | 福州大学 | 一种面向智能网联车辆在无信号交叉口的通行协调方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109727470B (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109727470A (zh) | 一种分布式智能网联汽车交叉路口复杂场景通行决策方法 | |
CN109767630B (zh) | 一种基于车路协同的交通信号控制系统 | |
CN106601002B (zh) | 车联网环境下的入口匝道车辆通行引导系统及其引导方法 | |
WO2021227502A1 (zh) | 一种信号交叉口交通信号灯和车辆轨迹控制方法 | |
CN108831143A (zh) | 基于车路协同技术的信号交叉口车队速度引导方法 | |
CN106548633A (zh) | 一种路网潮汐交通流可变导向车道控制方法 | |
CN110674565A (zh) | 一种车路协同系统的在环仿真方法及平台 | |
CN104504918A (zh) | 一种城市道路公交信号优先方法 | |
CN105225500A (zh) | 一种交通控制辅助决策方法及装置 | |
CN114495547B (zh) | 一种面向自动驾驶汽车的信号交叉口协同通行方法 | |
CN105608912A (zh) | 城市道路交通智能控制方法及城市道路交通智能控制系统 | |
DE102017107794A1 (de) | Fahrzeugpriorisierungssystem | |
CN105225505A (zh) | 路口公交信号优先控制系统 | |
CN104077918A (zh) | 基于车载数据城市交通路口信号灯自适应控制方法 | |
CN106898147A (zh) | 收集车辆与路口信息以控制车辆速度的系统及其方法 | |
CN103886764A (zh) | 公交专用道分时共享方法 | |
CN107564310A (zh) | 一种基于道路交通信息云处理的车路互联系统及方法 | |
CN107248297A (zh) | 一种车路协同环境下交叉口栅格化信号相位时长计算方法 | |
CN108320535A (zh) | 一种道路合流区交织车辆的通行控制方法 | |
Pan et al. | Research on the behavior decision of connected and autonomous vehicle at the unsignalized intersection | |
CN116013101B (zh) | 一种基于网联环境的无信号路口速度建议系统和方法 | |
CN111540219B (zh) | 基于人工智能车路协同的双向公交信号优先协同方法 | |
CN111524372B (zh) | 基于人工智能车路协同的公交信号优先实现方法和系统 | |
CN116985790A (zh) | 一种用于无信号灯路口的智能网联汽车决策方法及系统 | |
CN106991827B (zh) | 非会车状态下双有轨电车平交路口协同优先控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20191231 Address after: 100083 401a, floor 4, building 6, yard 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: Beijing Chaoxing Future Technology Co., Ltd Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Applicant before: Tsinghua University |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |