[go: up one dir, main page]

CN112896161A - 一种基于强化学习的电动汽车生态自适应巡航控制系统 - Google Patents

一种基于强化学习的电动汽车生态自适应巡航控制系统 Download PDF

Info

Publication number
CN112896161A
CN112896161A CN202110171999.6A CN202110171999A CN112896161A CN 112896161 A CN112896161 A CN 112896161A CN 202110171999 A CN202110171999 A CN 202110171999A CN 112896161 A CN112896161 A CN 112896161A
Authority
CN
China
Prior art keywords
vehicle
module
electric automobile
follows
electric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110171999.6A
Other languages
English (en)
Other versions
CN112896161B (zh
Inventor
翟春杰
杨建�
杨祥宇
颜成钢
孙垚棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110171999.6A priority Critical patent/CN112896161B/zh
Publication of CN112896161A publication Critical patent/CN112896161A/zh
Application granted granted Critical
Publication of CN112896161B publication Critical patent/CN112896161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明公开了一种基于强化学习的电动汽车生态自适应巡航控制系统，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。本发明系统可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。

Description

一种基于强化学习的电动汽车生态自适应巡航控制系统
技术领域
本发明属于汽车辅助智能驾驶，尤其是涉及一种基于自适应动态规划的电动汽车生态自适应巡航控制系统。
背景技术
当前，汽车工业作为耗能较大的产业大户，面临着较大的节能减排压力。电动汽车在行驶过程中污染物零排放，是汽车产业未来发展的重要方向。如何将智能驾驶技术应用在电动汽车上以进一步挖掘其节能潜力，是各大高校、车企重点研究方向。先进驾驶辅助系统(Advanced Driver Assistant System,ADAS)是智能驾驶技术的初始发展阶段，能够利用各种车载传感器自动获取相关环境数据，实现对车辆的自动控制，提高驾驶舒适性和主动安全性。
作为一种先进的智能驾驶辅助系统，自适应巡航控制(Adaptive CruiseControl,ACC)从早期的定速巡航发展而来，主要用来控制汽车的纵向运动。ACC系统可以使用多种车载传感器检测前方车辆的相对位置和速度，根据控制策略自动调整自身车辆的速度，以保持期望的安全距离，有利于改善交通流量，减少交通事故，提供舒适的驾驶体验。
虽然ACC系统可以维持一定的安全车距，并且通过降低空气阻力可以减小能耗，但是其节能效果并不显著，尤其对于车头面积小的乘用车。特别的，当采用基于恒定车距和恒定时距的ACC系统控制电动汽车时，电动汽车往往以一定车距紧紧跟随前方车辆，若前方车辆速度波动较大，则电动汽车一直处于频繁的加减速状态，这会极大影响电动汽车中电池的使用寿命，也会造成能耗损失和驾乘不舒适。
执行依赖启发式动态规划(Action-Dependent Heuristic DynamicProgramming,ADHDP)框架，即ADHDP算法参考书本《基于自适应动态规划的智能优化控制》4.3基于BP网络的ADHDP算法及实现P118，作者：林小峰、宋绍剑、宋春宁。
发明内容
本发明的目的在于提供可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命的一种基于增强学习(Reinforcement Learning,RL)的电动汽车生态自适应巡航控制(Ecological Adaptive Cruise Control,Eco-ACC)系统。
一种基于强化学习的电动汽车生态自适应巡航控制系统包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)框架，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数。；
2)将状态变量x(t)输入到执行网络获取控制变量u(t)；
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价J(t)；
4)设定执行网络和评价网络的误差；
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)。
6)更新执行网络的权值，将状态变量x(t+1)输入到执行网络获取控制变量u(t+1)；
7)更新评价网络的权值，通过评价网络，获取期望代价
Figure BDA0002939020610000021
值；
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值。若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
本发明有益效果如下：
发明的系统所控制的车辆和前方车辆的速度基本一致，车辆的加速度也比传统ACC系统控制的更加平滑，使乘客感到更加舒适；本发明系统所控制的车辆与前方车辆的实际车距始终保持在安全范围内，保证了车辆在行驶过程中的安全性；本发明系统所控制的车辆比传统ACC系统控制的车辆更加节能。本发明系统可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。
附图说明
图1是车辆跟车场景；
图2是ADHDP结构框图；
图3是ADHDP评价网络结构；
图4是ADHDP执行网络结构；
图5基于ADHDP控制算法的流程图；
图6是UDDS驾驶循环仿真结果对比图；
图7是MANHATAN驾驶循环仿真结果对比图；
图8是WLTC2驾驶循环仿真结果对比图。
具体实施方式
以下结合附图与实施例对本发明系统及方法进行进一步描述。
一种基于强化学习的电动汽车生态自适应巡航控制系统包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
所要研究的车辆跟车场景如图1所示，其中被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用Vh和Vp表示。各个模块的具体内容如下：
纵向动力学模块：
主车的纵向动力学模型表示如下：
Figure BDA0002939020610000041
式中：sh(t)、vh(t)和Tw(t)分别为主车的位置、速度和车轮扭矩；m、R、ηt和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；Fb(t)和Fr(t)分别为制动力和集总阻力。
由气动阻力、滚动阻力和重力组成的集总阻力Fr(t)Fr(t)表示如下：
Figure BDA0002939020610000042
式中：Φh(L(t))、Cd、μh、Av和θ(sh(t))分别为车辆归一化阻力系数、空气阻力系数、滚动阻力系数、车头迎风面积和路面坡度；g和ρ分别为重力加速度和空气密度。此外，主车与前车的距离L(t)可表示为
L(t)＝sp(t)-sh(t)-dcar (3)
式中：dcar表示主车车身的长度，sp(t)表示前车位置。
车轮的扭矩由齿轮通过电机输出或向电机输入，电机的转矩Tm和转速ωm表示如下：
Figure BDA0002939020610000043
式中：Gr为主车的固定齿轮比。车轮转速ωw(t)的计算公式如下：
Figure BDA0002939020610000051
然后，给出电机逆变器的输入功率如下：
Figure BDA0002939020610000052
式中：ηm(t)(0＜ηm(t)＜1)表示电机逆变器的效率。
电动汽车储能系统模块：
变量符号定义如下：
·Pbat(t)：电池组在t时刻的输出功率；
·Pe(t)：电动汽车在t时刻的需求功率；
·Vbat(t)：电池组在t时刻的开路电压；
·Ibat(t)：电池组在t时刻的电流；
·SoCbat(t)：电池组在t时刻的荷电状态(State of Charge,简称SOC)；
·Rbat，disch(SoCbat(t))：电池组在t时刻的放电电阻；
·Rbat，ch(SoCbat(t))：电池组在t时刻的充电电阻；
电池组的放电电阻Rbat，disch(SoCbat(t))和充电电阻
Rbat，ch(SoCbat(t))表示如下：
Figure BDA0002939020610000053
(1)驱动模式：
Figure BDA0002939020610000054
(2)再生制动模式：
Figure BDA0002939020610000055
电池的荷电状态SoC如下：
Figure BDA0002939020610000056
控制目标模块：
(1)车辆安全：
为了确保车辆安全，给出车辆间距的约束如下：
dmin(υh(t))≤L(t)≤dmax(υh(t)) (11)
其中，dmin(υh(t))和dmax(υh(t))分别为允许的最小和最大安全车距，并且它们的计算公式如下：
Figure BDA0002939020610000061
(2)节能驾驶：
为了确保车辆在行驶过程中的能耗经济性，给出如下优化目标：
Figure BDA0002939020610000062
(3)延长电池寿命：
为了减少车辆在行驶过程中的电池容量损失，给出如下优化目标：
Figure BDA0002939020610000063
控制器设计模块：
(1)带补偿因子的带阻函数：
为了得到车辆间的误差Δd(t)，先求出车辆在安全范围内的迭代δd(t)的误差，具体描述如下：
Figure BDA0002939020610000064
由式中，则可以得出Δd(t)车辆间的误差为：
Figure BDA0002939020610000065
其中α＞0，β≥1
Figure BDA0002939020610000066
dmin，dmax∈R+分别为带阻的下限和上限，cf为补偿因子。
在以多目标代价函数最小化目标的优化问题中，当参数α，β，
Figure BDA0002939020610000067
和cf设置正确后，如果带阻函数
Figure BDA0002939020610000068
作为代价函数的一部分，则实际车距L(t)被限制在[dmin，dmax]范围内。
(2)基于增强学习的需求功率优化问题：
首先定义基本变量：
·x(t)：电动汽车在t时刻的状态变量；
·Fb(t)：电动汽车在t时刻的制动力；
·ωw(t)：电动汽车在t时刻的车轮转速；
·ωm(t)：电动汽车在t时刻的电机转速；
·Tm(t)：电动汽车在t时刻的电机转矩；
·Tm，max(t)：电动汽车在t时刻允许的最大电机扭矩；
·u(t)：电动汽车在t时刻的控制输入；
·ηm(t)：电动汽车在t时刻的电机效率；
·Pe(t)：电动汽车在t时刻的需求功率；
主车在时间t的连续动力学状态方程如下：
Figure BDA0002939020610000071
式中：x(t)＝[Δvh(t)，Δd(t)]T表示主车动力学系统的状态变量。定义两类变量后，优化问题中的目标代价函数J如下：
Figure BDA0002939020610000072
式中：U为效用函数，γ为折现系数，则0＜γ≤1，函数J为状态x(t)的代价函数，它取决于初始时间t和初始状态x(t)。增强学习的目的是选择一个控制序列u(t)，使得公式(18)定义的代价函数最小化。另外，目标代价函数的优化目标如下：
Figure BDA0002939020610000073
U(t)＝λ1L1+λ2L2+λ3L3. (20)
式中：考虑到车辆的行驶安全，L1的目的是保持车辆之间的距离在最小车距dmin和最大车距dmax之间。另外，α，β，
Figure BDA0002939020610000074
和cf是间距阻带函数的参数。L2能够提升车辆在行驶的时候能耗经济性。L3能够延长电动汽车的电池使用寿命。
设预期电机转矩为控制变量，则给出基于ADHDP算法优化的控制变量如下
u*(·|t0)＝argminJ(x(·|t0)) (21)
总体控制算法流程图，如图5所示；
本发明的具体操作流程如图3所示，首先我们通过控制器模块确定的状态变量x(t)＝[Δv，BSF]。然后通过我们的ADHDP框架进行学习，获得控制最佳变量。其中ADHDP学习框架学习分为以下几个步骤：
一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)框架，如图2所示，基于BP神经网络的评价网络和执行网络的结构如图3，4所示，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数。
2)将状态变量x(t)输入到执行网络获取控制变量u(t)
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价
Figure BDA0002939020610000081
4)设定执行网络和评价网络的误差
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)。
6)更新执行网络的权值，将状态变量输入x(t+1)到执行网络获取控制变量u(t+1)
7)更新评价网络的权值，通过评价网络，获取期望代价
Figure BDA0002939020610000082
值
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值。若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
在学习过程开始时，评价网络和执行网络的参数先随机初始化。仿真开始后的每一个时间步长中，对评价网络的权重进行迭代，直到达到最大迭代次数Nc或者Ec达到允许容差Tc，迭代终止后，从评价网络中获得近似值函数；对执行网络的权重进行迭代，直到达到最大迭代次数Nah或者Ea达到允许容差Tc，迭代终止后，从执行网络中获得控制输入，经过计算获得最优需求功率Pe并应用于主车车辆上。仿真参数见表1。
表1在线学习参数
Figure BDA0002939020610000091
对所发明的Eco-ACC控制系统进行了评估，并以城市、高速、城郊等驾驶循环为例进行测试。前车沿着驾驶循环的速度轨迹行驶，跟随车辆分别采用传统ACC系统和发明的Eco-ACC系统跟随前车。在典型UDDS、MANHATTAN和WLTC2驾驶循环的测试数据分别如图6、图7和图8所示，应当指出，为了便于观察仿真结果，仿真图中仅展示前400秒的仿真效果图；更多驾驶循环下的测试数据见表2和表3。
表2电池容量损失(％)
Figure BDA0002939020610000092
表3能耗损失(w·h)
Figure BDA0002939020610000093
Figure BDA0002939020610000101
仿真结果表明：发明的Eco-ACC系统所控制的车辆和前方车辆的速度基本一致，车辆的加速度也比传统ACC系统控制的更加平滑，使乘客感到更加舒适；Eco-ACC系统所控制的车辆与前方车辆的实际车距始终保持在安全范围内，保证了车辆在行驶过程中的安全性；Eco-ACC系统所控制的车辆比传统ACC系统控制的车辆更加节能，见表3。

Claims (6)

1.一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
2.根据权利要求1所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，纵向动力学模块的具体内容如下：
被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用Vh和Vp表示；
纵向动力学模块：
主车的纵向动力学模型表示如下：
Figure FDA0002939020600000011
式中：sh(t)、vh(t)和Tω(t)分别为主车的位置、速度和车轮扭矩；m、R、ηt和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；Fb(t)和Fr(t)分别为制动力和集总阻力；
由气动阻力、滚动阻力和重力组成的集总阻力Fr(t)Fr(t)表示如下：
Figure FDA0002939020600000012
式中：Φh(L(t))、Cd、μh、Av和θ(sh(t))分别为车辆归一化阻力系数、空气阻力系数、滚动阻力系数、车头迎风面积和路面坡度；g和ρ分别为重力加速度和空气密度；此外，主车与前车的距离L(t)可表示为
L(t)＝sp(t)-sh(t)-dcar (3)
式中：dcar表示主车车身的长度，sp(t)表示前车位置；
车轮的扭矩由齿轮通过电机输出或向电机输入，电机的转矩Tm和转速ωm表示如下：
Figure FDA0002939020600000021
式中：Gr为主车的固定齿轮比；车轮转速ωw(t)的计算公式如下：
Figure FDA0002939020600000022
然后，给出电机逆变器的输入功率如下：
Figure FDA0002939020600000023
式中：ηm(t)(0＜ηm(t)＜1)表示电机逆变器的效率。
3.根据权利要求2所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，电动汽车储能系统模块的具体内容如下：
电动汽车储能系统模块：
变量符号定义如下：
·Pbat(t)：电池组在t时刻的输出功率；
·Pe(t)：电动汽车在t时刻的需求功率；
·Vbat(t)：电池组在t时刻的开路电压；
·Ibat(t)：电池组在t时刻的电流；
·SoCbat(t)：电池组在t时刻的荷电状态(State of Charge，简称SOC)；
·Rbatdisch(SoCbat(t))：电池组在t时刻的放电电阻；
·Rbatch(SoCbat(t))：电池组在t时刻的充电电阻；
电池组的放电电阻Rbat，disch(SoCbat(t))和充电电阻Rbat，ch(SoCbat(t))表示如下：
Figure FDA0002939020600000031
(1)驱动模式：
Figure FDA0002939020600000032
(2)再生制动模式：
Figure FDA0002939020600000033
电池的荷电状态SoC如下：
Figure FDA0002939020600000034
4.根据权利要求3所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，控制目标模块的具体内容如下：
控制目标模块：
(1)车辆安全：
为了确保车辆安全，给出车辆间距的约束如下：
dmin(vh(t))≤L(t)≤dmax(vh(t)) (11)
其中，dmin(vh(t))和dmax(vh(t))分别为允许的最小和最大安全车距，并且它们的计算公式如下：
Figure FDA0002939020600000035
(2)节能驾驶：
为了确保车辆在行驶过程中的能耗经济性，给出如下优化目标：
Figure FDA0002939020600000036
(3)延长电池寿命：
为了减少车辆在行驶过程中的电池容量损失，给出如下优化目标：
Figure FDA0002939020600000037
5.根据权利要求4所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，控制器设计模块的具体内容如下：
控制器设计模块：
(1)带补偿因子的带阻函数：
为了得到车辆间的误差Δd(t)，先求出车辆在安全范围内的迭代δd(t)的误差，具体描述如下：
Figure FDA0002939020600000041
由式中，则可以得出Δd(t)车辆间的误差为：
Figure FDA0002939020600000042
其中α＞0，β≥1，
Figure FDA0002939020600000043
dmin，dmax∈R+分别为带阻的下限和上限，cf为补偿因子；
在以多目标代价函数最小化目标的优化问题中，当参数α，β，
Figure FDA0002939020600000044
和cf设置正确后，如果带阻函数
Figure FDA0002939020600000045
作为代价函数的一部分，则实际车距L(t)被限制在[dmin，dmax]范围内；
(2)基于增强学习的需求功率优化问题：
首先定义基本变量：
·x(t)：电动汽车在t时刻的状态变量；
·Fb(t)：电动汽车在t时刻的制动力；
·ωw(t)：电动汽车在t时刻的车轮转速；
·ωm(t)：电动汽车在t时刻的电机转速；
·Tm(t)：电动汽车在t时刻的电机转矩；
·Tm，max(t)：电动汽车在t时刻允许的最大电机扭矩；
·u(t)：电动汽车在t时刻的控制输入；
·ηm(t)：电动汽车在t时刻的电机效率；
·Pe(t)：电动汽车在t时刻的需求功率；
主车在时间t的连续动力学状态方程如下：
Figure FDA0002939020600000051
式中：x(t)＝[Δvh(t)，Δd(t)]T表示主车动力学系统的状态变量；定义两类变量后，优化问题中的目标代价函数J如下：
Figure FDA0002939020600000052
式中：U为效用函数，γ为折现系数，则0＜γ≤1，函数J为状态x(t)的代价函数，它取决于初始时间t和初始状态x(t)；增强学习的目的是选择一个控制序列u(t)，使得公式(18)定义的代价函数最小化；另外，目标代价函数的优化目标如下：
Figure FDA0002939020600000053
U(t)＝λiLi+λ2L2+λaLa. (20)
式中：考虑到车辆的行驶安全，L1的目的是保持车辆之间的距离在最小车距dmin和最大车距dmax之间；另外，α，β，
Figure FDA0002939020600000054
和cf是间距阻带函数的参数；L2能够提升车辆在行驶的时候能耗经济性；L3能够延长电动汽车的电池使用寿命；
设预期电机转矩为控制变量，则给出基于ADHDP算法优化的控制变量如下
u*(·|t0)＝argminJ(x(·|t0)) (21)。
6.根据权利要求5所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划框架，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数；
2)将状态变量x(t)输入到执行网络获取控制变量u(t)
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价
Figure FDA0002939020600000055
4)设定执行网络和评价网络的误差
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)；
6)更新执行网络的权值，将状态变量输入x(t+1)到执行网络获取控制变量u(t+1)
7)更新评价网络的权值，通过评价网络，获取期望代价
Figure FDA0002939020600000061
值
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值；若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
CN202110171999.6A 2021-02-08 2021-02-08 一种基于强化学习的电动汽车生态自适应巡航控制系统 Active CN112896161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171999.6A CN112896161B (zh) 2021-02-08 2021-02-08 一种基于强化学习的电动汽车生态自适应巡航控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171999.6A CN112896161B (zh) 2021-02-08 2021-02-08 一种基于强化学习的电动汽车生态自适应巡航控制系统

Publications (2)

Publication Number Publication Date
CN112896161A true CN112896161A (zh) 2021-06-04
CN112896161B CN112896161B (zh) 2022-06-21

Family

ID=76122736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171999.6A Active CN112896161B (zh) 2021-02-08 2021-02-08 一种基于强化学习的电动汽车生态自适应巡航控制系统

Country Status (1)

Country Link
CN (1) CN112896161B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113561976A (zh) * 2021-08-19 2021-10-29 湖南大学无锡智能控制研究院 基于反馈优化的车辆节能预测自适应巡航控制方法和装置
CN113741199A (zh) * 2021-09-16 2021-12-03 吉林大学 一种基于智能网联信息的整车经济性速度规划方法
CN114459498A (zh) * 2022-03-14 2022-05-10 南京理工大学 基于强化学习的新能源车充电站选择及自适应导航方法
CN115424429A (zh) * 2022-08-30 2022-12-02 浙江绿色慧联有限公司 基于深度强化学习的eco-cacc控制方法及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138193A1 (en) * 2001-03-22 2002-09-26 Visteon Global Technologies, Inc. Tracking of a target vehicle using adaptive cruise control
JP2007022135A (ja) * 2005-07-12 2007-02-01 Toyota Motor Corp 車両の自動制動装置
JP2008290665A (ja) * 2007-05-28 2008-12-04 Denso Corp クルーズ制御装置、プログラム、及び目標車速の設定方法
US20100125399A1 (en) * 2008-11-18 2010-05-20 Bendix Commerical Vehicle Systems Llc Adaptive cruise control braking with deceleration monitoring
CN104822556A (zh) * 2012-12-07 2015-08-05 大陆汽车有限公司 用于运行机动车的回馈制动器的方法和回馈制动器
CN106740846A (zh) * 2016-12-02 2017-05-31 大连理工大学 一种双模式切换的电动汽车自适应巡航控制方法
CN107117170A (zh) * 2017-04-28 2017-09-01 吉林大学 一种基于经济性驾驶的实时预测巡航控制系统
CN107139923A (zh) * 2017-05-11 2017-09-08 中科院微电子研究所昆山分所 一种acc决策方法及系统
FR3060489A1 (fr) * 2016-12-15 2018-06-22 Compagnie Plastic Omnium Dispositif chauffant de protection d'un radar de vehicule automobile
CN108437991A (zh) * 2018-04-11 2018-08-24 厦门大学 一种智能电动汽车自适应巡航控制系统及其方法
CN108528268A (zh) * 2017-03-06 2018-09-14 重庆邮电大学 一种电动汽车自适应巡航系统的扭矩调节方法
CN108622078A (zh) * 2017-03-22 2018-10-09 丰田自动车株式会社 汽车、汽车用的控制装置及汽车的控制方法
CN109131312A (zh) * 2018-08-01 2019-01-04 厦门大学 一种智能电动汽车acc/esc集成控制系统及其方法
CN109591659A (zh) * 2019-01-14 2019-04-09 吉林大学 一种智能学习的纯电动汽车能量管理控制方法
CN109733398A (zh) * 2018-12-05 2019-05-10 南京航空航天大学 具有稳定性主动控制的自适应巡航系统及控制方法
CN109927725A (zh) * 2019-01-28 2019-06-25 吉林大学 一种具有驾驶风格学习能力的自适应巡航系统及实现方法
CN109969183A (zh) * 2019-04-09 2019-07-05 台州学院 基于安全可控域的弯道跟车控制方法
CN110406526A (zh) * 2019-08-05 2019-11-05 合肥工业大学 基于自适应动态规划的并联混合动力汽车能量管理方法
CN110871781A (zh) * 2018-08-29 2020-03-10 通用汽车环球科技运作有限责任公司 车辆、预测性电荷规划和动力系控制的系统和控制逻辑

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138193A1 (en) * 2001-03-22 2002-09-26 Visteon Global Technologies, Inc. Tracking of a target vehicle using adaptive cruise control
JP2007022135A (ja) * 2005-07-12 2007-02-01 Toyota Motor Corp 車両の自動制動装置
JP2008290665A (ja) * 2007-05-28 2008-12-04 Denso Corp クルーズ制御装置、プログラム、及び目標車速の設定方法
US20100125399A1 (en) * 2008-11-18 2010-05-20 Bendix Commerical Vehicle Systems Llc Adaptive cruise control braking with deceleration monitoring
CN104822556A (zh) * 2012-12-07 2015-08-05 大陆汽车有限公司 用于运行机动车的回馈制动器的方法和回馈制动器
CN106740846A (zh) * 2016-12-02 2017-05-31 大连理工大学 一种双模式切换的电动汽车自适应巡航控制方法
FR3060489A1 (fr) * 2016-12-15 2018-06-22 Compagnie Plastic Omnium Dispositif chauffant de protection d'un radar de vehicule automobile
CN108528268A (zh) * 2017-03-06 2018-09-14 重庆邮电大学 一种电动汽车自适应巡航系统的扭矩调节方法
CN108622078A (zh) * 2017-03-22 2018-10-09 丰田自动车株式会社 汽车、汽车用的控制装置及汽车的控制方法
CN107117170A (zh) * 2017-04-28 2017-09-01 吉林大学 一种基于经济性驾驶的实时预测巡航控制系统
CN107139923A (zh) * 2017-05-11 2017-09-08 中科院微电子研究所昆山分所 一种acc决策方法及系统
CN108437991A (zh) * 2018-04-11 2018-08-24 厦门大学 一种智能电动汽车自适应巡航控制系统及其方法
CN109131312A (zh) * 2018-08-01 2019-01-04 厦门大学 一种智能电动汽车acc/esc集成控制系统及其方法
CN110871781A (zh) * 2018-08-29 2020-03-10 通用汽车环球科技运作有限责任公司 车辆、预测性电荷规划和动力系控制的系统和控制逻辑
CN109733398A (zh) * 2018-12-05 2019-05-10 南京航空航天大学 具有稳定性主动控制的自适应巡航系统及控制方法
CN109591659A (zh) * 2019-01-14 2019-04-09 吉林大学 一种智能学习的纯电动汽车能量管理控制方法
CN109927725A (zh) * 2019-01-28 2019-06-25 吉林大学 一种具有驾驶风格学习能力的自适应巡航系统及实现方法
CN109969183A (zh) * 2019-04-09 2019-07-05 台州学院 基于安全可控域的弯道跟车控制方法
CN110406526A (zh) * 2019-08-05 2019-11-05 合肥工业大学 基于自适应动态规划的并联混合动力汽车能量管理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113561976A (zh) * 2021-08-19 2021-10-29 湖南大学无锡智能控制研究院 基于反馈优化的车辆节能预测自适应巡航控制方法和装置
CN113561976B (zh) * 2021-08-19 2022-04-19 湖南大学无锡智能控制研究院 基于反馈优化的车辆节能预测自适应巡航控制方法和装置
CN113741199A (zh) * 2021-09-16 2021-12-03 吉林大学 一种基于智能网联信息的整车经济性速度规划方法
CN113741199B (zh) * 2021-09-16 2024-04-26 吉林大学 一种基于智能网联信息的整车经济性速度规划方法
CN114459498A (zh) * 2022-03-14 2022-05-10 南京理工大学 基于强化学习的新能源车充电站选择及自适应导航方法
CN115424429A (zh) * 2022-08-30 2022-12-02 浙江绿色慧联有限公司 基于深度强化学习的eco-cacc控制方法及系统
CN115424429B (zh) * 2022-08-30 2024-06-07 浙江绿色慧联有限公司 基于深度强化学习的eco-cacc控制方法及系统

Also Published As

Publication number Publication date
CN112896161B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN105644560B (zh) 一种四轮轮毂电机电动车自适应巡航控制系统及方法
CN112896161A (zh) 一种基于强化学习的电动汽车生态自适应巡航控制系统
Hu et al. Model predictive control of hybrid electric vehicles for fuel economy, emission reductions, and inter-vehicle safety in car-following scenarios
Cheng et al. Longitudinal autonomous driving based on game theory for intelligent hybrid electric vehicles with connectivity
CN107139775A (zh) 一种基于非光滑技术的电动车直接横摆力矩控制方法
CN105857312B (zh) 一种高速公路重型卡车速度行驶优化方法
CN109703375A (zh) 电动汽车再生制动能量协调回收控制方法
CN106314202B (zh) 纯电动汽车的滑动能量回收方法、装置及纯电动汽车
CN111746305B (zh) 线控四轮驱动轮毂电机电动汽车节能控制方法及系统
CN109484407A (zh) 一种电动汽车辅助驾驶的自适应跟车方法
CN108528451A (zh) 一种自适应巡航控制方法、装置及电动汽车
CN105667501B (zh) 具有轨迹优化功能的混合动力车辆的能量分配方法
CN113459829B (zh) 一种基于路况预测的双电机电动汽车智能能量管理方法
CN113635879A (zh) 一种车辆制动力分配方法
Wang et al. Dual-mode adaptive cruise control strategy based on model predictive control and neural network for pure electric vehicles
Yang et al. Variable optimization domain-based cooperative energy management strategy for connected plug-in hybrid electric vehicles
CN110667564B (zh) 并联式混合动力汽车自主队列行驶能量智能管理方法
CN104709115B (zh) 用于转弯节能的转矩轮间分配方法
Yu et al. Design of a Rule-Based Controller and Parameter Optimization Using a Genetic Algorithm for a Dual-Motor Heavy-Duty Battery Electric Vehicle
CN116834776A (zh) 车辆多目标巡航与能量管理控制方法、系统及存储介质
CN115649147A (zh) 一种考虑道路坡度混合动力客车切换协调控制方法
Zheng et al. Research on brake energy recovery strategy based on working condition identification
Kim et al. Learning-based Ecological Adaptive Cruise Control of Autonomous Electric Vehicles: A Comparison of ADP, DQN and DDPG Approaches
Lot et al. Eco-driving optimal control for electric vehicles with driver preferences
CN114954455B (zh) 一种基于多步强化学习的电动车跟车行驶控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant