[go: up one dir, main page]

CN110969287B - 一种舰载机导引路径规划方法 - Google Patents

一种舰载机导引路径规划方法 Download PDF

Info

Publication number
CN110969287B
CN110969287B CN201911083216.8A CN201911083216A CN110969287B CN 110969287 B CN110969287 B CN 110969287B CN 201911083216 A CN201911083216 A CN 201911083216A CN 110969287 B CN110969287 B CN 110969287B
Authority
CN
China
Prior art keywords
carrier
obstacle
based aircraft
obstacles
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911083216.8A
Other languages
English (en)
Other versions
CN110969287A (zh
Inventor
薛均晓
孔祥燕
徐明亮
李亚飞
吕培
姜晓恒
郭毅博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN201911083216.8A priority Critical patent/CN110969287B/zh
Publication of CN110969287A publication Critical patent/CN110969287A/zh
Application granted granted Critical
Publication of CN110969287B publication Critical patent/CN110969287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种舰载机导引路径规划方法。该方法包括步骤有预测碍障物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞。通过该方法，可以在路径规划的同时有效的实现动态障碍物的碰撞避免，还加入了多种控制选择动作的限制，实现动态避障以及DQN的快速收敛，该方法使训练的时间大大缩短，提高了效率。

Description

一种舰载机导引路径规划方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种舰载机导引路径规划方法。
背景技术
舰载机在甲板上的有限空间内移动，需要对导引路径进行规划，以此实现有效避障、高效移动，确保舰载机的安全和各种设施、人员安全。现有技术中缺乏针对舰载机路径导引的计算机仿真规划方法，难以实现动态避障、自动导引、模型简化的计算机仿真。
发明内容
本发明主要解决的技术问题是提供一种舰载机导引路径规划方法，解决现有技术中缺乏有效实现动态避障、自动导引和复杂度低的计算机仿真的舰载机导引路径规划方法。
为解决上述技术问题，本发明采用的一个技术方案是提供一种舰载机导引路径规划方法，包括以下步骤：预测碍障物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞。
在本发明舰载机导引路径规划方法另一实施例中，在预测碍障物步骤中，利用LSTM编码预测障碍物的运动轨迹包括：
第一步，被预测的障碍物i从T1至Tobs的历史轨迹为
Figure BDA0002264593890000011
被预测的障碍物的周围障碍物的历史轨迹包括
Figure BDA0002264593890000021
第二步，经过LSTM框架的遗忘门输入t-1时刻的状态值ht-1、xt,输出为
Figure BDA0002264593890000022
其中σ1代表遗忘门sigmod函数，表达式为
Figure BDA0002264593890000023
Figure BDA0002264593890000024
表示遗忘门的神经元的权值，
Figure BDA0002264593890000025
表示遗忘门的神经元的偏置值；
第三步，进一步经过LSTM框架的更新门，先通过输入门sigmod函数σ2，输出为
Figure BDA0002264593890000026
Figure BDA0002264593890000027
表示输入门的神经元的权值，
Figure BDA0002264593890000028
表示输入门的神经元的偏置值，然后通过tanh层，创建一个新的候选值向量，表达式为
Figure BDA0002264593890000029
Figure BDA00022645938900000210
表示计算候选值向量的神经元的权值，
Figure BDA00022645938900000211
表示计算候选值向量的神经元的偏置值；
第四步，将第二步和第三步确定好的更新内容添加到记忆当中，得到新的记忆Ct＝ft*Ct-1+it*Ct；
第五步，计算当前隐藏层的状态ht＝ot*tanh(Ct)，表示输出已确定的输出部分，Ot＝σ(Wo[ht-1,xt]+bo)为输出部分，Wo表示输出部分的神经元的权值，bo表示输出部分的神经元的偏置值；
第六步，按照以上方法将被预测障碍物以及被预测障碍物周围障碍物编码成为：
Figure BDA00022645938900000212
在本发明舰载机导引路径规划方法另一实施例中，在预测碍障物步骤中进一步包括：
用soft attention计算被预测障碍物的向量
Figure BDA00022645938900000213
其中权值αtj为
Figure BDA00022645938900000214
其中a表示前馈神经网络；
用hard attention计算被预测障碍物周围邻居障碍物的向量
Figure BDA00022645938900000215
其中
Figure BDA00022645938900000216
dis(n,j)表示在j时间点，第n个邻居障碍到被预测障碍物的距离；
将上述计算出来的两个向量结合，得到合并向量
Figure BDA0002264593890000031
权值Wc通过反向传播学习得到；
利用LSTM框架计算预测位置，
Figure BDA0002264593890000032
其中st-1表示解码器在t-1时刻的隐藏状态，yt-1表示解码器在t-1时刻的输出值。
在本发明舰载机导引路径规划方法另一实施例中，在更新导向步骤中包括：首先初始化i＝0，然后判断i％T是否为0,如果为0，表示重新定向，否则直接按照原来的定向选择动作；如果重新定向，表示按照当前位置P和目的位置S设置向量
Figure BDA0002264593890000033
根据
Figure BDA0002264593890000034
的大小确定变量值：
Figure BDA0002264593890000035
选择完舰载机位置后，执行i＝i+1；判断是否到达终点，若未到达终点，则返回到判断i％T是否为0处重复执行，一直到达终点结束。
在本发明舰载机导引路径规划方法另一实施例中，在所述碰撞检测步骤中，获得障碍物的预测位置坐标(x1,y1)，对舰载机在展翼状态下建模为五边形：中心坐标为o＝(x1,y1)；前方坐标为p1＝(x1+cosθ×L,y1+sinθ×L)，其中θ为
Figure BDA0002264593890000036
和x轴之间的夹角，L为
Figure BDA0002264593890000037
的模；左前方坐标为p2＝(x1+cos(θ+ψ)×h，y1+sin(θ+ψ)×h)，其中ψ为
Figure BDA0002264593890000038
和
Figure BDA0002264593890000039
之间的夹角，h为
Figure BDA00022645938900000310
的模；右前方坐标为p3＝(x1+cos(θ-ψ)×h，y1+sin(θ-ψ)×h)；左后方坐标为p4＝(x1+cos(θ+β)×d，y1+sin(θ+β)×d)，其中β为
Figure BDA00022645938900000311
和
Figure BDA00022645938900000312
之间的夹角，d为
Figure BDA00022645938900000313
的模；右后方坐标为p5＝(x1+cos(θ-β)×d，y1+sin(θ-β)×d)。
在本发明舰载机导引路径规划方法另一实施例中，对舰载机在合翼状态下建模为：中心坐标为o＝(x1,y1)；前方坐标为p1＝(x1+cosθ×L,y1+sinθ×L)，其中θ为
Figure BDA0002264593890000041
和x轴之间的夹角，L为
Figure BDA0002264593890000042
的模；左前方坐标为p'2＝(x1+cos(θ+ψ)×h'，y1+sin(θ+ψ)×h')，其中ψ为
Figure BDA0002264593890000043
和
Figure BDA0002264593890000044
之间的夹角；h'为
Figure BDA0002264593890000045
的模；右前方坐标为p'3＝(x1+cos(θ-ψ)×h'，y1+sin(θ-ψ)×h')；左后方坐标为p4＝(x1+cos(θ+β)×d，y1+sin(θ+β)×d)，其中β为
Figure BDA0002264593890000046
和
Figure BDA0002264593890000047
之间的夹角，d为
Figure BDA0002264593890000048
的模；右后方坐标为p5＝(x1+cos(θ-β)×d，y1+sin(θ-β)×d)。
在本发明舰载机导引路径规划方法另一实施例中，对加油车建模为：中心坐标为o＝(x1,y1)；左前方坐标：q1＝(x1+cos(θ+ω)×m,y1+sin(θ+ω)×m)，其中θ为加油车运动方向和x轴之间的夹角，ω为加油车运动方向和
Figure BDA0002264593890000049
之间的夹角；m是
Figure BDA00022645938900000410
的模；右前方坐标：q2＝(x1+cos(θ-ω)×m,y1+sin(θ-ω)×m)；左后方坐标：q3＝(x1-sin(θ-ω)×m,y1+cos(θ-ω)×m)；右后方坐标：q4＝(x1-sin(ω-θ)×m,y1-cos(ω-θ)×m)。
在本发明舰载机导引路径规划方法另一实施例中，对人建模为：半径为r，圆心坐标为o＝(x1,y1)的圆。
在本发明舰载机导引路径规划方法另一实施例中，舰载机在展翼状态下五条边分别列方程为：
线段p1p2:
Figure BDA00022645938900000411
线段p1p3:
Figure BDA00022645938900000412
线段p2p4:
Figure BDA00022645938900000413
线段p3p5:
Figure BDA00022645938900000414
线段p4p5：
Figure BDA0002264593890000051
人的函数表达式：(x-x1)2+(y-y1)2＝r2；
通过上述五个表达式建立方程组，若方程组有解，则表明有交点，若方程组无解，则表明没有交点。
在本发明舰载机导引路径规划方法另一实施例中，进一步给出了基于DQN算法的自主学习导引路径规划方法，环境将四元组(s,a,r,s,)传回给回放记忆单元，回放记忆单元将其传递给当前值网络和目标值网络，两个网络各自计算得到Q值，进行误差函数计算，将计算得到的loss函数更新当前值网络，而目标值网络则是根据一定的时间间隔将当前值网络的参数复制给目标值网络，其中包括步骤：
第一步，环境将当前状态传递给当前的值网络，该网络经过计算分别得到四个动作的值函数Q1＝(s,a1；θ)，Q2＝(s,a2；θ)，Q3＝(s,a3；θ)，Q4＝(s,a4；θ)。其中s表示当前状态；a表示下一步所采取的动作，有a1至a4四个方向的动作，θ表示参数；
第二步，根据周围障碍物预测位置，对当前Q网络进行修正：
F(Qi)＝Qi×β,
其中
Figure BDA0002264593890000052
第三步，根据指导向量将上述F(Qi)做进一步修正：
Figure BDA0002264593890000053
第四步，将max(G(F(Qi)))作为选出的动作返回给环境。
本发明的有益效果是：本发明公开了一种舰载机导引路径规划方法。该方法包括步骤有预测碍障物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞。通过该方法，可以在路径规划的同时有效的实现动态障碍物的碰撞避免，还加入了多种控制选择动作的限制，实现动态避障以及DQN的快速收敛，该方法使训练的时间大大缩短，提高了效率。
附图说明
图1是根据本发明舰载机导引路径规划方法一实施例的流程图；
图2是根据本发明舰载机导引路径规划方法另一实施例中的障碍物位置预测方法流程图；
图3-图6是根据本发明舰载机导引路径规划方法另一实施例中的LSTM框架中各阶段流程图；
图7是根据本发明舰载机导引路径规划方法另一实施例中更新导向流程图；
图8是根据本发明舰载机导引路径规划方法另一实施例中碰撞检测流程图；
图9是根据本发明舰载机导引路径规划方法另一实施例中舰载机的展翼状态下建模示意图；
图10是根据本发明舰载机导引路径规划方法另一实施例中舰载机的合翼状态下建模示意图；
图11是根据本发明舰载机导引路径规划方法另一实施例中加油车建模示意图；
图12是根据本发明舰载机导引路径规划方法另一实施例中人建模示意图；
图13是根据本发明舰载机导引路径规划方法另一实施例中基于DQN算法的舰载机导引路径规划流程图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1显示了本发明舰载机导引路径规划方法一实施例的流程图。
在图1中，包括以下步骤：
步骤S101：预测障碍物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；
步骤S102：更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；
步骤S103：碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞。
对于步骤S101，优选的，根据障碍物的历史轨迹，利用LSTM框架将它们的历史轨迹编码成一系列序列值，结合图2至图6所示，编码过程如下所示：
在预测碍障物步骤中，利用LSTM编码预测障碍物的运动轨迹包括：
第一步，被预测的障碍物i从T1至Tobs的历史轨迹为
Figure BDA0002264593890000071
被预测的障碍物的周围障碍物的历史轨迹包括
Figure BDA0002264593890000072
第二步，如图3的左侧区域所示，经过LSTM框架的遗忘门输入t-1时刻的状态值ht-1、xt,输出为
Figure BDA0002264593890000073
其中σ1代表遗忘门sigmod函数，表达式为
Figure BDA0002264593890000074
Figure BDA0002264593890000075
表示遗忘门的神经元的权值，
Figure BDA0002264593890000076
表示遗忘门的神经元的偏置值；
第三步，如图4的中间区域，进一步经过LSTM框架的更新门，先通过输入门sigmod函数σ2，输出为
Figure BDA0002264593890000081
Figure BDA0002264593890000082
表示输入门的神经元的权值，
Figure BDA0002264593890000083
表示输入门的神经元的偏置值，然后通过tanh层，创建一个新的候选值向量，表达式为
Figure BDA0002264593890000084
Figure BDA0002264593890000085
表示计算候选值向量的神经元的权值，
Figure BDA0002264593890000086
表示计算候选值向量的神经元的偏置值；
第四步，将第二步和第三步确定好的更新内容添加到记忆当中，得到新的记忆Ct＝ft*Ct-1+it*Ct，如图5的上部区域所示；
第五步，计算当前隐藏层的状态ht＝ot*tanh(Ct)，表示输出已确定的输出部分，Ot＝σ(Wo[ht-1,xt]+bo)为输出部分，Wo表示输出部分的神经元的权值，bo表示输出部分的神经元的偏置值，如图6的右侧区域所示；
第六步，按照以上方法将被预测障碍物以及被预测障碍物周围障碍物编码成为：
Figure BDA0002264593890000087
进一步的，包括用soft attention计算被预测障碍物的向量
Figure BDA0002264593890000088
其中权值αtj为
Figure BDA0002264593890000089
其中a表示前馈神经网络；
进一步的，包括用hard attention计算被预测障碍物周围邻居障碍物的向量
Figure BDA00022645938900000810
其中
Figure BDA00022645938900000811
dis(n,j)表示在j时间点，第n个邻居障碍到被预测障碍物的距离；
进一步的，将上述计算出来的两个向量结合，得到合并向量
Figure BDA00022645938900000812
权值Wc通过反向传播学习得到。
进一步的，利用LSTM框架计算预测位置，
Figure BDA00022645938900000813
其中st-1表示解码器在t-1时刻的隐藏状态，yt-1表示解码器在t-1时刻的输出值，
Figure BDA00022645938900000814
表示合并向量。
优选的，在步骤S102中，如图7所示，首先初始化i＝0，然后判断i％T是否为0,T表示间隔决策次数，如果为0，表示重新定向，否则直接按照原来的定向选择动作；如果重新定向，包括四个方向，表示按照当前位置P和目的位置S设置向量
Figure BDA0002264593890000091
根据
Figure BDA0002264593890000092
的大小确定变量值：
Figure BDA0002264593890000093
该变量值的作用是根据距离来动态改变奖励值，选择完舰载机位置后，执行i＝i+1；判断是否到达终点，未到达则返回到判断i％T是否为0处重新执行，一直到到达终点结束。
优选的，甲板上有舰载机、加油车、工作人员。首先将它们分别建模，舰载机建模成为五边形、加油车建模成为矩形、工作人员建模成为圆形。
如图8所示，首先，初始化i＝1，获得执行ai后舰载机的坐标位置，ai表示舰载机可选的四个动作之一；
然后，计算舰载机各边的函数关系，优选的，展翼状态的舰载机是一个五边形，其五条边的分别方程为：
线段p1p2:
Figure BDA0002264593890000094
线段p1p3:
Figure BDA0002264593890000095
线段p2p4:
Figure BDA0002264593890000096
线段p3p5:
Figure BDA0002264593890000097
线段p4p5：
Figure BDA0002264593890000101
人的函数表达式：(x-x1)2+(y-y1)2＝r2；
进一步检查p1p2、p1p3、p2p4、p3p5、p4p5和人是否有交点，即方程组是否有解。还可以进一步判断舰载机各边和障碍物各边之间是否有交点。
在图8中，如果有交点，βi＝0，否则无交点，βi＝1，执行i＝i+1，将所有动作所对应的βi都计算出来，如果i大于4则结束，这是由于是4个方向所决定的，如果i小于或等于4则返回到获得执行ai后舰载机的坐标位置，重新进行其他动作的执行。
优选的，获得障碍物的预测位置坐标(x1,y1)，根据障碍物的类型不同，他们的模型的各个顶点坐标个各条边的函数关系如下所示：
(1)舰载机的展翼状态下建模为：
如图9所示，中心坐标为o＝(x1,y1)；前方坐标为p1＝(x1+cosθL，y1+sinθ×L)，其中θ为
Figure BDA0002264593890000102
和x轴之间的夹角，L为
Figure BDA0002264593890000103
的模；左前方坐标为p2＝(x1+cos(θ+ψ)×h，y1+sin(θ+ψ)×h)，其中ψ为
Figure BDA0002264593890000104
和
Figure BDA0002264593890000105
之间的夹角，h为
Figure BDA0002264593890000106
的模；右前方坐标为p3＝(x1+cos(θ-ψ)×h，y1+sin(θ-ψ)×h)；左后方坐标为p4＝(x1+cos(θ+β)×d，y1+sin(θ+β)×d)，其中β为
Figure BDA0002264593890000107
和
Figure BDA0002264593890000108
之间的夹角，d为
Figure BDA0002264593890000109
的模；右后方坐标为p5＝(x1+cos(θ-β)×d，y1+sin(θ-β)×d)。
(2)舰载机在合翼状态建模为：
如图10所示，左前方坐标为p'2＝(x1+cos(θ+ψ)×h'，y1+sin(θ+ψ)×h')，其中ψ为
Figure BDA00022645938900001010
和
Figure BDA00022645938900001011
之间的夹角；h'为
Figure BDA00022645938900001012
的模；右前方坐标为p′3＝(x1+cos(θ-ψ)×h′，y1+sin(θ-ψ)×h′)，而p1、p4、p5计算方法与图9中所示的计算方法相同，p1＝(x1+cosθ×L,y1+sinθ×L)，p4＝(x1+cos(θ+β)×d，y1+sin(θ+β)×d)，p5＝(x1+cos(θ-β)×d，y1+sin(θ-β)×d)
其中θ为
Figure BDA0002264593890000111
和x轴之间的夹角，β为
Figure BDA0002264593890000112
和
Figure BDA0002264593890000113
之间的夹角，d为
Figure BDA0002264593890000114
的模，L为
Figure BDA0002264593890000115
的模。
(3)加油车建模为：
如图10所示，中心坐标为o＝(x1,y1)，左前方坐标：
q1＝(x1+cos(θ+ω)×m，y1+sin(θ+ω)×m)，其中θ为加油车运动方向和x轴之间的夹角，ω为加油车运动方向和
Figure BDA0002264593890000116
之间的夹角；m是
Figure BDA0002264593890000117
的模；右前方坐标：q2＝(x1+cos(θ-ω)×m,y1+sin(θ-ω)×m)；左后方坐标：q3＝(x1-sin(θ-ω)×m,y1+cos(θ-ω)×m)；右后方坐标：q4＝(x1-sin(ω-θ)×m,y1-cos(ω-θ)×m)。
(4)人建模为：
半径为r，圆心坐标为o＝(x1,y1)的圆。按照圆和直线的公式分别计算出各模型中各边的函数关系式。
优选的，结合图13，进一步给出了基于DQN算法的自主学习导引路径规划方法，在图13所示网络中，环境将四元组(s,a,r,s,)传回给回放记忆单元，回放记忆单元将其传递给当前值网络和目标值网络，两个网络各自计算得到Q值，进行误差函数计算，将计算得到的loss函数更新当前值网络，而目标值网络则是根据一定的时间间隔将当前值网络的参数复制给目标值网络。其中包括步骤：
第一步，环境将当前状态传递给当前的值网络，该网络经过计算分别得到四个动作的值函数Q1＝(s,a1；θ)，Q2＝(s,a2；θ)，Q3＝(s,a3；θ)，Q4＝(s,a4；θ)。其中s表示当前状态；a表示下一步所采取的动作，有a1至a4四个方向的动作，θ表示参数；
第二步，根据周围障碍物预测位置，对当前Q网络进行一定的修正：
F(Qi)＝Qi×β,
其中
Figure BDA0002264593890000118
第三步，根据指导向量将上述F(Qi)做进一步修正：
Figure BDA0002264593890000121
第四步，将max(G(F(Qi)))作为选出的动作返回给环境。
由此可见，本发明公开了一种舰载机导引路径规划方法。该方法包括步骤有预测碍障物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞。通过该方法，可以在路径规划的同时有效的实现动态障碍物的碰撞避免，还加入了多种控制选择动作的限制，实现动态避障以及DQN的快速收敛，该方法使训练的时间大大缩短，提高了效率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种舰载机导引路径规划方法，其特征在于，包括以下步骤：
预测碍障物，获取舰载机和周围相邻的障碍物的历史轨迹，利用LSTM编码预测障碍物的运动轨迹；
更新导向，根据舰载机位置与目标点位置之间的关系更新舰载机导向目标点的定向关系；
碰撞检测，对舰载机和障碍物进行建模，检测舰载机运动过程中与相邻障碍物是否发生碰撞；
在预测碍障物步骤中，利用LSTM编码预测障碍物的运动轨迹包括：
第一步，被预测的障碍物i从
Figure 329355DEST_PATH_IMAGE001
至
Figure 747436DEST_PATH_IMAGE002
的历史轨迹为
Figure 287001DEST_PATH_IMAGE003
, 被预测的障碍物的周围障碍物的历史轨迹包括
Figure 933883DEST_PATH_IMAGE004
,
Figure 242505DEST_PATH_IMAGE005
；
第二步，经过LSTM框架的遗忘门输入t-1时刻的状态值
Figure 67373DEST_PATH_IMAGE006
、
Figure 563076DEST_PATH_IMAGE007
,输出为
Figure 13649DEST_PATH_IMAGE008
， 其中
Figure 176777DEST_PATH_IMAGE009
代表遗忘门sigmod函数，
Figure 674011DEST_PATH_IMAGE010
表示遗忘门的神经元的权值，
Figure 188169DEST_PATH_IMAGE011
表示遗忘门的神经元 的偏置值；
第三步，进一步经过LSTM框架的更新门，先通过输入门sigmod函数
Figure 176853DEST_PATH_IMAGE012
，输出为
Figure 194488DEST_PATH_IMAGE013
，
Figure 626737DEST_PATH_IMAGE014
表示输入门的神经元的权值，
Figure 159350DEST_PATH_IMAGE015
表示输入门的神经元的偏置 值，然后通过tanh层，创建一个新的候选值向量，表达式为
Figure 889409DEST_PATH_IMAGE016
，
Figure 27129DEST_PATH_IMAGE017
表示计算候选值向量的神经元的权值，
Figure 551651DEST_PATH_IMAGE018
表示计算候选值向量的神经元的偏置值；
第四步，将第二步和第三步确定好的更新内容添加到记忆当中，得到新的记忆
Figure 883144DEST_PATH_IMAGE019
；
第五步，计算当前隐藏层的状态
Figure 354577DEST_PATH_IMAGE020
，表示输出已确定的输出部分，
Figure 205858DEST_PATH_IMAGE021
为输出部分，
Figure 838965DEST_PATH_IMAGE022
表示输出部分的神经元的权值，
Figure 424798DEST_PATH_IMAGE023
表示输出部分的神经元的偏置值；
第六步，按照以上方法将被预测障碍物以及被预测障碍物周围障碍物编码成为：
Figure 434342DEST_PATH_IMAGE024
，
Figure 405709DEST_PATH_IMAGE025
，
Figure 475297DEST_PATH_IMAGE026
；
在预测碍障物步骤中进一步包括：
用soft attention计算被预测障碍物的向量
Figure 784312DEST_PATH_IMAGE027
，其中权值
Figure 597547DEST_PATH_IMAGE028
为
Figure 689000DEST_PATH_IMAGE029
,
Figure 663909DEST_PATH_IMAGE030
，其中
Figure 224334DEST_PATH_IMAGE031
表示前馈神经网络；
用hard attention计算被预测障碍物周围邻居障碍物的向量
Figure 372419DEST_PATH_IMAGE032
， 其中
Figure 193744DEST_PATH_IMAGE033
，
Figure 464189DEST_PATH_IMAGE034
表示在j时间点，第n个邻居障碍物到被预测障碍物的距离;
Figure 370965DEST_PATH_IMAGE035
表示在j时间点，第n个邻居障碍物的状态；
将上述计算出来的两个向量结合，得到合并向量
Figure 899904DEST_PATH_IMAGE036
，权值
Figure 575736DEST_PATH_IMAGE037
通过反 向传播学习得到；
利用LSTM框架计算预测位置，
Figure 282661DEST_PATH_IMAGE038
，其中
Figure 676733DEST_PATH_IMAGE039
表示解码器在t-1时刻的 隐藏状态，
Figure 245249DEST_PATH_IMAGE040
表示解码器在t-1时刻的输出值；
在更新导向步骤中包括：首先初始化i=0，然后判断i%T是否为0, T表示间隔决策次数， 如果为0，表示重新定向，否则直接按照原来的定向选择动作；如果重新定向，表示按照当前 位置P和目的位置S设置向量
Figure 41166DEST_PATH_IMAGE041
，根据
Figure 653413DEST_PATH_IMAGE042
的大小确定变量值：
Figure 269203DEST_PATH_IMAGE043
，
选择完舰载机位置后，执行i=i+1；判断是否到达终点，若未到达终点，则返回到判断i%T是否为0处重复执行，一直到达终点结束。
2.根据权利要求1所述的舰载机导引路径规划方法，其特征在于，在所述碰撞检测步骤 中，获得障碍物的预测位置坐标
Figure 142874DEST_PATH_IMAGE044
，对舰载机在展翼状态下建模为五边形：
中心坐标为
Figure 793298DEST_PATH_IMAGE045
；
前方坐标为
Figure 842026DEST_PATH_IMAGE046
，其中
Figure 7428DEST_PATH_IMAGE047
为
Figure 42380DEST_PATH_IMAGE048
和x轴之间的夹角，
Figure 422677DEST_PATH_IMAGE049
为
Figure 517672DEST_PATH_IMAGE048
的 模；
左前方坐标为
Figure 232687DEST_PATH_IMAGE050
，其中
Figure 71330DEST_PATH_IMAGE051
为
Figure 804668DEST_PATH_IMAGE048
和
Figure 70565DEST_PATH_IMAGE052
之间的夹 角，
Figure 272876DEST_PATH_IMAGE053
为
Figure 446368DEST_PATH_IMAGE052
的模；
右前方坐标为
Figure 925891DEST_PATH_IMAGE054
；
左后方坐标为
Figure 238055DEST_PATH_IMAGE055
，其中
Figure 803028DEST_PATH_IMAGE056
为
Figure 842529DEST_PATH_IMAGE048
和
Figure 442137DEST_PATH_IMAGE057
之间的夹 角，
Figure 715684DEST_PATH_IMAGE058
为
Figure 236795DEST_PATH_IMAGE057
的模；
右后方坐标为
Figure 345565DEST_PATH_IMAGE059
。
3.根据权利要求2所述的舰载机导引路径规划方法，其特征在于，对舰载机在合翼状态下建模为：
中心坐标为
Figure 596418DEST_PATH_IMAGE045
；
前方坐标为
Figure 375018DEST_PATH_IMAGE046
，其中
Figure 524371DEST_PATH_IMAGE047
为
Figure 46619DEST_PATH_IMAGE048
和x轴之间的夹角，
Figure 479875DEST_PATH_IMAGE049
为
Figure 429376DEST_PATH_IMAGE048
的 模；
左前方坐标为
Figure 564560DEST_PATH_IMAGE060
，其中
Figure 624920DEST_PATH_IMAGE051
为
Figure 178261DEST_PATH_IMAGE048
和
Figure 298664DEST_PATH_IMAGE061
之间的夹 角；
Figure 422609DEST_PATH_IMAGE062
为
Figure 286659DEST_PATH_IMAGE061
的模；
右前方坐标为
Figure 366611DEST_PATH_IMAGE063
；
左后方坐标为
Figure 782549DEST_PATH_IMAGE055
，其中
Figure 518424DEST_PATH_IMAGE056
为
Figure 562996DEST_PATH_IMAGE048
和
Figure 700717DEST_PATH_IMAGE057
之间的夹 角，
Figure 21977DEST_PATH_IMAGE058
为
Figure 245148DEST_PATH_IMAGE057
的模；
右后方坐标为
Figure 591946DEST_PATH_IMAGE059
。
4.根据权利要求3所述的舰载机导引路径规划方法，其特征在于，对加油车建模为：
中心坐标为
Figure 584173DEST_PATH_IMAGE045
；
左前方坐标：
Figure 341914DEST_PATH_IMAGE064
，其中
Figure 52381DEST_PATH_IMAGE047
为加油车运动方向和x轴 之间的夹角，
Figure 858663DEST_PATH_IMAGE065
为加油车运动方向和
Figure 79297DEST_PATH_IMAGE066
之间的夹角；
Figure 148884DEST_PATH_IMAGE067
是
Figure 205702DEST_PATH_IMAGE066
的模；
右前方坐标：
Figure 18937DEST_PATH_IMAGE068
；
左后方坐标：
Figure 595543DEST_PATH_IMAGE069
；
右后方坐标：
Figure 836032DEST_PATH_IMAGE070
。
5.根据权利要求4所述的舰载机导引路径规划方法，其特征在于，对人建模为：半径为 r，圆心坐标为
Figure 114566DEST_PATH_IMAGE045
的圆。
6.根据权利要求5所述的舰载机导引路径规划方法，其特征在于，舰载机在展翼状态下五条边分别列方程为：
线段
Figure 465913DEST_PATH_IMAGE071
Figure 664070DEST_PATH_IMAGE072
；
线段
Figure 75460DEST_PATH_IMAGE073
Figure 106870DEST_PATH_IMAGE074
；
线段
Figure 261907DEST_PATH_IMAGE075
Figure 734477DEST_PATH_IMAGE076
；
线段
Figure 192134DEST_PATH_IMAGE077
Figure 586206DEST_PATH_IMAGE078
；
线段
Figure 403990DEST_PATH_IMAGE079
Figure 934328DEST_PATH_IMAGE080
；
人的函数表达式：
Figure 795843DEST_PATH_IMAGE081
；
通过上述五个表达式建立方程组，若方程组有解，则表明有交点，若方程组无解，则表明没有交点。
7.根据权利要求1所述的舰载机导引路径规划方法，其特征在于，进一步给出了基于 DQN算法的自主学习导引路径规划方法，环境将四元组
Figure 677211DEST_PATH_IMAGE082
传回给回放记忆单元，回放 记忆单元将其传递给当前值网络和目标值网络，两个网络各自计算得到Q值，进行误差函数 计算，将计算得到的loss函数更新当前值网络，而目标值网络则是根据一定的时间间隔将 当前值网络的参数复制给目标值网络，其中包括步骤：
第一步，环境将当前状态传递给当前的值网络，该网络经过计算分别得到四个动作的 值函数
Figure 298685DEST_PATH_IMAGE083
，
Figure 949109DEST_PATH_IMAGE084
，
Figure 748569DEST_PATH_IMAGE085
，
Figure 648392DEST_PATH_IMAGE086
。
8.其中
Figure 683344DEST_PATH_IMAGE087
表示当前状态；
Figure 312909DEST_PATH_IMAGE088
表示下一步所采取的动作，有
Figure 407904DEST_PATH_IMAGE089
至
Figure 375116DEST_PATH_IMAGE090
四个方向的动作，
Figure 213759DEST_PATH_IMAGE047
表 示参数；
第二步，根据周围障碍物预测位置，对当前Q网络进行修正：
Figure 963409DEST_PATH_IMAGE091
第三步，根据指导向量将上述
Figure 229306DEST_PATH_IMAGE092
做进一步修正：
Figure 103721DEST_PATH_IMAGE093
，
第四步，将
Figure 355842DEST_PATH_IMAGE094
作为选出的动作返回给环境。
CN201911083216.8A 2019-11-07 2019-11-07 一种舰载机导引路径规划方法 Active CN110969287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911083216.8A CN110969287B (zh) 2019-11-07 2019-11-07 一种舰载机导引路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911083216.8A CN110969287B (zh) 2019-11-07 2019-11-07 一种舰载机导引路径规划方法

Publications (2)

Publication Number Publication Date
CN110969287A CN110969287A (zh) 2020-04-07
CN110969287B true CN110969287B (zh) 2022-11-01

Family

ID=70030381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083216.8A Active CN110969287B (zh) 2019-11-07 2019-11-07 一种舰载机导引路径规划方法

Country Status (1)

Country Link
CN (1) CN110969287B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724598B (zh) * 2020-06-29 2022-04-05 北京百度网讯科技有限公司 用于自动驾驶规划路径的方法、装置、设备以及存储介质
CN112429165B (zh) * 2020-11-17 2021-08-24 哈尔滨理工大学 一种船用减摇鳍的鳍体实时自动避障方法
CN112665592B (zh) * 2020-12-16 2023-10-20 郑州大学 一种基于多智能体的时空路径规划方法
CN113156972A (zh) * 2021-05-11 2021-07-23 郑州大学 航母甲板动态避障方法、终端设备及计算机可读存储介质
CN114896875A (zh) * 2022-04-27 2022-08-12 广州文远知行科技有限公司 自动驾驶的参数估计方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182973A (zh) * 2015-09-08 2015-12-23 郑州大学 多机器人追捕者围捕单移动目标的自适应围捕装置与方法
CN108279692A (zh) * 2018-01-17 2018-07-13 哈尔滨工程大学 一种基于lstm-rnn的uuv动态规划方法
CN108446497A (zh) * 2018-03-21 2018-08-24 郑州大学 一种舰载机集群运动建模仿真方法
WO2019157193A1 (en) * 2018-02-09 2019-08-15 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
CN110293968A (zh) * 2019-06-18 2019-10-01 百度在线网络技术（北京）有限公司 自动驾驶车辆的控制方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182973A (zh) * 2015-09-08 2015-12-23 郑州大学 多机器人追捕者围捕单移动目标的自适应围捕装置与方法
CN108279692A (zh) * 2018-01-17 2018-07-13 哈尔滨工程大学 一种基于lstm-rnn的uuv动态规划方法
WO2019157193A1 (en) * 2018-02-09 2019-08-15 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
CN108446497A (zh) * 2018-03-21 2018-08-24 郑州大学 一种舰载机集群运动建模仿真方法
CN110293968A (zh) * 2019-06-18 2019-10-01 百度在线网络技术（北京）有限公司 自动驾驶车辆的控制方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
舰载机牵引系统甲板调运避碰路径规划;张智 等;《系统工程与电子技术》;20140831;第36卷(第8期);第1551-1557页 *

Also Published As

Publication number Publication date
CN110969287A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969287B (zh) 一种舰载机导引路径规划方法
CN112356830B (zh) 一种基于模型强化学习的智能泊车方法
Ivanovic et al. MATS: An interpretable trajectory forecasting representation for planning and control
CN113657433B (zh) 一种车辆轨迹多模态预测方法
CN111413966A (zh) 一种递进式模型预测无人驾驶规划跟踪协同控制方法
CN114139637B (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CN114170789A (zh) 基于时空图神经网络的智能网联车换道决策建模方法
Peng et al. DRL-GAT-SA: Deep reinforcement learning for autonomous driving planning based on graph attention networks and simplex architecture
Singh et al. Intelligent neuro-controller for navigation of mobile robot
CN113359744B (zh) 一种基于安全强化学习及视觉传感器的机器人避障系统
Venkatesh et al. Connected and automated vehicles in mixed-traffic: Learning human driver behavior for effective on-ramp merging
CN115659275A (zh) 非结构化人机交互环境中的实时准确轨迹预测方法及系统
Zhao et al. Path planning for mobile robots based on TPR-DDPG
CN113485323A (zh) 一种级联多移动机器人灵活编队方法
CN117539241A (zh) 一种融合全局人工势场和局部强化学习的路径规划方法
Hu et al. Learning dynamic graph for overtaking strategy in autonomous driving
CN116540731A (zh) 融合堆叠lstm与sac算法的路径规划方法及系统
Yang et al. Rmrl: Robot navigation in crowd environments with risk map-based deep reinforcement learning
CN118809583A (zh) 一种机器人运动规划优化方法
CN113033902A (zh) 一种基于改进深度学习的自动驾驶换道轨迹规划方法
CN116202526A (zh) 有限视场下结合双重卷积网络及循环神经网络的人群导航方法
CN119329558A (zh) 一种基于车辆交互图时空解耦编码的多模态轨迹预测方法
Lei et al. Kb-tree: Learnable and continuous monte-carlo tree search for autonomous driving planning
Zhang et al. Direction-decision learning based pedestrian flow behavior investigation
Liao et al. Cot-drive: Efficient motion forecasting for autonomous driving with llms and chain-of-thought prompting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant