[go: up one dir, main page]

CN108645408B - 一种基于导航信息的无人机自主回收目标预测方法 - Google Patents

一种基于导航信息的无人机自主回收目标预测方法 Download PDF

Info

Publication number
CN108645408B
CN108645408B CN201810424143.3A CN201810424143A CN108645408B CN 108645408 B CN108645408 B CN 108645408B CN 201810424143 A CN201810424143 A CN 201810424143A CN 108645408 B CN108645408 B CN 108645408B
Authority
CN
China
Prior art keywords
coordinate system
target
cooperative target
cooperative
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810424143.3A
Other languages
English (en)
Other versions
CN108645408A (zh
Inventor
方强
唐邓清
赵框
周正元
周晗
周勇
曹正江
王树源
高平海
胡天江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810424143.3A priority Critical patent/CN108645408B/zh
Publication of CN108645408A publication Critical patent/CN108645408A/zh
Application granted granted Critical
Publication of CN108645408B publication Critical patent/CN108645408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

针对合作目标为运动的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标运动意味着合作目标在世界坐标系中的位移分量会发生改变，即
Figure DDA0001651548250000011
发生变化。在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。本发明结合导航信息可以预测合作目标的成像区域，仅在该区域内进行目标检测跟踪以及相对位姿解算，从而提高合作目标位姿估计算法的实时性和准确性。

Description

一种基于导航信息的无人机自主回收目标预测方法
技术领域
本发明涉及无人机自主回收技术领域，特别是涉及一种基于导航信息的无人机自主回收目标预测方法。
背景技术
当前对无人机进行自主回收(地面回收或者车载回收等)在民用领域是一个研究的热点和难点，而要实现安全的自主回收，准确实时的相对位姿估计是基础，特别是对于小型无人机(特别是高速运动的无人机)而言更是一个挑战。
目前常用的自主回收方法是基于合作目标的方法，通过检测和跟踪地面或者车上的合作目标来对无人机的相对位姿进行估计，然而小型无人机载荷有限，机载处理能力受到限制，常规的基于合作目标的方法很可能不能满足实时性要求，或者由于合作目标在图像中的位置变化过快导致位姿估计效果差。
因此，亟需研究处一种方法用来一定程度上解决无人机自主回收中合作目标预测的实时性和准确性的问题。
发明内容
为克服现有技术存在的缺陷，针对合作目标为运动的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标运动意味着合作目标在世界坐标系中的位移分量会发生改变，即
Figure GDA0002493226070000011
发生变化，因此首先要能得到
Figure GDA0002493226070000012
的值。
在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，即
Figure GDA0002493226070000021
和
Figure GDA0002493226070000022
已知。本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。具体实施步骤如下：
(1)定义坐标系
摄像机坐标系ocxcyczc：原点为摄像机的光心，ocxc和ocyc轴与图像坐标系的u,v轴平行，oczc轴为摄像机光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；
无人机机体坐标系obxbybzb：obyb轴沿机身对称轴线指向机头，obxb垂直于无人机对称面指向机身右方，obzb轴满足右手法则；
成像平面坐标系：原点为图像的中心点，横坐标x和纵坐标y分别平行于图像所在的行和列；
图像坐标系：原点为图像的左上角，横坐标u和纵坐标v分别是图像所在的行和列，中心点(u0,v0)为主点坐标；
(2)合作目标运动意味着合作目标在世界坐标系中的位移分量会发生改变，即
Figure GDA0002493226070000023
发生变化。设目标点P为合作目标的中心点，如图2所示，考虑针孔摄像机模型，其中Oc点为光心，Oczc轴为光轴，f为焦距。目标点P相对于摄像机光心Oc的距离在摄像机坐标系的投影(xc,yc,zc)可以表示为:
Figure GDA0002493226070000024
其中
Figure GDA0002493226070000025
为目标点P在世界坐标系中的投影，
Figure GDA0002493226070000026
为无人机在世界坐标系中的投影，
Figure GDA0002493226070000027
为无人机机体坐标系到摄像机坐标系的旋转矩阵，
Figure GDA0002493226070000031
为无人机的姿态旋转矩阵。
假设目标点P在成像平面坐标系和图像坐标系的坐标分别为(x,y)和(u,v)，图像坐标系中的主点坐标为(u0,v0)，则目标点P在这两个坐标系下的投影有如下关系
Figure GDA0002493226070000032
(3)基于多项式拟合估计合作目标在下一时刻的空间位置。
假设无人机在前n个时刻的相对位置为(xc(tk-i),yc(tk-i),zc(tk-i))，其中i＝1,…n；结合合作目标相对位姿信息，可以获得前n个时刻的合作目标的空间位置
Figure GDA0002493226070000033
其中i＝1,…n；
考虑在时间区间[tk-i,tk-1]内，合作目标的运动曲线可以用低阶多项式来拟合，即
Figure GDA0002493226070000034
利用式(3)可以获得多项式的系数(cx0,cx1,cx2,…cxn)(cy0,cy1,cy2,…cyn)(cz0,cz1,cz2,…czn)；因此当tk时刻时，可以根据得到的多项式系数，结合式(3)估计合作目标在该时刻的空间位置
Figure GDA0002493226070000035
(4)预测合作目标的成像位置。
根据tk时刻的导航信息
Figure GDA0002493226070000036
和
Figure GDA0002493226070000037
以及tk时刻估计的
Figure GDA0002493226070000038
利用式(1)可以得到
Figure GDA0002493226070000039
再根据公式(2)，可以预测合作目标的成像像素点(u(tk),v(tk))。
与现有技术相比，本发明能够产生以下技术效果：
考虑在位姿估计过程中，并不需要对整幅图像进行处理，而只需要对目标区域进行处理就可以，从而可以减少检测时间。同时无人机上集成了导航系统，能够实时提供导航信息，而目标成像几何原理是与导航信息有关的。因此本发明结合导航信息可以预测合作目标的成像区域，仅在该区域内进行目标检测跟踪以及相对位姿解算，从而提高合作目标位姿估计算法的实时性和准确性。
附图说明
图1是一种合作目标的示意图。
图2是摄像机成像原理示意图。
具体实施方式
下面对本发明的进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
针对合作目标为运动的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标运动意味着合作目标在世界坐标系中的位移分量会发生改变，即
Figure GDA0002493226070000041
发生变化，因此首先要能得到
Figure GDA0002493226070000042
的值。在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。
下面给出一具体实施例：
案例：假设摄像机的焦距为fx＝fy＝1000，分辨率为1280×720；当前tk时刻无人机在世界坐标系中的投影
Figure GDA0002493226070000051
无人机的姿态旋转矩阵
Figure GDA0002493226070000052
为单位矩阵，摄像机与无人机机体的旋转矩阵
Figure GDA0002493226070000053
地面上的合作目标以2m/s的速度匀速运动，且前期估计的合作目标的空间位置序列
Figure GDA0002493226070000054
其中i＝1,5(这里以5个值为例，间隔dt＝0.2s)，分别为(9.2,8.9,0.1)，(9.3,9.3,0.15)，(9.15,9.5,0.2)，(9.25,9.8,0.05)，(9.5,10.2,0.12)。
需要预测当前tk时刻合作目标的成像位置。
采用本发明方法，步骤如下：
1)根据已知的合作目标空间位置序列，由于合作目标运动，因此首先根据公式(3)基于前期估计的合作目标的空间位置序列用多项式来拟合合作目标运动轨迹，即求取多项式系数，由于这里采用前5组数据，因此根据公式(3)可以获得3阶多项式系数为：
cx0＝-0.6,cx1＝6.9583,cx2＝-15.625,cx3＝10.4167
cy0＝-0.3,cy1＝5,cy2＝-8.75,cy3＝6.257
cz0＝-0.24,cz1＝3.35,cz2＝-10.625,cz3＝8.125
2)根据1)的结果和公式(3)预测当前tk时刻目标的空间位置
Figure GDA0002493226070000055
Figure GDA0002493226070000056
Figure GDA0002493226070000057
Figure GDA0002493226070000058
3)根据公式(1)获得目标在摄像机坐标系的投影(xc(tk),yc(tk),zc(tk))。
Figure GDA0002493226070000059
4)根据公式(2)预测tk时刻合作目标在图像中的成像位置(u(tk),v(tk))。
Figure GDA0002493226070000061
Figure GDA0002493226070000062
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于导航信息的无人机自主回收目标预测方法，其特征在于：包括以下步骤：
(1)定义坐标系
摄像机坐标系ocxcyczc：原点为摄像机的光心，ocxc和ocyc轴与图像坐标系的u,v轴平行，oczc轴为摄像机光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；
无人机机体坐标系obxbybzb：obyb轴沿机身对称轴线指向机头，obxb垂直于无人机对称面指向机身右方，obzb轴满足右手法则；
成像平面坐标系：原点为图像的中心点，横坐标x和纵坐标y分别平行于图像所在的行和列；
图像坐标系：原点为图像的左上角，横坐标u和纵坐标v分别是图像所在的行和列，中心点(u0,v0)为主点坐标；
(2)合作目标运动意味着合作目标在世界坐标系中的位移分量会发生改变，即
Figure FDA0002493226060000011
发生变化；设目标点P为合作目标的中心点，考虑针孔摄像机模型，其中Oc点为光心，Oczc轴为光轴，f为焦距；目标点P相对于摄像机光心Oc的距离在摄像机坐标系的投影(xc,yc,zc)表示为:
Figure FDA0002493226060000012
其中
Figure FDA0002493226060000013
为目标点P在世界坐标系中的投影，
Figure FDA0002493226060000014
为无人机在世界坐标系中的投影，
Figure FDA0002493226060000015
为无人机机体坐标系到摄像机坐标系的旋转矩阵，
Figure FDA0002493226060000016
为无人机的姿态旋转矩阵；
假设目标点P在成像平面坐标系和图像坐标系的坐标分别为(x,y)和(u,v)，图像坐标系中的主点坐标为(u0,v0)，则目标点P在这两个坐标系下的投影有如下关系
Figure FDA0002493226060000021
(3)基于多项式拟合估计合作目标在下一时刻的空间位置；
假设无人机在前n个时刻的相对位置为(xc(tk-i),yc(tk-i),zc(tk-i))，其中i＝1,…n；结合合作目标相对位姿信息，获得前n个时刻的合作目标的空间位置
Figure FDA0002493226060000022
其中i＝1,…n；
考虑在时间区间[tk-i,tk-1]内，合作目标的运动曲线用低阶多项式来拟合，即
Figure FDA0002493226060000023
利用式(3)获得多项式的系数(cx0,cx1,cx2,…cxn)(cy0,cy1,cy2,…cyn)(cz0,cz1,cz2,…czn)；因此当tk时刻时，根据得到的多项式系数，结合式(3)估计合作目标在该时刻的空间位置
Figure FDA0002493226060000024
(4)预测合作目标的成像位置；
根据tk时刻的导航信息
Figure FDA0002493226060000025
和
Figure FDA0002493226060000026
以及tk时刻估计的
Figure FDA0002493226060000027
利用式(1)得到(xc(tk),yc(tk),zc(tk))，再根据公式(2)，预测合作目标的成像像素点(u(tk),v(tk))。
CN201810424143.3A 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法 Active CN108645408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424143.3A CN108645408B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424143.3A CN108645408B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Publications (2)

Publication Number Publication Date
CN108645408A CN108645408A (zh) 2018-10-12
CN108645408B true CN108645408B (zh) 2020-07-17

Family

ID=63749031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424143.3A Active CN108645408B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Country Status (1)

Country Link
CN (1) CN108645408B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044212B (zh) * 2019-03-12 2021-07-30 西安电子科技大学 基于视觉测量信息的旋翼无人机抓捕回收方法
CN111399542B (zh) * 2020-04-02 2024-01-30 重庆市亿飞智联科技有限公司 无人机降落方法、装置、存储介质、自动驾驶仪及无人机
CN111951331B (zh) * 2020-07-07 2024-02-27 中国人民解放军93114部队 基于视频图像的飞行装置精准定位方法、装置和电子设备
CN112419417B (zh) * 2021-01-25 2021-05-18 成都翼比特自动化设备有限公司 一种基于无人机的拍照点定位方法及相关装置
CN117516485B (zh) * 2024-01-04 2024-03-22 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018067327A1 (en) * 2016-10-04 2018-04-12 Wal-Mart Stores, Inc. Landing pad receptacle for package delivery and receipt

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
CN106373159A (zh) * 2016-08-30 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种简化的无人机多目标定位方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法

Also Published As

Publication number Publication date
CN108645408A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108645408B (zh) 一种基于导航信息的无人机自主回收目标预测方法
CN110632941B (zh) 一种复杂环境下无人机目标跟踪的轨迹生成方法
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
Pham et al. A survey on unmanned aerial vehicle collision avoidance systems
Pfeiffer et al. Modeling dynamic 3D environments by means of the stixel world
Chen et al. Real-time identification and avoidance of simultaneous static and dynamic obstacles on point cloud for UAVs navigation
CN107167140B (zh) 一种无人机视觉定位累积误差抑制方法
CN105096341A (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN114001733A (zh) 一种基于地图的一致性高效视觉惯性定位算法
CN111624875B (zh) 视觉伺服控制方法、装置和无人设备
CN115560760A (zh) 一种面向无人机的视觉/激光测距高空导航方法
Hatch et al. Obstacle avoidance using a monocular camera
Cristofalo et al. Vision-based control for fast 3-d reconstruction with an aerial robot
CN108731683B (zh) 一种基于导航信息的无人机自主回收目标预测方法
CN110598370B (zh) 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN105321162B (zh) 一种运动目标的单多目实时优化定位方法
Lee et al. Measuring vehicle velocity in real time using modulated motion blur of camera image data
Spasojevic et al. Joint feature selection and time optimal path parametrization for high speed vision-aided navigation
Zhao et al. Robust depth-aided visual-inertial-wheel odometry for mobile robots
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
mohanraj Raja Vision based landing for unmanned aerial vehicle
Tang et al. Unscented Kalman filter for position estimation of UAV by using image information
Deng et al. Robust 3D-SLAM with tight RGB-D-inertial fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant