CN104102218B - 基于视觉伺服的感知与规避方法及系统 - Google Patents
基于视觉伺服的感知与规避方法及系统 Download PDFInfo
- Publication number
- CN104102218B CN104102218B CN201410305109.6A CN201410305109A CN104102218B CN 104102218 B CN104102218 B CN 104102218B CN 201410305109 A CN201410305109 A CN 201410305109A CN 104102218 B CN104102218 B CN 104102218B
- Authority
- CN
- China
- Prior art keywords
- target
- angle
- envelope
- avoidance
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- WBWWGRHZICKQGZ-HZAMXZRMSA-M taurocholate Chemical compound C([C@H]1C[C@H]2O)[C@H](O)CC[C@]1(C)[C@@H]1[C@@H]2[C@@H]2CC[C@H]([C@@H](CCC(=O)NCCS([O-])(=O)=O)C)[C@@]2(C)[C@@H](O)C1 WBWWGRHZICKQGZ-HZAMXZRMSA-M 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于视觉伺服的感知与规避系统,包括无人机、图像采集系统、视觉伺服控制系统和导航定位系统,所述视觉伺服系统包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器。本发明还提供一种基于所述感知与规避系统的规避方法,本发明实现了对周围空域环境的快速感知,以及在不加装任何测距传感器且不需地面操作人员进行干预和操作的情况下,独立自主完成对空间飞行目标的规避机动;本发明载荷要求低、控制精度高、具有较高的智能性,能够提高无人机的空域飞行安全能力。
Description
技术领域
本发明涉及无人机导航与控制领域,特别涉及一种基于视觉伺服的感知与规避方法及系统。
背景技术
近来,随着军事应用与民用领域对无人机的需求日益强烈,加上我国民用空域领域的进一步开放,未来空域将呈现多种类型功能的无人机、有人机进行空域共享和集成的局面,空域将日趋密集。在此情况下,无人机感知与规避(Sense and Avoid,即SAA)能力将成为进入空域飞行、保障无人机飞行安全的先决条件。无人机感知与规避是指无人机利用机载传感器或地面监视系统完成对空域飞行环境的监视和飞行目标的状态获取,对潜在碰撞威胁的目标进行规避路径规划,完成规避机动动作,从而保证无人机的航路飞行安全。
SAA技术是目前无人机技术领域亟待解决的关键技术难题。2013年,在美国FAA(Federal Aviation Administration)发布的无人机系统空域集成路线图中,明确提出SAA能力是无人机进行国家空域飞行的必备能力。其主要功能分为:目标检测与跟踪、碰撞威胁估计、规避路径规划、规避机动。
无人机机载SAA传感器包括T-CAS,ADS-B、雷达、激光雷达、光电、红外传感器等。其中,光电传感器作为对非合作目标非常重要和有效感知与规避手段,特别是在轻小型无人机系统载荷、任务、成本有限,无法搭载大型感知设备如雷达、激光雷达等情况下,基于光电传感器的视觉SAA系统在质量、功耗、成本方面的优势使其更易在轻小型系统集成和应用;视觉SAA被动式感知的特点适用于战场环境、隐身任务等特定任务场合;且与ADS-B、TCAS等相比,视觉SAA不依靠应答机制,不需要地面控制信息和卫星定位信息,即能够提供对非合作目标独立的感知与规避能力。因此,研究基于光电传感器的视觉SAA系统具有重要意义。
发明内容
本发明的目的在于提供一种基于视觉伺服的感知与规避方法及系统,以解决现有传感器体积大、功耗较大,不利于在轻小型无人机系统中的集成应用的问题,并且本发明能够实现对周围空域环境的快速感知,通过角度安全包络建立视觉反馈控制模型,控制无人机完成对空域目标的感知与规避。
本发明提供一种基于视觉伺服的感知与规避系统,包括:
无人机,所述无人机上设置自动驾驶仪,所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作;
图像采集系统,搭载在所述无人机上,用于采集无人机的飞行空域图像信息,采用多相机多视角集中式阵列构型,并通过相机接口实时传输图像信息;
视觉伺服控制系统,设置在所述无人机上,包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器,视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪,安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成,并基于该安全包络生成图像规避角度,以此角度输入至视觉伺服控制器,视觉伺服控制器输出规避机动角度,并将该角度通过串口传输至自动驾驶仪完成规避动作;
导航定位系统,设置在所述无人机上,用于建立航路回归机制,导航定位系统检测到无人机不在航路且不存在威胁时,进行航路回归,使无人机返回原始航路。
作为一种优选方式,本发明中所述视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168。
本发明还提供一种基于视觉伺服的感知与规避系统的规避方法,包括:
步骤一,通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖,获取无人机的飞行空域图像信息;
步骤二,机载视觉伺服控制系统中视觉目标检测与跟踪模块接收步骤一中图像信息并进行处理,完成对空域图像中飞行目标的检测、定位和跟踪;
步骤三,根据步骤二中获取的飞行目标状态信息,视觉伺服控制系统中安全包络模块进行图像平面角度安全包络生成,通过安全包络确定无人机是否存在碰撞威胁,针对碰撞威胁,计算得到图像意义下的规避角度;
步骤四,将步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器,视觉伺服器输出需要的规避机动俯仰和偏航角度,并传送至无人机自动驾驶仪完成规避机动;
步骤五,利用导航定位系统建立航路回归机制,当无人机不存在威胁时,使无人机返回原始航路。
作为一种优选方式,所述步骤二的具体实现方法如下:
步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控制系统中视觉目标检测与跟踪模块,其中图像采集系统中共设置A、B、C三台相机,视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168,利用DM8168实现对获取的多路视频进行处理,通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信息pk=[pxk,pyk],获得目标相对于该相机的相对角度:
其中,w和h分别是以像素为单位的图像的宽度和高度,f为相机镜头焦距,μ为象元尺寸;
根据相机安装位置,可获得目标k时刻相对于无人机的相对角度为Θk=[σk,γk],其中
γk=γ′
式中分别表示检测到的目标来自于图像采集系统中的相机A、相机B和相机C;
根据前后时刻的角度变化确定目标的角速度Ωk=[ωxk,ωyk]=Θk+1-Θk,k>0。
作为另一种优选方式,所述步骤三中安全包络的生成步骤及规避角度的计算步骤包括:
①建立目标安全包络圆,圆心为目标点,选取一个半径初始值,并以固定速度进行增长;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点,椭圆短轴的长度与包络圆的半径相等,椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和,长轴方向平行于目标的运动方向;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成;
④基于前述平面角度安全包络进行目标威胁估计,建立基于安全包络的威胁标示函数,以此判断是否存在碰撞威胁;
⑤根据最小规避距离原则,在平面角度安全包络寻找距离初始目标最近的点。
特别地,所述步骤三中安全包络的具体生成步骤及规避角度的具体计算步骤如下:
①建立目标安全包络圆,圆心选为目标k时刻相对于无人机的相对角度位置Θk=[σk,γk],选取一个半径初始值r0,并以固定速度进行增长,则
rk+1=rk+ε,k=1,2,3…
rk=r0,k=0
其中ε是固定增长速度,rk+1代表k+1时刻的安全包络圆半径;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点Θk=[σk,γk],长轴方向平行于目标的运动方向,即目标角速度Ωk的方向,长轴和短轴的长度分别按下列公式选取:
a=rk(1+α‖Ωk‖),
b=rk,
式中,a和b分别代表包络椭圆的长轴和短轴,rk为k时刻包络圆的半径,α为角速度转化为轴长的比例因子,该因子代表规避预留时间,‖Ωk‖为目标运动角速度向量的模;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成;
④基于前述平面角度安全包络进行目标威胁估计,建立基于时间k的威胁标示函数lk,当lk<0时,认为存在碰撞威胁,以此判断是否存在碰撞威胁,其中
其中表示相机B的主轴方向相对于无人机主轴方向的角度,通常可认为是符号函数;
⑤当lk<0时,根据最小规避距离原则,在平面角度安全包络寻找距离最近的点s*=[σ*,γ*]作为最小规避机动点:
其中代表k时刻垂直于目标角速度向量的单位向量。
作为又一种优选方式,所述步骤四中规避机动俯仰和偏航角度的具体计算步骤如下:
①定义交互矩阵为
在视觉伺服控制系统的视觉伺服控制器中建立速度控制器,反馈量为完成误差的指数衰减,输出速度控制量V,视觉伺服控制器表达为
式中,λ为误差指数衰减系数,表示Le的伪逆;
由于在交互矩阵Le中无法获取目标与本机的距离d的信息,将交互矩阵进行分割如下:
式中,Lω表示Le中的角度控制分量,Lt表示速度运动控制分量;
得到距离无关的视觉伺服控制器:
式中,表示Lω的伪逆;
为消除稳态误差,对视觉伺服控制器进行补偿,如下:
式中,Ω表示目标运动的角速度,表示误差的方向向量,ωx、ωy、ωz分别表示ω的三个分量;
②输出的俯仰角和偏航角为
式中,和φc(k)表示自动驾驶仪输出姿态的俯仰角和偏航角,和φ(k)表示无人机当前姿态的俯仰角和偏航角,Δt表示视觉伺服控制器输出时间间隔步长,ωy(k)和ωz(k)分别表示当前时刻视觉伺服控制器输出的俯仰角速度控制量和偏航角速度控制量,g表示重力加速度,V(k)表示当前时刻无人机的速度。
作为再一种优选方式,所述步骤五中航路回归机制的具体建立步骤如下:
①通过本机导航定位系统确定无人机是否在航路中,当本机不在航路时,进行航路回归;
②确认时刻k的回归航路角度
式中,代表了航路回归时的最小机动规避点位置;
其中Pd是当不存在规避机动时,本机在原本航路上的位置,Pd12和Pd13分别是本机在XY和XZ平面的二维位置;
Ps是通过本机导航定位系统获得的本机当前位置,Ps12和Ps13分别是本机在XY和XZ平面的二维位置;
es是通过本机导航定位系统获得的本机方向向量,es12和es13分别是本机在XY和XZ平面的二维方向向量。
本发明实现了对周围空域环境的快速感知,以及在不加装任何测距传感器且不需地面操作人员进行干预和操作的情况下,独立自主完成对空间飞行目标的规避机动;本发明载荷要求低、控制精度高、具有较高的智能性,能够提高无人机的空域飞行安全能力。
附图说明
图1为本发明的基于视觉伺服的感知与规避系统结构框图;
图2为本发明的基于视觉伺服的感知与规避系统的规避方法流程图;
图3a为本发明的图像采集系统相机阵列布置图;
图3b为本发明的图像采集系统相机阵列视场角度示意图;
图4为本发明的图像平面角度安全包络示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
如图1所示,本发明提供一种基于视觉伺服的感知与规避系统,包括:
无人机,所述无人机上设置自动驾驶仪,所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作;
图像采集系统,搭载在所述无人机上,用于采集无人机的飞行空域图像信息,采用多相机多视角集中式阵列构型,并通过相机接口实时传输图像信息;
视觉伺服控制系统,设置在所述无人机上,包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器,视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪,安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成,并基于该安全包络生成图像规避角度,以此角度输入至视觉伺服控制器,视觉伺服控制器输出规避机动角度,并将该角度通过串口传输至自动驾驶仪完成规避动作;
导航定位系统,设置在所述无人机上,用于建立航路回归机制,导航定位系统检测到无人机不在航路且不存在威胁时,进行航路回归,使无人机返回原始航路。
其中,本发明中视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168。
如图2所示,本发明还提供一种基于视觉伺服的感知与规避系统的规避方法,包括:
步骤一,通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖,获取无人机的飞行空域图像信息。
根据国际民航组织规定,飞行器空间的视场角必须分别满足:水平视场>±110°,垂直视场>±15°,因此必须对上述空域能够进行完全覆盖,且应该尽可能的获取清晰准确的信息。图像采集系统采用多相机多视角集中式阵列构型,从相机的角度来讲,即必须满足大市场和远距离高分辨成像,而单一的相机镜头很难在视场角和焦距方面兼顾。因此,采用如图3a所示的多相机集中式阵列构型,图中A、B、C均为设置在增稳云台上的相机,增稳云台能够保证清晰、水平视角图像的获取。利用多个长焦镜头的焦距拼接获得大的视场角度,具体视场角度如图3b所示,同时提高对远距离目标的探测能力。
步骤二,机载视觉伺服控制系统中视觉目标检测与跟踪模块接收步骤一中图像信息并进行处理,完成对空域图像中飞行目标的检测、定位和跟踪。
在轻小型无人机中,由于通信带宽的限制,往往不能实现对高清图像的实时传播,多路高清视频的远距离传输在当前的轻小型无人机系统中很难实现。
图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控制系统中多路高清图像处理平台DM8168,利用DM8168实现对获取的多路视频进行处理,通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信息pk=[pxk,pyk],获得目标相对于该相机的相对角度:
其中,w和h分别是以像素为单位的图像的宽度和高度,f为相机镜头焦距,μ为象元尺寸;
根据相机安装位置,可获得目标k时刻相对于无人机的相对角度为Θk=[σk,γk],其中
γk=γ′
式中分别表示检测到的目标来自于图像采集系统中的相机A、相机B和相机C。
根据前后时刻的角度变化确定目标的角速度Ωk=[ωxk,ωyk]=Θk+1-Θk,k>0。
步骤三,根据步骤二中获取的飞行目标状态信息,视觉伺服控制系统中安全包络模块进行图像平面角度安全包络生成,通过安全包络确定无人机是否存在碰撞威胁,针对碰撞威胁,计算得到图像意义下的规避角度s*=[σ*,γ*]。
安全包络定义为表示飞行器与目标最小分离距离的光滑、封闭曲线或曲面,在视觉规避系统中,由于距离无法获取,因此无法根据目标的真实三维空间建立安全包络,如图4所示,本发明中建立一种基于角度的安全包络方法,包括如下步骤:
①建立目标安全包络圆,圆心为目标点,选取一个半径初始值,并以固定速度进行增长;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点,椭圆短轴的长度与包络圆的半径相等,椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和,长轴方向平行于目标的运动方向;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成;
④基于前述平面角度安全包络进行目标威胁估计,建立基于安全包络的威胁标示函数,以此判断是否存在碰撞威胁;
⑤根据最小规避距离原则,在平面角度安全包络寻找距离初始目标最近的点。
上述建立基于角度的安全包络方法可依据如下具体步骤进行:
①建立目标安全包络圆,圆心选为目标k时刻相对于无人机的相对角度位置Θk=[σk,γk],选取一个半径初始值r0,并以固定速度进行增长,则
rk+1=rk+ε,k=1,2,3…
rk=r0,k=0
其中ε是固定增长速度,用来模拟三维空间物体在图像平面的扩张速度,rk+1代表k+1时刻的安全包络圆半径,图4中的r表示包络圆的半径;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点Θk=[σk,γk],长轴方向平行于目标的运动方向,即目标角速度Ωk的方向,图4中的a和b分别表示包络椭圆的长轴和短轴,长轴和短轴的长度分别按下列公式选取:
a=rk(1+α‖Ωk‖),
b=rk,
式中,a和b分别代表包络椭圆的长轴和短轴,rk为k时刻包络圆的半径,α为角速度转化为轴长的比例因子,该因子代表规避预留时间,‖Ωk‖为目标运动角速度向量的模,即长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成,具体如图4中实线部分所示;
该安全包络既考虑了由于目标接近和联测误差存在造成的规避角度余量,同时安全包络也考虑了目标的运动状态;
④基于前述平面角度安全包络进行目标威胁估计,建立基于时间k的威胁标示函数lk,当lk<0时,认为存在碰撞威胁,以此判断是否存在碰撞威胁,其中
其中表示相机B的主轴方向相对于无人机主轴方向的角度,通常可认为是符号函数;
⑤当lk<0时,根据最小规避距离原则,在平面角度安全包络寻找距离最近的点s*=[σ*,γ*]作为最小规避机动点:
其中代表k时刻垂直于目标角速度向量的单位向量。
步骤四,将步骤三中的规避角度s*=[σ*,γ*]输入视觉伺服控制系统中的视觉伺服器,视觉伺服器输出需要的规避机动俯仰和偏航角度并通过串口传送至无人机自动驾驶仪完成规避机动。
①定义交互矩阵为
在视觉伺服控制系统的视觉伺服控制器中建立速度控制器,反馈量为完成误差的指数衰减,输出速度控制量V,视觉伺服控制器表达为
式中,λ为误差指数衰减系数,表示Le的伪逆;
由于在交互矩阵Le中无法获取目标与本机的距离d的信息,将交互矩阵进行分割如下:
式中,Lω表示Le中的角度控制分量,Lt表示速度运动控制分量;
得到距离无关的视觉伺服控制器:
式中,表示Lω的伪逆;
为消除稳态误差,对视觉伺服控制器进行补偿,如下:
式中,Ω表示目标运动的角速度,表示误差的方向向量,ωx、ωy、ωz分别表示ω的三个分量;
②输出的俯仰角和偏航角为
式中,和φc(k)表示自动驾驶仪输出姿态的俯仰角和偏航角,和φ(k)表示无人机当前姿态的俯仰角和偏航角,Δt表示视觉伺服控制器输出时间间隔步长,ωy(k)和ωz(k)分别表示当前时刻视觉伺服控制器输出的俯仰角速度控制量和偏航角速度控制量,g表示重力加速度,V(k)表示当前时刻无人机的速度。
步骤五,利用导航定位系统建立航路回归机制,当无人机不存在威胁时,使无人机返回原始航路。
①通过本机导航定位系统确定无人机是否在航路中,当本机不在航路时,进行航路回归;
②确认时刻k的回归航路角度
式中,代表了航路回归时的最小机动规避点位置;
其中Pd是当不存在规避机动时,本机在原本航路上的位置,Pd12和Pd13分别是本机在XY和XZ平面的二维位置;
Ps是通过本机导航定位系统获得的本机当前位置,Ps12和Ps13分别是本机在XY和XZ平面的二维位置;
es是通过本机导航定位系统获得的本机方向向量,es12和es13分别是本机在XY和XZ平面的二维方向向量。
本发明提供的方法及系统能够实现在不加装任何测距传感器的情况下,在没有操作人员干预的情况下完成对空间飞行目标的规避机动,载荷要求低、控制精度高、具有较高的智能性,能够提高无人机的空域飞行安全能力。
Claims (7)
1.一种基于视觉伺服的感知与规避系统,其特征在于,包括:
无人机,所述无人机上设置自动驾驶仪,所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作;
图像采集系统,搭载在所述无人机上,用于采集无人机的飞行空域图像信息,采用多相机多视角集中式阵列构型,并通过相机接口实时传输图像信息;
视觉伺服控制系统,设置在所述无人机上,包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器,视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪,安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成,并基于该安全包络生成图像规避角度,以此角度输入至视觉伺服控制器,视觉伺服控制器输出规避机动角度,并将该角度通过串口传输至自动驾驶仪完成规避动作;
导航定位系统,设置在所述无人机上,用于建立航路回归机制,导航定位系统检测到无人机不在航路且不存在威胁时,进行航路回归,使无人机返回原始航路。
2.根据权利要求1所述的基于视觉伺服的感知与规避系统,其特征在于,所述视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168。
3.一种基于视觉伺服的感知与规避系统的规避方法,其特征在于,包括:
步骤一,通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖,获取无人机的飞行空域图像信息;
步骤二,机载视觉伺服控制系统中视觉目标检测与跟踪模块接收所述步骤一中图像信息并进行处理,完成对空域图像中飞行目标的检测、定位和跟踪;
所述步骤二的具体实现方法如下:
所述步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控制系统中视觉目标检测与跟踪模块,其中图像采集系统中共设置A、B、C三台相机,视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168,利用DM8168实现对获取的多路视频进行处理,通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信息pk=[pxk,pyk],获得目标相对于该相机的相对角度:
其中,w和h分别是以像素为单位的图像的宽度和高度,f为相机镜头焦距,μ为象元尺寸;
根据相机安装位置,可获得目标k时刻相对于无人机的相对角度为Θk=[σk,γk],其中
γk=γ′
式中分别表示检测到的目标来自于图像采集系统中的相机A、相机B和相机C;
根据前后时刻的角度变化确定目标的角速度Ωk=[ωxk,ωyk]=Θk+1-Θk,k>0;
步骤三,根据所述步骤二中获取的飞行目标状态信息,视觉伺服控制系统中安全包络模块进行图像平面角度安全包络生成,通过安全包络确定无人机是否存在碰撞威胁,针对碰撞威胁,计算得到图像意义下的规避角度;
步骤四,将所述步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器,视觉伺服器输出需要的规避机动俯仰和偏航角度,并传送至无人机自动驾驶仪完成规避机动;
步骤五,利用导航定位系统建立航路回归机制,当无人机不存在威胁时,使无人机返回原始航路。
4.根据权利要求3所述的规避方法,其特征在于,所述步骤三中安全包络的生成步骤及规避角度的计算步骤包括:
①建立目标安全包络圆,圆心为目标点,选取一个半径初始值,并以固定速度进行增长;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点,椭圆短轴的长度与包络圆的半径相等,椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和,长轴方向平行于目标的运动方向;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成;
④基于前述平面角度安全包络进行目标威胁估计,建立基于安全包络的威胁标示函数,以此判断是否存在碰撞威胁;
⑤根据最小规避距离原则,在平面角度安全包络寻找距离初始目标最近的点。
5.根据权利要求4所述的规避方法,其特征在于,所述步骤三中安全包络的具体生成步骤及规避角度的具体计算步骤如下:
①建立目标安全包络圆,圆心选为目标k时刻相对于无人机的相对角度位置Θk=[σk,γk],选取一个半径初始值r0,并以固定速度进行增长,则
rk+1=rk+ε,k=1,2,3…
rk=r0,k=0
其中ε是安全包络圆半径的固定增长长度,rk+1代表k+1时刻的安全包络圆半径;
②根据目标尺寸建立安全包络椭圆,椭圆圆心为目标点Θk=[σk,γk],长轴方向平行于目标的运动方向,即目标角速度Ωk的方向,长轴和短轴的长度分别按下列公式选取:
a=rk(1+α‖Ωk‖),
b=rk,
式中,a和b分别代表包络椭圆的长轴和短轴,rk为k时刻包络圆的半径,α为角速度转化为轴长的比例因子,该因子代表规避预留时间,‖Ωk‖为目标运动角速度向量的模;
③前述生成的包络圆和包络椭圆形成平面角度安全包络,该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成;
④基于前述平面角度安全包络进行目标威胁估计,建立基于时间k的威胁标示函数lk,当lk<0时,存在碰撞威胁,以此判断是否存在碰撞威胁,其中
其中表示相机B的主轴方向相对于无人机主轴方向的角度,其中,sgn(·)是符号函数;
⑤当lk<0时,根据最小规避距离原则,在平面角度安全包络寻找距离最近的点s*=[σ*,γ*]作为最小规避机动点:
其中代表k时刻垂直于目标角速度向量的单位向量。
6.根据权利要求3所述的规避方法,其特征在于,所述步骤四中规避机动俯仰和偏航角度的具体计算步骤如下:
①定义交互矩阵为
在视觉伺服控制系统的视觉伺服控制器中建立速度控制器,反馈量为完成误差的指数衰减,输出速度控制量V,视觉伺服控制器表达为
式中,λ为误差指数衰减系数,表示Le的伪逆;
由于在交互矩阵Le中无法获取目标与本机的距离d的信息,将交互矩阵进行分割如下:
式中,Lω表示Le中的角度控制分量,Lt表示速度运动控制分量;
得到距离无关的视觉伺服控制器:
式中,表示Lω的伪逆;
为消除稳态误差,对视觉伺服控制器进行补偿,如下:
式中,Ω表示目标运动的角速度,表示误差的方向向量,ωx、ωy、ωz分别表示ω的三个分量;
②输出的俯仰角和偏航角为
式中,和φc(k)表示自动驾驶仪输出姿态的俯仰角和偏航角,和φ(k)表示无人机当前姿态的俯仰角和偏航角,Δt表示视觉伺服控制器输出时间间隔步长,ωy(k)和ωz(k)分别表示当前时刻视觉伺服控制器输出的俯仰角速度控制量和偏航角速度控制量,g表示重力加速度,V(k)表示当前时刻无人机的速度。
7.根据权利要求3所述的规避方法,其特征在于,所述步骤五中航路回归机制的具体建立步骤如下:
①通过本机导航定位系统确定无人机是否在航路中,当本机不在航路时,进行航路回归;
②确认时刻k的回归航路角度
式中,代表了航路回归时的最小机动规避点位置;
其中Pd是当不存在规避机动时,本机在原本航路上的位置,Pd12和Pd13分别是本机在XY和XZ平面的二维位置;
Ps是通过本机导航定位系统获得的本机当前位置,Ps12和Ps13分别是本机在XY和XZ平面的二维位置;
es是通过本机导航定位系统获得的本机方向向量,es12和es13分别是本机在XY和XZ平面的二维方向向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410305109.6A CN104102218B (zh) | 2014-06-30 | 2014-06-30 | 基于视觉伺服的感知与规避方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410305109.6A CN104102218B (zh) | 2014-06-30 | 2014-06-30 | 基于视觉伺服的感知与规避方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104102218A CN104102218A (zh) | 2014-10-15 |
CN104102218B true CN104102218B (zh) | 2017-04-05 |
Family
ID=51670439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410305109.6A Active CN104102218B (zh) | 2014-06-30 | 2014-06-30 | 基于视觉伺服的感知与规避方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104102218B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2874506T3 (es) * | 2014-12-31 | 2021-11-05 | Sz Dji Technology Co Ltd | Procesamiento selectivo de datos de sensor |
CN104539906B (zh) * | 2015-01-08 | 2017-06-09 | 西安费斯达自动化工程有限公司 | 图像/激光测距/ads‑b监控一体化系统 |
CN104656663B (zh) * | 2015-02-15 | 2017-12-01 | 西北工业大学 | 一种基于视觉的无人机编队感知与规避方法 |
CN104914877A (zh) * | 2015-07-13 | 2015-09-16 | 沈阳飞羽航空科技有限公司 | 一种轻型无人机自主感知与规避方法 |
WO2017096548A1 (en) * | 2015-12-09 | 2017-06-15 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
CN106056624A (zh) * | 2016-05-24 | 2016-10-26 | 西北工业大学 | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 |
CN106371461A (zh) * | 2016-09-08 | 2017-02-01 | 河海大学常州校区 | 一种基于视觉伺服的视频追踪飞行目标控制系统及方法 |
US10552691B2 (en) * | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
CN110362098B (zh) * | 2018-03-26 | 2022-07-05 | 北京京东尚科信息技术有限公司 | 无人机视觉伺服控制方法、装置以及无人机 |
JP6974247B2 (ja) * | 2018-04-27 | 2021-12-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 情報処理装置、情報提示指示方法、プログラム、及び記録媒体 |
CN109947123B (zh) * | 2019-02-27 | 2021-06-22 | 南京航空航天大学 | 一种基于视线导引律的无人机路径跟踪与自主避障方法 |
CN112766025B (zh) * | 2019-11-04 | 2022-03-01 | 上海喜通装饰材料有限公司 | 空域目标状态数据识别系统 |
CN110908395A (zh) * | 2019-11-26 | 2020-03-24 | 西北工业大学 | 改进的无人机航迹实时规划方法 |
CN112092805B (zh) * | 2020-09-23 | 2021-10-19 | 北京理工大学 | 一种智能车辆避撞与降低碰撞伤害的集成控制方法和系统 |
CN112419417B (zh) * | 2021-01-25 | 2021-05-18 | 成都翼比特自动化设备有限公司 | 一种基于无人机的拍照点定位方法及相关装置 |
CN113271409B (zh) * | 2021-04-06 | 2022-07-01 | 南京极目机器人科技有限公司 | 一种组合相机、图像采集方法及航空器 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2442133A1 (en) * | 2010-10-18 | 2012-04-18 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8380367B2 (en) * | 2009-03-26 | 2013-02-19 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
CN102707724B (zh) * | 2012-06-05 | 2015-01-14 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
CN102854883B (zh) * | 2012-07-04 | 2014-10-22 | 北京航空航天大学 | 一种无人机动态紧急避撞区的建模方法 |
CN103149939B (zh) * | 2013-02-26 | 2015-10-21 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN103869822B (zh) * | 2014-04-01 | 2016-09-07 | 西北工业大学 | 多旋翼无人机感知与规避系统及其规避方法 |
-
2014
- 2014-06-30 CN CN201410305109.6A patent/CN104102218B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2442133A1 (en) * | 2010-10-18 | 2012-04-18 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
Non-Patent Citations (2)
Title |
---|
无人机复杂环境中跟踪运动目标的实时航路规划;梁宵 等;《北京航空航天大学学报》;20120930;第38卷(第9期);第1129-1133页 * |
电力巡线无人直升机障碍规避系统;郑天茹 等;《山东电力技术》;20121231(第185期);第14-17页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104102218A (zh) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104102218B (zh) | 基于视觉伺服的感知与规避方法及系统 | |
Kumar et al. | Recent developments on target tracking problems: A review | |
CN104656663B (zh) | 一种基于视觉的无人机编队感知与规避方法 | |
CN105739523B (zh) | 一种警用车载无人机监测系统与控制方法 | |
CN105353772B (zh) | 一种无人机机动目标定位跟踪中的视觉伺服控制方法 | |
CN104062977B (zh) | 基于视觉slam的四旋翼无人机全自主飞行控制方法 | |
Zingg et al. | MAV navigation through indoor corridors using optical flow | |
CN104537898B (zh) | 一种空地协同的无人机感知规避系统及其规避方法 | |
Griffiths et al. | Obstacle and terrain avoidance for miniature aerial vehicles | |
CN110347186B (zh) | 基于仿生双目联动的地面运动目标自主跟踪系统 | |
CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
CN103365297A (zh) | 基于光流的四旋翼无人机飞行控制方法 | |
Yu et al. | Stereo vision based obstacle avoidance strategy for quadcopter UAV | |
CN108733064A (zh) | 一种无人机的视觉定位避障系统及其方法 | |
RU195749U1 (ru) | Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования | |
Miller et al. | UAV navigation based on videosequences captured by the onboard video camera | |
Minwalla et al. | Experimental evaluation of PICAS: An electro-optical array for non-cooperative collision sensing on unmanned aircraft systems | |
Miller et al. | Optical Flow as a navigation means for UAV | |
Kim et al. | Development of a vision-based recognition and position measurement system for cooperative missions of multiple heterogeneous unmanned vehicles | |
Bouzerzour et al. | Robust vision-based sliding mode control for uncooperative ground target searching and tracking by quadrotor | |
Yang et al. | Design, implementation, and verification of a low‐cost terminal guidance system for small fixed‐wing UAVs | |
CN114897935B (zh) | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 | |
US20230242250A1 (en) | Aerial Vehicle Path Determination | |
Wang et al. | A vision-aided navigation system by ground-aerial vehicle cooperation for UAV in GNSS-denied environments | |
Stojesics et al. | Unmanned aerial vehicle guidance methods for 3D aerial image reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |