CN112789568B - 控制和导航系统 - Google Patents
控制和导航系统 Download PDFInfo
- Publication number
- CN112789568B CN112789568B CN201980059225.5A CN201980059225A CN112789568B CN 112789568 B CN112789568 B CN 112789568B CN 201980059225 A CN201980059225 A CN 201980059225A CN 112789568 B CN112789568 B CN 112789568B
- Authority
- CN
- China
- Prior art keywords
- detection
- target
- autonomous vehicle
- initial
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 602
- 238000000034 method Methods 0.000 claims description 170
- 230000033001 locomotion Effects 0.000 claims description 75
- 238000007689 inspection Methods 0.000 claims description 57
- 238000012360 testing method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 107
- 238000004891 communication Methods 0.000 description 90
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 43
- 238000013507 mapping Methods 0.000 description 37
- 230000007704 transition Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 12
- 230000004807 localization Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009347 mechanical transmission Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 239000013618 particulate matter Substances 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000004215 Carbon black (E152) Substances 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 239000003502 gasoline Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003915 liquefied petroleum gas Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D80/00—Details, components or accessories not provided for in groups F03D1/00 - F03D17/00
- F03D80/50—Maintenance or repair
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Sustainable Development (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Sustainable Energy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于自动驾驶交通工具的导航程序,所述导航程序被配置为:接收自动驾驶交通工具要检测的目标的初始模型;识别与目标的初始模型相关联的检测目标;以及确定自动驾驶交通工具的检测位置,检测目标在该检测位置可被自动驾驶交通工具的检测系统检测,其中,初始模型包括表示目标的一个或多个凸形。
Description
技术领域
本发明实施例涉及用于自动驾驶交通工具的控制和导航系统,并且在多个具体实施例中,涉及用于无人自动驾驶交通工具的控制和导航系统。
背景技术
除其他因素外,随着传感器技术和计算能力的费用的降低,出现了有关自动驾驶交通工具的大量最新发展,包括无人自动驾驶交通工具(俗称“无人机”)。
这样的交通工具可以由远离无人机的人类操作员控制,并且该控制可以是部分自动化的。例如,在飞行器的情况下,一种或多种飞行控制可以是自动的,从而简化了操作员的任务。然而,希望提供一种完全自主飞行的无人机,该无人机能够基本上在没有操作员干预的情况下执行任务。
有效的基本上完全自主飞行的无人机将减少对熟练操作员的需求(使这些无人机完成的任务更加简单且成本更低),减少操作员出错的风险,并有助于确保针对特定任务的具有系统性的方法的可重复性。
已经使用无人机的一些任务包括检测物体和结构。特别地,空中无人机在这方面显示出了巨大的潜力-减少了进行人工检测的需求(对于某些物体和结构,人工检测非常困难)。
提高无人机执行此类任务的自动化程度存在困难。特别地,无人机必须在现实世界环境中航行,在该环境中物体并不总是处于已知和/或预定位置,并且无人机(和其他物体)不断暴露于变化的环境条件下。
发明内容
因此,需要提供用于自动驾驶交通工具的本地控制和导航系统,和/或用于自动驾驶交通工具的更好的控制和导航系统。
相应地,下面具体实施方式和所附权利要求中叙述了本发明的各方面。
附图说明
参考附图,仅以举例的方式描述了本发明的实施例,其中:
图1示出了一些实施例的示例性自动驾驶交通工具;
图2示出了一些实施例的自动驾驶交通工具的电气原理图;
图3示出了一些实施例的基站的电气原理图;
图4示出了一些实施例的操作员界面装置的电气原理图;
图5示出了一些实施例的示例性系统;
图6示出了关于风力涡轮机的检测目标;
图7示出了关于风力涡轮机的检测目标和检测位置;
图8示出了点云失调;
图9示出了根据一些实施例的状态流;
图10示出了对目标进行检测操作的自动驾驶交通工具;
图11示出了对目标进行检测操作的自动驾驶交通工具;和
图12示出了根据一些实施例生成和组合飞行中模型的过程的流程图。
具体实施方式
本发明的实施例可包括自动驾驶交通工具1。自动驾驶交通工具1可以采取多种不同的形式,并且参考是飞行器(即飞机)的自动驾驶交通工具1来描述很多实施例。然而,例如,自动驾驶交通工具1可以是陆地交通工具(被配置为在地面上移动)、或水运工具(被配置为在水中移动)或两栖交通工具。
自动驾驶交通工具1可以是多旋翼直升机1,并且例如参见图1,为了方便起见,将关于多旋翼直升机1(尤其是四旋翼直升机)来描述实施例。
例如参见图1,自动驾驶交通工具1可以包括框架11(即,机架)。例如参见图2,框架11可以被配置为支撑自动驾驶交通工具1的驱动系统12。驱动系统12被配置为驱动自动驾驶交通工具1的运动。因此,驱动系统12可包括一个或多个马达121和/或一个或多个引擎122。一个或多个马达121可以均是电动马达,且一个或多个引擎122可以均是内燃机。驱动系统12可包括一个或多个齿轮箱或其他机械传动系统。
例如,驱动系统12可被配置为驱动自动驾驶交通工具1的一个或多个驱动元件13(例如,参见图1和图2)相对于框架11绕各自的旋转轴(通过齿轮箱或其他机械传动系统,或其他)进行旋转运动。例如,该或每个驱动元件13在被如此驱动时,被配置为驱动自动驾驶交通工具1在空气中、沿着地面、在水中等运动。
该或每个驱动元件13可包括各自的推进器,例如旋翼或轮。在旋翼飞机的情况下,例如,该或每个驱动元件13可包括旋翼。该或每个驱动元件13可被配置为在旋转时引起自动驾驶交通工具1在至少一个方向上运动。
应当理解,根据自动驾驶交通工具1的性质,可以提供驱动元件13的相对复杂的布置。旋翼飞机尤其如此,其中有许多不同的已知配置。
在一些实施例中,驱动系统12可包括一个或多个其他执行器,以控制或驱动自动驾驶交通工具1的运动。例如,驱动系统12可包括一个或多个转向机构,其被配置为用来移动自动驾驶交通工具1的一个或多个可转向元件(例如,轮子或舵)。驱动系统12可以包括一个或多个飞行控制执行器,其被配置为用来移动自动驾驶交通工具1的一个或多个飞行控制表面(可以将类似的控制执行器和表面提供给其他类型的交通工具,如水运工具,且“飞行”控制执行器和表面也应进行相应地解释)。一般而言,这些是驱动元件13的其他示例,并且例如,可以电驱动或液压驱动执行器。
在四旋翼直升机作为自动驾驶交通工具1的情况下,例如,可以有四个驱动元件13,每个驱动元件均包括旋翼。然而,如在所描绘的示例中,四旋翼直升机还可使用同轴驱动元件13的配置,使得总共有八个驱动元件13布置成同轴的四对。可以理解,这仅仅是一种示例性配置。
驱动元件13相对于框架11的精确配置将取决于自动驾驶交通工具1的性质和自动驾驶交通工具1的预期运动。在自动驾驶交通工具1是多旋翼直升机的一些实施例中,自动驾驶交通工具1包括多个驱动元件13,这些驱动元件13布置有通常与在正常运行中垂直的旋转轴。在固定翼飞机和/或船只和/或陆地交通工具中,该或每个驱动元件13具有在正常使用中基本水平的旋转轴。
在一些实施例中,框架11包括多个臂111,并且每个臂111可以承载一个或多个驱动元件13。框架11可包括主体结构112,在一些实施例中,该主体结构可以大致位于自动驾驶交通工具1的中央。框架11可包括一个或多个支腿113,其被配置为相对于地面支撑主体结构112。在一些实施例中,可以不设置一个或多个支腿113,并且一个或多个臂111可以向其驱动元件13提供该支撑(例如,在自动驾驶交通工具1中,被配置为以轮子的方式随着驱动元件13在地面上移动)。
在一些实施例中,驱动系统12主要安装在中央结构112上,并且可以使用机械传动装置(如本文所述)将机械动力传递至该或每个驱动元件13。
驱动系统12与自动驾驶交通工具1的动力源14耦合。在驱动系统12包括一个或多个马达121(即,电动机)的情况下,动力源14可包括例如电池,或另一种形式的电能存储装置。在驱动系统12包括一个或多个引擎122(例如,内燃机)的情况下,则动力源14可以包括一箱燃料(其可以是碳氢燃料,例如汽油或天然气或液化石油气等)。在一些实施例中,动力源14可包括发电机(例如,燃料电池或太阳能电池板等),其被配置为产生电能(electricalpower)而不是存储电能。
因此,应该理解,可通过驱动系统12控制电能和/或燃料流动至该或每个马达121和/或引擎122。因此,可以控制驱动系统12以改变该或每个马达121或引擎122的一个或多个运行特性,例如马达121和/或引擎122驱动相关联的驱动元件13的速度。类似地,驱动系统12可控制如本文所述的一个或多个其他执行器的运行。
动力源14可安装在框架11上(例如,其中央结构112)。
驱动系统12与自动驾驶交通工具1的飞行控制系统15通信地耦合。飞行控制系统15被配置为控制驱动系统12的操作,以便控制自动驾驶交通工具1的一个或多个方面的运行(例如运动)。虽然标记为飞行控制系统15,但是应当理解,该标记主要分配给考虑到的飞机。对于自动驾驶交通工具1不是飞机的实施例,可以将不同的标记应用于飞行控制系统15,例如“驱动控制系统”(其应被解释为包含飞行控制系统15)。
飞行控制系统15可以采取适宜编程的飞行控制计算机的形式(同样,在自动驾驶交通工具1不是飞机的实施例中,该标记可以被改变为驱动控制计算机)。
飞行控制系统15可安装在框架11上(例如,其中央结构112)。
如上所述,飞行控制系统15被配置为控制驱动系统12的操作,并且鉴于此,飞行控制系统15与自动驾驶交通工具1的导航系统16通信地耦合。导航系统16被配置为向飞行控制系统15提供指令,以根据存储在导航系统16中和/或由导航系统16生成的导航计划(即,定义飞行路径的飞行计划)来控制自动驾驶交通工具1的运动。在一些实施例中,飞行控制系统15被配置为控制驱动系统15的运行以控制自动驾驶交通工具1的方向和/或位置。在一些实施例中,自动驾驶交通工具1能够以上下自由度、左右自由度、前后自由度、俯仰自由度、偏航自由度和倾斜自由度中的一种或多种形式运动,飞行控制系统15被配置为以那个或那些移动自由度控制运动。
换句话说,飞行控制系统15主要涉及控制自动驾驶交通工具1,以实现由导航系统16指定的运动。导航系统16确定自动驾驶交通工具1应驶向的位置,并且飞行控制系统15被配置为控制自动驾驶交通工具1,基于来自于导航系统16的指令以期望的方式运动。
导航系统16可以采取适宜编程的导航计算机的形式,并且该计算机可以是与飞行控制计算机相同的计算机,该计算机运行适当的程序使得计算机执行这两种任务。
在一些实施例中,导航系统16可被安装在框架11(例如,其中央结构112)上。然而,在一些实施例中,导航系统16可以远离自动驾驶交通工具1,换句话说,导航系统16可与飞行控制系统15(即,自动驾驶交通工具1)通信地耦合,但是可能不随自动驾驶交通工具1一同移动。在一些实施例中,导航系统16是分布式系统,使得系统的某些部分由自动驾驶交通工具1携带,而其他部分相对于自动驾驶交通工具1进行远程定位。
自动驾驶交通工具1包括传感器系统17。传感器系统17被配置为检测自动驾驶交通工具1的环境的一个或多个方面,并将这些检测到的一个或多个方面提供给导航系统16和/或飞行控制系统15,以允许系统15/16执行它们各自的功能。
因此,传感器系统17可以包括一个或多个传感器171,每个传感器被配置为检测自动驾驶交通工具1的环境的不同方面。这些一个或多个传感器171可以被称为自动驾驶交通工具1的传感器组。一个或多个传感器171可以包括例如一个或多个:加速度计、陀螺仪传感器、磁力计、无线电导航系统(例如基于卫星的无线电导航系统(例如,使用全球定位卫星系统、格洛纳斯(GLONASS)、伽利略(Galileo)、北斗、印度区域导航卫星系统(IRNSS)或准天顶卫星系统(QZSS)))等。
一个或多个传感器171产生传感器输出,该传感器输出被传递到飞行控制系统15和/或导航系统16。这些系统15/16使用传感器输出以便至少部分地基于传感器输出来控制自动驾驶交通工具1的运行的一个或多个方面。
传感器系统17可安装在框架11上(例如,在一些实施例中,其中心结构112)。然而,在一些实施例中,传感器系统17的一个或多个传感器171可以其他方式定位在自动驾驶交通工具1上或周围。
在一些实施例中,该一个或多个传感器171中的至少一个至少部分地定位为远离自动驾驶交通工具1(即,没有为了与自动驾驶交通工具1一起移动而被携带)。例如,该一个或多个传感器171可以包括差分无线电导航系统(例如差分GPS系统)。在这样的实施例中,该一个或多个传感器171可包括无线电导航系统传感器,其由自动驾驶交通工具1携带并且与基站2(例如,参见图3和图5)通信地耦合(例如,经由无线通信信道-参见通信系统18),该基站2被配置为生成差分信号。无线电导航系统传感器可以使用差分信号来校正由无线电导航系统传感器生成的本地确定的位置(其中,在这种情况下,“本地”是指由自动驾驶交通工具1所携带的无线电导航系统传感器确定的位置)。在这样的示例中,传感器171可被视为分布式传感器(使得基站2的至少一部分形成该传感器的一部分)或被视为传感器171,该传感器171接收来自另一传感器的传感器输出,以生成修正的或校正的传感器输出。在一些实施例中,传感器可以使用实时运动学定位。
传感器系统17可以包括测距传感器,作为一个或多个传感器171中的一个。测距传感器被配置为确定另一目标距该测距传感器(以及因此距安装有测距传感器的自动驾驶交通工具1的距离)的范围(即距离)。例如,该范围可以作为传感器数据的输出。测距传感器可以包括例如光检测和测距传感器(即,LiDAR传感器)。测距传感器可以包括例如声音导航和测距传感器(即,声纳传感器或其他声学传感器,诸如超声测距传感器)。测距传感器可以包括例如无线电检测和测距传感器(即雷达传感器)。测距传感器可以包括例如距离成像传感器(其可以使用例如立体图像(例如可见光的图像)来确定距离)。测距传感器可以包括1D测距传感器和/或2D测距传感器和/或3D测距传感器。
自动驾驶交通工具1可以包括检测系统19,检测系统19被配置为检测另一目标或体积(即,自动驾驶交通工具1以外的目标)。检测系统19可被配置为输出指示另一目标的一个或多个特性的检测数据。因此,检测系统19包括一个或多个检测传感器191。在一些实施例中,检测系统19包括相机191a(作为检测传感器191),其被配置为捕获另一目标的一个或多个图像。相机191a可被配置为捕获可见光谱中的光,但是另外地或替代地,可被配置为捕获目标的红外光图像和/或紫外光图像。因此,应当理解,相机191a可包括一个以上的相机子系统,例如,每个相机子系统被配置为相对于至少一个其他相机子系统以不同光谱或从不同位置捕获图像(例如,以获得立体图像)。
在一些实施例中,相机191a或相机子系统可被配置为捕获特定偏振光的图像(这可能尤其用于检测一些其他目标5或体积)。
在一些实施例中,检测系统19包括不是相机191a的一个或多个传感器191。例如,检测系统19可包括空气质量传感器191b,其可被配置为检测空气中的一种或多种污染物(例如,颗粒物)。检测系统19可包括辐射传感器191c,其可被配置为检测空气中的一种或多种污染物(例如,颗粒物)。检测系统19可包括声学传感器作为一个或多个检测传感器191之一,其可以是例如超声波传感器。一个或多个检测传感器19可以包括非破坏性测试传感器,其可以是超声非破坏性测试传感器。
在一些实施例中,检测系统19可以包括被配置为向目标5发射(或投射)信号的投影机。例如,该信号可以是声或电磁信号(例如光)。在这样的实施例中,检测系统19可以包括接收器,该接收器被配置为接收被发射的信号的至少一部分,例如从目标5反射之后。可以由检测系统19使用发射的信号和发射的信号的接收部分(例如,在从目标5反射之后)确定目标5的一个或多个特性。投影机可以被配置为投射结构光,并且检测系统19可以包括所谓的结构光传感器系统或结构光3D扫描仪。
可使用各自的安装装置193相对于自动驾驶交通工具1的框架11安装该或每个检测传感器191。在一些实施例中,可以通过同一安装装置193相对于框架11安装多个检测传感器191。
用于固定该或每个检测传感器191的安装设备193(或多个设备193)可以采用多种不同的形式。在一些实施例中,安装装置193被配置为相对于框架11提供固定的位置布置。这样,安装装置193可包括例如配置为附接到框架11(直接地或间接地)和该一个或多个检测传感器191中的至少一个的大体上刚性的支架。安装装置193可以包括电枢,该电枢被配置为相对于框架11的至少一部分移动,使得检测传感器191的位置相对于框架11可移动,该移动可以在检测系统计算机192的控制下由执行器驱动。在一些实施例中,安装装置193被配置为在检测传感器191与一个或多个其他目标(例如另一目标5)之间提供基本固定的方向。在这样的实施例中,安装装置193可以包括万向节机构(gimbal mechanism),该万向节机构可以具有一个到三个运动自由度。可以相对于包括相机191a的检测传感器191使用以万向节机构形式提供的安装装置193,以帮助稳定相机191a,以便改善由相机191a捕获的图像的质量。
检测系统19可包括检测系统计算机192(其可以是与导航计算机和/或飞行控制计算机相同的计算机,该计算机运行适当的程序,使得该计算机能够执行所有这些任务)。检测系统计算机192可以被配置为控制该或每个检测传感器191的运行的一个或多个方面,例如,当由相机191a捕获图像或由空气质量传感器191b或辐射传感器191c采集样本),和/或控制该或每个检测传感器191的操作的一个或多个参数(例如,关于相机191a的焦点、快门速度和光圈大小等)。
在一些实施例中,检测系统计算机192可以被配置为从该或每个检测传感器192接收检测数据,并且可以存储随后传输或释放的该检测数据。检测系统计算机192可以被配置为确定何时以及如何处理(例如,发送或删除)检测数据。因此,检测系统计算机192可以包括被配置为存储检测数据的存储介质192a。
检测系统19可以安装在框架11(例如,其中央结构112)上。
在一些实施例中,自动驾驶交通工具1可以包括视觉引导系统20,其被配置为捕获一个或多个图像,以用于供操作员协助操作和/或控制自动驾驶交通工具1(见本文其他部分)。因此,视觉引导系统20被配置为捕获图像(例如,使用视觉引导系统20的相机)并生成表示该图像的引导数据(例如,使得可以基于引导数据来重建图像的至少一部分)。
视觉引导系统20可以安装在框架11上(例如,其中央结构112),或者可以安装在其中之一的臂111上(如果有的话)。
自动驾驶交通工具1可以包括通信系统18。通信系统18可以与驱动系统12、动力源14、飞行控制系统15、导航系统16、传感器系统17、检测系统19和视觉引导系统20中的一个或多个通信地耦合。特别地,通信系统18可以与飞行控制计算机、导航计算机和检测系统计算机191(这些计算机可以是经过适当编程的同一个计算机)中的一个或多个通信地耦合。
通信系统18被配置为将数据从自动驾驶交通工具1传输到远程位置(即,未被自动驾驶交通工具1携带的元件)。通信系统18还被配置为从远程位置接收数据以供自动驾驶交通工具1使用。
通信系统18可接收的数据示例包括差分信号(如本文所述)。通信系统18可接收的其他数据包括以下数据中的一种或多种:其他传感器数据(即,来自于一个或多个传感器的数据,该一个或多个传感器定位为远离自动驾驶交通工具1(例如在基站2中))、控制信息(如供飞行控制系统15在控制驱动系统12的运行时使用的飞行控制信息(可能是直接飞行控制信息,使得导航系统16被有效规避))和导航信息(供导航系统16使用)。
通信系统18可包括一个或多个通信接口181,每个通信接口181可配置为使用不同的通信信道和/或协议传输和/或接收数据。
一个或多个通信接口181可包括无线通信接口(如射频通信接口)。一个或多个通信接口181可包括无线远程通信接口和无线短程通信接口。例如,无线短程通信接口可被配置为在相对较短的范围内发送和/或接收数据,并可被用于控制和/或导航信息(其中可能包括引导数据)。无线远程通信接口可被配置为在相对较长的范围内发送和/或接收数据,并且可被用于时序要求不是很严格的数据,例如一般遥测信息或检测数据(如其他地方所述)。
因此,在某些实施例中,该一个或多个通信接口181可包括多个无线通信接口。该一个或多个通信接口181可包括WiFi通信接口(或在大约2.4GHz,3.6GHz,5GHz和/或60GHz运行的其他通信接口)、在大约433MHz、915MHz和/或2400MHz运行的通信接口和/或在大约315MHz和/或868MHz运行的通信接口和/或蜂窝通信网络接口(可使用宽带蜂窝电话网络通信系统)中的一个或多个。
通信系统18可安装在框架11(例如其中心结构112)上,或者可以安装在其中之一的臂111上(如果有的话)。
动力源14可以被配置为向通信系统18、驱动系统12、飞行控制系统15、导航系统16、传感器系统17、检测系统19和视觉引导系统20中的一个或多个提供电能。
基站2(例如,参见图3)可被配置为经由自动驾驶交通工具1的通信系统18与自动驾驶交通工具1通信(反之亦然)。在一些实施例中,不提供基站2。在一些实施例中,基站2是被配置为通常放置在自动驾驶交通工具1的运行区域内的单元(但是如果需要,可以将其移除并运输到自动驾驶交通工具1的不同运行区域)。在某些情况下,基站2是具有基本固定的地理位置并且不能轻易地被移除并被运输到新的位置的单元。在某些情况下,基站2是或包括移动计算设备,例如移动电话、笔记本电脑或平板电脑。
基站2可以包括基站通信系统21,其被配置为与自动驾驶交通工具1的通信系统18通信地耦合。基站通信系统21可以包括一个或多个通信接口211,并且每个通信接口211可被配置为使用不同的通信信道和/或协议发送和/或接收数据。
一个或多个通信接口211可包括无线通信接口(例如射频通信接口)。一个或多个通信接口211可包括无线远程通信接口和无线短程通信接口。无线短程通信接口可被配置为在相对较短的范围内发送和/或接收数据,并且可以被用于例如与自动驾驶交通工具1的通信。无线远程通信接口可被配置为在相对较长的范围内发送和/或接收数据,并且可被用于与远程服务器3和/或互联网的连接。
因此,在一些实施例中,该一个或多个通信接口211可包括多个无线通信接口。该一个或多个通信接口211可以包括WiFi通信接口(或其他在大约2.4GHz,3.6GHz,5GHz和/或60GHz运行的通信接口)、在大约433MHz、915MHz和/或2400MHz运行的通信接口和/或在大约315MHz和/或868MHz运行的通信接口和/或蜂窝通信网络接口(可使用宽带蜂窝电话网络通信系统)中的一个或多个。
基站2可包括基站计算机22,其被编程为执行本文所述的一个或多个任务。基站计算机22可与基站通信系统21通信地耦合,以实现与基站2,特别是基站计算机22的数据通信。
基站计算机22可包括存储介质221,在此描述其作用。
基站2可包括位置传感器系统23,该位置传感器系统23包括至少一个位置传感器231,其被配置为用于确定基站2的地理位置。该至少一个位置传感器231可包括无线电导航系统传感器(例如基于卫星的无线电导航系统传感器(例如,使用全球定位卫星系统、GLONASS、Galileo、北斗、IRNSS或QZSS))。
位置传感器系统23可与基站计算机22和/或基站通信系统21通信地耦合。因此,位置传感器系统23可被配置为向基站计算机22和/或基站通信系统21发送基站位置数据,以向前传输到一个或多个其他设备(例如自动驾驶交通工具1和/或远程服务器3)。
在一些实施例中,基站2(例如,使用位置传感器系统23)可被配置为用于确定差分信号,该差分信号被输出为基站位置数据的至少一部分(例如,如本文所述供自动驾驶交通工具1使用)。
基站2可以包括基站动力源24。在一些实施例中,基站动力源24可以是电源,并且基站动力源24可与基站通信系统21、基站计算机22和位置传感器系统23中的一个或多个耦合,以向其提供电能。
在一些实施例中,基站动力源24包括以下部件中的一个或多个:电池、与主电能的连接、发电机(可以包括内燃机)以及交通工具的交流发电机(例如用于将自动驾驶交通工具1运送到运行区域的辅助交通工具)。
例如,自动驾驶交通工具1和基站2的组合可以被称为自动驾驶交通工具系统100(例如,参见图5)。然而,如在别处描述的,在一些实施例中不需要提供基站2。
在一些实施例中,自动驾驶交通工具系统100可包括操作员界面装置4(例如,参见图4)。在这样的实施例中,自动驾驶交通工具系统100可以不包括基站2,使得自动驾驶交通工具系统100包括自动驾驶交通工具系统100和操作员界面装置4。在一些实施例中,自动驾驶交通工具系统100包括自动驾驶交通工具1、基站2和操作员界面装置4。在一些实施例中,自动驾驶交通工具系统100也可以包括远程服务器3。
在一些实施例中,操作员界面装置4包括计算设备41,该计算设备41被编程为向操作员提供界面42,操作员可以使用该界面42来控制自动驾驶交通工具1运行的一个或多个方面。
计算设备41可以是移动计算设备,诸如移动电话、平板电脑或笔记本电脑。这样,计算设备41可包括电源43,例如电池。
操作员界面装置4包括被配置为与基站2(例如,与基站通信系统21)和/或自动驾驶交通工具1(例如,其通信系统18)通信的接口设备通信系统44。因此,接口设备通信系统44可以是有线或无线通信系统,其可被配置为使用与在此描述的通信接口181、211之一通信的通信接口。在一些实施例中,接口设备通信系统44包括多个这样的通信接口,并且使用不同的这样的接口来与基站2和自动驾驶交通工具1通信。
在一些实施例中,基站2和操作员界面装置4是同一个装置2、4。
自动驾驶交通工具1(和自动驾驶交通工具系统100)可以被配置为用于检测另一目标或体积5。该另一目标或体积5可以是例如:风力涡轮机、光伏电池、飞机外部结构(如机翼、起落架、引擎、尾翼和机身)、建筑工地、高层建筑、船、水坝、桥梁、电力线路、管道、海堤、海港墙、防洪系统、铁路线、港口(用于空气质量)、城市(用于空气质量)、建筑物、储罐、核反应堆或核电设施的相关部件、桩、电缆(海底或空中)等中的一个或多个。
应当理解,可以根据要由自动驾驶交通工具1执行的检测任务的性质来选择作为自动驾驶交通工具1的一部分而提供的一个或多个检测传感器191。
具体参考检测作为另一目标5(即,检测任务的对象)的风力涡轮机来描述实施例;然而,应当理解,该描述同样适用于检测其他目标和体积,例如本文提到的那些。
显而易见的是,本文描述的自动驾驶交通工具系统100的各个组件使用它们各自的通信系统18、21、44彼此通信。这些通信可以通过例如关于这些系统18、21、44所描述的任何有线或无线通信信道进行。
在一些实施例中,基站2(如果有的话)可以充当操作员界面装置4与自动驾驶交通工具1之间的中继站,使得操作员界面装置4与自动驾驶交通工具1之间的通信通过基站2被联通,基站2可充当信号转发器和/或可以通过一个通信信道接收通信,并通过另一个(不同的)通信信道转发它们。
基站2用作通信中继器,可以减少自动驾驶交通工具1和操作员界面装置4的通信系统18、44所需的传输动力。
在一些实施例中,基站2可以用作与远程服务器3通信的中继器,使得从无人驾驶交通工具1和/或操作员界面装置4向远程服务器3发送的数据首先被发送到基站2,然后基站2将数据转发到远程服务器3(例如,使用不同的通信接口,例如远程通信接口)。
自动驾驶交通工具1、基站2和操作员界面装置4(以及远程服务器3)的操作通过一个或多个计算机程序进行控制,其中,一个或多个计算机程序由飞行控制计算机和/或导航计算机和/或检测系统计算机和/或基站计算机22和/或计算设备41和/或远程服务器3执行。可以理解,这些计算机的操作可以根据需要进行组合和/或分布以实现所需的控制。本说明书给出了计算机程序的一种或多种布置,但是总的来说,这不应被视为限制本公开。
飞行控制计算机被配置为执行飞行控制程序。飞行控制程序被配置为接收飞行控制指令,该飞行控制指令包括自动驾驶交通工具1在一定空间内(即,操作区域内)的期望运动。飞行控制程序可被配置为接收来自于传感器系统17(例如,来自一个或多个传感器171)的输入,该传感器系统17向飞行控制程序提供传感器数据,该传感器数据使得飞行控制程序能够设法根据飞行控制指令控制自动驾驶交通工具1。飞行控制程序可以例如不被配置为用于确定自动驾驶交通工具1的期望运动,而是相反,接收期望运动(以飞行控制指令的形式),然后寻求实现那些期望运动。因此,飞行控制程序可被配置为控制驱动系统12的运行以寻求实现期望运动,并且这可以包括控制该或每个驱动元件13或其他执行器(可以是如描述的驱动元件13的形式)的运动。将会理解,因为这种交通工具的配置彼此之间可能差别很大,所以飞行控制程序对于特定的自动驾驶交通工具1或特定类型的自动驾驶交通工具1可能基本上是唯一的。
操作员界面装置4的计算设备41可包括界面42,操作员可以通过该界面42生成飞行控制指令,该飞行控制指令传输至飞行控制程序以手动控制自动驾驶交通工具1的运行。例如,这些飞行控制指令可以称为直接飞行控制信息,因为它们不是导航程序生成的指令。该界面42可以形成操作员控制程序的一部分,其中,该操作员控制程序被配置为由操作员界面装置4的计算设备41执行。
因此,如果需要的话,操作员界面装置4可以用于手动控制自动驾驶交通工具1。
导航计算机被配置为执行导航程序,该导航程序被配置为向飞行控制程序提供该一个或多个飞行控制指令。导航计算机还可以接收来自传感器系统17的输入(例如,来自该或每个传感器171的输入),并且还可以接收来自检测系统19和/或视觉引导系统20的输入。
导航程序确定自动驾驶交通工具1在正常使用时的飞行计划(即所需的飞行路径),发布具有实现该飞行路径的视图的飞行控制指令,并监视对该飞行路径的遵守情况(以及根据需要采取纠正措施)。
导航程序可与初始设置程序通信地耦合,该初始设置程序用于向导航程序提供初始信息以便建立飞行计划。
因此,可以将初始设置程序配置为接收导航程序的一个或多个初始设置参数。初始设置程序可被配置为由操作员界面装置4执行,并且具体地,由其计算设备41执行。因此,操作员可以使用操作员界面装置4的界面42输入一个或多个初始设置参数。在某些实施例中,这些初始设置参数中的一个或多个可以从远程服务器3获得,其中,这些初始设置参数先前已经被输入,然后存储在远程服务器3中以备将来使用。在一些实施例中,初始设置程序可以由基站计算机22执行,并且接口可以由基站计算机2提供给操作员界面装置4,以能够经由操作员界面装置4接收来自操作员的输入。
更具体地,初始设置程序可以接收一个或多个初始设置参数,这些初始设置参数可以包括以下参数中一个或多个:
需要被检测的目标5的种类;
目标5的大致位置(例如,在实际位置的100m之内或在实际位置的50m之内,和/或具有至少1m或5m或10m或20m或30m的位置误差);
目标5的精确位置(例如,位置误差小于5m或1m,并且在任何情况下,位置误差均小于目标5的大致位置的位置误差);
目标5的模型;
目标5的一种或多种物理特性;
目标5相对于自动驾驶交通工具1的大致方向;和
目标5的一部分或多部分的位置。
在目标5是风力涡轮机的示例中,目标5的类型可以是目标为风力涡轮机的指示。如果将初始设置程序和/或导航程序配置为用于检查多种不同类型的目标(或可被视为另一种形式的目标的体积),则可能需要此类信息。然而,在一些实施例中,初始设置程序和/或导航程序被配置为仅用于检测风力涡轮机。因此,此信息可能已经设置在初始设置程序和/或导航程序中。
目标5的大致位置可以包括目标5的大致经度和纬度,换言之,大致地理位置。该信息可以用于确定自动驾驶交通工具1的初始飞行路径和/或针对该位置记录检测数据以供将来参考。
类似地,目标5的精确位置可以是目标5的更精确的地理位置。该信息可能并非对所有目标5都可用,并且可能是可以提供大致地理位置,但是不能提供精确位置。同样,可以与上述的大致位置信息几乎相同的方式使用该信息。
在风力涡轮机的情况下,目标5的模型可以是风力涡轮机的模型(例如,而不是代表的类型),并且可以包括制造商。尽管目标(例如风力涡轮机)的特定模型的具体实例之间会有一些变化,但是所有模型都可能共享某些特征。因此,此信息可以用来查找目标5的一个或多个特征,例如使用初始设置程序或导航程序或从远程服务器3获得的数据库。在以风力涡轮机为例的情况下,此类特征可能包括塔架的高度、发动机舱的尺寸、轮毂的尺寸、叶片的尺寸、叶片的数量等。同样,此信息用于确定初始飞行路径以及对照检测记录进行记录。
目标5的一种或多种物理特性可以包括可通过使用目标5的模型获得的相同类型的信息,因此例如在已知的情况下可进行手动输入。
目标5相对于自动驾驶交通工具1的大致方向例如可以是目标5位于自动驾驶交通工具1的北方/南方/东方/西方。从本说明书中显而易见的是,作为初始飞行路径的一部分,自动驾驶交通工具1移动以确认目标5的位置。在自动驾驶交通工具1的飞行开始时,目标5相对于自动驾驶交通工具5的大致方向将有助于确保自动驾驶交通工具相对快速且成功地找到目标5(和/或正确的目标5被找到,这可以是关于运行的自动驾驶交通工具1非常接近许多相似的目标5(例如在风电场)的特定问题)。
目标5的一个或多个部分的位置可以是例如风力涡轮机的一个或多个叶片相对于风力涡轮机的塔架的位置。同样,这可以帮助规划初始飞行路径。
在一些实施例中,初始设置程序被配置为经由操作员界面装置4(例如,界面42)向操作员呈现地图或航空照片。初始设置程序可能能够接收自动驾驶交通工具1相对于目标5(可在地图或航空照片中示出)的当前位置的用户输入(通过界面42)。初始设置程序可被配置为使用该信息来确定例如自动驾驶交通工具1的大致位置和/或目标5相对于自动驾驶交通工具1的大致方向。
初始设置程序可以另外地或附加地经由操作员界面装置4(例如,界面42)向操作员呈现具有一个或多个相关的数据输入字段的表格,通过该表格可以输入任何或所有上述信息。
在一些实施例中,自动驾驶交通工具1相对于目标5可能存在特定的开始位置,例如发射台或其他参照物。因此,操作员可以将自动驾驶交通工具1定位在特定的开始位置,然后使用操作员界面装置4向初始设置程序提供指示,指示自动驾驶交通工具1位于用于检测该目标5的特定的开始位置。
在一些实施例中,操作员可以确定自动驾驶交通工具1的方位,使得自动驾驶交通工具1相对于目标5的方向是预定的,从而提供目标5相对于自动驾驶交通工具1的大致方向。就这一点来说,自动驾驶交通工具1可向操作员提供视觉指示器,以与目标5匹配。
在一些实施例中,可能需要操作员将自动驾驶交通工具1定位于相对于目标5的预定方位处。例如,在风力涡轮机的情况下,可以被定向为使得自动驾驶交通工具位于轮毂和叶片的前方(相对于塔架)。这可以有助于向初始设置程序和/或导航程序提供关于自动驾驶交通工具1相对于目标5的各部分的位置的信息。
通过将一些或全部初始数据提供给初始设置程序,初始设置程序可以将该数据传递给导航程序。在某些情况下,导航程序基本上完全由导航计算机(可以安装在自动驾驶交通工具1的框架11上)执行;然而,在一些实施例中,该导航程序的至少一部分由操作员界面装置4和/或基站计算机22执行。
导航程序还可以从自动驾驶交通工具1的传感器系统17接收一个或多个输入,例如,来自一个或多个传感器171的传感器数据。例如,该传感器数据可包括由一个或多个传感器171(例如,相对于地球磁场使用磁力计形式的传感器171)确定的位置信息,用于自动驾驶交通工具1的地理位置和/或其方位。
导航程序使用初始设置程序提供的一些或全部数据(和/或以上所讨论的预定信息作为对于操作员相对于目标5定位自动驾驶交通工具1的定义需求的结果),以确定目标5距自动驾驶交通工具1的大致位置,并规划初始飞行路径。
导航程序可以被配置为生成目标5和自动驾驶交通工具1的近似位置和配置的视觉表示以及相对于其的初始飞行路径的视觉表示。这可以被输出到操作员界面装置4,以供操作员查看和确认。
初始飞行路径可以在导航系统的参考系内定义,从而可以使用例如来自一个或多个传感器171的地理位置信息以与全局参考系一致(例如,可以使用基站位置数据进行调整)。
初始飞行计划是将自动驾驶交通工具1移动到一个或多个检测位置的飞行计划,自动驾驶交通工具1的检测系统19可以用于在该检测位置处执行对目标5的检测。这可以包括例如使用相机191a和/或使用一个或多个其他检测传感器191(如果有的话)捕获目标5的至少一部分的图像。
因此,检测位置是自动驾驶交通工具1必须到达的位置。然而,例如,在这些位置之间移动使自动驾驶交通工具面临许多潜在的危险。主要危险是撞击目标5风险。因此,有必要定义介于检测位置(多个检测位置)和/或开始和结束位置(自动驾驶交通工具1开始和结束飞行的位置)之间的安全飞行路径。
在一些实施例中,这可以通过导航程序定义一个或多个过渡位置来实现。过渡位置是自动驾驶交通工具1必须经过的位置。
导航程序还可被配置为定义一系列检测位置(多个检测位置)和过渡位置(多个过渡位置)以提供飞行路径和计划。
因此,飞行计划可包括一系列位置(或“点”),其包括一个或多个检测位置(或“点”)和一个或多个过渡位置(或“点”)。该系列还包括开始位置(或“点”)和结束位置(或“点”)。开始位置和结束位置可以是同一个,这可被称作起始位置,在某些实施例中,例如,这可以是针对于该特定航班的起始位置。
在一些实施例中,过渡位置是在平面上或在轨迹上被定义为安全平面或轨迹的位置。
自动驾驶交通工具1和/或检测系统19相对于目标5的方位与飞行计划中的每个检测位置和/或过渡位置相关联,以确保检测系统19被正确定位以检测目标5。
自动驾驶交通工具1可以在导航程序的指令下开始启动例程,该例程包括以下一项或多项:测试传感器系统17、测试通信系统18、测试检测系统18以及测试驱动系统12。在一些实施例中,导航程序被配置为例如估计完成初始飞行路径所需的动力。这可与动力源14的动力供应(例如,电池充电水平)进行比较,以确定利用可用动力能否完成飞行。
如果启动例程成功完成,则自动驾驶交通工具1可进入就绪状态。可通过操作员界面装置4向操作员指示就绪状态。如果启动例程未能成功完成,例如因为一个或多个测试失败,那么自动驾驶交通工具1可能仍处于未就绪状态,这也可以通过操作员界面装置4向操作员指示(例如,连同测试失败的指示)。
在无人驾驶交通工具1处于就绪状态的情况下,操作员可以经由操作员界面装置4,例如,通过界面41,根据初始飞行计划,触发无人驾驶交通工具1的运行。
在飞机作为自动驾驶交通工具1的示例的情况下,交通工具1的运行的开始可以包括加速周期(在该加速周期中,该或每个驱动元件13通过驱动系统12驱动直到所需速度),之后是起飞序列(在该序列中,自动驾驶交通工具1起飞)。
在自动驾驶交通工具1的移动(即,示例中的飞行)期间,导航程序(例如,在导航系统16的导航计算机上运行)向飞行控制程序提供飞行控制指令(在飞行控制系统15的飞行控制计算机上运行)。
将会理解,导航程序已经定义了飞行路径,该飞行路径基于目标5的模型(即,简化表示)以及自动驾驶交通工具1相对于目标5的开始位置以及过渡和检测位置(多个检测位置)。
然而,自动驾驶交通工具1相对于目标5的开始位置可能是近似的,并且即使相对准确,对于进行检测来说也可能仍不够准确。
因此,导航程序被配置为在自动驾驶交通工具1的飞行期间(即,当交通工具1执行其检测时)重新评估目标5相对于自动驾驶交通工具1的位置。换句话说,目标5相对于自动驾驶交通工具1的位置在自动驾驶交通工具1运行期间被完善。
相对于自动驾驶交通工具1的位置重新评估和调整目标5可以使得飞行路径必须被改变。将会理解,基本的改变将是随着相对位置的调整而在空间中变换飞行路径。然而,仅这本身不足以确保自动驾驶交通工具1的安全运行以及成功地完成检测任务。
例如,相对于自动驾驶交通工具1调整目标5位置可以包括目标5的一部分相对于自动驾驶交通工具1的位置,并且该部分可以是相对于另一部分是可移动的。例如,在风力涡轮机的情况下,涡轮机叶片相对于塔架(绕塔架的轴线)和/或相对于机舱(绕机舱的轴线)的旋转位置可以被调整,使得例如实际位置被确定为与初始设置程序提供的初始信息不同。
这种类型的调整可能意味着,如果遵循该飞行路径,现在将导致自动驾驶交通工具1撞击目标5的一部分和/或可能意味着检测系统19未检测到目标的正确部分(例如相机191a可能拍摄的是稀薄空气的图片而不是风力涡轮机叶片的图片)。
相应地,导航程序被配置为在自动驾驶交通工具1的运行过程中重新定义飞行计划(以形成重新定义的飞行计划),正如确定关于目标5和自动驾驶交通工具1相对位置的新信息。
除了由于大致的初始相对位置信息被提供而重新定义飞行计划之外,这种飞行计划通常还假定理想运行条件,其中,自动驾驶交通工具1可以并且确实遵循该计划中设定的飞行路线。然而,实际上,自动驾驶交通工具1遭受不可预测的并且难以提供其补偿的外力。在飞机的情况下,这可能包括风对自动驾驶交通工具1的影响(但是,例如,由于水流,船只会出现类似问题,由于表面不稳定或打滑,地面交通工具也会出现类似问题)。
如果在受到这种力并偏离期望的飞行路径时,自动驾驶交通工具1试图返回到原来的期望飞行路径,那么这可能不再是理想的飞行路径,并且作为不期望运动的结果可能存在更好的飞行路径。此外,识别新的理想飞行路径要求导航程序在自动驾驶交通工具1运行期间重新定义飞行计划。
如将意识到的那样,在自动驾驶交通工具1运行期间重新定义飞行计划是一项复杂的任务,必须快速且准确地执行该任务以使自动驾驶交通工具1能够安全且有效地运行。
因此,需要提供更好的飞行计划技术。
由实施例实施的飞行计划是基于目标5的模型,并且该模型可以在交通工具1的整个运行过程中进行调整。
在图12中可以看到可由实施例实施的模型调整的概述。该概述是一个示例并且应该进行注释(如本文所解释的,可以使用更多或更少的传感器,并且可以生成更多或更少的模型)。然后,可以在飞行计划中使用调整的模型,并且模型的每个调整都可导致重新处理飞行计划以及在飞行期间(即,在交通工具1的运行期间)对其进行修改。在交通工具1的运行期间(例如,在飞行期间),该过程可以是基本上连续的。
参见图12,初始模型(例如,目标5的简化表示)可被确定并可由导航程序执行。例如,可以基于初始设置参数来确定该模型。然而,可以通过其他方法确定该模型。
该模型是目标5或其至少一部分,并且可以包括一个或多个其他目标(或其部分),即不是要检测的目标5。该初始模型以及目标5相对于自动驾驶交通工具1(例如,检测系统19)的位置形成了导航所基于的初步输入。将会理解,位置可以采取位置信息的形式,其可以形成初始模型本身的一部分。
导航程序被配置为从传感器系统17接收数据,例如,从一个或多个传感器171。如图12所示,作为示例,来自一个传感器171的数据可以被独立地使用(例如,来自图左侧的“传感器A”的数据)或来自多个传感器171的数据可被组合(例如,来自图右侧的“传感器A”和“传感器B”的数据)。
导航程序分析数据以将该数据聚类为由从传感器系统17接收的数据表示的目标和/或部分目标。
将会理解,这可以包括在聚类之前将来自多个传感器171的数据的组合(例如,参见图12的右侧)。
然后,导航程序可以使用从传感器系统17中获取到的数据中识别出的多个目标或多部分目标以及初始模型,以将来自传感器系统17的数据中的目标或多部分目标与初始模型或其多部分进行匹配。这可以包括使用来自初始模型的位置信息以及由传感器数据生成的位置信息。
这使得能够将初始模型的多部分与从传感器系统17获取的数据进行交叉识别。
应当理解,由于各种潜在的原因,从一个传感器171中获取的传感器数据或从一组传感器171中获取的组合传感器数据可能比从另一个传感器171中获取的传感器数据或另一组传感器171中获取的传感器数据更精确或更不精确。
因此,导航程序基于传感器数据(可能包括位置信息)、初始模型(可能包括位置信息)和交叉识别结果可以生成一个或多个潜在的修正模型。
导航程序可被配置为组合两个或更多个潜在的修正模型以得出合并的模型,然后将其用于更新初始模型(包括新的位置信息)。
该过程可重复,使得更新后的初始模型可随后自行更新(例如,变为在图12的顶部显示的初始模型)。这可能是一个迭代的过程。
与模型的更新一起,导航程序还可被配置为确定和更新包括飞行路径的飞行计划。每次更新模型时,还必须根据新模型检查并更新飞行计划(如果需要)。同样,这可能是一个迭代过程。
导航程序执行的此一般过程将在下面进行更详细地讨论。至少可以使用初始模型来确定初始飞行计划。因此,下面的讨论从模型的讨论开始,然后是如何确定飞行计划。然后讨论了如何更新模型(请参阅映射和定位过程)。
如上所述,导航程序使用目标5或其多部分的初始模型。
该模型可以包括提供目标5的简化表示的几何形状或目标的集合。
在风力涡轮机作为另一目标5的示例中(并且还相对于多个其他目标5),模型可以包括一个或多个圆柱体。例如,风力涡轮机的塔架可以由一个圆柱体表示,机舱可以由另一个圆柱体表示,并且三个叶片中的每个叶片可以分别由单独的圆柱体表示。
在一些实施例中,该或每个几何形状可以是凸立体,该凸立体可以由沿着其维度之一平行堆叠的一组凸多边形得到。在一些实施例中,堆叠可能不是平行堆叠,使得两个多边形的相邻边相对于彼此成一定角度–例如,这对弯曲目标5或其多部分进行建模可能特别有用。每个凸多边形可以形成具有一定厚度的平板,并且每个平板的厚度可以彼此相同(或不同)。在一些实施例中,该或每个多边形的任何三个相邻点(即,角)之间的对向角可以小于180度。
因此,模型可以包括一个或多个可包围目标5的凸形。但是,模型可以使用一个或多个其他形状来包围目标5(除了凸形或代替凸形)。
实际上,在一些实施例中,模型可以包括点云,其中这些点表示目标5上的表面位置。但是,在一些实施例中,模型仅由凸形形成。在一些实施例中,该或每个凸形是三维凸形。在一些实施例中,模型可以包括一个或多个二维形状的网格,例如形成模型的三角形或正方形或矩形的网格形状。
该模型可以由一个或多个形状形成,使得可以在该或每个形状的边缘上定义检测目标,并通过从其投影到检测目标上来识别检测位置,凸形是其一个示例。
导航程序可以被配置为用于确定模型,或者可以被提供有模型(例如,从远程服务器3)。模型代表或描述目标5。
该模型是目标5(或其一部分)的表示,并且可以具有取决于目标5类型的标称形式(例如,风力涡轮机可以在模型中通过塔架、机舱和每个叶片的形状来表示)。
该模型可以作为未参数化的标称模型(即,目标5的相对通用的表示)提供给导航程序。因此,该模型可以包括一个或多个可配置的参数。
这些一个或多个可配置参数可相对于自动驾驶交通工具1(例如,相对于检测系统19)和/或自动驾驶交通工具1将起飞的位置放置标称模型。一个或多个可配置参数可包括与目标5的至少一部分(例如风力涡轮机的机舱的高度)相对于自动驾驶交通工具1(例如,相对于检测系统19)相关联的高度和/或自动驾驶交通工具1起飞的位置。一个或多个可配置参数可包括目标5的一部分相对于另一部分的至少一个相对位置-例如风力涡轮机叶片的位置(例如,这可以是相对于塔架的位置)。该至少一个相对位置可包括风力涡轮机的前进方向(heading),并且这可以相对于例如北方。该至少一个相对位置可以包括机舱或叶片中心相对于塔架的位置(替代地,这可以是相对于自动驾驶交通工具1的一个独立参数)和/或自动驾驶交通工具1将起飞的位置(例如,相对于检测系统19)。
在一些实施例中,可以首先通过初始设置程序对模型进行参数化(即,通过确定与模型相关联的参数来完成)。可选地,初始设置程序可以提供有关目标5的信息,然后通过导航程序使用该信息以将模型参数化。
为了确定初始飞行计划,导航程序可以将检测系统19的操作特性考虑进去。
导航程序可以被配置为接收或者可以被预编程有关于检测系统19(例如,该或每个检测传感器191)的操作特性的信息。在一些实施例中,检测系统19被配置为向导航程序提供该信息(例如,检测系统计算机192)。在一些实施例中,导航程序可从远程服务器3获得信息,或者可以已经具有该信息作为导航程序的一部分。
检测系统19的操作特性可以包括例如以下信息中的一个或多个:
检测系统19可以距离目标19的最大距离(例如,以所需的最小分辨率),用于精确检测,
检测系统19可以距离目标19的最小距离,用于精确检测,
检测系统19的视场(可能与检测系统19和目标19之间的距离有关),
检测系统19的分辨率,
考虑到目标5在检测目标处的任何曲率,检测系统19相对于检测系统19与检测目标之间的角度的分辨率的变化(因此,可能会影响检测系统19的有效视场),
检测操作的最短设置时间(即,在可能发生检测操作之前,检测系统19必须位于检测位置的最短时间),
最短检测操作时间(即,为了进行检测操作,检测系统19必须位于检测位置的最短时间),
检测系统19相对于交通工具1的视场(或有效视场)的移动范围(例如,方向变化)(在一些实施例中,该或每个检测传感器191相对于交通工具1在方向上可能具有有限变化),以及
最小复位时间(即检测系统19采用适合于自动驾驶交通工具19运动的运行模式的最短时间-例如可以包括覆盖检测传感器191(例如,以避免在飞行过程中受到污染),这可能仅适用于某些检测)。
检测系统19的视场(或有效视场)可包括可由检测系统19从一个检测位置(例如,距检测系统19的特定距离)覆盖的区域或空间,并且可以包括深度范围。例如,检测传感器191可具有与检测传感器191距目标5的特定距离相关联的视场(或有效视场),但是该视场可涵盖该距离(即深度)在预定范围内的变化。一个示例是相机191a,其可以聚焦到特定距离,但是该目标5的多部分位于该距离处或位于自相机191a的该距离的给定变化范围(即深度变化)内,也有进行检测操作的足够的焦距。
这些操作特性可以在整体上或相对于该或每个各自检测传感器191提供给检测系统19。
为了确定初始飞行计划,导航程序可以将交通工具1的操作特性考虑进去(除了或代替检测系统19的操作特性)。
导航程序可以被配置为接收或者可以被预编程有,关于关于交通工具1的操作特性的信息。在一些实施例中,飞行控制系统15被配置为向导航程序提供该信息。在一些实施例中,导航程序可以从远程服务器3获得该信息,或者可已经具有该信息作为导航程序的一部分。
交通工具1的操作特性可以包括例如以下参数中的一个或多个:
交通工具1可能的运动自由度;
与交通工具1的一项或多项运动相关联的一项或多项成本;
交通工具1的最大高度(或交通工具1的其他最大范围);以及
交通工具1的动力容量。
导航程序可被配置为使用检测系统19的一个或多个操作特性和/或交通工具17的一个或多个运行特性来确定相对于目标5的模型(即表示)的一个或多个检测目标(例如,参见图6,示出了检测目标的集合)。
检测目标可以是位于模型表面上的点,该点将成为自动驾驶交通工具1的检测系统19的检测操作的目标。
该或每个检测目标可以至少部分地基于例如以下一项或多项:初始设置参数、基本上检测整个目标5的整个表面或部分目标5(例如风力涡轮机的叶片)的目的、操作员定义的检测目标(例如,由操作员使用操作员界面42识别,该操作员界面可显示模型的图形表示)、以及对目标5的先前的一次或多次检测(例如,可以通过远程服务器3提供此类信息)。
例如,可使用检测系统19的一个或多个运行特性来确定该或每个检测目标,以便确保检测的期望覆盖范围(例如,通过检测操作的组合(尽管在一些实施例中可能仅存在一个))。相应地,可以选择该或每个检测目标,以确保一个或多个检测操作至少在一个边缘处具有重叠的覆盖范围。在一些实施例中,检测操作可能需要检测目标的期望的非重叠间隔(即,负重叠量或负距离/间距)。例如,可能是关于包括现场检测的检测操作的情况。
例如,导航程序可被配置为使用视场(或有效视场)特性来定义检测目标的集合,使得目标5的预定部分(可能是全部)通过检测操作被介于检测数据之间的重叠量覆盖,以允许来自一个检测操作的检测数据与另一检测操作的检测数据组合。当然,这可能需要捕获(作为检测数据)一系列图像(使用相机191a),使得可将图像拼接在一起以形成更大的图像。相同的技术(即数据拼接)可以用在其他形式的检测数据上。
在一些实施例中,导航程序可被配置为定义检测操作,该检测操作具有重叠度,该重叠度至少部分地取决于检测系统19(例如检测传感器191)相对于目标5在重叠区域内的角度和/或距离。将会理解,检测操作19的分辨率可以根据该信息而变化,因此如果每个操作在重叠区域中具有相对较低的分辨率,则可能需要在检测操作之间具有更大的重叠量。用于重叠检测操作的检测数据可以被组合以提高检测数据在重叠区域中的有效分辨率。
导航程序可被配置为确定一个或多个检测位置,并且可被配置为基于检测目标和目标5的模型(即表示)来确定至少一个过渡位置。换句话说,导航程序被配置确定飞行计划。
导航程序可以被配置为确定多个不同的飞行计划,并且可以基于一个或多个功能/操作成本来寻求确定最佳的飞行计划。
导航程序可被配置为至少部分地基于一个或多个运行约束来确定该或每个飞行计划。该或每个运行约束可以是预定的,可以是初始设置参数的一部分,可以从远程服务器3获得,或者可以由操作员输入(例如,使用界面42)。
运行约束的第一示例是范围约束。范围约束可以确定在飞行期间(根据飞行计划)自动驾驶交通工具1可以有多接近目标5。因此,该范围约束有效地在自动驾驶交通工具1和目标5之间形成了无形的墙,该无形的墙旨在减少或基本上消除自动驾驶交通工具1撞击目标5的风险。
范围约束可以是距目标5的模型的任何部分的最小距离(或范围)。这样,只要保持该最小范围,自动驾驶交通工具1就可以绕目标5移动。这可以称为恒定范围约束。
范围约束可以被定义为相对于目标5的平面(换句话说,是从模型的最近部分到自动驾驶交通工具1的预定距离的一个虚拟平面,目标5的任何部分都不会延伸通过该虚拟平面(并且,在一些实施例中,目标5的任何部分都不在最小距离之内))。这可被称为平面范围约束。
在一些实施例中,范围约束被定义为距一个检测目标、多个检测目标或所有检测目标的预定范围。因此,该范围可以限定交通工具1被约束或将被约束的球形轨迹。该球形轨迹可以在另一个检测目标的预定范围内,并且因此可以通过多个轨迹的合并来确定范围约束。可以理解,该轨迹可以在一个或多个位置与目标5本身相交,并且可使用本文描述的过程来配置导航程序,以从轨迹的这些部分忽视(discount)检测位置。
将会理解,可以至少部分地基于检测系统19的运行特性来选择范围约束(至少使得检测系统19能够在由距离约束确定的至目标5的最小距离处(或更近)执行关于目标5的检测操作)。
在一些实施例中,可以使用两个范围约束,例如,一个在目标5的两个相对侧的任一侧上。这样,导航程序可以被配置为定义飞行路径,该飞行路径将自动驾驶交通工具1经过目标5的至少一部分从一个范围约束移动到另一范围约束。这两个范围约束都可以是平面范围约束。这两个范围约束可以有效地提供与目标5的第一侧相关联的第一范围约束以及与目标5的第二侧相关联的第二范围约束,其中,这两侧可以是相对侧(例如,目标5的正面和背面)。
如将意识到的,在一些实施例中,导航程序可以试图与由范围约束所确定的范围保持相对接近,以试图确保有效的检测操作。因此,使用哪种形式的范围约束可以影响相对于检测目标的检测位置。在一些实施例中,可以基于检测系统19的检测操作和/或操作特性的一个或多个方面来选择该或每个范围约束,例如,以确保检测操作成功完成。
在一些实施例中,该或每个范围约束限定了一个运行区域,在该运行区域中允许交通工具1运行或者在其中允许导航程序定义飞行路径。在一些实施例中,该区域是平面(其可以是曲面)或轨迹(例如,飞行路径被导航程序约束或将被导航程序约束在此之内)。
将会理解,预定的几何关系可以使用从检测位置到检测目标的距离以及从检测位置到曲面上的入射角(检测系统19的检测轴的角度)来确定。这两个因素必须通过导航程序相互平衡。特别地,为了使用不同的入射角来提高检测分辨率,通常需要检测系统19沿着范围约束平面进一步远离检测目标。因此,为了优化由于与检测目标的距离增加而引起的分辨率损失,导航程序可寻求由于因入射角的改善而引起的分辨率增加。检测轴可以被定义为检测系统19(和(一个或多个)检测传感器191)的视场的中心轴,其从检测系统19(和(一个或多个)检测传感器191)延伸到检测目标。
也可能存在其他约束,其中可能包括到被检测的其他目标(除被检测的目标5以外)或目标5的多个其他部分的最小范围。
如将变得显而易见的,自动驾驶交通工具1到目标5(以及在一些实施例中的任何其他目标)的范围可以由传感器系统17确定。
作为飞行计划的生成的一部分,导航程序还可以确定检测系统19的方向,尤其是一个或多个检测传感器191相对于目标5的方向。一个或多个检测传感器191中的至少一个不是全方向的,并且必须朝向(即,指向或定位或定向)目标5,特别是检测目标。例如,对于相机191a就是这种情况。
因此,导航程序可以将该或每个检测位置与检测系统方向相关联(例如,如图7所示)。在某些情况下,检测系统19(或检测传感器191中的至少一个或多个)可相对于框架11具有固定的方向,因此,检测系统方向可以是自动驾驶交通工具5相对于目标5在那个检测位置处(例如,使一个或每个检测传感器191指向检测目标)所需要的方向。在一些实施例中,一个或多个检测传感器191中的至少一个可被配置为相对于框架11移动以改变其相对于框架的相对定向。因此,在一些实施例中,检测系统方向可包括(除了或代替自动驾驶交通工具1相对于目标5的方向)该或每个检测传感器191相对于目标5和/或框架11的方向,并且当执行飞行计划时,这可由导航程序提供给检测系统计算机192,以供检测系统计算机192用于控制该或每个检测传感器191相对于目标5和/或框架11的运动。
在一些实施例中,导航程序同样被配置为使用本文所述的可由检测系统19使用的其他检测位置数据(方向是一个示例)。简而言之,检测系统19可以使用该检测位置数据,以将该或每个检测传感器191配置为执行其检测操作(例如,并可包括目标5在检测位置处距检测系统19/自动驾驶交通工具1的距离)。例如,这使传感器系统19能够根据飞行计划在飞行中进行优化,有关更多详细信息,请参见下文。
因此,导航程序可以被配置为开始将飞行计划确定为包括至少一个检测位置(并且在一些实施例中,至少一个过渡位置)的点云。该飞行计划还很可能包括起点和终点(可以是一个相同的位置,可以被称为起始位置,并且可以是操作员放置自动驾驶交通工具1的位置)。
导航程序可以被配置为执行与飞行计划有关的三个操作:
(i)位置安全性评估;
(ii)有效性评估;和
(iii)运动安全性评估。
在一些实施例中,可以相对于该或每个检测位置执行这三个操作(并且可以相对于一个或多个过渡位置执行)。
在位置安全性评估中,导航程序被配置为确定特定位置对于自动驾驶交通工具1是否是安全的位置。例如,这可包括对上述一个或多个约束的评估。在一些实施例中,该评估基于一个或多个环境因素(例如风速、风向、气流速度、气流方向、自动驾驶交通工具1所处的倾斜角度等)。特别地,在低风速条件下(与高风速条件相比),距特定目标(要被检测的目标5或另一个目标)的安全距离可能会更小,并且安全距离可能会根据风向而变化。
如果发现某个位置(检测或过渡)未通过(即失败)位置安全性评估,则可通过导航程序删除或移动(即拒绝)该位置。
在一些实施例中,位置安全性评估可包括基于一个或多个约束和/或环境因素来确定位置的位置安全性分数,其中位置安全性分数指示该位置的感知安全风险。
至少相对于该或每个检测位置执行有效性评估。根据该评估,导航程序被配置为确定相关的检测目标是否可能从该检测位置被传感器系统19的该或每个检测传感器191检测(例如,具有所需的最小分辨率并且没有障碍物)。对于某些目标5,例如风力涡轮机,目标5的一部分(例如,叶片)相对于另一部分(例如,塔架)的位置可确定该目标5的一部分是否位于检测目标和检测位置之间(即阻挡检测目标)。这是风力涡轮机具有叶片检测的具体问题,其中,该叶片定位为与塔架邻近并基本平行(因此限制了对最接近塔架的一部分叶片的接近)。
为了执行有效性评估,导航程序可被配置为将(例如使用射线追踪)该或每个检测传感器191的视场投射到目标5(即,目标5的模型)上。在一些实施例中,导航程序可以被配置为在感兴趣的目标5的模型的表面上执行该投影,并且可以排除在该感兴趣的范围之外的该或每个检测传感器191的视场的一个或多个(或所有)部分。例如,这可以帮助减少由于阻挡该或每个检测传感器191的视场的不需要部分而导致的对原本合适的检测位置的拒绝。因此,未通过(即失败)有效性评估的位置被导航程序删除或移动(即被拒绝)。在一些实施例中,有效性评估可包括基于来自该检测位置的检测操作的感知有效性来确定有效性得分。
运动安全性评估由导航程序执行,以确定某个位置(在某些实施例中可以是检测位置,但可以是过渡位置)是否可以安全地进入和离开。这可包括对上述约束的评估。此外,在一些实施例中,运动安全性评估可包括基于与运动相关联的感知安全风险来确定运动安全性得分。可将一个或多个过渡位置添加到飞行计划中,作为运动安全性评估的一部分,以确保对于给定位置而言该运动是安全的。
为了辅助这三个操作中的一个或多个,导航程序可使用可采取不同形式的目标5的一个或多个附加模型。
因此,导航程序可以被配置为生成点云,该点云包括多个检测位置并可包括一个或多个过渡位置。在一些实施例中,导航程序在这个阶段还没有将位置排列成飞行计划。
将会理解,从位置的点云(可以仅仅是检测位置,但是可以包括一个或多个过渡位置),可以确定大量可能的飞行计划。通常,每个此类飞行计划包括另外的多个过渡位置,例如,以定义多个检测位置之间的飞行路径。
点云由导航程序评估,以选择可能的多种飞行计划中的一个。该过程可以被称为飞行计划选择过程。
飞行计划选择过程可以使用多种不同方法中的一种或多种。
飞行计划选择过程可以包括搜索不同的可能飞行路径。这可通过使用合适的搜索方法如广度优先搜索、深度优先搜索、贪心算法、迪杰斯特拉(Dijkstra)算法、A*算法、和/或任何合适的图搜索技术来执行。在一些实施例中,飞行计划选择过程包括操作员选择飞行路径中一个或多个部分(可以使用操作员界面装置4来输入)。
因此,飞行路径由导航程序确定,其可包括由飞行计划选择过程确定的一个或多个过渡位置,以及一个或多个检测位置(并且可以包括一个或多个预定的过渡位置)。
然后,基于成本标准对由导航程序使用搜索方法确定的不同的可能的飞行路径进行成本计算,并根据该成本标准进行排序。
导航程序的成本计算过程可基于一种或多种可能的成本标准,例如距离、时间、功耗(来自动力源14)等。在一些实施例中,成本计算过程可基于时间(即,飞行或旅行时间)对不同的可能飞行路径进行排序。
在一些实施例中,一个或多个成本标准被转换成具有共同的不同标准的成本,例如功耗或距离。在一些实施例中,例如,将一个或多个与时间无关的成本标准转换为基于时间的成本,以用于在成本计算过程中进行评估。在一些实施例中,自动驾驶交通工具1到目标5的距离可以被包括在成本计算过程中(包括例如自动驾驶交通工具1的预测速度)。在一些实施例中,自动驾驶交通工具1的角位置与一个或多个检测传感器191的角位置之间的角偏差可包括在成本计算过程中(例如,包括自动驾驶交通工具1的角速度或检测系统19的安装装置)。在一些实施例中,时间损失可以应用于运动之间的过渡,以检测目标5的一部分相对于另一部分(例如,叶片相对于塔架,和/或目标5正面相对于目标5的背面)。
成本计算过程可以被配置为从不同的飞行路径中选择最低成本的飞行路径。
成本计算过程可能会将位置安全性评分和/或有效性评分和/或运动安全性评分(如果确定)纳入考虑(请参见上文)。
如上所述,成本计算过程可能会考虑到(尤其是对于平面范围约束而言)距检测目标的距离与入射角之间的平衡。应当理解,距检测目标更大的距离可以提供检测系统19的更宽的有效视场,这可能意味着需要更少的检测操作,但是每个检测操作可包括检测目标分辨率较低的检测数据。因此,可能需要更多的检测操作提供所需的重叠,以提高检测数据的有效分辨率。导航程序可被配置为在成本计算过程中使用这些因素。
在一些实施例中,导航程序可进一步被配置为执行选定的飞行路径安全性过程。根据该安全性过程,导航程序可被配置为确认飞行路径满足一个或多个安全规则。例如,该或每个安全规则可包括距目标5和/或另一个目标(除目标5以外)的最小范围。安全性过程可包括对该或每个过渡位置进行分析(例如,可以仅是由飞行计划选择过程确定的那些过渡点)。
根据此安全性过程,导航程序可以使用射线跟踪技术来考虑飞行路径中连续位置之间的路径(例如,它们在两个过渡位置之间、一个过渡位置和一个检测位置之间,还是在两个检测位置之间)。导航程序可被配置为确定该飞行路径(如在射线追踪技术中所表示的)是否会与目标5(或另一个目标)相交或会在目标5(或其他目标)的最小范围内通过或会进入受限的地理范围或超出允许的地理范围。如果是这样,则导航程序可被配置为移动一个或多个过渡位置(例如,在飞行计划选择过程中确定),删除一个或多个此类过渡位置,和/或添加一个或多个另外的过渡位置,所有这些都是为了减少自动驾驶交通工具1撞击目标5(或其他目标)的风险。例如,可以通过导航程序使用上述评估来重新评估任何移动的过渡位置或以其他方式改变的飞行路径。另外或可选地,可以再次将任何新的飞行路径与其他飞行计划进行比较(例如,使用本文所述的成本计算),以确定是否仍选择该飞行路径,或者是否应该采用不同的路径(因此,和计划)。
导航程序可被配置为在飞行计划的实施期间(即,当交通工具1沿着飞行路径移动以执行检测操作时)记录和存储交通工具1运行的信息。例如,该信息可以被存储为日志,并且例如可被发送到用于传送的通信系统18和远离交通工具1的存储器。该远程存储器例如可以位于基站2和/或远程服务器3中。
在一些实施例中,导航程序可被配置为继续被中断的飞行计划。例如,导航程序可被配置为(例如,使用操作员界面装置4,在操作员的指示下)选择关于部分完成的飞行计划的存储信息。导航程序可被配置为继续该部分完成的飞行计划,并且可以试图避免对已经是检测操作的对象的任何检测位置(在飞行计划的部分完成期间)进行重新检测。
这可以使例如在飞行途中终止或中止的飞行计划能够有效地完成。例如,中途终止或中止可能是由于动力或时间限制或识别出安全问题。
在一些实施例中,除了将交通工具1移动到将要恢复的飞行计划的开始位置所需的飞行计划的新部分之外,导航程序可以被配置为在不重新计算飞行计划的情况下继续飞行计划。
在其他实施例中,导航程序可以被配置为重新计算飞行计划以用于在终止或中止的飞行计划期间不是检测操作的对象的检测目标。可以理解,导航程序可被配置为确定新的检测位置和/或由此得到的新的飞行计划,并且这可以考虑到目标5的潜在变化,例如目标5的一部分相对于另一部分的运动。目标的改变可以由导航程序确定,作为本文讨论的更新模型的一部分。
换句话说,导航程序可被配置为至少部分地基于先前部分实施的飞行计划所存储的信息来生成新的飞行计划(即,交通工具1开始遵循但交通工具1没有完成的飞行计划)。
如上所述,可以将导航程序配置为(通过安全性过程和/或成本计算过程)用于确定和选择飞行计划。然而,该飞行计划最初可能是基于自动驾驶交通工具1相对于目标5的位置和目标5的配置的相对的初步信息。
换句话说,该飞行计划最初是基于目标5的模型(即,简化表示)以及目标5和自动驾驶交通工具1的近似相对位置信息。
因此,导航程序可以进一步被配置为从传感器系统17接收信息,从而可以更新或调整自动驾驶交通工具1的地理位置、目标5的地理位置、自动驾驶交通工具1与目标5的相对位置以及目标5的配置中的一项或多项。使用该信息可以改变用于飞行计划的目标5的模型,并且这反过来可以使导航程序使用本文所述的过程来修改飞行计划,以重新生成飞行计划或其部分。
因此,导航程序可以被配置为执行映射过程和/或定位过程。可以在自动驾驶交通工具1的飞行(即运动)过程中执行映射和/或定位过程。如所讨论的,这可能会导致产生一个新模型,该模型可以是与初始模型相同的标称模型,但可以使用一个或多个更新后的参数进行参数化。
映射过程可以包括确定或调整目标5的配置中的一个或多个。定位过程可包括确定自动驾驶交通工具1相对于目标5的相对位置,这可以包括确定在映射过程中确定的目标5的模型的位置(可以是相对于交通工具1(例如,相对于检测系统19)的位置,并且可以考虑交通工具1的方向(例如,偏航、俯仰角和侧倾))。可以在自动驾驶交通工具1的运动期间以平行或重复的顺序方式执行这些过程。
在一些实施例中,映射和/或定位过程可包括从传感器系统17(例如,从一个或多个传感器171)接收传感器数据的步骤。该传感器数据可以包括位置信息和例如来自传感器系统17的测距传感器171或相机171的信息。
映射和/或定位过程可包括对接收到的传感器数据进行处理,以将数据聚类或将数据分为两个或更多个集合或部分,即形成聚类的传感器数据。
然后,可以将聚类的传感器数据作为映射和/或定位过程的一部分进行分析,以识别由聚类的传感器数据中的每个集合或部分表示的目标5的一个或多个部分。
映射过程可以包括确定一个集合或部分相对于另一集合或部分的相对位置(可以包括位置和/或方向或其他配置)。该相对位置表示目标5的一个或多个相应识别的部分相对于彼此的相对位置。因此,映射过程可以确定关于目标5配置的信息。这可包括确定一个或多个变换以将初始模型平移为匹配关于目标5配置的信息。这可以包括对一个或多个初始模型的参数的调节。
定位过程可包括确定一个集合或部分相对于交通工具1(例如,相对于检测系统19)的相对位置(其可以包括位置和/或方向或其他配置)。因此,该相对位置表示目标5(或其一部分)相对于交通工具1(例如,相对于检测系统19)的相对位置。例如,相对位置可根据全局参考系来确定,并且可被称为目标位置。这可包括确定一个或多个变换以将初始模型平移为匹配关于目标5的相对位置信息。这可包括对初始模型的一个或多个参数的调整。
因此,目标配置和目标位置可形成目标5的模型。导航程序可被配置为使用传感器数据的不同组合和/不同的映射和/或定位过程来生成多个这样的模型。
导航程序可被配置为使用这些模型中的一个或多个(它们是飞行中模型)来更新初始模型。这可能包括多个飞行中模型的组合。可以使用多种不同的方法来执行飞行中模型的组合,例如通过取模型的平均值(例如均值)、使用标准差和阈值等。
导航程序可被配置为生成飞行中模型以代替用于控制交通工具1的运行的初始模型。该飞行中模型可以考虑到作为映射和/或定位过程的结果而产生的一个或多个飞行中模型。因此,在一些实施例中,替换模型可以被称为替换模型或确定的飞行中模型。例如,飞行中模型用于生成替换模型,并可被称为临时或工作的飞行中模型。
例如,导航程序可被配置为由于传感器171检测到的错误而排除来自一个或多个传感器171的传感器数据或排除不在期望的预定范围内或在其他传感器数据的指定范围内的传感器数据。导航程序可被配置为在飞行中模型级别(at the in-flight model level)上执行类似的过程,但不包括一个或多个飞行中模型,该飞行中模型是基于来自传感器171的已检测到错误的传感器数据或基于不在其他一个或多个飞行中模型的指定范围内的模型而产生的。
可能采取不同的方式进行聚类传感器数据、分析所聚类的传感器数据以及根据映射和定位过程进行确定的这些过程。例如,根据传感器数据的形式,每个传感器数据集合都可以近似为适当的形状,可以是2D或3D形状(例如圆柱体、椭圆形、圆形等),在一些实施例中,3D传感器数据可限于提供2D传感器数据,或者可使用3D传感器数据,或者可以将传感器数据设置为2D传感器数据。然后可以分析近似的形状并将其与初始模型进行比较。这可以包括例如分析与初始模型的多部分相比的近似形状的周长,或者可以包括分析与初始模型的多部分的质心相比的近似形状的质心。
在一些实施例中,这些过程可以包括使用线性回归和/或迭代最近点方法。
在一些实施例中,传感器数据为点云的形式,或者可以被转换为点云以根据映射和/或定位过程进行处理。
在一些实施例中,传感器数据可以包括一个或多个图像,其可以是可见光图像或红外或紫外光图像。可以以类似的方式对该传感器数据执行映射和/或定位过程,其中图像的多部分被识别为与初始模型的多部分相对应。然后可以如上所述在映射和/或定位过程的确定步骤中使用该信息。这可以导致另一个飞行中模型,其可以与其他模型结合和/或用于修改初始模型以进一步供导航程序使用。
回到映射过程,在一些实施例中,映射过程包括导航程序,其使用来自传感器系统17的信息生成目标5的一个或多个模型(这里是实时或飞行中模型)。一个或多个飞行中模型可以不同于导航程序用来最初确定飞行计划的模型(和/或可以是相同的标称模型,但是具有一个或多个不同的参数)。
导航程序可以使用从传感器系统17接收的信息(即,传感器数据,可包括范围信息),该信息表示目标5和目标5相对于交通工具1(例如相对于检测系统19)的位置。
传感器数据(可以是来自多个传感器171的组合数据或来自单个传感器171的数据)可以被导航程序分为与初始模型的多个不同部分有关的传感器数据。这可如下所述或者以其他方式包括使用初始模型对传感器数据进行聚类或划分以提供空间约束。
映射过程可以包括将传感器数据聚类或划分为与目标5的两个或多个不同部分有关的数据。例如,这可以包括将传感器数据划分为与塔架有关的数据和与一个或多个叶片有关的数据。
传感器数据的划分可以多种不同方式来实现。例如,传感器数据(可以包括范围数据和位置数据)可用于生成目标5、其一部分和/或在正使用的该传感器或传感器171的有效范围内的任何其他附近的目标的点云表示。
使用K均值方法或其他方法,可以将点云或其他传感器数据聚类,即分为代表目标5的初始模型(例如标称模型)的一个或多个部分的多部分。
然后,导航程序可以估计在聚类的传感器数据中表示的目标5的至少一个部分的质心或其他参考点,例如,以诸如椭圆的形状表示目标5的每个部分。
导航程序然后可以尝试一种或多种变换以将目标5的初始模型中的目标的一个或多个部分与来自聚类的传感器数据的一个或多个部分进行比较。在这方面,导航程序可以确定质心(多个质心)和/或其他参考点(多个其他参考点)与初始模型中的对应的点的一个或多个变换。
导航程序可被配置为确定如传感器数据中所表示的目标5与如初始模型5所表示的目标5的最佳拟合变换。这可以通过使用迭代的最佳拟合方法来实现。
类似地,对于定位过程,导航程序可以确定整体目标5的(或其静态部分,例如风力涡轮机的塔架)相对于交通工具1(例如相对于检测系统19)的位置的最佳拟合变换。同样,这可以通过使用迭代的最佳拟合方法。
然后,导航程序可生成基于传感器数据的目标5的变换后的初始模型。该变换后的初始模型可以是飞行中模型,并且可以是用于初始模型但具有更新后的多个参数的标称模型的版本。
例如,如果目标5的配置不太可能被改变,则映射过程可以比定位过程更少地执行。可替代地,这两个过程都可不断重复的基础上执行。
在映射过程的另一个版本中,将目标(例如塔架)的第一部分的质心作为目标5的中心。在该过程的这一部分中,可以使用移动平均值来平滑估值并适应错误的测量值。导航程序可以被配置为忽略目标5的各部分的高度,以生成目标5的第二部分(或子部分)(例如,叶片)的质心的2D表示。导航程序可以对这些点执行线性回归,以使用由2D表示的结果生成的该或每条线的梯度来估计目标5的第二部分相对于目标5的第一部分(例如)的角度。导航程序可被配置为使用K均值方法将与目标5的第二部分有关的传感器数据的质心聚类为3个元素。导航程序可以被配置为对与目标5的第二部分有关的传感器数据的每个集合执行线性回归。导航程序可以被配置为生成表示目标5的第二部分的多条合成线的平均交点。代表目标5的第二部分的每条线的梯度可被用于估计第二部分相对于第一部分的位置(例如,相对于塔架的叶片位置)。因此,目标5的配置可被确定且初始模型被更新以生成飞行中模型。定位可如上所述被执行。
上面已经讨论了迭代最接近拟合和线性回归方法。然而,在一些实施例中,映射和/或定位过程可以使用其他技术以便生成飞行中模型。
如将意识到的,例如,可以至少部分基于初始信息来确定目标5的模型。将会理解,在该过程中使用的传感器数据可以包括由该或每个传感器171生成的传感器数据(其可以包括范围信息,例如,来自LiDAR传感器或本文所述的其他深度/测距传感器)。
此过程在飞行中可重复,从而导致飞行中模型的改进(例如,参见图8,该图显示了原始模型与涡轮机叶片的新的表示的重叠)。
在一些实施例中,导航程序的映射和/或定位过程可以包括使用一种或多种这样的技术来生成飞行中模型。在使用多种技术的实施例中,结果随后可被组合,从而可以使用标准偏差、平均值(例如均值),以及可以是基于协方差或基于用于产生数据的该或每个传感器171的传感器状态的加权组合。
在一些实施例中,这可包括导航程序,其组合传感器数据,然后使用组合的传感器数据来生成飞行中模型,或者使用传感器数据来生成多个飞行中模型,然后组合飞行中模型。
在一些实施例中,使用神经网络或粒子滤波器或卡尔曼滤波器来组合多个飞行中模型和/或传感器数据。在一些实施例中,最新的传感器数据用于生成飞行中模型。在一些实施例中,根据产生传感器数据的传感器171对传感器数据进行加权。这可以包括例如在自动驾驶交通工具1的运行期间改变飞行中的加权。
映射过程被配置为生成飞行中模型,该飞行中模型随后由定位过程使用,该定位过程将飞行中模型定位在由自动驾驶交通工具1并且尤其是由导航程序使用的参考系内。
在一些实施例中,使用多个飞行中模型进行映射和/或定位过程,然后例如,使用平均值(例如均值)或任何其他合适的方法将它们组合在一起,以确定自动驾驶交通工具1的配置和/或位置。
因此,在一些实施例中,飞行中模型是导航程序运行的重要方面。因此,在一些实施例中,导航程序可以包括一个或多个过渡位置作为飞行计划的一部分,所述一个或多个过渡位置旨在沿着飞行计划的初始映射部分引导自动驾驶交通工具1。在该初始映射部分中,自动驾驶交通工具1可相对于目标5移动(基于在飞行计划的生成过程中使用的目标的模型,即初始模型),以允许执行映射和/或定位过程以生成飞行中模型。该初始映射部分可包括例如控制自动驾驶交通工具1的运动以相对于目标5的至少一部分行驶,使得可以由传感器系统17例如在一个或多个检测传感器171的范围内检测目标5的至少一部分。
因此,初始映射部分可以被配置为引起自动驾驶交通工具1沿着目标5的预定长度的运动。在一些实施例中,除了沿着目标的预定长度运动之外,初始映射部分还可包括向同一方向的进一步运动。特别地,将理解的是,基于目标5的模型(在飞行中模型生成之前)来确定预定长度。如果实际目标5延伸超出此预定长度,则这可能是用于生成飞行中模型的有用信息。例如,在相同方向上的进一步运动可包括与预定长度相比额外的20%的运动。
在目标5是风力涡轮机的情况下,则初始映射部分可以是自动驾驶交通工具1沿着风力涡轮机的塔架的长度的运动,例如,自动驾驶交通工具1相对于风力涡轮机定位,使得传感器系统17可以检测风力涡轮机的塔架。在一些实施例中,预定距离可以是塔架长度的主要部分。在一些实施例中,预定距离可以是塔架的上部长度。在一些实施例中,进一步的运动是塔架顶部上方的运动(基于所使用的模型)。在一些实施例中,进一步的运动将使自动驾驶交通工具1达到塔架高度的120%的高度(基于所使用的模型)。图11示出了沿着塔架长度的一部分执行这种运动的自动驾驶交通工具1。图10示出了接近塔架顶部的自动驾驶交通工具1。
因此,在一些实施例中,映射过程可以在根据飞行计划的初始部分映射已经移动了的自动驾驶交通工具1之后发生。
在一些实施例中,定位过程包括导航程序确定自动驾驶交通工具1相对于飞行中模型的相对位置。换句话说,定位过程可包括将飞行中模型定位在自动驾驶交通工具1的参考系内。
在一些实施例中,定位过程使用由传感器系统17提供的位置信息(即,传感器数据)。位置信息可包括一般位置信息,其可包括来自作为无线电导航传感器的传感器171的传感器数据。定位过程可包括初始定位步骤,其中,使用这样的一般位置信息将初始模型(即,用于生成飞行计划)根据自动驾驶交通工具1的参考系定位。在一些实施例中,定位过程在自动驾驶交通工具1沿着飞行计划的初始映射部分移动期间继续。在该部分期间,飞行中模型在自动驾驶交通工具1的参考系内的位置被确定。在此期间,可以使用来自于一个或多个其他传感器171的更具体的位置信息,例如来自本文所述的测距传感器171的传感器数据。
定位过程可以在导航程序的控制下在自动驾驶交通工具1沿着飞行路径的全部或部分运动中继续进行。
在映射和定位过程中,导航程序会调节飞行路径,使得其与原始飞行计划匹配,但现在基于飞行中模型。
因此,将理解,飞行计划是由导航程序基于目标5的初始模型(即表示)生成的。该模型可用于确定检测位置,然后确定所需的位置顺序(检测和过渡)以定义飞行路径和计划。该模型被配置为允许确定检测系统19相对于目标5的角位置,以确保对目标5的检测适当。初始飞行可基于该模型和飞行计划。然后在飞行期间,可以使用不同的或调整的模型来更新飞行计划(即,飞行中模型)。例如,每个模型的要求是不同的,并且使用不同的在飞行中模型减少了与更新原始模型相关联的计算消耗。原始模型可被称为第一模型、原始模型或初始模型(因此,飞行中模型也可被称为第二模型)。
如上所述,图12示出了通过组合使用不同数据生成的两个模型以及初始模型(可以是原始模型)来生成飞行中模型的过程的示例性流程图。该过程可以由导航程序实现,并且可以包括组合或两个以上的模型(可以使用与图中所示的传感器数据不同的传感器数据来生成每个模型)。在一些实施例中,例如图12的示意图中所示,飞行中模型可被更新,还可生成交通工具1的新位置信息,例如,这可以交替地进行。
映射和/或定位过程可以在飞行中发生,并且可以使用不是最新获取的传感器数据的数据。在某些情况下,映射和/或定位过程可能会使用同一飞行中较早的历史数据。在一些实施例中,可以在飞行后的分析中检查飞行,该分析包括使用来自飞行的传感器数据来完成映射和/或定位过程。然后,该结果可能会在以后的飞行中使用,例如修改原始或初始模型。
飞行中模型(和原始模型)可以包括以下一个或多个的表示:目标底部(例如风力涡轮机的塔架)相对于自动驾驶交通工具的初始位置的中心位置、目标相对于自动驾驶交通工具的初始位置的高度(例如,风力涡轮机叶片的中心的高度)、目标5的第一部分相对于另一部分(例如,垂直位置的第一个叶片)的旋转位置(例如,度数)、从目标5的初始位置相对于自动驾驶交通工具1的初始位置的航向以及叶片中心位置(例如,塔架中心到叶片相遇的理论点的距离)。
导航程序的实施例可以在其执行期间使用一个或多个不同的参考系。这些参考系可以包括相对于自动驾驶交通工具1和/或目标5或其一部分具有地理普遍性的参考系(例如,经度和纬度)或局部定义的参考系。
导航程序的运行和处理通常可以分为两部分:(i)多个位置确定部分和(ii)多个检测部分。多个位置确定部件包括确定或调整目标5相对于自动驾驶交通工具1的位置和配置的所有过程。多个检测部分包括涉及目标5的检测(包括自动驾驶交通工具1运动的控制)的多个部分。导航程序的这些部分的执行通常可以称为“任务”。自动驾驶交通工具1的运行的多个方面与任务不直接相关,可以包括准备过程(例如启动驱动系统12、启动本文所述的任何计算机、执行初始飞行前安全检查以及执行任何任务后和任务中的紧急行动)。可以理解,在多个位置确定部分的运行实例之后,导航程序运行的多个检测部分的运行可能会暂停(例如,当识别出变化时)。
导航程序可以包括飞行中安全过程。飞行中安全过程可以被配置为在导航程序控制自动驾驶交通工具1的运动的同时执行。飞行中安全过程可以被配置为确定是否存在无法继续飞行的任何原因。如果确定了任何此类原因,则可以执行一个或多个紧急措施。
因此,飞行中安全过程可以检查导航程序本身、自动驾驶交通工具1、基站2和操作员界面装置4中的一个或多个的运行的多个不同方面。
飞行中安全过程可能包括检查以下一项或多项:
传感器系统17是否正常运行;
一个或多个传感器171是否正常运行(例如,一个传感器171指示的自动驾驶交通工具1的位置(例如,相对于目标5),该位置比另一个传感器171所指示的预定阈值大(或由多个其他传感器171确定的位置的平均值),该一个传感器171可能触发紧急行动);
检测系统19是否正常运行;
一个或多个检测传感器191是否正常工作;
动力源14是否具有足够的动力储备来完成飞行计划;
动力源14是否有故障;
飞行控制系统15是否正常运行;
导航系统16是否正常运行;
驱动系统12是否正常运行;
视觉引导系统20是否正常运行;和
通信系统18是否正常运行和/或是否与基站2和/或操作员界面装置4和/或远程服务器3建立通信。
在检测到潜在故障时,飞行中安全过程被配置为确定故障是否会影响飞行计划的完成或安全完成,和/或是否会影响自动驾驶交通工具1返回初始位置的能力,和/或将影响自动驾驶交通工具1降落在另一个位置(即,非初始位置)的能力。
飞行中的安全过程可被配置为基于该评估来采取行动。如果尽管检测到故障而仍能完成飞行计划(并且该故障不影响检测系统19的运行),则飞行中安全过程可能不会打断导航程序的剩余部分的运行。在一些这样的实施例中,可以向操作员界面装置4上的显示器发送警报以将故障通知给操作员。
如果由于故障而无法完成飞行计划,则飞行中安全过程可被配置为确定新的飞行计划以使自动驾驶交通工具1返回初始位置(“RTL”–返回起飞)。该过程可包括确定一个或多个过渡位置。在一些实施例中,飞行中安全过程可以确定新的飞行计划(紧急返回本地的飞行计划)是否是自动驾驶交通工具1的安全飞行路径,即,该路径不太可能导致自动驾驶交通工具1撞击目标5或其他目标(目标5以外)。如果飞行路径安全,则飞行中安全过程可使自动驾驶交通工具1沿着紧急返回本地的飞行计划行驶以降落在初始位置。在一些这样的实施例中,可以向操作员界面装置4上的显示器发送警报以通知操作者所采取的措施。
如果飞行中安全过程不能确定使自动驾驶交通工具1返回初始位置的安全飞行计划和/或该过程确定自动驾驶交通工具1无法到达初始位置(例如,由于动力不足),则飞行中安全过程可能会确定到其他位置(非初始位置)的新飞行路径。该过程可以包括确定一个或多个过渡位置。在一些实施例中,飞行中安全过程可以确定新的飞行计划(紧急着陆飞行计划)是否是自动驾驶交通工具1的安全飞行路径,即,该路径不太可能导致自动驾驶交通工具1撞击目标5或另一个目标(目标5以外)。如果飞行路径安全完成,则飞行中安全过程可使自动驾驶交通工具1沿着紧急着陆飞行计划行进以使自动驾驶交通工具1降落在另一位置。在一些这样的实施例中,可以向操作员界面装置4上的显示器发送警报以通知操作者所采取的措施。
如果飞行中安全过程使自动驾驶交通工具1在另一位置处不能着陆或不能安全着陆,则飞行中安全过程可以向操作员界面装置4上的显示器发送警报以将以下信息通知给操作员:操作员应使用操作员界面装置4来手动控制自动驾驶交通工具1的飞行。操作员可以通过界面42输入一个或多个命令,这些命令被发送到自动驾驶交通工具1(直接或通过基站2),然后这些命令被用于控制驱动系统12的运行,以控制自动驾驶交通工具1的运动。
根据一些实施例,操作员界面装置4被配置为从操作员(例如,通过界面42)接收指示操作员将对自动驾驶交通工具1进行手动控制的命令(以与上述基本相同的操作方式),但是无需故障检测。
应当理解,对飞行计划或飞行路径的引用是对导航计划或路径的引用,并且同样是对检测计划或检测路径的引用。
为了便于参考,在图9中示出了一些实施例的导航程序的运行(示出了状态流)。
将会理解,导航程序提供了在自动驾驶交通工具1的飞行期间使用的更新的飞行中模型,以控制交通工具1的飞行。在一些实施例中,飞行计划本身可能不会发生实质性变化,但随着在模型内调整目标5的实际位置,可能会导致空间的转变。然而,将理解的是,这种飞行计划的转变的确构成了飞行计划以及飞行期间模型的改变。
如将理解的,自动驾驶交通工具1遵循飞行计划(可以在飞行中被更新),使得自动驾驶交通工具1在至少两个检测位置(第一检测位置和第二检测位置)之间移动。在每个检测位置处,检测系统19被用于检测目标5。
检测系统计算机192可以设置有关于检测位置的信息。该信息可以包括检测系统19(尤其是该或每个检测传感器191,例如相机191a)之间的距离。因此,该信息称为检测位置数据。
检测系统计算机192可被配置为控制一个或多个检测传感器191(诸如相机191a)的运行,以确保通过该或每个检测传感器191准确地检测目标5。在一些实施例中,检测系统计算机192可被配置为基于检测位置数据来控制一个或多个检测传感器191的操作。
在一些实施例中,该过程包括检测系统计算机192基于检测位置数据确定一个或多个检测系统参数。然而,在某些情况下,检测位置数据包括一个或多个检测系统参数。该一个或多个检测系统参数包括用于配置一个或多个检测传感器191中的至少一个的多个参数。该或每个检测系统参数可包括例如(例如,在相机191a的情况下)焦点设置(例如焦距)、快门速度和光圈大小等。
应当理解,检测位置数据可以从一个检测位置改变为另一个检测位置。特别地,用于第一检测位置的检测位置数据可不同于用于第二检测位置的检测位置数据。同样,可能会有更多的检测位置,并且每个检测位置可能具有与另一个检测位置不同的检测位置数据。
检测位置根据飞行计划形成一个序列(并且如本文所述可穿插多个过渡位置)。
检测系统计算机192可被配置为在自动驾驶交通工具1在检测位置之间移动时,使用检测位置数据(和该或每个检测系统参数)来控制该或每个检测传感器191的运行。特别地,当自动驾驶交通工具1朝检测位置移动时,检测系统计算机192可控制该或每个检测传感器191,使得该或每个检测传感器191被配置为在自动驾驶交通工具1到达那个检测位置时,对目标5执行检测操作。换句话说,检测系统计算机192可以已经配置该或每个检测传感器191以使用第一检测位置数据(和一个或多个第一检测系统参数)在第一检测位置检测目标5。在第一检测位置处在第一检测操作中使用检测系统19之后,自动驾驶交通工具1开始朝向第二检测位置移动(例如直接地或经由一个或多个过渡位置(在这种情况下,“朝向”是根据飞行计划确定的顺序))。在检测系统19已经完成第一检测操作之后,检测系统计算机192可被配置为控制该或每个检测传感器191的运行,以使用第二检测位置数据(以及一个或多个第二检测系统参数)来配置该或每个检测传感器191。当自动驾驶交通工具1到达第二检测位置时或之前,该或每个检测传感器191因此被配置用于在第二检测位置的第二检测操作。该过程减少了自动驾驶交通工具1必须保持在每个检测位置处的时间量。
在一些实施例中,可基于在检测位置处的一个或多个检测到的参数(例如,由一个或多个检测传感器191和/或传感器系统17的一个或多个传感器171检测到的)在检测位置处调整该或每个检测系统参数。因此,例如,可在检测位置处确定自动驾驶交通工具1(和因此检测传感器19)与目标5的更精确(或更实际)的距离。将会理解,由于这可以是对该或每个检测传感器191的配置进行微调,当自动驾驶交通工具1仍正在移动时,任何配置的大部分都已经发生。因此,该过程仍可以减少自动驾驶交通工具1必须保持在每个检测位置处的时间量。
在一些实施例中,检测系统19被配置以在该或每次检测操作之后将检测数据(在检测系统计算机192的控制下)存储在存储介质192a中。在一些实施例中,检测系统19被配置为将检测数据发送到通信系统18(例如,到一个或多个通信接口181),以用于从自动驾驶交通工具1传输(例如,到基站2、远程服务器3和/或操作员界面装置4)。
检测系统计算机192可被配置为至少部分地基于飞行计划来确定是否将检测数据(例如,在检测位置处的检测操作之后)发送至通信系统18。在一些实施例中,检测系统计算机192被配置为基于以下参数中的一个或多个来确定是否发送检测数据:行进到下一个检测位置的预期时间长度、为上一次检测操作整理的检测数据的量(和/或尚未发送检测数据的任何其他检测操作)、使用通信系统18的可用传输速率(和例如,用于发送检测数据的一个或多个通信接口181)、以及用于发送检测数据的一个或多个通信接口181的可用性或信号强度。因此,可在自动驾驶交通工具1飞行的适当部分期间被从自动驾驶交通工具1发送检测数据19。这可以更有效地利用自动驾驶交通工具1上的可用资源,并且例如减少另外需要从自动驾驶交通工具1中提取检测数据的时间。
在一些实施例中,通信系统18被配置为以与上述相同的方式确定是否以及何时从自动驾驶交通工具1发送检测数据,并且因此可被配置为在需要的时候从检测系统19请求检测数据。
因此,应理解,在一些实施例中,检测系统19被配置为执行以下操作:
配置操作(将该或每个检测传感器191配置为执行检测操作);
检测操作(捕获检测数据);和
发送/存储操作(发送和/或存储检测数据)。
还应当理解,可以在飞行到检测位置的过程中进行配置操作(如果不是全部的话,则至少部分地)。检测操作发生在检测位置处,并且发送/存储操作可在飞行到另一个检测或过渡位置的过程中至少部分地发生。在一些实施例中,当自动驾驶交通工具1处于检测位置的时候,发送/存储操作至少部分地发生(并且因此,就执行时间而言,可以与检测操作重叠)。
可根据检测系统程序进行以上与检测系统计算机192有关的操作,该检测系统程序可被配置为由检测系统计算机192执行。在某些实施例中,该程序不需要由检测系统计算机192执行,而可以由另一台计算机(例如,本文所述的其他计算机之一)执行。
自动驾驶交通工具1可以是旋翼飞机,例如可以是多旋翼直升机(例如,具有两个或多个提供提升力和机动力的旋翼的直升机)。
自动驾驶交通工具1可以是固定翼飞机(其可以是滑翔机或动力飞机)。自动驾驶交通工具1可以是航空器(例如飞艇)。
自动驾驶交通工具1可以是包括至少一个地面啮合构件(例如,车轮或轨道)的地面交通工具,并且该地面交通工具被配置为在地面行驶。
自动驾驶交通工具1可以是水运工具,例如船或潜艇。
例如,自动驾驶交通工具可以是两栖交通工具,其被配置以在水中和地面上行驶,例如气垫船。应当理解,本发明的实施例适用于不同类型的交通工具,并且关于任何这种自动驾驶交通工具1可实施上述实施例。
当在本说明书和权利要求书中使用时,术语“包括”和“包含着”及其变型意味着包括指定的特征、步骤或整数。不应将这些术语解释为排除其他特征、步骤或组件的存在。
以上说明书或权利要求书或附图中公开的特征以其特定形式或用于执行所公开的功能或达到所公开的结构的方法或工艺的手段来表示,适当的话,这些特征的单独特征或任何组合可以用于以其各种形式实现本发明。
多个方面
A1、一种用于自动驾驶交通工具的导航程序,该导航程序配置为:
基于目标的初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
A2、根据方面A1的导航程序,还被配置为:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置可检测该检测目标,其中,初始模型包括表示目标的一个或多个凸形,并且初始检测计划包括该检测位置。
A3、根据方面A1或A2的导航程序,其中,由传感器系统的测距传感器生成所接收的传感器数据。
A4、根据方面A3的导航程序,其中,测距传感器是LiDAR传感器。
A5、根据前述任一方面的导航程序,进一步被配置为至少部分地通过对传感器数据进行聚类并且将一个或多个几何形状与聚类的传感器数据相关联来生成飞行中模型。
A6、根据前述任一方面的导航程序,进一步被配置为至少部分地通过使用迭代最近点技术来生成飞行中模型,该技术使用点云形式的传感器数据。
A7、根据前述任一方面的导航程序,进一步被配置为合并多个飞行中模型以得出飞行中模型。
A8、一种用于自动驾驶交通工具的导航方法,该导航方法包括:
根据目标的初始模型,确定自动驾驶交通工具用于检测目标的初始检测计划;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
A9、根据方面A8的导航方法,还包括:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标,其中,初始模型包括表示目标的一个或多个凸形,并且初始检测计划包括该检测位置。
A10、根据方面A8或A9的导航方法,其中,通过传感器系统的测距传感器生成所接收的传感器数据。
A11、根据方面A10的导航方法,其中,测距传感器是LiDAR传感器。
A12、根据方面A8至A11中任一项的导航方法,还包括至少部分地通过对传感器数据进行聚类并且将一个或多个几何形状与聚类的传感器数据相关联来生成飞行中模型。
A13、根据方面A8至A12中任一项的导航方法,还包括至少部分地通过使用迭代最近点技术来生成飞行中模型,该技术使用点云形式的传感器数据。
A14、根据方面A8至A13中任一项的导航方法,还包括合并多个飞行中模型以得出飞行中模型。
A15、一种用于自动驾驶交通工具的导航系统,该导航系统被配置为:
基于目标的初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
A16、根据方面A15的导航系统,还被配置为:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标,其中,初始模型包括表示目标的一个或多个凸形,并且初始检测计划包括该检测位置。
A17、根据方面A15或A16的导航系统,其中,通过传感器系统的测距传感器生成所接收的传感器数据。
A18、根据方面A17的导航系统,其中,测距传感器是LiDAR传感器。
A19、根据方面A15至A18中任一项的导航系统,进一步被配置为至少部分地通过对传感器数据进行聚类并且将一个或多个几何形状与聚类的传感器数据相关联来生成飞行中模型。
A20、根据方面A15至A19中任一项的导航系统,进一步被配置为至少部分地通过使用迭代最近点技术来生成飞行中模型,该技术使用点云形式的传感器数据。
A21、根据方面A15至A20中任一项的导航系统,还被配置为合并多个飞行中模型以得出飞行中模型。
A22、一种自动驾驶交通工具包括:根据方面A1至A7中任一项的导航程序或根据方面A15至A21中任一项的导航系统。
B1、一种自动驾驶交通工具的检测系统,其中,检测系统用于检测目标,该检测系统程序配置为:
接收指示至少两个检测位置的检测计划和与每个检测位置相关联的检测位置数据;以及
当自动驾驶交通工具在至少两个检测位置之间移动时,控制检测系统的运行以基于检测位置数据配置检测系统的一个或多个检测传感器,使得该或每个检测传感器被配置为在每个检测位置处检测目标。
B2、一种自动驾驶交通工具的检测方法,自动驾驶交通工具具有用于检测目标的检测系统,该检测方法包括:
接收指示至少两个检测位置的检测计划和与每个检测位置相关联的检测位置数据;以及
当自动驾驶交通工具在至少两个检测位置之间移动时,控制检测系统的运行以基于检测位置数据配置检测系统的一个或多个检测传感器,使得该或每个检测传感器被配置为在每个检测位置处检测目标。
B3、一种自动驾驶交通工具的检测系统,自动驾驶交通工具具有用于检测目标的检测系统,该检测系统被配置为:
接收指示至少两个检测位置的检测计划和与每个检测位置相关联的检测位置数据;以及
当自动驾驶交通工具在至少两个检测位置之间移动时,控制检测系统的运行以基于检测位置数据配置检测系统的一个或多个检测传感器,使得该或每个检测传感器被配置为在每个检测位置处检测目标。
B4、一种自动驾驶交通工具,包括根据方面B1的检测系统程序或根据方面B3的检测系统。
C1、一种自动驾驶交通工具的导航程序,自动驾驶交通工具具有用于检测目标的检测系统,该导航程序被配置为:
接收目标的标称模型;
接收与标称模型相关联的一个或多个参数以定义目标的初始模型;
提供导航指令以控制交通工具的运行;
接收代表目标的至少一部分的传感器数据;
通过调节与标称模型相关联的一个或多个参数,分析传感器数据以确定飞行中模型。
C2、一种自动驾驶交通工具的导航方法,自动驾驶交通工具具有用于检测目标的检测系统,该导航方法包括:
接收目标的标称模型;
接收与标称模型相关联的一个或多个参数以定义目标的初始模型;
提供导航指令以控制交通工具的运行;
接收代表至少一部分的目标的传感器数据;
通过调节与标称模型相关联的一个或多个参数,分析传感器数据以确定飞行中模型。
C3、一种自动驾驶交通工具的导航系统,自动驾驶交通工具具有用于检测目标的检测系统,该导航系统被配置为:
接收目标的标称模型;
接收与标称模型相关联的一个或多个参数以定义目标的初始模型;
提供导航指令以控制交通工具的运行;
接收代表至少一部分的目标的传感器数据;
通过调节与标称模型相关联的一个或多个参数,分析传感器数据以确定飞行中模型。
C4、一种自动驾驶交通工具,包括根据方面C1的导航程序或根据方面C3的导航系统。
D1、一种自动驾驶交通工具的导航程序,自动驾驶交通工具具有用于检测目标的检测系统,该导航程序被配置为:
从多个不同的传感器接收传感器数据,该传感器数据代表目标的至少一部分;
基于目标的初始模型对传感器数据进行聚类;
确定目标的一个或多个部分相对于彼此的相对位置,或者确定目标相对于交通工具的位置;以及
使用确定的位置或确定的相对位置更新初始模型。
D2、一种自动驾驶交通工具的导航方法,自动驾驶交通工具具有用于检测目标的检测系统,该导航方法包括:
从多个不同的传感器接收传感器数据,该传感器数据代表目标的至少一部分;
基于目标的初始模型对传感器数据进行聚类;
确定目标的一个或多个部分相对于彼此的相对位置,或者确定目标相对于交通工具的位置;以及
使用确定的位置或确定的相对位置更新初始模型。
D3、一种自动驾驶交通工具的导航系统,自动驾驶交通工具具有用于检测目标的检测系统,该导航系统被配置为:
从多个不同的传感器接收传感器数据,该传感器数据代表目标的至少一部分;
基于目标的初始模型对传感器数据进行聚类;
确定目标的一个或多个部分相对于彼此的相对位置,或者确定目标相对于交通工具的位置;以及
使用确定的位置或确定的相对位置更新初始模型。
D4、一种自动驾驶交通工具,包括根据方面D1的导航程序或根据方面D3的导航系统。
E1、一种自动驾驶交通工具的导航程序,自动驾驶交通工具具有用于检测目标的检测系统,该导航程序被配置为:
使用目标的初始模型来指导交通工具相对于目标的运动;
使用在交通工具相对于目标运动期间收集的多个不同传感器的传感器数据,生成目标的多个飞行中模型;
组合多个飞行中模型;以及
使用组合的多个飞行中模型更新初始模型。
E2、一种自动驾驶交通工具的导航方法,自动驾驶交通工具具有用于检测目标的检测系统,该导航方法包括:
使用目标的初始模型来指导交通工具相对于目标的运动;
使用在交通工具相对于目标运动期间收集的多个不同传感器的传感器数据,生成目标的多个飞行中模型;
组合多个飞行中模型;以及
使用组合的多个飞行中模型更新初始模型。
E3、一种自动驾驶交通工具的导航系统,自动驾驶交通工具具有用于检测目标的检测系统,该导航系统被配置为:
使用目标的初始模型来指导交通工具相对于目标的运动;
使用在交通工具相对于目标运动期间收集的多个不同传感器的传感器数据,生成目标的多个飞行中模型;
组合多个飞行中模型;以及
使用组合的多个飞行中模型更新初始模型。
E4、一种自动驾驶交通工具,包括根据方面E1的导航程序或根据方面E3的导航系统。
F1、一种用于自动驾驶交通工具的导航程序,该导航程序被配置为:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标,其中,初始模型包括表示目标的一个或多个形状,其允许从检测位置到有待确定的检测目标的投影。
F2、根据方面F1的导航程序,其中,所述目标以所述初始模型方式的表示包括一个或多个凸形。
F3、根据方面F1或F2的导航程序,进一步被配置为确定多个检测位置,其中,在该检测位置可检测该检测目标。
F4、根据前述方面F1至F3中任一项的导航程序,进一步被配置为确定自动驾驶交通工具的一个或多个检测位置,其中,检测系统在该检测位置处可检测一个或多个其他检测目标。
F5、根据方面F4的导航程序,进一步被配置为确定检测每个检测目标的多个检测计划,可选地,进一步被配置为检查每个检测计划没有违反一个或多个约束,和/或可选地,进一步被配置为更改一个或多个检测计划。
F6、根据方面F5的导航程序,进一步被配置为相对于成本标准对检测计划进行成本计算以确定最低成本检测计划。
F7、根据前述任一方面的导航程序,还被配置为:
基于目标的初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,该初始检测计划包括检测位置;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
F8、一种用于自动驾驶交通工具的导航方法,该导航方法包括:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标,其中,初始模型包括表示目标的一个或多个凸形。
F9、根据方面F8的导航方法,其中,所述目标以所述初始模型方式的表示仅包括凸形。
F10、根据方面F8或F9的导航方法,还包括确定多个检测位置,在该检测位置处可检测该检测目标。
F11、根据方面F8至F10中任一项的导航方法,还包括确定自动驾驶交通工具的一个或多个检测位置,在该检测位置处可检测一个或多个其他检测目标。
F12、根据方面F11的导航方法,还包括确定检测每个检测目标的多个检测计划,可选地,还包括检查每个检测计划没有违反一个或多个约束,和/或可选地,还包括更改一个或多个检测计划。
F13、根据方面F12所述的导航方法,还包括相对于成本标准对检测计划进行成本计算以确定最低成本检测计划。
F14、根据方面F8至F13中任一项的导航方法,还包括:
基于目标的初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,该初始检测计划包括检测位置;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
F15、一种用于自动驾驶交通工具的导航系统,该导航系统被配置为:
接收自动驾驶交通工具要检测的目标的初始模型;
识别与目标的初始模型相关联的检测目标;以及
确定自动驾驶交通工具的检测位置,自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标,其中,初始模型包括表示目标的一个或多个形状,其允许从检测位置投影到待确定的检测目标。
F16、根据方面F15的导航系统,其中,所述目标以所述初始模型方式的表示包括一个或多个凸形。
F17、根据方面F15或F16所述的导航系统,进一步被配置为确定多个检测位置,在该检测位置处可检测该检测目标。
F18、根据方面F15至F17中任一项的导航系统,进一步被配置为确定自动驾驶交通工具的一个或多个检测位置,检测系统在该检测位置处可检测一个或多个其他检测目标。
F19、根据方面F18的导航系统,进一步被配置为确定检测每个检测目标的多个检测计划。
F20、根据方面F19的导航系统,进一步被配置为检查每个检测计划没有违反一个或多个约束。
F21、根据方面F20的导航系统,进一步被配置为更改一个或多个检测计划。
F22、根据方面F20或F21的导航系统,进一步被配置为相对于成本标准对检测计划进行成本计算以确定最低成本检测计划。
F23、根据方面F15至F22中任一项的导航系统,进一步被配置为:
基于目标的初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,该初始检测计划包括检测位置;
根据初始检测计划控制自动驾驶交通工具的运动;
根据初始检测计划,在自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成目标的飞行中模型;以及
使用飞行中模型和初始检测计划生成更新的检测计划。
F24、一种自动驾驶交通工具,包括根据方面F1至F7中任一项所述的导航程序或根据方面F15至F23中任一项所述的导航系统。
Claims (36)
1.一种用于自动驾驶交通工具的导航程序,所述导航程序被配置为:
接收所述自动驾驶交通工具要检测的目标的初始模型;
识别与所述目标的所述初始模型相关联的检测目标;以及
确定所述自动驾驶交通工具的检测位置,所述自动驾驶交通工具的检测系统在所述检测位置处可检测所述检测目标,其中,所述初始模型包括表示所述目标的堆叠的多个凸多边形,每个凸多边形允许从所述检测位置投影到要确定的所述检测目标,使得可以在模型凸形的边缘上定义所述检测目标,并通过投影到所述检测目标上来识别所述检测位置;
基于所述目标的所述初始模型,确定所述自动驾驶交通工具的用于检测所述目标的初始检测计划,所述初始检测计划包括所述检测位置;以及
相对于所述检测位置执行有效性评估,从而确定所述检测目标是否可能从该检测位置被自动驾驶交通工具的传感器系统的检测传感器检测,其中,所述有效性评估包括:
将所述检测传感器的视场投射到感兴趣的目标的初始模型的表面上;以及
排除在该感兴趣的范围之外的所述检测传感器的视场的一个或多个部分。
2.根据权利要求1所述的导航程序,其中,所述每个凸多边形形成具有预定厚度的平板。
3.根据权利要求2所述的导航程序,其中,每个凸多边形形成一个平板,并且多个平板中的一个的厚度不同于所述多个平板中的另一个的厚度。
4.根据权利要求1至3中任一项所述的导航程序,其中,每个凸多边形平行于相邻的凸多边形。
5.根据权利要求1至3中任一项所述的导航程序,其中,每个凸多边形相对于相邻的凸多边形成角度并且不平行于所述相邻的凸多边形。
6.根据权利要求1至5中任一项所述的导航程序,其中,所述目标以所述初始模型方式的表示仅包括凸形。
7.根据前述权利要求中任一项所述的导航程序,进一步被配置为确定多个检测位置,其中,在所述检测位置处可检测所述检测目标。
8.根据前述权利要求中任一项所述的导航程序,进一步被配置为确定所述自动驾驶交通工具的一个或多个检测位置,其中,所述检测系统在所述检测位置处可检测一个或多个其他检测目标。
9.根据权利要求8所述的导航程序,
进一步被配置为确定检测每个检测目标的多个检测计划;
可选地进一步被配置为检查每个检测计划没有违反一个或多个约束;和/或
可选地进一步被配置为更改一个或多个检测计划。
10.根据权利要求9所述的导航程序,进一步被配置为相对于成本标准对所述多个检测计划进行成本计算以确定最低成本检测计划。
11.根据前述权利要求中任一项所述的导航程序,进一步被配置为:
基于所述目标的所述初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,所述初始检测计划包括所述检测位置;
根据所述初始检测计划控制所述自动驾驶交通工具的运动;
根据所述初始检测计划,在所述自动驾驶交通工具运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成所述目标的飞行中模型;以及
使用所述飞行中模型和所述初始检测计划生成更新的检测计划。
12.一种用于自动驾驶交通工具的导航方法,所述导航方法包括:
接收所述自动驾驶交通工具要检测的目标的初始模型;
识别与所述目标的所述初始模型相关联的检测目标;以及
确定所述自动驾驶交通工具的检测位置,所述自动驾驶交通工具的检测系统在所述检测位置处可检测所述检测目标,其中,所述初始模型包括表示所述目标的堆叠的多个凸多边形,每个凸多边形允许从所述检测位置投影到要确定的所述检测目标,使得可以在模型凸形的边缘上定义所述检测目标,并通过投影到所述检测目标上来识别所述检测位置;
基于所述目标的所述初始模型,确定所述自动驾驶交通工具的用于检测所述目标的初始检测计划,所述初始检测计划包括所述检测位置;以及
相对于所述检测位置执行有效性评估,从而确定所述检测目标是否可能从该检测位置被自动驾驶交通工具的传感器系统的检测传感器检测,其中,所述有效性评估包括:
将所述检测传感器的视场投射到感兴趣的目标的初始模型的表面上;以及
排除在该感兴趣的范围之外的所述检测传感器的视场的一个或多个部分。
13.根据权利要求12所述的导航方法,其中,所述每个凸多边形形成具有预定厚度的平板。
14.根据权利要求13所述的导航方法,其中,每个凸多边形形成一个平板并且多个平板中的一个的厚度不同于所述多个平板中的另一个的厚度。
15.根据权利要求12至14中任一项所述的导航方法,其中,每个凸多边形平行于相邻的凸多边形。
16.根据权利要求12至14中任一项所述的导航方法,其中,每个凸多边形相对于相邻的凸多边形成角度并且不平行于所述相邻的凸多边形。
17.根据权利要求12至16中任一项所述的导航方法,其中,所述目标以所述初始模型方式的表示仅包括凸形。
18.根据权利要求12至17中任一项所述的导航方法,还包括确定多个检测位置,其中,在所述检测位置处可检测所述检测目标。
19.根据权利要求12至18中任一项所述的导航方法,还包括确定所述自动驾驶交通工具的一个或多个检测位置,其中,所述检测系统在所述检测位置处可检测一个或多个其他检测目标。
20.根据权利要求19所述的导航方法,
还包括确定检测每个检测目标的多个检测计划;
可选地,还包括检查每个检测计划没有违反一个或多个约束;和/或
可选地,还包括更改一个或多个检测计划。
21.根据权利要求20所述的导航方法,还包括相对于成本标准对所述检测计划进行成本计算,以确定最低成本检测计划。
22.根据权利要求12至21中任一项所述的导航方法,还包括:
基于所述目标的所述初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,所述初始检测计划包括所述检测位置;
根据所述初始检测计划控制所述自动驾驶交通工具的运动;
根据所述初始检测计划,在所述自动驾驶交通工具的运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成所述目标的飞行中模型;以及
使用所述飞行中模型和所述初始检测计划生成更新的检测计划。
23.一种用于自动驾驶交通工具的导航系统,所述导航系统被配置为:
接收所述自动驾驶交通工具要检测的目标的初始模型;
识别与所述目标的所述初始模型相关联的检测目标;以及
确定所述自动驾驶交通工具的检测位置,所述自动驾驶交通工具的检测系统在所述检测位置处可检测所述检测目标,其中,所述初始模型包括表示所述目标的堆叠的多个凸多边形,每个凸多边形允许从所述检测位置投影到要确定的所述检测目标,使得可以在模型凸形的边缘上定义所述检测目标,并通过投影到所述检测目标上来识别所述检测位置;
基于所述目标的所述初始模型,确定所述自动驾驶交通工具的用于检测所述目标的初始检测计划,所述初始检测计划包括所述检测位置;以及
相对于所述检测位置执行有效性评估,从而确定所述检测目标是否可能从该检测位置被自动驾驶交通工具的传感器系统的检测传感器检测,其中,所述有效性评估包括:
将所述检测传感器的视场投射到感兴趣的目标的初始模型的表面上;以及
排除在该感兴趣的范围之外的所述检测传感器的视场的一个或多个部分。
24.根据权利要求23所述的导航系统,其中,所述每个凸多边形形成具有预定厚度的平板。
25.根据权利要求24所述的导航系统,其中,每个凸多边形形成一个平板,并且多个平板中的一个的厚度不同于所述多个平板中的另一个的厚度。
26.根据权利要求23至25中任一项所述的导航系统,其中,每个凸多边形平行于相邻的凸多边形。
27.根据权利要求23至25中任一项所述的导航系统,其中,每个凸多边形相对于相邻的凸多边形成角度并且不平行于所述相邻的凸多边形。
28.根据权利要求23至27中任一项所述的导航系统,其中,所述目标以所述初始模型方式的表示包括一个或多个凸形。
29.根据权利要求23或28中任一项所述的导航系统,进一步被配置为确定多个检测位置,其中,在所述检测位置处可检测所述检测目标。
30.根据权利要求23至29中任一项所述的导航系统,进一步被配置为确定所述自动驾驶交通工具的一个或多个检测位置,其中,所述检测系统在所述检测位置可检测一个或多个其他检测目标。
31.根据权利要求30所述的导航系统,进一步被配置为确定检测每个检测目标的多个检测计划。
32.根据权利要求31所述的导航系统,进一步被配置为检查每个检测计划没有违反一个或多个约束。
33.根据权利要求32所述的导航系统,进一步被配置为更改一个或多个检测计划。
34.根据权利要求32或33所述的导航系统,进一步被配置为相对于成本标准对所述检测计划进行成本计算,以确定最低成本检测计划。
35.根据权利要求23至34中任一项所述的导航系统,进一步被配置为:
基于所述目标的所述初始模型,确定自动驾驶交通工具的用于检测目标的初始检测计划,所述初始检测计划包括所述检测位置;
根据所述初始检测计划控制所述自动驾驶交通工具的运动;
根据所述初始检测计划,在所述自动驾驶交通工具的运动期间从传感器系统接收传感器数据;
基于接收到的传感器数据生成所述目标的飞行中模型;以及
使用所述飞行中模型和所述初始检测计划生成更新的检测计划。
36.一种自动驾驶交通工具,包括根据权利要求1至11中任一项所述的导航程序或根据权利要求23至35中任一项所述的导航系统。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GR20180100410 | 2018-09-10 | ||
GR20180100410 | 2018-09-10 | ||
GB1815864.2 | 2018-09-28 | ||
GB1815864.2A GB2577134B (en) | 2018-09-10 | 2018-09-28 | Control and navigation systems |
PCT/GB2019/052500 WO2020053560A1 (en) | 2018-09-10 | 2019-09-06 | Control and navigation systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112789568A CN112789568A (zh) | 2021-05-11 |
CN112789568B true CN112789568B (zh) | 2024-10-29 |
Family
ID=69590501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980059225.5A Active CN112789568B (zh) | 2018-09-10 | 2019-09-06 | 控制和导航系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11827351B2 (zh) |
EP (1) | EP3850455B1 (zh) |
CN (1) | CN112789568B (zh) |
ES (1) | ES2969707T3 (zh) |
GB (1) | GB2577134B (zh) |
PL (1) | PL3850455T3 (zh) |
WO (1) | WO2020053560A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112789672B (zh) | 2018-09-10 | 2023-12-12 | 感知机器人有限公司 | 控制和导航系统、姿态优化、映射和定位技术 |
GB2577134B (en) | 2018-09-10 | 2021-01-13 | Perceptual Robotics Ltd | Control and navigation systems |
DE102019121502A1 (de) * | 2019-08-09 | 2021-02-11 | Bayerische Motoren Werke Aktiengesellschaft | Fehlerrobuste Erfassung einer Fahrzeugumgebung |
CN110453731B (zh) * | 2019-08-15 | 2020-06-30 | 中国水利水电科学研究院 | 一种大坝边坡形变监测系统及方法 |
US11430087B2 (en) * | 2019-12-20 | 2022-08-30 | Zoox, Inc. | Using maps comprising covariances in multi-resolution voxels |
NL2025866B1 (en) * | 2020-06-19 | 2022-02-17 | Mainblades Holding B V | Method of inspecting an aeroplane using an autonomous flying vehicle |
KR102453446B1 (ko) * | 2021-12-01 | 2022-10-17 | (주)니어스랩 | 결함 점검 시스템 및 그 방법 |
FR3132349B1 (fr) * | 2022-01-31 | 2024-10-18 | Engie | Procédé de navigation autonome d’un drone volant pour l’inspection d’une installation ou d’un ouvrage, le procédé étant basé sur la vision. |
CN114545907B (zh) * | 2022-03-15 | 2023-12-19 | 中南大学 | 一种基于滤波器的飞行控制系统的故障检测方法 |
CN115562337B (zh) * | 2022-10-10 | 2024-06-18 | 无锡海纳智能科技有限公司 | 一种风机巡检航线的生成方法以及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111601755A (zh) * | 2017-12-21 | 2020-08-28 | Av8Or知识产权有限公司 | 自主无人航空机及其控制方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001067749A2 (en) | 2000-03-07 | 2001-09-13 | Sarnoff Corporation | Camera pose estimation |
DE10065382A1 (de) * | 2000-12-27 | 2002-07-18 | Nokia Mobile Phones Ltd | Navigationssystem und Verfahren zur Zielführung von Benutzern, insbesondere von Fahrern von Fahrzeugen |
CN101247773B (zh) | 2005-05-27 | 2010-12-15 | 心叶科技公司 | 无展伸件的支撑构件 |
JP4237212B2 (ja) | 2006-08-22 | 2009-03-11 | Nec東芝スペースシステム株式会社 | 画像処理方法、画像処理プログラムおよびプログラム記録媒体 |
US20100286859A1 (en) * | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path |
DE102011017564B4 (de) * | 2011-04-26 | 2017-02-16 | Airbus Defence and Space GmbH | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
EP2645196B1 (en) * | 2012-03-30 | 2018-12-12 | The Boeing Company | Network of unmanned vehicles |
US9051043B1 (en) | 2012-12-28 | 2015-06-09 | Google Inc. | Providing emergency medical services using unmanned aerial vehicles |
CN103528568B (zh) | 2013-10-08 | 2016-08-17 | 北京理工大学 | 一种基于无线信道的目标位姿图像测量方法 |
US9342888B2 (en) | 2014-02-08 | 2016-05-17 | Honda Motor Co., Ltd. | System and method for mapping, localization and pose correction of a vehicle based on images |
GB2525900A (en) * | 2014-05-07 | 2015-11-11 | Imp Innovations Ltd | Method of using a device capable of controlled flight |
IL232853A (en) | 2014-05-28 | 2015-11-30 | Elbit Systems Land & C4I Ltd | Imaging Georegistration System and Method |
CN105180963B (zh) | 2015-07-22 | 2018-02-16 | 北京航空航天大学 | 基于在线标校的无人机遥测参数修正方法 |
WO2017079321A1 (en) | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Sensor-based object-detection optimization for autonomous vehicles |
TWI571720B (zh) * | 2015-12-09 | 2017-02-21 | 財團法人金屬工業研究發展中心 | 風力發電機之葉片檢查系統及其檢查方法 |
US9613538B1 (en) * | 2015-12-31 | 2017-04-04 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
US10217207B2 (en) * | 2016-01-20 | 2019-02-26 | Ez3D, Llc | System and method for structural inspection and construction estimation using an unmanned aerial vehicle |
WO2018005882A1 (en) | 2016-06-30 | 2018-01-04 | Unmanned Innovation, Inc. | Unmanned aerial vehicle wind turbine inspection systems and methods |
US10724505B2 (en) * | 2016-11-30 | 2020-07-28 | Dji Technology, Inc. | Aerial inspection in a movable object environment |
US10309777B2 (en) | 2016-12-30 | 2019-06-04 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
GB2561368B (en) | 2017-04-11 | 2019-10-09 | Nokia Technologies Oy | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
WO2019013736A1 (en) | 2017-07-10 | 2019-01-17 | Siemens Mobility GmbH | CALIBRATION OF USER FEEDBACK BASED MODEL DATA |
US10679338B2 (en) * | 2017-08-23 | 2020-06-09 | General Electric Company | Three-dimensional modeling of an object |
PT3454159T (pt) | 2017-09-06 | 2020-03-11 | Alerion Tech S L | Método e dispositivo de navegação autónoma |
EP3454157A1 (en) | 2017-09-08 | 2019-03-13 | Sulzer & Schmid Laboratories AG | Method and unmanned aerial vehicle for acquiring sensor data related to a wind turbine |
CN107862744B (zh) | 2017-09-28 | 2021-05-18 | 深圳万图科技有限公司 | 航空影像三维建模方法及相关产品 |
JP6487010B2 (ja) * | 2017-10-26 | 2019-03-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末 |
CN108015764B (zh) | 2017-11-20 | 2020-07-14 | 中国运载火箭技术研究院 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
US10410089B2 (en) | 2018-01-19 | 2019-09-10 | Seiko Epson Corporation | Training assistance using synthetic images |
CN108415453A (zh) | 2018-01-24 | 2018-08-17 | 上海大学 | 基于bim技术的无人机隧道巡检方法 |
CN108248842B (zh) * | 2018-01-25 | 2021-06-04 | 汕头市创新科技电子有限公司 | 适用于高空超声波除尘清洁机系统 |
GB2577134B (en) | 2018-09-10 | 2021-01-13 | Perceptual Robotics Ltd | Control and navigation systems |
CN112789672B (zh) | 2018-09-10 | 2023-12-12 | 感知机器人有限公司 | 控制和导航系统、姿态优化、映射和定位技术 |
-
2018
- 2018-09-28 GB GB1815864.2A patent/GB2577134B/en active Active
-
2019
- 2019-09-06 PL PL19766337.0T patent/PL3850455T3/pl unknown
- 2019-09-06 ES ES19766337T patent/ES2969707T3/es active Active
- 2019-09-06 EP EP19766337.0A patent/EP3850455B1/en active Active
- 2019-09-06 US US17/274,370 patent/US11827351B2/en active Active
- 2019-09-06 CN CN201980059225.5A patent/CN112789568B/zh active Active
- 2019-09-06 WO PCT/GB2019/052500 patent/WO2020053560A1/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111601755A (zh) * | 2017-12-21 | 2020-08-28 | Av8Or知识产权有限公司 | 自主无人航空机及其控制方法 |
Non-Patent Citations (1)
Title |
---|
Structural Inspection Path Planning via Iterative Viewpoint Resampling with Application to Aerial Robotics;Bircher, Andreas;2015 IEEE INTERNATIONAL CONFERENCE ON ROBOTS AND AUTOMATION (ICRA);20150501;第6423-6430页 * |
Also Published As
Publication number | Publication date |
---|---|
GB2577134A (en) | 2020-03-18 |
EP3850455A1 (en) | 2021-07-21 |
US20220050460A1 (en) | 2022-02-17 |
EP3850455B1 (en) | 2024-01-17 |
EP3850455C0 (en) | 2024-01-17 |
WO2020053560A1 (en) | 2020-03-19 |
US11827351B2 (en) | 2023-11-28 |
GB2577134B (en) | 2021-01-13 |
ES2969707T3 (es) | 2024-05-22 |
PL3850455T3 (pl) | 2024-05-06 |
CN112789568A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112789568B (zh) | 控制和导航系统 | |
CN112789672B (zh) | 控制和导航系统、姿态优化、映射和定位技术 | |
US12116979B2 (en) | Unmanned aerial vehicle wind turbine inspection systems and methods | |
US20230177968A1 (en) | Systems and methods for configuring a swarm of drones | |
JP7274674B1 (ja) | 無人航空機による3次元再構成の実行 | |
US12205484B1 (en) | Systems and methods for active-light based precision localization of aircrafts in GPS-denied environments | |
Smaoui et al. | Automated scanning of concrete structures for crack detection and assessment using a drone | |
Castelar Wembers et al. | LiDAR‐based automated UAV inspection of wind turbine rotor blades | |
GB2581403A (en) | Pose optimisation, mapping, and localisation techniques | |
Bailey | Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation | |
US20230242250A1 (en) | Aerial Vehicle Path Determination | |
CN215813349U (zh) | 一种无人机编队目标实时跟踪与建模的系统 | |
Portugal | Optimal Multi-Sensor Collision Avoidance System for Small Fixed-Wing UAV | |
CN114265423B (zh) | 一种基于旋转框检测定位的无人机移动平台着陆方法及系统 | |
da Silva | Integrated Vision-Based Navigation and Sliding Mode Control for Robust Autonomous Quadcopter Landing | |
Özer | Avionics and Communication Architecture Design for Intelligent Automated Fixed-Wing Armed Aircraft | |
CN118795460A (zh) | 基于感知雷达的无人飞行器航迹跟踪方法 | |
Bhandari et al. | Tracking of Mobile Targets using Unmanned Aerial Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |