[go: up one dir, main page]

CN109313418A - 用于控制可移动物体行为的系统和方法 - Google Patents

用于控制可移动物体行为的系统和方法 Download PDF

Info

Publication number
CN109313418A
CN109313418A CN201680087050.5A CN201680087050A CN109313418A CN 109313418 A CN109313418 A CN 109313418A CN 201680087050 A CN201680087050 A CN 201680087050A CN 109313418 A CN109313418 A CN 109313418A
Authority
CN
China
Prior art keywords
loose impediment
indicator
behavior
loose
impediment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680087050.5A
Other languages
English (en)
Inventor
陈超彬
耿畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109313418A publication Critical patent/CN109313418A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • G07C5/06Registering or indicating driving, working, idle, or waiting time only in graphical form
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本文提供了用于控制可移动物体的行为的系统、方法和装置。一种用于控制可移动物体的方法可以包括:经由与可移动物体可操作通信的装置上的可移动物体管理器来接收用于可移动物体的一个或多个控制信号;借助于一个或多个处理器单独地或共同地获得与一个或多个控制信号相关联的一个或多个指示符代码;以及基于一个或多个指示符代码来引导可移动物体行动。

Description

用于控制可移动物体行为的系统和方法
背景技术
诸如无人机(UAV)之类的飞行器具有广泛的实际应用,包括监测、侦查、勘探、物流运输、救灾、航拍、大型农业自动化、实况视频广播等。随着用户开发各种类型的应用,UAV的创造性用途的数量也在增长。在一些情况下,用户可能希望观察UAV是否执行特定任务,并且区分不同的任务。
发明内容
需要一种能够将行为指示符并入到可移动物体环境中的系统和方法。在一些情况下,在应用正在执行时,远程操作可移动物体(例如,UAV)的用户可能希望查看UAV的操作状态。例如,用户可能想知道UAV是否正确执行特定任务,或者是否存在要求用户注意或干预的任何问题(例如,部件故障)。本发明解决了这个需要,并且还提供了相关优点。
根据本发明的实施例,提供了一种软件开发工具包(SDK)。SDK可以被配置为允许将一个或多个行为指示符并入到可移动物体环境中。可移动物体环境可以包括可移动物体以及与可移动物体通信的一个或多个装置。可移动物体可以是例如UAV。一个或多个装置可以远离可移动物体或在可移动物体上。当一个或多个应用正在执行时,行为指示符可以用于指示可移动物体的操作状态。应用可以由可移动物体自主地执行,或者可以经由用于控制可移动物体的操作的遥控器来执行。在远处远程操作可移动物体的用户可以基于可移动物体展示的行为来确定UAV是否根据应用正确地执行特定任务。在一些情况下,行为指示符可以用于指示是否存在要求用户注意或干预的任何问题(比如,部件故障)。用户(例如,软件和/或应用开发者)可以使用SDK来访问可移动物体环境内的不同部件(例如,发光元件、音频元件、推进单元、飞行控制系统、电调(ESC)等),并且使用用于各种应用的部件的组合来开发不同的行为指示符。
在本发明的一方面中,提供了一种用于控制可移动物体的方法。所述方法可以包括:经由与可移动物体可操作通信的装置上的可移动物体管理器来接收用于可移动物体的一个或多个控制信号;借助于一个或多个处理器单独地或共同地,获得与一个或多个控制信号相关联的一个或多个指示符代码;以及基于一个或多个指示符代码来引导可移动物体行动。
在一些实施例中,当可移动物体进行操作以执行由控制信号定义的一个或多个任务时,可以基于一个或多个指示符代码引导可移动物体行动。所述任务可以包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。可以使用被配置为接收用户输入的遥控器来操作可移动物体。备选地,可以使用可移动物体上的飞行控制器来自主操作可移动物体。可移动物体可以包括无人载运工具、手持式装置或机器人。
在一些实施例中,一个或多个指示符代码可以预先登记在装置和/或可移动物体上。备选地,当装置接收到一个或多个控制信号时,可以在装置上获得一个或多个指示符代码。在一些情况下,所述装置可以被配置为向可移动物体发送指示符代码和控制信号。在一些情况下,一个或多个指示符代码可以与一个或多个控制信号一起提供给装置。备选地,在向可移动物体发送控制信号之后,可以在可移动物体上获得一个或多个指示符代码。所述装置可以位于远离可移动物体的位置处。可选地,所述装置可以位于可移动物体上。
在一些实施例中,控制信号和指示符代码包括用于引导可移动物体以多种预定方式行动的指令集。多种预定方式可以包括视觉效果、音频效果和/或运动效果。可以通过驱动可移动物体上的一个或多个发光元件生成视觉效果。一个或多个发光元件可以被配置为发射相同颜色或不同颜色的光。视觉效果可以包括相同时间间隔或不同时间间隔的预定的一系列闪光。可以通过驱动可移动物体上的一个或多个声学元件来生成音频效果。声学元件可以包括被配置为发出相同频率或不同频率的声音的一个或多个扬声器。音频效果可以包括相同时间间隔或不同时间间隔的预定的一系列声音。可以通过驱动可移动物体上的一个或多个推进单元以产生(1)可移动物体的运动图案、或(2)可移动物体沿着预定运动路径的移动,来生成运动效果。运动图案可以包括可移动物体的俯仰运动、横滚运动和/或偏航运动。
在一些实施例中,所述方法还可以包括:借助一个或多个处理器单独地或共同地完成以下操作:(1)基于可移动物体的硬件配置,确定一个或多个控制信号中的每一个是否可由可移动物体执行;以及(2)获得与可由可移动物体执行的一个或多个控制信号相关联的一个或多个指示符代码。所述方法还可以包括:借助一个或多个处理器,单独地或共同地确定一个或多个控制信号是否与存储在可移动物体上的一个或多个预先存在的指示符信号相冲突。预先存在的指示符信号可以由可移动物体的制造商或分销商预先设置。
在一些实施例中,当确定控制信号与一个或多个预先存在的指示符信号冲突时,一个或多个处理器可以被单独地或共同地配置为:(1)拒绝控制信号;(2)修改控制信号,使得控制信号不与一个或多个预先存在的指示符信号冲突,或者(3)向控制信号和对应的指示符代码指派较低的优先级,使得控制信号不与预先存在的指示符信号冲突。
根据本发明的另一方面,提供了一种用于控制可移动物体的系统。所述系统可以包括:装置上的可移动物体管理器,被配置为接收用于可移动物体的一个或多个控制信号,其中所述装置与可移动物体可操作地通信;以及一个或多个处理器,单独或共同地被配置为:(1)获得与一个或多个控制信号相关联的一个或多个指示符代码,以及(2)基于所述一个或多个指示符代码引导所述可移动物体行动。
在本发明的另一方面中,提供了一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使一个或多个处理器单独地或共同地执行用于控制可移动物体的方法。所述方法可以包括:经由与可移动物体可操作通信的装置上的可移动物体管理器来接收用于可移动物体的一个或多个控制信号;借助于一个或多个处理器单独地或共同地获得与一个或多个控制信号相关联的一个或多个指示符代码;以及基于一个或多个指示符代码来引导可移动物体行动。
根据本发明的另一方面,提供了一种用于支持可移动物体环境中的应用开发的方法。所述方法可以包括:经由可移动物体控制器接收用于登记针对可移动物体的一个或多个行为指示符的请求;将一个或多个行为指示符与一个或多个指示符代码相关联;以及基于一个或多个行为指示符与一个或多个指示符代码之间的关联,引导可移动物体行动。
在一些实施例中,当可移动物体进行操作以执行由一个或多个控制信号定义的一个或多个任务时,可以基于所述关联来引导可移动物体行动。可以使用被配置为接收用户输入的遥控器来操作可移动物体。所述任务可以包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。备选地,可以使用可移动物体上的飞行控制器来自主操作可移动物体。可移动物体可以包括无人载运工具、手持式装置或机器人。
在一些实施例中,指示符代码可以预先登记在可移动物体上。可以使用位于可移动物体上的一个或多个处理器将行为指示符与指示符代码相关联。可移动物体可以被配置为经由可移动物体控制器向装置发送相关联的指示符代码。在一些情况下,可以使用位于装置上的一个或多个处理器将行为指示符与指示符代码相关联。所述装置可以被配置为经由可移动物体控制器向可移动物体发送相关联的指示符代码。所述装置可以位于远离可移动物体的位置处。备选地,所述装置可以位于可移动物体上。在一些实施例中,可以使用可移动物体控制器将行为指示符与指示符代码相关联。
行为指示符和指示符代码可以包括用于引导可移动物体以多种预定方式行动的指令集。预定方式包括视觉效果、音频效果和/或运动效果。可以通过驱动可移动物体上的一个或多个发光元件生成视觉效果。一个或多个发光元件可以被配置为发射相同颜色或不同颜色的光。视觉效果可以包括相同时间间隔或不同时间间隔的预定的一系列闪光。可以通过驱动可移动物体上的一个或多个声学元件来生成音频效果。声学元件可以包括被配置为发出相同频率或不同频率的声音的一个或多个扬声器。音频效果可以包括相同时间间隔或不同时间间隔的预定的一系列声音。可以通过驱动可移动物体上的一个或多个推进单元以产生(1)可移动物体的运动图案、或(2)可移动物体沿着预定运动路径的移动,来生成运动效果。运动图案可以包括可移动物体的俯仰运动、横滚运动和/或偏航运动。
行为指示符和指示符代码可以是以查找表的形式来提供的并且被存储在所述可移动物体控制器能够访问的存储单元中。可移动物体控制器可以经由包括通信适配器的可移动物体管理器与一个或多个应用通信。在一些实施例中,可移动物体可以是无人飞行器,并且其中通信适配器可以包括相机部件、电池部件、云台部件、通信部件、以及飞行控制器部件。通信适配器可以包括与飞行控制器部件相关联的地面站部件,并且其中地面站部件可以进行操作以执行一个或多个飞行控制操作。
在本发明的另一方面中,提供了一种用于支持可移动物体环境中的应用开发的系统。所述系统可以包括可移动物体控制器,所述可移动物体控制器被配置为:接收用于登记针对所述可移动物体的一个或多个行为指示符的请求;将一个或多个行为指示符与一个或多个指示符代码相关联;以及基于一个或多个行为指示符与一个或多个指示符代码之间的关联,引导可移动物体行动。
在本发明的又一方面中,提供了一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使一个或多个处理器单独地或共同地执行用于支持可移动物体环境中的应用开发的方法。所述方法可以包括:接收用于登记针对可移动物体的一个或多个行为指示符的请求;将一个或多个行为指示符与一个或多个指示符代码相关联;以及基于一个或多个行为指示符与一个或多个指示符代码之间的关联,引导可移动物体行动。
应当理解,可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面提及的任何特定应用或任何其它类型的可移动物体。本文对飞行器的任何描述可以应用于且用于任何可移动物体(例如,任何载运工具)。此外,本文在空中运动(例如,飞行)的上下文下所公开的系统、装置和方法也可以在其它类型的运动(例如,在地面或水上运动、水下运动或太空中的运动)的上下文中应用。
通过阅读说明书、权利要求书和附图,本发明的其它目的和特征将变得明显。
通过引用并入
本说明书中提到的所有出版物、专利和专利申请通过引用并入本文,其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图,将更好地理解本发明的特征和优点,该详细描述中阐述了利用本发明的原理的说明性实施例,在附图中:
图1是根据本发明各个实施例的可移动物体环境中的应用的示例性图示。
图2是根据本发明各个实施例的支持可移动物体环境中的软件应用开发的示例性图示。
图3示出了根据一些实施例的其中可移动物体管理器被配置为管理可移动物体和远程装置之间的通信的软件开发环境。
图4示出了根据一些实施例的从远程装置向可移动物体发送行为指示符和指示符代码。
图5示出了根据一些其它实施例的从可移动物体向远程装置发回指示符代码。
图6示出了根据一些实施例的其中可移动物体管理器被配置为管理可移动物体和机载装置之间的通信以登记行为表的软件开发环境。
图7示出了根据一些实施例的在可移动物体上生成行为表。
图8示出了根据一些其它实施例的向机载装置发回指示符代码。
图9示出了根据一些实施例的其中可移动物体管理器被配置为管理不同可移动物体之间的通信以登记行为表的软件开发环境。
图10示出了根据一些实施例的行为表从一个可移动物体到另一个可移动物体的单向登记。
图11示出了根据一些实施例的行为表在一个可移动物体与另一个可移动物体之间的双向登记。
图12示出了根据一些实施例的使用可移动物体中的一个或多个模块生成不同行为。
图13示出了根据一些实施例的行为表。
图14示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户显示视觉效果。
图15示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户生成音频效果。
图16示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户展示运动图案。
图17示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户展示沿着预定运动路径的运动图案。
图18示出了根据一些实施例的当多个可移动物体正在执行不同任务时所述多个可移动物体向远程用户展示沿着不同预定运动路径的不同运动效果。
图19示出了根据一些实施例的用于控制可移动物体的方法的流程图。
图20示出了根据一些实施例的用于控制可移动物体的方法的流程图。
图21示出了根据一些实施例的基于控制信号是否与预先存在的指示符信号冲突来控制可移动物体的方法。
图22是根据一些实施例的用于控制可移动物体的系统的示意性框图。
具体实施方式
本文中公开的系统和方法涉及在可移动物体环境内使用针对应用的行为指示符。这可以使用例如用于可移动物体环境的软件开发工具包(SDK)来实现。用户可以使用SDK来为可移动物体开发不同的应用和行为指示符。
可移动物体环境可以包括可移动物体以及与可移动物体通信的一个或多个装置。可移动物体可以是例如UAV、手持式装置或机器人。一个或多个装置可以远离可移动物体或在可移动物体上。当正在执行一个或多个应用时,行为指示符用于指示可移动物体的操作状态。应用可以由可移动物体自主地执行,或者可以经由用于控制可移动物体的操作的遥控器来执行。在远处远程操作可移动物体的用户可以能够基于可移动物体展示的行为来确定UAV是否根据应用正确地执行特定任务。在一些情况下,行为指示符可以用于指示是否存在要求用户注意或干预的任何问题(比如,部件故障)。用户(例如,软件和/或应用开发者)可以使用SDK来访问可移动物体环境内的不同部件(例如,发光元件、音频元件、推进单元、飞行控制系统、电调(ESC)等),并且针对各种应用使用部件的组合来开发不同的行为指示符。
应当理解,可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。
图1是根据本发明各个实施例的可移动物体环境中的应用的示例性图示。如图1所示,可移动物体环境100可以包括可移动物体102和用户终端110。可移动物体和用户终端可以经由链路120彼此通信。链路可以包括有线和/或无线通信信道。
可移动物体可以是能够穿越物理环境的任何物体。可移动物体可以能够跨越空气、水、陆地和/或空间。物理环境可以包括不能运动的物体(静止物体)和能够运动的物体。静止物体的示例可以包括地理特征、植物、地标、建筑物、庞大结构或任何固定结构。能够运动的物体的示例包括人、载运工具、动物、抛射物等。
在一些情况下,物理环境可以是惯性参照系。惯性参照系可以用于以时间无关的方式均匀、各向同性地描述时间和空间。惯性参照系可以相对于可移动物体建立,并且根据可移动物体移动。可以通过变换(例如,牛顿物理学中的伽利略变换)将惯性参照系中的测量转换成另一个参照系(例如,全局参照系)中的测量。
可移动物体可以是载运工具、手持式装置和/或机器人。载运工具可以是自推进式载运工具。载运工具可以借助一个或多个推进单元来跨越环境。载运工具可以是飞行器、陆基载运工具、水基载运工具或空基载运工具。载运工具可以是无人载运工具。载运工具可以能够在没有搭乘人类乘客的情况下穿越环境。备选地,载运工具可以搭载人类乘客。在一些实施例中,可移动物体可以是无人机(UAV)。本文中对UAV或任何其它类型的可移动物体的任何描述通常可以适用于任何其它类型的可移动物体或各种种类的可移动物体,反之亦然。例如,本文中对UAV的任何描述可以应用于任何无人陆地的、水基的或空基的载运工具。本文中其它地方更详细地提供可移动物体的其它示例。
如上所述,可移动物体可以能够穿越物理环境。可移动物体可以能够在三维空间内飞行。可移动物体可以能够沿着一个、两个或三个轴线空间平移。一个、两个或三个轴线可以彼此正交。轴线可以是俯仰轴线、偏航轴线和/或横滚轴线。可移动物体可以能够围绕一个、两个或三个轴线旋转。一个、两个或三个轴线可以彼此正交。轴线可以是俯仰轴线、偏航轴线和/或横滚轴线。可移动物体可以能够沿着多达6个自由度移动。可移动物体可以包括可以辅助可移动物体移动的一个或多个推进单元。例如,可移动物体可以是具有一个、两个或更多个推进单元的UAV。推进单元可以被配置为UAV生成升力。推进单元可以包括旋翼。可移动物体可以是多旋翼UAV。
可移动物体可以具有任何物理配置。例如,可移动物体可以包括中央主体,中央主体具有从中央主体延伸的一个或多个支臂或分支。支臂可以从中央主体侧向或径向延伸。支臂可以相对于中央主体移动或者可以相对于中央主体固定不动。支臂可以支撑一个或多个推进单元。例如,每个支臂可以支撑一个、两个或更多个推进单元。
可移动物体102可以包括一个或多个功能模块104。该模块可以包括电子部件,比如飞行控制器、一个或多个处理器、一个或多个存储器储存单元、一个或多个传感器(例如,一个或多个惯性传感器或本文其它地方描述的任何其它类型的传感器)、一个或多个导航单元(例如,全球定位系统(GPS)单元)、一个或多个通信单元、一个或多个发光元件、一个或多个音频扬声器、或任何其它类型的部件。例如,在一些实施例中,可移动物体(比如,UAV)可以包括飞行控制模块、电池模块、云台模块、相机模块、通信模块等。
飞行控制模块可以包括飞行控制器。飞行控制器可以与UAV的一个或多个推进单元通信,和/或可以控制一个或多个推进单元的操作。飞行控制器可以借助一个或多个电调(ESC)模块来通信和/或控制一个或多个推进单元的操作。飞行控制器可以与ESC模块通信以控制推进单元的操作。
电池模块可以包括电池。电池可以与可移动物体集成。备选地或附加地,电池可以是可移除地与可移动物体耦合的可更换部件。电池可以包括锂电池或锂离子电池。在一些实施例中,电池模块可以是电池组件(或电池组),并且可以包括多个电芯。尽管本文中主要讨论了电池或电池组件,但是应当理解,存储能量的任何备选电源或介质(例如,超级电容器)可以同样适用于本公开。在一些情况下,电池模块还可以包括功率控制器。在一些情况下,功率控制器可以是位于电池上的微控制器(例如,作为智能电池系统的一部分)。在一些情况下,可以借助于功率控制器来感测关于电池的参数(例如,电压、电压降、电流、温度、剩余容量)。备选地,可以使用单独的感测装置(例如,电压表、万用表、电池电位检测器等)来估计电池参数。
云台模块可以包括载体。载体可以包括可以允许载体相对于可移动物体移动的一个或多个云台级。例如,载体可以包括:第一云台级,可以允许载体相对于可移动物体围绕第一轴线旋转;第二云台级,可以允许载体相对于可移动物体围绕第二轴线旋转;和/或第三云台级,可以允许载体相对于可移动物体围绕第三轴旋转。可以应用在本文其它地方所述的载体的任何描述和/或特性。
载体可以被配置为支持搭载物。搭载物可以借助载体相对于可移动物体移动。搭载物可以相对于可移动物体空间地平移。例如,搭载物可以相对于可移动物体沿着一个轴线、两个轴线或三个轴线移动。搭载物可以相对于可移动物体旋转。例如,搭载物可以相对于可移动物体围绕一个轴线、两个轴线或三个轴线旋转。轴线可以彼此正交。轴线可以是俯仰轴线、偏航轴线和/或横滚轴线。备选地,搭载物可以具有相对于可移动物体的固定位置。例如,搭载物可以固定或集成到可移动物体中,或者经由载体直接固定或集成到可移动物体上。
搭载物可以包括一种或多种类型的传感器。例如,可以使用不同的应用以各种方式来控制搭载物,以执行一个或多个以下任务:例如农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。可以由用户使用软件开发工具包(SDK)来开发和/或定制应用。通过允许用户在空中平台上生成定制的应用,SDK可以用于推动UAV的更多创造性用途。例如,用户可以使用SDK来创建控制UAV的不同部件(例如,不同传感器、相机、云台、飞行控制系统、遥控器等)之间的交互以执行各种任务的应用。SDK通常允许用户经由应用编程接口(API)访问一个或多个UAV部件并且向该一个或多个UAV部件发送命令。
传感器的类型的一些示例可以包括:位置传感器(例如,全球定位系统(GPS)传感器、实现位置三角测量的移动装置发射器)、视觉传感器(例如,能够检测可见光、红外光或紫外光的成像装置,例如相机)、近距离或范围传感器(例如,超声传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如,可以形成惯性测量单元(IMU)的加速度计、陀螺仪和/或重力检测传感器)、高度传感器、姿态传感器(例如,罗盘)、压力传感器(例如,气压计)、温度传感器、湿度传感器、震动传感器、音频传感器(例如,麦克风)和/或场传感器(例如,磁力计、电磁传感器、无线电传感器)。可以经由使用SDK开发的各种应用来访问和/或控制搭载物中的一个或多个传感器。例如,针对停车检查的应用可以利用位置传感器来确定可用停车位的位置,可以利用视觉传感器和/或近距离传感器来检测停车位是可用的还是被占用等。
搭载物可以包括能够向环境中发射信号的一个或多个装置。例如,搭载物可以包括沿着电磁频谱的发射器(例如,可见光发射器、紫外发射器、红外发射器)。搭载物可以包括激光器或任何其它类型的电磁发射器。搭载物可以发出一个或多个震动(例如超声信号)。搭载物可以(例如,从扬声器)发出可听见的声音。搭载物可以发射无线信号(例如,无线电信号或其它类型的信号)。类似地,可以经由各种应用来访问和/或控制一个或多个上述装置,以生成如本文其它地方所述的视觉效果和/或音频效果。当可移动物体正在执行由一个或多个应用指定的一个或多个任务时,视觉效果和/或音频效果可以用于向用户指示可移动物体的操作状态。
搭载物可以能够与环境交互。例如,搭载物可以包括机械臂。搭载物可以包括用于递送的物品(比如,液体、气体和/或固体组分)。例如,搭载物可以包括杀虫剂、水、肥料、防火材料、食品、包裹或任何其它物品。可以为UAV开发各种应用,以利用其机械臂将材料递送到目标处。例如,针对农业作业的应用可以利用UAV上的机械臂来在广阔的农业区域上递送杀虫剂、水或肥料。
本文中的搭载物的任何示例都可以应用于可以由可移动物体承载或者可以是可移动物体的一部分的装置。例如,一个或多个传感器可以是可移动物体的一部分。此外,可以向搭载物提供一个或多个传感器,或者搭载物可以是一个或多个传感器。这可以应用于任何类型的搭载物(例如,本文中所述的那些)。
在一些实施例中,搭载物可以包括相机模块。可以使用相机模块来开发应用以执行各种自主或半自主任务。例如,应用可以控制相机模块实现目标的视觉跟踪、环境感测/感知、飞行导航、视觉对象识别、面部检测、室内或室外事件的摄影或摄像(例如,体育赛事、音乐会、诸如婚礼之类的特别场合)、实时空中新闻报道等。
相机模块可以包括能够检测电磁辐射(例如,可见光、红外光和/或紫外光)并且基于所检测到的电磁辐射生成图像数据的任何物理成像设备。成像装置可以包括响应于光的波长而生成电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以对所得到的电信号进行处理以产生图像数据。由成像装置生成的图像数据可以包括一个或多个图像,其中所述图像可以是静态图像(例如,照片)、动态图像(例如,视频)或其合适的组合。图像数据可以是多色的(例如,RGB、CMYK、HSV)或单色的(例如,灰度、黑白、棕褐色)。成像装置可以包括被配置为将光引导到图像传感器上的镜头。
成像装置可以是相机。相机可以是捕获动态图像数据(例如,视频)的摄影机或摄像机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以捕获动态图像数据和静态图像二者。相机可以在捕获动态图像数据和静态图像之间切换。尽管在相机的上下文中描述了本文提供的某些示例性实施例,但是应当理解,本公开可以应用于任何适合的成像装置,并且本文中关于相机的任何描述也可以应用于任何合适的成像装置,且本文中关于相机的任何描述也可以应用于其它类型的成像装置。相机可以包括光学元件(例如,镜头、反射镜、滤光片等)。相机可以捕获彩色图像、灰度图像、红外图像等。当相机被配置为捕获红外图像时,相机可以是热成像装置。
在一些应用中,相机可以用于生成3D场景(例如,环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景在2D图像平面上的投影。因此,2D图像中的每个点与场景中的3D空间坐标相对应。
在一些备选实施例中,成像装置可以延伸超出物理成像装置。例如,成像装置可以包括能够捕获和/或生成图像或视频帧的任何技术。在一些实施例中,成像装置可以指代能够处理从另一物理装置获得的图像的算法。
在一些实施例中,搭载物可以包括多个成像装置、或者具有多个镜头和/或图像传感器的成像装置。可以开发应用以控制搭载物以实质上同时、顺序地或在不同的时间点捕获多个图像。在一些情况下,应用可以使用多个图像来创建3D场景、3D虚拟环境、3D地图或3D模型。例如,可以拍摄右眼图像和左眼图像并将其用于立体映射。可以根据校准后的双目图像来计算深度图。可以同时拍摄任意数量的图像(例如,2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)以辅助创建3D场景/虚拟环境/模型,和/或用于深度映射。图像可以朝向实质相同的方向,或者可以朝向稍微不同的方向。在一些情况下,来自其它传感器的数据(例如,超声数据、LIDAR数据、来自如本文其它地方所述的任何其它传感器的数据、或来自外部装置的数据)可以辅助创建2D或3D图像或地图。
通信模块可以包括在可移动物体上的一个或多个通信单元。类似地,可以在用户终端处提供一个或多个通信单元。可移动物体可以能够使用一个或多个通信单元与用户终端通信。用户终端110可以与可移动物体的一个或多个模块104通信。例如,用户终端可以与可移动物体本身、可移动物体的搭载物、和/或可移动物体的载体进行通信,由此载体用于支撑搭载物。本文中的与可移动物体的通信的任何描述也可以应用于与可移动物体的搭载物、可移动物体的载体、和/或可移动物体的一个或多个单独部件(例如,通信单元、导航单元、推进单元、电源、处理器、存储器储存单元和/或致动器)的通信。
链路120可以实现可移动物体和用户终端之间的有线和/或无线通信。通信可以包括上行链路和下行链路。上行链路可以用于发送控制信号,下行链路可以用于发送媒体或视频流。可以在可移动物体和用户终端之间提供直接通信。直接通信可以在不要求任何中间装置或网络的情况下发生。可以在可移动物体和用户终端之间提供间接通信。间接通信可以借助一个或多个中间装置或网络发生。例如,间接通信可以利用电信网络。间接通信可以借助一个或多个路由器、通信塔、卫星或任何其它中间装置或网络来执行。通信类型的示例可以包括但不限于经由以下项实现的通信:互联网、局域网(LAN)、广域网(WAN)、蓝牙、近场通信(NFC)技术、基于移动数据协议(比如,通用分组无线电服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G或长期演进(LTE)协议)的网络、红外(IR)通信技术和/或Wi-Fi,并且通信类型可以是无线的、有线的或其组合。
用户终端110可以是任何类型的外部装置。用户终端的示例可以包括但不限于:智能电话/手机、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴装置(例如手表、眼镜、手套、头饰(例如帽子、头盔、虚拟现实耳机、增强现实耳机、头戴式装置(HMD)、头带)、吊坠、臂章、腿带、鞋子、背心)、手势识别装置、麦克风、能够提供或呈现图像数据的任何电子装置、或任何其它类型的装置。用户终端可以是手持式物体。用户终端可以是便携式的。用户终端可以是由人类用户携带的。用户终端可以是由人类用户佩戴的。在一些情况下,用户终端可以远离人类用户,且用户可以使用无线和/或有线通信来控制用户终端。本文别处更详细地提供用户终端的各种示例和/或特性。
用户终端可以包括一个或多个处理器,所述处理器能够执行可以提供针对一个或多个动作的指令的非暂时性计算机可读介质。用户终端可以包括一个或多个存储器储存装置,所述存储器储存装置包括包含用于执行一个或多个动作的代码、逻辑或指令的非暂时性计算机可读介质。用户终端可以包括允许用户终端与可移动物体通信并从可移动物体接收成像数据的软件应用。用户终端可以包括通信单元,所述通信单元可以允许与可移动物体的通信。在一些情况下,通信单元可以包括单个通信模块或多个通信模块。在一些情况下,用户终端可以能够使用单个通信链路或多个不同类型的通信链路与可移动物体交互。
用户终端可以包括显示器(或显示装置)。显示器可以是屏幕。显示器可以是或可以不是触摸屏。显示器可以是发光二极管(LED)屏幕、OLED屏幕、液晶显示器(LCD)屏幕、等离子体屏幕或任何其它类型的屏幕。显示器可以被配置为显示图形用户界面(GUI)。GUI可以显示可以允许用户控制无人机的动作的图像。在一些情况下,用户可以从图像中选择目标。目标可以是静止的目标或移动的目标。在其它情况下,用户可以从图像中选择行进方向。用户可以选择图像的一部分(例如,点、区域和/或对象)以定义目标和/或方向。用户可以通过改变用户注视点在屏幕上的焦点和/或方向(例如,基于眼神跟踪用户感兴趣的区域)来选择目标和/或方向。在一些情况下,用户可以通过沿不同方向和以不同方式移动他或她的头部来选择目标和/或方向。
用户可以触摸屏幕的一部分。用户可以通过触摸屏幕上的点来触摸屏幕的一部分。备选地,用户可以从预先存在的区域集中选择屏幕上的区域,或者可以绘制区域的边界、区域的直径或以任何其它方式指定屏幕的一部分。用户可以通过借助于用户交互装置(例如,鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、姿态传感器、热传感器、触摸电容式传感器、或任何其它装置)选择图像的一部分来选择目标和/或方向。触摸屏可以被配置为检测用户的触摸的位置、触摸的长度、触摸的压力和/或触摸运动,由此前述的每种触摸方式可以指示来自用户的特定输入命令。
用户终端可以用于控制可移动物体的移动(例如,UAV的飞行)。用户终端可以允许用户手动直接控制可移动物体的飞行。备选地,可以提供可以允许用户手动直接控制可移动物体的飞行的单独的装置。单独的装置可以或可以不与用户终端通信。可移动物体的飞行可以可选地是完全自主的或半自主的。用户终端可以可选地用于控制可移动物体的任何部件(例如,搭载物的操作、载体的操作、一个或多个传感器、通信、导航、着陆架、一个或多个部件的致动、电源控制或其它功能)。备选地,可以使用单独的装置来控制可移动物体的一个或多个部件。单独的装置可以或可以不与用户终端通信。可以借助一个或多个处理器自动控制一个或多个部件。
如图1所示,应用112可以部署在用户终端装置110上。应用可以使用本文其它地方描述的任何通信方法与可移动物体通信。应用可以用于访问可移动物体的一个或多个功能模块104。下面将参考图2更加详细地描述应用。
图2是根据本发明各个实施例的支持可移动物体环境中的软件应用开发的示例性图示。如图2所示,可移动物体环境200中的应用212可以使用可移动物体管理器240来(例如经由可移动物体控制器)访问和控制可移动物体202。可移动物体控制器可以包括硬件和/或软件的组合。例如,可移动物体202可以包括用于控制可移动物体中的各种功能模块(例如,图1中的模块104)的固件208。固件208可以全部或部分地包括在可移动物体控制器中。在一些实施例中,可移动物体控制器可以与可移动物体管理器集成。可移动物体控制器也可以形成可移动物体管理器的一部分。可选地,可移动物体控制器和可移动物体管理器可以分开提供,并且被配置为彼此通信。可移动物体可以是无人飞行器、无人载运工具、便携式计算装置、手持式装置或机器人。在一些实施例中,可移动物体管理器240可以是用于支持可移动物体环境200中的软件应用开发的软件开发工具包(SDK)的一部分。
本文中使用的SDK可以向应用提供对可移动物体(例如,UAV)的功能模块的访问。应用可以由与可移动物体的制造商或用户终端(例如,移动装置)的制造商不同的第三方实体来开发。第三方实体可以是开发应用的用户(例如,软件开发者)或公司。可选地,应用也可以由可移动物体的制造商或用户终端(例如,移动装置)的制造商开发。应用可以被编程为在用户终端上运行。在一些实施例中,应用可以包括在用户终端(或任何计算装置)上可实现的并且使用一个或多个操作系统可执行的可执行计算机可编程代码。
在一些实施例中,可以在不同层中提供应用,其中一个或多个第三方应用可以与主应用一起执行。例如,在一些情况下,用户终端可以安装有由UAV的制造商或分销商提供的主应用。主应用可以是工厂预先设置应用,所述工厂预先设置应用可以从UAV制造商的网站或其它互联网源下载,或者使用任何计算机可读存储介质(例如,CD、闪存等)而安装在用户终端上。在一些情况下,主应用可能需要首先安装在用户终端上,以便用户使用主应用控制UAV。一个或多个第三方应用可以被配置为与主应用同时和/或合作地运行(执行)。在一些情况下,主应用可能需要先运行,然后一个或多个第三方应用才能运行。备选地,在其它情况下,当一个或多个第三方应用正在运行时,主应用不需要运行(即,第三方应用能够在没有主应用的情况下自行运行)。在一些实施例中,第三方应用可以修改主应用的方面,或者甚至替换主应用。在一些实施例中,在第三方应用可以与可移动物体(例如,UAV)一起使用之前,第三方应用可能必须要由另一实体(例如,可移动物体的制造商或分销商、政府机构等)批准。在一些情况下,只有在认证和/或验证了第三方应用先前已被批准时,才能经由第三方应用来操作可移动物体。认证/验证步骤可以使用在用户终端和/或可移动物体上实现的可执行代码来执行。在一些情况下,只有在成功认证和/或验证了第三方应用的状态时,才能从第三方应用向可移动物体发送指令。
在一些实施例中,第三方应用可以包括嵌入在由主应用提供的控制界面内的一个或多个图形元素。在一些实施例中,第三方移动应用可以耦合到第三方的基于云的服务,第三方的基于云的服务存储和/或处理从可移动物体发送的数据。
在一些实施例中,一个或多个第三方应用可以被配置为直接在可移动物体上运行。可移动物体可以包括被配置为操作可移动物体的各种功能模块的机载工厂预先设置的控制应用。控制应用可以允许可移动物体经由主应用导航并与用户终端通信。一个或多个第三方应用可以在控制应用中运行。此外,一个或多个第三方应用可以向控制应用提供更新。在一些实施例中,一个或多个第三方应用可以与控制应用同时和/或协作地运行以操作可移动物体。在一些实施例中,控制应用可以被配置为执行一个或多个第三方应用。控制应用可以使用软件和硬件的组合(例如,专用集成电路或现场可编程门阵列)来实现。
在一个或多个第三方应用可以运行之前,控制应用可能需要先运行。在一些实施例中,第三方应用可以修改控制应用的方面,或者甚至替换控制应用。在一些实施例中,在第三方应用可以与可移动物体(例如,UAV)一起使用之前,第三方应用可能必须要由另一实体(例如,可移动物体的制造商或分销商、政府机构等)批准。在一些情况下,只有在认证和/或验证了第三方应用先前已被批准时,才能经由第三方应用来操作可移动物体。认证/验证步骤可以使用在用户终端和/或可移动物体上实现的可执行代码来执行。在一些情况下,只有在成功认证和/或验证了第三方应用的状态时,才能从第三方应用向可移动物体发送指令。
如图2所示,可移动物体管理器240可以与可移动物体202建立连接,并且管理应用212和可移动物体202之间的通信。例如,可移动物体管理器可以从可移动物体接收一个或多个数据分组,并且将一个或多个数据分组中包含的信息提供给应用。此外,可移动物体管理器可以从应用接收一个或多个命令,并且向可移动物体发送该一个或多个命令。
可移动物体管理器240可以设置在可移动物体环境200内的不同位置处。例如,可移动物体管理器可以设置在部署了应用的用户终端(例如,图1的用户终端110)上。备选地,可移动物体管理器可以设置在远程服务器、通信装置上,或者直接设置在可移动物体上。
在一些实施例中,认证服务器280可以被配置为提供用于支持可移动物体环境200中的应用开发的安全模型。
可移动物体管理器240还可以包括数据管理器和通信管理器(未示出)。数据管理器可以用于管理应用和可移动物体之间的数据交换。通信管理器可以用于处理与通信协议相关联的一个或多个数据分组。通信协议可以包括数据链路层、网络层和应用层。数据链路层可以被配置为处理数据成帧、数据检查和数据重传。网络层可以被配置为支持数据分组路由和中继。应用层可以被配置为处理各种应用逻辑,例如控制可移动物体中的各种功能模块的行为。
通信协议可以支持可移动物体内的各种模块(比如,可以包括相机的飞行成像系统、飞行遥控器、云台、数字媒体处理器、电路板等)之间的通信。此外,通信协议可以与不同的物理链路技术(例如,通用异步接收器/发射器(UART)技术、控制器局域网(CAN)技术和内部集成电路(I2C)技术)一起使用。
应用212可以经由通信适配器242访问可移动物体管理器240。可移动物体管理器中的通信适配器可以代表可移动物体202。因此,应用212(或多个应用)可以经由可移动物体管理器或通信适配器来访问和控制可移动物体。在一些实施例中,可移动物体管理器可以包括通信适配器。通信适配器可以用作面向一个或多个装置(例如,用户终端、遥控器等)的接口。
在一些实施例中,可移动物体是包括多个模块的UAV,该多个模块可以包括相机模块、电池模块、云台模块和飞行控制器模块。以对应的方式,通信适配器242可以包括相机部件、电池部件、云台部件和飞行控制器部件。此外,通信适配器242可以包括与飞行控制器部件相关联的地面站部件。地面站部件可以进行操作,以执行可能要求不同级别(例如,更高级别)特权的一个或多个飞行控制操作。
通信适配器242的部件可以设置在软件开发工具包(SDK)中。SDK可以下载在用户终端或任何适当的计算装置上,并且在该用户终端或任何适当的计算装置上运行。SDK可以包括提供对各种功能模块的访问的多个类(包含代码库)。对于用户(例如,开发者)来说,代码库可以是免费可获得的。备选地,开发者可能必须要向代码库(或SDK)的提供者付款才能访问某些代码库。在一些情况下,当访问和/或使用代码库时,可能要求开发者遵守一套使用指南。代码库可以包括用于使应用访问各种功能模块的可执行指令。开发者可以通过向运行SDK的用户终端或计算装置中输入代码(例如,可编译的或易于执行的指令)来开发应用。所输入的代码可以引用SDK中的代码库。如果所输入的代码包含可编译指令,则编译器可以将所输入的代码编译为用于可移动物体的应用。应用可以直接在可移动物体上执行。备选地,应用可以在与可移动物体通信(并且控制可移动物体)的用户终端上执行。
接下来,SDK中的不同类的示例如下所述。
SDK中的无人机类可以是UAV(或无人机)的多个部件的集合。无人机类可以访问其它部件,可以与其它部件交换信息,并且可以控制其它部件。在一些实施例中,应用可以仅访问无人机类的一个实例。备选地,应用可以访问无人机类的多个实例。
在一些实施例中,应用可以连接到无人机类的实例,以便将控制命令上传到UAV。在连接到UAV之后,用户(例如,应用开发者)可以访问其它类(例如,相机类和/或云台类)。无人机类可以随后用于调用特定的功能(例如,相机功能和云台功能)以控制UAV的行为。
在一些实施例中,应用可以使用电池类来控制UAV的电源。此外,应用还可以使用电池类来规划和测试各种飞行任务的时刻表。由于电池电力对UAV的飞行来说是至关重要的,因此应用可以确定电池的状态,不仅为了UAV的安全,还为了确保UAV和/或UAV的其它功能模块具有足够的剩余电力来完成某些指定任务。例如,电池类可以被配置为使得如果电池电量低于预定阈值,则UAV可以终止当前任务并且移动到安全位置或原位。使用SDK,应用可以通过调用电池类中的get()函数随时获得电池的当前状态和信息。此外,应用还可以使用set()函数来控制电池状态更新的频率。
在一些实施例中,应用可以使用相机类来定义可移动物体(比如,UAV)中的相机上的各种操作。例如,相机类可以包括用于接收安全数字(SD)卡中的媒体数据、获得和设置成像参数、拍摄照片、记录视频等的函数。应用也可以使用相机类来修改照片的设置。例如,用户可以调整经由相机类拍摄的照片的大小。此外,应用可以使用媒体类来保持照片。
在一些实施例中,应用可以使用云台类来控制从UAV看去的视角。例如,云台类可以用于配置实际视角(例如,设置从UAV看去的第一人称视角(FPV))。此外,云台类可以用于自动增稳云台,例如使得云台锁定在一个方向上。此外,应用可以使用云台类来改变视角,以便检测物理环境中的不同的物体。
在一些实施例中,应用可以使用飞行控制器类来提供关于UAV的各种飞行控制信息和状态。使用飞行控制器类,应用可以例如经由即时消息来监控飞行状态。例如,飞行控制器类中的回调函数可以以预定频率(例如,每一千毫秒(1000ms))向应用发回即时消息。
在一些实施例中,飞行控制器类可以允许应用的用户分析从UAV接收到的即时消息中包含的飞行数据。例如,用户(飞行员)可以分析每次飞行的数据,以进一步提高他们使UAV飞行的熟练度。
在一些实施例中,应用可以使用地面站类来执行用于控制UAV的一系列操作。例如,SDK可能要求应用拥有用于使用地面站类的密钥。地面站类可以提供UAV的一键飞行、一键返航(one-key-go-home)、手动控制(例如,操纵杆模式)、建立飞行轨迹和/或航点、以及各种其它任务调度功能。
应用可以被配置为控制可移动物体执行一个或多个用户指定的任务。用户指定的任务可以包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。用户指定的任务可以使用可移动物体的一个或多个功能模块来执行。
在一些情况下,在应用正在执行时,远程操作可移动物体(例如,UAV)的用户可能希望查看UAV的操作状态。例如,用户可能想知道UAV是否正确执行指定的任务。此外,用户可能想知道是否存在要求用户注意或干预的任何问题(比如,部件故障)。
根据本发明的各个实施例,可以通过控制可移动物体在任务执行期间展示出某些行为来提供可移动物体的操作状态。例如,当可移动物体进行操作以执行一个或多个用户指定的任务时,可以指挥可移动物体以预定方式表现。预定方式可以包括如在说明书中稍后详细描述的视觉效果、音频效果或运动效果。
可移动物体的操作可以是自主的、半自主的或由用户手动控制的。在一些实施例中,可以使用被配置为接收用户输入的遥控器来操作可移动物体。可以将用户输入提供给遥控器,以激活指示可移动物体执行特定任务的应用。遥控器可以是如本文其它地方所述的用户终端。应用可以设置在遥控器上(或在用户终端上,例如如图1所示)。在一些其它实施例中,可以使用可移动物体上的飞行控制器来自主操作可移动物体。可移动物体的自主操作可以由设置在可移动物体上的应用控制。
图3示出了根据一些实施例的其中可移动物体管理器被配置为管理可移动物体和远程装置之间的通信的软件开发环境。如图3所示,可移动物体302、远程装置330和可移动物体控制器340可以设置在软件开发环境300中。装置330可以位于远离可移动物体的位置处。远程装置可以或者可以不与可移动物体物理连接。在一些实施例中,远程装置可以是用户终端。例如,远程装置可以是移动装置、个人计算机(PC)、计算机服务器或遥控器。在一些实施例中,远程装置可以是另一个可移动物体。远程装置330可以包括用于提供对可移动物体控制器340的访问的通信适配器332,并且可移动物体控制器通过该通信适配器332从远程装置接收数据。通信适配器可以基于例如装置上提供的应用编程接口(API)。在一些实施例中,API可以是在设备上实现的基于IOSTM的API或基于AndroidTM的API。
可移动物体控制器可以使用如本文其它地方所述的一个或多个通信信道(例如,有线和/或无线的)与可移动物体和远程装置通信。可移动物体控制器可以允许远程装置访问可移动物体,并且在可移动物体和远程装置之间发送/接收数据。
可移动物体302可以包括如本文其它地方所述的功能模块304。此外,可移动物体302可以包括行为表306。行为表可以包括在各种应用中执行不同用户特定任务时可移动物体展示的行为的列表。行为可以使用一个或多个行为指示符来表示。行为指示符可以以一种或多种预定方式来定义可移动物体的行为。具有预定方式的不同行为的示例可以包括可移动物体展示视觉效果、音频效果和/或运动效果。
可以通过驱动可移动物体上的一个或多个发光元件生成视觉效果。视觉效果可以通过肉眼在视觉上辨别。视觉效果可以是对于远离可移动物体的用户来说是可见的。发光元件可以包括LED、白炽灯、激光器或任何类型的光源。在一些实施例中,发光元件可以被配置为发射相同颜色(特定波长)的光或不同颜色的光(不同波长的光的组合)。视觉效果还可以包括具有任何时间模式(temporal pattern)的光发射。例如,视觉效果可以包括相同时间间隔或不同时间间隔的预定的一系列闪光。在一些情况下,发光元件可以朝向远程用户或朝向预定目标发射光。预定目标可以是例如可移动物体被配置为跟随或跟踪的目标。
视觉效果可以包括以任何空间图案发射的光。例如,图案可以包括激光光斑或激光光斑阵列。激光器可以具有调制的数据。在一些情况下,图案可以显示图像、符号,或者可以是彩色图案的任何组合。每种图案可以在视觉上与其它图案区分开。
可以通过驱动可移动物体上的一个或多个声学元件来生成音频效果。音频效果可以是对于远离可移动物体的用户来说是可听见的。声学元件可以包括被配置为发出相同频率或不同频率的声音的扬声器。音频效果还可以包括具有任何时间模式的发声。例如,音频效果可以包括相同时间间隔或不同时间间隔的预定的一系列声音。在一些实施例中,扬声器可以被配置为以全向方式发射声音信号。备选地,扬声器可以主要沿单个方向、两个方向或任何数量的多个方向发射声音信号。在一些情况下,扬声器可以发射指向远程用户或指向预定目标的声音信号。预定目标可以是例如可移动物体被配置为跟随或跟踪的目标。
音频效果可以强于由可移动物体生成的背景噪声。例如,在音频效果中产生的声音信号的幅度可以实质上大于背景噪声的幅度。背景噪声可以包括来自可移动物体的螺旋桨、载体、电机、相机或任何其它噪声产生部件的声音。
可以通过驱动可移动物体上的一个或多个推进单元以产生(1)可移动物体的运动图案、或(2)可移动物体沿着预定运动路径的移动,来生成运动效果。可移动物体的运动效果可以通过肉眼在视觉上辨别。对于远离可移动物体的用户来说,运动效果可以是可见的。
可移动物体的运动图案可以包括可移动物体围绕其俯仰轴线、横滚轴线和/或偏航轴线的旋转。例如,在一些实施例中,运动图案可以包括可移动物体的俯仰运动、横滚运动和/或偏航运动。可以通过经由电调(ESC)单元调节可移动物体的推进单元的功率来控制俯仰角、横滚角和/或偏航角,并且可以使用可移动物体上的惯性测量单元(IMU)来测量俯仰角、横滚角和/或偏航角。在可移动物体悬停在静止点处或在空中移动时,可以产生运动图案。
如上所述,运动效果还可以包括可移动物体沿预定运动路径的移动。运动路径可以是直线的(线性的)、弯曲的或曲线的。运动路径上的点可以位于同一平面或不同平面上。可以使用可移动物体上的飞行控制器和推进单元来产生可移动物体沿着运动路径的移动。运动路径可以是实质上固定的,或者可以是可变的或动态的。运动路径可以包括沿目标方向的航向。运动路径可以具有闭合形状(例如,圆形、椭圆形、方形等)或开放形状(例如,弧形、U形等)。
一个或多个行为指示符可以与一个或多个指示符代码相关联。每个行为指示符可以与唯一的指示符代码相关联。在一些实施例中,多个行为指示符可以与唯一的指示符代码相关联。备选地,单个行为指示符可以与多个指示符代码相关联。
指示符代码可以用于对行为指示符进行索引。例如,可以用唯一的指示符代码来索引(“标记”)每个行为指示符。行为指示符和对应的指示符代码可以包括用于引导可移动物体以前述的预定方式中的一种或多种方式来行动的指令集。行为表可以以包括行为指示符和对应指示符代码在内的查找表的形式提供。指示符代码可以提供对行为表中的行为指示符的快速访问。行为表可以登记在可移动物体上。例如,行为表可以存储在(1)可移动物体控制器和/或(2)可移动物体的其它模块能够访问的存储单元中。远程装置或机载装置也可以经由可移动物体控制器来访问行为表。可选地,登记在一个可移动物体上的行为表可以被另一不同的可移动物体经由可移动物体控制器来访问。
图4示出了根据一些实施例的从远程装置向可移动物体发送行为指示符和指示符代码。图4中的实施例可以类似于图3中所示的实施例。在图4中,可移动物体控制器340可以从远程装置330接收请求,以登记针对可移动物体的一个或多个行为指示符。请求可以包括从远程装置发送的行为指示符350和指示符代码352。行为指示符350可以通过远程装置、通过可移动物体控制器或通过可移动物体而与指示符代码352相关联。
在一些实施例中,远程装置上的一个或多个处理器可以单独地或共同地被配置为:在向可移动物体控制器发送请求之前,将行为指示符与指示符代码相关联。行为指示符和相关联的指示符代码可以设置在行为表中,所述行为表是在从远程装置到可移动物体控制器的请求中发送的。
在其它实施例中,可移动物体控制器可以被配置为将行为指示符与指示符代码相关联。可移动物体控制器可以被配置为将行为指示符和指示符代码设置在行为表中,并且向可移动物体发送该行为表,由此行为表将被存储在可移动物体上的存储单元中。
在一些其它实施例中,可移动物体控制器可以被配置为向可移动物体发送行为指示符和指示符代码。可移动物体上的一个或多个处理器可以被配置为单独地或共同地将行为指示符和指示符代码相关联。行为指示符和相关联的指示符代码可以设置在可移动物体上登记的行为表306中。例如,行为表306可以存储在可移动物体上的存储单元中。
如图4所示,可移动物体控制器可以与可移动物体中的模块双向通信354。在一些实施例中,可移动物体控制器可以被配置为基于模块的硬件和/或固件配置,来确定从远程装置接收的每个行为指示符是否可由可移动物体执行。例如,如果可移动物体中没有模块包括能够发出某种振幅(分贝)和/或频率的声音的扬声器,则要求音频效果的行为指示符会是不可执行的。类似地,在另一示例中,如果可移动物体的推进单元、ESC和/或飞行控制器不能实现期望的运动效果(例如,超过可移动物体的速度和/或机动能力的运动图案或飞行),则要求运动效果的行为指示符会是不可执行的。
在一些实施例中,可移动物体控制器可以被配置为:确定哪个行为指示符可由可移动物体执行,并且将指示符代码仅与那些可执行的行为指示符相关联。然后,可移动物体控制器可以选择性地向可移动物体发送那些可执行的行为指示符和相关联的指示符代码。
在一些备选实施例中,可移动物体控制器可以被配置为将指示符代码与所有接收到的行为指示符相关联,而不管行为指示符是否可由可移动物体执行。然后,可移动物体控制器可以向可移动物体发送所有行为指示符和指示符代码。在可移动物体的操作期间,可移动物体上的一个或多个处理器可以基于模块的硬件和/或固件配置来确定哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
图5示出了根据一些其它实施例的从可移动物体向远程装置发回指示符代码。如图5所示,从远程装置到可移动物体控制器的请求可以将行为指示符登记在可移动物体上。例如,请求可以仅包括行为指示符350。
在图5的示例中,在可移动物体上行为指示符350可以与指示符代码352相关联。可移动物体控制器可以被配置为向可移动物体发送行为指示符。接下来,可移动物体上的一个或多个处理器可以被单独地或共同地配置为:基于模块的硬件和/或固件配置来确定从远程装置接收到的每个行为指示符是否可由可移动物体执行。可移动物体上的处理器可以被配置为获得指示符代码,并且将指示符代码仅与那些可执行的行为指示符相关联。备选地,可移动物体控制器可以被配置为基于模块的硬件和/或固件配置来确定从远程装置接收的每个行为指示符是否可由可移动物体执行。此外,可移动物体控制器可以被配置为获得指示符代码,并且将指示符代码仅与那些可执行的行为指示符相关联。
在一些备选实施例中,可移动物体上的处理器可以被配置为获得指示符代码并且将指示符代码与所有接收到的行为指示符相关联,而不管行为指示符是否可由可移动物体执行。在可移动物体的操作期间,可移动物体上的处理器可以基于模块的硬件和/或固件配置来确定哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
如图5所示,可移动物体可以被配置为经由可移动物体控制器向远程装置发回指示符代码352。指示符代码352和行为指示符350可以设置在行为表(例如,行为表306的副本)中,所述行为表存储在远程装置上的存储单元中。
图6示出了根据一些实施例的其中可移动物体控制器被配置为管理可移动物体和机载装置之间的通信以登记行为表的软件开发环境。除了以下区别之外,图6的实施例与图3的实施例类似。在图6中,所有描绘的部件可以位于可移动物体上。
如图6所示,可以在软件开发环境400中提供可移动物体402。装置430可以位于可移动物体上。例如,机载装置430可以位于可移动物体的壳体或中央主体内。机载装置可以是具有计算机芯片的计算装置,例如专用IC(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。在一些实施例中,机载装置可以可操作地连接到可移动物体并且可以从可移动物体拆卸。例如,机载装置可以经由一个或多个连接器附接到位于可移动物体内的中央电路板。机载装置430可以包括用于提供对可移动物体控制器440的访问的通信适配器432。可移动物体控制器可以设置在可移动物体上。备选地,可移动物体控制器可以远离可移动物体。例如,可移动物体控制器可以设置在与可移动物体通信的用户终端上。可移动物体控制器可以被配置为管理位于可移动物体上的机载装置430和各种功能模块404之间的通信。通信可以包括如本文其它地方所述的有线和/或无线通信。可移动物体控制器可以允许机载装置访问可移动物体上的模块。
可移动物体402可以包括行为表406。行为表可以包括在各种应用中执行不同用户特定任务时可移动物体展示的行为的列表。行为可以使用一个或多个行为指示符来表示。行为指示符可以被配置为以一种或多种预定方式来定义或控制可移动物体的行为。如本文其它地方所述的,具有预定方式的行为可以包括可移动物体展示视觉效果、音频效果和/或运动效果。
图7示出了根据一些实施例在可移动物体上生成行为表。图7中的实施例可以类似于图6中所示的实施例。在图7中,可移动物体控制器440可以从机载装置430接收请求,以登记针对可移动物体的一个或多个行为指示符。请求可以包括从机载装置发送的行为指示符450和指示符代码452。行为指示符450可以通过机载装置、通过可移动物体控制器或通过可移动物体上的一个或多个处理器而与指示符代码452相关联。
在一些实施例中,机载装置可以被单独地或共同地配置为:在向可移动物体控制器发送请求之前,将行为指示符与指示符代码相关联。行为指示符和相关联的指示符代码可以设置在行为表中,所述行为表是在从机载装置到可移动物体控制器的请求中发送的。
在其它实施例中,可移动物体控制器可以被配置为将行为指示符与指示符代码相关联。可移动物体控制器可以被配置为将行为指示符和指示符代码设置在行为表406中,并且将行为表存储在可移动物体上的存储单元中。
在一些其它实施例中,可移动物体控制器可以被配置为向可移动物体上的一个或多个处理器发送行为指示符和指示符代码。可移动物体上的处理器可以被单独地或共同地配置为将行为指示符和指示符代码相关联。行为指示符和相关联的指示符代码可以设置在可移动物体上登记的行为表406中。例如,行为表406可以存储在可移动物体上的存储单元中。
如图7所示,可移动物体控制器可以与可移动物体中的模块双向通信454。可移动物体控制器可以被配置为基于模块的硬件和/或固件配置来确定从机载装置接收的每个行为指示符是否可由可移动物体执行。例如,如果可移动物体中没有模块包括能够发出某种振幅(分贝)和/或频率的声音的扬声器,则要求音频效果的行为指示符会是不可执行的。类似地,在另一示例中,如果可移动物体的推进单元、ESC和/或飞行控制器不能实现期望的运动效果(例如,超过可移动物体的速度和/或机动能力的运动图案或飞行),则要求运动效果的行为指示符会是不可执行的。
在一些实施例中,可移动物体控制器可以被配置为:确定哪些行为指示符可由可移动物体执行,并且将指示符代码仅与那些可执行的行为指示符相关联。然后,可移动物体控制器可以选择性地将可执行的行为指示符和相关联的指示符代码存储在可移动物体上的存储单元中。
在一些备选实施例中,可移动物体控制器可以被配置为将指示符代码与所有接收到的行为指示符相关联,而不管行为指示符是否可由可移动物体执行。然后,可移动物体控制器可以将所有行为指示符和指示符代码存储在可移动物体上的存储单元中。在可移动物体的操作期间,可移动物体上的一个或多个处理器可以基于模块的硬件和/或固件配置来确定哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
图8示出了根据一些其它实施例的向机载装置发回指示符代码。除了以下区域之外,图8中的实施例可以类似于图7中所示的实施例。在图8中,从机载装置430到可移动物体控制器440的请求可以仅包括行为指示符450。请求可以将行为指示符登记在可移动物体上,并且在可移动物体上获得指示符代码。行为指示符450可以通过可移动物体控制器或通过可移动物体上的一个或多个处理器而与指示符代码452相关联。如图8所示,可移动物体上的处理器可以被配置为经由可移动物体控制器向机载装置发回指示符代码452。
在图8的示例中,可以使用可移动物体上的一个或多个处理器来将行为指示符450与指示符代码452相关联。可移动物体控制器440可以被配置为向一个或多个处理器发送行为指示符。可移动物体上的处理器可以被单独地或共同地配置为:基于功能模块404的硬件和/或固件配置,确定从机载装置接收到的每个行为指示符是否可由可移动物体执行。可移动物体上的处理器可以被配置为获得指示符代码,并且将指示符代码仅与那些可执行的行为指示符相关联。
在一些备选实施例中,可移动物体402上的处理器可以被配置为获得指示符代码并且将指示符代码与所有接收到的行为指示符相关联,而不管行为指示符是否可由可移动物体执行。在可移动物体的操作期间,可移动物体上的处理器可以基于模块的硬件和/或固件配置来确定哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
图9示出了根据一些实施例的其中可移动物体控制器被配置为管理不同可移动物体之间的通信以登记行为表的软件开发环境。
如图9所示,可以在软件开发环境500中提供多个可移动物体502(例如,第一可移动物体502-1和第二可移动物体502-2)。可以提供可移动物体控制器540以处理可移动物体之间的通信。可移动物体控制器可以设置在可移动物体上,或远离可移动物体。例如,在一些情况下,可移动物体控制器可以设置在与可移动物体通信的用户终端上。可移动物体控制器可以被配置为管理位于可移动物体上的功能模块504之间的通信。例如,第一可移动物体504-1可以包括第一功能模块集合504-1,并且第二可移动物体504-2可以包括第二功能模块集合504-2。如本文其它地方所述的,可移动物体之间的通信可以包括有线和/或无线通信。在一些实施例中,可移动物体控制器可以允许第一可移动物体访问位于第二可移动物体上的第二模块集合。此外,可移动物体控制器可以允许第二可移动物体访问位于第一可移动物体上的第一模块集合。在一些实施例中,可移动物体控制器可以与位于一个或多个装置(外部或机载)上的通信适配器通信。在一些情况下,一个或多个装置可以包括用于控制多个可移动物体的一个或多个用户终端。
在一些实施例中,多个可移动物体可以经由网状网络来彼此通信。可以由网状网络中的节点分别表示每个可移动物体。网状网络中的节点彼此互连,从而多个路径连接每个节点。可以使用内置网状路由表来动态地更新和优化节点之间的连接。网状网络本质上可以是分散式的,且每个节点可以能够在网络上进行自发现。此外,随着节点离开网络,网状拓扑允许节点基于新的网络结构重新配置路由路径。网状拓扑和ad-hoc路由选择的特性在变化的条件或单个节点的故障中提供更大的稳定性。例如,当一个或多个可移动物体离开网络时,剩余的可移动物体可以基于新的网络结构来重新配置新的路由路径(或物理飞行/运动路径)。在一些实施例中,网络可以是全网状网络,其中所有可移动物体都被网入并且彼此通信。在其它实施例中,网络可以是部分网状网络,其中仅一些可移动物体被网入并且彼此通信。
网状网络可以由无线协议支持,所述无线协议可以支持以低成本、低功率解决方案实现基于广泛部署的无线网络。该协议可以允许在商业和工业应用中通过各种射频(RF)环境进行数据通信。该协议可以允许可移动物体在各种网络拓扑中进行通信。该协议可以包括以下特征,比如:(1)支持多个网络拓扑,比如,点对点;(2)点对多点和网状网络;(3)低占空比以延长电池寿命;(4)针对较低功耗的低延迟;(5)直接序列扩频(DSSS);(6)每个网络多达65,000个节点;(7)用于安全数据连接的128位AES加密;以及(8)冲突避免和重试。由于在低占空比期间消耗较少的功率,因此低占空比可以使得可移动物体能够操作较长时间段。网络中可允许的大量节点(多达65,000个节点)可以使得大量可移动物体在网状网络中连接和受控。
在一些实例中,该协议可以提供易于使用的无线数据解决方案,该解决方案的特征在于安全可靠的无线网络架构。该协议可以被配置为满足低成本、低功耗的无线机器对机器(M2M)网络的需求。这样的机器的示例可以包括可移动物体。该协议可以被配置为在占空比较低且低功耗是重要考虑因素的应用中提供较高的数据吞吐量。例如,一些或全部的可移动物体可以由电池供电,由此期望低功耗以增加飞行时间/距离或运动时间/距离。
如图9所示,第一可移动物体502-1可以包括第一行为表506-1。第一行为表可以包括在各种应用中执行不同用户特定任务时第一可移动物体展示的行为的列表。行为可以使用一个或多个行为指示符来表示。行为指示符可以被配置为以一种或多种预定方式来定义或控制第一可移动物体的行为。如本文其它地方所述的,具有预定方式的行为可以包括可移动物体展示视觉效果、音频效果和/或运动效果。如下面参考图10和图11所描述的,可以经由可移动物体控制器将针对一个可移动物体的行为表登记到另一个可移动物体上。
图10示出了根据一些实施例的行为表从一个可移动物体到另一个可移动物体的单向登记。图10中的实施例可以类似于图9中所示的实施例。如图10所示,可移动物体控制器540可以接收用以将第一行为表506-1(针对第一可移动物体502-1)登记到第二可移动物体502-2上的请求。第一行为表可以预先登记在第一可移动物体上。第一行为表可以包括行为指示符550-1和相关联的指示符代码552-1。用于将第一行为表登记到第二可移动物体上的请求可以来自一个或多个源。例如,该请求可以来自远程装置(其可以是用户终端或遥控器)、来自第一可移动物体、来自第二可移动物体、或来自另一不同的可移动物体。
如图10所示,可移动物体控制器可以被配置为从第一可移动物体获得第一行为表,并且向第二可移动物体发送第一行为表。第一行为表可以存储在第二可移动物体上的存储单元中。
可移动物体控制器可以与第一可移动物体和第二可移动物体中的每一个中的模块进行双向通信554。可移动物体控制器可以被配置为基于第二可移动物体中的模块的硬件和/或固件配置来确定第一行为表中的每个行为指示符是否可由第二可移动物体执行。例如,如果第二可移动物体中没有模块包括能够发出某种振幅(分贝)和/或频率的声音的扬声器,则要求音频效果的行为指示符会是第二可移动物体不可执行的。类似地,在另一示例中,如果第二可移动物体的推进单元、ESC和/或飞行控制器不能实现期望的运动效果(例如,超过第二可移动物体的速度和/或机动能力的运动图案或飞行),则要求运动效果的行为指示符会是第二可移动物体不可执行的。
在一些实施例中,可移动物体控制器可以被配置为确定来自第一可移动物体的哪些行为指示符是可由第二可移动物体执行的,并且仅向第二可移动物体发送可执行的行为指示符和指示符代码。
在一些备选实施例中,可移动物体控制器可以被配置为向第二可移动物体发送整个第一行为表,而不管一个或多个行为指示符是否可由第二可移动物体执行。在第二可移动物体的操作期间,第二可移动物体上的一个或多个处理器可以基于第二可移动物体中的模块的硬件和/或固件配置来确定哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
图11示出了根据一些实施例的行为表在一个可移动物体与另一个可移动物体之间的双向登记。可移动物体控制器540可以接收用以将第一行为表506-1(针对第一可移动物体502-1)登记到第二可移动物体502-2上的请求。类似地,可移动物体控制器540可以接收用以将第二行为表506-2(针对第二可移动物体502-2)登记到第一可移动物体502-1上的请求。第一行为表可以预先登记在第一可移动物体上,并且第二行为表可以预先登记在第二可移动物体上。第一行为表可以包括行为指示符550-1和相关联的指示符代码552-1。第一行为表可以包括行为指示符550-2和相关联的指示符代码552-2。用于在可移动物体之间登记行为表的请求可以来自一个或多个来源。例如,该请求可以来自远程装置(其可以是用户终端或遥控器)、来自第一可移动物体、来自第二可移动物体、或来自另一不同的可移动物体。
如图11所示,可移动物体控制器可以被配置为从第一可移动物体获得第一行为表,并且从第二可移动物体获得第二行为表。可移动物体控制器可以被配置为更新第一行为表506-1,以包括第一行为表中缺失的但存在于第二行为表506-2中的行为指示符550-2’和指示符代码552-2’。类似地,可移动物体控制器可以被配置为更新第二行为表506-2,以包括第二行为表中缺失的但存在于第一行为表506-1中的行为指示符550-1’和指示符代码552-1’。因此,第一可移动物体和第二可移动物体可以被配置为经由可移动物体控制器交换行为指示符和指示符代码。在一些情况下,可以在可移动物体控制器已经处理双向登记请求之后,将第一行为表和第二行为表进行更新以包括更大的行为指示符和指示符代码的集合。
可移动物体控制器可以与第一可移动物体和第二可移动物体中的每一个中的模块进行双向通信554。例如,可移动物体控制器可以与第一可移动物体中的功能模块504-1进行双向通信554-1,并且可以与第二可移动物体中的功能模块504-2进行双向通信554-2。
可移动物体控制器可以被配置为基于第二可移动物体中的模块的硬件和/或固件配置来确定第一行为表中的每个行为指示符是否可由第二可移动物体执行。类似地,可移动物体控制器可以被配置为基于第一可移动物体中的模块的硬件和/或固件配置来确定第二行为表中的每个行为指示符是否可由第一可移动物体执行。可移动物体控制器可以被配置为更新第一行为表,以仅包括来自第二行为表的可由第一可移动物体执行的那些行为指示符和指示符代码。类似地,可移动物体控制器可以被配置为更新第二行为表,以仅包括来自第一行为表的可由第二可移动物体执行的那些行为指示符和指示符代码。
在一些实施例中,可移动物体控制器可被配置为将整个第二行为表登记到第一可移动物体上,而不管第二行为表中的一个或多个行为指示符是否可由第一可移动物体执行。在第一可移动物体的操作期间,第一可移动物体上的一个或多个处理器可以基于第一可移动物体中的模块的硬件和/或固件配置来确定来自第二行为表的哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
在一些实施例中,可移动物体控制器可被配置为将整个第一行为表登记到第二可移动物体上,而不管第一行为表中的一个或多个行为指示符是否可由第二可移动物体执行。在第二可移动物体的操作期间,第二可移动物体上的一个或多个处理器可以基于第二可移动物体中的模块的硬件和/或固件配置来确定来自第一行为表的哪些行为指示符是可执行的,并且仅实现那些可执行的行为指示符。
一个或多个行为表可用于实现多个可移动物体的不同行为。例如,可以使用一个或多个行为表来控制一个可移动物体相对于另一个可移动物体的行为。备选地,可以使用一个或多个行为表来控制多个可移动物体相对于另一可移动物体的行为。例如,可以控制多个可移动物体以预定图案、队形移动,和/或彼此协作以完成某些任务。预定图案可以包括三维空间中的平行队形或非平行队形。在一些实施例中,可以使用中继器或对等协议在多个可移动物体之间传送定位信息。
如图12所示,可以使用可移动物体的一个或多个模块来生成和/或实现可移动物体的行为。可移动物体1202可以包括功能模块1204和行为表1206。可移动物体可以包括任何数量的模块1204。例如,在一些情况下,模块可以包括第一模块1204-1、第二模块1204-2和第三模块1204-3。在一些实施例中,第一模块可以是发光模块,第二模块可以是发声模块,并且第三模块可以是飞行控制器模块。发光模块可以包括可移动物体上的可以用于生成视觉效果的一个或多个发光元件。发声模块可以包括可移动物体上的可以用于生成音频效果的一个或多个声学元件。飞行控制器模块可以包括飞行控制器,所述飞行控制器可以用于驱动可移动物体上的一个或多个推进单元以生成运动效果。运动效果可以包括(1)可移动物体的运动图案、或(2)可移动物体沿着预定运动路径的移动。
如图12所示,行为表1206可以登记在可移动物体1202上。行为表可以存储在可移动物体上的存储单元中。行为表可以包括多个行为指示符1250和相关联的指示符代码1252。可以设想任何数量的行为指示符和指示符代码。例如,行为表可以包括与第一行为指示符1250-1相关联的第一指示符代码1252-1、与第二行为指示符1250-2相关联的第二指示符代码1252-2、与第三行为指示符1250-3相关联的第三指示符代码1252-3、与第四行为指示符1250-4相关联的第四指示符代码1252-4、与第五行为指示符1250-5相关联的第五指示符代码1252-5、与第六行为指示符1250-6相关联的第六行为指示符代码1252-6、以及与第七行为指示符1250-7相关联的第七指示符代码1252-7。
行为指示符1250和对应的指示符代码1252可以包括用于通过使用一个或多个模块1204来引导可移动物体1202以多种不同的预定方式行动的指令集。在图12的示例中,第一指示符代码1252-1和行为指示符1250-1可以与可以使用第一模块1204-1(发光模块)生成的视觉效果相关联。第三指示符代码1252-3和行为指示符1250-3可以与可以使用第二模块1204-2(发声模块)生成的音频效果相关联。第五指示符代码1252-5和行为指示符1250-5可以与可以使用第三模块1204-3(飞行控制器模块)生成的运动效果相关联。
还可以使用两个或更多个模块1204来引导可移动物体以不同的预定方式的组合来行动。例如,如图12所示,第二指示符代码1252-2和行为指示符1250-2可以与可以使用第一模块1204-1(发光模块)和第二模块1204-2(发声模块)生成的视觉效果和音频效果相关联。类似地,第四指示符代码1252-4和行为指示符1250-4可以与可以使用第二模块1204-2(发声模块)和第三模块1204-3(飞行控制器模块)生成的音频效果和运动效果相关联。类似地,第六指示符代码1252-6和行为指示符1250-6可以与可以使用第一模块1204-1(发光模块)和第三模块1204-3(飞行控制器模块)生成的视觉效果和运动效果相关联。第七指示符代码1252-7和行为指示符1250-7可以与可以使用第一模块1204-1(发光模块)、第二模块1204-2(发声模块)和第三模块1204-3(飞行控制器模块)生成的视觉效果、音频效果和运动效果相关联。因此,行为表可以包括使用可移动物体中的模块的不同组合而实现的各种不同行为(效果)。
图13示出了根据一些实施例的行为表。行为表1306可以包括多个指示符代码和行为指示符。在图13中,指示符代码和行为指示符可以与可以使用可移动物体上的发光模块生成的视觉效果相关联。发光模块可以包括被配置为发射不同颜色的光的发光元件。例如,发光元件可以包括红色LED和绿色LED。视觉效果可以包括具有任何时间模式的发光。例如,视觉效果可以包括相同时间间隔或不同时间间隔的相同颜色或不同颜色的预定的一系列闪光。
如图13所示,第一指示符代码1352-1(“代码1”)可以与第一行为指示符1350-1相关联。第一行为指示符可以包括将红色LED接通10秒以及将绿色LED接通10秒。在20秒结束时,红色LED和绿色LED可以关断,并且用于接通/关断LED的上述序列可以重复总共10个周期。类似地,第二指示符代码1352-2(“代码2”)可以与第二行为指示符1350-2相关联。第二行为指示符可以包括将红色LED接通10秒、将红色LED关断5秒、以及重复上述序列总共3个周期。在一些实施例中,第一行为指示符可以用于向用户指示可移动物体已经成功执行任务,并且第二行为指示符可以用于向用户指示可移动物体未能执行任务。在一些其它实施例中,包括另一不同照明序列在内的第三行为指示符(未示出)可以用于向用户指示可移动物体上的部件的故障。在一些其它实施例中,包括另一不同照明序列在内的第四行为指示符(未示出)可以用于向用户指示可移动物体的电池充电状态(剩余电量)低于预定阈值。可以设想任何数量的行为指示符和行为指示符的用途,因此允许开发者在各种应用中创造性地开发和使用行为指示符。
在一些实施例中,可以提供用于控制可移动物体的方法。所述方法可以包括经由与可移动物体可操作通信的装置上的可移动物体管理器来接收用于可移动物体的一个或多个控制信号。所述方法还可以包括借助于一个或多个处理器单独地或共同地获得与一个或多个控制信号相关联的一个或多个指示符代码。所述方法还可以包括基于一个或多个指示符代码来引导可移动物体行动。指示符代码可以预先登记在装置上和/或可移动物体上。装置可以位于远离可移动物体的位置处或位于可移动物体上。
在一些情况下,指示符代码可以与控制信号一起提供给装置。可以使用位于装置上的一个或多个处理器将指示符代码与控制信号相关联。所述装置可以被配置为向可移动物体发送指示符代码和相关联的控制信号。备选地,在可移动物体已经从装置接收到控制信号之后,可以使用位于可移动物体上的一个或多个处理器将指示符代码与控制信号相关联。
在一些实施例中,当用户向遥控器提供输入以激活一个或多个指示符代码(和对应的行为指示符)时,可以引导可移动物体以一种或多种预定方式行动。所述输入可以包括一个或多个控制信号。可移动物体以预定方式实现的行为可以包括可移动物体展示视觉效果、音频效果和/或运动效果。
当可移动物体进行操作以执行一个或多个用户指定的任务时,可以引导可移动物体以一种或多种预定方式行动。用户指定的任务可以包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。可以使用可移动物体的一个或多个功能模块(例如,相机、云台、传感器等)来执行用户指定的任务。
可移动物体的操作可以是自主的、半自主的或用户手动控制的。在一些实施例中,可以使用被配置为接收用户输入的遥控器来操作可移动物体。可以将用户输入提供给遥控器,以激活指示可移动物体执行特定任务的应用。遥控器可以是如本文其它地方所述的用户终端。应用可以设置在遥控器上(或在用户终端上,例如如图1所示)。在一些其它实施例中,可以使用可移动物体上的飞行控制器来自主操作可移动物体。可移动物体的自主操作可以由设置在可移动物体上的应用控制。
图14示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户显示视觉效果。例如,应用可以被配置为控制可移动物体1402执行一个或多个用户指定的任务。应用可以设置在远离可移动物体或可移动物体上的装置上。
在一些情况下,当正在执行应用时,远程操作可移动物体1402(例如,UAV)的用户1409可能希望查看UAV的操作状态。例如,用户可能想知道UAV是否正确执行指定的任务。此外,用户可能想知道是否存在要求用户注意或干预的任何问题(比如,部件故障)。
在图14中,可移动物体的操作状态对于用户来说可以是可见的。这可以通过在可移动物体被操作以执行一个或多个用户指定的任务时控制可移动物体显示视觉效果1407来实现。可以经由一个或多个控制信号(先前在图13中描述的)和对应的指示符代码来控制可移动物体。控制信号和指示符代码可以包括用于引导可移动物体行动以显示视觉效果1407的指令集。
可以通过驱动可移动物体上的一个或多个发光元件1403生成视觉效果1407。发光元件可以形成可移动物体上的发光模块的一部分。视觉效果1407可以是对于用户来说在视觉上可辨别的。发光元件可以包括LED、白炽灯、激光器或任何类型的光源。在一些实施例中,发光元件可以被配置为发射相同颜色或不同颜色的光。例如,在一些实施例中,第一发光元件1403-1可以是红色LED,第二发光元件1403-2可以是绿色LED,并且第三发光元件1403-3可以是蓝色LED。可以设想任何颜色的发射光。视觉效果可以包括具有任何时间模式的发光。例如,如先前在图13中所描述的,视觉效果可以包括相同时间间隔或不同时间间隔的相同颜色或不同颜色的预定的一系列闪光。在一些情况下,LED可以被配置为朝着用户发射光,或者朝着预定目标发射光。预定目标可以是例如可移动物体被配置为跟随或跟踪的目标。
视觉效果还可以包括以任何空间图案(未示出)发射的光。例如,图案可以包括激光光斑或激光光斑阵列。激光器可以具有调制的数据。在一些情况下,图案可以显示图像、符号,或者可以是彩色图案的任何组合。每种图案可以在视觉上与其它图案区分开。
图15示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户生成音频效果。例如,应用可以被配置为控制可移动物体1502执行一个或多个用户指定的任务。除了可移动物体1502被配置为生成音频效果而不是视觉效果之外,图15的实施例可以类似于图14中的实施例。
在图15的示例中,可以通过使用声音向远程用户1509传送可移动物体1502的操作状态。这可以通过在可移动物体被操作以执行一个或多个用户指定的任务时控制可移动物体生成音频效果1507来实现。可以经由一个或多个控制信号(先前在图13中描述的)和对应的指示符代码来控制可移动物体。控制信号和指示符代码可以包括用于引导可移动物体行动以生成音频效果1507的指令集。
可以通过驱动可移动物体上的一个或多个声学元件1505来生成音频效果1507。音频效果对于远程用户1509来说可以是可听的。声学元件可以包括被配置为发出相同频率或不同频率的声音的扬声器。可以设想任何数量的发声元件(或扬声器)。音频效果还可以包括具有任何时间模式的发声。例如,音频效果可以包括相同时间间隔或不同时间间隔的预定的一系列声音。在一些实施例中,多个扬声器(例如,1505-1、1505-2和1505-3)可以被配置为以全向方式发射声音信号(例如,如在图15的部分A中的音频效果1507-1所示)。备选地,多个扬声器(例如,1505-1’、1505-2’和1505-3’)可以主要沿单个方向发射声音信号(例如,如图15的部分B中的音频效果1507-2所示)。扬声器可以被配置为沿两个方向或任何数量的多个方向发射声音信号。在一些情况下,扬声器可以发射指向远程用户的声音信号(例如,如图15的部分B所示)。备选地,扬声器可以发射指向预定目标的声音信号。预定目标可以是例如可移动物体被配置为跟随或跟踪的目标。
音频效果可以强于由可移动物体生成的背景噪声。例如,由音频效果中产生的声音信号的幅度可以实质上大于背景噪声的幅度。背景噪声可以包括来自可移动物体的螺旋桨、载体、电机、相机或任何其它噪声产生部件的声音。在一些情况下,声音信号的幅度可以基于用户与可移动物体之间的距离而变化。例如,声音信号的幅度可以随着用户与可移动物体之间的距离增加而增加。备选地,声音信号的幅度可以随着用户与可移动物体之间的距离增加而减小。
图16和图17示出了根据一些实施例的当可移动物体正在执行一个或多个任务时该可移动物体向远程用户展示运动效果。例如,应用可以被配置为控制可移动物体(1602和1702)执行一个或多个用户指定的任务。除了可移动物体被配置为生成运动效果而不是视觉效果或音频效果之外,图16和图17的实施例可以类似于图14和图15中的实施例。
在图16和图17中,可以通过运动效果向远程用户传送可移动物体的操作状态。这可以通过在可移动物体被操作以执行一个或多个用户指定的任务时控制可移动物体生成运动效果来实现。可以经由一个或多个控制信号(先前在图13中描述的)和对应的指示符代码来控制可移动物体。控制信号和指示符代码可以包括用于引导可移动物体行动以生成运动效果的指令集。
通过驱动可移动物体上的一个或多个推进单元以生成(1)可移动物体的运动图案(例如,如图16中所示)或(2)可移动物体物体沿着预定运动路径的移动(例如,如图17中所示)来生成运动效果。对于用户来说,可移动物体的运动效果可以是在视觉上可辨别的。
可移动物体的运动图案可以包括可移动物体围绕其俯仰轴线、横滚轴线和/或偏航轴线的旋转。例如,在一些实施例中,运动图案可以包括可移动物体的俯仰运动、横滚运动和/或偏航运动。可以通过经由电调(ESC)单元调节可移动物体的推进单元的功率来控制俯仰角、横滚角和/或偏航角,并且可以使用可移动物体上的惯性测量单元(IMU)来测量俯仰角、横滚角和/或偏航角。在可移动物体悬停在静止点处或在空中移动时,可以实现运动图案。
图16的部分A示出了根据一些实施例的可移动物体1602的运动图案。在部分A中,可移动物体可以在时间t0时悬停在半空中的静止点。接下来,可移动物体可以在时间t1时围绕Y轴线(俯仰轴线)顺时针旋转预定角度(例如,45度)。接下来,可移动物体可以在时间t2时围绕Y轴线(俯仰轴线)逆时针旋转预定角度(例如,90度)。
图16的部分B中示出了部分A的组合运动图案。例如,用户1609可以在可移动物体根据应用执行用户特定任务时观察到可移动物体的运动效果1607(运动图案)。
如前所述,运动效果还可以包括可移动物体沿预定运动路径的移动。运动路径可以是直线的(线性的)、弯曲的或曲线的。运动路径上的点可以位于同一平面或不同平面上。可以使用可移动物体上的飞行控制器和推进单元来产生可移动物体沿着运动路径的移动。运动路径可以是实质上固定的,或者可以是可变的或动态的。运动路径可以包括沿目标方向的航向。运动路径可以具有闭合形状(例如,圆形、椭圆形、方形等)或开放形状(例如,弧形、U形等)。
图17示出了根据一些实施例的可移动物体沿预定运动路径的移动。运动效果1707可以包括可移动物体1702沿着运动路径1709的移动。运动路径可以被设置为沿任何方向和/或三维空间中的任何高度上。运动路径可以是直线的(线性的)、弯曲的或曲线的。运动路径上的点可以位于同一平面或不同平面上。可以使用可移动物体上的飞行控制器和推进单元来产生可移动物体沿着运动路径的移动。运动路径可以是实质上固定的,或者可以是可变的或动态的。运动路径可以包括沿目标方向的航向。运动路径可以具有闭合形状(例如,圆形、椭圆形、方形等)或开放形状(例如,弧形、U形等)。运动路径可以具有Z字形图案、螺旋图案、上下/左右/上下图案、圆形旋转图案或使用可移动物体的硬件/固件配置可实现的任何图案。
图18示出了根据一些实施例的多个可移动物体沿不同的预定运动路径的移动。在图18的示例中,用户1809可以观察多个可移动物体(例如,第一可移动物体1802-1和第二可移动物体1802-2)根据不同应用执行不同任务。例如,在一些实施例中,第一可移动物体可以被配置为跟随第一目标1811-1,并且第二可移动物体可以被配置为跟随第二目标1811-2。第一目标可以具有规则的形状,第二目标可以具有不规则的形状。目标可以设置在地面上或远离地面。目标可以是静止的和/或能够运动。用户1809可以在可移动物体根据不同应用正在执行一个或用户特定任务时观察到可移动物体的不同运动效果。特别地,运动效果可以帮助用户在不同的应用之间进行区分。
例如,在一个实施例中,第一运动效果1807-1可以包括第一可移动物体沿着椭圆运动路径1809-1的移动。当用户看到第一运动效果1807-1时,用户可以能够立即识别出第一可移动物体正在跟随第一目标。可以在三维空间中以任何取向来提供椭圆。在一些情况下,延伸通过椭圆中心的垂直轴线可以平行于可移动物体的偏航轴线。备选地,延伸通过椭圆中心的垂直轴线可以倾斜于可移动物体的偏航轴线。椭圆所在的平面可以是水平的、垂直的或者以相对于参考表面(例如,地平面)一定角度设置的。
在图18的示例中,除了第一运动效果之外,还可以提供第二运动效果1807-2。第二个运动效果不同于第一个运动效果,以帮助用户区分哪个可移动物体正在跟随哪个目标。在一些实施例中,第二运动效果可以包括第二可移动物体沿着三维“数字8”运动路径1809-2的移动。当用户看到第二运动效果1807-2时,用户可以能够立即识别出第二可移动物体正在跟随第二目标。
图19示出了根据一些实施例的用于控制可移动物体的方法的流程图。首先,可以接收请求以登记针对可移动物体的一个或多个行为指示符(步骤1902)。该请求可以由远离可移动物体的外部装置接收。备选地,该请求可以由可移动物体上的装置接收。可选地,该请求可以由可移动物体或另一个可移动物体接收。
可移动物体控制器可以被配置为管理可移动物体与外部装置之间的通信。备选地,可移动物体控制器可以被配置为管理可移动物体中的模块与可移动物体上的装置之间的通信。可选地,可移动物体控制器可以被配置为管理两个或更多个可移动物体之间的通信。
接下来,可以通过将一个或多个行为指示符与一个或多个指示符代码相关联来处理该请求(步骤1904)。在一些实施例中,请求可以由可移动物体控制器处理。备选地,请求可以由装置(例如,外部装置或机载装置)处理。此外,可以由可移动物体上的一个或多个处理器单独地或共同地处理请求。
接下来,可以基于一个或多个行为指示符与一个或多个指示符代码之间的关联来引导可移动物体行动(步骤1906)。如先前在图12和图13中所描述的,行为指示符和对应的指示符代码可以包括用于引导可移动物体以多种不同的预定方式行动的指令集。可以提供行为表(例如,以查找表的形式)。行为表可以包括行为指示符和对应的指示符代码。行为表可以登记在可移动物体上。例如,行为表可以存储在(1)可移动物体控制器和/或(2)可移动物体的其它模块能够访问的存储单元中。远程装置或机载装置也可以经由可移动物体控制器来访问行为表。此外,登记在可移动物体上的行为表可以经由可移动物体控制器由另一不同的可移动物体来访问。
图20示出了根据一些实施例的用于控制可移动物体的方法的流程图。首先,可以接收针对可移动物体的一个或多个控制信号(步骤2002)。控制信号可以由装置、可移动物体或管理装置与可移动物体之间的通信的可移动物体控制器接收。所述装置可以是外部装置或在可移动物体上的装置。在一些实施例中,所述装置可以是用户终端。在一些备选实施例中,所述装置可以位于另一可移动物体上。可以经由所述装置正在执行的应用来提供控制信号。控制信号可以包括用于使可移动物体执行一个或多个用户特定任务的指令。
接下来,可以获得与一个或多个控制信号相关联的一个或多个指示符代码(步骤2004)。可以通过可移动物体上的一个或多个处理器来获得指示符代码。备选地,可以通过装置(例如,远程装置或机载装置)来获得指示符代码。指示符代码也可以通过与可移动物体和装置通信的可移动物体控制器来获得。
接下来,可以基于一个或多个指示符代码来引导可移动物体行动(步骤2006)。例如,当可移动物体正在执行在控制信号内定义的一个或多个用户特定任务时,可以基于指示符代码引导可移动物体以多种预定方式行动。可移动物体的行为可以例如通过视觉效果(参见例如图14)、音频效果(参见例如图15)、和/或运动效果(参见例如图16、图17和图18)向用户传送可移动物体的操作状态。
在一些实施例中,可移动物体可以包括一个或多个预先存在的指示符信号。预先存在的指示符信号可以预先登记在可移动物体上。预先存在的指示符信号可以存储在可移动物体上的存储单元中。预先存在的指示符信号可以由可移动物体的制造商预先设置。备选地,预先存在的指示符信号可以由调节可移动物体的操作的机构预先设置。预先存在的指示符信号可以用于控制可移动物体在可移动物体的标准操作期间基于工厂预先设置的规则集合展示视觉效果、音频效果和/或运动效果。
图21示出了根据一些实施例的基于控制信号是否与预先存在的指示符信号冲突来控制可移动物体的方法。步骤2102涉及确定控制信号是否与存储在可移动物体上的预先存在的指示符信号冲突。步骤2102可以由装置(例如,远程装置或机载装置)、可移动物体上的一个或多个处理器、或管理可移动物体和装置之间的通信的可移动物体控制器来执行。当控制信号中的行为指示符生成与预先存在的指示符信号类似的效果时,控制信号与预先存在的指示符信号之间会发生冲突。例如,行为指示符和预先存在的指示符信号可能具有类似的视觉效果、音频效果和/或运动效果。
如果控制信号与预先存在的指示符信号不冲突,则可以获得针对控制信号的指示符代码(步骤2104),并且可以基于该指示符代码来引导可移动物体行动(步骤2106)。
相反,如果控制信号与预先存在的指示符信号冲突,则可以采取以下一个或多个步骤:(1)拒绝控制信号(步骤2108-1),(2)修改控制信号,使得控制信号中的行为指示符不与预先存在的指示符信号冲突(步骤2108-2),或者(3)向控制信号中的行为指示符指派较低的优先级,使得控制信号中的行为指示符不与预先存在的指示符信号冲突(步骤2108-3)。在一些备选实施例中,可以允许控制信号中的行为指示符超控(override)预先存在的指示符信号。
图22示出了根据实施例的包括载体2202和搭载物2204的可移动物体2200。尽管可移动物体2200被描绘为飞行器,但是该描述并不旨在限制,并且可以使用任何合适类型的可移动物体,如本文前面所述。本领域技术人员将理解,本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如,UAV)。在一些情况下,搭载物2204可以设置在可移动物体2200上,而不需要载体2202。可移动物体2200可以包括推进机构2206、感测系统2208和通信系统2210。
如前所述,推进机构2206可以包括旋翼、螺旋桨、桨叶、发动机、电机、轮子、轮轴、磁体或喷嘴中的一个或多个。例如,如本文其它地方所述,推进机构2206可以是自紧式旋翼、旋翼组件或其它旋转推进单元。可移动物体可以具有一个或多个、两个或多个、三个或多个、或四个或多个推进结构。推进结构都可以是相同类型的。备选地,一个或多个推进结构可以是不同类型的推进结构。可以使用任何合适的装置(比如,如本文中其它地方所述的支撑元件(例如,驱动轴))将推进机构2206安装在可移动物体2200上。推进机构2206可以安装在可移动物体2200的任何合适的部分上,诸如顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中,推进机构2206可以使可移动物体2200能够垂直地从表面起飞或垂直地着陆在表面上,而不要求可移动物体2200的任何水平移动(例如,无需沿着跑道行进)。可选地,推进机构2206可以可操作地允许可移动物体2200以指定位置和/或取向悬停在空中。推进机构2200中的一个或多个可以独立于其它推进机构受到控制。备选地,推进机构2200可以被配置为同时受到控制。例如,可移动物体2200可以具有多个水平取向的旋翼,所述旋翼可以向可移动物体提供升力和/或推力。可以致动多个水平取向的旋翼以向可移动物体2200提供垂直起飞、垂直着陆和悬停能力。在一些实施例中,水平取向旋翼中的一个或多个可以沿顺时针方向旋转,而水平旋翼中的一个或多个可以沿逆时针方向旋转。例如,顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力,并由此调整可移动物体2200(例如,相对于多达三个平移自由度和多达三个旋转自由度)的空间布局、速度和/或加速度,可以独立地改变每个水平取向的旋翼的转速。
感测系统1008可以包括可以感测可移动物体2200(例如,相对于多达三个平移自由度和多达三个旋转自由度)的空间布局、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。由感测系统2208提供的感测数据可以用于(例如,使用合适的处理单元和/或控制模块,如下所述)控制可移动物体2200的空间布局、速度和/或取向。备选地,感测系统2208可以用于提供与可移动物体周围的环境有关的数据,例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
通信系统2210能够经由无线信号2216与具有通信系统2214的终端2212进行通信。通信系统2210、2214可以包括适合于无线通信的任意数量的发射器、接收器和/或收发器。所述通信可以是单向通信,使得只能沿单向发送数据。例如,单向通信可以仅涉及可移动物体2200向终端2212发送数据,反之亦然。可以从通信系统2210的一个或多个发射器向通信系统2212的一个或多个接收器发送数据,或者反之亦然。备选地,所述通信可以是双向通信,使得可以在可移动物体2200和终端2212之间沿两个方向发送数据。双向通信可以涉及从通信系统1010的一个或多个发射器向通信系统2214的一个或多个接收器发送数据,并且反之亦然。
在一些实施例中,终端2212可以向可移动物体2200、载体2202和搭载物2204中的一个或多个提供控制数据,并且从可移动物体2200、载体2202和搭载物2204中的一个或多个接收信息(例如,可移动物体、载体或搭载物的位置和/或运动信息;由搭载物感测的数据,例如由搭载物相机捕获的图像数据)。在一些情况下,来自终端的控制数据可以包括用于可移动物体、载体和/或搭载物的相对位置、移动、致动或控制的指令。例如,控制数据(例如,经由推进机构2206的控制)可以导致可移动物体的位置和/或取向的修改,或(例如,经由载体2202的控制)导致搭载物相对于可移动物体的移动。来自终端的控制数据可以导致对搭载物的控制,比如对相机或其它图像捕获装置的操作的控制(例如,拍摄静态或动态图片、放大或缩小、接通或关断、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在一些情况下,来自可移动物体、载体和/或搭载物的通信可以包括来自(例如,感测系统2208或搭载物2204的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或搭载物的定位(例如位置、取向)、移动或加速度。来自搭载物的这种信息可以包括由搭载物捕获的数据或搭载物的感测状态。由终端2212发送的提供的控制数据可以被配置为控制可移动物体2200、载体2202或搭载物2204中的一个或多个的状态。备选地或组合地,载体2202和搭载物2204也可以各自包括被配置为与终端2212进行通信的通信模块,使得该终端可以独立地与可移动物体2200、载体2202和搭载物2204中的每一个进行通信并对其进行控制。
在一些实施例中,可移动物体2200可以被配置为与除了终端2212之外的或者代替终端2212的另一远程装置通信。终端2212还可以被配置为与另一远程装置以及可移动物体2200进行通信。例如,可移动物体2200和/或终端2212可以与另一可移动物体或另一可移动物体的载体或搭载物通信。当需要时,远程装置可以是第二终端或其它计算装置(例如,计算机、膝上型电脑、平板电脑、智能电话或其它移动装置)。远程装置可以被配置为向可移动物体2200发送数据、从可移动物体2200接收数据、向终端2212发送数据、和/或从终端2212接收数据。可选地,远程装置可以与互联网或其它电信网络连接,使得从可移动物体2200和/或终端2212接收的数据可以上传到网站或服务器。
在一些实施例中,可以根据实施例提供用于控制可移动物体的系统。该系统可以与本文公开的系统、装置和方法的任何合适的实施例结合使用。该系统可以包括感测模块、处理单元、非暂时性计算机可读介质、控制模块和通信模块。
感测模块可以利用不同类型的传感器,所述传感器以不同方式收集与可移动物体有关的信息。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如,传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块可以可操作地耦合到具有多个处理器的处理单元。在一些实施例中,感测模块可操作地耦合到被配置为向合适的外部设备或系统直接发送感测数据的发送模块(例如,Wi-Fi图像发送模块)。例如,发送模块可以用于向远程终端发送由感测模块的相机捕获的图像。
处理单元可以具有一个或多个处理器,诸如,可编程处理器(例如,中央处理单元(CPU))。处理单元可以可操作地耦合到非暂时性计算机可读介质。非暂时性计算机可读介质可以存储可由处理单元执行用以执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储单元(例如,可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。在一些实施例中,来自感测模块的数据可以被直接传送到非暂时性计算机可读介质的存储单元中并存储在其中。非暂时性计算机可读介质的存储单元可以存储可由处理单元执行的、用以执行本文描述的方法的任何合适的实施例的逻辑、代码和/或程序指令。例如,处理单元可以被配置为执行使处理单元的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可以存储来自感测模块的感测数据,以待由处理单元进行处理。在一些实施例中,非暂时性计算机可读介质的存储单元可以用于存储由处理单元产生的处理结果。
在一些实施例中,处理单元可以可操作地耦合到被配置为控制可移动物体的状态的控制模块。例如,控制模块可以被配置为控制可移动物体的推进机构相对于六个自由度来调节可移动物体的空间部署、速度和/或加速度。备选地或组合地,控制模块可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元可以可操作地耦合到被配置为向一个或多个外部装置(例如,终端、显示装置或其它遥控器)发送数据和/或从一个或多个外部装置接收数据的通信模块。可以使用任何合适的通信方式,例如有线通信或无线通信。例如,通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地,可以使用中继站,例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中,通信可能需要或可能不需要视距。通信模块可以发送和/或接收以下项中的一个或多个:来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。
可以以任何合适的配置布置系统的部件。例如,系统的一个或多个部件可以位于可移动物体、载体、搭载物、终端、感测系统或与上述器件中的一个或多个通信的其它外部装置上。在一些实施例中,多个处理单元中的一个或多个和/或非暂时性计算机可读介质可以位于不同的位置,例如,在可移动物体、载体、搭载物、终端、感测模块、与上述器件中的一个或多个通信的其它外部装置或其合适组合上,使得由该系统执行的处理和/或存储功能的任何合适方面可以发生在上述位置的一个或多个位置处。
本文所用的A和/或B包括A或B中的一个或多个以及它们的组合(例如,A和B)。将理解,尽管本文中可以使用术语“第一”、“第二”、“第三”等来描述各元件、部件、区域和/或部,但是这些元件、部件、区域和/或部不应被这些术语限制。这些术语仅用于将一个元件、部件、区域或部与另一元件、部件、区域或部加以区分。因此,在不脱离示例本发明的教义的前提下,以下提到的第一元件、部件、区域或部也可以称作第二元件、部件、区域或部。
本文中所使用的术语仅仅是为了描述具体实施例的目的,而不是意在限制本发明。如本文中使用的,单数形式“一”、“一个”和“所述”旨在还包括复数形式,除非上下文明确地给出相反的指示。还应该理解,当在本发明中使用时,术语“包括”和/或“包括了”、或“包含”和/或“包含了”指定了存在所声明的特征、区域、整数、步骤、操作、元素和/或部件,但是不排除存在或此外还有一个或多个其他特征、区域、整数、步骤、操作、元素、部件和/或其组合。
此外,在本文中可以使用诸如“下”或“底”和“上”或“顶”的相对术语来描述图中一个元件与其它元件的关系。应当理解,除了附图中所示的朝向之外,相对术语旨在包括元件的不同朝向。例如,如果一幅图中的元件翻转,则被描述为位于其它元件的“下”侧的元件将定向在其它元件的“上”侧。因此,示例性术语“下”可以包含“下”和“上”的朝向,这取决于图的特定朝向。类似地,如果一幅图中的元件翻转,则被描述为位于其它元件的“下方”或“下侧”的元件将定向在其它元件的“上方”。因此,“下方”或“下方”的示例性术语可以包括上下朝向。
尽管本文已经示出和描述了本发明的优选实施例,但是对于本领域技术人员显而易见的是,这些实施例仅以示例的方式提供。在不脱离本发明的情况下,本领域技术人员将会想到许多变化、改变和备选方式。应当理解,在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。本文描述的实施例的许多不同组合是可能的,并且这样的组合被认为是本公开的一部分。此外,结合本文任何一个实施例讨论的所有特征可以容易地适用于本文的其它实施例。以下权利要求旨在限定本发明的范围,并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (129)

1.一种用于控制可移动物体的方法,包括:
经由与所述可移动物体可操作通信的装置上的可移动物体管理器来接收用于所述可移动物体的一个或多个控制信号;
借助于一个或多个处理器单独地或共同地,获得与所述一个或多个控制信号相关联的一个或多个指示符代码;以及
基于所述一个或多个指示符代码来引导所述可移动物体行动。
2.根据权利要求1所述的方法,其中,当所述可移动物体进行操作以执行由所述控制信号定义的一个或多个任务时,基于所述一个或多个指示符代码来引导所述可移动物体行动。
3.根据权利要求2所述的方法,其中,使用被配置为接收用户输入的遥控器来操作所述可移动物体。
4.根据权利要求2所述的方法,其中,使用所述可移动物体上的飞行控制器来自主操作所述可移动物体。
5.根据权利要求1所述的方法,其中,所述一个或多个指示符代码预先登记在所述装置和/或所述可移动物体上。
6.根据权利要求1所述的方法,其中,当所述装置接收到所述一个或多个控制信号时,在所述装置上获得所述一个或多个指示符代码。
7.根据权利要求6所述的方法,其中,所述装置被配置为向所述可移动物体发送所述指示符代码和控制信号。
8.根据权利要求1所述的方法,其中,所述一个或多个指示符代码与所述一个或多个控制信号一起被提供给所述装置。
9.根据权利要求1所述的方法,其中,在向所述可移动物体发送所述控制信号之后,在所述可移动物体上获得所述一个或多个指示符代码。
10.根据权利要求1所述的方法,其中,所述装置位于远离所述可移动物体的位置处。
11.根据权利要求1所述的方法,其中,所述装置位于所述可移动物体上。
12.根据权利要求1所述的方法,其中,所述控制信号和指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
13.根据权利要求12所述的方法,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
14.根据权利要求13所述的方法,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
15.根据权利要求14所述的方法,其中,所述一个或多个发光元件被配置为发射相同颜色或不同颜色的光。
16.根据权利要求15所述的方法,其中,所述视觉效果包括相同时间间隔或不同时间间隔的预定的一系列闪光。
17.根据权利要求13所述的方法,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
18.根据权利要求17所述的方法,其中,所述声学元件包括被配置为发出相同频率或不同频率的声音的一个或多个扬声器。
19.根据权利要求18所述的方法,其中,所述音频效果包括相同时间间隔或不同时间间隔的预定的一系列声音。
20.根据权利要求13所述的方法,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
21.根据权利要求20所述的方法,其中,所述运动图案包括所述可移动物体的俯仰运动、横滚运动和/或偏航运动。
22.根据权利要求2所述的方法,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
23.根据权利要求1所述的方法,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
24.根据权利要求1所述的方法,还包括:借助所述一个或多个处理器单独地或共同地:
(1)基于所述可移动物体的硬件配置,确定所述一个或多个控制信号中的每一个是否能够由所述可移动物体执行;以及
(2)获得与能够由所述可移动物体执行的一个或多个控制信号相关联的一个或多个指示符代码。
25.根据权利要求1所述的方法,还包括:借助所述一个或多个处理器单独地或共同地,确定所述一个或多个控制信号是否与存储在所述可移动物体上的一个或多个预先存在的指示符信号相冲突。
26.根据权利要求25所述的方法,其中,所述预先存在的指示符信号由所述可移动物体的制造商或分销商预先设置。
27.根据权利要求25所述的方法,其中,当确定控制信号与所述一个或多个预先存在的指示符信号冲突时,所述一个或多个处理器被单独地或共同地配置为:
(1)拒绝所述控制信号;
(2)修改所述控制信号,使得所述控制信号不与所述一个或多个预先存在的指示符信号冲突,或者
(3)向所述控制信号和对应的指示符代码指派较低的优先级,使得所述控制信号不与所述预先存在的指示符信号冲突。
28.一种用于控制可移动物体的系统,包括:
装置上的可移动物体管理器,被配置为接收用于所述可移动物体的一个或多个控制信号,其中所述装置与所述可移动物体可操作地通信;以及
一个或多个处理器,单独或共同地被配置为:
(1)获得与所述一个或多个控制信号相关联的一个或多个指示符代码,以及
(2)基于所述一个或多个指示符代码引导所述可移动物体行动。
29.根据权利要求28所述的系统,其中,所述一个或多个处理器被单独地或共同地配置为:当所述可移动物体进行操作以执行由所述控制信号定义的一个或多个任务时,基于所述一个或多个指示符代码来引导所述可移动物体行动。
30.根据权利要求28所述的系统,其中,所述一个或多个指示符代码预先登记在所述装置和/或所述可移动物体上。
31.根据权利要求28所述的系统,其中,所述一个或多个指示符代码与所述一个或多个控制信号一起被提供给所述装置。
32.根据权利要求28所述的系统,其中,在向所述可移动物体发送所述控制信号之后,在所述可移动物体上获得所述一个或多个指示符代码。
33.根据权利要求28所述的系统,其中,所述控制信号和指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
34.根据权利要求33所述的系统,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
35.根据权利要求34所述的系统,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
36.根据权利要求34所述的系统,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
37.根据权利要求34所述的系统,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
38.根据权利要求29所述的系统,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
39.根据权利要求28所述的系统,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
40.根据权利要求28所述的系统,其中,所述一个或多个处理器还被单独地或共同地配置为:
(1)基于所述可移动物体的硬件配置,确定所述一个或多个控制信号中的每一个是否能够由所述可移动物体执行;以及
(2)获得与能够由所述可移动物体执行的一个或多个控制信号相关联的一个或多个指示符代码。
41.根据权利要求28所述的系统,其中,所述一个或多个处理器还被单独地或共同地配置为:确定所述一个或多个控制信号是否与存储在所述可移动物体上的一个或多个预先存在的指示符信号相冲突。
42.根据权利要求41所述的系统,其中,所述预先存在的指示符信号由所述可移动物体的制造商或分销商预先设置。
43.根据权利要求41所述的系统,其中,当确定控制信号与所述一个或多个预先存在的指示符信号冲突时,所述一个或多个处理器还被单独地或共同地配置为:
(1)拒绝所述控制信号;
(2)修改所述控制信号,使得所述控制信号不与所述一个或多个预先存在的指示符信号冲突,或者
(3)向所述控制信号和对应的指示符代码指派较低的优先级,使得所述控制信号不与所述预先存在的指示符信号冲突。
44.一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使一个或多个处理器单独地或共同地执行用于控制可移动物体的方法,所述方法包括:
经由与所述可移动物体可操作通信的装置上的可移动物体管理器来接收用于所述可移动物体的一个或多个控制信号;
借助于一个或多个处理器单独地或共同地,获得与所述一个或多个控制信号相关联的一个或多个指示符代码;以及
基于所述一个或多个指示符代码来引导所述可移动物体行动。
45.根据权利要求44所述的方法,其中,当所述可移动物体进行操作以执行由所述控制信号定义的一个或多个任务时,基于所述一个或多个指示符代码引导所述可移动物体行动。
46.根据权利要求44所述的方法,其中,所述一个或多个指示符代码预先登记在所述装置和/或所述可移动物体上。
47.根据权利要求44所述的方法,其中,所述一个或多个指示符代码与所述一个或多个控制信号一起被提供给所述装置。
48.根据权利要求44所述的方法,其中,在向所述可移动物体发送所述控制信号之后,在所述可移动物体上获得所述一个或多个指示符代码。
49.根据权利要求44所述的方法,其中,所述控制信号和指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
50.根据权利要求49所述的方法,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
51.根据权利要求50所述的方法,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
52.根据权利要求50所述的方法,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
53.根据权利要求50所述的方法,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
54.根据权利要求45所述的方法,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
55.根据权利要求44所述的方法,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
56.根据权利要求44所述的方法,其中,所述一个或多个处理器还被单独地或共同地配置为:
(1)基于所述可移动物体的硬件配置,确定所述一个或多个控制信号中的每一个是否能够由所述可移动物体执行;以及
(2)获得与能够由所述可移动物体执行的一个或多个控制信号相关联的一个或多个指示符代码。
57.根据权利要求44所述的方法,其中,所述一个或多个处理器还被单独地或共同地配置为:确定所述一个或多个控制信号是否与存储在所述可移动物体上的一个或多个预先存在的指示符信号相冲突。
58.根据权利要求57所述的方法,其中,所述预先存在的指示符信号由所述可移动物体的制造商或分销商预先设置。
59.根据权利要求57所述的方法,其中,当确定所述控制信号与所述一个或多个预先存在的指示符信号冲突时,所述一个或多个处理器还被单独地或共同地配置为:
(1)拒绝所述控制信号;
(2)修改所述控制信号,使得所述控制信号不与所述一个或多个预先存在的指示符信号冲突,或者
(3)向所述控制信号和对应的指示符代码指派较低的优先级,使得所述控制信号不与所述预先存在的指示符信号冲突。
60.一种用于支持可移动物体环境中的应用开发的方法,包括:
经由可移动物体控制器接收用于登记针对可移动物体的一个或多个行为指示符的请求;
将所述一个或多个行为指示符与一个或多个指示符代码相关联;以及
基于所述一个或多个行为指示符与所述一个或多个指示符代码之间的关联,引导所述可移动物体行动。
61.根据权利要求60所述的方法,其中,当所述可移动物体进行操作以执行由一个或多个控制信号定义的一个或多个任务时,基于所述关联引导所述可移动物体行动。
62.根据权利要求61所述的方法,其中,使用被配置为接收用户输入的遥控器来操作所述可移动物体。
63.根据权利要求61所述的方法,其中,使用所述可移动物体上的飞行控制器来自主操作所述可移动物体。
64.根据权利要求60所述的方法,其中,所述指示符代码预先登记在所述可移动物体上。
65.根据权利要求60所述的方法,其中,使用位于所述可移动物体上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
66.根据权利要求65所述的方法,其中,所述可移动物体被配置为经由所述可移动物体控制器向装置发送相关联的指示符代码。
67.根据权利要求60所述的方法,其中,使用位于装置上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
68.根据权利要求67所述的方法,其中,所述装置被配置为经由所述可移动物体控制器向所述可移动物体发送相关联的指示符代码。
69.根据权利要求67和68中的任一项所述的方法,其中,所述装置位于远离所述可移动物体的位置处。
70.根据权利要求67和68中的任一项所述的方法,其中,所述装置位于所述可移动物体上。
71.根据权利要求60所述的方法,其中,使用所述可移动物体控制器将所述行为指示符与所述指示符代码相关联。
72.根据权利要求60所述的方法,其中,所述行为指示符和指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
73.根据权利要求71所述的方法,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
74.根据权利要求73所述的方法,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
75.根据权利要求74所述的方法,其中,所述一个或多个发光元件被配置为发射相同颜色或不同颜色的光。
76.根据权利要求75所述的方法,其中,所述视觉效果包括相同时间间隔或不同时间间隔的预定的一系列闪光。
77.根据权利要求73所述的方法,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
78.根据权利要求77所述的方法,其中,所述声学元件包括被配置为发出相同频率或不同频率的声音的一个或多个扬声器。
79.根据权利要求78所述的方法,其中,所述音频效果包括相同时间间隔或不同时间间隔的预定的一系列声音。
80.根据权利要求73所述的方法,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
81.根据权利要求80所述的方法,其中,所述运动图案包括所述可移动物体的俯仰运动、横滚运动和/或偏航运动。
82.根据权利要求61所述的方法,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
83.根据权利要求60所述的方法,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
84.根据权利要求60所述的方法,其中,所述行为指示符和指示符代码是以查找表的形式来提供的并且被存储在所述可移动物体控制器能够访问的存储单元中。
85.根据权利要求60所述的方法,其中,所述可移动物体控制器经由包括通信适配器的可移动物体管理器与一个或多个应用通信。
86.根据权利要求85所述的方法,其中,所述可移动物体是无人飞行器,并且其中所述通信适配器包括相机部件、电池部件、云台部件、通信部件和飞行控制器部件。
87.根据权利要求86所述的方法,其中,所述通信适配器包括与所述飞行控制器部件相关联的地面站部件,并且其中所述地面站部件进行操作以执行一个或多个飞行控制操作。
88.一种用于支持可移动物体环境中的应用开发的系统,所述系统包括可移动物体控制器,所述可移动物体控制器被配置为:
接收用于登记针对可移动物体的一个或多个行为指示符的请求;
将所述一个或多个行为指示符与一个或多个指示符代码相关联;以及
基于所述一个或多个行为指示符与所述一个或多个指示符代码之间的关联,引导所述可移动物体行动。
89.根据权利要求88所述的系统,其中,当所述可移动物体进行操作以执行由一个或多个控制信号定义的一个或多个任务时,基于所述关联引导所述可移动物体行动。
90.根据权利要求88所述的系统,其中,所述指示符代码预先登记在所述可移动物体上。
91.根据权利要求88所述的系统,其中,使用位于所述可移动物体上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
92.根据权利要求91所述的系统,其中,所述可移动物体被配置为经由所述可移动物体控制器向装置发送相关联的指示符代码。
93.根据权利要求88所述的系统,其中,使用位于装置上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
94.根据权利要求93所述的系统,其中,所述装置被配置为经由所述可移动物体控制器向所述可移动物体发送相关联的指示符代码。
95.根据权利要求92和93中的任一项所述的系统,其中,所述装置位于远离所述可移动物体的位置处。
96.根据权利要求92和93中的任一项所述的方法,其中,所述装置位于所述可移动物体上。
97.根据权利要求88所述的系统,其中,使用所述可移动物体控制器将所述行为指示符与所述指示符代码相关联。
98.根据权利要求88所述的系统,其中,所述行为指示符和所述指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
99.根据权利要求98所述的系统,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
100.根据权利要求99所述的系统,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
101.根据权利要求99所述的系统,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
102.根据权利要求99所述的系统,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
103.根据权利要求89所述的系统,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
104.根据权利要求88所述的系统,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
105.根据权利要求88所述的系统,其中,所述行为指示符和指示符代码是以查找表的形式来提供的并且被存储在所述可移动物体控制器能够访问的存储单元中。
106.根据权利要求88所述的系统,其中,所述可移动物体控制器经由包括通信适配器的可移动物体管理器与一个或多个应用通信。
107.根据权利要求106所述的系统,其中,所述可移动物体是无人飞行器,并且其中所述通信适配器包括相机部件、电池部件、云台部件、通信部件和飞行控制器部件。
108.根据权利要求107所述的系统,其中,所述通信适配器包括与所述飞行控制器部件相关联的地面站部件,并且其中所述地面站部件进行操作以执行一个或多个飞行控制操作。
109.一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使一个或多个处理器单独地或共同地执行用于支持可移动物体环境中的应用开发的方法,所述方法包括:
接收用于登记针对可移动物体的一个或多个行为指示符的请求;
将所述一个或多个行为指示符与一个或多个指示符代码相关联;以及
基于所述一个或多个行为指示符与所述一个或多个指示符代码之间的关联,引导所述可移动物体行动。
110.根据权利要求109所述的方法,其中,当所述可移动物体进行操作以执行由一个或多个控制信号定义的一个或多个任务时,基于所述关联引导所述可移动物体行动。
111.根据权利要求109所述的方法,其中,所述指示符代码预先登记在所述可移动物体上。
112.根据权利要求109所述的方法,其中,使用位于所述可移动物体上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
113.根据权利要求112所述的方法,其中,所述可移动物体被配置为经由所述可移动物体控制器向装置发送相关联的指示符代码。
114.根据权利要求109所述的方法,其中,使用位于装置上的一个或多个处理器将所述行为指示符与所述指示符代码相关联。
115.根据权利要求114所述的方法,其中,所述装置被配置为经由所述可移动物体控制器向所述可移动物体发送相关联的指示符代码。
116.根据权利要求113和114中的任一项所述的方法,其中,所述装置位于远离所述可移动物体的位置处。
117.根据权利要求113和114中的任一项所述的方法,其中,所述装置位于所述可移动物体上。
118.根据权利要求109所述的方法,其中,使用所述可移动物体控制器将所述行为指示符与所述指示符代码相关联。
119.根据权利要求109所述的方法,其中,所述行为指示符和指示符代码包括用于引导所述可移动物体以多种预定方式行动的指令集。
120.根据权利要求119所述的方法,其中,所述多种预定方式包括视觉效果、音频效果和/或运动效果。
121.根据权利要求120所述的方法,其中,所述视觉效果是通过驱动所述可移动物体上的一个或多个发光元件而生成的。
122.根据权利要求120所述的方法,其中,所述音频效果是通过驱动所述可移动物体上的一个或多个声学元件而生成的。
123.根据权利要求120所述的方法,其中,所述运动效果是通过驱动所述可移动物体上的一个或多个推进单元以产生(1)所述可移动物体的运动图案、或(2)所述可移动物体沿着预定运动路径的移动来生成的。
124.根据权利要求110所述的方法,其中,所述任务包括以下至少一项:农业作业、空中成像、智能导航、实时视频馈送、自主飞行、数据收集和分析、停车检查、距离测量、视觉跟踪和/或环境感测。
125.根据权利要求109所述的方法,其中,所述可移动物体包括无人载运工具、手持式装置或机器人。
126.根据权利要求109所述的方法,其中,所述行为指示符和指示符代码是以查找表的形式来提供的并且被存储在所述可移动物体控制器能够访问的存储单元中。
127.根据权利要求109所述的方法,其中,所述可移动物体控制器经由包括通信适配器的可移动物体管理器与一个或多个应用通信。
128.根据权利要求127所述的方法,其中,所述可移动物体是无人飞行器,并且其中所述通信适配器包括相机部件、电池部件、云台部件、通信部件和飞行控制器部件。
129.根据权利要求128所述的方法,其中,所述通信适配器包括与所述飞行控制器部件相关联的地面站部件,并且其中所述地面站部件进行操作以执行一个或多个飞行控制操作。
CN201680087050.5A 2016-06-23 2016-06-23 用于控制可移动物体行为的系统和方法 Pending CN109313418A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/086878 WO2017219313A1 (en) 2016-06-23 2016-06-23 Systems and methods for controlling movable object behavior

Publications (1)

Publication Number Publication Date
CN109313418A true CN109313418A (zh) 2019-02-05

Family

ID=60783143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087050.5A Pending CN109313418A (zh) 2016-06-23 2016-06-23 用于控制可移动物体行为的系统和方法

Country Status (4)

Country Link
US (1) US20190144114A1 (zh)
EP (1) EP3443421A4 (zh)
CN (1) CN109313418A (zh)
WO (1) WO2017219313A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111769908A (zh) * 2019-04-02 2020-10-13 俊华电子企业股份有限公司 轻量的遥控通讯协议的信号传输方法
CN112535493A (zh) * 2019-09-23 2021-03-23 西门子医疗有限公司 协同运动控制和/或运动监视的系统、医学部件及其方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238581B (zh) * 2016-02-29 2024-08-20 星克跃尔株式会社 无人飞行器的飞行控制的方法和系统
US11676299B2 (en) * 2017-08-07 2023-06-13 Ford Global Technologies, Llc Locating a vehicle using a drone
US10737783B2 (en) 2018-01-16 2020-08-11 RSQ-Systems SPRL Control systems for unmanned aerial vehicles
US10696396B2 (en) 2018-03-05 2020-06-30 Rsq-Systems Us Llc Stability systems for tethered unmanned aerial vehicles
US11709817B2 (en) * 2018-03-09 2023-07-25 Ford Global Technologies, Llc Application marketplace for transportation services platform
US10775784B2 (en) * 2018-06-14 2020-09-15 Wing Aviation Llc Unmanned aerial vehicle with decentralized control system
US10773800B2 (en) * 2018-07-26 2020-09-15 RSQ-Systems SPRL Vehicle-based deployment of a tethered surveillance drone
US10970547B2 (en) * 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
US11479357B1 (en) * 2019-03-15 2022-10-25 Alarm.Com Incorporated Perspective angle acquisition and adjustment of security camera drone
US11851179B1 (en) * 2019-04-09 2023-12-26 Alarm.Com Incorporated Imaging controls for unmanned aerial vehicles
EP4158332A4 (en) 2020-05-29 2024-07-10 Constellation Clearsight, LLC METHODS AND SYSTEMS FOR IDENTIFYING AND ANALYZING CONSTRUCTS
CN112546613B (zh) * 2020-12-22 2023-03-24 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
KR102476590B1 (ko) * 2020-12-31 2022-12-13 한국공항공사 비행체를 이용한 항공 등화 점검 방법 및 장치
CN115394069B (zh) * 2022-07-29 2024-04-09 上海合壹未来文化科技有限公司 一种多设备联动遥控系统、方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521817A (en) * 1994-08-08 1996-05-28 Honeywell Inc. Airborne drone formation control system
EP1901143A1 (en) * 2006-09-15 2008-03-19 Saab Ab Onboard simulation device and simulation method
US20100163621A1 (en) * 2006-01-11 2010-07-01 Carmel-Haifa University Economic Corporation Ltd. Uav decision and control system
WO2011015855A1 (en) * 2009-08-03 2011-02-10 Bae Systems Plc Monitoring system
CN103246204A (zh) * 2013-05-02 2013-08-14 天津大学 多无人机系统仿真与验证方法与装置
CN103365214A (zh) * 2013-06-29 2013-10-23 天津大学 一种单旋翼无人飞行器三自由度半实物仿真平台及实验方法
CN204469246U (zh) * 2015-03-27 2015-07-15 马鞍山市赛迪智能科技有限公司 一种基于无人机的空中舞蹈拉线木偶
WO2016049924A1 (en) * 2014-09-30 2016-04-07 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
US20160152345A1 (en) * 2014-10-23 2016-06-02 Dezso Molnar Unmanned Aerial Vehicle With Lighting and Cooling Therefor

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
US8200375B2 (en) * 2008-02-12 2012-06-12 Stuckman Katherine C Radio controlled aircraft, remote controller and methods for use therewith
CN202533754U (zh) * 2011-10-14 2012-11-14 中国民航大学 无人飞行器物理仿真试验平台地面监控系统
CN103149846A (zh) * 2011-12-06 2013-06-12 中国科学院沈阳自动化研究所 飞行机器人控制系统半物理仿真平台
US9307383B1 (en) * 2013-06-12 2016-04-05 Google Inc. Request apparatus for delivery of medical support implement by UAV
US9321531B1 (en) * 2014-07-08 2016-04-26 Google Inc. Bystander interaction during delivery from aerial vehicle
EP3008535B1 (en) * 2014-09-05 2018-05-16 SZ DJI Technology Co., Ltd. Context-based flight mode selection
JP6181300B2 (ja) * 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機の速度を制御するシステム
WO2016061726A1 (zh) * 2014-10-20 2016-04-28 深圳市大疆创新科技有限公司 无人机电机驱动智能功率控制系统和方法以及无人机
US20160244161A1 (en) * 2015-02-23 2016-08-25 Daniel R. McClure Unmanned aircraft having flight limitations
US10220705B2 (en) * 2015-08-12 2019-03-05 Madhusoodhan Ramanujam Sharing autonomous vehicles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521817A (en) * 1994-08-08 1996-05-28 Honeywell Inc. Airborne drone formation control system
US20100163621A1 (en) * 2006-01-11 2010-07-01 Carmel-Haifa University Economic Corporation Ltd. Uav decision and control system
EP1901143A1 (en) * 2006-09-15 2008-03-19 Saab Ab Onboard simulation device and simulation method
WO2011015855A1 (en) * 2009-08-03 2011-02-10 Bae Systems Plc Monitoring system
CN103246204A (zh) * 2013-05-02 2013-08-14 天津大学 多无人机系统仿真与验证方法与装置
CN103365214A (zh) * 2013-06-29 2013-10-23 天津大学 一种单旋翼无人飞行器三自由度半实物仿真平台及实验方法
WO2016049924A1 (en) * 2014-09-30 2016-04-07 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
US20160152345A1 (en) * 2014-10-23 2016-06-02 Dezso Molnar Unmanned Aerial Vehicle With Lighting and Cooling Therefor
CN204469246U (zh) * 2015-03-27 2015-07-15 马鞍山市赛迪智能科技有限公司 一种基于无人机的空中舞蹈拉线木偶

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111769908A (zh) * 2019-04-02 2020-10-13 俊华电子企业股份有限公司 轻量的遥控通讯协议的信号传输方法
CN112535493A (zh) * 2019-09-23 2021-03-23 西门子医疗有限公司 协同运动控制和/或运动监视的系统、医学部件及其方法

Also Published As

Publication number Publication date
EP3443421A4 (en) 2019-03-13
WO2017219313A1 (en) 2017-12-28
US20190144114A1 (en) 2019-05-16
EP3443421A1 (en) 2019-02-20

Similar Documents

Publication Publication Date Title
CN109313418A (zh) 用于控制可移动物体行为的系统和方法
US10955674B2 (en) Energy-harvesting beacon device
US20210072745A1 (en) Systems and methods for uav flight control
US10944998B2 (en) Systems and methods for UAV interactive video broadcasting
Alwateer et al. Drone services: issues in drones for location-based services from human-drone interaction to information processing
CN115951598B (zh) 一种多无人机的虚实结合仿真方法、装置及系统
US10520943B2 (en) Unmanned aerial image capture platform
US9986233B1 (en) Camera calibration using fixed calibration targets
CN105980950B (zh) 无人飞行器的速度控制
US20170076194A1 (en) Apparatuses, methods and systems for defining hardware-agnostic brains for autonomous robots
CN109644233A (zh) 多云台组件
CN109074090A (zh) 无人机硬件架构
US11513514B2 (en) Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium
CN109154499A (zh) 用于增强立体显示的系统和方法
US20200183429A1 (en) Remote object capture
WO2016025053A2 (en) Virtual and augmented reality cockpit and operational control systems
CN109219785A (zh) 简单的多传感器校准
CN105828062A (zh) 无人机3d虚拟现实拍摄系统
US10554950B1 (en) Collection of camera calibration data using augmented reality
US12339677B2 (en) Media playback system
US10447995B1 (en) Validation of camera calibration data using augmented reality
Saeed et al. Up and away: A visually-controlled easy-to-deploy wireless UAV Cyber-Physical testbed
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
Ermacora Advances in human robot interaction for cloud robotics applications
Bona ‘Advances in human robot interaction for cloud robotics applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination