CN106444843A - 无人机相对方位控制方法及装置 - Google Patents
无人机相对方位控制方法及装置 Download PDFInfo
- Publication number
- CN106444843A CN106444843A CN201611114763.4A CN201611114763A CN106444843A CN 106444843 A CN106444843 A CN 106444843A CN 201611114763 A CN201611114763 A CN 201611114763A CN 106444843 A CN106444843 A CN 106444843A
- Authority
- CN
- China
- Prior art keywords
- relative orientation
- uav
- unmanned plane
- gesture
- wearable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种无人机相对方位控制方法及装置,其中,无人机相对方位控制方法包括如下步骤:获取穿戴设备发射的红外光作用于手势区域后形成的红外图像;依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型;检测本无人机与所述手势区域之间的第一相对方位信息;根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。本发明的实施,能够提高无人机相对方位控制的效率,提升无人机相对方位控制的用户体验。
Description
技术领域
本发明涉及航空科学技术领域,更具体地,涉及无人机相对方位控制方法及装置。
背景技术
无人驾驶无人机简称无人机,是利用遥控方法和自备的程序控制装置操纵的不载人的无人机。为了维持机体平衡以及完成工作任务,无人机体上安装的传感器越来越多,而随着微电子技术的发展,在小型无人机上集成多个高精度的传感器已经成为现实。目前,无人机能够实现的功能也越来越多,已经广泛应用于空中侦察、监视、通信、反潜、电子干扰等。在一些使用场景中,需要对控制无人机与用户保持一定的相对方位,以便于完成无人机拍摄等操作。
无人机的飞行控制受环境影响较大,若由用户完全手动地进行相对方位控制,不仅对用户的飞行控制技术水平要求较高,而且用户需专注于无人机相对方位控制,难以同时完成其他操作。因此,通常而言,采用如下两种方法进行无人机相对方位控制:
其一,利用无人机和遥控设备的传感器检测无人机和遥控设备的方位信息,根据所述方位信息进行相对方位控制。
其二,基于图形算法进行计算机视觉跟踪,从而进行相对方位控制。
然而,方法一依赖遥控设备的定位传感器,精度较低,且不利于遥控装置的轻便化,影响了相对方位控制中的人机交互体验;方法二图形算法复杂度高,不仅占用了无人机大量的运算资源,也限制了无人机相对位置控制的应用场景,效果不理想。
发明内容
本发明的目的在于针对以上存在的至少一方面不足,提供一种无人机相对方位控制方法及装置、一种用于穿戴设备的无人机相对方位辅助控制方法及装置,所述装置能够提高无人机相对方位控制的效率,所述控制方法能够为所述无人机相对方位控制效率的提高提供实现方式。
进一步地,本发明还提供了与前述控制方法相适应的无人机控制装置和穿戴设备控制装置。
为了实现上述目的,本发明采取如下若干方面的技术方案:
第一方面,本发明实施例中提供了一种无人机相对方位控制方法,包括如下步骤:
获取穿戴设备发射的红外光作用手势区域后形成的红外图像;
依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型;
检测本无人机与所述手势区域之间的第一相对方位信息;
根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
结合第一方面,本发明在第一方面的第一种实现方式中,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态的过程具体包括:
根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,根据所述第二相对方位信息控制本无人机调整飞行状态。
结合第一方面的第一种实现方式,在第一方面的第二种实现方式中,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体包括:
控制本无人机飞往所述第二相对方位信息中的位置信息所表征的坐标位置,使得本无人机与所述手势区域之间的距离与所述预设值中的预设距离相同。
结合第一方面的第二种实现方式,在第一方面的第三种实现方式中,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体还包括:
根据所述第二相对方位信息中的方位角信息控制本无人机调整航向角,使得本无人机朝向所述手势区域。
结合第一方面的第二种实现方式,在第一方面的第四种实现方式中,述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体还包括:
根据所述第二相对方位信息中的第二高度差信息控制本无人机调整飞行高度,使得本无人机与所述手势区域之间的高度差与所述预设值中的高度差或第一相对方位信息所表征的高度差相同。
结合第一方面的第四种实现方式,在第一方面的第五种实现方式中,所述检测本无人机与所述手势区域之间的相对方位信息的过程包括:
通过本无人机的卫星定位传感器检测本无人机的定位信息;
通过本无人机的测距传感器检测本无人机与所述手势区域之间的距离信息;
通过本无人机的方向传感器检测本无人机与所述手势区域之间的方位角信息;
通过本无人机的陀螺仪传感器检测本无人机与所述手势区域之间的高度角信息,根据所述距离信息和所述高度角信息计算得到本无人机与所述手势区域之间的高度差信息;
根据所述定位信息、高度差信息、方位角信息和距离信息计算得到本无人机与所述手势区域之间的相对方位信息。
结合第一方面的第五种实现方式,在第一方面的第六种实现方式中,所述依据红外图像确定所述手势区域和所述手势指令类型的过程包括:
从摄像单元获取的预览红外图像中获取的一帧或多帧图像;
确定所述多帧图像中由红外光描述的手势区域;
基于所述手势区域提取手势特征数据,将其与预设的手势指令类型描述数据进行匹配,确定相对应的手势指令类型。
结合第一方面的第五种实现方式,在第一方面的第七种实现方式中,还包括以下后续步骤:
检测本无人机与所述手势区域之间的第三相对方位信息;
确定所述第三相对方位信息表征的距离的变化率是否大于预设速度范围;
当大于预设速度范围时,控制本无人机调整飞行速度,使得本无人机与所述手势区域之间的距离在预定距离范围内。
结合第一方面的第七种实现方式,在第一方面的第八种实现方式中,还包括以下后续步骤:
确定所述第三相对方位信息表征的高度差是否小于第一预设高度差;
当小于第一预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差提升至所述第一预设高度差。
结合第一方面的第八种实现方式,在第一方面的第九种实现方式中,还包括以下后续步骤:
确定所述第三相对方位信息表征的高度差是否大于第二预设高度差;
当所述大于第二预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差降低至所述第二预设高度差。
结合第一方面的第九种实现方式,在第一方面的第十种实现方式中,还包括以下后续步骤:
当确定以下任意一种方位偏离状态条件被满足时,基于信任连接向穿戴设备发送告警指令:
所述第三相对方位信息表征的距离的变化率大于预设速度范围;
所述第三相对方位信息表征的高度差小于第一预设高度差;
所述第三相对方位信息表征的高度差大于第二预设高度差。
结合第一方面的第五种实现方式,在第一方面的第十一种实现方式中,还包括以下前置步骤:
基于信任连接,向穿戴设备发送用于驱动其发射红外光的驱动指令。
结合第一方面的第十或十一种实现方式,在第一方面的第十二种实现方式中,还包括如下前置步骤:
通过通信连接,对穿戴设备进行身份验证;
当身份验证成功时,本无人机和所述穿戴设备建立信任连接。
第二方面,本发明实施例中提供了一种用于穿戴设备的无人机相对方位辅助控制方法,包括如下步骤:
基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令;
响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制;
基于信任连接,接收无人机的告警指令;
响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
结合第二方面,本发明在第二方面的第一种实现方式中,还包括如下前置步骤:
通过通信连接,向无人机发送身份验证请求;
当身份验证成功时,所述穿戴设备和所述无人机建立信任连接。
结合第二方面,本发明在第二方面的第二种实现方式中,还包括如下并发步骤:
计算所述红外发光组件的工作时长,当该工作时长超过时长预定值时,控制所述红外发光组件停止发射红外光。
第三方面,本发明实施例中提供了一种无人机相对方位控制装置,包括:
摄像单元,用于获取穿戴设备发射的红外光作用于手势区域后形成的红外图像;
识别单元,被配置为依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型;
检测单元,被配置为检测本无人机与所述手势区域之间的第一相对方位信息;
控制单元,被配置为根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
结合第三方面,本发明在第三方面的第一种实现方式中,所述控制单元中,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态的过程具体包括:
根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,根据所述第二相对方位信息控制本无人机调整飞行状态。
结合第三方面的第一种实现方式,本发明在第三方面的第二种实现方式中,所述控制单元中,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体包括:
控制本无人机飞往所述第二相对方位信息中的位置信息所表征的坐标位置,使得本无人机与所述手势区域之间的距离与所述预设值中的预设距离相同。
结合第三方面的第二种实现方式,本发明在第三方面的第三种实现方式中,所述控制单元中,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体还包括:
根据所述第二相对方位信息中的方位角信息控制本无人机调整航向角,使得本无人机朝向所述手势区域。
结合第三方面的第二种实现方式,本发明在第三方面的第四种实现方式中,所述控制单元中,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体还包括:
根据所述第二相对方位信息中的第二高度差信息控制本无人机调整飞行高度,使得本无人机与所述手势区域之间的高度差与所述预设值中的高度差或第一相对方位信息所表征的高度差相同。
结合第三方面的第四种实现方式,本发明在第三方面的第五种实现方式中,所述检测单元中,所述检测本无人机与所述手势区域之间的相对方位信息的过程包括:
通过本无人机的卫星定位传感器检测本无人机的定位信息;
通过本无人机的测距传感器检测本无人机与所述手势区域之间的距离信息;
通过本无人机的方向传感器检测本无人机与所述手势区域之间的方位角信息;
通过本无人机的陀螺仪传感器检测本无人机与所述手势区域之间的高度角信息,根据所述距离信息和所述高度角信息计算得到本无人机与所述手势区域之间的高度差信息;
根据所述定位信息、高度差信息、方位角信息和距离信息计算得到本无人机与所述手势区域之间的相对方位信息。
结合第三方面的第五种实现方式,本发明在第三方面的第六种实现方式中,所述识别单元中,所述依据红外图像确定所述手势区域和所述手势指令类型的过程包括:
从摄像单元获取的预览红外图像中获取的一帧或多帧图像;
确定所述多帧图像中由红外光描述的手势区域;
基于所述手势区域提取手势特征数据,将其与预设的手势指令类型描述数据进行匹配,确定相对应的手势指令类型。
结合第三方面的第五种实现方式,本发明在第三方面的第七实现方式中:
所述检测单元还被配置为:检测本无人机与所述手势区域之间的第三相对方位信息;
还包括确定单元,被配置为:确定所述第三相对方位信息表征的距离的变化率是否大于预设速度范围;
所述控制单元还被配置为:当大于预设速度范围时,控制本无人机调整飞行速度,使得本无人机与所述手势区域之间的距离在预定距离范围内。
结合第三方面的第七种实现方式,本发明在第三方面的第八种实现方式中:
所述确定单元还被配置为:确定所述第三相对方位信息表征的高度差是否小于第一预设高度差;
所述控制单元还被配置为:当小于第一预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差提升至所述第一预设高度差。
结合第三方面的第八种实现方式,本发明在第三方面的第九种实现方式中,:
所述确定单元还被配置为:确定所述第三相对方位信息表征的高度差是否大于第二预设高度差;
所述控制单元还被配置为:当所述大于第二预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差降低至所述第二预设高度差。
结合第三方面的第九种实现方式,本发明在第三方面的第十种实现方式中,还包括发送单元,被配置为:当所述确定单元确定以下任意一种方位偏离状态条件被满足时,基于信任连接向穿戴设备发送告警指令:
所述第三相对方位信息表征的距离的变化率大于预设速度范围;
所述第三相对方位信息表征的高度差小于第一预设高度差;
所述第三相对方位信息表征的高度差大于第二预设高度差。
结合第三方面的第五种实现方式,本发明在第三方面的第十一种实现方式中,所述发送单元还被配置为:
基于信任连接,向穿戴设备发送用于驱动其发射红外光的驱动指令。
结合第三方面的第十一种实现方式,本发明在第三方面的第十二种实现方式中,还包括第一通信单元,被配置为:
通过通信连接,对穿戴设备进行身份验证;
当身份验证成功时,本无人机和所述穿戴设备建立信任连接。
第四方面,本发明实施例中提供了一种用于穿戴设备的无人机相对方位辅助控制装置,包括:
第一接收单元,被配置为基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令;
驱动单元,被配置为响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制;
第二接收单元,被配置为基于信任连接,接收无人机的告警指令;
告警单元,被配置为响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
结合第四方面,本发明在第四方面的第一种实现方式中,还包括第二通信单元,被配置为:
通过通信连接,向无人机发送身份验证请求;
当身份验证成功时,所述穿戴设备和所述无人机建立信任连接。
结合第四方面,本发明在第四方面的第二种实现方式中,还包括关闭单元,被配置为:
计算所述红外发光组件的工作时长,当该工作时长超过时长预定值时,控制所述红外发光组件停止发射红外光。
第五方面,本发明实施例中提供了一种无人机控制装置,该无人机控制装置具有实现上述第一方面中无人机相对方位控制方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
在一个可能的设计中,无人机控制装置的结构中包括:
一个或多个摄像头,其中至少一个摄像头具有红外成像功能;
一个或多个传感器,用于检测所述相对方位信息;
存储器,用于存储支持穿戴设备执行上述无人机相对方位控制方法的程序;
通信接口,用于上述无人机与穿戴设备或其他设备或通信网络通信;
一个或多个处理器,用于执行所述存储器中存储的程序;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行所述第一方面或其任意一种实现方式中所述的无人机相对方位控制方法的单元。
第六方面,本发明实施例中提供了一种穿戴设备控制装置,该穿戴设备控制装置具有实现上述第二方面中用于穿戴设备的无人机相对方位辅助控制方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
在一个可能的设计中,穿戴设备控制装置的结构中包括:
存储器,用于存储支持穿戴设备执行上述用于穿戴设备的无人机相对方位辅助控制方法的程序;
通信接口,用于上述穿戴设备与无人机或其他设备或通信网络通信;
振动马达和/或指示灯,用于提示用户当前无人机的状态;
一个或多个处理器,用于执行所述存储器中存储的程序;
红外发光组件,包括一个或多个红外光源,用于发射红外光;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行所述第二方面或其任意一种实现方式中所述的用于穿戴设备的无人机相对方位辅助控制方法的单元。
相对于现有技术,本发明提供的技术方案至少具有如下优点:
首先,本发明依据穿戴设备发射的红外光作用下形成的红外图像确定手势区域和表征相对方位预设值的手势指令类型,检测本无人机与所述手势区域之间的第一相对方位信息,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。能够根据红外成像确定手势区域和识别手势,并结合无人机自身的方位信息确定相对方位,从而实现无人机相对方位控制,减轻了无人机图像识别的计算量,在提高无人机相对方位控制的效率的同时,提高了无人机相对方位控制的准确性。
其次,用户在控制过程中,只需使用能够发射红外光的穿戴设备就能通过手势控制对无人机与自己的相对方位进行调整,而无须穿戴设备提供方位信息,有利于降低穿戴设备的成本,并使得穿戴设备更加轻便轻便化,提升了无人机相对方位控制中的用户体验。
最后,通过检测和控制无人机与手势区域的高度差和距离,使得在用户上下坡时,也能使无人机与用户保持预设的相对方位,降低了环境变化对无人机相对方位控制的影响。而且,在检测出上述环境变化的影响时,无人机通过向穿戴设备发送告警指令,以提示用户当前的无人机处于方位偏离状态。有利于用户及时做出相应的调整,预防无人机丢失和安全事故。
书不尽言,本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得更加简明易懂,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的用于无人机相对方位控制方法的设备结构框图;
图2为本发明一个实施例的无人机相对方位控制方法的流程示意图;
图3为本发明一个实施例的无人机相对方位控制过程的场景示意图;
图4为本发明一个实施例的无人机相对方位控制过程的场景示意图;
图5为本发明一个实施例的用于穿戴设备的无人机辅助相对方位控制方法的流程示意图;
图6为本发明一个实施例的无人机相对方位控制装置的结构框图;
图7为本发明一个实施例的用于穿戴设备的无人机相对方位辅助控制装置的结构框图;
图8为本发明一个实施例的无人机控制装置的结构示意图;
图9为本发明一个实施例的穿戴设备控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S10、S11等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域普通技术人员可以理解,这里所使用的“控制装置”或“无人机控制装置”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的移动智能设备,如无人机、无人飞艇等。
本领域普通技术人员可以理解,这里所使用的“穿戴设备”或“穿戴设备控制装置”既包括无线信号发射器的设备,其仅具备无接收能力的无线信号发射器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可被设计为适于布置于人身上,尤其是手臂部,其包括智能手环,智能手表和手链等等。
本发明所述方法主要适用于无人机或者穿戴设备等具有通信功能的终端,不限制于其操作系统的类型,可以是Android、IOS、WP、塞班等操作系统,或嵌入式操作系统。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的一个实施例中,用于无人机相对方位控制方法的设备结构框图如图1所示,整体结构包括处理器704、传感器模块、控制器、执行控制端等,其中传感器模块包括惯性传感器(Inertial measurement unit,简称IMU,含加速度传感器、陀螺仪传感器)、磁强计、方向传感器、测距传感器、卫星定位传感器(例如GPS传感器、北斗传感器等)、图像传感器等,用于生成各种传感器数据从而生成用于无人机控制的方位角信息、航向信息、图像信息、定位信息、距离信息等,从而反映无人机飞行中的各项参数,便于无人机做自身的调整。例如当无人机飞行受到刮风影响时,利用惯性传感器可以检测出无人机的姿态数据发生变化,无人机获取姿态数据后调整自身姿态以保证按照操控指令飞行;又如当无人机飞行过程中某个方向遇到障碍物时,可以利用距离传感器检测出与障碍物的距离,从而迅速做出避障动作,从而保证机身不损伤,而且当无人机有了避障措施后,就可以单独执行空间检测等任务;又如当用户想控制无人机的相对方位时,在本发明的一个实施例中,如图2所示,利用图像传感器获取穿戴设备发射的红外光作用于手势区域后形成的红外图像;依据所述红外图像确定手势区域和表征相对方位预设值的手势指令类型;利用陀螺仪传感器、卫星定位传感器、测距传感器和方向传感器检测本无人机与所述手势区域之间的第一相对方位信息;根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
处理器704是完成数据整合、发送控制、执行操作执行的核心部分,其在收到传感器模块发送的数据时,通过一系列的算法从数据中识别出特定的信息,从而根据这些信息判断将要执行的操作,本领域内技术人员可以理解,处理器704不止能够完成传感器数据的整合和发送指令,还可以进行其他的操作,在本发明中,处理器704具备能够完成任何无人机相对方位控制方法。控制器是用于控制无人机的控制器件,一般地,当远程遥控设备(如穿戴设备)作为控制器控制无人机时,需要设置无人机与控制器的控制频率,以保证有效控制无人机飞行。执行控制端用于无人机执行操作指令,执行控制端与处理器704互相通讯,以保证无人机按照操作指令执行。
请参阅图2,本发明的无人机相对方位控制方法的实施例中,其包括如下步骤:
步骤S11,获取穿戴设备发射的红外光作用于手势区域后形成的红外图像。
无人机通常包括摄像单元,处理器,储存器等,基于计算机视觉进行手势识别。一种实施例中,无人机包括至少一个具有红外成像功能的摄像头,无人机获取穿戴设备发射的红外光作用下形成的红外图像,依据红外图像将手势区域与背景区域分离以完成手势分割,以实现红外手势识别。
其中,摄像单元包括至少一个摄像头,在可能的实施例中,摄像单元可以通过IR-CUT双滤镜技术、IR镜头技术、红外感应CCD技术中的任意一种或任意多种获取红外图像。
穿戴设备发射出红外光照射到用户的手背部,使用户的手势区域的轮廓被红外光所“照亮”,形成手势区域的红外图像。使得用户的手势区域与背景区域在红外成像中被红外光所区分。
步骤S12,依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型。
如前所述,无人机依据红外图像将手势区域与背景区域分离以完成手势分割,能够确定手势区域。在一些可能的实施例中,还可利用图像算法使无人机的摄像单元锁定所述手势区域。一种实施例中,所述依据红外图像确定所述手势区域和所述手势指令类型的过程包括:从摄像单元获取的预览红外图像中获取的一帧或多帧图像;确定所述多帧图像中由红外光描述轮廓的手势区域;基于所述手势区域提取手势特征数据,将其与预设的手势指令类型描述数据进行匹配,确定相对应的手势指令类型。本发明的实施例中,手势指令类型能够表征相对方位预设值,以用于无人机相对方位控制。
无人机通过摄像单元获取的视频可以看作由多帧图像组成,在静态手势识别中,只需对其中某一帧或几帧进行手势分析以提取手势特征数据,手势特征数据可以包括手势轮廓数据和/或手势深度数据。而在动态手势识别中,则还需要获取手势的时空特征,动态手势时空轨迹分析的常用方法,主要有两大类:轨迹模板匹配法(Trajectories Matching)和状态空间建模法(State Space Modeling)。因而需要对多帧图像进行分析,以获取手势在运动中所产生的时空轨迹。
无人机获取所述红外图像后,依据红外图像将手势区域与背景区域分离以完成手势分割,确定由红外光描述轮廓的手势区域,而后通过所述手势区域获取手势特征并估计手势模型参数进行手势分析,再根据模型参数对手势进行分类确定对应的手势指令类型,实现红外手势识别。识别方法可以是基于模板匹配,基于隐马尔可夫模型(HMM)或基于神经网络等方法。
由于利用红外光有效增强了手势区域与背景区域的区分度,能够使无人机根据红外成像捕捉手势,确定相应的指令类型。减少了计算资源的占用,缩短用户在背景复杂或光线昏暗的情况下利用手势识别进行无人机相对方位控制所需的响应时间,提高了用户人机交互的效率和准确性,尤其在无人机和/或用户处于移动过程中时,其效果尤为显著。
步骤S13,检测本无人机与所述手势区域之间的第一相对方位信息。
无人机根据其与所述手势区域之间的相对方位信息确定所述相对位置,需要指出的是,所述无人机的第一相对方位信息包括本无人机与所述手势区域之间的距离信息、方位角信息,高度角信息、高度差信息和本无人机的定位信息中的任意一种或任意多种,因此,第一相对方位信息是一个概括性名词,具体应用时,可以根据需要确定选用此处所列的具体数据。一种实施例中,无人机与所述手势区域之间的第一相对方位信息的检测过程包括:通过本无人机的卫星定位传感器检测本无人机的定位信息;通过本无人机的测距传感器检测本无人机与所述手势区域之间的距离信息;通过本无人机的方向传感器检测本无人机与所述手势区域之间的方位角信息;通过本无人机的陀螺仪传感器检测本无人机与所述手势区域之间的高度角信息,根据所述距离信息和所述高度角信息计算得到本无人机与所述手势区域之间的高度差信息;根据所述定位信息、高度差信息、方位角信息和距离信息计算得到本无人机与所述手势区域之间的相对方位信息。
其中,根据距离信息,可以调整无人机手势区域之间的水平距离,实现无人机与用户之间的水平移动。根据方位角信息,可以调整无人机的机头朝向,或者实际上控制无人机内摄像单元的拍摄方向,使得当手势区域的位置发生变化时,无人机可以相应的调整其机头或摄像单元的朝向,使摄像单元能够一直锁定用户。根据高度差信息,可以调整无人机与操作者之间的相对高度,实现无人机能够在用户做上坡运动或下坡运动时与之保持相对方位为预设值。
在本发明的一些实施例中,第一相对方位信息的定位信息可表征无人机的经纬度坐标A(x1,y1),经纬度坐标可由无人机安装的卫星定位传感器获取,卫星定位传感器的定位功能基于与其连接的卫星定位系统实现,与定位模块相连的卫星系统包括但不限于:GPS定位系统、北斗定位系统、格罗纳斯定位系统或伽利略定位系统;所述距离为无人机与所述手势区域的直线距离l,所述测距传感器为激光测距传感器和/或红外线测距传感器;所述方位角ΦAB又称地平经度(Azimuth(angle),简称Az),表示从无人机的指北方向线起,依顺时针方向到手势区域方向线之间的水平夹角,例如在Android系统中,通过public staticfloat[]getOrientation(float[]R,float[]values)得到方向传感器获取的方位角信息,其范围是(0~359),360/0表示正北,90表示正东,180表示正南,270表示正西;所述高度角θ即从一点至观测目标的方向线与水平面间的夹角,且一般为俯角,可由陀螺仪传感器(gyroscope/gyro,也称陀螺仪)结合上述测距传感器或摄像头测得,进而得到所述高度差h=l×sinθ,根据:
可得到当前手势区域的定位坐标B(x2,y2)。
当然,在某些实施例中,也可利用上述测距传感器或超声波测距传感器检测无人机与地面的相对高度信息,在某些使用场景(如开阔平地)中代替高度差信息。其中,根据距离信息,可以调整无人机与手势区域之间的水平距离,实现无人机与用户之间的水平移动。根据方位角,可以调整无人机的机头朝向,或者控制无人机内摄像单元的拍摄方向,使得当手势区域的位置发生变化时,无人机可以相应的调整其机头或摄像单元的朝向,使摄像单元能够一直锁定用户。根据高度差信息,可以调整无人机与用户之间的高度,实现无人机在用户做上坡运动和下坡运动时保持与之的相对方位。
通过分析计算所述的述定位信息、高度差信息、方位角信息和距离信息,得出无人机的第一相对方位信息,用于表征无人机与手势区域之间的相对方位。第一相对方位信息可根据所述信息利用信息融合算法,如卡尔曼滤波算法而得到,以提高精度。相应地,所述第一相对方位信息可解算出述定位信息、高度差信息、方位角信息和距离信息。或者,第一相对方位信息也可为包含述定位信息、高度差信息、方位角信息和距离信息的数据包。第一相对方位信息表征无人机与所述手势区域之间的相对方位,用于无人机的所述相对方位控制。
步骤S14,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
获取前述第一方位信息和确定手势指令类型后,可根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,进而根据所述第二相对方位信息相应地控制本无人机调整飞行状态,调整其与所述手势区域之间的相对方位。其中,相对方位预设值可包括调整后的无人机与所述手势区域之间的距离、方位角和高度差等。
因此,所述得到第二相对方位信息后,具体地,可根据实际需求,灵活选定以下至少一个方案,使得本无人机与所述手势区域之间的相对方位为所述预设值:
其一,控制本无人机飞往所述第二相对方位信息中的位置信息所表征的坐标位置,使得本无人机与所述手势区域之间的距离与所述预设值中的预设距离相同。
其二,根据所述第二相对方位信息中的方位角信息控制本无人机调整航向角,使得本无人机朝向所述手势区域。
其三,根据所述第二相对方位信息中的第二高度差信息控制本无人机调整飞行高度,使得本无人机与所述手势区域之间的高度差与所述预设值中的高度差或第一相对方位信息所表征的高度差相同。
上述的第二相对方位信息中的位置信息所表征的坐标位置C(x3,y3)可由第一相对方位信息中的位置信息所表征的无人机坐标位置A(x1,y1)和所述预设值,根据前述公式求得。其中,根据航向距离,可以调整无人机与操作者之间的水平距离,实现无人机与操作者之间的水平移动。根据航向角度,可以调整无人机的机头朝向,实际上是在控制无人机内摄像单元的拍摄方向。这样当遥控器的运动轨迹发生变化时,无人机可以相应的调整机头的朝向,使相机可以一直锁定操作者。根据高度差,可以调整无人机与操作者之间的高度,实现无人机的上坡运动和下坡运动。
在以上方案的实施例中,请参阅图3,在某些使用场景中,可以根据所述第一相对方位信息和所述预设值,只改变本无人机与所述手势区域的距离,而保持其方位角和高度差不变,使无人机与手势区域保持预设值中的距离;或者,改变所述方位角,保持其距离和高度差不变,使得无人机环绕手势区域进行拍摄等操作。从而能够使用户简单快捷地实现对无人机相对方位的控制。
由于在实际使用场景中,用户可能处于移动状态,导致因为用户位置或高度变化带来的相对位置改变。因此,为了使无人机保持与所述手势区域的相对方位为所述预设值,在本发明的某些实施例中,在无人机与所述手势区域之间的相对方位为所述预设值之后,还包括检测本无人机与所述手势区域之间的第三相对方位信息的步骤。检测所述第三相对方位信息的原理与步骤与检测所述第一相对方位信息的相同,在此不再赘述。进一步地,还可根据实际需求,包括以下至少一个方案中的后续步骤:
其一,确定所述第三相对方位信息表征的距离的变化率是否大于预设速度范围;当大于预设速度范围时,控制本无人机调整飞行速度,使得本无人机与所述手势区域之间的距离在预定距离范围内。
其二,确定所述第三相对方位信息表征的高度差是否小于第一预设高度差;当小于第一预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差提升至所述第一预设高度差。
其三,确定所述第三相对方位信息表征的高度差是否大于第二预设高度差;当所述大于第二预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差降低至所述第二预设高度差。
在上述方案中,所述第三相对方位信息表征的距离的变化率可表征用户与本无人机之间的相对速度,通过对本无人机飞行速度的调整,使得本无人机与所述手势区域之间的距离在预定距离范围内。这里的预设速度范围、预定距离范围可以依据实际需要事先设定和/或根据所述手势指令类型表征相对方位预设值而对应得到,目的是保证无人机较好地跟随用户,不至于跟丢,和/或保证无人机拍摄时可拍摄到较清楚的画面。具体而言,由于一般而言测距传感器的更新频率较低,当手势区域以较快速度移动时快速变化时,即用户快速移动时,无人机的反应往往不够迅速,存在延迟现象,因此除了调高测距传感器的更新频率,还可以通过测距传感器测定手势区域的距离,并定时计算手势区域的运动速度并根据该运动速度对无人机的跟随速度进行实时调整,使本无人机可以根据手势区域的移动速度调整飞行速度,从而使无人机与用户保持相对方位为预设范围,达到良好的跟随效果,提升了用户在快速运动时的无人机交互体验。
而如图4所示,当用户和无人机之间的高度差小于第一预设高度差时,则控制无人机的飞行状态,将所述高度差提升至所述第一预设高度差。通过该方案,在用户上坡运动过程中无人机可以通过调整自身的高度,与操作者保持预设的相对高度,避免发生碰撞事故。优选的,第一预设高度差为0.5米。类似地,当操作者和无人机之间的高度差大于第二预设高度差时,则控制无人机的飞行状态,将所述高度差降低至所述第二预设高度差。通过这种方式,在上坡运动过程中无人机可以通过调整自身的高度,与操作者保持预设的相对高度,避免发生碰撞事故。优选的,第二预设高度差为0.5米。
本发明实施例所示的无人机相对方位控制方法,通过无人机与用户之间的相对方位,实时调整无人机的飞行状态,从而实现使无人机与用户的相对方位控制。相较于现有技术减小了无人机控制操作的复杂度、也减小了操作失误的隐患。需要说明的是,本实施例中的用户不仅可以是一个真实的人,其还可以是其他无人机,或地面上的汽车等设备。
另一实施例是在前一实施例的基础上做出的改进,为了预防无人机丢失和安全事故,当无人机确定以下任意一种方位偏离状态条件被满足时,基于信任连接向穿戴设备发送告警指令:所述第三相对方位信息表征的距离的变化率大于预设速度范围;所述第三相对方位信息表征的高度差小于第一预设高度差;所述第三相对方位信息表征的高度差大于第二预设高度差。
无人机检测出上述环境变化的影响时,通过向穿戴设备发送告警指令,以提示用户当前的无人机处于方位偏离状态。有利于用户及时做出相应的调整,减少了无人机丢失和发生安全事故的隐患。
在本发明的某些实施例中,实现无人机对穿戴设备发射红外光的驱动控制,减少穿戴设备电能的损耗,还包括如下前置步骤:基于信任连接,向穿戴设备发送用于驱动其发射红外光的驱动指令。
无人机和穿戴设备通常通过通信连接以实现数据和指令的传输,一般而言,采用无线通信的连接方式。甚至,在某些情况下,例如无人机和穿戴设备之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和遥控装置才能进行交互操作。
如前所述,为了提高无人机控制的准确性和安全性,本发明的另一实施例中进一步包括以下前置步骤:通过通信连接,对穿戴设备进行身份验证;当身份验证成功时,本无人机和所述穿戴设备建立信任连接。通过该前置步骤,使得只有已经通过身份(ID)验证的穿戴设备才能和无人机建立信任连接,进而实现交互操作,防止识别设备误判或他人恶意干扰,提高系统准确性和安全性。
通过对本发明的无人机相对方位控制方法的揭示可以知晓,本发明的实施,通过红外成像确定手势区域和识别手势,并结合无人机自身的方位信息确定相对方位,可以提高实现无人机相对方位控制的效率,提升用户体验。
请参阅图5,本发明的用于穿戴设备的无人机相对方位辅助控制方法的实施例中,其包括如下步骤:
步骤S21,基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令。
穿戴设备与无人机通过手势识别和通信连接进行交互。一般而言,所述通信连接采用无线通信的连接方式。甚至,在某些情况下,例如穿戴设备和无人机之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,还可以采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和穿戴设备才能进行交互操作。在可能的实施例中,无人机和穿戴设备之间的信任连接可以为蓝牙信任连接、近场通信连接、UBW信任连接、ZigBee信任连接或互联网信任连接中的任意一种或几种。穿戴设备基于上述连接,接收无人机的驱动指令,所述驱动指令用于驱动穿戴设备发射红外光。
步骤S22,响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制。
穿戴设备包括红外发光组件,在一种实施例中,红外发光组件的红外光二极管沿穿戴设备的侧边线性排列布置。红外发光组件预设一个或多个红外点光源,如红外发光二极管等,用于发射红外光。另一实施例是在前一实施例的基础上做出的改进,为了使穿戴设备发出的红外光有利于手势识别,穿戴设备适于布置在手臂部,使得手势实施区域位于穿戴设备与识别设备之间。一种可能的设计中,穿戴设备响应于无人机的所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光而形成红外光环,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制。
穿戴设备的红外发光组件发射红外光后,导致所述无人机可基于红外成像捕捉手势,而生成相应的手势交互事件。穿戴设备发出的红外光在用户手背部发生漫反射,“照亮”手部轮廓,使得用户的手势区域与背景区域在红外成像中被红外光所区分。此外,所述红外光也可能被手部所部分吸收,使手部的红外成像更加明显。因此,所述无人机基于红外成像进行手势分割,能够减少处理器的计算量,缩短响应时间,提高手势识别和无人机相对位置控制的效率和准确性,尤其在当无人机或用户处于移动过程中时,其效果尤为显著。
一种实施例中,穿戴设备响应于驱动指令,仅驱动所述红外发光组件中的预设的一个或多个红外点光源发射红外光。以便于根据实际使用环境进行调节。例如,在背景相对复杂或环境光线相对昏暗时,驱动较多的红外点光源发光;反之,则驱动较少的红外点光源发光。从而在保证使用效果的情况下降低穿戴设备的能耗,延长使用时间。
另一种实施例中,红外发光组件受控发射的红外光的波长范围为:0.76~2.5um。使得识别设备获取的红外图像中的手部轮廓主要由手部反射的红外光所形成,对人体较为安全,且识别效果更佳。
步骤S23,基于信任连接,接收无人机的告警指令。
穿戴设备与无人机可通过无线通信的进行交互。在某些情况下,例如穿戴设备和无人机之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,还可以采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和穿戴设备才能进行交互操作。
为了预防无人机丢失和安全事故,穿戴设备基于信任连接,接收无人机在确定方位偏离状态条件被满足时发送告警指令,用于提示用户当前的无人机处于方位偏离状态。
步骤S24,响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
穿戴设备接收所述告警指令后,响应于该告警指令,相应地启动振动马达和/或开启指示灯。其中,振动马达的振动模式和/或指示灯的闪动模式可为预设模式或为根据告警指令表征的不同的无人机方位偏离状态而对应设置的模式;可在出厂时设置,或由用户自行设置。
通过提示用户当前的无人机处于方位偏离状态,便于用户及时做出相应的调整,减少了无人机丢失和发生安全事故的隐患。
在本发明的某些实施例中,为了减少穿戴设备电能的损耗,还包括如下并发步骤:计算所述红外发光组件的工作时长,当该工作时长超过时长预定值时,控制所述红外发光组件停止发射红外光。使得穿戴设备可在发光组件发光时间超过预定时长之后,自动关闭红外组件。从而有效防止由于用户疏忽等原因而浪费电能,且用户也可以自行设置时长预定值来控制红外发光组件的发光时长,提高工作效率。
如前所述,在本发明的某些实施例中,为了提高无人机相对方位控制的准确性和安全性,本发明的用于穿戴设备的无人机相对方位辅助控制方法还包括以下前置步骤:通过通信连接,向无人机发送身份验证请求;当身份验证成功时,所述穿戴设备和所述无人机建立信任连接。通过该前置步骤,使得只有已经通过身份(ID)验证的穿戴设备才能和所述无人机建立信任连接,进而实现交互操作,防止无人机误判或他人恶意干扰,提高系统准确性和安全性。
通过对本发明的用于穿戴设备的无人机相对方位辅助控制方法的揭示可以知晓,本发明的实施,通过与无人机进行红外手势和通信交互,能够提高无人机相对方位控制的效率,提升用户体验。
依据模块化设计思维,本发明在上述无人机相对方位控制方法的基础上,进一步提出一种无人机相对方位控制装置。
请参阅图6,本发明的无人机相对方位控制装置的实施例中,其包括摄像单元11,识别单元12,检测单元13,控制单元14,各单元所实现的功能具体揭示如下:
摄像单元11,用于获取穿戴设备发射的红外光作用于手势区域后形成的红外图像。
无人机通常包括摄像单元11,处理器,储存器等,基于计算机视觉进行手势识别。一种实施例中,无人机包括至少一个具有红外成像功能的摄像头,无人机获取穿戴设备发射的红外光作用下形成的红外图像,依据红外图像将手势区域与背景区域分离以完成手势分割,以实现红外手势识别。
摄像单元11包括至少一个摄像头,在可能的实施例中,摄像单元11可以通过IR-CUT双滤镜技术、IR镜头技术、红外感应CCD技术中的任意一种或任意多种获取红外图像。
穿戴设备发射出红外光照射到用户的手背部,使用户的手势区域的轮廓被红外光所“照亮”,形成手势区域的红外图像。使得用户的手势区域与背景区域在红外成像中被红外光所区分。
识别单元12,被配置为依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型。
如前所述,无人机依据红外图像将手势区域与背景区域分离以完成手势分割,能够确定手势区域。在一些可能的实施例中,还可利用图像算法使无人机的摄像单元11锁定所述手势区域。一种实施例中,识别单元12所述依据红外图像确定所述手势区域和所述手势指令类型的过程包括:从摄像单元11获取的预览红外图像中获取的一帧或多帧图像;确定所述多帧图像中由红外光描述轮廓的手势区域;基于所述手势区域提取手势特征数据,将其与预设的手势指令类型描述数据进行匹配,确定相对应的手势指令类型。本发明的实施例中,手势指令类型能够表征相对方位预设值,以用于无人机相对方位控制。
无人机通过摄像单元11获取的视频可以看作由多帧图像组成,在静态手势识别中,只需对其中某一帧或几帧进行手势分析以提取手势特征数据,手势特征数据可以包括手势轮廓数据和/或手势深度数据。而在动态手势识别中,则还需要获取手势的时空特征,动态手势时空轨迹分析的常用方法,主要有两大类:轨迹模板匹配法(TrajectoriesMatching)和状态空间建模法(State Space Modeling)。因而需要对多帧图像进行分析,以获取手势在运动中所产生的时空轨迹。
无人机获取所述红外图像后,识别单元12依据红外图像将手势区域与背景区域分离以完成手势分割,确定由红外光描述的手势区域,而后通过所述手势区域获取手势特征并估计手势模型参数进行手势分析,再根据模型参数对手势进行分类确定对应的手势指令类型,实现红外手势识别。识别方法可以是基于模板匹配,基于隐马尔可夫模型(HMM)或基于神经网络等方法。
由于利用红外光有效增强了手势区域与背景区域的区分度,能够使无人机根据红外成像捕捉手势,确定相应的指令类型。减少了计算资源的占用,缩短用户在背景复杂或光线昏暗的情况下利用手势识别进行无人机相对方位控制所需的响应时间,提高了用户人机交互的效率和准确性,尤其在无人机和/或用户处于移动过程中时,其效果尤为显著。
检测单元13,被配置为检测本无人机与所述手势区域之间的第一相对方位信息。
无人机根据其与所述手势区域之间的相对方位信息确定所述相对位置,需要指出的是,所述无人机的第一相对方位信息包括本无人机与所述手势区域之间的距离信息、方位角信息,高度角信息、高度差信息和本无人机的定位信息中的任意一种或任意多种,因此,第一相对方位信息是一个概括性名词,具体应用时,可以根据需要确定选用此处所列的具体数据。一种实施例中,检测单元13对无人机与所述手势区域之间的第一相对方位信息的检测过程包括:通过本无人机的卫星定位传感器检测本无人机的定位信息;通过本无人机的测距传感器检测本无人机与所述手势区域之间的距离信息;通过本无人机的方向传感器检测本无人机与所述手势区域之间的方位角信息;通过本无人机的陀螺仪传感器检测本无人机与所述手势区域之间的高度角信息,根据所述距离信息和所述高度角信息计算得到本无人机与所述手势区域之间的高度差信息;根据所述定位信息、高度差信息、方位角信息和距离信息计算得到本无人机与所述手势区域之间的相对方位信息。
其中,根据距离信息,可以调整无人机手势区域之间的水平距离,实现无人机与用户之间的水平移动。根据方位角信息,可以调整无人机的机头朝向,或者实际上控制无人机内摄像单元11的拍摄方向,使得当手势区域的位置发生变化时,无人机可以相应的调整其机头或摄像单元11的朝向,使摄像单元11能够一直锁定用户。根据高度差信息,可以调整无人机与操作者之间的相对高度,实现无人机能够在用户做上坡运动或下坡运动时与之保持相对方位为预设值。
在本发明的一些实施例中,第一相对方位信息的定位信息可表征无人机的经纬度坐标A(x1,y1),经纬度坐标可由无人机安装的卫星定位传感器获取,卫星定位传感器的定位功能基于与其连接的卫星定位系统实现,与定位模块相连的卫星系统包括但不限于:GPS定位系统、北斗定位系统、格罗纳斯定位系统或伽利略定位系统;所述距离为无人机与所述手势区域的直线距离l,所述测距传感器为激光测距传感器和/或红外线测距传感器;所述方位角ΦAB又称地平经度(Azimuth(angle),简称Az),表示从无人机的指北方向线起,依顺时针方向到手势区域方向线之间的水平夹角,例如在Android系统中,通过public staticfloat[]getOrientation(float[]R,float[]values)得到方向传感器获取的方位角信息,其范围是(0~359),360/0表示正北,90表示正东,180表示正南,270表示正西;所述高度角θ即从一点至观测目标的方向线与水平面间的夹角,且一般为俯角,可由陀螺仪传感器(gyroscope/gyro,也称陀螺仪)结合上述测距传感器或摄像头测得,进而得到所述高度差h=l×sinθ,根据:
可得到当前手势区域的定位坐标B(x2,y2)。
当然,在某些实施例中,也可利用上述测距传感器或超声波测距传感器检测无人机与地面的相对高度信息,在某些使用场景(如开阔平地)中代替高度差信息。其中,根据距离信息,可以调整无人机与手势区域之间的水平距离,实现无人机与用户之间的水平移动。根据方位角,可以调整无人机的机头朝向,或者控制无人机内摄像单元11的拍摄方向,使得当手势区域的位置发生变化时,无人机可以相应的调整其机头或摄像单元11的朝向,使摄像单元11能够一直锁定用户。根据高度差信息,可以调整无人机与用户之间的高度,实现无人机在用户做上坡运动和下坡运动时保持与之的相对方位。
通过分析计算所述的述定位信息、高度差信息、方位角信息和距离信息,得出无人机的第一相对方位信息,用于表征无人机与手势区域之间的相对方位。第一相对方位信息可根据所述信息利用信息融合算法,如卡尔曼滤波算法而得到,以提高精度。相应地,所述第一相对方位信息可解算出述定位信息、高度差信息、方位角信息和距离信息。或者,第一相对方位信息也可为包含述定位信息、高度差信息、方位角信息和距离信息的数据包。第一相对方位信息表征无人机与所述手势区域之间的相对方位,用于无人机的所述相对方位控制。
控制单元14,被配置为根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
获取前述第一方位信息和确定手势指令类型后,可根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,进而控制单元14根据所述第二相对方位信息相应地控制本无人机调整飞行状态,调整其与所述手势区域之间的相对方位。其中,相对方位预设值可包括调整后的无人机与所述手势区域之间的距离、方位角和高度差等。
因此,所述得到第二相对方位信息后,具体地,控制单元14可根据实际需求,灵活选定以下至少一个方案,使得本无人机与所述手势区域之间的相对方位为所述预设值:
其一,控制本无人机飞往所述第二相对方位信息中的位置信息所表征的坐标位置,使得本无人机与所述手势区域之间的距离与所述预设值中的预设距离相同。
其二,根据所述第二相对方位信息中的方位角信息控制本无人机调整航向角,使得本无人机朝向所述手势区域。
其三,根据所述第二相对方位信息中的第二高度差信息控制本无人机调整飞行高度,使得本无人机与所述手势区域之间的高度差与所述预设值中的高度差或第一相对方位信息所表征的高度差相同。
上述的第二相对方位信息中的位置信息所表征的坐标位置C(x3,y3)可由第一相对方位信息中的位置信息所表征的无人机坐标位置A(x1,y1)和所述预设值,根据前述公式求得。其中,根据航向距离,可以调整无人机与操作者之间的水平距离,实现无人机与操作者之间的水平移动。根据航向角度,可以调整无人机的机头朝向,实际上是在控制无人机内摄像单元11的拍摄方向。这样当遥控器的运动轨迹发生变化时,无人机可以相应的调整机头的朝向,使相机可以一直锁定操作者。根据高度差,可以调整无人机与操作者之间的高度,实现无人机的上坡运动和下坡运动。
在以上方案的实施例中,请参阅图3,在某些使用场景中,控制单元14可以根据所述第一相对方位信息和所述预设值,只改变本无人机与所述手势区域的距离,而保持其方位角和高度差不变,使无人机与手势区域保持预设值中的距离;或者,改变所述方位角,保持其距离和高度差不变,使得无人机环绕手势区域进行拍摄等操作。从而能够使用户简单快捷地实现对无人机相对方位的控制。
由于在实际使用场景中,用户可能处于移动状态,导致因为用户位置或高度变化带来的相对位置改变。因此,为了使无人机保持与所述手势区域的相对方位为所述预设值,在本发明的某些实施例中,在无人机与所述手势区域之间的相对方位为所述预设值之后,所述检测单元13还被配置为:检测本无人机与所述手势区域之间的第三相对方位信息。检测所述第三相对方位信息的原理与步骤与检测所述第一相对方位信息的相同,在此不再赘述。进一步地,还包括确定单元,所述确定单元和所述控制单元14可根据实际需求,按如下至少一个方案进行配置:
其一,所述确定单元被配置为确定所述第三相对方位信息表征的距离的变化率是否大于预设速度范围;所述控制单元14被配置为当大于预设速度范围时,控制本无人机调整飞行速度,使得本无人机与所述手势区域之间的距离在预定距离范围内。
其二,所述确定单元被配置为确定所述第三相对方位信息表征的高度差是否小于第一预设高度差;所述控制单元14被配置为当小于第一预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差提升至所述第一预设高度差。
其三,所述确定单元被配置为确定所述第三相对方位信息表征的高度差是否大于第二预设高度差;所述控制单元14被配置为当所述大于第二预设高度差时,控制本无人机的飞行状态,使本无人机与所述手势区域之间的高度差降低至所述第二预设高度差。
在上述方案中,所述第三相对方位信息表征的距离的变化率可表征用户与本无人机之间的相对速度,通过对本无人机飞行速度的调整,使得本无人机与所述手势区域之间的距离在预定距离范围内。这里的预设速度范围、预定距离范围可以依据实际需要事先设定和/或根据所述手势指令类型表征相对方位预设值而对应得到,目的是保证无人机较好地跟随用户,不至于跟丢,和/或保证无人机拍摄时可拍摄到较清楚的画面。具体而言,由于一般而言测距传感器的更新频率较低,当手势区域以较快速度移动时快速变化时,即用户快速移动时,无人机的反应往往不够迅速,存在延迟现象,因此除了调高测距传感器的更新频率,还可以通过测距传感器测定手势区域的距离,并定时计算手势区域的运动速度并根据该运动速度对无人机的跟随速度进行实时调整,使本无人机可以根据手势区域的移动速度调整飞行速度,从而使无人机与用户保持相对方位为预设范围,达到良好的跟随效果,提升了用户在快速运动时的无人机交互体验。
而如图4所示,当用户和无人机之间的高度差小于第一预设高度差时,则控制无人机的飞行状态,将所述高度差提升至所述第一预设高度差。通过该方案,在用户上坡运动过程中无人机可以通过调整自身的高度,与操作者保持预设的相对高度,避免发生碰撞事故。优选的,第一预设高度差为0.5米。类似地,当操作者和无人机之间的高度差大于第二预设高度差时,则控制无人机的飞行状态,将所述高度差降低至所述第二预设高度差。通过这种方式,在上坡运动过程中无人机可以通过调整自身的高度,与操作者保持预设的相对高度,避免发生碰撞事故。优选的,第二预设高度差为0.5米。
本发明实施例所示的无人机相对方位控制方法,通过无人机与用户之间的相对方位,实时调整无人机的飞行状态,从而实现使无人机与用户的相对方位控制。相较于现有技术减小了无人机控制操作的复杂度、也减小了操作失误的隐患。需要说明的是,本实施例中的用户不仅可以是一个真实的人,其还可以是其他无人机,或地面上的汽车等设备。
另一实施例是在前一实施例的基础上做出的改进,为了预防无人机丢失和安全事故,还包括发送单元,被配置为当无人机确定以下任意一种方位偏离状态条件被满足时,基于信任连接向穿戴设备发送告警指令:所述第三相对方位信息表征的距离的变化率大于预设速度范围;所述第三相对方位信息表征的高度差小于第一预设高度差;所述第三相对方位信息表征的高度差大于第二预设高度差。
无人机检测出上述环境变化的影响时,通过发送单元向穿戴设备发送告警指令,以提示用户当前的无人机处于方位偏离状态。有利于用户及时做出相应的调整,减少了无人机丢失和发生安全事故的隐患。
在本发明的某些实施例中,实现无人机对穿戴设备发射红外光的驱动控制,减少穿戴设备电能的损耗,所述发送单元还被配置为:基于信任连接,向穿戴设备发送用于驱动其发射红外光的驱动指令。
无人机和穿戴设备通常通过通信连接以实现数据和指令的传输,一般而言,采用无线通信的连接方式。甚至,在某些情况下,例如无人机和穿戴设备之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和遥控装置才能进行交互操作。
如前所述,为了提高无人机控制的准确性和安全性,本发明的另一实施例中还包括第一通信单元,被配置为:通过通信连接,对穿戴设备进行身份验证;当身份验证成功时,本无人机和所述穿戴设备建立信任连接。通过该前置步骤,使得只有已经通过身份(ID)验证的穿戴设备才能和无人机建立信任连接,进而实现交互操作,防止识别设备误判或他人恶意干扰,提高系统准确性和安全性。
通过对本发明的无人机相对方位控制装置的揭示可以知晓,本发明的实施,能够通过红外成像确定手势区域和识别手势,并结合无人机自身的方位信息确定相对方位,可以提高无人机相对方位控制的效率,提升用户体验。
依据模块化设计思维,本发明在上述用于穿戴设备的无人机相对方位辅助控制方法的基础上,进一步提出一种用于穿戴设备的无人机相对方位辅助控制装置。
请参阅图7,本发明的用于穿戴设备的无人机相对方位辅助控制装置的实施例中,其包括第一接收单元21,驱动单元22,第二接收单元23,告警单元24,各单元所实现的功能具体揭示如下:
第一接收单元21,被配置为基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令。
穿戴设备与无人机通过手势识别和通信连接进行交互。一般而言,所述通信连接采用无线通信的连接方式。甚至,在某些情况下,例如穿戴设备和无人机之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,还可以采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和穿戴设备才能进行交互操作。在可能的实施例中,无人机和穿戴设备之间的信任连接可以为蓝牙信任连接、近场通信连接、UBW信任连接、ZigBee信任连接或互联网信任连接中的任意一种或几种。穿戴设备的第一接收单元21基于上述连接,接收无人机的驱动指令,所述驱动指令用于驱动穿戴设备发射红外光。
驱动单元22,被配置为响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制。
穿戴设备包括红外发光组件,在一种实施例中,红外发光组件的红外光二极管沿穿戴设备的侧边线性排列布置。红外发光组件预设一个或多个红外点光源,如红外发光二极管等,用于发射红外光。另一实施例是在前一实施例的基础上做出的改进,为了使穿戴设备发出的红外光有利于手势识别,穿戴设备适于布置在手臂部,使得手势实施区域位于穿戴设备与识别设备之间。一种可能的设计中,驱动单元22响应于无人机的所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光而形成红外光环,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制。
穿戴设备的红外发光组件发射红外光后,导致所述无人机基于红外成像捕捉手势,而生成相应的手势交互事件。穿戴设备发出的红外光在用户手背部发生漫反射,“照亮”手部轮廓,使得用户的手势区域与背景区域在红外成像中被红外光所区分。此外,所述红外光也可能被手部所部分吸收,使手部的红外成像更加明显。因此,所述无人机基于红外成像进行手势分割,能够减少处理器的计算量,缩短响应时间,提高手势识别和无人机相对位置控制的效率和准确性,尤其在当无人机或用户处于移动过程中时,其效果尤为显著。
一种实施例中,驱动单元22响应于驱动指令,仅驱动所述红外发光组件中的预设的一个或多个红外点光源发射红外光。以便于根据实际使用环境进行调节。例如,在背景相对复杂或环境光线相对昏暗时,驱动较多的红外点光源发光;反之,则驱动较少的红外点光源发光。从而在保证使用效果的情况下降低穿戴设备的能耗,延长使用时间。
另一种实施例中,红外发光组件受控发射的红外光的波长范围为:0.76~2.5um。使得识别设备获取的红外图像中的手部轮廓主要由手部反射的红外光所形成,对人体较为安全,且识别效果更佳。
第二接收单元23,被配置为基于信任连接,接收无人机的告警指令。
穿戴设备与无人机可通过无线通信的进行交互。在某些情况下,例如穿戴设备和无人机之间距离较远,或环境电磁条件复杂等,还可以通过信号中继器等信号放大设备进行连接。在一种实施例中,为了保证人机交互控制的准确性和安全性,还可以采用信任连接的方式,使得只有已经通过身份(ID)验证的无人机和穿戴设备才能进行交互操作。
为了预防无人机丢失和安全事故,第二接收单元23基于信任连接,接收无人机在确定方位偏离状态条件被满足时发送告警指令,用于提示用户当前的无人机处于方位偏离状态。
告警单元24,被配置为响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
穿戴设备接收所述告警指令后,告警单元24响应于该告警指令,相应地启动振动马达和/或开启指示灯。其中,振动马达的振动模式和/或指示灯的闪动模式可为预设模式或为根据告警指令表征的不同的无人机方位偏离状态而对应设置的模式;可在出厂时设置,或由用户自行设置。
通过提示用户当前的无人机处于方位偏离状态,便于用户及时做出相应的调整,减少了无人机丢失和发生安全事故的隐患。
在本发明的某些实施例中,为了减少穿戴设备电能的损耗,还包括关闭单元,被配置为:计算所述红外发光组件的工作时长,当该工作时长超过时长预定值时,控制所述红外发光组件停止发射红外光。使得穿戴设备可在发光组件发光时间超过预定时长之后,自动关闭红外组件。从而有效防止由于用户疏忽等原因而浪费电能,且用户也可以自行设置时长预定值来控制红外发光组件的发光时长,提高工作效率。
如前所述,在本发明的某些实施例中,为了提高无人机相对方位控制的准确性和安全性,本发明的用于穿戴设备的无人机相对方位辅助控制装置还包括第二通信单元,被配置为:通过通信连接,向无人机发送身份验证请求;当身份验证成功时,所述穿戴设备和所述无人机建立信任连接。通过该前置步骤,使得只有已经通过身份(ID)验证的穿戴设备才能和所述无人机建立信任连接,进而实现交互操作,防止无人机误判或他人恶意干扰,提高系统准确性和安全性。
通过对本发明的用于穿戴设备的无人机相对方位辅助控制装置的揭示可以知晓,本发明的实施,能够通过与无人机进行红外手势和通信交互,提高无人机相对方位控制的效率,提升用户体验。
请参阅图8,本发明另一实施例中进一步提供了一种无人机控制装置,该无人机控制装置具有实现上述无人机相对方位控制方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
在一个可能的设计中,无人机控制装置的结构中包括:
一个或多个摄像头707,其中至少一个摄像头具有红外成像功能;
一个或多个传感器708,用于检测所述相对方位信息;
存储器702,用于存储支持穿戴设备执行上述无人机相对方位控制方法的程序;
通信接口703,用于上述无人机与穿戴设备或其他设备或通信网络通信;
一个或多个处理器704,用于执行所述存储器中存储的程序;
一个或多个应用程序705,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序705用于驱动所述一个或多个处理器704构造用于执行上述任意一项无人机相对方位控制方法的单元。
图8示出的是与本发明实施例提供的无人机相对方位控制装置相关的无人机部分结构的框图。包括:存储器702、通信接口703、一个或多个处理器704、一个或多个应用程序705、电源706、一个或多个摄像头707、以及一个或多个传感器708等部件。本领域技术人员可以理解,图8中示出的结构并不构成对无人机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对无人机的各个构成部件进行具体的介绍:
存储器702可用于存储软件程序以及模块,处理器704通过运行存储在存储器702的软件程序以及模块,从而执行无人机的各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序705等;存储数据区可存储根据无人机的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储区702,还可以包括非易失性存储区702,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通信接口703,用于上述控制过程中无人机与穿戴设备及其他设备或通信网络通信。通信接口703是处理器704与外界子系统进行通信的接口,用于处理器704与外界系统之间信息的传输,以达到控制子系统的目的。
处理器704是无人机的控制中心,利用各种通信接口703和线路连接整个无人机相对方位控制装置的各个部分,通过运行或执行存储在存储区702内的软件程序和/或模块,以及调用存储在存储区702内的数据,执行无人机的各种功能和处理数据,从而对无人机进行整体监控。可选的,处理器704可包括一个或多个处理单元;优选的,处理器704可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序705等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器704中。
一个或多个应用程序705,优选地,这些应用程序705都被存储在所述存储区702中并被配置为由所述一个或多个处理器704执行,所述一个或多个程序被配置为无人机相对方位控制方法的任何实施例所实现的功能。
给各个部件供电的电源706(比如电池),优选的,电源706可以通过电源管理系统与处理器704逻辑相连,从而通过电源706管理系统实现管理充电、放电、以及功耗管理等功能。
此外无人机还可包括一个或多个摄像头707,其中至少包括一个具有红外成像功能的摄像头,这些摄像头707与处理器704连接并受处理器704所控制,摄像头707获取的图像可存储于存储器702中。
一个或多个传感器708,包括惯性传感器(Inertial measurement unit,简称IMU,含加速度传感器、陀螺仪传感器)、磁强计、方向传感器、测距传感器、卫星定位传感器(例如GPS传感器、北斗传感器等)、图像传感器等,用于生成各种传感器数据从而生成用于无人机控制的方位角信息、航向信息、图像信息、定位信息、距离信息等,从而反映无人机飞行中的各项参数,便于无人机做自身的调整,以实现无人机相对方位控制。
尽管未示出,无人机还可以包括蓝牙模块等,在此不再赘述。
在本发明实施例中,该无人机所包括的处理器704还具有以下功能:
获取穿戴设备发射的红外光作用下形成的红外图像;
依据所述红外图像确定手势区域和表征相对方位预设值的手势指令类型;
检测本无人机与所述手势区域之间的第一相对方位信息;
根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
本发明实施例中还提供了一种计算机存储介质,用于储存为上述无人机相对方位控制装置所用的计算机软件指令,其包含用于执行上述为所述无人机所设计的程序。
请参阅图9,本发明另一实施例中进一步提供了一种穿戴设备控制装置,该无人机控制装置具有实现上述中用于穿戴设备无人机辅助相对方位控制方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
在一个可能的设计中,无人机控制装置的结构中包括:
存储器702,用于存储支持穿戴设备执行上述用于穿戴设备的无人机相对方位辅助控制方法的程序;
通信接口703,用于上述穿戴设备与无人机或其他设备或通信网络通信;
振动马达和/或指示灯710,用于提示用户当前无人机的状态;
一个或多个处理器704,用于执行所述存储器中存储的程序;
红外发光组件709,包括一个或多个红外光源,用于发射红外光;
一个或多个应用程序705,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序705用于驱动所述一个或多个处理器704构造用于执行上述任意一项穿戴设备无人机辅助相对方位控制方法的单元。
图9示出的是与本发明实施例提供的穿戴设备控制装置相关的智能手环的部分结构的框图。包括:存储器702、通信接口703、一个或多个处理器704、一个或多个应用程序705、电源706、红外发光组件709、指示灯710等部件。本领域技术人员可以理解,图9中示出的结构并不构成对手环的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图9对智能手环的各个构成部件进行具体的介绍:
其中,存储器702可用于存储软件程序以及模块,处理器704通过运行存储在存储器702的软件程序以及模块,从而执行穿戴设备的各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序705等;存储数据区可存储根据穿戴设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储区702,还可以包括非易失性存储区702,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通信接口703,用于上述控制过程中智能手环与无人机相对方位控制装置及其他设备或通信网络通信。通信接口703是处理器704与外界子系统进行通信的接口,用于处理器704与外界系统之间信息的传输,以达到控制子系统的目的。
处理器704是智能手环的控制中心,利用各种通信接口703和线路连接整个穿戴设备的各个部分,通过运行或执行存储在存储区702内的软件程序和/或模块,以及调用存储在存储区702内的数据,执行穿戴设备的各种功能和处理数据,从而对穿戴设备进行整体监控。可选的,处理器704可包括一个或多个处理单元;优选的,处理器704可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序705等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器704中。
一个或多个应用程序705,优选地,这些应用程序705都被存储在所述存储区702中并被配置为由所述一个或多个处理器704执行,所述一个或多个程序被配置为用于执行用于用于穿戴设备的无人机相对方位辅助控制方法的任何实施例所实现的功能。
红外发光组件709,预设一个或多个红外点光源,如红外发光二极管等,用于发射红外光。
指示灯710,其闪动模式可为预设模式或为根据告警指令表征的不同的无人机方位偏离状态而对应设置的模式;用于提示用户当前的无人机处于方位偏离状态。
在本发明实施例中,该穿戴设备所包括的处理器704还具有以下功能:
基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令;
响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制;
基于信任连接,接收无人机的告警指令;
响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,本领域内技术人员可以理解,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令来控制相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的无人机相对方位控制方法及装置进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种无人机相对方位控制方法,其特征在于,包括如下步骤:
获取穿戴设备发射的红外光作用于手势区域后形成的红外图像;
依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型;
检测本无人机与所述手势区域之间的第一相对方位信息;
根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
2.根据权利要求1所述的无人机相对方位控制方法,其特征在于,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态的过程具体包括:
根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,根据所述第二相对方位信息控制本无人机调整飞行状态。
3.根据权利要求2所述的无人机相对方位控制方法,其特征在于,所述根据所述第二相对方位信息控制本无人机调整飞行状态的过程具体包括:
控制本无人机飞往所述第二相对方位信息中的位置信息所表征的坐标位置,使得本无人机与所述手势区域之间的距离与所述预设值中的预设距离相同。
4.一种用于穿戴设备的无人机相对方位辅助控制方法,其特征在于,包括如下步骤:
基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令;
响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制;
基于信任连接,接收无人机的告警指令;
响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
5.根据权利要求4所述的用于穿戴设备的无人机相对方位辅助控制方法,其特征在于,还包括如下前置步骤:
通过通信连接,向无人机发送身份验证请求;
当身份验证成功时,所述穿戴设备和所述无人机建立信任连接。
6.一种无人机相对方位控制装置,其特征在于,包括:
摄像单元,用于获取穿戴设备发射的红外光作用于手势区域后形成的红外图像;
识别单元,被配置为依据所述红外图像确定由红外光描述轮廓的手势区域和表征相对方位预设值的手势指令类型;
检测单元,被配置为检测本无人机与所述手势区域之间的第一相对方位信息;
控制单元,被配置为根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态,使得本无人机与所述手势区域之间的相对方位为所述预设值。
7.根据权利要求6所述的无人机相对方位控制装置,其特征在于,所述控制单元中,根据所述第一相对方位信息和所述手势指令类型控制本无人机的飞行状态的过程具体包括:
根据第一相对方位信息和所述手势指令类型所表征的相对方位预设值计算得到第二相对方位信息,根据所述第二相对方位信息控制本无人机调整飞行状态。
8.一种用于穿戴设备的无人机相对方位辅助控制装置,其特征在于,包括:
第一接收单元,被配置为基于信任连接,接收无人机的用于驱动穿戴设备发射红外光的驱动指令;
驱动单元,被配置为响应于所述驱动指令,驱动穿戴设备预置的红外发光组件发射红外光,使得无人机基于红外成像确定手势区域和表征相对方位预设值的手势指令类型,以应用于无人机相对方位控制;
第二接收单元,被配置为基于信任连接,接收无人机的告警指令;
告警单元,被配置为响应于所述告警指令,控制穿戴设备启动振动马达和/或开启指示灯,以提示用户当前无人机处于方位偏离状态。
9.一种无人机控制装置,其特征在于,包括:
一个或多个摄像头,其中至少一个摄像头具有红外成像功能;
一个或多个传感器,用于检测所述相对方位信息;
存储器,用于存储支持穿戴设备执行上述无人机相对方位控制方法的程序;
通信接口,用于上述无人机与穿戴设备或其他设备或通信网络通信;
一个或多个处理器,用于执行所述存储器中存储的程序;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行权利要求1至3中任意一项所述的无人机相对方位控制方法的单元。
10.一种穿戴设备控制装置,其特征在于,包括:
存储器,用于存储支持穿戴设备执行上述用于穿戴设备的无人机相对方位辅助控制方法的程序;
通信接口,用于上述穿戴设备与无人机或其他设备或通信网络通信;
振动马达和/或指示灯,用于提示用户当前无人机的状态;
一个或多个处理器,用于执行所述存储器中存储的程序;
红外发光组件,包括一个或多个红外光源,用于发射红外光;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;
所述一个或多个程序用于驱动所述一个或多个处理器构造用于执行权利要求4至5中任意一项所述的用于穿戴设备的无人机相对方位辅助控制方法的单元。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611114763.4A CN106444843B (zh) | 2016-12-07 | 2016-12-07 | 无人机相对方位控制方法及装置 |
PCT/CN2017/114974 WO2018103689A1 (zh) | 2016-12-07 | 2017-12-07 | 无人机相对方位控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611114763.4A CN106444843B (zh) | 2016-12-07 | 2016-12-07 | 无人机相对方位控制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106444843A true CN106444843A (zh) | 2017-02-22 |
CN106444843B CN106444843B (zh) | 2019-02-15 |
Family
ID=58216143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611114763.4A Expired - Fee Related CN106444843B (zh) | 2016-12-07 | 2016-12-07 | 无人机相对方位控制方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106444843B (zh) |
WO (1) | WO2018103689A1 (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107024725A (zh) * | 2017-05-31 | 2017-08-08 | 长沙傲英创视信息科技有限公司 | 一种大视场微光低空无人机探测装置 |
CN107643074A (zh) * | 2017-09-07 | 2018-01-30 | 天津津航技术物理研究所 | 一种航空扫描仪摆扫成像方位预置方法 |
WO2018103689A1 (zh) * | 2016-12-07 | 2018-06-14 | 北京奇虎科技有限公司 | 无人机相对方位控制方法及装置 |
WO2018195883A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
CN109270954A (zh) * | 2018-10-30 | 2019-01-25 | 西南科技大学 | 一种基于姿态识别的无人机交互系统及其控制方法 |
CN109690440A (zh) * | 2017-03-31 | 2019-04-26 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行控制方法及无人机 |
CN109725637A (zh) * | 2018-12-04 | 2019-05-07 | 广东嘉腾机器人自动化有限公司 | 一种agv防丢包调度方法、存储装置及agv交管系统 |
CN110832419A (zh) * | 2018-07-25 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
TWI696122B (zh) * | 2017-04-17 | 2020-06-11 | 英華達股份有限公司 | 無人機互動拍攝系統方法 |
CN112051856A (zh) * | 2020-07-31 | 2020-12-08 | 深圳市贝贝特科技实业有限公司 | 用于无人机动态回收的复合传感系统 |
WO2021026780A1 (zh) * | 2019-08-13 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 拍摄控制方法、终端、云台、系统及存储介质 |
CN113568596A (zh) * | 2020-04-29 | 2021-10-29 | 阿里巴巴集团控股有限公司 | 电子设备 |
CN114442305A (zh) * | 2020-11-02 | 2022-05-06 | 上海迈利船舶科技有限公司 | 一种视觉增强ais船舶望远镜 |
CN114879715A (zh) * | 2018-01-23 | 2022-08-09 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备和无人机 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857260A (zh) * | 2019-02-27 | 2019-06-07 | 百度在线网络技术(北京)有限公司 | 三维互动影像的控制方法、装置和系统 |
CN114585985A (zh) * | 2020-11-05 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置、无人机及计算机可读存储介质 |
CN114730193A (zh) * | 2020-11-06 | 2022-07-08 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、系统、无人机及存储介质 |
CN115841487B (zh) * | 2023-02-20 | 2023-06-09 | 深圳金三立视频科技股份有限公司 | 一种沿输电线路的隐患定位方法及终端 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138126A (zh) * | 2015-08-26 | 2015-12-09 | 小米科技有限责任公司 | 无人机的拍摄控制方法及装置、电子设备 |
CN105518576A (zh) * | 2013-06-28 | 2016-04-20 | 陈家铭 | 根据手势的控制装置操作 |
WO2016078742A1 (de) * | 2014-11-20 | 2016-05-26 | Audi Ag | Verfahren zum betreiben eines navigationssystems eines kraftfahrzeugs mittels einer bediengeste |
CN105677300A (zh) * | 2016-02-04 | 2016-06-15 | 普宙飞行器科技(深圳)有限公司 | 基于手势识别操控无人机的方法、无人机及系统 |
CN105676860A (zh) * | 2016-03-17 | 2016-06-15 | 歌尔声学股份有限公司 | 一种可穿戴设备、无人机控制装置和控制实现方法 |
CN106054914A (zh) * | 2016-08-17 | 2016-10-26 | 腾讯科技(深圳)有限公司 | 一种飞行器的控制方法及飞行器控制装置 |
CN106094846A (zh) * | 2016-05-31 | 2016-11-09 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机飞行控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106444843B (zh) * | 2016-12-07 | 2019-02-15 | 北京奇虎科技有限公司 | 无人机相对方位控制方法及装置 |
-
2016
- 2016-12-07 CN CN201611114763.4A patent/CN106444843B/zh not_active Expired - Fee Related
-
2017
- 2017-12-07 WO PCT/CN2017/114974 patent/WO2018103689A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105518576A (zh) * | 2013-06-28 | 2016-04-20 | 陈家铭 | 根据手势的控制装置操作 |
WO2016078742A1 (de) * | 2014-11-20 | 2016-05-26 | Audi Ag | Verfahren zum betreiben eines navigationssystems eines kraftfahrzeugs mittels einer bediengeste |
CN105138126A (zh) * | 2015-08-26 | 2015-12-09 | 小米科技有限责任公司 | 无人机的拍摄控制方法及装置、电子设备 |
CN105677300A (zh) * | 2016-02-04 | 2016-06-15 | 普宙飞行器科技(深圳)有限公司 | 基于手势识别操控无人机的方法、无人机及系统 |
CN105676860A (zh) * | 2016-03-17 | 2016-06-15 | 歌尔声学股份有限公司 | 一种可穿戴设备、无人机控制装置和控制实现方法 |
CN106094846A (zh) * | 2016-05-31 | 2016-11-09 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机飞行控制方法 |
CN106054914A (zh) * | 2016-08-17 | 2016-10-26 | 腾讯科技(深圳)有限公司 | 一种飞行器的控制方法及飞行器控制装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018103689A1 (zh) * | 2016-12-07 | 2018-06-14 | 北京奇虎科技有限公司 | 无人机相对方位控制方法及装置 |
CN109690440A (zh) * | 2017-03-31 | 2019-04-26 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行控制方法及无人机 |
TWI696122B (zh) * | 2017-04-17 | 2020-06-11 | 英華達股份有限公司 | 無人機互動拍攝系統方法 |
CN109196439B (zh) * | 2017-04-28 | 2022-04-29 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
WO2018195883A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
CN109196439A (zh) * | 2017-04-28 | 2019-01-11 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
CN114879720A (zh) * | 2017-04-28 | 2022-08-09 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、设备及无人飞行器 |
CN107024725B (zh) * | 2017-05-31 | 2023-09-22 | 湖南傲英创视信息科技有限公司 | 一种大视场微光低空无人机探测装置 |
CN107024725A (zh) * | 2017-05-31 | 2017-08-08 | 长沙傲英创视信息科技有限公司 | 一种大视场微光低空无人机探测装置 |
CN107643074A (zh) * | 2017-09-07 | 2018-01-30 | 天津津航技术物理研究所 | 一种航空扫描仪摆扫成像方位预置方法 |
CN114879715A (zh) * | 2018-01-23 | 2022-08-09 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备和无人机 |
CN110832419A (zh) * | 2018-07-25 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
CN109270954A (zh) * | 2018-10-30 | 2019-01-25 | 西南科技大学 | 一种基于姿态识别的无人机交互系统及其控制方法 |
CN109725637B (zh) * | 2018-12-04 | 2021-10-15 | 广东嘉腾机器人自动化有限公司 | 一种agv防丢包调度方法、存储装置及agv交管系统 |
CN109725637A (zh) * | 2018-12-04 | 2019-05-07 | 广东嘉腾机器人自动化有限公司 | 一种agv防丢包调度方法、存储装置及agv交管系统 |
WO2021026780A1 (zh) * | 2019-08-13 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 拍摄控制方法、终端、云台、系统及存储介质 |
CN113568596A (zh) * | 2020-04-29 | 2021-10-29 | 阿里巴巴集团控股有限公司 | 电子设备 |
CN112051856A (zh) * | 2020-07-31 | 2020-12-08 | 深圳市贝贝特科技实业有限公司 | 用于无人机动态回收的复合传感系统 |
CN112051856B (zh) * | 2020-07-31 | 2024-01-19 | 深圳市贝贝特科技实业有限公司 | 用于无人机动态回收的复合传感系统 |
CN114442305A (zh) * | 2020-11-02 | 2022-05-06 | 上海迈利船舶科技有限公司 | 一种视觉增强ais船舶望远镜 |
Also Published As
Publication number | Publication date |
---|---|
WO2018103689A1 (zh) | 2018-06-14 |
CN106444843B (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106444843A (zh) | 无人机相对方位控制方法及装置 | |
US11797009B2 (en) | Unmanned aerial image capture platform | |
US11604479B2 (en) | Methods and system for vision-based landing | |
CN110494360B (zh) | 用于提供自主摄影及摄像的系统和方法 | |
US9977434B2 (en) | Automatic tracking mode for controlling an unmanned aerial vehicle | |
CN111448476B (zh) | 在无人飞行器与地面载具之间共享绘图数据的技术 | |
CN110692027B (zh) | 用于提供无人机应用的易用的释放和自动定位的系统和方法 | |
EP3452881B1 (en) | Imaging using multiple unmanned aerial vehicles | |
CN106292799B (zh) | 无人机、遥控装置及其控制方法 | |
US11567513B2 (en) | Unmanned aerial vehicle control system, unmanned aerial vehicle control method, and program | |
CN105157708A (zh) | 基于图像处理与雷达的无人机自主导航系统及方法 | |
CN105182992A (zh) | 无人机的控制方法、装置 | |
WO2021127888A1 (zh) | 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质 | |
CN106647788B (zh) | 无人机飞行控制方法及装置 | |
JP2025016555A (ja) | 位置算出方法及び情報処理システム | |
CN107340780A (zh) | 多旋翼飞行器的控制方法、装置和系统 | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
CN116745725A (zh) | 使用无人机确定物体位置的系统和方法 | |
CN220518585U (zh) | 一种可自主避障的超低空抵近侦察无人机设备 | |
KR102334509B1 (ko) | 무인기와 무선단말기 간의 상호 인식 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190215 Termination date: 20211207 |
|
CF01 | Termination of patent right due to non-payment of annual fee |