[go: up one dir, main page]

CN110782481B - 无人艇智能决策方法及系统 - Google Patents

无人艇智能决策方法及系统 Download PDF

Info

Publication number
CN110782481B
CN110782481B CN201910993637.8A CN201910993637A CN110782481B CN 110782481 B CN110782481 B CN 110782481B CN 201910993637 A CN201910993637 A CN 201910993637A CN 110782481 B CN110782481 B CN 110782481B
Authority
CN
China
Prior art keywords
target
convolution
image
feature
threat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910993637.8A
Other languages
English (en)
Other versions
CN110782481A (zh
Inventor
陈福胜
冷悦
邹尔博
雷波
杨龙河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
717th Research Institute of CSIC
Original Assignee
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 717th Research Institute of CSIC filed Critical 717th Research Institute of CSIC
Priority to CN201910993637.8A priority Critical patent/CN110782481B/zh
Publication of CN110782481A publication Critical patent/CN110782481A/zh
Priority to US17/432,291 priority patent/US12072705B2/en
Priority to PCT/CN2020/120860 priority patent/WO2021073528A1/zh
Application granted granted Critical
Publication of CN110782481B publication Critical patent/CN110782481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/686—Maintaining a relative position with respect to moving targets, e.g. following animals or humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/81—Handing over between on-board automatic and on-board manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明公开了一种无人艇智能决策方法及系统，其中系统包括：图像获取模块，用于获取观测区域的图像序列信号；目标检测识别模块，用于接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；目标态势判别模块，用于根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数；目标威胁评估与决策模块，用于对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪。

Description

无人艇智能决策方法及系统
技术领域
本发明属于模式识别领域，更具体的涉及一种利用外部环境感知装置输出的环境信息，实现目标分类和识别的智能决策装置与智能决策方法。
背景技术
现有无人艇决策方法在可见光图像、红外图像、目标航行轨迹、无人艇位置等环境信息基础上，分别建立目标分类、识别、避障等规则，按照规则采取规避、前进、指挥控制等决策。这种决策方法一定程度上实现了较为初级的智能分类和决策功能，但也存在计算单元分散、目标识别和分类耗时较长、决策功能单一等不足。
以可见光图像目标识别规则为例，可见光图像目标识别规则的建立，需要可见光图像数据和深度学习网络。传统的深度学习网络采用全连接方式的神经网络实现网络参数训练、学习。全连接方式的神经网络在训练需要大量节点的目标数据或者多目标数据时，计算量巨大，训练耗时过长，例如对于M×N图像数据，单次学习经过中间层P个节点至输出层时需要计算M×N×P个权值，上万次的网络训练耗费大量的时间和计算资源。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种无人艇智能决策方法及系统。
本发明解决其技术问题所采用的技术方案是：
提供一种无人艇智能决策系统，其特征在于，包括：
图像获取模块，用于获取观测区域的图像序列信号；
目标检测识别模块，用于接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；
目标态势判别模块，用于根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数，包括角度威胁因子、速度威胁因子、高度威胁因子、距离威胁因子、目标类型因子；
目标威胁评估与决策模块，用于根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪。
接上述技术方案，在确定预设关注目标所占图像区域时，以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标。
接上述技术方案，所述图像序列信号包括可见光图像和红外图像的序列信号。
接上述技术方案，所述卷积神经网络模型的具体生成过程为：
将包括可见光图像、红外图像、目标航行轨迹、无人艇位置的环境信息作为卷积层的输入；
通过卷积层的卷积模板对输入的图像特征进行不断的抽象和组合得到高层卷积特征图；
通过池化层对卷积层输出的高层卷积特征图进行聚合统计，降低特征向量的维数，输出关注目标特征图的聚合数值；
池化层输出关注目标特征图的聚合数值输入卷积神经网络的全连接层，输出目标类型特征值；
全连接层输出的目标类型特征值作为反向传播的输入值，用梯度下降法修正卷积层的卷积模板和全连接层权值，完成一次卷积神经网络训练过程。
接上述技术方案，对高层卷积特征图的权值进行二次更新，在卷积层中引入红外特征及红外特征卷积模板，将红外特征值与红外特征卷积模板相乘获取红外特征权值矩阵，红外特征权值矩阵与一个图像像素矩阵的特征提取卷积模板获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与另一个图像像素矩阵的特征提取卷积模板卷积获取的特征图再相加获得图像特征图。
本发明还提供了一种无人艇智能决策方法，包括以下步骤：
获取观测区域的图像序列信号；
根据接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；
根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数，包括角度威胁因子、速度威胁因子、高度威胁因子、距离威胁因子、目标类型因子；
根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪。
接上述技术方案，在确定预设关注目标所占图像区域时，以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标。
接上述技术方案，所述图像序列信号包括可见光图像和红外图像的序列信号。
接上述技术方案，所述卷积神经网络模型的具体生成过程为：
将包括可见光图像、红外图像、目标航行轨迹、无人艇位置的环境信息作为卷积层的输入；
通过卷积层的卷积模板对输入的图像特征进行不断的抽象和组合得到高层卷积特征图；
通过池化层对卷积层输出的高层卷积特征图进行聚合统计，降低特征向量的维数，输出关注目标特征图的聚合数值；
池化层输出关注目标特征图的聚合数值输入卷积神经网络的全连接层，输出目标类型特征值；
全连接层输出的目标类型特征值作为反向传播的输入值，用梯度下降法修正卷积层的卷积模板和全连接层权值，完成一次卷积神经网络训练过程。
接上述技术方案，该方法还包括步骤：对高层卷积特征图的权值进行二次更新，在卷积层中引入红外特征及红外特征卷积模板，将红外特征值与红外特征卷积模板相乘获取红外特征权值矩阵，红外特征权值矩阵与一个图像像素矩阵的特征提取卷积模板获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与另一个图像像素矩阵的特征提取卷积模板卷积获取的特征图再相加获得图像特征图。
本发明产生的有益效果是：本发明采用卷积神经网络可降低计算量但目标分类和识别参数的训练时间过长，导致动态使用场景下目标分类和识别参数微调时训练速度过慢等问题，采用观测区域的图像序列信号中的外部目标特征如距离、速度、轨迹等辅助卷积神经网络中卷积层卷积模板的权值调整，加速卷积神经网络权值收敛速度，实现动态环境下目标分类和识别参数的快速调整。
进一步地，本发明采用高性能FPGA SOC异构多核高速信号处理器并行处理外部环境感知装置输出的载体位置、姿态、速度以及目标距离、目标方位、目标光电特征，根据训练得到的目标分类和识别参数确定威胁性评估和排序规则、障碍物躲避规则、航行路径调整规则、目标分类和识别规则等，决策装置根据这些规则做出智能选择，提高智能决策的速度和准确度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为威胁评估、动作决策、决策反馈和人机交互关系示意图；
图2为卷积神经网络卷积核卷积示意图；
图3图像目标多维特征提取示意图；
图4目标检测识别流程图；
图5图像处理系统总体框图；
图6目标态势判别流程图；
图7目标威胁评估与决策流程图；
图8智能决策系统示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明利用深度学习网络训练环境感知装置输出数据，有利于确定威胁性评估和排序规则、障碍物躲避规则、航行路径调整规则、目标分类和识别规则、法律法规约束等，再根据规则做出智能决策。这种方法根据环境感知装置输出信息训练深度学习网络，确定威胁性评估和排序规则、障碍物躲避规则、航行路径调整规则、目标分类和识别规则、法律法规约束等，再根据规则做出智能决策。
深层模型的节点权重是通过大量样本数据训练得到的，整个过程以端到端的方式进行。卷积神经网络深度学习网络的特殊形式，卷积神经网络对数据样本的训练效果主要由节点权重决定，智能决策系统所做决策由深度学习网络决定。节点权重根据训练数据更新，这降低了节点权重更新的抗干扰能力。
为了降低训练数据量，针对图像数据的训练采用卷积神经网络的方法。卷积神经网络对输入的图像像素矩阵进行卷积和池化运算，将整幅图像以区域特征叠加的方式提取出整体特征矩阵，相比原图像像素矩阵，大大降低神经网络输入节点数量。
本发明的一种无人艇智能决策系统，包括：
图像获取模块，用于获取观测区域的图像序列信号；图像序列信号可包括可见光图像和红外图像的序列信号。
目标检测识别模块，用于接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；在确定预设关注目标所占图像区域时，可以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标。
目标态势判别模块，用于根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数，包括角度威胁因子、速度威胁因子、高度威胁因子、距离威胁因子、目标类型因子；
目标威胁评估与决策模块，用于根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪。
进一步地，卷积神经网络模型的具体生成过程为：
将包括可见光图像、红外图像、目标航行轨迹、无人艇位置的环境信息作为卷积层的输入；
通过卷积层的卷积模板对输入的图像特征进行不断的抽象和组合得到高层卷积特征图；
通过池化层对卷积层输出的高层卷积特征图进行聚合统计，降低特征向量的维数，输出关注目标特征图的聚合数值；
池化层输出关注目标特征图的聚合数值输入卷积神经网络的全连接层，输出目标类型特征值；
全连接层输出的目标类型特征值作为反向传播的输入值，用梯度下降法修正卷积层的卷积模板和全连接层权值，完成一次卷积神经网络训练过程。
进一步地，还可对高层卷积特征图的权值进行二次更新，在卷积层中引入红外特征及红外特征卷积模板，将红外特征值与红外特征卷积模板相乘获取红外特征权值矩阵，红外特征权值矩阵与一个图像像素矩阵的特征提取卷积模板获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与另一个图像像素矩阵的特征提取卷积模板卷积获取的特征图再相加获得图像特征图。
本发明实施例的无人机智能决策系统主要分为威胁评估、动作决策、决策反馈和人机交互四个功能。图1是威胁评估、动作决策、决策反馈和人机交互关系图。
下面介绍四个功能的具体技术方案：
(1)威胁评估
针对战场环境、目标和任务的不确定性和非线性问题，引入卷积神经网络学习的方法获得不确定性目标的分类和识别。目标分类和识别后，经过威胁评估确定威胁因子和目标因子，再根据决策规则实现智能决策。
所用卷积神经网络的基本构成包括：卷积层、池化层、激活函数。所涉及卷积特征图的权值调整发生在卷积层目标特征的提取上。
①卷积层
卷积层是卷积神经网络最基本和关键的组成部分，其作用是对图像特征进行不断的抽象和组合得到高层特征。卷积层，每一层和前一层之间依靠卷积核连接。每一个卷积核都在前一层特征映射图的局部进行卷积操作，同时由于卷积核表示的是神经元权重。卷积层的定义如下：
其中表示的是第l-1层卷积层的第i个特征图。/>表示的是第l层卷积层的第j个特征图。M表示的是当前卷积层特征图的数量。/>和/>表示卷积层中可训练的权重参数和偏差。f(·)表示非线性的函数，*号表示卷积运算。如公式所示，每一层卷积层的输入都是上一层的输出。卷积层的输入来源于上一层，如果是第一层卷积层，那么输入来源于输入层，即图像。
一幅尺寸为m×n的特征图，通过一个卷积核大小为w×w，步长(stride)为d的过滤器，得到的输出特征图大小为卷积核的个数决定特征图的多少，图2为卷积操作的示意图。
②池化层
池化层(Pooling)即下采样层。其作用是对卷积层输出的特征图进行聚合统计，降低特征向量的维数，避免维数灾难有重要的作用。一般情况下，池化层都是跟随在卷积层的后面。通过对上层特征进行池化操作，可以有效的降低特征维数，减少网络参数，改善网络的过拟合问题，同时池化还能保持某种不变形(旋转、平移、伸缩等)。
③激活函数
激活函数是卷积神经网络框架中非常重要的一个部分，也被称为卷积神经网络的核心所在，也是和原始感知器的区别。该操作是模仿脑神经源接受信号后的激活模型，其定义如下：
卷积神经网络通过反向传播来进行网络参数的更新，一般通过梯度下降法来完成参数的更新，其公式如下：
其中α为学习率，o为某层的输出，k为权值，E为总输出与期望输出的误差，δ为输出层误差，L为网络导数。
④卷积特征图的权值调整
卷积神经网络卷积特征提取采用外部辅助特征如红外特征干预的方式进行。图3所示为图像目标多维特征提取示意图，以2维特征提取为例。图像像素矩阵元素用0和1简单表示，图中像素矩阵右下角用深色标识的9个元素，分别经卷积模板1和卷积模板2作卷积运算后，获得卷积特征元素，卷积特征元素位于卷积特征图右下角深色区域，对像素矩阵按照滑动方式可获得不同卷积特征元素，组成卷积特征图；每一个卷积特征图代表从像素矩阵中提取的一个特征，图3所示两个特征图相加即为最终的合成特征图，称为图像特征图。
两幅特征图直接相加获取图像特征图的方式，忽略了各卷积特征图之间的差异，不同特征对训练结果影响不同。为增强无人艇处理难学习的目标特征，引入红外特征及红外特征卷积模板。以红外特征为1为例，首先，红外特征值1与红外模板相乘获取红外特征权值矩阵，红外特征权值矩阵与卷积模板2获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与卷积模板1卷积获取的特征图再相加获得图像特征图。这一过程有利于在海上实时调整卷积神经网络的训练参数，实现对较为困难的训练场景作适应性调整。
上述①、②、③、④训练过程的卷积神经网络，其输入为可见光图像、红外图像、目标航行轨迹、无人艇位置等环境信息，输出为目标类型和特征。根据目标类型和特征建立威胁评估规则，针对目标的相对角度、速度、距离与高度等信息，确定威胁因子，用于做出动作决策。
(2)动作决策
在数据的基础上，应用确定的规则做出总效益最佳的决策。一个具有自主决策功能的智能系统，应用规则将各种输入的决策信息转化为策略得分，得分最高的策略即为最优决策。各种规则的制定需要具备全面性，准确性和协调性。例如，对不同威胁性的目标标记为跟踪或不必跟踪状态，同时利用无人艇的多个资源锁定威胁性大的目标进行实时跟踪。
(3)决策反馈
决策执行具有实时反馈的功能。目标跟踪协调无人艇速度和航向、探测系统俯仰和焦距等各类资源设备，根据决策信息对目标进行识别、跟踪，并将对目标的识别跟踪信息反馈至主控板，主控板根据反馈的目标距离、方位、速度、角度等信息控制跟踪电视和跟踪红外的跟踪控制。
(4)人机交互
对当前状态进行评估，并汇报当前状态，必要发出人工介入的请求。
本发明建立外部特征辅助的卷积神经网络特征提取方法，该方法通过卷积特征图权值的二次更新，增强辅助特征的提取权重，进而加快网络参数训练速度。无人艇平台面临着复杂的海上应用环境，除了要事先训练好各种类型目标的参数和决策规则外，也要通过海上实时图像，有针对性的训练一类甚至几类目标特征的识别准确率和训练速度，最终实现可实时更新卷积神经网络的训练参数，实现智能决策。
(2)实现智能决策装置轻量化、一体化
智能决策装置的核心是智能决策方法，智能决策方法利用高性能FPGA SOC异构多核高速信号处理器处理图像信息和卷积神经网络计算，缩减处理器数量。标准化接口和模块化装置使其与环境感知装置方便集成，缩小智能决策装置体积和重量，实现决策感知一体化。
基于上述优点，本发明的智能决策装置和智能决策方法可在无人艇上得以广泛应用。
本发明智能决策系统主要由目标检测识别模块、目标态势判别模块、目标威胁评估与决策模块组成。卷积神经网络用在目标检测识别中提取目标特征。
(1)目标检测识别模块
目标检测识别模块接收图像序列信号如图4所示，识别场景中出现的关注目标，并进行标记。其主要功能包括：
①目标存在检测，检测当前场景中是否存在预先指定的关注目标；
②目标图像坐标定位，若当前场景中存在关注目标，确定其所占图像区域，以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标；
③目标类型识别，对关注目标的类型进行判别；
④威胁目标初筛，根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并提出目标持续观察建议。
上述①、②、③、④目标检测和识别的软件部分，主要由卷积神经网络实现。
图4为目标识别模型训练和目标识别判断过程。
目标识别模型训练过程为：
启动卷积神经网络的训练过程，读取目标图像、目标轨迹、红外探测等数据，经过卷积层、池化层、全连接层的前向传播过程，根据损失函数判断训练的模型参数是否满足停止条件，如果满足训练停止条件，则将训练成功的网络模型参数作为目标识别判断过程的输入；如果训练的模型参数没有满足训练停止条件，继续通过反向传播过程，更新卷积层用的卷积模板和全连接层用的权值参数，继续循环执行前向传播、损失计算、停止条件判断、反向传播过程。
目标识别判断过程：
启动目标识别过程，根据输入的目标图像数据，生成目标候选框，利用卷积神经网络训练输出的模型参数判断目标是否存在以及目标的类型，若判断为真实目标而非背景目标，则对目标进行分类，输出目标种类及目标位置坐标。
图像处理系统涉及跟踪、双目、识别等组成单元，如图5所示。图5所示的图像处理系统输入传感器包括双目电视、天文测星组件、跟踪电视和跟踪红外系统。双目电视录入视频图像数据通过CAMERALINK发送至双目图像接口板，双目图像接口板输出两路信号，一路经图像存储与网络服务模块将视频数据输出至网络或其他存储器，另一路通过加固型GPU输出至智能识别与决策模块。智能识别与决策模块向主控板发送跟踪电视和跟踪红外的控制指令，主控板由串口经传感器控制板向跟踪电视和跟踪红外发送跟踪指令，跟踪电视和跟踪红外跟踪目标并输出视频图像至图像接口与跟踪处理板，图像接口与跟踪处理板处理跟踪红外和跟踪电视视频并输出至光纤转换板，最终由光纤转换板发送给其他系统。天文测星组件经图像接口与跟踪处理板将测星脱靶量数据发送至光纤转换板，并最终发送给其他系统。图像接口与跟踪处理板选通接收天文测星组件、跟踪电视和跟踪红外CameraLink视频信号其中的一路，通过CameraLink视频信号输出；同时，根据跟踪通道选择指令，对跟踪电视或跟踪红外处理，提取并跟踪目标，通过串口输出目标坐标、特征等数据。电视和红外传感器的控制由传感器控制板完成。
智能识别与决策模块同时负责与外部系统通信，将跟踪、识别、决策数据和信息输出，并转发外部系统对本系统的操控信息。
双目图像接口板完成一组双目两路CameraLink图像的采集，将输入视频转换为SDI视频信号输出，同时，通过两路串口和同步控制接口对相机控制进行控制。在加固型GPU模块中通过图像预处理、匹配等系列处理，测得指定区域内目标的距离、图像坐标信息，并通过串口输出。目标主要包括如海面舰船、快艇、浮标等。
(2)目标态势判别模块
图6为目标态势判别流程图，根据目标三维点迹信息、视频光轴角度信息、目标类型信息和目标属性信息库分别计算威胁因子。根据目标三维点迹信息估计目标距离获得目标距离威胁因子，估计目标高度获得目标高度威胁因子，估计目标速度和距离获得目标速度威胁因子。根据目标光轴角度和目标三维点迹信息计算目标角度，获得目标角度威胁因子。根据目标类型信息和目标属性库对目标进行信息匹配，计算目标类型威胁因子。威胁因子包括目标类型、相对角度、速度、距离与高度等因子，详述如下：
①角度威胁因子：大多数空中目标采用迎头攻击战术，此时目标进入角和目标前置角越大，威胁越大；对于海面目标，当存在向平台本身相对运动的趋势时，产生威胁的可能性也越大。
②速度威胁因子：对于空中目标，目标机速度越大，初始动能也就越大，机载导弹的发射距离也越远，这在超视距空战中是一个非常重要的指标；对于海面目标，绝对的速度优势在摆脱和追击中的作用也比较明显。
③高度威胁因子：该指标主要对于空中目标而言，当空中目标开始低空接近无人平台时，对平台的威胁越大。
④距离威胁因子：距离决定了攻击模式，不同的攻击模式攻击策略也是不同的，对无人平台的威胁也不同。
⑤目标类型因子：不同的军事目标种类有不同的军事应用，所配备的武器装备也不同，攻击性目标可能对自身安全产生威胁，侦察类目标可能对自身情报安全产生威胁，障碍物和民用船只有可能对航行产生威胁，而搜救类目标本身安全则存在威胁。
(3)目标威胁评估与决策模块
图7是目标威胁评估与决策流程图，图中威胁评估与决策通过网络训练流程生成贝叶斯网络模型，贝叶斯网络模型用于辅助贝叶斯网络模型推断获取威胁评估与威胁等级，最终根据威胁评估结果做出决策。网络训练过程中，首先需要采集一系列的威胁因子样本如高速行驶的海面快艇的威胁因子，对威胁因子样本集合作定性分析生成贝叶斯网络节点定义，作定量分析生成条件依赖矩阵；根据贝叶斯网络节点定义和条件依赖矩阵构建贝叶斯网络框架，并对贝叶斯网络进行训练，生成贝叶斯网络模型；威胁推断过程中，通过实时处理传感器输入的数据生成实时威胁因子，根据训练网络生成的贝叶斯网络模型判断威胁因子的类型和等级，可根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，并最终做出决策。
威胁种类主要有如下几种：
①航行威胁。此类威胁一般相对平台本身有趋近的非高速运动状态，如果保持无人平台自身的速度与航向会产生碰撞的可能。此时需要发出规避信号，通知无人平台操控系统改变航向与速度，避免碰撞，同时规划安全路径。
②安全威胁。此类威胁具有较强的火力，或是以高速接近无人平台，以对无人平台造成损伤为目的。此时需要根据威胁等级选择是进行攻击、改变航向还是加速驶离。
③情报威胁。此类威胁具有较快的机动性能与较好的侦察装备，对无人平台本身的安全不够成威胁，但是敌方以获得取获取己方情报为目的，己方有泄漏军事信息的危险。此时需要根据威胁等级选择是进行攻击还是加速驶离。
④合作目标安全威胁。当执行搜救、护航等任务时，合作目标可能受到敌对目标的攻击，或是陷入环境危难。此时需要根据威胁等级选择加速驶入或呼叫支援。
图8是智能决策系统示意图，智能决策硬件包括神经网络算法硬件加速器、FPGASOC异构多核高速信号处理器、双目传感器、激光测距机、光电接收模块、光电发送模块及网络接口、存储模块如SD3.0/DDR4等。硬件还搭载SOC处理芯片、高速存储器和大容量数据芯片，通过内置神经网络算法硬件加速器完成智能图像处理和智能决策等主要功能。
智能决策系统实现的主要性能指标：
目标识别时间不大于0.25s；
目标判别正确率不低于90％；
目标类型判别正确率不低于80％；
工作电压：12V；
功耗：不大于30W；
物理尺寸：228.5mm×152mm；
通信：千兆以太网、串口；
数据：万兆多模光纤；
视频采集：光纤；
视频输出：HDMI、SDI。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种无人艇智能决策系统，其特征在于，包括：
图像获取模块，用于获取观测区域的图像序列信号；
目标检测识别模块，用于接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；
目标态势判别模块，用于根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数，包括角度威胁因子、速度威胁因子、高度威胁因子、距离威胁因子、目标类型因子；
目标威胁评估与决策模块，用于根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪；
所述卷积神经网络模型的具体生成过程为：
将包括可见光图像、红外图像、目标航行轨迹、无人艇位置的环境信息作为卷积层的输入；
通过卷积层的卷积模板对输入的图像特征进行不断的抽象和组合得到高层卷积特征图；
通过池化层对卷积层输出的高层卷积特征图进行聚合统计，降低特征向量的维数，输出关注目标特征图的聚合数值；
池化层输出关注目标特征图的聚合数值输入卷积神经网络的全连接层，输出目标类型特征值；
全连接层输出的目标类型特征值作为反向传播的输入值，用梯度下降法修正卷积层的卷积模板和全连接层权值，完成一次卷积神经网络训练过程；
对高层卷积特征图的权值进行二次更新，在卷积层中引入红外特征及红外特征卷积模板，将红外特征值与红外特征卷积模板相乘获取红外特征权值矩阵，红外特征权值矩阵与一个图像像素矩阵的特征提取卷积模板获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与另一个图像像素矩阵的特征提取卷积模板卷积获取的特征图再相加获得图像特征图。
2.根据权利要求1所述的无人艇智能决策系统，其特征在于，在确定预设关注目标所占图像区域时，以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标。
3.根据权利要求1所述的无人艇智能决策系统，其特征在于，所述图像序列信号包括可见光图像和红外图像的序列信号。
4.一种无人艇智能决策方法，其特征在于，包括以下步骤：
获取观测区域的图像序列信号；
根据接收图像序列信号，识别场景中出现的预设关注目标，确定其所占图像区域，并做标识；同时通过卷积神经网络模型对关注目标的类型进行判别；根据目标类型，筛选出可能对无人平台本身造成威胁的目标，并对目标持续观察，生成目标的跟踪轨迹信息；
根据目标的跟踪轨迹信息、光轴角度、目标类型、目标属性计算目标威胁指数，包括角度威胁因子、速度威胁因子、高度威胁因子、距离威胁因子、目标类型因子；
根据威胁因子的数量与数值对威胁种类进行评估，并给出威胁等级，锁定威胁等级高的关注目标进行实时跟踪；
其中，所述卷积神经网络模型的具体生成过程为：
将包括可见光图像、红外图像、目标航行轨迹、无人艇位置的环境信息作为卷积层的输入；
通过卷积层的卷积模板对输入的图像特征进行不断的抽象和组合得到高层卷积特征图；
通过池化层对卷积层输出的高层卷积特征图进行聚合统计，降低特征向量的维数，输出关注目标特征图的聚合数值；
池化层输出关注目标特征图的聚合数值输入卷积神经网络的全连接层，输出目标类型特征值；
全连接层输出的目标类型特征值作为反向传播的输入值，用梯度下降法修正卷积层的卷积模板和全连接层权值，完成一次卷积神经网络训练过程；
该方法还包括步骤：对高层卷积特征图的权值进行二次更新，在卷积层中引入红外特征及红外特征卷积模板，将红外特征值与红外特征卷积模板相乘获取红外特征权值矩阵，红外特征权值矩阵与一个图像像素矩阵的特征提取卷积模板获取的卷积特征图对应元素相乘，获取新的卷积特征图，新的卷积特征图与另一个图像像素矩阵的特征提取卷积模板卷积获取的特征图再相加获得图像特征图。
5.根据权利要求4所述的无人艇智能决策方法，其特征在于，在确定预设关注目标所占图像区域时，以矩形框标识出，并给出矩形区域中心位置作为目标的图像坐标。
6.根据权利要求4所述的无人艇智能决策方法，其特征在于，所述图像序列信号包括可见光图像和红外图像的序列信号。
CN201910993637.8A 2019-10-18 2019-10-18 无人艇智能决策方法及系统 Active CN110782481B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910993637.8A CN110782481B (zh) 2019-10-18 2019-10-18 无人艇智能决策方法及系统
US17/432,291 US12072705B2 (en) 2019-10-18 2020-10-14 Intelligent decision-making method and system for unmanned surface vehicle
PCT/CN2020/120860 WO2021073528A1 (zh) 2019-10-18 2020-10-14 一种无人艇智能决策方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993637.8A CN110782481B (zh) 2019-10-18 2019-10-18 无人艇智能决策方法及系统

Publications (2)

Publication Number Publication Date
CN110782481A CN110782481A (zh) 2020-02-11
CN110782481B true CN110782481B (zh) 2023-09-05

Family

ID=69385919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993637.8A Active CN110782481B (zh) 2019-10-18 2019-10-18 无人艇智能决策方法及系统

Country Status (3)

Country Link
US (1) US12072705B2 (zh)
CN (1) CN110782481B (zh)
WO (1) WO2021073528A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782481B (zh) 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统
CN111324126B (zh) * 2020-03-12 2022-07-05 集美大学 一种视觉无人船
CN111354031B (zh) * 2020-03-16 2023-08-29 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN111506063B (zh) * 2020-04-13 2021-08-13 中国科学技术大学 一种基于分层强化学习框架的移动机器人无图导航方法
CN112198901B (zh) * 2020-05-14 2022-02-18 北京航空航天大学 一种基于三维动态碰撞区的无人机自主避撞决策方法
CN111611703B (zh) * 2020-05-15 2023-07-18 深圳星地孪生科技有限公司 基于数字孪生的沙盘推演方法、装置、设备和存储介质
CN112129164B (zh) * 2020-09-23 2022-09-27 中国人民解放军陆军装甲兵学院 一种武器站智能辅助决策系统架构
CN112651456B (zh) * 2020-12-31 2023-08-08 遵义师范学院 基于rbf神经网络的无人车控制方法
CN112817318B (zh) * 2021-01-06 2022-02-11 上海大学 一种多无人艇协同搜索控制方法及系统
CN113625720B (zh) * 2021-08-19 2024-05-10 中国舰船研究设计中心 一种无人艇自主航行控制算法仿真评估系统
CN113848884B (zh) * 2021-09-07 2023-05-05 华侨大学 一种基于特征融合和时空约束的无人驾驶工程机械决策方法
CN113902974B (zh) * 2021-09-27 2024-05-17 西北工业大学 一种基于卷积神经网络的空战威胁目标识别方法
CN113949826B (zh) * 2021-09-28 2024-11-05 航天时代飞鸿技术有限公司 一种通信带宽有限条件下无人机集群协同侦察方法及系统
CN114155390B (zh) * 2021-12-02 2022-05-06 北京中科智易科技有限公司 对分类对象的元数据进行分类的聚类设备
CN114155447B (zh) * 2021-12-02 2022-06-24 北京中科智易科技有限公司 人工智能大数据采集系统
CN114200937B (zh) * 2021-12-10 2023-07-14 新疆工程学院 一种基于gps定位和5g技术的无人驾驶控制方法
CN114275131B (zh) * 2021-12-16 2022-12-23 中航航空电子有限公司 一种舰艇防御方法、装置、防御辅助决策系统和存储介质
CN114114266B (zh) * 2022-01-24 2022-05-17 北京宏锐星通科技有限公司 对合成孔径雷达的侦测方法及装置
CN114627156B (zh) * 2022-03-25 2025-05-30 赵长贵 消费级无人机视频运动目标精准追踪方法
CN114972996B (zh) * 2022-05-31 2024-11-15 武汉大学 自动驾驶水面场景感知方法、装置、设备及存储介质
CN114859978A (zh) * 2022-07-05 2022-08-05 中国航空工业集团公司沈阳飞机设计研究所 一种无人机自主目标排序方法及无人机控制系统
CN115018884B (zh) * 2022-07-19 2024-03-15 安徽大学 基于多策略融合树的可见光红外视觉跟踪方法
CN115903880A (zh) * 2022-08-21 2023-04-04 西安爱生技术集团有限公司 一种基于改进强化学习的无人机自主图像导航与避障方法
CN115143970B (zh) * 2022-09-01 2022-11-29 安徽大学 一种基于威胁度评估的水下航行器避障方法和系统
CN115439510B (zh) * 2022-11-08 2023-02-28 山东大学 一种基于专家策略指导的主动目标跟踪方法及系统
CN116226260B (zh) * 2022-12-21 2023-10-03 安徽大学江淮学院 一种大数据决策方法、系统及云端服务中心
CN115659229B (zh) * 2022-12-27 2023-03-28 四川迪晟新达类脑智能技术有限公司 一种低小慢目标威胁程度评估方法及装置
CN116304864B (zh) * 2023-02-22 2025-07-01 西安电子科技大学 基于残差卷积自编码器的电子对抗目标威胁评估方法
CN116820125B (zh) * 2023-06-07 2023-12-22 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统
CN116909311B (zh) * 2023-06-21 2024-06-14 四川大学 一种分布式弹群对海作战打击角决策方法
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116577776B (zh) * 2023-07-12 2023-09-22 中国电子科技集团公司第二十八研究所 一种多源自主协同的目标探测与智能识别方法及系统
CN116992349B (zh) * 2023-08-15 2025-05-06 中国兵器工业计算机应用技术研究所 基于深度学习的民船轨迹行为分析优化方法
CN117132764B (zh) * 2023-08-30 2025-06-17 西安交通大学 一种类脑快速恐惧应激决策控制方法、系统、设备及介质
CN117274304A (zh) * 2023-09-06 2023-12-22 华润数字科技有限公司 基于空中多目标的处理方法和装置、电子设备及存储介质
CN117493831B (zh) * 2023-11-17 2024-08-13 北京理工大学 一种交互式侦察载荷目标自主识别算法测评系统
CN117765031B (zh) * 2024-02-21 2024-05-03 四川盎芯科技有限公司 一种边缘智能设备的图像多目标预跟踪方法及系统
CN118331259B (zh) * 2024-03-28 2025-05-09 江南大学 一种数据丢失情况下无人水面航行器的航向控制方法
CN118334084B (zh) * 2024-05-16 2025-04-18 深圳市清岚微视科技有限公司 红外目标跟踪方法、装置、设备和存储介质
CN118707968B (zh) * 2024-05-31 2025-01-03 南京邮电大学 一种多维决策融合的无人机集群协同决策方法
CN118334297B (zh) * 2024-05-31 2024-10-29 东莞浩立自动化科技有限公司 基于环境光反馈的机器视觉光源动态调控方法及系统
CN119068438B (zh) * 2024-08-29 2025-03-25 上海峰华人工智能科技有限公司 一种基于图像识别的车辆与行人识别系统及方法
CN118790433B (zh) * 2024-09-10 2024-12-17 中国船舶集团有限公司第七〇七研究所 有限干预动态规划的无人艇应急处置方法、系统
CN120066089A (zh) * 2025-04-28 2025-05-30 国家石油天然气管网集团有限公司 巡检路径确定方法、装置、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654232A (zh) * 2015-12-24 2016-06-08 大连陆海科技股份有限公司 基于多维度空间融合的海岸监控与防御决策系统及方法
CN107085733A (zh) * 2017-05-15 2017-08-22 山东工商学院 基于cnn深度学习的近岸红外舰船识别方法
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
CN109815967A (zh) * 2019-02-28 2019-05-28 北京环境特性研究所 基于特征融合的cnn舰船目标识别系统及方法
CN110175186A (zh) * 2019-05-15 2019-08-27 中国舰船研究设计中心 一种智能船舶环境威胁目标感知系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
US9633436B2 (en) * 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
FR3017480B1 (fr) * 2014-02-07 2017-09-08 Thales Sa Procede de detection et de classification d'evenements d'une scene
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
US11468285B1 (en) * 2016-05-30 2022-10-11 Apple Inc. Analysis of objects of interest in sensor data using deep neural networks
WO2018016837A1 (en) * 2016-07-18 2018-01-25 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
WO2018105112A1 (ja) * 2016-12-09 2018-06-14 株式会社日立国際電気 水上侵入検知システムおよびその方法
US10529241B2 (en) * 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
TWI672608B (zh) * 2017-02-15 2019-09-21 瑞昱半導體股份有限公司 虹膜影像辨識裝置及其方法
US11055872B1 (en) * 2017-03-30 2021-07-06 Hrl Laboratories, Llc Real-time object recognition using cascaded features, deep learning and multi-target tracking
US10762635B2 (en) * 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10783381B2 (en) * 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
TWI670628B (zh) * 2017-11-15 2019-09-01 財團法人資訊工業策進會 動作評量模型生成裝置及其動作評量模型生成方法
US11295139B2 (en) * 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
CN108831161A (zh) 2018-06-27 2018-11-16 深圳大学 一种基于无人机的交通流量监测方法、智能系统及数据集
US11604944B2 (en) * 2018-07-17 2023-03-14 Nvidia Corporation Regression-based line detection for autonomous driving machines
CN109145747B (zh) 2018-07-20 2021-10-08 华中科技大学 一种水面全景图像语义分割方法
CN109117838B (zh) * 2018-08-08 2021-10-12 哈尔滨工业大学 应用于无人船感知系统的目标检测方法及装置
US11181634B1 (en) * 2018-09-28 2021-11-23 Rockwell Collins, Inc. Systems and methods of intelligent weather sensing using deep learning convolutional neural networks
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654232A (zh) * 2015-12-24 2016-06-08 大连陆海科技股份有限公司 基于多维度空间融合的海岸监控与防御决策系统及方法
CN107085733A (zh) * 2017-05-15 2017-08-22 山东工商学院 基于cnn深度学习的近岸红外舰船识别方法
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
CN109815967A (zh) * 2019-02-28 2019-05-28 北京环境特性研究所 基于特征融合的cnn舰船目标识别系统及方法
CN110175186A (zh) * 2019-05-15 2019-08-27 中国舰船研究设计中心 一种智能船舶环境威胁目标感知系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭艳等.时空上下融合的无人艇海面目标跟踪.《中国科学：科学技术》.2018,第第48卷卷(第第48卷期),全文. *

Also Published As

Publication number Publication date
US20220197281A1 (en) 2022-06-23
US12072705B2 (en) 2024-08-27
CN110782481A (zh) 2020-02-11
WO2021073528A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
CN110782481B (zh) 无人艇智能决策方法及系统
CN113627473B (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
Truong et al. Deep learning-based super-resolution reconstruction and marker detection for drone landing
Lin et al. A robust real-time embedded vision system on an unmanned rotorcraft for ground target following
CN113671994A (zh) 基于强化学习的多无人机与多无人船巡检控制系统
Shan et al. LiDAR-based stable navigable region detection for unmanned surface vehicles
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
Wang et al. A visual navigation framework for the aerial recovery of UAVs
CN110472500A (zh) 一种基于高速无人艇的水面视觉目标快速检测算法
Xiong et al. Adaptive feature fusion and improved attention mechanism-based small object detection for UAV target tracking
CN110766721B (zh) 一种基于机载视觉的着舰合作目标检测方法
CN119961579B (zh) 基于深度强化学习的无人船动态环境路径规划系统及方法
Kim et al. A deep-learning-aided automatic vision-based control approach for autonomous drone racing in game of drones competition
CN117636284A (zh) 一种基于视觉图像导引的无人机自主着降方法及装置
CN115937700B (zh) 一种多源协同的动目标在线检测识别方法
Li et al. Topological similarity-based multi-target correlation localization for aerial-ground systems
Wang et al. Target detection for construction machinery based on deep learning and multisource data fusion
Zhou et al. Obstacle detection for unmanned surface vehicles by fusion refinement network
Shakirzyanov et al. Method for unmanned vehicles automatic positioning based on signal radially symmetric markers recognition of underwater targets
Liu et al. UAV-to-UAV target re-searching using a Bayes-based spatial probability distribution algorithm
Zhou et al. A real-time algorithm for visual detection of high-speed unmanned surface vehicle based on deep learning
Qi et al. Detection and tracking of a moving target for UAV based on machine vision
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
Xiang et al. A study of autonomous landing of UAV for mobile platform
Ivanov et al. Intelligent deep neuro-fuzzy system recognition of abnormal situations for unmanned surface vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant