[go: up one dir, main page]

CN111913177A - 对目标物探测方法、装置以及存储介质 - Google Patents

对目标物探测方法、装置以及存储介质 Download PDF

Info

Publication number
CN111913177A
CN111913177A CN202010802379.3A CN202010802379A CN111913177A CN 111913177 A CN111913177 A CN 111913177A CN 202010802379 A CN202010802379 A CN 202010802379A CN 111913177 A CN111913177 A CN 111913177A
Authority
CN
China
Prior art keywords
target
data
image
suspicious
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010802379.3A
Other languages
English (en)
Inventor
步立新
李新军
苗强
许小明
柏磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Atomic of Energy
Original Assignee
China Institute of Atomic of Energy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Atomic of Energy filed Critical China Institute of Atomic of Energy
Priority to CN202010802379.3A priority Critical patent/CN111913177A/zh
Publication of CN111913177A publication Critical patent/CN111913177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提出一种对目标物探测方法,包括:获取雷达数据,对数据进行分析,根据分析结果判断是否有目标物进入到雷达的探测范围;当判断有目标物进入到雷达的探测范围,从获取的数据中获得目标物的三维坐标;获取视频数据,对视频数据进行处理获得目标物图像;对图像识别,根据图像识别结果判断目标物是否为可疑目标物;当判断目标物为可疑目标物,获取可疑目标物在图像中的二维坐标;将可疑目标物的二维坐标与从雷达处获得的数据进行关联,获得可疑目标物的三维坐标,根据可疑目标物的三维坐标获得可疑目标物与入侵警戒线的距离。根据本发明实施例的方法,利用传感器融合获取目标物信息,对目标物进行判断、识别,可提高对目标物探测的可靠性。

Description

对目标物探测方法、装置以及存储介质
技术领域
本发明涉及入侵监控技术领域,具体涉及一种对目标物探测方法、装置以及存储介质。
背景技术
得益于近年来人工智能、深度学习、图像识别技术的快速发展,利用传感器感知周围环境、采集信息,根据采集到的信息对周围环境进行检测,以及进一步根据检测结果采取安全措施成为诸如自动驾驶、入侵探测等领域的主要技术手段。
利用探测设备或系统对核设施区域内的人员活动等进行探测,通过识别入侵目标物类型、入侵行为并对其监控,有利于管理人员及时对入侵行为进行处理,从而加强区域保护、减少物力财力损失。如何对采集的大量数据信息进行处理、分析,获得有关目标物的有效信息,是实现高效、准确探测的基础
发明内容
本发明实施例提供了涉及对目标物探测方法、装置以及存储介质。在一些实施方式中,本文描述的方法、装置通过对入侵目标物识别并监控,便于管理人员在监控到入侵目标物或入侵行为时能够及时采取有利措施;利用传感器融合获取目标物信息,对目标物进行判断、识别,可提高对目标物探测的可靠性。
根据本发明的一个方面,提供了一种对目标物探测方法,包括:获取雷达数据,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围;当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标;获取视频数据,对所述视频数据进行处理获得所述目标物图像;对所述图像识别,根据图像识别结果判断所述目标物是否为可疑目标物;当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标;将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
在一些实施方式中,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围的步骤包括:将所述数据分割得到多个聚类的数据;获取每个聚类的数据的平均值在任意两个时刻的差值,当所述差值大于第一阈值,判断有目标物进入到所述雷达的所述探测范围。
在一些实施方式中,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围的步骤包括:将所述数据构建KD树;根据所述KD树确定所述数据中每个点的临近点k值;当所述k值小于第二阈值,获取所述k值对应的所述数据的平均值在任意两个时刻的差值,当所述差值大于第一阈值,判断有目标物进入到所述雷达的所述探测范围。
在一些实施方式中,对所述视频数据进行处理获得所述目标物图像的步骤包括:获取相邻两个时刻t时刻和t+1时刻的两帧图像,计算所述两帧图像的对应位置像素的差值绝对值,当所述差值绝对值大于等于第三阈值,将帧差图像的像素设为1,反之设为0,由公式(1)表示:
Figure BDA0002627873750000021
其中,i1(x,y)为t时刻的图像的像素,i2(x,y)为t+1时刻的图像的像素,Δi(x,y)为帧差图像的像素,threshold为第三阈值;将所述帧差图像与所述t时刻的图像进行运算,由公式(2)表示:
r(x,y)=i1(x,y)·Δi(x,y) (2)
其中,r(x,y)为输出图像,所述输出图像为包含所述目标物的图像。
在一些实施方式中,基于深度学习算法对所述图像识别。
在一些实施方式中,基于SSD算法对所述图像识别。
在一些实施方式中,根据图像识别结果输出用于判断所述目标物是否为可疑目标物的概率值,当所述概率值大于设定值,判断所述目标物为可疑目标物。
在一些实施方式中,对目标物探测方法还包括:将所述可疑目标物识别结果以及所述可疑目标物与入侵警戒线的距离发送至显示设置,由所述显示设备发出预警或报警提示。
在一些实施方式中,所述可疑目标物包括人、车辆和无人机。
根据本发明的另一个方面,提供了一种对目标物探测装置,包括:第一采集及判断模块,用于获取雷达数据,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围;当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标;第二采集及判断模块,用于获取视频数据,对所述视频数据进行处理获得所述目标物图像;对所述图像识别,根据图像识别结果判断所述目标物是否为可疑目标物;当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标;关联模块,用于将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
根据本发明的另一个方面,提供了一种对目标物探测设备,包括:处理器;存储器,其上存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述实施方式中的对所述目标物探测方法。
根据本发明的另一个方面,提供了一种计算机可读存储介质,用于存储程序,其中,所述程序被执行时实现上述实施方式中的对所述目标物探测方法。
附图说明
通过下文中参照附图对本发明所作的描述,本发明的其它目的和优点将显而易见,并可帮助对本发明有全面的理解。
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了根据本发明实施方式的对目标物探测方法的流程示意图;
图2示出了根据本发明实施方式的探测装置的结构示意图;
图3示出了根据本发明示例性实施例的对目标物探测方法的过程示意图;
图4示出了根据本发明实施方式的对目标物探测装置的结构示意图;
图5示出了根据本发明实施方式的计算机系统的结构示意图。
需要说明的是,附图并不一定按比例来绘制,而是仅以不影响读者理解的示意性方式示出。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,均应当属于本发明保护的范围。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
根据本发明实施例的对目标物探测方法,在目标物探测过程中,利用不同类型传感器的优势,对多传感器信息融合、综合决策,实现对目标物(类型)判断、识别,保证了目标物探测结果的可靠性,从而可加强对目标物进行监控、跟踪。图1示出了根据本发明实施方式的对目标物探测方法的流程示意图。
步骤S101,获取雷达数据,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围。
本发明实施例使用的传感器的类型可以包括位置传感器(例如,全球定位系统(GPS)传感器、支持位置三角测量法的移动装置发射器)、图像传感器或视觉传感器(例如,能够检测可见光、红外光或紫外光的成像装置,诸如相机)、距离传感器或范围传感器(例如,超声传感器、激光雷达、飞行时间相机或深度相机)。通过使用不同类型传感器融合,可用于补偿与单独的传感器类型相关联的限制或不准确性,从而改进最终感测结果的准确性和可靠性。
在一些实施例中,可通过雷达获取周围环境的三维点云数据,基于该数据来实现判断是否有目标物进入雷达的探测范围。例如可使用激光雷达,其工作原理为:通过激光器以一定的方向角、高度角发射连续激光束照射到目标对象表面,接收目标物表面反射的回波信号,从而获取目标物的三维空间坐标及反射特性;其测量数据是一系列空间分布的离散点,称为“点云”,通过对点云数据进行分析,可获取目标物的空间形状、位置以及运动信息。
基于雷达采集的点云数据量较大,通过对点云数据进行处理、分析,以便获得关于目标物的有效信息。在一些实施例中,通过对点云数据分割,以便快速提取到反映目标物的数据信息。例如通过聚类算法,将雷达采集的数据分割成多个聚类的数据,通过检测这些聚类数据的平均值随时间的变化,当平均值在任意两个时刻的差值大于第一阈值时,可判断有目标物进入到雷达的探测范围。其中,第一阈值为根据聚类数据的平均值变化判断聚类点运动(运动中的目标物)的阈值。
在一些实施例中,还可通过KD树对点云数据处理,建立离散点之间的拓扑关系,实现基于邻域关系的快速查找。KD树(k-dimensional树的简称)是一种分割k维数据空间的数据结构,可用于多维空间关键数据的搜索。KD树可以快速确定散乱的点云数据中某一个点的邻域,而不需要知道点云数据之间的任何拓扑(邻接)关系。对于激光雷达获取的三维点云数据,三维KD树的数据可以表示为:
pi=(xi,yi,zi),i∈[1,n]
KD树构建算法如下:
(1)计算三维空间中所有数据点的x、y和z的各个分量的中值,分别把各个分量的中值作为KD树第0层,第1层和第2层的判别值。
(2)对于任意一点pi,KD树的第L层,则m=L mod 3,所得m的值来确定用于进行比较的关键码是x、y、z哪一个分量;m=0时取x分量,m=1时取y分量,m=2时取z分量。
(3)当所取分量的值小于等于比较划分值时,此点就划分到左分支;否则划分到右分支。
(4)循环直到所有的点都插入到KD树,即KD树构建完成。
k最近邻问题可表述为:对于P中任意一点V,V=(xv,yv,zv),寻找P的一个子集Q,Q={q1,q2,…,qk},其补集U=P-Q={u1,u2,…,un-k},则U满足:
distance(m,ui)≥max{distance(m,qj)}
ui∈U,i∈[1,(n-k)],j∈[1,k]
寻找k最邻近点就是求Q子集,利用KD树可以减少这方面的开销,通过简单的搜索功能就能解决k最近邻问题。当激光雷达点云数据中k小于第二阈值时,这些点被认为是属于同一个物体,进一步,当这些点的平均值变化大于第一阈值时,确认激光雷达发现运动状态下的目标物,该目标物进入到雷达的探测范围;其中,第一阈值为根据邻域点数据的平均值变化判断邻域点运动(运动中的目标物)的阈值;第二阈值为判断邻域点关系(这些点是否属于同一个物体)的阈值。
步骤S102,当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标。此步骤获取目标物的三维坐标用于与其他类型传感器数据关联,来获取目标物的位置信息。
步骤S103,获取视频数据,对所述视频数据进行处理获得所述目标物图像。
在一些实施例中,可通过视觉传感器(例如可以是摄像头)获取周围环境的视频图像数据,通过对视频图像数据进行处理来提取与目标物有关的信息。
图像处理算法例如可以采用帧差算法。其实现方法为:获取相邻两个时刻t时刻和t+1时刻的两帧图像,将两帧图像转为灰度图像,计算两帧图像的对应位置像素的差值绝对值,当差值绝对值大于等于第三阈值,将帧差图像的像素设为1,反之设为0,由公式(1)表示:
Figure BDA0002627873750000071
其中,i1(x,y)为t时刻的图像的像素,i2(x,y)为t+1时刻的图像的像素,Δi(x,y)为帧差图像的像素,threshold为第三阈值;将帧差图像与t时刻的图像进行逻辑运算,由公式(2)表示:
r(x,y)=i1(x,y)·Δi(x,y) (2)
其中,r(x,y)为输出图像,该输出图像即包含了运动状态下的目标物的图像。
步骤S104,对所述图像识别,根据图像识别结果判断所述目标物是否为可疑目标物。
通过对目标物识别以判断其是否为可疑目标物,本发明实施例的方法可实现对进入探测范围的人员、车辆以及空中无人机等探测、监控,当识别到可疑目标物及其位置后,便于管理人员对入侵目标物进行跟踪或者采取防范措施。
基于深度学习的图像识别算法包括区域卷积神经网络算法、空间金字塔池化算法、Faster R-CNN算法、YOLO算法以及SSD算法。在一些实施例中,利用SSD算法对上述获取的图像进行识别,以至少识别可疑目标物的类型(人员、车辆、无人机等),其具有计算速度快、节省运算资源以及精度高等优点。
可根据图像识别结果输出用于判断目标物是否为可疑目标物的概率值,当概率值大于设定值,判断目标物为可疑目标物。
步骤S105,当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标。
步骤S106,将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
本发明实施例通过不同类型传感器融合,对入侵目标物判断、识别,以至少获取可疑目标物的类型、位置等信息。视频图像具有丰富的色彩纹理信息,其与雷达数据相互补充,不仅可提供有关目标物的更多的信息,还可以增强对环境适应能力,提高探测效果。
在一些实施例中,对目标物探测方法还包括:将所述可疑目标物识别结果以及所述可疑目标物与入侵警戒线的距离发送至显示设置,由所述显示设备发出预警或报警提示。
为便于理解,本发明实施例提供一种探测装置,用于对目标物探测。如图2所示,探测装置200包括探测单元20,探测单元20用于对进入探测范围的目标物进行检测,识别目标物类型、判断入侵行为等。在一些实施方式中,探测装置200可以包括多个探测单元20,探测单元20的数量可以是四个、三个或者更多或更少。在一些实施方式中,多个探测单元20可以具有相对于彼此的空间关系,多个探测单元20可以在同一水平面布置,或者在不同水平面布置。多个探测单元20的位置和朝向等根据实际需要布置。
在一些实施方式中,每个探测单元20包括第一传感器201、第二传感器202以及AI主板211。第一传感器201与第二传感器202可以是不同类型的传感器。第一传感器201可以是图像传感器或视觉传感器,进一步可以是相机、摄像机或其他成像装置。第二传感器202可以是位置传感器或距离传感器,进一步可以是超声传感器、激光雷达、毫米波雷达。AI主板211例如可以是与第一传感器201以及第二传感器202配置的嵌入式GPU主板JetsonTX2,AI主板211可以实现基于深度学习的图像识别算法。在其他的实施方式中,每个探测单元20可以包括不同数量的第一传感器201与不同数量的第二传感器202的组合,可以根据传感器能够探测的范围或视场角来确定,本发明实施例对此不作限定。
如图2所示,探测装置200包括四个探测单元20a、20b、20c和20d,其中,探测单元20a和20b设置成对地面区域的入侵目标物进行探测,例如包括对进入探测范围的人员、车辆情况等进行检测。探测单元20c和20d设置成对空中区域的入侵目标物进行探测,例如包括对近空的可移动物体(无人机等)进行探测。通过对地面以及空中范围的入侵目标物探测,实现较大范围的监控。
图3示出了根据本发明示例性实施例的对目标物探测方法的过程示意图。
利用探测单元获取周围环境数据,包括获取摄像头采集的视频图像数据以及激光雷达采集的点云数据,采集之前,可预先将两传感器在时间和空间上校准,以便于同步采集信息。
进一步,利用探测单元的主板分别对视频数据以及雷达数据进行处理,实现对进入探测范围的目标物是否为可疑目标物进行判断,当确定为可疑目标物时,将可疑目标物在图像中的二维坐标(x,y)与从雷达处获得的数据进行关联,获得可疑目标物的三维坐标(x,y,z),然后根据可疑目标物的三维坐标获得可疑目标物与入侵警戒线之间的距离;例如当可疑目标物已经进入警戒线之内,可通过计算机显示的结果进行报警,从而相关人员可及时采取保护措施。
根据本发明实施例的对目标物探测方法,可用于对进入探测范围的地面以及空中目标物进行探测,具有分析速率快、识别探测准确率高等优点,有利于为现有的实物保护系统提供补充。
图4示出了根据本发明实施方式的对目标物探测装置的结构示意图。
对目标物探测装置300包括:第一采集及判断模块30,其进一步包括:雷达数据采集及分析模块301,用于获取雷达数据,对所述数据进行分析,第一判断模块302,根据分析结果判断是否有目标物进入到所述雷达的探测范围,当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标;第二采集及判断模块31,其进一步包括:视频数据采集及处理模块311,用于获取视频数据,对所述视频数据进行处理获得所述目标物图像;图像识别模块312,对所述图像识别,以及第二判断模块313,根据图像识别结果判断所述目标物是否为可疑目标物,当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标;关联模块32,用于将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
对于探测装置300各模块的功能,可参考前述对目标物探测方法的相关描述,对于具有相同功能或效果的描述,在此不再赘述。
本发明实施例还提供一种对目标物探测设备,包括:处理器;存储器,其上存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述实施方式中的对所述目标物探测方法。
本发明实施例还提供一种计算机可读存储介质,用于存储程序,其中,所述程序被执行时实现上述实施方式中的对所述目标物探测方法。
本发明实施例还提供一种计算机系统的结构示意图,图5示意性示出了根据本发明实施例的适于实现上文描述的方法的计算机系统的方框图。图5示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,根据本发明实施例的计算机系统400包括处理器40,其可以根据存储在只读存储器(ROM)41中的程序或者从存储部分47加载到随机访问存储器(RAM)42中的程序而执行各种适当的动作和处理。处理器40例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器40还可以包括用于缓存用途的板载存储器。处理器40可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 42中,存储有系统400操作所需的各种程序和数据。处理器40、ROM 41以及RAM 42通过总线43彼此相连。处理器40通过执行ROM 41和/或RAM 42中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 41和RAM42以外的一个或多个存储器中。处理器40也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,系统400还可以包括输入/输出(I/O)接口44,输入/输出(I/O)接口44也连接至总线43。系统400还可以包括连接至I/O接口44的以下部件中的一项或多项:包括键盘、鼠标等的输入部分45;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分46;包括硬盘等的存储部分47;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分48。通信部分48经由诸如因特网的网络执行通信处理。驱动器49也根据需要连接至I/O接口44。可拆卸介质410,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器49上,以便于从其上读出的计算机程序根据需要被安装入存储部分47。
对于本发明的实施例,还需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种对目标物探测方法,包括:
获取雷达数据,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围;
当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标;
获取视频数据,对所述视频数据进行处理获得所述目标物图像;
对所述图像识别,根据图像识别结果判断所述目标物是否为可疑目标物;
当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标;
将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
2.根据权利要求1所述的方法,其中,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围的步骤包括:
将所述数据分割得到多个聚类的数据;
获取每个聚类的数据的平均值在任意两个时刻的差值,当所述差值大于第一阈值,判断有目标物进入到所述雷达的所述探测范围。
3.根据权利要求1所述的方法,其中,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围的步骤包括:
将所述数据构建KD树;
根据所述KD树确定所述数据中每个点的临近点k值;
当所述k值小于第二阈值,获取所述k值对应的所述数据的平均值在任意两个时刻的差值,当所述差值大于第一阈值,判断有目标物进入到所述雷达的所述探测范围。
4.根据权利要求1-3中任一项所述的方法,其中,对所述视频数据进行处理获得所述目标物图像的步骤包括:
获取相邻两个时刻t时刻和t+1时刻的两帧图像,计算所述两帧图像的对应位置像素的差值绝对值,当所述差值绝对值大于等于第三阈值,将帧差图像的像素设为1,反之设为0,由公式(1)表示:
Figure FDA0002627873740000021
其中,i1(x,y)为t时刻的图像的像素,i2(x,y)为t+1时刻的图像的像素,Δi(x,y)为帧差图像的像素,threshold为第三阈值;
将所述帧差图像与所述t时刻的图像进行运算,由公式(2)表示:
r(x,y)=i1(x,y)·Δi(x,y) (2)
其中,r(x,y)为输出图像,所述输出图像为包含所述目标物的图像。
5.根据权利要求1所述的方法,其中,
基于深度学习算法对所述图像识别。
6.根据权利要求5所述的方法,其中,
基于SSD算法对所述图像识别。
7.根据权利要求1-6中任一项所述的方法,其中,
根据图像识别结果输出用于判断所述目标物是否为可疑目标物的概率值,当所述概率值大于设定值,判断所述目标物为可疑目标物。
8.根据权利要求1所述的方法,还包括:
将所述可疑目标物识别结果以及所述可疑目标物与入侵警戒线的距离发送至显示设置,由所述显示设备发出预警或报警提示。
9.根据权利要求1所述的方法,其中,
所述可疑目标物包括人、车辆和无人机。
10.一种对目标物探测装置,包括:
第一采集及判断模块,用于获取雷达数据,对所述数据进行分析,根据分析结果判断是否有目标物进入到所述雷达的探测范围;当判断有目标物进入到所述雷达的所述探测范围,从获取的所述数据中获得所述目标物的三维坐标;
第二采集及判断模块,用于获取视频数据,对所述视频数据进行处理获得所述目标物图像;对所述图像识别,根据图像识别结果判断所述目标物是否为可疑目标物;当判断所述目标物为可疑目标物,获取所述可疑目标物在所述图像中的二维坐标;
关联模块,用于将所述可疑目标物的二维坐标与从所述雷达处获得的所述数据进行关联,获得所述可疑目标物的三维坐标,根据所述可疑目标物的三维坐标获得所述可疑目标物与入侵警戒线的距离。
11.一种对目标物探测设备,包括:
处理器;
存储器,其上存储有所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-9中任一项所述的对所述目标物探测方法。
12.一种计算机可读存储介质,用于存储程序,其中,所述程序被执行时实现权利要求1-9中任一项所述的对所述目标物探测方法。
CN202010802379.3A 2020-08-11 2020-08-11 对目标物探测方法、装置以及存储介质 Pending CN111913177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010802379.3A CN111913177A (zh) 2020-08-11 2020-08-11 对目标物探测方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010802379.3A CN111913177A (zh) 2020-08-11 2020-08-11 对目标物探测方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN111913177A true CN111913177A (zh) 2020-11-10

Family

ID=73284870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010802379.3A Pending CN111913177A (zh) 2020-08-11 2020-08-11 对目标物探测方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111913177A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419717A (zh) * 2020-11-13 2021-02-26 中国第一汽车股份有限公司 目标管理方法、装置、车辆及存储介质
CN112415500A (zh) * 2020-11-20 2021-02-26 广州极飞科技有限公司 目标物位置检测方法及相关装置
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112883809A (zh) * 2021-01-25 2021-06-01 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
CN113030951A (zh) * 2021-03-10 2021-06-25 森思泰克河北科技有限公司 目标运动趋势判断方法、装置及终端设备
CN114913207A (zh) * 2022-05-26 2022-08-16 蚂蚁区块链科技(上海)有限公司 用于对货物移动进行检测的方法及装置
CN115830784A (zh) * 2022-11-22 2023-03-21 中科蓝卓(北京)信息科技有限公司 一种轨道异物联动监测装置、监测系统及监测方法
CN116087974A (zh) * 2023-03-01 2023-05-09 东方空间技术(山东)有限公司 天基红外目标识别系统及其目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157355A1 (en) * 1999-02-01 2001-11-28 Beonic Corporation Pty Ltd Object recognition and tracking system
CN104821056A (zh) * 2015-04-30 2015-08-05 湖南华诺星空电子技术有限公司 基于雷达与视频融合的智能警戒方法
CN110458055A (zh) * 2019-07-29 2019-11-15 江苏必得科技股份有限公司 一种障碍物检测方法及系统
CN110837129A (zh) * 2019-11-11 2020-02-25 中国原子能科学研究院 可疑物检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157355A1 (en) * 1999-02-01 2001-11-28 Beonic Corporation Pty Ltd Object recognition and tracking system
CN104821056A (zh) * 2015-04-30 2015-08-05 湖南华诺星空电子技术有限公司 基于雷达与视频融合的智能警戒方法
CN110458055A (zh) * 2019-07-29 2019-11-15 江苏必得科技股份有限公司 一种障碍物检测方法及系统
CN110837129A (zh) * 2019-11-11 2020-02-25 中国原子能科学研究院 可疑物检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
丁莹: "《复杂环境运动目标检测技术及应用》", 31 January 2014, 国防工业出版社, pages: 17 - 18 *
卢誉声: "移动平台深度神经网络实战 原理、架构与优化", 北京理工大学出版社, pages: 193 - 195 *
吴娱: "《数字图像处理》", 31 October 2017, 北京邮电大学出版社, pages: 76 *
王化祥: "传感器原理及应用", 天津大学出版社 *
高亮等: "基于kd树改进的高效k-means聚类算", 《计算技术与自动化》, vol. 34, no. 4, 31 December 2015 (2015-12-31) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419717A (zh) * 2020-11-13 2021-02-26 中国第一汽车股份有限公司 目标管理方法、装置、车辆及存储介质
CN112419717B (zh) * 2020-11-13 2022-03-11 中国第一汽车股份有限公司 目标管理方法、装置、车辆及存储介质
CN112415500A (zh) * 2020-11-20 2021-02-26 广州极飞科技有限公司 目标物位置检测方法及相关装置
CN112415500B (zh) * 2020-11-20 2023-06-13 广州极飞科技股份有限公司 目标物位置检测方法及相关装置
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112883809A (zh) * 2021-01-25 2021-06-01 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
CN112883809B (zh) * 2021-01-25 2024-02-23 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
CN113030951A (zh) * 2021-03-10 2021-06-25 森思泰克河北科技有限公司 目标运动趋势判断方法、装置及终端设备
CN114913207A (zh) * 2022-05-26 2022-08-16 蚂蚁区块链科技(上海)有限公司 用于对货物移动进行检测的方法及装置
CN114913207B (zh) * 2022-05-26 2025-05-30 蚂蚁区块链科技(上海)有限公司 用于对货物移动进行检测的方法及装置
CN115830784A (zh) * 2022-11-22 2023-03-21 中科蓝卓(北京)信息科技有限公司 一种轨道异物联动监测装置、监测系统及监测方法
CN116087974A (zh) * 2023-03-01 2023-05-09 东方空间技术(山东)有限公司 天基红外目标识别系统及其目标识别方法

Similar Documents

Publication Publication Date Title
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
EP3581890B1 (en) Method and device for positioning
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US8379926B2 (en) Vision based real time traffic monitoring
CN110244322A (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
CN113255779B (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN108303096B (zh) 一种视觉辅助激光定位系统及方法
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN109886218A (zh) 基于超像素统计相异性的sar图像舰船目标检测方法
CN118570765B (zh) 障碍物检测追踪方法、装置、计算机设备及存储介质
CN112683228A (zh) 单目相机测距方法及装置
Patil et al. A survey on joint object detection and pose estimation using monocular vision
CN119156548A (zh) 一种点云评估方法及装置
Nitsch et al. 3d ground point classification for automotive scenarios
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN117576653A (zh) 目标追踪方法、装置、计算机设备和存储介质
Lu et al. Monocular multi-kernel based lane marking detection
CN116664809A (zh) 三维信息获取方法、装置、计算机设备、存储介质和产品
CN115546785A (zh) 三维目标检测方法及装置
Makhmalbaf et al. 2D vision tracking methods' performance comparison for 3D tracking of construction resources
CN115994934A (zh) 数据时间对齐方法、装置以及域控制器
CN114973147A (zh) 基于激光雷达建图的分布式监控摄像机定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110