[go: up one dir, main page]

CN113158765B - 一种红外图像中目标物体的识别方法、装置及电子设备 - Google Patents

一种红外图像中目标物体的识别方法、装置及电子设备 Download PDF

Info

Publication number
CN113158765B
CN113158765B CN202110204459.3A CN202110204459A CN113158765B CN 113158765 B CN113158765 B CN 113158765B CN 202110204459 A CN202110204459 A CN 202110204459A CN 113158765 B CN113158765 B CN 113158765B
Authority
CN
China
Prior art keywords
preset
edge
target
intersection point
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110204459.3A
Other languages
English (en)
Other versions
CN113158765A (zh
Inventor
梁林林
苏欣
陈洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infiray Technologies Co Ltd
Original Assignee
Infiray Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infiray Technologies Co Ltd filed Critical Infiray Technologies Co Ltd
Priority to CN202110204459.3A priority Critical patent/CN113158765B/zh
Publication of CN113158765A publication Critical patent/CN113158765A/zh
Application granted granted Critical
Publication of CN113158765B publication Critical patent/CN113158765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种红外图像中目标物体的识别方法、装置及电子设备,方法包括识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;根据所述第一面及所述第二面,生成所述目标物体对应的三维目标,本申请实现了相对二维图像可在车辆处于低能见度的环境下时更清晰地显现出周围车辆的位置及行驶方向,提升了车辆驾驶的安全性。

Description

一种红外图像中目标物体的识别方法、装置及电子设备
技术领域
本发明涉及图像识别领域,尤其涉及一种红外图像中目标物体的识别方法、装置及电子设备。
背景技术
在如夜间、雾霾、光照不足等能见度差和视野范围有限的驾驶环境下,驾驶员的可视距离将会明显缩短,同时在会车时远光灯也会发生炫目情况,导致行车安全受到极大的影响和威胁。在车辆上搭载的利用红外成像技术的车载红外系统,能够帮助驾驶员在这些不利场景中清楚地观察到周围车辆和行人信息,并能进一步看到可见光未能照射的区域,提前发现安全预警信息。
得益于深度学习技术的发展与应用,对图像中2D目标检测的技术已经逐渐趋于成熟,检测效率和准确率都有了一定的提升。然而,2D目标检测只能获得目标的二维信息,对于处于自动驾驶等驾驶场景和/或在视野范围差的驾驶环境下的车辆及驾驶者来说,还需要获得更加准确的周围车辆的信息。
现有技术中,对可见光图像进行3D目标检测的方法主要分为基于特征的3D目标检测和基于深度学习的3D目标检测。
基于特征的3D目标检测方法需要从预先创建的三维模型数据库中提取大量目标的局部特征点特征,利用提取到的目标特征与待检目标的特征进行匹配来实现3D检测的目标。然而该方法基于需要待检测目标上具有足够的纹理来计算特征,但红外图像则缺乏足够的纹理特征,因此很难应用于红外图像。
基于深度学习的3D目标检测可以综合利用单目相机、双目相机、多线激光雷达来进行3D目标检测。由于单目相机的算法效率高、成本低,所以基于单目相机的方法应用地更加广泛。
应用于单目相机的基于深度学习的3D目标检测方法主要包括两类,一类是扩展2D检测的方法,一类是先估计3D信息再进行3D检测的方法。然而应用于单目相机的基于深度学习方法的3D目标检测方法都需要庞大的神经网络计算来提取目标的特征和位置信息,算法的效率无法满足红外车载辅助系统的实时性要求,且目前开源的3D检测数据集都是基于可见光采集的数据,缺乏可应用于红外图像的3D目标检测数据集。
因此,发展一种可以应用于单目红外相机采集的红外图像以获得车辆的大小、位置和方向的3D检测方法,对提升车辆驾驶的便捷性与安全性具有重要意义。
发明内容
为了解决现有技术的不足,本发明的主要目的在于提供一种红外图像中目标物体的识别方法、装置及电子设备,以实现提升车辆驾驶的便捷性与安全性。为了达到上述目的,第一方面本发明提供了一种红外图像中目标物体的识别方法,所述方法包括:
识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述预设区域的第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
在一些实施例中,所述根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘包括:
根据预设的边缘检测方法,识别所述预设区域包含的所述目标物体的轮廓;
根据预设划分规则,将所述轮廓划分为区域块;
获取所有所述区域块中处于第一预设位置的第一预设区域块及第二预设区域块;
确定所述第一预设区域块及所述第二预设区域块中像素均值满足预设条件的区域块为目标区域块;
确定所述目标区域块中处于第二预设位置的点为所述至少两个预设点。
在一些实施例中,所述根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述预设区域的第一边缘的第一预设顶点,确定所述目标物体对应的第一面包括:
根据所述第一交点、所述第二交点及所述第一预设顶点,确定第三交点,所述第三交点、所述第二交点间的连线的长度与所述第一预设顶点、所述第一交点间的距离的差值不超过第一预设阈值且所述连线与所述第一边缘的夹角不超过第二预设阈值。
在一些实施例中,所述第二边缘包括第二预设顶点及第三预设顶点,所述根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面包括:
根据所述第三交点、所述第二交点、所述第二预设顶点及所述第三预设顶点,确定所述目标物体对应的第二面。
在一些实施例中,所述预设区域的尺寸不小于预设的图像尺寸阈值。
在一些实施例中,所述目标物体为车辆,所述方法包括:
根据待识别红外图像中包含的车道线及所述目标边缘,确定所述待识别车辆相对所述车道线的位移方向。
在一些实施例中,所述第二预设顶点由所述第三边缘与所述第二边缘相交形成,所述方法包括:
根据生成的所述三维目标中所述第一交点及所述第二交点间的距离,确定所述目标物体的长度;和/或
根据生成的所述三维目标中所述第一预设顶点及所述第一交点间的距离,确定所述目标物体的高度;和/或
根据生成的所述三维目标中所述第二交点与所述第二预设顶点间的距离,确定所述目标物体的宽度。
在一些实施例中,所述预设区域的形状为四边形。
第二方面,本申请提供了一种红外图像中车辆的识别装置,所述装置包括:
识别模块,用于识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
判断模块,用于根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
所述判断模块还用于根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述预设区域的第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
所述判断模块还用于根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
生成模块,用于根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
第三方面,本申请提供了一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述预设区域的第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
本发明实现的有益效果为:
本申请提供了一种红外图像中目标物体的识别方法,包括识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述预设区域的第一边缘的第一预设顶点,确定所述目标物体对应的第一面;根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;根据所述第一面及所述第二面,生成所述目标物体对应的三维目标,本申请通过检测算法识别单目红外相机采集的红外图像中包含目标物体的预设区域,目标物体可包括车辆等物体,并根据二维的预设区域进一步地生成了三维的目标物体的三维目标,相对二维图像可在车辆处于低能见度的环境下时更清晰地显现出周围车辆的位置及行驶方向,提升了车辆驾驶的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的车辆区域识别示意图;
图2是本申请实施例提供的目标区域识别过程示意图;
图3是本申请实施例提供的三维目标识别过程示意图;
图4是本申请实施例提供的三维目标示意图;
图5是本申请实施例提供的车载系统架构图;
图6是本申请实施例提供的方法流程图;
图7是本申请实施例提供的装置结构图;
图8是本申请实施例提供的电子设备架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,当车辆处于能见度差视野范围有限的驾驶场景下时,仅靠驾驶员肉眼观察道路情况将无法保证车辆的安全行驶。
为解决上述问题,本申请提出了一种红外图像中目标物体的识别方法,可实现对单目红外相机采集的红外图像提取车辆等目标物体的三维目标。
图5示出了本申请提供的车载红外系统的系统架构示意图,车载红外系统包括车载红外摄像头及ECU处理单元,ECU处理单元可以获取红外摄像头采集的红外图像,利用智能算法模块根据红外图像采集相应的3D目标,然后通过显示模块将生成的3D目标通过车辆的显示屏向用户可视化显示,或通过控制模块和/或传感模块将数据传输至车辆CAN总线及汽车电源系统,以便车辆自动驾驶等系统获取相应的3D目标以进行车辆驾驶的决策。所述车载红外摄像头可以是Xsafe-II M系列的,ECU处理单元则可基于安霸(Ambarella)CV25芯片搭建。
实施例一
具体的,应用本申请提供的红外图像中目标物体的识别方法进行车辆3D目标提取的过程包括:
步骤一、根据预设的目标检测算法,识别并提取待识别红外图像中包含的全部或部分车辆区域;
待识别红外图像可以根据红外单目摄像头采集的红外图片或红外视频得到。当待识别红外图像是红外视频时,可以将红外视频包含的每一视频帧作为待识别红外图像进行3D目标的识别。所述红外单目摄像头可以预先设置在车辆上,以实现实时采集路况信息。
所述目标检测算法可以是任意的目标检测算法,如基于机器学习检测算法HOG+SVM、ACF+Adaboost和基于深度学习检测算法RCNN、Faster RCNN、YOLO系列、SSD、mobilenet_yolo、mobilenet_SSD等。优选的,可使用基于深度学习算法的mobilenet-yolov3算法,该算法的backbone采用的是轻量级的mobilenet结构,可用于提取目标的特征信息。
目标检测算法可以从待识别红外图像中提取出包含的车辆区域,如图1所示,预设图像框内的图像即为被提取的车辆区域。
优选的,由于在2D的红外图像中显示相对本车距离较远的车辆的3D信息较为困难且相对本车距离较远的车辆的信息提取难度大且生成的三维目标的准确性比较低,可以选择检测与本车的距离不超过预设范围内的车辆进行3D目标识别。优选的,可以提取识别的所有车辆区域中尺寸不小于预设图像尺寸阈值的车辆区域。优选的,所述车辆区域的形状为四边形,优选为矩形。
步骤二、根据预设的边缘检测算法,识别车辆区域中包括的车辆轮廓;
可以采用Canny算子进行车辆边缘轮廓识别。由于在红外图像中,车辆比背景的亮度更亮,所以在选择canny阈值的时候,可以选择较大的阈值进行canny边缘计算。也可采用sobel算子、Laplacian算子、Roberts算法、Kirsch算子等其他任意边缘检测算子进行边缘检测,本申请对此不加限定。
步骤三、根据预设的划分规则,将车辆轮廓划分为区域块并确定目标区域块;
优选的,如图2所示,可以将车辆轮廓按照高为车辆轮廓高的1/2、宽为车辆ROI宽的1/3的规则平均划分为六个区域块。
然后获取所有区域块中处于所有区域块中包含车辆轮廓的左下角或右下角的两个区域块,并分别计算两个区域的像素均值。由于经统计得到包含轮胎的区域像素均值会较大,因此可以确定两个区域块中像素均值更高的区域块中包含更多的轮胎即为目标区域。
步骤四、根据目标区域块包括的至少两个预设点,确定车辆的目标边缘;
其中,至少两个预设点包括车辆的第一轮胎与地面的交点及第二轮胎与地面的交点,第一轮胎和第二轮胎是同一侧的轮胎,第一轮胎是目标区域块可见的所有轮胎中最前方的轮胎,第二轮胎是目标区域块可见的所有轮胎中最后方的轮胎。预设点间的连线即为车辆的目标边缘。
预设点是可用于指示车辆等目标物体的边缘的位置的点。当目标物体是车辆时,车辆同一侧的最前与最后的两个轮胎与地面的交点可以指示车辆侧面的边缘的位置。优选的,当车辆同一侧包括超过两个轮胎时,预设点的数量也可以超过两个,即包括同一侧的每个轮胎与地面的交点。当目标物体是除车辆外的物体时,预设点也可以是目标物体的其他可用于指示边缘位置的点。
如图3中车辆区域100包含的车辆101所示,当目标区域块是包含左下角的区域块时,可以判断车辆区域100的左半部分中包含车辆101的侧面,即相当于车辆区域100包括车辆101的左侧面。如图3中车辆区域200包含的车辆201所示,当目标区域块是包含右下角的区域块时,可以判断车辆区域200的右半部分中包含车辆201的侧面,即相当于车辆区域200包含车辆201的右侧面。
如图3所示,可以以待识别红外图像上的任意点为原点建立平面直角坐标系,其中X轴平行于图像的横向方向,Y轴平行于图像的纵向方向。车辆101的第一轮胎102与地面的交点a即为第一轮胎对应的图像包含的横坐标值最小的所有坐标点中纵坐标最小的点;第二轮胎103与地面的交点b即为第二轮胎对应的图像包含的位于纵坐标最低的点。车辆201的第一轮胎与地面的交点则是第一轮胎对应的图像包含的横坐标值最大的所有坐标点中纵坐标最小的点,第二轮胎与地面的交点为第二轮胎对应的图像包含的位于纵坐标最低的点。也可以根据其他任意方法确定第一轮胎、第二轮胎分别与地面的交点的位置,本申请对此不加限定。
步骤五、根据目标边缘与车辆区域的第一边缘的第一交点、与第三边缘的第二交点及第三边缘的第一预设顶点,确定车辆对应的第一面;
其中,当目标区域块是包含左下角的区域块时,第一边缘是车辆区域的左侧边缘;当目标区域是包含右下角的区域块时,第一边缘是车辆区域的右侧边。第三边缘是图像的底部边缘。
如图3所示,以车辆101为例,经过交点a、交点b的直线与第三边缘104的交点即为第二交点c;经过交点a、交点b的直线与第一边缘104的交点即为第一交点d。
第三交点e的横坐标与第二交点c的横坐标的差值不超过第三预设阈值,纵坐标与第二交点c的纵坐标与车辆轮廓的高度之和的差值不超过第一预设阈值。所述第三预设阈值可以根据所述连线与所述第一边缘的夹角不超过第二预设阈值时第三交点e的横坐标的取值范围确定。
优选的,第三交点e的横坐标与第二交点c的横坐标相同,纵坐标为第二交点c的纵坐标与车辆轮廓的高度之和。具体的,车辆轮廓的高度可以根据第一预设顶点、所述第一交点间距离的长度确定。
根据第一预设顶点f、第二交点c、第一交点d及第三交点e,可以确定待识别车辆对应的第一面即侧面。其中第一边缘包括第一预设顶点f。当目标边缘处于车辆的左侧面上即第一边缘是车辆区域的左侧边缘时,第一预设顶点f是车辆区域的左上顶点;当目标边缘处于车辆的右侧面上即第一边缘是车辆区域的右侧边缘时,第一预设顶点f是车辆区域的右上顶点。
步骤六、根据第二交点及车辆区域的第二边缘,确定所述车辆对应的第二面;
如图3所示,第二边缘包括第二预设顶点g及第三预设顶点h,根据第二交点c、第三交点e、第二预设顶点g及第三预设顶点h可以确定待识别车辆对应的第二面即背面。当目标边缘处于车辆的左侧面上时,第二预设顶点是车辆区域的右上顶点,第三预设顶点是图像的右下顶点。当目标边缘处于车辆的右侧面上时,第二预设顶点是车辆区域的左下顶点,第三预设顶点是图像的左下顶点。
步骤七、根据第一面及第二面,确定车辆对应的三维目标;
如图4所示,根据第一面及第二面可以生成车辆对应的三维目标。
根据生成的三维目标可确定车辆的长、宽及高,具体过程包括:
根据生成三维目标中第一交点及第二交点间的距离,确定车辆的长度;和/或
根据生成的三维目标中第一预设顶点及第一交点间的距离,确定车辆的高度;和/或
根据生成的三维目标中第二交点与第二预设顶点间的距离,确定车辆的宽度。
当待识别图像中包含车道线时,可根据车道线与目标边缘的夹角,确定车辆相对车道线的位移方向。
基于本申请公开的方法,本申请实现了根据红外图像可在夜晚、沙尘、雾霾等天气进行3D目标检测,可弥补可见光的缺陷,提高了在上述场景中的行车安全性。本申请通过基于2D目标检测和边缘检测利用目标特性进行3D信息推理,与基于深度学习的3D目标相比,需要的算力小,实时性好;与多传感器检测的方法相比,仅需要一个红外探测器即可,结构简单,节约成本。
实施例二
对应上述实施例,如图6所示,本申请提供了一种红外图像中目标物体的识别方法,所述方法包括:
610、识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
620、根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
优选的,所述根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘包括:
621、根据预设的边缘检测方法,识别所述预设区域包含的所述目标物体的轮廓;
622、根据预设划分规则,将所述轮廓划分为区域块;
623、获取所有所述区域块中处于第一预设位置的第一预设区域块及第二预设区域块;
624、确定所述第一预设区域块及所述第二预设区域块中像素均值满足预设条件的区域块为目标区域块;
625、确定所述目标区域块中处于第二预设位置的点为所述至少两个预设点。
630、根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
优选的,所述根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面包括:
631、根据所述第一交点、所述第二交点及所述第一预设顶点,确定第三交点,所述第三交点、所述第二交点间的连线的长度与所述第一预设顶点、所述第一交点间的距离的差值不超过第一预设阈值且所述连线与所述第一边缘的夹角不超过第二预设阈值;
632、根据所述第三交点、所述第二交点、所述第一交点及所述第一预设顶点,确定所述目标物体对应的第一面。
640、根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
优选的,所述第二边缘包括第二预设顶点及第三预设顶点,所述根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面包括:
641、根据所述第三交点、所述第二交点、所述第二预设顶点及所述第三预设顶点,确定所述目标物体对应的第二面。
650、根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
优选的,所述预设区域的尺寸不小于预设的图像尺寸阈值。
优选的,所述目标物体为车辆,所述方法包括:
660、根据目标红外图像中包含的车道线及所述目标边缘,确定所述待识别车辆相对所述车道线的位移方向。
优选的,所述第二预设顶点由所述第三边缘与所述第二边缘相交形成,所述方法包括:
670、根据生成的所述三维目标中所述第一交点及所述第二交点间的距离,确定所述目标物体的长度;和/或
671、根据生成的所述三维目标中所述第一预设顶点及所述第一交点间的距离,确定所述目标物体的高度;和/或
672、根据生成的所述三维目标中所述第二交点与所述第二预设顶点间的距离,确定所述目标物体的宽度。
优选的,所述预设区域的形状为四边形。
实施例三
对应上述实施例,本申请提供一种红外图像中目标物体的识别装置,所述组装置包括:
识别模块710,用于识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
判断模块720,用于根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
所述判断模块720还用于根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
所述判断模块720还用于根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
生成模块730,用于根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
优选的,所述识别模块710还可用于根据预设的边缘检测方法,识别所述预设区域包含的所述目标物体的轮廓;所述判断模块720还可用于根据预设划分规则,将所述轮廓划分为区域块;获取所有所述区域块中处于第一预设位置的第一预设区域块及第二预设区域块;确定所述第一预设区域块及所述第二预设区域块中像素均值满足预设条件的区域块为目标区域块;确定所述目标区域块中处于第二预设位置的点为所述至少两个预设点。
优选的,所述判断模块720还可用于根据所述第一交点、所述第二交点及所述第一预设顶点,确定第三交点,所述第三交点、所述第二交点间的连线的长度与所述第一预设顶点、所述第一交点间的距离的差值不超过第一预设阈值且所述连线与所述第一边缘的夹角不超过第二预设阈值;根据所述第三交点、所述第二交点、所述第一交点及所述第一预设顶点,确定所述目标物体对应的第一面。
优选的,所述判断模块720还可用于根据所述第三交点、所述第二交点、所述第二预设顶点及所述第三预设顶点,确定所述目标物体对应的第二面。
优选的,所述预设区域的尺寸不小于预设的图像尺寸阈值。
优选的,所述目标物体为车辆,所述判断模块还可用于根据目标红外图像中包含的车道线及所述目标边缘,确定所述待识别车辆相对所述车道线的位移方向。
优选的,所述第二预设顶点由所述第三边缘与所述第二边缘相交形成,所述判断模块720还可用于根据生成的所述三维目标中所述第一交点及所述第二交点间的距离,确定所述目标物体的长度;和/或根据生成的所述三维目标中所述第一预设顶点及所述第一交点间的距离,确定所述目标物体的高度;和/或根据生成的所述三维目标中所述第二交点与所述第二预设顶点间的距离,确定所述目标物体的宽度。
实施例四
对应上述方法及装置,本申请实施例提供一种电子设备,包括:
一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
其中,图8示例性的展示出了电子设备的架构,具体可以包括处理器1510,视频显示适配器1511,磁盘驱动器1512,输入/输出接口1513,网络接口1514,以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520之间可以通过通信总线1530进行通信连接。
其中,处理器1510可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1520可以存储用于控制电子设备1500运行的操作系统1521,用于控制电子设备1500的低级别操作的基本输入输出系统(BIOS)1522。另外,还可以存储网页浏览器1523,数据存储管理1524,以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1520中,并由处理器1510来调用执行。输入/输出接口1513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路,在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520)之间传输信息。
另外,该电子设备1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,存储器1520,总线1530等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种红外图像中目标物体的识别方法,其特征在于,所述方法包括:
识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面,其中所述第二边缘包括第二预设顶点及第三预设顶点,所述第二预设顶点由所述第三边缘与所述第二边缘相交形成;
根据所述第一面及所述第二面,生成所述目标物体对应的三维目标;
其中所述根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘包括:
根据预设的边缘检测方法,识别所述预设区域包含的所述目标物体的轮廓;
根据预设划分规则,将所述轮廓划分为区域块;
获取所有所述区域块中处于第一预设位置的第一预设区域块及第二预设区域块;
确定所述第一预设区域块及所述第二预设区域块中像素均值满足预设条件的区域块为目标区域块;
确定所述目标区域块中处于第二预设位置的点为所述至少两个预设点;
所述根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面包括:
根据所述第一交点、所述第二交点及所述第一预设顶点,确定第三交点,所述第三交点、所述第二交点间的连线的长度与所述第一预设顶点、所述第一交点间的距离的差值不超过第一预设阈值且所述连线与所述第一边缘的夹角不超过第二预设阈值;
根据所述第三交点、所述第二交点、所述第一交点及所述第一预设顶点,确定所述目标物体对应的第一面;
所述根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面包括:
根据所述第三交点、所述第二交点、所述第二预设顶点及所述第三预设顶点,确定所述目标物体对应的第二面。
2.根据权利要求1所述的方法,其特征在于,所述预设区域的尺寸不小于预设的图像尺寸阈值。
3.根据权利要求1所述的方法,其特征在于,所述目标物体为车辆,所述方法包括:
根据目标红外图像中包含的车道线及所述目标边缘,确定待识别车辆相对所述车道线的位移方向。
4.根据权利要求1所述的方法,其特征在于,所述方法包括:
根据生成的所述三维目标中所述第一交点及所述第二交点间的距离,确定所述目标物体的长度;和/或,
根据生成的所述三维目标中所述第一预设顶点及所述第一交点间的距离,确定所述目标物体的高度;和/或,
根据生成的所述三维目标中所述第二交点与所述第二预设顶点间的距离,确定所述目标物体的宽度。
5.根据权利要求1所述的方法,其特征在于,所述预设区域的形状为四边形。
6.一种实现权利要求1所述红外图像中目标物体的识别方法的识别装置,其特征在于,所述装置包括:
识别模块,用于识别目标红外图像中包含的预设区域,所述预设区域包括所述目标物体;
判断模块,用于根据所述预设区域包括的至少两个预设点,确定所述目标物体的目标边缘;
所述判断模块还用于根据所述目标边缘与所述预设区域的第一边缘的第一交点、与所述预设区域的第三边缘的第二交点及所述第一边缘的第一预设顶点,确定所述目标物体对应的第一面;
所述判断模块还用于根据所述第二交点、所述预设区域的第二边缘,确定所述目标物体对应的第二面;
生成模块,用于根据所述第一面及所述第二面,生成所述目标物体对应的三维目标。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如权利要求1所述红外图像中目标物体的识别方法的操作。
CN202110204459.3A 2021-02-23 2021-02-23 一种红外图像中目标物体的识别方法、装置及电子设备 Active CN113158765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110204459.3A CN113158765B (zh) 2021-02-23 2021-02-23 一种红外图像中目标物体的识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110204459.3A CN113158765B (zh) 2021-02-23 2021-02-23 一种红外图像中目标物体的识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113158765A CN113158765A (zh) 2021-07-23
CN113158765B true CN113158765B (zh) 2024-11-19

Family

ID=76883865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110204459.3A Active CN113158765B (zh) 2021-02-23 2021-02-23 一种红外图像中目标物体的识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113158765B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
CN109829447A (zh) * 2019-03-06 2019-05-31 百度在线网络技术(北京)有限公司 用于确定车辆三维框架的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999939B (zh) * 2012-09-21 2016-02-17 魏益群 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN112308769B (zh) * 2020-10-30 2022-06-10 北京字跳网络技术有限公司 图像合成方法、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
CN109829447A (zh) * 2019-03-06 2019-05-31 百度在线网络技术(北京)有限公司 用于确定车辆三维框架的方法和装置

Also Published As

Publication number Publication date
CN113158765A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
CN105261020B (zh) 一种快速车道线检测方法
CN104584076B (zh) 图像处理装置以及图像处理方法
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
US9396553B2 (en) Vehicle dimension estimation from vehicle images
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
JP2015179302A (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
CN111402326A (zh) 障碍物的检测方法、装置、无人车及存储介质
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
US12243321B2 (en) Method for determining a semantic free space
CN113763452A (zh) 斜度估计装置及其操作方法
CN112639822B (zh) 一种数据处理方法及装置
CN114120266A (zh) 车辆变道检测方法、装置、电子设备及存储介质
JP6340849B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
CN113158765B (zh) 一种红外图像中目标物体的识别方法、装置及电子设备
CN117197227A (zh) 计算目标车辆偏航角方法、装置、设备以及介质
CN116681932A (zh) 一种对象识别方法、装置、电子设备及存储介质
JP5773334B2 (ja) オプティカルフロー処理装置及び表示半径マップ生成装置
US20220318456A1 (en) Simulation method based on three-dimensional contour, storage medium, computer equipment
EP4207066A1 (en) Object tracking method and apparatus, device, and a computer-readable storage medium
CN115683109A (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
CN114445797A (zh) 夜间行车视觉辅助方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant