CN111351474B - 车辆移动目标检测方法、装置和系统 - Google Patents
车辆移动目标检测方法、装置和系统 Download PDFInfo
- Publication number
- CN111351474B CN111351474B CN201811583995.3A CN201811583995A CN111351474B CN 111351474 B CN111351474 B CN 111351474B CN 201811583995 A CN201811583995 A CN 201811583995A CN 111351474 B CN111351474 B CN 111351474B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- moving target
- detection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000003068 static effect Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种车辆移动目标检测方法、装置和系统,该方法包括:当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像;当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像;根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点;根据检测图像中的动态特征点得到移动目标信息;将得到的检测图像和移动目标信息发送至车载显示器进行显示。根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
Description
技术领域
本申请涉及车辆驾驶技术领域,特别是涉及一种车辆移动目标检测方法、装置和系统。
背景技术
随着人们生活水平的提高,汽车逐渐走进千家万户,成为最主要的交通工具,而汽车驾驶的安全性是汽车的重要指标之一。如何在车辆驾驶过程中快速检测到移动目标以避免可能的碰撞事故,直接关系到车辆的驾驶安全。
传统的车辆移动目标检测系统是基于安装在车尾的单目摄像头进行图像采集,将采集的图像发送到车载显示器进行显示,可检测的范围有限。传统的车辆移动目标检测系统存在检测可靠性低的缺点。
发明内容
基于此,有必要针对上述问题,提供一种检测可靠性高的车辆移动目标检测方法、装置和系统。
一种车辆移动目标检测方法,包括:
当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像;
当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像;
根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点;
根据检测图像中的动态特征点得到移动目标信息;
将得到的检测图像和所述移动目标信息发送至车载显示器进行显示。
上述车辆移动目标检测方法,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
在一个实施例中,所述根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点,包括:
将得到的检测图像处理为灰度图,并对灰度图进行特征提取得到特征点;
根据预设约束参数对所述特征点进行提取,得到检测图像中的动态特征点。
将检测图像处理为灰度图之后提取特征点,可增加图像处理速度,然后根据预设的约束参数从特征点中提取出动态特征点,可快速可靠地进行特征点提取。
在一个实施例中,所述预设约束参数包括:对特征点跟踪位移长度的约束、特征点在多帧图像跟踪的寿命的约束、特征点跟踪向量与图像中消失点连线形成的夹角约束和动态特征点重构后与车辆位移之间的约束关系。
同时结合多种约束对图像中的动态特征点进行提取,确保动态特征点的提取准确性和可靠性。
在一个实施例中,所述根据检测图像中的动态特征点得到移动目标信息,包括:
对检测图像中的动态特征点进行聚类得到移动目标;
对所述移动目标进行卡尔曼预测跟踪,检测得到移动目标信息。
对聚类得到的移动目标进行卡尔曼预测跟踪,预测出移动物体的位置坐标,以达到对移动物的检测与追踪的效果,准确可靠地预测目标的移动得到移动目标信息。
在一个实施例中,所述移动目标信息包括目标所在区域和移动目标尺寸。
同时预测移动目标所在的区域和尺寸进行检测,以便驾驶员通过车载显示屏显示的移动目标信息及时采用对应的操作措施,提高了驾驶员的操作便利性。
在一个实施例中,所述当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像之前,还包括:
获取车辆信息,根据所述车辆信息判断车辆速度是否大于预设速度阈值;
若否,则根据所述车辆信息检测车辆的状态。
通过检测车辆速度,当车辆速度小于预设速度阈值时则可认为车辆位于小区等人流量大的区域,此时检测车辆状态并根据车辆状态获取对应的检测图像进行移动目标检测,当车速较快时可认为车辆处于无行人的区域,可不进行移动目标检测,节省能源。
在一个实施例中,所述将得到的检测图像和所述移动目标信息发送至车载显示器进行显示之后,还包括输出报警提示信息的步骤。
在检测到移动目标并将检测图像和移动目标信息发送至车载显示器进行显示之后,还输出报警提示信息以提醒驾驶员注意,避免可能的碰撞事故,进一步提高了车辆驾驶安全性。
一种车辆移动目标检测检测装置,包括:
静止状态图像采集模块,用于当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像;
运动状态图像采集模块,用于当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像;
图像动态特征提取模块,用于根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点;
移动目标信息获取模块,用于根据检测图像中的动态特征点得到移动目标信息;
移动目标信息显示模块,用于将得到的检测图像和所述移动目标信息发送至车载显示器进行显示。
上述车辆移动目标检测装置,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
一种车辆移动目标检测检测系统,包括摄像头、车载处理器和车载显示器,所述摄像头设置于车辆四周,所述车载处理器连接所述摄像头和所述车载显示器,所述摄像头用于采集车辆所处环境的图像,所述车载处理器用于根据上述方法进行车辆移动目标检测,并将得到的检测图像和所述移动目标信息发送至所述车载显示器进行显示。
上述车辆移动目标检测系统,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
在一个实施例中,所述摄像头为鱼眼摄像头。利用鱼眼摄像头可以独立实现大范围无死角监控的全景摄像,扩大了检测范围,进一步提高了车辆移动目标检测的可靠性。
附图说明
图1为一实施例中车辆移动目标检测方法的流程图;
图2为另一实施例中车辆移动目标检测方法的流程图;
图3为一实施例中车辆四周的摄像头设置示意图;
图4为一实施例中全景拼接的鸟瞰图下多目标跟踪报警的示意图;
图5为一实施例中车辆前进时将前摄像头采集的图像中移动人物框选出的示意图;
图6为一实施例中车辆倒车时将后摄像头采集的图像中移动人物框选出的示意图;
图7为一实施例中车辆移动目标检测方法的流程示意图;
图8为一实施例中车辆移动目标检测检测装置的结构框图;
图9为另一实施例中车辆移动目标检测检测装置的结构框图;
图10为一实施例中车辆移动目标检测检测系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,提供了一种车辆移动目标检测方法,如图1所示,包括:
步骤S130:当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像。
具体地,可通过车载处理器接收车辆传感器采集的车辆信息,根据车辆信息判断车辆的状态。车载处理器具体可以是车载嵌入式处理器,车辆信息具体可包括车速、档位等。当车辆处于停车或空挡时,可认为车辆处于静止状态,车载处理器获取设置于车辆四周的摄像头采集的图像。摄像头的具体数量和类型并不唯一,以采用4个鱼眼摄像头为例,具体可将鱼眼摄像头分别设置在车辆前、后、左、右四个方向上,车载处理器获取设置于车辆四周的所有摄像头采集的图像进行全景拼接得到鸟瞰图,以用作检测周围移动物体。
此外,在步骤S130之前,该方法还可包括对设置于车辆四周的摄像头进行标定和矫正的步骤。同样以采用4个鱼眼摄像头为例,在车辆前后左右固定的四个位置处安装鱼眼相机并进行标定得到四个相机的内外参数,对相机进行畸变矫正以及对相机的可视区域进行设置达到良好的鸟瞰图的拼接。
步骤140:当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像。
对应地,当车辆处于运动时(前进挡位),车载处理器获取前视摄像头采集的图像作为检测图像,当那个处于自车倒车(后退档位)时,车载处理器获取后视摄像头采集的图像作为检测图像,以用作实时的检测移动物体。
步骤S150:根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点。
在针对车辆不同状态对应获取得到检测图像后,对图像进行识别获取动态特征点,以用作后续确定移动目标。可以理解,进行图像识别获取动态特征点的具体方式并不唯一,在一个实施例中,步骤S150包括步骤152和步骤154。
步骤152:将得到的检测图像处理为灰度图,并对灰度图进行特征提取得到特征点。将检测图像处理为灰度图之后提取特征点,提取得到的特征点包括动态特征点和静态特征点。
步骤154:根据预设约束参数对特征点进行提取,得到检测图像中的动态特征点。预设约束参数的具体内容也不是唯一的,本实施例中,预设约束参数包括:对特征点跟踪位移长度的约束、特征点在多帧图像跟踪的寿命的约束、特征点跟踪向量与图像中消失点连线形成的夹角约束和动态特征点重构后与车辆位移之间的约束关系。同时结合多种约束对图像中的动态特征点进行提取,确保动态特征点的提取准确性和可靠性。
具体地,对采集到的检测图像使用光流跟踪,对于连续帧的跟踪若跟踪不超过2帧,那么将去除该特征点;根据车辆的速度大小,给光流的长度设置不同的阈值以去除光流噪声。对于在马路上行驶车辆,静态参照物的光流方向一般是垂直的,那么通过计算消失点的位置,将消失点与光流起始点以及终点的夹角的约束,对于满足阈值的特征点光流可以根据该夹角的大小计算出相应的置信度。对于两帧之间使用极线约束的方法将特征点重构,对于动态特征点重构后的交点与静态特征点的重构结果是不一样的,可将重构出结果偏移量较大的认为是动态特征点,从而将动态特征点从静态特征点中提取出来。
本实施例中,将检测图像处理为灰度图之后提取特征点,可增加图像处理速度,然后根据预设的约束参数从特征点中提取出动态特征点,可快速可靠地进行特征点提取。
步骤S160:根据检测图像中的动态特征点得到移动目标信息。
车载处理器提取得到检测图像中的动态特征点之后,对动态特征点进行跟踪,分割出移动目标与背景信息,得到移动目标的相关信息。具体地,在一个实施例中,步骤S160包括步骤162和步骤164。
步骤162:对检测图像中的动态特征点进行聚类得到移动目标。将提取得到的动态特征点进行聚类分析,得到移动目标的位置、形状、大小等信息。
步骤164:对移动目标进行卡尔曼预测跟踪,检测得到移动目标信息。对移动目标使用卡尔曼预测跟踪,从而检测出横穿移动物。
本实施例中,对聚类得到的移动目标进行卡尔曼预测跟踪,预测出移动物体的位置坐标,以达到对移动物的检测与追踪的效果,准确可靠地预测目标的移动得到移动目标信息。
步骤S170:将得到的检测图像和移动目标信息发送至车载显示器进行显示。
在从检测图像中获取到移动目标信息后,可以是在车载显示器显示得到的检测图像时,在检测图像上标注移动目标信息,例如以框选出移动目标的方式进行显示等,以便于驾驶员观察。显示的移动目标信息的具体内容并不唯一,在一个实施例中,移动目标信息包括目标所在区域和移动目标尺寸。同时预测移动目标所在的区域和尺寸进行检测,以便驾驶员通过车载显示屏显示的移动目标信息及时采用对应的操作措施,提高了驾驶员的操作便利性。
进一步地,在一个实施例中,如图2所示,步骤S130之前,该方法还可包括步骤S110和步骤S120。
步骤S110:获取车辆信息,根据车辆信息判断车辆速度是否大于预设速度阈值。具体地,车载处理器可通过can总线接收车辆传感器采集并传输的车辆信息,根据车辆信息判断车辆速度是否大于预设速度阈值,若是,则不进行移动目标检测;若否,则进行步骤S120。车辆信息具体可包括车速、档位等,预设速度阈值的具体取值并不唯一,本实施例中,预设速度阈值为10KM/h,当检测到的车速在10KM/h以内,则进行步骤S120,启动移动目标检测。可以理解,当车辆速度大于预设速度阈值时,还可返回步骤S110,重新获取车辆信息进行车速判断。
步骤S120:根据车辆信息检测车辆的状态。具体地,当车辆速度小于或等于预设速度阈值时,车载处理器根据检测到的车辆档位判断车辆的状态,以便获取车辆相关位置的摄像头采集的图像。
本实施例中,通过检测车辆速度,当车辆速度小于预设速度阈值时则可认为车辆位于小区等人流量大的区域,此时检测车辆状态并根据车辆状态获取对应的检测图像进行移动目标检测,当车速较快时可认为车辆处于无行人的区域,可不进行移动目标检测,节省能源。
此外,在获取车辆信息之后,根据车辆信息判断车辆速度是否大于预设速度阈值之前,该方法还包括根据车辆信息标定车辆运动模型参数,并根据车辆运动模型参数生成约束参数的步骤。
具体地,通过控制车辆按左前、右前、左后、右后四个方向正常行驶并回到起点,车载处理器根据自车传感器信息记录每一采样时刻的车辆传感器数据,对不同时刻的车辆运动状态建模,该模型的数据主要有标定数据获取,包括自车在两帧图像之间在车辆坐标系下x,y方向上的位移。该运动信息为检测出移动目标提供了约束参数,为把动态特征点从静态特征点提取出提供了有力信息。
进一步地,在一个实施例中,继续参照图2,步骤S170之后,该方法还可包括步骤S180:输出报警提示信。在检测到移动目标并将检测图像和移动目标信息发送至车载显示器进行显示之后,还输出报警提示信息以提醒驾驶员注意,避免可能的碰撞事故,进一步提高了车辆驾驶安全性。
具体地,车载处理器输出报警提示信息的方式并不唯一,可以是控制车载显示器显示预设文字或图像等,可以是控制指示灯点亮或闪烁,也可以是控制扬声器发声进行报警等。本实施例中,车载处理器可根据检测到的移动目标信息进行声光报警,确保驾驶员及时注意到以免发生碰撞事故,提升驾车安全系数的系统。例如,在检测到移动目标之后,车载处理器控制指示灯闪烁,并通知扬声器发出“滴滴”的声音,提示驾驶员周围有危险移动物体存在,提高驾驶的安全性,为用户提供更全面、更稳定的主动安全保障。
应该理解的是,虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为便于更好地理解上述车辆移动目标检测检测方法,下面结合具体实施例进行详细解释说明。
如图3所示,在车辆前后左右固定的四个位置处安装鱼眼相机,并进行标定。车载嵌入式处理器按左前、右前、左后、右后四个方向正常行驶车辆并回到起点,记录每一采样时刻的车辆传感器数据,用于标定车辆运动模型参数。在园区慢行或是泊车场景下,启动车辆前静止状态下,开启移动物体检测功能,此时程序会通过鸟瞰图对车身周围的移动物体进行检测,实时的捕捉结果在鸟瞰图上显示且报警车辆发出报警声音提示,如图4所示为全景拼接的鸟瞰图下多目标跟踪报警的示意图。车辆在前进档时,通过前视摄像头捕捉车前移动的物体并发出警报声提示,如图5所示为车辆前进时将前摄像头采集的图像中移动人物框选出并报警的示意图。开始倒车时,将通过后视摄像头,捕捉在车尾处移动的物体,实时的发出“叮叮”报警,如图6所示为车辆倒车时将后摄像头采集的图像中移动人物框选出的示意图。车辆移动目标检测流程具体如下:
参数图7,对于车辆四周的四个摄像头进行鱼眼相机的标定,得到四个相机的内外参数,并对相机的可视区域进行设置达到良好的鸟瞰图的拼接,自车运动估计模块使用了车辆上的can数据,能够获得车辆的模型,相机相对运动等信息。由于该车辆移动目标检测一般应用在低速园区内,自动泊车等场景下。首先判断车辆速度来决定是否启动移动物体检测,如果速度大于10KM/h则自动关闭,若速度在10KM/h以内,则开启,当档位为D,使用前视相机,档位为R,使用后视相机,档位为P或者N使用拼接后的鸟瞰图。将采集到的图像信息处理为灰度图,以增加图像处理速度,再对灰度图进行特征点的提取,之后是根据特征点进行移动目标检测。对车辆上的采集到的实时图像使用光流跟踪,对于连续帧的跟踪,若跟踪不超过2帧,那么将去除该特征点;根据车辆的速度大小,给光流的长度设置不同的阈值,以去除光流噪声;对于在马路上行驶车辆静态参照物的光流方向一般是垂直的,那么通过计算消失点的位置,将消失点与光流起始点以及终点的夹角的约束,对于满足一定阈值的特征点光流以可以根据该夹角的大小计算出相应的置信度。最后对于两帧之间使用极线约束的方法将特征点重构,那么对于是动态的特征点重构后的交点与静态点的重构结果是不一样的,对重构出结果偏移量较大的认为是动态。所以可以通过以上这些约束条件将动态移动物上的特征点分析得来,再根据特征点进行聚类,再根据聚类后移动目标使用卡尔曼预测跟踪,以达到连续帧之间的移动物的检测与追踪的效果,最后根据检测出的横穿移动物,进行声音报警。
上述车辆移动目标检测方法,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。上述车辆移动目标检测方法能有效且快速的得到检测结果,且能得到稳定的检测结果并报警,具有360度、全景多视角的检测能力,为驾驶员提供安全保障。
在一个实施例中,提供了一种车辆移动目标检测检测装置,如图8所示,包括静止状态图像采集模块130、运动状态图像采集模块140、图像动态特征提取模块150、移动目标信息获取模块160和移动目标信息显示模块170。
静止状态图像采集模块130用于当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像。
运动状态图像采集模块140用于当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像。
图像动态特征提取模块150用于根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点。在一个实施例中,图像动态特征提取模块150将得到的检测图像处理为灰度图,并对灰度图进行特征提取得到特征点;根据预设约束参数对特征点进行提取,得到检测图像中的动态特征点。
移动目标信息获取模块160用于根据检测图像中的动态特征点得到移动目标信息。在一个实施例中,移动目标信息获取模块160对检测图像中的动态特征点进行聚类得到移动目标;对移动目标进行卡尔曼预测跟踪,检测得到移动目标信息。
移动目标信息显示模块170用于将得到的检测图像和移动目标信息发送至车载显示器进行显示。在一个实施例中,移动目标信息包括目标所在区域和移动目标尺寸。
此外,该装置还可包括摄像头标定模块,摄像头标定模块在静止状态图像采集模块130当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像之前,对设置于车辆四周的摄像头进行标定和矫正的。
进一步地,在一个实施例中,如图9所示,该装置还可包括车辆信息获取模块110和车辆状态检测模块120。
车辆信息获取模块110用于在静止状态图像采集模块130当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像之前,获取车辆信息,根据车辆信息判断车辆速度是否大于预设速度阈值。
车辆状态检测模块120用于在车辆速度小于或等于预设速度阈值时,根据车辆信息检测车辆的状态。
此外,在获取车辆信息之后,车辆信息获取模块110根据车辆信息判断车辆速度是否大于预设速度阈值之前,还根据车辆信息标定车辆运动模型参数,并根据车辆运动模型参数生成约束参数。
进一步地,在一个实施例中,继续参照图9,该装置还可包括报警信息输出模块180。报警信息输出模块180用于在移动目标信息显示模块170将得到的检测图像和移动目标信息发送至车载显示器进行显示之后,输出报警提示信。
关于车辆移动目标检测装置的具体限定可以参见上文中对于车辆移动目标检测方法的限定,在此不再赘述。上述车辆移动目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
上述车辆移动目标检测装置,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
在一个实施例中,提供了一种车辆移动目标检测检测系统,如图10所示,包括摄像头110、车载处理器120和车载显示器130,摄像头110设置于车辆四周,车载处理器120连接摄像头110和车载显示器130,摄像头110用于采集车辆所处环境的图像,车载处理器用于根据上述方法进行车辆移动目标检测,并将得到的检测图像和移动目标信息发送至车载显示器130进行显示。
其中,摄像头110的具体数量和类型并不唯一,摄像头110具体可以是鱼眼摄像头。利用鱼眼摄像头可以独立实现大范围无死角监控的全景摄像,扩大了检测范围,进一步提高了车辆移动目标检测的可靠性。以采用4个鱼眼摄像头为例,可将鱼眼摄像头分别设置在车辆前、后、左、右四个方向上。车载处理器120具体可采用车载嵌入式处理器。
上述车辆移动目标检测系统,根据车辆所处的状态不同,获取车辆对应位置摄像头采集的图像得到检测图像,并对检测图像进行图像识别提取动态特征点,进而得到移动目标信息与检测图像一并发送至车载显示器进行显示,实现车辆在静止状态时进行车载全景环视检测,车辆在运动状态时在车辆行驶方向上的图像检测,并提取检测到的图像中的移动目标信息进行显示,以便驾驶员及时知晓,适合在不同场景条件下对移动目标的检测,提高了车辆移动目标检测的可靠性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种车辆移动目标检测方法,其特征在于,包括:
当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像;
当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像;
根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点;
根据检测图像中的动态特征点得到移动目标信息;
将得到的检测图像和所述移动目标信息发送至车载显示器进行显示;
所述根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点,包括:将得到的检测图像处理为灰度图,并对灰度图进行特征提取得到特征点;根据预设约束参数对所述特征点进行光流跟踪去噪和极线约束特征点重构,得到检测图像中的动态特征点;其中,所述预设约束参数包括:对特征点跟踪位移长度的约束、特征点在多帧图像跟踪的寿命的约束、特征点跟踪向量与图像中消失点连线形成的夹角约束和动态特征点重构后与车辆位移之间的约束关系。
2.根据权利要求1所述的方法,其特征在于,所述根据检测图像中的动态特征点得到移动目标信息,包括:
对检测图像中的动态特征点进行聚类得到移动目标;
对所述移动目标进行卡尔曼预测跟踪,检测得到移动目标信息。
3.根据权利要求2所述的方法,其特征在于,所述移动目标信息包括目标所在区域和移动目标尺寸。
4.根据权利要求1所述的方法,其特征在于,所述当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像之前,还包括:
获取车辆信息,根据所述车辆信息判断车辆速度是否大于预设速度阈值;
若否,则根据所述车辆信息检测车辆的状态。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述将得到的检测图像和所述移动目标信息发送至车载显示器进行显示之后,还包括输出报警提示信息的步骤。
6.一种车辆移动目标检测装置,其特征在于,包括:
静止状态图像采集模块,用于当车辆处于静止状态时,获取设置于车辆四周的摄像头采集的图像进行全景拼接,得到检测图像;
运动状态图像采集模块,用于当车辆处于运动状态时,获取设置于车辆行驶方向上的摄像头采集的图像作为检测图像;
图像动态特征提取模块,用于根据得到的检测图像进行图像识别处理,获取检测图像中的动态特征点;
移动目标信息获取模块,用于根据检测图像中的动态特征点得到移动目标信息;
移动目标信息显示模块,用于将得到的检测图像和所述移动目标信息发送至车载显示器进行显示;
所述图像动态特征提取模块将得到的检测图像处理为灰度图,并对灰度图进行特征提取得到特征点;根据预设约束参数对所述特征点进行光流跟踪去噪和极线约束特征点重构,得到检测图像中的动态特征点;其中,所述预设约束参数包括:对特征点跟踪位移长度的约束、特征点在多帧图像跟踪的寿命的约束、特征点跟踪向量与图像中消失点连线形成的夹角约束和动态特征点重构后与车辆位移之间的约束关系。
7.一种车辆移动目标检测系统,其特征在于,包括摄像头、车载处理器和车载显示器,所述摄像头设置于车辆四周,所述车载处理器连接所述摄像头和所述车载显示器,所述摄像头用于采集车辆所处环境的图像,所述车载处理器用于根据权利要求1-5任意一项所述的方法进行车辆移动目标检测,并将得到的检测图像和所述移动目标信息发送至所述车载显示器进行显示。
8.根据权利要求7所述的系统,其特征在于,所述摄像头为鱼眼摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811583995.3A CN111351474B (zh) | 2018-12-24 | 2018-12-24 | 车辆移动目标检测方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811583995.3A CN111351474B (zh) | 2018-12-24 | 2018-12-24 | 车辆移动目标检测方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111351474A CN111351474A (zh) | 2020-06-30 |
CN111351474B true CN111351474B (zh) | 2022-07-12 |
Family
ID=71193867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811583995.3A Active CN111351474B (zh) | 2018-12-24 | 2018-12-24 | 车辆移动目标检测方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111351474B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112735163B (zh) * | 2020-12-25 | 2022-08-02 | 阿波罗智联(北京)科技有限公司 | 确定目标物体静止状态的方法、路侧设备、云控平台 |
CN115214694B (zh) * | 2021-09-13 | 2023-09-08 | 广州汽车集团股份有限公司 | 摄像头标定触发控制方法、车载控制器和智能驾驶系统 |
CN113837093A (zh) * | 2021-09-24 | 2021-12-24 | 温州大学大数据与信息技术研究院 | 一种公共场所移动目标检测方法及装置 |
WO2023170927A1 (ja) * | 2022-03-11 | 2023-09-14 | 三菱電機株式会社 | 移動方向判定装置、移動方向判定方法、及び移動方向判定プログラム |
CN114529858B (zh) * | 2022-04-21 | 2022-09-06 | 浙江大华技术股份有限公司 | 车辆状态识别方法、电子设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103268480A (zh) * | 2013-05-30 | 2013-08-28 | 重庆大学 | 一种视觉跟踪系统及方法 |
CN105139389A (zh) * | 2014-05-16 | 2015-12-09 | 通用汽车环球科技运作有限责任公司 | 全景摄像机系统(vpm)与车辆动态 |
CN107133559A (zh) * | 2017-03-14 | 2017-09-05 | 湖北工业大学 | 基于360度全景的运动物体检测方法 |
CN107452230A (zh) * | 2017-07-28 | 2017-12-08 | 明见(厦门)技术有限公司 | 一种障碍物检测方法、装置、终端设备及存储介质 |
CN107591005A (zh) * | 2017-08-09 | 2018-01-16 | 深圳市金溢科技股份有限公司 | 动静态检测相结合的停车区域管理方法、服务器及系统 |
CN108280444A (zh) * | 2018-02-26 | 2018-07-13 | 江苏裕兰信息科技有限公司 | 一种基于车辆环视图的快速运动物体检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100630088B1 (ko) * | 2004-12-28 | 2006-09-27 | 삼성전자주식회사 | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 |
-
2018
- 2018-12-24 CN CN201811583995.3A patent/CN111351474B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103268480A (zh) * | 2013-05-30 | 2013-08-28 | 重庆大学 | 一种视觉跟踪系统及方法 |
CN105139389A (zh) * | 2014-05-16 | 2015-12-09 | 通用汽车环球科技运作有限责任公司 | 全景摄像机系统(vpm)与车辆动态 |
CN107133559A (zh) * | 2017-03-14 | 2017-09-05 | 湖北工业大学 | 基于360度全景的运动物体检测方法 |
CN107452230A (zh) * | 2017-07-28 | 2017-12-08 | 明见(厦门)技术有限公司 | 一种障碍物检测方法、装置、终端设备及存储介质 |
CN107591005A (zh) * | 2017-08-09 | 2018-01-16 | 深圳市金溢科技股份有限公司 | 动静态检测相结合的停车区域管理方法、服务器及系统 |
CN108280444A (zh) * | 2018-02-26 | 2018-07-13 | 江苏裕兰信息科技有限公司 | 一种基于车辆环视图的快速运动物体检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111351474A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111351474B (zh) | 车辆移动目标检测方法、装置和系统 | |
CN113284366B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
CN109033951B (zh) | 用于基于图形处理来检测遮挡对象的系统及方法 | |
CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
KR101083885B1 (ko) | 지능형 운전 보조 시스템들 | |
CN109733284B (zh) | 一种应用于车辆的安全泊车辅助预警方法及系统 | |
US20170158134A1 (en) | Image display device and image display method | |
JP5809751B2 (ja) | 対象物認識装置 | |
CN102713988B (zh) | 车辆周围监测装置 | |
CN109703460A (zh) | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 | |
JP2002083297A (ja) | 物体認識方法および物体認識装置 | |
JP2014215877A (ja) | 物体検出装置 | |
US20150178902A1 (en) | Image processing apparatus and image processing method for removing rain streaks from image data | |
CN111169381A (zh) | 一种车辆影像显示方法、装置、车辆和存储介质 | |
CN108482367A (zh) | 一种基于智能后视镜辅助驾驶的方法、装置及系统 | |
CN112092809A (zh) | 一种辅助倒车方法、装置、系统及车辆 | |
CN110378836B (zh) | 获取对象的3d信息的方法、系统和设备 | |
CN112001208A (zh) | 用于车辆盲区的目标检测方法、装置和电子设备 | |
EP2741234A2 (en) | Object localization using vertical symmetry | |
CN111985388B (zh) | 行人注意力检测驾驶辅助系统、装置和方法 | |
CN111277956A (zh) | 车辆盲区信息的采集方法及装置 | |
CN107292818B (zh) | 一种基于环视相机的捕线器自动定位系统及方法 | |
CN115657043A (zh) | 一种泊车位状态识别方法、装置及设备 | |
CN112557057A (zh) | 自动驾驶汽车道路测试运行监管方法、装置及车载终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |