CN114140719A - 一种ai交通视频分析技术 - Google Patents

Abstract

本发明提供的一种AI交通视频分析技术，包括硬件部分与软件部分；所述硬件部分包括边缘计算盒子，所述软件部分包括边缘计算设备管理平台、视频AI分析系统、数据管理平台，所述边缘计算设备管理平台设有视频结构化系统、车辆识别系统、事件识别系统与视频浓缩系统，本发明可以对交通异常事件智能检测识别，且能自动检测异常停车、车辆逆行、行人穿越等常规事件并报警，还可以根据行人或车辆的车辆对视频和图片进行查询筛选或布控。

Description

一种AI交通视频分析技术

技术领域

本发明涉及频AI分析的技术领域，尤其涉及一种AI交通视频分析技术。

背景技术

视频分析技术在本世纪初引进我国交通领域，视频事件检测便因其应用方便、视域范围广、信息量大、所见即所得等优势，随之在全国高速公路视频监控系统大范围推广应用。该系统是一种基于监控视频流的实时分析，采用深度目标检测、运动检测、模型检测、轨迹跟踪、行为分析等核心算法，对道路交通运行过程中常见的异常停车、逆行、低速车流、拥堵排队、抛洒物及行人等交通异常事件的自动检测和报警系统。它与高速公路道路监控系统实现报警联动，能够将工作人员从单调、重复的人眼视频监控中解脱出来，近年来，大数据、人工智能等技术逐步深入到智能交通领域，视频检测作为一种信息量大、实时性强、可溯性好的传感器技术，未来仍将是一种最直接、最有效的信息采集手段；如何利用新技术解决视频检测系统所面临的问题，已经成为一个重要的研究课题！

传统的视频事件检测系统存在误报率高、报警延迟，查询难等突出问题。

发明内容

针对上述技术问题，本发明提供的一种AI交通视频分析技术，以解决现有技术中存在的问题。

为实现上述目的，本发明采取的技术方案为：

本发明提供的一种AI交通视频分析技术，其特征在于：包括硬件部分与软件部分；所述硬件部分包括前端监控设备、处理器与监控应用平台，所述软件部分包括视频结构化系统、车辆识别系统、事件识别系统、视频浓缩系统与交通参数系统，所述视频结构化系统包括第一目标检测模块、目标识别模块与目标跟踪模块，所述车辆识别系统包括车辆识别模块、车辆品牌识别模块、车辆类型识别模块与行人及非机动车辆识别模块，所述事件识别系统包括异常停车识别模块、车辆逆行识别模块与行人穿越识别模块，所述视频浓缩系统包括第二目标检测模块、轨迹跟踪模块、轨迹优化模块与视频压缩模块。

采用上述技术方案，本发明

优选的，所述处理器为AI处理器。

采用上述技术方案，通过有线网络将视频流输入前端的AI主控机进行算法处理，获取包括交通事件、交通参数、车辆结构化、视频浓缩结果等数据，并将这些数据实时上传至监控应用平台。

优选的，所述前端监控设备与处理器之间建立数据连接，所述处理器与监控应用平台建立数据连接。

优选的，所述第一目标检测模块采用目标检测算法，用于对图像中的车辆、非机动车、行人等目标自动检测、定位；

所述目标识别模块采用目标识别算法，用于图像中的车辆、非机动车、行人等目标属性自动检测识别；

所述目标跟踪模块采用目标跟踪算法，用于对检测出的机动车、非机动车、行人等目标建立跟踪轨迹，对目标连续跟踪分析；

优选的，所述车辆识别模块采用车辆牌照识别算法，用于识别车牌号码、车牌颜色、车牌结构；

所述车辆品牌识别模块采用车辆品牌识别算法，用于识别车辆品牌；

所述车辆类型识别模块采用车辆类型识别算法，用于识别客车、面包车、货车、客车、摩托车等车辆类型；

所述行人及非机动车辆识别模块，用于识别提供非机动车如电动车、自行车、三轮车与行人的识别能力。

优选的，所述异常停车模块采用异常停车检测算法，用于设置异常停车响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的异常停车检测需求；

所述车辆逆行采用车辆逆行检测算法，用于设置车辆逆行响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的车辆逆行检测需求；

所述行人穿越采用行人穿越检测算法，用于设置行人穿越事件响应时间、行走速度、灵敏度等阈值，可满足行车道、应急车道等不同区域内的行人穿越检测需求；

优选的，所述交通流量模块采用视频仿线圈算法，用于对道路交通断面、车道流量自动检测、统计；

所述速度检测模块采用视频仿线圈算法，用于对通过断面、车道的车辆速度实时监测和统计分析；

所述平均时间占有率模块，用于计算统计时段内对应车道或断面有车时间与无车时间的百分比；

所述空间占有率模块，用于统计时段内车道或断面车辆占用与无车空间的百分比。

优选的，所述第二目标检测模块采用运动检测、背景模型、场景模型等算法，用于对原始图像中的运动目标以及其他兴趣目标自动检测、提取；

所述轨迹跟踪模块采用轨迹跟踪算法，用于对提取出来的目标基于时空逻辑、目标运行特征等建立跟踪轨迹数据；

所述轨迹优化模块，采用轨迹优化算法对关注目标的运行轨迹进行优化，用于对环境干扰、无效目标等因素进行过滤；

所述视频压缩模块采用视频编码压缩算法，用于对包含主要目标信息以及有效图像进行压缩处理并生成快速检索索引图片，实现对原始视频的有效浓缩处理。

优选的，所述监控应用中心包括GIS可视化展示模块、事件可视化模块、人车智能查询模块、视频检索模块、流量数据可视化模块，用于为行业客户提供基于视频事件与流量感知、视频结构化与视频浓缩等应用提供业务入口。

优选的，所述平台应用子系统包括数据接入服务器、数据库服务器、WEB应用服务器、应用客户端与应用端监控大屏幕，所述数据接入服务器实现前端报警事件数据、视频记录以及交通参数数据的采集和转发，所述数据库服务器实现对交通事件、交通参数数据以及其他数据的存储和查询支持，所述WEB应用服务器用于部署应用平台服务端程序，为所述应用客户端数据访问等提供支撑。

上述技术方案具有如下优点或者有益效果：

1、可基于深度学习、轨迹跟踪等技术对高速公路、国省道主线、城市道路等多种场景的交通异常事件智能检测识别，可对异常停车、车辆逆行、行人穿越等常规事件自动检测和报警，可记录事件发生的高清视频录像。

2、采用深度目标识别技术对视频中重要目标、轨迹、行为、场景等浓缩提取，并保存成视频段，可在监控应用平台端通过索引图片、时间、位置、场景结果等维度对视频浓缩结果快速检索、调用、播放等操作。

3、通过监控应用平台可以通过车辆或行人的多种特征筛选出对应时间段的车辆或行人的图片或视频，还可以根据所选图进行以图搜图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要注意的是，本发明所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。

应当理解的是，当在本说明书中如使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如出现术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另有明确的规定和限定，如出现术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

对本发明实施例中的技术方案进行说明，显然所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。因此，以下提供的本发明实施例中的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

一种AI交通视频分析技术，包括硬件部分与软件部分；所述硬件部分包括前端监控设备1、处理器2与监控应用平台3，所述软件部分包括视频结构化系统4、车辆识别系统5、事件识别系统6、视频浓缩系统7与交通参数系统8，所述视频结构化系统4包括第一目标检测模块41、目标识别模块42与目标跟踪模块43，所述车辆识别系统5包括车辆识别模块51、车辆品牌识别模块52、车辆类型识别模块53与行人及非机动车辆识别模块54，所述事件识别系统6包括异常停车识别模块61、车辆逆行识别模块62与行人穿越识别模块63，所述视频浓缩系统7包括第二目标检测模块71、轨迹跟踪模块72、轨迹优化模块73与视频压缩模块74。

所述处理器2为AI处理器2。

所述前端监控设备1与处理器2之间建立数据连接，所述处理器2与监控应用平台3建立数据连接。

所述第一目标检测模块41采用目标检测算法，用于对图像中的车辆、非机动车、行人等目标自动检测、定位；

所述目标识别模块42采用目标识别算法，用于图像中的车辆、非机动车、行人等目标属性自动检测识别；

所述目标跟踪模块43采用目标跟踪算法，用于对检测出的机动车、非机动车、行人等目标建立跟踪轨迹，对目标连续跟踪分析；

所述车牌识别模块采用车辆牌照识别算法，用于识别车牌号码、车牌颜色、车牌结构；

所述车辆识别模块51采用车辆牌照识别算法，用于识别车牌号码、车牌颜色、车牌结构；

所述车辆品牌识别模块52采用车辆品牌识别算法，用于识别车辆品牌；

所述车辆类型识别模块53采用车辆类型识别算法，用于识别客车、面包车、货车、客车、摩托车等车辆类型；

所述行人及非机动车辆识别模块54，用于识别提供非机动车如电动车、自行车、三轮车与行人的识别能力。

所述异常停车模块采用异常停车检测算法，用于设置异常停车响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的异常停车检测需求；

所述车辆逆行采用车辆逆行检测算法，用于设置车辆逆行响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的车辆逆行检测需求；

所述行人穿越采用行人穿越检测算法，用于设置行人穿越事件响应时间、行走速度、灵敏度等阈值，可满足行车道、应急车道等不同区域内的行人穿越检测需求；

所述交通流量模块81采用视频仿线圈算法，用于对道路交通断面、车道流量自动检测、统计；

所述速度检测82模块采用视频仿线圈算法，用于对通过断面、车道的车辆速度实时监测和统计分析；

所述平均时间占有率模块83，用于计算统计时段内对应车道或断面有车时间与无车时间的百分比；

所述空间占有率模块84，用于统计时段内车道或断面车辆占用与无车空间的百分比。

所述第二目标检测模块71采用运动检测、背景模型、场景模型等算法，用于对原始图像中的运动目标以及其他兴趣目标自动检测、提取；

所述轨迹跟踪模块72采用轨迹跟踪算法，用于对提取出来的目标基于时空逻辑、目标运行特征等建立跟踪轨迹数据；

所述轨迹优化模块73，采用轨迹优化算法对关注目标的运行轨迹进行优化，用于对环境干扰、无效目标等因素进行过滤；

所述视频压缩模块74采用视频编码压缩算法，用于对包含主要目标信息以及有效图像进行压缩处理并生成快速检索索引图片，实现对原始视频的有效浓缩处理。

所述监控应用中心包括平台应用子系统31，GIS可视化展示模块32、事件可视化模块33、人车智能查询模块34、视频检索模块35、流量数据可视化模块36，用于为行业客户提供基于视频事件与流量感知、视频结构化与视频浓缩等应用提供业务入口。

所述平台应用子系统31包括数据接入服务器311、数据库服务器312、WEB应用服务器313、应用客户端314与应用端监控大屏幕315，所述数据接入服务器311实现前端报警事件数据、视频记录以及交通参数数据的采集和转发，所述数据库服务器312实现对交通事件、交通参数数据以及其他数据的存储和查询支持，所述WEB应用服务器313用于部署应用平台服务端程序，为所述应用客户端314数据访问等提供支撑。

实施例1：本发明提供的一种AI交通视频分析技术的人车智能查询模块34的具体实施方式为：

前端监控设备1将监控画面或抓拍的异常行为图片经处理器2分类后传输至数据库服务器312，通过车辆信息需要进行信息查询时，通过应用服务器选择车辆品牌，选择子品牌，选择车辆类型，选择收费车型，选择车辆用途，选择车身颜色，选择设备方向，选择车牌颜色，指定车牌号，选择接入的点位，选择查看的时间段，完成后，处理器2即可通过设置的调节，调出符合条件的视频以及图片，实现精准查询。

实施例2：本发明提供的一种AI交通视频分析技术的人车智能查询模块34的具体实施方式为：前端监控设备1将监控画面或抓拍的异常行为图片经处理器2分类后传输至数据库服务器312，通过行人特征筛选时，通过应用服务器，选择行人性别，选择肤色、年龄，选择图片类型、朝向，选择是否戴帽、发型，选择上衣类型、颜色，选择裤子类型、颜色，选择衣服纹理、背包，选择是否戴口罩，选择是否戴眼镜，选择是否抱小孩，选择是否打伞，选择是否拎东西，选择是否有拉杆箱，选择是否有手推车，选择接入的点位，选择查看的时间段，完成后，处理器2即可通过设置的调节，调出符合条件的视频以及图片，实现精准查询。

实施例3：本发明提供的一种AI交通视频分析技术的的具体实施方式为：还可以通过应用客户端314可自行上传行人或车辆图片进行以图搜图，上传图片、框选车辆或行人、选择搜索的时间段、搜索，且可根据车牌及车牌颜色对车辆进行布控以及删除布控任务，具体方式为通过应用客户端314，筛选布控信息，输入车牌号码，选择车牌颜色，选择布控人员，选择布控点位，选择布控状态即可进行布控。

Claims (9)

1.一种AI交通视频分析技术，其特征在于：包括硬件部分与软件部分；

所述硬件部分包括前端监控设备(1)、处理器(2)与监控应用平台(3)，所述软件部分包括视频结构化系统(4)、车辆识别系统(5)、事件识别系统(6)、视频浓缩系统(7)与交通参数系统(8)，所述视频结构化系统(4)包括第一目标检测模块(41)、目标识别模块(42)与目标跟踪模块(43)，所述车辆识别系统(5)包括车辆识别模块(51)、车辆品牌识别模块(52)、车辆类型识别模块(53)与行人及非机动车辆识别模块(54)，所述事件识别系统(6)包括异常停车识别模块(61)、车辆逆行识别模块(62)与行人穿越识别模块(63)，所述视频浓缩系统(7)包括第二目标检测模块(71)、轨迹跟踪模块(72)、轨迹优化模块(73)与视频压缩模块(74)。

2.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述处理器(2)为AI处理器(2)。

3.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述前端监控设备(1)与处理器(2)之间建立数据连接，所述处理器(2)与监控应用平台(3)建立数据连接。

4.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述第一目标检测模块(41)采用目标检测算法，用于对图像中的车辆、非机动车、行人等目标自动检测、定位；

所述目标识别模块(42)采用目标识别算法，用于图像中的车辆、非机动车、行人等目标属性自动检测识别；

所述目标跟踪模块(43)采用目标跟踪算法，用于对检测出的机动车、非机动车、行人等目标建立跟踪轨迹，对目标连续跟踪分析。

5.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述车辆识别模块(51)采用车辆牌照识别算法，用于识别车牌号码、车牌颜色、车牌结构；

所述车辆品牌识别模块(52)采用车辆品牌识别算法，用于识别车辆品牌；

所述车辆类型识别模块(53)采用车辆类型识别算法，用于识别客车、面包车、货车、客车、摩托车等车辆类型；

所述行人及非机动车辆识别模块(54)，用于识别提供非机动车如电动车、自行车、三轮车与行人的识别能力。

6.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述异常停车识别模块(61)采用异常停车检测算法，用于设置异常停车响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的异常停车检测需求；

所述车辆逆行识别模块(62)采用车辆逆行检测算法，用于设置车辆逆行响应时间、车辆速度等阈值，可满足行车道、应急车道等不同区域内的车辆逆行检测需求；

所述行人穿越识别模块(63)采用行人穿越检测算法，用于设置行人穿越事件响应时间、行走速度、灵敏度等阈值，可满足行车道、应急车道等不同区域内的行人穿越检测需求。

7.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述交通参数系统(8)包括；交通流量模块(81)、速度检测(82)、平均时间占有率模块(83)与空间占有率模块(84)；

所述交通流量模块(81)采用视频仿线圈算法，用于对道路交通断面、车道流量自动检测、统计；

所述速度检测(82)模块采用视频仿线圈算法，用于对通过断面、车道的车辆速度实时监测和统计分析；

所述平均时间占有率模块(83)，用于计算统计时段内对应车道或断面有车时间与无车时间的百分比；

所述空间占有率模块(84)，用于统计时段内车道或断面车辆占用与无车空间的百分比。

8.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述第二目标检测模块(71)采用运动检测、背景模型、场景模型等算法，用于对原始图像中的运动目标以及其他兴趣目标自动检测、提取；

所述轨迹跟踪模块(72)采用轨迹跟踪算法，用于对提取出来的目标基于时空逻辑、目标运行特征等建立跟踪轨迹数据；

所述轨迹优化模块(73)，采用轨迹优化算法对关注目标的运行轨迹进行优化，用于对环境干扰、无效目标等因素进行过滤；

所述视频压缩模块(74)采用视频编码压缩算法，用于对包含主要目标信息以及有效图像进行压缩处理并生成快速检索索引图片，实现对原始视频的有效浓缩处理。

9.根据权利要求1所述的一种AI交通视频分析技术，其特征在于：所述监控应用中心包括平台应用子系统(31)，GIS可视化展示模块(32)、事件可视化模块(33)、人车智能查询模块(34)、视频检索模块(35)、流量数据可视化模块(36)，用于为行业客户提供基于视频事件与流量感知、视频结构化与视频浓缩等应用提供业务入口，所述平台应用子系统(31)包括数据接入服务器(311)、数据库服务器(312)、WEB应用服务器(313)、应用客户端(314)与应用端监控大屏幕(315)，所述数据接入服务器(311)实现前端报警事件数据、视频记录以及交通参数数据的采集和转发，所述数据库服务器(312)实现对交通事件、交通参数数据以及其他数据的存储和查询支持，所述WEB应用服务器(313)用于部署应用平台服务端程序，为所述应用客户端(314)数据访问等提供支撑。