[go: up one dir, main page]

CN118015377B - 一种基于多无人机图像的道路车辆轨迹提取方法 - Google Patents

一种基于多无人机图像的道路车辆轨迹提取方法 Download PDF

Info

Publication number
CN118015377B
CN118015377B CN202410262131.0A CN202410262131A CN118015377B CN 118015377 B CN118015377 B CN 118015377B CN 202410262131 A CN202410262131 A CN 202410262131A CN 118015377 B CN118015377 B CN 118015377B
Authority
CN
China
Prior art keywords
vehicle
data
unmanned aerial
road vehicle
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410262131.0A
Other languages
English (en)
Other versions
CN118015377A (zh
Inventor
胥川
王品
宫丽婷
郑欧
黄栩
杨玉凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202410262131.0A priority Critical patent/CN118015377B/zh
Publication of CN118015377A publication Critical patent/CN118015377A/zh
Application granted granted Critical
Publication of CN118015377B publication Critical patent/CN118015377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多无人机图像的道路车辆轨迹提取方法，包括采用多无人机对道路车辆轨迹信息进行提取；对原始道路车辆视频数据进行视频稳定化处理和背景提取处理，并对视频数据进行抽样标注，用于训练目标检测模型；对拼接后的道路车辆视频数据进行目标检测，获得每一帧图像的车辆检测结果；对前后帧图像的车辆检测结果进行匹配，获得车辆图像轨迹数据；对车辆图像轨迹数据进行校准，并将校准后的车辆图像轨迹数据转换为车辆路面轨迹数据。本发明结合图像稳定、视频拼接、目标检测、最小矩形估计、多目标追踪等方法获取高精度的交通流数据，对于未来使用车辆轨迹数据进行交通流分析、交通安全仿真等方面研究具有积极的现实意义。

Description

一种基于多无人机图像的道路车辆轨迹提取方法
技术领域
本发明属于道路车辆轨迹跟踪的技术领域，具体涉及一种基于多无人机图像的道路车辆轨迹提取方法。
背景技术
近年来，随着无人机技术的迅猛进步和计算机视觉技术的快速发展，无人机因其灵活、高效、部署便捷等特性是道路交通数据采集方面的热门工具。对比来看，基于无人机的道路交通数据采集方法相对于传统的感应线圈、视频监控、雷达等交通数据采集方式，具有部署便捷、覆盖范围广泛、成本相对较低、不妨碍交通等优势。无人机采集的视频数据可提取车辆轨迹、车辆所属车道、车辆航向角等信息，为交通流特性分析、驾驶行为仿真建模、自动驾驶测试、交通安全性影响等研究方向提供重要的基础分析数据。
在无人机进行道路交通流数据采集过程中，环境天气、电机震动、人为控制误差等多个内外因素会造成拍摄的无人机数据存在随机扰动，表现为视频图像帧间存在微小的旋转、抖动、缩放等，同时由于无人机图像中车辆目标相对于视频图像目标较小的特点，这一扰动对高精度的车辆轨迹数据采集会造成明显干扰。
另一方面，目前相关的专利方法大都为针对单一无人机采集的视频数据进行轨迹提取，其中单一无人机所涵盖的道路空间有限，仅可通过提高单一无人机飞行高度涵盖更大的道路范围。而提高无人机飞行高度又会进一步降低所检测车辆所占的目标像素，显著降低车辆轨迹数据检测效果。难以在保证无人机航拍数据检测精度的基础上提取足够长的道路空间上的车辆轨迹数据。
传统的轨迹提取方法大部分获得的检测结果均为轴准框数据(检测框与图像x轴和y轴平行)，在车辆变道或车道倾斜等场景下，检测框与实际轨迹数据存在较大偏差，难以获取准确的车辆尺寸和航向角信息，对进一步的道路交通行为相关研究产生了制约。
现有发明专利一，CN105488484A一种基于无人机航拍图像的车辆轨迹提取方法，其目的是实现宏观交通状态数据提取，提升交通监控效率，其基本步骤如下：
步骤一、对于无人机低空航拍图像序列，采用基于Haar分类器进行车辆检测，获取车辆在航拍图像中的像素坐标、大小(长、宽)和帧号；
步骤二、基于位置预测筛选疑似候选车辆，其中筛选范围为矩形，预测区域尺寸为目标车辆尺寸的两倍，在连续3帧未追踪上则认定为该车辆id号追踪失败；
步骤三、基于检测图像的4通道颜色直方图相似性确定目标车辆；
步骤四、将车辆在不同帧中的位置、帧号输出，保存获得车辆轨迹数据。
该现有技术的缺点为：
(1)该方法采用了传统的Haar分类器，相较于YOLO等神经网络算法，其检测精度较低；
(2)该方法按轴准框形式给出车辆轨迹，相较于旋转框形式，所给出的轨迹数据的实用性相对较差；
(3)该方法的目标追踪方法是以该车辆的位置为中心划定一个矩形预测区域，对矩形预测区域内的车辆进行追踪匹配计算，但该方法仅考虑了空间运动信息，会有遗漏和追踪错误。
现有发明专利二，CN116434133A一种无人机实时图像特征识别及轨迹提取方法，其目的是实时监测车辆位置并提取车辆轨迹且具有较佳的监测和提取效果，该方法的工作步骤如下：
步骤一、对于无人机低空航拍图像序列，采用基于Haar分类器进行车辆检测，获取车辆在航拍图像中的像素坐标、大小(长、宽)和帧号；
步骤二、基于位置预测筛选疑似候选车辆，其中筛选范围为圆形，筛选区域尺寸为目标车辆尺寸的三倍，若当前帧未匹配，则在下一帧将筛选范围放大为目标车辆尺寸的五倍，在跟踪成功后恢复为原来的筛选区域尺寸，在连续3帧未追踪上则认定为该车辆id号追踪失败；
步骤三、基于4通道颜色直方图相似性确定目标车辆；
步骤四、根据得到的车辆在不同帧中的位置、帧号，完成车辆轨迹提取。
该现有技术的缺点为：
(1)该方法采用了传统的Haar分类器，相较于YOLO等神经网络算法，其检测精度较低；
(2)该方法按轴准框形式给出车辆轨迹，相较于旋转框形式，所给出的轨迹数据的实用性相对较差；
(3)该方法中使用的多目标追踪方法相较于SORT等追踪算法错误率更高。
现有发明专利三，CN114972767A一种基于高空无人机视频的车辆轨迹和航向角提取方法，该方法旨在降低无人机拍摄的随机性扰动带来的车辆轨迹信息提取的误差，获得高精度的车辆轨迹数据和车辆航向角数据，其技术方案步骤如下：
步骤一、对无人机在高空拍摄交通流视频进行视频稳像预处理，去除因无人机飞行和高空环境影响导致的抖动；
步骤二、(1)划分需识别的车辆目标类别；(2)制作或下载用于训练YOLO v5目标检测模型的数据集；(3)进行旋转目标检测模型YOLOv5R的训练。
步骤三、对步骤一中经过视频稳像处理后的无人机交通流视频数据中的每一帧图像进行目标检测与跟踪(YOLO v5R+DeepSortR)。
步骤四、对获取的车辆轨迹和航向角的数据进行数据清洗、平滑降噪预处理；
步骤五、提取增稳处理后的背景图像，将获取的车辆轨迹的图像坐标转化为对应的地理坐标。
该现有技术的缺点为：
(1)限于单个无人机采集图像限制，获取的轨迹数据长度较短；
(2)该方法直接对无人机采集的图像进行目标检测，但是当无人机处在高空状况时，无人机的检测精度会因其在整个画面的占过小而检测精度较差。
现有专利四、发明专利CN113421289A一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法，该方法旨在克服无人机拍摄扰动，结合OpenCV库中既有的图像处理函数和RTS平滑算法获取高精度的车辆轨迹数据，其技术方案步骤如下。
步骤一、获取无人机交通流视频数据并按照需求确定需识别的车辆类型，同时从视频数据中抽取一定量的图像进行标记。在标记结束后将标记数据划分训练集、校验集和测试集，将对应数据输入基于darknet的深度学习框架进行YOLO v4模型训练，获得对应模型的权重文件；
步骤二、对无人机交通流视频数据中每一帧图像进行目标检测(YOLO v4)与跟踪(Deepsort)，获取车辆目标检测信息，包括车辆类别信息、车身尺寸信息和车辆编号信息；
步骤三、对无人机交通流视频数据中的每一帧图像进行锚点检测与跟踪，获取各帧图像中锚点的图像坐标；
步骤四、基于锚点的图像坐标与实际地面坐标，采用单应性变换模型，计算每一帧图像的图像坐标系与唯一地面坐标系之间的坐标转换参数；
步骤五、利用锚点得到的坐标转换参数及目标检测模型得到的车辆目标的图像坐标，计算车辆目标对应的地面坐标；
步骤六、对构成车辆运动轨迹的地面坐标序列数据采用RTS平滑算法进行平滑处理；
步骤七、基于车辆轨迹数据计算微观交通参数。
该现有技术的缺点为：
(1)限于单个无人机采集图像限制，获取的轨迹数据长度较短；
(2)该方法直接对无人机采集的图像进行目标检测，但是当无人机处在高空状况时，无人机的检测精度会因其在整个画面的占过小而检测精度较差。
(3)经过锚段计算的单向应变换矩阵仅对目标检测模型得到的结果进行了转化，无法对检测结果的偏差进行量化和纠正。
现有专利五、CN110751099A一种基于深度学习的无人机航拍视频轨迹高精度提取方法，旨在对无人机航拍视频中车辆进行自动高精度识别，并对车辆行驶行为轨迹进行提取，去噪，同时提取一些必要的交通流参数，从而形成用于交通流研究分析的关键数据集，其技术方案如下：
步骤一、获取目标特征信息，制作数据集，并将数据集进行训练/测试集划分，同步训练YOLO v3和RCNN模型；
步骤二、读入无人机航拍视频流，获取当前视频帧；
步骤三、采用训练好的YOLO v3对当前视频帧进行初检，得到初检结果；采用RCNN模型对初检结果进行局部复检校核，得到复检结果。最后获得检测框的像素坐标和检测框长宽；
步骤四、对视频流中的所有帧进行检测，获取所有帧的目标检测结果；
步骤五、利用单一车辆运行的速度位移关系，构建时间序列模型对复检结果进行预测，寻找可关联且未关联的目标坐标，进行坐标关联，生成初始轨迹；
步骤六、对初始轨迹进行去噪、拼接、平滑处理，得到高精度车辆行驶轨迹。
该现有技术的缺点为：
(1)未对视频进行稳定化处理，未考虑视频图像随时间发生的旋转与偏移对车辆轨迹坐标带来的负面影响；
(2)所给轨迹数据为轴准框而不是更利于分析的旋转框；
(3)较高的无人机飞行高度会导致各个检测模型的检测效果显著下降，无法通过多模型混合实现检测效果提升。
现有专利六、CN117078717A一种基于无人机单目相机的道路车辆轨迹提取方法，该方法旨在通过无人机单目相机拍摄山区道路上车辆的行驶视频数据，使用计算机视觉方法对车辆轨迹进行提取，能获取高清晰度的车辆轨迹，其基本工作流程如下：
步骤一、基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参；
步骤二、基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；
步骤三、基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标；
步骤四、以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标；
步骤五、按先后顺序排列所述世界坐标，获得车辆轨迹图。
该现有技术的缺点为：
(1)该方法对无人机采集数据提出了位置(飞行高度不应超过1.5米)、姿态(与路面平行且要涵盖标志物)要求，采集限制较强；
(2)该方法仅提取车辆中心点的像素坐标，无法给予车辆框信息，在车辆轨迹数据上应用受限；
(3)该方法会将采集的视频图像的尺寸压缩为1024*1024px2，会造成较强的信息损失，误识别率较高。
现有专利七、CN111341097A一种基于无人机视频的交通数据采集方法，旨在发挥无人机机动灵活的优势的同时，又能保证交通参数提取的准确性、可靠性，其技术方案如下：
步骤一、道路特征点选取和测量；选取K个棋盘格式的道路特征点，测量每个特征点的世界坐标；
步骤二、根据监测范围场景，无人机在高空进行视频拍摄；
步骤三、将世界坐标与图像坐标进行单应性变换；
步骤四、对无人机拍摄的视频进行图像匹配；
步骤五、采用YOLO v3车辆检测模型获取输入图像的检测目标节点集和目标轨迹集；
步骤六、采用DeepSort多目标跟踪算法，实现数据关联，获取车辆轨迹数据；
步骤七、根据车辆在不同帧中的位置和时间间隔，得到车辆的交通数据。
该现有技术的缺点为：
(1)实施图像匹配后再由YOLO v3算法进行车辆目标检测会降低其目标检测精度；
(2)该专利方法要求通过实地测量的方式获取特征点的实际地面(世界)坐标，有较大的人力损耗和安全风险；
(3)该方法获得的车辆检测信息是轴准框形式，仅有中心点坐标、高度、宽度及可信度，缺少了车辆类型信息。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于多无人机图像的道路车辆轨迹提取方法，以解决传统的轨迹提取方法大部分获得的检测结果均为轴准框数据，在车辆变道或车道倾斜等场景下，检测框与实际轨迹数据存在较大偏差，难以获取准确的车辆尺寸和航向角信息的问题。
为达到上述目的，本发明采取的技术方案是：
一种基于多无人机图像的道路车辆轨迹提取方法，其包括以下步骤：
S1、多架无人机起飞作业，并控制多架无人机悬停在采集区域上方的同一高度；
S2、多架无人机同时采集原始道路车辆视频数据；
S3、对原始道路车辆视频数据进行视频稳定化处理，获得稳定后的道路车辆视频数据；
S4、对稳定后的道路车辆视频数据进行背景提取处理，得到去除路面标志标线的道路车辆视频数据；
S5、将多架无人机对应的道路车辆视频数据进行拼接处理，得到拼接后的道路车辆视频数据；
S6、对原始道路车辆视频数据进行抽样标注，并根据抽样标注的数据训练目标检测模型；
S7、基于所述目标检测模型，采用切片推理方法对步骤S5中拼接后的道路车辆视频数据进行目标检测，获得道路车辆视频数据中每一帧图像的车辆检测结果；
S8、采用Deep OC-SORT算法对前后帧图像的车辆检测结果进行匹配，获得车辆图像轨迹数据；
S9、基于主动学习策略对车辆图像轨迹数据进行校准，并采用GPS点映射方法将校准后的车辆图像轨迹数据转换为车辆路面轨迹数据。
进一步地，步骤S1中两个无人机航拍的相邻区域的拍摄画面含20％的重叠部分。
进一步地，步骤S3包括：
使用具有尺度和旋转不变性的SIFT特征检测算法从原始道路车辆视频数据的第一帧和最后一帧中提取图像特征，得到跨帧的共享特征；
基于提取的特征点对无人机采集视频的其他帧进行采样和稳定，当路面特征点因拍摄视频的植被摆动、车辆遮挡因素消失时，使用通道和空间可靠性跟踪器所获得的特征点位置进行跨帧情况的匹配；
采用findHomography方法计算单应性矩阵H，结合单应性矩阵H输出每一帧经透视变换后的结果，最后将处理后的每一帧合并，得到稳定后的道路车辆视频数据。
进一步地，步骤S4中采用自适应混合高斯背景建模方法将稳定后的道路车辆视频数据中的前景物体从背景中分离，并采用修复算法去除路面标志标线，得到去除路面标志标线的道路车辆视频数据。
进一步地，步骤S5包括：对多架无人机采集的多个道路车辆视频数据，读取无人机采集数据的时间戳进行道路车辆视频数据的时间对齐裁剪，再使用直方图颜色匹配对需拼接的多个道路车辆视频数据进行处理，再对于需拼接的多个道路车辆视频数据的每一帧进行特征匹配处理，得到拼接后的道路车辆视频数据。
进一步地，单应性矩阵H的计算为：
其中，记两个无人机上搭载的相机拍摄的分别为pic1,pic2；[x，y，1]T是pic1的像素齐次坐标；[x′，y′，1]T是同一个点在pic2中的齐次坐标；λ为缩放尺度。
进一步地，步骤S6包括：
S6.1、按照固定帧数间隔提取若干张拼接后的道路车辆视频数据中的视频图像，并对若干张视频图像进行标注，得到标记数据；
S6.2、对标记数据进行分割处理，获取得到基础数据；
S6.3、对基础数据进行增广处理，并将增广处理后的基础数据划分为训练集和测试集；
S6.4、采用训练集和测试集训练目标检测模型。
进一步地，步骤S7包括：
采用切片推理方法将步骤S5中拼接后的道路车辆视频数据中的每一帧裁剪成多个640*640px2的子图像，且相邻子图像间保留25％的重叠区域；
基于目标检测模型对每一裁剪后的子图像进行检测，将每一帧的检测结果按子图像位置进行坐标调整，进而获得视频帧的全检测结果；
采用形态学方法将全检测结果进行汇总，得到道路车辆视频数据中每一帧图像的车辆检测结果。
进一步地，步骤S8包括：
S8.1、采用Deep OC-SORT算法对前后帧图像的检测结果进行匹配，获取车辆追踪的id号，若单一id号连续3帧未匹配上，则判断该id号丢失检测，并采用新的id框选；
S8.2、按照S8.1的方法对所有帧图像的检测结果进行匹配，得到车辆图像轨迹数据。
进一步地，步骤S9包括：
基于主动学习的轨迹校准策略，采用Data Fix Tool对车辆图像轨迹数据进行人工检查和校准，得到修正后的车辆图像轨迹数据，并将修正后的车辆图像轨迹数据优化目标检测模型；
基于透视变换技术，采用GPS点映射方法将校准后的车辆图像轨迹数据转换为GPS点空间位置，获得车辆真实地理坐标距离，即得到车辆路面轨迹数据。
本发明提供的基于多无人机图像的道路车辆轨迹提取方法，具有以下有益效果：
1、本发明结合图像稳定、视频拼接、目标检测、最小矩形估计、多目标追踪等方法获取高精度的交通流数据，对于未来使用车辆轨迹数据进行交通流分析、交通安全仿真等方面研究具有积极的现实意义。
2、本发明采用多无人机拼接机制，通过多无人机拼接机制可在保证精度的基础上实现较长路段的车辆轨迹信息提取。
3、本发明采用路面车辆检测机制，通过切片推理的方法，可显著优化目标检测模型的检测效果，并且结合最小矩形估计方法，可获得旋转框形式的车辆检测结果；
4、本发明采用轨迹数据校准检验机制，结合自建的数据校验工具，可对检测结果进行校核，进一步确保使用数据的准确性。
5、通过多无人机实现对道路车辆轨迹信息的提取，和传统的感应线圈，车载GPS定位等方法获取车辆轨迹数据相比，本发明采用无人机对道路车辆轨迹信息进行提取具有易于部署、成本较低、检测精度高等优点。
6、相对其他使用无人机对道路车辆轨迹信息进行提取的发明方法相比，本发明方法支持多无人机协同情形下对道路车辆轨迹提取；考虑到对多无人机视频数据直接进行检测的效果较差的问题，本发明方法融合了切片推理和人工校准，提取了一套更具通用性、精度更高、提取的道路车辆轨迹更广的检测手段。
7、从模型角度看，本发明使用了YOLO v8n seg和Deep OC-SORT，结合最小矩形估计方法，可支持旋转框的车辆轨迹数据获取，为针对车辆驾驶行为的相关研究提供更有力的数据支持。
8、本发明能够获取更长范围高精度的车辆轨迹数据，对未来道路交通规划、道路交通安全，驾驶员行为等研究有巨大价值。
附图说明
图1为本发明基于多无人机图像的道路车辆轨迹提取方法的流程图。
图2为本发明多架无人机路面图像采集图。
图3为本发明无人机采集图像透视变换图。
图4为本发明经处理后的视频数据示意图。
图5为本发明剔除视频图像的标志标线图。
图6为本发明轴准框与旋转框估计差异图。
图7为本发明数据增广前后差异图。
图8为本发明切片推理示意图。
图9为本发明切片推理前后的检测效果增强图，其中图9左图为直接对原无人机采集图像进行识别；右图为使用切片推理方法后的识别效果。
图10为本发明基于主动学习(active learning)的检测结果校准图。
图11为本发明视频图像坐标与GPS坐标对应图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1
本实施例提供一种基于多无人机图像的道路车辆轨迹提取方法，本实施例基于多架四旋翼无人机，通过拍摄无人机拍摄道路车辆的行驶视频数据，结合视频拼接技术、计算机视觉技术等方法对车辆轨迹进行提取，获取高精度的车辆轨迹，对于未来使用车辆轨迹数据进行交通流分析、交通安全仿真等方面研究具有积极的现实意义，参考图1，其具体包括以下步骤：
步骤S1、多架无人机起飞作业，并控制多架无人机悬停在采集区域上方的同一高度；
作为本实施例的一种优选，在具体拍摄时，需要保证无人机航拍的相邻区域所拍摄的画面含20％的重叠部分，该重叠部分可用于后续视频拼接。
具体的，参考图2，为保证拍摄的准确，需要保证多个无人机在采集前后高度基本一致。
经实地测试，当无人机拍摄在离道路垂直距离100m高度悬停时，环境为轻微风或者无风状况下，在25min拍摄时长(民用无人机单块电池所支持的安全录制时长)内，无人机悬停情况下垂直方向漂移误差在1m内，无人机拍摄画面前后变化较小，每一辆捕捉到的车辆整体像素长宽变化均小于1％，可用于进行后续进行多无人机视频图像匹配。
步骤S2、多架无人机同时采集原始道路车辆视频数据；
多架无人机采集的原始道路车辆视频数据分别定义为Video1,Video2,…Videon。
步骤S3、对原始道路车辆视频数据进行视频稳定化处理，获得稳定后的道路车辆视频数据，其具体包括以下内容：
首先使用具有尺度和旋转不变性的SIFT特征检测算法从原始道路车辆视频数据的第一帧和最后一帧提取图像特征，收集跨帧的共享特征。
随后使用提取的特征点对无人机采集视频的其他帧进行采样和稳定，当路面特征点因为拍摄视频的植被摆动、车辆遮挡等因素消失时，使用通道和空间可靠性跟踪器(CSRT)所获得的特征点位置进行跨帧情况的匹配。
在提取的特征点基础上使用findHomography方法计算单应性矩阵H，结合单应性矩阵H输出每一帧经透视变换后的结果，最后将处理后的每一帧合并，获得稳定后的视频数据。
步骤S4、对稳定后的道路车辆视频数据进行背景提取处理，得到去除路面标志标线的道路车辆视频数据；
具体的，本实施例采用自适应混合高斯背景建模方法将稳定后的道路车辆视频数据中的前景物体从背景中分离，并采用修复算法去除路面标志标线，得到去除路面标志标线的道路车辆视频数据；
本实施例针对路面标志标线进行了剔除，其背景建模包括以下步骤：
步骤S4.1、读取图像；
步骤S4.2、以自适应混合高斯背景建模为基础，选取一段时间的连续帧作为背景建模帧，以这些帧的像素平均值建立初始背景模型，进而区分出背景与前景图像；
步骤S4.3、结合背景模型，使用修复算法(FMM)对去除了标志标线的区域后的路面区域和受影响的前景图像进行填补；
步骤S4.4、随视频图像演进不断更新背景模型。
参考图5，为修复前和修复后的图像差异，保证修复后路面不存在标线对目标检测结果的干扰。
步骤S5、将多架无人机对应的道路车辆视频数据进行拼接处理，得到拼接后的道路车辆视频数据，其具体包括以下内容：
对多架无人机采集的多个道路车辆视频数据，读取无人机采集数据的时间戳进行道路车辆视频数据的时间对齐裁剪，再使用直方图颜色匹配对需拼接的多个道路车辆视频数据进行处理，再对于需拼接的多个道路车辆视频数据的每一帧进行特征匹配处理，得到拼接后的道路车辆视频数据。
作为本实施例的一种优选，以两个道路车辆视频数据Video1和Video2的拼接为例进行说明，如(Video1,frame1),(Video2,frame2)是需拼接的两个视频和其对应视频帧，其中frame1和frame2是同一时间帧，由于在拍摄过程预留了20％的重叠区域，可从重叠区域计算其尺度和旋转不变性的SIFT特征，并使用BFMatcher方法特征匹配，借此可计算frame1和frame2拼接后的结果，通过对两视频每一帧都进行如上操作，将结果组合在一起即可得到Video1和Video2拼接后的视频数据。
在本实施例步骤S3、步骤S4和步骤S5中，对采集到的无人机路面图像进行稳定性校准和多个无人机采集的视频数据拼接，均需使用SIFT算法获得其尺度和旋转不变性特征，计算对应的单应性矩阵；进而可结合其单应性矩阵使用透视变换和映射，将采集的无人机图像进行透视变换，图3展示了无人机采集图像透视变换的示意。
本实施例对于单应性矩阵可理解为两个相机对于空间中的同一个平面的成像结果的映射矩阵，其计算关系为：
记两个无人机上搭载的相机拍摄的分别为pic1,pic2；[x，y，1]T是pic1的像素齐次坐标；[x′，y′，1]T是同一个点在pic2中的齐次坐标；λ为缩放尺度；整个单应性矩阵共有8个自由度，故至少需要4个特征点进行单应性矩阵计算。为保证拼接结果的足够的有效性，本实施例采用Opencv中的findHomography方法，通过输入多个特征点多次重复计算，结合优化算法筛选出最优解。通过该步骤，分别对无人机采集的视频数据进行稳定化处理和多无人机图像进行拼接处理，对应交界区域的无人机图像，考虑采用图像模糊的方法进行结果综合，最后获得的需检测的视频数据如图4所示。
步骤S6、对原始道路车辆视频数据进行抽样标注，并根据抽样标注的数据训练目标检测模型，其具体包括以下步骤：
步骤S6.1、按照固定帧数间隔提取若干张拼接后的道路车辆视频数据中的视频图像，并对若干张视频图像进行标注，得到标记数据；
本实施例优选提取400张视频图像，按视频数据特点和交通流需求划分标注数据类别，标注格式为多边形标注；
步骤S6.2、对标记数据进行分割处理，将标记数据按640*640px2进行分割，获取得到基础数据；
步骤S6.3、对基础数据进行增广处理，并将增广处理后的基础数据划分为训练集和测试集；
本实施例对于基础数据进行获取1倍的数据增广，数据增广包括随机旋转、丢失图像像素点、随机翻转、随机拉伸等，数据增广前后差异如图7所示，同时，增广后图像的标注可由Opencv中的轮廓估计方法获得；然后将所获得的所有的标记数据按80：20的比例划分训练集与测试集进行目标检测模型训练；
步骤S6.4、采用训练集和测试集训练目标检测模型，本实施例训练的目标检测模型为YOLO v8n seg，设定的训练轮次为500次。
本实施例的YOLO v8n seg模型，其主要特点在于可以输出一个检测结果的多边形区域，藉此可对这一区域进行最小矩形估计，参考图6，可见这两种估计的结果差异。本实施例通过旋转框估计，可实现对车辆航向角，转向情况等数据的获取，对有足以获取更细粒度的轨迹数据。
步骤S7、基于目标检测模型，采用切片推理方法对步骤S5中拼接后的道路车辆视频数据进行目标检测，获得道路车辆视频数据中每一帧图像的车辆检测结果，其具体包括以下内容：
采用切片推理方法将步骤S5中拼接后的道路车辆视频数据中的每一帧裁剪成多个640*640px2的子图像，且相邻子图像间保留25％的重叠区域；
基于目标检测模型对每一裁剪后的子图像进行检测，检测模型的置信度为0.5，将每一帧的检测结果按子图像位置进行坐标调整，进而获得视频帧的全检测结果；
最后依照下面原则处理检测结果：1)相连的同类检测结果进行形态学合并运算；
2)有相交的不同类的检测结果取面积较大；
3)取检测结果的最小矩形估计(旋转框)；
如此即可得到道路车辆视频数据中每一帧图像的车辆检测结果；
参考图8，本实施例的切片推理方法，其中实线框是输入模型的实际的预测图像大小，虚线框是每步预测过程，最后结合形态学计算把所有的检测结合汇总，其结果如图9所示，可见其检测结果有明显提升。
步骤S8、对于步骤S7中每一帧图像的车辆检测结果，采用Deep OC-SORT算法对前后帧图像的车辆检测结果进行匹配，获得车辆图像轨迹数据，其具体包括以下步骤：
步骤S8.1、采用Deep OC-SORT算法对前后帧图像的检测结果进行匹配，获取车辆追踪的id号，若单一id号连续3帧未匹配上，则判断该id号丢失检测，并采用新的id框选；
步骤S8.2、按照S8.1的方法对所有帧图像的检测结果进行匹配，得到车辆图像轨迹数据；
其中结果可整理成下面的基本格式为frame,vehicle_id,vehicle_type,p1x,p1y,p2x,p2y,p3x,p3y,p4x,p4y，分别表示帧号(frame)，车辆id号(vehicle_id)，车辆类型(vehicle_type)和描述检测框的4个角点(p1x,p1y),(p2x,p2y),(p3x,p3y),(p4x,p4y)坐标。
步骤S9、基于主动学习策略对车辆图像轨迹数据进行校准，并采用GPS点映射方法将校准后的车辆图像轨迹数据转换为车辆路面轨迹数据，其具体包括以下内容：
本实施例针对获得的车辆图像轨迹数据，考虑到仍可能存在部分误差，为此使用基于主动学习的轨迹校准策略，借由自建的数据修复工具Data Fix Tool对部分检测数据进行人工检查和校准，将其进行轨迹数据修正，随后将修正后的车辆图像轨迹数据用于目标检测模型优化，并在此基础上重复进行以确保检测结果的精度。
随后在检测的数据基础上，使用透视变换技术，在卫星底图上查询多个图像特定点的GPS值，计算将图像坐标映射为GPS点值的单应性矩阵。根据这一计算结果可实现将视频图像数据转化为GPS点空间位置，进而可以获得其真实地理坐标距离。
作为本实施例的一种优选，以视频图像左上角点为原点，计算检测视频图像的真实地理距离。最终得到的车辆路面轨迹数据包含以下数据：frame,vehicle_id,vehicle_type,p1x_px,p1y_px,p2x_px,p2y_px,p3x_px,p3y_px,p4x_px,p4y_px,p1x_ft,p1y_ft,p2x_ft,p2y_ft,p3x_ft,p3y_ft,p4x_ft,p4y_ft，分别代表帧号、车辆id、车辆类型、车辆框各个点的图像坐标值，以图像左上角像素点(0,0)为原点，沿图像x轴、y轴方向，各值的单位为px(p1x_px,p1y_px,p2x_px,p2y_px,p3x_px,p3y_px,p4x_px,p4y_px)、车辆框各个点与图像左上角像素点(0,0)的相对地理距离值，沿图像x轴、y轴方向各值的单位为ft(p1x_ft,p1y_ft,p2x_ft,p2y_ft,p3x_ft,p3y_ft,p4x_ft,p4y_ft)。
对于步骤S9中地理坐标的获取是基于视频数据和卫星底图对应点的图像坐标和GPS坐标的透视转换完成，如图11所示，通过人工在视频数据中标记多个(>10)道路中心线端点、标志标线端点等，在卫星底图中获得对应点的GPS值，避免了实际测量地理位置坐标带来的危险性。结合图像坐标和对应的GPS坐标计算其单应性矩阵，进而可将视频图像坐标映射为GPS坐标。借由GPS坐标值可计算视频图像中每个点之间的空间距离，如图11所示本实施例以视频图像左上点为原点，以图像坐标系方向计算每个检测框的实际地理距离，基本距离单位为英尺(ft)。
本发明针对目前现有技术中单无人机采集视频数据的范围限制，本发明充分利用无人机快速、低成本、检测范围大、移动灵活的特点，部署多个无人机同时对路段进行数据采集，获取长路段的道路车辆轨迹信息。
本发明针对目前现有技术中使用的传统算法或目标检测模型的检测效果受限，本发明在道路车辆目标检测和多目标追踪方面采用目前先进的YOLO v8nseg模型和Deep OC-Sort模型，相较于其他专利的基础模型精度更高，误差较小；在检测策略上提出使用统一的切片推理模型，适应各个无人机采集尺度并尽可能保留采集的视频帧图像信息，避免小目标检测带来的检测精度较差问题。
本发明针对目前现有技术中获得的结果是轴准框检测结果，对检测结果缺乏人工校验，本发明提供了旋转框的检测结果，可获取每辆车更准确的车辆尺寸信息和航向角信息，同时使用了自建的数据修复工具进行了人工校验，进一步确保了检测精度。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (10)

1.一种基于多无人机图像的道路车辆轨迹提取方法，其特征在于，包括以下步骤：
S1、多架无人机起飞作业，并控制多架无人机悬停在采集区域上方的同一高度；
S2、多架无人机同时采集原始道路车辆视频数据；
S3、对原始道路车辆视频数据进行视频稳定化处理，获得稳定后的道路车辆视频数据；
S4、对稳定后的道路车辆视频数据进行背景提取处理，得到去除路面标志标线的道路车辆视频数据；
S5、将多架无人机对应的道路车辆视频数据进行拼接处理，得到拼接后的道路车辆视频数据；
S6、对原始道路车辆视频数据进行抽样标注，并根据抽样标注的数据训练目标检测模型；
S7、基于所述目标检测模型，采用切片推理方法对步骤S5中拼接后的道路车辆视频数据进行目标检测，获得道路车辆视频数据中每一帧图像的车辆检测结果；
S8、采用Deep OC-SORT算法对前后帧图像的车辆检测结果进行匹配，获得车辆图像轨迹数据；
S9、基于主动学习策略对车辆图像轨迹数据进行校准，并采用GPS点映射方法将校准后的车辆图像轨迹数据转换为车辆路面轨迹数据。
2.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于：所述步骤S1中两个无人机航拍的相邻区域的拍摄画面含20％的重叠部分。
3.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S3包括：
使用具有尺度和旋转不变性的SIFT特征检测算法从原始道路车辆视频数据的第一帧和最后一帧中提取图像特征，得到跨帧的共享特征；
基于提取的特征点对无人机采集视频的其他帧进行采样和稳定，当路面特征点因拍摄视频的植被摆动、车辆遮挡因素消失时，使用通道和空间可靠性跟踪器所获得的特征点位置进行跨帧情况的匹配；
采用findHomography方法计算单应性矩阵H，结合单应性矩阵H输出每一帧经透视变换后的结果，最后将处理后的每一帧合并，得到稳定后的道路车辆视频数据。
4.根据权利要求3所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于：所述步骤S4中采用自适应混合高斯背景建模方法将稳定后的道路车辆视频数据中的前景物体从背景中分离，并采用修复算法去除路面标志标线，得到去除路面标志标线的道路车辆视频数据。
5.根据权利要求4所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S5包括：对多架无人机采集的多个道路车辆视频数据，读取无人机采集数据的时间戳进行道路车辆视频数据的时间对齐裁剪，再使用直方图颜色匹配对需拼接的多个道路车辆视频数据进行处理，再对于需拼接的多个道路车辆视频数据的每一帧进行特征匹配处理，得到拼接后的道路车辆视频数据。
6.根据权利要求5所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，单应性矩阵H的计算为：
其中，记两个无人机上搭载的相机拍摄的分别为pic1,pic2；[x，y，1]T是pic1的像素齐次坐标；[x′，y′，1]T是同一个点在pic2中的齐次坐标；λ为缩放尺度。
7.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S6包括：
S6.1、按照固定帧数间隔提取若干张拼接后的道路车辆视频数据中的视频图像，并对若干张视频图像进行标注，得到标记数据；
S6.2、对标记数据进行分割处理，获取得到基础数据；
S6.3、对基础数据进行增广处理，并将增广处理后的基础数据划分为训练集和测试集；
S6.4、采用训练集和测试集训练目标检测模型。
8.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S7包括：
采用切片推理方法将步骤S5中拼接后的道路车辆视频数据中的每一帧裁剪成多个640*640px2的子图像，且相邻子图像间保留25％的重叠区域；
基于目标检测模型对每一裁剪后的子图像进行检测，将每一帧的检测结果按子图像位置进行坐标调整，进而获得视频帧的全检测结果；
采用形态学方法将全检测结果进行汇总，得到道路车辆视频数据中每一帧图像的车辆检测结果。
9.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S8包括：
S8.1、采用Deep OC-SORT算法对前后帧图像的检测结果进行匹配，获取车辆追踪的id号，若单一id号连续3帧未匹配上，则判断该id号丢失检测，并采用新的id框选；
S8.2、按照S8.1的方法对所有帧图像的检测结果进行匹配，得到车辆图像轨迹数据。
10.根据权利要求1所述的基于多无人机图像的道路车辆轨迹提取方法，其特征在于，所述步骤S9包括：
基于主动学习的轨迹校准策略，采用Data Fix Tool对车辆图像轨迹数据进行人工检查和校准，得到修正后的车辆图像轨迹数据，并将修正后的车辆图像轨迹数据优化目标检测模型；
基于透视变换技术，采用GPS点映射方法将校准后的车辆图像轨迹数据转换为GPS点空间位置，获得车辆真实地理坐标距离，即得到车辆路面轨迹数据。
CN202410262131.0A 2024-03-07 2024-03-07 一种基于多无人机图像的道路车辆轨迹提取方法 Active CN118015377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410262131.0A CN118015377B (zh) 2024-03-07 2024-03-07 一种基于多无人机图像的道路车辆轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410262131.0A CN118015377B (zh) 2024-03-07 2024-03-07 一种基于多无人机图像的道路车辆轨迹提取方法

Publications (2)

Publication Number Publication Date
CN118015377A CN118015377A (zh) 2024-05-10
CN118015377B true CN118015377B (zh) 2024-11-29

Family

ID=90953843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410262131.0A Active CN118015377B (zh) 2024-03-07 2024-03-07 一种基于多无人机图像的道路车辆轨迹提取方法

Country Status (1)

Country Link
CN (1) CN118015377B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118486100B (zh) * 2024-07-15 2024-11-19 合众新能源汽车股份有限公司 驾驶数据的处理方法、预测方法及系统、设备和介质
CN118887260A (zh) * 2024-10-08 2024-11-01 宁波港信息通信有限公司 计算机视觉的港口场景行人轨迹获取方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN114972767A (zh) * 2022-06-05 2022-08-30 李晓赫 一种基于高空无人机视频的车辆轨迹和航向角提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078717A (zh) * 2023-07-28 2023-11-17 天津大学 基于无人机单目相机的道路车辆轨迹提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN114972767A (zh) * 2022-06-05 2022-08-30 李晓赫 一种基于高空无人机视频的车辆轨迹和航向角提取方法

Also Published As

Publication number Publication date
CN118015377A (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
JP7485749B2 (ja) ビデオベースの位置決め及びマッピングの方法及びシステム
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
CN111801711B (zh) 图像标注
CN118015377B (zh) 一种基于多无人机图像的道路车辆轨迹提取方法
US11474247B2 (en) Methods and systems for color point cloud generation
CN104766058B (zh) 一种获取车道线的方法和装置
CN111967360B (zh) 基于车轮的目标车辆姿态检测方法
JP5714940B2 (ja) 移動体位置測定装置
US20150138310A1 (en) Automatic scene parsing
CN110264500A (zh) 基于检测到的停放车辆特性控制主车辆
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN113421289A (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN114419592B (zh) 一种道路区域识别方法、自动驾驶控制方法及装置
CN108416798A (zh) 一种基于光流的车辆距离估计方法
Kruber et al. Vehicle position estimation with aerial imagery from unmanned aerial vehicles
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN114998436B (zh) 对象标注方法、装置、电子设备及存储介质
Lu et al. Accurate road user localization in aerial images captured by unmanned aerial vehicles
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
JP2020076714A (ja) 位置姿勢推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant