[go: up one dir, main page]

CN118711146B - 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统 - Google Patents

一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统 Download PDF

Info

Publication number
CN118711146B
CN118711146B CN202410798752.0A CN202410798752A CN118711146B CN 118711146 B CN118711146 B CN 118711146B CN 202410798752 A CN202410798752 A CN 202410798752A CN 118711146 B CN118711146 B CN 118711146B
Authority
CN
China
Prior art keywords
model
transtrack
yolo
target
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410798752.0A
Other languages
English (en)
Other versions
CN118711146A (zh
Inventor
郝妮娜
叶飞
焦洪宇
姚瑶
黄泽
曹先学
周妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202410798752.0A priority Critical patent/CN118711146B/zh
Publication of CN118711146A publication Critical patent/CN118711146A/zh
Application granted granted Critical
Publication of CN118711146B publication Critical patent/CN118711146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统，包括：实时获取道路场景视频流；采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；根据行为分析结果，对当前驾驶行为进行评分和警告。

Description

一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统
技术领域
本发明属于智能网联汽车路测技术领域，具体为一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统。
背景技术
随着智能交通系统和自动驾驶技术的快速发展，对驾驶行为的准确评测成为了提升道路安全性和驾驶体验的关键技术。传统的驾驶行为分析方法依赖于人工观察和后期数据处理，这不仅耗时长、效率低，而且在实时性和准确性方面存在局限。为了解决这些问题，研究者和工程师们一直在探索更加高效和自动化的解决方案。
现有方法中基于规则的驾驶行为评测方法是一种常见的实践。这种驾驶行为评测方法通过预定义的规则集来判断驾驶行为是否符合安全标准。例如，通过设定速度阈值来识别超速行为，或者利用车道线检测算法来评估车辆是否偏离车道。尽管这种方法的实现相对简单，且易于理解，但它的灵活性有限，难以适应多变的交通环境和复杂的驾驶场景。此外，随着新驾驶行为类型的出现，规则库需要不断更新和维护，这增加了系统的复杂性和维护成本。
第二类是基于机器学习的驾驶行为评测方法。这种驾驶行为评测方法通过训练算法，如支持向量机(SVM)或随机森林，对从传感器和摄像头收集的数据进行分析，以识别和评估驾驶行为。机器学习方法能够处理大量数据，并从中学习到复杂的模式，随着数据量的增加，评测的准确性也可以逐步提高。然而，这种方法需要大量的标注数据进行训练，对数据质量的要求较高。同时，模型的解释性较差，这使得理解模型的具体决策过程变得困难，有时可能不利于安全关键型的应用。
第三类是基于深度学习的驾驶行为评测方法，这种驾驶行为评测方法利用深度神经网络，如卷积神经网络(CNN)或循环神经网络(RNN)，对视频和传感器数据进行深度特征提取和行为分析。这些方法在处理图像和序列数据方面表现出色，尤其适用于复杂的驾驶场景。尽管深度学习方法在准确性和自适应性方面具有优势，但它们通常需要大量的计算资源和训练时间。此外，模型可能过于复杂，有可能导致过拟合，影响其在实际应用中的泛化能力。
发明内容
发明目的：为解决现有技术中存在的技术问题之一，本发明提出了一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统，利用目标检测与跟踪技术，实现实时实时评估和分析驾驶行为。
技术方案：一种基于YOLO和TransTrack的驾驶行为实时评测方法，包括以下步骤：
实时获取道路场景视频流；
采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；
将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；所述目标跟踪数据包括：目标位置变化数据、目标尺寸变化数据和目标方向变化数据；
利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；
根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；
基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；
根据行为分析结果，对当前驾驶行为进行评分和警告。
进一步的，所述的将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据，具体操作包括：
TransTrack模型对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果二；
采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度；
利用调整后的置信度，对目标检测结果一和目标检测结果二进行决策融合，确定最终的目标检测结果；
利用空间关系，关联最终的目标检测结果和TransTrack模型的跟踪轨迹，形成目标跟踪数据。
进一步的，所述的采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度，具体操作包括：
确定用于衡量YOLO模块和TransTrack模型性能的评估指标以及评估指标函数；
根据评估指标，实时收集YOLO模型和TransTrack模型的性能数据；
按照下式，根据YOLO模型和TransTrack模型的性能数据动态调整YOLO模型的置信度权重和TransTrack模型的置信度权重：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示YOLO模型和TransTrack模型的评估指标函数；wYOLO表示YOLO模型的置信度权重，wTransTrack表示TransTrack模型的置信度权重；
根据调整后的置信度权重，确定YOLO模型的置信度和TransTrack模型的置信度。
进一步的，所述评估指标包括精确度、召回率、平均精度和跟踪精度。
进一步的，所述警告包括：声音警告、视觉警告和触觉警告；所述触觉警告包括座椅震动或安全带收紧。
进一步的，还包括以下步骤：
收集当前驾驶决策信息，将当前驾驶决策信息、当前交通场景信息和目标跟踪数据，调整YOLO模型和TransTrack模型的参数，得到更新后的YOLO模型和TransTrack模型；
利用更新后的YOLO模型和TransTrack模型对道路场景视频流中的每一帧图像进行目标检测和目标跟踪。
本发明公开了一种基于YOLO和TransTrack的驾驶行为实时评测系统，包括：
视频流获取模块，用于实时获取道路场景视频流；
目标检测模块，用于采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；
目标跟踪模块，用于将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；所述目标跟踪数据包括：目标位置变化数据、目标尺寸变化数据和目标方向变化数据；
驾驶行为类型识别模块，用于利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；
驾驶行为分析模块，用于基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；
警告模块，用于根据行为分析结果，对当前驾驶行为进行评分和警告。
进一步的，所述的将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据，具体操作包括：
TransTrack模型对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果二；
采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度；
利用调整后的置信度，对目标检测结果一和目标检测结果二进行决策融合，确定最终的目标检测结果；
利用空间关系，关联最终的目标检测结果和TransTrack模型的跟踪轨迹，形成目标跟踪数据。
进一步的，所述的采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度，具体操作包括：
确定用于衡量YOLO模块和TransTrack模型性能的评估指标以及评估指标函数；
根据评估指标，实时收集YOLO模型和TransTrack模型的性能数据；
按照下式，根据YOLO模型和TransTrack模型的性能数据动态调整YOLO模型的置信度权重和TransTrack模型的置信度权重：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示YOLO模型和TransTrack模型的评估指标函数；wYOLO表示YOLO模型的置信度权重，wTransTrack表示TransTrack模型的置信度权重；
根据调整后的置信度权重，确定YOLO模型的置信度和TransTrack模型的置信度。
进一步的，还包括模型优化模块；
所述模型优化模块，用于收集当前驾驶决策信息，将当前驾驶决策信息、当前交通场景信息和目标跟踪数据，调整YOLO模型和TransTrack模型的参数，得到更新后的YOLO模型和TransTrack模型。
有益效果：与现有技术相比，本发明具有以下优点：
(1)本发明方法能够有效地识别和判断智能网联汽车算法执行的行为模式，通过实时监测和评估驾驶员的行为，给安全员提供即时反馈和改进建议，本发明方法一方面能够判断智能驾驶行为是否符合交通规范，另一方面提高测试过程中的交通安全；实现了对智能驾驶算法驱动的驾驶行为高效、准确的实时评测，提高了路测过程中的道路交通安全；
(2)本发明方法能够充分利用目标检测和目标跟踪的信息，实现对驾驶行为的高效、准确的估计；
(3)本发明方法根据驾驶员的行为模式进行自适应学习，能够不断从新的驾驶行为数据中学习，以适应不断变化的交通环境和驾驶行为，持续优化，提供长期的行为改进建议。
附图说明
图1为本发明公开的一种基于Yolo和TransTrack的驾驶行为实时评测方法的流程示意图；
图2为以具有交通信号灯的十字路口为场景进行驾驶行为评测过程示意图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
实施例1：
如图1所示，本实施例公开了一种基于YOLO目标检测和TransTrack目标跟踪技术的驾驶行为实时评测方法，其主要包括以下步骤：
步骤1：通过车载摄像头或其他视频源捕获实时道路场景视频流，并对实时道路场景视频流进行预处理，以提高图像处理准确性；
步骤2：使用YOLO模型对视频流中的每一帧图像进行目标检测，得到目标特征信息，该目标特征信息包括但不限于边界框、置信度、目标位置、目标运动方向和目标类别；本步骤具体操作包括：
预训练的YOLO模型将视频流中的每一帧图像分割成S×S的网格单元；每个网格单元负责检测是否存在目标的中心位于该网格单元内，并计算目标的深度学习特征；基于目标的深度学习特征，对目标进行分类，并输出目标特征信息；
步骤3：将步骤2得到的目标特征信息作为TransTrack模型的先验特征输入，在获得先验特征输入后，TransTrack模型再结合这些先验信息执行目标跟踪任务，处理遮挡、目标生成和消失等情况，得到跟踪数据，该跟踪数据包括：目标的位置变化、尺寸变化和方向变化；具体操作包括：
对于每个检测到的目标，TransTrack模型生成一个跟踪标识；根据目标的运动和外观变化，TransTrack模型更新跟踪标识，并维护目标的身份信息；在目标被遮挡或暂时离开视野时，TransTrack模型维持对目标的跟踪，直到目标再次出现在视野中。
在单独使用TransTrack模型的过程中，若初始特征不准确，跟踪算法可能无法正确地识别和跟踪目标。另外，虽然TransTrack模型在遮挡后可以实现继续跟踪，但是其前提是被遮挡车辆的运行轨迹趋势或速度没有明显的变化。该情况类似于目标丢失后的重新捕获过程，而该过程在缺少语义支撑的情况下较难跟踪匹配上原目标的跟踪轨迹。
为此，在TransTrack数据导入之前，本实施例通过使用YOLO模型进行目标特征数据的前融合，通过YOLO模型检测到的目标特征信息(如边界框、置信度、对象属性、位置、方向、速度等)作为TransTrack模型的初始特征输入，即初始化后的TransTrack的输入并不仅是视频流图像帧，而是在图像帧外还包括由YOLO模型输入过来的初始位置(像素坐标)、目标尺寸、方向，以及其他特征信息，在实现无缝数据流同时，增强目标的表示能力。尤其是在动态变化的交通流场景下，应对车辆加速、减速、变道等行为，以及遮挡、重现等过程，甚至是光照角度变化导致的跟踪丢失，通过YOLO模型的语义理解功能，动态更新边界框、置信度、对象属性、位置、方向等信息，从而实现TransTrack模型输入特征的自动调整。这一过程中并非简单使用YOLO模型识别了目标，然后导入到TransTrack模型中进行跟踪。而是将YOLO模型识别出目标的特征信息提取后作为TransTrack模型的先验特征输入。在获得先验特征输入后，TransTrack模型再结合这些先验信息执行目标跟踪任务，因此步骤2主要用于解决前文描述的TransTrack模型独立应用时初始特征不准确的缺陷。
若仅是简单叠加YOLO模型和TransTrack模型，由于TransTrack模型自身也包含有对目标识别的功能，所以在两者之间会存在决策融合阶段产生对同一目标的判断不一致。本实施例采用加权自适应调整的方法调节检测和跟踪算法的置信度。然后利用空间关系(距离、方向、运动方向趋势)，关联YOLO模型的检测结果和TransTrack模型的跟踪轨迹。在自适应调节过程中，引入自适应因子，对先验计算结果进行评估。
本实施例的自适应调节的思路总体是在计算过程中对模型参数和系统噪声进行实时估计和修正，以提高算法精度，减小状态估计误差。利用迭代方法，在迭代中引入自适应因子。每次迭代中存在一个最佳自适应因子，结合到方差分量估计等面向残差的统计分析方法，达到最终收敛的效果，从而确认相对可靠的置信参数。方差分量估计、残差这些参数是在数据处理过程中常用的统计学方法。使用过程会伴随着衔接算法一起统计，按照每一次循环的过程产生当前循环的统计参数，从而实现对收敛效果的判定。所以实际上是伴随调整过程由算法实现的统计。
自适应的原理就是增加一个调节参数，这个参数称之为因子。对于因子的计算会通过分段函数实现。自适应因子的引入会实时调节噪声估计，再根据估计到的噪声进行补偿修正。
以两个模型之间衔接的置信度为参考，确认两个模型之间可信度的时候增加微调参数。这些微调参数在过往其他类似模型调参的过程中采用经验值调节，但本实施例引入自适应调节的思路，用于Yolo和TransTrack联合使用时准确性的调节。利用自适应因子的方法可以自适应调节的模型参数包括：跟踪阈值、搜索窗口大小、特征权重等。
现对采用加权自适应调整的方法调节Yolo和TransTrack对目标识别的置信度做进一步说明。包括以下步骤：
1.定义评估指标：定义评估指标来衡量YOLO和TransTrack的性能。这些指标包括但不限于：
·精确度(Precision)：正确检测/跟踪目标的比例。
·召回率(Recall)：检测/跟踪到的目标占所有实际目标的比例。
·平均精度(Average Precision,AP)：在不同置信度阈值下的平均精确度。
·跟踪精度(Tracking Accuracy)：跟踪目标与真实目标轨迹的一致性。
2.收集性能数据：在实际场景中运行YOLO和TransTrack，根据评估指标，实时收集它们的性能数据。该性能数据包括但不限于：检测和跟踪的准确性、稳定性和响应时间等。
3.设计加权函数：根据YOLO和TransTrack的性能数据动态调整它们的置信度权重，表示为：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示根据性能指标定义的函数，它们将性能指标映射到权重值；wYOLO表示YOLO的置信度权重，wTransTrack表示TransTrack的置信度权重；
4.确定权重调整策略，以便在检测和跟踪结果不一致时，根据各自的性能调整权重。例如，如果YOLO的精确度高于TransTrack，则增加YOLO的权重。
5.根据新的权重调整YOLO和TransTrack的置信度，以解决决策不一致的问题。
6.融合决策：在融合决策阶段，结合加权后的置信度来做出最终判断。例如，如果YOLO的加权置信度高，则倾向于相信YOLO的判断；如果TransTrack的加权置信度高，则倾向于相信TransTrack的判断。
7.设计一个反馈循环，以持续优化加权函数和权重调整策略。这可以通过机器学习方法实现，如强化学习，其中系统根据长期性能反馈自动调整策略。
8.测试和优化：在不同的交通场景和条件下测试自适应调整方法的有效性，并根据测试结果进行优化。
9.实施和监控：将自适应调整方法实施到实际系统中，并持续监控其性能，确保系统能够稳定运行并适应不同的交通场景。
通过上述步骤，可以设计出一个能够自适应调整YOLO模型和TransTrack模型的置信度的方法，以解决它们在目标识别和跟踪中的决策不一致问题。这种方法将有助于提高整体系统的准确性和鲁棒性。
步骤4：利用机器视觉识别得到交通场景指示信息，包括但不限于：交通灯信息和车道信息；其中，交通灯信息包括当前交通灯的颜色信息；车道信息包括但不限于：当前车道信息和当前车辆位置与停车线的位置信息，车道信息包括左转车道、右转车道、执行车道；当前车辆位置与停车线的位置信息包括车辆在停车线前、车辆在停车线后；
综合交通场景指示信息和跟踪数据，从中提取交通场景指示特征和目标跟踪特征；该目标跟踪特征包括：跟踪到的目标的特征，如位置、大小、方向变化等；
使用机器学习或深度学习模型对目标跟踪特征进行分类，以识别不同类型的驾驶行为；
根据识别到的驾驶行为类型，判断其是否符合交通规范，包括但不限于闯红灯、逆向车道、错误行驶方向、危险变道、车道偏离、超速等，得到行为分析结果；
步骤5：根据行为分析结果，对驾驶行为进行评分和警告；具体操作包括：
根据驾驶行为的类型和严重程度计算安全评分；
在检测到危险驾驶行为时，即时发出警告信息；该告警信息包括：声音警告、视觉警告和触觉警告；其中，视觉警告包括但不限于：仪表盘上的指示灯或屏幕显示；其中，触觉警告包括但不限于：座椅震动或安全带收紧；提示驾驶员采取相应的安全措施。根据安全评分提供个性化的驾驶改进建议。
步骤6：收集智能网联汽车算法执行的当前驾驶决策信息，将当前驾驶决策信息、当前交通场景信息和目标跟踪数据，调整YOLO模型和TransTrack模型的参数，得到更新后的YOLO模型和TransTrack模型，利用更新后的YOLO模型和TransTrack模型，执行步骤2至步骤6。
图2示出了应用实例示意图，该应用实例以具有交通信号灯(红绿灯)的十字路口为场景，描述对于车辆在该十字路口通过时的驾驶行为，利用本实施例提出的技术方案对其驾驶行为进行判定，以确定该方法在主导车辆行驶过程中是否符合常规交通规范。
在一个红绿灯场景下，首先通过机器视觉识别出红绿灯，并根据机器视觉的识别框判定其中RGB颜色。红绿黄三色灯的两灭具有明显的RGB颜色区分度，因此以此方式可以判定目前车辆所处的车道是否允许往前行驶。在同时识别停车线的情况下，可以判定在红灯状态下是否继续行驶超过了停车线。而由于对于行驶车辆的车载视觉来说，红绿灯的位置是相对移动的，所以就需要利用TransTrack进行目标跟踪。这个过程中，如果同时观测到红灯状态下车辆超过了停车线，则判定为闯红灯。
在相同场景下，与闯红灯判定类似，对于车辆是否符合地面转向箭头的指示正确转向，也可以通过本实施例方式识别。常见有左转车道，地面标识了左转箭头。该箭头很容易就能够通过机器视觉识别出来。同时以红绿灯为参考目标，当车载视角中红绿灯向右移动，则判定为正常左转。若红绿灯向后移动，则为在左转道执行，属于违反交通规则。这个过程中同样需要利用到TransTrack的目标跟踪。
本实施例方法能够实时监测和评估驾驶员的行为，提供即时反馈和改进建议，从而提高道路交通安全。并且通过自适应学习机制，系统能够不断从新的数据中学习，以适应不断变化的交通环境和驾驶行为，实现持续的评测性能提升。
本实施例方法能够充分利用目标检测和目标跟踪的信息，实现对驾驶行为的高效、准确的估计。
实施例2：
本实施例公开了一种基于Yolo目标检测和TransTrack目标跟踪技术的驾驶行为实时评测系统，其主要包括：
视频流获取模块，用于实时获取道路场景视频流；
目标检测模块，用于采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；
目标跟踪模块，用于将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；所述目标跟踪数据包括：目标位置变化数据、目标尺寸变化数据和目标方向变化数据；
驾驶行为类型识别模块，用于利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；
驾驶行为分析模块，用于基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；
警告模块，用于根据行为分析结果，对当前驾驶行为进行评分和警告；
数据存储单元，用于存储捕获的视频流和行为分析结果；
用户界面，允许用户查看和导出行为评测报告；
通信模块，用于与外部系统(如交通管理中心)交换数据和接收更新。
在本实施例中，将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据，具体操作包括：
TransTrack模型对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果二；
采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度；
利用调整后的置信度，对目标检测结果一和目标检测结果二进行决策融合，确定最终的目标检测结果；
利用空间关系，关联最终的目标检测结果和TransTrack模型的跟踪轨迹，形成目标跟踪数据。
在本实施例中，采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度，具体操作包括：
确定用于衡量YOLO模块和TransTrack模型性能的评估指标以及评估指标函数；
根据评估指标，实时收集YOLO模型和TransTrack模型的性能数据；
按照下式，根据YOLO模型和TransTrack模型的性能数据动态调整YOLO模型的置信度权重和TransTrack模型的置信度权重：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示YOLO模型和TransTrack模型的评估指标函数；wYOLO表示YOLO模型的置信度权重，wTransTrack表示TransTrack模型的置信度权重；
根据调整后的置信度权重，确定YOLO模型的置信度和TransTrack模型的置信度。
本实施例系统可自适应学习，根据驾驶员的行为模式进行优化，并提供长期的行为改进建议，进而实现了对智能驾驶算法驱动的驾驶行为高效、准确的实时评测，提高了路测过程中的道路交通安全，并能够根据算法驱动的驾驶行为模式进行持续优化。

Claims (6)

1.一种基于YOLO和TransTrack的驾驶行为实时评测方法，其特征在于：包括以下步骤：
实时获取道路场景视频流；
采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；
将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；所述目标跟踪数据包括：目标位置变化数据、目标尺寸变化数据和目标方向变化数据；
利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；
根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；
基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；
根据行为分析结果，对当前驾驶行为进行评分和警告；
所述的将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据，具体操作包括：
TransTrack模型对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果二；
采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度；
利用调整后的置信度，对目标检测结果一和目标检测结果二进行决策融合，确定最终的目标检测结果；
利用空间关系，关联最终的目标检测结果和TransTrack模型的跟踪轨迹，形成目标跟踪数据；
所述的采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度，具体操作包括：
确定用于衡量YOLO模型和TransTrack模型性能的评估指标以及评估指标函数；
根据评估指标，实时收集YOLO模型和TransTrack模型的性能数据；
按照下式，根据YOLO模型和TransTrack模型的性能数据动态调整YOLO模型的置信度权重和TransTrack模型的置信度权重：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示YOLO模型和TransTrack模型的评估指标函数；wYOLO表示YOLO模型的置信度权重，wTransTrack表示TransTrack模型的置信度权重；
根据调整后的置信度权重，确定YOLO模型的置信度和TransTrack模型的置信度。
2.根据权利要求1所述的一种基于YOLO和TransTrack的驾驶行为实时评测方法，其特征在于：所述评估指标包括精确度、召回率、平均精度和跟踪精度。
3.根据权利要求1所述的一种基于YOLO和TransTrack的驾驶行为实时评测方法，其特征在于：所述警告包括：声音警告、视觉警告和触觉警告；所述触觉警告包括座椅震动或安全带收紧。
4.根据权利要求1所述的一种基于YOLO和TransTrack的驾驶行为实时评测方法，其特征在于：还包括以下步骤：
收集当前驾驶决策信息，根据当前驾驶决策信息、当前交通场景信息和目标跟踪数据，调整YOLO模型和TransTrack模型的参数，得到更新后的YOLO模型和TransTrack模型；
利用更新后的YOLO模型和TransTrack模型对道路场景视频流中的每一帧图像进行目标检测和目标跟踪。
5.一种基于YOLO和TransTrack的驾驶行为实时评测系统，其特征在于：包括：
视频流获取模块，用于实时获取道路场景视频流；
目标检测模块，用于采用YOLO模型，对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果一；
目标跟踪模块，用于将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据；所述目标跟踪数据包括：目标位置变化数据、目标尺寸变化数据和目标方向变化数据；
驾驶行为类型识别模块，用于利用视觉识别模型，从道路场景视频流中的每一帧图像中提取当前交通场景特征；根据当前交通场景特征和当前目标跟踪数据，确定得到当前驾驶行为类型；
驾驶行为分析模块，用于基于当前驾驶行为类型，判断其是否符合交通规范，得到行为分析结果；
警告模块，用于根据行为分析结果，对当前驾驶行为进行评分和警告；
所述的将目标检测结果一作为TransTrack模型的先验特征输入，TransTrack模型将道路场景视频流中的每一帧图像与该帧图像对应的目标特征信息进行结合，执行目标跟踪任务，形成目标跟踪数据，具体操作包括：
TransTrack模型对道路场景视频流中的每一帧图像进行目标检测，得到目标检测结果二；
采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度；
利用调整后的置信度，对目标检测结果一和目标检测结果二进行决策融合，确定最终的目标检测结果；
利用空间关系，关联最终的目标检测结果和TransTrack模型的跟踪轨迹，形成目标跟踪数据；
所述的采用加权自适应调整方法，调整YOLO模型的置信度和TransTrack模型的置信度，具体操作包括：
确定用于衡量YOLO模型和TransTrack模型性能的评估指标以及评估指标函数；
根据评估指标，实时收集YOLO模型和TransTrack模型的性能数据；
按照下式，根据YOLO模型和TransTrack模型的性能数据动态调整YOLO模型的置信度权重和TransTrack模型的置信度权重：
wYOLO＝f(YOLO Performance Metrics)
wTransTrack＝g(TransTrack Performance Metrics)
式中，f(YOLO Performance Metrics)和g(TransTrack Performance Metrics)分别表示YOLO模型和TransTrack模型的评估指标函数；wYOLO表示YOLO模型的置信度权重，wTransTrack表示TransTrack模型的置信度权重；
根据调整后的置信度权重，确定YOLO模型的置信度和TransTrack模型的置信度。
6.根据权利要求5所述的一种基于YOLO和TransTrack的驾驶行为实时评测系统，其特征在于：还包括模型优化模块；
所述模型优化模块，用于收集当前驾驶决策信息，根据当前驾驶决策信息、当前交通场景信息和目标跟踪数据，调整YOLO模型和TransTrack模型的参数，得到更新后的YOLO模型和TransTrack模型。
CN202410798752.0A 2024-06-20 2024-06-20 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统 Active CN118711146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410798752.0A CN118711146B (zh) 2024-06-20 2024-06-20 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410798752.0A CN118711146B (zh) 2024-06-20 2024-06-20 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统

Publications (2)

Publication Number Publication Date
CN118711146A CN118711146A (zh) 2024-09-27
CN118711146B true CN118711146B (zh) 2025-01-14

Family

ID=92819163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410798752.0A Active CN118711146B (zh) 2024-06-20 2024-06-20 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统

Country Status (1)

Country Link
CN (1) CN118711146B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898326A (zh) * 2022-03-11 2022-08-12 武汉理工大学 基于深度学习的单行道车辆逆行检测方法、系统及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN112512887B (zh) * 2020-07-21 2021-11-30 华为技术有限公司 一种行驶决策选择方法以及装置
CN116310482A (zh) * 2022-12-01 2023-06-23 航天时代飞鸿技术有限公司 基于国产芯片多目标实时跟踪的目标检测识别方法及系统
CN117826176A (zh) * 2023-12-06 2024-04-05 上海无线电设备研究所 一种基于多探测体制的星空背景下目标快速识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898326A (zh) * 2022-03-11 2022-08-12 武汉理工大学 基于深度学习的单行道车辆逆行检测方法、系统及设备

Also Published As

Publication number Publication date
CN118711146A (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
CN106652445A (zh) 一种公路交通事故判别方法及装置
CN104129389A (zh) 一种有效判别车辆行驶状态的方法及其装置
CN112241969A (zh) 基于交通监控视频的目标检测跟踪方法、装置及存储介质
CN112507862A (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN111723854B (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN112242058B (zh) 基于交通监控视频的目标异常检测方法、装置及存储介质
CN111127520A (zh) 一种基于视频分析的车辆跟踪方法和系统
CN117115752A (zh) 一种高速公路视频监控方法及系统
CN112419345B (zh) 基于回声状态网络的巡逻车高精度循迹方法
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN117416349A (zh) V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法
CN104318760B (zh) 一种基于似物性模型的路口违章行为智能检测方法及系统
CN118711377B (zh) 一种对高速公路行驶车辆进行全程超速监控系统
CN105590087A (zh) 一种道路识别方法及装置
CN118711146B (zh) 一种基于Yolo和TransTrack的驾驶行为实时评测方法及系统
CN112349100B (zh) 一种基于网联环境的多视角行车风险评估方法及装置
CN115116035A (zh) 一种基于神经网络的道路交通灯识别系统及方法
CN113177508A (zh) 一种行车信息的处理方法、装置及设备
CN118247359A (zh) 鱼眼摄像机自动标定方法、装置、计算机设备及存储介质
CN114419547B (zh) 基于单目视觉和深度学习的车辆检测方法及系统
CN114495244B (zh) 电像计算数据异常检测方法、装置、设备及存储介质
CN115830559A (zh) 一种轮胎吊的车道线识别的方法、存储介质和电子设备
CN114863411A (zh) 一种车牌识别方法及装置
CN103218916B (zh) 基于复杂高动态环境建模的闯红灯检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant