[go: up one dir, main page]

CN111695627A - 路况检测方法、装置、电子设备及可读存储介质 - Google Patents

路况检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111695627A
CN111695627A CN202010530074.1A CN202010530074A CN111695627A CN 111695627 A CN111695627 A CN 111695627A CN 202010530074 A CN202010530074 A CN 202010530074A CN 111695627 A CN111695627 A CN 111695627A
Authority
CN
China
Prior art keywords
road condition
optical flow
video frame
flow density
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010530074.1A
Other languages
English (en)
Inventor
阳勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010530074.1A priority Critical patent/CN111695627A/zh
Publication of CN111695627A publication Critical patent/CN111695627A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及车辆导航技术领域，公开了一种路况检测方法、装置、电子设备及可读存储介质，路况检测方法包括：接收来自视频采集设备的路况视频；从所述路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；其中，所述光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；分别对所述多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。本申请提供的路况检测方法不仅仅依赖于车流速度，可以得到更加准确的路况结果。

Description

路况检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及车辆导航技术领域，具体而言，本申请涉及一种路况检测方法、装置、电子设备及可读存储介质。
背景技术
在地图服务中，通常需要确定路况信息，例如道路是否拥堵，以便为用户规划合理的导航路线，还能帮助城市构建交通预警，调度城市交通系统。
目前，在分析路况信息时，通常是采集道路上车辆GPS(Global PositioningSystem，全球定位系统)定位点信息，计算车辆在各路段上的实时速度，并结合多个车辆在同一路段上的速度，确定路段拥堵情况。这种方式较依赖于车流速度，当车流计算波动时所得到的路况结果可能准确性较低。
发明内容
本申请的目的旨在至少能更准确的检测路况，特提出以下技术方案：
第一方面，提供了一种路况检测方法，包括：
接收来自视频采集设备的路况视频；
从路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；
其中，光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；
分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
在第一方面的可选实施例中，接收来自视频采集设备的路况视频之前，还包括：
获取车辆的定位信息，基于所获取的定位信息确定车辆的行驶信息；行驶信息包括车辆的实时位置和行驶速度中的至少一种；
若车辆的行驶信息符合预设条件，则发送视频采集指令到视频采集设备；
接收来自视频采集设备的路况视频，包括：
接收视频采集设备响应于视频采集指令发送的路况视频。
在第一方面的可选实施例中，基于多个视频帧图像获取多个光流密度图像，包括：
针对多个视频帧图像中任意两帧相邻的视频帧图像，分别获取相邻的两帧视频帧图像中每一像素的运动速度和运动方向；
基于相邻的两帧视频帧图像中每一像素的运动速度和运动方向，确定与两帧图像视频帧图像对应的光流密度图像。
在第一方面的可选实施例中，分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果，包括：
基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列；
对图像特征序列进行分类，得到第一分类概率；
对光流密度特征序列进行分类，得到第二分类概率；
基于第一分类概率和第二分类概率，确定路况结果；路况结果包括畅通、缓行和拥堵中的任一种。
在第一方面的可选实施例中，基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列，包括：
提取多个视频帧图像中每一视频帧图像的第一图像特征；
基于多个视频帧图像的时间顺序将多个第一图像特征依次拼接，得到图像特征序列；
提取多个光流密度图像中每一光流密度图像的第二图像特征；
基于多个光流密度图像的时间顺序将多个第二图像特征依次拼接，得到光流密度特征序列。
在第一方面的可选实施例中，提取多个视频帧图像中每一视频帧图像的第一图像特征，包括：
针对多个视频帧图像中的每一视频帧图像，将视频帧图像输入到卷积神经网络中；
将卷积神经网络的分类层的输入特征作为第一图像特征。
在第一方面的可选实施例中，对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率，包括：
将图像特征序列输入第一分类模型，得到对应的一个第一分类概率；
将光流密度特征序列输入第二分类模型，得到对应的一个第二分类概率。
在第一方面的可选实施例中，基于第一分类概率和第二分类概率，确定路况结果，包括：
基于第一分类概率和第二分类概率，确定路况概率；
确定路况概率所在的数值区间范围，确定与数值区间范围对应的路况结果。
在第一方面的可选实施例中，对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率，包括：
将图像特征序列输入第一分类模型，得到多个候选路况分别对应的第一分类概率；
将光流密度特征序列输入第二分类模型，得到多个候选路况分别对应的第二分类概率。
在第一方面的可选实施例中，基于第一分类概率和第二分类概率，确定路况结果，包括：
基于与多个候选路况分别对应的第一分类概率，以及与多个候选路况分别对应的第二分类概率，确定与多个候选路况分别对应的路况概率；
将最大的路况概率所对应的候选路况，作为路况结果。
第二方面，提供了一种路况检测装置，包括：
获取模块，用于接收来自视频采集设备的路况视频；
提取模块，用于从路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；
其中，光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；
分类模块，用于分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
在第二方面的可选实施例中，路况检测装置还包括发送模块，用于：
获取车辆的定位信息，基于所获取的定位信息确定车辆的行驶信息；行驶信息包括车辆的实时位置和行驶速度中的至少一种；
若车辆的行驶信息符合预设条件，则发送视频采集指令到视频采集设备；
获取模块在接收来自视频采集设备的路况视频时，用于：
接收视频采集设备响应于视频采集指令发送的路况视频。
在第二方面的可选实施例中，提取模块在基于多个视频帧图像获取多个光流密度图像时，用于：
针对多个视频帧图像中任意两帧相邻的视频帧图像，分别获取相邻的两帧视频帧图像中每一像素的运动速度和运动方向；
基于相邻的两帧视频帧图像中每一像素的运动速度和运动方向，确定与两帧图像视频帧图像对应的光流密度图像。
在第二方面的可选实施例中，分类模块在分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果时，用于：
基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列；
对图像特征序列进行分类，得到第一分类概率；
对光流密度特征序列进行分类，得到第二分类概率；
基于第一分类概率和第二分类概率，确定路况结果；路况结果包括畅通、缓行和拥堵中的任一种。
在第二方面的可选实施例中，分类模块在基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列时，用于：
提取多个视频帧图像中每一视频帧图像的第一图像特征；
基于多个视频帧图像的时间顺序将多个第一图像特征依次拼接，得到图像特征序列；
提取多个光流密度图像中每一光流密度图像的第二图像特征；
基于多个光流密度图像的时间顺序将多个第二图像特征依次拼接，得到光流密度特征序列。
在第二方面的可选实施例中，分类模块在提取多个视频帧图像中每一视频帧图像的第一图像特征时，用于：
针对多个视频帧图像中的每一视频帧图像，将视频帧图像输入到卷积神经网络中；
将卷积神经网络的分类层的输入特征作为第一图像特征。
在第二方面的可选实施例中，分类模块在对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率时，用于：
将图像特征序列输入第一分类模型，得到对应的一个第一分类概率；
将光流密度特征序列输入第二分类模型，得到对应的一个第二分类概率。
在第二方面的可选实施例中，分类模块在基于第一分类概率和第二分类概率，确定路况结果时，用于：
基于第一分类概率和第二分类概率，确定路况概率；
确定路况概率所在的数值区间范围，确定与数值区间范围对应的路况结果。
在第二方面的可选实施例中，分类模块在对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率时，用于：
将图像特征序列输入第一分类模型，得到多个候选路况分别对应的第一分类概率；
将光流密度特征序列输入第二分类模型，得到多个候选路况分别对应的第二分类概率。
在第二方面的可选实施例中，分类模块在基于第一分类概率和第二分类概率，确定路况结果时，用于：
基于与多个候选路况分别对应的第一分类概率，以及与多个候选路况分别对应的第二分类概率，确定与多个候选路况分别对应的路况概率；
将最大的路况概率所对应的候选路况，作为路况结果。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的路况检测方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的路况检测方法。
本申请提供的技术方案带来的有益效果是：
通过结合路况视频以及从路况视频中获取的光流密度图像来判断路况结果，路况视频本身从人类视觉的直观感受出发，可以捕获视野范围车辆的拥挤程度、行人扎堆等信息；光流密度图像从相对运动表现出来动态信息出发，捕获如行驶速度、车辆间相对速度等信息，不仅仅依赖于车流速度，可以得到更加准确的路况结果。
进一步的，当判断车辆的实时位置或行驶速度符合预设条件，即车辆可能处于需要异常的位置、异常交通状态或者需要警惕的交通状况，则发送视频采集指令到视频采集设备，仅在需要的时候指示视频采集设备进行路况视频的采集，可以有效节省资源。
进一步的，采用第一分类模型和第二分类模型进行分类，可选择性记忆视频信息，泛化能力更强，分类效果更准确。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种路况检测方法的应用环境图；
图2为本申请实施例提供的一种路况检测方法的流程示意图；
图3为本申请一个示例中提供的光流密度图像示意图；
图4为本申请一个示例中提供的光流密度图像示意图；
图5为本申请实施例提供的一种路况检测方法的流程示意图；
图6为本申请实施例一个示例中提供的视频帧图像和光流密度图像示意图；
图7为本申请实施例提供的一种路况检测方法的流程示意图；
图8为本申请实施例提供的利用卷积神经网络提取特征的方案的示意图；
图9为本申请提供的示例中的确定路况概率的方案的示意图；
图10为本申请提供的示例中的确定路况概率的方案的示意图；
图11为本申请提供的一个示例中路况检测方法的流程示意图；
图12为本申请提供的一个示例中路况检测方法的流程示意图；
图13为本申请实施例提供的一种路况检测装置的结构示意图；
图14为本申请实施例提供的一种路况检测装置的结构示意图；
图15为本申请实施例提供的一种路况检测的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在地图服务中，实时交通路况信息作为基础功能，不仅能够方便用户知晓道路拥堵情况，规划出行路线合理安排行动计划，还能帮助城市构建交通预警，调度城市交通系统。准确的路况，可提供更加优质的ETA(Estimated Time of Arrival，预定到达时间)服务和路径规划，节省城市道路资源和用户时间。
常见的实时路况的检测方式有两种：
第一种是通过采集道路上车辆GPS定位点信息，计算车辆在各路段上的实时速度，并融合多车在同一路段上的速度，通过速度的快慢来确定路段拥堵情况。这种方法的优点是简单直接，也是目前大多数地图生产厂商实时路况生产的基本方法；
这种方式不允许车流速度计算带来的误差，对用户驾驶行为存在较强的依赖且生产流程涉及的环节过多过于复杂，无法解决特定情形下的路况问题，同时车流速度的计算波动也会带来路况的错误发布；
第二种方法由交管部门将传感器或线圈部署在道路上，通过传感器感应道路上车流量以确定交通的拥堵情况。这种方法的优点是，能采集到所有通过指定道路点的车辆，信息充分；
这种方式工程量较大，对道路的覆盖面窄，主要集中在高速路、城市快速路，其他道路很难涉及到，同时几乎不存在对丰富视觉信息的参考及利用。
本申请提供的路况检测方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请提供的路况检测方法，可以应用于如图1所示的应用环境中。车辆上设置有可以采集路况视频的视频采集设备101，视频采集设备101和服务器102进行网络通信，服务器102还可以与车辆上的车载终端103进行网络通信；具体的，服务器102接收视频采集设备的路况视频，从路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果；将路况结果发送到车载终端103。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、MID(Mobile Internet Device，移动互联网设备)等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
可以理解的是，图1表示的是一个示例中的应用场景，并不对本申请的路况检测方法的应用场景进行限定，上述场景中，是服务器进行路况检测，在其他应用场景中，也可以是车载终端和视频采集设备之间进行网络通信，由车载终端进行路况检测；还可以是车载终端同时具有视频采集功能，由车载终端完成路况视频的采集，并进行路况检测等。
本申请实施例中提供了一种可能的实现方式，如图2所示，提供了一种路况检测方法，以该方法应用于图1中的服务器为例进行说明，可以包括以下步骤：
步骤S201，接收来自视频采集设备的路况视频。
其中，路况(road condition)可以是现有道路路基、路面、构造物及附属设施等的技术状况，也可以包括路面及附属设施损坏情况。
具体的，视频采集设备可以间隔预设时间自动采集路况视频，并发送至服务器，也可以在接收到服务器的视频采集指令时进行路况视频的采集，还可以是在接收到车载终端或用户的视频采集指令时进行路况视频的采集。
步骤S202，从路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像。
其中，光流密度是用于描述相对于观察者运动所造成的观测目标、表面或边缘的运动检测概念；光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息，例如，可以表示相对于车辆的动态信息。
具体的，从路况视频中提取到多个视频帧图像后，可以根据每两帧相邻的视频帧图像获取对应的光流密度图像。
在具体实施过程中，对于路况视频中相邻的两帧图像之间，对于图像中的任一像素点，相邻两帧的光流密度可以形成对应的一个点，累加多张图形成的光流密度，可以表示目标物体的运动轨迹。
如图3所示，图3为一个示例中光流密度的可视化示意图，以人过马路为例，当车辆静止时，车辆和人之间的相对运动即为人的运动，人的运动轨迹方向即为图中所示的多个点连接形成的轨迹方向，即横向穿过马路。
如图4所示，图4为另一个示例中光流密度的可视化示意图，以车辆在路上行驶为例，车辆和马路之间的相对运动是沿着车辆的运动轨迹，车辆的运动轨迹方向即为图中所示的多个点连接形成的轨迹方向，即沿着马路行驶。
可以理解的是，图3和图4并未示出所有像素点的运动轨迹，仅示出少部分的像素点的运动轨迹进行说明。
S203，分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
具体的，可以获取训练后的分类模型，通过训练后的分类模型分别对视频帧图像和光流密度图像进行分类，具体的分类过程将在下文进行详细阐述。
其中，路况结果可以包括畅通、缓行和拥堵中的任一种。
具体的，通过对视频帧图像进行分类，可以确定路况视频对应的路况；通过对光流密度图像进行分类，可以确定光流密度图像对应的路况；结合路况视频对应的路况和光流密度图像对应的路况，可以更加准确的得到实际路况信息。
本实施例提供的路况检测方法，结合路况视频以及从路况视频中获取的光流密度图像来判断路况结果，路况视频本身从人类视觉的直观感受出发，可以捕获视野范围车辆的拥挤程度、行人扎堆等信息；光流密度图像从相对运动表现出来动态信息出发，捕获如行驶速度、车辆间相对速度等信息，不仅仅依赖于车流速度，可以得到更加准确的路况结果。
本申请实施例中提供了一种可能的实现方式，步骤S201的接收来自视频采集设备的路况视频之前，还可以包括：
(1)获取车辆的定位信息，基于所获取的定位信息确定车辆的行驶信息；行驶信息包括车辆的实时位置和行驶速度中的至少一种。
具体的，可以通过GPS获取车辆的定位信息，从而确定车辆的实时位置，例如，车辆实时位于哪条街。
还可以通过不同时间分别对应的定位信息，计算得到车辆的行驶速度，例如，获取上一个时刻车辆所在的实时位置，并获取当前时刻车辆所在的实时位置，根据预存的地图信息获取这两个位置之间的实际路线距离、以及上一个时刻到当前时刻之间的时间差，计算得到车辆的行驶速度。
(2)若车辆的行驶信息符合预设条件，则发送视频采集指令到视频采集设备。
步骤S201的接收来自视频采集设备的路况视频，可以包括：
接收视频采集设备响应于视频采集指令发送的路况视频。
其中，预设条件可以是车辆有可能处于异常的位置、异常交通状态或者需要警惕的交通状况的情况；符合预设条件可以包括车辆的实时位置符合预设的特定位置，例如，车辆位于十字街头、距离红绿灯100米内等；符合预设条件还可以是车辆的车速出现异常，例如，小于设定速度，如小于20km/h，还可以是车辆异常停车等等。
如图5所示，当判断车辆的实时位置或行驶速度符合预设条件，即车辆可能处于需要异常的位置、异常交通状态或者需要警惕的交通状况，则发送视频采集指令到视频采集设备，仅在需要的时候指示视频采集设备进行路况视频的采集，可以有效节省资源。
以下将对获取光流密度图像的具体过程进行进一步详细阐述。
本申请实施例中提供了一种可能的实现方式，步骤S202的基于多个视频帧图像获取多个光流密度图像，可以包括：
(1)针对多个视频帧图像中任意两帧相邻的视频帧图像，分别获取相邻的两帧视频帧图像中每一像素的运动速度和运动方向；
(2)基于相邻的两帧视频帧图像中每一像素的运动速度和运动方向，确定与该两帧图像视频帧图像对应的光流密度图像。
具体的，路况视频中包含了丰富的动态信息，其中最明显的就是相对运动。为了提取动态信息，采用光流密度算法提取相邻视频帧之间的光流密度，具体原理为：
计算相邻两帧图像中每个像素的运动速度和运动方向，假设第t帧时点A的位置是(x1,y1)，第t+1帧时A点的位置是(x2,y2)，点A的运动可简单表示为：
(ux,vy)＝(x2,y2)-(x1,y1) (1)
累加多张图形成的光流密度，以表示目标物体的运动轨迹。如图6所示，左边为从路况视频中获取的视频帧图像，图6中左边仅示出一张视频帧图像，每两张相邻的视频帧图像可以得到对应的光流密度图像，对于每一像素点，相邻两帧的光流密度可以形成对应的一个点，对光流密度图像进行累加，即对多个连续相邻的视频帧图像形成的光流密度对应的点进行连接，可以得到图6中右边示出的多个光流密度图像累加形成的图像。
上述实施例阐述了获取光流密度图像的具体过程，以下将结合附图和实施例进一步详细阐述确定路况结果的具体过程。
本申请实施例中提供了一种可能的实现方式，如图7所示，步骤S203的分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果，可以包括：
步骤S310，基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列。
其中，对于多个视频帧图像中每一视频帧图像，可以获取与该视频帧图像对应的第一图像特征，然后根据多个第一图像特征得到图像特征序列；对于多个光流密度图像中的每一光流密度图像，可以获取与该光流密度图像对应的第二图像特征，然后根据多个第二图像特征得到光流密度特征序列。
具体的，步骤S310的基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列，可以包括：
(1)提取多个视频帧图像中每一视频帧图像的第一图像特征。
具体的，提取多个视频帧图像中每一视频帧图像的第一图像特征，可以包括：
a、针对多个视频帧图像中的每一视频帧图像，将该视频帧图像输入到卷积神经网络中；
b、将卷积神经网络的分类层的输入特征作为第一图像特征。
具体的，卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。
本实施例中，可以采用训练后的卷积神经网络中的InceptionV3网络，如图8所述，图中示出了InceptionV3结构，中间部分未示出，可以去掉InceptionV3网络的全连接分类层和softmax层，也就是说，将视频帧图像输入该InceptionV3网络，将全连接分类层的输入，即全连接分类层的上一层，即dropout层的输出作为第一图像特征。
在其他实施例中，也可以采用其他的卷积神经网络进行特征提取。
对于卷积神经网络的训练，可以获取样本图像、标准图像特征，可以将样本图像输入到初始卷积神经网络中，得到对应的样本特征，基于样本特征和标准图像特征计算损失函数，基于损失函数调整卷积神经网络的参数，得到训练后的卷积神经网络。
(2)基于多个视频帧图像的时间顺序将多个第一图像特征依次拼接，得到图像特征序列。
例如，多个视频帧图像依次获得的第一图像特征依次为x1,x2,x3……xn，其中，x1,x2,x3……xn可以是向量，也可以是矩阵，则图像特征序列为[x1,x2,x3……xn]。
(3)提取多个光流密度图像中每一光流密度图像的第二图像特征。
具体的，提取光流密度图像的第二图像特征和提取视频帧图像的第一图像特征相同，在此不作赘述。
(4)基于多个光流密度图像的时间顺序将多个第二图像特征依次拼接，得到光流密度特征序列。
具体的，对第二图像特征进行拼接的过程和对第一图像特征进行拼接的过程相同，在此不作赘述。
步骤S320，对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率。
具体的，可以将图像特征序列输入到训练后的分类模型，得到对应的第一分类概率，可以得到一个第一分类概率，还可以得到与多个候选路况分别对应的多个第一分类概率。
同样的，也可以将光流密度特征序列输入到训练后的分类模型，得到对应的第二分类概率，可以得到一个第二分类概率，还可以得到与多个候选路况分别对应的多个第二分类概率。
步骤S330，基于第一分类概率和第二分类概率，确定路况结果。
其中，路况结果包括畅通、缓行和拥堵中的任一种。
具体的，若得到一个第一分类概率和一个第二分类概率，则基于一个第一分类概率和一个第二分类概率，确定最终的路况概率，基于路况概率对应的数值，确定对应的路况结果。
具体的，若得到多个候选路况结果分别对应的第一分类概率和第二分类概率，则可以确定每一个候选路况分别对应的路况概率，从而确定最终的路况结果。
其中，候选路况可以包括畅通、畅通缓行之间、缓行、缓行拥堵之间、拥堵、极度拥堵等。
具体的分类和确定路况结果的过程可以包括如下两种情况：
情况一：
步骤S320的对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率，可以包括：
(1)将图像特征序列输入第一分类模型，得到对应的一个第一分类概率；
(2)将光流密度特征序列输入第二分类模型，得到对应的一个第二分类概率。
具体的，第一分类模型和第二分类模型可以为many-to-one(多对一)结构，此时，输入为一个序列，输出是一个单独的值。
其中，第一分类模型和第二分类模型可以为LSTM(长短期记忆网络，Long Short-Term Memory)模型，LSTM可选择性记忆视频信息，泛化能力更强分类效果更准确。
此时，步骤S330的基于第一分类概率和第二分类概率，确定路况结果，可以包括：
(1)基于第一分类概率和第二分类概率，确定路况概率；
(2)确定路况概率所在的数值区间范围，确定与数值区间范围对应的路况结果。
具体的，可以计算第一分类概率和第二分类概率的加权和，得到路况概率，如参照如下公式进行计算：
P＝aPAppear+(1-a)Pflow (2)
式中：PAppear表示第一分类概率；Pflow表示第二分类概率；P表示路况概率；a表示预设的第一分类概率对应的权重系数。
具体的，可以预先设置多个数值区间，每一数值区间对应设置一个候选路况。
例如，若P>0.60为拥堵，P<0.48为畅通，0.48<＝P<＝0.60为缓行。
如图9所示，将图像特征序列和光流密度特征序列分别输入第一分类模型和第二分类模型，分别获取一个第一分类概率、第二分类概率，然后基于第一分类概率和第二分类概率确定最终的路况概率。
情况二：
步骤S320的对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率，可以包括：
(1)将图像特征序列输入第一分类模型，得到多个候选路况分别对应的第一分类概率；
(2)将光流密度特征序列输入第二分类模型，得到多个候选路况分别对应的第二分类概率。
具体的，第一分类模型和第二分类模型可以为many-to-many(多对多)结构，此时，输入为一个序列，输出是多个值。
此时，步骤S330的基于第一分类概率和第二分类概率，确定路况结果，可以包括：
(1)基于与多个候选路况分别对应的第一分类概率，以及与多个候选路况分别对应的第二分类概率，确定与多个候选路况分别对应的路况概率；
(2)将最大的路况概率所对应的候选路况，作为路况结果。
具体的，也可以参照情况一中的公式(2)计算每一个候选路况对应的第一分类概率和第二分类概率的加权和，得到路况概率，然后将最大的路况概率对应的候选路况，作为路况结果。
例如，最终得到畅通、缓行、拥堵对应的概率分别为0.2、0.6和0.2，则最终路况结果为缓行。
如图10所示，将图像特征序列和光流密度特征序列分别输入第一分类模型和第二分类模型，获取和多个候选路况分别对应的第一分类概率、第二分类概率，即图中所示的，候选路况1、候选路况2和候选路况3的第一分类概率和第二分类概率，然后基于第一分类概率和第二分类概率确定多个候选路况分别对应的路况概率。
针对第一分类模型和第二分类模型的训练，可以获取多个样本图像，每一个样本图像已设置有对应的路况结果，提取各个样本图像对应的图像特征序列后，输入到初始分类模型中，基于分类结果和预设的路况结果计算损失函数，并基于损失函数调整初始分类模型的参数，得到第一分类模型或第二分类模型。
为了更好地理解上述路况检测方法，如图11所示，以下详细阐述一个本发明的路况检测方法的示例：
在一个示例中，本申请提供的路况检测方法，可以包括如下步骤：
步骤S1101，获取车辆的定位信息，基于所获取的定位信息确定车辆的行驶信息；
步骤S1102，确定车辆的行驶信息是否符合预设条件，若是，执行步骤S1103；若否，则执行步骤S1101；
步骤S1103，发送视频采集指令到视频采集设备；
步骤S1104，获取视频采集设备基于视频采集指令返回的路况视频；
步骤S1105，从路况视频中提取多个视频帧图像；基于多个视频帧图像获取多个光流密度图像；
步骤S1106，基于多个视频帧图像获取图像特征序列；基于多个光流密度图像获取光流密度特征序列；
步骤S1107，对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率；
步骤S1108，基于第一分类概率和第二分类概率，确定路况概率；
步骤S1109，基于路况概率确定路况结果。
为了更好地理解上述路况检测方法，如图12所示，以下详细阐述一个本发明的路况检测方法的示例：
在一个示例中，本申请提供的路况检测方法，可以包括如下步骤：
S1，获取路况视频的视频帧图像，进行光流特征提取，基于视频帧图像获取光流密度图像；
S2，对视频帧图像进行特征提取，得到图像特征序列；
S3，对光流密度图像进行特征提取，得到光流密度特征序列；
S4，将图像特征序列输入到LSTM进行分类；
S5，将光流密度图像输入到LSTM进行分类；
S6，基于两个分类结果确定路况结果。
上述的路况检测方法，通过结合路况视频以及从路况视频中获取的光流密度图像来判断路况结果，路况视频本身从人类视觉的直观感受出发，可以捕获视野范围车辆的拥挤程度、行人扎堆等信息；光流密度图像从相对运动表现出来动态信息出发，捕获如行驶速度、车辆间相对速度等信息，不仅仅依赖于车流速度，可以得到更加准确的路况结果。
进一步的，当判断车辆的实时位置或行驶速度符合预设条件，即车辆可能处于需要异常的位置、异常交通状态或者需要警惕的交通状况，则发送视频采集指令到视频采集设备，仅在需要的时候指示视频采集设备进行路况视频的采集，可以有效节省资源。
进一步的，采用第一分类模型和第二分类模型进行分类，可选择性记忆视频信息，泛化能力更强，分类效果更准确。
本申请实施例中提供了一种可能的实现方式，如图13所示，提供了一种路况检测装置130，该路况检测装置130可以包括：获取模块1301、提取模块1302和分类模块1303，其中，
获取模块1301，用于接收来自视频采集设备的路况视频；
提取模块1302，用于从路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；
其中，光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；
分类模块1303，用于分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
本申请实施例中提供了一种可能的实现方式，如图14所示，路况检测装置130还包括发送模块1300，用于：
获取车辆的定位信息，基于所获取的定位信息确定车辆的行驶信息；行驶信息包括车辆的实时位置和行驶速度中的至少一种；
若车辆的行驶信息符合预设条件，则发送视频采集指令到视频采集设备；
获取模块在接收来自视频采集设备的路况视频时，用于：
接收视频采集设备响应于视频采集指令发送的路况视频。
本申请实施例中提供了一种可能的实现方式，提取模块1302在基于多个视频帧图像获取多个光流密度图像时，用于：
针对多个视频帧图像中任意两帧相邻的视频帧图像，分别获取相邻的两帧视频帧图像中每一像素的运动速度和运动方向；
基于相邻的两帧视频帧图像中每一像素的运动速度和运动方向，确定与该两帧图像视频帧图像对应的光流密度图像。
本申请实施例中提供了一种可能的实现方式，分类模块1303在分别对多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况时，用于：
基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列；
对图像特征序列进行分类，得到第一分类概率；
对光流密度特征序列进行分类，得到第二分类概率；
基于第一分类概率和第二分类概率，确定路况结果；路况结果包括畅通、缓行和拥堵中的任一种。
本申请实施例中提供了一种可能的实现方式，分类模块1303在基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列时，用于：
提取多个视频帧图像中每一视频帧图像的第一图像特征；
基于多个视频帧图像的时间顺序将多个第一图像特征依次拼接，得到图像特征序列；
提取多个光流密度图像中每一光流密度图像的第二图像特征；
基于多个光流密度图像的时间顺序将多个第二图像特征依次拼接，得到光流密度特征序列。
本申请实施例中提供了一种可能的实现方式，分类模块1303在提取多个视频帧图像中每一视频帧图像的第一图像特征时，用于：
针对多个视频帧图像中的每一视频帧图像，将该视频帧图像输入到卷积神经网络中；
将卷积神经网络的分类层的输入特征作为第一图像特征。
本申请实施例中提供了一种可能的实现方式，分类模块1303在对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率时，用于：
将图像特征序列输入第一分类模型，得到对应的一个第一分类概率；
将光流密度特征序列输入第二分类模型，得到对应的一个第二分类概率。
本申请实施例中提供了一种可能的实现方式，分类模块1303在基于第一分类概率和第二分类概率，确定路况结果时，用于：
基于第一分类概率和第二分类概率，确定路况概率；
确定路况概率所在的数值区间范围，确定与数值区间范围对应的路况结果。
本申请实施例中提供了一种可能的实现方式，分类模块1303在对图像特征序列进行分类，得到第一分类概率；对光流密度特征序列进行分类，得到第二分类概率时，用于：
将图像特征序列输入第一分类模型，得到多个候选路况分别对应的第一分类概率；
将光流密度特征序列输入第二分类模型，得到多个候选路况分别对应的第二分类概率。
本申请实施例中提供了一种可能的实现方式，分类模块1303在基于第一分类概率和第二分类概率，确定路况结果时，用于：
基于与多个候选路况分别对应的第一分类概率，以及与多个候选路况分别对应的第二分类概率，确定与多个候选路况分别对应的路况概率；
将最大的路况概率所对应的候选路况，作为路况结果。
上述的路况检测装置，结合路况视频以及从路况视频中获取的光流密度图像来判断路况结果，路况视频本身从人类视觉的直观感受出发，可以捕获视野范围车辆的拥挤程度、行人扎堆等信息；光流密度图像从相对运动表现出来动态信息出发，捕获如行驶速度、车辆间相对速度等信息，不仅仅依赖于车流速度，可以得到更加准确的路况结果。
进一步的，当判断车辆的实时位置或行驶速度符合预设条件，即车辆可能处于需要异常的位置、异常交通状态或者需要警惕的交通状况，则发送视频采集指令到视频采集设备，仅在需要的时候指示视频采集设备进行路况视频的采集，可以有效节省资源。
进一步的，采用第一分类模型和第二分类模型进行分类，可选择性记忆视频信息，泛化能力更强，分类效果更准确。
本公开实施例的图片的路况检测装置可执行本公开的实施例所提供的一种图片的路况检测方法，其实现原理相类似，本公开各实施例中的图片的路况检测装置中的各模块所执行的动作是与本公开各实施例中的图片的路况检测方法中的步骤相对应的，对于图片的路况检测装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的路况检测方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的路况检测方法。与现有技术相比，本申请中的路况检测方法不仅仅依赖于车流速度，可以得到更加准确的路况结果。
在一个可选实施例中提供了一种电子设备，如图15所示，图15所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图15示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的路况检测方法不仅仅依赖于车流速度，可以得到更加准确的路况结果。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“接收来自视频采集设备的路况视频的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种路况检测方法，其特征在于，包括：
接收来自视频采集设备的路况视频；
从所述路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；
其中，所述光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；
分别对所述多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
2.根据权利要求1所述的路况检测方法，其特征在于，所述接收来自视频采集设备的路况视频之前，还包括：
获取车辆的定位信息，基于所获取的定位信息确定所述车辆的行驶信息；所述行驶信息包括所述车辆的实时位置和行驶速度中的至少一种；
若所述车辆的行驶信息符合预设条件，则发送视频采集指令到所述视频采集设备；
所述接收来自视频采集设备的路况视频，包括：
接收视频采集设备响应于所述视频采集指令发送的路况视频。
3.根据权利要求1所述的路况检测方法，其特征在于，所述基于多个视频帧图像获取多个光流密度图像，包括：
针对所述多个视频帧图像中任意两帧相邻的视频帧图像，分别获取相邻的两帧视频帧图像中每一像素的运动速度和运动方向；
基于相邻的两帧视频帧图像中每一像素的运动速度和运动方向，确定与所述两帧图像视频帧图像对应的光流密度图像。
4.根据权利要求1所述的路况检测方法，其特征在于，所述分别对所述多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果，包括：
基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列；
对所述图像特征序列进行分类，得到第一分类概率；
对所述光流密度特征序列进行分类，得到第二分类概率；
基于所述第一分类概率和所述第二分类概率，确定所述路况结果；所述路况结果包括畅通、缓行和拥堵中的任一种。
5.根据权利要求4所述的路况检测方法，其特征在于，所述基于多个视频帧图像获取图像特征序列，并基于多个光流密度图像获取光流密度特征序列，包括：
提取多个视频帧图像中每一视频帧图像的第一图像特征，并基于多个视频帧图像的时间顺序将多个第一图像特征依次拼接，得到所述图像特征序列；
提取多个光流密度图像中每一光流密度图像的第二图像特征，并基于多个光流密度图像的时间顺序将多个第二图像特征依次拼接，得到所述光流密度特征序列。
6.根据权利要求5所述的路况检测方法，其特征在于，所述提取多个视频帧图像中每一视频帧图像的第一图像特征，包括：
针对多个视频帧图像中的每一视频帧图像，将所述视频帧图像输入到卷积神经网络中；
将所述卷积神经网络的分类层的输入特征作为所述第一图像特征。
7.根据权利要求4所述的路况检测方法，其特征在于，所述对所述图像特征序列进行分类，得到第一分类概率；对所述光流密度特征序列进行分类，得到第二分类概率，包括：
将所述图像特征序列输入第一分类模型，得到对应的一个第一分类概率；
将所述光流密度特征序列输入第二分类模型，得到对应的一个第二分类概率。
8.根据权利要求7所述的路况检测方法，其特征在于，所述基于所述第一分类概率和所述第二分类概率，确定所述路况结果，包括：
基于所述第一分类概率和所述第二分类概率，确定路况概率；
确定所述路况概率所在的数值区间范围，确定与所述数值区间范围对应的路况结果。
9.根据权利要求4所述的路况检测方法，其特征在于，所述对所述图像特征序列进行分类，得到第一分类概率；对所述光流密度特征序列进行分类，得到第二分类概率，包括：
将所述图像特征序列输入第一分类模型，得到多个候选路况分别对应的第一分类概率；
将所述光流密度特征序列输入第二分类模型，得到多个候选路况分别对应的第二分类概率。
10.根据权利要求10所述的路况检测方法，其特征在于，所述基于所述第一分类概率和所述第二分类概率，确定所述路况结果，包括：
基于与多个候选路况分别对应的第一分类概率，以及与多个候选路况分别对应的第二分类概率，确定与多个候选路况分别对应的路况概率；
将最大的路况概率所对应的候选路况，作为所述路况结果。
11.一种路况检测装置，其特征在于，包括：
获取模块，用于接收来自视频采集设备的路况视频；
提取模块，用于从所述路况视频中提取多个视频帧图像，并基于多个视频帧图像获取多个光流密度图像；
其中，所述光流密度图像用于表示视频帧图像中的各个像素点相对于物体运动所形成的动态信息；
分类模块，用于分别对所述多个视频帧图像和多个光流密度图像进行分类，基于视频帧图像和光流密度图像分类确定路况结果。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-10任一项所述的路况检测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-10任一项所述的路况检测方法。
CN202010530074.1A 2020-06-11 2020-06-11 路况检测方法、装置、电子设备及可读存储介质 Pending CN111695627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530074.1A CN111695627A (zh) 2020-06-11 2020-06-11 路况检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530074.1A CN111695627A (zh) 2020-06-11 2020-06-11 路况检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111695627A true CN111695627A (zh) 2020-09-22

Family

ID=72480344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530074.1A Pending CN111695627A (zh) 2020-06-11 2020-06-11 路况检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111695627A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066285A (zh) * 2021-03-15 2021-07-02 北京百度网讯科技有限公司 一种路况信息确定方法、装置、电子设备及存储介质
CN114694197A (zh) * 2020-12-29 2022-07-01 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质
JP2022133946A (ja) * 2021-03-02 2022-09-14 トヨタ自動車株式会社 サーバ、データ収集システム、プログラムおよびデータ収集方法
WO2022205632A1 (zh) * 2021-03-31 2022-10-06 北京市商汤科技开发有限公司 目标检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211117A1 (en) * 2016-12-20 2018-07-26 Jayant Ratti On-demand artificial intelligence and roadway stewardship system
WO2018153211A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 获取交通路况信息的方法及装置、计算机存储介质
CN109147331A (zh) * 2018-10-11 2019-01-04 青岛大学 一种基于计算机视觉的道路拥堵状态检测方法
CN109753984A (zh) * 2017-11-07 2019-05-14 北京京东尚科信息技术有限公司 视频分类方法、装置和计算机可读存储介质
CN110889328A (zh) * 2019-10-21 2020-03-17 大唐软件技术股份有限公司 检测道路交通状况的方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211117A1 (en) * 2016-12-20 2018-07-26 Jayant Ratti On-demand artificial intelligence and roadway stewardship system
WO2018153211A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 获取交通路况信息的方法及装置、计算机存储介质
CN109753984A (zh) * 2017-11-07 2019-05-14 北京京东尚科信息技术有限公司 视频分类方法、装置和计算机可读存储介质
CN109147331A (zh) * 2018-10-11 2019-01-04 青岛大学 一种基于计算机视觉的道路拥堵状态检测方法
CN110889328A (zh) * 2019-10-21 2020-03-17 大唐软件技术股份有限公司 检测道路交通状况的方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
啊扑: "Faster R-CNN全解析", pages 251 - 260, Retrieved from the Internet <URL:https://blog.csdn.net/qq_42450404/article/details/88804798> *
张磊: "从结构、原理到实现，Faster R-CNN全解析（原创）", pages 1 - 10, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/32702387> *
麻花团子: "R-CNN家族及相关分支（主体思想）", pages 1 - 10, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/101941541> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694197A (zh) * 2020-12-29 2022-07-01 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质
JP2022133946A (ja) * 2021-03-02 2022-09-14 トヨタ自動車株式会社 サーバ、データ収集システム、プログラムおよびデータ収集方法
JP7359175B2 (ja) 2021-03-02 2023-10-11 トヨタ自動車株式会社 サーバ、データ収集システム、プログラムおよびデータ収集方法
CN113066285A (zh) * 2021-03-15 2021-07-02 北京百度网讯科技有限公司 一种路况信息确定方法、装置、电子设备及存储介质
WO2022205632A1 (zh) * 2021-03-31 2022-10-06 北京市商汤科技开发有限公司 目标检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
CN111695627A (zh) 路况检测方法、装置、电子设备及可读存储介质
CN111091708A (zh) 车辆轨迹预测方法及装置
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
CN111862605A (zh) 路况检测方法、装置、电子设备及可读存储介质
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112307978A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN110852258A (zh) 物体检测方法、装置、设备及存储介质
CN113033463B (zh) 减速带检测方法、装置、电子设备及存储介质
Giyenko et al. Application of convolutional neural networks for visibility estimation of CCTV images
CN112288702A (zh) 一种基于车联网的道路图像检测方法
US20220357176A1 (en) Methods and data processing systems for predicting road attributes
Toyungyernsub et al. Dynamics-aware spatiotemporal occupancy prediction in urban environments
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
CN110738169A (zh) 车流量监测方法、装置、设备及计算机可读存储介质
CN118015559A (zh) 一种对象识别方法、装置、电子设备和存储介质
CN115909126A (zh) 目标检测方法、设备和存储介质
CN106781470B (zh) 城市道路的运行速度的处理方法及装置
CN116363546A (zh) 一种基于时序的动态稀疏轨迹补全方法
CN112667671B (zh) 一种路网数据处理方法、装置、计算机设备和存储介质
CN114764873A (zh) 一种车辆定位方法、系统及相关设备
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination