[go: up one dir, main page]

CN112634610A - 自然驾驶数据采集方法、装置、电子设备以及存储介质 - Google Patents

自然驾驶数据采集方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112634610A
CN112634610A CN202011467160.9A CN202011467160A CN112634610A CN 112634610 A CN112634610 A CN 112634610A CN 202011467160 A CN202011467160 A CN 202011467160A CN 112634610 A CN112634610 A CN 112634610A
Authority
CN
China
Prior art keywords
traffic
data
real space
scene
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011467160.9A
Other languages
English (en)
Inventor
于鹏
孙亚夫
吴琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Original Assignee
Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd filed Critical Beijing Innovation Center For Mobility Intelligent Bicmi Co ltd
Priority to CN202011467160.9A priority Critical patent/CN112634610A/zh
Publication of CN112634610A publication Critical patent/CN112634610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了自然驾驶数据采集方法、装置、电子设备以及存储介质。该方法，包括：采用无人机采集交通场景数据；从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。基于该方法和装置，实现了自然驾驶数据采集过程的隐蔽性，进而提高了所采集的自然驾驶数据的真实性和自然性，并且更好地保护了被采集者的隐私，而且由于交通目标之间遮挡较少，因此还提高了数据完整性，另由于不存在视线消失的问题，因此无须借助其他算法对数据进行还原，从而提高了数据的精度。

Description

自然驾驶数据采集方法、装置、电子设备以及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及自然驾驶数据采集方法、装置、电子设备以及存储介质。
背景技术
随着自动驾驶技术的不断发展，自动驾驶系统正在向着逐步取代人类驾驶员或代替人类执行部分驾驶任务的方向发展。然而，目前行业内部缺乏真实的数据支撑自动驾驶模型的训练以及对自动驾驶系统的评价测试，进而影响了自动驾驶技术的发展。另外，建立自动驾驶技术的相关标准也需要大量自然驾驶数据的支撑。因此，建立自然驾驶数据库对于实现自动驾驶系统的测试、评价、标准的建立尤为重要。目前多数的自然驾驶数据采集方法在精度、数据自然性、数据完整性、隐私保护等方面都存在缺陷。因此，亟需一种可以克服上述缺陷的自然驾驶数据采集方法。
发明内容
本发明实施例的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
本发明实施例提供了自然驾驶数据采集方法、装置、电子设备以及存储介质，可以提高对自然驾驶数据的精度、自然性、真实性和完整性，并可以更好地保护自然驾驶数据的被采集者的隐私。
第一方面，提供了一种自然驾驶数据采集方法，包括：
采用无人机采集交通场景数据；
从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
可选地，所述采用无人机采集交通场景数据，包括：
控制所述无人机悬停于固定高度；
采用所述无人机所配置的摄像头从所述固定高度采集交通场景视频数据。
可选地，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据，包括：
从所述交通场景视频数据中识别交通参与者和交通环境对象；
根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息；所述交通参与者的行为数据包括所述交通参与者在真实空间中的属性信息和轨迹信息，所述交通环境数据包括所述交通环境对象在真实空间中的属性信息。
可选地，所述根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息，包括：
根据所述无人机所悬停的固定高度以及所述无人机所配置的摄像头的参数，确定所述交通场景视频数据中单个像素点所对应的真实物理尺寸；
基于所述交通场景视频数据中单个像素点所对应的真实物理尺寸，根据所述交通场景视频数据中所述交通参与者以像素点表示的属性信息和轨迹信息以及所述交通环境对象以像素点表示的属性信息，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
可选地，所述交通参与者在真实空间中的属性信息包括所述交通参与者在真实空间中的尺寸，所述交通参与者在真实空间中的轨迹信息包括所述交通参与者在真实空间中的速度、加速度、位置以及与其他交通参与者或交通环境对象之间的相对位置；所述交通环境对象在真实空间中的属性信息包括所述交通环境对象在真实空间中的尺寸和位置。
可选地，所述从所述交通场景数据中提取交通参与者的行为数据以及交通环境数据，包括：
根据所述交通场景数据所包含的场景元素，对所述交通场景数据分类；
针对各类交通场景数据，分别提取交通参与者的行为数据和交通环境数据。
可选地，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据之前，所述方法还包括：
选取交通流量在预设流量阈值以上和/或能见度在预设能见度阈值以上的交通场景数据，用于提取交通参与者的行为数据和交通环境数据。
可选地，所述采用无人机采集交通场景数据，包括：
采用无人机在晴朗的白天采集交通场景数据。
第二方面，提供了一种自然驾驶数据采集装置，包括：
采集模块，用于采用无人机采集交通场景数据；
提取模块，用于从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
可选地，所述采集模块，包括：
控制子模块，用于控制所述无人机悬停于固定高度；
采集子模块，用于采用所述无人机所配置的摄像头从所述固定高度采集交通场景视频数据。
可选地，所述提取模块，包括：
识别子模块，用于从所述交通场景视频数据中识别交通参与者和交通环境对象；
确定子模块，用于根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息；所述交通参与者的行为数据包括所述交通参与者在真实空间中的属性信息和轨迹信息，所述交通环境数据包括所述交通环境对象在真实空间中的属性信息。
可选地，所述确定子模块，包括：
第一确定单元，用于根据所述无人机所悬停的固定高度以及所述无人机所配置的摄像头的参数，确定所述交通场景视频数据中单个像素点所对应的真实物理尺寸；
第二确定单元，用于基于所述交通场景视频数据中单个像素点所对应的真实物理尺寸，根据所述交通场景视频数据中所述交通参与者以像素点表示的属性信息和轨迹信息以及所述交通环境对象以像素点表示的属性信息，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
可选地，所述交通参与者在真实空间中的属性信息包括所述交通参与者在真实空间中的尺寸，所述交通参与者在真实空间中的轨迹信息包括所述交通参与者在真实空间中的速度、加速度、位置以及与其他交通参与者或交通环境对象之间的相对位置；所述交通环境对象在真实空间中的属性信息包括所述交通环境对象在真实空间中的尺寸和位置。
可选地，所述提取模块，还包括：
分类子模块，用于根据所述交通场景数据所包含的场景元素，对所述交通场景数据分类；
提取子模块，用于针对各类交通场景数据，分别提取交通参与者的行为数据和交通环境数据。
可选地，所述装置还包括：
选取模块，用于选取交通流量在预设流量阈值以上和/或能见度在预设能见度阈值以上的交通场景数据，用于提取交通参与者的行为数据和交通环境数据。
可选地，所述采集模块，具体用于：
采用无人机在晴朗的白天采集交通场景数据。
第三方面，提供了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行以上所述的方法。
第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现以上所述的方法。
本发明实施例至少包括以下有益效果：
本发明实施例提供的自然驾驶数据采集方法和装置，首先采用无人机采集交通场景数据，再从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。基于该方法和装置，实现了自然驾驶数据采集过程的隐蔽性，进而提高了所采集的自然驾驶数据的真实性和自然性，并且更好地保护了被采集者的隐私，而且由于交通目标之间遮挡较少，因此还提高了数据完整性，另由于不存在视线消失的问题，因此无须借助其他算法对数据进行还原，从而提高了数据的精度。
本发明实施例的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明实施例的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明实施例可以应用其中的示例性系统架构的示意图；
图2为本发明一个实施例提供的自然驾驶数据采集方法的流程图；
图3为本发明一个实施例提供的无人机布设方式的示意图；
图4为本发明一个实施例提供的自然驾驶数据采集装置的结构示意图；
图5为本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图对本发明实施例做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
真实交通场景主要由两部分构成——交通参与者和交通环境对象。自然驾驶数据即包括在真实交通场景中交通参与者的行为，例如机动车辆驾驶员的驾驶行为。自然驾驶数据还可以包括交通环境数据，例如道路及交通设施的属性信息等等。目前，自然驾驶数据采集方法主要是在机动车辆上设置度种传感器，在驾驶员驾驶机动车辆在道路上行驶的过程中，利用传感器采集机动车辆的各项参数。这种数据采集的方式，其采集过程是非隐蔽性的，导致驾驶员可能刻意配合数据采集的工作而仅做出极其规范的驾驶行为，然后在真实交通场景中交通参与者的行为并非完全符合规范的，这就导致所采集到的自然驾驶数据的真实性和自然性受到影响。另外由于自然驾驶数据的采集过程需要被采集者的参与，存在泄露被采集者隐私的风险。此外，上述的数据采集方式中，由于传感器是布设在机动车辆上的，在机动车辆的行驶过程中，道路上的交通参与者之间会彼此遮挡，导致数据完整性受到影响。再者，对于设置驾驶室内的摄像头，由于存在视线消失的问题，所采集的数据还需要借助其他算法进行还原，数据的精度会受到影响。
基于上述缺陷，本发明实施例提供了自然驾驶数据采集方法，该方法采用无人机采集交通场景数据，再从交通场景数据中提取交通参与者的行为数据和交通环境数据。自然驾驶数据的被采集者完全不参与数据采集的过程，数据采集过程具有很高的隐蔽性，因此可以提高自然驾驶数据的真实性和自然性，而且也不会涉及到被采集者的隐私。无人机在空中作业，交通参与者以及交通环境对象之间的遮挡极少，数据的完整性得到提高。而且也不存在视线消失的问题，不需要借助其他算法进行数据还原，数据的精度也会更高。
下面对本发明实施例所提供的自然驾驶数据采集方法、装置、电子设备以及存储介质的实施例的示例性的系统架构做一些简单地介绍。图1示出了可以应用本发明实施例所提供的自然驾驶数据采集方法、装置、电子设备以及存储介质的实施例的示例性的系统架构。如图1所示，系统架构可以包括无人机110，摄像头120，网络130以及服务端设备140。
摄像头120安装在无人机110上。无人机110悬停于须采集的交通场景上方，通过摄像头120采集位于其摄像范围内的交通流和交通环境的视频数据，作为交通场景视频数据。这里，还可以采用其他的数据采集设备，例如激光雷达，激光雷达可以采集下方的交通流和交通环境的激光点云数据，通过对激光点云数据进行处理，也可以从激光点云数据中提取出交通参与者的行为数据和交通环境数据。此外，摄像头120除可以用于采集交通流和交通环境的视频数据外，也可以用于采集交通流和交通环境的图像数据，当摄像头120连续采集多张图像数据，则服务端设备140可以根据多张图像数据提取出交通参与者的行为数据和交通环境数据。无人机可以采用多旋翼无人机，本发明实施例对此不做具体限定。
网络130为用于在无人机110，摄像头120和服务端设备140之间提供通信链路的介质。无人机110可以通过网络130接收服务端设备140所发送的控制指令而悬停于所须采集交通场景数据的道路上方的固定高度，摄像头120所采集的交通场景数据可以通过网络130直接发送至服务端设备140，也可以先发送至无人机110，再由无人机110通过网络发送给服务端设备140。网络130可以包括各种连接类型，例如有线通信链路、无线通信链路或者光纤电缆等等。本发明在此不做具体限定。
服务端设备140可以是提供各种服务的服务端设备，例如通过网络130接收摄像头120或者无人机110所发送的交通场景数据，并通过网络向无人机110发送控制指令，以使无人机110根据该控制指令而悬停于所须采集交通场景数据的道路上方的固定高度，还可以通过数据分析能力从交通场景数据中提取交通参与者的行为数据和交通环境数据。服务端设备140之上运行有数据库，所采集的交通场景数据以及从交通场景数据中所提取的交通参与者的行为数据以及交通环境数据可以存储于该数据库中，用于自动驾驶仿真场景的构建。服务端设备140可以实现成多个服务端设备所组成的分布式服务端设备集群，也可以实现成单个服务端设备。服务端设备还可以是具备相应服务能力的其他计算设备，例如电脑等终端设备。本发明实施例不限定服务端设备与待采集交通场景之间的位置关系，服务端设备可以设置在待采集交通场景外。
应该理解的是，图1中的无人机、摄像头、网络以及服务端设备的数目仅仅是示意性的，可以根据实际需要对无人机、摄像头、网络以及服务端设备的数量进行选择。本发明对此不做具体限定。
图2为本发明一个实施例提供的自然驾驶数据采集方法的流程图，该方法由具有处理能力的系统、服务器或自然驾驶数据采集装置执行。如图2所示，上述方法包括：
步骤210，采用无人机采集交通场景数据。
这里，交通场景数据可以包括在真实交通场景中所形成交通流和交通环境数据。交通场景数据的形式可以是由摄像头采集的视频数据或者连续采集的多张图像数据，或者由激光雷达所采集的激光点云数据。由于视频数据更利于实现对交通参与者的轨迹信息的提取，因此优选采用以视频数据形式采集的交通场景数据。
在一些实施例中，采用无人机采集交通场景数据，包括：控制所述无人机悬停于固定高度；采用所述无人机所配置的摄像头从所述固定高度采集交通场景视频数据。图3示出了本发明实施例提供的无人机布设方式。无人机310悬停于道路330上方，采集摄像头320覆盖范围内的交通场景视频数据。当控制无人机悬停于固定高度，可以保证无人机摄像头所采集的交通场景视频数据中所须识别的同一交通目标的大小一致，进而有助于降低从交通场景数据中提取交通参与者的行为数据以及交通环境数据的难度，提高对于交通场景数据的处理效率。
为了后续数据管理的方便，对于无人机所采集的交通场景数据，记录其采集时间和地点信息。
步骤220，从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
在一些实施例中，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据，包括：
步骤S11，从所述交通场景视频数据中识别交通参与者和交通环境对象。
交通目标是指需要从交通场景数据中识别出的目标，包括交通参与者和交通环境对象。
交通参与者包括在真实交通场景中处于动态的或者即将进入动态的人、动物或物，例如机动车辆、非机动车辆、行人、畜类等等。为了更加准确地从交通场景视频数据中识别交通参与者，还可以对交通参与者进行更加细致的分类，例如，将机动车辆进一步细分成客车、货车等，本发明对此不做具体限定。交通参与者的行为数据用于反映交通参与者在真实交通场景中的状态和行为，可以包括交通参与者在真实空间中的属性信息和轨迹信息。
交通环境是作用于道路交通参与者的所有外界影响与力量的总和，包括道路状况、交通设施、地物地貌、气象条件，以及其他交通参与者的交通活动。交通环境数据用于反映交通环境在真实交通场景中的状态，可以包括交通环境对象在真实空间中的属性信息。交通环境对象即是指构成交通环境的各个对象。这里，由于其他交通参与者的交通活动可以用该交通参与者的行为数据进行体现，因此，本发明实施例中，交通环境对象可以包括道路、交通设施、地物地貌、气象条件和障碍物。
需要说明的是，上述真实空间是相对于交通场景视频数据所对应的虚拟空间而言，即本发明实施例根据交通场景视频数据，确定出交通参与者在真实空间中的属性信息和轨迹信息，以及交通环境对象在真实空间中的属性信息，例如确定某一交通参与者在真实空间中的真实大小以及某一交通设施在真实空间中的大小。
具体地，从交通场景视频数据中识别交通参与者和交通环境对象的过程，可以基于目标识别模型加以实现。目标识别模型可以是监督学习模型、半监督学习模型以及无监督学习模型，还可以是深度学习模型，例如神经网络模型。以基于神经网络模型对交通参与者的识别过程为例，可以对交通参与者进行人工标注，构建交通参与者训练集，再利用所构建的训练集对目标检测模型进行训练，然后利用训练好的目标检测模型对交通场景视频数据进行目标检测，从交通场景视频数据中检测出交通参与者。对交通环境对象的识别过程可以与交通参与者的识别过程大致相同。但由于交通环境对象往往处于静态，因此，从交通场景视频数据中识别交通环境对象还可以基于一般的图像识别算法。
步骤S12，根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
交通参与者在真实空间中的属性信息可以包括交通参与者的尺寸，状态等等。交通环境对象在真实空间中的属性信息可以包括道路几何信息，静态交通信息以及准静态交通信息，道路几何信息包括道路地理、地形、质量、边界等，静态交通信息可以包括静态交通设施、边界、标识标线等，准静态交通信息可以包括道路几何信息和静态交通信息的临时变化。
在一些示例中，所述交通参与者在真实空间中的属性信息包括所述交通参与者在真实空间中的尺寸，所述交通参与者在真实空间中的轨迹信息包括所述交通参与者在真实空间中的速度、加速度、位置以及与其他交通参与者或交通环境对象之间的相对位置；所述交通环境对象在真实空间中的属性信息包括所述交通环境对象在真实空间中的尺寸和位置。
在一些示例中，所述根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息，包括：根据所述无人机所悬停的固定高度以及所述无人机所配置的摄像头的参数，确定所述交通场景视频数据中单个像素点所对应的真实物理尺寸；基于所述交通场景视频数据中单个像素点所对应的真实物理尺寸，根据所述交通场景视频数据中所述交通参与者以像素点表示的属性信息和轨迹信息以及所述交通环境对象以像素点表示的属性信息，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
具体地，无人机所配置的摄像头的参数包括摄像头所采集的视频画面的真实长度以及摄像头的其他光学参数。结合摄像头参数以及无人机所悬停的高度，可以确定出交通场景视频数据中单个像素点所对应的真实物理尺寸。
进一步地，可以确定交通场景视频数据中交通参与者以像素点表示的属性信息和轨迹信息以及交通环境对象以像素点表示的属性信息。更具体地说，用像素点表示交通场景视频数据中交通参与者的尺寸、速度、加速度、位置、与其他交通参与者或者交通环境对象之间的相对位置，例如，对于某一个交通参与者而言，其在交通场景视频数据中的尺寸可以表示为组成该交通参与者的像素点的个数n，速度可以表示m个像素点/s，加速度可以表示为k个像素点/s2，位置可以表示为(p，q)，代表该交通参与者的横坐标为第p个像素点，纵坐标为第q个像素点，与其他交通参与者或者交通环境对象之间的相对位置可以表示为与其他交通参与者或者交通环境对象之间的距离为s个像素点。
接下来，根据交通场景视频数据中交通参与者以像素点表示的属性信息和轨迹信息以及交通环境对象以像素点表示的属性信息，结合交通场景视频数据中单个像素点所对应的真实物理尺寸，则可以计算出交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。具体地，可以依据以下公式实现计算：
面积计算公式：A＝ne2；
长度计算公式：l＝nxe；
宽度计算公式：w＝nye；
速度计算公式：v＝me；
加速度计算公式：a＝ke；其中，e为单个像素点对应的真实物理边长，n为交通场景视频数据中构成某一个交通目标(交通参与者或者交通环境对象)的像素点的数量，nx为交通场景视频数据中交通目标x轴上像素点的数量，ny为交通场景视频数据中交通目标y方向上像素点的数量，A为交通场景视频数据中某一个交通目标的面积，l为交通场景视频数据中某一个交通目标的长度，w为交通场景视频数据中某一个交通目标的宽度，v为交通场景视频数据中某一个交通参与者的速度，a为交通场景视频数据中某一个交通参与者的加速度。相应地，对于交通参与者及与其他交通参与者或者交通环境对象之间的相对位置也可以通过将像素点的个数乘以像素点对应的真实物理边长计算得到。
需要说明的是，对于那些不能使用尺寸衡量的交通参与者在真实空间中的属性信息和交通环境对象在真实空间中的属性信息，则可以直接从交通场景视频数据中提取出来，而不须借助于像素点的真实物理尺寸来进行计算。例如，对于交通灯的颜色，天气情况等，则可以通过一般的图像处理方法、目标识别模型或者人工判断的方式加以识别。
在一些实施例中，所述从所述交通场景数据中提取交通参与者的行为数据以及交通环境数据，还包括：根据所述交通场景数据所包含的场景元素，对所述交通场景数据分类；针对各类交通场景数据，分别提取交通参与者的行为数据和交通环境数据。
实际应用中，不同类别的交通场景中交通参与者的行为以及交通环境存在较大的差异。例如，对于高速公路而言，交通参与者主要是机动车辆，不存在非机动车辆、行人和动物。而对于城市道路而言，交通参与者的组成则相对复杂，交通环境也相对复杂，交通环境对象中包含较多的障碍物等等。再比如，城市道路的路口，相较于普通的城市道路，其交通环境更为复杂。因此，本发明实施例基于交通场景数据中所包含的场景元素，对交通场景数据进行分类，之后针对各类交通场景数据，分别进行交通参与者的行为数据和交通环境数据的提取工作。基于此，所提取到的交通参与者的行为数据和交通环境数据是针对各特定类别下的交通场景的，则可以直接应用这些数据构建相应类别下的仿真场景。另一方面，针对各类交通场景数据的特点，可以有针对性地选取目标识别方法，从而提高对于交通参与者的行为数据和交通环境数据的提取效率，例如对于高速公路而言，由于交通参与者主要是机动车辆，在对目标识别模型进行训练时，则可以主要以机动车辆构建训练集，从而训练出适合针对高速公路交通场景进行目标识别的模型。
需要说明的是，交通场景数据中包含的场景元素可以理解为，构成真实交通场景的元素，可以包括交通参与者的数量、类别以及交通环境对象中天气情况，光照情况，障碍物的数量、种类，道路类型，交通设施的类型和数量等等。道路类型又可以包括行车道、交叉口和特殊区域，行车道又可以包括城市道路、高速道路、城际道路和乡村道路，交叉口又可以包括十字路口、T型路口和Y型路口，特殊区域可以包括出入口。
在一些示例中，由于道路类型对于交通参与者的行为的影响最为显著，因此，为了简化对于交通场景数据的分类处理，可以基于道路类型对于交通场景数据进行分类。
在一些实施例中，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据之前，所述方法还包括：选取交通流量在预设流量阈值以上和/或能见度在预设能见度阈值以上的交通场景数据，用于提取交通参与者的行为数据和交通环境数据。为了尽可能多地提取能够用于自动驾驶系统的评估、测试的自然驾驶数据，优选交通流量在预设流量阈值以上的交通场景数据进行后续的分析处理。能见度过低，会导致对交通场景数据的分析处理难度增加，效率下降，因此，优选能见度在预设能见度阈值以上的交通场景数据进行后续的分析处理。预设流量阈值和预设能见度阈值可以根据需要进行设定，例如将预设流量阈值设定为50辆/分钟，本发明实施例对此不做限定。
进一步地，所述采用无人机采集交通场景数据，包括：采用无人机在晴朗的白天采集交通场景数据。在晴朗的白天采集交通场景数据，更利于保证数据的完整性，而且也有利于提高后续对于交通场景数据的分析处理效率。需要说明的是，在这种情况下，在对交通场景数据进行交通环境数据的提取时，可以不针对气象条件进行分析，此时所提取的交通环境对象可以包括道路、交通设施、地物地貌和障碍物。
在一些示例中，可以将原始的交通场景数据以及所提取的交通参与者的行为数据和交通环境数据存储在数据库中。所提取的自然驾驶数据能够用于自动驾驶场景的构建，自动驾驶行为和意图预测类模型的开发，自动驾驶行为的模仿学习，自动驾驶预测和规划算法的开发和验证，以及人类驾驶行为的分析与模仿等方面，数据的拓展性高。
综上所述，本发明实施例提供的首先采用无人机采集交通场景数据，再从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。基于该方法，实现了自然驾驶数据采集过程的隐蔽性，进而提高了所采集的自然驾驶数据的真实性和自然性，并且更好地保护了被采集者的隐私；而且由于交通目标之间遮挡较少，因此还提高了数据完整性；另由于不存在视线消失的问题，因此无须借助其他算法对数据进行还原，从而提高了数据的精度；并且与其他方法相比，该方法还具有灵活性强，成本低的优点。
图4示出了本发明实施例提供的自然驾驶数据采集装置的结构示意图。如图4所示，该自然驾驶数据采集装置400包括：采集模块410，用于采用无人机采集交通场景数据；提取模块420，用于从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
在一些实施例中，所述采集模块，包括：控制子模块，用于控制所述无人机悬停于固定高度；采集子模块，用于采用所述无人机所配置的摄像头从所述固定高度采集交通场景视频数据。
在一些实施例中，所述提取模块，包括：识别子模块，用于从所述交通场景视频数据中识别交通参与者和交通环境对象；确定子模块，用于根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息；所述交通参与者的行为数据包括所述交通参与者在真实空间中的属性信息和轨迹信息，所述交通环境数据包括所述交通环境对象在真实空间中的属性信息。
在一些实施例中，所述确定子模块，包括：第一确定单元，用于根据所述无人机所悬停的固定高度以及所述无人机所配置的摄像头的参数，确定所述交通场景视频数据中单个像素点所对应的真实物理尺寸；第二确定单元，用于基于所述交通场景视频数据中单个像素点所对应的真实物理尺寸，根据所述交通场景视频数据中所述交通参与者以像素点表示的属性信息和轨迹信息以及所述交通环境对象以像素点表示的属性信息，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
在一些实施例中，所述交通参与者在真实空间中的属性信息包括所述交通参与者在真实空间中的尺寸，所述交通参与者在真实空间中的轨迹信息包括所述交通参与者在真实空间中的速度、加速度、位置以及与其他交通参与者或交通环境对象之间的相对位置；所述交通环境对象在真实空间中的属性信息包括所述交通环境对象在真实空间中的尺寸和位置。
在一些实施例中，所述提取模块，还包括：分类子模块，用于根据所述交通场景数据所包含的场景元素，对所述交通场景数据分类；提取子模块，用于针对各类交通场景数据，分别提取交通参与者的行为数据和交通环境数据。
在一些实施例中，所述装置还包括：选取模块，用于选取交通流量在预设流量阈值以上和/或能见度在预设能见度阈值以上的交通场景数据，用于提取交通参与者的行为数据和交通环境数据。
在一些实施例中，所述采集模块，具体用于：采用无人机在晴朗的白天采集交通场景数据。
图5示出了本发明实施例的电子设备。如图5所示，电子设备500包括：至少一个处理器510，以及与所述至少一个处理器510通信连接的存储器520，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的方法。
具体地，上述存储器520和处理器510经由总线530连接在一起，能够为通用的存储器和处理器，这里不做具体限定，当处理器510运行存储器520存储的计算机程序时，能够执行本发明实施例中结合图1至图4所描述的各项操作和功能。
本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现所述的方法。具体实现可参见方法实施例，在此不再赘述。
尽管本发明实施例的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明实施例的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明实施例并不限于特定的细节和这里示出与描述的图例。

Claims (11)

1.一种自然驾驶数据采集方法，其特征在于，包括：
采用无人机采集交通场景数据；
从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
2.如权利要求1所述的自然驾驶数据采集方法，其特征在于，所述采用无人机采集交通场景数据，包括：
控制所述无人机悬停于固定高度；
采用所述无人机所配置的摄像头从所述固定高度采集交通场景视频数据。
3.如权利要求2所述的自然驾驶数据采集方法，其特征在于，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据，包括：
从所述交通场景视频数据中识别交通参与者和交通环境对象；
根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息；所述交通参与者的行为数据包括所述交通参与者在真实空间中的属性信息和轨迹信息，所述交通环境数据包括所述交通环境对象在真实空间中的属性信息。
4.如权利要求3所述的自然驾驶数据采集方法，其特征在于，所述根据所述交通场景视频数据，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息，包括：
根据所述无人机所悬停的固定高度以及所述无人机所配置的摄像头的参数，确定所述交通场景视频数据中单个像素点所对应的真实物理尺寸；
基于所述交通场景视频数据中单个像素点所对应的真实物理尺寸，根据所述交通场景视频数据中所述交通参与者以像素点表示的属性信息和轨迹信息以及所述交通环境对象以像素点表示的属性信息，确定所述交通参与者在真实空间中的属性信息和轨迹信息以及所述交通环境对象在真实空间中的属性信息。
5.如权利要求4所述的自然驾驶数据采集方法，其特征在于，所述交通参与者在真实空间中的属性信息包括所述交通参与者在真实空间中的尺寸，所述交通参与者在真实空间中的轨迹信息包括所述交通参与者在真实空间中的速度、加速度、位置以及与其他交通参与者或交通环境对象之间的相对位置；所述交通环境对象在真实空间中的属性信息包括所述交通环境对象在真实空间中的尺寸和位置。
6.如权利要求1所述的自然驾驶数据采集方法，其特征在于，所述从所述交通场景数据中提取交通参与者的行为数据以及交通环境数据，包括：
根据所述交通场景数据所包含的场景元素，对所述交通场景数据分类；
针对各类交通场景数据，分别提取交通参与者的行为数据和交通环境数据。
7.如权利要求1所述的自然驾驶数据采集方法，其特征在于，所述从所述交通场景数据中提取交通参与者的行为数据和交通环境数据之前，所述方法还包括：
选取交通流量在预设流量阈值以上和/或能见度在预设能见度阈值以上的交通场景数据，用于提取交通参与者的行为数据和交通环境数据。
8.如权利要求1所述的自然驾驶数据采集方法，其特征在于，所述采用无人机采集交通场景数据，包括：
采用无人机在晴朗的白天采集交通场景数据。
9.一种自然驾驶数据采集装置，其特征在于，包括：
采集模块，用于采用无人机采集交通场景数据；
提取模块，用于从所述交通场景数据中提取交通参与者的行为数据和交通环境数据。
10.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8中任一项所述的方法。
11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1-8中任一项所述的方法。
CN202011467160.9A 2020-12-14 2020-12-14 自然驾驶数据采集方法、装置、电子设备以及存储介质 Pending CN112634610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011467160.9A CN112634610A (zh) 2020-12-14 2020-12-14 自然驾驶数据采集方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467160.9A CN112634610A (zh) 2020-12-14 2020-12-14 自然驾驶数据采集方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN112634610A true CN112634610A (zh) 2021-04-09

Family

ID=75312895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467160.9A Pending CN112634610A (zh) 2020-12-14 2020-12-14 自然驾驶数据采集方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112634610A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246852A1 (zh) * 2021-05-28 2022-12-01 吉林大学 基于航测数据的自动驾驶系统测试方法、测试系统及存储介质
CN116009591A (zh) * 2023-02-02 2023-04-25 吉林大学 基于多设备的数据监测系统、方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694367A (zh) * 2017-04-07 2018-10-23 北京图森未来科技有限公司 一种驾驶行为模型的建立方法、装置和系统
CN110222667A (zh) * 2019-06-17 2019-09-10 南京大学 一种基于计算机视觉的开放道路交通参与者数据采集方法
CN111179585A (zh) * 2018-11-09 2020-05-19 上海汽车集团股份有限公司 自动驾驶车辆的场地测试方法及装置
CN112069643A (zh) * 2019-05-24 2020-12-11 北京车和家信息技术有限公司 一种自动驾驶仿真场景生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694367A (zh) * 2017-04-07 2018-10-23 北京图森未来科技有限公司 一种驾驶行为模型的建立方法、装置和系统
CN111179585A (zh) * 2018-11-09 2020-05-19 上海汽车集团股份有限公司 自动驾驶车辆的场地测试方法及装置
CN112069643A (zh) * 2019-05-24 2020-12-11 北京车和家信息技术有限公司 一种自动驾驶仿真场景生成方法及装置
CN110222667A (zh) * 2019-06-17 2019-09-10 南京大学 一种基于计算机视觉的开放道路交通参与者数据采集方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246852A1 (zh) * 2021-05-28 2022-12-01 吉林大学 基于航测数据的自动驾驶系统测试方法、测试系统及存储介质
CN116009591A (zh) * 2023-02-02 2023-04-25 吉林大学 基于多设备的数据监测系统、方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109657355B (zh) 一种车辆道路虚拟场景的仿真方法及系统
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
CN108694367B (zh) 一种驾驶行为模型的建立方法、装置和系统
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
Zhang et al. Roadview: A traffic scene simulator for autonomous vehicle simulation testing
US20220146277A1 (en) Architecture for map change detection in autonomous vehicles
DE102017125493A1 (de) Verkehrszeichenerkennung
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
Gajjar et al. A comprehensive study on lane detecting autonomous car using computer vision
CN108068817A (zh) 一种无人驾驶汽车自动变道装置及方法
CN111339876B (zh) 用于识别场景中各区域类型的方法和装置
DE102023104789A1 (de) Verfolgung mehrerer objekte
CN114241373B (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质
CN117873158A (zh) 基于实景三维模型的无人机巡检复杂航线优化方法
DE102021107914A1 (de) Verbesserter fahrzeugbetrieb
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
CN112634610A (zh) 自然驾驶数据采集方法、装置、电子设备以及存储介质
CN115035251A (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
CN118313246A (zh) 一种自动驾驶测试用雪天仿真测试场地及其搭建方法
DE102020202342A1 (de) Cloud-Plattform für automatisierte Mobilität und computerimplementiertes Verfahren zur Bereitstellung einer Cloud basierten Datenanreicherung an die automatisierte Mobilität
EP3786854A1 (en) Methods and systems for determining driving behavior
CN112525542B (zh) 一种智能车辆性能测试系统及其方法
CN111612854B (zh) 实景地图的生成方法、装置、计算机设备和存储介质
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
DE102023101855A1 (de) Hinzufügen von schlagwörtern zu sensordaten mittels mehrerer modelle und abfrage der sensordaten

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409