CN111091037B - 用于确定驾驶信息的方法和设备 - Google Patents

Abstract

提供一种用于确定驾驶信息的方法和设备。所述设备从驾驶图像生成与将被检测的目标对象对应的概率图；从自驾驶图像检测的目标对象的候选区域提取多个代表性点；基于概率图提取所述多个代表性点中的一些代表性点；基于提取的一些代表性点计算目标对象的候选区域的置信度值；以及基于置信度值确定车辆的驾驶信息。

Description

用于确定驾驶信息的方法和设备

本申请要求于2018年10月23日提交到韩国知识产权局的第10-2018-0126549号韩国专利申请的权益，所述韩国专利申请的公开通过引用全部包含于此。

技术领域

本发明构思涉及一种用于确定驾驶信息的方法和设备。

背景技术

当车辆的运动的控制被分为纵向和横向时，横向控制(例如，朝向移动车辆的左侧或右侧的控制或左右(side-to-side)控制)通常完全取决于车道线。即使当识别车道线的方法相当精确时，由于其中可能存在误差，因此在道路行驶中也可能存在严重的危险。因此，不仅应该精确地通知车道线识别的结果，而且应该精确地通知识别的置信度，以降低可能基于不正确信息由车辆的运动引起的事故的风险。

发明内容

本发明构思提供一种用于确定驾驶信息的方法和设备。

根据本发明构思的一方面，存在一种确定车辆的驾驶信息的方法，所述方法包括：从驾驶图像生成与将被检测的目标对象对应的概率图，其中，基于确定以至少一个像素为单位的概率值来生成概率图；从自驾驶图像检测的目标对象的候选区域提取多个代表性区域；基于概率图提取所述多个代表性区域中的至少两个代表性区域；基于提取的至少两个代表性区域计算目标对象的候选区域的置信度值；以及基于置信度值确定车辆的驾驶信息。

根据本发明构思的另一方面，存在一种确定驾驶信息的方法，所述方法包括：从驾驶图像生成与将被检测的车道线对应的概率图，其中，概率图的生成基于逐像素分割，基于确定以至少一个像素为单位的概率值来生成概率图；基于线拟合和基于概率图检测车道线区域；从车道线区域提取多个代表性区域；提取所述多个代表性区域之中的与预定百分比的高概率值对应的至少两个代表性区域，所述提取基于概率图；基于提取的至少两个代表性区域计算车道线区域的置信度值；以及基于置信度值确定车辆的驾驶信息。

根据本发明构思的另一方面，存在一种用于确定驾驶信息的设备，所述设备包括：传感器，被配置为：获得驾驶图像；处理器，被配置为：从驾驶图像生成与将被检测的目标对象对应的概率图，从自驾驶图像检测的目标对象的候选区域提取多个代表性区域，基于概率图提取所述多个代表性区域中的至少两个代表性区域，基于提取的至少两个代表性区域计算目标对象的候选区域的置信度值，以及基于置信度值确定车辆的驾驶信息；以及通信接口，被配置为：输出驾驶信息。

根据本发明构思的一个方面，提供一种确定驾驶信息的方法，所述方法包括：从车辆的驾驶图像生成与将被检测的目标对象对应的概率图；从自驾驶图像检测的目标对象的候选区域提取多个代表性区域；基于概率图提取所述多个代表性区域中的一些代表性区域；基于提取的一些代表性区域计算目标对象的候选区域的置信度值；以及基于置信度值确定车辆的驾驶信息。

根据本发明构思的另一方面，提供一种确定驾驶信息的方法，所述方法包括：基于逐像素分割从车辆的驾驶图像生成与将被检测的车道线对应的概率图；基于概率图通过线拟合检测车道线区域；从车道线区域提取多个代表性区域；基于概率图提取所述多个代表性区域之中的与预定比率的高概率值对应的一些代表性区域；基于提取的一些代表性区域计算车道线区域的置信度值；以及基于置信度值确定车辆的驾驶信息。

根据本发明构思的另一方面，提供一种用于确定驾驶信息的设备，所述设备包括：传感器，感测车辆的驾驶图像；处理器，从驾驶图像生成与将被检测的目标对象对应的概率图，从自驾驶图像检测的目标对象的候选区域提取多个代表性区域，基于概率图提取所述多个代表性区域中的一些代表性区域，基于提取的一些代表性区域计算目标对象的候选区域的置信度值，以及基于置信度值确定车辆的驾驶信息；以及通信接口，输出驾驶信息。

附图说明

通过下面结合附图进行的详细描述，本发明构思的实施例将被更清楚地理解，其中：

图1是示出根据实施例的确定驾驶信息的方法的流程图；

图2是示出根据实施例的用于确定驾驶信息的设备的操作的示图；

图3是示出根据实施例的用于确定驾驶信息的设备的配置的示图；

图4是示出根据实施例的生成概率图的处理的示图；

图5是示出根据实施例的确定目标对象的候选区域的方法的示图；

图6是示出根据实施例的从目标对象的候选区域提取多个代表性点的处理的示图；

图7是示出根据实施例的通过提取多个代表性点中的一些代表性点来计算置信度值的方法的示图；

图8是示出根据实施例的确定预设参考的方法的示图；

图9和图10是示出根据实施例的确定车辆的驾驶信息的方法的示图；

图11是示出根据另一实施例的确定驾驶信息的方法的流程图；

图12是根据实施例的用于确定驾驶信息的设备的框图。

具体实施方式

图1是示出根据实施例的确定驾驶信息的方法的流程图。参照图1，根据实施例的用于确定驾驶信息的设备(在下文中，称为“确定设备”)可从车辆的驾驶图像(即，驾驶图像)生成与将被检测的目标对象对应的概率图(操作110)。确定设备可通过使用安装在车辆中、安装在车辆上或设置在车辆周围的各种拍摄或图像捕获装置来捕获包括车辆自身、其他车辆、行人、交通灯、标志、车道线等的驾驶图像。

可通过安装在车辆上的拍摄或图像捕获装置来获取驾驶图像，以在车辆的操作期间拍摄或捕获车辆的前视图、侧视图或其他视图。在一个实施例中，驾驶图像包括车辆前方或车辆行驶的方向的道路的图像。在可选的实施例中，拍摄或图像捕获装置可设置在车辆内部或甚至设置在车辆外部并且不附连到车辆。可选地，驾驶图像可以是从通过通信接口(参见图12的通信接口1270)从确定设备外部接收的车辆的前视图和侧视图选择的至少一个的外部图像。除了彩色图像之外，驾驶图像可包括各种图像(诸如，红外图像、深度图像、立体图像、超声图像或RF图像)。驾驶图像可包括一个帧或者可包括多个帧。驾驶图像可以是二维(2D)图像或三维(3D)图像。当车辆处于运动中时或当车辆不处于运动中时，可捕获所有上述图像。

例如，目标对象可包括车道线，车道线包括车辆的行驶车道的边界线。在下文中，“车辆”可被理解为包括自主或自动驾驶功能和/或高级驾驶员辅助(ADA)功能的主体车辆。确定设备可以是车辆或用户终端(诸如，导航装置、智能电话和其他移动装置)。在其他实施例中，确定设备可包括电子控制单元(ECU)，包括但不限于特定模块。确定设备可以是ADA系统的部分。

根据实施例，除了车道线之外，被确定设备检测的目标对象可包括例如道路标记、停车线、停车标记、行人、车辆、交通灯、标志、动物、植物、建筑物等，但不限于此。下面将参照图4详细描述由确定设备执行的生成概率图的方法。

确定设备可从自驾驶图像检测的目标对象的候选区域提取多个代表性区域(操作120)。确定设备可从驾驶图像直接检测目标对象的候选区域，或者可接收从驾驶图像预先检测的目标对象的候选区域。例如，确定设备可以以相等的间隔从目标对象的候选区域提取多个代表性区域。在这种情况下，目标对象的候选区域可包括将被确定设备检测的目标对象的区域和除了目标对象之外的区域。下面将参照图5描述由确定设备执行的确定目标对象的候选区域的方法。此外，下面将参照图6详细描述由确定设备执行的从目标对象的候选区域提取多个代表性区域的处理。

确定设备可基于在操作110中生成的概率图提取多个代表性区域中的一些代表性区域(操作130)。确定设备可基于概率图确定与多个代表性区域分别对应的多个第一概率值，并提取与所有第一概率值之中(或多个第一概率值之中)的与预设参考匹配的第一概率值对应的一些代表性区域，与预设参考匹配的第一概率值是第二概率值。下面将参照图7详细描述由确定设备执行的提取多个代表性区域之中的一些代表性区域的处理。

确定设备可基于在操作130中提取的一些代表性区域计算目标对象的候选区域的置信度值(操作140)。下面将参照图8详细描述由确定设备执行的计算置信度值的方法。

确定设备可基于置信度值确定车辆的驾驶信息(操作150)。例如，车辆的驾驶信息可包括：车辆的驾驶参数、车辆的行驶路径、用于确定车辆的行驶路径的车辆的车道中心线(或车道的中间)，和/或车辆的横向位置。例如，驾驶参数可包括驾驶角度控制参数、加速控制参数、减速控制参数和/或转向信号灯控制参数。除了使车辆在行驶车道中居中之外，由确定设备生成的驾驶参数可用于避免车辆与另一车辆之间的碰撞。

在操作150中，确定设备可基于例如行驶车道的边界线的置信度值来确定行驶车道的中心线。确定设备可基于行驶车道的中心线调节车辆的横向位置或者确定行驶路径。下面将参照图9和图10详细描述由确定设备执行的确定车辆的驾驶信息的方法。

根据实施例的确定设备可明确地或隐含地输出车辆的驾驶信息。例如，“明确地输出车辆的驾驶信息”可包括在屏幕(或地图)上显示车辆的驾驶信息和/或以音频形式输出车辆的驾驶信息。例如，“隐含地输出车辆的驾驶信息”可包括通过使用车辆的驾驶信息控制车辆，确定车辆的位置，和/或设置或改变车辆的路径。

下面描述的实施例可用于在车辆(诸如，智能车辆)中的增强现实导航系统中显示车道线，或者用于生成用于辅助自主驾驶车辆的转向的视觉信息。此外，实施例可用于通过在包括智能系统(诸如，在车辆中为了完全自主驾驶或驾驶辅助而安装的平视显示器(HUD))的装置中解释视觉信息来辅助安全和舒适的驾驶。例如，实施例可应用于自主驾驶车辆、智能车辆、智能电话和移动装置。在下文中，将参照附图详细描述实施例。附图中相同的参考标号可表示相同的元件。

在下文中，“道路”可包括用户车辆正在行驶的高速公路、国道、地方道路和/或国家高速公路。道路可包括一条或多条车道线。“行驶车道”可对应于驾驶车辆正在使用(即，正在行驶)的多条车道中的任何一条。“车道”可通过显示在路面上的车道线标记进行彼此区分。车道可通过车道的左侧和右侧的车道线(即，通过车道边界线)来限定。

除了代表性区域之外，在此描述的“代表性区域”可被解释为包括构成代表性区域的一个或多个代表性点。在下文中，为了便于描述，将基于对代表性点的操作给出描述；然而，这种描述也可类似地应用于代表性区域以及应用于代表性点。

图2是示出根据实施例的用于确定驾驶信息的设备的操作的示图。根据实施例的确定设备200可包括置信度确定单元210和驾驶信息确定单元230。在下文中，为了便于描述，目标对象是车道线的情况将被描述为示例；然而，目标对象不限于车道线，并且相同的操作还可对各种对象(诸如，车辆、行人和建筑物)执行。

置信度确定单元210可从驾驶图像接收与将被检测的目标对象对应的概率图和目标对象的候选区域。置信度确定单元210可基于概率图提取从目标对象的候选区域提取的多个代表性点中的一些代表性点。例如，置信度确定单元210可以以与最长50m对应的相等间隔从目标对象的候选区域提取100个代表性点。在这种情况下，从中提取代表性点的候选区域的大小和/或将被提取的代表性点的数量可以是可调节的。置信度确定单元210可以相等的间隔从目标对象的候选区域的图像域提取多个代表性点。可选地，置信度确定单元210可将目标对象的候选区域从图像域转换到世界域，并且在世界域中以相等的间隔从候选区域提取多个代表性点。在这种情况下，代表性点可以是例如对应于车道线的路径点。

置信度确定单元210可基于概率图确定与对应于车道线的路径点对应的第一概率值。置信度确定单元210可提取具有所有第一概率值之中的与预设参考匹配的第一概率值的一些代表性点，与预设参考匹配的第一概率值是第二概率值。置信度确定单元210可基于提取的一些代表性点来计算目标对象的候选区域的置信度值。

例如，置信度确定单元210可在概率图中发现与对应于车道线的路径点的位置对应的概率值，并且将发现的概率值确定为第一概率值。置信度确定单元210可获得所有第一概率值之中的与预设参考(例如，前30％)匹配的第一概率值的平均值，与预设参考匹配的第一概率值是第二概率值。置信度确定单元210可将第二概率值的平均值设置为车道线的置信度值。在这种情况下，预设参考可以是可调节的。

例如，在车道线由虚线形成的情况下，在一些车道线候选区域中，可能在不是虚线车道线的区域中存在具有低的逐像素(pixel-by-pixel)概率值的部分。此外，当不是车道线的直线和/或曲线对象被最终计算为车道线时，可存在安全风险。在一个实施例中，当车道线分量像虚线一样不连续地出现时，可通过经由使用车道线分量的概率值而不使用与车道线分量不对应的区域确定置信度值来确保更高的精确度。换句话说，确定设备200可通过经由使用仅具有高概率值而不是反映所有路径点的概率值的一些路径点计算车道线的候选区域的置信度值，来为车道线识别提供更精确的置信度值。

在从置信度确定单元210接收到目标对象的候选区域的置信度值时，驾驶信息确定单元230可基于接收到的置信度值确定车辆的驾驶信息。

在一个实施例中，用于路径确定和/或驾驶控制的更多种方法可通过以更详细的分数表示车道线的置信度而不是将车道线的置信度简单地确定为真或假来应用。

图3是示出根据实施例的用于确定驾驶信息的设备的配置的示图。参照图3，根据实施例的确定设备300可包括场景分割单元310、车道线方程确定单元320、置信度确定单元330、中心线确定单元340、定位单元350和横向控制单元360。

场景分割单元310可通过基于驾驶图像301计算逐像素概率来生成与目标对象对应的概率图。在这种情况下，逐像素概率可包括相应的像素对应于目标对象的概率，即，以像素为单位确定的概率。例如，当目标对象是包括行驶车道的边界线的车道线时，场景分割单元310可将与车道线(类)对应的概率图提供给(或发送到)车道线方程确定单元320和置信度确定单元330。在另一实施例中，概率图可基于以多个像素为单位，例如，以两个像素为单位、以三个像素为单位或以四个像素的单位等确定单个概率。

在接收到与车道线(类)对应的概率图时，车道线方程确定单元320可基于分割结果通过线拟合确定车道线方程。车道线方程确定单元320可通过使用车道线方程来检测车道线(或车道线区域)。车道线方程确定单元320可将检测到的车道线(车道线区域)发送到置信度确定单元330。

置信度确定单元330可基于从场景分割单元310接收的与车道线(类)对应的概率图和从车道线方程确定单元320接收的车道线(车道线区域)来确定车道线的置信度值。置信度确定单元330可基于与车道线(类)对应的概率图从车道线提取多个代表性点(例如，路径点)，并且提取所提取的多个代表性点之中的与预定百分比的高概率值对应的一些代表性点。置信度确定单元330可基于提取的一些代表性点来计算车道线的置信度值。置信度确定单元330的操作与上面参照图2描述的置信度确定单元210的操作相同，因此，为了简明起见，将省略对其的冗余的描述。

置信度确定单元330可将车道线的置信度值发送到中心线确定单元340。

中心线确定单元340可基于车道线的置信度值确定行驶车道的中心线。

基于从中心线确定单元340接收的行驶车道的中心线，定位单元350可调节车辆的位置，使得车辆可沿着行驶车道的中心线行驶。根据实施例，当行驶车道的中心线未被确定时，定位单元350可通过使用其他资源303(诸如，其他传感器)来调节车辆的位置。

横向控制单元360可通过使用从定位单元350接收的信息来执行车辆的横向控制。例如，横向控制单元360可基于驾驶参数来调节车辆的方向盘的转向角。中心线确定单元340、定位单元350和横向控制单元360可构成上面参照图2描述的驾驶信息确定单元230。

图4是示出根据实施例的生成概率图的处理的示图。参照图4，驾驶图像410、驾驶图像的逐类概率图430、车道线的概率图450和分割结果470被示出。例如，图4的处理可通过上述场景分割单元310来执行。

根据实施例的确定设备可通过使用各种场景分割算法来确定驾驶图像的逐像素类，并且基于逐像素类计算与每个类对应的逐像素概率以生成逐类概率图430。确定设备可通过将argmax函数应用于逐类概率图430来获取最终分割结果470。在这种情况下，除了车道线类的概率图450之外，逐类概率图430可包括例如车辆类的概率图、行人类的概率图和/或人行道类的概率图。例如，在车道线类的概率图450中，具有作为车道线的高概率的区域可能看起来明亮，并且具有作为车道线的低概率的区域可能看起来暗。

在一个实施例中，通过使用在执行场景分割的处理中生成的逐类概率图之中的车道线类的概率图，即使没有额外的处理负荷，也可获取车道线类的概率图。

图5是示出根据实施例的确定或检测目标对象的候选区域的方法的示图。参照图5，驾驶图像410、示出特征提取结果的示图510、以及示出线拟合结果的示图530被示出。例如，图5的处理可通过上述的车道线方程确定单元320来执行。

确定设备可从驾驶图像410提取与车道线对应的特征。例如，确定设备可通过经由上述场景分割确定与车道线对应的概率值来获取与如示图510中所示的车道线对应的特征提取结果。根据实施例，确定设备可通过经由边缘检测方法确定与车道线对应的特征点来获取与示图510中所示的车道线对应的特征提取结果。可选地，例如，确定设备可通过使用被预先训练为识别目标对象(诸如，车道线)的卷积神经网络(CNN)从驾驶图像检测车道线。例如，CNN可被预先训练以学习驾驶图像中的将被检测的车道线标记和非车道线标记的边界框，以及将被检测的车道线标记和非车道线标记的类型。

确定设备可基于分割结果通过线拟合确定车道线方程。确定设备可通过使用车道线方程来检测或确定车道线的候选区域。将已经由确定设备通过使用车道线方程检测的车道线的候选区域535拟合到驾驶图像410的结果可如示图530中所示。

图6是示出根据实施例的从目标对象的候选区域提取多个代表性点的处理的示图。参照图6，示图610表示在车道线类的概率图450中由上述车道线方程确定单元确定的车道线的候选区域，示图630示出从车道线的候选区域提取的多个代表性点。例如，图6的处理可通过上述置信度确定单元330执行。图6的处理可对应于由确定设备执行的从车道线的概率图提取多个代表性点(或多个代表性区域)的处理。

根据实施例的确定设备可以以相等的间隔从目标对象的候选区域提取多个代表性点或路径点。确定设备可在图像域中从目标对象的候选区域提取多个代表性点。可选地，确定设备可将目标对象的候选区域从图像域转换到世界域，并且在世界域中以相等的间隔从候选区域提取多个代表性点。

例如，确定设备可通过与示图610的车道线的候选区域之中的感兴趣区域(ROI)对应的预定距离范围(例如，前方大约20米到大约60米)内的预设代表性点的数量(例如，100)以相等的间隔提取示图630中所示的多个代表性点。确定设备可通过考虑预设距离范围和预设代表性点的数量二者来提取代表性点，或者可通过分别考虑预设距离范围和预设代表性点的数量来提取代表性点。例如，确定设备可通过考虑驾驶图像的分辨率(即，图像质量)、驾驶图像的大小和/或捕获驾驶图像的时刻的天气来调节预设距离范围和/或预设代表性点的数量。

图7是示出根据实施例的通过提取多个代表性点中的一些代表性点来计算置信度值的方法的示图。参照图7，表710示出与多个代表性点对应的多个第一概率值，表730示出计算所有代表性点之中的与预设参考匹配的一些代表性点的第二概率值的统计值的结果。例如，图7的处理可通过上述置信度确定单元330执行。图7的处理可对应于通过由确定设备执行的车道线的多个代表性点(或多个代表性区域)的高概率值的平均值来计算车道线的置信度的处理。

根据实施例的确定设备可基于概率图确定与多个代表性点对应的多个第一概率值。确定设备可通过在概率图中搜索与多个代表性点的位置对应的概率值来确定与多个代表性点对应的多个第一概率值。例如，假设驾驶图像包括总共四条车道线，四条车道线包括第一车道线Line 1、第二车道线Line 2、第三车道线Line 3和第四车道线Line 4，并且针对每条车道线提取100个代表性点(Pt 1至Pt 100)。在这种情况下，与每条车道线的多个代表性点对应的多个第一概率值可如表710中所示。

如表730中所示，确定设备可提取具有表710中示出的所有第一概率值之中的与预设参考(例如，预设参考可以是位于前25％的第二概率值)匹配的第一概率值的一些代表性点，与预设参考匹配的第一概率值是第二概率值。表730中以粗体表示的数字可对应于所有第一概率值之中的与预设参考匹配的第一概率值，与预设参考匹配的第一概率值是第二概率值。

例如，假设第一代表性点Pt 1的概率值“0.99”、第二代表性点Pt 2的概率值“0.98”、第三代表性点Pt 3的概率值“0.98”、以及第100代表性点Pt 100的概率值“0.93”对应于位于第一车道线Line1中的所有概率值的前25％的概率值。确定设备可将与第一车道线Line1中的所有概率值的前25％对应的四个第二概率值的统计值(例如，平均值)计算为(0.99+0.98+0.98+0.93)/4＝0.97。计算的第二概率值的统计值可以以表730的平均项Avg表示。确定设备可将第一车道线Line1的第二概率值的统计值“0.97”确定为第一车道线Line1的置信度值。

在一个实施例中，预设参考可对应于用于提取用于确定置信度值的一些代表性点的参考，并且可对应于第一概率值之中的高阈值百分比。下面将参照图8详细描述确定预设参考的方法。

图8是示出根据实施例的确定预设参考的方法的示图。参照图8，表810示出根据道路类或道路类型的车道线绘画标准或参考。

在一个实施例中，可基于诸如交通状况、国家特定道路交通法和道路类型的各种条件来确定预设阈值(即，高阈值比率)。

例如，在表810中，当道路类型是国道III和IV时，车道宽度是13米，并且与双车道线区域对应的车道线绘画部分是5米。在这种情况下，国道III和IV的预设参考(例如，高阈值百分比)可从车道线绘画部分与车道宽度的比率被表示为百分比值(即，(车道线绘画部分)/(车道宽度)×100％＝5/13×100％＝39％)来确定。当道路类型是国道I和II时，车道宽度是20米，并且与双车道线区域对应的车道线绘画部分是10米。当道路类型是公路时，车道宽度是20米，并且与双车道线区域对应的车道线绘画部分是8米。

除了道路类型之外，车道宽度和车道线绘画部分的标准可根据不同国家的道路交通法而变化。因此，针对每个国家检测的车道线的置信度可通过根据国家特定的道路交通法应用不同的预设参考来提高。

图9是示出根据实施例的确定车辆的驾驶信息的方法的示图。参照图9，示图910示出基于置信度值选择的行驶车道边界线，示图930示出根据基于行驶车道边界线确定的中心线计算的行驶路径。例如，图9的处理可通过上述中心线确定单元340来执行。

当通过上述方法针对每条车道线确定置信度值时，确定设备可确定每条车道线作为实际车道线是否可靠。确定设备可将每条车道线的置信度值与预设阈值进行比较，并基于比较结果确定行驶车道的中心线。例如，当每条车道的置信度值大于或等于预设阈值T时，确定设备可通过将与置信度值对应的车道线确定为实际车道线来确定中心线935。

例如，当如示图910中所示在车辆行驶的车道的两侧发现可靠的车道线时，(即，当行驶车道边界线的置信度值大于预设阈值时)，确定设备可将行驶车道边界线之间的中心确定为如示图930中所示的行驶车道的中心线935。

此外，当仅在车辆行驶的车道的一侧发现可靠的车道线时(即，当行驶车道边界线中的一条行驶车道边界线的置信度值大于预设阈值并且行驶车道边界线中的另一条行驶车道边界线的置信度值小于预设阈值时)，确定设备可例如通过考虑车辆宽度基于置信度值大于预设阈值的行驶车道边界线在车辆宽度+(50×n)cm的位置生成虚拟车道边界线。在这种情况下，n的值可以是可调节的。例如，当行驶道路的道路宽度大于一般道路的道路宽度时，可设置为n>1的值。例如，当行驶道路的道路宽度小于一般道路的道路宽度时，可设置为n<1的值。确定设备可将虚拟车道边界线与置信度值大于预设阈值的行驶车道边界线之间的中心确定为行驶车道的中心线935。

当通过上述方法确定中心线935时，确定设备可基于中心线935计算行驶路径并确定车辆的驾驶参数，使得车辆可沿着行驶路径行驶。

例如，当在车辆行驶的车道的两侧都未获得可靠的车道线时，确定设备不能确定行驶车道的中心线。

图10是示出根据实施例的确定车辆的驾驶信息的方法的示图。参照图10，图10示出根据实施例的基于车辆的驾驶信息调节车辆的横向位置的方法。例如，图10的处理可通过上述的驾驶信息确定单元230或者定位单元350和横向控制单元360来执行。

当如示图930中所示确定行驶车道的中心线935时，确定设备可生成用于调节车辆的位置的驾驶参数，使得车辆可沿着行驶车道的中心线935行驶。

例如，确定设备可如示图1030中所示选择沿着行驶车道(或行驶车道的中心线)的位于距当前位置预测距离处的一个或多个代表性点(例如，预见点)，并如示图1050中所示通过使用一个或多个代表性点来确定曲率信息。例如，确定设备可通过沿车道的中心线的多个代表性点的线性回归分析来计算表示道路的形状的回归函数。确定设备可通过使用回归函数识别道路的形状，并基于道路的形状确定曲率信息。例如，当回归函数是诸如c₂x²+c₁x的多项式时，确定设备可将与多项式系数分别对应的c₂和c₁确定为曲率信息。

此外，例如，通过经由计算行驶车道的中心线935与车辆的横向位置之间的距离来估计横向偏移，确定设备可生成驾驶参数，使得车辆不会从行驶车道的中心线935大幅偏离(例如，使得车辆不超过行驶车道的边界线或车辆的横向位置在行驶车道的边界线之间)。例如，确定设备可通过基于驾驶参数控制车辆的方向盘的转向角来控制车辆的转向。在图10中，“R_track”是轨道的半径，“L”是预见点与车辆之间的距离，“X_L”是“L”的正弦值，“y_L”是“L”的余弦值，“v_X”是车辆在x轴上的速度，“v_Y”是车辆在y轴上的速度，“V_x”是车辆在x轴上的速度，“V_y”是车辆在y轴上的速度，“e₁”是横向偏差，“e₂”是相对偏航角。

图11是示出根据另一实施例的确定驾驶信息的方法的流程图。参照图11，根据实施例的确定设备可基于逐像素分割，从驾驶图像生成与将被检测的车道线对应的概率图(操作1110)。

确定设备可基于概率图通过线拟合来检测车道线区域(操作1130)。

确定设备可从车道线区域提取多个代表性区域(操作1140)。确定设备可基于概率图提取多个代表性区域之中的与预定百分比的高概率值对应的一些代表性区域(操作1150)。

确定设备可基于提取的一些代表性区域计算车道线区域的置信度值(操作1160)。

确定设备可基于置信度值确定车辆的驾驶信息(操作1170)。

图12是根据实施例的用于确定驾驶信息的设备的框图。参照图12，根据实施例的确定设备1200可包括一个或多个传感器1210、处理器1230和通信接口1270。确定设备1200还可包括存储器1250和显示器1290。一个或多个传感器1210、处理器1230、存储器1250、通信接口1270和显示器1290可通过通信总线1205彼此通信。

一个或多个传感器1210可感测(例如，捕获或获得)驾驶图像。

例如，一个或多个传感器1210可包括相机传感器、图像传感器、视觉传感器、惯性测量单元(IMU)传感器、陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、LiDAR(激光雷达)传感器、雷达传感器和/或高度测量传感器；然而，本发明构思不限于此。相机传感器、图像传感器和/或视觉传感器可安装在车辆上以捕获车辆的驾驶图像。IMU传感器、陀螺仪传感器和/或高度测量传感器可感测车辆的俯仰信息。LiDAR传感器和/或雷达传感器可感测对象的局部域坐标或世界域坐标。GPS传感器可感测车辆的全球世界域坐标。

处理器1230可从驾驶图像生成与将被检测的目标对象对应的概率图。处理器1230可从自驾驶图像检测的目标对象的候选区域提取多个代表性区域。处理器1230可基于概率图提取多个代表性区域中的一些代表性区域。处理器1230可基于提取的一些代表性区域来计算目标对象的候选区域的置信度值。处理器1230可基于置信度值确定车辆的驾驶信息。

处理器1230可执行上面关于图1至图11描述的至少一种方法或与至少一种方法对应的算法。处理器1230可执行程序并控制确定设备1200。由处理器1230执行的程序代码可被存储在存储器1250中。例如，处理器1230可包括中央处理器(CPU)或图形处理器(GPU)。

存储器1250可存储驾驶图像和置信度值。此外，存储器1250可存储由处理器1230确定的车辆的驾驶信息。此外，存储器1250可存储由处理器1230提取的代表性区域。

存储器1250可包括易失性存储器或非易失性存储器。

通信接口1270可输出驾驶信息。此外，通信接口1270可接收在确定设备1200外部捕获的驾驶图像、从确定设备1200外部接收的各种传感器的信息、地图信息等。根据实施例，通信接口1270可将由处理器1230确定的车辆的驾驶信息发送到确定设备1200的外部或发送到显示器1290。

显示器1290可显示车辆的驾驶信息。例如，当确定设备1200被嵌入在车辆中时，显示器1290可包括安装在车辆中的HUD或指示灯。

上述实施例可被实现为硬件组件、软件组件和/或硬件组件和软件组件的组合。例如，实施例中描述的设备、方法和组件可通过使用一个或多个通用计算机或专用计算机(诸如，处理器、控制器、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、微处理器或能够执行和响应指令的任何其他设备)来实现。处理器可执行操作系统(OS)以及在OS上执行的一个或多个软件应用。此外，响应于软件的执行，处理器可访问、存储、操作、处理和生成数据。为了便于理解，处理器可被描述为单独使用，然而，本领域的普通技术人员将理解，处理器可包括多个处理元件和/或多种类型的处理元件。例如，处理器可包括多个处理器或一个处理器和一个控制器。此外，其他处理配置(诸如，并行处理器)也是可行的。

软件可包括计算机程序、代码、命令(指令)或它们中的一个或多个的组合，并且可将处理器配置为按照期望的那样操作或者可单独地或共同地命令处理器。为了由处理器解释或向处理器提供命令或数据，软件和/或数据可以永久地或暂时地被包含在任何类型的机器、组件、物理设备、虚拟装备、计算机存储介质或设备或者传输的信号波中。软件可被分布在联网的计算机系统上，使得以分布式的方式被存储或执行。软件和数据可被存储在一个或多个计算机可读记录介质上。

根据实施例的方法可以以能够通过各种计算机装置执行的程序命令的形式实现，其中，程序命令可被记录在计算机可读记录介质上。计算机可读记录介质可单独包括程序命令、数据文件和数据结构，或者可包括它们的组合。记录在计算机可读记录介质上的程序命令可以是为实施例专门设计和配置的程序命令，或者可以是本领域的计算机程序员已知和可用的程序命令。计算机可读记录介质的示例可包括磁记录介质(诸如，硬盘、软盘和磁带)、光学记录介质(诸如，光盘只读存储器(CD ROM)和数字通用盘(DVD))、磁光记录介质(诸如，软式光盘)，以及被专门配置为存储和执行程序命令的硬件装置(诸如，ROM、RAM和闪存)。程序命令的示例可包括可由编译器产生的机器语言代码以及可由计算机通过使用解释器执行的高级语言代码。硬件装置可被配置为作为一个或多个软件模块进行操作以执行实施例的操作，反之亦然。

虽然上面已经参照附图描述了实施例，但是本领域普通技术人员可在不脱离本发明构思的精神和范围的情况下进行各种改变和修改。例如，描述的技术可以以与所描述的方法不同的顺序执行，和/或描述的组件(诸如，系统、结构、装置和电路)可以以与描述的方法不同的形式联合或组合，或者可由其他组件或其等同物替换或替代。因此，其他实施方式、其他实施例和所附权利要求的等同物也在所附权利要求的范围内。

虽然已经参照本发明构思的实施例具体示出并描述了本发明构思，但是应理解，在不脱离所附权利要求的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (19)

1.一种确定车辆的驾驶信息的方法，所述方法包括：

从驾驶图像生成与将被检测的目标对象对应的概率图，其中，基于确定以至少一个像素为单位的概率值来生成概率图；

以相等的间隔从自驾驶图像检测的目标对象的候选区域提取多个代表性点；

基于概率图提取所述多个代表性点中的至少两个代表性点；

基于提取的所述至少两个代表性点计算目标对象的候选区域的置信度值，其中，目标对象的候选区域的置信度值被计算为与所述至少两个代表性点对应的多个概率值的平均值；以及

基于置信度值确定车辆的驾驶信息，

其中，提取所述多个代表性点中的至少两个代表性点的步骤包括：

基于概率图确定与所述多个代表性点对应的多个第一概率值，以及

提取具有所述多个第一概率值之中的与预设参考匹配的第一概率值的所述至少两个代表性点，

其中，预设参考包括基于道路类型确定的高阈值百分比，并且预设参考基于车道线绘画部分与车道宽度的比率来确定。

2.如权利要求1所述的方法，

其中，与预设参考匹配的至少两个第一概率值是第二概率值。

3.如权利要求1所述的方法，其中，提取所述多个代表性点的步骤包括：基于从与感兴趣区域对应的预设距离范围和预设代表性点的数量选择的至少一个，从目标对象的候选区域提取所述多个代表性点。

4.如权利要求1所述的方法，其中，提取所述多个代表性点的步骤包括：

将目标对象的候选区域从图像域转换到世界域；以及

在世界域中以相等的间隔从候选区域提取所述多个代表性点。

5.如权利要求1所述的方法，其中，生成概率图的步骤包括：基于驾驶图像通过计算以一个像素为单位的概率来生成与目标对象对应的概率图，其中，所述以一个像素为单位的概率包括相应的像素将对应于目标对象的概率。

6.如权利要求1所述的方法，其中，生成概率图的步骤包括：

通过使用场景分割算法来确定驾驶图像的逐像素类；以及

通过基于逐像素类计算与每个类对应的逐像素概率来生成逐类概率图。

7.如权利要求1所述的方法，其中，目标对象包括车道线，车道线包括车辆的行驶车道的边界线。

8.如权利要求7所述的方法，其中，确定车辆的驾驶信息的步骤包括：基于行驶车道的边界线的置信度值来确定行驶车道的中心线。

9.如权利要求7所述的方法，其中，确定车辆的驾驶信息的步骤包括：

将行驶车道的边界线的置信度值与预设阈值进行比较；以及

当作为比较的结果，行驶车道的边界线的置信度值大于预设阈值时，将行驶车道的边界线之间的中心确定为行驶车道的中心线。

10.如权利要求7所述的方法，其中，确定车辆的驾驶信息的步骤包括：

当行驶车道的边界线中的一条边界线的置信度值大于预设阈值并且行驶车道的边界线中的另一条边界线的置信度值小于预设阈值时，通过考虑车辆的宽度，基于行驶车道的边界线中的所述一条边界线生成虚拟车道边界线；以及

将虚拟车道边界线与行驶车道的边界线中的所述一条边界线之间的中心确定为行驶车道的中心线。

11.如权利要求8所述的方法，其中，确定车辆的驾驶信息的步骤还包括：基于关于行驶车道的中心线的信息来调节车辆的横向位置。

12.一种确定驾驶信息的方法，所述方法包括：

基于逐像素分割从驾驶图像生成与将被检测的车道线对应的概率图，其中，基于确定以至少一个像素为单位的概率值来生成概率图；

基于线拟合和基于概率图检测车道线区域；

以相等的间隔从车道线区域提取多个代表性点；

基于概率图提取所述多个代表性点之中的至少两个代表性点；

基于提取的所述至少两个代表性点计算车道线区域的置信度值，其中，车道线区域的置信度值被计算为与所述至少两个代表性点对应的多个概率值的平均值；以及

基于置信度值确定车辆的驾驶信息，

其中，提取所述多个代表性点中的至少两个代表性点的步骤包括：

基于概率图确定与所述多个代表性点对应的多个第一概率值，以及

提取具有所述多个第一概率值之中的与预设参考匹配的第一概率值的所述至少两个代表性点，

其中，预设参考包括基于道路类型确定的高阈值百分比，并且预设参考基于车道线绘画部分与车道宽度的比率来确定。

13.一种存储指令的非暂时性计算机可读记录介质，其中，当所述指令由处理器执行时，使得所述处理器执行权利要求1的方法。

14.一种用于确定驾驶信息的设备，所述设备包括：

传感器，被配置为：获得驾驶图像；

处理器，被配置为：

从驾驶图像生成与将被检测的目标对象对应的概率图，

以相等的间隔从自驾驶图像检测的目标对象的候选区域提取多个代表性点，

基于概率图提取所述多个代表性点中的至少两个代表性点，其中，基于提取的至少两个代表性点计算目标对象的候选区域的置信度值，其中，目标对象的候选区域的置信度值被计算为与所述至少两个代表性点对应的多个概率值的平均值，以及

基于置信度值确定车辆的驾驶信息；以及

通信接口，被配置为：输出驾驶信息，

其中，处理器还被配置为：基于概率图确定与所述多个代表性点对应的多个第一概率值，并提取具有所述多个第一概率值之中的与预设参考匹配的第一概率值的所述至少两个代表性点，

其中，预设参考包括基于道路类型确定的高阈值百分比，并且预设参考基于车道线绘画部分与车道宽度的比率来确定。

15.如权利要求14所述的设备，其中，与预设参考匹配的第一概率值是第二概率值。

16.如权利要求14所述的设备，其中，处理器还被配置为：基于从与感兴趣区域对应的预设距离范围和预设代表性点的数量选择的至少一个，从目标对象的候选区域提取所述多个代表性点。

17.如权利要求14所述的设备，其中，处理器还被配置为：将目标对象的候选区域从图像域转换到世界域，并且在世界域中以相等的间隔从候选区域提取所述多个代表性点。

18.如权利要求14所述的设备，其中，处理器还被配置为：基于驾驶图像通过计算逐像素概率来生成与目标对象对应的概率图，其中，逐像素概率包括相应的像素将对应于目标对象的概率。

19.如权利要求14所述的设备，其中，处理器还被配置为：通过使用场景分割算法来确定驾驶图像的逐像素类，并且通过基于逐像素类计算与每个类对应的逐像素概率来生成逐类概率图。