CN110263713A - 车道线检测方法、装置、电子设备及存储介质 - Google Patents
车道线检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110263713A CN110263713A CN201910536130.XA CN201910536130A CN110263713A CN 110263713 A CN110263713 A CN 110263713A CN 201910536130 A CN201910536130 A CN 201910536130A CN 110263713 A CN110263713 A CN 110263713A
- Authority
- CN
- China
- Prior art keywords
- lane
- lane line
- boundary point
- grid
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 278
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000001629 suppression Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种车道线检测方法、装置、电子设备及存储介质。其中，该方法包括：将获取的待检测的图像输入预设的目标检测模型，获取图像中各个网格的第一检测信息、第二检测信息和第三检测信息；分别对对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度；根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过这种车道线检测方法，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
Description
技术领域
本申请涉及计算机应用技术领域，尤其涉及一种车道线检测方法、装置、电子设备及存储介质。
背景技术
在自动驾驶场景中，车道线作为重要的静态语义信息，对驾驶决策意义重大，车道线的曲率以及方向信息对于驾驶决策具有重要意义。
相关技术中，传统的车道线方向检测方法，大多是在检测到车道线候选线或边界点之后，对车道线进行拟合，通过拟合方程来计算每一点的曲率，从而获得车道线的曲率和方向信息。但是，这种车道线检测方法，由于拟合存在拟合误差，会影响车道线方向检测的精度，而且需要在检测出车道线之后，额外设计算法，计算车道线的方向信息，算法复杂度高、耗时长。
发明内容
本申请提出的车道线检测方法、装置、电子设备及存储介质，用于解决相关技术中的车道线检测方法，不仅对车道线方向检测的精度低，而且算法复杂度高、耗时长的问题。
本申请一方面实施例提出的车道线检测方法，包括：获取待检测的图像；将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角；对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置；对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度；根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
本申请另一方面实施例提出的车道线检测装置，包括：获取模块，用于获取待检测的图像；输入模块，用于将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角；第一处理模块，用于对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置；第二处理模块，用于对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度；确定模块，用于根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
本申请再一方面实施例提出的电子设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的车道线检测方法。
本申请再一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的车道线检测方法。
本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的车道线检测方法。
本申请实施例提供的车道线检测方法、装置、电子设备、计算机可读存储介质及计算机程序，可以将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过将待检测的图像划分为多个网格，并利用训练好的目标检测模型检测每个网格中包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，之后即可根据检测的多个车道线边界点、车道中心点、车道宽度及车道线边界点方向，确定出图像中的车道线，从而实现了在车道线检测的过程中直接获得车道线的方向信息，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种车道线检测方法的流程示意图；
图2为网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角的示意图；
图3为本申请实施例所提供的另一种车道线检测方法的流程示意图；
图4为本申请实施例所提供的一种车道线检测装置的结构示意图；
图5为本申请实施例所提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中的车道线检测方法，不仅对车道线方向检测的精度低，而且算法复杂度高、耗时长的问题，提出一种车道线检测方法。
本申请实施例提供的车道线检测方法，可以将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过将待检测的图像划分为多个网格，并利用训练好的目标检测模型检测每个网格中包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，之后即可根据检测的多个车道线边界点、车道中心点、车道宽度及车道线边界点方向，确定出图像中的车道线，从而实现了在车道线检测的过程中直接获得车道线的方向信息，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
下面参考附图对本申请提供的车道线检测方法、装置、电子设备、存储介质及计算机程序进行详细描述。
图1为本申请实施例所提供的一种车道线检测方法的流程示意图。
如图1所示，该车道线检测方法，包括以下步骤：
步骤101，获取待检测的图像。
需要说明的是，本申请实施例的车道线检测方法，可以由本申请所提供的车道线检测装置执行。实际使用时，本申请实施例所提供的车道线检测方法可以应用于自动驾驶领域，为自动驾驶车辆提供路况信息，从而本申请实施例的车道线检测装置可以配置在任意车辆中，以执行本申请的车道线检测方法。
在本申请实施例中，可以根据具体的应用场景，确定待检测的图像的获取方式。比如，当本申请实施例的车道线检测装置应用在自动驾驶车辆中时，可以获取自动驾驶车辆中的摄像头采集的车辆前方的路面信息，作为待检测的图像。具体的，车道线检测装置可以直接与摄像头建立通信连接，以直接获取摄像头采集的实时图像；或者，摄像头可以将采集的图像存储在车辆的存储设备中，从而车道线检测装置也可以从车辆的存储设备中获取待检测的图像。
步骤102，将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角。
其中，预设的目标检测模型，可以是提前训练完成的，比如可以是You Only LookOnce:Unified,Real-Time Object Detection V2(Yolo V2)算法模型、Single ShotMultiBox Detector(SSD)算法模型等one-stage目标检测模型，但不仅限于此。
其中，车道线边界点横向偏移，是指车道线边界点与其所在网格的左上角坐标之间的横向偏移；车道线边界点分数，是指车道线边界点的置信度，可以反映出预测的车道线边界点的可靠性。
其中，预测框，是预设的目标检测模型中定义的，其具有一定的尺寸和位置，与待检测的图像和图像中的网格没有直接关联，其是对图像进行目标检测的工具。实际使用时，预测框的数量及初始尺寸和位置等，可以根据所需的预测精度、计算复杂度等实际需要预设，本申请实施例对此做限定，比如，预测框的数量可以是5个。
车道中心点横向偏移，是指车道中心点与其所在网格的左上角坐标之间的横向偏移；车道中心点分数，是指预测框对应的车道中心点的置信度，可以反映出预测框对应的车道中心点的可靠性；预测框宽度调整值，用于对预测框的宽度进行调整，以得到预测框当前的宽度值。
优选的，由于在本申请实施例的目标检测模型用于对车道中心点以及车道宽度进行检测，因此可以将预测框定义为具有一定位置和宽度的线段，从而检测信息中可以仅包括预测框的宽度调整值，以对预测框的宽度进行调整。
其中，网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角，可以提供车道线的方向信息。
作为一种可能的实现方式，为保证训练稳定性，可以将夹角归一化到0～1之间。如图2所示，为网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角的示意图，其中θ为一个车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角。假设一个车道线边界点的坐标为(x0，y0)，其上方相邻网格内车道线边界点的坐标为(x1，y1)，则两者之间的连线与水平方向的夹角θ，可以通过下式表示：
在本申请实施例中，可以首先将待检测的图像划分为多个网格，并将待检测的图像输入预设的目标检测模型，通过预设的目标检测模型的卷积部分获得图像的特征图，其中，特征图中的每个点对应图像中的一个网格。之后根据获得的特征图以及待检测图像，通过预设的目标检测模型的回归部分，获取图像中各个网格的第一检测信息、第二检测信息及第三检测信息。
需要说明的是，图像中的每个网格用于预测中心在该网格中的目标。实际使用时，网格的尺寸可以根据实际需要预设，本申请实施例对此不做限定。比如，待检测的图像的尺寸为1920×640像素，将待检测图像划分为多个尺寸为16×16像素的网格，即获得的特征图的尺寸为120×40像素。
步骤103，对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置。
在本申请实施例中，对车道线边界点进行预测时，目标检测模型对各个网格进行预测的准确度可能不同，从而使得一些网格的第一检测信息中包括的车道线边界点横向偏移的误差较大，从而可以根据各个网格的第一检测信息，选取出第一检测信息中车道线边界点横向偏移准确度较高的网格，进而根据准确度较高的网格的车道线边界点横向偏移等信息，确定出图像中各个车道线边界点的位置。
具体的，可以通过对各个网格的第一检测信息进行非极大值抑制处理，确定第一检测信息中车道线边界点横向偏移准确度较高的网格。即在本申请实施例一种可能的实现形式中，上述步骤103，可以包括：
针对所述图像中的每行网格，每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格；
针对每个目标网格，根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标，确定所述图像中的一个车道线边界点的位置。
在本申请实施例中，第一检测信息中车道线边界点分数，可以反映出第一检测信息中车道线边界点横向偏移预测的准确度，从而可以根据各个网格的第一检测信息中对应的车道线边界点分数，确定目标网格。
具体的，由于第一检测信息对应的车道线边界点分数越大，则第一预测信息中对应的车道线边界点横向偏移越准确，从而可以在每行网格中，每隔预设步长，将对应的车道线边界点分数大于第一阈值的网格，确定为目标网格。
举例来说，待检测的图像的尺寸为1920×640像素，每个网格的尺寸为16×16像素，即待检测的图像包括120×40个网格，预设步长为160像素，即在每行网格中，每160像素判断一次这160像素对应的网格中是否包含车道线边界点分数大于第一阈值的网格，即每10个网格判断一次这10个网格中是否包含车道线边界点分数大于第一阈值的网格，若包含，则将车道线边界点分数大于第一阈值的网格确定为目标网格。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设步长与第一阈值，本申请实施例对此不做限定。
在本申请实施例中，确定出目标网格之后，则可以根据每个目标网格的第一检测信息对应的车道线边界点横向偏移以及目标网格的坐标，确定出每个目标网格对应的车道线边界点的位置，从而确定出图像中所有的车道线边界点，即每个目标网格对应图像中的一个车道线边界点。
具体的，由于车道线边界点横向偏移，是指车道线边界点的横坐标相对于其所属网格左上角横坐标之间的差值，从而可以首先确定出目标网格的左上角的坐标，进而根据目标网格的第一检测信息对应的车道线边界点横向偏移，确定出目标网格对应的车道线边界点的坐标，即图像中一个车道线边界点的位置。
步骤104，对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度。
在本申请实施例中，通过预先设置多个预测框对图像中每个网格中的目标(即车道中心点)进行检测，以保证车道线检测的准确性。而由于多个预测框的尺寸不同，使得每个预测框对应的第二检测信息的准确度不同，从而可以根据各个网格的第二检测信息，确定出每个网格对应的准确度最高的预测框，进而根据每个网格对应的准确度最高的预测框对应的车道中心点横向偏移、预测框宽度调整值等，确定出各个网格中分别包括的车道中心点的位置以及每个车道中心点的位置对应的车道宽度，即图像中的各个车道中心点的位置以及对应的车道宽度。
具体的，可以通过对各个网格的第二检测信息进行非极大值抑制处理，确定每个网格对应的准确度最高的预测框，从而确定出图像中的各个车道中心点的位置以及对应的车道宽度。即在本申请实施例一种可能的实现形式中，上述步骤104，可以包括：
针对所述图像中的每个网格，将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框；
针对每行网格，每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框；
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定所述图像中的一个车道中心点的位置以及对应的车道宽度。
在本申请实施例中，预测框对应的车道线中心点分数，可以反映出预测框对车道中心点预测的准确度，从而可以根据各个网格对应的各预测框对应的车道中心点分数，确定各个网格对应的最优预测框。具体的，由于预测框对应的车道线中心点分数越大，则预测框对应的车道中心点横向偏移越准确，从而可以将每个网格中对应的车道中心点分数最大的预测框，确定为每个网格对应的最优预测框。
在确定出图像中的每个网格对应的最优预测框之后，可以根据预设的步长从每行网格对应的最优预测框中，选取出每行网络对应的目标预测框。具体的，可以每隔预设步长，将对应的车道中心点分数大于第二阈值的最优预测框，确定为目标预测框。
举例来说，待检测的图像的尺寸为1920×640像素，每个网格的尺寸为16×16像素，即待检测的图像包括120×40个网格，预设步长为160像素，即在每行网格中，每160像素判断一次这160像素对应的网格对应的最优预测框中是否包含车道中心点分数大于第二阈值的最优预测框，即每10个网格判断一次这10个网格对应的最优预测框中是否包含车道中心点分数大于第二阈值的最优预测框，若包含，则将车道中心点分数大于第二阈值的最优预测框确定为目标预测框。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设步长与第二阈值，本申请实施例对此不做限定。
在本申请实施例中，确定出目标预测框之后，则可以根据每个目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定出每个目标预测框对应的车道中心的位置以及对应的车道宽度，从而确定出图像中所有的车道中心点的位置以及对应的车道宽度，即每个目标预测框对应图像中的一个车道中心点。
具体的，根据目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定图像中的一个车道中心点的位置以及对应的车道宽度，包括以下步骤：
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移，以及所述目标预测框所属的网格的坐标，确定所述图像中的一个车道中心点的位置；
根据所述目标预测框对应的预测框宽度调整值，以及所述目标预测框的宽度，确定所述一个车道中心点对应的车道宽度。
在本申请实施例中，由于预测框对应的车道中心点横向偏移，是指车道中心点的横坐标相对于预测框所属网格左上角横坐标之间的差值，从而可以首先根据目标预测框的位置，确定出其所属的网格的左上角的坐标，进而根据目标预测框对应的车道中心点横向偏移，确定出目标预测框对应的车道中心点的坐标，即图像中一个车道中心点的位置。
需要说明的是，在对预设的目标检测模型进行训练时，可以将训练数据中的车道宽度作为预测框的宽度，从而在对车道线进行检测时，可以将预测框的当前宽度确定为车道宽度。因此，可以根据目标预测框对应的预测框宽度调整值，以及目标预测框的宽度，确定目标预测框对应的车道中心点对应的车道宽度。具体的，可以将目标预测框的宽度与目标预测框对应的预测框宽度调整值之和，确定为目标预测框对应的一个车道中心点对应的车道宽度。
步骤105，根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
在本申请实施例中，确定出图像中包括的各个车道线边界点的位置、各个车道中心点的位置以及各个车道中心点对应的车道宽度、各个车道线边界点方向以及位置之后，则可以根据各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定出车道线上包括的各个点，从而确定出图像中的车道线。
具体的，可以首先根据车道线边界点的位置确定车道线上的点，进而根据各个车道中心点的位置以及对应的车道宽度，对车道线上的点进行补充，进而根据各个车道线边界点方向及各个车道线边界点进行曲线拟合，以获得图像中的车道线。即在本申请实施例一种可能的实现形式中，上述步骤105，可以包括：
针对每行网格的每隔预设步长的预设区域，判断所述预设区域内是否存在车道线边界点；
若存在车道线边界点，则将存在的车道线边界点作为车道线上的点；
若不存在车道线边界点，且存在根据车道中心点以及车道宽度确定得到的推测边界点，则将推测边界点作为车道线上的点；
针对所述图像中车道线上的每个车道线边界点，将与所述车道线边界点的位置匹配的车道线边界点方向，确定为所述车道线边界点的方向；
根据所述图像中车道线上的每个车道线边界点以及对应的方向，进行曲线拟合，得到所述图像中的车道线。
其中，预设区域，是指预先设置的具有一定位置与尺寸的区域，其中各预设区域的尺寸相同，且每行网格中的各预设区域之间的间隔相同，即每行网格中相邻两个预设区域的左上角的横向坐标的差值为预设步长。
举例来说，图像中网格的尺寸为16×16像素，预设步长为160像素，预设区域的大小为16×80像素，则每行网格中的各预设区域之间的间隔均为80像素。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设步长以及预设区域的具体尺寸，本申请实施例对此不做限定。
作为一种可能的实现方式，可以分别确定每行网格中是否包含车道线上的点。对于每行网格，可以根据各个车道线边界点的位置，确定每行网格的每隔预设步长的各预设区域中是否包含车道线边界点，若包括，则可以将存在的车道线边界点作为车道线上的点；若不包括，则可以进一步根据各个车道中心点以及车道宽度，确定出各个车道中心点对应的推测边界点，进而根据各个推测边界点的位置，确定每行网格的每隔预设步长的各预设区域中是否包含推测边界点，则将存在的推测边界点确定为车道线上的点。
具体的，对一条车道通常包括左侧车道线和右侧车道线，从而可以根据各车道中心点的位置及其对应的车道宽度，分别确定出左右两侧的车道线。即在本申请实施例一种可能的实现形式中，上述确定推测边界点的具体步骤，可以包括：
针对图像中的每个车道中心点，将车道中心点位置的横向坐标减去对应的车道宽度的一半，得到车道中心点对应的左侧车道线推测边界点的位置；
将车道中心点位置的横向坐标加上对应的车道宽度的一半，得到车道中心点对应的右侧车道线推测边界点的位置。
可以理解的是，图像中的各个车道中心点与其对应的车道线之间的距离为车道宽度的一半，即竖向坐标与车道中心点位置的竖向坐标相同、且横向坐标与车道中心点位置的横向坐标的差值为车道宽度的一半的点，位于车道中心点对应的车道线上。
在本申请实施例中，可以将车道中心点位置的横向坐标减去其对应的车道宽度的一半，确定出车道中心点对应的左侧车道线推测边界点的横向坐标，并将车道中心点位置的竖向坐标作为车道中心点的对应的左侧车道线推测边界点的竖向坐标，从而确定出车道中心点对应的左侧车道线推测边界点的位置；相应的，可以将车道中心点位置的横向坐标加上其对应的车道宽度的一半，确定出车道中心点对应的右侧车道线推测边界点的横向坐标，并将车道中心点位置的竖向坐标作为车道中心点对应的右侧车道线推测边界点的竖向坐标，从而确定出车道中心点对应的右侧车道线推测边界点的位置。
可以理解的是，各个车道线上的点的连线即为车道线，从而在确定出各个车道线上的点的位置之后，可以首先根据车道线上的点中包括的车道线边界点的位置及各个网格的第三检测信息，确定各个车道线边界点的方向，即将车道线边界点所属网格对应的车道线边界点方向确定为该车道线边界点的方向，进而对每个车道线边界点的位置及对应的方向进行曲线拟合，以得到图像中的车道线。
本申请实施例提供的车道线检测方法，可以将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，确定图像中的车道线。由此，通过将待检测的图像划分为多个网格，并利用训练好的目标检测模型检测每个网格中包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，之后即可根据检测的多个车道线边界点、车道中心点、车道宽度及车道线边界点方向，确定出图像中的车道线，从而实现了在车道线检测的过程中直接获得车道线的方向信息，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
在本申请一种可能的实现形式中，预设的目标检测模型可以是通过大量训练数据进行训练得到，并通过损失函数不断优化目标检测模型的性能，以使得预设的目标检测模型的性能符合实际的应用需求。
下面结合图3，对本申请实施例提供的车道线检测方法进行进一步说明。
图3为本申请实施例所提供的另一种车道线检测方法的流程示意图。
如图3所示，该车道线检测方法，包括以下步骤：
步骤201，获取训练数据，所述训练数据包括：大于预设数量的图像，以及图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度。
其中，训练数据，通过可以包括大量图像数据以及对每个图像数据的标注信息。需要说明的是，训练数据中包括的图像数据以及对图像数据的标注信息，与目标检测模型的具体用途有关。比如，若目标检测模型的用途为人脸检测，则训练数据中可以包括大量包含人脸的图像，以及对图像中人脸的标注信息；又如本申请实施例的目标检测模型的用途为车道线检测，并需要对车道边界点的位置、车道中心点的位置、车道宽度以及相邻车道线边界点的连线与水平方向的夹角进行预测，则训练数据中可以包括大量包含车道线的图像，以及对图像中真实车道线边界点的位置的标注信息、各个相邻真实车道线边界点的连线与水平方向的夹角的标注信息、真实车道中心点的位置的标注信息以及各个真实车道中心点对应的真实车道宽度的标注信息。
需要说明的是，为保证最终获得的目标检测模型的精确性，训练数据需要具有一定规模，从而可以提前预设训练数据中包括的图像数量，在获取训练数据时，训练数据中包括的图像数量必须大于预设数量，以保证目标检测模型的性能。实际使用时，训练数据中包括的图像数量，可以根据实际需要预设，本申请实施例对此不做限定。
在本申请实施例中，获取训练数据的途径有多种，比如，可以从网络中搜集包含车道线的图像，或者可以将在实际的应用场景中(比如自动驾驶场景)采集的图像数据作为训练数据，并在获取到图像数据之后对图像数据进行标注，以获得图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度。
步骤202，采用所述训练数据对初始的目标检测模型进行训练，直至所述目标检测模型的损失函数满足预设条件；所述损失函数根据图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息、第二检测信息和第三检测信息确定。
在本申请实施例中，可以采用训练数据对初始的目标检测模型进行训练，即将训练数据中的图像数据依次输入初始的目标检测模型，以得到每个图像数据对应的第一检测信息、第二检测信息和第三检测信息，进而根据每个图像数据中的各个网格对应的第一检测信息、第二检测信息和第三检测信息以及每个图像数据对应的各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度，确定损失函数的当前取值，若损失函数的当前取值满足预设条件，则可以确定目标检测模型当前的性能满足要求，从而可以结束对目标检测模型的训练；若损失函数的当前取值不满足预设条件，则可以确定目标检测模型当前的性能不满足要求，从而可以对目标检测模型的参数进行优化，并继续利用训练数据对参数优化后的目标检测模型进行训练，直至目标检测模型的损失函数满足预设条件。
需要说明的是，损失函数的取值越小，则说明目标检测模型输出的第一检测信息、第二检测信息和第三检测信息与真实的车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、真实车道中心点的位置以及对应的真实车道宽度越接近，即目标检测模型的性能越好，因此，目标检测模型的损失函数需要满足的预设条件，可以是损失函数的取值小于预设阈值。实际使用时，损失函数需要满足的预设条件，可以根据实际需要预设，本申请实施例对此不做限定。
优选的，在本申请实施例中，对目标检测模型进行训练时，可以对车道中心点横向偏移、车道中心点分数、车道宽度、车道线边界点横向偏移、车道线边界点分数以及相邻车道线边界点的连线与水平方向的夹角六个部分进行回归，即目标检测模型的损失函数可以分为六个部分，以分别对车道中心点横向偏移、车道中心点分数、车道宽度、车道线边界点横向偏移、车道线边界点分数以及相邻车道线边界点的连线与水平方向的夹角六个部分的损失分别进行惩罚，从而可以进一步提高最终获得的目标检测模型的精确性。可选的，可以采用L2范数损失函数对车道中心点横向偏移、车道中心点分数、车道线边界点横向偏移及相邻车道线边界点的连线与水平方向的夹角进行回归，采用L1smooth损失函数对车道宽度进行回归，采用交叉熵损失函数对车道线边界点分数进行回归。实际使用时，可以根据实际需要选择各部分对应的损失函数，本申请实施例对此不做限定。
需要说明的是，在目标检测模型的损失函数分为六个部分时，可以在损失函数的六个部分分别满足预设条件时，完成对目标检测模型的训练；或者，也可以在损失函数的六个部分的取值之和满足预设条件时，完成对目标检测模型的训练，本申请实施例对此不做限定。
步骤203，获取待检测的图像，并将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角。
在本申请实施例中，预设的目标检测模型，可以包括卷积部分和回归部分，将待检测的图像输入预设的目标检测模型，可以通过预设的目标检测模型的卷积部分获得图像的特征图，其中，特征图中的每个点对应图像中的一个网格。之后根据获得的特征图以及待检测图像，通过预设的目标检测模型的回归部分，获取图像中各个网格的第一检测信息、第二检测信息和第三检测信息。
进一步的，本申请实施例的目标检测模型可以将图像的浅层特征和深层特征结合，以提取更有效的结构特征，从而提高了目标检测模型的准确度。即在本申请实施例一种可能的实现形式中，上述卷积部分，用于获取所述图像不同深度的底层特征，对不同深度的底层特征进行降维、反卷积以及联合卷积操作，得到所述图像对应的特征图；所述特征图中包括：所述图像中各个网格对应的特征点；
上述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息、第二检测信息和第三检测信息。
需要说明的是，本申请实施例的目标检测模型所使用的神经网络模型，可以包括多个卷积层，从而可以通过卷积部分的多个卷积层对图像进行不同深度的卷积操作，以获得图像对应的图像对应的不同深度的底层特征，其中，底层特征的深度不同，其对应的特征图的尺寸也不同。比如，底层特征conv5_5的特征图的尺寸为图像的1/32，底层特征conv6_5的特征图的尺寸为图像的1/64，底层特征conv7_5的特征图的尺寸为图像的1/128。
在获取到图像对应的不同深度的底层特征之后，可以对不同深度的底层特征进行降维，比如可以通过1×1卷积核对不同深度的底层特征进行卷积操作，从而获得对不同深度的底层特征进行降维之后的特征图，之后对降维后的不同深度的底层特征进行不同深度的反卷积操作，以使得降维后的不同深度的底层特征具有相同的尺寸，即使得降维后的不同深度的底层特征的尺寸与图像中包括的网格数量相同。比如，图像中网格的尺寸为16×16像素，则对降维后的不同深度的底层特征进行不同深度的反卷积操作后，获得的特征图的尺寸均为图像的1/16。最后对进行不同深度的反卷积操作之后的特征图进行联合卷积操作，从而获得图像对应的特征图，且特征图中的每个特征点与图像中的一个网格对应。
需要说明的是，目标检测模型的回归部分也包括多个回归层，其中，一些回归层用于获得图像中各个网格的第一检测信息，一些回归层用于获得图像中各个网格的第二检测信息，一些回归层用于获得图像中各个网格的第三检测信息。
步骤204，对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置。
步骤205，对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度。
步骤206，根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
上述步骤204-206的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
本申请实施例提供的车道线检测方法，可以采用获取的训练数据对初始的目标检测模型进行训练，直至目标检测模型的损失函数满足预设条件，并将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测信息，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过大量训练数据对初始的目标检测模型进行训练，并利用训练好的目标检测模型检测图像中每个网格包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，从而不仅提高了车道线检测的精度，计算复杂度低、耗时短，而且进一步优化了目标检测模型的性能。
为了实现上述实施例，本申请还提出一种车道线检测装置。
图4为本申请实施例提供的一种车道线检测装置的结构示意图。
如图4所示，该车道线检测装置30，包括：
获取模块31，用于获取待检测的图像；
输入模块32，用于将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角；
第一处理模块33，用于对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置；
第二处理模块34，用于对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度；
确定模块35，用于根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
在实际使用时，本申请实施例提供的车道线检测装置，可以被配置在任意电子设备中，以执行前述车道线检测方法。
本申请实施例提供的车道线检测装置，可以将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过将待检测的图像划分为多个网格，并利用训练好的目标检测模型检测每个网格中包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，之后即可根据检测的多个车道线边界点、车道中心点、车道宽度及车道线边界点方向，确定出图像中的车道线，从而实现了在车道线检测的过程中直接获得车道线的方向信息，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
在本申请一种可能的实现形式中，上述第一处理模块33，具体用于：
针对所述图像中的每行网格，每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格；
针对每个目标网格，根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标，确定所述图像中的一个车道线边界点的位置。
在本申请一种可能的实现形式中，上述第二处理模块34，具体用于：
针对所述图像中的每个网格，将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框；
针对每行网格，每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框；
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定所述图像中的一个车道中心点的位置以及对应的车道宽度。
进一步的，在本申请另一种可能的实现形式中，上述第二处理模块34，还用于：
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移，以及所述目标预测框所属的网格的坐标，确定所述图像中的一个车道中心点的位置；
根据所述目标预测框对应的预测框宽度调整值，以及所述目标预测框的宽度，确定所述一个车道中心点对应的车道宽度。
在本申请一种可能的实现形式中，上述确定模块35，具体用于：
针对每行网格的每隔预设步长的预设区域，判断所述预设区域内是否存在车道线边界点；
若存在车道线边界点，则将存在的车道线边界点作为车道线上的点；
若不存在车道线边界点，且存在根据车道中心点以及车道宽度确定得到的推测边界点，则将推测边界点作为车道线上的点；
针对所述图像中车道线上的每个车道线边界点，将与所述车道线边界点的位置匹配的车道线边界点方向，确定为所述车道线边界点的方向；
根据所述图像中车道线上的每个车道线边界点以及对应的方向，进行曲线拟合，得到所述图像中的车道线。
在本申请一种可能的实现形式中，上述目标检测模型包括：卷积部分和回归部分；
所述卷积部分，用于获取所述图像不同深度的底层特征，对不同深度的底层特征进行降维、反卷积以及联合卷积操作，得到所述图像对应的特征图；所述特征图中包括：所述图像中各个网格对应的特征点；
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息、第二检测信息和第三检测信息。
进一步的，在本申请另一种可能的实现形式中，上述车道线检测装置30，还包括：训练模块；
相应的，上述获取模块31，还用于获取训练数据，所述训练数据包括：大于预设数量的图像，以及图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度；
上述训练模块，具体用于采用所述训练数据对初始的目标检测模型进行训练，直至所述目标检测模型的损失函数满足预设条件；所述损失函数根据图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息、第二检测信息和第三检测信息确定。
需要说明的是，前述对图1、图3所示的车道线检测方法实施例的解释说明也适用于该实施例的车道线检测装置30，此处不再赘述。
本申请实施例提供的车道线检测装置，可以采用获取的训练数据对初始的目标检测模型进行训练，直至目标检测模型的损失函数满足预设条件，并将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测信息，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过大量训练数据对初始的目标检测模型进行训练，并利用训练好的目标检测模型检测图像中每个网格包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，从而不仅提高了车道线检测的精度，计算复杂度低、耗时短，而且进一步优化了目标检测模型的性能。
为了实现上述实施例，本申请还提出一种电子设备。
图5为本申请一个实施例的电子设备的结构示意图。
如图5所示，上述电子设备200包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的车道线检测方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的车道线检测方法的解释说明，此处不再赘述。
本申请实施例提供的电子设备，可以执行如前所述的车道线检测方法，将获取的待检测的图像输入预设的目标检测模型，以获取图像中各个网格的第一检测信息、第二检测信息和第三检测，并分别对各个网格的第一检测信息、第二检测信息进行非极大值抑制处理，以获取图像中的各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，进而根据图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定图像中的车道线。由此，通过将待检测的图像划分为多个网格，并利用训练好的目标检测模型检测每个网格中包括的车道线边界点、车道线边界点方向、车道中心点及车道宽度，之后即可根据检测的多个车道线边界点、车道中心点、车道宽度及车道线边界点方向，确定出图像中的车道线，从而实现了在车道线检测的过程中直接获得车道线的方向信息，不仅降低了拟合误差，提高了车道线检测的精度，而且计算复杂度低、耗时短。
为了实现上述实施例，本申请还提出一种计算机可读存储介质。
其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的车道线检测方法。
为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的车道线检测方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (17)
1.一种车道线检测方法，其特征在于，包括：
获取待检测的图像；
将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角；
对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置；
对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度；
根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
2.根据权利要求1所述的方法，其特征在于，所述对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置，包括：
针对所述图像中的每行网格，每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格；
针对每个目标网格，根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标，确定所述图像中的一个车道线边界点的位置。
3.根据权利要求1所述的方法，其特征在于，所述对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度，包括：
针对所述图像中的每个网格，将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框；
针对每行网格，每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框；
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定所述图像中的一个车道中心点的位置以及对应的车道宽度。
4.根据权利要求3所述的方法，其特征在于，所述针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定所述图像中的一个车道中心点的位置以及对应的车道宽度，包括：
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移，以及所述目标预测框所属的网格的坐标，确定所述图像中的一个车道中心点的位置；
根据所述目标预测框对应的预测框宽度调整值，以及所述目标预测框的宽度，确定所述一个车道中心点对应的车道宽度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度，确定所述图像中的车道线，包括：
针对每行网格的每隔预设步长的预设区域，判断所述预设区域内是否存在车道线边界点；
若存在车道线边界点，则将存在的车道线边界点作为车道线上的点；
若不存在车道线边界点，且存在根据车道中心点以及车道宽度确定得到的推测边界点，则将推测边界点作为车道线上的点；
针对所述图像中车道线上的每个车道线边界点，将与所述车道线边界点的位置匹配的车道线边界点方向，确定为所述车道线边界点的方向；
根据所述图像中车道线上的每个车道线边界点以及对应的方向，进行曲线拟合，得到所述图像中的车道线。
6.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括：卷积部分和回归部分；
所述卷积部分，用于获取所述图像不同深度的底层特征，对不同深度的底层特征进行降维、反卷积以及联合卷积操作，得到所述图像对应的特征图；所述特征图中包括：所述图像中各个网格对应的特征点；
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息、第二检测信息和第三检测信息。
7.根据权利要求1所述的方法，其特征在于，所述将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息之前，还包括：
获取训练数据，所述训练数据包括：大于预设数量的图像，以及图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度；
采用所述训练数据对初始的目标检测模型进行训练，直至所述目标检测模型的损失函数满足预设条件；所述损失函数根据图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息、第二检测信息和第三检测信息确定。
8.一种车道线检测装置，其特征在于，包括：
获取模块，用于获取待检测的图像；
输入模块，用于将所述图像输入预设的目标检测模型，获取所述图像中各个网格的第一检测信息、第二检测信息和第三检测信息，所述第一检测信息包括：车道线边界点横向偏移、车道线边界点分数；所述第二检测信息包括：各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值；所述第三检测信息包括：网格内的车道线边界点与上方相邻网格内车道线边界点的连线与水平方向的夹角；
第一处理模块，用于对所述各个网格的第一检测信息进行非极大值抑制处理，获取所述图像中的各个车道线边界点的位置；
第二处理模块，用于对所述各个网格的第二检测信息进行非极大值抑制处理，获取所述图像中的各个车道中心点的位置以及对应的车道宽度；
确定模块，用于根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度、各个车道线边界点方向以及位置，确定所述图像中的车道线。
9.根据权利要求8所述的装置，其特征在于，所述第一处理模块具体用于，
针对所述图像中的每行网格，每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格；
针对每个目标网格，根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标，确定所述图像中的一个车道线边界点的位置。
10.根据权利要求8所述的装置，其特征在于，所述第二处理模块具体用于，
针对所述图像中的每个网格，将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框；
针对每行网格，每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框；
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值，确定所述图像中的一个车道中心点的位置以及对应的车道宽度。
11.根据权利要求10所述的装置，其特征在于，所述第二处理模块具体用于，
针对每个目标预测框，根据所述目标预测框对应的车道中心点横向偏移，以及所述目标预测框所属的网格的坐标，确定所述图像中的一个车道中心点的位置；
根据所述目标预测框对应的预测框宽度调整值，以及所述目标预测框的宽度，确定所述一个车道中心点对应的车道宽度。
12.根据权利要求8所述的装置，其特征在于，所述确定模块具体用于，
针对每行网格的每隔预设步长的预设区域，判断所述预设区域内是否存在车道线边界点；
若存在车道线边界点，则将存在的车道线边界点作为车道线上的点；
若不存在车道线边界点，且存在根据车道中心点以及车道宽度确定得到的推测边界点，则将推测边界点作为车道线上的点；
针对所述图像中车道线上的每个车道线边界点，将与所述车道线边界点的位置匹配的车道线边界点方向，确定为所述车道线边界点的方向；
根据所述图像中车道线上的每个车道线边界点以及对应的方向，进行曲线拟合，得到所述图像中的车道线。
13.根据权利要求8所述的装置，其特征在于，所述目标检测模型包括：卷积部分和回归部分；
所述卷积部分，用于获取所述图像不同深度的底层特征，对不同深度的底层特征进行降维、反卷积以及联合卷积操作，得到所述图像对应的特征图；所述特征图中包括：所述图像中各个网格对应的特征点；
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息、第二检测信息和第三检测信息。
14.根据权利要求8所述的装置，其特征在于，还包括：训练模块；
所述获取模块，还用于获取训练数据，所述训练数据包括：大于预设数量的图像，以及图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度；
所述训练模块，用于采用所述训练数据对初始的目标检测模型进行训练，直至所述目标检测模型的损失函数满足预设条件；所述损失函数根据图像中各个真实车道线边界点的位置、各个相邻真实车道线边界点的连线与水平方向的夹角、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息、第二检测信息和第三检测信息确定。
15.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一所述的车道线检测方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的车道线检测方法。
17.一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如权利要求1-7任一所述的车道线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910536130.XA CN110263713B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910536130.XA CN110263713B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110263713A true CN110263713A (zh) | 2019-09-20 |
| CN110263713B CN110263713B (zh) | 2021-08-10 |
Family
ID=67919749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910536130.XA Active CN110263713B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110263713B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460073A (zh) * | 2020-04-01 | 2020-07-28 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、设备和存储介质 |
| CN111860155A (zh) * | 2020-06-12 | 2020-10-30 | 华为技术有限公司 | 一种车道线的检测方法及相关设备 |
| CN112132109A (zh) * | 2020-10-10 | 2020-12-25 | 北京百度网讯科技有限公司 | 车道线处理和车道定位方法、装置、设备及存储介质 |
| CN112229412A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 一种车道定位方法、装置及存储介质和服务器 |
| CN112721926A (zh) * | 2021-02-25 | 2021-04-30 | 北京信达五域科技有限公司 | 基于区块链的自动驾驶汽车车道保持控制方法、系统 |
| CN113327456A (zh) * | 2020-02-28 | 2021-08-31 | 华为技术有限公司 | 一种车道结构检测方法及装置 |
| CN113721602A (zh) * | 2021-07-28 | 2021-11-30 | 广州小鹏自动驾驶科技有限公司 | 参考线处理方法、装置、设备及存储介质 |
| CN114241313A (zh) * | 2021-12-21 | 2022-03-25 | 贝壳找房网(北京)信息技术有限公司 | 用于提取道路边界的方法、设备、介质和程序产品 |
| CN114495063A (zh) * | 2022-01-26 | 2022-05-13 | 深圳力维智联技术有限公司 | 一种车道偏离程度的检测方法、可读存储介质 |
| CN115049995A (zh) * | 2022-02-22 | 2022-09-13 | 阿波罗智能技术(北京)有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617412A (zh) * | 2013-10-31 | 2014-03-05 | 电子科技大学 | 实时车道线检测方法 |
| US20160026879A1 (en) * | 2014-07-23 | 2016-01-28 | Denso Corporation | Traffic lane marking recognition apparatus and traffic lane marking recognition program |
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
| CN109829351A (zh) * | 2017-11-23 | 2019-05-31 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
-
2019
- 2019-06-20 CN CN201910536130.XA patent/CN110263713B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617412A (zh) * | 2013-10-31 | 2014-03-05 | 电子科技大学 | 实时车道线检测方法 |
| US20160026879A1 (en) * | 2014-07-23 | 2016-01-28 | Denso Corporation | Traffic lane marking recognition apparatus and traffic lane marking recognition program |
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN109829351A (zh) * | 2017-11-23 | 2019-05-31 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
| CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| RICHARD MATTHAEI等: "Robust Grid-Based Road Detection for ADAS and Autonomous Vehicles in Urban Environments", 《 PROCEEDINGS OF THE 16TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 * |
| 姜立标等: "基于实例分割方法的复杂场景下车道线检测", 《机械设计与制造工程》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327456A (zh) * | 2020-02-28 | 2021-08-31 | 华为技术有限公司 | 一种车道结构检测方法及装置 |
| CN111460073B (zh) * | 2020-04-01 | 2023-10-20 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、设备和存储介质 |
| CN111460073A (zh) * | 2020-04-01 | 2020-07-28 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、设备和存储介质 |
| CN111860155A (zh) * | 2020-06-12 | 2020-10-30 | 华为技术有限公司 | 一种车道线的检测方法及相关设备 |
| CN111860155B (zh) * | 2020-06-12 | 2022-04-29 | 华为技术有限公司 | 一种车道线的检测方法及相关设备 |
| CN112132109A (zh) * | 2020-10-10 | 2020-12-25 | 北京百度网讯科技有限公司 | 车道线处理和车道定位方法、装置、设备及存储介质 |
| CN112229412A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 一种车道定位方法、装置及存储介质和服务器 |
| CN112229412B (zh) * | 2020-10-21 | 2024-01-30 | 腾讯科技（深圳）有限公司 | 一种车道定位方法、装置及存储介质和服务器 |
| CN112721926A (zh) * | 2021-02-25 | 2021-04-30 | 北京信达五域科技有限公司 | 基于区块链的自动驾驶汽车车道保持控制方法、系统 |
| CN113721602A (zh) * | 2021-07-28 | 2021-11-30 | 广州小鹏自动驾驶科技有限公司 | 参考线处理方法、装置、设备及存储介质 |
| CN113721602B (zh) * | 2021-07-28 | 2024-04-05 | 广州小鹏汽车科技有限公司 | 参考线处理方法、装置、设备及存储介质 |
| CN114241313A (zh) * | 2021-12-21 | 2022-03-25 | 贝壳找房网(北京)信息技术有限公司 | 用于提取道路边界的方法、设备、介质和程序产品 |
| CN114495063A (zh) * | 2022-01-26 | 2022-05-13 | 深圳力维智联技术有限公司 | 一种车道偏离程度的检测方法、可读存储介质 |
| CN115049995A (zh) * | 2022-02-22 | 2022-09-13 | 阿波罗智能技术(北京)有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110263713B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263713A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN110276293A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN109345596B (zh) | 多传感器标定方法、装置、计算机设备、介质和车辆 | |
| US11415672B2 (en) | Method and apparatus for generating object detection box, device, storage medium, and vehicle | |
| CN110232368A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
| CN110263714A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN109556596A (zh) | 基于地面纹理图像的导航方法、装置、设备及存储介质 | |
| CN110866496A (zh) | 基于深度图像的机器人定位与建图方法和装置 | |
| EP3624055A1 (en) | Ground detection method, apparatus, electronic device, vehicle and storage medium | |
| CN108352056A (zh) | 用于校正错误深度信息的系统和方法 | |
| CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
| CN114387319B (zh) | 点云配准方法、装置、设备以及存储介质 | |
| KR101030317B1 (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
| TWI608744B (zh) | 估算裝置及其無線網路之通訊品質估算方法及電表安裝方法 | |
| US12106528B2 (en) | Generating scene flow labels for point clouds using object labels | |
| CN115719436A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| US10242495B2 (en) | Method for adapting a mesh model of a geological subsurface | |
| CN109299686A (zh) | 一种车位识别方法、装置、设备及介质 | |
| CN118463965A (zh) | 定位精度评价方法、装置以及车辆 | |
| CN115294234B (zh) | 图像的生成方法、装置、电子设备和存储介质 | |
| CN117664167A (zh) | 一种横向路径规划方法、装置和无人车 | |
| CN109188419A (zh) | 障碍物速度的检测方法、装置、计算机设备及存储介质 | |
| CN114677662A (zh) | 一种车辆前方障碍状态预测方法、装置、设备及存储介质 | |
| EP4530982A1 (en) | Cross-domain spatial matching for monocular 3d object detection and/or low-level sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |