[go: up one dir, main page]

CN112084988B - 车道线实例聚类方法、装置、电子设备和存储介质 - Google Patents

车道线实例聚类方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112084988B
CN112084988B CN202010972488.XA CN202010972488A CN112084988B CN 112084988 B CN112084988 B CN 112084988B CN 202010972488 A CN202010972488 A CN 202010972488A CN 112084988 B CN112084988 B CN 112084988B
Authority
CN
China
Prior art keywords
lane line
clustering
feature vector
cluster
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010972488.XA
Other languages
English (en)
Other versions
CN112084988A (zh
Inventor
李宇明
刘国清
郑伟
杨广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Youjia Innovation Technology Co ltd
Original Assignee
Wuhan Youjia Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Youjia Innovation Technology Co ltd filed Critical Wuhan Youjia Innovation Technology Co ltd
Publication of CN112084988A publication Critical patent/CN112084988A/zh
Application granted granted Critical
Publication of CN112084988B publication Critical patent/CN112084988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车道线实例聚类方法、装置、电子设备和存储介质。所述方法包括:获取车道线二进制分割结果和车道线特征向量,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。整个过程,使用聚类网络替代传统聚类算法得到聚类中心和聚类半径,可将聚类算法的处理转移到GPU操作,节省CPU计算量,提高车道线实例分割效率。

Description

车道线实例聚类方法、装置、电子设备和存储介质
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车道线实例聚类方法、装置、电子设备和存储介质。
背景技术
随着人工智能技术的发展和传感器精度的提升,自动驾驶技术成为当下热门的研究领域,备受社会关注。其中,车道线检测是其中一项基础而重要的任务,在辅助驾驶系统和自动驾驶系统中都发挥着关键性的作用。
为克服传统车道线检测方法的稳定性差和检测耗时的问题,有研究者采用了采用深度神经网络替换传统的车道线检测方法,该方法在车道线检测的精度和鲁棒性上,有明显的提升。其中,最具代表性的基于深度学习的车道线实例分割方法,是将实例分割算法用在车道线检测上,在输出车道线二进制分割结果的同时,还会输出一支车道线特征向量分支,结合特征向量分支的结果,进一步将车道线语义分割的输出转化成实例分割。
然而,上述方法在实际工程应用中仍然存在一些问题:车道线特征向量分支还需要复杂的后处理聚类算法,才能得到最终的聚类结果并将车道线语义分割转化为实例分割,过程复杂且耗时,且车载嵌入式设备上的CPU(Central Processing Unit,中央处理器)算力有限,一般支持不了频繁聚类这种复杂操作。由此,可见目前基于深度学习的车道线实例分割方法存在车道线实例分割效率不高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高车道线实例分割效率的车道线实例聚类方法、装置、电子设备和存储介质。
一种车道线实例聚类方法,所述方法包括:
获取车道线二进制分割结果和车道线特征向量;
根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图;
将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识;
将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,距离判断用于区分车道线聚类向量所属的聚类中心,已训练的聚类网络基于历史车道线特征向量直方图、由预设聚类算法得到的聚类中心和聚类半径训练得到。
在其中一个实施例中,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:
将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心分类结果;
基于聚类中心分类结果,采用连通域标定算法提取聚类中心的坐标;
根据聚类中心的坐标,索引出各聚类中心对应的聚类半径。
在其中一个实施例中,已训练的聚类网络包括聚类中心分类分支和聚类半径回归分支;
将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:
将车道线特征向量直方图输入至已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果;
基于聚类中心分类结果,采用连通域标定算法提取出聚类中心;
根据提取出的聚类中心,通过聚类半径回归分支索引各聚类中心对应的聚类半径。
在其中一个实施例中,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识包括:
获取聚类中心对应的聚类标识;
当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
在其中一个实施例中,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径之前,还包括:
获取历史车道线二进制分割结果和历史车道线特征向量;
采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图;
根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集;
基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
在其中一个实施例中,车道线二进制分割结果和车道线特征向量由已训练的车道线检测网络对车道驾驶场景图像进行语义分割得到。
在其中一个实施例中,已训练的聚类网络包括主干网络和多任务输出网络。
一种车道线实例聚类装置,装置包括:
数据获取模块,用于获取车道线二进制分割结果和车道线特征向量;
直方图数据获取模块,用于根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图;
聚类特征数据提取模块,用于将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
聚类处理模块,用于基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识;
实例分割模块,用于将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,距离判断用于区分车道线特征向量所属的聚类中心,已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到。
在其中一个实施例中,装置还包括:
网络训练模块,用于获取历史车道驾驶场景图像数据,将历史车道驾驶场景图像数据输入至已训练的车道线检测网络进行语义分割,得到历史车道线二进制分割结果和历史车道线特征向量,采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图,根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集,基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取车道线二进制分割结果和车道线特征向量;
根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图;
将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识;
将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,距离判断用于区分车道线特征向量所属的聚类中心,已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取车道线二进制分割结果和车道线特征向量;
根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图;
将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识;
将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,距离判断用于区分车道线特征向量所属的聚类中心,已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到。
上述车道线实例聚类方法、装置、电子设备和存储介质,获取车道线二进制分割结果和车道线特征向量,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。整个过程,使用聚类网络替代了传统复杂聚类算法得到聚类中心和聚类半径,使得可将聚类算法转移到GPU(Graphics Processing Unit,图形处理器)操作,节省大量CPU计算量,同时,将预设聚类算法的输出作为聚类网络的训练数据,无需人工标注数据,提高车道线实例分割效率。
附图说明
图1为一个实施例中车道线实例聚类方法的应用环境图;
图2为一个实施例中车道线实例聚类方法的流程示意图;
图3(a)为一个实施例中车道线特征向量二维直方图示意图;
图3(b)为一个实施例中聚类网络的输出结果示意图;
图3(c)为一个实施例中车道线二进制分割结果示意图;
图3(d)为一个实施例中车道线实例分割结果示意图;
图4为另一个实施例中车道线实例聚类方法的流程示意图;
图5为一个实施例中训练聚类网络步骤的流程示意图;
图6为一个实施例中车道线实例聚类装置的结构框图;
图7为另一个实施例中车道线实例聚类装置的结构框图;
图8为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的车道线实例聚类方法,可以应用于如图1所示的应用环境中。其中,车辆102设置有车载嵌入设备,包括摄像头和处理器。具体的,可以是车辆102的摄像头实时采集车道驾驶场景图像,并将采集到的图像上传至处理器,处理器通过已训练的车道线检测网络对车道驾驶场景图像进行语义分割处理,得到车道线二进制分割结果和车道线特征向量,然后,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。其中,处理器可包括GPU和/或CPU。
在一个实施例中,如图2所示,提供了一种车道线实例聚类方法,以该方法应用于图1中的车辆102为例进行说明,包括以下步骤:
步骤202,获取车道线二进制分割结果和车道线特征向量。
车道线二进制分割结果即为车道线二进制分割图像,如图3(c)所示,该部分显示了车道线检测网络输出的车道线二进制分割结果。在实际应用中,车辆的摄像头实时采集车道驾驶场景图像,并将采集的图像上传至处理器,处理器接收该图像,将图像输入至已训练的车道线检测网络,对车道驾驶场景图像进行语义分割得到车道线二进制分割结果和车道线特征向量。本实施例中,车道线二进制分割结果为一个H×W的二维图像,其中,H和W与输入图像的高度和宽度相同。在二进制分割结果中车道线上的点的值为1,背景点的值为0。车道线特征向量为车道线二维特征向量,具体为一个2×H×W的矩阵。特征向量中的值可以保证同一条车道线上的点的特征向量间的L2距离小于δv,而不同车道线上的点的特征向量间的L2距离大于2δd,其中,δv和δd分别表示类内的距离边缘和类间的距离边缘,在训练时指定。
步骤204,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图。
当得到车道线二进制分割结果和车道线特征向量之后,可根据车道线二进制分割结果和车道线特征向量做直方图统计处理,得到车道线特征向量直方图。直方图统计是图像处理算法中基本和常见的算法之一,主要原理就是将图像中各个灰度级的像素个数进行计算并统计。本实施例中,车道线特征向量直方图为车道线特征向量二维直方图,具体可如图3(a)部分所示,其可以作为聚类网络的输入数据。该二维直方图被约束在了一个h×w的小尺寸二维空间中,从而达到减少计算量的目的。
步骤206,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径。
具体实施时,已训练的聚类网络可以是采用共享权值的CNN(ConvolutionalNeural Networks)主干网络+多任务输出的网络结构。其中,其中多任务网络输出包括两个分支,聚类中心分类分支和聚类半径回归分支。聚类中心分类分支为一个h×w的二维图像,h和w与输入直方图的高度和宽度相同,为一个小尺寸图像(例如56×56)。在二进制分割结果中聚类中心上的点的值为1,背景点的值为0。聚类半径回归分支为一个h×w的二维图像,其中与聚类中心对应的点输出聚类半径,背景点输出随机值。聚类网络可以是基于历史车道驾驶场景图像、预设车道线检测网络等进行训练得到。训练完毕的聚类网络,输入车道线特征向量直方图,便能得到聚类半径和聚类中心,具体的,图3(b)为聚类网络的输出结果,包括聚类中心和聚类半径。
步骤208,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识。
本实施例中,在得到聚类中心和聚类半径后,可基于聚类中心和聚类半径对车道线特征向量进行距离判断,即对车道线上所有点的二维特征向量与每一个得到的聚类中心计算L2距离,如果该特征点落在了某一聚类中心和聚类半径所定义的圆内,则认为该特征点属于该聚类中心。通过距离判断,车道线上的所有点对应的特征向量,都可以唯一的归属到某一个聚类中心,从而得到了车道线二维特征向量空间的聚类结果,即为每个车道线二维特征向量赋予一个唯一的车道线ID(Identity,身份)。
步骤210,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。
在得到车道线二维特征向量的聚类结果后,由于车道线二进制分割结果,并不能区分每条车道线上的点,因此,可将车道线特征向量和车道线特征向量对应的聚类标识反投回车道线二进制分割结果的真实空间,进行一一对应映射,得到车道线实例分割结果(可如图3(d)所示的车道线实例分割结果)。该车道线实例分割结果中,同一条车道线上的点具有相同的ID,不同车道线上的点ID不同。
上述车道线实例聚类方法中,获取车道线二进制分割结果和车道线特征向量,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。整个过程,使用聚类网络替代了传统聚类算法对车道线特征向量进行聚类,使得可将后处理聚类算法转移到GPU操作,节省大量CPU计算量,同时,直接将预设聚类算法的输出作为聚类网络的训练数据,无需人工标注数据,提高车道线实例分割效率。
在其中一个实施例中,步骤206包括:将车道线特征向量直方图输入已训练的聚类网络,得到聚类中心分类结果,基于聚类中心的分类结果,采用连通域标定算法提取聚类中心的坐标,根据聚类中心的坐标,索引出各聚类中心对应的聚类半径。
在其中一个实施例中,如图4所示,已训练的聚类网络包括聚类中心分类分支和聚类半径回归分支;
步骤206包括:步骤226,将车道线特征向量直方图输入已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果,基于聚类中心分类结果,采用连通域标定算法提取出聚类中心,根据提取出的聚类中心,通过聚类半径回归分支索引各聚类中心对应的聚类半径。
具体实施时,聚类网络包括聚类中心分类分支和聚类半径回归分支。聚类中心的获取可以是先将车道线特征向量直方图输入已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果。其中,聚类中心上点的像素值为1,背景点的像素值为0。然后,采用连通域标定算法标记聚类中心分类结果,提取出聚类中心。聚类中心已知,聚类中心的坐标也同样能够知晓,可以再基于聚类中心的坐标,于聚类半径回归分支索引各聚类中心对应的聚类半径,至此,能够输出聚类中心和对应的聚类半径。本实施例中,采用连通域标定算法能够快速提取出聚类中心,通过聚类半径回归分支也能快速索引各聚类中心对应的聚类半径。
在其中一个实施例中,如图4所示,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识包括:步骤228,获取聚类中心添加对应的聚类标识,当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
具体实施时,可以是为各聚类中心添加聚类标识如车道线ID,然后,判断当前车道线特征向量对应的像素点是否处于目标范围内,即判断车道线二维特征向量对应的像素点是否在由某个聚类中心和聚类中心对应的聚类半径组成的区域范围(圆)内,若,该像素点在某个圆内,则该点所在的圆对应的聚类中心所属的车道线ID赋予给该像素点,如此,每个车道线二维特征向量都对应有唯一的车道线ID,得到车道线二维特征向量空间的聚类结果。本实施例中,将车道线二维特征向量与聚类中心和聚类半径进行比较,为其添加上对应的标识数据,能够便于后期的实例分割。
在其中一个实施例中,如图5所示,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径之前,还包括:
步骤205,获取历史车道线二进制分割结果和历史车道线特征向量;
步骤225,采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图;
步骤245,根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集;
步骤265,基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
在实际应用中,为了训练聚类网络,摄像头需要大量采集不同光照条件、不同场景、不同视角的驾驶图像数据即历史车道驾驶场景图像,包括大车视角数据和小车视角数据。采集历史车道驾驶场景图像数据之久,可将历史车道驾驶场景图像数据输入到预设的已训练的车道线检测网络进行语义分割,得到历史车道线二进制分割结果和历史车道线二维特征向量。然后,开始聚类网络的训练,聚类网络的训练过程可以是:获取历史车道线二进制分割结果和历史车道线二维特征向量,再将历史车道线二进制分割结果和历史车道线二维特征向量输入至设计好的后处理聚类算法,得到聚类中心和聚类半径,其中,后处理聚类算法可以是DBSCAN(Density-Based Spatial Clustering of Applications withNoise,具有噪声的基于密度的聚类方法)、Mean-Shift(均值漂移算法)等算法。再将车道线二进制分割结果和车道线二维特征向量进行二维特征向量的二维直方图统计计算,得到对应的历史车道线特征向量直方图。然后,将大量的历史车道驾驶场景图像输入至车道线检测网络,重复进行上述处理,得到每张图像对应的历史车道线特征向量直方图、聚类中心和聚类半径,基于这些数据,构建聚类网络的训练数据集。其中,将后处理聚类算法的输出的聚类中心和聚类半径作为聚类网络训练数据的真实值,结合训练数据集来训练聚类网络。具体的,可以是利用下述公式(1)的损失函数训练该聚类网络:
L1(W)=||y1-fW(x)||2 (2)
L2(W)=-log(softmax(y2,fW(x))) (3)
上述公式中,L1(W)为聚类半径回归分支输出的聚类半径和聚类半径真实值间的欧式距离,y1表示聚类半径的真实值,fW(x)表示要训练的聚类网络参数。其中,计算距离的时候只考虑聚类中心对应的点,其他点不参与训练。L2(W)是聚类中心分类分支的交叉熵损失函数,其中,y2表示聚类中心的真实值。公式(1)的优化目的是同时寻找最优的网络参数W,权重系数σ1和σ2,最终的目标可以看成是学习每一个子任务输出的相对权重。其中,数值大的σ2会降低L2(W)的影响,数值小的σ2会增大L2(W)的影响,如此,每个任务的权重可以由训练过程自动决定,不需要人为设置,且采用后处理聚类算法的输出结果作为聚类半径和聚类中心的真实值,无需人工标注数据,有利于算法的工业化。
应该理解的是,虽然图2、图4以及图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4以及图5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中,如图6所示,提供了一种车道线实例聚类装置,包括:数据获取模块510、直方图数据获取模块520、聚类特征数据提取模块530、聚类处理模块540和实例分割模块550,其中:
数据获取模块510,用于获取车道线二进制分割结果和车道线特征向量,其中。
直方图数据获取模块520,用于根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图。
聚类特征数据提取模块530,用于将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到。
聚类处理模块540,用于基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,距离判断用于区分车道线特征向量所属的聚类中心。
实例分割模块550,用于将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果。
在其中一个实施例中,聚类特征数据提取模块530还用于基于车道线特征向量直方图,采用连通域标定算法提取聚类中心的坐标,根据聚类中心的坐标,索引出各聚类中心对应的聚类半径。
在其中一个实施例中,聚类特征数据提取模块530还用于将车道线特征向量直方图输入至已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果,基于聚类中心分类结果,采用连通域标定算法提取出聚类中心,根据提取出的聚类中心,通过聚类半径回归分支索引各聚类中心对应的聚类半径。
在其中一个实施例中,聚类处理模块540还用于获取聚类中心对应的聚类标识,当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
在其中一个实施例中,如图7所示,装置还包括网络训练模块560,用于获取历史车道线二进制分割结果和历史车道线特征向量,采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图,根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集,基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
关于车道线实例聚类装置的具体限定可以参见上文中对于车道线实例聚类方法的限定,在此不再赘述。上述车道线实例聚类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是车载嵌入设备,其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车道线实例聚类方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取车道线二进制分割结果和车道线特征向量,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果,其中,距离判断用于区分车道线二维特征向量属于哪一个聚类中心,已训练的聚类网络基于历史车道线特征向量直方图、由预设聚类算法得到的聚类中心和聚类半径训练得到。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:基于车道线特征向量直方图,采用连通域标定算法提取聚类中心的坐标,根据聚类中心的坐标,索引出各聚类中心对应的聚类半径。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:将车道线特征向量直方图输入至已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果,基于聚类中心分类结果,采用连通域标定算法提取出聚类中心,根据提取出的聚类中心,通过聚类半径回归分支索引各聚类中心对应的聚类半径。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取聚类中心对应的聚类标识,当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取历史车道驾驶场景图像数据,将历史车道驾驶场景图像数据输入至已训练的车道线检测网络进行语义分割,得到历史车道线二进制分割结果和历史车道线特征向量,采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图,根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集,基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取车道线二进制分割结果和车道线特征向量,根据车道线二进制分割结果和车道线特征向量,得到车道线特征向量直方图,将车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径,基于聚类中心和聚类半径,对车道线特征向量进行距离判断,得到车道线特征向量对应的聚类标识,将车道线特征向量和车道线特征向量对应的聚类标识与车道线二进制分割结果进行对应映射,得到车道线实例分割结果,其中,距离判断用于区分车道线二维特征向量所属的聚类中心,已训练的聚类网络基于历史车道线特征向量直方图、由预设聚类算法得到的聚类中心和聚类半径训练得到。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:基于车道线特征向量直方图,采用连通域标定算法提取聚类中心的坐标,根据聚类中心的坐标,索引出各聚类中心对应的聚类半径。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:将车道线特征向量直方图输入至已训练的聚类网络,从聚类中心分类分支提取出聚类中心分类结果,基于聚类中心分类结果,采用连通域标定算法提取出聚类中心,根据提取出的聚类中心,通过聚类半径回归分支索引各聚类中心对应的聚类半径。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取聚类中心对应的聚类标识,当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取历史车道线二进制分割结果和历史车道线特征向量,采用预设聚类算法对历史车道线二进制分割结果和历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对历史车道线二进制分割结果和历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图,根据历史车道线特征向量直方图、预设聚类算法得到的聚类中心和聚类半径,构建训练数据集,基于训练数据集结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车道线实例聚类方法,其特征在于,所述方法包括:
获取车道线二进制分割结果和车道线特征向量;
根据所述车道线二进制分割结果和所述车道线特征向量,得到车道线特征向量直方图;
将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
基于所述聚类中心和聚类半径,对所述车道线特征向量进行距离判断,得到所述车道线特征向量对应的聚类标识;
将所述车道线特征向量和所述车道线特征向量对应的聚类标识与所述车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,所述距离判断用于区分车道线特征向量所属的聚类中心,所述已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到,所述已训练的聚类网络包括聚类中心分类分支和聚类半径回归分支;
所述将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:通过所述聚类中心分类分支,得到聚类中心,通过所述聚类半径回归分支,得到各聚类中心对应的聚类半径。
2.根据权利要求1所述的方法,其特征在于,所述将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:
将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心分类结果;
基于所述聚类中心分类结果,采用连通域标定算法提取聚类中心;
根据所述聚类中心,索引出所述聚类中心对应的聚类半径。
3.根据权利要求1所述的方法,其特征在于,所述将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:
将所述车道线特征向量直方图输入至已训练的聚类网络,从所述聚类中心分类分支提取出聚类中心分类结果;
基于所述聚类中心分类结果,采用连通域标定算法提取出聚类中心;
根据提取出的聚类中心,通过所述聚类半径回归分支索引各聚类中心对应的聚类半径。
4.根据权利要求1所述的方法,其特征在于,所述基于所述聚类中心和聚类半径,对所述车道线特征向量进行距离判断,得到所述车道线特征向量对应的聚类标识包括:
获取聚类中心对应的聚类标识;
当当前车道线特征向量对应的像素点处于目标范围内时,为当前车道线特征向量添加当前聚类中心对应的聚类标识,所述目标范围为当前聚类中心和当前聚类中心对应的聚类半径组成的区域范围。
5.根据权利要求1所述的方法,其特征在于,所述将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径之前,还包括:
获取历史车道线二进制分割结果和历史车道线特征向量;
采用预设聚类算法对所述历史车道线二进制分割结果和所述历史车道线特征向量进行聚类处理,得到聚类中心和聚类半径;以及,对所述历史车道线二进制分割结果和所述历史车道线特征向量做直方图统计,得到历史车道线特征向量直方图;
根据所述历史车道线特征向量直方图、所述预设聚类算法得到的聚类中心和聚类半径,构建训练数据集;
基于所述训练数据集,结合预设损失函数,训练初始聚类网络,得到已训练的聚类网络。
6.根据权利要求1所述的方法,其特征在于,所述车道线二进制分割结果和所述车道线特征向量由已训练的车道线检测网络对车道驾驶场景图像进行语义分割得到。
7.根据权利要求1至5中任意一项所述的方法,其特征在于,所述已训练的聚类网络包括主干网络和多任务输出网络。
8.一种车道线实例聚类装置,其特征在于,所述装置包括:
数据获取模块,用于获取车道线二进制分割结果和车道线特征向量;
直方图数据获取模块,用于根据所述车道线二进制分割结果和所述车道线特征向量,得到车道线特征向量直方图;
聚类特征数据提取模块,用于将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径;
聚类处理模块,用于基于所述聚类中心和聚类半径,对所述车道线特征向量进行距离判断,得到所述车道线特征向量对应的聚类标识;
实例分割模块,用于将所述车道线特征向量和所述车道线特征向量对应的聚类标识与所述车道线二进制分割结果进行对应映射,得到车道线实例分割结果;
其中,所述距离判断用于区分车道线特征向量所属的聚类中心,所述已训练的聚类网络基于历史车道线特征向量直方图以及由预设聚类算法得到的聚类中心和聚类半径训练得到,所述已训练的聚类网络包括聚类中心分类分支和聚类半径回归分支;
所述将所述车道线特征向量直方图输入至已训练的聚类网络,得到聚类中心和聚类半径包括:通过所述聚类中心分类分支,得到聚类中心,通过所述聚类半径回归分支,得到各聚类中心对应的聚类半径。
9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010972488.XA 2020-06-08 2020-09-16 车道线实例聚类方法、装置、电子设备和存储介质 Active CN112084988B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020105133575 2020-06-08
CN202010513357 2020-06-08

Publications (2)

Publication Number Publication Date
CN112084988A CN112084988A (zh) 2020-12-15
CN112084988B true CN112084988B (zh) 2024-01-05

Family

ID=73738004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972488.XA Active CN112084988B (zh) 2020-06-08 2020-09-16 车道线实例聚类方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112084988B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507977B (zh) * 2021-01-21 2021-12-07 国汽智控(北京)科技有限公司 一种车道线定位方法、装置及电子设备
CN112906551B (zh) * 2021-02-09 2025-02-07 北京有竹居网络技术有限公司 视频处理方法、装置、存储介质及电子设备
CN118484686A (zh) 2023-02-13 2024-08-13 重庆长安汽车股份有限公司 众包地图车线聚类方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770577A (zh) * 2010-01-18 2010-07-07 浙江林学院 无人机航片松材线虫病病死木的膨胀-剔除信息提取法
CN109214428A (zh) * 2018-08-13 2019-01-15 平安科技(深圳)有限公司 图像分割方法、装置、计算机设备及计算机存储介质
CN109740609A (zh) * 2019-01-09 2019-05-10 银河水滴科技(北京)有限公司 一种轨距检测方法及装置
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN110866527A (zh) * 2018-12-28 2020-03-06 北京安天网络安全技术有限公司 一种图像分割方法、装置、电子设备及可读存储介质
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020329B2 (en) * 2001-08-31 2006-03-28 Massachusetts Institute Of Technology Color image segmentation in an object recognition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770577A (zh) * 2010-01-18 2010-07-07 浙江林学院 无人机航片松材线虫病病死木的膨胀-剔除信息提取法
CN109214428A (zh) * 2018-08-13 2019-01-15 平安科技(深圳)有限公司 图像分割方法、装置、计算机设备及计算机存储介质
CN110866527A (zh) * 2018-12-28 2020-03-06 北京安天网络安全技术有限公司 一种图像分割方法、装置、电子设备及可读存储介质
CN109740609A (zh) * 2019-01-09 2019-05-10 银河水滴科技(北京)有限公司 一种轨距检测方法及装置
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image segmentation by histogram thresholding using hierarchical cluster analysis;Agus Zainal Arifin, Akira Asano;Pattern Recognition Letters;全文 *
改进的 FCM 聚类医学超声图像分割算法;石振刚 等;沈 阳 理 工 大 学 学 报;全文 *

Also Published As

Publication number Publication date
CN112084988A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Ghamisi et al. Multilevel image segmentation based on fractional-order Darwinian particle swarm optimization
CN106228185B (zh) 一种基于神经网络的通用图像分类识别系统及方法
CN112084988B (zh) 车道线实例聚类方法、装置、电子设备和存储介质
Giang et al. TopicFM: Robust and interpretable topic-assisted feature matching
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN110222718B (zh) 图像处理的方法及装置
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
Xiang et al. Lightweight fully convolutional network for license plate detection
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN112633294A (zh) 基于感知哈希的显著性区域检测方法、设备及存储设备
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
Alsanad et al. Real-time fuel truck detection algorithm based on deep convolutional neural network
CN111539910B (zh) 锈蚀区域检测方法及终端设备
CN117197543A (zh) 基于GMD图像化与改进ResNeXt的网络异常检测方法及装置
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN112241736A (zh) 一种文本检测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230428

Address after: No. 103-63, Xiaojunshan Community Commercial Building, Junshan Street, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province, 430119

Applicant after: Wuhan Youjia Innovation Technology Co.,Ltd.

Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant