CN118155177A - 车辆所在车道的定位方法、装置和电子设备 - Google Patents
车辆所在车道的定位方法、装置和电子设备 Download PDFInfo
- Publication number
- CN118155177A CN118155177A CN202410579612.4A CN202410579612A CN118155177A CN 118155177 A CN118155177 A CN 118155177A CN 202410579612 A CN202410579612 A CN 202410579612A CN 118155177 A CN118155177 A CN 118155177A
- Authority
- CN
- China
- Prior art keywords
- lane
- line
- vehicle
- lane line
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 3
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种车辆所在车道的定位方法、装置和电子设备，其中方法包括：基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点；对各车道线的车道线线点进行拟合，生成车道线；根据导流线与车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；基于导流线区域的判断结果，确定车辆所在车道。本发明能够更为准确地识别出车道线和导流线，克服漏检情况，进而准确地得到车辆定位在哪条车道。
Description
技术领域
本发明主要涉及车道识别技术领域，尤其涉及一种车辆所在车道的定位方法、装置和电子设备。
背景技术
车辆导航已经成为现代汽车的重要配置之一，它不仅提高了驾驶的便捷性和安全性，还为驾驶员提供了更多车道信息以及环境信息，有助于提升驾驶体验。为实现上述目的，对车道线的检测以及确定车辆所在车道非常重要，尤其是车道线的检测，它为导航系统提供了关于道路结构和行驶方向的重要信息，从而确保车辆能够安全、准确地按照预定路线行驶。
车道线检测是自动驾驶和高级驾驶辅助系统中的重要组成部分，其主要目的是帮助车辆识别并跟踪道路的车道边界，从而确保车辆在正确的路径上行驶。车道线检测技术的发展不仅提高了道路行驶的安全性，也为自动驾驶技术的进一步推广和应用提供了有力支持。然而，车道线的形态具有很多不确定性，如被遮挡、磨损以及道路变化时本身的不连续性等，这些都对车道线检测技术的准确性和鲁棒性提出了挑战。
车道线检测的一般过程如下：首先使用摄像头或其他传感器捕获道路图像，并对图像进行必要的预处理，如灰度化、去噪、对比度增强等，以突出车道线特征；其次应用边缘检测算法（如Canny边缘检测）或颜色空间转换来提取图像中车道线边缘或特定颜色区域；再根据提取的特征识别出图像中的车道线，如使用直线拟合算法或曲线拟合方法来确定车道线的准确位置；最后将拟合得到的车道线位置信息以可视化的形式呈现在原图像上，供驾驶员或自动驾驶系统参考。实际应用中还需要考虑更多的细节和优化措施，以确保车道线检测的准确性和可靠性。
当前采用车道级导航（包括车道线检测）依赖图像、激光雷达等器件，这不仅器件昂贵且对算法的要求较高，还对遮挡、未检出等情况等敏感，同时，未识别或未识别出导流线，也就不能准确地得到车辆相对于车道的位置。
发明内容
本发明要解决的技术问题是提供一种车辆所在车道的定位方法、装置和电子设备，能够更为准确地识别出车道线和导流线，克服漏检情况，进而准确地得到车辆定位在哪条车道。
为解决上述技术问题，第一方面，本发明提供了一种车辆所在车道的定位方法，包括：基于摄像装置对所述车辆前方区域进行检测，获取用于生成各车道线的车道线线点；对所述各车道线的车道线线点进行拟合，生成车道线；根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；基于所述导流线区域的判断结果，确定所述车辆所在车道。
可选地，所述摄像装置为DVR相机。
可选地，基于摄像装置对所述车辆前方区域进行检测包括：对所述DVR相机进行标定，基于标定后的DVR相机对所述车辆前方区域进行检测。
可选地，对所述各车道线的车道线线点进行拟合包括：采用最小二乘法对所述各车道线线点进行拟合。
可选地，对所述各车道线的车道线线点进行拟合还包括：采用最小二乘法对所述各车道线线点进行拟合后，若存在不满足误差要求的车道线，则基于满足误差要求的车道线计算灭点，再基于所述灭点和不满足误差要求的车道线线点重新计算车道线。
可选地，对所述各车道线的车道线线点进行拟合还包括：若满足误差要求的车道线不足两条，则采用RANSAC方法重新计算不满足误差要求的车道线。
可选地，对所述各车道线的车道线线点进行拟合还包括：经透视变换，将车道线变为平行线，判断是否存在缺失的车道线，若存在，则增补所述缺失的车道线。
可选地，判断是否存在缺失的车道线包括：若相邻两条车道线的像素宽度与实际车道像素宽度为2倍以上的整数倍数关系，则所检测的车道存在缺失的车道线。
可选地，所述透视变换为IPM透视变换。
可选地，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线包括：根据检测出的车道线、以及导流线与所述车道线的位置关系计算导流线灭点；划分ROI区域，所述ROI区域包括相邻两车道线之间的区域；对所述ROI区域进行直线提取和聚类，且提取所述ROI区域中的块状特征，当所述ROI区域存在聚类的直线且存在块状区域时，则所述ROI区域为导流线区域。
可选地，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线还包括：判断相邻两条车道线之间的车道线间距，若所述车道线间距小于实际车道线间距，则此区域为导流线区域。
第二方面，本发明提供了一种车辆所在车道的定位装置，包括：检测模块，用于基于摄像装置对所述车辆前方区域进行检测，获取用于生成各车道线的车道线线点；拟合模块，用于对所述各车道线的车道线线点进行拟合，生成车道线；计算模块，用于根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；确定模块，用于基于所述导流线区域的判断结果，确定所述车辆所在车道。
第三方面，本发明提供了一种电子设备，包括：处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的车辆所在车道的定位方法的步骤。
第四方面，本发明提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的车辆所在车道的定位方法的步骤。
与现有技术相比，本发明具有以下优点：首先基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点，再对各车道线的车道线线点进行拟合，生成车道线，又根据导流线与车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域，最后基于导流线区域的判断结果，确定车辆所在车道能够更为准确地识别出车道线和导流线，克服漏检情况，进而准确地得到车辆定位在哪条车道。
附图说明
包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本申请原理的作用。附图中：
图1是本发明一实施例车辆所在车道的定位方法的流程示意图；
图2是本发明一实施例中DVR相机标定示意图；
图3是本发明一实施例中检测到的车道线线点存在的4种情况；
图4是本发明一实施例中透视变换过程中源图和目标图的对比示意图；
图5是本发明一实施例中透视变换后的车道线示意图；
图6是本发明一实施例中3种导流线示意图；
图7是本发明一实施例中ROI区域示意图；
图8是本发明一实施例中车辆所在车道的结果示意图；
图9是本发明一实施例车辆所在车道的定位装置的结构示意图；
图10是根据本发明一实施例示出的电子设备示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
实施例一：图1是本发明一实施例车辆所在车道的定位方法的流程示意图，参考图1所示，方法100包括：
S110、基于摄像装置对所述车辆前方区域进行检测，获取用于生成各车道线的车道线线点。
通过图像识别车道线线点，进而得到车道线是自动驾驶和高级驾驶辅助系统中的一个关键环节。这种技术主要利用图像处理和分析方法，从车辆摄像头捕获的图像中准确地识别和提取出车道线的线点信息。基于所检测的车道线线点信息，再以相关计算方式求出车道线。
在一示例中，所采用的摄像装置为DVR相机（Digital Video Recorder）。DVR相机是一种结合了视频录制和摄影功能的设备，通常被用于汽车中作为行车记录仪使用，以记录行车过程中的视频和音频信息。之所以可以选择DVR相机对车道线线点进行检测，是因为DVR相机具有高清画质、通常具有广角镜头以及能够在光线较暗的环境下拍摄到清晰的视频画面的优势。
在一示例中，基于摄像装置对车辆前方区域进行检测可以是先对DVR相机进行标定，再基于标定后的DVR相机对车辆前方区域进行检测。
在本实施例中，对DVR相机进行标定，可包括DVR相机内参标定、DVR相机与路面
转换矩阵标定、车头在图像上投影点标定等，以使检测而后得到的车道线更为准确。
示例性的，可以采用以下方式对DVR相机进行标定，参考图2所示，图2是本发明一实施例中DVR相机标定示意图，图中（p、q）为标定板坐标系，（x、y、z）为相机坐标系。
DVR相机内参标定采用张氏标定方法，获取DVR相机内参：
式中，fx、fy分别为x方向和y方向的焦距，cx、cy为光心在图像上的坐标。水平地面
放置标定板，根据棋盘格角点个数（k，h）、每个棋盘格的实际宽度，计算棋盘格的实际物理
坐标，其中。
求解标定板与DVR相机之间坐标转换矩阵，提取棋盘格角点坐标，投影关
系为：
采用经典pnp算法（Perspective-n-Point，一种计算机视觉算法）求解转换矩阵。
测量车头左上角距离标定板原点距离、车宽、车身长为，此时左车头、右车头、
左车尾、右车尾在标定板坐标系下坐标分别为、，、。
分别计算左车头、右车头、左车尾、右车尾4个关键点在DVR相机下的投影点、、、；如左车头投影点满足如下投影关系：
其余3个关键点，可以采用同样方法计算，在此不再赘述。
S120、对所述各车道线的车道线线点进行拟合，生成车道线。
车道线拟合是指通过对车道线图像进行处理，利用数学模型拟合车道线的形状和位置。车道线通常由直线或曲线组成，拟合的目标就是找到最佳拟合曲线或直线，使其与实际车道线尽可能接近。
图3是本发明一实施例中检测到的车道线线点存在的4种情况，其中除左侧第一种情况为车道线检测正确，拟合误差较小之外，其余3种情况都是车道线检测存在结构性误差，拟合误差大。
在一示例中，对各车道线的车道线线点进行拟合可以是采用最小二乘法对各车道线线点进行拟合。
在曲线拟合和回归分析中，最小二乘法常被用于处理一组数据点，以找到一条最佳拟合的直线或曲线。例如，当具有一系列数据点并希望找到一条直线来最好地描述这些点的分布时，最小二乘法可以找到这样的直线。这条直线并不一定要经过所有的数据点，而是要使得所有数据点到这条直线的垂直距离（误差）的平方和最小。
示例性的，采用最小二乘法拟合车道线主要过程为：
1）单张图像上存在多条车道线，每个车道线存在多个点，对于第m条直线上的n个
车道线点(大于点的个数阈值ptthresh)，设车道线直线方程为。
令，，则上述齐次超定方程可简化为：
式中，平凡解无意义，采用SVD分解方法，求取该方程的最小二乘解。
2）根据点到直线距离公式，计算每个点与直线之间的拟合误差：
再计算平均误差：
3）平均误差小于阈值errthresh，则保存直线方程，如果大于阈值，则计算个车
道线点中小于阈值点个数与大于阈值点个数，小于阈值点个数较多，则剔除大于阈值的点，
重新拟合、计算误差、保存直线方程。
经过如上步骤1）~步骤3）步，判断保存的拟合的直线方程条数。
在本实施例中，有时采用最小二乘法对车道线进行拟合，拟合的误差存在大于阈值的情况，则可以在内点（局内点）多余外点（局外点）的情况下进行以下处理，选取内点重新拟合，以便求得车道线。
在一示例中，对各车道线的车道线线点进行拟合还包括：采用最小二乘法对各车道线线点进行拟合后，若存在不满足误差要求的车道线，则基于满足误差要求的车道线计算灭点（vanishing point），再基于灭点和不满足误差要求的车道线线点重新计算车道线。
在本实施例中，如果拟合的车道线数量num大于一定条数（如num>=2），则根据多条直线计算灭点
该齐次超定方程，采用SVD分解方法计算。
对于拟合误差较大的车道线点，其中一点固定为，另外，遍历选取车道线
上的点，根据两点式，计算直线方程，统计剩余点误差小于误差阈值errthresh的点个数，获
取个数最多、大于拟合直线点个数阈值ptthresh，返回直线方程。
剔除所有误差小于errthresh的点，再循环上述过程，直到剩下的点个数小于阈值，最终完成多条结构性误差车道线的分割。
在一示例中，对各车道线的车道线线点进行拟合还包括：若满足误差要求的车道线不足两条，则采用RANSAC（Random Sample Consensus）方法重新计算不满足误差要求的车道线。RANSAC方法是一种从包含“局内点”（inliers，内点，即可以适应模型的数据）和“局外点”（outliers，外点，即无法适应模型的数据）的数据集中，通过迭代方式估计数学模型的参数的方法。
由前述可知，对于通过灭点和不满足误差要求的车道线线点重新计算车道线的方式，其前提是需要求出灭点，而灭点则需要至少两条车道线才能求得，基于此，上述通过灭点和不满足误差要求的车道线线点重新计算车道线适用于已经求得了至少两条车道线的情况下。那么，在求取的车道线未达到两条的最低要求时，可以通过RANSAC方法重新计算不满足误差要求的车道线，以使车道线能够满足计算灭点的要求。
在一示例中，对各车道线的车道线线点进行拟合还包括：经透视变换，将车道线变为平行线，判断是否存在缺失的车道线，若存在，则增补缺失的车道线。
在一示例中，透视变换为IPM（Inverse Perspective Mapping）透视变换。
图4是本发明一实施例中透视变换过程中源图和目标图的对比示意图，参考图4所示，以IPM透视变换为例进行举例说明。
选定源图车道线上的4个点、、，选定目标
图上4个点、、，解算透视矩阵，其中T矩阵形式如
下：
而且透视矩阵满足：
的取值为 1、2、3、4。
经过透视变换以后，原始的交叉线变为等间隔平行线。距离根据车道宽度存在差异，城市道路物理宽度约为3.5m、干线公路约为3.75m，设源图上s1、s2、s3、s4包含4条3.5m车道，则逆透视变换后，3.5米车道像素宽度约为：
3.75m车道像素宽度约为3.75/3.5。
根据源图上车道线直线方程，固定g个v值(比如v分别取v1、v2、…，vg)，带入直线
方程可以计算出g个u值(u计算值对应为u1、u2、…，ug)，此时某条车道线上g个点的坐标为
（u1，v1）…（ug，vg）通过透视变换矩阵，计算逆透视变换后的点坐标（uT1，vT1）…（uTg，vTg），
按照此步骤计算出原图上所有车道线的逆透视点坐标。
图5是本发明一实施例中透视变换后的车道线示意图，参考图5所示，图中分别示出三种不同的经透视变换后的车道线情况，其中，l1、l2和l3分别为相邻两车道线之间的像素距离（可称为距离）。可见，在较理想的情况下，如图5左图所示，每两条车道线之间的距离应该是相等或者基本相等，且同实际两相邻车道线之间的距离相同。但是当出现缺失车道线的情况时，两相邻车道线之间的距离会大于实际两相邻车道线之间的距离。因此，通过检测到的车道线之间的距离可以判断所检测的车道线相比于实际车道线是否有缺失发生。在本实施例中，因检测误差或拟合计算误差的客观存在，严格来讲，完全相等很难实现，因此只要基本相等即可。基本相等表明只要是在允许的误差范围内，则认为检测到的相邻两车道线之间的距离与实际车道线之间的距离相等。
在一示例中，判断是否存在缺失的车道线包括：若相邻两条车道线的像素宽度与实际车道像素宽度为2倍以上的整数倍数关系，则所检测的车道存在缺失的车道线。
例如，以l表示车道像素宽度，如图5之中间附图和右附图所示，存在与接近的l1，存在与为倍数关系的l2，可判断为有检出有缺失，通过与l1进行增补。不存在与接近，但存在有倍数关系时，通过倍数，进行增补，以克服部分车道线漏检。
在本实施例中，通过透视矩阵取逆，将增补的车道线点，透视变换到源图上，进
行直线拟合。当然，还可以重新计算灭点。
S130、根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域。
导流线的形式主要有单实线、V型线和斜纹线三种，它们与道路中心线相连。导流线示意图参考图6所示，主要包含单斜线或者V形斜线，与车道线存在45°或135°夹角或者两者的组合。
在一示例中，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线包括：根据检测出的车道线、以及导流线与车道线的位置关系计算导流线灭点；划分ROI区域，ROI区域包括相邻两车道线之间的区域；对ROI区域进行直线提取和聚类，且提取ROI区域中的块状特征，当ROI区域存在聚类的直线且存在块状区域时，则ROI区域为导流线区域。
示例性的，首先计算车辆实际姿态：将灭点通过内参投影
DVR相机与车道线夹角为：
根据欧拉角与旋转矩阵公式：
在本实施例中，h、、。
去除包含的DVR相机与车身的安装旋转误差R后，车身与路面构成的旋转矩阵：
计算理想灭点：1）以xyz坐标系，生成斜率分别为±1直线上的理想点各大于等于
两条，比如斜率为1的两条直线上的点分别为(0,0),(1,1)、(0,1),(1,2)；2）以相机内参矩
阵、旋转矩阵分别对1、-1上的点进行投影变换；3）分别计算斜率为1、-1的投影点所在
直线交点为、为理想导流线灭点。
如图7所示，以相邻两车道线所在区域1245为有效区域，1245所围成外接长方形图像区域为ROI，选取ROI如图7所示。
最后对导流线区域判断，包括：
直线提取。可使用经典的直线提取算法hough、LSD、FLD、EDLines、LSM等对ROI区域直线提取，获取候选的导流线直线像素；剔除与车道线本身方向平行度较高的直线；根据斜率是否大于0，对图像上导流线直线进行粗分类。
直线聚类。分别计算点、到如上分类的直线之间的距离。剔除粗分
类中与理论灭点距离较远的直线，余下直线大于一定数量阈值num，则为导流线行车区域。
块状特征提取。对ROI区域进行Blob提取；对Blob进行最小外包围矩形提取，计算Blob面积与最小外包围矩形面积占比，小于一定阈值ratio，则不包含线条特征，为非导流线区域。Blob提取是指的是从图像中找到一块连通的区域，这个区域被称为Blob。
在一示例中，根据导流线与车道线的位置关系计算并判断车道中是否存在导流线还包括：判断相邻两条车道线之间的车道线间距，若车道线间距小于实际车道线间距，则此区域为导流线区域。
示例性的，根据投影关系：
，为车道线的索引号；
，其中n为每条车道线上的点；
则：
分别计算所点上的u坐标均值，且均值差小于一定阈值，则为非行车区域。
S140、基于所述导流线区域的判断结果，确定所述车辆所在车道。
图8是本发明一实施例中车辆所在车道的结果示意图，参考图8所示，从左至右的三种情况分别为：1、无导流线；2、右侧导流线；3左侧导流线。根据车头左右投影点坐标、根据导流线检测情况，如图中无导流线，以0车道线为起点，判断车道号，示例情况为第三车道；右侧包含导流线，以0车道线为起点，判断车道号，示例情况为第三车道；左侧包含导流线，以导流线最右侧车道线号为起点，示例以2号车道线为起点，车道号为第一车道。当然，从另一侧车道开始编号也是同样的道理，在此不再赘述。
本实施例提供的车辆所在车道的定位方法，首先基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点，再对各车道线的车道线线点进行拟合，生成车道线，又根据导流线与车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域，最后基于导流线区域的判断结果，确定车辆所在车道能够更为准确地识别出车道线和导流线，克服漏检情况，进而准确地得到车辆定位在哪条车道。
实施例二：图9是本发明一实施例车辆所在车道的定位装置的结构示意图，装置900主要包括：检测模块901，用于基于摄像装置对所述车辆前方区域进行检测，获取用于生成各车道线的车道线线点；拟合模块902，用于对所述各车道线的车道线线点进行拟合，生成车道线；计算模块903，用于根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；确定模块904，用于基于所述导流线区域的判断结果，确定所述车辆所在车道。
在一示例中，所述摄像装置为DVR相机。
在一示例中，基于摄像装置对所述车辆前方区域进行检测包括：对所述DVR相机进行标定，基于标定后的DVR相机对所述车辆前方区域进行检测。
在一示例中，对所述各车道线的车道线线点进行拟合包括：采用最小二乘法对所述各车道线线点进行拟合。
在一示例中，对所述各车道线的车道线线点进行拟合还包括：采用最小二乘法对所述各车道线线点进行拟合后，若存在不满足误差要求的车道线，则基于满足误差要求的车道线计算灭点，再基于所述灭点和不满足误差要求的车道线线点重新计算车道线。
在一示例中，对所述各车道线的车道线线点进行拟合还包括：若满足误差要求的车道线不足两条，则采用RANSAC方法重新计算不满足误差要求的车道线。
在一示例中，对所述各车道线的车道线线点进行拟合还包括：经透视变换，将车道线变为平行线，判断是否存在缺失的车道线，若存在，则增补所述缺失的车道线。
在一示例中，判断是否存在缺失的车道线包括：若相邻两条车道线的像素宽度与实际车道像素宽度为2倍以上的整数倍数关系，则所检测的车道存在缺失的车道线。
在一示例中，所述透视变换为IPM透视变换。
在一示例中，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线包括：根据检测出的车道线、以及导流线与所述车道线的位置关系计算导流线灭点；划分ROI区域（Region of Interest，感兴趣区域），所述ROI区域包括相邻两车道线之间的区域；对所述ROI区域进行直线提取和聚类，且提取所述ROI区域中的块状特征，当所述ROI区域存在聚类的直线且存在块状区域时，则所述ROI区域为导流线区域。
在一示例中，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线还包括：判断相邻两条车道线之间的车道线间距，若所述车道线间距小于实际车道线间距，则此区域为导流线区域。
本实施例中各模块执行的其他操作的细节可以参考前述实施例，在此不再展开。
本实施例提供的车辆所在车道的定位装置，首先基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点，再对各车道线的车道线线点进行拟合，生成车道线，又根据导流线与车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域，最后基于导流线区域的判断结果，确定车辆所在车道能够更为准确地识别出车道线和导流线，克服漏检情况，进而准确地得到车辆定位在哪条车道。
本申请实施例中的一种车辆所在车道的定位装置可以是装置，也可以是终端中的部件、集成电路、或芯片。本申请实施例中的一种车辆所在车道的定位装置可以为具有操作系统的装置。该操作系统可以为安卓操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请还提供了一种电子设备，包括：存储器，用于存储可由处理器执行的程序或指令；以及处理器，用于执行上述程序或指令以实现上述车辆所在车道的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
图10是根据本发明一实施例示出的电子设备示意图。电子设备1000可包括内部通信总线1001、处理器（Processor）1002、只读存储器（ROM）1003、随机存取存储器（RAM）1004、以及通信端口1005。内部通信总线1001可以实现电子设备1000组件之间的数据通信。处理器1002可以进行判断和发出提示。在一些实施方式中，处理器1002可以由一个或多个处理器组成。通信端口1005可以实现电子设备1000与外部的数据通信。在一些实施方式中，电子设备1000可以通过通信端口1005从网络发送和接收信息及数据。电子设备1000还可以包括不同形式的程序储存单元以及数据储存单元，只读存储器（ROM）1003和随机存取存储器（RAM）1004，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器1002所执行的可能的程序或指令。处理器1002处理的结果通过通信端口1005传给用户设备，在用户界面上显示。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述车辆所在车道的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中电子设备中的处理器。可读存储介质包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory， ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁碟或者光盘等。
对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (14)
1.一种车辆所在车道的定位方法，其特征在于，包括：
基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点；
对所述各车道线的车道线线点进行拟合，生成车道线；
根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；
基于所述导流线区域的判断结果，确定所述车辆所在车道。
2.如权利要求1所述的车辆所在车道的定位方法，其特征在于，所述摄像装置为DVR相机。
3.如权利要求2所述的车辆所在车道的定位方法，其特征在于，基于摄像装置对所述车辆前方区域进行检测包括：对所述DVR相机进行标定，基于标定后的DVR相机对所述车辆前方区域进行检测。
4.如权利要求1所述的车辆所在车道的定位方法，其特征在于，对所述各车道线的车道线线点进行拟合包括：采用最小二乘法对所述各车道线线点进行拟合。
5.如权利要求4所述的车辆所在车道的定位方法，其特征在于，对所述各车道线的车道线线点进行拟合还包括：采用最小二乘法对所述各车道线线点进行拟合后，若存在不满足误差要求的车道线，则基于满足误差要求的车道线计算灭点，再基于所述灭点和不满足误差要求的车道线线点重新计算车道线。
6.如权利要求5所述的车辆所在车道的定位方法，其特征在于，对所述各车道线的车道线线点进行拟合还包括：若满足误差要求的车道线不足两条，则采用RANSAC方法重新计算不满足误差要求的车道线。
7.如权利要求6所述的车辆所在车道的定位方法，其特征在于，对所述各车道线的车道线线点进行拟合还包括：
经透视变换，将车道线变为平行线，判断是否存在缺失的车道线，若存在，则增补所述缺失的车道线。
8.如权利要求7所述的车辆所在车道的定位方法，其特征在于，判断是否存在缺失的车道线包括：若相邻两条车道线的像素宽度与实际车道像素宽度为2倍以上的整数倍数关系，则所检测的车道存在缺失的车道线。
9.如权利要求7所述的车辆所在车道的定位方法，其特征在于，所述透视变换为IPM透视变换。
10.如权利要求1所述的车辆所在车道的定位方法，其特征在于，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线包括：
根据检测出的车道线、以及导流线与所述车道线的位置关系计算导流线灭点；
划分ROI区域，所述ROI区域包括相邻两车道线之间的区域；
对所述ROI区域进行直线提取和聚类，且提取所述ROI区域中的块状特征，当所述ROI区域存在聚类的直线且存在块状区域时，则所述ROI区域为导流线区域。
11.如权利要求10所述的车辆所在车道的定位方法，其特征在于，根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线还包括：
判断相邻两条车道线之间的车道线间距，若所述车道线间距小于实际车道线间距，则此区域为导流线区域。
12.一种车辆所在车道的定位装置，其特征在于，包括：
检测模块，用于基于摄像装置对车辆前方区域进行检测，获取用于生成各车道线的车道线线点；
拟合模块，用于对所述各车道线的车道线线点进行拟合，生成车道线；
计算模块，用于根据导流线与所述车道线的位置关系计算并判断车道中是否存在导流线，确定导流线区域；
确定模块，用于基于所述导流线区域的判断结果，确定所述车辆所在车道。
13.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-11任一项所述的车辆所在车道的定位方法的步骤。
14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-11任一项所述的车辆所在车道的定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410579612.4A CN118155177A (zh) | 2024-05-11 | 2024-05-11 | 车辆所在车道的定位方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410579612.4A CN118155177A (zh) | 2024-05-11 | 2024-05-11 | 车辆所在车道的定位方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118155177A true CN118155177A (zh) | 2024-06-07 |
Family
ID=91298910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410579612.4A Pending CN118155177A (zh) | 2024-05-11 | 2024-05-11 | 车辆所在车道的定位方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118155177A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007153031A (ja) * | 2005-12-01 | 2007-06-21 | Aisin Aw Co Ltd | 車両位置算出方法及び車載装置 |
| WO2020048027A1 (zh) * | 2018-09-06 | 2020-03-12 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于动态感兴趣区域的鲁棒性车道线检测方法 |
| CN112541437A (zh) * | 2020-12-15 | 2021-03-23 | 北京百度网讯科技有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
| CN113758501A (zh) * | 2021-09-08 | 2021-12-07 | 广州小鹏自动驾驶科技有限公司 | 检测地图中的异常车道线的方法和可读存储介质 |
| CN116977971A (zh) * | 2022-04-16 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 基于图像识别模型的图像处理方法及相关产品 |
| CN117423085A (zh) * | 2023-11-14 | 2024-01-19 | 合众新能源汽车股份有限公司 | 一种导流线区域检测方法及系统 |
| CN117576651A (zh) * | 2024-01-18 | 2024-02-20 | 合众新能源汽车股份有限公司 | 一种用于辅助驾驶的车道线拟合方法、系统及车辆 |
| CN117576650A (zh) * | 2024-01-16 | 2024-02-20 | 合众新能源汽车股份有限公司 | 基于融合的车辆变道检测方法和系统 |
-
2024
- 2024-05-11 CN CN202410579612.4A patent/CN118155177A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007153031A (ja) * | 2005-12-01 | 2007-06-21 | Aisin Aw Co Ltd | 車両位置算出方法及び車載装置 |
| WO2020048027A1 (zh) * | 2018-09-06 | 2020-03-12 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于动态感兴趣区域的鲁棒性车道线检测方法 |
| CN112541437A (zh) * | 2020-12-15 | 2021-03-23 | 北京百度网讯科技有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
| CN113758501A (zh) * | 2021-09-08 | 2021-12-07 | 广州小鹏自动驾驶科技有限公司 | 检测地图中的异常车道线的方法和可读存储介质 |
| CN116977971A (zh) * | 2022-04-16 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 基于图像识别模型的图像处理方法及相关产品 |
| CN117423085A (zh) * | 2023-11-14 | 2024-01-19 | 合众新能源汽车股份有限公司 | 一种导流线区域检测方法及系统 |
| CN117576650A (zh) * | 2024-01-16 | 2024-02-20 | 合众新能源汽车股份有限公司 | 基于融合的车辆变道检测方法和系统 |
| CN117576651A (zh) * | 2024-01-18 | 2024-02-20 | 合众新能源汽车股份有限公司 | 一种用于辅助驾驶的车道线拟合方法、系统及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930459B (zh) | 灭点提取方法、相机标定方法以及存储介质 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| CN105678285B (zh) | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 | |
| CN112837383B (zh) | 相机与激光雷达重标定方法、装置及计算机可读存储介质 | |
| CN109919144B (zh) | 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备 | |
| CN110348332B (zh) | 一种交通视频场景下机非人多目标实时轨迹提取方法 | |
| JPH1173514A (ja) | 車両用認識装置 | |
| JP6466038B1 (ja) | 画像処理装置および画像処理方法 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| Cerri et al. | Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images | |
| JP2004034946A (ja) | 画像処理装置、駐車支援装置、及び画像処理方法 | |
| WO2021128314A1 (zh) | 一种图像处理方法、设备、图像处理系统及存储介质 | |
| CN113903103B (zh) | 局部图像生成装置、局部图像生成方法以及存储介质 | |
| US11256933B2 (en) | Image processing device and image processing method | |
| US10796172B2 (en) | Image processing device and image processing method | |
| CN118155177A (zh) | 车辆所在车道的定位方法、装置和电子设备 | |
| CN118823082A (zh) | 激光点云与全景图像配准方法、装置、设备及程序产品 | |
| KR20240022986A (ko) | 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치 | |
| WO2023068034A1 (ja) | 画像処理装置 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 | |
| CN115100626B (zh) | 一种泊车位检测方法、终端设备及存储介质 | |
| JP3700681B2 (ja) | 走行路検出装置 | |
| CN114762019A (zh) | 摄像机系统 | |
| CN114782447B (zh) | 路面检测方法、装置、车辆、存储介质及芯片 | |
| US20240203133A1 (en) | Lane line recognition method, electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20240607 |