CN107220632B - 一种基于法向特征的路面图像分割方法 - Google Patents
一种基于法向特征的路面图像分割方法 Download PDFInfo
- Publication number
- CN107220632B CN107220632B CN201710440163.5A CN201710440163A CN107220632B CN 107220632 B CN107220632 B CN 107220632B CN 201710440163 A CN201710440163 A CN 201710440163A CN 107220632 B CN107220632 B CN 107220632B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- normal
- pixel
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于法向特征的路面图像分割方法。本发明利用双目相机得到的深度图像结合相机的内参转换为平面法向图。在平面法向图中利用法向特征确定道路平面,完成对道路平面的分割处理,将其标记为可安全行驶的区域,剩余区域标记为防撞区域。
Description
技术领域
本发明涉及一种基于法向特征的路面图像分割方法,属于计算机视觉技术的技术领域。
背景技术
得益于人工智能技术的快速发展,工业时代的伟大发明之一汽车也正在朝着一个新的时代迈进。谷歌,特斯拉,百度等公司都在研发无人驾驶汽车,在未来,自动驾驶汽车的竞争将变得异常激烈。
谷歌无人驾驶汽车通过使用照相机、雷达感应器和激光测距机来判断车辆周围的交通状况,并结合使用GPS以及高精度的数字地图来进行导航。尽管美国的机动车辆管理局为谷歌的无人驾驶汽车颁发了合法的车牌并允许其上路,但无人驾驶汽车离普及仍然存在一定距离。不仅仅是因为自动驾驶技术目前还不够完善,容易造成安全事故。同时,还因为整套无人驾驶系统的硬件设备成本太高,不利于向大众推广。基于计算机视觉技术研发的辅助驾驶系统Mobileye则无需雷达,激光测距仪等昂贵传感器,依靠车载相机获取的信息进行分析辨别,从而识别出周围的人、交通标志以及其他交通工具等,并预测行驶状况,为驾驶员提供预警,避免危险的发生。基于计算机视觉技术的辅助驾驶方案由于不需要昂贵的传感器设备,所以方案成本低,易于推广普及,对于推动智能交通时代的发展具有积极作用。
本发明基于计算机视觉相关技术中,确定RGB-D帧图像中的道路平面并对道路平面进行分割还存在一定的问题;例如,在相机获取得到的RGB-D帧图像中,路面上的物体其底部如车辆的轮胎,由于自身色彩与路面相似或由于阴影的干扰使得仅仅通过色彩纹理或景深等特征难以将路面和物体做到有效分割。
例如,中国专利公开号102663748A公开了一种基于频域的低景深图像分割方法,利用低景深图像中对焦对象包含的高频分量较多,而模糊区域包含的高频分量较小的特性,基于频域来进行低景深图像分割处理。该图像分割方法可能就无法很好的对道路平面图像进行有效分割。
发明内容
针对现有技术的不足,本发明提供一种基于法向特征的路面图像分割方法。
发明概述:
本发明利用双目相机得到的深度图像结合相机的内参转换为平面法向图。在平面法向图中利用法向特征确定道路平面,完成对道路平面的分割处理,将其标记为可安全行驶的区域,剩余区域标记为防撞区域。
本发明的技术方案为:
一种基于法向特征的路面图像分割方法,包括步骤如下:
1)通过相机获取RGB-D影像,将所述RGB-D影像分解为帧图像,获取相机的内部参数K;
其中,dx和dy分别表示水平方向和垂直方向上一个像素点占据长度单位的个数,u0和v0为帧图像所在平面的中心,γ为以相机光心为原点的相机坐标系内坐标轴的倾斜参数;
2)将二维深度图像Id中的像素点由图像坐标系转换为相机坐标系,其中转换关系如公式(1)所示:
其中,x和y为相机坐标系内的坐标,u和v为图像坐标系内的坐标;相机坐标系内坐标z的值由深度图像Id中对应坐标的深度值Iu,v乘以深度转换率R得到,深度转换率R因相机而定,为已知参数;
4)重复步骤3)遍历选取像素点A所有的邻域像素点,得到像素点A的所有法向向量,取所有法向向量的平均值并进行归一化处理,得到像素点A最终的法向向量,并将像素点A最终的法向向量的x,y,z坐标值作为色彩图像中RGB通道的像素值以保存为图片;遍历处理深度图像Id中的每一个像素点得到最终的平面法向图If;取所有法向的平均值进行平滑并归一化处理,避免了噪声的干扰导致计算得到的法向向量不准确。
5)将平面法向图If中每个像素点依据色彩的相似性进行聚类分割,形成分割区域,计算每个分割区域的平均法向向量,将区域面积最大且法向向量方向与场景中重力的反方向成锐角的分割区域确定为道路路面,提取道路路面图像,得到最终的道路路面提取结果;
6)将道路路面设为可安全行驶的区域,剩余区域设为避免碰撞区域。
根据本发明优选的,γ=0。
根据本发明优选的,所述步骤1)中的相机为车载双目相机。同双目相机能同时获取彩色图像和二维深度图像。
根据本发明优选的,相机的内部参数K通过相机标定获取。
根据本发明优选的,所述步骤5)中,提取道路路面图像后,还包括对道路路面图像进行形态学闭操作处理的步骤。形态学闭操作处理用于去除噪声干扰。
根据本发明优选的,所述步骤5)中,依据色彩的相似性进行聚类分割形成分割区域,通过Mean-Shift聚类分割算法实现。
本发明的有益效果为:
1.本发明所述基于法向特征的路面图像分割方法,利用法向向量的方向在帧图像中边界区域发生较大改变,区分路面与物体,确定道路平面,完成对路面的分割;分割结果可以作为辅助驾驶系统的输入,避免在行驶过程中与道路上的物体发生碰撞,同时规划安全行驶路径;
2.本发明所述基于法向特征的路面图像分割方法,不仅限于应用在道路场景中,还可用于舞台场景,通过选定舞台作为感兴趣区域去除周边干扰,在感兴趣区域中确定舞台地面和背面等平面,即可完成对舞台场景上的物体分割;应用广泛。
附图说明
图1为本发明所述基于法向特征的路面图像分割方法的方法流程图;
图2为直道加阴影实验环境下的色彩输入图像;
图3为直道加阴影实验环境下的深度输入图像;
图4为直道加阴影实验环境下生成的平面法向图;
图5为直道加阴影实验环境下得到的分割效果示意图;
图6为直道加阴影加左侧和前方有车实验环境下的色彩输入图像;
图7为直道加阴影加左侧和前方有车实验环境下的深度输入图像;
图8为直道加阴影加左侧和前方有车实验环境下的法向图像;
图9为直道加阴影加左侧和前方有车实验环境下的分割效果示意图;
图10为直道加阴影加两侧有车实验环境下的色彩输入图像;
图11为直道加阴影加两侧有车实验环境下的深度输入图像;
图12为直道加阴影加两侧有车实验环境下生成的法向图像;
图13为直道加阴影加两侧有车实验环境下的分割效果示意图;
图14为弯道加阴影实验环境下的色彩输入图像;
图15为弯道加阴影实验环境下的深度输入图像;
图16为弯道加阴影实验环境下生成的法向图像;
图17为弯道加阴影实验环境下的分割效果示意图;
图18为十字路口实验环境下的色彩输入图像;
图19为十字路口实验环境下的深度输入图像;
图20为十字路口实验环境下生成的法向图像;
图21为十字路口实验环境下的分割效果示意图。
具体实施方式
下面结合实施例和说明书附图对本发明做进一步说明,但不限于此。
实施例1
一种基于法向特征的路面图像分割方法,对直道加阴影实验环境下的图像进行分割,包括步骤如下:
1)通过相机获取RGB-D影像,将所述RGB-D影像分解为帧图像,获取相机的内部参数K;
其中,dx和dy分别表示水平方向和垂直方向上一个像素点占据长度单位的个数,u0和v0为帧图像所在平面的中心,γ为以相机光心为原点的相机坐标系内坐标轴的倾斜参数;
2)将二维深度图像Id中的像素点由图像坐标系转换为相机坐标系,其中转换关系如公式(1)所示:
其中,x和y为相机坐标系内的坐标,u和v为图像坐标系内的坐标;相机坐标系内坐标z的值由深度图像Id中对应坐标的深度值Iu,v乘以深度转换率R得到,深度转换率R因相机而定,为已知参数;
4)重复步骤3)遍历选取像素点A所有的邻域像素点,得到像素点A的所有法向向量,取所有法向向量的平均值并进行归一化处理,得到像素点A最终的法向向量,并将像素点A最终的法向向量的x,y,z坐标值作为色彩图像中RGB通道的像素值以保存为图片;遍历处理深度图像Id中的每一个像素点得到最终的平面法向图If;取所有法向的平均值进行平滑并归一化处理,避免了噪声的干扰导致计算得到的法向向量不准确。
5)将平面法向图If中每个像素点依据色彩的相似性进行聚类分割,形成分割区域,计算每个分割区域的平均法向向量,将区域面积最大且法向向量方向与场景中重力的反方向成锐角的分割区域确定为道路路面,提取道路路面图像,得到最终的道路路面提取结果;
6)将道路路面设为可安全行驶的区域,剩余区域设为避免碰撞区域。
如图1-4所示,基于法向特征的路面图像分割方法,针对直道加阴影实验环境的图像进行分割,清楚、准确的分割出了安全行驶区域和防撞区域。
实施例2
如实施例1所述的基于法向特征的路面图像分割方法,所不同的是,对直道加阴影加左侧和前方有车实验环境下的图像进行分割;γ=0。
如图5-8所示,基于法向特征的路面图像分割方法,针对直道加阴影加左侧和前方有车实验环境下的图像,清楚、准确的分割出了安全行驶区域和防撞区域。
实施例3
如实施例1所述的基于法向特征的路面图像分割方法,所不同的是,对直道加阴影加两侧有车实验环境下的图像进行分割;所述步骤1)中的相机为车载双目相机。同双目相机能同时获取彩色图像和二维深度图像。
如图9-12所示,基于法向特征的路面图像分割方法,针对直道加阴影加两侧有车实验环境下的图像进行分割,清楚、准确的分割出了安全行驶区域和防撞区域。
实施例4
如实施例1所述的基于法向特征的路面图像分割方法,所不同的是,对弯道加阴影实验环境下的图像进行分割;相机的内部参数K通过相机标定获取。
如图12-16所示,基于法向特征的路面图像分割方法,针对弯道加阴影实验环境下的图像进行分割,清楚、准确的分割出了安全行驶区域和防撞区域。
实施例5
如实施例1所述的基于法向特征的路面图像分割方法,所不同的是,对十字路口实验环境下的图像进行分割,所述步骤5)中,提取道路路面图像后,还包括对道路路面图像进行形态学闭操作处理的步骤。形态学闭操作处理用于去除噪声干扰。
如图16-20所示,基于法向特征的路面图像分割方法,针对十字路口实验环境下的图像进行分割,清楚、准确的分割出了安全行驶区域和防撞区域。
实施例6
如实施例1所述的基于法向特征的路面图像分割方法,所不同的是,所述步骤5)中,依据色彩的相似性进行聚类分割形成分割区域,通过Mean-Shift聚类分割算法实现。
Claims (6)
1.一种基于法向特征的路面图像分割方法,其特征在于,包括步骤如下:
1)通过相机获取RGB-D影像,将所述RGB-D影像分解为帧图像,获取相机的内部参数K;
其中,dx和dy分别表示水平方向和垂直方向上一个像素点占据长度单位的个数,二维坐标(u0,v0)为图像坐标系的中心,γ为以相机光心为原点的相机坐标系内坐标轴的倾斜参数;
2)将二维深度图像Id中的像素点由图像坐标系转换为相机坐标系,其中转换关系如公式(1)所示:
其中,x和y为相机坐标系内的坐标,u和v为图像坐标系内的坐标;相机坐标系内坐标z的值由深度图像Id中对应坐标的深度值Iu,v乘以深度转换率R得到,深度转换率R因相机而定,为已知参数;
4)重复步骤3)遍历选取像素点A所有的邻域像素点,得到像素点A的所有法向向量,取所有法向向量的平均值并进行归一化处理,得到像素点A最终的法向向量,并将像素点A最终的法向向量的x,y,z坐标值作为色彩图像中RGB通道的像素值以保存为图片;遍历处理深度图像Id中的每一个像素点得到最终的平面法向图If;
5)将平面法向图If中每个像素点依据色彩的相似性进行聚类分割,形成分割区域,计算每个分割区域的平均法向向量,将区域面积最大且法向向量方向与场景中重力的反方向成锐角的分割区域确定为道路路面,提取道路路面图像,得到最终的道路路面提取结果;
6)将道路路面设为可安全行驶的区域,剩余区域设为避免碰撞区域。
2.根据权利要求1所述的基于法向特征的路面图像分割方法,其特征在于,γ=0。
3.根据权利要求1所述的基于法向特征的路面图像分割方法,其特征在于,所述步骤1)中的相机为车载双目相机。
4.根据权利要求1所述的基于法向特征的路面图像分割方法,其特征在于,相机的内部参数K通过相机标定获取。
5.根据权利要求1所述的基于法向特征的路面图像分割方法,其特征在于,所述步骤5)中,提取道路路面图像后,还包括对道路路面图像进行形态学闭操作处理的步骤。
6.根据权利要求1所述的基于法向特征的路面图像分割方法,其特征在于,所述步骤5)中,依据色彩的相似性进行聚类分割形成分割区域,通过Mean-Shift聚类分割算法实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710440163.5A CN107220632B (zh) | 2017-06-12 | 2017-06-12 | 一种基于法向特征的路面图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710440163.5A CN107220632B (zh) | 2017-06-12 | 2017-06-12 | 一种基于法向特征的路面图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107220632A CN107220632A (zh) | 2017-09-29 |
CN107220632B true CN107220632B (zh) | 2020-02-18 |
Family
ID=59947538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710440163.5A Expired - Fee Related CN107220632B (zh) | 2017-06-12 | 2017-06-12 | 一种基于法向特征的路面图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107220632B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108280401B (zh) * | 2017-12-27 | 2020-04-07 | 达闼科技(北京)有限公司 | 一种路面检测方法、装置、云端服务器及计算机程序产品 |
CN112950726B (zh) * | 2021-03-25 | 2022-11-11 | 深圳市商汤科技有限公司 | 摄像头朝向标定方法及相关产品 |
US11734850B2 (en) * | 2021-04-26 | 2023-08-22 | Ubtech North America Research And Development Center Corp | On-floor obstacle detection method and mobile machine using the same |
CN113390435B (zh) * | 2021-05-13 | 2022-08-26 | 中铁二院工程集团有限责任公司 | 高速铁路多元辅助定位系统 |
CN114693716A (zh) * | 2022-03-26 | 2022-07-01 | 苏州惠临充智能科技有限公司 | 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
CN104361575A (zh) * | 2014-10-20 | 2015-02-18 | 湖南戍融智能科技有限公司 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
CN104992145A (zh) * | 2015-06-15 | 2015-10-21 | 山东大学 | 一种矩采样车道跟踪检测方法 |
CN105426868A (zh) * | 2015-12-10 | 2016-03-23 | 山东大学 | 一种基于自适应感兴趣区域的车道检测方法 |
CN106228134A (zh) * | 2016-07-21 | 2016-12-14 | 北京奇虎科技有限公司 | 基于路面图像的可行驶区域检测方法、装置及系统 |
CN106327433A (zh) * | 2016-08-01 | 2017-01-11 | 浙江零跑科技有限公司 | 一种基于单俯视相机与后轴转向的车辆路径跟随方法 |
-
2017
- 2017-06-12 CN CN201710440163.5A patent/CN107220632B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
CN104361575A (zh) * | 2014-10-20 | 2015-02-18 | 湖南戍融智能科技有限公司 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
CN104992145A (zh) * | 2015-06-15 | 2015-10-21 | 山东大学 | 一种矩采样车道跟踪检测方法 |
CN105426868A (zh) * | 2015-12-10 | 2016-03-23 | 山东大学 | 一种基于自适应感兴趣区域的车道检测方法 |
CN106228134A (zh) * | 2016-07-21 | 2016-12-14 | 北京奇虎科技有限公司 | 基于路面图像的可行驶区域检测方法、装置及系统 |
CN106327433A (zh) * | 2016-08-01 | 2017-01-11 | 浙江零跑科技有限公司 | 一种基于单俯视相机与后轴转向的车辆路径跟随方法 |
Non-Patent Citations (4)
Title |
---|
《Road detection using segmentation by weighted aggregation based on visual information and a posteriori probability of road regions》;T.T. Son等;《2008 IEEE International Conference on Systems, Man and Cybernetics》;20081231;第3018-3025页 * |
《Robust Urban Road Image Segmentation》;Junyang Li等;《Proceeding of the 11th World Congress on Intelligent Control and Automation》;20140704;第2923-2928页 * |
《结合深度信息的图像分割算法研究》;皮志明;《中国博士学位论文全文数据库》;20131015(第10期);第I138-36页 * |
《遥感图像自动道路提取方法综述》;吴亮等;《自动化学报》;20100731;第36卷(第7期);第912-922页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107220632A (zh) | 2017-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022151664A1 (zh) | 一种基于单目摄像头的3d物体检测方法 | |
CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
CN102774325B (zh) | 一种后视倒车辅助系统和形成后视障碍图像的方法 | |
JP6442834B2 (ja) | 路面高度形状推定方法とシステム | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN102799857B (zh) | 一种视频多车辆轮廓检测方法 | |
Gomez et al. | Traffic lights detection and state estimation using hidden markov models | |
CN103837139A (zh) | 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法 | |
CN111209770A (zh) | 一种车道线识别方法及装置 | |
CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
CN104318258A (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN105426864A (zh) | 一种基于等距边缘点匹配的多车道线检测方法 | |
EP3392830B1 (en) | Image processing device, object recognition device, apparatus control system, image processing method and program | |
CN101789123A (zh) | 一种创建基于单目机器视觉距离图的方法 | |
CN104751119A (zh) | 基于信息融合的行人快速检测跟踪方法 | |
EP2813973B1 (en) | Method and system for processing video image | |
CN110599497A (zh) | 一种基于深度神经网络的可行驶区域分割方法 | |
CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
JP2017021780A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム | |
US20200193184A1 (en) | Image processing device and image processing method | |
EP3389009A1 (en) | Image processing device, object recognition device, apparatus control system, image processing method and program | |
Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
CN107301371A (zh) | 一种基于图像信息融合的非结构化道路检测方法及系统 | |
Umamaheswari et al. | Steering angle estimation for autonomous vehicle navigation using hough and Euclidean transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200218 |
|
CF01 | Termination of patent right due to non-payment of annual fee |