[go: up one dir, main page]

CN109344677B - 识别立体物的方法、装置、车辆和存储介质 - Google Patents

识别立体物的方法、装置、车辆和存储介质 Download PDF

Info

Publication number
CN109344677B
CN109344677B CN201711086600.4A CN201711086600A CN109344677B CN 109344677 B CN109344677 B CN 109344677B CN 201711086600 A CN201711086600 A CN 201711086600A CN 109344677 B CN109344677 B CN 109344677B
Authority
CN
China
Prior art keywords
vehicle
determining
identified
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711086600.4A
Other languages
English (en)
Other versions
CN109344677A (zh
Inventor
宫原俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haomo Zhixing Technology Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN201711086600.4A priority Critical patent/CN109344677B/zh
Priority to PCT/CN2018/114241 priority patent/WO2019091381A1/zh
Priority to US16/762,404 priority patent/US11195305B2/en
Publication of CN109344677A publication Critical patent/CN109344677A/zh
Application granted granted Critical
Publication of CN109344677B publication Critical patent/CN109344677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种识别立体物的方法、装置、车辆和存储介质，以解决通过单目摄像头无法判断待识别物是否为立体物的问题。所述方法应用于车辆，所述方法包括：在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。

Description

识别立体物的方法、装置、车辆和存储介质
技术领域
本公开涉及智能驾驶技术领域，特别涉及一种识别立体物的方法、装置、车辆和存储介质。
背景技术
ADAS(Advanced Driver Assistant Systems，高级驾驶辅助系统)可以利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，并辨识、追踪不同运动状态的物体。再结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
相关技术中提出一种车道偏移系统，该系统包括用于采集车周图像的单目摄像头，并根据一定算法从车周图像中提取车道线特征相关的特征信息，从而判断车辆行驶时是否偏离车道线。然而在一些成像复杂的场景中，无法从单目摄像头采集到的图像中区分车道上的待识别物是路面标记还是立体物。例如，在路边栏杆与车道线的颜色相近时，无法通过图像区分待识别物是栏杆还是车道线。
发明内容
有鉴于此，本公开旨在提出一种识别立体物的方法、装置、车辆和存储介质，以解决通过单目摄像头无法判断待识别物是否为立体物的问题。
为达到上述目的，本公开的技术方案是这样实现的：
本公开示例性实施例的第一方面，提出一种识别立体物的方法，所述方法应用于车辆，所述方法包括：
在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。
进一步的，所述多张图像的数量为N，N为大于3的整数，所述根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面的成像变化规律，包括：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述多张图像的数量为N，N为大于3的整数，根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di，包括：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
进一步的，所述若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物，包括：
确定所述拟合出的二次曲线的剩余标准差；
若所述剩余标准差在预设的取值范围内，则确定所述待识别物为立体物。
进一步的，所述方法还包括：若所述剩余标准差在预设的取值范围外，则确定所述待识别物为路面标记。
本公开示例性实施例的第二方面，提出一种识别立体物的装置，所述装置应用于车辆，所述装置包括：
采集模块，用于在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
规律确定模块，用于根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
结果确定模块，用于在所述成像变化规律与二次曲线相匹配时，确定所述待识别物为立体物。
进一步的，所述多张图像的数量为N，N为大于3的整数，所述规律确定模块，用于依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述多张图像的数量为N，N为大于3的整数，所述规律确定模块，用于依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述规律确定模块，用于：在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
进一步的，所述结果确定模块，包括：
剩余标准差确定子模块，用于确定所述拟合出的二次曲线的剩余标准差；
识别子模块，用于在所述剩余标准差在预设的取值范围内时，确定所述待识别物为立体物。
进一步的，所述识别子模块还用于：在所述剩余标准差在预设的取值范围外时，确定所述待识别物为路面标记。
本公开示例性实施例的第三方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述识别立体物的方法的步骤。
本公开示例性实施例的第四方面，提出一种识别立体物的装置，包括：
所述的计算机可读存储介质；以及一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
本公开示例性实施例的第五方面，提出一种车辆，所述车辆包括上述第二方面任一可选实施例或上述第四方面所述的识别立体物的装置。
在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了ADAS对车道上待识别物的识别精度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例示出的一种识别立体物的方法。
图2是本公开一示例性实施例示出的一种实施场景示意图。
图3是本公开一示例性实施例示出的另一种实施场景示意图。
图4是本公开一示例性实施例示出的另一种实施场景示意图。
图5是本公开一示例性实施例示出的一种仿真结果图。
图6是本公开一示例性实施例示出的另一种仿真结果图。
图7是本公开一示例性实施例示出的一种识别立体物的装置。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是本公开一示例性实施例示出的一种识别立体物的方法。所述方法可以应用于如图2所示的车辆。所述方法包括：
S11，在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像。
参考如图2所示的实施场景示意图。以平行于道路面指向车辆前方的轴向为X轴，以垂直于道路面指向车辆上方的轴向为Z轴，以平行于道路面指向车辆驾驶位置右侧的轴向为Y轴，建立三坐标系。在车辆朝X轴正向行驶过程中，通过车辆上的单目摄像头对行驶在道路的上的待识别物进行拍摄。采集到的影像可以参考如图2中虚线框所示的场景。虚线为车道线，实线为道路边缘线，画面中部圈出的条状图像即为待识别物在单目摄像头成像面上的成像。
S12，根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变。
例如，若车辆朝向待识别物前行，则车辆与待识别物越来越接近，待识别物在该单目摄像头成像面上的成像也越来越大，即，该待识别物的成像占成像画面比重越来越大。反之，若车辆远离待识别物背向而驰，则待识别物在该单目摄像头成像面上的成像越来越小。
S13，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。
本公开所述的识别立体物的方法，在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了ADAS对车道上待识别物的识别精度。
在一种可选的实施方式中，所述根据所述多张图像(数量为N，N为大于3的整数)，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线。
在另一种可选的实施方式中，所述根据所述多张图像(数量为N，N为大于3的整数)，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
所述若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物，包括：确定所述拟合出的二次曲线的剩余标准差；若所述剩余标准差在预设的取值范围内，则确定所述待识别物为立体物。反之，若所述剩余标准差在预设的取值范围外，确定所述待识别物为路面标记，例如：车道线或路面阴影。
可选的，所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di，包括：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
下面结合实际测量场景，以置于路面长宽高均为0.4m的立方体(Cubic)和宽0.6m长5m的路面标记(Marker)为例，对上述技术方案的原理进行说明。
(1)图3是本公开一示例性实施例示出的场景示意图。若待识别物体为立方体，则可以通过如下公式计算立方体可视面A1相对于单目摄像头成像面B1的成像立体角Ωcubic：
Figure BDA0001460237430000091
Figure BDA0001460237430000092
以第i张图像为例，从第i张图像中提取用于表征所述立方体的第i张子图像。如图3所示，圈出的条状图像为该第i张子图像，即该立方体可视面在单目摄像头成像面上的成像，其面积为Si。根据第i张子图像，建立待识别物的三维立体模型，进而得到立方体的宽度Δy，低边高度zlo和高边高度zho。
对于所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di的步骤，在一种可选的实施方式中，可以通过建立拍摄待识别物时拍摄场景的三维立体模型，得到车辆与待识别物之间的绝对距离Di_absolute。或者，还可以通过车辆上的测距传感器等测量得到车辆与待识别物之间的绝对距离Di_absolute。
在另一种可选的实施方式中，可以先通过车辆在一段时间内的行驶距离推算出车辆与待识别物之间的相对距离Di_relative，再推算得到车辆与待识别物之间的绝对距离Di_absolute。具体计算时可以参考如下公式：
Di_absolute＝constant+Di_relative；其中，constant为一常数。
示例地，预设单目摄像头拍摄第1张待识别物的图像时，该相对距离Di_relative为0，该常数为constant＝L。若至拍摄第7张图像时车辆已经行驶25m(可由车速与行驶时间的关系计算得出)，则设拍摄第7张待识别物的图像时该相对距离为-25m。由此，可以知道拍摄多张图像中任意一张图像时，车辆与待识别物之间的绝对距离Di_absolute为L-25m。
值得说明的是，在采用由相对距离计算得到绝对距离的方案时，单个采样点的数据不能够表征车辆与待测物之间的实际距离，因此数据不可以单独使用。在具体实施过程中，需在车辆行驶过程中随着车辆前行采集多张照片，从而提取多组数据。这样，可以从多组数据中获得成像立体角随车辆与待测物之间距离的变化规律，并进一步的拟合出用于表征该变化规律的二次曲线。
例如，设置立体角为Y，常数为b，相对距离为X，实际距离为Z，成像面积为a，则计算立体角时应使用公式Y＝a*(b+X)-2，而不是公式Y＝a*Z-2。正因为通过b+X不能表征车辆与待测物之间的真实距离，所以在测量时需要多组数据。但是只要多组数据能够表征成像立体角随车辆与待测物之间距离的变化规律，并不会影响拟合出的用于表征该变化规律的二次曲线。
进一步的，根据上述数据结合单目摄像头的俯仰角信息，可知由坐标原点指向立方体可视面A1上面元ΔS的向量
Figure BDA0001460237430000101
从原点指向单目摄像头成像面B1的向量
Figure BDA0001460237430000102
并根据上述公式(1)计算出从单目摄像头成像面B1至面元ΔS的向量
Figure BDA0001460237430000103
并且，可以得到单目摄像头成像面B1的法向量
Figure BDA0001460237430000104
以及面元ΔS的法向量
Figure BDA0001460237430000105
由此通过上述公式(2)可以计算出立方体可视面A1上每一面元相对于成像面B1的立体角，并通过对可视面上所有面元做积分，得到待识别物可视面A1相对于成像面B1的成像立体角Ωcubic。值得说明的是，由于单目摄像头光学装置各光路的尺寸相对于整个测试场景尺寸非常小，所以由单目摄像头成像参数带来的计算误差可以忽略不计。
(2)图4是本公开一示例性实施例示出的场景示意图。该待识别物为路面标记时，通过如下公式计算路面标记可视面A2相对于单目摄像头成像面B2的成像立体角Ωmarker：
Figure BDA0001460237430000106
Figure BDA0001460237430000111
以第i张图像为例，从第i张图像中提取用于表征所述路面标记的第i张子图像。如图4所示，圈出的条状图像为该第i张子图像，即该路面标记可视面在单目摄像头成像面上的成像，其面积为Si。根据第i张子图像，建立路面标记的三维立体模型，进而得到路面标记的宽度Δy，路面标记的近边对应场景坐标X轴上的X1o，路面标记的远边对应场景坐标X轴上的X2o。
此外，车辆与待识别物之间的相对距离Di的确定方法可参考前文。
进一步的，根据上述数据结合单目摄像头的俯仰角信息，可知由坐标原点指向路面标记可视面A2上面元ΔS的向量
Figure BDA0001460237430000112
从原点指向单目摄像头成像面B2的向量
Figure BDA0001460237430000113
并根据上述公式(3)计算出从单目摄像头成像面B2至面元ΔS的向量
Figure BDA0001460237430000114
并且，可以得到单目摄像头成像面B2的法向量
Figure BDA0001460237430000115
以及面元ΔS的法向量
Figure BDA0001460237430000116
由此通过上述公式(4)可以计算出路面标记可视面A2上每一面元相对于成像面B2的立体角，并通过对可视面上所有面元做积分，得到待识别物可视面A2相对于成像面B2的成像立体角Ωmarker。
根据上述分析可知，如果待识别物体是立方体，则待识别物可视面的法向量朝向车辆；如果待识别物是路面标记，则待识别物可视面的法向量垂直路面向上。随着车辆于待识别物的距离越来越近，在公式(4)中
Figure BDA0001460237430000117
取值的变化率高于公式(2)中
Figure BDA0001460237430000118
取值的变化率。也就是说，Ωmarker相对于距离D的变化率，高于Ωcubic的相对于距离D的变化率。以如表1、表2中的参数分别对上述立方体和路面标记的测量结果进行仿真分析，得到图5所示的仿真结果，可以得出路面标记的变化率高于立方体的变化率。其中，为便于观察，图5中的曲线为以多张图像采样得到离散数据后，根据离散数据绘制的平滑曲线。
表1立方体参数表
Figure BDA0001460237430000121
表2路面标记参数表
Figure BDA0001460237430000122
进一步的，如图6所示，分别对立方体对应的平滑曲线和路面标记对应的平滑曲线做对数处理(Log)，得到立方体对应线以及路面标记对应线。再对一条标准的二次曲线(例如：y＝ax2+b)做对数处理，得到一条二次回归线。由图6可知，立方体对应线更加接近该二次回归线，而路面标记对应线与该二次回归线的差距较大。
由上可知，若待识别物为路面标记，则使用二次回归类型拟合成像立体角Ω随相对距离D的变化规律时，拟合得到的二次曲线的剩余标准差较大。反之，若待识别物为立体物，则使用二次回归类型拟合成像立体角Ω随相对距离D变化规律时，拟合得到的二次曲线的剩余标准差较小。因此，可以预先设置一个阈值，若拟合得到的二次曲线的剩余标准差小于该阈值，则待识别物是立方体，反之，则待识别物是路面标记。
图7是本公开一示例性实施例示出一种识别立体物的装置。所述装置700应用于车辆，所述装置700包括：
采集模块710，用于在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
规律确定模块720，用于根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
结果确定模块730，用于在所述成像变化规律与二次曲线相匹配时，确定所述待识别物为立体物。
在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了ADAS对车道上待识别物的识别精度。
进一步的，所述多张图像的数量为N，N为大于3的整数，所述规律确定模块720，用于依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述多张图像的数量为N，N为大于3的整数，所述规律确定模块720，用于依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
进一步的，所述规律确定模块720，用于：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
进一步的，所述结果确定模块730，包括：
剩余标准差确定子模块，用于确定所述拟合出的二次曲线的剩余标准差；
识别子模块，用于在所述剩余标准差在预设的取值范围内时，确定所述待识别物为立体物。
进一步的，所述识别子模块还用于：
在所述剩余标准差在预设的取值范围外时，确定所述待识别物为路面标记。
本公开还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述识别立体物的方法的步骤。
本公开还提出一种识别立体物的装置，包括：
所述的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
本公开还提出一种车辆，所述车辆包括所述识别立体物的装置。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。例如，使用多个单目摄像头同时获取图像，或者使用双目或者多目摄像头同时获取图像，以加强图像处理结果等等。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (11)

1.一种识别立体物的方法，其特征在于，所述方法应用于车辆，所述方法包括：
在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物；
所述多张图像的数量为N，N为大于3的整数，所述根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面的成像变化规律，包括：
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线；或者，
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
2.根据权利要求1所述的方法，其特征在于，所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di，包括：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
3.根据权利要求1所述的方法，其特征在于，所述若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物，包括：
确定所述拟合出的二次曲线的剩余标准差；
若所述剩余标准差在预设的取值范围内，则确定所述待识别物为立体物。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述剩余标准差在预设的取值范围外，则确定所述待识别物为路面标记。
5.一种识别立体物的装置，其特征在于，所述装置应用于车辆，所述装置包括：
采集模块，用于在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
规律确定模块，用于根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
结果确定模块，用于在所述成像变化规律与二次曲线相匹配时，确定所述待识别物为立体物；
所述多张图像的数量为N，N为大于3的整数，所述规律确定模块，用于依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积Si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Si和Di，使用二次回归类型拟合一条用于表征成像面积S随待识别物与所述车辆之间的距离D变化规律的二次曲线；或者
依次取i从1至N，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角Ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离Di；
根据所述多张图像各自对应的Ωi和Di，使用二次回归类型拟合一条用于表征成像立体角Ω随待识别物与所述车辆之间的距离D变化规律的二次曲线。
6.根据权利要求5所述的装置，其特征在于，所述规律确定模块，用于：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为Dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离Dix；
根据Dconstant以及Dix确定所述待识别物与所述车辆之间的距离Di。
7.根据权利要求5所述的装置，其特征在于，所述结果确定模块，包括：
剩余标准差确定子模块，用于确定所述拟合出的二次曲线的剩余标准差；
识别子模块，用于在所述剩余标准差在预设的取值范围内时，确定所述待识别物为立体物。
8.根据权利要求7所述的装置，其特征在于，所述识别子模块还用于：
在所述剩余标准差在预设的取值范围外时，确定所述待识别物为路面标记。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。
10.一种识别立体物的装置，其特征在于，包括：
权利要求9中所述的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
11.一种车辆，其特征在于，所述车辆包括权利要求10或者权利要求5至8中任一项所述的识别立体物的装置。
CN201711086600.4A 2017-11-07 2017-11-07 识别立体物的方法、装置、车辆和存储介质 Active CN109344677B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711086600.4A CN109344677B (zh) 2017-11-07 2017-11-07 识别立体物的方法、装置、车辆和存储介质
PCT/CN2018/114241 WO2019091381A1 (zh) 2017-11-07 2018-11-07 识别立体物的方法、装置、车辆和存储介质
US16/762,404 US11195305B2 (en) 2017-11-07 2018-11-07 Method and device for identifying stereoscopic object, and vehicle and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711086600.4A CN109344677B (zh) 2017-11-07 2017-11-07 识别立体物的方法、装置、车辆和存储介质

Publications (2)

Publication Number Publication Date
CN109344677A CN109344677A (zh) 2019-02-15
CN109344677B true CN109344677B (zh) 2021-01-15

Family

ID=65291435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711086600.4A Active CN109344677B (zh) 2017-11-07 2017-11-07 识别立体物的方法、装置、车辆和存储介质

Country Status (3)

Country Link
US (1) US11195305B2 (zh)
CN (1) CN109344677B (zh)
WO (1) WO2019091381A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11987236B2 (en) * 2020-08-31 2024-05-21 Nec Corporation Monocular 3D object localization from temporal aggregation
CN117523526B (zh) * 2023-11-02 2024-07-30 深圳鑫扬明科技有限公司 一种基于机器视觉的车辆检测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN103247048A (zh) * 2013-05-10 2013-08-14 东南大学 一种基于二次曲线与直线的摄像机混合标定方法
CN103278110A (zh) * 2013-05-28 2013-09-04 北京理工大学 一种对导轨耦合误差的补偿方法
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置
CN103455791A (zh) * 2013-08-15 2013-12-18 西安理工大学 基于线阵ccd汽车底盘成像的车型识别方法
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及系统
CN104115186A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
EP2975553A1 (fr) * 2014-07-15 2016-01-20 Morpho Procédé et système d'autodétermination des valeurs des paramètres intrinsèques et des paramètres extrinsèques d'une caméra placée au bord d'une chaussée

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116357A (ja) 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
CN101714262B (zh) * 2009-12-10 2011-12-21 北京大学 单幅图像的三维场景重建方法
JP2012066758A (ja) 2010-09-27 2012-04-05 Fuji Heavy Ind Ltd 車両の走行制御装置
JP2012183867A (ja) * 2011-03-03 2012-09-27 Fuji Heavy Ind Ltd 車両の運転支援装置
KR102268462B1 (ko) * 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
WO2017004799A1 (en) * 2015-07-08 2017-01-12 SZ DJI Technology Co., Ltd. Camera configuration on movable objects
US10839539B2 (en) * 2017-05-31 2020-11-17 Google Llc System and method for active stereo depth sensing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置
CN104115186A (zh) * 2012-02-23 2014-10-22 日产自动车株式会社 立体物检测装置
CN103247048A (zh) * 2013-05-10 2013-08-14 东南大学 一种基于二次曲线与直线的摄像机混合标定方法
CN103278110A (zh) * 2013-05-28 2013-09-04 北京理工大学 一种对导轨耦合误差的补偿方法
CN103455791A (zh) * 2013-08-15 2013-12-18 西安理工大学 基于线阵ccd汽车底盘成像的车型识别方法
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及系统
EP2975553A1 (fr) * 2014-07-15 2016-01-20 Morpho Procédé et système d'autodétermination des valeurs des paramètres intrinsèques et des paramètres extrinsèques d'une caméra placée au bord d'une chaussée

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lane detection based on classification of lane geometrical;Yang J等;《Signal Processing (ICSP)》;20121231;第842-846页 *
基于单目视觉的智能车车道线识别方法研究;孙亮等;《信息与电脑》;20101231;第27-28页 *

Also Published As

Publication number Publication date
CN109344677A (zh) 2019-02-15
US11195305B2 (en) 2021-12-07
US20200349740A1 (en) 2020-11-05
WO2019091381A1 (zh) 2019-05-16

Similar Documents

Publication Publication Date Title
CN111436216B (zh) 用于彩色点云生成的方法和系统
EP3598874B1 (en) Systems and methods for updating a high-resolution map based on binocular images
JP5440461B2 (ja) 校正装置、距離計測システム、校正方法および校正プログラム
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
US10909395B2 (en) Object detection apparatus
JP4702569B2 (ja) 車両用画像処理装置
EP2372611A2 (en) Scene matching reference data generation system and position measurement system
EP3842735B1 (en) Position coordinates estimation device, position coordinates estimation method, and program
CN105627932A (zh) 一种基于双目视觉的测距方法及装置
WO2017051480A1 (ja) 画像処理装置及び画像処理方法
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
CN112991401B (zh) 车辆运行轨迹追踪方法、装置、电子设备和存储介质
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN112633035B (zh) 一种基于无人驾驶车辆的车道线坐标真值获取方法及装置
CN111976601B (zh) 自动泊车方法、装置、设备和存储介质
JP2018048949A (ja) 物体識別装置
EP3435352A1 (en) Travel path detection method and travel path detection device
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质
JP7179687B2 (ja) 障害物検知装置
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN112837365A (zh) 一种基于图像的车辆定位方法及装置
JP2020076714A (ja) 位置姿勢推定装置
CN111260538A (zh) 基于长基线双目鱼眼相机的定位及车载终端
CN114120701B (zh) 一种泊车定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210517

Address after: 100055 1802, 18 / F, building 3, yard 9, Guang'an Road, Fengtai District, Beijing

Patentee after: Momo Zhixing Technology Co.,Ltd.

Address before: 071000 No. 2266 Chaoyang South Street, Hebei, Baoding

Patentee before: Great Wall Motor Co.,Ltd.

TR01 Transfer of patent right