CN107636679B

CN107636679B - 一种障碍物检测方法及装置

Info

Publication number: CN107636679B
Application number: CN201680006896.1A
Authority: CN
Inventors: 林义闽; 廉士国
Original assignee: Cloudminds Robotics Co Ltd
Current assignee: Cloudminds Shanghai Robotics Co Ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2021-05-25
Anticipated expiration: 2036-12-30
Also published as: CN107636679A; WO2018120040A1

Abstract

一种障碍物检测方法及装置，所述方法包括：在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域(S101)；将左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配，得到第一视差图；其中，第二匹配区域的尺寸小于第一匹配区域的尺寸(S102)；确定第一视差图中障碍物的位置信息(S103)。所述方法提高了障碍物检测准确度和检测效率。

Description

一种障碍物检测方法及装置

技术领域

本申请涉及检测技术领域，尤其涉及一种障碍物检测方法及装置。

背景技术

目前无论在无人驾驶、辅助驾驶、无人机导航、盲人导盲、智能机器人的任一技术领域中，障碍物检测都是其中非常重要的部分，例如，智能机器人或无人驾驶车辆等在未知环境中自主导航感知周围环境，需要系统提供环境中障碍物和道路等信息。近年来，随着计算机图像处理技术的飞速发展，视觉传感器在障碍物检测中应用越来越受到人们的重视，因此，目前主流的障碍物检测方法为基于视觉传感器的障碍物检测方法，而双目视觉系统由于其成本低、可以获取场景或物体的深度信息等优点，被广泛的应用到目标检测、跟踪和障碍物识别等领域。具体的，现有的基于双目视觉的障碍物检测方法：是通过位置关系已知的相机组成立体视觉系统，根据空间同一物体在两个相机上成像的视差得到的视差图，通过对视差图进行检测，从而确定出障碍物所在位置。

然而，无论移动机器人或无人驾驶，都可能比较高速的运动，这就要求障碍物检测达到实时性，而对于机器人路径规划和精确控制则需要准确的障碍物轮廓信息。因此，现有的基于双目视觉的障碍物检测方法所面临的最大难点是：视差计算的实时性和障碍物轮廓分割的准确性，这两者都将影响到障碍物检测准确度和检测效率。

发明内容

本申请的实施例提供一种障碍物检测方法及装置，用以提高障碍物检测准确度和检测效率。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供一种障碍物检测方法，包括：

在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域；

将左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配，得到第一视差图；其中，所述第二匹配区域的尺寸小于所述第一匹配区域的尺寸；

确定所述第一视差图中障碍物的位置信息。

第二方面，提供一种障碍物检测装置，包括：

获取模块，用于在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域；

匹配模块，用于将所述获取模块获取的左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配，得到第一视差图；其中，所述第二匹配窗口小于所述第一匹配窗口；

确定模块，用于确定所述匹配模块得到的第一视差图中障碍物的位置信息。

第三方面，提供一种电子设备，该电子设备的结构中包括处理器，该处理器被配置为支持该电子设备执行上述方法中相应的功能。该电子设备还可以包括存储器，该存储器用于与处理器耦合，其储存该电子设备所用的计算机软件代码，其包含用于执行上述方面所设计的程序。

第四方面，提供一种计算机存储介质，用于储存为障碍物检测装置所用的计算机软件指令，其包含执行第一方面所述的方法所设计的程序代码。

第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现第一方面所述的方法。

第六方面，提供一种机器人，该机器人包括第三方面所述的电子设备。

本申请实施例提供的方案，通过在预定场景的左视图的低分辨率的第一匹配区域与右视图的低分辨率的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域，并将将左视图中目标第一匹配区域中的高分辨率的第二匹配区域与右视图中目标第一匹配区域中的高分辨率的第二匹配区域进行匹配，得到第一视差图，由于第二匹配区域的尺寸小于第一匹配区域的尺寸，因此，这样针对性的对左视图与右视图中障碍物所在的区域进行进一步的精细匹配，降低了视差计算的计算量，提高了视差计算的效率，同时，由于对预定场景的左右视图中存在障碍物的区域进行进一步的精细匹配，从而得到障碍物轮廓更为清楚的视差图，进而可以基于该视差图得到更为精细的障碍物轮廓信息，提高了障碍物检测的准确度和检测效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种障碍物检测方法的方法流程图；

图2a为本申请实施例提供的双目摄像机中左相机与右相机拍摄同一目标的视差与深度对应关系图；

图2b为图2a的俯视图；

图3为本申请实施例提供的另一种障碍物检测方法的方法流程示意图；

图4为本申请实施例提供的左视图与右视图中相互不交叠的第一匹配窗口示意图；

图5为本申请实施例提供的左视图与右视图中相互交叠的第一匹配窗口示意图；

图6为本申请实施例提供的一种视差匹配示意图；

图7为本申请实施例提供的另一种视差匹配示意图；

图8为本申请实施例提供的一种障碍物检测装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

近年来，随着社会经济的发展，汽车数量与日俱增，道路容量已不能满足交通量快速增长的需求，尤其是城市交通拥挤和堵塞愈发严重，导致道路交通事故日益增加。其中，汽车的无人驾驶技术和辅助驾驶技术是作为提高车辆行驶安全性的有效途径，可以有效地解决这些问题。此外，随着无人机技术的发展，无人机在警用、城市管理、视频拍摄、电力、气象、抢险救灾等行业用途广泛，因此，飞行器的导航的研究获得越来越多的关注。此外，盲人作为弱势群体，需要得到社会的帮助，帮助他们提高独立生活的能力，可以拥有更好的生活质量，而辅助盲人行走是非常重要的一个方面。

而无论在无人驾驶、辅助驾驶、无人机导航或者盲人导盲等哪一个技术领域，障碍物的检测都是其中非常重要的部分，而目前主流的障碍物检测方法是基于双目摄像机的视差图进行检测的。

因此，本申请实施例基于上述的应用场景提供了一种障碍物检测方法，来获取高精度的视差图。具体的，如图1所示，本申请实施例所提供的技术方案的基本原理为：获取双目摄像机同一时刻采集的左视图和右视图，然后，对左视图与右视图的低分辨率的第一匹配窗口进行匹配，并基于匹配后得到的视差图，从左视图与右视图的第一匹配区域中，获取存在障碍物的目标第一匹配区域，接着，将左视图与右视图中目标第一匹配区域中的高分辨率第二匹配窗口进行匹配，得到第一视差图，然后，多次反复使用更高分辨率的匹配窗口进行匹配计算，得到的视差图中障碍物的轮廓能够更为精准。

下面对本申请中所涉及的部分术语进行解释，以方便读者理解：

“双目摄像机”，为由两个具有相同参数的相机按一定间距放置结合而成的相机，一般的，双目摄像机中的左相机与右相机通常设置在同一水平线上，以达到使得左相机与右相机光轴平行，使得双目摄像机能够用来模拟人眼造成角度差，以此来达到立体成像或者探测景深的效果。

“视差”，是指从存在一定间距的两个点上观察同一目标所产生的方向差异，从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。

“视差值”，是指双目摄像机中左相机与右相机对同一目标进行拍摄时，得到的两幅图像中针对同一像素点的两个横坐标的差值，即为该像素点的视差值，对应的，这两幅图像中所有像素点的视差值形成视差图。

参照图2a、图2b所示的视差与深度间对应关系示意图可知，若O_L为左相机所在位置，O_R为有相机所在位置，f用于表示左相机与有相机镜头的焦距，B表示基线距离，等于左相机与右相机的投影中心连线的距离，具体的：

假设左右相机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，z_c通常可以认为是该特征点的深度，用于表示该特征点与左右相机所处平面间的距离，该特征点P分别在“左眼”和“右眼”上获取了特征点P的图像，即特征点P在左右相机上的投影点为P_L(x_L,y_L)和P_R(x_R,y_R)，若左右相机的图像在同一平面上，则特征点P的Y坐标与图像坐标P_L和P_R的Y坐标相同，则由三角几何关系得到：

由于视差Disparity＝x_L-x_R。由此可计算出特征点P在相机坐标系下的三维坐标为为：

因此，基于上述公式可以得到，由于对于双目摄像机来说，其基线距离B和焦距F是确定的，因此，视差值和深度呈反比关系。

本申请中的视差图中视差值的取值范围在[0,255]，一般的，可以将0设置为最近的距离，255设置为最远的距离。

需要说明的是，由于本申请中的双目摄像机是模拟人眼来进行采集图像的，因此，本申请中的双目摄像机中的左相机与右相机设置在同一水平线上，光轴平行，且存在一定间距，因此，本申请中的视差主要指水平视差。

“相机标定”，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定过程。

本申请中的相机标定通常指相机离线标定。通常情况下，由于双目摄像机的光轴位于相机内部，在相机装配时很难保证光轴严格平行，一般情况下存在一定的偏差，因此，通常可以对搭建成功的双目摄像机进行离线标定，来获取相机的内参(焦距、基线长度、图像中心，畸变参数等)和外参(旋转矩阵R与平移矩阵T)。

在一种示例中，可采用张正友棋盘格标定方法来对双目摄像机的镜头进行离线标定。

具体的，在对相机进行离线标定时，可以先对左相机进行标定，获取左相机的内外参数；其次，对右相机进行标定，获取右相机的内外参数；最后，对双目摄像机进行标定，获取左右相机之间的旋转平移关系。

假设世界坐标系中的任一点W＝[X,Y,Z]^T,该点在图像平面上对应点为m＝[u,v]^T，物点与像点之间的投影关系为：

[u,v,1]^T＝P[X,Y,Z,1]^T (公式七)；

其中，P为3×4的投影矩阵，其可以由旋转与平移矩阵来表示：

P＝A[Rt] (公式七)；

其中，R为3×3旋转矩阵，t是平移矢量，这两个矩阵表示双目视觉的外部参数，一个表示位置，一个表示方向，这样就能确定图像上每个像素点在世界坐标系中的位置，其中A矩阵表示相机内部参数矩阵，可以表示为如下：

上式中(u_o,u_o)为图像中心点的坐标；f_u和f_v分别表示水平、垂直像素单位表示的焦距长度，β表示倾斜因子。

上述离线标定过程中得到的一些参数在图像校正与障碍物计算过程均有应用。

“图像校正”，由于镜头畸变会造成镜头采集的图像发生畸变，因此，通常可以在双目摄像机采集图像之前对双目摄像机进行畸变矫正和极线校正。假设没有畸变的基准图像为f(x,y)，具有较大几何畸变的图像为g(x’,y’)，两幅图像坐标系之间的集合畸变可以表示为：

将上述式子用二元多项式来表示：

其中，n为多项式的系数，i和j表示像素点在图像中的具体位置，a_ij和b_ij为各项系数。通过上面的公式得到了畸变校正的图像。

对于图像的极线校正操作，根据相机离线校正中获取的左右相机的旋转与平移矩阵，假设左相机旋转平移矩阵为R1和t1,右相机的旋转平移矩阵为R2和t2,其旋转与平移矩阵均可在离线校正是获取。基于左右相机的旋转与平移矩阵，利用Bouguet的极线校正方法，使得左右相机图像的对应极线平行。大大降低了立体匹配的时间复杂度，简化了视差计算过程。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。如果不加说明，本文中的“多个”是指两个或两个以上。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请实施例中，除非另有说明，“多个”的含义是指两个或两个以上。

需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

下面将结合本申请实施例的说明书附图，对本申请实施例提供的技术方案进行说明。显然，所描述的是本申请的一部分实施例，而不是全部的实施例。需要说明的是，下文所提供的任意多个技术方案中的部分或全部技术特征在不冲突的情况下，可以结合使用，形成新的技术方案。

本申请实施例提供的障碍物检测方法的执行主体可以为基于双目摄像机的障碍物检测装置或者可以用于执行上述障碍物检测方法的电子设备。其中，基于双目摄像机的障碍物检测装置可以为上述电子设备中的中央处理器(Central Processing Unit，CPU)、CPU与存储器等硬件的组合、或者可以为上述终端设备中的其他控制单元或者模块。

示例性的，上述电子设备可以为采用本申请实施例提供的方法对双目摄像机采集的左右视图进行分析的个人计算机((personal computer，PC)、上网本、个人数字助理(英文：Personal Digital Assistant，简称：PDA)、服务器等，或者上述电子设备可以为安装有可以采用本申请实施例提供的方法对双目摄像机采集的左右视图进行处理的软件客户端或软件系统或软件应用的PC、服务器等，具体的硬件实现环境可以通用计算机形式，或者是ASIC的方式，也可以是FPGA，或者是一些可编程的扩展平台例如Tensilica的Xtensa平台等等。例如，上述的电子设备可集成在无人驾驶机、盲人导航仪、无人驾驶车辆、智能车辆、智能手机等需要检测障碍物的设备或仪器中。

基于上述内容，本申请的实施例提供一种基于双目摄像机的障碍物检测方法，如图3所示，该方法包括如下步骤：

S101、在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域。

示例性的，在控制双目摄像机采集视图时，即进行场景中障碍物检测之前，通常需要预先对双目摄像机进行一定的调整(例如，离线标定、图像校正等相机调整操作)，以保证左相机与右相机光轴平行。然后，测量左右相机光轴之间的基线长度，并记录双目摄像机的焦距，并保证该基线长度和焦距不会发生改变，从而保证双目摄像机采集图像的同步性，避免不必要的误差。

在一种示例中，在执行步骤S101时，具体可以根据第一匹配区域的窗口大小及双目摄像机的分辨率，对两幅视图进行匹配区域划分，得到两幅视图的第一匹配区域；其中，上述的左视图与右视图是由多个相互不交叠的大小相同的第一匹配区域组成。例如，假设双目摄像机采集的左视图与右视图的分辨率W为600*600像素，且预设的第一匹配区域的窗口大小为30×30，则如图4所示，图4中的左视图21与右视图22的横向和纵向各有20个相互不交叠第一匹配区域。

在另一种示例中，在执行步骤S101b时，根据第一匹配区域的窗口大小、相互交叠的两个匹配区域的水平偏移量以及双目摄像机的分辨率，对两幅视图进行匹配区域划分，得到两幅视图的第一匹配区域，其中，上述的左视图与右视图是由多个相互交叠的大小相同的第一匹配区域组成。例如，假设双目摄像机采集的左视图与右视图的分辨率W为600*600像素，参照图5所示的左视图与右视图中第一匹配区域的划分示意图，若左视图选择的一个30×30的区域，则在右视图上也同样选择N个30×30的区域进行匹配，如，第一个区域的水平偏移距离为L，第二个区域的水平偏移距离为2L，依次类推，若L＝15，则N＝40，即横向有40个相互交叠的第一匹配区域。由于相互交叠所划分出的匹配区域的个数要比相互不交叠所划分出的匹配区域的个数多，因此，对应得到的视差图的精度也要更高。

需要说明的是，上述的第一匹配区域为低分辨率匹配窗口，通常情况下，若第一匹配区域的窗口大小为s，视图大小为W，则需要保证W/s为整数，从而保证两幅图像中的每个第一匹配区域大小相同，方便进行匹配。

S102、将左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配，得到第一视差图。

示例性的，本申请将左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配的过程，即是对左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配代价计算，计算出左视图与右视图中同一第二匹配区域对应的视差值，得到第一视差图。

本申请实施例中的第二匹配区域的尺寸小于第一匹配区域的尺寸。上述的第一视差图可以是左视图中目标第一匹配区域中的第二匹配区域对应图像与右视图中目标第一匹配区域对应图像的视差图，也可以是左视图中目标第一匹配区域对应图像与右视图中目标第一匹配区域对应图像的视差图，与左视图中除目标第一匹配区域以外的其他第一匹配区域对应图像与右视图中除目标第一匹配区域以外的其他第一匹配区域对应图像的视差图结合后，所形成的视差图。

S103、确定第一视差图中障碍物的位置信息。

示例性的，在执行步骤S103时，可以根据设置的障碍物阈值H，分割出障碍物所在的准确区域，并且根据双目摄像机的内外参数计算出障碍物的真实方位。在一种示例中，本申请可以对第一视差图中视差值小于预定障碍物阈值的区域进行轮廓检测，得到障碍物的轮廓信息，然后根据该障碍物的轮廓信息以及对应区域的视差值，确定出该障碍物的位置信息。

本申请实施例提供的方案，通过在预定场景的左视图的低分辨率的第一匹配区域与右视图的低分辨率的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域，并将左视图中目标第一匹配区域中的高分辨率的第二匹配区域与右视图中目标第一匹配区域中的高分辨率的第二匹配区域进行匹配，得到第一视差图，由于第二匹配区域的尺寸小于第一匹配区域的尺寸，因此，这样针对性的对左视图与右视图中障碍物所在的区域进行进一步的精细匹配，降低了视差计算的计算量，提高了视差计算的效率，同时，由于对预定场景的左右视图中存在障碍物的区域进行进一步的精细匹配，从而得到障碍物轮廓更为清楚的视差图，进而可以基于该视差图得到更为精细的障碍物轮廓信息，提高了障碍物检测的准确度和检测效率。

可选的，本申请在从左视图的第一匹配区域与右视图的第一匹配区域中，分别确定存在障碍物的目标第一匹配区域，即执行步骤S101时，可以通过使用低分辨率的匹配窗口来对左视图与右视图执行一次匹配，并基于匹配后得到的视差图来获取左视图与右视图中存在障碍物的目标第一匹配区域。

示例性的，步骤S101具体包括如下步骤：

S101a、获取双目摄像机同一时刻采集的左视图和右视图。

S101b、将左视图中第一匹配区域与右视图中第一匹配区域进行匹配，得到第二视差图。

S101c、根据第二视差图，从左视图中第一匹配区域与右视图的第一匹配区域中，分别确定存在障碍物的目标第一匹配区域。

示例性的，本申请将左视图与右视图中第一匹配区域进行匹配的过程，即是对左视图中第一匹配区域与右视图中第一匹配区域中进行匹配代价计算，计算出左视图与右视图中同一第一匹配区域对应的视差值，得到第二视差图。

在一种示例中，在执行步骤S101c时，本申请可以从左视图与右视图中对应的第一匹配区域中，确定出第二视差图中视差值小于预定障碍物阈值的区域对应的第一匹配区域，作为存在障碍物的目标第一匹配区域。

示例性的，参照图4，以第一行为例，第一行的左视图上的20个第一匹配区域编号为L(1,1)，L(1,2)，……，L(1,20)，右视图上的第一匹配区域编号为R(1,1)，R(1,2)，……，R(1,20)，然后将L(1,1)依次与R(1,1)至R(1,20)进行匹配，从计算出的匹配代价中选择匹配代价最小的第一匹配区域所在的区域R(1,j)，则得到L(1,1)区域的视差值D1(1,1)＝j-1，其中j∈(1，20)，它代表了第一行第j列的窗口区域内所有像素点的视差值。如图6所示，假设L(1,15)与R(1,3)得到的匹配代价最小，则视差值为15-3＝12，重复上述步骤完成剩余19行的立体匹配计算，即可得到一个完整的视差图D1。

示例性的，现有的双目匹配代价计算方法有SAD，SSD，NCC等，具体公式参考如下：

SAD的匹配代价计算公式为：

SSD的匹配代价计算公式为：

NCC的匹配代价计算公式为：

参照图6所示，假设设定障碍物阈值H＝10，则认为第一视差图中第一匹配窗口的视差值大于H的均含有障碍物，根据上述的描述可知L(1,15)这个一区域含有障碍物，参照图6所示的障碍物方块区域T，其中黑色表示视差值为0，灰白区域表示视差值为12。

若以图6所示的L(1,15)这个第一匹配区域作为第一目标匹配窗口为例，则对L(1,15)窗口进行进一步的精细匹配。如图7所示，在T区域内采用k为5×5窗口进一步进行细致匹配计算，则横向和纵向各有6个第二匹配区域，以第一行为例，第一行的左视图上的匹配窗口编号为TL(1,1)，TL(1,2)，……，TL(1,6)，右视图上匹配窗口编号为TR(1,1)，TR(1,2)，……，TR(1,6)，然后依次用TL(1,1)与TR(1,1)至TR(1,6)进行匹配，取其中匹配代价最小，而且该值必须要小于规定的匹配阈值G，否则认为是无法匹配的点，比如因为遮挡造成的左右图像无法匹配，假设满足该条件的匹配窗口编号为TR(1,i)，其中i∈(1，6)，则TL(1,1)的视差值为D2(1,1)＝i-1+D1(1,15)，它代表了第一行第i列的窗口区域内所有像素点的视差值。重复上述步骤完成剩余6行的立体匹配计算，即可得到一个完整的精细视差图D2。

同时，在得到视差图D2后，还可以多次反复用更高分辨率(比如4×4，3×3，2×2)的匹配区域进行匹配计算，从而使得得到精细度更高的视差图，并从中可以确定出轮廓更清晰的障碍物的轮廓信息。

可选的，为了提高第一视差图中障碍物轮廓的精细度，本申请还可以在步骤S103之后，可以在第二次细分割的障碍物区域上，多次反复的使用更高分辨率的匹配窗口进行匹配。

示例性的，在步骤S102之后还包括：

S102a、在左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域中，分别获取存在障碍物的目标第二匹配区域。

S102b、将左视图中目标第二匹配区域中的第三匹配区域与右视图中目标第二匹配区域中的第三匹配区域进行匹配，得到第三视差图，其中，本申请中的第三匹配区域的尺寸小于第二匹配区域的尺寸。

在具体执行时，可以设定具体重复的次数以及每次进行匹配的匹配窗口的尺寸，从重复执行上述的步骤S102a以及S102b的操作。

上述主要从障碍物检测装置、以及该装置所应用的终端角度对本申请实施例提供的方案进行了介绍。可以理解的是，该装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对障碍物检测装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

下面说明本申请实施例提供的与上文所提供的方法实施例相对应的装置实施例。需要说明的是，下述装置实施例中相关内容的解释，均可以参考上述方法实施例。

在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中所涉及的障碍物检测装置的一种可能的结构示意图，该装置3包括：获取模块31、匹配模块32和确定模块33。获取模块31用于支持障碍物检测装置执行图3中的步骤S101；匹配模块32用于支持障碍物检测装置执行图3中的步骤S102；确定模块33用于支持该装置执行图3中的步骤S103。进一步的，获取模块31，具体用于支持该装置执行上文中的步骤S101a、S101c，匹配模块32具体用于支持该装置执行上文中的步骤S101b。进一步的，获取模块31，具体用于支持该装置执行上文中的步骤S102a，匹配模块32具体用于支持该装置执行上文中的步骤S102b。

进一步的，划分模块其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在硬件实现上，上述的获取模块31、匹配模块32和确定模块33可以是处理器。上述障碍物检测装置所执行的动作所对应的程序均可以以软件形式存储于该装置的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图9示出了本申请的实施例中所涉及的一种电子设备的可能的结构示意图。该装置4包括：处理器41、存储器42、系统总线43和通信接口44。存储器42用于存储计算机执行代码，处理器41与存储器42通过系统总线43连接，当装置运行时，处理器41用于执行存储器42存储的计算机执行代码，以执行本申请实施例提供的任意一种障碍物检测方法，如，处理器41用于支持该装置执行图3中的全部步骤，和/或用于本文所描述的技术的其它过程，具体的障碍物检测方法可参考下文及附图中的相关描述，此处不再赘述。

本申请实施例还提供一种存储介质，该存储介质可以包括存储器42。

本申请实施例还提供一种计算机程序产品，该计算机程序可直接加载到存储器42中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述的障碍物检测方法。

处理器41可以是一个处理器，也可以是多个处理元件的统称。例如，处理器41可以为中央处理器(central processing unit，CPU)。处理器41也可以为其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器41还可以为专用处理器，该专用处理器可以包括基带处理芯片、射频处理芯片等中的至少一个。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。进一步地，该专用处理器还可以包括具有该装置其他专用处理功能的芯片。

结合本申请公开内容所描述的方法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(英文：random access memory，缩写：RAM)、闪存、只读存储器(英文：read only memory，缩写：ROM)、可擦除可编程只读存储器(英文：erasableprogrammable ROM，缩写：EPROM)、电可擦可编程只读存储器(英文：electrically EPROM，缩写：EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于终端设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。

系统总线43可以包括数据总线、电源总线、控制总线和信号状态总线等。本实施例中为了清楚说明，在图9中将各种总线都示意为系统总线43。

通信接口44具体可以是该装置上的收发器。该收发器可以为无线收发器。例如，无线收发器可以是该装置的天线等。处理器41通过通信接口44与其他设备，例如，若该装置为该终端设备中的一个模块或组件时，该装置用于与该终端设备中的其他模块之间进行数据交互。

本申请实施例还提供一种机器人，该机器人包括图9对应的障碍物检测装置。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是：以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims

1.一种障碍物检测方法，其特征在于，包括：

在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域，包括：获取双目摄像机同一时刻在预定场景中采集的左视图和右视图；将左视图的第一匹配区域与右视图的第一匹配区域进行匹配，得到第二视差图；根据所述第二视差图，从左视图的第一匹配区域与右视图的第一匹配区域中，分别确定存在障碍物的目标第一匹配区域；

确定所述第一视差图中障碍物的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二视差图，从左视图的第一匹配区域与右视图的第一匹配区域中，分别确定存在障碍物的目标第一匹配区域，包括：

从左视图与右视图中对应的第一匹配区域中，确定出所述第二视差图中视差值小于预定障碍物阈值的区域对应的第一匹配区域，作为存在障碍物的目标第一匹配区域。

3.根据权利要求1所述的方法，其特征在于，所述在预定场景的左视图的第一匹配区域与右视图的第一匹配区域中，分别获取存在障碍物的目标第一匹配区域之前，还包括：

根据第一匹配区域的窗口尺寸及所述双目摄像机的分辨率，对左视图与右视图进行匹配区域划分，得到左视图与右视图的第一匹配区域。

4.根据权利要求3所述的方法，其特征在于，所述将左视图中目标第一匹配区域中的第二匹配区域与右视图中目标第一匹配区域中的第二匹配区域进行匹配之前，还包括：

根据第二匹配区域的窗口尺寸及所述目标第一匹配区域的分辨率，对左视图中目标第一匹配区域与右视图中目标第一匹配区域进行匹配区域划分，得到左视图与右视图中目标第一匹配区域的第二匹配区域；其中，所述第二匹配区域的窗口尺寸小于所述第一匹配区域的窗口尺寸。

5.一种障碍物检测装置，其特征在于，包括：

确定模块，用于确定所述匹配模块得到的第一视差图中障碍物的位置信息；

所述获取模块，还用于获取双目摄像机同一时刻在预定场景中采集的左视图和右视图；

所述匹配模块，还用于将左视图的第一匹配区域与右视图的第一匹配区域进行匹配，得到第二视差图；

所述获取模块在预定场景的左视图与右视图的第一匹配区域中，获取存在障碍物的目标第一匹配区域时，具体用于：根据所述第二视差图，从左视图与右视图的第一匹配区域中，确定存在障碍物的目标第一匹配区域。

6.根据权利要求5所述的装置，其特征在于，所述获取模块在根据所述第二视差图，从左视图的第一匹配区域与右视图的第一匹配区域中，分别确定存在障碍物的目标第一匹配区域时，具体用于：

7.根据权利要求5所述的装置，其特征在于，所述匹配模块还用于：

8.根据权利要求7所述的装置，其特征在于，所述匹配模块还用于：

9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器耦合到所述处理器中，用于存储计算机执行代码，所述计算机执行代码用于控制所述处理器执行权利要求1-4任一项所述的方法。

10.一种计算机存储介质，其特征在于，用于储存为障碍物检测装置所用的计算机软件指令，其包含执行权利要求1~4任一项所述的方法所设计的程序代码。

11.一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现权利要求1~4任一项所述的方法。

12.一种机器人，其特征在于，包括权利要求9所述的电子设备。