CN104268871A - 基于近红外激光散斑深度估计的方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，具体设计一种基于近红外激光散斑深度估计的方法及装置。本发明基于近红外激光散斑深度估计的方法，通过引入RGB图像，对所述近红外图像与所述参考图像进行匹配得到的视差图进行监督滤波，减少近红外激光散斑对近红外图像中场景边界的影响，进而提高了基于近红外激光散斑深度估计的精度，获得更为精确的图像深度信息。

Description

基于近红外激光散斑深度估计的方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体设计一种基于近红外激光散斑深度估计的方法及装置。

背景技术

从图像中恢复深度信息是计算机视觉领域的一个基础问题，近些年得到了越来越多的关注并且取得了巨大的进展。深度传感器在自动驾驶、工业上的外形测量、生物医学成像、计算机场景理解和娱乐设备等方面具有非常广泛的应用。根据是否使用受控的照明，现有系统可以分为被动深度估计和主动深度估计两种。

其中主动系统利用投影机等设备将固定模式的光线投射到场景中，从而克服被动系统对场景和光照条件的依赖性。有些系统使用普通的数字投影机将固定模式的光线投射到场景中，然后利用双目立体视觉的方法计算深度。其缺点是投影机投射出的可见光模式与环境光混杂在一起，不利于进行匹配；可见光会对人的视觉感知产生影响，影响用户体验；而且这种结构体积庞大，不利于系统集成。

近些年，利用激光散斑的主动深度估计逐渐被人们所重视，由于激光的模式在不同深度下基本不变，所以可以只用一个单独的相机拍摄图像，与预先存储的参考图进行匹配从而估计深度。在此基础上发展出了采用近红外激光散斑的主动深度估计系统，由于近红外激光不为人所感知，并且对眼睛无伤害，这种结构得到了越来越多的关注。

但是，在现有技术中，由于近红外激光散斑对近红外图像中物体边界的影响造成深度图中物体轮廓不清楚，进而使得不能得到精确的图像深度估计结果。

发明内容

针对现有技术中近红外激光散斑对近红外图像中物体边界的影响造成深度图中物体轮廓不清楚的缺陷，本发明提供了一种基于近红外激光散斑深度估计的方法及装置。

一方面，本发明提供一种基于近红外激光散斑深度估计的方法，包括：

获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样；

将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图；

利用所述RGB图像对所述视差图进行监督滤波；

根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

进一步地，所述将所述近红外图像与所述参考图像进行匹配的步骤，包括：

针对每一个像素采用块匹配的方式计算所述近红外图像与所述参考图像之间的视差值；

将所有像素的视差值构成视差图。

进一步地，所述利用所述RGB图像对所述视差图进行监督滤波的步骤，包括：

采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

进一步地，所述将监督滤波后的所述视差图变换为深度图像的步骤，包括：

针对每一个像素，将所述近红外图像与所述参考图像之间的视差值变换为深度值，变换公式为：

$Z_i=\frac{s}{q_i+s/Z_0}$

其中，Z_i为像素i的深度值，q_i为监督滤波后的视差图中像素i的视差值，s为基线参数，Z₀为拍摄参考图像时平面与成像设备之间的距离。

进一步地，在所述将所述近红外图像与所述参考图像进行匹配的步骤前，还包括：

对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

进一步地，所述对所述近红外图像和所述参考图像的近红外散斑的频带进行限制的步骤，包括：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。

另一方面，本发明还提供了一种基于近红外激光散斑深度估计的装置，包括：

获取模块，用于获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样；

匹配模块，用于将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图；

滤波模块，用于利用所述RGB图像对所述视差图进行监督滤波；

提取模块，用于根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

进一步地，所述滤波模块，具体用于：

采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

进一步地，所述装置还包括：

限带模块，用于对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

进一步地，所述限带模块，具体用于：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。

本发明提供的一种基于近红外激光散斑深度估计的方法及装置，通过引入RGB图像，对所述近红外图像与所述参考图像进行匹配得到的视差图进行监督滤波，减少近红外激光散斑对近红外图像中场景边界的影响，进而提高了基于近红外激光散斑深度估计的精度，获得更为精确的图像深度信息。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明一个实施例中一种基于近红外激光散斑深度估计的方法的流程示意图；

图2是本发明一个实施例中近红外图像、RGB图像以及参考图像的拍摄示意图；

图3是本发明一个实施例中监督滤波器的边缘保留性质示意图；

图4是本发明一个实施例中限带近红外激光散斑与现有技术近红外激光散斑局部对照示意图；

图5是本发明一个实施例中一种基于近红外激光散斑深度估计的装置结构示意图。

具体实施方式

现结合附图和实施例对本发明技术方案作进一步详细阐述。

图1示出了本实施例中一种基于近红外激光散斑深度估计的方法的流程示意图，如图1所示，本实施例提供的一种基于近红外激光散斑深度估计的方法，包括：

S1，获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样。

在本实施例中，采用图2所示的拍摄示意图得到场景的近红外图像、RGB图像以及参考图像。

其中拍摄设备包括：近红外投影机，用于投射近红外激光散斑；分束器，用于将场景反射光中的近红外光和可见光分开到两个方向；近红外相机，用于接收分束器分出来的场景反射光中的近红外光；RGB相机，用于接收分束器分出来的场景反射光中的可见光，即RGB相机与近红外相机绝对对齐，使它们之间没有任何视角的差异。并且，近红外相机与近红外投影机在Y和Z方向对齐。

所述近红外图像，是使用近红外相机拍摄的实时场景近红外波段图像；所述RGB图像，是使用RGB相机拍摄的实时场景可见光波段图像，且所述RGB图像与所述近红外图像在视角上是完全对齐的；所述参考图像，是将上述设备固定后，在近红外相机前方一定距离处放置一个平面的状态下所拍摄得到的近红外激光散斑图样。

S2，将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图。

所述近红外图像与所述参考图像之间的视差图即由所述近红外图像中的所有像素相对于参考图像的视差值构成的图像。

故，具体来说，将所述近红外图像与所述参考图像进行匹配的步骤包括：

针对每一个像素采用块匹配的方式计算所述近红外图像与所述参考图像之间的视差值；

将所有像素的视差值构成视差图。

但是由于计算过程中难免会存在错误和不准确的部分，为了修正这一部分不准确的值，我们在RGB图像的监督下对所述视差图进行优化。

S3，利用所述RGB图像对所述视差图进行监督滤波。

优选的，采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

采用上述监督滤波器对所述视差图进行监督滤波的滤波权重可用下式表示：

$W_{\mathrm{ij}}\left(I\right)=\frac{1}{{\left|n\right|}^2}\underset{k:(i,j)\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}(1+\frac{(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}})$

根据该公式，可以得出，在近红外图像中的平坦区域，颜色方差小，各处的权重差异小；而在近红外图像的边缘区域，颜色方差大，各处的权重差异大；与目标像素点i处于边缘同一侧的点具有较大的权重，与像素点i处于边缘不同侧的点权重较小。因此，上述监督滤波器具有边缘保留性质。

如图3监督滤波(guided filter)器的边缘保留(edge preserving)性质示意图所示，使用上述监督滤波器对视差图进行滤波，可以得到更平滑的视差图，同时使得边缘处的视差值更准确，进而最终变换得到的深度值更准确。

S4，根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

优选的，针对每一个像素，将所述近红外图像与所述参考图像之间的视差值变换为深度值，变换公式为：

$Z_i=\frac{s}{q_i+s/Z_0}$

其中，Z_i为像素i的深度值，q_i为监督滤波后的视差图中像素i的视差值，s为基线参数，Z₀为拍摄参考图像时平面与成像设备之间的距离。

在本实施例中，上述基线参数s由近红外相机摄像头镜头的焦距以及近红外投影机和近红外相机之间的位置关系共同决定。

本实施例提供的一种基于近红外激光散斑深度估计的方法，通过引入RGB图像，对所述近红外图像与所述参考图像进行匹配得到的视差图进行监督滤波，减少近红外激光散斑对近红外图像中场景边界的影响，进而提高了基于近红外激光散斑深度估计的精度，获得更为精确的图像深度信息。

进一步地，为了克服近红外激光散斑的频谱范围对深度估计精度的影响，在所述将所述近红外图像与所述参考图像进行匹配的步骤前，还包括步骤S2a：

S2a，对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

具体来说，由于近红外相机镜头的景深限制，光的传递函数不是完美的，造成在不同距离下近红外激光散斑成像效果的差异。而通过对近红外激光散斑的频带进行设计，将近红外激光散斑的频带限制在成像系统传递函数较好的频带内，可以最大程度地减小不同距离下散斑形状的差异，从而更精确地估计深度。

优选的，所述对所述近红外图像和所述参考图像的近红外散斑的频带进行限制的步骤，包括：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。

举例来说，对所述近红外图像和所述参考图像在x方向和y方向均进行256阶离散余弦变换，变换到频域；然后对变换系数进行带通滤波，只保留x方向或y方向中频(例如5～100阶)带的变换系数，将低频(例如1～4阶)和高频(例如101～256阶)部分的变换系数置零；最后进行反余弦变换，得到限带近红外图像和限带参考图像。

限带近红外激光散斑与现有技术近红外激光散斑局部对照示意图如图4所示，其中图4(a)是现有技术频带没有限制的近红外激光散斑局部示意图；图4(b)是本实施例限带近红外激光散斑局部示意图。可以看出采用本实施例频带限制方法将近红外激光散斑的频带限制在成像系统传递函数较好的频带内后，很大程度上减小了不同距离下近红外激光散斑形状的差异。

另一方面，如图5所示，本发明还提供了一种基于近红外激光散斑深度估计的装置，包括：

获取模块101，用于获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样；

匹配模块102，用于将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图；

滤波模块103，用于利用所述RGB图像对所述视差图进行监督滤波；

提取模块104，用于根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

进一步地，所述滤波模块，具体用于：

采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

在具体实施过程中，所述匹配模块具体用于：

针对每一个像素采用块匹配的方式计算所述近红外图像与所述参考图像之间的视差值；

将所有像素的视差值构成视差图。

在具体实施过程中，所述提取模块具体用于：

针对每一个像素，将所述近红外图像与所述参考图像之间的视差值变换为深度值，变换公式为：

$Z_i=\frac{s}{q_i+s/Z_0}$

其中，Z_i为像素i的深度值，q_i为监督滤波后的视差图中像素i的视差值，s为基线参数，Z₀为拍摄参考图像时平面与成像设备之间的距离。

进一步地，所述装置还包括：

限带模块，用于对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

进一步地，所述限带模块，具体用于：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。

本发明提供的一种基于近红外激光散斑深度估计的装置，通过引入RGB图像，对所述近红外图像与所述参考图像进行匹配得到的视差图进行监督滤波，减少近红外激光散斑对近红外图像中场景边界的影响，进而提高了基于近红外激光散斑深度估计的精度，获得更为精确的图像深度信息。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于近红外激光散斑深度估计的方法，其特征在于，所述方法包括：

获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样；

将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图；

利用所述RGB图像对所述视差图进行监督滤波；

根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述近红外图像与所述参考图像进行匹配的步骤，包括：

针对每一个像素采用块匹配的方式计算所述近红外图像与所述参考图像之间的视差值；

将所有像素的视差值构成视差图。

3.根据权利要求1所述的方法，其特征在于，所述利用所述RGB图像对所述视差图进行监督滤波的步骤，包括：

采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

4.根据权利要求1所述的方法，其特征在于，所述将监督滤波后的所述视差图变换为深度图像的步骤，包括：

针对每一个像素，将所述近红外图像与所述参考图像之间的视差值变换为深度值，变换公式为：

$Z_i=\frac{s}{q_i+s/Z_0}$

其中，Z_i为像素i的深度值，q_i为监督滤波后的视差图中像素i的视差值，s为基线参数，Z₀为拍摄参考图像时平面与成像设备之间的距离。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述将所述近红外图像与所述参考图像进行匹配的步骤前，还包括：

对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述近红外图像和所述参考图像的近红外散斑的频带进行限制的步骤，包括：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。

7.一种基于近红外激光散斑深度估计的装置，其特征在于，所述装置包括：

获取模块，用于获取近红外图像、RGB图像以及参考图像，所述RGB图像与所述近红外图像在视角上是对齐的，所述参考图像为预先拍摄并存储的一个平面的近红外散斑图样；

匹配模块，用于将所述近红外图像与所述参考图像进行匹配，得到所述近红外图像与所述参考图像之间的视差图；

滤波模块，用于利用所述RGB图像对所述视差图进行监督滤波；

提取模块，用于根据设备的几何关系，将监督滤波后的所述视差图变换为深度图像，并提取深度信息得到深度估计结果。

8.根据权利要求7所述的装置，其特征在于，所述滤波模块，具体用于：

采用监督滤波器对所述视差图进行监督滤波，所述监督滤波器用以下公式表示：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,k=\mathrm{1,2,3}\·\·\·n$

$a_k=\frac{\frac{1}{\left|n\right|}\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}},b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k;$

其中，q_i为监督滤波后的视差图中像素i的视差值，p_i为监督滤波前的视差图中像素i的视差值，I_i为RGB图像I中像素i的颜色值，ω_k为包含像素i的矩形窗口，n为包含像素i的矩形窗口的数量，μ_k为RGB图像I在ω_k内的颜色均值，σ_k为RGB图像I在ω_k内的颜色方差，为监督滤波前的视差图p在ω_k内的均值，ε为预设常数值平滑因子。

9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

限带模块，用于对所述近红外图像和所述参考图像的近红外散斑的频带进行限制，得到限带近红外图像和限带参考图像。

10.根据权利要求9所述的装置，其特征在于，所述限带模块，具体用于：

对所述近红外图像和所述参考图像进行离散余弦变换，变换到频域；

对变换系数进行带通滤波，只保留中频带的变换系数，将低频部分和高频部分的变换系数置零；

进行反余弦变换，得到限带近红外图像和限带参考图像。