CN101336856B - 辅助视觉系统的信息获取与传递方法 - Google Patents

Abstract

本发明公开了一种辅助视觉系统的信息获取与传递方法。其过程包括：1.通过两个摄像机从不同角度同时获得被测物的两幅原始数字图像；2.利用Harris角点检测方法提取出两幅原始数字图像的特征点；3.通过两个摄像机获取特征点的三维几何信息；4.以每一个特征点为中心取矩形区域，找到下一帧特征点的位置并求出特征点的运动矢量；5.通过颜色直方图对原始数字图像中的路面信息按照色度信息进行分割，计算道路信息；6.对原始图像特征点的运动信息、特征点的三维几何信息及道路信息分别进行编码；7.将编码信息通过辅助视觉系统中信息传递阵列单元传输给视觉障碍的人体。本发明具有可准确获得目标的三维几何信息的优点，可用于辅助视觉障碍人群的安全定向行走。

Description

辅助视觉系统的信息获取与传递方法

技术领域

本发明属于信息技术领域，涉及一种环境信息获取与传递方法，该方法能有效地获取环境信息，可用于辅助视觉障碍人群实现定向行走以及特殊环境下的定向行走。

背景技术

从20世纪70年代开始，各国学者已开展了帮助盲人获取环境信息的电子行走辅助系统的设计和探索工作，如Laser Cane(Bolgiano D，Meeks EJ.A laser cane for the blind[J].IEEE Journal of Quantum Electronic，1967，3(6)：268.)，FishR(Fish R.Auditory display forthe blind[P].USA：3800082，1974203226.)的图像声音系统，VOICE(Meijer P.Image-audiotransformation system[P].USA：5097326，1992203217.)系统，Tyflos盲人智能助手等。这些系统均利用传感设备获取环境数据信息，并将处理后的数据转换成易于盲人理解的非视觉信号，其目的是辅助盲人独立而安全地行走。尽管各国学者和专家们已经花了30多年的时间研究和开发各种电子行走辅助系统，但该系统的普及和应用至今始终不是很理想。

从信息获取的角度来说，现今存在的电子行走辅助系统可分成两大类：一是通过传感器，例如声纳传感，全球定位系统GPS，地理信息系统GIS，电子罗盘和激光测距仪等获取位置和周围环境信息。二是通过图像采集设备，例如摄像机，通过信息处理设备完成三维空间信息的重建和物体识别，获取空间较为完整的信息。第一类方法获得了广泛的应用，Loomis和Helal教授在此领域进行了深入的研究(Loomis，J.M.，Klatzky，R.L.，&Golledge，R.G.(2001).Navigating without vision：Basic and applied research.Optometry and VisionScience，78，282-289.；Helal，A.，Moore，S.，and Ramachandran，B.，“Drishti：An IntegratedNavigation System for Visually Impaired and Disabled”，Fifth International Symposium onWearable Computers(ISWC′01)，2001.)并开发了个人导盲系统PGS系统。基于GPS和GIS的技术目前应用比较广泛，并产生了一些商用系统，如PGS。虽然这种方法具有良好的获得全局信息的能力，但却无法实时感知外部三维信息，缺乏自主性，因此其扩展功能受到了很大的局限。

由于人对周围环境的感知是一个复杂的问题，因而一些未知的甚至是动态的复杂场景为人对环境的感知增加了难度。特别是盲人在室内外环境中独立行走时，桌椅、门窗或空间其他附设物件都可能成为障碍，也容易碰伤。可以看出，只有障碍物信息并不能很好地解决盲人出行问题，盲人还需要其他的道路信息才能安全行走。由于运动物体对盲人具有很大的危险性，故需要正确实时的给出运动目标的信息。摄像传感ETA系统视角大，能采集到比声纳输入系统更丰富的信息，并结合计算机视觉技术实现目标检测识别、运动轨迹估计等，从而获取比较丰富的环境信息。因此，摄像头对盲人用户来说可以作为其视觉的延伸，在帮助盲人认识周围环境中起着非常重要的作用。随着人工智能和图像处理技术的发展，第二类方法的研究也得到了很大的发展，Bourbakis教授在这方面做了大量的工作，如ourbakis NG，Kavraki D.An Intelligent Assistant for Navigation of Visually ImpairedPeople[C]//Proceedings of the IEEE 2nd Inter.Symposium on Biolnformatics and BioengineeringConference.Bethesda：IEEE Press，2001：230-235.，并开发了Tyflos系统。该Tyflos系统通过立体相机获得环境的三维表示，并集成了激光测距和GIS等系统，通过语音和智能处理系统进行信息的交互。但Tyflos系统所用的获取外部信息的方法存在以下不足：

(1)由于该方法引入电子稳像、运动目标分割等算法，运算量巨大；

(2)由于模式识别和智能系统的发展还不成熟，不能可靠的认知环境，因而经常会给出错误的结论。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种对环境信息认知准确，且运算量小的辅助视觉系统信息获取与传递方法，以实现对外部环境信息的实时获取和信息传。

本发明的目的是这样实现的；

本发明充分利用人类视觉的特点和人体的智能性，避开基于机器视觉的复杂场景下的电子稳像、运动目标检测和跟踪，进行信息获取和信息传递。信息获取主要完成对外部环境的信息获取，这些信息包括：道路，目标距离，运动速度和目标大小。信息传递是通过二维的信息传递阵列对获取的外部环境信息进行传递。其步骤包括：

步骤1，通过两个摄像机从不同角度同时获得被测物的两幅原始数字图像I₁和I₂；

步骤2，利用Harris角点检测方法提取出两幅原始数字图像的特征点u₁和u₂；

步骤3，通过两个摄像机获取特征点的三维几何信息，即被测物体特征点的平面信息及立体视觉的距离；

步骤4，以每一个特征点为中心取矩形区域，找到下一帧特征点的位置并求出特征点的运动矢量；

步骤5，通过颜色直方图对原始数字图像中的路面信息按照色度信息进行分割，计算出道路信息，即道路概率图像P(x，y)和道路的二维方向θ；

步骤6，对原始图像特征点的运动信息、特征点的三维几何信息及道路信息分别进行编码；

步骤7，将编码信息通过辅助视觉系统中信息传递阵列单元传输给视觉障碍的人体，以避开障碍物行走。

本发明由于对外界环境中所提取的特征点的运动信息和三维几何信息进行编码，可重建周围环境特性；同时由于两个摄像机从不同角度同时获得被测物的两幅原始数字图像，因此可准确获得目标的三维几何信息；此外由于不涉及对复杂的动态目标提取，而是直接将特征点的信息进行计算，因而运算量小。

附图说明

图1为本发明方法的步骤框图；

图2平行双目立体视觉系统示意图；

图3为本发明环境信息编码生成过程实例图，其中：

3(a)为原始立体图像对左图，

3(b)为原始立体图像对右图，

3(c)为左图局部特征点提取图，

3(d)为景深信息图，

3(e)为由颜色分割后的信息图；

图4为信息传递阵列示例图。

具体实施方式

以下参照附图对本发明作进一步详细的描述。

参照附图1，本发明的信息获取步骤如下：

第一步：获取图像信息。

通过两个摄像机从不同角度同时获得被测物的两幅原始数字图像I₁和I₂，如图3(a)和图3(b)。

第二步：提取图像信息的特征点。

用Harris角点检测方法，分别对图3(a)和图3(b)的特征点进行提取，提取步骤如下：

2.1、利用下式计算图像I₁的梯度图像：

$\left\{\begin{array}{c}{X}_1=I_1\⊗(-\mathrm{1,0,1})={\∂I}_1/{\∂X}_1\\ Y_1=I_1\⊗{(-\mathrm{1,0,1})}^T={\∂I}_1/{\∂Y}_1\end{array}\right.$

其中，

表示卷积，X₁表示水平方向的梯度图像，Y₁表示垂直方向的梯度图像；

2.2、构造自相关矩阵：

令

则定义自相关矩阵

其中w＝exp(-(X₁ ²+Y₁ ²)/2σ²)为高斯平滑窗函数；

2.3、提取图像I₁的特征点，如图3(c)所示：

令 $\left\{\begin{array}{c}{D}_{\mathrm{et}}\left(M_1\right)=A_1{B}_1-{C_1}^2\\ T_{\mathrm{race}}\left(M_1\right)=A_1+B_1\end{array}\right.$

则Harris特征点响应值为：

$R_{H_1}=D_{\mathrm{et}}\left(M_1\right)-k\·{T_{\mathrm{race}}}^2\left(M_1\right)$

其中，常数k通常取0.04-0.06之间，将

与一个阈值进行比较，大于该阈值则认定该点为图像的一个特征点，该图像特征点可定义为：u₁＝[u_1x u_1y]^T。阈值根据所要检测的特征点数目设置，一般大于等于100，特征点之间的距离一般大于15个象素。图3(c)为图3(a)中所求出的特征点。

2.4、用同样的方法求出图3(b)的特征点相应值为该图像特征点可定义为：u₂＝[u_2x u_2y]^T。

第三步：获取图像三维几何信息

3.1、将内部参数完全相同的两个相机平行放置，且将两个相机光轴的连线与第一个相机的x轴重合，构成平行双目立体视觉系统，如图2所示。根据图2，获得被测点P(x^c，z^c)在两个图像平面上的投影，即平面几何信息为：

$c_1=f\frac{x^c}{z^c}$ $c_{2^{\′}}=f\frac{x^c-b}{z^c}$

其中，f为焦距，b为基线长度；

3.2、根据两幅图像特征点u₁和u₂的位置差d，计算立体视觉的距离：

3.3、根据灰度值与距离z^c成反比的关系，改变图像中的各像素点的灰度值，获得包含深度信息的灰度图，如图3(d)所示。

第四步：计算图像特征点的运动矢量

4.1、定义下一帧图像为J(x，y)，对于图像的特征点其运动估计就是在下一帧图像J中找到的点，例如：图像I₁的特征点u₁＝[u_1x u_1y]^T，以特征点为中心取矩形区域作为特征区域，运动估计就是在下一帧图像J中的特征区域找到点v₁，即

v₁＝u₁+d₁＝[u_1x+d_1x u_1y+d_1y]^T，其中d₁＝[d_1x d_1y]^T为特征点运动矢量，

定义残差函数为：

$\mathrm{\ϵ}\left(d_1\right)=\underset{x_1=u_{1x}-w_{1x}}{\overset{u_{1x}+w_{1x}}{\mathrm{\Σ}}}\underset{y_1=u_{1y}-w_{1y}}{\overset{u_{1y}+w_{1y}}{\mathrm{\Σ}}}{(I_1(x_1,y_1)-J(x+d_{1x},y+d_{1y}))}^2$

4.2、通过两帧相邻图像的特征点跟踪，找到一个使匹配残差函数ε(d₁)最小，即满足ε的一阶差分为0的运动矢量为：

d₁＝[d_1x d_1y]^T；

4.3、重复步骤4.1和4.2，得到所有帧的运动矢量。

第五步：提取道路信息

道路信息的提取是基于颜色分割而进行，步骤如下：

5.1、计算路面分割的概率图像P(x，y)：

计算路面信息颜色直方图，按色度信息对路面进行分割，将色度信息相同的区域划分为候选目标区域；目标模型和候选目标特征分别表示为：

q＝{q_u}_{u＝1，...，m}和p(y)＝{p_u(y)}_{u＝1，...，m}

其中y是候选目标区域的中心位置，且

m为特征值直方图通道的个数，

使用Bhattacharyya系数ρ(y)来替代目标图像的各个像素点的值，其中

k为目标区域内像素点个数，最终获得路面分割的概率图像P(x，y)，如图3(e)较亮区域即为分割结果。

5.2、通过概率图像P(x，y)的二阶矩计算道路的二维方向θ：

首先，计算概率图像P(x，y)的零阶矩和一阶矩分别为：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xP}(x,y),$ $M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xP}(x,y),$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yP}(x,y)$

其次，计算概率图像P(x，y)的二阶矩：

$M_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}P(x,y),$ $M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}P(x,y),$

最后，由概率图像P(x，y)的零阶矩、一阶矩和二阶矩计算出道路的二维方向θ：

$\mathrm{\θ}=\frac{\arctan \left(\frac{2(\frac{M_{11}}{M_{00}}-x_c{y}_c)}{(\frac{M_{20}}{M_{00}}-{x_c}^2)-(\frac{M_{20}}{M_{00}}-{y_c}^2)}\right)}{2}$

式中， $x_c=\frac{M_{10}}{M_{00}}$ $y_c=\frac{M_{01}}{M_{00}}.$

经过上述的计算，完成了对道路的颜色分割，如图3(e)中灰度值较大部分所示，并可以实时计算出道路方向。

第六步：信息编码

需要编码的信息包括特征点的三维几何信息、运动信息和道路信息三种情况。

6.1、将图像I₁的每个特征点对应一个三维几何信息，给出其特征点u₁的编码信息为(H_3D u₁ U f)，其中，H_3D为信息识别码，代表传送的是三维几何信息和运动信息；U为信息传递阵列输出电压，定义为U＝kοz^c，k为比例系数，f为信息传递阵列这一点输出脉冲频率；

6.2、对于运动特征点，给出其的编码信息为(H_3D u₁′U f)，其中，H_3D为信息识别码，代表传送的是三维几何信息和运动信息；u₁′为运动特征点的坐标值，U为信息传递阵列输出电压，定义为U＝k·z^c，k为比例系数，f为信息传递阵列这一点输出脉冲频率；

6.3、用同样的方法对图像I₂的特征点u₂进行编码，即给出u₂的三维几何信息编码为(H_3D u₂ U f)和运动特征点信息为(H_3D u₂′U f)；

6.4、对于道路信息，根据获得的概率图像P(x，y)，算出原始图像中道路上的点R(x，y)在信息传递阵列的输出电压为U_R＝k·P(x，y)，给出道路上的点R(x，y)的编码信息为(H_R R(x，y)U_R f)，其中，H_R为信息识别码，表示输出的为道路信息；f为信息传递阵列输出脉冲频率。

第七步：信息的传递

将所述的三维几何信息(H_3D u₁ U f)、运动信息(H_3D u₁′U f)和道路信息(H_R R(x，y)U_R f)，通过辅助视觉系统中信息传递阵列单元，以振动触觉的形式传递给使用者，其中，单元的振动频率为编码信息中输出脉冲频率f，单元的振动强度为信息传递阵列输出电压U。

传递形式如图4所示，T₁为距离较远、运动速度较慢的障碍物，则信息传递阵列对应位置的单元使用较低的输出脉冲频率f和较低的输出电压振动U，T₂为距离较近、运动速度较快的障碍物，则信息传递阵列对应位置的单元使用较高的输出脉冲频率f和较高的输出电压U振动，图中箭头方向为障碍物运动方向，信息传递阵列中的单元振动的移动方向与障碍物的运动方向一致。

Claims (7)

1.一种辅助视觉系统的信息获取与传递方法，包括如下步骤：

步骤1，通过两个摄像机从不同角度同时获得被测物的两幅原始数字图像I₁和I₂；

步骤2，利用Harris角点检测方法提取出两幅原始数字图像的特征点u₁和u₂；

步骤3，通过两个摄像机获取特征点的三维几何信息，即被测物体特征点的平面信息及立体视觉的距离；

步骤4，以每一个特征点为中心取矩形区域，找到下一帧特征点的位置并求出特征点的运动矢量；

步骤5，通过颜色直方图对原始数字图像中的路面信息按照色度信息进行分割，计算出道路信息，即道路概率图像P(x，y)和道路的二维方向θ；

步骤6，对原始图像特征点的运动信息、特征点的三维几何信息及道路信息分别进行编码；

步骤7，将编码信息通过辅助视觉系统中信息传递阵列单元传输给视觉障碍的人体，以避开障碍物行走。

2.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤2按如下过程进行：

2a.利用下式计算第一幅图像I₁的梯度图像：

$\left\{\begin{array}{c}{X}_1=I_1\⊗(-\mathrm{1,0,1})={\∂I}_1/\∂X_1\\ Y_1=I_1\⊗{(-\mathrm{1,0,1})}^T=\∂I_1/\∂Y_1\end{array}\right.$

其中

表示卷积，X₁表示水平方向的梯度图像，Y₁表示垂直方向的梯度图像；

2b.构造自相关矩阵：

令 $\left\{\begin{array}{c}{A}_1={X_1}^2\⊗w\\ B_1={Y_1}^2\⊗w\\ C_1=\left(X_1{Y}_1\right)\⊗w\end{array}\right.,$ 则定义自相关矩阵 $M_1=\left[\begin{array}{cc}{A}_1& C_1\\ C_1& B_1\end{array}\right].$

其中w＝exp(-(X₁ ²+Y₁ ²)/2σ²)为高斯平滑窗函数；

2c.提取第一幅图像I₁的特征点：

令 $\left\{\begin{array}{c}{D}_{\mathrm{et}}\left(M_1\right)=A_1{B}_1-{C_1}^2\\ T_{\mathrm{race}}\left(M_1\right)=A_1+B_1\end{array}\right.$

则Harris特征点响应值为： $R_{H_1}{=D}_{\mathrm{et}}\left(M_1\right)-k\·{T_{\mathrm{race}}}^2\left(M_1\right),$ 其中，常数k通常取0.04-0.06之间，

将R_1H与一个阈值进行比较，大于该阈值则认定该点为图像的一个特征点，定义第一幅图像的特征点为：u₁＝[u_1x u_1y]^T；

2d.重复步骤2a至2c，求出第二幅图像I₂的特征点u₂＝[u_2x u_2y]^T。

3.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤3按如下过程进行：

3a.将内部参数完全相同的两个相机平行放置，且将两个相机光轴的连线与第一个相机的x轴重合，构成平行双目立体视觉系统，获得被测点P(x^c，z^c)在两个图像平面上的投影，即平面几何信息为：

$c_1=f\frac{x^c}{z^c}$ $c_2=f\frac{x^c-b}{z^c}$

其中，f为焦距，b为基线长度；

3b.根据两幅图像特征点u₁和u₂的位置差d，计算立体视觉的距离：

$z^c=\frac{f\·b}{d};$

3c.根据灰度值与距离z^c成反比的关系，改变图像中的各像素点的灰度值，获得包含深度信息的灰度图。

4.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤4按如下过程进行：

4a.定义下一帧图像为J(x，y)，并在下一帧图像J中找到运动点v₁，即

v₁＝u₁+d₁＝[u_1x+d_1x u_1y+d_1y]^T，其中d₁＝[d_1x d_1y]^T为特征点运动矢量，

定义残差函数为：

$\mathrm{\ϵ}\left(d_1\right)=\underset{x_1=u_{1x}-w_{1x}}{\overset{u_{1x}+w_{1x}}{\mathrm{\Σ}}}\underset{y_1=u_{1y}-w_{1y}}{\overset{u_{1y}+w_{1y}}{\mathrm{\Σ}}}(I_1(x_1,y_1)-J(x+d_{1x},y+d_{1y}))2$

4b.通过两帧相邻图像的特征点跟踪，找到一个使匹配残差函数ε(d₁)最小，即满足ε的一阶差分为0的运动矢量为：

d₁＝[d_1x d_1y]^T；

4c.重复步骤4a至4b，得到所有帧的运动矢量。

5.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤5按如下过程进行：

5a.计算概率图像P(x，y)

计算路面信息颜色直方图，按色度信息对路面进行分割，将色度信息相同的区域划分为候选目标区域，将目标模型和候选目标特征分别表示为：

q＝{q_u}_{u＝1，...，m}和p(y)＝{p_u(y)}_{u＝1，...，m}

其中，y是候选目标区域的中心位置，且 ${\mathrm{\Σ}}_{u=1}^m{q}_u=1,$ ${\mathrm{\Σ}}_{u=1}^m{p}_u=1,$ m为特征值直方图通道的个数，

使用Bhattacharyya系数ρ(y)来替代目标图像中各个像素点的值，其中， $\mathrm{\ρ}\left(y\right)=\underset{u=1}{\overset{k}{\mathrm{\Σ}}}\sqrt{p_u{q}_u},$ k为目标区域内像素点个数，最终获得路面分割的概率图像P(x，y)；

5b.计算道路方向信息

通过概率图像P(x，y)的二阶矩计算道路的二维方向θ：

首先，计算概率图像P(x，y)的零阶矩和一阶矩分别为：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xP}(x,y),$ $M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xP}(x,y),$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yP}(x,y)$

其次，计算概率图像P(x，y)的二阶矩：

$M_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}P(x,y),$ $M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}P(x,y),$

最后，由概率图像P(x，y)的零阶矩、一阶矩和二阶矩计算出二维方向：

$\mathrm{\θ}=\frac{\arctan \left(\frac{2(\frac{M_{11}}{M_{00}}-x_c{y}_c)}{(\frac{M_{20}}{M_{00}}-{x_c}^2)-(\frac{M_{20}}{M_{00}}-{y_c}^2)}\right)}{2}$

式中 $x_c=\frac{M_{10}}{M_{00}}$ $y_c=\frac{M_{01}}{M_{00}}.$

6.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤6分为三维几何信息、运动信息和道路信息三种情况，具体步骤如下：

6a.将第一幅图像I₁的每个特征点对应一个三维几何信息，给出特征点u₁的编码信息为(H_3D u₁ U f)，

式中，H_3D为信息识别码，代表传送的是三维几何信息和运动信息，

U为信息传递阵列输出电压，定义为

k为比例系数，

f为信息传递阵列这一点输出脉冲频率；

6b.对于第一幅图像I₁中的运动特征点，给出其的编码信息为(H_3D u₁′ U f)，式中，H_3D为信息识别码，代表传送的是三维几何信息和运动信息，

u₁′为运动特征点的坐标值，

U为信息传递阵列输出电压，定义为

k为比例系数，

f为信息传递阵列这一点输出脉冲频率；

6c.用同样的方法对第二幅图像I₂的特征点u₂进行编码，给出u₂的三维几何信息的编码信息为(H_3D u₂ U f)，运动特征点的编码信息为(H_3D u₂′ U f)；

6d.根据获得的概率图像P(x，y)，计算出原始图像中道路上的点R(x，y)在信息传递阵列的输出电压为U_R＝k·P(x，y)，给出道路上的点R(x，y)的编码信息为(H_R R(x，y) U_R f)，

其中，H_R为信息识别码，表示输出的为道路信息，

f为信息传递阵列输出脉冲频率。

7.根据权利要求1所述的辅助视觉系统的信息获取与传递方法，其中步骤7所述的信息传递单元的信息传递方式，是将所述的三维几何信息(H_3D u₁ U f)、运动信息(H_3D u₁′ U f)和道路信息(H_R R(x，y) U_R f)，通过辅助视觉系统中信息传递阵列单元，以振动触觉的形式传递给使用者，

其中，H_3D为信息识别码，代表传送的是三维几何信息和运动信息，

u₁′为运动特征点的坐标值，

U为信息传递阵列输出电压，定义为U＝kоz^c，k为比例系数，

f为信息传递阵列这一点输出脉冲频率，

H_R为信息识别码，表示输出的为道路信息，

R(x，y)为道路上的点的坐标信息，

U_R为道路上的点R(x，y)在信息传递阵列的输出电压。

Images