CN105488816A - 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法。采用Kinect获取泡沫颜色图像和深度信息，构成泡沫三维视觉信息。在嵌入式异构多核处理器内对当前帧和前一帧图像进行特征点提取和匹配，并利用特征点的像素坐标信息、深度信息和针孔投影成像模型计算出图像特征点的三维空间坐标。通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。本发明实现了对浮选槽泡沫流速的实时在线非接触式检测，并且具有体积小、可移动性强、功耗低、成本低、检测速度快、可靠性高的特点，特别适合矿物浮选现场泡沫流速指标的实时在线测量，有助于实现浮选过程的自动监控，进而提高选矿效率。

Description

一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法

技术领域

本发明涉及泡沫浮选过程泡沫图像机器视觉领域，具体涉及一种基于三维视觉信息的泡沫流速在线检测嵌入式装置及方法。

背景技术

泡沫浮选法是矿物生产加工过程中应用最广泛的一种选矿法，利用矿物本身的疏水特性或经浮选药剂复杂的物理化学反应作用后获得的疏水特性，使矿浆中可浮性好的矿粒粘附于气泡形成气、固、液三相组成的矿化泡沫层。矿化泡沫层泡沫流动性强、易破碎，其在空间三个维度的流速能够直接反映浮选泡沫的状态，而浮选泡沫的状态则直接决定浮选金属的回收率。尤其是泡沫沉降速度与泡沫破碎率指标息息相关，但至今仍没有测量泡沫沉降速度的有效方法。通过泡沫流速信息，工人可以给出对当前浮选状态的一个判断，进而调整浮选槽搅拌速度和浮选加药量。

长期以来，选矿厂主要靠选矿经验丰富的工人根据观察浮选槽泡沫的流速，很难得到准确的泡沫流速大小，而且不同工人对泡沫流速的视觉判断也没有统一的标准，浮选操作的主观性和随意性较大，使得浮选过程难以处于最优化的运行状态，导致经常出现生产过程不稳定、矿物资源严重浪费等问题。传统的差压式流量计采用接触式的方式，而且不能持续稳定的在线检测，在工厂浮选槽已经稳定运行的情况下很难安装使用。泡沫层位于矿浆层表面，是一个带有大量细小矿物颗粒的气、固、液三态混合层面，先进超声波流量计或者激光流量计会在泡沫层表面产生透射，只能测得底层矿浆的流速。随着微控制器技术、图像处理技术和自动控制技术的发展，使得采用机器视觉测量泡沫三维流速成为可能。同时，由于浮选工业过程相当复杂并且环境恶劣，浮选厂内充斥噪声、电磁波、粉尘等的干扰以及浮选液体的腐蚀，传统的基于PC机的机器视觉系统笨重、体积大、移动能力弱而且抗干扰能力差，所以很难在浮选工业过程使用。基于嵌入式平台的机器视觉系统相对于PC系统具有体积小、移动性好、抗干扰能力强、专用性强、硬件成本低等特点，已经成为机器视觉系统新的发展方向。

发明内容

本发明的目的是提出一种基于三维视觉信息的泡沫三维流速测量方法，解决传统流量计难以非接触式测量泡沫流速、不能测量泡沫沉降速度以及只能测量二维像平面泡沫像素点移动速度的问题；同时，提出构建一种基于嵌入式平台的流速测量装置，具有很好的可移动性和可靠性，解决传统基于PC机的机器视觉系统难以在工作环境恶劣的浮选厂使用的问题。

本发明实现了一种基于三维视觉信息的泡沫流速测量装置和方法。

一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括：

用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压缩、封装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心板；

用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置；

提供视频采集所需光照的高频光源；

所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心板通过网线连接至远端PC；图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并拍摄浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。

所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置中，所述三维泡沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍摄彩色视频的RGB彩色相机和用于获取深度视频的红外深度传感器。

一种基于三维视觉信息的矿物浮选泡沫流速检测方法，使用上述装置，包括以下步骤：

步骤一：高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和深度信息的三维视觉信息，并传输至图像处理核心板进行储存；

步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度信息进行预处理；

步骤三：利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征点匹配；

步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标和针孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。

所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，

所述步骤一包括以下子步骤：

步骤1：采集泡沫三维视觉信息：

利用Kinect的颜色相机拍摄泡沫颜色图像，得到分辨率为a×b的三通道颜色矩阵M；利用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为a×b的深度矩阵N；

步骤2：三维视觉信息的传输和保存；

将泡沫颜色矩阵M和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器中保存。

所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤二包括以下子步骤：

步骤1：颜色图像的预处理；

图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵M，并依次在DSP核对其进行图像灰度化、图像滤波和图像增强；

1)图像灰度化

图像灰度矩阵Gray由颜色矩阵M灰度化得到，对于图像中任一像素点(x,y)，其灰度Gray(x,y)的计算公式为：

Gray(x,y)＝0.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3)(1)

其中M(x,y,1)、M(x,y,2)、M(x,y,3)分别为分辨率为a×b的颜色矩阵M中像素点(x,y)的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为a×b的图像灰度矩阵Gray；

2)图像滤波

采用中值滤波方式对图像灰度矩阵Gray进行滤波处理：首先，选取中值滤波器的邻域窗口；然后，对灰度图像中某一像素点(x,y)邻域窗口的所有像素点灰度值进行排序，选取中位值作为像素点(x,y)的灰度值；最后遍历整幅图像，得到滤波后的灰度矩阵Gray’；

3)图像增强

采用直方图均衡化对泡沫图像进行增强：首先，统计滤波后的灰度矩阵Gray’中每种灰度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函数，产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像；

步骤2：深度信息的预处理；

图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵N’。

所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤三包括以下子步骤：

步骤1：构建泡沫图像的高斯金字塔尺度空间；

为了提取预处理后的泡沫灰度图像Gray’的特征点，首先构造图像的尺度空间L(x,y,σ)为：

$L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗Gra\stackrel{\′}{y}(x,y)---\left(2\right)$

其中，代表卷积运算，G(x,y,σ)为高斯核函数，表达式为：

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(3\right)$

其中，σ为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大，对应图像轮廓越模糊；

对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图像，按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间；采用高斯差分算子，得到高斯差分尺度空间D(x,y,σ)：

$\begin{array}{c}D(x,y,\mathrm{\σ})=\left(G\right(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ}\left)\right)\⊗{\mathrm{Gray}}^{\′}(x,y)\\ =L(x,y,k\mathrm{\σ})-L(x,y,\mathrm{\σ})\end{array}---\left(4\right)$

其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点；

步骤2：检测尺度空间的极值点；

在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点与同尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9×2个像素点，共26个像素点的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点；

步骤3：给关键点标定方向形成关键点特征向量；

在已知关键点尺度因子_σ的情况下，选取关键点周围4×4个4×4像素单元，对每个4×4单元内的像素点P(x,y)求取梯度大小m(x,y)和方向θ(x,y)为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(5\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(6)

统计4×4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量，作为一个种子点的特征向量，总共4×4个种子点根据离关键点的距离采用高斯加权生成4×4×8共128维特征向量，以此作为特征点的SIFT特征向量；

设特征点128维SIFT特征向量为H(h₁,h₂,...,h₁₂₈)，进一步，为了消除光照条件对特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(l₁,l₂,...,l₁₂₈)，其中：

$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\Σ}}{h}_j}},j=1,2,3,\mathrm{...}---\left(7\right)$

步骤4：采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；

对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前后两帧图像进行SIFT特征提取后得到特征点集分别为P＝{p₁,p₂,...,p_m}和P'＝{p₁',p'₂,...,p'_n}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集P中任意特征点和前一帧图像特征点集P'中任意特征点的欧式距离d(p_i,p'_j)为：

$d(p_i,p_j^{\′})=\sqrt{\underset{k=1}{\overset{128}{\Σ}}{(x_i^k-y_j^k)}^2}---\left(8\right)$

在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；

$\frac{d_{min}}{d_{nmin}}<Threshold---\left(9\right)$

其中，d_min是距离最小值，d_nmin是距离次最小值，Threshold为设定阈值；阈值越小，匹配成功率越低，可靠性越强，本发明取Threshold＝0.2；如果公式(9)所得结果小于阈值，则该对匹配点合格，否则舍弃；穷举匹配当前图像中所有特征点和前一帧图像中所有特征点，得到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小的前n对匹配点作为正确的匹配点，不足n对则选取所有匹配点作为正确的匹配点。

所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，步骤三的子步骤2中，考虑提取出的极值点为图像边缘的情况，计算极值点在x和y方向的梯度分别为α和β，假定α>β，且有α＝rβ，其中r>10的极值点为图像边缘点，舍弃图像边缘点以提高特征点的稳定性、可靠性。

所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤四包括以下子步骤：

步骤1：建立坐标系；

建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(u₀,v₀)作为图像物理坐标系的原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成像平面；世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行；

步骤2：计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系；

首先，获取图像像素坐标系(u,v)与物理坐标系(x,y)的坐标变换关系，变换式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(10\right)$

其中，d_x,d_y分别为相机成像面单位长度的像素点个数；

然后，利用针孔投影模型计算物理坐标系(x,y)与相机坐标系(x_c,y_c,z_c)的坐标变换关系，变换式为：

$z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(11\right)$

相机坐标系(x_c,y_c,z_c)与世界坐标系(x_w,y_w,z_w)的变换式为：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+T=\left[\begin{array}{cc}{R}_{3\&times;3}& T_{3\&times;1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(12\right)$

其中，R_3×3是两个坐标系的正交旋转矩阵，T_3×1是两个坐标原点的平移向量；

由公式(10)、(11)、(12)可以得到像素坐标系(u,v)与世界坐标系(x_w,y_w,z_w)的变换关系为：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{dx}& 0& u_0& 0\\ 0& \frac{f}{dy}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_3& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(13\right)$

给定世界坐标系和相机坐标系重合，则R_3×3＝I,T_3×1＝0，公式(13)变为：

$Z_w\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f}{d_x}& 0& u_0\\ 0& \frac{f}{d_r}& V_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]=K_{3\&times;3}\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]---\left(14\right)$

其中，K_3×3是相机的内参矩阵，公式(14)即为世界坐标系下一点(x_w,y_w,z_w)与其在相机成像平面的投影点(u,v)之间的变换关系；

步骤3：计算泡沫的移动速率；

根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过公式(14)计算出泡沫特征点的三维世界坐标(x_w,y_w,z_w)，给定图像采集速率为每秒S帧，通过计算前后两帧泡沫图像匹配特征点p_i和p_i'的世界坐标(x_iw,y_iw,z_iw)和(x'_iw,y'_iw,z'_iw)，从而得到泡沫的三维移动速率如下：

X方向速率： $V_x=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{x}_{iw}-x_{iw}^{\&prime;}---\left(15\right)$

Y方向速率： $V_y=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{y}_{iw}-y_{iw}^{\&prime;}---\left(16\right)$

Z方向速率： $V_z=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{z}_{iw}-z_{iw}^{\&prime;}---\left(17\right)$

其中，n是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V＝(V_x,V_y,V_z)，求取一秒内连续S帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。

本发明的技术效果在于，开发出了一套能采集浮选槽泡沫三维场景图像信息、处理和分析图像信息，并且具有集成度高、体积小、可移动性好、抗干扰性能好、成本低、专用性强、运行效率高等优点的基于嵌入式ARM+DSP异构多核处理架构的泡沫流速在线检测装置。本发明泡沫流速检测装置采用嵌入式平台构建，解决了传统基于PC机的机器视觉系统难以在工作环境恶劣的现场稳定运行的问题，具有较高的可靠性。本发明的泡沫流速检测装置内部集成颜色相机和红外深度传感器获取泡沫的三维机器视觉，通过采用本发明的基于三维视觉信息的泡沫流速测量方法，可以实现泡沫三维流速的非接触式测量，解决了传统流量计难以非接触式测量泡沫流速以及不能测量泡沫沉降速度的问题。同时使用该装置的泡沫流速检测方法采用图像匹配技术和投影成像模型测量泡沫流速，从本质上解决了现有基于机器视觉的流速检测装置只能测量二维像平面泡沫像素点移动速度的问题，测得了泡沫的三维真实流速，单位为mm/s。此外，本发明的泡沫流速检测装置采用ARM+DSP异构多核处理架构，利用ARM核调度DSP核进行复杂的图像处理，充分利用了DSP核高效的图像处理性能，满足工业现场对泡沫流速测量实时性的要求，并且具有较高的测量精度。

附图说明

图1为为基于三维视觉信息的泡沫流速在线检测装置的工程示意图；

图2为基于三维视觉信息的泡沫流速在线检测装置的硬件结构图；

图3为基于三维视觉信息的泡沫流速检测方法流程图；

图4为泡沫流速检测装置实施例中颜色相机采集到的彩色图像；

图5为泡沫流速检测装置实施例中红外深度传感器采集到的深度图像；

图6为泡沫流速检测方法实施例中相邻两帧泡沫图像特征点匹配结果；

其中标号1是浮选槽、2是矿浆层、3是泡沫层、4是铁质活动支架、5是高频光源、6是三维泡沫图像采集装置防护罩、7是三维图像采集装置、8是红外发射器、9是颜色相机、10是红外接收器、11是USB总线、12是图像处理核心板防护罩、13是图像处理核心板、14是以太网双绞线、15是远端工控机、16是显示器。

具体实施方式

下面结合附图及具体实施例对本专利作进一步详细说明。

本发明的基于三维视觉信息的泡沫流速在线检测装置的工程示意图如图1所示，整套装置的工程包括：浮选槽1、矿浆层2、泡沫层3、安装支架4、高频光源5、三维泡沫图像采集装置防护罩6、三维图像采集装置7、红外发射器8、颜色相机9、红外接收器10、USB总线11、图像处理核心板防护罩12、图像处理核心板13、以太网双绞线14、远端工控机15、显示器16。

浮选槽1是矿物与浮选药剂发生复杂物理化学反应的容器，通过反应后在浮选槽内形成矿浆层2和泡沫层3，泡沫层3在矿浆层2的顶部。三维泡沫图像采集装置防护罩6和图像处理核心板防护罩12采用铝合金材料制成，为密封箱体，防护等级达到IP65级。其中，三维泡沫图像采集装置防护罩6的封装大小为25cm×3.5cm×4.5cm，图像处理核心板防护罩12的封装大小为11cm×10cm×2.5cm，内部均用铆钉固定。高频光源5与三维泡沫图像采集装置7保持相互平行，并且垂直于浮选槽表面安装在铁质活动支架4上。三维泡沫图像采集装置7固定在距离浮选槽1泡沫表面1.5-3m的范围内，并且可以在此范围对高频光源5和三维泡沫图像采集装置7的安装高度进行调节。高频光源采用功率为200W，发光功率为2.65MHz，照度为1500lux，色温为4500K的大功率卤素灯，为浮选槽提供照明。

三维泡沫图像采集装置7采用微软Kinect体感设备构建，内部集成有颜色相机9和红外深度传感器，用来采集浮选槽泡沫的三维视觉信息。其中，其中，RGB彩色相机用来获取分辨率为640*480、帧率为30FPS的泡沫彩色图像；红外深度传感器采用红外发射器8和红外接收器10构成，一个用于发送，一个用于接收，以此来获取泡沫图像对应像素点的深度数据。三维泡沫图像采集装置7采集到泡沫三维视觉信息后，将其通过USB总线传输至图像处理核心板13，图像处理核心板对泡沫三维视觉信息进行处理，并采用本发明的基于三维视觉信息的泡沫流速监测方法计算得到泡沫实时流速，然后通过以太网双绞线传输至远端工控机15用于进行浮选流程监控，同时在显示器16上显示泡沫实时流速。

图2是本装置的硬件结构图，主要由嵌入式图像处理核心板13，图像采集装置7和外扩LCD显示屏构成。嵌入式图像处理核心板内部集成有嵌入式核心处理器模块、存储器模块、外围接口或设备模块。其中：

嵌入式核心处理器模块采用TI公司具有ARM和DSP异构多处理核的Omap4460型处理器，包括主频为1.5GHZ的对称ARMCortex-A9双内核、基于TIC64x系列的DSP内核以及对称ARMCortex-M3双内核。对称ARMCortex-A9双内核用于运行实时操作系统RTOS；对称ARMCortex-M3双内核用于图像处理任务的调度以及与DSP核进行通信；C64x系列的DSP核用于硬件加速执行图像处理任务；

存储器模块具有2GBLPDDR2SDRAM和16GBSD存储卡。SDRAM与Omap4460处理器的EMIF接口(外部内存接口)连接，用于缓存图像处理过程中产生的临时数据；SD卡与Omap4460处理器的SDIO接口连接，用于非易失性存储实时操作系统RTOS和泡沫速率参数。

外围接口或设备模块具有RS232接口、RJ45接口、USBHost端口和外扩LCD显示屏。RS232接口一端通过Max232芯片进行电平转换后与Omap4460处理器UART连接，另一端与上位机RS232接口连接，用于实现与工控机的串行通讯；RJ45接口一端通过BCM5221型以太网控制器与Omap4460处理器连接，另一端与以太网双绞线连接，用于向工控机发送实时泡沫流速数据；USBHost端口一端通过USB总线与Omap4460处理器连接，另一端与Kinect的USB输出端连接，用于采集泡沫颜色图像和深度信息；外扩LCD显示屏与Omap4460DISPC接口(显示控制器)连接，用于本地实时显示泡沫流速信息。

本发明的基于三维视觉信息的泡沫流速检测方法使用上述泡沫流速检测装置，并实施以下步骤实现对泡沫流速的测量：

步骤一：光源照射浮选槽泡沫表面，三维泡沫图像采集装置采集泡沫三维视觉信息，并传输至图像处理核心板；

步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度信息进行预处理；

步骤三：利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征点匹配；

步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标和针孔投影成像模型计算出图像特征点的三维空间坐标。然后，通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速；

步骤一具体使用以下子步骤实现：

Step1：采集泡沫三维视觉信息；

利用三维泡沫图像采集装置内部集成的Kinect设备采集泡沫三维视觉信息。首先，嵌入式操作系统RTOS下，采用跨平台、开源自然交互框架OpenNI开发应用软件，本实施例设置采集颜色图像数据流的分辨率为640×480，帧率为30FPS，格式为XN_PIXEL_FORMAT_RGB24，设置采集深度数据流的分辨率为640×480，并采用OpenNI下的“AlternativeView”工具校正颜色相机和深度相机的视角，使得颜色图像和深度图像的像素点完全对准。然后，利用Kinect的颜色相机拍摄泡沫颜色图像，得到颜色矩阵M，其大小为640×480×3阶，如图4所示；利用红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到深度矩阵N，其大小为640×480阶，如图5所示。图5所示泡沫深度图像中，像素点灰度越偏白代表深度越小，灰度越偏黑深度越大，偏白的局部区域代表一个凸起的泡沫，深度图像白色区域的分布与颜色图像泡沫的分布一一对应。

Step2：三维视觉信息的传输和保存；

将泡沫颜色矩阵M和深度矩阵N通过USB总线传输至嵌入式图像处理核心板的SDRAM存储器中保存。

步骤二具体使用以下子步骤实现：

Step1：颜色图像的预处理；

图像处理核心板中的Omap4460处理器从SDRAM中读取泡沫颜色矩阵M，并依次在DSP核对其进行图像灰度化、图像滤波和图像增强。

1)图像灰度化

图像灰度矩阵Gray由图像颜色矩阵M灰度化得到。对于图像中任一像素点(x,y)，其灰度Gray(x,y)的计算公式为：

Gray(x,y)＝0.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3)(1)

其中M(x,y,1)、M(x,y,2)、M(x,y,3)分别为颜色矩阵M中像素点(x,y)的R、G、B颜色分量。公式(1)通过整数化后，在DSP中采用移位过程代替耗时长的除法过程，优化图像处理速度。遍历泡沫颜色图像所有像素点，得到图像灰度矩阵Gray，其大小为640×480阶。

2)图像滤波

为了抑制泡沫图像中由于光照原因产生的噪点，并且保留泡沫图像中泡沫的细节特征，采用中值滤波方式对泡沫灰度图像进行滤波处理。具体过程是：首先，选取中值滤波器的邻域窗口，本发明选取邻域3×3像素窗口，但不限于此；然后，对灰度图像中某一像素点(x,y)邻域窗口的所有像素点灰度值进行排序，选取中位值作为像素点(x,y)的灰度值；最后遍历整幅图像，得到滤波后的灰度矩阵Gray’。

3)图像增强

为了消除光照强度对泡沫图像整体色彩的影响，增强泡沫图像的对比度，突出泡沫的细节特征，采用直方图均衡化对泡沫图像进行增强。具体过程是：首先，统计灰度图像Gray’中每种灰度级像素的个数，形成灰度直方图；然后，针对灰度值分布不均匀影响图像对比度的特点，以归一化图像灰度的累积分布函数为映射函数，产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像。

Step2：深度信息的预处理；

图像处理核心板中的Omap4460处理器从SDRAM中读取泡沫深度矩阵N，并在DSP核同样采用邻域3×3像素窗口的中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵N’。

步骤三具体使用以下子步骤实现：

Step1：构建泡沫图像的高斯金字塔尺度空间；

为了提取预处理后的泡沫灰度图像Gray’的特征点，首先构造图像的尺度空间L(x,y,σ)为：

$L(x,y,\mathrm{\&sigma;})=G(x,y,\mathrm{\&sigma;})\&CircleTimes;{\mathrm{Gray}}^{\&prime;}(x,y)---\left(2\right)$

其中，代表卷积运算，G(x,y,σ)为高斯核函数，表达式为：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}---\left(3\right)$

其中，σ为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大，对应图像轮廓越模糊。对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图像。按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间。

进一步，采用高斯差分算子，得到高斯差分尺度空间D(x,y,σ)：

$\begin{array}{c}D(x,y,\mathrm{\&sigma;})=\left(G\right(x,y,k\mathrm{\&sigma;})-G(x,y,\mathrm{\&sigma;}\left)\right)\&CircleTimes;{\mathrm{Gray}}^{\&prime;}(x,y)\\ =L(x,y,k\mathrm{\&sigma;})-L(x,y,\mathrm{\&sigma;})\end{array}---\left(4\right)$

其中k为尺度空间不同组对应的尺度空间因子。简单来说，高斯差分尺度空间就是将高斯金字塔尺度空间中上下连续的两组图像相减得到。利用高斯差分尺度空间，可以得到稳定的图像极值点。

Step2：检测尺度空间的极值点；

高斯差分图像中局部最大值点即是图像关键点的位置。在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点与同尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9×2个像素点，共26个像素点的灰度值进行比较得到局部极大值点，即为图像的关键点。考虑DOG算子具有较强的边缘效应，提取出的极值点可能是图像边缘，但图像在边缘处的横向梯度和垂直梯度大小差异明显，因此计算极值点在x和y方向的梯度分别为α和β，假定α>β，且有α＝rβ。本实施例取r>10的极值点为图像边缘点，舍弃图像边缘点，提高特征点的稳定性、可靠性。关键点在同层以及相邻层高斯差分尺度空间中均是极大值点，说明关键点是图像在尺度变换下稳定的极值点。

Step3：给关键点标定方向形成关键点特征向量；

在确定了关键点的位置以及尺度之后，需要对关键点进行描述，以提取关键点在灰度变换、尺度变换和旋转变换下稳定的特征信息。在已知关键点尺度因子σ的情况下，选取关键点周围4×4个4×4像素单元，对每个4×4单元内的像素点P(x,y)求取其梯度大小m(x,y)和方向θ(x,y)为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(5\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(6)

统计4×4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量，作为一个种子点的特征向量。总共4×4个种子点根据离关键点的距离采用高斯加权生成4×4×8共128维特征向量，以此作为特征点的SIFT特征向量。

假设特征点128维SIFT特征向量为H(h₁,h₂,...,h₁₂₈)。进一步，为了消除光照条件对特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(l₁,l₂,...,l₁₂₈)，其中：

$l_i=\frac{k}{\sqrt{\underset{j=1}{\overset{128}{\&Sigma;}}{h}_j}},j=1,2,3,\mathrm{...}---\left(7\right)$

由此，完成了图像特征点的特征描述。

Step4：采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；

完成对前后两帧泡沫图像特征点的提取以及特征的描述后，需要对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息。假设前后两帧图像进行SIFT特征提取后得到特征点集分别为P＝{p₁,p₂,...,p_m}和P'＝{p₁',p'₂,...,p'_n}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集P中任意特征点和前一帧图像特征点集P'中任意特征点的欧式距离d(p_i,p'_j)为：

$d(p_i,p_j^{\&prime;})=\sqrt{\underset{k=1}{\overset{128}{\&Sigma;}}{(x_i^k-y_j^k)}^2}---\left(8\right)$

在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点。

$\frac{d_{min}}{d_{nmin}}<Threshold---\left(9\right)$

其中，d_min是距离最小值，d_nmin是距离次最小值，Threshold为设定阈值。阈值越小，匹配成功率越低，可靠性越强，本实施例取Threshold＝0.2。如果公式(9)所得结果小于阈值0.2，则该对匹配点合格，否则舍弃。穷举匹配当前图像中所有特征点和前一帧图像中所有特征点，得到合格的匹配点R对。将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小的前25对匹配点作为正确的匹配点，不足25对则选取所有匹配点作为正确的匹配点。本实施例对某一时刻Kinect采集到前后两帧泡沫图像进行特征点提取和匹配，并保存两帧图像中提取出来的特征点及其特征点的匹配对，通过MATLAB重绘两帧图像的特征点和特征点匹配对，得到的匹配效果如图6所示。图6中左侧图像是前一帧图像，右侧图像是当前图像，小圆圈为检测出来的特征点，白色直线连接的是两帧图像匹配的特征点。图6中可以看出，25对匹配特征点的对应位置基本准确，而且用于连接匹配特征点的直线基本保持平行，说明了本发明方法的有效性。

步骤四具体使用以下子步骤实现：

Step1：建立坐标系；

建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系。以图像左上角顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(u₀,v₀)作为图像物理坐标系的原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成像平面；世界坐标系的原点取正方体浮选槽内某一点，三轴与浮选槽长、宽、高平行。

Step2：计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系；

首先，获取图像像素坐标系(u,v)与物理坐标系(x,y)的坐标变换关系，变换式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(10\right)$

其中，d_x,d_y分别为相机成像面单位长度的像素点个数。

然后，利用针孔投影模型计算物理坐标系(x,y)与相机坐标系(x_c,y_c,z_c)的坐标变换关系，变换式为：

$z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(11\right)$

最后，因为相机坐标系是绕世界坐标系三个轴多次旋转并平移坐标原点的结果，所以相机坐标系(x_c,y_c,z_c)与世界坐标系(x_w,y_w,z_w)的变换式为：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+T=\left[\begin{array}{cc}{R}_{3\&times;3}& T_{3\&times;1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(12\right)$

其中，R_3×3是两个坐标系的正交旋转矩阵，T_3×1是两个坐标原点的平移向量。

由公式(10)、(11)、(12)可以得到像素坐标系(u,v)与世界坐标系(x_w,y_w,z_w)的变换关系为：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{dx}& 0& u_0& 0\\ 0& \frac{f}{dy}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_3& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(13\right)$

给定世界坐标系和相机坐标系重合，则R_3×3＝I,T_3×1＝0，公式(13)变为：

其中，K_3×3是相机的内参矩阵。公式(14)即为世界坐标系下一点(x_w,y_w,z_w)与其在相机成像平面的投影点(u,v)之间的变换关系。由于相机的内参矩阵由其本身特征决定，因此可以通过相机标定方法求取相机的内参矩阵。

Step3：计算泡沫的移动速率；

所述步骤二中已经给出图像像素点的深度数据，所述步骤三已经计算出特征点的像素坐标，通过公式(14)可以计算出泡沫特征点的三维世界坐标(x_w,y_w,z_w)。给定图像采集速率为30FPS，通过计算前后两帧泡沫图像匹配特征点p_i和p'_i的世界坐标(x_iw,y_iw,z_iw)和(x'_iw,y'_iw,z'_iw)，从而得到泡沫的三维移动速率如下：

X方向速率： $V_x=\frac{30}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{x}_{iw}-x_{iw}^{,}---\left(15\right)$

Y方向速率： $V_y=\frac{30}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{y}_{iw}-y_{iw}^{,}---\left(16\right)$

Z方向速率： $V_z=\frac{30}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{z}_{iw}-z_{iw}^{,}---\left(17\right)$

其中，n是前后两帧图像匹配特征点的个数，流速单位是mm/s。Z方向速率称作泡沫沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V＝(V_x,V_y,V_z)。求取一秒内连续30帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。

Claims (8)

1.一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括：

用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压缩、封装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心板；

用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置；

提供视频采集所需光照的高频光源；

所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心板通过网线连接至远端PC；图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并拍摄浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。

2.根据权利要求1所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，所述三维泡沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍摄彩色视频的RGB彩色相机和用于获取深度视频的红外深度传感器。

3.一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，使用如权利要求1所述的装置，包括以下步骤：

步骤一：高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和深度信息的三维视觉信息，并传输至图像处理核心板进行储存；

步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度信息进行预处理；

步骤三：利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征点匹配；

步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标和针孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。

4.根据权利要求3所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，

所述步骤一包括以下子步骤：

步骤1：采集泡沫三维视觉信息：

利用Kinect的颜色相机拍摄泡沫颜色图像，得到分辨率为a×b的三通道颜色矩阵M；利用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为a×b的深度矩阵N；

步骤2：三维视觉信息的传输和保存；

将泡沫颜色矩阵M和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器中保存。

5.根据权利要求4所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，所述步骤二包括以下子步骤：

步骤1：颜色图像的预处理；

图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵M，并依次在DSP核对其进行图像灰度化、图像滤波和图像增强；

1)图像灰度化

图像灰度矩阵Gray由颜色矩阵M灰度化得到，对于图像中任一像素点(x,y)，其灰度Gray(x,y)的计算公式为：

Gray(x,y)＝0.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3)(1)

其中M(x,y,1)、M(x,y,2)、M(x,y,3)分别为分辨率为a×b的颜色矩阵M中像素点(x,y)的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为a×b的图像灰度矩阵Gray；

2)图像滤波

采用中值滤波方式对图像灰度矩阵Gray进行滤波处理：首先，选取中值滤波器的邻域窗口；然后，对灰度图像中某一像素点(x,y)邻域窗口的所有像素点灰度值进行排序，选取中位值作为像素点(x,y)的灰度值；最后遍历整幅图像，得到滤波后的灰度矩阵Gray’；

3)图像增强

采用直方图均衡化对泡沫图像进行增强：首先，统计滤波后的灰度矩阵Gray’中每种灰度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函数，产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像；

步骤2：深度信息的预处理；

图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵N’。

6.根据权利要求5所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，所述步骤三包括以下子步骤：

步骤1：构建泡沫图像的高斯金字塔尺度空间；

为了提取预处理后的泡沫灰度图像Gray’的特征点，首先构造图像的尺度空间L(x,y,σ)为：

$L\left(x,y,\mathrm{\&sigma;}\right)=G(x,y,\mathrm{\&sigma;})\&CircleTimes;{\mathrm{Gray}}^{\&prime;}(x,y)---\left(2\right)$

其中，代表卷积运算，G(x,y,σ)为高斯核函数，表达式为：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}---\left(3\right)$

其中，σ为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大，对应图像轮廓越模糊；

对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图像，按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间；采用高斯差分算子，得到高斯差分尺度空间D(x,y,σ)：

$\begin{array}{c}D\left(x,y,\mathrm{\&sigma;}\right)=\left(G\left(x,y,k\mathrm{\&sigma;}\right)-G\left(x,y,\mathrm{\&sigma;}\right)\right)\&CircleTimes;{\mathrm{Gray}}^{\&prime;}\left(x,y\right)\\ =L\left(x,y,k\mathrm{\&sigma;}\right)-L\left(x,y,\mathrm{\&sigma;}\right)\end{array}---\left(4\right)$

其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点；

步骤2：检测尺度空间的极值点；

在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点与同尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9×2个像素点，共26个像素点的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点；

步骤3：给关键点标定方向形成关键点特征向量；

在已知关键点尺度因子σ的情况下，选取关键点周围4×4个4×4像素单元，对每个4×4单元内的像素点P(x,y)求取梯度大小m(x,y)和方向θ(x,y)为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(5\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(6)

统计4×4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量，作为一个种子点的特征向量，总共4×4个种子点根据离关键点的距离采用高斯加权生成4×4×8共128维特征向量，以此作为特征点的SIFT特征向量；

设特征点128维SIFT特征向量为H(h₁,h₂,...,h₁₂₈)，进一步，为了消除光照条件对特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(l₁,l₂,...,l₁₂₈)，其中：

$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\&Sigma;}}{h}_j}},j=1,2,3,...---\left(7\right)$

步骤4：采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；

对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前后两帧图像进行SIFT特征提取后得到特征点集分别为P＝{p₁,p₂,...,p_m}和P'＝{p′₁,p′₂,...,p′_n}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集P中任意特征点和前一帧图像特征点集P'中任意特征点的欧式距离d(p_i,p'_j)为：

$d(p_i,p_j^{\&prime;})=\sqrt{\underset{k=1}{\overset{128}{\&Sigma;}}{(x_i^k-y_j^k)}^2}---\left(8\right)$

在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；

$\frac{d_{min}}{d_{nmin}}<Threshold---\left(9\right)$

其中，d_min是距离最小值，d_nmin是距离次最小值，Threshold为设定阈值；阈值越小，匹配成功率越低，可靠性越强，本发明取Threshold＝0.2；如果公式(9)所得结果小于阈值，则该对匹配点合格，否则舍弃；穷举匹配当前图像中所有特征点和前一帧图像中所有特征点，得到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小的前n对匹配点作为正确的匹配点，不足n对则选取所有匹配点作为正确的匹配点。

7.根据权利要求6所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，步骤三的子步骤2中，考虑提取出的极值点为图像边缘的情况，计算极值点在x和y方向的梯度分别为α和β，假定α>β，且有α＝rβ，其中r>10的极值点为图像边缘点，舍弃图像边缘点以提高特征点的稳定性、可靠性。

8.根据权利要求7所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，所述步骤四包括以下子步骤：

步骤1：建立坐标系；

建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(u₀,v₀)作为图像物理坐标系的原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成像平面；世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行；

步骤2：计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系；

首先，获取图像像素坐标系(u,v)与物理坐标系(x,y)的坐标变换关系，变换式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(10\right)$

其中，d_x,d_y分别为相机成像面单位长度的像素点个数；

然后，利用针孔投影模型计算物理坐标系(x,y)与相机坐标系(x_c,y_c,z_c)的坐标变换关系，变换式为：

$z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(11\right)$

相机坐标系(x_c,y_c,z_c)与世界坐标系(x_w,y_w,z_w)的变换式为：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+T=\left[\begin{array}{cc}{R}_{3\&times;3}& T_{3\&times;1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(12\right)$

其中，R_3×3是两个坐标系的正交旋转矩阵，T_3×1是两个坐标原点的平移向量；

由公式(10)、(11)、(12)可以得到像素坐标系(u,v)与世界坐标系(x_w,y_w,z_w)的变换关系为：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{dx}& 0& u_0& 0\\ 0& \frac{f}{dy}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_3& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(13\right)$

给定世界坐标系和相机坐标系重合，则R_3×3＝I,T_3×1＝0，公式(13)变为：

$z_w\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f}{d_x}& 0& u_0\\ 0& \frac{f}{d_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]=K_{3\&times;3}\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]---\left(14\right)$

其中，K_3×3是相机的内参矩阵，公式(14)即为世界坐标系下一点(x_w,y_w,z_w)与其在相机成像平面的投影点(u,v)之间的变换关系；

步骤3：计算泡沫的移动速率；

根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过公式(14)计算出泡沫特征点的三维世界坐标(x_w,y_w,z_w)，给定图像采集速率为每秒S帧，通过计算前后两帧泡沫图像匹配特征点p_i和p′_i的世界坐标(x_iw,y_iw,z_iw)和(x'_iw,y'_iw,z'_iw)，从而得到泡沫的三维移动速率如下：

X方向速率： $V_x=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{x}_{iw}-x_{iw}^{\&prime;}---\left(15\right)$

Y方向速率： $V_y=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{y}_{iw}-y_{iw}^{\&prime;}---\left(16\right)$

Z方向速率： $V_z=\frac{S}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{z}_{iw}-z_{iw}^{\&prime;}---\left(17\right)$

其中，n是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V＝(V_x,V_y,V_z)，求取一秒内连续S帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。