CN117522944A - 一种基于深度感知的自适应面外振动测量系统及方法 - Google Patents

Abstract

本发明涉及一种基于深度感知的自适应面外振动测量系统及方法，属于面外振动测量技术领域。解决传统振动测量算法难以捕获面外振动信息的问题。包括图像采集模块、像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块。本发明所述方法利用双目立体视觉系统作为采集装置，能够在保证非接触的情况下有效捕获到物体的面外深度信息，进而可计算得到振动幅度和频率；本发明无需进行多余的参数调整，整体计算量小，因而可以快速、精准地定位到视场内的振动区域，实现自适应地面外振动测量工作。

Description

一种基于深度感知的自适应面外振动测量系统及方法

技术领域

本发明涉及一种面外振动测量系统及方法，属于面外振动测量技术领域。

背景技术

传统的振动测量方法通常要求物体与传感器有直接接触，这就导致测量结果受摩擦、装置刚度以及传感器质量等因素的影响。随着技术发展，激光多普勒测振、声学测振和视频测振等非接触式方法被提出并应用到振动测量领域，有效克服了上述缺陷。但激光多普勒测振速度慢、价格昂贵，声学测振使用场景受限等问题制约着这些技术的使用和发展。

视频测振利用摄像设备记录振动物体的运动并从中提取振动信息，有效应对了传统振动测量所带来的诸多弊端，现有的技术方法通常对振动物体的图像序列进行处理和分析，因此具有良好的适用性和全场测量能力，目前主流的视频测振方法主要有基于图像处理的视频测振方法和基于光流的视频测振方法。一种是基于图像处理的视频测振方法通常依据物体表面的灰度变化或空间相位变化来估计振动，例如：公开号为CN111784647，发明创造名称为一种视频振动放大的结构模态测试方法，其技术方案为通过对视频序列空间相位变化进行空域滤波和放大，来得到模态参数、固有频率等信息；另一种是基于光流的视频测振方法则根据物体像素间的光强变化来推断振动信息，例如：公开号为CN114187330，发明创造名称为一种基于光流法的结构微幅振动工作模态分析方法，其技术方案为通过分析光流法得到的结构轮廓点的位移变化，来获取模态的振动响应。然而，这些常用的技术仍存在一些局限，如难以有效捕捉物体的面外振动信息，导致应用场景受限；在复杂背景、光照变化和噪声明显等场景下易受到干扰，导致测量结果的不稳定性。

因此，亟需提出一种基于深度感知的自适应面外振动测量系统及方法，以解决上述技术问题。

发明内容

本发明的目的是为了解决传统振动测量算法难以捕获面外振动信息的问题，提供一种基于深度感知的自适应面外振动测量系统及方法，在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。

本发明的技术方案：

一种基于深度感知的自适应面外振动测量系统，包括图像采集模块、像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块，所述图像采集模块、像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块，图像采集模块：利用双目立体视觉系统对被测结构的面外振动过程以满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；

像素筛选模块：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

差值计算模块：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

区域判定模块：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

振动定位模块：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域判定为面外振动区域；

位移提取模块：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

频率计算模块：对深度值序列作快速傅里叶变换得到被测结构的面外振动频率。

一种基于深度感知的自适应面外振动测量方法，包括以下步骤：

步骤1：利用双目立体视觉系统对被测结构的面外振动过程中满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；

步骤2：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

步骤3：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

步骤4：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

步骤5：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域，判定为面外振动区域；

步骤6：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

步骤7：对平均深度值序列作快速傅里叶变换得到被测结构的面外振动频率。

优选的：步骤1中，利用双目立体视觉系统的左右成像仪捕获同一场景不同视角图像，并测算出图像中各像素的深度值，包括以下步骤：

步骤1.1：分别对双目立体视觉系统的左右相机进行标定得到内外参数和基线长度B，随后根据标定结果对左右相机捕获图像进行校正，使二者位于同一平面且相互平行；

步骤1.2：对校正图像进行特征像素点匹配并计算得到视差值d，随后根据三角测量原理计算物体到成像平面的距离Z，从而获取深度图像序列，即

其中，f为焦距，在双目立体视觉系统中通常使用焦距相同的左右成像设备。

优选的：步骤2中，对所述的深度图像序列进行处理，获取有效像素的集合交集，包括以下步骤：

步骤2.1：对第一帧深度图像进行逐元素判定，将深度值在系统有效工作距离范围内的像素点坐标保存在一个集合容器中；

步骤2.2：遍历从第二帧到最后一帧的所有深度图像，重复上述判定过程，重复次数与深度图像序列的帧数等同，不断更新容器中的坐标元素，得到针对于深度图像序列的有效像素的集合交集C，即

其中，表示对所有集合求交集，D_i表示序列中顺序为i的深度图像，d_min和d_max分别为系统的最小有效工作距离与最大有效工作距离。

优选的：步骤3中，对所述的深度图像序列进行处理，得到一张深度差值图像，包括以下步骤：

步骤3.1：用深度图像序列中第二帧与第一帧深度图像进行绝对差值计算；

步骤3.2：对从第二帧到最后一帧的所有深度图像，重复上述绝对差值计算过程，重复次数为深度图像序列的帧数减一，将所有绝对差值图像进行叠加后除以样本个数，得到一张平均深度差值图像DOD，即

其中，||·||₂表示求取绝对值，D₁表示序列中顺序为1的深度图像，N表示深度图像序列所包含的帧个数。

优选的：步骤4中，对所述的有效像素集合交集与深度差值图像进行逐元素逻辑掩码操作，得到一张有效区域的深度差值图像，包括以下步骤：

步骤4.1：利用有效像素集合交集得到逻辑掩码图T；

步骤4.2：将逻辑掩码图与深度差值图像DOD进行逐元素乘积，剔除掉深度差值图像中的无效像素，得到一张有效区域的深度差值图像R，即

其中，⊙表示逐元素乘积操作。

优选的：步骤6中，利用得到的深度值序列计算频域信息的过程中，所述的深度值序列需要去除直流分量，包括以下步骤：

步骤6.1：对整个深度值序列进行求和，并除以序列的样本数量得到平均值；

步骤6.2：随后将平均值从原始序列中减去，得到去除直流分量后的深度值序列，即

本发明具有以下有益效果：

1、本发明所述方法利用双目立体视觉系统作为采集装置，能够在保证非接触的情况下有效捕获到物体面外振动的深度变化信息，进而可计算得到振动幅度和频率；

2、本发明无需进行多余的参数调整，整体计算量小，因而可以快速、精准地定位到视场内的振动区域，实现自适应地面外振动测量工作。

附图说明

图1是一种基于深度感知的自适应面外振动测量系统流程示意图；

图2是自适应面外振动测量方法对悬臂梁的处理结果图；

图3是自适应面外振动测量方法时域和频域的测量结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

具体实施方式一：结合图1说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量系统，包括图像采集模块、像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块；所述图像采集模块属于本系统硬件部分，由双目立体视觉系统与计算机组成，二者通过USB3.2数据线进行连接，利用计算机上的相机控制软件向双目立体视觉系统发送采集指令，录制并保存捕获到的原始深度图像序列，随后导入MATLAB软件进行处理；所述像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块则作为MATLAB软件部分的不同功能模块顺次调用；本发明可有效捕捉到结构体面外振动信息，适应性强，不易受到复杂背景、光照变化、噪声等的影响，在保证测量结果稳定的基础上，降低了成本；

图像采集模块：利用双目立体视觉系统对被测结构的面外振动过程以满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；

像素筛选模块：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

差值计算模块：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

区域判定模块：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

振动定位模块：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域判定为面外振动区域；

位移提取模块：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

频率计算模块：对深度值序列作快速傅里叶变换得到被测结构的面外振动频率。

具体实施方式二：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，采用所述的一种基于深度感知的自适应面外振动测量系统，包括以下步骤：

步骤1：利用双目立体视觉系统对被测结构的面外振动过程以满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；相比于传统基于相位的振动测量方法，本发明所述方法利用双目立体视觉系统作为采集装置，能够在保证非接触的情况下有效捕获到物体的面外深度信息，进而可计算得到振动幅度和频率；

步骤2：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

步骤3：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

步骤4：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

步骤5：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域判定为面外振动区域；

步骤6：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

步骤7：对平均深度值序列作快速傅里叶变换得到被测结构的面外振动频率；

本发明无需进行多余的参数调整，整体计算量小，因而可以快速、精准地定位到视场内的振动区域，实现自适应地面外振动测量工作。

具体实施方式三：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，步骤1中，利用双目立体视觉系统的左右成像仪捕获同一场景不同视角图像，并测算出图像中各像素的深度值，包括以下步骤：

步骤1.1：分别对双目立体视觉系统的左右相机进行标定得到内外参数和基线长度B，随后根据标定结果对左右相机捕获图像进行校正，使二者位于同一平面且相互平行；

步骤1.2：对校正图像进行特征像素点匹配并计算得到视差值d，随后根据三角测量原理计算物体到成像平面的距离Z，从而获取深度图像序列，即

其中，f为焦距，在双目立体视觉系统中通常使用焦距相同的左右成像设备。

具体实施方式四：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，步骤2中，对所述的深度图像序列进行处理，获取有效像素的集合交集，包括以下步骤：

步骤2.1：对第一帧深度图像进行逐元素判定，将深度值在系统(一种基于深度感知的自适应面外振动测量系统)有效工作距离范围内的像素点坐标保存在一个集合容器中；

步骤2.2：遍历从第二帧到最后一帧的所有深度图像，重复上述判定过程(步骤2.1)，重复次数与深度图像序列的帧数等同，不断更新容器中的坐标元素，得到针对于深度图像序列的有效像素的集合交集C，即

其中，表示对所有集合求交集，D_i表示序列中顺序为i的深度图像，d_min和d_max分别为系统的最小有效工作距离与最大有效工作距离，(x,y)为深度图像的像素坐标，表示一个像素点。

具体实施方式五：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，步骤3中，对所述的深度图像序列进行处理，得到一张深度差值图像，包括以下步骤：

步骤3.1：用深度图像序列中第二帧与第一帧深度图像进行绝对差值计算；

步骤3.2：对从第二帧往后的各帧到最后一帧的所有深度图像，重复上述绝对差值计算过程(步骤3.1)，重复次数为深度图像序列的帧数减一，将所有绝对差值图像进行叠加后除以样本个数，得到一张平均深度差值图像DOD，即

其中，||·||₂表示求取绝对值，D₁表示序列中顺序为1的深度图像，N表示深度图像序列所包含的帧个数。

具体实施方式六：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，步骤4中，对所述的有效像素集合交集与深度差值图像进行逐元素逻辑掩码操作，得到一张有效区域的深度差值图像，包括以下步骤：

步骤4.1：利用有效像素集合交集得到逻辑掩码图T；

步骤4.2：将逻辑掩码图与深度差值图像DOD进行逐元素乘积，剔除掉深度差值图像中的无效像素，得到一张有效区域的深度差值图像R，即

其中，⊙表示逐元素乘积操作。

具体实施方式七：结合图1-3说明本实施方式，本实施方式的一种基于深度感知的自适应面外振动测量方法，步骤6中，利用得到的深度值序列计算频域信息的过程中，所述的深度值序列需要去除直流分量，包括以下步骤：

步骤6.1：对整个深度值序列进行求和，并除以序列的样本数量得到平均值；

步骤6.2：随后将该平均值从原始深度值序列中减去，得到去除直流分量后的深度值序列，以避免频域结果出现零频分量，即

其中，x(n)为面外振动区域的平均深度值序列。

实施例1：

为了更好的描述本申请所述方法现通过以下实施例具体说明本发明一种基于深度感知的自适应面外振动测量方法在实际应用中的完整流程阐述，包括以下步骤：

步骤1：准备一根长度为40cm的悬臂梁，给予外加激励，触发振动；

步骤1.1：利用相机控制软件对双目立体视觉系统的左右相机进行预先标定，随后设置采集分辨率为848*480像素，帧率为90Hz，以面向悬臂梁的视场角度进行振动场景的时序采集和校正；

步骤1.2：对校正图像进行特征像素点匹配并计算得到视差值d，随后根据三角测量原理计算物体到成像平面的距离Z，从而获取深度图像序列，即

其中f为焦距，在双目立体视觉系统中通常使用焦距相同的左右成像设备；

步骤2：

步骤2.1：对所述的深度图像序列进行逐元素判定；

步骤2.2：得到针对于深度图像序列的有效像素的集合交集C：

其中表示对所有集合求交集，D_i表示深度视频序列中第i张深度图像，双目立体视觉系统的最小有效工作距离与最大有效工作距离分别设置为300mm和1500mm；

步骤3：

步骤3.1：用深度图像序列中第二帧到最后一帧的所有深度图像，与第一帧深度图像进行绝对差值计算；

步骤3.2：将所有绝对差值图像进行叠加，得到一张深度差值图像DOD：

其中||·||₂表示求取绝对值，N为深度序列的帧个数；

步骤4：

步骤4.1：利用有效像素集合交集得到逻辑掩码图T；

步骤4.2：与深度差值图像DOD进行逐元素乘积，剔除掉深度差值图像中的无效像素，得到一张有效区域的深度差值图像R：

其中⊙表示逐元素乘积操作；

步骤5：如图2所示过程，基于八邻域连接操作，对所述的有效区域深度差值图像进行连通区域分析，提取该图像中的最大连通区域，判定为采集序列中持续产生振动的区域；

步骤6：

步骤6.1：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号，并利用mean(·)算子得到位移信号的均值；

步骤6.2：将该均值其从原始序列中减去，得到去除直流分量后的深度值序列，避免出现零频分量：

步骤7：如图3所示结果，利用傅里叶变换对得到的深度值序列进行频域计算；

本发明无需根据场景进行预先参数调整，运行速率快，实用性强，可以实现准确、高效的自适应非接触式面外振动测量。

需要说明的是，在以上实施例中，只要不矛盾的技术方案都能够进行排列组合，本领域技术人员能够根据排列组合的数学知识穷尽所有可能，因此本发明不再对排列组合后的技术方案进行一一说明，但应该理解为排列组合后的技术方案已经被本发明所公开。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度感知的自适应面外振动测量系统，其特征在于：包括图像采集模块、像素筛选模块、差值计算模块、区域判定模块、振动定位模块、位移提取模块和频率计算模块，图像采集模块：利用双目立体视觉系统对被测结构的面外振动过程以满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；

像素筛选模块：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

差值计算模块：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

区域判定模块：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

振动定位模块：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域，判定为面外振动区域；

位移提取模块：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

频率计算模块：对深度值序列作快速傅里叶变换得到被测结构的面外振动频率。

2.一种基于深度感知的自适应面外振动测量方法，其特征在于：采用权要求1所述的一种基于深度感知的自适应面外振动测量系统，包括以下步骤：

步骤1：利用双目立体视觉系统对被测结构的面外振动过程以满足奈奎斯特采样率的帧率进行计算采集，获取一组振动连续变化的深度图像序列；

步骤2：根据系统的有效工作距离范围对所采集到的深度图像序列进行逐像素筛选，对深度值在工作距离范围内的像素点进行保留，得到有效像素坐标的集合交集；

步骤3：用深度图像序列中第二帧起始的所有深度图像与第一帧深度图像进行差值计算，随后取差值的绝对值并叠加为一张深度差值图像；

步骤4：用有效像素坐标的集合交集与深度差值图像进行逻辑索引运算，剔除掉深度差值图像中的无效像素，从而得到一张有效区域的深度差值图像；

步骤5：根据比例阈值筛选出有效区域深度差值图像中的显著非零像素点，随后找到其最大连通区域判定为面外振动区域；

步骤6：对原始深度图像序列的面外振动区域内的深度值取均值，提取面外振动区域的平均深度值序列，作为被测结果面外振动的位移信号；

步骤7：对深度值序列作快速傅里叶变换得到被测结构的面外振动频率。

3.根据权利要求2所述的一种基于深度感知的自适应面外振动测量方法，其特征在于：步骤1中，利用双目立体视觉系统的左右成像仪捕获同一场景不同视角图像，并测算出图像中各像素的深度值，包括以下步骤：

步骤1.1：分别对双目立体视觉系统的左右相机进行标定得到内外参数和基线长度B，随后根据标定结果对左右相机捕获图像进行校正，使二者位于同一平面且相互平行；

步骤1.2：对校正图像进行特征像素点匹配并计算得到视差值d，随后根据三角测量原理计算物体到成像平面的距离Z，从而获取深度图像序列，即

其中，f为焦距，在双目立体视觉系统中通常使用焦距相同的左右成像设备。

4.根据权利要求3所述的一种基于深度感知的自适应面外振动测量方法，其特征在于：步骤2中，对所述的深度图像序列进行处理，获取有效像素的集合交集，包括以下步骤：

步骤2.1：对第一帧深度图像进行逐元素判定，将深度值在系统有效工作距离范围内的像素点坐标保存在一个集合容器中；

步骤2.2：遍历从第二帧到最后一帧的所有深度图像，重复上述判定过程，更新容器中的坐标元素，得到针对于深度图像序列的有效像素的集合交集C，即

其中，表示对所有集合求交集，D_i表示序列中顺序为i的深度图像，d_min和d_max分别为系统的最小有效工作距离与最大有效工作距离，(x,y)为深度图像的像素坐标，表示一个像素点。

5.根据权利要求4所述的一种基于深度感知的自适应面外振动测量方法，其特征在于：步骤3中，对所述的深度图像序列进行处理，得到一张深度差值图像，包括以下步骤：

步骤3.1：用深度图像序列中第二帧与第一帧深度图像进行绝对差值计算；

步骤3.2：对从第二帧之后的各帧到最后一帧的所有深度图像，重复上述绝对差值计算过程，将所有绝对差值图像进行叠加后除以样本个数，得到一张平均深度差值图像DOD，即

其中，||·||₂表示求取绝对值，N表示深度图像序列所包含的帧个数。

6.根据权利要求5所述的一种基于深度感知的自适应面外振动测量方法，其特征在于：步骤4中，对所述的有效像素集合交集与深度差值图像进行逐元素逻辑掩码操作，得到一张有效区域的深度差值图像，包括以下步骤：

步骤4.1：利用有效像素集合交集得到逻辑掩码图T；

步骤4.2：将逻辑掩码图与深度差值图像DOD进行逐元素乘积，剔除掉深度差值图像中的无效像素，得到一张有效区域的深度差值图像R，即

R＝T⊙DOD,

其中，⊙表示逐元素乘积操作。

7.根据权利要求6所述的一种基于深度感知的自适应面外振动测量方法，其特征在于：步骤6中，利用得到的深度值序列计算频域信息的过程中，所述的深度值序列需要去除直流分量，包括以下步骤：

步骤6.1：对整个深度值序列进行求和，并除以序列的样本数量得到平均值；

步骤6.2：随后将平均值从原始序列中减去，得到去除直流分量后的深度值序列，即

x(n)即为深度值序列。