CN113447111B - 基于形态分量分析的视觉振动放大方法、检测方法及系统 - Google Patents
基于形态分量分析的视觉振动放大方法、检测方法及系统 Download PDFInfo
- Publication number
- CN113447111B CN113447111B CN202110668319.1A CN202110668319A CN113447111B CN 113447111 B CN113447111 B CN 113447111B CN 202110668319 A CN202110668319 A CN 202110668319A CN 113447111 B CN113447111 B CN 113447111B
- Authority
- CN
- China
- Prior art keywords
- component
- image
- frame
- vibration
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 32
- 230000003321 amplification Effects 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 230000008859 change Effects 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 16
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000001845 vibrational spectrum Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于形态分量分析的视觉振动放大方法、检测方法及系统，属于计算机视觉技术领域。获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像的感兴趣区域；采用品质因子可调小波字典和离散正余弦字典分别表示每帧视频的结构成分和纹理成分；采用基于广义高斯密度分布的阈值选择算法确定结构成分的阈值；采用自适应MCA分离图像结构成分和纹理成分；根据分离出的结构成分，结合欧拉视角原理，实现微振动信号的放大，重构放大视频，同时，针对结构成分，提取出视觉振动信号，实现多个振动频率的测量。
Description
技术领域
本发明属于计算机视觉技术领域，具体地说，涉及一种基于形态分量分析的视觉振动放大、检测方法及系统。
背景技术
频率信息是振动分析的重要依据，广泛应用于机械或者建筑结构健康检测和质量检测。人们一般通过分析物体的振动信号来检测振动频率。在振动测量领域，被测对象往往受不同激励源的激励，在频谱上表现为多个频率的混合。
在传统的振动检测中，测量被测对象的频率的方式主要是在被测对象表面粘贴加速度传感器获得加速度信号，根据加速度信号获得位移信号，针对位移信号，获得被测对象的频谱，这种接触式的振动检测方法存在明显不足：由于加速度传感器本身有重量，难以检测管状的对象，同时加速度传感器本身的存在会影响被测对象的固有频率；且传感器粘贴过程耗时耗力，在多点测量时还需要进行传感器融合。而无接触式的激光传感器只能进行单点测量，若需进行全场测量，需要多个激光传感器，费用昂贵；且具有延时的缺点。
因此，目前提出了基于视觉的无接触式的振动信号采集方式，其主要的技术思路是：将每个像素都作为一个视觉传感器，任何一点的振动信号都可以提取出来，即无接触式的全场测量。然而，受摄像机拍摄光照条件的变化，拍摄对象表面不均匀反射，扰乱了从视频中提取的振动信号，导致测量结果不准确。
针对光照的变化，近年来，也有人开始研究，例如基于相位的运动放大方法广泛应用于测量和放大视频中不可感知的运动(Wadhwa,M.Rubinstein,F.Durand,andW.Freeman,“Phase-based video motion processing,”ACM Trans.Graph.,vol.32,no.4,Jul.2013,Art.no.80.)。(A.Davis et al.,“Visual vibrometry:Estimating materialproperties from small motions in video,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.39,no.4,pp.732–745,Apr.2017)；从视频中提取运动信号计算振动物体的频率，用于推测材料的性质，比如，杨氏模量、刚度、阻尼、几何尺寸等。(Chen J G,Wadhwa N,Cha Y J,et al.Modal identification of simple structures with high-speed video usingmotion magnification[J].Journal of Sound and Vibration,2015,345:58-71.)利用该方法用于测量悬臂梁和塑料管的振动频率和位移。
但是，在一些应用场景中，以怠速状态的发动机频谱为例，在正常情况下，发动机总成悬置系统的6个模态频率都在25hz以下。因此，发动机怠速状态的振动频谱在25Hz以下往往表现为多个频率的混合。然而，由于上述的相位缠绕或解缠算法缺陷，导致提取的振动波形不准确，影响了微振动频率测量的精确度，特别是在系统存在多个混合频率时，更容易检测出不存在的异常频率。
综上所述，现有的振动测量技术还无法有效地解决微幅振动的测量问题。在这种情况下，针对微幅振动测量问题，亟需一种视觉振动放大方法，降低拍摄光照的干扰，准确地检测出被测对象的多个模态频率。
发明内容
为了解决或者至少部分解决上述问题，本发明提供一种基于形态分量分析的视觉振动放大方法，去除拍摄光照的干扰，能够准确地检测出由发动机内部橡胶件位置和角度的偏差引起的振动频率，可以获得发动机的多个模态频率。
为了实现上述目的，本发明提供如下技术方案：
本发明第一方面提供一种基于形态分量分析的视觉振动放大方法
获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像中感兴趣区域；
构造表征所述视频文件每帧图像中感兴趣区域的结构分量；构造表征所述视频文件中每帧图像感兴趣区域的纹理分量；
分离所述感兴趣区域中的结构分量和纹理分量，将分离出的结构分量和纹理分量，结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件。
进一步的，所述构造表征所述视频文件每帧图像中感兴趣区域的结构分量；构造表征所述视频文件中每帧图像感兴趣区域的纹理分量的步骤包括：
构建品质因子可调小波字典用于表征图像的结构成分，构建局部离散余弦变换与离散正弦变换字典用于表示图像的纹理成分。
进一步的，所述分离感兴趣区域中的结构分量和纹理分量的步骤包括：
根据MCA方法对视频文件的每帧图像的感兴趣区域进行分离，获得每帧图像的结构分量纹理分量以及噪声分量；
构建基于广义高斯密度分布的阈值选择算法，确定所述纹理分量和所述结构分量的硬阈值；
根据所述纹理分量和所述结构分量的硬阈值，通过迭代阈值法求解结构分量和纹理分量。
进一步的，所述确定所述目标对象在所述视频文件中每帧图像中感兴趣区域的步骤包括：
构建SVM识别模型，将所述视频文件数据的某一帧图像输入所述SVM识别模型，获取所述目标对象的关键区域，作为感兴趣区域；其中所述SVM识别模型是通过训练集训练得到的。
进一步的，所述训练集的获取步骤包括：
获取包含目标对象的多组图像，采用分水岭算法，分割出每一组图像的候选区域，所述每个候选区域内只包含所述目标对象的一组关键对象，对所述候选区域进行标记；
采用滑动窗口的方式，将带有关键对象标记的候选区域图像块作为正例，将无关键对象标记的背景图像块作为负例，构建多值分类的训练集。
进一步的，结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件数据的步骤包括：
结合欧拉视角，根据所述视频文件中每帧图像结构分量中各个像素的亮度变化来表征目标对象的振动变化，获得视觉振动信号；
接收放大倍数，将所述放大倍数乘以视觉振动信号，再将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号；
根据目标对象的理论频带范围设计带通滤波，使得感兴趣区域在特定的频带中振动幅度较小的振动被放大；
将所述感兴趣区域放大后的结构分量与纹理分量重新组合以生成振动放大视频。
本发明第二方面提供一种基于形态分量分析的视觉振动检测方法
将获得的视觉振动信号，通过快速傅里叶变换，获得视觉振动信号对应的频谱；
将所述视觉振动信号对应的频谱结合上述方法获得的振动放大视频，对目标对象的振动情况进行检测。
本发明第三方面提供一种基于形态分量分析的视觉振动放大系统，包括：
提取模块，其用于获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像中感兴趣区域；
构造模块，其用于构造表征所述视频文件每帧图像感兴趣区域的结构成分；构造表征所述视频文件每帧图像感兴趣区域的纹理成分；及
重构模块，其用于分离所述感兴趣区域中的结构分量和纹理分量，将分离出的结构分量和纹理分量，结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件。
本发明第四方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
本发明第五方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
相比于现有技术，本发明的实施例至少具有以下有益效果：
(1)本发明通过分离目标对象的感兴趣区域中的结构分量和纹理分量，针对结构分量，采用欧拉方法计算振动频谱，对比发动机怠速状态振动频率的理论值，可以完成由橡胶偏差引起的发动机异常频率检测；同时，可以对发动机的故障状态视频进行放大，直观地观察并分析发动机故障时的振动形态。相比于现有专利基本采用接触式的加速度传感器或非接触式的激光传感器，最终结果仅限于给出发动机的振动频谱；本发明在采集发动机信号和最终呈现发动机故障转态的结果，都有着本质的不同，具有明显优势。
(2)本发明注重的是采用固定的字典对图像进行表征，不涉及大量的实验样本的处理；并利用形态分量分析的方式获得结构成分和纹理成分，从本质上分析，每个当前帧和第一帧的结构成分差对应的是正常振动，每个当前帧和第一帧的纹理成分差对应的是异常扰动，利用欧拉视角原理，本示例只放大结构成分，减小了纹理成分带来的干扰；同时，针对结构成分提取出的视觉振动信号不受异常扰动(如光线、不均匀表面)的影响，也不涉及到相位解缠算法，有效地反映了目标对象的振动情况，在此基础上做傅里叶变换，求其频谱，可以准确计算出的多个微振动的频率。
(3)本发明通过形态分量分析(Morphological Component Analysis，MCA)，用于分离视频文件图像中的感兴趣区域的结构成分、纹理成分及噪声，其中结构成分和纹理成分分别对应于图像的相位和幅度，将分离出的结构成分结合欧拉视角，提取视觉振动信号，这种方法同样可以去除纹理干扰，提高算法对光线变化的鲁棒性，且不涉及相位解缠；针对结构分量，采用欧拉方法计算发动机的频谱，并进一步结合放大后的结构分量和纹理分量重新组合以生成振动放大的视频，获得目标对象的振动情况的可视化效果，可以更好的辅助人工检测发动机运行状态目标对象。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1基于形态分量分析的发动机故障视觉振动检测方法总体流程图；
图2基于欧拉视角的发动机故障频率检测及可视化方法流程图；
图3为发动机总成怠速状态图；
图4图示了根据本申请实施例的电子设备的框图；
图5为发动机总成怠速状态悬置系统频谱；
图6为本发明实施例提供的一种基于形态分量分析的视觉振动放大方法流程图；
图7为本发明实施例提供的一种基于形态分量分析的视觉振动放大系统框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
以发动机检测为例，在发动机振动检测的过程中，由于内部橡胶件位置和角度的偏差会引起橡胶系统固有频率的改变，造成发动机在怠速状态运行时出现异常的振动频率。为了检测出发动机怠速状态的异常模态频率(本质上表现为多个混合频率的检测)，在传统的振动检测中，往往是在发动机缸体和金属件表面粘贴加速度传感器，这种接触式的振动检测方法存在明显不足：由于加速度传感器本身有重量，会影响目标对象的固有频率，且粘贴过程耗时耗力，多点测量还需要进行传感器融合。再如，无接触式的激光传感器只能进行单点测量，若需进行全场测量，需要多个激光传感器，费用昂贵；且具有延时的缺点。
本发明通过形态分量分析(Morphological Component Analysis，MCA)，用于分离视频文件图像中的感兴趣区域的结构成分、纹理成分及噪声，其中结构成分和纹理成分分别对应于图像的相位和幅度，将分离出的结构成分结合欧拉视角，提取视觉振动信号，这种方法同样可以去除纹理干扰，提高算法对光线变化的鲁棒性，且不涉及相位解缠。针对结构分量，采用欧拉方法计算发动机的频谱，并进一步结合放大后的结构分量和纹理分量重新组合以生成振动放大的视频，获得目标对象的振动情况的可视化效果，可以更好的辅助人工检测发动机运行状态。
示例性方法
如图1和6所示，本示例提供一种基于形态分量分析的视觉振动放大方法，具体包括如下步骤：
S100：获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像中感兴趣区域；
具体的，本示例主要是对包含目标对象的视频文件进行处理，目标对象包括机械设备以及大型的建筑体，例如电缆、斜拉桥体、发动机、离心泵等在实际运用过程中可能产生振动的结构。感兴趣区域指的是目标对象需要振动放大的区域，该区域情况一般振动较为明显，例如在发动机中的发动机缸体和金属件。
本示例视频文件可以包括录制目标对象的工作视频，也可以是一段包括目标对象的视频流。在视频流或者视频文件中获取包含目标对象的某一帧图像，例如，通过摄像头读取图像，使用摄像头读取Api直接读取当前图像流的帧；根据所述视频文件数据的某一帧图像的几何特征，确定所述目标对象在所述视频文件某一帧图像中感兴趣区域。确定图像中感兴趣区域方法，可以通过特征识别算法或者训练好的图像识别模型提取目标对象的感兴趣区域(ROI)，但不以此为限。
S200：构造表征所述视频文件每帧图像中感兴趣区域的结构成分；构造表征所述视频文件中每帧图像感兴趣区域的纹理成分；
具体的，分别通过构建品质因子可调小波字典表示视频图像的结构分量，以及构建离散正余弦字典表示视频图像的纹理分量。由于视频图像结构成分表现为显著的指向性边缘、纹理结构表现为周期性内容，因此，本示例分别选取品质因子可调小波字典(TQWT)表示结构成分、离散正余弦字典(DCT)表示纹理成分。
S300：分离感兴趣区域中的结构分量和纹理分量，将分离出的结构分量和纹理分量，结合欧拉视角放大目标对象微振动信号，重构包含目标对象的放大视频文件。
在一些实施例中，所述分离感兴趣区域中的结构分量和纹理分量的步骤包括：
根据MCA方法对视频文件的每帧图像的感兴趣区域进行分离，获得每帧图像的结构分量纹理分量以及噪声分量；构建基于广义高斯密度分布的阈值选择算法，确定所述纹理分量和所述结构分量的硬阈值；根据所述纹理分量和所述结构分量的硬阈值，通过迭代阈值法求解结构分量和纹理分量。
具体的，首先构建基于自适应MCA的图像分离方法，其目的是为了分离视频中感兴趣区域(ROI)每帧图像的结构分量和纹理分量，从而得到结构分量、纹理分量以及结构分量与纹理分量之和与原图像的差值，即噪声分量N。
利用TQWT对图像进行5层分解，选取第5层信号的广义高斯密度函数，其中第五层信号中基本上只包含纹理成分，计算与图像的纹理成分对应的形态参数α,β，并确定最优秩ρ；获得最优秩ρ后，进一步使用迭代阈值法求解结构分量和纹理分量。
进一步，如图2所示，所述结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件数据的步骤包括：结合欧拉视角，根据所述视频文件中每帧图像结构分量中各个像素的亮度变化来表征目标对象的振动变化，获得视觉振动信号；接收放大倍数，将所述放大倍数乘以视觉振动信号，再将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号；根据目标对象的理论频带范围设计带通滤波，使得感兴趣区域在特定的频带中振动幅度较小的振动被放大；将所述感兴趣区域放大后的结构分量与纹理分量重新组合以生成振动放大视频。
具体的，根据欧拉视角的原理，用视频每帧图像结构分量中各个像素的亮度变化来表示目标对象的振动变化，获得视觉振动信号，人工确定放大倍数，将放大倍数乘以视觉振动信号，将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号，结合上述步骤中MCA方法分离获得的纹理分量，将放大后的结构分量与纹理分量重新组合以生成振动放大的视频。在这个视频中，根据目标对象的理论频带范围设计带通滤波，使得在特定的频带中振动幅度较小的振动可以被放大到易于感知的程度，获得目标对象的振动情况的可视化效果。构建基于欧拉视角的故障频率检测及可视化方法，其目的是针对微振动幅度变化较小的区域，采用视觉放大技术，增强振动信号的可视化效果，有利于分析目标对象的振动情况。
作为一个变化例，在步骤S100中，感兴趣区域(ROI)通过如下方式获得：
构建SVM识别模型，将所述视频文件数据的某一帧图像输入所述SVM识别模型，获取所述目标对象的关键区域，作为感兴趣区域；其中所述SVM识别模型是通过训练集训练得到的。所述关键区域指的是目标对象振动明显的区域，例如在发动机中发动机缸体和金属件。
为了使感兴趣区域(ROI)得识别有更好的效果，优选的，所述训练集的获取步骤包括：
获取包含目标对象的多组图像，采用分水岭算法，分割出每一组图像的候选区域，所述每个候选区域内只包含所述目标对象的一种关键区域；例如发动机中管状区域、线状区域、块状区域等。
抽取包含目标对象的不同视频文件，对其中的关键区域进行标记；采用滑动窗口的方式，将带有关键区域标记的图像块作为正例，采集背景图像块作为负例，构建多值分类的所述训练集；此处的背景图像块为不包含关键区域的图片。
下面以发动机感兴趣区域的获取为例，进行说明。
S101：采用分水岭算法检测包含发动机作为目标对象的图像，获得不同区域之间的边界，，以便获得不同边界分割出的候选区域，每个候选区域内只包含一种部件；此处的候选区域可以指的是发动机中管状区域、线状区域、块状区域。
S102:根据步骤101的方式，抽取不同的发动机视频，并对于每组发动机视频中多帧图像中的不同候选区域的关键对象进行标记以更丰富训练样本，例如对管状区域标记为“金属件”，对“块状区域”标记为“发动机缸体”；不同型号的发动机视频可以是在不同角度、不同光照条件下拍的发动机视频，来丰富训练集的内容。
S103:采用滑动窗口的方式，将带有关键区域标记的图像块作为正例，采集背景图像块作为负例，构建多值分类的所述训练集。在SVM识别模型测试过程中，残差网络输入图像块，经过每个层次的卷积，激励非线性变换和池化操作，最后输入到两层的全连接层中，输出候选类别的得分，并将最大的得分作为部件的预测类别；本示例选取发动机缸体和金属件作为发动机视觉振动信号提取的感兴趣(ROI，region of interest)区域。
在一些实施例中，所述步骤S200可以包括如下步骤：
S201：利用品质因子可调小波字典表示视频图像的结构分量，以及利用离散正余弦字典表示视频图像的纹理分量；
S202：利用MCA方法对视频中的每帧图像进行分离，得到包含图像(即截取的感兴趣区域图像)的结构分量Y1、包含纹理分量Y2以及两分量之和与原图像的差值，即噪声分量N；
δx＝Y1+Y2+N (1)，
所述的构建基于广义高斯密度分布的阈值选择算法包括以下步骤：
步骤S311：通过迭代阈值法求解y1和y2：
根据MCA算法，确定目标函数形式为：
其中，Φ1表示TQWT的奇函数；Φ2表示DCT的奇函数；T表示转秩；y1表示TQWT域的系数；y2表示DCT域的对应的系数；
使用迭代阈值法求解y1和y2：
其中，
表示y1的估计值；Yn表示噪声；
表示Y2在前一次迭代的估计误差。
其中，
和n1分别表示
和噪声的TQWT系数。
进一步，为了准确地估算y1，需要设计一种方法准确地移除
表示y2的估计误差，和y2一样，为谐振分量(结构分量)；因此，当
用TQWT系数表示时，
的秩要低于r1的秩，即
S312：确定
的最优秩，其目的是为了准确估算式(3)中的
在这里，我们把y1和广义高斯密度函数联系起来，广义高斯密度函数：
其中α，β表示广义的形态参数；
最优秩ρ所对应的形态参数α应该是能给出一个
使其最接近y1，可以写成目标函数的形式：
其中αρ表示广义的形态参数α中最优的形态参量；βρ表示广义的形态参数β中最优的形态参量。
在这里，利用TQWT对图像进行5层分解，选取第5层信号(基本上只包含冲击成分)的广义高斯密度函数，计算与其对应的形态参数α，β，并根据式(17)确定最优秩ρ。
再确定最优秩ρ；获得最优秩ρ后，进一步使用迭代阈值法求解冲击分量(纹理分量)和谐振分量(结构分量)。
步骤S320：所述的基于自适应MCA的图像分离方法，包括以下步骤：
S321：求解结构分量
其中，
表示
的最优解；
表示
表示Y2在前一次迭代的估计误差；||x||F是x的Frobenious范数；通过使用奇异值分解(SVD：singular-value decomposition)，r1可以分解成r1＝U∑VT，其中，∑＝diag(σ1，….，σn)；VT表示；U表示；
根据Eckart-Young-Mirsky定理，式(9)可以分解为：
其中，ηρ(∑)＝diag(σ1，...，σn，0，...，0)
y1的粗估计
如下：
其中
表示y1的最优解；
表示y2的最优解；最终的
可以通过如下所示的硬阈值决定：
其中λ1＝MAD/0.6745，MAD表示
绝对值的中位数；H表示决定硬阈值的算法；
S322：求解纹理分量
根据式(3)
类似于r1，r2可以定义为
由此，我们可以估计出
其中
可以通过式(10)计算得到；此处的硬阈值λ2可以设置为，
最终的
可以通过如下所示的硬阈值决定：
在一些实施例中，以发动机作为目标对象为例，所述结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件数据的步骤包括：
步骤S331：根据欧拉视角的原理，用视频每帧图像结构分量中各个像素的亮度变化来表示目标对象的振动变化，人工确定放大倍数，将放大倍数乘以各个像素的亮度变化，将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号，结合上述步骤中MCA方法分离获得的纹理分量，将放大后的结构分量与纹理分量重新组合以生成振动放大的视频。在这个视频中，根据目标对象的理论频带范围设计带通滤波，使得在特定的频带中振动幅度较小的振动可以被放大到易于感知的程度，获得目标对象的振动情况的可视化效果，具体公式如下：
δ＝∑kh(α·(Y1k-Y11))+Y2 (19)
其中，α表示放大倍数，h表示带通滤波，k表示当前帧，δ表示放大后的视频；Y11表示第一帧的结构分量；Y2表示纹理分量；Y1k表示第k帧的结构分量；
步骤S332：针对获得的视觉振动信号，根据FFT变换，获得视觉振动信号对应的频谱，检测出目标对象对应的频率，具体公式如下：
δy(t)＝∑k∑ih(Y1k(i)-Y11(i)) (20)
其中，δy(t)表示视觉振动信号，i表示每帧视频中的像素。
需要说明的是，申请人在研究过程中发现：现有论文[Wadhwa，M.Rubinstein，F.Durand，and W.Freeman，“Phase-based video motion processing，”ACMTrans.Graph.，vol.32，no.4，Jul.2013，Art.no.80.]使用的是基于相位的运动放大方法，易受相位缠绕和解缠算法的影响，从而造成混合频率检测不准确。现有论文[Learning-based Video Motion Magnication，2018]采用深度学习的方法分离形状成分和纹理成分，但其深度学习的网络仅仅用于实现运动放大，且深度学习的方法依赖于大量样本，目前，并不适用于实际的振动测量中。现有论文[ANew Approach to the Phase-Based VideoMotion Magnification for Measuring Microdisplacements，2019]采用Hilbert变换实现复可控金字塔的分解，其本质仍是基于相位的运动放大，不能解决相位缠绕的影响。
与上述方法不同的是，本示例注重的是采用固定的字典，不涉及大量的实验样本。本示例利用形态分量分析的方式获得结构成分和纹理成分，从本质上分析，每个当前帧和第一帧的结构成分差对应的是正常振动，每个当前帧和第一帧的纹理成分差对应的是异常扰动，利用欧拉视角原理，本示例只放大结构成分，减小了纹理成分带来的干扰。同时，针对结构成分提取出的视觉振动信号不受异常扰动(如光线、不均匀表面)的影响，也不涉及到相位解缠算法，有效地反映了目标对象的振动情况，在此基础上做傅里叶变换，求其频谱，可以准确计算出的多个微振动的频率。
如图1和2所示，本示例还提供一种基于形态分量分析的视觉振动检测方法，将获得的视觉振动信号，通过FFT变换，获得视觉振动信号对应的频谱；将所述视觉振动信号对应的频谱结合上述实施例获得的振动放大视频，对目标对象的振动情况进行检测；通过工程人员分析发动机故障。
具体的，用视频每帧图像结构分量中各个像素的亮度变化来表示目标对象的振动变化，获得视觉振动信号，在此基础上，利用FFT(傅里叶)变换，获得视觉振动信号对应的频谱，检测出目标对象对应的频率；在这个视频中，根据目标对象的理论频带范围设计带通滤波，使得在特定的频带中振动幅度较小的振动可以被放大到易于感知的程度，获得目标对象的振动情况的可视化效果。结合发动机故障可视化视频和发动机故障频谱，分析发动机故障。本示例中发动机可以是柴油发动机、汽油发动机、电动汽车电动机等。
示例性装置
如图7所示，一种基于形态分量分析的视觉振动放大系包括：
提取模块20，其用于获取包括目标对象的视频文件数据，根据所述视频文件数据的某一帧图像的几何特征，选定目标对象的感兴趣区域；
构造模块30，其用于构造表征所述视频文件每帧图像感兴趣区域的结构成分；构造表征所述视频文件每帧图像感兴趣区域的纹理成分；及
重构模块40，其用于分离感兴趣区域中的结构分量和纹理分量，将分离出的结构分量和纹理分量，结合欧拉视角放大目标对象微振动信号，重构包含目标对象的放大视频文件。
示例性电子设备
下面，参考图1来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(OBD)、统一诊断服务(UDS)、惯性测量单元(IMU)、摄像头、激光雷达、毫米波雷达、超声波雷达、车载通信(V2X)等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种基于形态分量分析的视觉振动放大方法，其特征在于，所述方法包括：
S100：获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像中的感兴趣区域；
S200：构造表征所述视频文件每帧图像中感兴趣区域的结构分量；构造表征所述视频文件中每帧图像感兴趣区域的纹理分量；其中构建品质因子可调小波字典用于表征图像的结构成分，构建局部离散余弦变换与离散正弦变换字典用于表示图像的纹理成分；
S300：分离所述感兴趣区域中的结构分量和纹理分量及噪声分量，将分离出的结构分量和纹理分量，结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件；其中每个当前帧和第一帧的结构成分差对应的是正常振动，每个当前帧和第一帧的纹理成分差对应的是异常扰动，利用欧拉视角原理，只放大结构成分，减小纹理成分带来的干扰；
所述分离感兴趣区域中的结构分量和纹理分量的步骤包括：
利用MCA方法对视频文件的每帧图像的感兴趣区域进行分离，获得每帧图像的结构分量纹理分量以及噪声分量；其中结构分量与纹理分量之和与原图像的差值，为噪声分量；
构建基于广义高斯密度分布的阈值选择算法，确定所述纹理分量和所述结构分量的硬阈值；
根据所述纹理分量和所述结构分量的硬阈值，通过迭代阈值法求解结构分量和纹理分量；
结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件数据的步骤包括：
根据所述视频文件中每帧图像结构分量中各个像素的亮度变化来表征目标对象的振动变化，获得视觉振动信号；
接收放大倍数，将所述放大倍数乘以视觉振动信号，再将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号；
根据目标对象的理论频带范围设计带通滤波，使得感兴趣区域在特定的频带中振动幅度放大；
将所述感兴趣区域放大后的结构分量与纹理分量重新组合以生成振动放大视频。
2.根据权利要求1所述的一种基于形态分量分析的视觉振动放大方法，其特征在于，所述确定目标对象在视频文件中每帧图像中感兴趣区域的步骤包括：
构建SVM识别模型，将所述视频文件数据的某一帧图像输入所述SVM识别模型，获取所述目标对象的关键区域，作为感兴趣区域；其中所述SVM识别模型是通过训练集训练得到的。
3.根据权利要求2所述的一种基于形态分量分析的视觉振动放大方法，其特征在于，所述训练集的获取步骤包括：
获取包含目标对象的多组图像，采用分水岭算法，分割出每一组图像的候选区域，所述每个候选区域内只包含所述目标对象的一组关键对象，对所述候选区域进行标记；
采用滑动窗口的方式，将带有关键对象标记的候选区域图像块作为正例，将无关键对象标记的背景图像块作为负例，构建多值分类的训练集。
4.一种基于形态分量分析的视觉振动检测方法，包括其特征在于：
将获得的视觉振动信号，通过快速傅里叶变换，获得视觉振动信号对应的频谱；
将所述视觉振动信号对应的频谱结合权利要求1-3任意一项获得的振动放大视频，对目标对象的振动情况检测。
5.一种基于形态分量分析的视觉振动放大系统，其特征在于，包括：
提取模块，其用于获取包括目标对象的视频文件，确定所述目标对象在所述视频文件中每帧图像中感兴趣区域；
构造模块，其用于构造表征所述视频文件每帧图像感兴趣区域的结构成分；构造表征所述视频文件每帧图像感兴趣区域的纹理成分，其中构建品质因子可调小波字典用于表征图像的结构成分，构建局部离散余弦变换与离散正弦变换字典用于表示图像的纹理成分；及
重构模块，其用于分离所述感兴趣区域中的结构分量和纹理分量，将分离出的结构分量和纹理分量，结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件；
其中每个当前帧和第一帧的结构成分差对应的是正常振动，每个当前帧和第一帧的纹理成分差对应的是异常扰动，利用欧拉视角原理，只放大结构成分，减小纹理成分带来的干扰；
所述分离感兴趣区域中的结构分量和纹理分量的步骤包括：
利用MCA方法对视频文件的每帧图像的感兴趣区域进行分离，获得每帧图像的结构分量纹理分量以及噪声分量；其中结构分量与纹理分量之和与原图像的差值，为噪声分量；
构建基于广义高斯密度分布的阈值选择算法，确定所述纹理分量和所述结构分量的硬阈值；
根据所述纹理分量和所述结构分量的硬阈值，通过迭代阈值法求解结构分量和纹理分量；
结合欧拉视角放大所述感兴趣区域的微振动信号，重构包含目标对象的放大视频文件数据的步骤包括：
根据所述视频文件中每帧图像结构分量中各个像素的亮度变化来表征目标对象的振动变化，获得视觉振动信号；
接收放大倍数，将所述放大倍数乘以视觉振动信号，再将每帧图像结构分量中各个像素的亮度变化加上放大后的视觉振动信号；
根据目标对象的理论频带范围设计带通滤波，使得感兴趣区域在特定的频带中振动幅度放大；
将所述感兴趣区域放大后的结构分量与纹理分量重新组合以生成振动放大视频。
6.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。
7.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668319.1A CN113447111B (zh) | 2021-06-16 | 2021-06-16 | 基于形态分量分析的视觉振动放大方法、检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668319.1A CN113447111B (zh) | 2021-06-16 | 2021-06-16 | 基于形态分量分析的视觉振动放大方法、检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113447111A CN113447111A (zh) | 2021-09-28 |
| CN113447111B true CN113447111B (zh) | 2022-09-27 |
Family
ID=77811673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110668319.1A Active CN113447111B (zh) | 2021-06-16 | 2021-06-16 | 基于形态分量分析的视觉振动放大方法、检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113447111B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821415B (zh) * | 2022-04-24 | 2022-11-29 | 中国水利水电科学研究院 | 基于机器学习的视频微振动放大校准和实时提取方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625030A (zh) * | 2011-02-01 | 2012-08-01 | 株式会社理光 | 视频增强方法和系统 |
| WO2014124048A1 (en) * | 2013-02-07 | 2014-08-14 | Interdigital Patent Holdings, Inc. | Method and apparatus for directional mesh initialization |
| CN109063763A (zh) * | 2018-07-26 | 2018-12-21 | 合肥工业大学 | 基于pca的视频微小变化放大方法 |
| CN110519484A (zh) * | 2019-06-18 | 2019-11-29 | 天津中科智能识别产业技术研究院有限公司 | 一种视频中运动物体上局部微小运动的快速放大方法 |
| CN111242137A (zh) * | 2020-01-13 | 2020-06-05 | 江西理工大学 | 一种基于形态成分分析的椒盐噪声滤波方法、装置 |
| CN112001361A (zh) * | 2019-12-26 | 2020-11-27 | 合肥工业大学 | 一种基于欧拉视角的多目标微小振动频率测量方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
| FR2952722B1 (fr) * | 2009-11-18 | 2011-12-09 | Onera (Off Nat Aerospatiale) | Mesure de caracteristiques velocimetriques ou vibrometriques utilisant un dispositif de type lidar a detection heterodyne |
| CN104867116A (zh) * | 2015-04-21 | 2015-08-26 | 重庆大学 | 一种基于mca和字典学习的车牌超分辨率重构方法 |
| CN105741252B (zh) * | 2015-11-17 | 2018-11-16 | 西安电子科技大学 | 基于稀疏表示与字典学习的视频图像分级重建方法 |
| US10001976B2 (en) * | 2015-12-28 | 2018-06-19 | Microsoft Technology Licensing, Llc | Generation of a device application |
| CN108985320B (zh) * | 2018-05-31 | 2021-11-23 | 昆明理工大学 | 基于判别字典学习和形态成分分解的多源图像融合方法 |
| CN110595749B (zh) * | 2019-04-26 | 2021-08-20 | 深圳市豪视智能科技有限公司 | 电风扇振动故障检测方法及装置 |
| CN110440902B (zh) * | 2019-08-29 | 2021-05-14 | 合肥工业大学 | 一种非接触式微小振动视觉测量方法 |
| CN112254801B (zh) * | 2020-12-21 | 2021-04-02 | 浙江中自庆安新能源技术有限公司 | 一种微小振动视觉测量方法及系统 |
-
2021
- 2021-06-16 CN CN202110668319.1A patent/CN113447111B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625030A (zh) * | 2011-02-01 | 2012-08-01 | 株式会社理光 | 视频增强方法和系统 |
| WO2014124048A1 (en) * | 2013-02-07 | 2014-08-14 | Interdigital Patent Holdings, Inc. | Method and apparatus for directional mesh initialization |
| CN109063763A (zh) * | 2018-07-26 | 2018-12-21 | 合肥工业大学 | 基于pca的视频微小变化放大方法 |
| CN110519484A (zh) * | 2019-06-18 | 2019-11-29 | 天津中科智能识别产业技术研究院有限公司 | 一种视频中运动物体上局部微小运动的快速放大方法 |
| CN112001361A (zh) * | 2019-12-26 | 2020-11-27 | 合肥工业大学 | 一种基于欧拉视角的多目标微小振动频率测量方法 |
| CN111242137A (zh) * | 2020-01-13 | 2020-06-05 | 江西理工大学 | 一种基于形态成分分析的椒盐噪声滤波方法、装置 |
Non-Patent Citations (4)
| Title |
|---|
| Damage assessment of Nepal heritage through ambient vibration analysis and visual inspection;Russo, Salvatore;《STRUCTURAL CONTROL & HEALTH MONITORING》;20200228;第27卷(第5期);1-5 * |
| Phase-based video motion processing;Wadhwa;《Journal of Sound and Vibration》;20130731;第32卷(第4期);1-6 * |
| SiC陶瓷的低温烧结及其结构与性能;张龙;《硕士电子期刊出版工程科技Ⅰ辑》;20160515(第5期);1-65 * |
| 基于欧拉视频放大的微振动测量技术研究;陈志康;《硕士电子期刊工程科技》;20201215;1-73 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113447111A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108414240B (zh) | 一种检测机器异常振动的方法与装置 | |
| Chen et al. | Modal identification of simple structures with high-speed video using motion magnification | |
| Liu et al. | Structural motion estimation via Hilbert transform enhanced phase-based video processing | |
| Sarrafi et al. | Mode extraction on wind turbine blades via phase-based video motion estimation | |
| JP2009532710A (ja) | データへのインデックス付けおよびデータ圧縮 | |
| TW201812339A (zh) | 震央距離推定裝置、震央距離推定方法及電腦可讀取之記錄媒體 | |
| CN113607321B (zh) | 索结构的索力测试方法、装置、计算机设备和存储介质 | |
| CN112179653A (zh) | 滚动轴承振动信号盲源分离方法、装置及计算机设备 | |
| WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
| CN112013285B (zh) | 管道泄漏点的检测方法及装置、存储介质、终端 | |
| CN112629786A (zh) | 一种工作模态参数识别方法及设备故障诊断方法 | |
| CN115393678A (zh) | 一种基于图像式中间态的多模态数据融合决策方法 | |
| Cai et al. | Visualizing and quantifying small and nonstationary structural motions in video measurement | |
| Peng et al. | A visual vibration characterization method for intelligent fault diagnosis of rotating machinery | |
| CN113607817A (zh) | 一种管道环焊缝检测方法、系统、电子设备及介质 | |
| CN113447111B (zh) | 基于形态分量分析的视觉振动放大方法、检测方法及系统 | |
| CN109708861A (zh) | 一种汽车排气管热振动检测方法及检测系统、计算机程序 | |
| Dizaji et al. | A hybrid-attention-ConvLSTM-based deep learning architecture to extract modal frequencies from limited data using transfer learning | |
| CN117235540A (zh) | 基于特征匹配融合的传感器动态信息联动分析方法 | |
| Laotrakunchai et al. | Measurement of size and distance of objects using mobile devices | |
| JP2013200683A (ja) | 状態追跡装置、方法、及びプログラム | |
| CN117235650B (zh) | 一种高空作业状态检测方法、装置、设备及介质 | |
| He et al. | A new signal processing and feature extraction approach for bearing fault diagnosis using AE sensors | |
| Kulkarni et al. | Time-Inferred Autoencoder: A noise adaptive condition monitoring tool | |
| Sloboda | Boundary transformation representation of attractor shape deformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |