[go: up one dir, main page]

CN110674697B - 滤波方法、装置及相关产品 - Google Patents

滤波方法、装置及相关产品 Download PDF

Info

Publication number
CN110674697B
CN110674697B CN201910815821.3A CN201910815821A CN110674697B CN 110674697 B CN110674697 B CN 110674697B CN 201910815821 A CN201910815821 A CN 201910815821A CN 110674697 B CN110674697 B CN 110674697B
Authority
CN
China
Prior art keywords
correlation peak
filtering
correlation
peak
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910815821.3A
Other languages
English (en)
Other versions
CN110674697A (zh
Inventor
高风波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN SECOM TECHNOLOGY CO LTD
Original Assignee
SHENZHEN GUANGNING INDUSTRIAL CO LTD
Shenzhen Haoxi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN GUANGNING INDUSTRIAL CO LTD, Shenzhen Haoxi Intelligent Technology Co ltd filed Critical SHENZHEN GUANGNING INDUSTRIAL CO LTD
Publication of CN110674697A publication Critical patent/CN110674697A/zh
Priority to PCT/CN2020/105583 priority Critical patent/WO2021036661A1/zh
Application granted granted Critical
Publication of CN110674697B publication Critical patent/CN110674697B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种滤波方法、装置及相关产品。滤波方法包括:获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,相关峰为频域信号;根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;按照各相关峰对应的滤波策略对各相关峰进行滤波处理。通过根据各相关峰的位置及对应的频段选择合适的滤波策略进行滤波处理,可减少各相关峰中的噪声信息,使得从检测视频中获得的频率信号的信噪比更高,从而使得根据检测视频得到的待检测装置的运行状况更加准确。

Description

滤波方法、装置及相关产品
技术领域
本发明涉及检测技术领域,尤其涉及了一种滤波方法、装置及相关产品。
背景技术
在相关技术中,振动可以反应某些机械结构的运行状况,可以拍摄振动装置运行时的视频,然后从视频中提取出振动信号,再根据振动信号获得装置的运行状况,但是由于拍摄视频时,会受环境影响而引入各种各样的噪声信息,从视频中提取出的振动信号也包含有大量的噪声信号,这样导致无法准确地获得装置的运行状况。
发明内容
本发明实施例提供一种滤波方法、装置及相关产品。
第一方面,本发明实施例提供了一种滤波方法,包括:
获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,所述相关峰为频域信号;
根据各相关峰在所述检测视频中对应的位置及相关峰的频段确定各相关峰对应的滤波策略;
按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
在某些实施例中,所述滤波策略包括滤波带宽,所述根据各相关峰在所述检测视频中对应的位置及所述相关峰对应的频段确定各相关峰对应的滤波策略包括:
根据各相关峰对应的频段确定各相关峰对应的初始滤波带宽;
根据各相关峰在所述检测视频中对应的位置确定所述相关峰对应的带宽调整系数;
将各相关峰对应的初始滤波带宽和带宽调整系数的乘积作为各相关峰对应的滤波带宽。
在某些实施例中,所述根据各相关峰在所述检测视频中对应的位置确定所述相关峰对应的带宽调整系数包括:
获取各相关峰在所述检测视频中对应的位置所在的区域对应的预设带宽调整系数,并将所述预设带宽调整系数作为所述相关峰对应的带宽调整系数。
在某些实施例中,所述根据各相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略之前,所述滤波方法还包括:
利用主成分分解方法对各相关峰进行降维处理;
所述根据各相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略包括:
根据各降维处理后的相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略。
在某些实施例中,所述利用主成分分解方法对各相关峰进行降维处理之前,所述滤波方法还包括:
将各相关峰的峰值与预设峰值范围比对,分别判断各相关峰的峰值是否在预设峰值范围内;
所述利用主成分分解方法对各相关峰进行降维处理包括:
对峰值在预设峰值范围内的相关峰进行降维处理。
在某些实施例中,所述按照各相关峰对应的滤波策略对各相关峰进行滤波处理包括:
按照各相关峰对应的滤波策略对各相关峰通过插值滤波的方式进行滤波处理。
第二方面,本发明还提供一种滤波装置,包括:
第一获取模块,用于获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,所述相关峰为频域信号;
滤波策略确定模块,用于根据各相关峰在所述检测视频中对应的位置及所述相关峰对应的频段确定各相关峰对应的滤波策略;
滤波模块,用于按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
第三方面,本发明实施例还提供一种电子装置,包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的信息推荐程序,其中所述信息推荐程序被所述处理器执行时,实现上述任一项实施例所述的滤波方法中的步骤的指令。
第四方面,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有滤波程序,其中所述滤波程序被处理器执行时,实现上述任一项所述的滤波方法。
第五方面,本发明还提供一种检测设备,用于检测待检测装置的运行状况,所述检测设备包括上述实施例的滤波装置或上述实施例的电子装置。
本发明实施例的滤波方法,获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰;根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;按照各相关峰对应的滤波策略对各相关峰进行滤波处理。通过根据各相关峰的位置及对应的频段选择合适的滤波策略进行滤波处理,可减少各相关峰中的噪声信息,使得从检测视频中获得的状态变化信号的信噪比更高,从而使得根据检测视频得到的待检测装置的运行状况更加准确。
附图说明
下面将对本发明实施例涉及的一些附图进行说明。
图1为本发明实施例的电子装置的结构示意图;
图2为本发明实施例的滤波方法的流程示意图;
图3为本发明实施例的滤波方法用于检测待检测装置的运行状况时涉及的放大检测视频的过程示意图;
图4为本发明实施例的滤波方法的另一流程示意图;
图5为本发明实施例的滤波方法的又一流程示意图;
图6为本发明实施例的滤波方法的再一流程示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
请参阅图1,图1是本发明实施例提供的电子装置100的硬件结构示意图。电子装置100包括处理器101、存储器102、输入输出接口103,以及一个或多个程序,一个或多个程序被存储在存储器102中,并且被配置由处理器101执行,程序包括用以下任一实施例的滤波方法的步骤的指令。电子装置100可以是服务器设备,也可以是终端设备。存储器102可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器102可选的还可以是独立于前述处理器101的存储装置。输入输出接口103可选的可以包括USB接口、标准的有线接口、无线接口(如WI-FI接口)等。
请参阅图2,图2是本发明实施例提供的一种滤波方法的流程示意图,这种方法可包括但不限于如下步骤:
01、获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,相关峰为频域信号;
本发明实施例的滤波方法可用于但不限于检测待检测装置的振动情况。待检测装置的振动情况可以反应待检测装置的运行状况。检测视频可为由成像模组拍摄待检测装置得到的视频。可通过分析检测视频,从检测视频中提取出待检测装置的振动信息,然后分析该振动信息得到待检测装置的运行状况。
在一个优选实施例中,检测视频为将成像模组拍摄待检测装置得到的视频采用欧拉算法对视频中的振动进行放大之后的振动放大视频。待检测装置包括但不限于各类机械设备、建筑结构等。得到检测视频之后,对检测视频对应的帧序列进行相位相关计算得到交叉互功率谱,交叉互功率谱中包括一个或多个相关峰。可以理解,相关峰为频域信号,每个相关峰可以反应检测视频中的某个位置的某个频段的状态变化剧烈程度,对检测视频对应的帧序列进行相位相关计算得到交叉互功率谱可以理解为,从检测视频中提取出视频画面中的状态变化信息。状态变化信息包括振动信息和其他噪声信息,振动信息可以反应待检测装置的运行状况。可通过本发明实施例的滤波方法,对交叉互功率谱中的各相关峰进行滤波处理,以减少各相关峰中的噪声信息,以使得根据检测视频得到的待检测装置的运行状况更加准确。
02、根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;
可分析各相关峰得到各相关峰在检测视频中对应的位置,相关峰在检测视频中对应的位置可以理解为该相关峰所反映的状态变化对应的检测视频中的位置。例如,检测视频中有一块位置的亮度随着时间呈周期性变化,对检测视频的对应的帧序列进行相位相关计算得到的一个或多个相关峰中,则包含至少一个相关峰可以体现该位置的亮度变化。
由于检测视频中,不同位置的振动对检测待检测装置的运行状况的作用大小不一样。例如,处于检测视频的画面中的边缘位置的振动相比较于中间位置的振动,对检测待检测装置的运行状况的作用更小,那么可将各相关峰在检测视频中对应的位置作为依据,确定各相关峰的滤波策略。每个相关峰对应的频率范围(即频段)不一样,根据相关峰对应的频段确定各相关峰的滤波策略,这样使得滤波策略与每个相关峰更加适配,从而有助于从各相关峰中提取出有用的状态变化信号。滤波策略例如可包括但不限于滤波器的带宽,滤波器的类型等。
03、按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
获得各相关峰的滤波策略之后,按照对应的滤波策略对各相关峰进行滤波处理,以使得从检测视频中获得的信号的信噪比更高。较佳地,可以按照各相关峰对应的滤波策略对各相关峰通过插值滤波的方式进行滤波处理,这样滤波效果更好。
本发明实施例的滤波方法,获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰;根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;按照各相关峰对应的滤波策略对各相关峰进行滤波处理。通过根据各相关峰的位置及对应的频段选择合适的滤波策略进行滤波处理,可减少各相关峰中的噪声信息,使得从检测视频中获得的状态变化信号的信噪比更高,从而使得根据检测视频得到的待检测装置的运行状况更加准确。
检测待检测装置的运行状况时,需要从包含有检测装置运行时的画面的检测视频中提取振动信息。如图3所示,可先将检测视频中的帧序列由RGB颜色空间转换到YIQ颜色空间,分离视频帧的亮度信息和色度信息。RGB和YIQ的转换关系为:
Y=0.299*R+0.587*G+0.114*B;
I=0.596*R–0.275*G–0.321*B;
Q=0.212*R-0.523*G+0.311*B。
然后保持I、Q通道不变,对Y通道进行FFT操作,再利用欧拉运动放大算法对视频数据行放大处理。具体包括:将FFT变换后的Y通道图像进行复数可操纵金子塔空域分解,得到由多个不同空间分辨率的子图像组成的金字塔形结构;对金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理,得到目标频带对应的变换信号。可以理解,在视频画面中,振动可由视频帧序列的亮度反应,那么可通过分析检测视频中的Y通道获取检测视频中的振动信息。然后放大时域带通滤波后得到的目标频带对应的变换信号并提取感兴趣的运动信息,对感兴趣的运动信息进行复数可操纵金字塔重建,得到放大后的Y通道图像;最后将重建的Y通道图像与原来的I、Q通道图像相加,再转化为RGB色彩空间,得到输出视频。
再对视频运动放大处理后的帧序列采用相位相关算法计算帧序列间的交叉互功率谱。相位相关算法采用如下的公式计算交叉互功率谱。
Figure BDA0002186336920000041
上式中,Fa为a帧图像的傅立叶变换,
Figure BDA0002186336920000042
为b帧图像的傅里叶变换的共轭信号,除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果交叉互功率谱(包含频域噪音)。
最后按照本发明实施例的上述滤波方法对交叉互功率谱中的各相关峰进行滤波处理,提高了有用信号的信噪比,使得从包含有检测装置运行时的画面的检测视频中提取出的信息,有用信号的信噪比更高。
具体地,对目标振动视频的图像帧序列进行金字塔分解后,获得金字塔型结构。金字塔型结构包括多层子图像,且从上到下的图像分辨率依次降低,空间频率依次降低。对每层图像进行时域带通滤波处理,是为了得到目标频带,使得目标频带的子图像分辨率能够清晰表达图像的运动特征,同时不会因为分辨率过高造成计算量过大。因此,按照金字塔结构从下到上获取每个子图像在不同空间频率的频带,并且按照获取顺序与标准频带进行对比,当确定某一层子图像的频带与标准频带匹配成功时,就不需要再对该层子图像之上的一层或多层子图像进行空间频率的频带获取和匹配,提升了时域带通滤波的效率。另外,金字塔分解的最大层数确定:log2(min(xres,yres)),其中xres为图像的宽度像素值,yres为图像的高度像素值。
进一步地,对金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理,得到目标频带对应的变换信号,具体包括:
获取金字塔结构的总层数N,其中金字塔结构由下到上层数依次增大,对应的子图像分辨率依次升高;
对金字塔结构中的多个子图像进行分组,其中第一组包括2n+1层对应的子图像,第二组包括2(n+1)层对应的子图像,其中n为大于或等于0的整数,N≥max(2(n+1),2n+1);
将第一组子图像采用第一处理器按照层数从小到大进行时域带通滤波处理,将第二组子图像采用第二处理器按照层数从小到大进行时域带通滤波处理,时域带通滤波处理为将子图像对应的不同空间频率的频带与标准频带进行匹配,第一处理器和第二处理器为独立运行的处理器;
当第一处理器或第二处理器确定频带与标准频带匹配成功时,确定频带为目标频带;
获取目标频带对应的子图像为第一目标子图像,获取第一目标子图像上面一层子图像为第二目标子图像;
确定第一目标子图像和第二目标子图像为目标频带对应的变换信号。
具体地,在对目标振动视频的多帧图像组成的帧序列进行空域金字塔分解后,可以获得金字塔结构的总层数N,且金字塔结构从下到上1~N层对应子图像的分辨率依次升高。然后对N层子图像进行分组,包括基数组和偶数组,基数组采用第一处理器按照1,3,5…2n+1的顺序进行时域带通滤波处理,偶数组采用第二处理器按照2,4,6,…2(n+1)的顺序进行时域带通滤波处理,两个处理器可以同时开始运行,也可以具有一定的处理时间间隔,另外,时域带通滤波处理是为了获取目标频带,获取方法可以是将子图像对应的不同空间频率的频带与标准频带进行匹配。当第一处理器或第二处理器确定频带与标准频带匹配成功时,确定所述频带为目标频带。
因为目标频带表示能反应图像振动信息的最低分辨率子图像的空间频率,那么确定目标频带对应的子图像为第一目标子图像,然后获取目标频带对应子图像上一层的子图像作为第二目标子图像,将第一目标子图像和第二目标子图像为目标频带对应的变换信号,进行后续放大变换。这样,可以更准确地对目标振动视频对应的帧图像进行放大,获得更准确的运动信息,同时也避免了对更高分辨率图像进行放大的需要增加的运算量。
在本申请实施例中,对金字塔结构对应的子图像进行分组,然后通过两个独立运行的处理器对不同组的子图像进行时域带通滤波处理,可以提升滤波处理效率,同时在获取到目标频带对应层的子图像作为第一目标子图像后,获取其上一层的子图像作为第二目标子图像,然后将第一目标子图像和第二目标子图像为目标频带对应的变换信号,这样可以获得更准确的放大运动信息,同时也避免了对更高分辨率图像进行放大的需要增加的运算量。
请参阅图4,基于上述实施例,在某些实施例中,滤波策略包括滤波带宽,根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略包括但不限于以下步骤:
021、根据各相关峰对应的频段确定各相关峰对应的初始滤波带宽;
可以理解,对检测视频对应的帧序列进行相位相关计算得到的相关峰中,包括检测视频对应的画面中位置相近的多个像素点的相似的多个状态变化信息,从而可以反应多个像素点所在的位置的状态变化。那么检测视频对应的画面中,不同位置的状态变化情况不同,对应的相关峰的频率分布也不同。如果用相同的滤波带宽进行滤波,那么为了避免有用信号被过滤,需要将滤波带宽设为较大值,但是这样有会导致噪声信号无法被过滤。而本申请的滤波方法中,根据各相关峰对应的频段确定个相关峰对应的初始滤波带宽,相关峰对应的频段与初始滤波带宽正相关,相关峰对应的频段越大,对应的初始滤波带宽越宽,可使得滤波带宽更好地与各相关峰适配,既能够有效地过滤噪声信号,也有助于避免有用信号被过滤,从而可以使得过滤效果更好。
例如,可以将B*(1-a)作为初始滤波带宽,B为各相关峰对应的频段,a可以根据实际需求确定,当需要得到更好的去燥效果时,可将a设为较大值,当需要获取到更多的有用信号时,可将a设定为较小值。当然,在其他实施例中,初始滤波带宽的设定方法不限于上述举例,在此不做限定。
022、根据各相关峰在检测视频中对应的位置确定相关峰对应的带宽调整系数;
检测视频中不同位置的振动对检测待检测装置的运行状况的作用大小不一样。那么可根据各相关峰在检测视频中对应的位置确定相关峰对应的带宽调整系数。利用带宽调整系数来调整初始滤波带宽,使得滤波带宽更合理。
例如,可根据相关峰在检测视频中对应的位置的振动对检测待检测装置的运行状况的作用大小,将检测视频对应的画面分为多个区域,并为每个区域设定预设带宽调整系数,这样在步骤022中确定带宽调整系数时,可直接获取各相关峰在检测视频中对应的位置所在的区域对应的预设带宽调整系数,并将预设带宽调整系数作为相关峰对应的带宽调整系数。这样可以快速准确的获得带宽调整系数。
进一步地,用户可根据待检测装置的结构,对检测视频对应的画面中的各个区域设定带宽加权系数,然后将预设带宽调整系数与带宽加权系数的乘积作为对应的区域的相关的带宽调整系数,这样使得得到的各个相关峰的滤波带宽更加合理。例如,待检测装置中某些关键部位的振动相对其他部位更加能够反应待检测装置的运行状况,那么可将该关键部位在检测视频的画面中对应的区域的带宽加权系数设定为较大值,使得滤波带宽更大,从而可以提取到更多的有用信息。
023、将各相关峰对应的初始滤波带宽和带宽调整系数的乘积作为各相关峰对应的滤波带宽。
这样得到的滤波带宽,综合考虑了相关峰在检测视频中对应的位置及相关峰对应的频段,使得滤波带宽与每个相关峰更加适配,从而有助于从各相关峰中提取出有用的状态变化信号。
需要说明的是,滤波带宽的计算方法不限于上述方法,在其他实施例中也可以根据各相关峰对应的频段和各相关峰在检测视频中对应的位置选择合适的计算方法来确定滤波带宽。
请参阅图5,基于上述实施例,在某些实施例中,滤波方法还包括步骤:
04、利用主成分分解方法对各相关峰进行降维处理;
步骤04在步骤01之后,步骤02之前执行。主成分分解(PCA)用来将相关峰数据在振动检测的两个主方向上对数据维数约减。可以理解,从相关峰中获得振动信息时,对相关峰进行滤波的过程中,需要对各个相关峰进行计算,而从检测视频中提取出的相关峰包括检测视频对应的画面的多个维度的状态变化状况信息,这会导致滤波处理过程中计算繁琐,效率低。利用主成分分解方法将各相关峰降维处理之后,再执行其他关于滤波处理的计算,可大大降低滤波过程的计算量。
步骤02包括:
024、根据各降维处理后的相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略。
将相关峰数据降维之后,再对降维处理后的相关峰进行计算,得到各相关峰对应的滤波策略,这样可降低滤波过程的计算量,提高滤波效率。
进一步地,请参阅图6,在步骤04之前,滤波方法还包括:
05、将各相关峰的峰值与预设峰值范围比对,分别判断各相关峰的峰值是否在预设峰值范围内;
步骤05在步骤01之后、步骤04之前执行。在成像模组拍摄待检测装置的检测视频时,一些像素点的微小变化也可以形成相关峰,但是频率的变化程度不够大,相关峰的峰值较小,这些信号对分析待检测装置的运行状况的作用很小甚至是没有作用的,可以理解为噪声信号。那么可通过预先设定一个预设峰值范围,在滤波时将各相关峰的峰值与预设峰值范围比对,过滤掉一些常见的噪声信号。
步骤04包括:
041、对峰值在预设峰值范围内的相关峰进行降维处理。
对峰值在预设峰值范围内的相关峰进行降维处理,过滤不在预设峰值范围内的相关峰,这样一方面可以提高从检测视频中获得的状态变化信号的信噪比,有用信号更多,另一方面由于去除了部分的噪声信号,从而可以减少后续的过滤的计算量,提升过滤效率。
进一步地,待检测装置的振动是一种周期往复运动,振动引起的状态变化也是周期性的。很多噪声信息虽然会导致检测视频中各像素点的状态变化,但是,噪声引起的状态变化常常不是周期性的,例如在室外场景下,由于室外光纤的明暗变化导致的状态变化。而且根据待检测装置的振动分析待检测装置的运行状况时,呈周期性的振动才能用于反应待检测装置的运行状况,因为非周期性的振动常常是由外界环境导致的,而不是由待检测装置自身引起的,那这部分非周期性的信号也不能用于分析待检测装置的运行状况。那么,在按照各相关峰对应的滤波策略对各相关峰进行滤波处理之后,还可以对相关峰进行反傅里叶变换,将频域信号转换为时域信号,得到多个状态变化信号,然后去除状态变化信号中的非周期信号,以进一步地去除噪声,使得根据检测视频得到的待检测装置的运行状况更加准确。
本发明实施例还提供一种滤波装置,包括:
第一获取模块,用于获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,相关峰为频域信号;
滤波策略确定模块,用于根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;
滤波模块,用于按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
本发明实施例的滤波装置,获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,相关峰为频域信号;根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;按照各相关峰对应的滤波策略对各相关峰进行滤波处理。通过根据各相关峰的位置及对应的频段选择合适的滤波策略进行滤波处理,可减少各相关峰中的噪声信息,使得从检测视频中获得的状态变化信号的信噪比更高,从而使得根据检测视频得到的待检测装置的运行状况更加准确。需要说明的是,上述滤波方法各实施例的解释说明及技术效果也适用于本实施例的滤波装置,为避免冗余,在此不再赘述。
在某些实施例中,滤波策略包括滤波带宽滤波策略确定模块包括:
初始滤波带宽确定单元,用于根据各相关峰对应的频段确定各相关峰对应的初始滤波带宽;
带宽调整系数确定单元,用于根据各相关峰在检测视频中对应的位置确定相关峰对应的带宽调整系数;
滤波带宽确定单元,用于将各相关峰对应的初始滤波带宽和带宽调整系数的乘积作为各相关峰对应的滤波带宽。
在某些实施例中,带宽调整系数确定单元用于获取各相关峰在检测视频中对应的位置所在的区域对应的预设带宽调整系数,并将预设带宽调整系数作为相关峰对应的带宽调整系数。
在某些实施例中,滤波装置还包括:
降维模块,用于利用主成分分解方法对各相关峰进行降维处理;
滤波策略确定模块用于根据各降维处理后的相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略。
在某些实施例中,滤波装置还包括:
判断模块,用于将各相关峰的峰值与预设峰值范围比对,分别判断各相关峰的峰值是否在预设峰值范围内;
降维模块用于对峰值在预设峰值范围内的相关峰进行降维处理。
在某些实施例中,滤波模块用于按照各相关峰对应的滤波策略对各相关峰通过插值滤波的方式进行滤波处理。
其中,上述滤波装置中各个模块的功能实现及技术效果与上述滤波方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有滤波程序,其中滤波程序被处理器执行时,实现上述任一实施例的滤波方法的步骤。
其中,滤波程序被执行时所实现的方法及对应的技术效果可参照本发明滤波方法的各个实施例,此处不再赘述。
本发明实施例还提供一种检测设备,用于检测待检测装置的运行状况,检测设备包括上述实施例的滤波装置或上述实施例的电子装置。
本发明实施例的检测设备,获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰;根据各相关峰在检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略;按照各相关峰对应的滤波策略对各相关峰进行滤波处理。通过根据各相关峰的位置及对应的频段选择合适的滤波策略进行滤波处理,可减少各相关峰中的噪声信息,使得从检测视频中获得的状态变化信号的信噪比更高,从而使得根据检测视频得到的待检测装置的运行状况更加准确。
检测设备检测待检测装置的运行状况时,可利用成像模组拍摄待检测装置运行时的检测视频,然后从包含有检测装置运行时的画面的检测视频中提取状态变化信息,状态变化信息可以反应待检测装置的振动信息,可以根据待检测装置的振动信息获得待检测装置的运行状况。如图3所示,可先将检测视频中的帧序列由RGB颜色空间转换到YIQ颜色空间,分离视频帧的亮度信息和色度信息。RGB和YIQ的转换关系为:
Y=0.299*R+0.587*G+0.114*B;
I=0.596*R–0.275*G–0.321*B;
Q=0.212*R-0.523*G+0.311*B。
然后保持I、Q通道不变,对Y通道进行FFT操作,再利用欧拉运动放大算法对视频数据行放大处理。具体包括:将FFT变换后的Y通道图像进行复数可操纵金子塔空域分解。将Y通道空域分解后的不同尺度的图像进行时域带通滤波,可以理解,在视频画面中,振动可由视频帧序列的亮度反应,那么可通过分析检测视频中的Y通道获取检测视频中的振动信息。;然后放大时域带通滤波后感兴趣的运动信息,对感兴趣的运动信息进行复数可操纵金字塔重建,得到放大后的Y通道图像;最后将重建的Y通道图像与原来的I、Q通道图像相加,再转化为RGB色彩空间,得到输出视频。
再对视频运动放大处理后的帧序列采用相位相关算法计算帧序列间的交叉互功率谱。相位相关算法采用如下的公式计算交叉互功率谱。
Figure BDA0002186336920000091
上式中,Fa为a帧图像的傅立叶变换,
Figure BDA0002186336920000092
为b帧图像的傅里叶变换的共轭信号,除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果交叉互功率谱(包含频域噪音)。交叉互功率谱中包括一个或多个相关峰,相关峰为频域信号。可以理解,每个相关峰可以反应检测视频中的某个位置的状态变化,对检测视频对应的真序列进行相位相关计算得到交叉互功率谱可以理解为,从检测视频中提取出视频画面中的状态变化信息。状态变化信息包括振动信息和其他噪声信息。可通过本发明实施例的滤波方法,对交叉互功率谱中的各相关峰进行滤波处理,以减少各相关峰中的噪声信息,使得从包含有检测装置运行时的画面的检测视频中提取出的信息中,有用信号的信噪比更高。
在上述实施例中,可全部或部分地通过软件、硬件、固件、或其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置,也可以通过其它的方式实现。例如以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可结合或者可以集成到另一个系统,或一些特征可以忽略或不执行。另一点,所显示或讨论的相互之间的间接耦合或者直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
另外,在本发明各实施例中的各功能单元可集成在一个处理单元中,也可以是各单元单独物理存在,也可两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,或者也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质例如可包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或光盘等各种可存储程序代码的介质。

Claims (9)

1.一种滤波方法,其特征在于,包括:
获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,所述相关峰为频域信号;
根据各相关峰在所述检测视频中对应的位置及相关峰的频段确定各相关峰对应的滤波策略;所述滤波策略包括滤波带宽,所述根据各相关峰在所述检测视频中对应的位置及所述相关峰对应的频段确定各相关峰对应的滤波策略包括:根据各相关峰对应的频段确定各相关峰对应的初始滤波带宽;根据各相关峰在所述检测视频中对应的位置确定所述相关峰对应的带宽调整系数;将各相关峰对应的初始滤波带宽和带宽调整系数的乘积作为各相关峰对应的滤波带宽;
按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
2.根据权利要求1所述的滤波方法,其特征在于,所述根据各相关峰在所述检测视频中对应的位置确定所述相关峰对应的带宽调整系数包括:
获取各相关峰在所述检测视频中对应的位置所在的区域对应的预设带宽调整系数,并将所述预设带宽调整系数作为所述相关峰对应的带宽调整系数。
3.根据权利要求1所述的滤波方法,其特征在于,所述根据各相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略之前,所述滤波方法还包括:
利用主成分分解方法对各相关峰进行降维处理;
所述根据各相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略包括:
根据各降维处理后的相关峰在所述检测视频中对应的位置及相关峰对应的频段确定各相关峰对应的滤波策略。
4.根据权利要求3所述的滤波方法,其特征在于,所述利用主成分分解方法对各相关峰进行降维处理之前,所述滤波方法还包括:
将各相关峰的峰值与预设峰值范围比对,分别判断各相关峰的峰值是否在预设峰值范围内;
所述利用主成分分解方法对各相关峰进行降维处理包括:
对峰值在预设峰值范围内的相关峰进行降维处理。
5.根据权利要求1所述的滤波方法,其特征在于,所述按照各相关峰对应的滤波策略对各相关峰进行滤波处理包括:
按照各相关峰对应的滤波策略对各相关峰通过插值滤波的方式进行滤波处理。
6.一种滤波装置,其特征在于,包括:
第一获取模块,用于获取对检测视频对应的帧序列进行相位相关计算得到的一个或多个相关峰,所述相关峰为频域信号;
滤波策略确定模块,用于根据各相关峰在所述检测视频中对应的位置及所述相关峰对应的频段确定各相关峰对应的滤波策略;所述滤波策略包括滤波带宽,所述滤波策略确定模块,还用于根据各相关峰对应的频段确定各相关峰对应的初始滤波带宽;根据各相关峰在所述检测视频中对应的位置确定所述相关峰对应的带宽调整系数;将各相关峰对应的初始滤波带宽和带宽调整系数的乘积作为各相关峰对应的滤波带宽;
滤波模块,用于按照各相关峰对应的滤波策略对各相关峰进行滤波处理。
7.一种电子装置,其特征在于,包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的滤波程序,其中所述滤波程序被所述处理器执行时,实现权利要求1至5中任一项所述的滤波方法的步骤的指令。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有滤波程序,其中所述滤波程序被处理器执行时,实现权利要求1至5中任一项所述的滤波方法的步骤。
9.一种检测设备,用于检测待检测装置的运行状况,其特征在于,所述检测设备包括权利要求6所述的滤波装置或权利要求7所述的电子装置。
CN201910815821.3A 2019-04-26 2019-08-30 滤波方法、装置及相关产品 Expired - Fee Related CN110674697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/105583 WO2021036661A1 (zh) 2019-04-26 2020-07-29 滤波方法、装置及相关产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019103460141 2019-04-26
CN201910346014 2019-04-26

Publications (2)

Publication Number Publication Date
CN110674697A CN110674697A (zh) 2020-01-10
CN110674697B true CN110674697B (zh) 2023-04-25

Family

ID=69075853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815821.3A Expired - Fee Related CN110674697B (zh) 2019-04-26 2019-08-30 滤波方法、装置及相关产品

Country Status (2)

Country Link
CN (1) CN110674697B (zh)
WO (1) WO2021036661A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674697B (zh) * 2019-04-26 2023-04-25 深圳市豪视智能科技有限公司 滤波方法、装置及相关产品
CN114504327B (zh) * 2021-12-28 2024-05-17 深圳大学 一种脑电噪声的处理方法、装置及计算机设备
CN117576091B (zh) * 2024-01-15 2024-04-09 深圳昱拓智能有限公司 一种基于视频检测的冷却塔风机振动检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2187059A (en) * 1986-02-20 1987-08-26 British Broadcasting Corp Motion detector for video signal prediction systems
CN103714522A (zh) * 2014-01-06 2014-04-09 海信集团有限公司 图像降噪方法和图像降噪系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024248B (zh) * 2013-01-05 2016-01-06 上海富瀚微电子股份有限公司 运动自适应的视频图像降噪方法及其装置
US10667723B2 (en) * 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
CN110659583B (zh) * 2019-04-26 2023-11-28 深圳市豪视智能科技有限公司 信号处理方法、装置及相关产品
CN110674697B (zh) * 2019-04-26 2023-04-25 深圳市豪视智能科技有限公司 滤波方法、装置及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2187059A (en) * 1986-02-20 1987-08-26 British Broadcasting Corp Motion detector for video signal prediction systems
CN103714522A (zh) * 2014-01-06 2014-04-09 海信集团有限公司 图像降噪方法和图像降噪系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微小运动放大及其在超声波传播中的应用;轩建平等;《华中科技大学学报(自然科学版)》;20180309(第02期);全文 *

Also Published As

Publication number Publication date
WO2021036661A1 (zh) 2021-03-04
CN110674697A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110595745B (zh) 针对设备的固定螺丝异常的检测方法及相关产品
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
CN110659583B (zh) 信号处理方法、装置及相关产品
CN110674697B (zh) 滤波方法、装置及相关产品
CN101345891B (zh) 基于信息熵和对比度的无参考图像质量评价方法
US11272146B1 (en) Content adaptive lens shading correction method and apparatus
JP5983373B2 (ja) 画像処理装置、情報処理方法及びプログラム
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
US10217193B2 (en) Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program
US20070097236A1 (en) Method and apparatus for reducing noise of image sensor
Ponomarenko et al. Adaptive visually lossless JPEG-based color image compression
JP2015166979A5 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
JP2022130888A (ja) 画像補正システム、画像補正方法、及びプログラム
CN109672829B (zh) 图像亮度的调整方法、装置、存储介质及终端
JP2014146872A5 (zh)
WO2025025690A1 (zh) 视觉系统的准确度确定方法、装置、计算机可读存储介质
Temel et al. BLeSS: Bio-inspired low-level spatiochromatic similarity assisted image quality assessment
US20130108163A1 (en) Image evaluation apparatus, image evaluation method, and program
US10249020B2 (en) Image processing unit, imaging device, computer-readable medium, and image processing method
WO2016139871A1 (ja) 脈拍計測装置及びその制御方法
Burns Estimation error in image quality measurements
US12106451B2 (en) Block-based noise reduction intensity determination method and device
CN103325091B (zh) 低频频谱数据补零法图像获取方法及系统
JP5836878B2 (ja) 画像処理装置、方法、及びプログラム
Sadou et al. No reference image quality assessment: Feature fusion using relevance vector machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240909

Address after: Room 21A, Junhao Ge, No. 2 Xiangxuan Road, Donghai Community, Xiangmihu Street, Futian District, Shenzhen City, Guangdong Province 518040

Patentee after: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

Country or region after: China

Address before: 518000 7th floor, building 9, phase II software park, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Haoxi Intelligent Technology Co.,Ltd.

Country or region before: China

Patentee before: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20241224

Address after: 518000 floor 5, building C3, Nanshan Zhiyuan, No. 1001, Xueyuan Avenue, Nanshan District, Shenzhen, Guangdong

Patentee after: SHENZHEN SECOM TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 21A, Junhao Ge, No. 2 Xiangxuan Road, Donghai Community, Xiangmihu Street, Futian District, Shenzhen City, Guangdong Province 518040

Patentee before: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230425