CN117268796B

CN117268796B - 车辆故障声学事件检测方法

Info

Publication number: CN117268796B
Application number: CN202311531071.XA
Authority: CN
Inventors: 魏建国; 阿颖; 张鸿程; 卢雨飞; 路文焕
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2023-11-16
Filing date: 2023-11-16
Publication date: 2024-01-26
Anticipated expiration: 2043-11-16
Also published as: CN117268796A

Abstract

本发明公开了一种车辆故障声学事件检测方法，其基于镜像源模型算法获得故障音频，使用广义互相关方法提取广义互相关‑相位变换特征，通过对梅尔频谱取对数提取对数梅尔谱特征，利用多通道分支卷积循环网络进行特征融合，使广义互相关‑相位变换特征辅助音频片段分类结果，具有识别率高、定位准确、易于训练、鲁棒性强的优点，对车辆故障声学事件检测满足实时诊断的要求。

Description

车辆故障声学事件检测方法

技术领域

本发明属于声学事件检测与定位技术领域，具体来说涉及一种车辆故障声学事件检测方法。

背景技术

汽车是由驱动系统、底盘、车身和电气设备组成的复杂系统，其零部件可能由于老化、损耗或外力碰撞等原因造成特定功能丧失。当其中元件出现磨损或变形时，磨损、故障点会与其它结构摩擦、冲击，产生具有特征频率的脉冲信号。目前主流故障声学诊断方法是对故障设备工作时的振动信号进行采集，通过信号处理、机器学习等方法分析，实现故障位置和故障类型识别。但是这些方法对故障检测人员的相关背景知识和检测设备成本有很强的要求，机械运转过程中大量的不确定因素会导致诊断更加复杂化。因此，对于产生异响的车辆，一般都需要到指定检测地点进行故障检测，无法满足在日常行驶中实时检测车辆状态的要求。

发明内容

针对传统声学方法难以对车辆故障进行实时诊断的问题，本发明的目的是提供一种基于多通道多特征的车辆故障声学事件检测方法，其基于镜像源模型（Image SourceModel, ISM）算法获得故障音频，使用广义互相关方法（Generalized Cross-Correlation, GCC）提取广义互相关-相位变换特征/>，通过对梅尔频谱取对数（Log-MelSpectrogram）提取对数梅尔谱特征/>，利用多通道分支卷积循环网络进行特征融合，使广义互相关-相位变换特征/>（方位特征）辅助音频片段分类结果，具有识别率高、定位准确、易于训练、鲁棒性强的优点，对车辆故障声学事件检测满足实时诊断的要求。

本发明的目的是通过下述技术方案予以实现的。

一种车辆故障声学事件检测方法，包括以下步骤：

S1，将汽车座舱视作三维长方体的模拟空间，以模拟空间的一角为原点，在相对于原点坐标为的位置设置C通道的麦克风阵列，将声源设置在麦克风阵列周围的随机位置，声源相对于原点坐标为/>，通过调整声源的位置以改变/>，每次调整声源的位置后根据镜像源模型（Image Source Model, ISM）算法模拟麦克风阵列获得声源的故障音频/>：

（1）

其中，为由声源发出的原始故障音频（原始故障音频指未经传播的原始信号），为由声源在模拟空间中传播的脉冲响应；

脉冲响应为：

（2）

其中，为相对于原点坐标为/>的声源的镜像声源的相对于原点坐标，/>为镜像声源的相对于原点坐标，/>为镜像声源的相对于原点坐标为/>时的反射阶数，/>为墙壁的吸收系数，/>∈[0,1]，/>为窗函数，t为第n个采样点对应的波达时间；

和/>可以由下式（3）~（5）计算得出：

（3）

（4）

（5）

其中，为声速，/>为混响时间，/>为模拟空间的最小外接球半径，/>为模拟空间的体积，/>为模拟空间的表面积，/>为采样率。

窗函数如公式（6）：

（6）

其中，为窗口宽度。

S2，基于故障音频获得对数梅尔谱特征和广义互相关-相位变换特征/>；

在S2中，提取对数梅尔谱特征包括：

首先，对故障音频进行预加重、分帧和加窗操作，通过傅里叶变换，得到频谱，其中，傅里叶变换的公式如下：

（7）

其中，为预加重、分帧和加窗操作后故障音频/>的第i个通道第n个采样点的信号，/>为汉明窗函数，N为预加重、分帧和加窗操作后故障音频/>，/>为离散傅里叶变换长度，j为虚数单位，/>为傅立叶变换区间内的采样点编号。

然后，对取模平方后通过梅尔刻度三角滤波器获得梅尔频谱，最后，对梅尔频谱取对数获得对数梅尔谱特征/>；

（8）

其中，为梅尔频谱，/>为梅尔刻度三角滤波器。

在S2中，广义互相关-相位变换特征为由故障音频W中每两个通道信号之间经过基于相位变换的广义互相关方法得到的特征值，其公式如下：

（9）

（10）

其中，表示从故障音频W中选取的第/>个通道的信号和第/>个通道的信号之间的互相关函数，/> ,f为从麦克风阵列C通道信号中选取任意两个不重复通道后的编号，f=1、……、/>表示第/>个通道的信号由式（7）得到的频谱，/>表示第/>个通道的信号由式（7）得到的频谱，/>为角频率，/>表示声源到麦克风阵列中第/>个麦克风和第个麦克风的到达时间差。

S3，将故障音频中长度为T的音频片段的对数梅尔谱特征/>和广义互相关-相位变换特征/>输入至多通道分支卷积循环网络中进行训练，迭代训练至损失函数MSE收敛，得到训练完毕的多通道分支卷积循环网络，其中，多通道分支卷积循环网络的输出矩阵Y的定义如下：

（11）

其中，表示音频片段分类结果：/>种类别的独热（One-Hot）编码；/>为音频片段所对应声源相对于原点坐标的预测值。

在S3中，多通道分支卷积循环网络由双分支卷积网络、双向门控循环单元和全连接层依次串联构成，双分支卷积网络的每个分支由三层卷积块串联组成，每个卷积块由卷积层、标准化层、池化层和随机失活层串联组成，双分支卷积网络的两个分支的输出经过特征拼接后连接到位于下一层的双向门控循环单元的输入端。

在S3中，双分支卷积网络进行深度特征提取后拼接并转换成尺寸为T/5×384的特征矩阵，其中，输入至多通道分支卷积循环网络的对数梅尔谱特征的尺寸为T×1×64，输入至多通道分支卷积循环网络的广义互相关-相位变换特征/>的尺寸为T×C(C-1)/2×64。

双向门控循环单元输出的特征矩阵的尺寸为T/5×256。

全连接层为两层，多通道分支卷积循环网络的输出矩阵Y的尺寸为T/5×（）。

在S3中，多通道分支卷积循环网络的优化器采用Adam优化器。

S4，将实车采集到的故障音频作为测试集，将测试集中长度为T的音频片段的对数梅尔谱特征和广义互相关-相位变换特征/>输入至多通道分支卷积循环网络中进行预测。

本发明的特点和有益的效果在于：

（1）本发明的车辆故障声学事件检测方法区别于传统的基于单通道信号的故障诊断方法，本发明使用麦克风阵列采集多通道信号，提取声源方位特征，辅助故障诊断，使模型更容易训练，提升了模型对不同场景的鲁棒性。

（2）针对故障数据难以采集的问题，结合镜像源模型算法，使用少量真实数据生成大量模拟数据，提高模型训练质量。

（3）利用双分支卷积网络，同时解决了故障声音识别和故障声源方位角估计的问题，并且经过特征拼接使得两个子任务可以起到相互辅助的作用。

附图说明

图1为多通道分支卷积循环网络的结构图。

具体实施方式

下面结合附图和实施例对本发明的车辆故障声学事件检测方法进行详细说明。

实施例1

一种车辆故障声学事件检测方法，包括以下步骤：

S1，将汽车座舱视作三维长方体的模拟空间，以模拟空间的一角为原点，在相对于原点坐标为的位置设置C通道的麦克风阵列，将一个声源设置在麦克风阵列周围的随机位置，声源相对于原点坐标为/>，通过调整声源的位置以改变/>，每次调整声源的位置后根据镜像源模型（Image Source Model, ISM）算法（J. B. Allen and D. A. Berkley, “Imagemethod for efficiently simulating small-room acoustics,” J. Acoust. Soc. Am.,vol. 65, no. 4, pp. 943–950, 1979.）模拟麦克风阵列获得声源的故障音频/>：

（1）

脉冲响应为：

（2）

和/>可以由下式（3）~（5）计算得出：

（3）

（4）

（5）

窗函数如公式（6）：

（6）

其中，为窗口宽度。

在S2中，提取对数梅尔谱特征包括：

（7）

（8）

其中，为梅尔频谱，/>为梅尔刻度三角滤波器。

（9）

（10）

其中，表示从故障音频W中选取的第/>个通道的信号和第个/>通道的信号之间的互相关函数，/> ,f为从麦克风阵列C通道信号中选取任意两个不重复通道后的编号，f=1、……、/>表示第/>个通道的信号由式（7）得到的频谱，/>表示第/>个通道的信号由式（7）得到的频谱，/>为角频率，/>表示声源到麦克风阵列中第/>个麦克风和第个麦克风的到达时间差，可以由麦克风与声源的距离和空气中的声速计算得到。

（11）

在S3中，如图1所示，多通道分支卷积循环网络由双分支卷积网络、双向门控循环单元和全连接层依次串联构成，双分支卷积网络的每个分支由三层卷积块串联组成，每个卷积块由卷积层、标准化层、池化层和随机失活层串联组成，双分支卷积网络的两个分支的输出经过特征拼接后连接到位于下一层的双向门控循环单元的输入端。

双向门控循环单元输出的特征矩阵的尺寸为T/5×256。

在S3中，多通道分支卷积循环网络的优化器采用Adam优化器。

实施例2

采用实施例1中车辆故障声学事件检测方法进行实验，具体参数如下：

将西储大学轴承故障数据集中的内圈损坏、外圈损坏、滚动体损坏和正常四种音频作为原始故障音频（V=4）；

将汽车座舱视作长宽高分别设置为4米、1.8米、1.5米的三维长方体，模拟空间内的信噪比设置为30dB，混响时间设置为0.3s，采样率F为12000Hz，声速/>为340m/s。以模拟空间的左下角为原点，相对于原点坐标为/>的位置为（2，0.9，0.5），麦克风阵列为半径13cm的圆形，其为4通道麦克风阵列，以麦克风阵列为圆心将一个声源放置于半径为0.8m的圆环上，通过在圆环上以10°的角度间隔调整声源的位置以改变/>，每次调整声源的位置后根据镜像源模型（Image Source Model, ISM）算法模拟麦克风阵列获得声源的故障音频/>。

离散傅里叶变换长度为256，梅尔刻度三角滤波器的个数为64。

在S3中，双分支卷积网络进行深度特征提取后拼接并转换成尺寸为50×384的特征矩阵，其中，输入至多通道分支卷积循环网络的对数梅尔谱特征的尺寸为250×1×64，输入至多通道分支卷积循环网络的广义互相关-相位变换特征/>的尺寸为250×6×64。双向门控循环单元输出的特征矩阵的尺寸为50×256。全连接层为两层，多通道分支卷积循环网络的输出矩阵Y的尺寸为50×7。

双向门控循环单元的隐藏层数为128。第一个全连接层（FC1）的输入尺寸为50×256，输出尺寸为50×128，第二个全连接层（FC2）的输入尺寸为50×128，输出尺寸为50×7。三个卷积块（CB1、CB2、CB3）中卷积层的步长和填充都为（1，1），最大池化层的步长为（5，4），填充为（1，1），卷积核尺寸如表1所示。

表1卷积块参数

在S3的训练过程中，学习率设置为10^-4，，丢弃率为0.1，训练集的批样本数量为128，优化器采用Adam优化器，迭代次数为50次。

评价指标：有分类精确率和方位角误差/>，其定义如下：

（12）

（13）

其中，和/>依次表示音频片段分类结果中真正例和假正例，Q为音频片段的数量， />为由第/>个/>转换成的方位角（估计值），/>为第/>个音频片段所对应声源相对于原点坐标真实值转换成的方位角。

将实车采集到的故障音频作为测试集，将测试集中长度为T的音频片段的对数梅尔谱特征和广义互相关-相位变换特征/>输入至多通道分支卷积循环网络中进行预测，结果表明，本发明车辆故障声学事件检测方法的故障类型识别精确率达到了76.63%，同时其方向角估计误差为14.58°。

实施例

采用车辆故障声学事件检测方法进行实验，与实施例2基本一致，唯一不同之处在于：用“SELDnet网络”替换实施例2中的“多通道分支卷积循环网络”。本实施例所采用SELDnet网络详见：Sharath Adavanne, Archontis Politis, Joonas Nikunen, andTuomas Virtanen, "Sound event localization and detection of overlappingsources using convolutional recurrent neural network" in IEEE Journal ofSelected Topics in Signal Processing (JSTSP 2018)。

将实施例2和实施例3的分类精确率和方位角误差进行比较，结果见表2。

表2对比实验结果

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims

1.一种车辆故障声学事件检测方法，其特征在于，包括以下步骤：

S1，将汽车座舱视作三维长方体的模拟空间，以模拟空间的一角为原点，在相对于原点坐标为r的位置设置C通道的麦克风阵列，将声源设置在麦克风阵列周围的随机位置，声源相对于原点坐标为s₀，通过调整声源的位置以改变s₀，每次调整声源的位置后根据镜像源模型算法模拟麦克风阵列获得声源的故障音频W：

W＝O*a_r(S₀)

其中，O为由声源发出的原始故障音频，a_r(s₀)为由声源在模拟空间中传播的脉冲响应；

S2，基于故障音频W获得对数梅尔谱特征X_Log-Mel和广义互相关-相位变换特征X_GCC；

S3，将故障音频W中长度为T的音频片段的对数梅尔谱特征X_Log-Mel和广义互相关-相位变换特征X_GCC输入至多通道分支卷积循环网络中进行训练，迭代训练至损失函数MSE收敛，得到训练完毕的多通道分支卷积循环网络，其中，多通道分支卷积循环网络由双分支卷积网络、双向门控循环单元和全连接层依次串联构成，多通道分支卷积循环网络的输出矩阵Y的定义如下：

Y＝{y_SED,y_DOA}

其中，y_SED表示音频片段分类结果：V种类别的独热编码；y_DoA为音频片段所对应声源相对于原点坐标的预测值；

S4，将实车采集到的故障音频作为测试集，将测试集中长度为T的音频片段的对数梅尔谱特征X_Log-Mel和广义互相关-相位变换特征X_GCC输入至多通道分支卷积循环网络中进行预测。

2.根据权利要求1所述的车辆故障声学事件检测方法，其特征在于，脉冲响应为：

其中，为相对于原点坐标为s₀的声源的镜像声源的相对于原点坐标，s为镜像声源的相对于原点坐标，gen(s)为镜像声源的相对于原点坐标为s时的反射阶数，α为墙壁的吸收系数，α∈[0,1]，δ_LP(t)为窗函数，t为第n个采样点对应的波达时间。

3.根据权利要求2所述的车辆故障声学事件检测方法，其特征在于，t、gen(s)和α可以由下式计算得出：

其中，c为声速，RT₆₀为混响时间，R为模拟空间的最小外接球半径，V为模拟空间的体积，S为模拟空间的表面积，F为采样率。

4.根据权利要求3所述的车辆故障声学事件检测方法，其特征在于，窗函数δ_LP(t)如下：

其中，T_w为窗口宽度。

5.根据权利要求4所述的车辆故障声学事件检测方法，其特征在于，在S2中，提取对数梅尔谱特征X_Log-Mel包括：

首先，对故障音频W进行预加重、分帧和加窗操作，通过傅里叶变换，得到频谱P_i(k)，其中，傅里叶变换的公式如下：

其中，w_i(n)为预加重、分帧和加窗操作后故障音频W的第i个通道第n个采样点的信号，h(n)为汉明窗函数，N为预加重、分帧和加窗操作后故障音频W的长度，K为离散傅里叶变换长度，j为虚数单位，k为傅立叶变换区间内的采样点编号；

然后，对P_i(k)取模平方后通过梅尔刻度三角滤波器获得梅尔频谱，最后，对梅尔频谱取对数获得对数梅尔谱特征X_Log-Mel；

其中，为梅尔频谱，H(k)为梅尔刻度三角滤波器。

6.根据权利要求5所述的车辆故障声学事件检测方法，其特征在于，在S2中，广义互相关-相位变换特征X_GCC为由故障音频W中每两个通道信号之间经过基于相位变换的广义互相关方法得到的特征值，其公式如下：

X_GCC＝{R₁，...,R_C(C-1)/2}^T

其中，R_f表示从故障音频W中选取的第l个通道的信号和第m个通道的信号之间的互相关函数，l≠m，f为从麦克风阵列C通道信号中选取任意两个不重复通道后的编号，f＝1、……、C(C-1)/2，P_l(k)表示第l个通道的信号得到的频谱，P_m(k)表示第m个通道的信号得到的频谱，ω为角频率，τ_lm表示声源到麦克风阵列中第l个麦克风和第m个麦克风的到达时间差。

7.根据权利要求1所述的车辆故障声学事件检测方法，其特征在于，在S3中，双分支卷积网络的每个分支由三层卷积块串联组成，每个卷积块由卷积层、标准化层、池化层和随机失活层串联组成，双分支卷积网络的两个分支的输出经过特征拼接后连接到位于下一层的双向门控循环单元的输入端。

8.根据权利要求7所述的车辆故障声学事件检测方法，其特征在于，在S3中，双分支卷积网络进行深度特征提取后拼接并转换成尺寸为T/5×384的特征矩阵，其中，输入至多通道分支卷积循环网络的对数梅尔谱特征X_Log-Mel的尺寸为T×1×64，输入至多通道分支卷积循环网络的广义互相关-相位变换特征X_GCC的尺寸为T×C(C-1)/2×64。

9.根据权利要求8所述的车辆故障声学事件检测方法，其特征在于，双向门控循环单元输出的特征矩阵的尺寸为T/5×256。

10.根据权利要求9所述的车辆故障声学事件检测方法，其特征在于，全连接层为两层，多通道分支卷积循环网络的输出矩阵Y的尺寸为T/5×(V+3)。

11.根据权利要求10所述的车辆故障声学事件检测方法，其特征在于，在S3中，多通道分支卷积循环网络的优化器采用Adam优化器。