CN118629417B - 一种多模态课堂教师教学言语行为分析方法及系统 - Google Patents

Abstract

本发明涉及语音分析处理技术领域，具体涉及一种多模态课堂教师教学言语行为分析方法及系统。本发明首先获取课堂语音信号及课堂语音信号的所有分量语音信号，并进行分段编号；获取每个分量语音分段的变化贡献度，获取每个分量语音分段的第一滤波权重及第二滤波权重，从而结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪；根据降噪后的所有分量语音信号进行言语行为分析。本发明通过将课堂语音信号及其所有分量语音信号进行分段分析，评估每个分段所受噪声干扰的影响情况以确定第一滤波权重及第二滤波权重，进而对每个分段进行自适应滤波，以提高课堂语音信号的降噪效果，从而提高教师课堂教学的言语行为分析效果。

Description

一种多模态课堂教师教学言语行为分析方法及系统

技术领域

本发明涉及语音分析处理技术领域，具体涉及一种多模态课堂教师教学言语行为分析方法及系统。

背景技术

教师课堂教学过程中的语音数据中蕴含着丰富的信息，包括语速、语调、情感表达等可用于分析教师言语行为的信息，通过分析处理语音数据，可以识别教师的语言特征和情感表达，例如教师在授课过程中是否存在情绪波动、语言表达是否生动有趣以吸引学生学习兴趣等，这有助于更深入的理解教师的言语行为，为教学评估和改进提供科学依据。

然而在实际教学环境中会存在各种背景干扰，如空调噪声、键盘敲击声、学生说话声等，这些干扰会降低对教师语音数据采集分析的准确性。故通常利用信号分解算法对各分量信号进行平滑，以消除噪声干扰影响，但是分解结果中干扰因素散乱的分布在不同的分量结果中，常规的去除噪声的方法不能很好的区分实际的语音信息和干扰信息，从而影响言语行为分析效果。

发明内容

为了解决现有技术对课堂语音数据降噪效果差从而导致课堂教师教学言语行为分析效果差的技术问题，本发明的目的在于提供一种多模态课堂教师教学言语行为分析方法及系统，所采用的技术方案具体如下：

本发明提出一种多模态课堂教师教学言语行为分析方法，所述方法包括：

获取课堂语音信号及所述课堂语音信号的所有分量语音信号；将所述课堂语音信号及所有所述分量语音信号进行分段并编号，得到所有课堂语音分段及分量语音分段，相同序号的所述课堂语音分段及所述分量语音分段的长度一致；

根据每个所述分量语音信号中所述分量语音分段及所述课堂语音分段的分布特征变化，获取每个所述分量语音分段的变化贡献度；根据相同序号下的不同所述分量语音分段间的所述变化贡献度的差异，结合每个所述分量语音分段在相同序号下的所有所述分量语音分段中的贡献率，获取每个所述分量语音分段的第一滤波权重；根据每个所述分量语音信号的每个所述分量语音分段的时频分布特征，获取每个所述分量语音分段的第二滤波权重；根据所述第一滤波权重及所述第二滤波权重，结合所述课堂语音信号的噪声强度，对所有所述分量语音信号进行降噪；

根据降噪结果进行教学言语行为分析。

进一步地，所述变化贡献度的获取方法包括：

根据每个语音分段的频率分辨率及信号点的分布混乱程度，获取每个语音分段的分布特征参数；

在每个所述分量语音信号中，将每个所述分量语音分段与下一相邻所述分量语音分段间的所述分布特征参数的差异作为第一参数差异；

在所述课堂语音信号中，将每个所述课堂语音分段与下一相邻所述课堂语音分段间的所述分布特征参数的差异作为第二参数差异；

在相同序号对应语音分段间，将所述第一参数差异与所述第二参数差异的比值作为对应所述分量语音分段的变化贡献度。

进一步地，所述分布特征参数的获取方法包括：

获取每个语音分段的信息熵；

获取每个语音分段中的极值点；在每个语音分段中，计算相邻极值点间的时间间隔，将所有所述时间间隔的均值作为语音分段的频率分辨率；

根据每个语音分段的所述信息熵及所述频率分辨率，获取每个语音分段的分布特征参数，所述信息熵及所述频率分辨率均与所述分布特征参数正相关。

进一步地，所述第一滤波权重的获取方法包括：

以任一所述分量语音分段为目标分段，获取相同序号下除所述目标分段外的其余所有所述分量语音分段的重构语音分段，将所述重构语音分段与对应相同序号下的所述课堂语音分段间的所述分布特征参数的差异，作为所述目标分段的重要性参数；

在相同序号下，获取所述目标分段与其余所有所述分量语音分段间的所述变化贡献度的差异的平均值，将平均值作为所述目标分段的异常参数；

根据每个所述分量语音分段的所述重要性参数及所述异常参数，获取每个所述分量语音分段的第一滤波权重，所述重要性参数及所述异常参数均与所述第一滤波权重正相关。

进一步地，所述第二滤波权重的获取方法包括：

对每个所述分量语音分段进行傅里叶变化，获取每个所述分量语音分段的频域分量语音分段；根据不同所述频域分量语音分段中相同序号的信号点间的分布概率差异，获取每个所述分量语音信号的分段相似参数；

将每个所述分量语音分段中信号点的幅值方差，作为时域幅值方差，根据所述时域幅值方差对所述分量语音分段中每个信号点的幅值进行加权求均，得到每个所述分量语音分段的时域特征参数；将每个所述频域分量语音分段中信号点的幅值方差，作为频域幅值方差，根据所述频域幅值方差对所述频域分量语音分段中每个信号点的幅值进行加权求均，得到每个所述分量语音分段的频域特征参数；

将每个所述分量语音分段的所述时域特征参数与所述频域特征参数的差异，作为每个所述分量语音分段的时频分布一致参数；

根据所述分段相似参数及所述时频分布一致参数，获取每个所述分量语音信号的第二滤波权重，所述分段相似参数及所述时频分布一致参数均与所述第二滤波权重正相关。

进一步地，所述分段相似参数的计算公式包括：

；其中，为第个分量语音信号的分段相似参数；为第个分量语音信号中任意两个分量语音分段对应频域分量语音分段的组合序号；为第个分量语音信号重任意两个分量语音分段对应频域分量语音分段的组合总数量；为每个频域分量语音分段中信号点的序号；为每个频域分量语音分段中信号点的总数量；为第个频域分量语音分段中第个信号点的幅值；为第个频域分量语音分段中第个信号点的幅值；为对数函数。

进一步地，对所有所述分量语音信号进行降噪的降噪方法包括：

根据所述第一滤波权重及所述第二滤波权重获取每个所述分量语音分段的滤波分配权重，所述第一滤波权重及所述第二滤波权重均与所述滤波分配权重正相关；

将每个所述分量语音分段的滤波分配权重与所述课堂语音信号的噪声强度进行相乘合并，得到每个所述分量语音分段的滤波强度；

将所述滤波强度作为滤波器的滤波参数，对所有所述分量语音信号进行降噪。

进一步地，所述分量语音信号的获取方法包括：

对所述课堂语音信号采用EMD算法进行分解，获取所有分量语音信号。

进一步地，所述课堂语音分段的获取方法包括：

将所述课堂语音信号均分为预设数量个分段，得到所有课堂语音分段。

本发明提出一种多模态课堂教师教学言语行为分析系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种多模态课堂教师教学言语行为分析方法的步骤。

本发明具有如下有益效果：

本发明首先获取课堂语音信号及课堂语音信号的所有分量语音信号；将课堂语音信号及所有分量语音信号进行分段并编号，相同序号的课堂语音分段及分量语音分段的长度一致，以便分析相同时段内的课堂语音分段及分量语音分段间的特征，从而评估每个语音分段的受干扰程度，以自适应调整滤波强度进行降噪；根据每个分量语音信号中分量语音分段及课堂语音分段的分布特征变化，获取每个分量语音分段的变化贡献度，变化贡献度反映了每个分量语音信号中分量语音分段与课堂语音分段的分布特征变化的相似程度，进而可以评估其受噪干扰情况；根据相同序号下的不同分量语音分段间的变化贡献度的差异，结合每个分量语音分段的贡献率，获取每个分量语音分段的第一滤波权重；根据每个分量语音信号的不同分量语音分段间的频谱相似情况，及每个分量语音分段的时频分布一致情况，获取每个分量语音分段的第二滤波权重；根据第一滤波权重及第二滤波权重，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪，课堂语音信号的噪声强度反映了其受噪声干扰的整体情况，第一滤波权重及第二滤波权重是根据每个分量语音分段的特征分析其所受的不同类型或强度的噪声干扰可能性，结合第一滤波权重及第二滤波权重可以自适应对每个分量语音分段进行不同程度的滤波，从而提高滤波效果；根据降噪后的所有分量语音信号进行教学言语行为分析。本发明通过将课堂语音信号及其所有分量语音信号进行分段分析，评估每个分段所受噪声干扰的影响情况以确定第一滤波权重及第二滤波权重，进而对每个分段进行自适应滤波，以提高课堂语音信号的降噪效果，从而提高教师课堂教学的言语行为分析效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种多模态课堂教师教学言语行为分析方法的流程图；

图2为本发明一个实施例所提供的一种课堂语音信号的波形图；

图3为本发明一个实施例所提供的一种课堂语音信号及所有分量语音信号的分段示意图；

图4为本发明一个实施例所提供的一种降噪后的重构课堂语音信号的波形图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种多模态课堂教师教学言语行为分析方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种多模态课堂教师教学言语行为分析方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种多模态课堂教师教学言语行为分析方法的流程图，具体包括：

步骤S1，获取课堂语音信号及课堂语音信号的所有分量语音信号；将课堂语音信号及所有分量语音信号进行分段并编号，得到所有课堂语音分段及分量语音分段，相同序号的课堂语音分段及分量语音分段的长度一致。

在本发明的一个实施例中，为提高对教师课堂教学过程中的言语行为分析效果，首先通过在教室讲台处安装音频采集设备，如麦克风或录音设备，以捕捉教师在教学过程中的语音信息，然后将采集是语音信息转化为课堂语音信号，以便后续进行分解降噪；请参阅图2，其示出了本发明一个实施例提供的一种课堂语音信号的波形图；然后将课堂语音信号采用EMD算法进行分解，获取多模态分量，得到所有分量语音信号。

需要说明的是，在本发明其他实施例中，实施者也可将音频采集设备布置在教室的不同位置形成麦克风阵列或者多个通道录制，然后将多个语音信号采用阵列信号处理技术或语音合成等技术，将多语音信号合成，以确保捕捉到全面的语音数据；其与获取语音信号及EMD算法均是本领域技术人员熟知的现有技术，在此不赘述。

考虑到外界干扰如键盘敲击声或教师外的噪声等通常随机分布在课堂语音信号中，不同的语音片段可能受到不同类型和强度的噪音影响，直接对整个语音课堂信号进行分解降噪可能影响最终的言语行为分析效果；故本发明实施例将课堂语音信号及多模态的分量语音信号进行分段并编号，得到所有课堂语音分段及分量语音分段，其中相同序号的课堂语音分段及分量语音分段的长度一致，以便分析相同时段内的课堂语音分段及分量语音分段间的特征，从而评估每个语音分段的受干扰程度，以自适应调整滤波强度进行降噪。

在本发明的一个实施例中，将课堂语音信号均分为预设数量个分段，得到所有课堂语音分段。预设数量取值为10，实施者可根据具体实施方式自行设置取值，在此不做限定。

为便于理解课堂语音信号及所有分量语音信号的分段过程，请参阅图3，其示出了本发明一个实施例所提供的一种课堂语音信号及所有分量语音信号的分段示意图；图3中，课堂语音数据表示所采集的课堂语音信号，r1表示课堂语音信号的第一阶分量语音信号，r2表示课堂语音信号的第二阶分量语音信号，r3表示课堂语音信号的第三阶分量语音信号，通过将课堂语音信号与所有分量语音信号的首个信号点对齐，然后将课堂语音信号均匀分段，可以得到多个等长的课堂语音分段，进而在纵向上可以得到所有分量语音信号的分量语音分段，其中d1表示课堂语音信号及每个分量语音信号的第一语音分段，d2、d3及d4以此类推，所有纵向上即同一分段序号的语音分段的长度一致。

需要说明的是，图3仅为帮助理解课堂语音信号及所有分量语音信号的分段方法，并非课堂语音信号仅有三阶分量语音信号，也并非将课堂语音分段划分为4个分段；在本发明的其他实施例中，实施者可以自行采用其他分段方法，如将课堂语音信号非等分处理为多个分段，但需保证所有纵向上即同一分段序号的课堂语音分段及分量语音分段的长度一致，以便后续分析；信号分解后，课堂语音信号及所有分量语音信号的总长度可能并不一致，导致最后一个分段序号的所有语音分段的长度可能不一致，其并不影响本方案的实施；实施者也可对最后一个分段序号的所有分段进行插值或延拓，对齐长度，在此不做限定及赘述。

步骤S2，根据每个分量语音信号中分量语音分段及课堂语音分段的分布特征变化，获取每个分量语音分段的变化贡献度；根据相同序号下的不同分量语音分段间的变化贡献度的差异，结合每个分量语音分段在相同序号下的所有分量语音分段中的贡献率，获取每个分量语音分段的第一滤波权重；根据每个分量语音信号的不同分量语音分段间的时频分布特征，获取每个分量语音分段的第二滤波权重；根据第一滤波权重及第二滤波权重，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪。

不同的语音片段受噪音影响的类型及强度可能不同，即课堂语音信号或每个分量语音信号的不同语音分段中的信号点的分布特征可能并不一致；又考虑到若每个分量语音信号中分量语音分段及课堂语音分段的分布特征变化较为相似的话，则说明对应分量语音分段较好地保留了对应课堂语音分段的信号结构和特征，则该分量语音分段中的受噪干扰程度可能较低。故本发明实施例根据每个分量语音信号中分量语音分段及课堂语音分段的分布特征变化，获取每个分量语音分段的变化贡献度。变化贡献度反映了每个分量语音信号中分量语音分段与课堂语音分段的分布特征变化的相似程度，进而可以评估其受噪干扰情况。

优选地，在本发明的一个实施例中，考虑到信号中的频率分辨率体现出一个信号中频率成分的分布细节特征，可以判断其频率成分是否易于区分，信号点的分布混乱程度也反映了相应的信号分布特征，可结合该两种分布特征构建分布特征参数；又考虑到相邻分量语音分段间分布特征参数的变化量与相邻课堂语音分段间分布特征参数的变化量的比值可以反映分布特征变化的相似程度；基于此，变化贡献度的获取方法包括：

根据每个语音分段的频率分辨率及信号点的分布混乱程度，获取每个语音分段的分布特征参数；

在每个分量语音信号中，将每个分量语音分段与下一相邻分量语音分段间的分布特征参数的差异作为第一参数差异；

在课堂语音信号中，将每个课堂语音分段与下一相邻课堂语音分段间的分布特征参数的差异作为第二参数差异；

在相同序号对应语音分段间，将第一参数差异与第二参数差异的比值作为对应分量语音分段的变化贡献度。

需要说明的是，课堂语音信号及每个分量语音信号的最后一个语音分段无下一相邻语音分段，则不计算其变化贡献度，后续的处理过程中也不对其进行滤波处理；在本发明的其他实施例中，实施者也可令最后一个语音分段的变化贡献度与其相邻前一语音分段的变化贡献度相等，或将课堂语音信号及每个分量语音信号进行延拓，获取最后一个语音分段的下一向量分段，进而获取最后一个语音分段的变化贡献度。

变化贡献度的计算公式为：

；

其中，为分量语音信号的序号；为分量语音分段或课堂语音分段的序号；为第个分量语音信号的第个分量语音分段的变化贡献度；为第个分量语音信号的第个分量语音分段的分布特征参数；为第个分量语音信号的第个分量语音分段的分布特征参数；为课堂语音信号的第个课堂语音分段的分布特征参数；为课堂语音信号的第个课堂语音分段的分布特征参数；为绝对值符号。

变化贡献度的计算公式中，比值越趋近于1，说明相邻分量语音分段间的分布特征变化与相邻课堂语音分段间的分布特征变化越相似，则对应的该分量语音分段的受噪干扰可能性越低。

优选地，在本发明的一个实施例中，考虑到信息熵能够反映语音分段中信号点的分布混乱程度，又考虑到相邻极值点的时间间隔可以反映信号中频率成分的密度分布，时间间隔越大，对于分析频率成分的区分能力越大；基于此，特征参数的获取方法包括：

获取每个语音分段的信息熵；

获取每个语音分段中的极值点；在每个语音分段中，计算相邻极值点间的时间间隔，将所有时间间隔的均值作为语音分段的频率分辨率；

根据每个语音分段的信息熵及频率分辨率，获取每个语音分段的分布特征参数，信息熵及频率分辨率均与分布特征参数正相关。

分布特征参数的计算公式为：

；

其中，为分量语音分段或课堂语音分段的序号，即语音分段的序号；为第个语音分段的分布特征参数；为语音分段中相同幅值类信号点的幅值类别序号；为语音分段中所有相同幅值类信号点的幅值类别总数量；为语音分段中第类幅值类别对应信号点的总数量；为语音分段中信号点的总数量；为对数函数；为语音分段的信息熵；为相邻极值点的组合序号；为相邻极值点的组合总数量，即极值点的总数量减1；为语音分段中第个极值点对应的采集时刻；为语音分段中第个极值点对应的采集时刻；为第个相邻极值点的组合中，第个极值点与第个极值点间的时间间隔；为语音分段的频率分辨率。

需要说明的是，在本发明实施例中，通过乘法将语音分段的信息熵及频率分辨率合并表示正相关关系，在本发明的其他实施例中，实施者也可采用相加、加权求和或指数幂等基础数学运算表示正相关关系，在此不做赘述及限定；极值点的获取方法可以采用拟合信号曲线函数后求导获取，也可采用局部极值检测算法等算法获取，其与信息熵的获取方法均为本领域技术人员熟知的现有技术手段，在此不赘述。

需要说明的是，分布特征参数仅表示语音分段的分布特征，以便分析变化贡献率；分布特征参数值越大，对应信号分布特征越明显。

在本发明的另一个实施例中，实施者也可以获取每个语音分段的信号幅值的方差，并将每个语音分段进行频谱分析，获取其频谱密度；将方差及频谱密度进行正相关合并后，得到对应语音分段的分布特征参数。方差及频谱密度均为本领域技术人员熟知的现有技术，在此不再赘述；在本发明的其他实施例中，实施者还可以获取能表示语音分段的分布特征的其他种类的参数如峰度及功率密度等，进一步获取分布特征参数。

考虑到当一个分量语音分段越重要，则其对于后续分析教师的教学言语行为的重要性越大，对其的滤波降噪必要性越高，以获取准确的语音数据进行分析；又考虑到当一个分量语音分段的分布特征变化，与其他同序号即同时间段内的分量语音分段的分布特征变化均不同，则侧面说明该分量语音分段中受噪声干扰的可能性越大，则其滤波权重也应当越大；故本发明实施例根据相同序号下的不同分量语音分段间的变化贡献度的差异，结合每个分量语音分段的重要性，获取每个分量语音分段的第一滤波权重。

优选地，在本发明的一个实施例中，考虑到当一个分量语音分段剔除后重构，重构后的语音分段相对对应课堂语音分段的变化较大，则说明该分量语音分段的贡献率较高，贡献率越高，说明该分量语音分段的重要性越高；又考虑到当一个分量语音分段的变化贡献度，与其他同序号即同时间段内的分量语音分段的变化贡献度差异均较大，则侧面说明该分量语音分段中受噪声干扰的可能性越大，其越可能为受噪声干扰较为严重的异常分段；基于此，第一滤波权重的获取方法包括：

以任一分量语音分段为目标分段，获取相同序号下除目标分段外的其余所有分量语音分段的重构语音分段，并获取重构语音分段的分布特征参数；将重构语音分段与对应相同序号下的课堂语音分段间的分布特征参数的差异，作为目标分段的重要性参数；

在相同序号下，获取目标分段与其余所有分量语音分段间的变化贡献度的差异的平均值，将平均值作为目标分段的异常参数；

根据每个分量语音分段的重要性参数及异常参数，获取每个分量语音分段的第一滤波权重，重要性参数及异常参数均与第一滤波权重正相关。

第一滤波权重的计算公式为：

；

其中，为第个分量语音信号的第个分量语音分段的第一滤波权重；为第个语音分段的分布特征参数；为第个分段序号下，除第个分量语音信号外的其余所有分量语音分段的重构语音分段的分布特征参数；为绝对值符号；为第个分量语音信号的第个分量语音分段的的重要性参数；为除第个分量语音信号外的其余分量语音信号的序号；为除第个分量语音信号外的其余分量语音信号的总数量，即分量语音信号总数量减1；为第个分量语音信号的第个分量语音分段的变化贡献度；为第个分量语音信号的第个分量语音分段的变化贡献度；为第个分量语音信号的异常参数。

需要说明的是，在本发明的其他实施例中，实施者也可通过计算每个分量语音信号的能量及课堂语音信号的能量评估每个分量语音信号的贡献率，得到每个分量语音分段的重要性参数；也可通过剔除每个分量语音分段后的重构信号分段与及课堂语音分段的均方误差评估每个分量语音信号的贡献率，其均为本领域技术人员熟知的现有技术，在此不做赘述。

第一滤波权重的计算公式中，将每个分量语音分段的重要性参数及异常参数相乘合并，在本发明的其他实施例中，也可采用相加或指数幂等基础数学运算将二者合并，使其均与第一滤波权重正相关，其均为本领域人员熟知的现有技术，在此不赘述。

考虑到当一个分量语音信号中的所有分量语音分段间的频谱特性较为相似，说明分量语音信号具有一定的周期性，各分量语音分段的受干扰程度较为一致，可能难以区分各分量语音分段的受干扰程度；又考虑到当每个分量语音分段在时域及频域上的分布特征差异越大，说明该分量语音分段在不同表现形式下的一致性较差，进一步侧面反映了该分量语音分段可能受噪声干扰影响；故本发明实施例根据每个分量语音信号的不同分量语音分段间的频谱相似情况，及每个分量语音分段的时频分布一致情况，获取每个分量语音分段的第二滤波权重。

优选地，在本发明的一个实施例中，考虑到同一个分量语音信号中，不同分量语音分段对应的频谱信号中相同序号位置信号点的分布概率的差异，侧面反映了对应分量语音分段间的相似度；又考虑到分量语音分段在时域上的信号幅值分布；

基于此，第二滤波权重的获取方法包括：

对每个分量语音分段进行傅里叶变化，获取每个分量语音分段的频域分量语音分段；根据不同频域分量语音分段中相同序号的信号点间的分布概率差异，获取每个分量语音信号的分段相似参数；

将每个分量语音分段中信号点的幅值方差，作为时域幅值方差，根据时域幅值方差对分量语音分段中每个信号点的幅值进行加权求均，得到每个分量语音分段的时域特征参数；将每个频域分量语音分段中信号点的幅值方差，作为频域幅值方差，根据频域幅值方差对频域分量语音分段中每个信号点的幅值进行加权求均，得到每个分量语音分段的频域特征参数；

将每个分量语音分段的时域特征参数与频域特征参数的差异，作为每个分量语音分段的时频分布一致参数；

根据分段相似参数及时频分布一致参数，获取每个分量语音信号的第二滤波权重，分段相似参数及时频分布一致参数均与第二滤波权重正相关。

第二滤波权重的计算公式为：

；

其中，为第个分量语音信号的第个分量语音分段的第二滤波权重；为第个分量语音信号的分段相似参数；为分量语音分段中信号点的序号；为分量语音分段中信号点的总数量；为分量语音分段中第个信号点的幅值；为分量语音分段中所有信号点的幅值方差，即时域幅值方差；为频域分量语音分段中信号点的序号；为频域分量语音分段中信号点的总数量；为频域分量语音分段中第个信号点的幅值；为频域分量语音分段中所有信号点的幅值方差，即频域幅值方差；为绝对值符号；为第个分量语音信号的第个分量语音分段的时域特征参数；为第个分量语音信号的第个分量语音分段的频域特征参数。

第二滤波权重的计算公式中，表示时频分布一致参数；将每个分量语音信号的分段相似参数及每个分量语音信号中每个分量语音分段的时频分布一致参数通过乘法合并，分段相似参数越小，说明分段间的相似度越大，越难以区分各分量语音分段的受干扰程度，则对应的第二滤波权重应当设置较低，再结合每个分量语音分段的时频分布一致参数设置第二滤波权重，以避免过度降噪造成对应分量语音信号的信息损失；当每个分量语音分段的时频分布一致参数较大，说明时频分布差异较大，则该分量语音分段可能受噪声干扰影响较大，对应的第二滤波权重越大。在本发明的其他实施例中，也可采用指数幂等基础数学运算将二者合并，使其均与第二滤波权重正相关，其均为本领域人员熟知的现有技术，在此不赘述。

分段相似参数的计算公式包括：

；

其中，为第个分量语音信号的分段相似参数；为第个分量语音信号中任意两个分量语音分段对应频域分量语音分段的组合序号；为第个分量语音信号重任意两个分量语音分段对应频域分量语音分段的组合总数量；为每个频域分量语音分段中信号点的序号；为每个频域分量语音分段中信号点的总数量；为第个频域分量语音分段中第个信号点的幅值；为第个频域分量语音分段中第个信号点的幅值；为对数函数。

分段相似参数的计算公式中，通过类比相对熵的形式评估不同频域分量语音分段中相同序号的信号点对应分布概率间的差异，差异越小，说明对应两个频域分量语音分段间的频谱特征相似度高，通过对所有频域分量语音分段间的频谱特征相似度求均，可以评估每个分量语音信号的分段相似程度，分段相似程度越高，对应的分段相似参数越小。

考虑到第一滤波权重及第二滤波权重是根据每个分量语音分段的特征分析其所受的不同类型或强度的噪声干扰可能性，从而获得的每个分段对应的滤波权重，进而根据每个分量语音分段的受噪声干扰情况其自适应对每个分量语音分段进行不同程度的滤波。故本发明实施例获取每个分量语音分段的第一滤波权重及第二滤波权重后，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪。

优选地，在本发明的一个实施例中，对所有分量语音信号进行降噪的降噪方法包括：

根据第一滤波权重及第二滤波权重获取每个分量语音分段的滤波分配权重，第一滤波权重及第二滤波权重均与滤波分配权重正相关；

将每个分量语音分段的滤波分配权重与课堂语音信号的噪声强度进行相乘合并，得到每个分量语音分段的滤波强度；

将滤波强度作为滤波器的滤波参数，对所有分量语音信号进行降噪。

在本发明的一个实施例中，滤波分配权重的具体计算公式为：；其中，为第个分量语音信号的第个分量语音分段的滤波分配权重；为第个分量语音信号的第个分量语音分段的第一滤波权重；为第个分量语音信号的第个分量语音分段的第二滤波权重。在本发明的其他实施例中，实施者也可采用相加或加权求和等基础数学运算合并二者，其均为本领域技术人员熟知的现有技术，在此不赘述。

需要说明的是，课堂语音信号的噪声强度的获取及根据滤波强度设置滤波器参数已是本领域技术人员熟知的现有技术；本发明的一个实施例中，课堂语音信号的噪声强度的获取方法具体为：首先获取课堂语音信号的每个分量语音信号的能量，获取相邻阶分量语音信号的能量变化率，并对所有能量变化率求均值；对每个分量语音信号进行傅里叶变换以获取其主要频率，获取相邻阶分量语音信号的主要频率的变化率，并对所有主要频率的变化率求均值；将所有能量变化率的均值与所有主要频率的变化率的均值进行加权求均，其中所有能量变化率的均值对应权重为0.6，所有主要频率的变化率的均值对应权重为0.3，将加权求均值作为噪声强度。在本发明的其他实施例中，实施者可以采用其他噪声强度的估计方法获取课堂语音信号的噪声强度。

在本发明的一个实施例中，滤波器为高斯滤波器，将每个分量语音分段的滤波强度作为高斯滤波器对其进行滤波时需要设置的标准差，将所有分量语音分段进行滤波，然后滤波后的分量语音分段拼接，得到对应分量语音信号。

步骤S3，根据降噪结果进行教学言语行为分析。

在本发明的一个实施例中，将降噪后的所有分量语音信号叠加进行重构，获取高质量的重构课堂语音信号。请参阅图4，其示出了本发明一个实施例提供的一种降噪后的重构课堂语音信号的波形图。获取重构课堂语音信号后，便可对重构课堂语音信号进行言语行为分析；通过分析重构课堂语音信号的音色、音高、语速、情感、语义内容以及沉默时长等评估教师的教学言语行为，言语行为分析已是本领域技术人员熟知的现有技术，在此不做赘述。

综上所述，本发明实施例首先获取课堂语音信号及课堂语音信号的所有分量语音信号；将课堂语音信号及所有分量语音信号进行分段并编号；进一步获取每个分量语音分段的变化贡献度；进一步获取每个分量语音分段的第一滤波权重；进一步获取每个分量语音分段的第二滤波权重；根据第一滤波权重及第二滤波权重，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪，从而进行言语行为分析。本发明通过将课堂语音信号及其所有分量语音信号进行分段分析，评估每个分段所受噪声干扰的影响情况以确定第一滤波权重及第二滤波权重，进而对每个分段进行自适应滤波，以提高课堂语音信号的降噪效果，从而提高教师课堂教学的言语行为分析效果。

本发明还提出一种多模态课堂教师教学言语行为分析系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种多模态课堂教师教学言语行为分析方法的步骤。

一种多模态课堂教师教学言语降噪方法及系统实施例：

教师课堂教学过程中的语音数据中蕴含着丰富的信息，包括语速、语调、情感表达等可用于分析教师言语行为的信息，分析识别教师的语言特征和情感表达，例如教师在授课过程中是否存在情绪波动、语言表达是否生动有趣以吸引学生学习兴趣等，这有助于更深入的理解教师的言语行为，为教学评估和改进提供科学依据。然而在实际教学环境中会存在各种背景干扰，如空调噪声、键盘敲击声、学生说话声等，这些干扰会降低对教师语音数据采集分析的准确性。但是干扰因素分布随机，常规的去除噪声的方法不能很好的区分实际的语音信息和干扰信息。本发明提出一种多模态课堂教师教学言语降噪方法，具体包括：

步骤S1，获取课堂语音信号及课堂语音信号的所有分量语音信号；将课堂语音信号及所有分量语音信号进行分段并编号，得到所有课堂语音分段及分量语音分段，相同序号的课堂语音分段及分量语音分段的长度一致。

步骤S2，根据每个分量语音信号中分量语音分段及课堂语音分段的分布特征变化，获取每个分量语音分段的变化贡献度；根据相同序号下的不同分量语音分段间的变化贡献度的差异，结合每个分量语音分段在相同序号下的所有分量语音分段中的贡献率，获取每个分量语音分段的第一滤波权重；根据每个分量语音信号的不同分量语音分段间的时频分布特征，获取每个分量语音分段的第二滤波权重；根据第一滤波权重及第二滤波权重，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪。

其中，步骤S1至S2在上述一种多模态课堂教师教学言语行为分析方法实施例中已给出详细说明，在此不赘述。

本发明首先获取课堂语音信号及课堂语音信号的所有分量语音信号；将课堂语音信号及所有分量语音信号进行分段并编号；进一步获取每个分量语音分段的变化贡献度；进一步获取每个分量语音分段的第一滤波权重；进一步获取每个分量语音分段的第二滤波权重；根据第一滤波权重及第二滤波权重，结合课堂语音信号的噪声强度，对所有分量语音信号进行降噪。本发明通过将课堂语音信号及其所有分量语音信号进行分段分析，评估每个分段所受噪声干扰的影响情况以确定第一滤波权重及第二滤波权重，进而对每个分段进行自适应滤波，以提高课堂语音信号的降噪效果。

本发明还提出一种多模态课堂教师教学言语降噪系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种多模态课堂教师教学言语降噪方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (9)

1.一种多模态课堂教师教学言语行为分析方法，其特征在于，所述方法包括：

获取课堂语音信号及所述课堂语音信号的所有分量语音信号；将所述课堂语音信号及所有所述分量语音信号进行分段并编号，得到所有课堂语音分段及分量语音分段，相同序号的所述课堂语音分段及所述分量语音分段的长度一致；

根据每个所述分量语音信号中所述分量语音分段及所述课堂语音分段的分布特征变化，获取每个所述分量语音分段的变化贡献度；根据相同序号下的不同所述分量语音分段间的所述变化贡献度的差异，结合每个所述分量语音分段在相同序号下的所有所述分量语音分段中的贡献率，获取每个所述分量语音分段的第一滤波权重；根据每个所述分量语音信号的每个所述分量语音分段的时频分布特征，获取每个所述分量语音分段的第二滤波权重；根据所述第一滤波权重及所述第二滤波权重，结合所述课堂语音信号的噪声强度，对所有所述分量语音信号进行降噪；

根据降噪结果进行教学言语行为分析；

所述变化贡献度的计算公式为：

；

其中，为分量语音信号的序号；为分量语音分段或课堂语音分段的序号；为第个分量语音信号的第个分量语音分段的变化贡献度；为第个分量语音信号的第个分量语音分段的分布特征参数；为第个分量语音信号的第个分量语音分段的分布特征参数；为课堂语音信号的第个课堂语音分段的分布特征参数；为课堂语音信号的第个课堂语音分段的分布特征参数；为绝对值符号。

2.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述分布特征参数的获取方法包括：

获取每个语音分段的信息熵；

获取每个语音分段中的极值点；在每个语音分段中，计算相邻极值点间的时间间隔，将所有所述时间间隔的均值作为语音分段的频率分辨率；

根据每个语音分段的所述信息熵及所述频率分辨率，获取每个语音分段的分布特征参数，所述信息熵及所述频率分辨率均与所述分布特征参数正相关。

3.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述第一滤波权重的获取方法包括：

以任一所述分量语音分段为目标分段，获取相同序号下除所述目标分段外的其余所有所述分量语音分段的重构语音分段，将所述重构语音分段与对应相同序号下的所述课堂语音分段间的所述分布特征参数的差异，作为所述目标分段的重要性参数；

在相同序号下，获取所述目标分段与其余所有所述分量语音分段间的所述变化贡献度的差异的平均值，将平均值作为所述目标分段的异常参数；

根据每个所述分量语音分段的所述重要性参数及所述异常参数，获取每个所述分量语音分段的第一滤波权重，所述重要性参数及所述异常参数均与所述第一滤波权重正相关。

4.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述第二滤波权重的获取方法包括：

对每个所述分量语音分段进行傅里叶变化，获取每个所述分量语音分段的频域分量语音分段；根据不同所述频域分量语音分段中相同序号的信号点间的分布概率差异，获取每个所述分量语音信号的分段相似参数；

将每个所述分量语音分段中信号点的幅值方差，作为时域幅值方差，根据所述时域幅值方差对所述分量语音分段中每个信号点的幅值进行加权求均，得到每个所述分量语音分段的时域特征参数；将每个所述频域分量语音分段中信号点的幅值方差，作为频域幅值方差，根据所述频域幅值方差对所述频域分量语音分段中每个信号点的幅值进行加权求均，得到每个所述分量语音分段的频域特征参数；

将每个所述分量语音分段的所述时域特征参数与所述频域特征参数的差异，作为每个所述分量语音分段的时频分布一致参数；

根据所述分段相似参数及所述时频分布一致参数，获取每个所述分量语音信号的第二滤波权重，所述分段相似参数及所述时频分布一致参数均与所述第二滤波权重正相关。

5.根据权利要求4所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述分段相似参数的计算公式包括：

；其中，为第个分量语音信号的分段相似参数；为第个分量语音信号中任意两个分量语音分段对应频域分量语音分段的组合序号；为第个分量语音信号中任意两个分量语音分段对应频域分量语音分段的组合总数量；为每个频域分量语音分段中信号点的序号；为每个频域分量语音分段中信号点的总数量；为第个频域分量语音分段中第个信号点的幅值；为第个频域分量语音分段中第个信号点的幅值；为对数函数。

6.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，对所有所述分量语音信号进行降噪的降噪方法包括：

根据所述第一滤波权重及所述第二滤波权重获取每个所述分量语音分段的滤波分配权重，所述第一滤波权重及所述第二滤波权重均与所述滤波分配权重正相关；

将每个所述分量语音分段的滤波分配权重与所述课堂语音信号的噪声强度进行相乘合并，得到每个所述分量语音分段的滤波强度；

将所述滤波强度作为滤波器的滤波参数，对所有所述分量语音信号进行降噪。

7.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述分量语音信号的获取方法包括：

对所述课堂语音信号采用EMD算法进行分解，获取所有分量语音信号。

8.根据权利要求1所述的一种多模态课堂教师教学言语行为分析方法，其特征在于，所述课堂语音分段的获取方法包括：

将所述课堂语音信号均分为预设数量个分段，得到所有课堂语音分段。

9.一种多模态课堂教师教学言语行为分析系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任意一项所述一种多模态课堂教师教学言语行为分析方法的步骤。