[go: up one dir, main page]

CN119091900A - 一种回声消除和降噪的方法和装置 - Google Patents

一种回声消除和降噪的方法和装置 Download PDF

Info

Publication number
CN119091900A
CN119091900A CN202411303715.4A CN202411303715A CN119091900A CN 119091900 A CN119091900 A CN 119091900A CN 202411303715 A CN202411303715 A CN 202411303715A CN 119091900 A CN119091900 A CN 119091900A
Authority
CN
China
Prior art keywords
end voice
stage
voice
far
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411303715.4A
Other languages
English (en)
Inventor
刘承伟
薛少飞
梁小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Future Elf Artificial Intelligence Technology Co ltd
Original Assignee
Zhejiang Future Elf Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Future Elf Artificial Intelligence Technology Co ltd filed Critical Zhejiang Future Elf Artificial Intelligence Technology Co ltd
Priority to CN202411303715.4A priority Critical patent/CN119091900A/zh
Publication of CN119091900A publication Critical patent/CN119091900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明实施例公开了一种回声消除和降噪的方法和装置。本发明实施例中，通过获取第一近端语音和第一远端语音，经过预处理、延迟检测以及短时傅里叶变换生成第四近端语音和第四远端语音后进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；将第四近端语音、第四远端语音、线性回声消除的误差信号以及线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；根据联合损失函数生成两阶段神经网络多任务融合模型，然后进行模型压缩生成目标两阶段神经网络多任务融合模型，用于实现回声消除和降噪。通过上述方法，在极低信回比的情况下，实现声学回声消除和降噪，提高终端设备的语音交互和通信性能。

Description

一种回声消除和降噪的方法和装置
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种回声消除和降噪的方法和装置。
背景技术
智能语音技术主要应用于语音通信和交互系统，例如，智能平板、智能音箱、移动会议屏等，上述语音通信和交互系统存在噪声干扰、远端回声残留大、拾音距离远等问题，严重约束了语音通信和识别系统的性能。
现有技术中，提出了两种方案提高语音通信和识别系统的性能，方案一、信号处理和神经网络相结合，具体的，首先在信号处理过程中完成线性回声抑制，然后通过神经网络完成非线性回声抑制、降噪、去混响、自动增益控制等功能。方案二、建立DeepVQE等端到端的多任务学习网络架构，同时完成声学回声消除、噪声抑制、自动增益控制等功能，具有低延迟、可操作性强、链路简单的特点。但是，当信回比达到-30dB以下时，上述两种方案的语音交互和通信性能都较差。
综上所述，如何在极低信回比的情况下，较好的实现声学回声消除和降噪，提高终端设备的语音交互和通信性能，是目前需要解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种回声消除和降噪的方法和装置，采用目标两阶段神经网络多任务融合模型，在极低信回比的情况下，较好的实现声学回声消除和降噪，提高终端设备的语音交互和通信性能。
第一方面，本发明实施例提供了一种回声消除和降噪的方法，所述方法包括：
获取第一近端语音和第一远端语音；
将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
可选的，所述方法还包括：
将所述两阶段神经网络多任务融合模型部署到终端侧。
可选的，所述将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音，具体包括：
将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰和加窗处理，生成所述第二近端语音和第二远端语音。
可选的，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；
根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
可选的，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征；
将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据；
将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号；
将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征；
根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
可选的，所述根据所述第一阶段输出特征确定所述第一阶段训练损失函数，具体包括：
将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；
根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
可选的，所述将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，具体包括：
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行特征提取和特征拼接，获取第二语音特征；
将所述第二语音特征输入到第二编码层、第二瓶颈层和第二解码层，生成第二中间语音数据；
将所述第二中间语音数据和所述第一增强后的近端语音输入到第三复数谱卷积映射层，生成第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积映射层，生成第二增强后的线性回声消除信号；
将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块，生成第二阶段输出特征；
根据所述第二阶段输出特征确定所述第二阶段训练损失函数。
可选的，所述根据所述第二阶段输出特征确定所述第二阶段训练损失函数，具体包括：
将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音；
根据所述第二阶段目标语音与预先获取的干净语音确定所述第二阶段训练损失函数。
可选的，所述根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数，具体包括：
获取所述第一阶段训练损失函数的第一权重，以及所述第一阶段训练损失函数的第二权重；
确定所述第一权重与所述第一阶段训练损失函数的第一乘积，以及所述第二权重与所述第二阶段训练损失函数的第二乘积；
将所述第一乘积和所述第二乘积的和值确定为所述联合损失函数。
可选的，所述将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，具体包括：
将所述两阶段神经网络多任务融合模型进行在线量化，生成Torch模型结构的两阶段神经网络多任务融合模型；
将所述Torch模型结构的两阶段神经网络多任务融合模型经过开放式神经网络转换ONNX，生成ONNX模型结构的两阶段神经网络多任务融合模型；
将所述ONNX模型结构的两阶段神经网络多任务融合模型经过MNN推理引擎，生成所述目标两阶段神经网络多任务融合模型。
第二方面，本发明实施例提供了一种回声消除和降噪的方法，所述方法包括：
获取待处理信号；
将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号，其中，所述目标两阶段神经网络多任务融合模型部署在终端侧用于实现回声消除和降噪。
第三方面，本发明实施例提供了一种回声消除和降噪的装置，所述装置包括：
获取单元，用于获取第一近端语音和第一远端语音；
处理单元，用于将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
检测单元，用于将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
所述处理单元还用于，将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
生成单元，用于将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
确定单元，用于将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
所述生成单元还用于，根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
所述生成单元还用于，将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
可选的，所述装置还包括：
部署单元，用于将所述两阶段神经网络多任务融合模型部署到终端侧。
可选的，所述处理单元具体用于：
将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰和加窗处理，生成所述第二近端语音和第二远端语音。
可选的，所述确定单元具体用于：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；
根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
可选的，所述确定单元具体用于：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征；
将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据；
将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号；
将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征；
根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
可选的，所述确定单元具体用于：
将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；
根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
可选的，所述确定单元具体用于：
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行特征提取和特征拼接，获取第二语音特征；
将所述第二语音特征输入到第二编码层、第二瓶颈层和第二解码层，生成第二中间语音数据；
将所述第二中间语音数据和所述第一增强后的近端语音输入到第三复数谱卷积映射层，生成第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积映射层，生成第二增强后的线性回声消除信号；
将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块，生成第二阶段输出特征；
根据所述第二阶段输出特征确定所述第二阶段训练损失函数。
可选的，所述确定单元具体用于：
将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音；
根据所述第二阶段目标语音与预先获取的干净语音确定所述第二阶段训练损失函数。
可选的，所述确定单元具体用于：
获取所述第一阶段训练损失函数的第一权重，以及所述第一阶段训练损失函数的第二权重；
确定所述第一权重与所述第一阶段训练损失函数的第一乘积，以及所述第二权重与所述第二阶段训练损失函数的第二乘积；
将所述第一乘积和所述第二乘积的和值确定为所述联合损失函数。
可选的，所述生成单元具体用于：
将所述两阶段神经网络多任务融合模型进行在线量化，生成Torch模型结构的两阶段神经网络多任务融合模型；
将所述Torch模型结构的两阶段神经网络多任务融合模型经过开放式神经网络转换ONNX，生成ONNX模型结构的两阶段神经网络多任务融合模型；
将所述ONNX模型结构的两阶段神经网络多任务融合模型经过MNN推理引擎，生成所述目标两阶段神经网络多任务融合模型。
可选的，所述获取单元还用于：获取待处理信号；
所述生成单元还用于：将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号。
第四方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。
本发明实施例中，通过获取第一近端语音和第一远端语音；将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。通过上述方法，生成目标两阶段神经网络多任务融合模型，该目标两阶段神经网络多任务融合模型可以在极低信回比的情况下，实现声学回声消除和降噪，提高终端设备的语音交互和通信性能。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例中一种回声消除和降噪的方法流程图；
图2是本发明实施例中一种数据初步处理的结构示意图；
图3是本发明实施例中一种获取第一阶段训练损失函数的方法流程图；
图4是本发明实施例中一种第一融合模块的结构示意图；
图5是本发明实施例中一种第一阶段的结构示意图；
图6是本发明实施例中一种获取第一阶段训练损失函数的结构示意图；
图7是本发明实施例中一种第二阶段训练损失函数的方法流程图；
图8是本发明实施例中一种第二阶段的结构示意图；
图9是本发明实施例中一种获取第二阶段训练损失函数的结构示意图；
图10是本发明实施例中一种生成所述联合损失函数的结构示意图；
图11是本发明实施例中一种模型压缩的方法流程图；
图12是本发明实施例中再一种回声消除的方法流程图；
图13是本发明实施例中另一种回声消除的方法流程图；
图14是本发明实施例中一种系统结构示意图；
图15是本发明实施例中另一种回声消除和降噪的装置示意图；
图16是本发明实施例中一种电子设备的示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个申请文件中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
随着智能语音产业在声学硬件、应用场景、用户人群、软件功能等方面的升级，全双工通信(即语音通信)和交互系统存在声学环境噪声种类多、复杂多变，大音量播放场景下扬声器非线性失真突出、远端和近端语音之间的延迟波动范围较大，信回比极低，远端交互语音失真明显、混响突出、损坏语音清晰度以及远端回声残留大、拾音距离远等问题，严重约束了语音通信和识别系统的性能。在现有技术中，提出了两种方案提高语音通信和识别系统的性能。
方案一、信号处理和神经网络相结合，具体的，首先在信号处理过程中完成线性回声抑制，然后通过神经网络完成非线性回声抑制、降噪、去混响、自动增益控制等功能；例如，门控卷积频率时间长短期记忆神经网络(Gated Convolutional F-T-LSTM neuralnetwork,GFTNN)、带分割循环神经网络(Band-split Recurrent Neural Network，BSRNN)、以及神经卡尔曼滤波(Neural Kalman filtering，NKF)；其中，所述GFTNN和所述BSRNN还可以称为一种回声消除、噪声抑制和去混响一体化端到端模型。
方案二、建立端到端的多任务学习网络架构，同时完成声学回声消除(AcousticEcho Cancellation，AEC)、噪声抑制(noise suppression，NS)、自动增益控制(AutomaticGain Control，AGC)等功能，具有低延迟、可操作性强、链路简单的特点；例如，深度变分量子特征值求解算法(DEEP Variational Quantum Eigensolver，DEEPVQE)、一种语音信号进行修复和去噪的网络(ARepairing and Denoising Network for Speech SignalImprovement，RadNET)。
但是，在智能音箱、大会议屏、车内语音交互过程当中，经常存在大音量播放音乐、视频以及文字转语音(Text-to-Speech，TTS)等情况，导致信回比达到-30dB以下，此时，两种方案的语音交互性能都较差；并且，上述方案的鲁棒性较差也无法在低算力端侧落地。因此，如何解决全双工在极低信回比的情况下，较好的实现声学回声消除，提高终端设备的语音通信性能、语音识别性能和鲁棒性，且可以在低算力端侧安装部署，是目前需要解决的问题。
本发明实施例中，所述信回比是指从终端侧接收到的近端语音信号的功率与从所述扬声器接收到的回声信号的功率之比，其中，所述回声信号是所述终端侧的对侧用户的声音通过所述终端侧的扬声器进行播放生成的；所述全双工是一种通信方式，数据可以在两个方向上同时传输，即通信双方可以同时发送和接收数据，且这两个方向的传输互不干扰，例如，实时通信(Real-time Communications，RTC)、直播连麦等场景都为全双工通信。
本发明实施例中，为了解决上述问题，提出了一种回声消除和降噪的方法，具体如图1所示，所述方法包括：
步骤S101、获取第一近端语音和第一远端语音。
具体的，所述第一近端语音x(n)和所述第一远端语音r(n)都是训练数据，在获取所述第一近端语音和所述第一远端语音之前，需要构建仿真数据集合，然后在所述仿真数据集合中获取所述第一近端语音和所述第一远端语音。
在一种可能的实现方式中，在构建所述仿真数据集合时，首先进行数据采集，采集的数据可以来自于公共数据集Librispeech、Aishell，AEC-CHALLENGE和实录回声数据，OPENSIL和仿真的100000条房间冲击响应以及DNS-CHALLENGE和实录；其中，所述公共数据集Librispeech、Aishell作为干净语音，所述AEC-CHALLENGE和实录回声数据作为合成数据的远端语音、所述OPENSIL和仿真的100000条房间冲击响应作为传递函数、所述噪声数据来自DNS-CHALLENGE和实录；将所述采集到的数据在信回比范围为[-35,15]和信噪比范围为[-5,15]dB来合成500小时训练数据，其中，所述仿真的房间冲击响应数量、信回比范围、信噪比范围、和训练数据时长都是根据实际情况确定，此处仅为示例性说明。
本发明实施例中，在获取第一近端语音和第一远端语音的同时也获取了干净语音，其中，所述干净语音用于计算待训练的两阶段神经网络多任务融合模型的联合损失函数。
步骤S102、将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音。
具体的，将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰、加窗处理，生成预处理后的第二近端语音和第二远端语音。
步骤S103、将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音。
具体的，通过广义互相关变化算法(例如，GCC-PHAT函数)估计出所述第二近端语音和所述第二远端语音的延迟并实现对齐，生成对齐后的第三近端语音和第三远端语音。
在一种可能的实现方式中，所述延迟检测(Time Delay Estimation,TDE)可以提升后续线性回声消除(Linear acoustic echo cancellation，LAEC)算法的收敛速度和回声消除能力。
本发明实施例中，所述第二近端语音和所述第二远端语音受到采样时钟不同步、网络延迟的非稳定性和音效算法处理等因素的影响，所述第二近端语音和所述第二远端语音在时间维度上没有严格对齐，并具有一定波动性，其中，所述音效算法处理是指杜比音效、环绕声效等。
步骤S104、将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音。
在一种可能的实现方式中，在所述短时傅里叶变换(short-time Fouriertransform，STFT)采用的参数如表1所示，具体如下：
表1
参数 数值
采样率 16000
窗长 32ms(512点)
帧移 8ms(128点)
快速傅里叶变换(FFT)长度 512点
其中，在所述短时傅里叶变换时采用的窗函数为hanning窗。
步骤S105、将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号。
具体的，将所述第四近端语音和所述第四远端语音输入到线性回声消除LACE模块，根据所述LACE模块中的滤波器生成线性回声消除的误差信号以及线性回声信号，其中，所述LACE模块中的滤波器采用频域块卡尔曼滤波器(Frequency Domain Block KalmanFilter，FDBKF)和功率归一化最小均方(Power-Normalized Least Mean Squares，PNLMS)滤波器分别作为主自适应和次级自适应滤波器，当所述FDBKF发散的时候采用所述PNLMS作为所述FDBKF的滤波器，已整体提升回声消除性能。
在一种可能的实现方式中，所述滤波器还可以为分块频域卡尔曼滤波(PartionedBlock Frequeney Domain Kalman Filte，PBFDKF)、分块频域自适应滤波(PartionedBlock Frequeney Domain AdaPtive Filter，PBDAF)、分块频域最小均方(PartitionedFrequency-domain Block least-mean-square，PFBLMS)滤波器或者最小递归二乘自适应滤波器(Recursive Least-Squares，RLS)；在数据仿真过程中，也可以采取上述滤波器动态扩充不同条件下回声消除的效果，增强非线性回声消除对残留回声的抑制，提升两阶段神经网络多任务融合模型的鲁棒性。
本发明实施例中，假设r(n)为远端语音，x(n)为近端语音，远端语音经过未知的回声路径w(n)时，产生回声信号y(n)＝r(n)*w(n)，近端麦克风接收的信号为d(n)＝y(n)+x(n)，近端的线性回声消除模块中的自适应滤波器w^(n)会参考远端语音r(n)估计出线性回声信号y^(n)，并与近端麦克风接收的信号d(n)相减得到误差信号e(n)＝d(n)-y^(n)，其中，所述e(n)应该接近于近端语音x(n)；在不考虑近端语音的情况下，误差信号的值越小说明自适应滤波估计的回声路径就越接近真实的回声路径。
本发明实施例中，上述步骤S101至步骤S105完成了数据的初步处理，具体的结构示意图如图2所示，所述第一近端语音x(n)和第一远端语音r(n)分别进行预处理后，经过延迟检测TDE后，生成第二近端语音和第二远端语音，所述第二近端语音和所述第二远端语音分别进行短时傅里叶变换STFT，生成第三近端语音和第三远端语音，将所述第三近端语音和所述第三远端语音输入到线性回声消除LACE模块，生成线性回声消除的误差信号以及线性回声信号。
步骤S106、将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数。
在一种可能的实现方式中，将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
本发明实施例中，所述待训练的两阶段神经网络多任务融合模型的第一阶段还用于减小所述第四近端语音和所述第四远端语音的不连续失真和幅值变化问题，所述待训练的两阶段神经网络多任务融合模型的第一阶段还可以称为唤醒和自动语音识别(Automatic Speech Recognition，ASR)模型，传统的基于深度学习的降噪模型对语音有损伤，在语音有损伤时无法准确识别出语音内容，而在所述第一阶段只去除80％的噪声，以便于适配所述唤醒和ASR模型，即以便于所述第一阶段准确的识别出语音内容；所述待训练的两阶段神经网络多任务融合模型的第二阶段话用于减小一阶段模型产生的失真问题和过度拟合问题，提升输出语音的音质，进而提高在语音通信时用户听觉感受。
下面通过两个具体实施例，分别对获取第一阶段训练损失函数和第二阶段训练损失函数进行详细说明，具体如下：
具体实施例一、
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，如图3所示，具体包括：
步骤S301、将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征。
具体的，将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行短时傅里叶变换后保留上述四路信号的实虚部，并在通道维度上进行特征拼接，确定所述第一语音特征的特征维度为(B，T，C，F)，其中所述B表示每个批次的大小、所述T表示训练音频的总帧数，所述C表示特征的通道数，例如，所述通道数为8、所述F表示频点数，例如，所述品第单数为257，此处仅为示例性说明，具体根据实际情况确定。
步骤S302、将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据。
在一种可能的实现方式中，所述第一编码层和所述第一解码层的网络结构参照了相位感知语音增强的深层复合卷积反复网络(Deep Complex Convolution RecurrentNetwork for Phase-Aware Speech Enhancement，DCCRN)、双路卷积递归网络(Dual-PathConvolution Recurrent Network，DPCRN)、分组时序卷积循环网络(Grouped TemporalConvolutional Recurrent Network，GTCRN)和DEEPVQE等网络开源结构；其中，所述第一编码层有4个小编码模块构成，每个小编码模块有2卷积(Conv2d)、正则化(Batch Norm)、指数线性单元(exponential linear unit，ELU)单元和分组时间卷积块(grouped temporalconvolution blocks，GT-Conv blocks)构成。
步骤S303、将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号。
具体的，所述第一复数谱卷积映射(Complex convolving mask，CCM)层和所述第二复数谱卷积映射层，所述第一CCM层和所述第二CCM层都是由两个阶段组成，首先，对所述第一CCM层为例进行详细说明，通过将第一解码层的输出特征和输入的第四近端语音进行卷积处理，将卷积输出分成三个权重分量来构建复数掩模，每个分量是复平面中一个120°旋转向量的权重，得到增强后复数域掩模特征的；将所述复数域掩模特征通过多核卷积滤波器分别在时间和频率维度进行计算，生成所述第一增强后的近端语音；其次，对所述第二CCM层为例进行详细说明，通过将第一解码层的输出特征和输入的第四远端语音进行卷积处理，将卷积输出分成三个权重分量来构建复数掩模，每个分量是复平面中一个120°旋转向量的权重，得到增强后复数域掩模特征；将所述复数域掩模特征通过多核卷积滤波器分别在时间和频率维度进行计算，生成所述第一增强后的线性回声消除信号。
在一种可能的实现方式中，所述第一CCM层还可以表示为第一MIC CCM层，所述第二CCM层还可以表示为第一LAEC CCM层。
步骤S304、将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征。
具体的，所述第一MIC CCM层输出的所述第一增强后的近端语音表示为Xmic，所述第一LAEC CCM层输出的所述第一增强后的线性回声消除信号表示为Xlaec，将所述第一增强后的近端语音Xmic与所述第一增强后的线性回声消除信号Xlaec在通道维度上进行融合，生成融合特征Xconcate＝(Xlaec,Xmic)；将所述融合特征Xconcate进行卷积，经过一次卷积模块生成Xfusion＝conv1(Xconcate)，经过二次卷积模块生成w＝sigmoid(conv2(Xconcate))，其中，所述w为权重weight的表示，所述一次卷积和二次卷积的参数相同；所述第一增强后的近端语音经过处理后生成 所述增强后的线性回声消除信号经过处理后生成 对所述YLAEC进行平均池化和最大池化，拼接之后得到所述YLAEC自适权重Mask，进而确定YMIC的自适权重为1-Mask，将 确定为所述第一融合模块输出的第一阶段输出特征，具体的处理过程示意图如图4所示。
步骤S305、根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
具体的，将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
在一种可能的实现方式中，假设，干净语音为s(n)，对应频域信号为S(k,f)；所述第一阶段的目标语音为t(n)，对应频域信号为T(k,f)，所述第一阶段的目标语音为降噪80％的第一近端语音，所述干净语音为完全降噪的第一近端语音，此处仅为示例性说明，所述第一阶段目标语音为对应频域信号为采用常用的语音降噪、分离领域的损失函数均方误差(mean square error，MSE)和尺度不变的信噪比(scale-invariantsource-to-noise ratio，SISNR)，确定所述第一阶段训练损失函数L1，具体如下：
其中，所述α可以设置为0.5。
本发明实施例中，所述第一阶段的结构示意图如图5所示，假设，所述第四近端语音Mic、所述第四远端语音Far end、所述线性回声消除的误差信号Error以及所述线性回声信号Lref，输入到所述待训练的两阶段神经网络多任务融合模型的第一特征提取模块501，然后按顺序输入到第一编码层502、第一瓶颈层503、第一解码层504，生成第一中间语音数据，将所述第一中间语音数据和所述第四近端语音输入到第一CCM层505，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积CCM层506，生成所述第一增强后的线性回声消除信号；将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块507，生成第一阶段输出特征。
其中，所述第一编码层还可以称为第一编码模块、所述第一瓶颈层还可以称为第一瓶颈模块，所述第一解码层还可以称为第一解码模块，所述第一复数谱卷积映射CCM层还可以称为第一复数谱卷积映射CCM模块，所述第二复数谱卷积映射CCM层还可以称为第二复数谱卷积映射CCM模块。
本发明实施例中，确定所述第一阶段训练损失函数的示意图如图6所述，在图5的基础上增加了一个逆短时傅里叶变换ISTFT，具体的，将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音FS SPEECH；根据所述第一阶段目标语音FS SPEECH与预先获取的干净语音Clean Speech确定所述第一阶段训练损失函数FS LOSS。
具体实施例二、
所述将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，如图7所示，具体包括：
步骤S701、将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行特征提取和特征拼接，获取第二语音特征。
具体的，将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行短时傅里叶变换后保留上述四路信号的实虚部，并在通道维度上进行特征拼接，确定所述第一语音特征的特征维度为(B，T，C，F)，其中所述B表示每个批次的大小、所述T表示训练音频的总帧数，所述C表示特征的通道数，例如，所述通道数为8、所述F表示频点数，例如，所述品第单数为257，此处仅为示例性说明，具体根据实际情况确定。
步骤S702、将所述第二语音特征输入到第二编码层、第二瓶颈层和第二解码层，生成第二中间语音数据。
在一种可能的实现方式中，所述第二编码层和所述第二解码层的网络结构参照了相位感知语音增强的深层复合卷积反复网络(Deep Complex Convolution RecurrentNetwork for Phase-Aware Speech Enhancement，DCCRN)、双路卷积递归网络(Dual-PathConvolution Recurrent Network，DPCRN)、分组时序卷积循环网络(Grouped TemporalConvolutional Recurrent Network，GTCRN)和DEEPVQE等网络开源结构；其中，所述第一编码层有4个小编码模块构成，每个小编码模块有2卷积(Conv2d)、正则化(Batch Norm)、指数线性单元(exponential linear unit，ELU)单元和分组时间卷积块(grouped temporalconvolution blocks，GT-Conv blocks)构成。
步骤S703、将所述第二中间语音数据和所述第一增强后的近端语音输入到第三复数谱卷积映射层，生成第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积映射层，生成第二增强后的线性回声消除信号。
具体的，所述第三复数谱卷积映射(Complex convolving mask，CCM)层和所述第四复数谱卷积映射层，所述第三CCM层和所述第四CCM层都是由两个阶段组成，首先，对所述第三CCM层为例进行详细说明，通过将第二解码层的输出特征和所述第一增强后的近端语音进行卷积处理，将卷积输出分成三个权重分量来构建复数掩模，每个分量是复平面中一个120°旋转向量的权重，得到增强后复数域掩模特征的；将所述复数域掩模特征通过多核卷积滤波器分别在时间和频率维度进行计算，生成所述第二增强后的近端语音；其次，对所述第四CCM层为例进行详细说明，通过将第二解码层的输出特征和所述第一增强后的线性回声消除信号进行卷积处理，将卷积输出分成三个权重分量来构建复数掩模，每个分量是复平面中一个120°旋转向量的权重，得到增强后复数域掩模特征；将所述复数域掩模特征通过多核卷积滤波器分别在时间和频率维度进行计算，生成所述第二增强后的线性回声消除信号。
在一种可能的实现方式中，所述第三CCM层还可以表示为第二MIC CCM层，所述第四CCM层还可以表示为第二LAEC CCM层。
步骤S704、将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块，生成第二阶段输出特征。
具体的，所述第二MIC CCM层输出的所述第二增强后的近端语音表示为Xmic，所述第二LAEC CCM层输出的所述第二增强后的线性回声消除信号表示为Xlaec，将所述第二增强后的近端语音Xmic与所述第二增强后的线性回声消除信号Xlaec在通道维度上进行融合，生成融合特征Xconcate＝(Xlaec,Xmic)；将所述融合特征Xconcate进行卷积，经过一次卷积生成Xfusion＝conv1(Xconcate)，经过二次卷积生成w＝sigmoid(conv2(Xconcate))，其中，所述w为权重weight的表示，所述一次卷积和二次卷积的参数相同；所述第二增强后的近端语音经过处理后生成 所述增强后的线性回声消除信号经过处理后生成 对所述YLAEC进行平均池化和最大池化，拼接之后得到所述YLAEC自适权重Mask，进而确定YMIC的自适权重为1-Mask，将 确定为所述第二融合模块输出的第二阶段输出特征，具体的处理过程示意图与所述图4相同，仅输入有所区别，此处不做赘述。
步骤S705、根据所述第二阶段输出特征确定所述第二阶段训练损失函数。
具体的，将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音；根据所述第二阶段目标语音与预先获取的干净语音确定所述第二阶段训练损失函数。
在一种可能的实现方式中，假设，干净语音为s(n)，对应频域信号为S(k,f)，所述第二阶段目标语音为对应频域信号采用常用的语音降噪、分离领域的损失函数均方误差(mean square error，MSE)和尺度不变的信噪比(scale-invariant source-to-noise ratio，SISNR)，确定所述第一阶段训练损失函数L1，具体如下：
其中，所述α可以设置为0.5。
本发明实施例中，所述第二阶段的结构示意图如图8所示，假设，所述第四近端语音Mic、所述线性回声消除的误差信号Error、所述第一增强后的近端语音Mic CCM和所述第一增强后的线性回声消除信号Lace CCM，输入到所述待训练的两阶段神经网络多任务融合模型的第二特征提取模块801，然后按顺序输入到第二编码层802、第二瓶颈层803、第二解码层804，生成第二中间语音数据，将所述第二中间语音数据和所述第一增强后的近端语音输入到第三CCM层805，生成所述第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积CCM层806，生成所述第二增强后的线性回声消除信号；将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块807，生成第二阶段输出特征。
其中，所述第二编码层还可以称为第二编码模块、所述第二瓶颈层还可以称为第二瓶颈模块，所述第二解码层还可以称为第二解码模块，所述第三复数谱卷积映射CCM层还可以称为第三复数谱卷积映射CCM模块，所述第四复数谱卷积映射CCM层还可以称为第四复数谱卷积映射CCM模块。
本发明实施例中，确定所述第二阶段训练损失函数的示意图如图9所述，在图8的基础上增加了一个逆短时傅里叶变换ISTFT，具体的，将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音TS SPEECH；根据所述第二阶段目标语音TS SPEECH与预先获取的干净语音Clean Speech确定所述第二阶段训练损失函数TS LOSS。
本发明实施例中，通过上述具体实施例一和具体实施例二确定出所述第一阶段训练损失函数FS LOSS和所述第二阶段训练损失函数TS LOSS。
步骤S107、根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型。
具体的，获取所述第一阶段训练损失函数的第一权重，以及所述第一阶段训练损失函数的第二权重；确定所述第一权重与所述第一阶段训练损失函数的第一乘积，以及所述第二权重与所述第二阶段训练损失函数的第二乘积；将所述第一乘积和所述第二乘积的和值确定为所述联合损失函数。
在一种可能的实现方式中，假设所述第一权重为0.3，所述第二权重为0.7，所述第一阶段训练损失函数为L1，所述第一阶段训练损失函数为L2，则所述联合损失函数如下：
Lloss＝0.3*L1+0.7*L2
其中，所述第一权重和所述第二权重的数值根据实际情况确定，此处仅为示例性说明。
本发明实施例中，结合所述图6和所述图9，确定出生成所述联合损失函数TOTALLOSS的结构示意图，具体如图10所示。
步骤S108、将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
具体的，所述模型压缩的过程如图11所示，包括：
步骤S1101、将所述两阶段神经网络多任务融合模型进行在线量化，生成Torch模型结构的两阶段神经网络多任务融合模型。
具体的，将所述两阶段神经网络多任务融合模型通过QAT进行在线量化，将权重量化到INT_8或者Float_16，生成Torch模型结构的两阶段神经网络多任务融合模型。
步骤S1102、将所述Torch模型结构的两阶段神经网络多任务融合模型经过开放式神经网络转换ONNX，生成ONNX模型结构的两阶段神经网络多任务融合模型。
步骤S1103、将所述ONNX模型结构的两阶段神经网络多任务融合模型经过MNN推理引擎，生成所述目标两阶段神经网络多任务融合模型。
通过上述实施例，通过两阶段神经网络多任务融合模型的第一阶段进行初步降噪、初步回声消除和去除晚期混响，避免过度降噪引起语音失真，无法准确进行语音识别，然后再通过第二阶段进行去除残留噪声、残留回声和早期混响，获取用于语音通信的语音信号，进而在极低信回比的情况下，实现声学回声消除和降噪，提高终端设备的语音交互和通信性能；并且，所述两阶段神经网络多任务融合模型还具有低延时、弱依赖线性AEC、信噪比提升更大等特点，通过模型压缩、量化等策略，利用MNN框架将模型部署到ARM平台，使所述两阶段神经网络多任务融合模型具备低延迟、低算力占用的特点。
本发明实施例中，在所述步骤S108之后，该方法还包括其它步骤，具体如图12所示，具体如下：
步骤S109、将所述两阶段神经网络多任务融合模型部署到终端侧。
具体的，将所述两阶段神经网络多任务融合模型部署到终端侧的高级精简指令集机器(Advanced RISC Machines，ARM)或者数字信号处理(Digital Signal Processing，DSP)平台上，再通过工程集成将整个语音链路整合在一起，形成一个端到端的语音信号流式处理系统，由于所述目标两阶段神经网络多任务融合模型的参数来较小，因此，可以部署到低算力的终端侧。
本发明实施例中，所述目标两阶段神经网络多任务融合模型部署到所述终端侧，可以实现回声消除、语音降噪、非线性回声抑制、去混响等功能，完成语音信号的处理流程。
在一种可能的实现方式中，在完成步骤S109将所述目标两阶段神经网络多任务融合模型部署到所述终端侧之后，该方法还包括其它步骤，具体如图13所示：
步骤S110、获取待处理信号。
其中，所述待处理信号为语音信号。
步骤S111、将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号。
具体的，通过所述待处理信号输入到所述目标两阶段神经网络多任务融合模型，可以直接将所述待处理信号生成所述目标信号，提高在极低信回比、延迟不稳定、回声传播路径多变的情况下，较好的完成对所述待处理信号的回声消除、语音降噪、去混响，提高终端设备的语音交互性能和鲁棒性。
本发明实施例中，对训练所述目标两阶段神经网络多任务融合模型的系统结构进行简单说明，具体如图14所示，包括：数据采集和仿真数据集合构建模块1401、模型训练模块1402和模型压缩和端侧部署模块1403，此处仅为示例性说明，具体的系统结构根据实际情况构建。
本发明实施例中，提供了一种回声消除和降噪的装置，如图15所示，具体包括：获取单元1501、处理单元1502、检测单元1503、生成单元1504和确定单元1505；
其中，所述获取单元1501，用于获取第一近端语音和第一远端语音；所述处理单元1502，用于将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；所述检测单元1503，用于将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；所述处理单元1502还用于，将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；所述生成单元1504，用于将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；所述确定单元1505，用于将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；所述生成单元1504还用于，根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；所述生成单元1504还用于，将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
进一步地，所述装置还包括：
部署单元，用于将所述两阶段神经网络多任务融合模型部署到终端侧。
进一步地，所述处理单元具体用于：
将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰和加窗处理，生成所述第二近端语音和第二远端语音。
进一步地，所述确定单元具体用于：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；
根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
进一步地，所述确定单元具体用于：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征；
将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据；
将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号；
将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征；
根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
进一步地，所述确定单元具体用于：
将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；
根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
进一步地，所述确定单元具体用于：
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行特征提取和特征拼接，获取第二语音特征；
将所述第二语音特征输入到第二编码层、第二瓶颈层和第二解码层，生成第二中间语音数据；
将所述第二中间语音数据和所述第一增强后的近端语音输入到第三复数谱卷积映射层，生成第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积映射层，生成第二增强后的线性回声消除信号；
将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块，生成第二阶段输出特征；
根据所述第二阶段输出特征确定所述第二阶段训练损失函数。
进一步地，所述确定单元具体用于：
将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音；
根据所述第二阶段目标语音与预先获取的干净语音确定所述第二阶段训练损失函数。
进一步地，所述确定单元具体用于：
获取所述第一阶段训练损失函数的第一权重，以及所述第一阶段训练损失函数的第二权重；
确定所述第一权重与所述第一阶段训练损失函数的第一乘积，以及所述第二权重与所述第二阶段训练损失函数的第二乘积；
将所述第一乘积和所述第二乘积的和值确定为所述联合损失函数。
进一步地，所述生成单元具体用于：
将所述两阶段神经网络多任务融合模型进行在线量化，生成Torch模型结构的两阶段神经网络多任务融合模型；
将所述Torch模型结构的两阶段神经网络多任务融合模型经过开放式神经网络转换ONNX，生成ONNX模型结构的两阶段神经网络多任务融合模型；
将所述ONNX模型结构的两阶段神经网络多任务融合模型经过MNN推理引擎，生成所述目标两阶段神经网络多任务融合模型。
进一步地，所述获取单元还用于：获取待处理信号；
所述生成单元还用于：将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号。
图16是本发明实施例中所述电子设备的结构示意图。如图16所示，其包括通用的计算机硬件结构，其至少包括处理器1601和存储器1602。处理器1601和存储器1602通过总线1603连接。存储器1602适于存储处理器1601可执行的指令或程序。处理器1601可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1601通过执行存储器1602所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1603将上述多个组件连接在一起，同时将上述组件连接到显示控制器1604和显示装置以及输入/输出(I/O)装置1605。输入/输出(I/O)装置1605可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1605通过输入/输出(I/O)控制器1606与系统相连。
其中，存储器1602存储的指令被至少一个处理器1601执行以实现：获取第一近端语音和第一远端语音；将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
具体地，该电子设备包括：一个或多个处理器1601以及存储器1602，图16以一个处理器1601为例。处理器1601、存储器1602可以通过总线或者其他方式连接，图16中以通过总线连接为例。存储器1602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器1601通过运行存储在存储器1602中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述确定回声消除和降噪的方法。
存储器1602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器1602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1602可选包括相对于处理器1601远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器1602中，当被一个或者多个处理器1601执行时，执行上述任意方法实施例中回声消除和降噪的方法。
如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明实施例的各个方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数字信号，所述传播的数字信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
可以使用包括但不限于无线、有线、光纤电缆、RF等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。
用于执行针对本发明实施例各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Smalltalk、C++等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图图例和/或框图描述了本发明实施例的各个方面。将要理解的是，流程图图例和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域技术人员而言，本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本发明实施例公开了A1、一种回声消除和降噪的方法，所述方法包括：
获取第一近端语音和第一远端语音；
将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
A2、根据A1所述的方法，所述方法还包括：
将所述两阶段神经网络多任务融合模型部署到终端侧。
A3、根据A1所述的方法，所述将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音，具体包括：
将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰和加窗处理，生成所述第二近端语音和第二远端语音。
A4、根据A1所述的方法，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；
根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
A5、根据A4所述的方法，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征；
将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据；
将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号；
将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征；
根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
A6、根据A5所述的方法，所述根据所述第一阶段输出特征确定所述第一阶段训练损失函数，具体包括：
将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；
根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
A7、根据A4所述的方法，所述将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，具体包括：
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号进行特征提取和特征拼接，获取第二语音特征；
将所述第二语音特征输入到第二编码层、第二瓶颈层和第二解码层，生成第二中间语音数据；
将所述第二中间语音数据和所述第一增强后的近端语音输入到第三复数谱卷积映射层，生成第二增强后的近端语音，并将所述第二中间语音数据和所述第一增强后的线性回声消除信号输入到第四复数谱卷积映射层，生成第二增强后的线性回声消除信号；
将所述第二增强后的近端语音和所述第二增强后的线性回声消除信号输入到第二融合模块，生成第二阶段输出特征；
根据所述第二阶段输出特征确定所述第二阶段训练损失函数。
A8、根据A7所述的方法，所述根据所述第二阶段输出特征确定所述第二阶段训练损失函数，具体包括：
将所述第二阶段输出特征进行逆短时傅里叶变换，生成第二阶段目标语音；
根据所述第二阶段目标语音与预先获取的干净语音确定所述第二阶段训练损失函数。
A9、根据A4所述的方法，所述根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数，具体包括：
获取所述第一阶段训练损失函数的第一权重，以及所述第一阶段训练损失函数的第二权重；
确定所述第一权重与所述第一阶段训练损失函数的第一乘积，以及所述第二权重与所述第二阶段训练损失函数的第二乘积；
将所述第一乘积和所述第二乘积的和值确定为所述联合损失函数。
A10、根据A1所述的方法，所述将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，具体包括：
将所述两阶段神经网络多任务融合模型进行在线量化，生成Torch模型结构的两阶段神经网络多任务融合模型；
将所述Torch模型结构的两阶段神经网络多任务融合模型经过开放式神经网络转换ONNX，生成ONNX模型结构的两阶段神经网络多任务融合模型；
将所述ONNX模型结构的两阶段神经网络多任务融合模型经过MNN推理引擎，生成所述目标两阶段神经网络多任务融合模型。
本发明实施例公开了B1、一种回声消除和降噪的方法，所述方法还包括：
获取待处理信号；
将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号，其中，所述目标两阶段神经网络多任务融合模型部署在终端侧用于实现回声消除和降噪。
本发明实施例公开了C1、一种回声消除和降噪的装置，所述装置包括：
获取单元，用于获取第一近端语音和第一远端语音；
处理单元，用于将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
检测单元，用于将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
所述处理单元还用于，将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
生成单元，用于将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
确定单元，用于将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
所述生成单元还用于，根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
所述生成单元还用于，将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
本发明实施例公开了D1、一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如A1-A10、B1中任一项所述的方法。
本发明实施例公开了E1、一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现A1-A10、B1中任一项所述的方法。

Claims (10)

1.一种回声消除和降噪的方法，其特征在于，所述方法包括：
获取第一近端语音和第一远端语音；
将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述两阶段神经网络多任务融合模型部署到终端侧。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音，具体包括：
将所述第一近端语音和所述第一远端语音进行预加重、去除工频干扰和加窗处理，生成所述第二近端语音和第二远端语音。
4.根据权利要求1所述的方法，其特征在于，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，并生成第一增强后的近端语音和第一增强后的线性回声消除信号，其中，所述两阶段神经网络多任务融合模型的第一阶段用于初步降噪、初步回声消除和去除晚期混响；
将所述第四近端语音、所述线性回声消除的误差信号、所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到待训练的两阶段神经网络多任务融合模型的第二阶段，生成第二阶段训练损失函数，其中，所述两阶段神经网络多任务融合模型的第二阶段用于去除残留噪声、残留回声和早期混响；
根据所述第一阶段训练损失函数和所述第二阶段训练损失函数确定联合损失函数。
5.根据权利要求4所述的方法，其特征在于，所述将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到所述待训练的两阶段神经网络多任务融合模型的第一阶段，生成第一阶段训练损失函数，具体包括：
将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号进行特征提取和特征拼接，获取第一语音特征；
将所述第一语音特征输入到第一编码层、第一瓶颈层和第一解码层，生成第一中间语音数据；
将所述第一中间语音数据和所述第四近端语音输入到第一复数谱卷积映射层，生成所述第一增强后的近端语音，并将所述第一中间语音数据和所述第四远端语音输入到第二复数谱卷积映射层，生成所述第一增强后的线性回声消除信号；
将所述第一增强后的近端语音和所述第一增强后的线性回声消除信号输入到第一融合模块，生成第一阶段输出特征；
根据所述第一阶段输出特征确定所述第一阶段训练损失函数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一阶段输出特征确定所述第一阶段训练损失函数，具体包括：
将所述第一阶段输出特征进行逆短时傅里叶变换，生成第一阶段目标语音；
根据所述第一阶段目标语音与预先获取的干净语音确定所述第一阶段训练损失函数。
7.一种回声消除和降噪的方法，其特征在于，所述方法还包括：
获取待处理信号；
将所述待处理信号输入到目标两阶段神经网络多任务融合模型，生成目标信号，其中，所述目标两阶段神经网络多任务融合模型部署在终端侧用于实现回声消除和降噪。
8.一种回声消除和降噪的装置，其特征在于，所述装置包括：
获取单元，用于获取第一近端语音和第一远端语音；
处理单元，用于将所述第一近端语音和所述第一远端语音进行预处理，生成预处理后的第二近端语音和第二远端语音；
检测单元，用于将所述第二近端语音和所述第二远端语音进行延迟检测，生成对齐后的第三近端语音和第三远端语音；
所述处理单元还用于，将所述第三近端语音和第三远端语音分别进行短时傅里叶变换生成第四近端语音和第四远端语音；
生成单元，用于将所述第四近端语音和所述第四远端语音进行线性回声消除，生成线性回声消除的误差信号以及线性回声信号；
确定单元，用于将所述第四近端语音、所述第四远端语音、所述线性回声消除的误差信号以及所述线性回声信号输入到待训练的两阶段神经网络多任务融合模型，确定联合损失函数；
所述生成单元还用于，根据所述联合损失函数调节所述待训练的两阶段神经网络多任务融合模型，生成两阶段神经网络多任务融合模型；
所述生成单元还用于，将所述两阶段神经网络多任务融合模型进行模型压缩，生成目标两阶段神经网络多任务融合模型，其中，所述两阶段神经网络多任务融合模型用于实现回声消除和降噪。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储
介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202411303715.4A 2024-09-18 2024-09-18 一种回声消除和降噪的方法和装置 Pending CN119091900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411303715.4A CN119091900A (zh) 2024-09-18 2024-09-18 一种回声消除和降噪的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411303715.4A CN119091900A (zh) 2024-09-18 2024-09-18 一种回声消除和降噪的方法和装置

Publications (1)

Publication Number Publication Date
CN119091900A true CN119091900A (zh) 2024-12-06

Family

ID=93695110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411303715.4A Pending CN119091900A (zh) 2024-09-18 2024-09-18 一种回声消除和降噪的方法和装置

Country Status (1)

Country Link
CN (1) CN119091900A (zh)

Similar Documents

Publication Publication Date Title
CN110619885B (zh) 基于深度完全卷积神经网络的生成对抗网络语音增强方法
US10403299B2 (en) Multi-channel speech signal enhancement for robust voice trigger detection and automatic speech recognition
CN110379412B (zh) 语音处理的方法、装置、电子设备及计算机可读存储介质
CN111292759B (zh) 一种基于神经网络的立体声回声消除方法及系统
CN112863535B (zh) 一种残余回声及噪声消除方法及装置
CN113241085B (zh) 回声消除方法、装置、设备及可读存储介质
CN111031448B (zh) 回声消除方法、装置、电子设备和存储介质
KR102316712B1 (ko) 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치
CN111768796A (zh) 一种声学回波消除与去混响方法及装置
KR102316626B1 (ko) 병렬 구조의 심화신경망을 이용한 잡음 및 에코 신호 통합 제거 방법 및 장치
CN112037809A (zh) 基于多特征流结构深度神经网络的残留回声抑制方法
CN111710344A (zh) 一种信号处理方法、装置、设备及计算机可读存储介质
CN113870874A (zh) 基于自注意力变换网络的多特征融合回声消除方法及系统
CN105070296A (zh) 一种活性因子集员成比例子带自适应回声消除方法
CN114333912B (zh) 语音激活检测方法、装置、电子设备和存储介质
CN113838471A (zh) 基于神经网络的降噪方法、系统、电子设备及存储介质
CN113299306B (zh) 回声消除方法、装置、电子设备及计算机可读存储介质
CN115132215A (zh) 一种单通道语音增强方法
CN111755020B (zh) 一种立体声回声消除方法
CN118645113B (zh) 一种语音信号处理方法、装置、设备、介质及产品
CN113299308A (zh) 一种语音增强方法、装置、电子设备及存储介质
CN114792524A (zh) 音频数据处理方法、装置、程序产品、计算机设备和介质
CN118899005B (zh) 一种音频信号处理方法、装置、计算机设备及存储介质
CN119091900A (zh) 一种回声消除和降噪的方法和装置
KR102374167B1 (ko) 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination