[go: up one dir, main page]

CN117912438A - 具有啸叫抑制功能的音频编解码装置、方法和系统 - Google Patents

具有啸叫抑制功能的音频编解码装置、方法和系统 Download PDF

Info

Publication number
CN117912438A
CN117912438A CN202410058962.6A CN202410058962A CN117912438A CN 117912438 A CN117912438 A CN 117912438A CN 202410058962 A CN202410058962 A CN 202410058962A CN 117912438 A CN117912438 A CN 117912438A
Authority
CN
China
Prior art keywords
signal
audio
frequency
howling suppression
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410058962.6A
Other languages
English (en)
Inventor
杜亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoxin Microelectronics Technology Shanghai Co ltd
Original Assignee
Yaoxin Microelectronics Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoxin Microelectronics Technology Shanghai Co ltd filed Critical Yaoxin Microelectronics Technology Shanghai Co ltd
Priority to CN202410058962.6A priority Critical patent/CN117912438A/zh
Publication of CN117912438A publication Critical patent/CN117912438A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018—Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供具有啸叫抑制功能的音频编解码装置、方法和系统，通过将啸叫抑制功能设置于音频编解码器内部，并在音频编解码器的上行通路设置频谱搬移单元和自动频率控制单元，同时在音频编解码器的下行通路设置动态压缩及限幅单元，在上述单元的协同作用降低了啸叫抑制的延迟时间，在保持音质的同时，可灵活地应对各种不同的声学环境和反馈类型。此外，可以通过算法对输入的近端音频信号进行对应的啸叫抑制操作，以适应啸叫抑制场景的动态变化，同时还可以保持音质和音量的一致性，避免对原音频的音质造成损失。

Description

具有啸叫抑制功能的音频编解码装置、方法和系统
技术领域
本申请涉及音频编解码器领域，特别是涉及一种具有啸叫抑制功能的音频编解码装置、方法和系统。
背景技术
音频编解码器广泛应用于各种音频处理场景中。这些硬件设备的主要功能是将模拟音频信号转换为数字格式，以及将数字音频信号转换回模拟格式。音频编解码器的这种能力使其成为音乐制作、广播电台、电话通信和电影后期制作等多个行业的关键组成部分。然后现有的音频编解码器的尚无法解决扩音系统的技术挑战，如啸叫抑制。啸叫抑制是一种重要的音频处理技术，用于减少或消除音频系统中因反馈循环而产生的不期望的尖锐、高音量噪音。这种现象通常在麦克风捕捉到扬声器输出的声音并再次放大时发生，形成一个自增强的反馈循环。啸叫不仅令人不快，还可能损害音频设备，影响语音通信的清晰度。有效的啸叫抑制技术不仅提高了音频质量，保护了音频设备，还改善了听众的体验。
目前，常见的啸叫抑制方法包括使用定向麦克风、调整音频设备的布局、手动调节音量和频率等。技术方面的方法则包括数字信号处理中的频率搬移、动态范围压缩、以及自适应反馈消除(AFC)。这些方法旨在识别并减少或消除可能导致啸叫的频率组件。然而现有技术无法适应不断变化的声学环境，尤其是在复杂或非标准的音频设置中。手动调节需要专业知识，而且不适用于动态场景。现有的数字处理技术所采用的单一的频率搬移或动态范围压缩，往往不能全面解决问题，可能导致音质下降或无法适应环境变化。其主要体现在延迟时间高、啸叫抑制效果不佳以及对原音频的音质噪声损失的问题。
首先，传统的啸叫抑制方法通常在较低的采样率下进行处理，导致相对较高的时延。这在实时音频应用中尤为突出，如在实时通信或现场表演中，高时延会显著影响音频质量和用户体验。其次，许多现有方法只采用了单一技术，如简单的频率搬移或动态范围压缩，这些方法往往无法全面应对复杂的音频环境和多变的反馈情况，限制了抑制效果的最大化。最后，在尝试减少啸叫时，一些方法可能会过度压缩动态范围或过滤掉关键频率成分，导致音质下降，特别是在音乐表演或高质量音频传输中。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供具有啸叫抑制功能的音频编解码装置、方法和系统，用于解决现有的啸声抑制技术中存在的延迟时间高、啸叫抑制效果不佳以及对原音频的音质造成损失的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种具有啸叫抑制功能的音频编解码装置，包括：模数转换单元，与频谱搬移单元电性连接；所述模数转换单元用于收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号，并将所述近端音频数字信号输出至所述频谱搬移单元；频谱搬移单元，与自动频率控制单元电性连接；所述频谱搬移单元包括一个输入端和一个输出端，输入端用于输入近端音频数字信号，输出端用于将频谱搬移单元得到的频移信号输出至自动频率控制单元；所述频谱搬移单元用于对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号；自动频率控制单元，与控制接口和音频接口电性连接；所述自动频率控制单元包括两个输入端和一个输出端，两个输入端分别输入频谱搬移单元发送的频移信号和控制接口发送的控制信息，输出端用于将自动频率控制单元得到的反馈抑制信号输出至音频接口；所述自动频率控制单元用于对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号；动态压缩及限幅单元：与所述音频接口电性相连；所述动态压缩及限幅单元包括一个输入端和一个输出端，输入端用于从所述音频接口输入远端音频数字信号，输出端用于将经压缩限幅操作得到的啸叫抑制信号输出至数模转换单元；所述动态压缩及限幅单元对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
于本申请的第一方面的一些实施例中，所述频谱搬移单元执行频谱搬移操作的过程包括：接收由所述模数转换单元发送的包含有一个或多个通道的近端音频数字信号；基于预设的频谱搬移函数，对所述近端音频数字信号中的每个通道依次执行频谱搬移操作，以生成频移信号。
于本申请的第一方面的一些实施例中，所述自动频率控制单元包括自适应滤波器，所述自动频率控制单元通过所述自适应滤波器执行自动频率控制操作的过程包括：接收由所述频谱搬移单元发送的所述频移信号；接收由所述控制接口发送的包含有步长参数的所述控制信息；基于所述自适应滤波器的滤波器参数，对所述频移信号执行滤波操作以生成反馈抑制信号；基于预设的无反馈信号，计算所述反馈抑制信号的误差信号；基于所述误差信号、所述频移信号和所述步长参数，对所述滤波器参数进行更新。
于本申请的第一方面的一些实施例中，所述动态压缩及限幅单元包括：频域分解模块：用于将接收到的远端音频数字信号按预设频段执行频域分解操作，以生成多个频段的频段信号，并将多个频段的频段信号发送至动态压缩模块；动态压缩模块：用于接收动态压缩模块发送的包含有多个频段的频段信号，对所述频段信号执行动态压缩操作，以生成压缩频段信号并将其发送至限幅处理模块；限幅处理模块：用于接收动态压缩模块发送的所述压缩频段信号，对所述压缩频段信号执行限幅操作，以生成限幅频段信号并将其发送至重组和逆变换模块；重组和逆变换模块：用于接收限幅处理模块发送的限幅频段信号，对所述限幅频段信号执行重组操作和逆变换操作，以生成啸叫抑制信号并将其发送至所述数模转换单元。
于本申请的第一方面的一些实施例中，所述频域分解模块执行频域分解操作的过程包括：接收自动频率控制单元发送的远端音频数字信号；通过快速傅里叶变换将所述远端音频数字信号从时域转换至频域；对频域的远端音频数字信号在多个预设频段进行频谱分解，以生成包含有多个频段的频段信号。
于本申请的第一方面的一些实施例中，所述动态压缩模块执行动态压缩操作的过程包括：接收动态压缩模块发送的包含有多个频段的频段信号：从包含有多个频段的频段信号中提取出各个频段信号的动态能量范围并进行判断；若所述动态能量范围小于等于动态压缩阈值，则不执行动态压缩操作并将所述频段信号作为所述限幅频段信号直接发送至所述限幅处理模块；否则，根据所述动态压缩阈值和预设的压缩比例对包含有多个频段的频段信号分别执行正向压缩操作和反向压缩操作，以生成所述限幅频段信号并发送至所述限幅处理模块。
于本申请的第一方面的一些实施例中，所述重组和逆变换模块执行重组操作和逆变换操作的过程包括：接收动态压缩模块发送的包含有多个频段并对其进行信号重组操作，并对信号重组后的信号通过逆傅里叶变换从频域转换至时域，以生成经过啸叫抑制处理的啸叫抑制信号。
于本申请的第一方面的一些实施例中，数模转换单元用于接收数据接口发送的远端音频数字信号，对远端音频数字信号执行数据缓存操作、数据匹配操作、混音操作以及数模转换操作。
为实现上述目的及其他相关目的，本申请的第二方面提供一种具有啸叫抑制功能的音频编解码方法，应用于音频编解码器，所述音频编解码器包括音频接口和控制接口，所述音频编解码器执行啸叫抑制的过程包括：接收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号；对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号；接收控制接口发送的控制信息，并基于所述控制信息对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号并发送至音频接口；接收远端音频数字信号，并对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
为实现上述目的及其他相关目的，本申请的第三方面提供一种具有啸叫抑制功能的音频编解码系统，包括：主处理器以及上述具有啸叫抑制功能的音频编解码装置。
如上所述，本申请的音频编解码器领域的一种具有啸叫抑制功能的音频编解码装置、方法和系统，具有以下有益效果：将啸叫抑制方法内置于音频编解码器内部提升了运行自动频率算法的采样率，并且通过对频域信号进行处理增加了算法的精度，同时还显著降低了啸叫抑制的延迟，从而提更加流畅的音频体验。在增加了自适应反馈消除、频率搬移、动态范围压缩及限幅操作后，能够在保持音质的同时还有效地解决啸叫问题。且各个模块中的智能算法能够根据音频环境对参数进行自适应的调整，使得无论在静态场景或动态场景中都能够稳定的对啸叫现象进行抑制。
附图说明
图1显示了本申请具有啸叫抑制功能的音频编解码装置一实施例中外部连接的结构示意图。
图2显示了本申请具有啸叫抑制功能的音频编解码装置一实施例中内部连接的结构示意图。
图3显示了本申请具有啸叫抑制功能的音频编解码装置一实施例中模数转换单元的结构示意图。
图4显示了本申请具有啸叫抑制功能的音频编解码装置一实施例中动态压缩及限幅单元的结构示意图。
图5显示了本申请具有啸叫抑制功能的音频编解码装置一实施例中数模转换单元的结构示意图。
图6显示了本申请具有啸叫抑制功能的音频编解码方法一实施例中的流程示意图。
图7显示了本申请具有啸叫抑制功能的音频编解码系统一实施例的内部交互的流程示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述背景技术中的问题，本发明提供一种具有啸叫抑制功能的音频编解码装置、方法和系统，旨在解决现有的啸声抑制技术中存在的延迟时间高、啸叫抑制效果不佳以及对原音频的音质造成损失的问题。与此同时，为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
在对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
<1>啸叫抑制：用于减少或消除音频系统中的啸叫声或回声的技术。
<2>音频编解码器：用于将模拟音频信号转换为数字信号(编码)，或将数字信号转换为模拟音频信号(解码)的设备。
<3>频谱搬移：用于改变信号的频谱特性的技术，通常用于信号压缩、频率转换或调制解调等应用。
<4>自动频率控制：用于自动调整设备或系统的频率的控制系统，以确保其在特定条件下能够保持稳定的工作状态。
本发明实施例提供具有啸叫抑制功能的音频编解码装置、具有啸叫抑制功能的音频编解码方法以及其所应用的具有啸叫抑制功能的音频编解码系统。就具有啸叫抑制功能的音频编解码装置的结构而言，本发明实施例将对具有啸叫抑制功能的音频编解码装置的示例性实施场景进行说明。
如图1所示，展示了本发明实施例中的一种具有啸叫抑制功能的音频编解码装置外部的连接结构示意图。需要说明的是本发明所涉及的具有啸叫抑制功能的音频编解码装置设置于图1所示的音频编解码器的内部，音频编解码器通过控制接口和数据接口与主处理器相连。音频编解码器还输入近端音频信号并输出远端音频信号。
在本发明一实施例中，音频编解码器用于对音频数据进行编码/解码的器件，通过将音频数据压以一种格式转换成另一种格式的方式，以降低数据计算、传输和存储成本。其基本结构包括上行通路、下行通路以及控制接口，第一部分是上行(录音)通路，包括模数转换单元，数据格式转换单元，数据缓存单元，数据接口；第二部分是下行(播放)通路，包括数据缓存单元，数据格式转换单元，混音单元(多个音频流)，数模转换单元。本实施例中还设置有啸叫抑制控制单元。其中包括位于上行通路的自动频率控制(Automatic FrequencyControl，AFC)单元和频谱搬移单元，以及位于下行通路的动态压缩及限幅单元。
在本发明一实施例中，包括但不限于SOC(System On Chip)处理芯片，用于负责设备的主控功能，接收并处理音频编解码上行的音频数据，以及将音频数据传输给音频编解码器下行通道，并进行进一步处理。同时，主处理器对音频编解码器反馈的数据进行分析，并根据分析结果通过控制接口对音频编解码器中的AFC模块下发参数配置，以控制音频编解码器中的啸叫抑制过程。
进一步地，控制接口为主处理器给音频编解码器下发命令的通道，其所采用的接口协议包括但不限于I2C协议、Soundwire协议、Slimbus协议、HDA协议等接口协议。通过控制接口，可实现对音频编解码器的啸叫抑制过程进行控制。
在本发明一实施例中，音频接口(数据接口)数据接口是主处理器和音频编解码器之间音频数据交互的通道，具体地，音频编解码器将原始音频流通过音频接口发送至主处理器，同时通过音频接口接收主处理器发送远端音频信号或者本地音乐信号。音频接口所采用的协议包括但不限于I2S/PCM/TDM协议、Soundwire协议、Slimbus协议、HDA协议等接口协议。
在本发明一实施例中，音频输入为音频编解码器从外部空间获取音频流的音频采集器件，其所采用的音频采集器件包括但不限于数字麦克风、模拟麦克风、传感器，或者其他形式的声电转换器件。针对本发明而言，音频输入可以是单通道信号也可以是多通道信号。模块将完成将声信号转换成电信号的功能。其输入是声波信号，输出为电压信号。
在本发明一实施例中，音频输出，是音频编解码器将音频流输出给外部的声音播放器件，其中声音播放器件包括但不限于听筒、喇叭或者耳机中一种或多种的结合。所采集到的近端音频信号为单通道信号或多通道信号，以实现将电信号转换成声信号的功能。其输入为电压信号，输出为声波信号。
上文对本发明实施例所提供的具有啸叫抑制功能的音频编解码装置的外部连接结构进行了解释说明，下文中将对具有啸叫抑制功能的音频编解码装置的内部结构进行详细阐述。
在本发明一实施例中，具有啸叫抑制功能的音频编解码装置，包括：模数转换单元，与频谱搬移单元电性连接；所述模数转换单元用于收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号，并将所述近端音频数字信号输出至所述频谱搬移单元；频谱搬移单元，与自动频率控制单元电性连接；所述频谱搬移单元包括一个输入端和一个输出端，输入端用于输入近端音频数字信号，输出端用于将频谱搬移单元得到的频移信号输出至自动频率控制单元；所述频谱搬移单元用于对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号；自动频率控制单元，与控制接口和音频接口电性连接；所述自动频率控制单元包括两个输入端和一个输出端，两个输入端分别输入频谱搬移单元发送的频移信号和控制接口发送的控制信息，输出端用于将自动频率控制单元得到的反馈抑制信号输出至音频接口；所述自动频率控制单元用于对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号；动态压缩及限幅单元：与所述音频接口电性相连；所述动态压缩及限幅单元包括一个输入端和一个输出端，输入端用于从所述音频接口输入远端音频数字信号，输出端用于将经压缩限幅操作得到的啸叫抑制信号输出至数模转换单元；所述动态压缩及限幅单元对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
图2展示了本发明一实施例中音视频编解码器的内部的结构示意图。如图2所示，具有啸叫抑制功能的音频编解码装置包括音频信号的输入及处理部分和音频信号的输出部分，其中输入及处理部分包括如下结构：模数转换单元、频谱搬移单元、自动频率控制(Automatic Frequency Control，AFC)单元。其中输出部分包括如下结构：动态压缩及限幅单元以及数模转换单元。
如图3所示，展示了本发明一实施例中模数转换单元的结构示意图。所述模数转换单元用于将外部的音频输入信号转化为符合当前系统处理需求的数字信号。其包含有模数转换模块、以及数据缓存模块的三个子模块。该单元的输入信号为音频输入信号(模拟音频信号)，输出为符合当前系统处理需求的数字信号。其输入信号为单通道信号或多通道信号，所输出信号的通道数与输入信号一致。
在本发明一实施例中，上述模数转换模块，将音频输入采集进来的模拟音频流，经过采样、量化，转换成数字音频流，以便后续处理均基于数字离散信号。模数转换模块中包括采样过程及量化过程。其中，采样过程如公式1所示，量化过程如公式2所示。
x(n)＝x(nT),-∞<n<∞ (公式1)
xq(n)＝Q[x(n)] (公式2)
如公式1所示将输入模拟连续信号x(t)按采样周期T进行离散时间采样，输出x(n)；随后如公式2所示将采样过程的输出x(n)经量化函数Q将幅度进行离散，输出xq(n)。经过上述两个过程，实现将模拟连续信号，转换成输出的数字离散信号。该模块的输入为多通道音频输入信号(模拟音频信号)，输出为数字信号的模数中间信号，随后将输出的数字信号的模数中间信号发送至数据匹配模块。
在本发明一实施例中，数据匹配模块在接收到模数中间信号后执行采样率匹配操作和信号位宽匹配操作。公式3和公式4展示了数据匹配模块对模数中间信号执行滤波和采样率变换的过程。其中，x(n)为模数转换模块的输出，M为降采样变化因子，I为升采样变化因子，h(k)是单位冲击响应函数，输出yd(n)或yu(n)。
公式5展示了对输出的yd(n)或yu(n)执行信号位宽匹配操作的过程，根据移位位宽B的正负性，执行左移放大的位宽匹配或右移缩小的位宽匹配，并将进行位宽匹配操作后的信号ym发送至数据缓存模块。
在本发明一实施例中，数据缓存模块用于在音频接口缓存一定量的数据，从而避免因为接口两侧系统时钟设计缺陷引入的抖动，而导致音频数据被重复采样或者丢失。该模块的输入是数字信号，没有输出数据流。
上文中结合图3对具有啸叫抑制功能的音频编解码装置中的模数转换单元进行了详细说明。下文中将对频谱搬移单元和自动频率控制(Automatic Frequency Control，AFC)单元进行说明。
在本发明一实施例中，所述频谱搬移单元执行频谱搬移操作的过程包括：接收由所述模数转换单元发送的包含有一个或多个通道的近端音频数字信号；基于预设的频谱搬移函数，对所述近端音频数字信号中的每个通道依次执行频谱搬移操作，以生成频移信号。
在本发明一实施例中，上述频谱搬移单元用于预防和减少扩音系统中的啸叫问题。啸叫问题的产生是由于音频系统中出现的高频回声或共振，而在音频系统中由于反馈循环产生的高强度噪音，特别地当麦克风捕捉到扬声器的输出并重新放大时也会产生啸叫现象。通过轻微改变音频信号的频率来打破音频反馈循环打破可能导致啸叫的反馈循环。频谱搬移单元的优势在于能够在不显著影响音质的情况下有效地减少啸叫现象的产生。
进一步地，当频谱搬移单元原始输入信号为xo(n)，其中n表示离散时间索引时。公式6展示了频谱搬移单元对信号施加一个恒定的频率偏移以实现频谱搬移操作的过程。
x(n)＝xo(n)·ejΔωn (公式6)
其中，x(n)为经过频谱搬移后的频移信号，ejΔωn为复指数函数，Δω为频率偏移量，j为虚数单位。频谱搬移单元的输入为数字信号，输出为移频信号。输入输出为单通道或多通道，当输入信号包含有多个通道时，对于输入信号中的每个通道均执行上述频谱搬移操作。
在本发明一实施例中，所述自动频率控制单元包括自适应滤波器，所述自动频率控制单元通过所述自适应滤波器执行自动频率控制操作的过程包括：接收由所述频谱搬移单元发送的所述频移信号；接收由所述控制接口发送的包含有步长参数的所述控制信息；基于所述自适应滤波器的滤波器参数，对所述频移信号执行滤波操作以生成反馈抑制信号；基于预设的无反馈信号，计算所述反馈抑制信号的误差信号；基于所述误差信号、所述频移信号和所述步长参数，对所述滤波器参数进行更新。
在本发明一实施例中，上述自动频率控制(Automatic Frequency Control，AFC)单元用于对输入的频移信号进行实时监测和音频信号分析，以识别和消除可能产生啸叫的反馈循环。AFC单元通过构建模拟音频环境的数学模型，自动地学习和适应音频环境中的变换，不断对数学模型进行调整，并产生啸叫处理策略，从而减少或消除所产生的啸叫。
具体地，自动频率控制(Automatic Frequency Control，AFC)单元进行频率控制的过程包括：当AFC单元输入的频移信号为x(n)时，当采用脉冲响应系数为w(n)的滤波器对频移信号进行反馈循环消除的过程如公式7所示，其中M为滤波器的长度。
AFC单元中滤波器的误差信号的计算过程如公式8所示。d(n)为无反馈信号，其中当输出的信号与输入的频移信号相等时，/>即为无反馈信号d(n)。
基于AFC单元中滤波器的误差信号对脉冲响应系数采用最小均方(LMS)算法进行更新的过程如公式9所示。
w(n+1)＝w(n)+μ·e(n)·x(n) (公式9)
其中，x(n)中包含有当前和过去的M-1个输入样本的向量，μ为用于更新对脉冲响应系数的更新步长参数。
在本实施例中，AFC单元的输入是移频信号。输出是反馈抑制信号。其输入信号以及输出信号可为单通道信号或多通道信号，当输入的信号为多通道信号时，依次对每个通道的信号分别执行上述的自动频率控制操作。
上文通过多个实施例对具有啸叫抑制功能的音频编解码装置的上行通路部分进行了解释说明，其中针对模数转换单元、频谱搬移单元、自动频率控制单元的连接结构及工作原理进行了详细描述。下文将结合实施例对具有啸叫抑制功能的音频编解码装置的下行通路部分进行说明。
其中所述下行通路通过数据接口及音频接口从主处理器接收到远端音频数字信号后，依次输入至动态压缩及限幅单元和数模转换单元，以生成远端音频模拟信号并输出至外部的声音播放器件进行播放。下文将进一步对动态压缩及限幅单元和数模转换单元的内部结构和工作原理分别进行说明。
在本发明一实施例中，所述动态压缩及限幅单元包括：频域分解模块：用于将接收到的远端音频数字信号按预设频段执行频域分解操作，以生成多个频段的频段信号，并将多个频段的频段信号发送至动态压缩模块；动态压缩模块：用于接收动态压缩模块发送的包含有多个频段的频段信号，对所述频段信号执行动态压缩操作，以生成压缩频段信号并将其发送至限幅处理模块；限幅处理模块：用于接收动态压缩模块发送的所述压缩频段信号，对所述压缩频段信号执行限幅操作，以生成限幅频段信号并将其发送至重组和逆变换模块；重组和逆变换模块：用于接收限幅处理模块发送的限幅频段信号，对所述限幅频段信号执行重组操作和逆变换操作，以生成啸叫抑制信号并将其发送至所述数模转换单元。
进一步地，所述频域分解模块执行频域分解操作的过程包括：接收自动频率控制单元发送的远端音频数字信号；通过快速傅里叶变换将所述远端音频数字信号从时域转换至频域；对频域的远端音频数字信号在多个预设频段进行频谱分解，以生成包含有多个频段的频段信号。
在本实施例中，所述动态压缩模块执行动态压缩操作的过程包括：接收动态压缩模块发送的包含有多个频段的频段信号：从包含有多个频段的频段信号中提取出各个频段信号的动态能量范围并进行判断；若所述动态能量范围小于等于动态压缩阈值，则不执行动态压缩操作并将所述频段信号作为所述限幅频段信号直接发送至所述限幅处理模块；否则，根据所述动态压缩阈值和预设的压缩比例对包含有多个频段的频段信号分别执行正向压缩操作和反向压缩操作，以生成所述限幅频段信号并发送至所述限幅处理模块。
进一步地，所述重组和逆变换模块执行重组操作和逆变换操作的过程包括：接收动态压缩模块发送的包含有多个频段并对其进行信号重组操作，并对信号重组后的信号通过逆傅里叶变换从频域转换至时域，以生成经过啸叫抑制处理的啸叫抑制信号。
图4展示了本发明一实施例中动态压缩及限幅单元的结构示意图，动态压缩及限幅单元包括频域分析模块、动态压缩模块、限幅处理模块和重组和逆变换模块。频域分析模块执行频域分解操作以实现将远端频域信号分解至多个预设的频段。
在本实施例中，频域分解操作包含以下过程，首先使用快速傅里叶变换(FFT)将输入的远端音频信号x(t)从时域转换到频域，如公式10所示。
X(f)＝FFT(x(t))(公式10)
其中，X(f)为信号的频域表示，f为频率，随后进一步将频谱X(f)通过公式11分解为N个不同的频段。
其中，每个Xi(f)代表第i个特定的频段，共包含有N个特定频段。
在本实施例中，动态压缩操作包含以下过程，根据压缩阈值和动态能量范围，对于频域分解操作得到的N个特定频段的频段信号Xi(f)分别进行判断，并根据判断结果分别执行对应的正向压缩操作、负向压缩操作或不执行压缩操作。
对于输入的第i个频段信号Xi(f)，其所对应的压缩阈值为Tc,i。对Xi(f)和Tc,i进行判断：若|Xi(f)|≤Tc,i，则执不执行任何压缩操作，并直接将输入信号进行输入，输出信号Yc,i(f)如公式12所示。
Yc,i(f)＝Xi(f)(公式12)
当Xi(f)>Tc,i时，则对输入的第i个频段信号Xi(f)执行正向压缩操作，即输出信号被正向压缩，如公式13所示。
其中，Tc,i为压缩阈值，Rc,i为压缩比。
当Xi(f)<Tc,i时，则对输入的第i个频段信号Xi(f)执行负向压缩操作，即输出信号被负向压缩，如公式14所示。
在本实施例中，对动态压缩后的信号执行限幅处理操作的过程包括，对于每个频段i，通过限幅阈值执行限幅操作，如公式15所示。
Yl,i(f)＝min(max(Yc,i(f),-Tl,i),Tl,i)(公式15)
其中Tl,i是第i个频段的限幅阈值。
在本实施例中，对处理后的各频段信号进行重组和逆变换操作如公式16所示。
随后使用逆快速傅里叶变换(IFFT)将信号从频域转换回时域，如公式17所示。
y(t)＝IFFT(Y(f))(公式17)
其中，y(t)为最终输出的经过频域处理的动态压缩数字信号。
上文结合图4对动态压缩及限幅单元进行了详细说明，下文中将结合图5对本发明中与音频输出端相连接的数模转换单元进行详细说明。
在本发明一实施例中，数模转换单元用于接收数据接口发送的远端音频数字信号，对远端音频数字信号执行数据缓存操作、数据匹配操作、混音操作以及数模转换操作。
图5展示了本发明一实施例中数模转换单元的结构示意图。上述数模转换单元包括数据缓存模块、数据匹配模块、混音模块以及数模转换模块。所述数模转换单元用于将数字信号转化为音频输出信号，即远端音频模拟信号。该模块的输入信号为动态压缩数字信号，输出为音频输出信号(通常为模拟信号)。该单元的输入信号为单通道信号或多通道信号，输出信号为对应的单通道信号或多通道信号。由于混音模块可能对信号的通道数造成改动，因此输入信号和输出信号的通道数并不是必须保持相同
在本实施例中，数据缓存模块用于在音频接口缓存一定量的数据，从而避免因为接口两侧系统时钟设计缺陷引入的抖动，而导致音频数据被重复采样或者丢失。数据匹配模块接收到远端音频数字信号后执行采样率匹配操作和信号位宽匹配操作，以匹配音频输出设备的预设参数，并生成数模中间信号。
在本实施例中，混音模块将音频编解码器主处理器通过数据接口传输过来的远端音频数字信号或者本地存储的音频流等多个下行音频流进行混音叠加，如公式18所示。
其中，M为输入的音频流的个数，xk(n)表示第k个输入音频流，将输入的远端音频数字信号进行累加后得到输出混音后的音频流y(n)。
在本实施例中，数模转换模块用于将混音后得到的混音信号从数字信号转换至模拟信号，以供音频输出设备进行输出，如公式19和公式20所示。
v＝ky(t)(公式20)
其中，公式19展示了插值操作的过程，数模转换模块通过插值操作将输入音频的采样率升到预设的输出采样率，并且数字样点之间进行插值拟合。公式20展示了将数字信号转成模拟信号的过程，其中，y(n)为输入的数字离散信号，k为比例因子，输出的模拟电压信号为v(t)，从而实现了离散数字信号转成连续模拟信号的过程。
如图6所示，展示了本发明实施例中的一种具有啸叫抑制功能的音频编解码方法的流程示意图。本实施例中的具有啸叫抑制功能的音频编解码方法主要包括如下各步骤：
S61：接收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号。
S62：对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号。
S63：接收控制接口发送的控制信息，并基于所述控制信息对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号并发送至音频接口。
S64：接收远端音频数字信号，并对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
如图7所示，展示了本发明实施例中的一种具有啸叫抑制功能的音频编解码系统的结构示意图。本实施例中，具有啸叫抑制功能的音频编解码系统700包括主处理器701以及上述具有啸叫抑制功能的音频编解码装置702。
需要说明的是：上述实施例提供的具有啸叫抑制功能的音频编解码系统在进行具有啸叫抑制功能的音频编解码时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的具有啸叫抑制功能的音频编解码系统与具有啸叫抑制功能的音频编解码方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
综上所述，本申请提供具有啸叫抑制功能的音频编解码装置、方法和系统，本发明提供了一种通过音频编解码器进行啸叫抑制的方法，通过将啸叫抑制功能设置于音频编解码器内部，并在音频编解码器的上行通路设置频谱搬移单元和自动频率控制单元，同时在音频编解码器的下行通路设置动态压缩及限幅单元，在上述单元的协同作用降低了啸叫抑制的延迟时间，在保持音质的同时，可灵活地应对各种不同的声学环境和反馈类型。此外，可以通过算法对输入的近端音频信号进行对应的啸叫抑制操作，以适应啸叫抑制场景的动态变化，同时还可以保持音质和音量的一致性，避免对原音频的音质造成损失。本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种具有啸叫抑制功能的音频编解码装置，其特征在于，包括：
模数转换单元，与频谱搬移单元电性连接；所述模数转换单元用于收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号，并将所述近端音频数字信号输出至所述频谱搬移单元；
频谱搬移单元，与自动频率控制单元电性连接；所述频谱搬移单元包括一个输入端和一个输出端，输入端用于输入近端音频数字信号，输出端用于将频谱搬移单元得到的频移信号输出至自动频率控制单元；所述频谱搬移单元用于对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号；
自动频率控制单元，与控制接口和音频接口电性连接；所述自动频率控制单元包括两个输入端和一个输出端，两个输入端分别输入频谱搬移单元发送的频移信号和控制接口发送的控制信息，输出端用于将自动频率控制单元得到的反馈抑制信号输出至音频接口；所述自动频率控制单元用于对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号；
动态压缩及限幅单元：与所述音频接口电性相连；所述动态压缩及限幅单元包括一个输入端和一个输出端，输入端用于从所述音频接口输入远端音频数字信号，输出端用于将经压缩限幅操作得到的啸叫抑制信号输出至数模转换单元；所述动态压缩及限幅单元对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
2.根据权利要求1所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述频谱搬移单元执行频谱搬移操作的过程包括：
接收由所述模数转换单元发送的包含有一个或多个通道的近端音频数字信号；
基于预设的频谱搬移函数，对所述近端音频数字信号中的每个通道依次执行频谱搬移操作，以生成频移信号。
3.根据权利要求1所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述自动频率控制单元包括自适应滤波器，所述自动频率控制单元通过所述自适应滤波器执行自动频率控制操作的过程包括：
接收由所述频谱搬移单元发送的所述频移信号；
接收由所述控制接口发送的包含有步长参数的所述控制信息；
基于所述自适应滤波器的滤波器参数，对所述频移信号执行滤波操作以生成反馈抑制信号；
基于预设的无反馈信号，计算所述反馈抑制信号的误差信号；
基于所述误差信号、所述频移信号和所述步长参数，对所述滤波器参数进行更新。
4.根据权利要求1所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述动态压缩及限幅单元包括：
频域分解模块：用于将接收到的远端音频数字信号按预设频段执行频域分解操作，以生成多个频段的频段信号，并将多个频段的频段信号发送至动态压缩模块；
动态压缩模块：用于接收动态压缩模块发送的包含有多个频段的频段信号，对所述频段信号执行动态压缩操作，以生成压缩频段信号并将其发送至限幅处理模块；
限幅处理模块：用于接收动态压缩模块发送的所述压缩频段信号，对所述压缩频段信号执行限幅操作，以生成限幅频段信号并将其发送至重组和逆变换模块；
重组和逆变换模块：用于接收限幅处理模块发送的限幅频段信号，对所述限幅频段信号执行重组操作和逆变换操作，以生成啸叫抑制信号并将其发送至所述数模转换单元。
5.根据权利要求4所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述频域分解模块执行频域分解操作的过程包括：
接收自动频率控制单元发送的远端音频数字信号；
通过快速傅里叶变换将所述远端音频数字信号从时域转换至频域；
对频域的远端音频数字信号在多个预设频段进行频谱分解，以生成包含有多个频段的频段信号。
6.根据权利要求4所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述动态压缩模块执行动态压缩操作的过程包括：
接收动态压缩模块发送的包含有多个频段的频段信号：
从包含有多个频段的频段信号中提取出各个频段信号的动态能量范围并进行判断；
若所述动态能量范围小于等于动态压缩阈值，则不执行动态压缩操作并将所述频段信号作为所述限幅频段信号直接发送至所述限幅处理模块；
否则，根据所述动态压缩阈值和预设的压缩比例对包含有多个频段的频段信号分别执行正向压缩操作和反向压缩操作，以生成所述限幅频段信号并发送至所述限幅处理模块。
7.根据权利要求4所述的具有啸叫抑制功能的音频编解码装置，其特征在于，所述重组和逆变换模块执行重组操作和逆变换操作的过程包括：接收动态压缩模块发送的包含有多个频段并对其进行信号重组操作，并对信号重组后的信号通过逆傅里叶变换从频域转换至时域，以生成经过啸叫抑制处理的啸叫抑制信号。
8.根据权利要求1所述的具有啸叫抑制功能的音频编解码装置，其特征在于，数模转换单元用于接收数据接口发送的远端音频数字信号，对远端音频数字信号执行数据缓存操作、数据匹配操作、混音操作以及数模转换操作。
9.一种具有啸叫抑制功能的音频编解码方法，其特征在于，应用于音频编解码器，所述音频编解码器包括音频接口和控制接口，所述音频编解码器执行啸叫抑制的过程包括：
接收近端音频模拟信号并执行模数转换操作、数据匹配操作以及数据缓存操作，以生成对应的近端音频数字信号；
对所述近端音频数字信号执行频谱搬移操作以生成所述频移信号；
接收控制接口发送的控制信息，并基于所述控制信息对所述频移信号执行自动频率控制操作以生成所述反馈抑制信号并发送至音频接口；
接收远端音频数字信号，并对所述远端音频数字信号执行压缩限幅操作以生成啸叫抑制信号。
10.一种具有啸叫抑制功能的音频编解码系统，其特征在于，包括：主处理器以及如权利要求1至8中任一项所述具有啸叫抑制功能的音频编解码装置。
CN202410058962.6A 2024-01-15 2024-01-15 具有啸叫抑制功能的音频编解码装置、方法和系统 Pending CN117912438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410058962.6A CN117912438A (zh) 2024-01-15 2024-01-15 具有啸叫抑制功能的音频编解码装置、方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410058962.6A CN117912438A (zh) 2024-01-15 2024-01-15 具有啸叫抑制功能的音频编解码装置、方法和系统

Publications (1)

Publication Number Publication Date
CN117912438A true CN117912438A (zh) 2024-04-19

Family

ID=90685148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410058962.6A Pending CN117912438A (zh) 2024-01-15 2024-01-15 具有啸叫抑制功能的音频编解码装置、方法和系统

Country Status (1)

Country Link
CN (1) CN117912438A (zh)

Similar Documents

Publication Publication Date Title
US7010119B2 (en) Echo canceller with reduced requirement for processing power
CN106448691B (zh) 一种用于扩音通信系统的语音增强方法
US8982744B2 (en) Method and system for a subband acoustic echo canceller with integrated voice activity detection
JP4514125B2 (ja) 任意の再生サンプリングレートを用いたエコーキャンセルのためのシステムおよび方法
EP2622834B1 (en) Echo control optimization
EP3513406B1 (en) Audio signal processing
CN108076239B (zh) 一种改善ip电话回声的方法
US9397683B2 (en) Reduced digital audio sampling rates in digital audio processing chain
CN100505530C (zh) 一种音量控制方法和系统
US8804981B2 (en) Processing audio signals
AU2017355584B2 (en) Intelligent hearing aid
CN117912438A (zh) 具有啸叫抑制功能的音频编解码装置、方法和系统
CN117935818B (zh) 具有自动增益控制功能的音频编解码装置、方法和系统
US7227944B1 (en) Echo reduction for a headset or handset
CN213716506U (zh) 一种回声消除装置
CN117542342A (zh) 一种基于自适应滤波与神经网络的回声消除方法
CN108831491B (zh) 回声延迟估计方法及装置、存储介质、电子设备
CN114584902B (zh) 一种基于音量控制的对讲设备非线性回音消除方法及装置
CN111554313A (zh) 一种送话端数字语音降噪装置及方法
KR100396844B1 (ko) 인터넷 폰 시스템 및 그 운용 방법
US12015875B2 (en) Method and system for real time audio in multi-point video conferencing
CN117351971A (zh) 内置dsp及音频算法的音频编解码系统及音频编解码器
CN117198303B (zh) 一种音频编解码器及音频编解码系统
CN117560464B (zh) 一种多平台视频会议方法及系统
Hanshi et al. Efficient acoustic echo cancellation joint with noise reduction framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: No. 11, Lane 999, Dangui Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant after: Yaoxin Microelectronics (Shanghai) Electronic Technology Co.,Ltd.

Address before: 201207 rooms 405 and 416, building 3, No. 1690, Cailun Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: Yaoxin microelectronics technology (Shanghai) Co.,Ltd.

Country or region before: China