CN110782912A - 音源的控制方法以及扬声设备 - Google Patents
音源的控制方法以及扬声设备 Download PDFInfo
- Publication number
- CN110782912A CN110782912A CN201910959944.4A CN201910959944A CN110782912A CN 110782912 A CN110782912 A CN 110782912A CN 201910959944 A CN201910959944 A CN 201910959944A CN 110782912 A CN110782912 A CN 110782912A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- voice
- signal
- fused
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000005236 sound signal Effects 0.000 claims abstract description 451
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 57
- 230000007613 environmental effect Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及扬声器技术领域，公开了一种音源的控制方法以及扬声设备。该控制方法包括：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值：若是，则输出第二音频信号；若否，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出。通过上述方式，本发明能够改善应用于语音通讯的语音质量。
Description
技术领域
本发明涉及扬声器技术领域，特别是涉及一种音源的控制方法以及扬声设备。
背景技术
随着数字化音频技术以及消费电子的发展，越来越多的人使用诸如耳机等扬声器做为语音通讯的工具，使得耳机等扬声器的使用也越来越普遍。但传统的耳机在强噪声环境以及强风噪干扰下，用户输入耳机的语音常伴有较大的噪声，导致语音质量较差，很难大幅度地改善语音质量。
发明内容
有鉴于此，本发明主要解决的技术问题是提供一种音源的控制方法以及扬声设备，能够改善应用于语音通讯的语音质量。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种音源的控制方法，该控制方法包括：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值：若是，则输出第二音频信号；若否，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种扬声设备，该扬声设备包括处理器、骨传导麦克风和气传导麦克风，骨传导麦克风和气传导麦克风分别耦接处理器，处理器用于：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值：若是，则输出第二音频信号；若否，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出。
本发明的有益效果是：区别于现有技术，本发明提供一种音源的控制方法以及扬声设备。该音源的控制方法利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号，并计算第二音频信号的信噪比，从而判断环境中噪声的情况。当第二音频信号的信噪比大于信噪比阈值时，说明环境噪声较小，则输出第二音频信号，应用于语音通讯。由于气传导麦克风所采集的第二音频信号在低噪声环境中具有良好的音质，其有利于保证应用于语音通讯的语音具有较高的质量，因此能够改善应用于语音通讯的语音质量；而当第二音频信号的信噪比不大于信噪比阈值时，说明环境噪声较大，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出，应用于语音通讯。此时，气传导麦克风所采集的第二音频信号中伴有较大的噪声，而骨传导麦克风所采集的第一音频信号具有较高的信噪比，但第一音频信号中高频部分的音质较差，因此将第一音频信号和第二音频信号进行融合能够得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。此外，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
图1是本发明音源的控制方法第一实施例的流程示意图；
图2是本发明音源的控制方法第二实施例的流程示意图；
图3是本发明音源的控制方法第三实施例的流程示意图；
图4是本发明第二音频信号的降噪处理过程一实施例的流程示意图；
图5是本发明扬声设备一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
为解决现有技术中扬声设备应用于语音通讯的语音质量较差的技术问题，本发明的一实施例提供一种音源的控制方法。该控制方法包括：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值：若是，则输出第二音频信号；若否，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出。以下进行详细阐述。
骨传导麦克风提供一种采集、捕捉用户声音的方式。其用于采集通过用户的颅骨、骨迷路等介质传递的用户发出的声音。骨传导麦克风能够采集到较为纯净的用户发出的声音，具有较高的信噪比，但是骨传导麦克风所采集的声音其频率不高，表现为高频声音缺失，导致音质较差。
而气传导麦克风提供另一种采集、捕捉用户声音的方式。其用于采集通过空气传递的用户发出的声音。气传导麦克风能够采集到用户发出的大部分频段的声音，尤其是高频的部分，但同时也会采集到环境中的噪声，而当环境中的噪声较大时，就会导致气传导麦克风所采集的声音信号的信噪比较小。
有鉴于此，本发明的实施例结合骨传导麦克风和气传导麦克风，提出一种音源的控制方法，能够改善应用于语音通讯的语音质量。以下进行详细阐述：
请参阅图1，图1是本发明音源的控制方法第一实施例的流程示意图。
S101：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；
在本实施例中，利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号，以根据环境中噪声的情况，结合骨传导麦克风和气传导麦克风的优势，提供高质量的语音输出方案，进而改善应用于语音通讯的语音质量，使得语音输出方所发出的语音清楚、完整地传递至语音接收方，保障语音通讯的良好进行。
S102：计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值；
在本实施例中，若第二音频信号的信噪比大于信噪比阈值，则执行步骤S103，而若第二音频信号的信噪比不大于信噪比阈值，则执行步骤S104。
由于气传导麦克风所采集的第二音频信号容易受到环境中噪声的影响，因此可以借由气传导麦克风所采集的第二音频信号来判断当前环境中噪声的情况，从而选择合适的语音输出方案。
而第二音频信号中最直接地反映当前环境中噪声情况的就是第二音频信号的信噪比。第二音频信号的信噪比越高，则说明当前环境中噪声越小，而第二音频信号的信噪比越小，则说明当前环境中噪声越大。具体地，将当前第二音频信号的信噪比和预定的信噪比阈值进行比较，判断第二音频信号的信噪比是否大于信噪比阈值，从而判断当前环境中噪声的情况。
其中，信噪比阈值定义为应用于语音通讯的音频信号其信噪比能够满足正常语音通讯的要求的信噪比门限值。
S103：输出第二音频信号；
在本实施例中，第二音频信号的信噪比大于信噪比阈值，说明气传导麦克风所采集的第二音频信号具有较高的信噪比，其清晰度足以满足正常语音通讯的要求，因此可以直接输出第二音频信号，应用于语音通讯。同时，第二音频信号在高频部分也具有良好的音质，使得应用于语音通讯的音频信号具有良好的音质，能够改善应用于语音通讯的语音质量，保障语音通讯的良好进行。之后结束流程。
S104：将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出；
在本实施例中，第二音频信号的信噪比不大于信噪比阈值，说明气传导麦克风所采集的第二音频信号的信噪比较小，其清晰度难以满足正常语音通讯的要求。此时，考虑到骨传导麦克风所采集的第一音频信号具有较高的信噪比，可借以提高应用于语音通讯的音频信号的信噪比，但考虑到第一音频信号的高频部分音质较差，因此本实施例中将第一音频信号和第二音频信号进行融合能够得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
以上可以看出，本发明所提供的音源的控制方法，其当第二音频信号的信噪比大于信噪比阈值时，说明环境噪声较小，则输出第二音频信号，应用于语音通讯。由于气传导麦克风所采集的第二音频信号在低噪声环境中具有良好的音质，其有利于保证应用于语音通讯的语音具有较高的质量，因此能够改善应用于语音通讯的语音质量；而当第二音频信号的信噪比不大于信噪比阈值时，说明环境噪声较大，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出，应用于语音通讯。此时，气传导麦克风所采集的第二音频信号中伴有较大的噪声，而骨传导麦克风所采集的第一音频信号具有较高的信噪比，但第一音频信号中高频部分的音质较差，因此将第一音频信号和第二音频信号进行融合能够得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
请参阅图2，图2是本发明音源的控制方法第二实施例的流程示意图。
S201：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；
在本实施例中，利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号，以根据环境中噪声的情况，结合骨传导麦克风和气传导麦克风的优势，提供高质量的语音输出方案，进而改善应用于语音通讯的语音质量，使得语音输出方所发出的语音清楚、完整地传递至语音接收方，保障语音通讯的良好进行。
S202：计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值；
在本实施例中，若第二音频信号的信噪比大于信噪比阈值，则执行步骤S203，而若第二音频信号的信噪比不大于信噪比阈值，则执行步骤S204。
S203：输出第二音频信号；
在本实施例中，第二音频信号的信噪比大于信噪比阈值，说明气传导麦克风所采集的第二音频信号具有较高的信噪比，其清晰度足以满足正常语音通讯的要求，因此可以直接输出第二音频信号，应用于语音通讯。同时，第二音频信号在高频部分也具有良好的音质，使得应用于语音通讯的音频信号具有良好的音质，能够改善应用于语音通讯的语音质量，保障语音通讯的良好进行。之后结束流程。
S204：以第二音频信号为基础，利用第一音频信号中处于预设频段的音频信号替换第二音频信号中预设频段对应的音频信号，以得到第一融合音频信号并输出；
在本实施例中，第二音频信号的信噪比不大于信噪比阈值，说明气传导麦克风所采集的第二音频信号的信噪比较小，其清晰度难以满足正常语音通讯的要求。此时，考虑到骨传导麦克风所采集的第一音频信号具有较高的信噪比，可借以提高应用于语音通讯的音频信号的信噪比，但考虑到第一音频信号的高频部分音质较差，因此本实施例中将第一音频信号和第二音频信号进行融合能够得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
具体地，以第二音频信号为基础，利用第一音频信号中处于预设频段的音频信号替换第二音频信号中预设频段对应的音频信号，以得到第一融合音频信号并输出。
进一步地，利用第一音频信号中处于预设频段的音频信号替换第二音频信号中预设频段对应的音频信号之前，先分别计算第一音频信号和第二音频信号二者处于预设频段的音频信号的平均能量，求出二者对应的权系数，根据得到的权系数对第一音频信号中处于预设频段的音频信号的频谱进行修正，具体地将第一音频信号和第二音频信号二者处于预设频段的音频信号的平均能量调整至一致，之后再利用修正后的第一音频信号中处于预设频段的音频信号替换第二音频信号中预设频段对应的音频信号，完成预设频段部分的处理，进而得到第一融合音频信号并输出。
更进一步地，由于第一音频信号中高频段音质较差，因此预设频段设定为预设频段对应的音频信号的频率小于其它频段对应的音频信号的频率。也就是说，预设频段为低频段，本实施例通过将骨传导麦克风所采集的第一音频信号中处于低频段的部分音频去替换第二音频信号中的低频段部分，来提高第一融合音频信号的信噪比，并且由于保留了第二音频信号的高频部分，使得第一融合音频信号具有良好的音质。
请参阅图3，图3是本发明音源的控制方法第三实施例的流程示意图。
S301：利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；
在本实施例中，利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号，以根据环境中噪声的情况，结合骨传导麦克风和气传导麦克风的优势，提供高质量的语音输出方案，进而改善应用于语音通讯的语音质量，使得语音输出方所发出的语音清楚、完整地传递至语音接收方，保障语音通讯的良好进行。
S302：计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值；
在本实施例中，若第二音频信号的信噪比大于信噪比阈值，则执行步骤S303，而若第二音频信号的信噪比不大于信噪比阈值，则执行步骤S305。
S303：对第二音频信号进行降噪处理，得到第二融合音频信号；
在本实施例中，第二音频信号的信噪比大于信噪比阈值，说明气传导麦克风所采集的第二音频信号具有较高的信噪比，环境中的噪声较小。但为进一步对第二音频信号进行输出增强，以提高应用于语音通讯的语音质量，因此本实施例中优选地对第二音频信号进行降噪处理。
在一实施方式中，主要利用气传导麦克风阵列处理实现语音增强，以达到降噪的效果。具体地，在利用气传导麦克风采集第二音频信号的步骤中利用至少两个气传导麦克风分别同步采集第二音频信号(下文以利用两个气传导麦克风分别同步采集第二音频信号为例进行阐述，在此不做限定)，之后确定第二音频信号中的语音段和非语音段，再将两个气传导麦克风所采集的第二音频信号中处于非语音段的部分进行零点形成，以将两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号，进而输出第二融合音频信号，第二融合音频信号即为第二音频信号经过降噪处理的结果。
进一步地，上述零点形成可以是基于双气传导麦克风的自适应零点形成(Adaptive Null-Forming，ANF)。适用的场景是目标信号来自于端射方向，比如通话时的耳机，说话人嘴的位置大致在两个气传导麦克风连线的延长线上。ANF算法可以定向拾取端射方向的目标信号，并且自适应地在噪声来源方向形成零点，从而提高语音质量。ANF包括两个差分波束形成器和一个自适应滤波器。两个差分波束形成器(A和B)可以分别定向拾取语音和噪声：A主要包含目标语音，作为自适应滤波器的期望信号；B主要包含0度之外的噪声，可以作为自适应滤波器的输入参考噪声。自适应滤波器的算法包括但不限于LMS(LeastMean Square，最小均方)和NLMS(Normalized Least Mean Square，归一化最小均方)等。
需要说明的是，自适应滤波器的系数只有在没有语音的情况下才更新，因此上述过程中需要确定第二音频信号中的语音段和非语音段，进而将两个气传导麦克风所采集的第二音频信号中处于非语音段的部分进行零点形成。
更进一步地，由于骨传导麦克风直接通过与说话者的接触拾取振动并依靠固体传播，可以很好屏蔽环境中的高噪声得到较纯净的音频信号，即第一音频信号的信噪比较高且大于第二音频信号的信噪比，可以用来得到较准确的语音判断。并且由于骨传导麦克风和气传导麦克风同步采集用户的语音，因此第一音频信号和第二音频信号所包括的内容一致。
具体地，将骨传导麦克风所采集的第一音频信号和至少两个气传导麦克风所采集的第二音频信号进行同步。之后，对第一音频信号进行语音活动检测(VAD，Voice ActivityDetection)，以确定第一音频信号中的语音帧和非语音帧，第一音频信号中的所有语音帧组成第一音频信号的语音段，第一音频信号中的所有非语音帧组成第一音频信号的非语音段，进而确定第二音频信号中的语音段和非语音段；其中，第一音频信号和第二音频信号二者语音段的起止点相同，并且二者非语音段的起止点也相同。
请参阅图4，图4是本发明第二音频信号的降噪处理过程一实施例的流程示意图。根据上文所述，本实施例中步骤S303对第二音频信号进行降噪处理，以得到第二融合音频信号的过程主要包括如下步骤：
S3031：将骨传导麦克风所采集的第一音频信号和两个气传导麦克风所采集的第二音频信号进行同步；
具体地，将骨传导麦克风的第一音频信号和两个气传导麦克风的第二音频信号做分帧处理，在帧内同时进行基音搜索，利用搜索出的基音起点对齐同步骨传导麦克风的第一音频信号和两个气传导麦克风的第二音频信号，或者是利用骨传导麦克风的第一音频信号和两个气传导麦克风的第二音频信号计算互相关，找到最大相关值的时间点，以此对齐同步骨传导麦克风的第一音频信号和两个气传导麦克风的第二音频信号。
S3032：对第一音频信号进行语音活动检测，以确定第二音频信号中的语音段和非语音段；
其中，可以通过短时能量和短时过零率等方式对骨传导麦克风所采集的第一音频信号进行语音活动检测，在此不做限定。
S3033：将两个气传导麦克风所采集的第二音频信号中处于非语音段的部分进行零点形成，以将两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号。
当然，在本发明的其它实施例中，所形成的零点可以是固定的，即固定零点形成，而不是如上文中所述的自适应地在噪声来源方向形成零点，在此不做限定。
S304：对第二融合音频信号进行增益处理，而后进行输出；
在本实施例中，对第二音频信号进行降噪处理，得到第二融合音频信号后，若为进一步提高应用于语音通讯的语音质量，本实施例中优选地还可以对第二融合音频信号进行增益处理，而后输出增益处理后的第二融合音频信号。之后结束流程。
进一步地，主要的方案是通过对第二融合音频信号中的语音帧和非语音帧使用不同的增益，实现对第二融合音频信号中语音帧和非语音帧的不同噪声消除增益。
具体地，将第二融合音频信号从时域转换至频域。估算第二融合音频信号中各频点语音存在的概率，以判断各频点是否存在语音。对第二融合音频信号中存在语音和不存在语音的频点的音频信号分别进行增益处理。其中，第二融合音频信号中存在语音和不存在语音的频点的音频信号分别对应不同的增益。
通过快速傅里叶变换(FFT，Fast Fourier Transform)将第二融合音频信号从时域(time-domain)转换到频域(frequency-domain)谱X1(k,l)和X2(k,l)。在频域内引入概率模型计算增益函数G(k，l)，k为帧数，l为频点。通过第二融合音频信号中对语音帧和非语音帧使用不同的增益，实现对第二融合音频信号中语音帧和非语音帧的不同噪声消除增益。引入概率模型后，核心在于对当前频点语音存在的概率进行估算。具体地，设定门限值和判别函数。当当前频点的频谱能量大于门限值时，认为存在语音，概率I(k，l)为1，而当当前频点的频谱能量小于门限值时，认为不存在语音，概率I(k，l)为0。
对语音概率p(k,l)进行更新：
p(k,l)＝αpp(k,l-1)+(1-αp)I(k,l)；
对噪声谱的估计依据概率p(k,l)进行更新：
λd(k+1,l)＝λd(k,l)p(k,l)+[αdλd(k,l)+(1-αd)|X1(k,l)|](1-p(k,l))其中，0＜αd,αp＜1均为平滑系数；
然后再计算总增益函数即可，总增益函数为：
G(k,l)＝{GH1(k,l)}p(k,l)Gmin 1-p(k,l)，之后对第二融合音频信号进行增益处理，而后进行输出。
在一替代实施例中，由于气传导麦克风所采集的音频信号其容易受到环境噪声的影响，尤其是在环境噪声较大的情况下，气传导麦克风所采集的音频信号的信噪比较小，则意味着第二融合音频信号的语音概率估算会较为复杂，计算负担较重。然而，骨传导麦克风所采集的音频信号其信噪比通常较高，因此可以借助骨传导麦克风所采集的音频信号进行第二融合音频信号的语音概率的估算。
考虑到第一音频信号的信噪比大于第二融合音频信号的信噪比，并且第一音频信号和第二融合音频信号所包括的内容一致，因此借助骨传导麦克风所采集的音频信号进行第二融合音频信号的语音概率的估算存在实现的可能。
具体地，将第一音频信号从时域转换至频域。估算第一音频信号中各频点语音存在的概率，以判断各频点是否存在语音，进而确定第二融合音频信号中各频点语音存在的概率。其中第二融合音频信号中各频点语音存在的概率与第一音频信号中各频点语音存在的概率相同。通过上述方式，即可借助骨传导麦克风所采集的音频信号进行第二融合音频信号的语音概率的估算。
当然，在本发明的其它实施例中，增益处理不需要精确到频点量级，只需精确到帧量级时，可以利用上述实施例中第一音频信号的语音活动检测的结果，直接把第二融合音频信号中语音帧所对应频点的语音存在概率设为1，而将第二融合音频信号中非语音帧所对应频点的语音存在概率设为0。其中，第一音频信号和第二融合音频信号所记载的内容一致，因此第一音频信号的语音帧即对应第二融合音频信号的语音帧，第一音频信号的非语音帧即对应第二融合音频信号的非语音帧，由此确定第二融合音频信号中的语音帧和非语音帧，进而完成语音存在概率估算。
S305：对第二音频信号进行降噪处理，得到第二融合音频信号；
在本实施例中，第二音频信号的信噪比不大于信噪比阈值，说明气传导麦克风所采集的第二音频信号的信噪比较小，其清晰度难以满足正常语音通讯的要求。因此为提高应用于语音通讯的语音质量，本实施例优选地对第二音频信号进行降噪处理，以得到第二融合音频信号，借助第二融合音频信号提供高质量的语音输出。
需要说明的是，上述第二音频信号进行降噪处理的过程已在上文中详细阐述，在此就不再赘述。
S306：对第二融合音频信号进行增益处理；
在本实施例中，对第二音频信号进行降噪处理，得到第二融合音频信号后，若为进一步提高应用于语音通讯的语音质量，本实施例中优选地还可以对第二融合音频信号进行增益处理，而后输出增益处理后的第二融合音频信号。
需要说明的是，上述第二融合音频信号进行增益处理的过程已在上文中详细阐述，在此就不再赘述。
S307：将增益处理后的第二融合音频信号和第一音频信号进行融合，以得到第一融合音频信号并输出；
在本实施例中，考虑到气传导麦克风所采集的第二音频信号的信噪比较小，即便对第二音频信号进行降噪处理，并且还对第二融合音频信号进行增益处理，增益处理后的第二融合音频信号其信噪比可能仍然较小。考虑到骨传导麦克风所采集的第一音频信号具有较高的信噪比，可借以提高应用于语音通讯的音频信号的信噪比，但第一音频信号的高频部分音质较差，因此本实施例中将第一音频信号和增益处理后的第二融合音频信号进行融合，以得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
具体地，以增益处理后的第二融合音频信号为基础，利用第一音频信号中处于预设频段的音频信号替换增益处理后的第二融合音频信号中预设频段对应的音频信号，以得到第一融合音频信号并输出。
当然，利用第一音频信号中处于预设频段的音频信号替换增益处理后的第二融合音频信号中预设频段对应的音频信号之前，也可以包括将第一音频信号和增益处理后的第二融合音频信号二者处于预设频段的音频信号的平均能量调整至一致的过程，在此不做限定。
综上所述，本发明所提供的音源的控制方法，其当第二音频信号的信噪比大于信噪比阈值时，说明环境噪声较小，则输出第二音频信号，应用于语音通讯。由于气传导麦克风所采集的第二音频信号在低噪声环境中具有良好的音质，其有利于保证应用于语音通讯的语音具有较高的质量，因此能够改善应用于语音通讯的语音质量；而当第二音频信号的信噪比不大于信噪比阈值时，说明环境噪声较大，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出，应用于语音通讯。此时，气传导麦克风所采集的第二音频信号中伴有较大的噪声，而骨传导麦克风所采集的第一音频信号具有较高的信噪比，但第一音频信号中高频部分的音质较差，因此将第一音频信号和第二音频信号进行融合能够得到信噪比且音质良好的音频信号，即第一融合音频信号，从而保证应用于语音通讯的语音具有较高的质量，以进一步改善应用于语音通讯的语音质量。
请参阅图5，图5是本发明扬声设备一实施例的结构示意图。
在一实施例中，扬声设备1包括处理器11、骨传导麦克风12和气传导麦克风13，骨传导麦克风12和气传导麦克风13分别耦接处理器11。处理器11用于：利用骨传导麦克风12采集第一音频信号以及利用气传导麦克风13采集第二音频信号；计算第二音频信号的信噪比，并判断第二音频信号的信噪比是否大于信噪比阈值：若是，则输出第二音频信号；若否，则将第一音频信号和第二音频信号进行融合，以得到第一融合音频信号并输出。
可选地，扬声设备1可以为耳机等，其不限于入耳式耳机、头戴式耳机、颈戴式耳机等。
进一步地，考虑到上述实施例中所阐述的气传导麦克风13的语音增强输出方案，因此本实施例中气传导麦克风13的数量可以为至少两个，优选地为两个，具体语音增强过程已在上述实施例中阐述，在此就不再赘述。
此外，在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”、“层叠”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种音源的控制方法，其特征在于，所述控制方法包括：
利用骨传导麦克风采集第一音频信号以及利用气传导麦克风采集第二音频信号；
计算所述第二音频信号的信噪比，并判断所述第二音频信号的信噪比是否大于信噪比阈值：
若是，则输出所述第二音频信号；
若否，则将所述第一音频信号和所述第二音频信号进行融合，以得到第一融合音频信号并输出。
2.根据权利要求1所述的控制方法，其特征在于，所述利用气传导麦克风采集第二音频信号的步骤包括：
利用至少两个所述气传导麦克风分别同步采集第二音频信号；
所述输出所述第二音频信号的步骤包括：
确定所述第二音频信号中的语音段和非语音段；
将所述至少两个气传导麦克风所采集的第二音频信号中处于非语音段的部分进行零点形成，以将所述至少两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号，进而输出所述第二融合音频信号；
所述将所述第一音频信号和所述第二音频信号进行融合，以得到第一融合音频信号并输出的步骤包括：
确定所述第二音频信号中的语音段和非语音段；
将所述至少两个气传导麦克风所采集的第二音频信号中处于非语音段的部分进行零点形成，以将所述至少两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号，进而将所述第二融合音频信号与所述第一音频信号进行融合以得到所述第一融合音频信号并输出。
3.根据权利要求2所述的控制方法，其特征在于，所述将所述至少两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号的步骤之后包括：
将所述第二融合音频信号从时域转换至频域；
估算所述第二融合音频信号中各频点语音存在的概率，以判断各频点是否存在语音；
对所述第二融合音频信号中存在语音和不存在语音的频点的音频信号分别进行增益处理；
其中，所述第二融合音频信号中存在语音和不存在语音的频点的音频信号分别对应不同的增益。
4.根据权利要求2所述的控制方法，其特征在于，所述第一音频信号的信噪比大于所述第二融合音频信号的信噪比，并且所述第一音频信号和所述第二融合音频信号所包括的内容一致；
所述将所述至少两个气传导麦克风所采集的第二音频信号融合成一个第二融合音频信号的步骤之后包括：
将所述第一音频信号从时域转换至频域；
估算所述第一音频信号中各频点语音存在的概率，以判断各频点是否存在语音，进而确定所述第二融合音频信号中各频点语音存在的概率，其中所述第二融合音频信号中各频点语音存在的概率与所述第一音频信号中各频点语音存在的概率相同；
对所述第二融合音频信号中存在语音和不存在语音的频点的音频信号分别进行增益处理；
其中，所述第二融合音频信号中存在语音和不存在语音的频点的音频信号分别对应不同的增益。
5.根据权利要求2所述的控制方法，其特征在于，所述第一音频信号的信噪比大于所述第二音频信号的信噪比，并且所述第一音频信号和所述第二音频信号所包括的内容一致；
所述确定所述第二音频信号中的语音段和非语音段的步骤包括：
将所述骨传导麦克风所采集的所述第一音频信号和所述至少两个气传导麦克风所采集的第二音频信号进行同步；
对所述第一音频信号进行语音活动检测，以确定所述第一音频信号中的语音帧和非语音帧，所述第一音频信号中的所有语音帧组成所述第一音频信号的语音段，所述第一音频信号中的所有非语音帧组成所述第一音频信号的非语音段，进而确定所述第二音频信号中的语音段和非语音段；其中，所述第一音频信号和所述第二音频信号二者语音段的起止点相同，并且二者非语音段的起止点也相同。
6.根据权利要求1所述的控制方法，其特征在于，所述第一音频信号的信噪比大于所述第二音频信号的信噪比，并且所述第一音频信号和所述第二音频信号所包括的内容一致；
所述将所述第一音频信号和所述第二音频信号进行融合，以得到第一融合音频信号并输出的步骤包括：
以所述第二音频信号为基础，利用所述第一音频信号中处于预设频段的音频信号替换所述第二音频信号中所述预设频段对应的音频信号，以得到所述第一融合音频信号。
7.根据权利要求6所述的控制方法，其特征在于，所述利用所述第一音频信号中处于预设频段的音频信号替换所述第二音频信号中所述预设频段对应的音频信号的步骤之前包括：
将所述第一音频信号和所述第二音频信号二者处于所述预设频段的音频信号的平均能量调整至一致。
8.根据权利要求6或7所述的控制方法，其特征在于，所述预设频段对应的音频信号的频率小于其它频段对应的音频信号的频率。
9.一种扬声设备，其特征在于，所述扬声设备包括处理器、骨传导麦克风和气传导麦克风，所述骨传导麦克风和所述气传导麦克风分别耦接所述处理器，所述处理器用于：
利用所述骨传导麦克风采集第一音频信号以及利用所述气传导麦克风采集第二音频信号；
计算所述第二音频信号的信噪比，并判断所述第二音频信号的信噪比是否大于信噪比阈值：
若是，则输出所述第二音频信号；
若否，则将所述第一音频信号和所述第二音频信号进行融合，以得到第一融合音频信号并输出。
10.根据权利要求9所述的扬声设备，其特征在于，所述扬声设备为耳机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910959944.4A CN110782912A (zh) | 2019-10-10 | 2019-10-10 | 音源的控制方法以及扬声设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910959944.4A CN110782912A (zh) | 2019-10-10 | 2019-10-10 | 音源的控制方法以及扬声设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110782912A true CN110782912A (zh) | 2020-02-11 |
Family
ID=69385018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910959944.4A Pending CN110782912A (zh) | 2019-10-10 | 2019-10-10 | 音源的控制方法以及扬声设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110782912A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210836A (zh) * | 2020-03-09 | 2020-05-29 | 成都启英泰伦科技有限公司 | 一种麦克风阵列波束形成动态调整方法 |
| CN111327985A (zh) * | 2020-03-06 | 2020-06-23 | 华勤通讯技术有限公司 | 一种耳机降噪方法和装置 |
| CN111565349A (zh) * | 2020-04-21 | 2020-08-21 | 深圳鹤牌光学声学有限公司 | 一种基于骨传导传声装置的重低音传声方法 |
| CN112017696A (zh) * | 2020-09-10 | 2020-12-01 | 歌尔科技有限公司 | 耳机的语音活动检测方法、耳机及存储介质 |
| CN113055772A (zh) * | 2021-02-07 | 2021-06-29 | 厦门亿联网络技术股份有限公司 | 一种提升麦克风信号的信噪比的方法及装置 |
| CN114401168A (zh) * | 2021-12-17 | 2022-04-26 | 郑州中科集成电路与系统应用研究院 | 一种适用于复杂强噪声环境下短波莫尔斯信号的语音增强方法 |
| CN114697785A (zh) * | 2020-12-28 | 2022-07-01 | 深圳市韶音科技有限公司 | 用于抑制回声的音频信号处理方法和系统 |
| WO2022160593A1 (zh) * | 2021-01-28 | 2022-08-04 | 歌尔股份有限公司 | 一种语音增强方法、装置、系统及计算机可读存储介质 |
| CN115862656A (zh) * | 2023-02-03 | 2023-03-28 | 中国科学院自动化研究所 | 一种骨传麦克风语音增强方法及装置、设备及存储介质 |
| CN116158090A (zh) * | 2020-12-28 | 2023-05-23 | 深圳市韶音科技有限公司 | 用于抑制回声的音频信号处理方法和系统 |
| WO2024082378A1 (zh) * | 2022-10-21 | 2024-04-25 | 深圳看到科技有限公司 | 分布式麦克风的音频同步方法、装置和存储介质 |
| WO2024125012A1 (zh) * | 2022-12-16 | 2024-06-20 | 华为技术有限公司 | 音频信号修复方法、装置、设备、存储介质及计算机程序 |
| WO2024234538A1 (zh) * | 2023-05-12 | 2024-11-21 | 深圳市韶音科技有限公司 | 一种声学装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686494A (zh) * | 2016-12-27 | 2017-05-17 | 广东小天才科技有限公司 | 一种可穿戴设备的语音输入控制方法及可穿戴设备 |
| JP2017123554A (ja) * | 2016-01-06 | 2017-07-13 | 富士通株式会社 | 通話装置及び音声信号補正プログラム |
| CN107071608A (zh) * | 2017-02-14 | 2017-08-18 | 歌尔股份有限公司 | 降噪耳机以及电子设备 |
| CN107910011A (zh) * | 2017-12-28 | 2018-04-13 | 科大讯飞股份有限公司 | 一种语音降噪方法、装置、服务器及存储介质 |
| CN109767783A (zh) * | 2019-02-15 | 2019-05-17 | 深圳市汇顶科技股份有限公司 | 语音增强方法、装置、设备及存储介质 |
| CN110010143A (zh) * | 2019-04-19 | 2019-07-12 | 出门问问信息科技有限公司 | 一种语音信号增强系统、方法及存储介质 |
-
2019
- 2019-10-10 CN CN201910959944.4A patent/CN110782912A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017123554A (ja) * | 2016-01-06 | 2017-07-13 | 富士通株式会社 | 通話装置及び音声信号補正プログラム |
| CN106686494A (zh) * | 2016-12-27 | 2017-05-17 | 广东小天才科技有限公司 | 一种可穿戴设备的语音输入控制方法及可穿戴设备 |
| CN107071608A (zh) * | 2017-02-14 | 2017-08-18 | 歌尔股份有限公司 | 降噪耳机以及电子设备 |
| CN107910011A (zh) * | 2017-12-28 | 2018-04-13 | 科大讯飞股份有限公司 | 一种语音降噪方法、装置、服务器及存储介质 |
| CN109767783A (zh) * | 2019-02-15 | 2019-05-17 | 深圳市汇顶科技股份有限公司 | 语音增强方法、装置、设备及存储介质 |
| CN110010143A (zh) * | 2019-04-19 | 2019-07-12 | 出门问问信息科技有限公司 | 一种语音信号增强系统、方法及存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111327985A (zh) * | 2020-03-06 | 2020-06-23 | 华勤通讯技术有限公司 | 一种耳机降噪方法和装置 |
| CN111210836B (zh) * | 2020-03-09 | 2023-04-25 | 成都启英泰伦科技有限公司 | 一种麦克风阵列波束形成动态调整方法 |
| CN111210836A (zh) * | 2020-03-09 | 2020-05-29 | 成都启英泰伦科技有限公司 | 一种麦克风阵列波束形成动态调整方法 |
| CN111565349A (zh) * | 2020-04-21 | 2020-08-21 | 深圳鹤牌光学声学有限公司 | 一种基于骨传导传声装置的重低音传声方法 |
| CN112017696B (zh) * | 2020-09-10 | 2024-02-09 | 歌尔科技有限公司 | 耳机的语音活动检测方法、耳机及存储介质 |
| CN112017696A (zh) * | 2020-09-10 | 2020-12-01 | 歌尔科技有限公司 | 耳机的语音活动检测方法、耳机及存储介质 |
| US20230352038A1 (en) * | 2020-09-10 | 2023-11-02 | Goertek Inc. | Voice activation detecting method of earphones, earphones and storage medium |
| WO2022052244A1 (zh) * | 2020-09-10 | 2022-03-17 | 歌尔股份有限公司 | 耳机的语音活动检测方法、耳机及存储介质 |
| CN116158090A (zh) * | 2020-12-28 | 2023-05-23 | 深圳市韶音科技有限公司 | 用于抑制回声的音频信号处理方法和系统 |
| CN114697785B (zh) * | 2020-12-28 | 2025-03-14 | 深圳市韶音科技有限公司 | 用于抑制回声的音频信号处理方法和系统 |
| CN114697785A (zh) * | 2020-12-28 | 2022-07-01 | 深圳市韶音科技有限公司 | 用于抑制回声的音频信号处理方法和系统 |
| WO2022160593A1 (zh) * | 2021-01-28 | 2022-08-04 | 歌尔股份有限公司 | 一种语音增强方法、装置、系统及计算机可读存储介质 |
| CN113055772A (zh) * | 2021-02-07 | 2021-06-29 | 厦门亿联网络技术股份有限公司 | 一种提升麦克风信号的信噪比的方法及装置 |
| CN113055772B (zh) * | 2021-02-07 | 2023-02-17 | 厦门亿联网络技术股份有限公司 | 一种提升麦克风信号的信噪比的方法及装置 |
| CN114401168B (zh) * | 2021-12-17 | 2023-11-03 | 郑州中科集成电路与系统应用研究院 | 适用复杂强噪声环境下短波莫尔斯信号的语音增强方法 |
| CN114401168A (zh) * | 2021-12-17 | 2022-04-26 | 郑州中科集成电路与系统应用研究院 | 一种适用于复杂强噪声环境下短波莫尔斯信号的语音增强方法 |
| WO2024082378A1 (zh) * | 2022-10-21 | 2024-04-25 | 深圳看到科技有限公司 | 分布式麦克风的音频同步方法、装置和存储介质 |
| WO2024125012A1 (zh) * | 2022-12-16 | 2024-06-20 | 华为技术有限公司 | 音频信号修复方法、装置、设备、存储介质及计算机程序 |
| CN115862656A (zh) * | 2023-02-03 | 2023-03-28 | 中国科学院自动化研究所 | 一种骨传麦克风语音增强方法及装置、设备及存储介质 |
| WO2024234538A1 (zh) * | 2023-05-12 | 2024-11-21 | 深圳市韶音科技有限公司 | 一种声学装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782912A (zh) | 音源的控制方法以及扬声设备 | |
| US11245976B2 (en) | Earphone signal processing method and system, and earphone | |
| US11070910B2 (en) | Processing device and a processing method for voice communication | |
| CN110856072B (zh) | 一种耳机通话降噪方法及耳机 | |
| CN109195042B (zh) | 低功耗的高效降噪耳机及降噪系统 | |
| US9544698B2 (en) | Signal enhancement using wireless streaming | |
| US9064502B2 (en) | Speech intelligibility predictor and applications thereof | |
| CN107396223B (zh) | 耳机上行降噪方法 | |
| US9699554B1 (en) | Adaptive signal equalization | |
| JP2014507683A (ja) | 通信イヤホンの音声増強方法、装置及びノイズ低減通信イヤホン | |
| US9532149B2 (en) | Method of signal processing in a hearing aid system and a hearing aid system | |
| KR101502297B1 (ko) | 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치 | |
| CN111935584A (zh) | 用于无线耳机组件的风噪处理方法、装置以及耳机 | |
| CN112954530B (zh) | 一种耳机降噪方法、装置、系统及无线耳机 | |
| CN111327985A (zh) | 一种耳机降噪方法和装置 | |
| JP6315046B2 (ja) | 耳孔装着型収音装置、信号処理装置、収音方法 | |
| CN112019967B (zh) | 一种耳机降噪方法、装置、耳机设备及存储介质 | |
| US10798494B2 (en) | Hearing apparatus | |
| US11153695B2 (en) | Hearing devices and related methods | |
| CN114694668A (zh) | 生成音频的方法和系统 | |
| WO2021129196A1 (zh) | 一种语音信号处理方法及装置 | |
| US20250054479A1 (en) | Audio device with distractor suppression | |
| WO2023040322A1 (zh) | 回声消除方法、终端设备及存储介质 | |
| EP3886463B1 (en) | Method at a hearing device | |
| JP2019036917A (ja) | パラメータ制御装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |
|
| RJ01 | Rejection of invention patent application after publication |