CN103152498B - 回声消除器 - Google Patents
回声消除器 Download PDFInfo
- Publication number
- CN103152498B CN103152498B CN201310030556.0A CN201310030556A CN103152498B CN 103152498 B CN103152498 B CN 103152498B CN 201310030556 A CN201310030556 A CN 201310030556A CN 103152498 B CN103152498 B CN 103152498B
- Authority
- CN
- China
- Prior art keywords
- echo
- sound source
- sef
- adapting filter
- control part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 57
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 238000002592 echocardiography Methods 0.000 abstract 2
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 18
- 238000012360 testing method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012546 transfer Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
一种回声消除器(10)，利用自适应滤波器(101、102)对从形成回声的各个声源被输入的参照信号进行滤波以生成回声去除信号，该回声消除器(10)由从参照信号对形成回声的声源的数量进行检测的声源数检测部(103)；和按照被声源数检测部(103)检测到的声源的数量使自适应滤波器(101、102)的抽头数可变的控制部(105)构成。
Description
本申请是申请日为“2009年4月10日”、申请号为“200980122205.4”、题为“回声消除器”的申请的分案申请。
技术领域
本发明特别地涉及一种适合用于车载用的声音识别装置、免提电话的回声消除器。
背景技术
在车载导航装置的声音识别或免提电话中，目前，已知有一种能从输入到麦克风的声音中去除由车载扬声器输出的音乐、声音等，仅对说话者的声音进行声音识别或用电话朝对方一侧传递信息的回声消除器(例如，参照专利文献1、2)。
如上述的专利文献1、2所示，通过用自适应滤波器对从回声声源输入的参照信号进行处理来生成从回声声源经由扬声器混入麦克风的回声去除信号的型号的回声消除器，需对形成回声的各个声源(以下，称为回声声源)执行回声消除处理。
因此，例如，在考虑设想的最大的回声声源数为六个通道～八个通道等的情况下，要求装设具有较高的处理能力的处理器。此外，在只有比设想的最大的回声声源数少的回声声源数的状况中，由于无需进行自适应滤波器的几个处理，因此，在回声消除处理中会发生无用的处理，从而产生处理器资源的无用的分配。
另外，在自适应滤波器中，必要的抽头(tap)数因使用声音识别装置、免提电话的环境而异，在设想最坏的环境来决定抽头数的情况下，由于形成为抽头数越多回声消除效果越好的结构，所以要求处理能力非常高的处理器。
因此，目前已知有一种在AV设备用声音识别装置中通过始终使回声声源的参照信号单声道化来减轻处理器的处理的技术(例如，参照专利文献3)。由于采用该技术回声声源的数量始终为一个，所以，因回声声源数的减少而对于回声消除的处理不产生浪费。
现有技术文献
专利文献
专利文献1：日本专利特开2000-231399号公报
专利文献2：日本专利特开2003-99100号公报
专利文献3：日本专利特开2001-100785号公报
然而，根据专利文献3所揭示的技术，在仅使参照信号单声道化，将形成回声的声源作为立体声来使用的情况下，自适应滤波器的回声消除量可能会产生劣化，回声声源的数量(通道)越多则劣化的可能性就越高。
若将参照信号和形成回声的声源的两者单声道化，则能不使回声消除量产生劣化地进行回声消除处理，但存在的问题是：在选择CD(Compact Disc)、DVD(Digital Versatile Disc)、TV(Television)等音频声源作为回声声源的情况下，因单声道化而导致始终大幅度地失去立体声、环绕声的声音的临场感，作为AV设备具有致命的缺陷。
另外，考虑在发声时也进行单声道化这样的方法，但在自适应滤波器的性质上，由于需要进行滤波器系数的学习，因此，存在的问题是：到发声为止必须要获得足够的自适应滤波器的学习时间。
本发明为解决上述的技术问题而作，其目的在于提供一种能不依存于回声声源的数量的大小而获得更多的回声消除效果的回声消除器。
发明内容
为了解决上述的技术问题，本发明的回声消除器是一种利用自适应滤波器对从形成回声的各个声源被输入的参照信号进行滤波来生成回声去除信号的回声消除器，其特征是，包括：声源数检测部，其从上述参照信号对上述形成回声的声源的数量进行检测；以及控制部，其按照被上述声源数检测部检测到的声源的数量使上述自适应滤波器的抽头数可变。
另外，本发明的回声消除器是一种包括利用一个以上的自适应滤波器对从形成回声的各个声源被输入的参照信号进行滤波生成回声去除信号来进行回声消除处理的处理器的回声消除器，其特征是，包括：信号功率测量部，其监视上述处理器的上述自适应滤波器的回声消除处理前后的信号功率；以及控制部，其通过由上述信号功率测量部的输出判定的、上述处理器的处理能力与上述一个以上的自适应滤波器的回声消除效果的平衡来使上述自适应滤波器的有效数或抽头数可变。
另外，本发明的回声消除器是一种包括利用一个以上的自适应滤波器对从形成回声的各个声源被输入的参照信号进行滤波来生成回声去除信号的处理器的回声消除器，其特征是，包括：声源数变换部，其根据规定的条件使上述回声声源的数量可变；以及控制部，其监视上述自适应滤波器的回声消除处理前后的信号功率，在被判定为以上述处理器具有的处理能力不能处理上述形成回声的声源的数量的上述自适应滤波器的情况下，控制上述声源数变换部以进行使上述回声声源的有效数减少的处理。
根据本发明的回声消除器，能不依存于回声声源的数量的大小地获得更多回声消除效果。
附图说明
图1是表示包含本发明实施方式1的回声消除器(echo canceller)的声音识别装置的结构和声源从立体声变化为单声道的情况下的回声消除器的结构的变化的框图。
图2是表示包含本发明实施方式2的回声消除器的声音识别装置的结构和声源从立体声变化为单声道的情况下的回声消除器的结构的变化的框图。
图3是表示包含本发明实施方式3的回声消除器的声音识别装置的结构的框图。
图4是表示包含本发明实施方式4的回声消除器的声音识别装置的结构的框图。
图5是表示包含本发明实施方式5的回声消除器的声音识别装置的结构的框图。
具体实施方式
以下，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1
图1是表示包含本发明实施方式1的回声消除器的声音识别装置的结构和声源从立体声变化为单声道的情况下的回声消除器的结构的变化的框图。
如图1所示，声音识别装置由回声消除器10、声音识别部11、扬声器12(12L、12R)、音量调节部13(13L、13R)及麦克风14构成。
回声消除器10具有自适应滤波器(adaptive filter)101、自适应滤波器102、声源数检测部103、存储部104及控制部105。
例如，自适应滤波器101、102是按照最小均方(LMS：Least Mean Square)等优化算法来使其传递函数自适应的滤波器，具体而言，作为进行数字信号处理的数字滤波器被DSP(Digital Signal Processing数字信号处理)安装。
声源数检测部103检测形成回声的声源的数量并将其传输至控制部105。在此，检测从立体声变化为单声道的情况并通知给控制部105。在存储部104中在控制部105的控制之下存储有自适应滤波器101、102的抽头数量的滤波器系数(学习数据)。
控制部105根据形成被声源数检测部103检测到的回声的声源的数量，按照后述步骤对自适应滤波器101、102的抽头数进行可变控制。另外，在使自适应滤波器101、102的抽头数变化时，控制部105将之前的自适应滤波器101、102的滤波器系数存储保存于存储部104，下次，在以相同的抽头数进行处理的情况下，从存储部104恢复并再利用该滤波器系数。
声音识别部11获得回声消除器10的输出以作为输入信号，从而对被麦克风14集声的说话者(在图1中以脸标记显示)的发声内容进行声音识别。
声音识别部11使用基本的声音识别的结构，例如，利用傅里叶解析等数学的信号处理方法将被输入的声音变换为特征量，对表示在此能获得的特征量的声响与发声记号等的概率的对应关系的声学模型(acousticmodel)、将识别对象的单词数据库化的词典、以及表示词典中的单词的每个应用的发声概率的语言模型等进行索引，并根据概率统计的方法输出文本。
在上述结构中，回声消除器10经由通信线15、16读取从扬声器12L、12R被输出的、例如车载AV设备的再生声音来作为参照信号。此外，回声消除器10利用自适应滤波器101、102去除经由麦克风14混入说话者发出的声音的扬声器12L、12R的输出声音，并将该输出传输至声音识别部11。
在此，回声消除器10包括声源数检测部103，在被声源数检测部103检测到立体声期间，控制部105使自适应滤波器101、102以抽头数“100”分别动作，但在检测到单声道的情况下，控制部105控制使任一个自适应滤波器(在此，自适应滤波器102)的抽头数增加(＋100)，并控制使另一个自适应滤波器(在此，自适应滤波器101)的回声消除处理停止。
即，由于控制部105根据声源的数量的动态变化动态地使自适应滤波器101、102的抽头数变化，例如，即使对于立体声与单声道切换的无线电广播这样的声源，也可始终以适当的滤波器抽头数来实现回声消除处理。另外，由于可根据声源数的变化使自适应滤波器101、102的抽头数立即变化，即使在声源的数量增加的情况下，也能立即进行以适当的回声消除量为主的准备。
如上所述，被控制而生成的回声消除器10的输出被传输至声音识别部11，从而以声音识别部11对被麦克风14集声的说话者的发声内容进行声音识别。声音识别部11从发声内容提取特征量，通过参照未图示的声学模型、词典及语言模型等，来输出被识别的文本并将其传输至未图示的导航装置等，从而能进行声音输入的例如目的地设定、引导等的导航。
控制部105进行控制以在声音识别部11的声音识别中及其之前使自适应滤波器101、102的抽头数不变化。这是用于避免在声音识别中因自适应滤波器101、102的滤波器系数混乱而导致声音识别的误识别的措施。
另外，在执行增加抽头数的控制前，控制部105将之前的滤波器系数保存(退避)于存储部104，下次，在声源数检测部103中检测到是立体声的情况下，恢复(复原)并使用之前保存的滤波器系数。藉此，能缩短自适应滤波器101、102的学习时间，并有助于削减学习所需的运算量。藉此，根据本发明实施方式1所涉及的回声消除器，即使在自适应滤波器101、102的抽头数频繁变化这样的使用环境中，也能以用最小的滤波器系数的自适应处理时间立即获得回声消除效果。
在用自适应滤波器101、102不能充分地完全去除来自扬声器12(12L、12R)的再生声音的情况下，通过使控制部105控制音量调节部13(13L、13R)，能将扬声器12(12L、12R)的音量限制于任意的水平，藉此，能防止来自扬声器12(12L、12R)的AV再生声音等混入输入声音。
根据上述的本发明实施方式1所涉及的回声消除器，通过按照形成回声的声源的数量的变化使自适应滤波器101、102的抽头数变化，能在回声声源的数量较少的情况下使用安装有DSP的回声消除器10的剩余的处理能力，从而能进一步提高回声消除处理能力。
此时，通过将设定于自适应滤波器102的抽头数设为与形成回声的声源的数量成反比例的数，能进行被增减的声源数消耗或满足剩余的DSP性能的灵活的控制。
另外，通过按照自适应滤波器101、102的抽头数来限制形成回声的声源(扬声器12L、12R)的最大音量，即使在自适应滤波器101、102的抽头数较少，且回声消除处理能力较低的情况下，也能避免来自麦克风14的回声的混入。
实施方式2
图2是表示包含本发明实施方式2的回声消除器的声音识别装置的结构和声源从立体声变化为单声道的情况下的回声消除器的结构的变化的框图。在图2中，只要没有特别声明，就将标注有与图1相同号码的框作为具有与图1所示的框相同名称、功能的框。
如图2所示，在本发明实施方式2的回声消除器中，与图1所示的实施方式1的差异在于，具有延迟框106，通过利用延迟框106使与自适应滤波器101的抽头数相当量的采样延迟，从而使自适应滤波器102的抽头数等效地可变。即，在此，利用声源的数量来使自适应滤波器102的抽头数等效地变化。其他的结构与实施方式1的相同。
在上述结构中，与实施方式1相同，回声消除器10经由通信线15、16读取从成为回声声源的扬声器12(12L、12R)被输出的、例如车载AV设备的再生声音来作为参照信号。此外，回声消除器10利用自适应滤波器101、102去除经由麦克风14混入说话者发出的声音的扬声器12(12L、12R)的输出声音，并将该输出传输至声音识别部11。
在此，由于回声消除器10在实施方式1具有的结构中还具有延迟框106，因此，在从通信线15、16中传播的参照信号被声源数检测部103检测到是立体声的期间，控制部105使在延迟框106中的延迟为0采样，从而控制自适应滤波器101、102来执行在通常的立体声中的回声消除处理。
另一方面，在被声源数检测部103检测到单声道的情况下，由于控制部105利用延迟框106使自适应滤波器101的抽头数量(100)的采样数延迟，并用两个自适应滤波器101、102来执行回声消除处理，从而能等效地增加自适应滤波器101、102的抽头数，藉此，提高了回声消除的性能。
在先前说明的实施方式1中，为了执行自适应滤波器101、102的抽头切换，需重新进行用于自适应化的学习，但在上述的实施方式2中，对于自适应滤波器102已经结束了学习，因此，仅对另一个自适应滤波器101执行学习处理即可，所以与实施方式1相比，可获得能削减学习处理所需的时间及用于该学习处理的运算量的效果。
另外，与实施方式1相同，回声消除器10具有存储部104，在使延迟框106的延迟采样数变化前，控制部105将学习结束的自适应滤波器101、102的滤波器系数存储(退避)保存于存储部104，下次，在声源数检测部103中检测到是立体声的情况下，控制部105恢复(复原)先前保存于存储部104的滤波器系数，使延迟框106的延迟采样数返回到与改变前相同的值并使用该值。藉此，能进一步缩短自适应滤波器101、102的学习时间，并有助于削减学习所需的运算量。
在用自适应滤波器101、102不能充分地完全去除来自扬声器12(12L、12R)的再生声音的情况下，通过使控制部105控制音量调节部13(13L、13R)，能将扬声器12(12L、12R)的音量限制于任意的水平，藉此，能防止来自扬声器12(12L、12R)的AV再生声音等混入输入声音。
实施方式3
图3是表示包含本发明实施方式3的回声消除器的声音识别装置的结构的框图。
如图3所示，声音识别装置由回声消除器30、声音识别部31、成为回声声源的扬声器32、麦克风33构成。如下所述，在此，回声消除器30对自适应滤波器301～304的有效数进行优化，以用最小限度的处理器资源获得最大的回声消除效果。
在回声消除器30中安装有处理器(DSP)，回声消除器30具有自适应滤波器301～304、延迟框305～307、信号功率测量部308～312、控制部313。
信号功率测量部308～312监视DSP的自适应滤波器301～304的各回声消除处理前后的信号功率，并将其传输至控制部313。控制部313监视DSP的自适应滤波器301～304的回声消除处理前后的信号功率，通过由信号功率测量部308～312的输出判定的、DSP的处理能力与自适应滤波器301～304的回声消除效果的平衡来对自适应滤波器301～304的有效数进行可变控制。
在上述结构中，回声消除器30经由通信线34读取从扬声器32被输出的、例如车载AV设备的再生声音来作为参照信号。此外，回声消除器30使用自适应滤波器301～304去除经由麦克风33混入说话者发出的声音的扬声器32的输出声音，并将去除后的声音传输至声音识别部31。
如图3所示，回声消除器30如下构成，串联连接多个自适应滤波器301～304，用信号功率测量部308～312分别测量各自适应滤波器301～304的输入输出即回声消除处理前后的信号功率，并将结果传输至控制部313。
当在不是声音识别处理中时(当说话者未说话时)，控制部313比较麦克风33的输入之后的信号功率与通过各自适应滤波器301～304时的信号功率，并将在通过自适应滤波器301～304前与通过自适应滤波器301～304后信号功率的变化与阀值进行比较。此外，若变化比阀值低，则控制部313控制使该自适应滤波器(符号301～304中任意个)的动作停止以使声音通过，从而释放与此相关的处理器资源。
根据上述的本发明实施方式3所涉及的回声消除器，能对于无用的自适应滤波器不进行回声消除处理地执行以最佳的有效数从说话者的输入声音去除来自扬声器32的再生声音的回声消除处理。即，根据实施方式3所涉及的回声消除器，能优化自适应滤波器301～304的有效数以用最小限度的处理器资源获得最大的回声消除效果。
实施方式4
图4是表示包含本发明实施方式4的回声消除器的声音识别装置的结构的框图。
如图4所示，声音识别装置由回声消除器40、声音识别部41、成为回声声源的扬声器42、麦克风43构成。如下所述，在此，回声消除器40优化抽头数以用最小限度的处理器资源获得最大的回声消除效果。
在回声消除器40中安装有处理器(DSP)，回声消除器40具有自适应滤波器401、信号功率测量部402、信号功率测量部403、控制部404。
信号功率测量部402、403监视DSP的自适应滤波器401的回声消除处理前后的信号功率，并将其传输至控制部404。控制部404监视DSP的自适应滤波器401的回声消除处理前后的信号功率，通过由信号功率测量部402、403的输出判定的、DSP的处理能力与自适应滤波器401的回声消除效果的平衡来对自适应滤波器401的抽头数进行可变控制。
在上述的实施方式3中，为了释放处理器资源，控制部313控制使对于回声消除处理不需要的自适应滤波器(符号301～304中任意个)的动作停止以使声音通过，但在如下所述的实施方式4中，利用信号功率测量部402、403监视自适应滤波器401的回声消除处理前后的信号功率，控制部404控制抽头数依次增加或减少，从而以回声消除处理后的信号功率比回声消除处理前的信号功率降低或上升任意值的抽头数执行回声消除处理。
具体而言，回声消除器40经由通信线44读取从扬声器42被输出的、例如车载AV设备的再生声音来作为参照信号。此外，回声消除器40使用利用控制部404能改变抽头数的自适应滤波器401，去除经由麦克风43混入说话者发出的声音的扬声器42的输出声音，并将去除后的声音传输至声音识别部41。
此时，通过用信号功率测量部402、403测量自适应滤波器401的回声消除处理前后的信号功率，并使控制部404读取该测量值从而比较信号功率的大小，来决定自适应滤波器401的抽头数作为最佳抽头数。
在决定上述最佳抽头数时，控制部404使自适应滤波器401的抽头数依次增加，使用以信号功率测量部402测量的信号功率比以信号功率测量部403测量的功率降低任意值(阀值)的抽头数。或者，在充分地消除回声的环境下，控制部404使自适应滤波器401的抽头数依次减少，使用以信号功率测量部402测量的信号功率比以信号功率测量部403测定的信号功率上升阀值的抽头数。
与上述的实施方式1～3相同，决定抽头数的时间点的条件如下，在存在来自形成回声的声源(扬声器42)的输出声音的状态下说话者朝麦克风43不发声，即不是声音识别处理中的状态。这样，由于在声音识别部41的声音识别中及其之前不进行自适应滤波器401的抽头数的改变，因此，能避免声音识别部41的误识别。
根据上述的本发明实施方式4所涉及的回声消除器，能不进行自适应滤波器401的无用的回声消除处理地执行以最佳的抽头数从说话者的输入声音去除来自扬声器42的再生声音的回声消除处理。即，根据本发明实施方式4所涉及的回声消除器，能优化自适应滤波器401的抽头数以用最小限度的处理器资源获得最大的回声消除效果。
根据信号功率测量部402、403的输出，在控制部404判定因DSP的处理能力不足，不能确保必要的自适应滤波器401的抽头数而导致不能获得足够的回声消除效果的情况下，也可限制成为回声声源的扬声器42的最大音量。另外，在当说话者发声时暂时性地限制成为回声声源的扬声器42的音量的情况下，控制部404仅将设置于离对说话者的声音进行集声的麦克风43较近的位置的回声声源的音量降低到限制值。此外，根据回声声源的设置地点，还可降低到对应于收集说话者的声音的麦克风43与回声声源之间的距离、声音传输距离或声音传输衰减量的限制值。
另外，如上所述，在当说话者发声时暂时性地限制回声声源(扬声器42)的音量的情况下，例如，在作为周边装置与声音识别装置连接的LCD显示器(未图示)中显示，或经由声音合成器(未图示)通过声音输出来将限制并降低了回声声源的情况报知给说话者。
此外，即使在上述实施方式4中，也与实施方式1～3相同，在使自适应滤波器401的抽头数变化时，控制部404将之前的自适应滤波器401的滤波器系数存储保存于未图示的存储部，下次，在以相同的抽头数进行处理的情况下，从存储部恢复并再利用先前保存的滤波器系数。
实施方式5
图5是表示包含本发明实施方式5的回声消除器的声音识别装置的结构的框图。
如图5所示，声音识别装置由回声消除器50、声音识别部51、N通道的回声声源52、回声声源数变换部53、扬声器54(541～546)及麦克风55构成。如下所述，回声消除器50能按照必要的自适应滤波器501～506的抽头数自动地使回声声源52的通道数变化。
如后所述，回声声源数变换部53具有根据规定的条件使回声声源52的通道数减少的功能，在此，可进行缩混、环绕声变换(downmixing/surround conversion)。
在此，缩混是指在不能以原始格式再生环绕声软件(surround soft)的情况下，以比原始的通道数少的通道数例如转变为立体声进行制作者想要的再生的处理。
为了去除混入用麦克风55集声的说话者的声音的、例如六个通道的回声声源52的声音，回声消除器50具有使抽头数可变的六个自适应滤波器501～506。
此外，回声消除器50还具有：对串联连接的自适应滤波器501～506的回声消除处理前后的各自的信号功率进行测定的信号功率测量部507、508；以及如后所述的、监视自适应滤波器501～506的回声消除处理前后的信号功率，在被判定为以DSP具有的处理能力不能处理回声声源的数量的自适应滤波器501～506的情况下，控制回声声源变换部53使回声声源52的有效数减少的控制部509。
在上述结构中，回声消除器50经由通信线56～61将从扬声器54被输出的、例如车载AV设备的再生声音作为参照信号读取至各个自适应滤波器501～506。此外，回声消除器50利用控制部509使用自适应滤波器501～506去除经由麦克风55混入说话者发出的声音的扬声器54(541～546)的输出声音，并将去除后的声音传输至声音识别部51。
在回声消除器50中，在通过信号功率测量部507、508的输出及被信号功率测量部507、508测量的通过自适应滤波器501～506前后的变化值与阀值进行比较并被判定为回声消除量不够的情况下，控制部509经由通信线62对回声声源数变换部53进行控制，从而执行通过缩混处理使回声声源52的通道数减少的处理。同时，控制部509使相当于减少的通道的自适应滤波器(符号501～506中任意个)的动作停止，将因停止而剩余的DSP的处理能力分配到其余的各自适应滤波器(符号501～506中任意个)的抽头数的增加量。
另一方面，与此相反，在通过信号功率测量部507、508的输出及被信号功率测量部507、508测量的变化值与阀值进行比较，并被判定为回声消除量过剩的情况下，控制部509经由通信线62控制回声声源数变换部53以进行不减少回声声源52的通道数的控制，或者若回声声源52的通道数小于六个通道则控制回声声源数变换部53，通过环绕声处理将通道数增加到最大六个通道并使声音输出到扬声器54(541～546)。此时，通过使串联连接的所有六个自适应滤波器501～506动作，控制部509能执行回声消除处理。
能提供一种根据上述的处理，即使在扬声器54(541～546)的音量较大等、需要自适应滤波器501～506的抽头数的环境下也能获得足够的回声消除效果，同时，在不那么需要自适应滤波器501～506的抽头数的环境下能进行多通道声源的回声消除的回声消除器。即，根据实施方式5所涉及的回声消除器，能按照必要的自适应滤波器501～506的抽头数自动地使回声声源52的通道数变化。
根据上述的本发明实施方式5所涉及的回声消除器，在暂时性地能利用的DSP处理能力较少且不能进行以回声声源52的数量准备的自适应滤波器501～506的回声消除处理的情况下，通过进行回声声源52的缩混处理减少音减数，能按照DSP的处理能力进行回声消除处理。
另外，可使自适应滤波器501～506的抽头数增加将回声声源52缩混减少的量，即使在暂时性地自适应滤波器501～506的抽头数较少，且不能获得回声消除效果这样的状况下，也可减少回声声源52的数量并增加自适应滤波器501～506的抽头数，从而能获得足够的回声消除效果。
此外，在回声消除量足够，且对于DSP的处理能力存在剩余的情况下，通过中止回声声源52的缩混或进行立体声、环绕声变换的处理来增加声源数，增加进行处理的自适应滤波器501～506的数量，能灵活运用剩余的DSP处理能力，从而能增加作为回声声源52的音乐等的临场感。另外，若回声声源52的设定音量变得越大，则进行缩混处理以减少回声声源52的数量，并越增加自适应滤波器501～506的抽头数，从而在将其用于声音识别的情况下，可提高能进行声音识别的形成回声的声源的音量的上限值。
上述的本发明的实施方式1～实施方式5所涉及的回声消除器10(30、40、50)具有的各结构框的功能可全部由硬件实现，或也可用软件来实现其中至少一部分。
例如，控制部105(实施方式1、2)、控制部313或404(实施方式3、4)以及控制部509(实施方式5)的处理可由硬件实现，另外，也可利用一个或多个程序在计算机上实现其中至少一部分，其中，上述控制部105(实施方式1、2)按照被声源数检测部103检测到的声源的数量使自适应滤波器101、102的抽头数可变；上述控制部313或404(实施方式3、4)通过由信号功率测量部308～312或信号功率测量部402、403的输出判定的、处理器的处理能力与一个以上的自适应滤波器(301～304，或401)的回声消除效果的平衡来使自适应滤波器301～304的有效数或自适应滤波器401的抽头数可变；此外，上述控制部509(实施方式5)监视自适应滤波器501～506的回声消除处理前后的信号功率，在被判定为以处理器具有的处理能力不能处理形成回声的声源的数量的自适应滤波器501～506的情况下，进行控制回声声源变换部53使回声声源52的有效数减少的处理。
工业上的实用性
如上所述，本发明所涉及的回声消除器是不依存于回声声源的数量的大小，为了获得更好的回声消除效果，利用自适应滤波器对从形成回声的各个声源被输入的参照信号进行滤波来生成回声去除信号的回声消除器，由于构成为包括从上述参照信号对上述形成回声的声源的数量进行检测的声源数检测部；以及按照被上述声源数检测部检测的声源的数量使上述自适应滤波器的抽头数可变的控制部，因此，适用于在车载导航装置的声音识别或免提电话(hands－free phone)中目前从输入到麦克风的声音去除由车载扬声器输出的音乐、声音等能仅对说话者的声音进行声音识别或能用电话朝对方一侧传递信息的回声消除器等。
Claims (4)
1.一种回声消除器，包括利用一个以上的自适应滤波器对从各个形成回声的声源被输入的参照信号进行滤波，来生成回声去除信号的处理器，其特征在于，包括：
声源数变换部，该声源数变换部根据规定的条件使所述形成回声的声源的数量可变；以及
控制部，该控制部监视所述自适应滤波器的回声消除处理前后的信号功率，在被判定为以所述处理器具有的处理能力不能处理所述形成回声的声源的数量的所述自适应滤波器的情况下，控制所述声源数变换部以进行使所述形成回声的声源的有效数减少的处理。
2.如权利要求1所述的回声消除器，其特征在于，
所述控制部使所述自适应滤波器的抽头数增加利用所述声源数变换部使所述形成回声的声源的数量减少的量。
3.如权利要求1所述的回声消除器，其特征在于，
所述控制部在通过监视所述自适应滤波器的回声消除处理前后的信号功率并被判定为所述处理器的处理能力存在剩余的情况下，控制所述声源数变换部以停止使所述形成回声的声源减少的处理，或增加所述形成回声的声源的数量以使所述自适应滤波器的有效数增加。
4.如权利要求1所述的回声消除器，其特征在于，
所述控制部监视所述形成回声的声源的设定音量，若所述设定音量变得越大，则控制所述声源数变换部以减小所述形成回声的声源的有效数，并增加所述自适应滤波器的抽头数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-153071 | 2008-06-11 | ||
| JP2008153071 | 2008-06-11 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801222054A Division CN102057428B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103152498A CN103152498A (zh) | 2013-06-12 |
| CN103152498B true CN103152498B (zh) | 2014-12-31 |
Family
ID=41416491
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310030558.XA Expired - Fee Related CN103152499B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
| CN201310030556.0A Expired - Fee Related CN103152498B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
| CN2009801222054A Expired - Fee Related CN102057428B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310030558.XA Expired - Fee Related CN103152499B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801222054A Expired - Fee Related CN102057428B (zh) | 2008-06-11 | 2009-04-10 | 回声消除器 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US8130941B2 (zh) |
| JP (2) | JP4889810B2 (zh) |
| CN (3) | CN103152499B (zh) |
| DE (1) | DE112009001303B4 (zh) |
| WO (1) | WO2009150776A1 (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5264687B2 (ja) * | 2009-11-27 | 2013-08-14 | 日本電信電話株式会社 | エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム |
| JP5264686B2 (ja) * | 2009-11-27 | 2013-08-14 | 日本電信電話株式会社 | エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム |
| JP5695447B2 (ja) * | 2011-03-01 | 2015-04-08 | 株式会社東芝 | テレビジョン装置及び遠隔操作装置 |
| JP5060631B1 (ja) * | 2011-03-31 | 2012-10-31 | 株式会社東芝 | 信号処理装置及び信号処理方法 |
| CN102780511B (zh) * | 2012-07-30 | 2014-10-08 | 华为技术有限公司 | 回声抵消器、数据传输系统和回声抵消的方法 |
| US9232072B2 (en) | 2013-03-13 | 2016-01-05 | Google Inc. | Participant controlled spatial AEC |
| US9251806B2 (en) | 2013-09-05 | 2016-02-02 | Intel Corporation | Mobile phone with variable energy consuming speech recognition module |
| US10068585B2 (en) * | 2014-07-24 | 2018-09-04 | Amenity Research Institute Co., Ltd. | Echo canceller device |
| JP2016201631A (ja) * | 2015-04-08 | 2016-12-01 | ホシデン株式会社 | ハンズフリー通話装置 |
| US9712866B2 (en) | 2015-04-16 | 2017-07-18 | Comigo Ltd. | Cancelling TV audio disturbance by set-top boxes in conferences |
| CN104954942A (zh) * | 2015-06-10 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 用于回音消除的信号输入装置和方法 |
| CN105261363A (zh) * | 2015-09-18 | 2016-01-20 | 深圳前海达闼科技有限公司 | 一种语音识别的方法、装置及终端 |
| US10177810B2 (en) * | 2016-09-02 | 2019-01-08 | Marvell World Trade Ltd. | Systems and methods for echo or interference cancellation power-saving management in a communication system |
| DE102017212980B4 (de) | 2017-07-27 | 2023-01-19 | Volkswagen Aktiengesellschaft | Verfahren zur Kompensation von Störgeräuschen bei einer Freisprecheinrichtung in einem Kraftfahrzeug und Freisprecheinrichtung |
| US10200540B1 (en) * | 2017-08-03 | 2019-02-05 | Bose Corporation | Efficient reutilization of acoustic echo canceler channels |
| WO2019056372A1 (en) * | 2017-09-25 | 2019-03-28 | Global Silicon Limited | ADAPTIVE FILTER |
| CN109831733B (zh) * | 2019-02-26 | 2020-11-24 | 北京百度网讯科技有限公司 | 音频播放性能的测试方法、装置、设备和存储介质 |
| JP7270140B2 (ja) | 2019-09-30 | 2023-05-10 | パナソニックＩｐマネジメント株式会社 | 音声処理システム及び音声処理装置 |
| US10811029B1 (en) * | 2019-10-31 | 2020-10-20 | Amazon Technologies, Inc. | Cascade echo cancellation for asymmetric references |
| JP7365642B2 (ja) | 2020-03-18 | 2023-10-20 | パナソニックＩｐマネジメント株式会社 | 音声処理システム、音声処理装置及び音声処理方法 |
| CN112992171B (zh) * | 2021-02-09 | 2022-08-02 | 海信视像科技股份有限公司 | 一种显示设备及消除麦克风接收回声的控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100785A (ja) * | 1999-07-28 | 2001-04-13 | Matsushita Electric Ind Co Ltd | Ａｖ機器用音声認識装置 |
| CN1605225A (zh) * | 2001-03-27 | 2005-04-06 | 1...有限公司 | 产生声场的方法和装置 |
| JP2006148375A (ja) * | 2004-11-18 | 2006-06-08 | Oki Electric Ind Co Ltd | エコー除去方法、エコーキャンセラ及び電話中継装置 |
| JP2006314051A (ja) * | 2005-05-09 | 2006-11-16 | Mitsubishi Electric Corp | エコー消去装置 |
| CN1875403A (zh) * | 2003-09-02 | 2006-12-06 | 日本电气株式会社 | 信号处理方法和装置 |
| JP2007515911A (ja) * | 2003-12-23 | 2007-06-14 | タンドベルク・テレコム・エイ・エス | ステレオ音声を向上させるためのシステム及び方法 |
| CN101090329A (zh) * | 2006-06-16 | 2007-12-19 | 爱立信公司 | 智能音频限制方法、系统和节点 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04119713A (ja) | 1990-09-10 | 1992-04-21 | Fujitsu Ltd | 適応フィルタ係数推定時に使用する修正定数の設定方法 |
| EP0762804B1 (en) * | 1995-09-08 | 2008-11-05 | Fujitsu Limited | Three-dimensional acoustic processor which uses linear predictive coefficients |
| JP3625325B2 (ja) * | 1995-10-31 | 2005-03-02 | 株式会社東芝 | 拡声通話装置およびエコーキャンセラ |
| US5909384A (en) * | 1996-10-04 | 1999-06-01 | Conexant Systems, Inc. | System for dynamically adapting the length of a filter |
| JP3396393B2 (ja) * | 1997-04-30 | 2003-04-14 | 沖電気工業株式会社 | エコー・雑音成分除去装置 |
| JP3236242B2 (ja) * | 1997-05-12 | 2001-12-10 | 沖電気工業株式会社 | エコーキャンセラ装置 |
| JP3361724B2 (ja) * | 1997-06-11 | 2003-01-07 | 沖電気工業株式会社 | エコーキャンセラ装置 |
| JP4068182B2 (ja) * | 1997-06-30 | 2008-03-26 | 株式会社東芝 | 適応フィルタ |
| JP2000231399A (ja) | 1999-02-10 | 2000-08-22 | Oki Electric Ind Co Ltd | 騒音低減装置 |
| US6665645B1 (en) | 1999-07-28 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Speech recognition apparatus for AV equipment |
| JP3640576B2 (ja) | 1999-09-07 | 2005-04-20 | 沖電気工業株式会社 | エコーキャンセラ、及びその動作方法 |
| US7920697B2 (en) * | 1999-12-09 | 2011-04-05 | Broadcom Corp. | Interaction between echo canceller and packet voice processing |
| DE60129955D1 (de) * | 2000-05-26 | 2007-09-27 | Koninkl Philips Electronics Nv | Verfahren und gerät zur akustischen echounterdrückung mit adaptiver strahlbildung |
| JP3583998B2 (ja) * | 2001-02-09 | 2004-11-04 | 日本電信電話株式会社 | 多チャネルエコー消去方法、その装置及びプログラム記録媒体 |
| JP4396053B2 (ja) * | 2001-03-28 | 2010-01-13 | パナソニック電工株式会社 | エコー抑圧装置 |
| US7113491B2 (en) * | 2001-07-31 | 2006-09-26 | Conexant, Inc. | Method and system for varying an echo canceller filter length based on data rate |
| US20030099285A1 (en) * | 2001-07-31 | 2003-05-29 | Graziano Michael J. | Method and system for determining data rate using sub-band capacity |
| JP2003099100A (ja) | 2001-09-21 | 2003-04-04 | Matsushita Electric Ind Co Ltd | 音声認識装置およびその方法 |
| DE602004017603D1 (de) * | 2004-09-03 | 2008-12-18 | Harman Becker Automotive Sys | Sprachsignalverarbeitung für die gemeinsame adaptive Reduktion von Störgeräuschen und von akustischen Echos |
| JP2008005293A (ja) * | 2006-06-23 | 2008-01-10 | Matsushita Electric Ind Co Ltd | エコー抑圧装置 |
| CN101179294B (zh) * | 2006-11-09 | 2012-07-04 | 黄山好视达通信技术有限公司 | 自适应回声消除器及其回声消除方法 |
| JP2009017029A (ja) * | 2007-07-02 | 2009-01-22 | Sony Corp | 音声信号処理装置、音声信号処理方法 |
-
2009
- 2009-04-10 JP JP2010516728A patent/JP4889810B2/ja not_active Expired - Fee Related
- 2009-04-10 CN CN201310030558.XA patent/CN103152499B/zh not_active Expired - Fee Related
- 2009-04-10 DE DE112009001303.1T patent/DE112009001303B4/de not_active Expired - Fee Related
- 2009-04-10 US US12/991,607 patent/US8130941B2/en not_active Expired - Fee Related
- 2009-04-10 CN CN201310030556.0A patent/CN103152498B/zh not_active Expired - Fee Related
- 2009-04-10 WO PCT/JP2009/001668 patent/WO2009150776A1/ja active Application Filing
- 2009-04-10 CN CN2009801222054A patent/CN102057428B/zh not_active Expired - Fee Related
-
2011
- 2011-10-05 JP JP2011221007A patent/JP5562309B2/ja not_active Expired - Fee Related
- 2011-12-30 US US13/340,949 patent/US8644494B2/en not_active Expired - Fee Related
- 2011-12-30 US US13/341,034 patent/US8644495B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100785A (ja) * | 1999-07-28 | 2001-04-13 | Matsushita Electric Ind Co Ltd | Ａｖ機器用音声認識装置 |
| CN1605225A (zh) * | 2001-03-27 | 2005-04-06 | 1...有限公司 | 产生声场的方法和装置 |
| CN1875403A (zh) * | 2003-09-02 | 2006-12-06 | 日本电气株式会社 | 信号处理方法和装置 |
| JP2007515911A (ja) * | 2003-12-23 | 2007-06-14 | タンドベルク・テレコム・エイ・エス | ステレオ音声を向上させるためのシステム及び方法 |
| JP2006148375A (ja) * | 2004-11-18 | 2006-06-08 | Oki Electric Ind Co Ltd | エコー除去方法、エコーキャンセラ及び電話中継装置 |
| JP2006314051A (ja) * | 2005-05-09 | 2006-11-16 | Mitsubishi Electric Corp | エコー消去装置 |
| CN101090329A (zh) * | 2006-06-16 | 2007-12-19 | 爱立信公司 | 智能音频限制方法、系统和节点 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103152499B (zh) | 2014-12-10 |
| JP4889810B2 (ja) | 2012-03-07 |
| CN103152498A (zh) | 2013-06-12 |
| US20120099722A1 (en) | 2012-04-26 |
| CN102057428B (zh) | 2013-08-14 |
| US8644495B2 (en) | 2014-02-04 |
| DE112009001303B4 (de) | 2016-02-18 |
| WO2009150776A1 (ja) | 2009-12-17 |
| DE112009001303T5 (de) | 2011-05-12 |
| US8644494B2 (en) | 2014-02-04 |
| JPWO2009150776A1 (ja) | 2011-11-10 |
| JP2012070385A (ja) | 2012-04-05 |
| US8130941B2 (en) | 2012-03-06 |
| US20120099723A1 (en) | 2012-04-26 |
| JP5562309B2 (ja) | 2014-07-30 |
| CN103152499A (zh) | 2013-06-12 |
| CN102057428A (zh) | 2011-05-11 |
| US20110091031A1 (en) | 2011-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103152498B (zh) | 回声消除器 | |
| CN101552010B (zh) | 音频处理方法和音频处理装置 | |
| CN100459817C (zh) | 音频装置及其再生用方法 | |
| CN104685563A (zh) | 用于嘈杂环境噪里的回放的音频信号整形 | |
| CN104823237A (zh) | 用于修复压缩音频信号的系统、计算机可读存储介质和方法 | |
| ATE447824T1 (de) | System und verfahren für erweitertes stereo-audio | |
| CN110248300B (zh) | 一种基于自主学习的啸叫抑制方法及扩声系统 | |
| US20160212564A1 (en) | Apparatus and Method for Compressing a Set of N Binaural Room Impulse Responses | |
| CN114420146A (zh) | 音频数据处理方法、装置、电子设备和存储介质 | |
| CN108600917A (zh) | 一种嵌入式多路音频管理系统及管理方法 | |
| US20090052681A1 (en) | System and a method of processing audio data, a program element, and a computer-readable medium | |
| CN106297816B (zh) | 一种回声消除的非线性处理方法和装置及电子设备 | |
| CN105261363A (zh) | 一种语音识别的方法、装置及终端 | |
| CN116386577A (zh) | 一种一键消人声原音方法及系统 | |
| Tsilfidis et al. | Hierarchical perceptual mixing | |
| US20070046503A1 (en) | Circuitry and method for sampling audio data | |
| Bhagat et al. | Improved audio filtering using extended high pass filters | |
| CN101383982B (zh) | 适用于自动控制装置的音调检测方法及音调检测装置 | |
| US8195317B2 (en) | Data reproduction apparatus and data reproduction method | |
| JP3298188B2 (ja) | 音声検出方法 | |
| CN109378019B (zh) | 音频数据读取方法及处理系统 | |
| CN119883175A (zh) | 一种车载音频系统及控制方法 | |
| CN117912429A (zh) | 一种低频歌曲生成方法、设备及介质 | |
| US20140376732A1 (en) | Device echo cancellation | |
| Abid et al. | A new psycho-acoustic model For MPEG1 layer 3 coder using A dynamic Gammachirp wavelet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141231 Termination date: 20200410 |