CN111699701B

CN111699701B - 声音信号处理装置和声音信号处理方法

Info

Publication number: CN111699701B
Application number: CN201880087908.7A
Authority: CN
Inventors: 细谷耕佑; 木村胜
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-09
Filing date: 2018-02-09
Publication date: 2021-07-13
Anticipated expiration: 2038-02-09
Also published as: US20210044912A1; JPWO2019155603A1; US11076252B2; WO2019155603A1; DE112018006786T5; CN111699701A; DE112018006786B4

Abstract

具有：第1相关成分分离部(110)，其通过根据预先确定的期间内的第2信号预测第1信号来生成第1相关成分信号，使用第1相关成分信号从第1信号中分离第1非相关成分信号；第2相关成分分离部(120)，其通过根据预先确定的期间内的第1信号预测第2信号来生成第2相关成分信号，使用第2相关成分信号从第2信号中分离第2非相关成分信号；相关成分合成部(130)，其对第1相关成分信号与第2相关成分信号进行合成，生成合成相关成分信号；第1增益乘法部(131)，其对合成相关成分信号乘以增益，生成相关成分信号；第1信号加法部(132)，其将相关成分信号与第1非相关成分信号相加；以及第2信号加法部(133)，其将相关成分信号与第2非相关成分信号相加。

Description

声音信号处理装置和声音信号处理方法

技术领域

本发明涉及声音信号处理装置和声音信号处理方法。

背景技术

在用电视播放的内容中，台词或旁白等人的声音通常在立体声信号的左右声道中具有较高的相关性。另一方面，BGM等的背景音通常在立体声信号的左右声道中具有较低的相关性。

基于上述的前提，存在通过提取并增强立体声信号的左右声道的相关成分来改善人的声音的可听性的技术。

例如，在专利文献1中公开有以下方法：通过对立体声信号的左右声道的和信号应用提取人声频带的滤波器和从人声频带使预先确定的频率成分衰减的陷波滤波器，仅增强人的声音。

现有技术文献

专利文献

专利文献1：日本特开2005-086462号公报

发明内容

发明要解决的课题

但是，在现有的技术中，通过使用立体声信号的和信号来提取相关成分，因此，例如，在立体声信号的左右声道中存在几毫秒(ms)的偏移的情况下，无法改善人的声音等的可听性。

因此，本发明的一个或多个方式的目的在于，即使在第1信号和第2信号中存在时间轴上的偏移，也能够改善人的声音的可听性。

用于解决课题的手段

本发明的一个方式的声音信号处理装置接受第1信号和第2信号的输入，其特征在于，该声音信号处理装置具有：第1相关成分分离部，其通过根据预先确定的期间内的所述第2信号预测所述第1信号，生成在所述第2信号中与所述第1信号存在相关关系的第1相关成分信号，将所述第1相关成分信号的相反相位的信号与所述第1信号相加，由此，从所述第1信号中分离与所述第2信号不存在相关关系的第1非相关成分信号；第2相关成分分离部，其通过根据所述预先确定的期间内的所述第1信号预测所述第2信号，生成在所述第1信号中与所述第2信号存在相关关系的第2相关成分信号，将所述第2相关成分信号的相反相位的信号与所述第2信号相加，由此，从所述第2信号中分离与所述第1信号不存在相关关系的第2非相关成分信号；相关成分合成部，其对所述第1相关成分信号与所述第2相关成分信号进行合成，生成合成相关成分信号；第1增益乘法部，其对所述合成相关成分信号乘以增益，生成相关成分信号；第1信号加法部，其将所述相关成分信号与所述第1非相关成分信号相加；以及第2信号加法部，其将所述相关成分信号与所述第2非相关成分信号相加。

在本发明的一个方式的声音信号处理方法中，其特征在于，接受第1信号和第2信号的输入，通过根据预先确定的期间内的所述第2信号预测所述第1信号，生成在所述第2信号中与所述第1信号存在相关关系的第1相关成分信号，将所述第1相关成分信号的相反相位的信号与所述第1信号相加，由此，从所述第1信号中分离与所述第2信号不存在相关关系的第1非相关成分信号，通过根据所述预先确定的期间内的所述第1信号预测所述第2信号，生成在所述第1信号中与所述第2信号存在相关关系的第2相关成分信号，将所述第2相关成分信号的相反相位的信号与所述第2信号相加，由此，从所述第2信号中分离与所述第1信号不存在相关关系的第2非相关成分信号，对所述第1相关成分信号与所述第2相关成分信号进行合成，生成合成相关成分信号，对所述合成相关成分信号乘以增益，生成相关成分信号，将所述相关成分信号与所述第1非相关成分信号相加，将所述相关成分信号与所述第2非相关成分信号相加。

发明效果

根据本发明的一个或多个方式，即使在第1信号和第2信号中存在时间轴上的偏移，也能够改善人的声音的可听性。

附图说明

图1是概略地示出实施方式1的声音信号处理装置的结构的框图。

图2是概略地示出第1相关成分分离部的结构的框图。

图3是概略地示出第2相关成分分离部的结构的框图。

图4的(A)和(B)是示出声音信号处理装置的硬件和软件中的结构例的框图。

图5是示出声音信号处理装置中的处理的流程图。

图6是概略地示出实施方式2的声音信号处理装置的结构的框图。

图7是示出用于频带增强的数字滤波的频率特性例的示意图。

图8是概略地示出实施方式3的声音信号处理装置的结构的框图。

具体实施方式

实施方式1

图1是概略地示出实施方式1的声音信号处理装置100的结构的框图。

声音信号处理装置100具有第1相关成分分离部110、第2相关成分分离部120、相关成分合成部130、作为第1增益乘法部的增益乘法部131、第1信号加法部132和第2信号加法部133。

另外，以向声音信号处理装置100输入立体声信号为前提。

第1相关成分分离部110接受作为第1信号的左声道输入信号S1和作为第2信号的右声道输入信号S2的输入。

第1相关成分分离部110根据预先确定的期间内的右声道输入信号S2生成在右声道输入信号S2中与左声道输入信号S1存在相关关系的第1相关成分信号S4。

此外，第1相关成分分离部110通过将第1相关成分信号S4的相反相位的信号与左声道输入信号S1相加，从左声道输入信号S1中分离作为与右声道输入信号S2不存在相关关系的第1非相关成分信号的左声道非相关成分信号S3。

图2是概略地示出第1相关成分分离部110的结构的框图。

第1相关成分分离部110具有第1预测部111和第1非相关成分计算部112。

在以下的说明中，设当前的时刻为时刻n，比时刻n靠前预先确定的時间的时刻为n-1，比时刻n-1靠前预先确定的時间的时刻为时刻n-2，…，比时刻n-(N-1)靠预先确定的时刻为时刻n-N。而且，设时刻n、时刻n-1、时刻n-2、…、时刻n-N各自的右声道输入信号S2为r(n)、r(n-1)、r(n-2)、…、r(n-N)。另外，N为预测次数，为2以上的整数。

第1预测部111根据r(n)、r(n-2)、…、r(n-N)和预测系数来预测左声道输入信号S1，将预测到的信号视作相关成分，作为第1相关成分信号S4提供给第1非相关成分计算部112和图1所示的相关成分合成部130。例如，通过对r(n)、r(n-2)、…、r(n-N)和预测系数进行卷积来计算第1相关成分信号S4。

这里，作为用于预测的算法，例如，可以使用作为已知的自适应滤波器技术的LMS(Least-Mean-Square：最小二乗法)算法等。即，第1预测部111通过自适应滤波器处理，预测左声道输入信号S1。

此外，在将LMS算法等自适应滤波器技术应用于第1预测部111的情况下，第1预测部111在接收到左声道非相关成分信号S3时，对预测系数的值进行更新。这是因为，左声道非相关成分信号S3在自适应滤波器技术中为表示预测误差的误差信号。因此，第1预测部111通过以使误差信号接近0的方式对预测系数的值进行更新并预测左声道输入信号S1，能够生成在右声道输入信号S2中包含与左声道输入信号S1具有较高的相关性的人的声音的第1相关成分信号S4。

返回图1，第2相关成分分离部120接受右声道输入信号S2和左声道输入信号S1的输入。

第2相关成分分离部120根据预先确定的期间内的左声道输入信号S1，生成在左声道输入信号S1中与右声道输入信号S2存在相关关系的第2相关成分信号S6。

此外，第2相关成分分离部120通过将第2相关成分信号S6的相反相位的信号与右声道输入信号S2相加，从右声道输入信号S2中分离作为与左声道输入信号S1不存在相关关系的第2非相关成分信号的右声道非相关成分信号S5。

图3是概略地示出第2相关成分分离部120的结构的框图。

第2相关成分分离部120具有第2预测部121和第2非相关成分计算部122。

在以下的说明中，设时刻n、时刻n-1、时刻n-2、…、时刻n-N各自的左声道输入信号S1为l(n)、l(n-1)、l(n-2)、…、l(n-N)。

第2预测部121根据l(n)、l(n-1)、l(n-2)、…、l(n-N)和预测系数来预测右声道输入信号S2，将预测到的信号视作相关成分，作为第2相关成分信号S6提供给第2非相关成分计算部122和图1所示的相关成分合成部130。例如，通过对l(n)、l(n-1)、l(n-2)、…、l(n-N)与预测系数进行卷积来计算第2相关成分信号S6。

作为用于预测的算法，与第1预测部111同样地使用LMS算法等即可。

另外，在将LMS算法等自适应滤波器技术应用于第2预测部121的情况下，当接收到后述的右声道非相关成分信号S5时，第2预测部121对预测系数的值进行更新。这是因为，右声道非相关成分信号S5在自适应滤波器技术中为表示预测误差的误差信号。因此，第2预测部121通过以使误差信号接近0的方式对预测系数的值进行更新并预测右声道输入信号S2，能够生成在左声道输入信号S1中包含与右声道输入信号S2具有较高的相关性的人的声音的第2相关成分信号S6。

第2非相关成分计算部122使从第2预测部121提供的第2相关成分信号S6成为相反相位，并且将成为相反相位后的第2相关成分信号S6与右声道输入信号S2相加，计算右声道非相关成分信号S5。另外，如上所述，右声道非相关成分信号S5在自适应滤波器技术中为误差信号。

返回图1，相关成分合成部130通过接收第1相关成分信号S4和第2相关成分信号S6，进行这2个信号的加法处理，对它们进行合成而计算合成相关成分信号S7。

例如，相关成分合成部130进行基于下述的(1)式的处理，将计算出的X_P(n)作为合成相关成分信号S7提供给增益乘法部131。

【式1】

x_p(n)＝(l_p(n)+r_p(n))/2 (1)

这里，l_P(n)表示第1相关成分信号S4，r_P(n)表示第2相关成分信号S6。

增益乘法部131接收合成相关成分信号S7，将合成相关成分信号S7与增益重叠，将增益重叠后的合成相关成分信号作为相关成分信号S8提供给第1信号加法部132和第2信号加法部133。

这里，合成相关成分信号S7包含较多人的声音的成分，因此，要重叠的增益优选为大于1的值。此外，增益值可以是固定值，也可以是用户经由未图示的输入部和显示部使用GUI(Graphical User Interface：图形用户界面)设定的可变值。

第1信号加法部132将左声道非相关成分信号S3与相关成分信号S8相加，生成作为最终输出的左声道输出信号S9。生成的左声道输出信号S9被输出到声音信号处理装置100的后级。

同样地，第2信号加法部133对右声道非相关成分信号S5与相关成分信号S8相加，生成作为最终输出的右声道输出信号S10。生成的右声道输出信号S10被输出到声音信号处理装置100的后级。

声音信号处理装置100能够通过硬件(H/W)或软件(S/W)来实现。

图4的(A)是示出由H/W构成声音信号处理装置100的情况下的一例的框图。

声音信号处理装置100能够通过处理电路150来实现。在该情况下，从介质再现装置151或广播波接收装置152向处理电路150输入立体声信号。而且，由处理电路150处理后的立体声信号被DAC电路153转换成模拟信号，经由放大器154交接给扬声器155。另外，介质再现装置151例如相当于从CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能盘)或BD(Blu-ray Disc：蓝光光盘)等介质读取数字信息的装置。

此外，显示装置156作为显示用于变更增益值的画面图像的显示部发挥功能，输入装置157作为用于输入增益值的输入部发挥功能。

图4的(B)是示出由S/W构成声音信号处理装置100的情况下的一例的框图。

声音信号处理装置100能够通过将外部存储装置160中存储的程序读出到存储器161并由处理器162执行来实现。在该情况下，处理器162对外部存储装置160中存储的数据或存储器161中展开的数据进行处理。另外，外部存储装置160例如相当于直接或经由网络而连接的硬盘驱动器(HDD)或固态驱动器(SSD)等存储装置。

另外，也可以连接介质再现装置151、广播波接收装置152、扬声器155、显示装置156或输入装置157。

这里，也可以由图4的(A)所示的处理电路150、介质再现装置151或广播波接收装置152、DAC电路153、放大器154、扬声器155、显示装置156和输入装置157构成声音装置100。

或者，也可以由图4的(B)所示的外部存储装置160、存储器161、处理器162、介质再现装置151或广播波接收装置152、扬声器155、显示装置156和输入装置157构成声音装置100。

图5是示出实施方式1中的声音信号处理装置100中的处理的流程图。

首先，第1相关成分分离部110接受左声道输入信号S1和右声道输入信号S2的输入，生成左声道非相关成分信号S3和第1相关成分信号S4(ST10)。

此外，第2相关成分分离部120接受右声道输入信号S2和左声道输入信号S1的输入，生成右声道非相关成分信号S5和第2相关成分信号S6(ST11)。

接着，相关成分合成部130对第1相关成分信号S4与第2相关成分信号S6进行合成，生成合成相关成分信号S7(ST12)。

接着，增益乘法部131对合成相关成分信号S7重叠增益，生成相关成分信号S8(ST13)。

接着，第1信号加法部132将左声道非相关成分信号S3与相关成分信号S8相加，生成左声道输出信号S9(ST14)。

此外，第2信号加法部133将右声道非相关成分信号S5与相关成分信号S8相加，生成右声道输出信号S10(ST15)。

如上所述，根据实施方式1，通过利用相关成分分离部110、120将输入信号分离成相关成分信号和非相关成分信号，并对相关成分信号乘以增益，能够改善人的声音的可听性。

此外，为了提取相关成分，使用自适应滤波器的算法，因此，能够还提取在立体声信号的左右声道中偏移几ms的相关成分。

实施方式2

图6是概略地示出实施方式2的声音信号处理装置200的结构的框图。

声音信号处理装置200具有第1相关成分分离部110、第2相关成分分离部120、相关成分合成部130、增益乘法部131、第1信号加法部132、第2信号加法部133和频带增强部234。

实施方式2的声音信号处理装置200除了追加有频带增强部234的方面以外，都与实施方式1的声音信号处理装置100同样地构成。

但是，相关成分合成部130将合成相关成分信号S7提供给频带增强部234，如后所述，增益乘法部131对从频带增强部234提供的增强合成相关成分信号S11重叠增益。

频带增强部234接收合成相关成分信号S7，通过滤波器处理针对该合成相关成分信号S7增强人容易听取的频带。频带增强部234使用的数字滤波可以通过FIR(FiniteImpulse Response：有限脉冲响应)滤波器或IIR(Infinite Impulse Response：无限脉冲响应)滤波器来实现。图7示出用于频带增强的数字滤波的频率特性。

人容易听取的频带是对人的声音的可听性来说较重要的频带。

然后，频带增强部234将频带增强后的合成相关成分信号作为增强合成相关成分信号S11提供给增益乘法部131。

如上所述，根据实施方式2，利用频带增强部234增强对人的声音的可听性来说较重要的频带，因此，能够得到人的声音的清晰度进一步改善的效果。

实施方式3

图8是概略地示出实施方式3的声音信号处理装置300的结构的框图。

声音信号处理装置300具有第1相关成分分离部110、第2相关成分分离部120、相关成分合成部130、增益乘法部131、第1信号加法部132、第2信号加法部133、频带增强部234、作为第2增益乘法部的增益乘法部335、作为第3增益乘法部的增益乘法部336。

实施方式3的声音信号处理装置300除了追加有增益乘法部335和增益乘法部336的方面以外，都与实施方式2的声音信号处理装置200同样地构成。

但是，第1相关成分分离部110将分离出的左声道非相关成分信号S3提供给增益乘法部335，第2相关成分分离部120将分离出的右声道非相关成分信号S5提供给增益乘法部336。

此外，第1信号加法部132将从增益乘法部335提供的乘法左声道非相关成分信号S12与相关成分信号S8相加，第2信号加法部133将从增益乘法部336提供的乘法右声道非相关成分信号S13与相关成分信号S8相加。

增益乘法部335接收左声道非相关成分信号S3，对该左声道非相关成分信号S3乘以增益，将乘以增益后的左声道非相关成分信号作为乘法左声道非相关成分信号S12提供给第1信号加法部132。这里，左声道非相关成分信号S3包含较多人的声音以外的成分，因此，要重叠的增益优选为小于1的值。此外，增益值可以是固定值，也可以是如上述那样使用GUI由用户设定的可变值。

增益乘法部336接收右声道非相关成分信号S5，将该右声道非相关成分信号S5乘以增益，将乘以增益后的右声道非相关成分信号作为乘法右声道非相关成分信号S13提供给第2信号加法部133。这里，右声道非相关成分信号S5较多包含除了人的声音以外的成分，因此，要重叠的增益优选为小于1的值。此外，增益值可以是固定值，也可以是如上所述使用GUI由用户设定的可变值。

如上所述，根据实施方式3，能够利用增益乘法部335、336减小人的声音以外的成分的音量，因此，能够得到人的声音的清晰度进一步改善的效果。

在实施方式3中，也可以不具有频带增强部234。

标号说明

100、200、300：声音信号处理装置；110：第1相关成分分离部；111：第1预测部；112：第1非相关成分计算部；120：第2相关成分分离部；121：第2预测部；122：第2非相关成分计算部；130：相关成分合成部；131：增益乘法部；132：第1信号加法部；133：第2信号加法部；234：频带增强部；335：增益乘法部；336：增益乘法部。

Claims

1.一种声音信号处理装置，该声音信号处理装置接受第1信号和第2信号的输入，其特征在于，该声音信号处理装置具有：

第1相关成分分离部，其通过根据预先确定的期间内的所述第2信号预测所述第1信号，生成在所述第2信号中与所述第1信号存在相关关系的第1相关成分信号，将所述第1相关成分信号的相反相位的信号与所述第1信号相加，由此，从所述第1信号中分离与所述第2信号不存在相关关系的第1非相关成分信号；

第2相关成分分离部，其通过根据所述预先确定的期间内的所述第1信号预测所述第2信号，生成在所述第1信号中与所述第2信号存在相关关系的第2相关成分信号，将所述第2相关成分信号的相反相位的信号与所述第2信号相加，由此，从所述第2信号中分离与所述第1信号不存在相关关系的第2非相关成分信号；

相关成分合成部，其对通过根据预先确定的期间内的所述第2信号预测所述第1信号而生成的所述第1相关成分信号与通过根据所述预先确定的期间内的所述第1信号预测所述第2信号而生成的所述第2相关成分信号进行合成，生成合成相关成分信号；

第1增益乘法部，其对所述合成相关成分信号乘以增益，生成相关成分信号；

第1信号加法部，其将所述相关成分信号与所述第1非相关成分信号相加；以及

第2信号加法部，其将所述相关成分信号与所述第2非相关成分信号相加。

2.根据权利要求1所述的声音信号处理装置，其特征在于，

该声音信号处理装置还具有频带增强部，该频带增强部对所述合成相关成分信号实施增强人容易听取的频带的数字滤波，

所述第1增益乘法部对由所述频带增强部增强后的所述合成相关成分信号乘以所述增益。

3.根据权利要求1或者2所述的声音信号处理装置，其特征在于，

所述声音信号处理装置还具有：

第2增益乘法部，其对所述第1非相关成分信号乘以增益；以及

第3增益乘法部，其对所述第2非相关成分信号乘以增益，

所述第1信号加法部将所述相关成分信号与由所述第2增益乘法部处理后的所述第1非相关成分信号相加，

所述第2信号加法部将所述相关成分信号与由所述第3增益乘法部处理后的所述第2非相关成分信号相加。

4.根据权利要求3所述的声音信号处理装置，其特征在于，

能够变更在所述第1增益乘法部、所述第2增益乘法部和所述第3增益乘法部的至少一个中使用的增益值。

5.一种声音信号处理方法，其特征在于，

接受第1信号和第2信号的输入，

通过根据预先确定的期间内的所述第2信号预测所述第1信号，生成在所述第2信号中与所述第1信号存在相关关系的第1相关成分信号，

将所述第1相关成分信号的相反相位的信号与所述第1信号相加，由此，从所述第1信号中分离与所述第2信号不存在相关关系的第1非相关成分信号，

通过根据所述预先确定的期间内的所述第1信号预测所述第2信号，生成在所述第1信号中与所述第2信号存在相关关系的第2相关成分信号，

将所述第2相关成分信号的相反相位的信号与所述第2信号相加，由此，从所述第2信号中分离与所述第1信号不存在相关关系的第2非相关成分信号，

对通过根据预先确定的期间内的所述第2信号预测所述第1信号而生成的所述第1相关成分信号与通过根据所述预先确定的期间内的所述第1信号预测所述第2信号而生成的所述第2相关成分信号进行合成，生成合成相关成分信号，

对所述合成相关成分信号乘以增益，生成相关成分信号，

将所述相关成分信号与所述第1非相关成分信号相加，

将所述相关成分信号与所述第2非相关成分信号相加。