CN116996823A - 包括以辅助参数为条件的信号处理网络的助听器 - Google Patents

Abstract

本申请公开了包括以辅助参数为条件的信号处理网络的助听器，所述助听器包括：用于提供表示输入声音信号的至少一电输入信号的输入单元；用于提供至少一组可感知为声音的刺激的输出单元；连接到输入单元和输出单元的处理单元，处理单元包括神经网络，处理单元配置成基于神经网络的权值确定助听器的信号处理参数；保存所述神经网络的权值的存储器；及用于建立到辅助装置的通信链路的天线和收发器电路；其中，所述神经网络的权值为可自适应调节的权值，所述助听器配置成从辅助装置接收关于所述可自适应调节的权值的调节的配置数据，所述处理单元配置成基于所述配置数据调节所述神经网络的可自适应调节的权值。

Description

包括以辅助参数为条件的信号处理网络的助听器

技术领域

本申请涉及适于佩戴在助听器用户的耳朵中或耳朵处和/或完全或部分植入在助听器用户的头部中的助听器。

本申请还涉及包括助听器和辅助装置的听力系统。

本申请还涉及一种方法。

本申请还涉及包括处理器和程序代码的数据处理系统，程序代码用于使得处理器执行本发明方法的至少部分步骤。

本申请还涉及计算机可读存储介质，其上存储有包括指令的计算机程序，当计算机程序由计算机运行时，使得计算机实现本发明方法。

背景技术

一些现代的助听器使用助听器内神经网络执行部分信号处理。作为例子，可实施深度神经网络来执行部分降噪。目前，这样的神经网络为固定的神经网络。换言之，同一神经网络给予每一助听器用户，同一神经网络在所有声学情形下使用。

然而，这样的神经网络如果针对具体助听器用户和/或声学情形进行调整，其表现将更好。换言之，理想地，不同的神经网络可用于不同的助听器用户或声学情形，助听器用户或声学情形例如通过用户数据(如听力图)、行为数据、用户偏好等标示。

传统上，这可能通过针对每一个体助听器用户或每一个别声学情形训练网络而进行。然而，该方法不可行，因为网络训练(涉及大量数据、计算能力和时间的复杂过程)必须在听觉护理诊所进行，其对于变化的需要或者不停的程序变化同样不可能。

因而，需要一种解决该问题的解决方案，其应避免前述不切实际的训练阶段，且其使得针对不同的用户、用户需要和声学情形采用不同的神经网络可行。该方法应可应用于使用神经网络进行信号处理的其它装置，包括但不限于耳蜗植入物、耳机、一般意义上的助听装置等。

发明内容

助听器

在本申请的一方面，提供一种助听器。

助听器适于佩戴在助听器用户的耳朵中或耳朵处和/或完全或部分植入在助听器用户的头部中。

助听器包括输入单元，用于从助听器用户的声环境接收输入声音信号并提供表示所述输入声音信号的至少一电输入信号。

输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括无线接收器，用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号。

助听器包括输出单元，用于基于所述至少一电输入信号的处理后版本向助听器用户提供至少一组可感知为声音的刺激。

输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)助听器中)。

输出单元可包括耳蜗植入物的多个电极(对于CI型助听器而言)或者骨导助听器的振动器。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式助听器中)。

输出单元可(另外或作为替代)包括发射器，用于将助听器拾取的声音(例如经网络，例如在电话运行模式下，或者在耳机配置时)传给另一装置例如远端通信伙伴。

助听器包括连接到输入单元和输出单元的处理单元。处理单元包括神经网络。处理单元配置成基于神经网络的权值(weight，也称为权重)确定助听器的信号处理参数。

助听器可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)，从而例如补偿用户的听力受损。

从而，处理单元提供所述至少一电输入信号的处理后版本。

助听器包括保存助听器的权值的存储器。

助听器包括用于建立到辅助装置的通信链路的天线和收发器电路。

通信链路可以是到娱乐设备(例如电视机)、通信装置(如电话)、无线传声器、另一助听器、服务器设备(例如云服务器)、或处理单元等的无线链路。助听器因而可配置成从另一装置无线接收直接电输入信号。类似地，听力装置可配置成将直接电输入信号无线传给另一装置。直接电输入信号可表示或包括音频信号和/或控制信号和/或信息信号。

一般地，助听器的天线及收发器电路建立的无线链路可以是任何类型。无线链路可以是基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。优选地，用于在助听器和另一装置之间建立通信链路的频率低于70GHz，例如位于从50MHz到70GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。无线链路可基于标准化或专用技术。无线链路可基于蓝牙技术(如低功耗蓝牙技术)或超宽带(UWB)技术。

助听器如输入单元和/或天线及收发器电路可包括变换单元，用于将时域信号转换为变换域(例如频域或拉普拉斯(Laplace)域等)中的信号。变换单元可由时频(TF)转换单元构成或包括时频转换单元，其用于提供输入信号的时频表示。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。TF转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。TF转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元(例如离散傅里叶变换(DFT)算法、短时傅里叶变换(STFT)算法、或类似算法)。助听器考虑的、从最小频率f_min到最大频率f_max的频率范围可包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。通常，采样率f_s大于或等于最大频率f_max的两倍，即f_s≥2f_max。助听器的正向通路和/或分析通路的信号可拆分为NI个(例如均匀宽度的)频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。助听器可适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。

神经网络的权值为可自适应调节的权值。

可自适应调节的权值可指神经网络的权值或参数可一次或多次更新/调节/校正。

可自适应调节的权值可指神经网络的权值或参数以及偏置(bias)单元可一次或多次更新/调节/校正。

助听器配置成从辅助装置接收关于所述可自适应调节的权值的调节的配置数据。

助听器配置成从辅助装置接收关于所述可自适应调节的权值的配置的配置数据。

术语“关于……的调节”或者“关于……的配置”可指配置数据可包含使助听器或其处理单元能调节/更新/改变其神经网络的权值或者神经网络本身的信息如参数、权值、神经网络信息。

配置数据可经通信链路从辅助装置传输并可由助听器接收。助听器或辅助装置的天线和收发器电路可实现配置数据的传输和接收。

处理单元配置成基于所述配置数据调节神经网络的可自适应调节的权值。

因而，提供一种不需要进行不切实际的训练阶段且使得针对不同的用户、用户需要和声学情形采用不同的神经网络可行的解决方案。此外，可应用该解决方案以根据助听器用户的交变的声环境不停地(原地)更新助听器的信号处理参数。

配置数据可基于助听器用户的听觉能力。

例如，配置数据可基于助听器用户的听力图。

配置数据可基于来自多个检测器的信号/数据，其配置成提供与助听器的当前网络环境(如当前声环境)有关、和/或与佩戴助听器的用户的当前状态有关、和/或与助听器的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成辅助装置或助听器的一部分。

多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域)，例如在有限的多个频带中。

配置数据可基于助听器用户的声音环境的声音场景类别。

例如，配置数据可基于来自SNR(信噪比)估计器或SNR检测器的信号/数据。

例如，配置数据可基于来自SPL(声压级)估计器或SPL检测器的信号/数据。

SPL估计器或者SPL检测器可估计助听器的正向通路的信号的当前电平。SPL估计器或者SPL检测器可配置成决定正向通路的信号的当前电平是否高于或低于给定(L-)阈值。SPL估计器或者SPL检测器可作用于全频带信号(时域)。SPL估计器或者SPL检测器可作用于频带拆分信号((时-)频域)。

例如，配置数据可基于来自至少一加速计的信号/数据。

加速计可配置成检测助听器用户的面部肌肉和/或骨头的例如因言语或咀嚼(如颌部运动)引起的运动或者助听器用户的面部例如在竖直和/或水平方向的运动/转动，从而提供标示该运动的检测信号。

加速计可配置成检测颌部运动。助听器可配置成将颌部运动应用为自我话音检测的另外的线索。

例如，当助听器用户点头时可检测到运动，例如作为助听器用户跟随并对会话伙伴/说话伙伴的声音信号/讲话感兴趣的指示。

运动传感器可配置成检测助听器用户跟随言语起始的运动(例如通过话音检测器(VD)、话音活动检测器(VAD)和/或自我话音检测器(OVD)确定)。例如，头部跟随言语起始的运动可以是指明感兴趣的声源的注意线索。

配置数据可基于来自VAD的信号/数据。VAD可配置成估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中，话音信号可包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元可适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选，话音活动检测器可适于从“话音”的检测排除用户自己的话音。

配置数据可基于来自OVD的信号/数据。OVD可配置成估计特定输入声音(如话音，如语音)是否(或以何种概率)源自系统用户的话音。助听器的传声器系统可适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。

配置数据可基于助听器用户的生理参数。

例如，助听器还可包括一个或多个不同类型的、用于提供生理参数的生理传感器，其中一个或多个不同类型的生理传感器配置成测量用户的一个或多个生理信号，例如心电图(ECG)、光电血管容积图(PPG)、脑电图(EEG)、眼动电图(EOG)等。

一个或多个不同类型的生理传感器的电极可设置在助听器的外表面处。例如，电极可设置在助听器的耳后(BTE)部分和/或耳内(ITE)部分的外表面处。从而，当用户戴上助听器时，电极与用户的皮肤接触(或耳后或耳道内)。

配置数据可基于随频率而变的增益参数。

例如，对于HCP手动精调助听器，配置数据(例如输入到另外的神经网络的辅助参数)可包括随频率而变的增益参数。这可通过产生用参数表示损失函数的一组新的参数进行，即损失函数中不同通道的频率加权。例如，如果助听器用户想要更高的亮度，可强调更高的频道。这些参数之后也可用作另外的神经网络的输入。可能还有与压缩量和类型有关的参数，其可在损失函数中参数化。

助听器可包括多个(例如两个以上)可并行工作的检测器/传感器和/或估计器。例如，两个以上生理传感器可同时工作以增加测得的生理信号的可靠性。

因而，神经网络可(在助听器生产商处)一次了结地进行训练。该预训练的神经网络可取为关于具体用户例如她的听力图或者具体声学情形例如车厢情形的输入信息，并输出随用户或声学情形而变的网络的权值/参数，其对于即将发生的情形表现特别好。

可产生另外的神经网络。该另外的网络可以是预训练的神经网络，其可处理输入音频信号x，以一些其它参数p为条件，反映用户需要/声学情形。例如，输入音频信号x可以是有噪声的语音信号。该另外的神经网络可采取下面的形式：

f(x；w)＝f(x；g(p))

其中，w为神经网络的、通过将辅助参数p取为输入的函数g确定的参数。

因而，两个不同的神经网络可通过它们的功能进行区分：

a)处理单元的神经网络，其直接或间接作用于至少一电输入信号，例如(但不限于)波形-波形变换，或者通过在频谱-时间域中产生掩蔽；及

b)另外的神经网络(例如权值生成网络)，其作用于/调节处理单元的神经网络的参数/权值。

另外的神经网络可配置成知道助听器的处理单元的神经网络的结构(例如多个权值)。

配置数据可包括另外的神经网络。

处理单元的神经网络的可自适应调节的权值可通过用配置数据的所述另外的神经网络代替处理单元的神经网络进行调节。

配置数据可包括神经网络的权值。

处理单元的神经网络的可自适应调节的权值可通过用所述配置数据的权值代替所述权值进行调节。

配置数据可包括多个系数。

配置数据可构成多个系数。

处理单元的神经网络的可自适应调节的权值可基于源自所述多个系数与多个矩阵的线性组合的权值进行调节，其中每一矩阵包括多个权值。

处理单元的神经网络的可自适应调节的权值可基于源自所述多个系数与多个矩阵的线性组合的权值进行替代/更换，其中每一矩阵包括多个权值。

例如，多个矩阵可包括多个预先确定的权值。

多个矩阵可保存在助听器的存储器上。

基于配置数据，处理单元可配置成确定与助听器用户的降噪有关的信号处理参数。

基于配置数据，处理单元可配置成确定与助听器用户的听力损失补偿有关的信号处理参数。

基于配置数据，处理单元可配置成确定与助听器用户的反馈减少有关的信号处理参数。

助听器还可包括信噪比(SNR)估计器，配置成确定助听器用户环境中的SNR。

助听器还可包括用于测量输入单元处的声音电平的声压级(SPL)估计器。

助听器还可包括至少一生理传感器。

助听器还可包括至少一加速计。

助听器可包括声音场景分类器，配置成将助听器用户的声环境分类为多个不同的声音场景类别。

助听器可包括声音场景分类器，配置成根据至少一电输入信号的当前表示例如提取的特征提供当前的声音场景类别。

声音场景分类器可配置成基于来自(至少部分)检测器/传感器/估计器/加速计的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”可由下面的一个或多个定义：

a)物理环境(如包括当前电磁环境，例如出现计划或未计划由助听器接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；

b)当前声学情形(输入电平、反馈等)；

c)用户的当前模式或状态(运动、温度、认知负荷等)；

d)助听器和/或与助听器通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。

辅助装置可以是助听器。

辅助装置可以是智能电话。

辅助装置可以是服务器设备。

例如，服务器设备可以是云服务器。

听力系统

另一方面，提供包括上面描述的、“具体实施方式”中详细描述的和权利要求中限定的助听器以及包括辅助装置的听力系统。

另一方面，提供包括上面描述的助听器和辅助装置的听力系统。

助听器和辅助装置中的每一个包括用于在其间建立通信链路的天线和收发器电路，从而使能在助听器与辅助装置之间交换信息。

例如，辅助装置可包括另一助听器、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。

辅助装置可包括用于确定所述配置数据的、另外的神经网络。

另外的神经网络可以是权值生成网络。

一般地，神经网络依赖于其体系结构以及与体系结构有关的参数即偏置、权值和与其它变换有关的参数。我们将整组神经网络参数记为θ。这些参数可在训练期间通过优化目标函数确定并在部署期间固定。

在训练期间，代之以可训练另外的神经网络(权值生成网络)，使得参数θ被学习，以一些其它参数(记为辅助参数)为条件。数学上，这可描述为：g:P→Θ，其中，P为辅助参数空间，Θ为网络参数空间，g为神经网络。

类似的但从根本上讲不同的方法已在文献[1]中提出，其中已提出卷积核来在保持模型体系结构大小固定的同时增加模型复杂性。差别在于，在[1]中，网络以输入或者输入的嵌入为条件，即g:X→Θ，其中X为输入空间。该方法类似于使用专家的混合，这在机器学习中众所周知。

权值生成网络可生成将用在具体的、预指定的网络结构(例如处理单元的神经网络)中的权值；通常，该网络可以是深度神经网络。

处理单元的神经网络可将使用N个样本/系数的输入信号变换为同样类型的N个输出样本/系数。该网络可以是传统的没有记忆的前馈DNN，或者可以是LSTM或CRNN(二者均包含记忆因而能够从先前的输入样本学习)。

对于使用传统的前馈DNN，其也可被修改为所谓的自动编码器，其中网络的中层具有比输入和输出维度N小的维度。这将输入变换为更简单的、包含基本特征的表示，其之后可被修改以获得给定结果。这些消除干扰的超分辨率自动编码器已成功用于将有噪声和模糊的图像增强回到无噪声的高分辨率图像。

对于深度神经网络，训练在经训练的(现在固定的)网络的应用(推断)不太符合需要的同时计算强度大，因而可在助听器中或者在包括辅助装置(例如智能电话)的听力系统中执行。

权值生成网络可在可连接到助听器的任何辅助装置上实施。快的计算时间并非绝对必要。

权值生成网络可配置成基于一个或多个辅助参数确定所述配置数据。

一个或多个辅助参数可包括助听器用户的听觉能力。

例如，一个或多个辅助参数可包括标示助听器用户的听觉能力的听力图。

一个或多个辅助参数可包括助听器用户的声音环境的声音场景类别。

一个或多个辅助参数可包括助听器用户的生理参数。

例如，辅助参数可以是我们希望神经网络以其为条件的任何东西。辅助参数可包括：

自动化的统计结果：例如，由助听器、电话或外部设备检测的统计结果。这例如可以是在助听器中执行的环境-分类算法，例如检测助听器用户在车辆中、在音乐厅等，并将该信息提供给权值生成网络(预训练的网络)(其可在助听器中或别处运行)；

临床统计结果：这可与在诊所中由健康护理专家进行的测量有关，例如，与助听器用户的听力损失有关的信息(例如听力图)可被提供为权值生成网络的输入，其可输出将特别好地适合特定听力损失的网络权值；

用户偏好：这例如可以是助听器用户经用户接口(向权值生成网络)指明他/她处于特定声学情形例如车厢。

如所指出的，可有静态和动态辅助参数。

信号处理网络的例子可以是使用Wave-U-Net结构来消除干扰。每一层的卷积参数(c_p)和偏置将是具有形状(shape)的张量：

shape(c_p)＝[kernel_size,channels_out,channels_in]，及

shape(bias)＝[channels_out]

例如，Wave-U-Net结构可扩展到具有下面形式的权值：

shape(c_p)＝[N,kernel_size_channels_out,channels_in]，及

shape(bias)＝[N,channels_out]

在该情形下，权值生成网络将通过在张量w中收集的N个卷积参数和偏置的线性组合学习用Wave-U-Net的初始shape产生权值的方式，即：

在该情形下，参数p可以是用户程序、用户偏好、听觉病矫治测量结果、或一些环境统计结果。

例如，听力系统的神经网络的训练可基于不同的用户程序、听觉病矫治测量结果、信号和噪声的库在产品开发阶段进行。权值生成网络的权值可通过传统的优化技术例如使用向后传播的梯度下降、遗传算法等进行确定。

辅助参数可与训练集或损失函数的输入和输出分布或其任何延伸有关。

辅助装置可包括声音场景分类器。

声音场景分类器可配置成将助听器用户的声环境分类为多个不同的声音场景类别。

声音场景分类器可配置成根据来自助听器用户的声环境的声音信号的当前表示例如提取的特征提供当前的声音场景类别。

声音场景分类器可配置成将当前的声音场景类别提供为权值生成网络的输入。

辅助装置可包括SNR估计器。

辅助装置可包括SPL估计器。

辅助装置可包括至少一生理传感器。

辅助装置可包括至少一加速计。

权值生成网络可配置成基于来自SNR估计器的一个或多个辅助参数确定所述配置数据。

权值生成网络可配置成基于来自SPL估计器的一个或多个辅助参数确定所述配置数据。

权值生成网络可配置成基于来自至少一生理传感器的一个或多个辅助参数确定所述配置数据。

权值生成网络可配置成基于来自至少一加速计的一个或多个辅助参数确定所述配置数据。

用于确定所述配置数据的权值生成网络可通过来自助听器用户的输入启动。

例如，来自助听器用户的输入可包括话音输入，例如来自助听器用户的话音命令。助听器可包括话音用户接口以使用户能经话音或语音命令与助听器交互。

例如，来自助听器用户的输入可包括触觉接触，例如用户触摸辅助装置的触摸屏或者助听器或辅助装置上的按钮。

例如，权值生成网络可配置成响应于来自助听器用户的输入确定所述配置数据并将所述配置数据发送给处理单元的神经网络。

用于确定所述配置数据的权值生成网络可基于当前的声音场景类别而启动。

用于确定所述配置数据的权值生成网络可基于来自所述SNR估计器的数据超出相应阈值而启动。

用于确定所述配置数据的权值生成网络可基于来自所述SPL估计器的数据超出相应阈值而启动。

用于确定所述配置数据的权值生成网络可基于来自所述至少一生理传感器的数据超出相应阈值而启动。

用于确定所述配置数据的权值生成网络可基于来自所述至少一加速计的数据超出相应阈值而启动。

辅助装置可包括遥控器、智能电话或者其它便携或可穿戴电子装置如智能手表等。

辅助装置可由遥控器构成或者包括遥控器，其用于控制助听器的功能和运行。遥控器的功能可实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(助听器包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。

辅助装置可由音频网关设备构成或者包括音频网关设备，其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给助听器。

辅助装置可由另一助听器构成或者可包括另一助听器。听力系统可包括两个适于实施双耳听力系统例如双耳助听器系统的助听器。

应用

一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的助听器的应用。可提供在包括一个或多个助听器(如听力仪器)、耳机、耳麦、主动耳朵保护系统等的听力系统中的应用，例如免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等。

方法

一方面，还提供一种助听器优化方法。

该方法包括通过输入单元接收来自助听器用户的声环境的输入声音信号并提供表示所述输入声音信号的至少一电输入信号。

该方法包括通过输出单元基于所述至少一电输入信号的处理后版本向助听器用户提供至少一组可感知为声音的刺激。

该方法包括通过连接到输入单元和输出单元并包括神经网络的处理单元基于神经网络的权值确定助听器的信号处理参数。

该方法包括通过处理单元提供所述至少一电输入信号的处理后版本。

该方法包括通过存储器保存助听器的权值。

该方法包括通过天线和收发器电路建立到辅助装置的通信链路。

神经网络的权值为可自适应调节的权值。

助听器从辅助装置接收关于所述可自适应调节的权值的调节的配置数据。

处理单元基于所述配置数据调节神经网络的可自适应调节的权值。

当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的助听器和听力系统的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应助听器和听力系统一样的优点。

计算机可读介质或数据载体

本发明进一步提供保存包括程序代码(指令)的计算机程序的有形计算机可读介质(数据载体)，当计算机程序在数据处理系统(计算机)上运行时，使得数据处理系统执行(实现)上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。

计算机程序

此外，本申请提供包括指令的计算机程序(产品)，当该程序由计算机运行时，导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。

数据处理系统

一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。

APP

另一方面，本发明还提供称为APP的非短暂应用。APP包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听器或听力系统的用户接口。该APP可配置成在移动电话如智能电话或另一使能与所述助听器或听力系统通信的便携装置上运行。

定义

在本说明书中，助听器如听力仪器指适于改善、增强和/或保护用户的听觉能力的装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。可听见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户的耳蜗神经的电信号。

助听器可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。助听器可包括单一单元或几个彼此(例如声学、电学或光学)通信的单元。扬声器可连同助听器的其它部件一起设置在壳体中，或者其本身可以是外部单元(可能与柔性引导元件如圆顶状元件组合)。

助听器可适应特定用户的需要如听力受损。助听器的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中，例如经到编程装置(验配系统)的接口上传到助听器，并由助听器的可配置的信号处理电路执行的处理算法使用。

“听力系统”指包括一个或两个助听器的系统。“双耳听力系统”指包括两个助听器并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”，其与助听器通信并影响和/或受益于助听器的功能。前述辅助装置可包括至少下述之一：遥控器、远程传声器、音频网关设备、娱乐设备如音乐播放器、无线通信装置如移动电话(例如智能电话)或平板电脑或另一装置，例如包括图形界面。助听器、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。助听器或听力系统例如可形成广播系统、主动耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如TV、音乐播放或卡拉OK)系统、远程会议系统、教室放大系统等的一部分或者与其交互。

附图说明

本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：

图1示出了根据本发明的示例性听力系统；

图2示出了根据本发明的示例性听力系统；

图3示出了根据本发明的助听器的处理单元的神经网络的示例性训练；

图4示出了根据本发明的助听器的处理单元的神经网络的示例性训练；

图5示出了根据本发明的示例性的权值生成网络。

通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。

具体实施方式

下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。

图1示出了根据本发明的示例性听力系统。

在图1中，示出了助听器1和辅助装置2。助听器1和辅助装置2可一起形成听力系统。

助听器1可适于佩戴在助听器用户的耳朵中或耳朵处和/或完全或部分植入在助听器用户的头部中。

辅助装置2可包括位于助听器用户的另一耳朵处的另一助听器。作为替代，辅助装置2可包括智能电话或服务器设备。

助听器可包括输入单元3，用于从助听器用户的声环境接收输入声音信号4并提供表示该输入声音信号的至少一电输入信号5A、5B。

在图1中，示出了输入单元3还可包括两个以上输入变换器6A、6B例如传声器，用于将输入声音信号4转换为至少一电输入信号5A、5B。

助听器可包括输出单元7，用于基于至少一电输入信号5A、5B的处理后版本向助听器用户提供至少一组可感知为声音的刺激7A。

助听器可包括连接到输入单元3和输出单元7的处理单元8。

处理单元可包括神经网络9，其中处理单元8配置成基于神经网络的权值确定助听器1的信号处理参数。权值可以是可自适应调节的权值。

从而，处理单元8提供至少一电输入信号5A、5B的处理后版本。

助听器1可包括存储器10，其用于保存助听器1的神经网络9的权值。因而，存储器10可发送和接收目前使用的权值和/或参考权值。另外或者作为替代，存储器10可发送和接收已基于来自辅助装置2的配置数据进行调节的权值。

助听器1可包括用于建立到辅助装置2的通信链路的天线和收发器电路11。

助听器1可配置成经天线和收发器电路11从辅助装置2接收关于可自适应调节的权值的调节的配置数据。

处理单元8可配置成基于所述配置数据调节神经网络9的可自适应调节的权值。

助听器1还可包括声音场景分类器12，配置成将助听器用户的声环境分类为多个不同的声音场景类别。

助听器1还可包括检测器/传感器/估计器13，例如SNR估计器、SPL估计器、至少一生理传感器、和/或至少一加速计。

作为备选或另外，辅助装置2可包括检测器/传感器/估计器13，例如SNR估计器、SPL估计器、至少一生理传感器、和/或至少一加速计、和/或声音场景分类器。

辅助装置2可包括另外的神经网络14例如权值生成网络，用于确定所述配置数据。

辅助装置2可包括用于在助听器1与辅助装置2之间建立通信链路的天线和收发器电路(未示出)，从而使能在助听器1和辅助装置2之间交换信息(例如配置数据)。

图2示出了根据本发明的示例性听力系统。

在图2中，处理单元的神经网络9被示为是Wave-U-Net。

如图所示，处理单元的神经网络9可接收和处理来自输入单元3的至少一电输入信号5A、5B。基于至少一电输入信号5A、5B的、给助听器用户的可感知为声音的至少一组刺激可被提供为至少一电输入信号5A、5B在处理单元中的处理结果。

另外的神经网络14(权值生成网络)为MLP即一种三层全连接网络。每一层可通过跨三个核的加权和确定，其中另外的神经网络14的输出产生权值(w)。另外的神经网络14可基于通过参考模型产生的输入-输出听力图对15进行训练并提供为另外的神经网络的输入(Θ为网络参数空间)。

例如，考虑助听器用户去往听力护理专家(HPC)处验配助听器的情形。助听器可具有针对听力损失提供补偿的神经网络，如图2中所示。该听力损失可使用听力图进行测量(但其也可以是其它阈上度量或生理估计量，例如听觉神经突触中的纤维分布)。

为训练该另外的神经网络，需要产生由覆盖音频和听力图的分布的输入-输出对组成的数据集，在此，输入可以是语音和听力图。

图3示出了根据本发明的助听器的处理单元的神经网络的示例性训练。

除了已经结合图2描述的特征之外，图3还示出了处理单元的神经网络9的训练，其可在助听器用户开始使用助听器之前或者在服务期间例如在听力护理专家(HCP)处完成。

训练完成，处理单元的神经网络9基于助听器用户的有缺陷的听力的听觉模型16提供至少一电输入信号5A、5B的听力受损表示。另外，基于正常听力的听觉模型17提供至少一电输入信号5A、5B的正常听力表示。目标函数18可提供误差度量。训练可基于多个不同的电输入信号进行，直到误差度量低于预设阈值为止。在这个时候，处理单元的神经网络9可被视为已进行足够的训练。为进一步调节助听器用户的有缺陷的听力的听觉模型16(的精度)，听觉模型16可基于例如助听器用户的听力图19或者一个或多个阈上度量进行训练。

配置数据可基于随频率而变的增益参数。

例如，对于HCP手动精调助听器，配置数据(例如输入到另外的神经网络的辅助参数)可包括随频率而变的增益参数。这可通过产生用参数表示损失函数的一组新的参数进行，即损失函数中不同通道的频率加权。例如，如果助听器用户想要更高的亮度，可强调更高的频道。这些参数之后也可用作另外的神经网络的输入。可能还有与压缩量和类型有关的参数，其可在损失函数中参数化。

图4示出了根据本发明的助听器的处理单元的神经网络的示例性训练。

在图4中，粗线路径指电输入信号路径，虚线指参数(权值)路径，从模块22到模块9及从模块9到模块14的路径指向后传播路径。

在图4中，考虑助听器用户具有包含按条件的函数改变的语音增强系统(例如包括降噪、去混响等)的助听器的例子。这可以是测得的条件(例如SNR、环境类型、EEG，或者可能是这些的某一组合特征)或者通过助听器用户选择。其可不停地进行评估，另外的神经网络(例如权值生成网络)可以是协处理器，其可能在辅助装置上。

降级可以是输入语音信号的模拟或记录的降级，例如，有噪声的咖啡馆中语音的记录，或者混响房间中语音的模拟，或者二者的组合。

在该例子中，训练集包括覆盖输入音频信号20和降级的音频信号21的分布的数据。损失函数22可由不同的项组成，其可参数化以产生更柔和/更强的降噪、某一特定形式的波束形成、更柔和/更强的去混响、或者频率特有降噪等。对于降噪情形，这可通过具有与优化SNR的另一项相比使语音失真最小化的一项并用参数表示它们实现，甚或与语音可懂度相比优化语音质量的损失函数。

与给定降级有关的参数23可分类例如在车中、在餐厅中、音乐节目，并可实施为跨分类分布的独热编码(one-hot-encoded)变量或者嵌入在连续空间中。参数23也可以是连续参数(例如SNR的测量结果、波束形成图、统计参数)或者顺序参数(例如低NR、中等NR、高NR)。这些参数23可与程序有关或者可在不同的认知负荷下最佳。认知负荷可通过例如耳朵EEG进行测量，如果认知负荷大，可能想要应用特定形式的降噪，另外的神经网络可生成更好地处理该情形的权值，其可以是相较语音质量有利于语音可懂度的策略。

图5示出了根据本发明的示例性的权值生成网络。

图5的权值生成网络14可以是3层多层感知器(全连接神经网络)。然而，权值生成网络14可以是任何神经网络。

在图5中，权值生成网络14可用参数表示包含神经网络的参数的、可能的候选张量(矩阵)w_n,k的分布，其中n为神经网络的第n个参数模块，k为候选参数张量。

α_n,k可由权值生成网络14通过馈送经3层多层感知器(MLP)24例如具有3层的全连接前馈网络从听力图确定的模型参数而产生。MLP的输出具有维度(1,KN)，并可重构(25)为维度(N,K)的矩阵。该矩阵可被拆分为N个不同的K维向量，Softmax函数(“权值模块1”等)可跨每一向量中的K个元素进行计算，输出0α_n,k≤1，其可用于产生单权值张量：

当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。

除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。

应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。

权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。

参考文献

[1]Yang,B.,Le,Q.V.,Bender,G.,&Ngiam,J.(2019).CondConv:Conditionallyparameterized convolutions for efficient inference.Advances in NeuralInformation Processing Systems,32(NeurIPS).

Claims (19)

1.一种助听器，适于佩戴在助听器用户的耳朵中或耳朵处和/或完全或部分植入在助听器用户的头部中，所述助听器包括：

输入单元，用于从助听器用户的声环境接收输入声音信号并提供表示所述输入声音信号的至少一电输入信号；

输出单元，用于基于所述至少一电输入信号的处理后版本向助听器用户提供至少一组可感知为声音的刺激；

连接到输入单元和输出单元的处理单元，其中所述处理单元包括神经网络，所述处理单元配置成基于所述神经网络的权值确定助听器的信号处理参数，藉此所述处理单元提供所述至少一电输入信号的处理后版本；

保存所述神经网络的权值的存储器；

用于建立到辅助装置的通信链路的天线和收发器电路；

其中，所述神经网络的权值为可自适应调节的权值；

其中，所述助听器配置成从辅助装置接收关于所述可自适应调节的权值的调节的配置数据；及

其中，所述处理单元配置成基于所述配置数据调节所述神经网络的可自适应调节的权值。

2.根据权利要求1所述的助听器，其中，所述配置数据基于助听器用户的听觉能力和/或助听器用户的声音环境的声音场景类别和/或助听器用户的生理参数。

3.根据权利要求1或2所述的助听器，其中，所述配置数据包括另外的神经网络，其中所述处理单元的神经网络的可自适应调节的权值通过用配置数据的所述另外的神经网络代替处理单元的神经网络进行调节。

4.根据权利要求1或2所述的助听器，其中，所述配置数据包括神经网络的权值，其中所述处理单元的神经网络的可自适应调节的权值通过用所述配置数据的权值代替所述权值进行调节。

5.根据权利要求1或2所述的助听器，其中，所述配置数据包括多个系数，其中所述处理单元的神经网络的可自适应调节的权值基于源自所述多个系数与多个矩阵的线性组合的权值进行调节，其中每一矩阵包括多个权值，所述多个矩阵保存在助听器的存储器上。

6.根据前面任一权利要求所述的助听器，其中，基于配置数据，处理单元配置成确定与助听器用户的降噪、听力损失补偿、和/或反馈减少有关的信号处理参数。

7.根据前面任一权利要求所述的助听器，其中，所述助听器包括声音场景分类器，配置成将助听器用户的声环境分类为多个不同的声音场景类别，及根据至少一电输入信号的当前表示提供当前的声音场景类别。

8.根据前面任一权利要求所述的助听器，其中，所述辅助装置是助听器、智能电话、或服务器设备。

9.根据前面任一权利要求所述的助听器，其中，所述助听器包括配置成确定助听器用户环境中的信噪比的信噪比估计器、和/或用于测量输入单元处的声音电平的声压级估计器、和/或至少一生理传感器、和/或至少一加速计。

10.一种听力系统，包括根据权利要求1-9任一所述的助听器以及包括辅助装置，其中助听器和辅助装置中的每一个包括用于在其间建立通信链路的天线和收发器电路，从而使能在助听器与辅助装置之间交换信息。

11.根据权利要求10所述的听力系统，其中，所述辅助装置包括用于确定所述配置数据的权值生成网络。

12.根据权利要求11所述的听力系统，其中，所述权值生成网络配置成基于一个或多个辅助参数确定所述配置数据，其中所述一个或多个辅助参数包括助听器用户的听觉能力、和/或助听器用户的声音环境的声音场景类别、和/或助听器用户的生理参数。

13.根据权利要求10-12任一所述的听力系统，其中，所述辅助装置包括声音场景分类器，配置成将助听器用户的声环境分类为多个不同的声音场景类别并根据来自助听器用户的声环境的声音信号的当前表示提供当前的声音场景类别，其中所述声音场景分类器配置成将当前的声音场景类别提供为所述权值生成网络的输入。

14.根据权利要求10-13任一所述的听力系统，其中，所述辅助装置包括信噪比估计器、声压级估计器、至少一生理传感器、和/或至少一加速计，其中所述权值生成网络配置成基于来自信噪比估计器、声压级估计器、至少一生理传感器、和/或至少一加速计的一个或多个辅助参数确定所述配置数据。

15.根据权利要求10-14任一所述的听力系统，其中，用于确定所述配置数据的权值生成网络通过来自助听器用户的输入启动。

16.根据权利要求10-15任一所述的听力系统，其中，用于确定所述配置数据的权值生成网络基于当前的声音场景类别或者基于来自信噪比估计器、声压级估计器、至少一生理传感器、和/或至少一加速计的数据超出相应阈值而启动。

17.一种助听器优化方法，包括：

通过输入单元接收来自助听器用户的声环境的输入声音信号并提供表示所述输入声音信号的至少一电输入信号；

通过输出单元基于所述至少一电输入信号的处理后版本向助听器用户提供至少一组可感知为声音的刺激；

通过连接到输入单元和输出单元并包括神经网络的处理单元基于神经网络的权值确定助听器的信号处理参数；

通过处理单元提供所述至少一电输入信号的处理后版本；

通过存储器保存助听器的权值；及

通过天线和收发器电路建立到辅助装置的通信链路；

其中，所述神经网络的权值为可自适应调节的权值；

其中，助听器从辅助装置接收关于所述可自适应调节的权值的调节的配置数据；及

其中，处理单元基于所述配置数据调节所述神经网络的可自适应调节的权值。

18.一种数据处理系统，包括处理器和程序代码，所述程序代码使得所述处理器执行根据权利要求17所述的方法的至少部分步骤。

19.一种计算机可读存储介质，其上存储有包括指令的计算机程序，当所述计算机程序由计算机运行时，使得所述计算机执行根据权利要求17所述的方法。