[go: up one dir, main page]

CN108288470B - 基于声纹的身份验证方法和装置 - Google Patents

基于声纹的身份验证方法和装置 Download PDF

Info

Publication number
CN108288470B
CN108288470B CN201710019531.9A CN201710019531A CN108288470B CN 108288470 B CN108288470 B CN 108288470B CN 201710019531 A CN201710019531 A CN 201710019531A CN 108288470 B CN108288470 B CN 108288470B
Authority
CN
China
Prior art keywords
voiceprint
neural network
extractor
extracted
voiceprints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710019531.9A
Other languages
English (en)
Other versions
CN108288470A (zh
Inventor
石自强
刘柳
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710019531.9A priority Critical patent/CN108288470B/zh
Priority to JP2018000918A priority patent/JP7000865B2/ja
Priority to EP18150722.9A priority patent/EP3346463B1/en
Priority to US15/866,079 priority patent/US10657969B2/en
Publication of CN108288470A publication Critical patent/CN108288470A/zh
Application granted granted Critical
Publication of CN108288470B publication Critical patent/CN108288470B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及基于声纹的身份验证方法和装置。该方法包括：一种基于声纹的身份验证方法，包括：接收未知语音；利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。根据本发明的身份验证方法和装置,可以从较短的语音中提取说话者的全息声纹，使得验证结果更加鲁棒。

Description

基于声纹的身份验证方法和装置
技术领域
本发明涉及语音处理领域，更具体地涉及一种基于声纹的身份验证方法和装置。
背景技术
声纹已在许多领域有着广泛的应用，包括用户接口，国土安全，电话银行等。传统的方法通过联合因子分析(joint factor analysis)将语音片段映射到某空间，得到一种i-vector作为声纹。但是这种方法有两种缺陷：1，为了得到满意的性能，必须采用较长(20-30秒)的语音段来提取i-vector；2，说话者的其他信息，例如年龄、性别、语种信息是有助于身份确认的，但是目前这种框架没有办法或者很难加入说话者的其他信息。
因此，希望提供一种能够基于较短的、包含说话者的多种信息的声纹来进行身份验证的方法和装置。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的一个主要目的在于，提供了一种基于声纹的身份验证方法，包括：接收未知语音；利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
根据本发明的一个方面，提供一种基于声纹的身份验证装置，包括：语音接收单元，被配置为接收未知语音；声纹提取单元，被配置为利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；声纹拼接单元，被配置为将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及身份验证单元，被配置为利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了根据本发明的一个实施例的基于声纹的身份验证方法100的示例性过程的流程图；
图2示出了训练得到基于神经网络的声纹提取器的示例性过程的流程图；
图3A示出了用于提取声纹的层次神经网络；
图3B示出了用于提取声纹的扁平神经网络；
图4是示出根据本发明的另一个实施例的基于声纹的身份验证装置400的示例性配置的框图；
图5是示出用于训练声纹提取器的声纹提取器训练装置500的一种示例性配置的框图；以及
图6是示出可以用于实施本发明的基于声纹的身份验证方法和装置的计算设备的示例性结构图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明提出了一种基于声纹的身份验证方法，该方法不仅可以从较短(例如3-5秒)的语音中提取说话者的身份信息，还可以同时提取其他的说话者信息，包括发声通道、音素序列、性别、年龄、语种、生活区域、情感等，这种信息被称为全息声纹。
下面结合附图详细说明根据本发明的实施例的基于声纹的身份验证方法和装置。下文中的描述按如下顺序进行：
1.基于声纹的身份验证方法
2.基于声纹的身份验证装置
3.用以实施本申请的方法和装置的计算设备
[1.基于声纹的身份验证方法]
图1示出了根据本发明的一个实施例的基于声纹的身份验证方法100的示例性过程的流程图。
首先，在步骤S102中，接收未知语音。
接着，在步骤S104中，利用预先训练得到的基于神经网络的声纹提取器来提取未知语音中的声纹。
图2示出了训练得到基于神经网络的声纹提取器的示例性过程的流程图。
如图2所示，在步骤S1042中，采集来自不同说话者的语音。
接着，在步骤S1044中，将说话者的辅助信息作为神经网络的分组标签进行标记，将标记过的语音作为训练样本输入神经网络。
具体地，需要收集不同说话者的大量语音，并对这些语音进行标记。可以包括说话者身份(ID)、语种、音素序列、发声通道、情感、年龄、生活区域、性别等信息。在本发明中，使得提取的声纹包含以上这些信息，从而根据本发明的身份验证方法更加鲁棒。用这些标记过的语音作为训练样本输入神经网络。
通常采用下述方法对收集的语音数据进行处理。将标记的语音数据分割成帧长25毫秒、帧移10毫秒的信号，提取13维的梅尔频率倒谱系数(MFCCs)，以及该系数的一阶差分和二阶差分连接起来共39维做为特征。同时联合上下文共39帧(左25帧，右13帧)作为最终的特征共1521维(39*39)。
本领域技术人员可以理解，对语音数据的处理也可以采用本领域公知的其它方法，在此不做赘述。
其中，说话者的辅助信息包括：说话者的语种、音素序列、发声通道、情感、年龄、生活区域以及性别中的一项或多项。
最后，在步骤S1046中，进行深度学习来得到所述基于神经网络的声纹提取器。
在本发明中，分别采用了两种神经网络、即层次神经网络和扁平神经网络进行深度学习。图3A示出了用于提取声纹的层次神经网络，图3B示出了用于提取声纹的扁平神经网络。这两种神经网络的区别在于在何处放置分组标签。如图3A所示，层次神经网络是将不同的分组标签分别放置在神经网络的不同层进行深度学习，可以得到用于提取声纹的层次网络提取器；如图3B所示，扁平神经网络是将全部分组标签放置在神经网络的输出层进行深度学习，可以得到用于提取声纹的扁平网络提取器。
两种神经网络的输入为在步骤S2042中得到的39*39的语音特征，将输出神经元分成若干个块，每一块关联说话者的一种信息，例如第一块和说话者ID相关，第二块和年龄相关等。每一块神经元的数目为说话者的数目、年龄的跨度、性别的种类、语种的数目、文本的类别、信道的种类(移动电话、固定电话)、情感的类别等等。输出的标签是独热(one-hot)向量，其中的非零元素对应说话者的身份、性别、年龄等。
步骤S104(利用预先训练得到的基于神经网络的声纹提取器来提取未知语音中的声纹)具体地包括:分别利用所述层次网络提取器和所述扁平网络提取器提取来提取未知语音中的声纹，再将所述层次网络提取器所提取的声纹和所述扁平网络提取器所提取的声纹拼接在一起作为所提取的未知语音中的声纹。
优选地，在层次神经网络中，分组标签包含的信息越简单，则该分组标签在神经网络中放置的位置越靠前。
例如，与性别相关的神经元的数目为2，则将性别标签放置在层次神经网络较靠前的层；而音素序列和情感等包含的神经元的数目较多，则将其放置在层次神经网络较靠后的层。
在一个示例中，可以利用随机梯度下降方法对上述两种神经网络进行深度学习。随机梯度下降方法可以使用以下公式来计算神经网络的权重：
wt+1＝θt+(at-1)(θt-θt-1)/at+1+at(θt-wt)/at+1。
其中，wt是权重，
Figure BDA0001206430690000051
∈t′是学习率，
Figure BDA0001206430690000052
是损失函数f的梯度，a0＝1，
Figure BDA0001206430690000053
利用该公式进行来计算神经网络的权重，可以使得随机梯度下降的收敛速度更快。
接着，在步骤S106中，将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹。
在需要身份验证的设备中，通常预先存储有该设备的合法用户的声纹。在进行身份验证时，将所提取的未知语音中的声纹与预先存储的声纹拼接在一起，进行下面的判断。
最后，在步骤S108中，利用预先训练的分类模型对拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
具体地，可以训练两种高斯混合模型分别对应两种情况。第一种高斯混合模型对应两个声纹属于同一个人的情况，第二种高斯混合模型对应两个声纹不属于同一个人的情况。
在进行判断的时候，分别计算拼接的声纹在第一高斯混合模型上的第一概率和在第二高斯混合模型上的第二概率。当第一概率大于第二概率，则所提取的声纹与预先存储的声纹是来自同一个人，否则，则是来自不同的人。
此外，还可以利用判别模型对所提取的声纹与预先存储的声纹是否来自同一个人进行判断。例如，采用支持向量机、神经网络等来构建表面，从而区分声纹是否来自同一个人。
利用根据本发明的训练方法得到的基于神经网络的声纹提取器所提取的语音中的声纹包含说话者的辅助信息。
本发明具有以下优势：
1)相比现有技术，可以从较短(例如3-5秒)的语音中提取说话者的声纹；
2)设计了两种提取声纹的神经网络(一种是层次神经网络，另一种是扁平神经网络)，可以提取说话者的全息声纹，使得根据本发明的身份验证方法更加鲁棒；
3)采用了一种新的神经网络的训练算法，可以加快收敛速度；
4)提出的两种声纹确认方法。
2.基于声纹的身份验证装置
图4是示出根据本发明的另一个实施例的基于声纹的身份验证装置400的示例性配置的框图。
如图4所示，基于声纹的身份验证装置400包括语音接收单元402、声纹提取单元404、声纹拼接单元406和身份验证单元408。
其中，语音接收单元402被配置为接收未知语音；声纹提取单元404被配置为利用声纹提取器训练装置训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；声纹拼接单元406被配置为将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及身份验证单元408被配置为利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
图5是示出用于训练声纹提取器的声纹提取器训练装置500的一种示例性配置的框图。如图5所示，声纹提取器训练装置500包括：语音采集单元502、标记单元504和训练单元506。
其中，语音采集单元502被配置为采集来自不同说话者的语音；标记单元504被配置为将说话者的辅助信息作为神经网络的分组标签进行标记，将标记过的语音作为训练样本输入神经网络；以及训练单元506被配置为进行深度学习来得到所述基于神经网络的声纹提取器。
其中，所述说话者的辅助信息包括：说话者的语种、音素序列、发声通道、情感、年龄、生活区域以及性别中的一项或多项。
其中，训练单元进一步被配置为：采用层次神经网络将不同的分组标签分别放置在不同层进行深度学习得到层次网络提取器；以及采用扁平神经网络将全部分组标签放置在输出层进行深度学习得到扁平网络提取器。
其中，声纹提取单元进一步被配置为：分别利用所述层次网络提取器和所述扁平网络提取器提取来提取所述未知语音中的声纹；以及将所述层次网络提取器所提取的声纹和所述扁平网络提取器所提取的声纹拼接在一起作为所提取的所述未知语音中的声纹。
其中，所述分组标签包含的信息越简单，则该分组标签在层次神经网络中放置的位置越靠前。
深度学习可以利用随机梯度下降方法进行，所述随机梯度方法可以使用以下公式来计算神经网络的权重：
wt+1＝θt+(at-1)(θt-θt-1)/at+1+at(θt-wt)/at+1
其中，wt是权重，
Figure BDA0001206430690000071
∈t′是学习率，
Figure BDA0001206430690000072
是损失函数f的梯度，a0＝1，
Figure BDA0001206430690000081
其中，身份验证单元进一步被配置为：训练第一高斯混合模型和第二高斯混合模型，其中，所述第一高斯混合模型对应两个声纹属于同一个人的情况，所述第二高斯混合模型对应两个声纹不属于同一个人的情况；计算所述拼接的声纹分别在所述第一高斯混合模型上的第一概率和所述第二高斯混合模型上的第二概率；以及当所述第一概率大于所述第二概率，则所提取的声纹与预先存储的声纹是来自同一个人，否则，则是来自不同的人。
其中，所提取的未知语音中的声纹包含所述说话者的辅助信息。
关于基于声纹的身份验证装置400和声纹提取器训练装置500的各个部分的操作和功能的细节可以参照结合图1-3描述的本发明的基于声纹的身份验证方法的实施例，这里不再详细描述。
在此需要说明的是，图4-5所示的基于声纹的身份验证装置400和声纹提取器训练装置500及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图4-5所示的结构框图进行修改。
本发明提出了一种基于声纹的身份验证方法和装置，可以从较短(例如3-5秒)的语音中提取说话者的全息声纹，使得根据本发明的身份验证方法更加鲁棒。
[3.用以实施本申请的方法和装置的计算设备]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图6所示的通用计算机600安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，也根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM 603经由总线604彼此链路。输入/输出接口605也链路到总线604。
下述部件链路到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡比如LAN卡、调制解调器等)。通信部分609经由网络比如因特网执行通信处理。根据需要，驱动器610也可链路到输入/输出接口605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。
本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。
在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。
作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。
作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图6所示的通用计算机600)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
基于以上的说明，可知公开至少公开了以下技术方案：
1、一种基于声纹的身份验证方法，包括：
接收未知语音；
利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；
将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及
利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
2、根据附记1所述的身份验证方法，其中，通过下述步骤来训练得到基于神经网络的声纹提取器：
采集来自不同说话者的语音；
将说话者的辅助信息作为神经网络的分组标签进行标记，将标记过的语音作为训练样本输入神经网络；以及
进行深度学习来得到所述基于神经网络的声纹提取器。
3、根据附记2所述的身份验证方法，其中，所述说话者的辅助信息包括：说话者的语种、音素序列、发声通道、情感、年龄、生活区域以及性别中的一项或多项。
4、根据附记2所述的身份验证方法，其中，进行深度学习来得到所述基于神经网络的声纹提取器包括：
采用层次神经网络将不同的分组标签分别放置在不同层进行深度学习得到层次网络提取器；以及
采用扁平神经网络将全部分组标签放置在输出层进行深度学习得到扁平网络提取器。
5、根据附记4所述的身份验证方法，其中，利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹的步骤包括：
分别利用所述层次网络提取器和所述扁平网络提取器提取来提取所述未知语音中的声纹；以及
将所述层次网络提取器所提取的声纹和所述扁平网络提取器所提取的声纹拼接在一起作为所提取的所述未知语音中的声纹。
6、根据附记4所述的身份验证方法，其中，所述分组标签包含的信息越简单，则该分组标签在层次神经网络中放置的位置越靠前。
7、根据附记2所述的身份验证方法，其中，利用随机梯度下降方法进行所述深度学习，所述随机梯度方法使用以下公式来计算神经网络的权重：
wt+1＝θt+(at-1)(θt-θt-1)/at+1+at(θt-wt)/at+1
其中，wt是权重，
Figure BDA0001206430690000121
∈t′是学习率，
Figure BDA0001206430690000122
是损失函数f的梯度，a0＝1，
Figure BDA0001206430690000123
8、根据附记1所述的身份验证方法，其中，利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人的步骤包括：
训练第一高斯混合模型和第二高斯混合模型，其中，所述第一高斯混合模型对应两个声纹属于同一个人的情况，所述第二高斯混合模型对应两个声纹不属于同一个人的情况；
计算所述拼接的声纹分别在所述第一高斯混合模型上的第一概率和所述第二高斯混合模型上的第二概率；以及
当所述第一概率大于所述第二概率，则所提取的声纹与预先存储的声纹是来自同一个人，否则，则是来自不同的人。
9、根据附记2所述的身份验证方法，其中，所提取的所述未知语音中的声纹包含所述说话者的辅助信息。
10、一种基于声纹的身份验证装置，包括：
语音接收单元，被配置为接收未知语音；
声纹提取单元，被配置为利用声纹提取器训练装置训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹；
声纹拼接单元，被配置为将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及
身份验证单元，被配置为利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
11、根据附记10所述的身份验证装置，其中，所述声纹提取器训练装置包括：
语音采集单元，被配置为采集来自不同说话者的语音；
标记单元，被配置为将说话者的辅助信息作为神经网络的分组标签进行标记，将标记过的语音作为训练样本输入神经网络；以及
训练单元，被配置为进行深度学习来得到所述基于神经网络的声纹提取器。
12、根据附记11所述的身份验证方法，其中，所述说话者的辅助信息包括：说话者的语种、音素序列、发声通道、情感、年龄、生活区域以及性别中的一项或多项。
13、根据附记11所述的身份验证方法，其中，所述训练单元进一步被配置为：
采用层次神经网络将不同的分组标签分别放置在不同层进行深度学习得到层次网络提取器；以及
采用扁平神经网络将全部分组标签放置在输出层进行深度学习得到扁平网络提取器。
14、根据附记13所述的身份验证方法，其中，所述声纹提取单元进一步被配置为：
分别利用所述层次网络提取器和所述扁平网络提取器提取来提取所述未知语音中的声纹；以及
将所述层次网络提取器所提取的声纹和所述扁平网络提取器所提取的声纹拼接在一起作为所提取的所述未知语音中的声纹。
15、根据附记13所述的身份验证方法，其中，所述分组标签包含的信息越简单，则该分组标签在层次神经网络中放置的位置越靠前。
16、根据附记11所述的身份验证方法，其中，所述深度学习利用随机梯度下降方法进行，所述随机梯度方法使用以下公式来计算神经网络的权重：
wt+1＝θt+(at-1)(θt-θt-1)/at+1+at(θt-wt)/at+1
其中，wt是权重，
Figure BDA0001206430690000141
∈t′是学习率，
Figure BDA0001206430690000142
是损失函数f的梯度，a0＝1，
Figure BDA0001206430690000143
17、根据附记10所述的身份验证方法，其中，所述身份验证单元进一步被配置为：
训练第一高斯混合模型和第二高斯混合模型，其中，所述第一高斯混合模型对应两个声纹属于同一个人的情况，所述第二高斯混合模型对应两个声纹不属于同一个人的情况；
计算所述拼接的声纹分别在所述第一高斯混合模型上的第一概率和所述第二高斯混合模型上的第二概率；以及
当所述第一概率大于所述第二概率，则所提取的声纹与预先存储的声纹是来自同一个人，否则，则是来自不同的人。
18、根据附记11所述的身份验证方法，其中，所提取的所述未知语音中的声纹包含所述说话者的辅助信息。

Claims (9)

1.一种基于声纹的身份验证方法，包括：
接收未知语音；
利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹，其中，得到所述基于神经网络的声纹提取器包括：
采集来自不同说话者的语音，
将所述说话者的辅助信息作为所述神经网络的分组标签进行标记，并且将标记过的语音作为训练样本输入所述神经网络，和
通过分别使用层次神经网络和扁平神经网络，基于所述分组标签进行深度学习来得到所述基于神经网络的声纹提取器；
将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及
利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
2.根据权利要求1所述的身份验证方法，其中，所述说话者的辅助信息包括：说话者的语种、音素序列、发声通道、情感、年龄、生活区域以及性别中的一项或多项。
3.根据权利要求1所述的身份验证方法，其中，进行深度学习来得到所述基于神经网络的声纹提取器还包括：
采用所述层次神经网络将不同的分组标签分别放置在不同层进行深度学习得到层次网络提取器；以及
采用所述扁平神经网络将全部分组标签放置在输出层进行深度学习得到扁平网络提取器。
4.根据权利要求3所述的身份验证方法，其中，利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹的步骤还包括：
分别利用所述层次网络提取器和所述扁平网络提取器提取来提取所述未知语音中的声纹；以及
将所述层次网络提取器所提取的声纹和所述扁平网络提取器所提取的声纹拼接在一起作为所提取的所述未知语音中的声纹。
5.根据权利要求3所述的身份验证方法，其中，所述分组标签包含的信息越简单，则该分组标签在层次神经网络中放置的位置越靠前。
6.根据权利要求1所述的身份验证方法，其中，利用随机梯度下降方法进行所述深度学习，所述随机梯度下降方法使用以下公式来计算神经网络的权重：
wt+1＝θt+(at-1)(θt-θt-1)/at+1+at(θt-wt)/at+1
其中，wt是权重，
Figure FDA0003221776080000021
∈t′是学习率，
Figure FDA0003221776080000023
是损失函数f的梯度，a0＝1，
Figure FDA0003221776080000022
7.根据权利要求1所述的身份验证方法，其中，利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人的步骤还包括：
训练第一高斯混合模型和第二高斯混合模型，其中，所述第一高斯混合模型对应两个声纹属于同一个人的情况，所述第二高斯混合模型对应两个声纹不属于同一个人的情况；
计算所述拼接的声纹分别在所述第一高斯混合模型上的第一概率和所述第二高斯混合模型上的第二概率；以及
当所述第一概率大于所述第二概率，则所提取的声纹与预先存储的声纹是来自同一个人，否则，则是来自不同的人。
8.根据权利要求1所述的身份验证方法，其中，所提取的所述未知语音中的声纹包含所述说话者的辅助信息。
9.一种基于声纹的身份验证装置，包括：
语音接收单元，被配置为接收未知语音；
声纹提取单元，被配置为利用预先训练得到的基于神经网络的声纹提取器来提取所述未知语音中的声纹，其中，得到所述基于神经网络的声纹提取器包括：
采集来自不同说话者的语音，
将所述说话者的辅助信息作为所述神经网络的分组标签进行标记，并且将标记过的语音作为训练样本输入所述神经网络，和
通过分别使用层次神经网络和扁平神经网络，基于所述分组标签进行深度学习来得到所述基于神经网络的声纹提取器；
声纹拼接单元，被配置为将所提取的声纹与预先存储的声纹进行拼接得到拼接的声纹；以及
身份验证单元，被配置为利用预先训练的分类模型对所述拼接的声纹进行判断，验证所提取的声纹与预先存储的声纹是否来自同一个人。
CN201710019531.9A 2017-01-10 2017-01-10 基于声纹的身份验证方法和装置 Expired - Fee Related CN108288470B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710019531.9A CN108288470B (zh) 2017-01-10 2017-01-10 基于声纹的身份验证方法和装置
JP2018000918A JP7000865B2 (ja) 2017-01-10 2018-01-09 声紋に基づく身分確認方法及び装置
EP18150722.9A EP3346463B1 (en) 2017-01-10 2018-01-09 Identity verification method and apparatus based on voiceprint
US15/866,079 US10657969B2 (en) 2017-01-10 2018-01-09 Identity verification method and apparatus based on voiceprint

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710019531.9A CN108288470B (zh) 2017-01-10 2017-01-10 基于声纹的身份验证方法和装置

Publications (2)

Publication Number Publication Date
CN108288470A CN108288470A (zh) 2018-07-17
CN108288470B true CN108288470B (zh) 2021-12-21

Family

ID=60990643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710019531.9A Expired - Fee Related CN108288470B (zh) 2017-01-10 2017-01-10 基于声纹的身份验证方法和装置

Country Status (4)

Country Link
US (1) US10657969B2 (zh)
EP (1) EP3346463B1 (zh)
JP (1) JP7000865B2 (zh)
CN (1) CN108288470B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564688A (zh) * 2018-03-21 2018-09-21 阿里巴巴集团控股有限公司 身份验证的方法及装置和电子设备
CN108877812B (zh) * 2018-08-16 2021-04-02 桂林电子科技大学 一种声纹识别方法、装置及存储介质
WO2020071739A1 (en) 2018-10-02 2020-04-09 Samsung Electronics Co., Ltd. Washing machine
CN110289003B (zh) * 2018-10-10 2021-10-29 腾讯科技（深圳）有限公司 一种声纹识别的方法、模型训练的方法以及服务器
CN109377983A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 一种基于语音交互的骚扰电话拦截方法及相关设备
KR102113663B1 (ko) * 2018-10-18 2020-05-22 한국과학기술원 디지털 스토리텔링을 위한 계층적 분류 기반의 증분 클래스 학습 방법 및 컴퓨팅 장치
CN109243467B (zh) * 2018-11-14 2019-11-05 龙马智声（珠海）科技有限公司 声纹模型构建方法、声纹识别方法及系统
CN109377984B (zh) * 2018-11-22 2022-05-03 北京中科智加科技有限公司 一种基于ArcFace的语音识别方法及装置
CN109410956B (zh) * 2018-12-24 2021-10-08 科大讯飞股份有限公司 一种音频数据的对象识别方法、装置、设备及存储介质
CN109378006B (zh) 2018-12-28 2022-09-16 三星电子（中国）研发中心 一种跨设备声纹识别方法及系统
CN111798857A (zh) * 2019-04-08 2020-10-20 北京嘀嘀无限科技发展有限公司 一种信息识别方法、装置、电子设备及存储介质
KR20200126675A (ko) * 2019-04-30 2020-11-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN111951809B (zh) * 2019-05-14 2024-06-21 深圳市金桐科技有限公司 多人声纹辨别方法及系统
CN110689895B (zh) * 2019-09-06 2021-04-02 北京捷通华声科技股份有限公司 语音校验方法、装置、电子设备及可读存储介质
SG11202010803VA (en) * 2019-10-31 2020-11-27 Alipay Hangzhou Inf Tech Co Ltd System and method for determining voice characteristics
CN110956966B (zh) * 2019-11-01 2023-09-19 平安科技（深圳）有限公司 声纹认证方法、装置、介质及电子设备
CN110708600A (zh) * 2019-11-26 2020-01-17 三星电子（中国）研发中心 识别电视的有效观看者的方法和设备
CN111009238B (zh) * 2020-01-02 2023-06-23 厦门快商通科技股份有限公司 一种拼接语音的识别方法和装置以及设备
WO2021154600A1 (en) * 2020-01-27 2021-08-05 Pindrop Security, Inc. Robust spoofing detection system using deep residual neural networks
CN111508503B (zh) * 2020-06-16 2020-10-20 北京爱数智慧科技有限公司 一种识别同一说话人的方法和装置
CN111949965B (zh) * 2020-08-12 2024-06-14 腾讯科技（深圳）有限公司 基于人工智能的身份验证方法、装置、介质及电子设备
CN112037800B (zh) * 2020-09-22 2024-07-12 平安科技（深圳）有限公司 声纹核身模型训练方法、装置、介质及电子设备
CN112423063A (zh) * 2020-11-03 2021-02-26 深圳Tcl新技术有限公司 一种智能电视自动设置方法、装置及存储介质
US11522994B2 (en) 2020-11-23 2022-12-06 Bank Of America Corporation Voice analysis platform for voiceprint tracking and anomaly detection
CN114596867A (zh) * 2020-12-03 2022-06-07 中移互联网有限公司 基于语音助手的应用登录方法及装置
CN112397075B (zh) * 2020-12-10 2024-05-28 北京猿力未来科技有限公司 一种人声音频识别模型训练方法、音频分类方法和系统
CN113035202B (zh) * 2021-01-28 2023-02-28 北京达佳互联信息技术有限公司 一种身份识别方法和装置
CN112992174A (zh) * 2021-02-03 2021-06-18 深圳壹秘科技有限公司 一种语音分析方法及其语音记录装置
CN114141256A (zh) * 2021-12-08 2022-03-04 国家电网有限公司 基于小波神经网络的声纹特征提取模型构建方法及系统
US20230377560A1 (en) * 2022-05-18 2023-11-23 Lemon Inc. Speech tendency classification
CN115223568A (zh) * 2022-06-29 2022-10-21 厦门快商通科技股份有限公司 基于声纹识别的身份验证方法、装置、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971690A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 一种声纹识别方法和装置
CN104835498A (zh) * 2015-05-25 2015-08-12 重庆大学 基于多类型组合特征参数的声纹识别方法
TWI522519B (zh) * 2014-03-28 2016-02-21 國立虎尾科技大學 聲紋防盜系統及其方法
CN105513597A (zh) * 2015-12-30 2016-04-20 百度在线网络技术（北京）有限公司 声纹认证处理方法及装置
CN105681920A (zh) * 2015-12-30 2016-06-15 深圳市鹰硕音频科技有限公司 一种具有语音识别功能的网络教学方法及系统
WO2016151193A1 (en) * 2015-03-20 2016-09-29 Aplcomp Oy Audiovisual associative authentication method, related system and device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671328A (en) * 1992-12-30 1997-09-23 International Business Machines Corporation Method and apparatus for automatic creation of a voice recognition template entry
US8645137B2 (en) * 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8812319B2 (en) * 2001-01-31 2014-08-19 Ibiometrics, Inc. Dynamic pass phrase security system (DPSS)
US20030113002A1 (en) * 2001-12-18 2003-06-19 Koninklijke Philips Electronics N.V. Identification of people using video and audio eigen features
CN1327406C (zh) * 2003-08-29 2007-07-18 摩托罗拉公司 开放式词汇表语音识别的方法
US7206390B2 (en) * 2004-05-13 2007-04-17 Extended Data Solutions, Inc. Simulated voice message by concatenating voice files
WO2007110553A1 (fr) * 2006-03-29 2007-10-04 France Telecom Systeme de mise en coherence de prononciations
US20070239444A1 (en) * 2006-03-29 2007-10-11 Motorola, Inc. Voice signal perturbation for speech recognition
TWI412941B (zh) * 2008-11-25 2013-10-21 Inst Information Industry 產生及驗證一訊息之一語音簽章之裝置、方法及其電腦程式產品
FR2940498B1 (fr) * 2008-12-23 2011-04-15 Thales Sa Procede et systeme pour authentifier un utilisateur et/ou une donnee cryptographique
US8321209B2 (en) * 2009-11-10 2012-11-27 Research In Motion Limited System and method for low overhead frequency domain voice authentication
US8326625B2 (en) * 2009-11-10 2012-12-04 Research In Motion Limited System and method for low overhead time domain voice authentication
US9767807B2 (en) * 2011-03-30 2017-09-19 Ack3 Bionetics Pte Limited Digital voice signature of transactions
US9251792B2 (en) * 2012-06-15 2016-02-02 Sri International Multi-sample conversational voice verification
US9502038B2 (en) 2013-01-28 2016-11-22 Tencent Technology (Shenzhen) Company Limited Method and device for voiceprint recognition
US20170103488A1 (en) * 2013-04-12 2017-04-13 Inspirit Group, Llc Secure and anonymous messaging system and method
US9633669B2 (en) * 2013-09-03 2017-04-25 Amazon Technologies, Inc. Smart circular audio buffer
US9286897B2 (en) * 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
US20160293167A1 (en) * 2013-10-10 2016-10-06 Google Inc. Speaker recognition using neural networks
US9401148B2 (en) * 2013-11-04 2016-07-26 Google Inc. Speaker verification using neural networks
US9514753B2 (en) * 2013-11-04 2016-12-06 Google Inc. Speaker identification using hash-based indexing
US20150142446A1 (en) * 2013-11-21 2015-05-21 Global Analytics, Inc. Credit Risk Decision Management System And Method Using Voice Analytics
US9858919B2 (en) * 2013-11-27 2018-01-02 International Business Machines Corporation Speaker adaptation of neural network acoustic models using I-vectors
JP6246636B2 (ja) 2014-03-20 2017-12-13 株式会社東芝 パターン識別装置、パターン識別方法およびプログラム
US9542948B2 (en) 2014-04-09 2017-01-10 Google Inc. Text-dependent speaker identification
US10719115B2 (en) * 2014-12-30 2020-07-21 Avago Technologies International Sales Pte. Limited Isolated word training and detection using generated phoneme concatenation models of audio inputs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971690A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 一种声纹识别方法和装置
TWI522519B (zh) * 2014-03-28 2016-02-21 國立虎尾科技大學 聲紋防盜系統及其方法
WO2016151193A1 (en) * 2015-03-20 2016-09-29 Aplcomp Oy Audiovisual associative authentication method, related system and device
CN104835498A (zh) * 2015-05-25 2015-08-12 重庆大学 基于多类型组合特征参数的声纹识别方法
CN105513597A (zh) * 2015-12-30 2016-04-20 百度在线网络技术（北京）有限公司 声纹认证处理方法及装置
CN105681920A (zh) * 2015-12-30 2016-06-15 深圳市鹰硕音频科技有限公司 一种具有语音识别功能的网络教学方法及系统

Also Published As

Publication number Publication date
EP3346463A1 (en) 2018-07-11
JP7000865B2 (ja) 2022-01-19
EP3346463B1 (en) 2019-09-04
CN108288470A (zh) 2018-07-17
US10657969B2 (en) 2020-05-19
US20180197547A1 (en) 2018-07-12
JP2018112740A (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
CN108288470B (zh) 基于声纹的身份验证方法和装置
Ma et al. Short utterance based speech language identification in intelligent vehicles with time-scale modifications and deep bottleneck features
CN113707125B (zh) 一种多语言语音合成模型的训练方法及装置
Kelly et al. Deep neural network based forensic automatic speaker recognition in VOCALISE using x-vectors
CN107731233B (zh) 一种基于rnn的声纹识别方法
CN112053695A (zh) 声纹识别方法、装置、电子设备及存储介质
CN112233680B (zh) 说话人角色识别方法、装置、电子设备及存储介质
CN110211565A (zh) 方言识别方法、装置及计算机可读存储介质
CN113327575B (zh) 一种语音合成方法、装置、计算机设备和存储介质
Kumar et al. Significance of GMM-UBM based modelling for Indian language identification
CN107680584A (zh) 用于切分音频的方法和装置
CN112686041B (zh) 一种拼音标注方法及装置
Geng et al. Multilingual tandem bottleneck feature for language identification.
CN110782902A (zh) 音频数据确定方法、装置、设备和介质
CN112599114B (zh) 一种语音识别方法及装置
CN115511704A (zh) 一种虚拟客服生成方法、装置、电子设备及存储介质
Mahum et al. Text to speech synthesis using deep learning
Ma et al. Language identification with deep bottleneck features
CN114581570B (zh) 一种三维脸部动作生成方法和系统
CN105575385A (zh) 语音密码设置系统及方法、语音密码验证系统及方法
Roy et al. A hybrid VQ-GMM approach for identifying Indian languages
CN115527551A (zh) 语音标注质量评价方法、装置、电子设备和存储介质
CN114491467A (zh) 一种身份认证方法及装置
Chittaragi et al. Sentence-based dialect identification system using extreme gradient boosting algorithm
CN109872721A (zh) 语音认证方法、信息处理设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211221