JP3035239B2 - 話者正規化装置、話者適応化装置及び音声認識装置 - Google Patents
話者正規化装置、話者適応化装置及び音声認識装置Info
- Publication number
- JP3035239B2 JP3035239B2 JP9054596A JP5459697A JP3035239B2 JP 3035239 B2 JP3035239 B2 JP 3035239B2 JP 9054596 A JP9054596 A JP 9054596A JP 5459697 A JP5459697 A JP 5459697A JP 3035239 B2 JP3035239 B2 JP 3035239B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- model
- vector
- hmm
- hidden markov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、初期話者モデルに
対して話者依存の音声データの特徴パラメータを用いて
話者正規化を行って、話者正規化された隠れマルコフモ
デル（以下、ＨＭＭという。）を作成する話者正規化装
置、話者正規化されたＨＭＭに対して話者適応用学習デ
ータを用いて話者適応化を行って、話者適応化されたＨ
ＭＭを作成する話者適応化装置、及び、話者正規化又は
話者適応化されたＨＭＭを用いて音声認識する音声認識
装置に関する。
対して話者依存の音声データの特徴パラメータを用いて
話者正規化を行って、話者正規化された隠れマルコフモ
デル（以下、ＨＭＭという。）を作成する話者正規化装
置、話者正規化されたＨＭＭに対して話者適応用学習デ
ータを用いて話者適応化を行って、話者適応化されたＨ
ＭＭを作成する話者適応化装置、及び、話者正規化又は
話者適応化されたＨＭＭを用いて音声認識する音声認識
装置に関する。
【０００２】
【従来の技術】音声認識のアプリケーションを考えた場
合、事前の話者登録無しに使用が可能の不特定話者音声
認識システムの要望が高い。しかしながら、現状の不特
定話者音声認識の性能は、特定話者音声認識よりも低
く、その差は、誤り率で２〜３倍程度である。不特定話
者音声認識の性能を向上されるため、特定話者が発声し
た少量の適応データを用い、不特定話者音声認識の音響
モデルを特定話者へ近づける話者適応化処理（例えば、
従来技術文献１「C.L.Leggetter et al.,“MaximumLike
lihood Linear Regression for Speaker Adaptation of
Continuous Density Hidden Markov Models",Computer
Speech and Language,Vol.9,pp.171-185,1995年」参
照。）の研究が行なわれているが、特定話者音声認識と
同等の性能を示すまでには、多量の学習用適応化データ
が必要となっている。
合、事前の話者登録無しに使用が可能の不特定話者音声
認識システムの要望が高い。しかしながら、現状の不特
定話者音声認識の性能は、特定話者音声認識よりも低
く、その差は、誤り率で２〜３倍程度である。不特定話
者音声認識の性能を向上されるため、特定話者が発声し
た少量の適応データを用い、不特定話者音声認識の音響
モデルを特定話者へ近づける話者適応化処理（例えば、
従来技術文献１「C.L.Leggetter et al.,“MaximumLike
lihood Linear Regression for Speaker Adaptation of
Continuous Density Hidden Markov Models",Computer
Speech and Language,Vol.9,pp.171-185,1995年」参
照。）の研究が行なわれているが、特定話者音声認識と
同等の性能を示すまでには、多量の学習用適応化データ
が必要となっている。
【０００３】
【発明が解決しようとする課題】一般に、話者に対して
独立な不特定話者ＨＭＭ（以下、ＳＩ−ＨＭＭとい
う。）の学習は複数の話者の音声データを用いて行う。
学習データには話者による違いだけでなく、学習対象の
単位の置かれた状況（コンテキスト）等の違いが混在す
るにも関わらず、特定話者音声認識の音響モデル（話者
に依存するＨＭＭ（以下、ＳＤ−ＨＭＭという。）であ
る。）の学習と同様に処理する。これにより、ＳＩ−Ｈ
ＭＭには話者の違いに起因する変動と音韻コンテキスト
の変動の両方が混在し、広がりの大きなモデルになって
しまう。これが識別性能劣化の要因の１つなっていると
考えられる。連続混合分布型ＨＭＭを基本とした音声認
識システムの場合では、ガウス分布の分散が大きくなる
現象であり、認識単位間の重なりが発生し、識別を困難
となるという問題点があった。
独立な不特定話者ＨＭＭ（以下、ＳＩ−ＨＭＭとい
う。）の学習は複数の話者の音声データを用いて行う。
学習データには話者による違いだけでなく、学習対象の
単位の置かれた状況（コンテキスト）等の違いが混在す
るにも関わらず、特定話者音声認識の音響モデル（話者
に依存するＨＭＭ（以下、ＳＤ−ＨＭＭという。）であ
る。）の学習と同様に処理する。これにより、ＳＩ−Ｈ
ＭＭには話者の違いに起因する変動と音韻コンテキスト
の変動の両方が混在し、広がりの大きなモデルになって
しまう。これが識別性能劣化の要因の１つなっていると
考えられる。連続混合分布型ＨＭＭを基本とした音声認
識システムの場合では、ガウス分布の分散が大きくなる
現象であり、認識単位間の重なりが発生し、識別を困難
となるという問題点があった。
【０００４】特に、従来技術文献１において開示され
た、従来例の重回帰写像モデルを用いて話者適応化した
場合に、学習用適応化データが少量であるときに、適応
化のパラメータの推定精度が比較的悪く、音声認識率が
比較的低いという問題点があった。
た、従来例の重回帰写像モデルを用いて話者適応化した
場合に、学習用適応化データが少量であるときに、適応
化のパラメータの推定精度が比較的悪く、音声認識率が
比較的低いという問題点があった。
【０００５】本発明の目的は以上の問題点を解決し、従
来例に比較して適応化のパラメータの推定精度を改善す
ることができ、しかも音声認識率を改善することができ
る話者正規化装置、話者適応化装置及び音声認識装置を
提供することにある。
来例に比較して適応化のパラメータの推定精度を改善す
ることができ、しかも音声認識率を改善することができ
る話者正規化装置、話者適応化装置及び音声認識装置を
提供することにある。
【０００６】
【課題を解決するための手段】本発明に係る請求項１記
載の話者正規化装置は、所定の隠れマルコフモデルの初
期モデルを学習するための学習データであり、複数の話
者にそれぞれ依存する音声データの特徴ベクトルを記憶
する記憶装置と、上記記憶装置に記憶された音声データ
の特徴ベクトルに基づいて、上記隠れマルコフモデルの
初期モデルに対して、最尤線形回帰法により、重回帰写
像モデルに基づく平均ベクトルの変換のための変換行列
と、スペクトルに共通する個人差を表す定数項ベクトル
とを含む第１の変換係数を上記各話者毎に演算する第１
の演算手段と、上記記憶装置に記憶された音声データの
特徴ベクトルから上記各話者毎に、上記第１の演算手段
によって演算された定数項ベクトルを減算して正規化さ
れた音声データの特徴ベクトルを演算する第２の演算手
段と、上記第２の演算手段によって演算された正規化さ
れた音声データの特徴ベクトルに基づいて、上記隠れマ
ルコフモデルの初期モデルを、所定の学習アルゴリズム
を用いて学習することにより、話者正規化された隠れマ
ルコフモデルのモデルパラメータを演算する第３の演算
手段とを備えたことを特徴とする。
載の話者正規化装置は、所定の隠れマルコフモデルの初
期モデルを学習するための学習データであり、複数の話
者にそれぞれ依存する音声データの特徴ベクトルを記憶
する記憶装置と、上記記憶装置に記憶された音声データ
の特徴ベクトルに基づいて、上記隠れマルコフモデルの
初期モデルに対して、最尤線形回帰法により、重回帰写
像モデルに基づく平均ベクトルの変換のための変換行列
と、スペクトルに共通する個人差を表す定数項ベクトル
とを含む第１の変換係数を上記各話者毎に演算する第１
の演算手段と、上記記憶装置に記憶された音声データの
特徴ベクトルから上記各話者毎に、上記第１の演算手段
によって演算された定数項ベクトルを減算して正規化さ
れた音声データの特徴ベクトルを演算する第２の演算手
段と、上記第２の演算手段によって演算された正規化さ
れた音声データの特徴ベクトルに基づいて、上記隠れマ
ルコフモデルの初期モデルを、所定の学習アルゴリズム
を用いて学習することにより、話者正規化された隠れマ
ルコフモデルのモデルパラメータを演算する第３の演算
手段とを備えたことを特徴とする。
【０００７】また、本発明に係る請求項２記載の話者適
応化装置は、話者適応化する話者の音声データの特徴ベ
クトルに基づいて、請求項１記載の話者正規化装置の第
３の演算手段によって演算された隠れマルコフモデルに
対して、最尤線形回帰法により、重回帰写像モデルに基
づく平均ベクトルの変換のための変換行列と定数項ベク
トルを含む第２の変換係数を演算する第４の演算手段
と、上記第４の演算手段によって演算された変換行列と
定数項ベクトルを含む第２の変換係数に基づいて、最大
事後確率推定法により、話者適応化された重回帰写像モ
デルに基づく平均ベクトルの変換のための変換行列と定
数項ベクトルを含む第３の変換係数を演算する第５の演
算手段と、上記第５の演算手段によって演算された変換
行列と定数項ベクトルを含む第３の変換係数に対して、
所定の線形変換処理を実行することにより、話者適応化
後の隠れマルコフモデルの平均ベクトルを演算する第６
の演算手段とを備えたことを特徴とする。
応化装置は、話者適応化する話者の音声データの特徴ベ
クトルに基づいて、請求項１記載の話者正規化装置の第
３の演算手段によって演算された隠れマルコフモデルに
対して、最尤線形回帰法により、重回帰写像モデルに基
づく平均ベクトルの変換のための変換行列と定数項ベク
トルを含む第２の変換係数を演算する第４の演算手段
と、上記第４の演算手段によって演算された変換行列と
定数項ベクトルを含む第２の変換係数に基づいて、最大
事後確率推定法により、話者適応化された重回帰写像モ
デルに基づく平均ベクトルの変換のための変換行列と定
数項ベクトルを含む第３の変換係数を演算する第５の演
算手段と、上記第５の演算手段によって演算された変換
行列と定数項ベクトルを含む第３の変換係数に対して、
所定の線形変換処理を実行することにより、話者適応化
後の隠れマルコフモデルの平均ベクトルを演算する第６
の演算手段とを備えたことを特徴とする。
【０００８】さらに、請求項３記載の音声認識装置は、
請求項１記載の話者正規化装置の第３の演算手段によっ
て演算された隠れマルコフモデルを用いて、入力された
発声音声文の音声信号に基づいて、音声認識して音声認
識結果を出力する音声認識手段とを備えたことを特徴と
する。
請求項１記載の話者正規化装置の第３の演算手段によっ
て演算された隠れマルコフモデルを用いて、入力された
発声音声文の音声信号に基づいて、音声認識して音声認
識結果を出力する音声認識手段とを備えたことを特徴と
する。
【０００９】さらに、請求項４記載の音声認識装置は、
請求項２記載の話者適応化装置の第６の演算手段によっ
て演算された隠れマルコフモデルの平均ベクトルを含む
隠れマルコフモデルを用いて、入力された発声音声文の
音声信号に基づいて、音声認識して音声認識結果を出力
する音声認識手段とを備えたことを特徴とする。
請求項２記載の話者適応化装置の第６の演算手段によっ
て演算された隠れマルコフモデルの平均ベクトルを含む
隠れマルコフモデルを用いて、入力された発声音声文の
音声信号に基づいて、音声認識して音声認識結果を出力
する音声認識手段とを備えたことを特徴とする。
【００１０】
【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。図１は本発明に係る一実
施形態である音声認識装置のブロック図である。この実
施形態は、話者正規化制御部２０と、話者適応化制御部
２１とを備えたことを特徴とする。
る実施形態について説明する。図１は本発明に係る一実
施形態である音声認識装置のブロック図である。この実
施形態は、話者正規化制御部２０と、話者適応化制御部
２１とを備えたことを特徴とする。
【００１１】ここで、話者正規化制御部２０は、（ａ）
複数Ｍ人の話者にそれぞれ依存する音声データ３２−１
乃至３２−Ｍの特徴ベクトルに基づいて、所定のＨＭＭ
の初期モデル（以下、初期ＨＭＭという。）３１に対し
て、最尤線形回帰法により、重回帰写像モデルに基づく
平均ベクトルの変換のための変換行列と定数項ベクトル
を含む第１の変換係数Ａc (m)，ｂc ( m)を、後述する数６
乃至数１１を用いて各話者ｍ（ｍ＝１，２，…，Ｍ）毎
に演算し、（ｂ）後述する数１２を用いて、上記複数Ｍ
人の話者にそれぞれ依存する音声データ３２−１乃至３
２−Ｍの特徴ベクトルｏt (m)から上記各話者ｍ毎に、上
記演算された定数項ベクトルｂc (m)を減算して正規化さ
れた音声データの特徴ベクトルｏｈtを演算し、（ｃ）
上記演算された正規化された音声データの特徴ベクトル
ｏｈtに基づいて、隠れマルコフモデルの初期モデル３
１を、所定の学習アルゴリズムを用いて学習することに
より、話者正規化されたＨＭＭ３３のモデルパラメータ
を演算することを特徴とする。ここで、モデルパラメー
タは、平均ベクトル、ガウス分布の分散、状態遷移確率
などのＨＭＭのモデルパラメータを含む。
複数Ｍ人の話者にそれぞれ依存する音声データ３２−１
乃至３２−Ｍの特徴ベクトルに基づいて、所定のＨＭＭ
の初期モデル（以下、初期ＨＭＭという。）３１に対し
て、最尤線形回帰法により、重回帰写像モデルに基づく
平均ベクトルの変換のための変換行列と定数項ベクトル
を含む第１の変換係数Ａc (m)，ｂc ( m)を、後述する数６
乃至数１１を用いて各話者ｍ（ｍ＝１，２，…，Ｍ）毎
に演算し、（ｂ）後述する数１２を用いて、上記複数Ｍ
人の話者にそれぞれ依存する音声データ３２−１乃至３
２−Ｍの特徴ベクトルｏt (m)から上記各話者ｍ毎に、上
記演算された定数項ベクトルｂc (m)を減算して正規化さ
れた音声データの特徴ベクトルｏｈtを演算し、（ｃ）
上記演算された正規化された音声データの特徴ベクトル
ｏｈtに基づいて、隠れマルコフモデルの初期モデル３
１を、所定の学習アルゴリズムを用いて学習することに
より、話者正規化されたＨＭＭ３３のモデルパラメータ
を演算することを特徴とする。ここで、モデルパラメー
タは、平均ベクトル、ガウス分布の分散、状態遷移確率
などのＨＭＭのモデルパラメータを含む。
【００１２】また、話者適応化制御部２１は、（ｄ）話
者適応化する音声データである話者適応用学習データ３
４の特徴ベクトルに基づいて、話者正規化装置２０によ
って演算された話者正規化されたＨＭＭ３３に対して、
最尤線形回帰法により、後述する数６を用いて、重回帰
写像モデルに基づく平均ベクトルの変換のための変換行
列と定数項ベクトルを含む第２の変換係数Ａc，ｂcを演
算し、（ｅ）上記演算された変換行列と定数項ベクトル
を含む第２の変換係数Ａc，ｂcに基づいて、最大事後確
率推定法により、後述する数１４及び数１５を用いて、
話者適応化された重回帰写像モデルに基づく平均ベクト
ルの変換のための変換行列と定数項ベクトルを含む第３
の変換係数Ａc,k MAP，ｂc,k MAPを演算し、（ｆ）上記演
算された変換行列と定数項ベクトルを含む第３の変換係
数Ａc,k MAP，ｂc,k MAPに対して、後述する数１３を用い
て所定の線形変換処理を実行することにより、話者適応
化後のＨＭＭの平均ベクトルμｈk, MAPを演算すること
を特徴とする。
者適応化する音声データである話者適応用学習データ３
４の特徴ベクトルに基づいて、話者正規化装置２０によ
って演算された話者正規化されたＨＭＭ３３に対して、
最尤線形回帰法により、後述する数６を用いて、重回帰
写像モデルに基づく平均ベクトルの変換のための変換行
列と定数項ベクトルを含む第２の変換係数Ａc，ｂcを演
算し、（ｅ）上記演算された変換行列と定数項ベクトル
を含む第２の変換係数Ａc，ｂcに基づいて、最大事後確
率推定法により、後述する数１４及び数１５を用いて、
話者適応化された重回帰写像モデルに基づく平均ベクト
ルの変換のための変換行列と定数項ベクトルを含む第３
の変換係数Ａc,k MAP，ｂc,k MAPを演算し、（ｆ）上記演
算された変換行列と定数項ベクトルを含む第３の変換係
数Ａc,k MAP，ｂc,k MAPに対して、後述する数１３を用い
て所定の線形変換処理を実行することにより、話者適応
化後のＨＭＭの平均ベクトルμｈk, MAPを演算すること
を特徴とする。
【００１３】さらに、図１の音声認識装置は、上記話者
適応化されたＨＭＭ１１を用いて、入力された発声音声
文の音声信号に基づいて、音声認識して音声認識結果を
出力する。また、話者正規化されたＨＭＭ３３を用い
て、入力された発声音声文の音声信号に基づいて、音声
認識して音声認識結果を出力してもよい。
適応化されたＨＭＭ１１を用いて、入力された発声音声
文の音声信号に基づいて、音声認識して音声認識結果を
出力する。また、話者正規化されたＨＭＭ３３を用い
て、入力された発声音声文の音声信号に基づいて、音声
認識して音声認識結果を出力してもよい。
【００１４】本発明に係る実施形態においては、話者性
を取り除く話者正規化手法によって音響モデルを生成す
ることを検討した。話者正規化を行なうことでモデルの
広がりが小さくなり、識別性能の向上が期待できる。ま
た、このような話者正規化により、変動分が音韻コンテ
キストを主としているものとみなせるモデルが得られる
ならば、話者適応の初期モデルとしても有効であると考
えられる。正規化処理は、重回帰写像モデルの定数項を
用いる。定数項は声帯音源スペクトルの概形や回線特性
のような広範囲のスペクトルに共通する個人差を表すと
考えられる。定数項を個人差ベクトルと考え、定数項を
学習データから引くことで正規化を行なう。さらにここ
では、話者正規化を施した音声データによって学習した
話者正規化されたＨＭＭを初期モデルとする話者適応化
を、重回帰写像モデルによる話者適応と最大事後確率推
定法（以下、ＭＡＰ推定法という。）を組み合わせた方
法を用いる。
を取り除く話者正規化手法によって音響モデルを生成す
ることを検討した。話者正規化を行なうことでモデルの
広がりが小さくなり、識別性能の向上が期待できる。ま
た、このような話者正規化により、変動分が音韻コンテ
キストを主としているものとみなせるモデルが得られる
ならば、話者適応の初期モデルとしても有効であると考
えられる。正規化処理は、重回帰写像モデルの定数項を
用いる。定数項は声帯音源スペクトルの概形や回線特性
のような広範囲のスペクトルに共通する個人差を表すと
考えられる。定数項を個人差ベクトルと考え、定数項を
学習データから引くことで正規化を行なう。さらにここ
では、話者正規化を施した音声データによって学習した
話者正規化されたＨＭＭを初期モデルとする話者適応化
を、重回帰写像モデルによる話者適応と最大事後確率推
定法（以下、ＭＡＰ推定法という。）を組み合わせた方
法を用いる。
【００１５】まず、本実施形態において用いる重回帰写
像モデルについて説明する。重回帰写像モデルによる話
者適応化は初期モデルのｋ番目のガウス分布の平均ベク
トルμk（次元数ｎ）を、次式によって、話者適応化モ
デルに基づく平均ベクトルμｈkに変換することで行な
われる。
像モデルについて説明する。重回帰写像モデルによる話
者適応化は初期モデルのｋ番目のガウス分布の平均ベク
トルμk（次元数ｎ）を、次式によって、話者適応化モ
デルに基づく平均ベクトルμｈkに変換することで行な
われる。
【００１６】
【数１】μｈk＝Ａcμk＋ｂc
【００１７】ここで、Ａcはｎ×ｎの変換行列であり、
ｂcはｎ次元の定数項ベクトルであり、共有化されたガ
ウス分布のクラスΩc毎に求める。ここでは、学習用適
応化データに関して最尤を基準に変換係数Ａc，ｂcを推
定する最尤線形回帰法（Maximum likelihood linear re
gression；以下、ＭＬＬＲ方法という。；例えば、従来
技術文献１参照。）を用いて推定する方法について述べ
る。ＭＬＬＲ法では時刻ｔにｋ番目のガウス分布（以
下、ガウス分布ｋという。）において入力ベクトルｏt
観測される確率密度関数ｂk（ｏt）を次式の通り仮定す
る。
ｂcはｎ次元の定数項ベクトルであり、共有化されたガ
ウス分布のクラスΩc毎に求める。ここでは、学習用適
応化データに関して最尤を基準に変換係数Ａc，ｂcを推
定する最尤線形回帰法（Maximum likelihood linear re
gression；以下、ＭＬＬＲ方法という。；例えば、従来
技術文献１参照。）を用いて推定する方法について述べ
る。ＭＬＬＲ法では時刻ｔにｋ番目のガウス分布（以
下、ガウス分布ｋという。）において入力ベクトルｏt
観測される確率密度関数ｂk（ｏt）を次式の通り仮定す
る。
【００１８】
【数２】ｂk（ｏt）＝１／｛（２π）n/2｜Σk｜1/2｝
×ｅｘｐ[−(１／２){ｏt−(Ａcμk＋ｂc)}'Σk -1{ｏt
−(Ａcμk＋ｂc)}]
×ｅｘｐ[−(１／２){ｏt−(Ａcμk＋ｂc)}'Σk -1{ｏt
−(Ａcμk＋ｂc)}]
【００１９】ここで、Σkは対角共分散行列ｄｉａｇ
［σ2 k1，σ2 k2，…，σ2 kn］である。また、’は転置
行列を表わす。さらに、Σk -1は行列Σkの逆行列を表わ
す。変換係数は次式のバーム（Ｂａｕｍ）の補助関数を
最大にすることによって得る。
［σ2 k1，σ2 k2，…，σ2 kn］である。また、’は転置
行列を表わす。さらに、Σk -1は行列Σkの逆行列を表わ
す。変換係数は次式のバーム（Ｂａｕｍ）の補助関数を
最大にすることによって得る。
【００２０】
【数３】
【００２１】ここで、Ｏはフレーム長がＴの適応化デー
タの特徴ベクトルの系列（ｏ1，ｏ2，…，ｏT）を表し
ている。また、λ，λｂは適応化前後のモデルパラメー
タである。θは状態系列（θ1，θ2，…，θT）であ
り、Θは可能な全ての状態系列の集合を表している。Ｆ
（Ｏ，θ│λ），Ｆ（Ｏ，θ│λｂ）はそれぞれ状態系
列θにおける適応前後の尤度である。
タの特徴ベクトルの系列（ｏ1，ｏ2，…，ｏT）を表し
ている。また、λ，λｂは適応化前後のモデルパラメー
タである。θは状態系列（θ1，θ2，…，θT）であ
り、Θは可能な全ての状態系列の集合を表している。Ｆ
（Ｏ，θ│λ），Ｆ（Ｏ，θ│λｂ）はそれぞれ状態系
列θにおける適応前後の尤度である。
【００２２】補助関数が最大値を示す変換係数Ａc，ｂc
は、次式のように、補助関数をＡc，ｂcで偏微分し、偏
微分したものを共有化クラスΩcにおいて零とすること
で得られる。
は、次式のように、補助関数をＡc，ｂcで偏微分し、偏
微分したものを共有化クラスΩcにおいて零とすること
で得られる。
【００２３】
【数４】
【数５】
【００２４】ここで、γk（ｔ）はガウス分布ｋにおい
て時刻ｔに入力ベクトルが観測される期待値である。ま
た、μk’は平均ベクトルμkの転置行列である。従っ
て、数４及び数５から、変換行列Ａcのｐ行目の要素ａ
cp,i，及び定数項ｂcのｐ番目の要素ｂcpは次式で与え
られる。
て時刻ｔに入力ベクトルが観測される期待値である。ま
た、μk’は平均ベクトルμkの転置行列である。従っ
て、数４及び数５から、変換行列Ａcのｐ行目の要素ａ
cp,i，及び定数項ｂcのｐ番目の要素ｂcpは次式で与え
られる。
【００２５】
【数６】
【００２６】ここで、
【数７】
【数８】
【数９】
【数１０】
【数１１】
【００２７】ここで、μkiは平均ベクトルのｉ番目の要
素であり、σkpは対角共分散行列の（ｐ，ｐ）要素であ
り、ｏtpは時刻ｔの入力ベクトルのｐ番目の要素を表し
ている。以上が重回帰写像モデルについての説明であ
る。
素であり、σkpは対角共分散行列の（ｐ，ｐ）要素であ
り、ｏtpは時刻ｔの入力ベクトルのｐ番目の要素を表し
ている。以上が重回帰写像モデルについての説明であ
る。
【００２８】次いで、重回帰写像モデルを用いた話者正
規化による音響モデル作成について説明する。重回帰写
像モデルの定数項ｂcは声帯音源スペクトルの概形や回
線特性のような広範囲のスペクトルに共通する個人差を
表すと考えられる。そこで、本実施形態では定数項ｂc
を個人差ベクトルと仮定し、話者正規化を行なう。図４
及び図５は発明した話者正規化方法の概念図である。ま
た、図２は、図１の話者正規化制御部２０によって実行
される、Ｍ人の話者の音声データを用いて話者正規化モ
デルを作成する話者正規化処理のフローチャートであ
り、図７はそのブロック図である。図１において、話者
正規化制御部２０、話者適応化制御部２１、特徴抽出部
２、音素照合部４、ＬＲパーザ５は例えば、デジタル計
算機などの演算制御装置で構成され、バッファメモリ３
は例えばハードディスクメモリであり、初期ＨＭＭ３１
及び各話者１乃至Ｍの音声データの特徴パラメータベク
トル、話者正規化されたＨＭＭ３３、話者適応用学習デ
ータ３４、話者適応化されたＨＭＭ１１、ＬＲテーブル
１２及び文脈自由文法１３は例えばハードディスクメモ
リに記憶される。なお、各話者の音声データ３２−１乃
至３２−Ｍは各話者の音声波形信号から特徴抽出した特
徴パラメータのベクトル、すなわち特徴ベクトルであ
る。本明細書において、音声データとは、特徴ベクトル
をいう。以下に、図２及び図７を参照して、話者正規化
モデルの作成手順を述べる。
規化による音響モデル作成について説明する。重回帰写
像モデルの定数項ｂcは声帯音源スペクトルの概形や回
線特性のような広範囲のスペクトルに共通する個人差を
表すと考えられる。そこで、本実施形態では定数項ｂc
を個人差ベクトルと仮定し、話者正規化を行なう。図４
及び図５は発明した話者正規化方法の概念図である。ま
た、図２は、図１の話者正規化制御部２０によって実行
される、Ｍ人の話者の音声データを用いて話者正規化モ
デルを作成する話者正規化処理のフローチャートであ
り、図７はそのブロック図である。図１において、話者
正規化制御部２０、話者適応化制御部２１、特徴抽出部
２、音素照合部４、ＬＲパーザ５は例えば、デジタル計
算機などの演算制御装置で構成され、バッファメモリ３
は例えばハードディスクメモリであり、初期ＨＭＭ３１
及び各話者１乃至Ｍの音声データの特徴パラメータベク
トル、話者正規化されたＨＭＭ３３、話者適応用学習デ
ータ３４、話者適応化されたＨＭＭ１１、ＬＲテーブル
１２及び文脈自由文法１３は例えばハードディスクメモ
リに記憶される。なお、各話者の音声データ３２−１乃
至３２−Ｍは各話者の音声波形信号から特徴抽出した特
徴パラメータのベクトル、すなわち特徴ベクトルであ
る。本明細書において、音声データとは、特徴ベクトル
をいう。以下に、図２及び図７を参照して、話者正規化
モデルの作成手順を述べる。
【００２９】図１、図２及び図７を参照すれば、まず、
図２のステップＳ１で、不特定話者ＨＭＭである初期Ｈ
ＭＭ（ＨＭＭの初期モデル）３１を読み出して処理対象
のＨＭＭとする。次いで、ステップＳ２で、図４に示す
ように、処理対象のＨＭＭに対してＭＬＬＲ法により数
６乃至数１１を用いて各話者１乃至Ｍ毎に重回帰写像モ
デルの変換係数Ａc (m)，ｂc (m)，ｍ＝１，２，…，Ｍを
演算する。さらに、ステップＳ３で、図５に示すよう
に、数１２を用いて各話者１乃至Ｍの音声データｏt (m)
３２−１乃至３２−Ｍから重回帰写像モデルの定数項ベ
クトルｂc (m)を減算することにより正規化音声データｏ
ｈtを演算する。
図２のステップＳ１で、不特定話者ＨＭＭである初期Ｈ
ＭＭ（ＨＭＭの初期モデル）３１を読み出して処理対象
のＨＭＭとする。次いで、ステップＳ２で、図４に示す
ように、処理対象のＨＭＭに対してＭＬＬＲ法により数
６乃至数１１を用いて各話者１乃至Ｍ毎に重回帰写像モ
デルの変換係数Ａc (m)，ｂc (m)，ｍ＝１，２，…，Ｍを
演算する。さらに、ステップＳ３で、図５に示すよう
に、数１２を用いて各話者１乃至Ｍの音声データｏt (m)
３２−１乃至３２−Ｍから重回帰写像モデルの定数項ベ
クトルｂc (m)を減算することにより正規化音声データｏ
ｈtを演算する。
【数１２】ｏｈt＝ｏt (m)−ｂc (m)， １≦ｍ≦Ｍ
【００３０】次いで、ステップＳ４でテキストデータ付
き正規化音声データｏｈtに対してバーム・ウエルチ
（Ｂａｕｍ−Ｗｅｌｃｈ）の学習アルゴリズムを用いて
再学習を行う。そして、ステップＳ５で所定の繰り返し
回数となったか否かが判断され、なっていないときは、
ステップＳ６で再学習後のＨＭＭを処理対象のＨＭＭと
して、再び、ステップＳ２に戻り、上記の処理を実行す
る。一方、ステップＳ５で、所定の繰り返し回数（好ま
しい実施例においては、３回）となったときは、ステッ
プＳ７で再学習後のＨＭＭを話者正規化ＨＭＭ３３とし
てメモリに記憶する。そして当該話者正規化処理を終了
する。
き正規化音声データｏｈtに対してバーム・ウエルチ
（Ｂａｕｍ−Ｗｅｌｃｈ）の学習アルゴリズムを用いて
再学習を行う。そして、ステップＳ５で所定の繰り返し
回数となったか否かが判断され、なっていないときは、
ステップＳ６で再学習後のＨＭＭを処理対象のＨＭＭと
して、再び、ステップＳ２に戻り、上記の処理を実行す
る。一方、ステップＳ５で、所定の繰り返し回数（好ま
しい実施例においては、３回）となったときは、ステッ
プＳ７で再学習後のＨＭＭを話者正規化ＨＭＭ３３とし
てメモリに記憶する。そして当該話者正規化処理を終了
する。
【００３１】次いで、ＭＡＰ推定法を用いたＭＬＬＲ法
の話者適応化処理について説明する。ＭＬＬＲ法は学習
用適応データに対して最尤を基準に平均ベクトルの推定
を行うため、初期モデルの事前知識を有効に利用した話
者適応化ではない。従って、話者正規化モデルが良い事
前知識を持っていても、十分に活用できない可能性があ
る。そこで、事前知識を有効に利用する方法であるＭＡ
Ｐ推定法（例えば、従来技術文献２「C.H.Lee et al.,
“A Study on Speaker Adaptation of the Parameters
of Continuous Density Hidden Markov Models",IEEE T
ransactions onSignal Processing,Vol.39,No.4,pp.806
-814,1991年」参照。）をＭＬＬＲ法に適用した手法
（以下、ＭＡＰ−ＭＬＬＲ法という。また、ＭＡＰ−Ｍ
ＬＬＲ法による処理をＭＡＰ−ＭＬＬＲ処理という。）
によって話者適応を行なうことを以下のように発明し
た。ここで、ＭＡＰ−ＭＬＬＲ法による話者適応化後の
ガウス分布ｋの平均ベクトルμｈk MAPは下式で与えられ
る。
の話者適応化処理について説明する。ＭＬＬＲ法は学習
用適応データに対して最尤を基準に平均ベクトルの推定
を行うため、初期モデルの事前知識を有効に利用した話
者適応化ではない。従って、話者正規化モデルが良い事
前知識を持っていても、十分に活用できない可能性があ
る。そこで、事前知識を有効に利用する方法であるＭＡ
Ｐ推定法（例えば、従来技術文献２「C.H.Lee et al.,
“A Study on Speaker Adaptation of the Parameters
of Continuous Density Hidden Markov Models",IEEE T
ransactions onSignal Processing,Vol.39,No.4,pp.806
-814,1991年」参照。）をＭＬＬＲ法に適用した手法
（以下、ＭＡＰ−ＭＬＬＲ法という。また、ＭＡＰ−Ｍ
ＬＬＲ法による処理をＭＡＰ−ＭＬＬＲ処理という。）
によって話者適応を行なうことを以下のように発明し
た。ここで、ＭＡＰ−ＭＬＬＲ法による話者適応化後の
ガウス分布ｋの平均ベクトルμｈk MAPは下式で与えられ
る。
【００３２】
【数１３】μｈk MAP＝Ａc,k MAPμk＋ｂc,k MAP
【数１５】
【００３３】ここで、Ｉはｎ×ｎの単位行列であり、τ
kは事前知識の確からしさに関する定数である。好まし
い実施例においては、τk＝４．０に設定される。
kは事前知識の確からしさに関する定数である。好まし
い実施例においては、τk＝４．０に設定される。
【００３４】ＭＡＰ推定法による平均ベクトルの推定は
初期モデルに基づく平均ベクトル（事前知識）と最尤推
定による平均ベクトルとの線形結合になっている。図６
はＭＡＰ推定法を用いたＭＬＬＲ法による平均ベクトル
の推定についての概念図である。図６における矢印の太
さは、ガウス分布において学習データが観測される期待
値の大きさを示している。図６の例のように、学習デー
タが観測される期待値が大きいガウス分布は、ＭＬＬＲ
法によって推定される平均ベクトル付近に推定される。
また反対に、観測される期待値が小さいガウス分布では
初期モデルに基づく平均ベクトル付近への推定となる。
このようにＭＡＰ推定法を導入することで、ＭＬＬＲ法
により話者適応化による平均ベクトル推定の信頼性を考
慮して、適切に事前知識の情報を用いる話者適応化が行
なわれる。ここで、本実施形態の方法は、すべての係数
を推定し、ガウス分布個々に変換係数を求める。このた
め、本実施形態の方法は、従来例に比較して精密な話者
適応を行なうことが可能である。
初期モデルに基づく平均ベクトル（事前知識）と最尤推
定による平均ベクトルとの線形結合になっている。図６
はＭＡＰ推定法を用いたＭＬＬＲ法による平均ベクトル
の推定についての概念図である。図６における矢印の太
さは、ガウス分布において学習データが観測される期待
値の大きさを示している。図６の例のように、学習デー
タが観測される期待値が大きいガウス分布は、ＭＬＬＲ
法によって推定される平均ベクトル付近に推定される。
また反対に、観測される期待値が小さいガウス分布では
初期モデルに基づく平均ベクトル付近への推定となる。
このようにＭＡＰ推定法を導入することで、ＭＬＬＲ法
により話者適応化による平均ベクトル推定の信頼性を考
慮して、適切に事前知識の情報を用いる話者適応化が行
なわれる。ここで、本実施形態の方法は、すべての係数
を推定し、ガウス分布個々に変換係数を求める。このた
め、本実施形態の方法は、従来例に比較して精密な話者
適応を行なうことが可能である。
【００３５】図３は、図１の話者適応化制御部２１によ
って実行される話者適応化処理のフローチャートであ
り、図８はそのブロック図である。図３において、ステ
ップＳ１１でまず、話者正規化されたＨＭＭ３３と、話
者適応化する話者の音声データの特徴ベクトルを含む話
者適応化用学習データ３４を読み出す。次いで、ステッ
プＳ１２でＭＬＬＲ法により数６乃至数１１を用いて変
換係数Ａc，ｂcを演算する。そして、ステップＳ１３
で、ＭＡＰ法により数１４及び数１５を用いて変換係数
Ａc,k MAP，ｂc,k MAPを演算する。さらに、数１３を用い
て線形変換処理を行って話者適応化されたＨＭＭ１１を
得る。最後に、話者適応化されたＨＭＭ１１をメモリに
記憶する。以上で、ＭＡＰ−ＭＬＬＲ法による当該話者
適応化処理が終了する。
って実行される話者適応化処理のフローチャートであ
り、図８はそのブロック図である。図３において、ステ
ップＳ１１でまず、話者正規化されたＨＭＭ３３と、話
者適応化する話者の音声データの特徴ベクトルを含む話
者適応化用学習データ３４を読み出す。次いで、ステッ
プＳ１２でＭＬＬＲ法により数６乃至数１１を用いて変
換係数Ａc，ｂcを演算する。そして、ステップＳ１３
で、ＭＡＰ法により数１４及び数１５を用いて変換係数
Ａc,k MAP，ｂc,k MAPを演算する。さらに、数１３を用い
て線形変換処理を行って話者適応化されたＨＭＭ１１を
得る。最後に、話者適応化されたＨＭＭ１１をメモリに
記憶する。以上で、ＭＡＰ−ＭＬＬＲ法による当該話者
適応化処理が終了する。
【００３６】話者適応化されたＨＭＭ１１は、音素照合
部４に接続され、ＨＭ網として複数の状態のネットワー
クとして表すこともできる。ＨＭＭ１１内の個々の状態
は、音声空間上の１つの確率的定常信号源と見なすこと
ができ、それぞれ以下の情報を保有している。（ａ）状
態番号、（ｂ）受理可能なコンテキストクラス、（ｃ）
先行する状態および後続する状態のリスト、（ｄ）音声
の特徴空間上に割り当てられた確率分布のパラメータ、
（ｅ）自己遷移確率および後続状態への遷移確率。話者
適応化されたＨＭＭ１１では、入力データとそのコンテ
キスト情報が与えられた場合、そのコンテキストを受理
することができる状態を先行および後続状態リストの制
約内で連結することによって、入力データに対するモデ
ルを一意に決定することができる。ここで、出力確率密
度関数は３４次元の対角共分散行列をもつ混合ガウス分
布（本明細書において、ガウス分布という。）であり、
各ガウス分布は、初期ＨＭＭ３１を用いて話者正規化制
御部２０により話者正規化されかつ、話者正規化された
ＨＭＭ３３を用いて話者適応化制御部２１により話者適
応化されている。なお、話者正規化されたＨＭＭ３３を
音素照合部４に接続して音素検出に用いてもよい。
部４に接続され、ＨＭ網として複数の状態のネットワー
クとして表すこともできる。ＨＭＭ１１内の個々の状態
は、音声空間上の１つの確率的定常信号源と見なすこと
ができ、それぞれ以下の情報を保有している。（ａ）状
態番号、（ｂ）受理可能なコンテキストクラス、（ｃ）
先行する状態および後続する状態のリスト、（ｄ）音声
の特徴空間上に割り当てられた確率分布のパラメータ、
（ｅ）自己遷移確率および後続状態への遷移確率。話者
適応化されたＨＭＭ１１では、入力データとそのコンテ
キスト情報が与えられた場合、そのコンテキストを受理
することができる状態を先行および後続状態リストの制
約内で連結することによって、入力データに対するモデ
ルを一意に決定することができる。ここで、出力確率密
度関数は３４次元の対角共分散行列をもつ混合ガウス分
布（本明細書において、ガウス分布という。）であり、
各ガウス分布は、初期ＨＭＭ３１を用いて話者正規化制
御部２０により話者正規化されかつ、話者正規化された
ＨＭＭ３３を用いて話者適応化制御部２１により話者適
応化されている。なお、話者正規化されたＨＭＭ３３を
音素照合部４に接続して音素検出に用いてもよい。
【００３７】一般に連続分布型ＨＭＭによるモデルに対
して少量の適応データにより話者適応を行なう場合、ガ
ウス分布の平均値の適応は他のパラメータの適応に比べ
て効果が大きいことが知られている（例えば、従来技術
文献３「大倉計美ほか，“混合連続分布ＨＭＭを用いた
移動ベクトル場平滑化話者適応方式”，音響学会講演論
文集，２−Ｑ−１７，ｐｐ．１９１−１９２，１９９２
年３月」参照。）。本実施形態においては、各ガウス分
布の平均値のみの適応を行ない、分散値、状態遷移確率
及び、混合ガウス分布の重み係数の適応は行なわない。
して少量の適応データにより話者適応を行なう場合、ガ
ウス分布の平均値の適応は他のパラメータの適応に比べ
て効果が大きいことが知られている（例えば、従来技術
文献３「大倉計美ほか，“混合連続分布ＨＭＭを用いた
移動ベクトル場平滑化話者適応方式”，音響学会講演論
文集，２−Ｑ−１７，ｐｐ．１９１−１９２，１９９２
年３月」参照。）。本実施形態においては、各ガウス分
布の平均値のみの適応を行ない、分散値、状態遷移確率
及び、混合ガウス分布の重み係数の適応は行なわない。
【００３８】次いで、上述の本実施形態の話者正規化方
法及び話者適応化方法を用いた、ＳＳＳ−ＬＲ（left-t
o-right rightmost型）不特定話者連続音声認識装置に
ついて説明する。この装置は、ＨＭＭ１１を含むＨＭ網
のメモリに格納された音素環境依存型の効率のよいＨＭ
Ｍの表現形式を用いている。また、上記ＳＳＳにおいて
は、音素の特徴空間上に割り当てられた確率的定常信号
源（状態）の間の確率的な遷移により音声パラメータの
時間的な推移を表現した確率モデルに対して、尤度最大
化の基準に基づいて個々の状態をコンテキスト方向又は
時間方向へ分割するという操作を繰り返すことによっ
て、モデルの精密化を逐次的に実行する。
法及び話者適応化方法を用いた、ＳＳＳ−ＬＲ（left-t
o-right rightmost型）不特定話者連続音声認識装置に
ついて説明する。この装置は、ＨＭＭ１１を含むＨＭ網
のメモリに格納された音素環境依存型の効率のよいＨＭ
Ｍの表現形式を用いている。また、上記ＳＳＳにおいて
は、音素の特徴空間上に割り当てられた確率的定常信号
源（状態）の間の確率的な遷移により音声パラメータの
時間的な推移を表現した確率モデルに対して、尤度最大
化の基準に基づいて個々の状態をコンテキスト方向又は
時間方向へ分割するという操作を繰り返すことによっ
て、モデルの精密化を逐次的に実行する。
【００３９】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して音素照合部４に入力される。
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して音素照合部４に入力される。
【００４０】音素照合部４は、音素コンテキスト依存型
ＬＲパーザ５からの音素照合要求に応じて音素照合処理
を実行する。そして、話者適応化されたＨＭＭ１１のメ
モリに格納された音素ＨＭＭの話者モデルを用いて音素
照合区間内のデータに対する尤度が計算され、この尤度
の値が音素照合スコアとしてＬＲパーザ５に返される。
このとき、前向きパスアルゴリズムを使用する。
ＬＲパーザ５からの音素照合要求に応じて音素照合処理
を実行する。そして、話者適応化されたＨＭＭ１１のメ
モリに格納された音素ＨＭＭの話者モデルを用いて音素
照合区間内のデータに対する尤度が計算され、この尤度
の値が音素照合スコアとしてＬＲパーザ５に返される。
このとき、前向きパスアルゴリズムを使用する。
【００４１】一方、文脈自由文法データベース１３内の
所定の文脈自由文法（ＣＦＧ）を公知の通り自動的に変
換してＬＲテーブル１２を作成してそのメモリに格納さ
れる。ＬＲパーザ５は、上記ＬＲテーブル１２を参照し
て、入力された音素予測データについて左から右方向
に、後戻りなしに処理する。構文的にあいまいさがある
場合は、スタックを分割してすべての候補の解析が平行
して処理される。ＬＲパーザ５は、上記ＬＲテーブル１
２から次にくる音素を予測して音素予測データを音素照
合部４に出力する。これに応答して、音素照合部４は、
その音素に対応するＨＭＭ１１内の情報を参照して照合
し、その尤度を音声認識スコアとしてＬＲパーザ５に戻
し、順次音素を連接していくことにより、連続音声の認
識を行う。上記連続音声の認識において、複数の音素が
予測された場合は、これらすべての存在をチェックし、
ビームサーチの方法により、部分的な音声認識の尤度の
高い部分木を残すという枝刈りを行って高速処理を実現
する。
所定の文脈自由文法（ＣＦＧ）を公知の通り自動的に変
換してＬＲテーブル１２を作成してそのメモリに格納さ
れる。ＬＲパーザ５は、上記ＬＲテーブル１２を参照し
て、入力された音素予測データについて左から右方向
に、後戻りなしに処理する。構文的にあいまいさがある
場合は、スタックを分割してすべての候補の解析が平行
して処理される。ＬＲパーザ５は、上記ＬＲテーブル１
２から次にくる音素を予測して音素予測データを音素照
合部４に出力する。これに応答して、音素照合部４は、
その音素に対応するＨＭＭ１１内の情報を参照して照合
し、その尤度を音声認識スコアとしてＬＲパーザ５に戻
し、順次音素を連接していくことにより、連続音声の認
識を行う。上記連続音声の認識において、複数の音素が
予測された場合は、これらすべての存在をチェックし、
ビームサーチの方法により、部分的な音声認識の尤度の
高い部分木を残すという枝刈りを行って高速処理を実現
する。
【００４２】
【実施例】本発明者は、以上のように構成された音声認
識装置について、評価実験を以下の如く行った。評価実
験として２６音素を対象とした言語制約を用いない音素
タイプライター型の音素認識実験を行なった。表１に音
響分析条件、使用した音声データを示す。
識装置について、評価実験を以下の如く行った。評価実
験として２６音素を対象とした言語制約を用いない音素
タイプライター型の音素認識実験を行なった。表１に音
響分析条件、使用した音声データを示す。
【００４３】
【表１】 実験条件 ─────────────────────────────────── 分析条件 サンプリング周波数１２ＫＨｚ ２０ｍｓハミング窓 フレーム周期５ｍｓ ─────────────────────────────────── 使用パラメータ １６次ＬＰＣケプストラム＋１６次Δケプストラム ＋ｌｏｇパワー＋Δｌｏｇパワー ─────────────────────────────────── 学習データ 男性１４６名、女性１３９名から選択した 男性９名、女性６名（各５０文章） ─────────────────────────────────── 適応／認識データ 話者 男性３名（ＭＡＵ，ＭＭＹ，ＭＴＭ） 女性３名（ＦＡＦ，ＦＭＳ，ＦＹＭ） 適応データ ５９８文節（ＳＢ１，ＳＢ２，ＳＢ４タスク）から ランダムに取り出したｎ個の文節 認識データ ２７９文節（ＳＢ３タスク） ───────────────────────────────────
【００４４】適応前の音響モデルの状態の共有構造（Ｈ
Ｍ網）は、男性話者１名の単語発声を用い、逐次状態分
割法（例えば、従来技術文献４「J.Takami et al.,A Su
ccessive State Splitting Algorithm for Efficient A
llophone Modeling",Proceedings of CASSP'92,pp.573-
576,1992年」参照。）によって決定した。状態数は２０
０とし（各５混合）、１状態（１０混合）の無音モデル
を付加したモデルを使用した。話者正規化、及び話者適
応に用いるＭＬＬＲ法の共有化クラスの数は１とした。
すなわち全てのガウス分布を共有化して変換係数の推定
を行う。
Ｍ網）は、男性話者１名の単語発声を用い、逐次状態分
割法（例えば、従来技術文献４「J.Takami et al.,A Su
ccessive State Splitting Algorithm for Efficient A
llophone Modeling",Proceedings of CASSP'92,pp.573-
576,1992年」参照。）によって決定した。状態数は２０
０とし（各５混合）、１状態（１０混合）の無音モデル
を付加したモデルを使用した。話者正規化、及び話者適
応に用いるＭＬＬＲ法の共有化クラスの数は１とした。
すなわち全てのガウス分布を共有化して変換係数の推定
を行う。
【００４５】話者正規化モデル、及び比較のための従来
例のＳＩ−ＨＭＭモデルの作成は、１５話者の音声デー
タを用い、バーム・ウエルチ（Ｂａｕｍ−Ｗｅｌｃｈ）
アルゴリズムで学習を行なった。この１５話者は２８５
人のモデルから代表となる話者としてクラスタリング法
（例えば、従来技術文献５「T.Kosaka et al.,“Tree-S
tructured Speaker Clustering For Fast Speaker Adap
tation",Proceedingsof ICASSP'94,pp.245-248,1994
年」参照。）により選択した。上述のステップＳ５にお
ける話者正規化処理の繰り返し回数は３回とした。さら
に、話者適応化処理においては、ＭＡＰ推定法の事前知
識の確からしさに関する定数τkは全てのガウス分布で
同一の値とし、実験的定めた４．０を用いた。図３及び
図８に示されている手順で教師あり話者適応を行ない、
各適応文節数に対して選択文節を変えた評価をそれぞれ
３回繰り返した平均の音素認識率を求めた。
例のＳＩ−ＨＭＭモデルの作成は、１５話者の音声デー
タを用い、バーム・ウエルチ（Ｂａｕｍ−Ｗｅｌｃｈ）
アルゴリズムで学習を行なった。この１５話者は２８５
人のモデルから代表となる話者としてクラスタリング法
（例えば、従来技術文献５「T.Kosaka et al.,“Tree-S
tructured Speaker Clustering For Fast Speaker Adap
tation",Proceedingsof ICASSP'94,pp.245-248,1994
年」参照。）により選択した。上述のステップＳ５にお
ける話者正規化処理の繰り返し回数は３回とした。さら
に、話者適応化処理においては、ＭＡＰ推定法の事前知
識の確からしさに関する定数τkは全てのガウス分布で
同一の値とし、実験的定めた４．０を用いた。図３及び
図８に示されている手順で教師あり話者適応を行ない、
各適応文節数に対して選択文節を変えた評価をそれぞれ
３回繰り返した平均の音素認識率を求めた。
【００４６】まず、話者正規化による識別性能向上を確
かめるために、話者正規化ＨＭＭ３３を用い、適応処理
なしで音素認識実験を行なった。表２に結果を示す。比
較として従来例のＳＩ−ＨＭＭモデルの認識結果も合わ
せて記述している。
かめるために、話者正規化ＨＭＭ３３を用い、適応処理
なしで音素認識実験を行なった。表２に結果を示す。比
較として従来例のＳＩ−ＨＭＭモデルの認識結果も合わ
せて記述している。
【００４７】
【表２】話者正規化されたＨＭＭを用いた音声認識結果 音素誤り率（％） 上段：話者正規化モデル、下段：不特定話者モデル ─────────────────────────────────── ＭＡＵ ＭＭＹ ＭＴＭ ＦＡＦ ＦＭＳ ＦＹＭ 平 均 ─────────────────────────────────── １５．２ １５．２ １２．０ ２０．２ １８．４ ２９．５ １８．４ １５．５ １７．０ １３．３ ２１．９ ２５．２ ３３．４ ２１．１ ───────────────────────────────────
【００４８】表２から明らかなように、評価話者６名全
てにおいて話者正規化モデルの認識率が高く、平均音素
誤り率が２１．１％から１８．４％に減少（１２．８％
の誤り削減率）した。特に、従来例のＳＩ−ＨＭＭモデ
ルでの認識率が低い話者（ＦＭＳ，ＦＹＭ）における改
善効果が大きい。話者正規化により、ガウス分布の分散
が小さくなり、認識単位間の識別が明確となり性能が向
上した結果と考えられる。
てにおいて話者正規化モデルの認識率が高く、平均音素
誤り率が２１．１％から１８．４％に減少（１２．８％
の誤り削減率）した。特に、従来例のＳＩ−ＨＭＭモデ
ルでの認識率が低い話者（ＦＭＳ，ＦＹＭ）における改
善効果が大きい。話者正規化により、ガウス分布の分散
が小さくなり、認識単位間の識別が明確となり性能が向
上した結果と考えられる。
【００４９】次いで、表３に初期モデルとして話者正規
化されたＨＭＭ３３を用いた場合と、従来例のＳＩ−Ｈ
ＭＭモデルを用いた場合のＭＡＰ−ＭＬＬＲ法による話
者適応の認識結果を示す。
化されたＨＭＭ３３を用いた場合と、従来例のＳＩ−Ｈ
ＭＭモデルを用いた場合のＭＡＰ−ＭＬＬＲ法による話
者適応の認識結果を示す。
【００５０】
【表３】話者適応化されたＨＭＭを用いた音声認識結果 音素誤り率（％） 上段：話者正規化モデル、下段：不特定話者モデル ────────────────────────────── 話者 適応文節数 ３ ５ ７ １０ ２０ ────────────────────────────── ＭＡＵ １５．８ １５．０ １４．９ １５．２ １３．７ １６．４ １５．７ １４．９ １５．３ １４．３ ────────────────────────────── ＭＭＹ １５．３ １４．６ １４．４ １４．２ １３．６ １７．３ １６．０ １６．０ １５．３ １４．６ ────────────────────────────── ＭＴＭ １１．８ １１．８ １１．０ １０．９ ９．９ １３．３ １３．２ １２．８ １２．３ １０．６ ────────────────────────────── ＦＡＦ １９．０ １６．８ １５．６ １４．９ １４．１ ２１．８ １９．８ １８．５ １６．５ １５．１ ────────────────────────────── ＦＭＳ １９．５ １８．５ １７．７ １６．６ １３．９ ２６．３ ２３．９ ２２．４ ２０．０ １５．６ ────────────────────────────── ＦＹＭ ２６．６ ２３．９ ２３．２ ２１．４ １９．４ ２９．６ ２４．０ ２５．４ ２４．２ １９．６ ────────────────────────────── 平 均 １８．０ １６．８ １６．１ １５．６ １４．１ ２０．８ １８．８ １８．３ １７．２ １４．９ ──────────────────────────────
【００５１】表３から明らかなように、全ての話者、文
節数において、話者正規化されたＨＭＭ３３を初期モデ
ルとした話者適応が高い認識率を示している。話者正規
化モデルは、話者適応に適した事前知識を有する初期モ
デルであり、正確な話者適応を実現している。
節数において、話者正規化されたＨＭＭ３３を初期モデ
ルとした話者適応が高い認識率を示している。話者正規
化モデルは、話者適応に適した事前知識を有する初期モ
デルであり、正確な話者適応を実現している。
【００５２】以上説明したように、本実施形態によれ
ば、重回帰写像モデルを用い、話者正規化モデルを作成
する方法を発明した。この話者正規化方法によって作成
した音響モデル３３は、従来例のＳＩ−ＨＭＭモデルよ
りも音素認識で高い性能が得られた。また、話者正規化
されたＨＭＭ３３を初期モデルとし、ＭＡＰ−ＭＬＬＲ
法によって話者適応化を行なった場合においても、初期
モデルの事前知識が反映され、正確な話者適応が実現で
きた。また、学習用適用データが少量であっても、話者
正規化又は話者適応化されたＨＭＭのパラメータの推定
精度を従来例に比較して大幅に改善することができる。
ば、重回帰写像モデルを用い、話者正規化モデルを作成
する方法を発明した。この話者正規化方法によって作成
した音響モデル３３は、従来例のＳＩ−ＨＭＭモデルよ
りも音素認識で高い性能が得られた。また、話者正規化
されたＨＭＭ３３を初期モデルとし、ＭＡＰ−ＭＬＬＲ
法によって話者適応化を行なった場合においても、初期
モデルの事前知識が反映され、正確な話者適応が実現で
きた。また、学習用適用データが少量であっても、話者
正規化又は話者適応化されたＨＭＭのパラメータの推定
精度を従来例に比較して大幅に改善することができる。
【００５３】
【発明の効果】以上詳述したように、本発明に係る請求
項１記載の話者正規化装置によれば、所定の隠れマルコ
フモデルの初期モデルを学習するための学習データであ
り、複数の話者にそれぞれ依存する音声データの特徴ベ
クトルを記憶する記憶装置と、上記記憶装置に記憶され
た音声データの特徴ベクトルに基づいて、上記隠れマル
コフモデルの初期モデルに対して、最尤線形回帰法によ
り、重回帰写像モデルに基づく平均ベクトルの変換のた
めの変換行列と、スペクトルに共通する個人差を表す定
数項ベクトルとを含む第１の変換係数を上記各話者毎に
演算する第１の演算手段と、上記記憶装置に記憶された
音声データの特徴ベクトルから上記各話者毎に、上記第
１の演算手段によって演算された定数項ベクトルを減算
して正規化された音声データの特徴ベクトルを演算する
第２の演算手段と、上記第２の演算手段によって演算さ
れた正規化された音声データの特徴ベクトルに基づい
て、上記隠れマルコフモデルの初期モデルを、所定の学
習アルゴリズムを用いて学習することにより、話者正規
化された隠れマルコフモデルのモデルパラメータを演算
する第３の演算手段とを備える。従って、当該話者正規
化装置によって、隠れマルコフモデルのパラメータの推
定精度を従来例に比較して大幅に改善することができ、
当該話者正規化装置によって得られた、話者正規化され
た隠れマルコフモデルを用いて音声認識することによ
り、従来例に比較して高い音声認識率で音声認識するこ
とができる。
項１記載の話者正規化装置によれば、所定の隠れマルコ
フモデルの初期モデルを学習するための学習データであ
り、複数の話者にそれぞれ依存する音声データの特徴ベ
クトルを記憶する記憶装置と、上記記憶装置に記憶され
た音声データの特徴ベクトルに基づいて、上記隠れマル
コフモデルの初期モデルに対して、最尤線形回帰法によ
り、重回帰写像モデルに基づく平均ベクトルの変換のた
めの変換行列と、スペクトルに共通する個人差を表す定
数項ベクトルとを含む第１の変換係数を上記各話者毎に
演算する第１の演算手段と、上記記憶装置に記憶された
音声データの特徴ベクトルから上記各話者毎に、上記第
１の演算手段によって演算された定数項ベクトルを減算
して正規化された音声データの特徴ベクトルを演算する
第２の演算手段と、上記第２の演算手段によって演算さ
れた正規化された音声データの特徴ベクトルに基づい
て、上記隠れマルコフモデルの初期モデルを、所定の学
習アルゴリズムを用いて学習することにより、話者正規
化された隠れマルコフモデルのモデルパラメータを演算
する第３の演算手段とを備える。従って、当該話者正規
化装置によって、隠れマルコフモデルのパラメータの推
定精度を従来例に比較して大幅に改善することができ、
当該話者正規化装置によって得られた、話者正規化され
た隠れマルコフモデルを用いて音声認識することによ
り、従来例に比較して高い音声認識率で音声認識するこ
とができる。
【００５４】また、本発明に係る請求項２記載の話者適
応化装置によれば、話者適応化する話者の音声データの
特徴ベクトルに基づいて、請求項１記載の話者正規化装
置の第３の演算手段によって演算された隠れマルコフモ
デルに対して、最尤線形回帰法により、重回帰写像モデ
ルに基づく平均ベクトルの変換のための変換行列と定数
項ベクトルを含む第２の変換係数を演算する第４の演算
手段と、上記第４の演算手段によって演算された変換行
列と定数項ベクトルを含む第２の変換係数に基づいて、
最大事後確率推定法により、話者適応化された重回帰写
像モデルに基づく平均ベクトルの変換のための変換行列
と定数項ベクトルを含む第３の変換係数を演算する第５
の演算手段と、上記第５の演算手段によって演算された
変換行列と定数項ベクトルを含む第３の変換係数に対し
て、所定の線形変換処理を実行することにより、話者適
応化後の隠れマルコフモデルの平均ベクトルを演算する
第６の演算手段とを備える。従って、当該話者適応化装
置によって、話者適応化のパラメータの推定精度を従来
例に比較して大幅に改善することができ、当該話者適応
化装置によって得られた、話者適応化された隠れマルコ
フモデルを用いて音声認識することにより、従来例に比
較して高い音声認識率で音声認識することができる。
応化装置によれば、話者適応化する話者の音声データの
特徴ベクトルに基づいて、請求項１記載の話者正規化装
置の第３の演算手段によって演算された隠れマルコフモ
デルに対して、最尤線形回帰法により、重回帰写像モデ
ルに基づく平均ベクトルの変換のための変換行列と定数
項ベクトルを含む第２の変換係数を演算する第４の演算
手段と、上記第４の演算手段によって演算された変換行
列と定数項ベクトルを含む第２の変換係数に基づいて、
最大事後確率推定法により、話者適応化された重回帰写
像モデルに基づく平均ベクトルの変換のための変換行列
と定数項ベクトルを含む第３の変換係数を演算する第５
の演算手段と、上記第５の演算手段によって演算された
変換行列と定数項ベクトルを含む第３の変換係数に対し
て、所定の線形変換処理を実行することにより、話者適
応化後の隠れマルコフモデルの平均ベクトルを演算する
第６の演算手段とを備える。従って、当該話者適応化装
置によって、話者適応化のパラメータの推定精度を従来
例に比較して大幅に改善することができ、当該話者適応
化装置によって得られた、話者適応化された隠れマルコ
フモデルを用いて音声認識することにより、従来例に比
較して高い音声認識率で音声認識することができる。
【００５５】さらに、請求項３記載の音声認識装置によ
れば、請求項１記載の話者正規化装置の第３の演算手段
によって演算された隠れマルコフモデルを用いて、入力
された発声音声文の音声信号に基づいて、音声認識して
音声認識結果を出力する音声認識手段とを備える。従っ
て、上記話者正規化装置によって得られた、話者正規化
された隠れマルコフモデルを用いて音声認識することに
より、従来例に比較して高い音声認識率で音声認識する
ことができる。
れば、請求項１記載の話者正規化装置の第３の演算手段
によって演算された隠れマルコフモデルを用いて、入力
された発声音声文の音声信号に基づいて、音声認識して
音声認識結果を出力する音声認識手段とを備える。従っ
て、上記話者正規化装置によって得られた、話者正規化
された隠れマルコフモデルを用いて音声認識することに
より、従来例に比較して高い音声認識率で音声認識する
ことができる。
【００５６】さらに、請求項４記載の音声認識装置によ
れば、請求項２記載の話者適応化装置の第６の演算手段
によって演算された隠れマルコフモデルの平均ベクトル
を含む隠れマルコフモデルを用いて、入力された発声音
声文の音声信号に基づいて、音声認識して音声認識結果
を出力する音声認識手段とを備える。従って、上記話者
適応化装置によって得られた、話者適応化された隠れマ
ルコフモデルを用いて音声認識することにより、従来例
に比較して高い音声認識率で音声認識することができ
る。
れば、請求項２記載の話者適応化装置の第６の演算手段
によって演算された隠れマルコフモデルの平均ベクトル
を含む隠れマルコフモデルを用いて、入力された発声音
声文の音声信号に基づいて、音声認識して音声認識結果
を出力する音声認識手段とを備える。従って、上記話者
適応化装置によって得られた、話者適応化された隠れマ
ルコフモデルを用いて音声認識することにより、従来例
に比較して高い音声認識率で音声認識することができ
る。
【図１】 本発明に係る一実施形態である音声認識装置
のブロック図である。
のブロック図である。
【図２】 図１の話者正規化制御部によって実行される
話者正規化処理を示すフローチャートである。
話者正規化処理を示すフローチャートである。
【図３】 図１の話者適応化制御部によって実行される
話者適応化処理を示すフローチャートである。
話者適応化処理を示すフローチャートである。
【図４】 図１の話者正規化制御部によって実行される
ＭＬＬＲ処理を示す図である。
ＭＬＬＲ処理を示す図である。
【図５】 図１の話者正規化制御部によって実行される
話者正規化処理を示す図である。
話者正規化処理を示す図である。
【図６】 図１の話者適応化制御部によって実行される
話者適応化処理を示す図である。
話者適応化処理を示す図である。
【図７】 図１の話者正規化制御部によって実行される
話者正規化処理を示すブロック図である。
話者正規化処理を示すブロック図である。
【図８】 図１の話者適応化制御部によって実行される
話者適応化処理を示すブロック図である。
話者適応化処理を示すブロック図である。
【符号の説明】 １…マイクロホン、 ２…特徴抽出部、 ３…バッファメモリ、 ４…音素照合部、 ５…ＬＲパーザ、 １１…話者適応化されたＨＭＭ、 １２…ＬＲテーブル、 １３…文脈自由文法データベース、 ２０…話者正規化制御部、 ２１…話者適応化制御部、 ３１…初期ＨＭＭ、 ３２−１乃至３２−Ｍ…話者１乃至Ｍの音声データ、 ３３…話者正規化されたＨＭＭ、 ３４…話者適応用学習データ。
フロントページの続き (56)参考文献 日本音響学会平成８年度秋季研究発表 会講演論文集▲Ｉ▼ ３−３−17「重回 帰モデルに基づく話者適応方式の検討」 ｐ．119−120（平成８年９月25日) Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1995 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎ ｇ，Ｖｏｌ．１”Ｓｐｅａｋｅｒ Ａｄ ａｐｔａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｓｐｅｃｔｒａｌ Ｎｏｒｍａｌ ｉｚ ａｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ ＨＭＭ Ｐａｒａｍｅｔｅｒ ａｄａｐ ｔａｉｏｎ”ｐ．704−707 日本音響学会平成９年度春季研究発表 会講演論文集▲Ｉ▼ ２−６−16「重回 帰モデルを用いた話者適応のための話者 正規化方式」ｐ．75−76（平成９年３月 17日) 日本音響学会平成７年度秋季研究発表 会講演論文集▲Ｉ▼ ３−２−９「状態 別話者クラスタリングを用いた不特定話 者モデルの検討」ｐ．123−124（平成７ 年９月) 日本音響学会平成７年度春季研究発表 会講演論文集▲Ｉ▼ ２−５−６「ＭＡ Ｐ−ＶＦＳ話者適応法における平滑化係 数制御の効果」ｐ．41−42（平成７年３ 月) 電子情報通信学会技術研究報告［音声 ］Ｖｏｌ．94 Ｎｏ．271 ＳＰ94−51 「最大事後確率推定法と移動ベクトル場 平滑法を統合した話者適応方式」ｐ．25 −30（1994／10／13) 日本音響学会平成８年度春季研究発表 会講演論文集▲Ｉ▼ １−５−22「制限 付き重回帰モデルによる話者適応の検 討」ｐ．51−52（平成８年３月26日発 行) Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1996 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐ ｏｋｅｎ Ｌａｎｇｕａｇｅ Ｐｒｏｃ ｅｓｓｉｎｇ，”Ｎｏｖｅｌ Ｔｒａｉ ｎｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｃｌ ａｓｓｉｆｉｅｒｓ ｕｓｅｄ ｉｎ Ｓｐｅａｋｅｒ Ａｄａｐｔａｔｉｏ ｎ”，ｐ．2119−2122，1996 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1996 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐ ｏｋｅｎ Ｌａｎｇｕａｇｅ Ｐｒｏｃ ｅｓｓｉｎｇ，”Ｃｏｍｐａｃｔ Ｍｏ ｄｅｌ ｆｏｒ Ｓｐｅａｋｅｒ−Ａｄ ａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ”, ｐ．1137−1140，1996 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1996 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｉｎｇ Ｖｏｌ．２，”Ｎｏｒｍａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙ ｓｉｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉ ｏｎ ｔｏ ａ Ｈｙｂｒｉｄ Ｓｐｅ ａｋｅｒ−Ｖｅｒｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ”ｐ．681−684 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1996 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．１，”Ｓｐｅａｋｅｒ Ｂａ ｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｓ ｆｏ ｒ Ｃｏｎｎｅｃｔｅｄ Ｄｉｇｉｔ Ｐａｓｓｗｏｒｄ Ｓｐｅｋｅｒ Ｖｅ ｒｉｆｉｃａｔｉｏｎ”ｐ．81−84 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1981 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．１／３，”Ｓｐｅａｋｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｃｏｍｂ ｉｎｅｄ ｗｉｔｈ Ｓｐｅａｋｅｒ Ｉｎｄｅｐｅｎｄｅｎｔ Ｗｏｒｄ Ｒ ｅｃｏｇｎｉｔｉｏｎ”ｐ．184−187 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1997 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．２，”Ｓｐｅａｋｅｒ−Ａｄ ａｐｔｅｄ Ｔｒａｉｎｉｎｇ ｏｎ ｔｈｅ Ｓｗｉｔｃｈｂｏａｒｄ Ｃｏ ｒｐｕｓ”ｐ．1059−1062 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1997 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．２，”Ｓｐｅａｋｅｒ−Ａｄ ａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ：Ａ Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｐｅａｋ ｅｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ" ｐ．1043−1046 (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 15/14 G10L 15/06 G10L 15/10 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (4)
- 【請求項１】 所定の隠れマルコフモデルの初期モデル
を学習するための学習データであり、複数の話者にそれ
ぞれ依存する音声データの特徴ベクトルを記憶する記憶
装置と、 上記記憶装置に記憶された音声データの特徴ベクトルに
基づいて、上記隠れマルコフモデルの初期モデルに対し
て、最尤線形回帰法により、重回帰写像モデルに基づく
平均ベクトルの変換のための変換行列と、スペクトルに
共通する個人差を表す定数項ベクトルとを含む第１の変
換係数を上記各話者毎に演算する第１の演算手段と、 上記記憶装置に記憶された音声データの特徴ベクトルか
ら上記各話者毎に、上記第１の演算手段によって演算さ
れた定数項ベクトルを減算して正規化された音声データ
の特徴ベクトルを演算する第２の演算手段と、 上記第２の演算手段によって演算された正規化された音
声データの特徴ベクトルに基づいて、上記隠れマルコフ
モデルの初期モデルを、所定の学習アルゴリズムを用い
て学習することにより、話者正規化された隠れマルコフ
モデルのモデルパラメータを演算する第３の演算手段と
を備えたことを特徴とする話者正規化装置。 - 【請求項２】 話者適応化する話者の音声データの特徴
ベクトルに基づいて、請求項１記載の話者正規化装置の
第３の演算手段によって演算された隠れマルコフモデル
に対して、最尤線形回帰法により、重回帰写像モデルに
基づく平均ベクトルの変換のための変換行列と定数項ベ
クトルを含む第２の変換係数を演算する第４の演算手段
と、 上記第４の演算手段によって演算された変換行列と定数
項ベクトルを含む第２の変換係数に基づいて、最大事後
確率推定法により、話者適応化された重回帰写像モデル
に基づく平均ベクトルの変換のための変換行列と定数項
ベクトルを含む第３の変換係数を演算する第５の演算手
段と、 上記第５の演算手段によって演算された変換行列と定数
項ベクトルを含む第３の変換係数に対して、所定の線形
変換処理を実行することにより、話者適応化後の隠れマ
ルコフモデルの平均ベクトルを演算する第６の演算手段
とを備えたことを特徴とする話者適応化装置。 - 【請求項３】 請求項１記載の話者正規化装置の第３の
演算手段によって演算された隠れマルコフモデルを用い
て、入力された発声音声文の音声信号に基づいて、音声
認識して音声認識結果を出力する音声認識手段とを備え
たことを特徴とする音声認識装置。 - 【請求項４】 請求項２記載の話者適応化装置の第６の
演算手段によって演算された隠れマルコフモデルの平均
ベクトルを含む隠れマルコフモデルを用いて、入力され
た発声音声文の音声信号に基づいて、音声認識して音声
認識結果を出力する音声認識手段とを備えたことを特徴
とする音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9054596A JP3035239B2 (ja) | 1997-03-10 | 1997-03-10 | 話者正規化装置、話者適応化装置及び音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9054596A JP3035239B2 (ja) | 1997-03-10 | 1997-03-10 | 話者正規化装置、話者適応化装置及び音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10254485A JPH10254485A (ja) | 1998-09-25 |
| JP3035239B2 true JP3035239B2 (ja) | 2000-04-24 |
Family
ID=12975124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9054596A Expired - Fee Related JP3035239B2 (ja) | 1997-03-10 | 1997-03-10 | 話者正規化装置、話者適応化装置及び音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3035239B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3088357B2 (ja) | 1997-09-08 | 2000-09-18 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 不特定話者音響モデル生成装置及び音声認識装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366187A (ja) * | 2001-06-08 | 2002-12-20 | Sony Corp | 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体 |
| CN111462762B (zh) * | 2020-03-25 | 2023-02-24 | 清华大学 | 一种说话人向量正则化方法、装置、电子设备和存储介质 |
-
1997
- 1997-03-10 JP JP9054596A patent/JP3035239B2/ja not_active Expired - Fee Related
Non-Patent Citations (14)
| Title |
|---|
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９８１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．１／３，"Ｓｐｅａｋｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｃｏｍｂｉｎｅｄ ｗｉｔｈ Ｓｐｅａｋｅｒ Ｉｎｄｅｐｅｎｄｅｎｔ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ"ｐ．１８４−１８７ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１"Ｓｐｅａｋｅｒ Ａｄａｐｔａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｓｐｅｃｔｒａｌ Ｎｏｒｍａｌ ｉｚａｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ ＨＭＭ Ｐａｒａｍｅｔｅｒ ａｄａｐｔａｉｏｎ"ｐ．７０４−７０７ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｉｎｇ Ｖｏｌ．２，"Ｎｏｒｍａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ａ Ｈｙｂｒｉｄ Ｓｐｅａｋｅｒ−Ｖｅｒｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ"ｐ．６８１−６８４ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．１，"Ｓｐｅａｋｅｒ Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｓ ｆｏｒ Ｃｏｎｎｅｃｔｅｄ Ｄｉｇｉｔ Ｐａｓｓｗｏｒｄ Ｓｐｅｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ"ｐ．８１−８４ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐｏｋｅｎ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，"Ｃｏｍｐａｃｔ Ｍｏｄｅｌ ｆｏｒ Ｓｐｅａｋｅｒ−Ａｄａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ"，ｐ．１１３７−１１４０，１９９６ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐｏｋｅｎ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，"Ｎｏｖｅｌ Ｔｒａｉｎｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｃｌａｓｓｉｆｉｅｒｓ ｕｓｅｄ ｉｎ Ｓｐｅａｋｅｒ Ａｄａｐｔａｔｉｏｎ"，ｐ．２１１９−２１２２，１９９６ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．２，"Ｓｐｅａｋｅｒ−Ａｄａｐｔｅｄ Ｔｒａｉｎｉｎｇ ｏｎ ｔｈｅ Ｓｗｉｔｃｈｂｏａｒｄ Ｃｏｒｐｕｓ"ｐ．１０５９−１０６２ |
| Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．２，"Ｓｐｅａｋｅｒ−Ａｄａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ：Ａ Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｐｅａｋｅｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ"ｐ．１０４３−１０４６ |
| 日本音響学会平成７年度春季研究発表会講演論文集▲Ｉ▼ ２−５−６「ＭＡＰ−ＶＦＳ話者適応法における平滑化係数制御の効果」ｐ．４１−４２（平成７年３月） |
| 日本音響学会平成７年度秋季研究発表会講演論文集▲Ｉ▼ ３−２−９「状態別話者クラスタリングを用いた不特定話者モデルの検討」ｐ．１２３−１２４（平成７年９月） |
| 日本音響学会平成８年度春季研究発表会講演論文集▲Ｉ▼ １−５−２２「制限付き重回帰モデルによる話者適応の検討」ｐ．５１−５２（平成８年３月２６日発行） |
| 日本音響学会平成８年度秋季研究発表会講演論文集▲Ｉ▼ ３−３−１７「重回帰モデルに基づく話者適応方式の検討」ｐ．１１９−１２０（平成８年９月２５日） |
| 日本音響学会平成９年度春季研究発表会講演論文集▲Ｉ▼ ２−６−１６「重回帰モデルを用いた話者適応のための話者正規化方式」ｐ．７５−７６（平成９年３月１７日） |
| 電子情報通信学会技術研究報告［音声］Ｖｏｌ．９４ Ｎｏ．２７１ ＳＰ９４−５１「最大事後確率推定法と移動ベクトル場平滑法を統合した話者適応方式」ｐ．２５−３０（１９９４／１０／１３） |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3088357B2 (ja) | 1997-09-08 | 2000-09-18 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 不特定話者音響モデル生成装置及び音声認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10254485A (ja) | 1998-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11450332B2 (en) | Audio conversion learning device, audio conversion device, method, and program | |
| JP2965537B2 (ja) | 話者クラスタリング処理装置及び音声認識装置 | |
| JP3933750B2 (ja) | 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置 | |
| JP2986792B2 (ja) | 話者正規化処理装置及び音声認識装置 | |
| US6542866B1 (en) | Speech recognition method and apparatus utilizing multiple feature streams | |
| EP2888669B1 (en) | Method and system for selectively biased linear discriminant analysis in automatic speech recognition systems | |
| Kadyan et al. | A comparative study of deep neural network based Punjabi-ASR system | |
| EP1701337B1 (en) | Method of speech recognition | |
| JP3088357B2 (ja) | 不特定話者音響モデル生成装置及び音声認識装置 | |
| Robinson | The 1994 ABBOT hybrid connectionist-HMM large-vocabulary recognition system | |
| JP3027544B2 (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| Cui et al. | Stereo hidden Markov modeling for noise robust speech recognition | |
| JP3035239B2 (ja) | 話者正規化装置、話者適応化装置及び音声認識装置 | |
| JP2938866B1 (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| JP3088364B2 (ja) | 音声言語理解装置及び音声言語理解システム | |
| JP2905674B2 (ja) | 不特定話者連続音声認識方法 | |
| JP2852210B2 (ja) | 不特定話者モデル作成装置及び音声認識装置 | |
| US6275799B1 (en) | Reference pattern learning system | |
| Young | Acoustic modelling for large vocabulary continuous speech recognition | |
| JPH08110792A (ja) | 話者適応化装置及び音声認識装置 | |
| JP3439700B2 (ja) | 音響モデル学習装置、音響モデル変換装置及び音声認識装置 | |
| JP3029803B2 (ja) | 音声認識のための単語モデル生成装置及び音声認識装置 | |
| JP2888781B2 (ja) | 話者適応化装置及び音声認識装置 | |
| Kaur et al. | Speech based retrieval system for Punjabi language | |
| JPH08123468A (ja) | 不特定話者モデル作成装置及び音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |