JP5708155B2

JP5708155B2 - 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム

Info

Publication number: JP5708155B2
Application number: JP2011079902A
Authority: JP
Inventors: 晃釜野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2011-03-31
Filing date: 2011-03-31
Publication date: 2015-04-30
Anticipated expiration: 2031-03-31
Also published as: US20120253807A1; US9002704B2; JP2012215668A

Description

本発明は、例えば、対話中の複数の話者が発する音声に基づいて、何れかの話者の状態を判定する話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラムに関する。

近年、感情、ストレス感または疲労感の有無といった、被測定者の状態を、その被測定者の様々な生体情報を解析することによって識別する技術が研究されている。
例えば、被測定者の表情、姿勢、脳波または被測定者に取り付けられた心電計からの信号などに基づいて、被測定者の状態を判定する技術が提案されている（例えば、特許文献１、非特許文献１及び２を参照）。

また、被測定者が発する音声または会話に基づいて、被測定者の感情を判定する技術が提案されている（例えば、特許文献２及び３を参照）。例えば、特許文献２に開示された感情検出装置は、被測定者の音声の強度、テンポ及び抑揚の変化量をそれぞれ求め、その変化量に基づいて、少なくとも怒り、悲しみ及び喜びのそれぞれの感情状態を表す信号を生成する。また特許文献３に開示された感情理解システムは、対話文を解析することによって、発話者と受話者の感情を理解する。

特開２００６−１３０１２１号公報特開２００２−９１４８２号公報特開２００４−２５９２３８号公報

濱治世、鈴木直人、濱保久共著、「感情心理学への招待感情・情緒へのアプローチ」、初版、サイエンス社、2001年12月10日、p.137-174 M.F.ベアー、B.W.コノーズ、M.A.パラディーソ共著、「神経科学脳の探求」、初版、西村書店、2007年6月5日、p.437-452

被測定者の状態を検出するために、心電計のデータまたは被測定者の脳波を解析する技術では、被測定者に脳波などを測定するための計器が取り付けられる。そのため、この技術は、そのような計器が設置できる場所でしか適用できない。また、被測定者の表情または姿勢に基づいて被測定者の状態を検出するためには、被測定者の顔または全身を撮影した画像が用いられる。そのため、表情または姿勢に基づいて被測定者の状態を検出する技術は、被測定者がカメラの撮影範囲内にいなければ適用できない。これに対し、音声に基づいて被測定者の状態を検出する技術は、マイクロホンが被測定者の声を集音可能な範囲に被測定者がいればよいので、広く応用可能である。

しかしながら、特許文献２に開示された装置では、被測定者の音声のみに基づいて被測定者の状態を検出する。そのため、この装置は被測定者が他者と会話している場合でも、被測定者の状態が他者から受ける影響を考慮することはできない。また、特許文献３に開示されたシステムは、会話の音声を例えば音声認識システムを用いてテキスト情報に変換してから、そのテキスト情報を解析する。しかし、音声がテキストに変換されることによって、声の抑揚または強さなど、テキストに変換されない様々な非言語的な情報が失われるので、このシステムは、被測定者の状態を正確に検出できないおそれがあった。

そこで本明細書は、対話中の複数の話者のうちの少なくとも一人の状態を、その対話の際の音声に基づいて正確に検出可能な話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、話者状態検出装置が提供される。この話者状態検出装置は、少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得する音声入力部と、第１の音声に含まれる第１の話者の第１の発話区間と、第２の音声に含まれ、第１の発話区間よりも前に開始される第２の話者の第２の発話区間との重畳期間、または第１の発話区間と第２の発話区間の間隔を検出する発話間隔検出部と、第１の発話区間から第１の話者の状態を表す第１の状態情報を抽出する状態情報抽出部と、重畳期間または間隔と第１の状態情報とに基づいて第１の発話区間における第１の話者の状態を検出する状態検出部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラムは、対話中の複数の話者のうちの少なくとも一人の状態を、その対話の際の音声に基づいて正確に検出できる。

第１の実施形態による話者状態検出装置の概略構成図である。第１の実施形態による話者状態検出装置が有する処理部の機能ブロック図である。（ａ）〜（ｅ）は、それぞれ、重畳期間または発話間隔のパターンの一例を表す模式図である。二人の話者間の会話における重畳期間または発話間隔のパターンを時系列順に並べた模式図である。話者状態再判定処理の動作フローチャートである。（ａ）〜（ｃ）は、状態再判定の一例の説明図である。話者状態検出処理の動作フローチャートである。第２の実施形態による話者状態検出装置の処理部の機能ブロック図である。（ａ）は、二人の話者間の会話に含まれる複数の発話区間及び各発話区間における話者の状態と発話区間の重畳期間または発話間隔のパターンの一例を示す模式図である。（ｂ）は、（ａ）における最後の発話区間に対して適用される状態影響モデルで考慮される影響者の状態及び重畳期間または発話間隔の組み合わせのグラフパターンの一例を示す図である。（ａ）は、３人の話者間の会話に含まれる複数の発話区間及び各発話区間における話者の状態と発話区間の重畳期間または発話間隔のパターンの一例を示す模式図である。（ｂ）は、（ａ）における最後の発話区間に対して適用される状態影響モデルで考慮される影響者の状態及び重畳期間または発話間隔の組み合わせのグラフパターンの一例を示す図である。第３の実施形態による話者状態検出装置の処理部の機能ブロック図である。第４の実施形態による話者状態検出装置の処理部の機能ブロック図である。

以下、図を参照しつつ、様々な実施形態による話者状態検出装置について説明する。
発明者は、鋭意研究の結果、複数の話者が対話する場合、各話者が発した音声間の重なり度合い、またはその音声間の間隔が、話者の状態に影響されるという知見を得た。

そこで、この話者状態検出装置は、各話者が発した音声が重畳する期間、またはその音声間の間隔を検出し、その重畳期間または間隔に基づいて少なくとも一人の話者の状態を検出する。なお、本明細書において、話者の状態とは、その話者の感情といった精神的な状態と、その話者の疲労感といった肉体的な状態とを含む概念である。

本実施形態において、話者状態検出装置は、電話機に組み込まれ、電話回線を通じて会話する複数の話者のうちの少なくとも一人の話者の状態を検出する。なお、話者状態検出装置は、この例に限られず、例えば、複数の話者が直接あるいは電話回線などの通信回線を通じて会話する会話音声を録音した音声データを読み込んで、その複数の話者のうちの少なくとも一人の話者の状態を検出してもよい。さらにまた、話者状態検出装置は、直接対話する複数の話者の音声をマイクロホンで集音し、各話者の音声を分離して、各話者の音声を解析することにより、少なくとも一人の話者の状態を検出してもよい。

図１は、一つの実施形態による話者状態装置の概略構成図である。本実施形態では、話者状態装置１は、音声入力部２と、通信部３と、記憶部４と、出力部５と、処理部６とを有する。

音声入力部２は、第１の話者が発した音声のデータを取得する。そのために、音声入力部２は、例えば、少なくとも１本のマイクロホン（図示せず）とマイクロホンに接続されたアナログ−デジタル変換器（図示せず）とを有する。この場合、マイクロホンは、マイクロホン周囲にいる一方の話者が発する音声を集音してアナログ音声信号を生成し、そのアナログ音声信号をアナログ−デジタル変換器へ出力する。アナログ−デジタル変換器は、アナログ音声信号を所定のサンプリング周期でサンプリングしてデジタル化することにより第１の音声データを生成する。そしてアナログ−デジタル変換器は、第１の音声データをアナログ−デジタル変換器と接続された処理部６へ出力する。

通信部３は、音声入力部の他の一例であり、話者状態検出装置１を電話回線に接続するためのインターフェース回路を有する。そして通信部３は、電話回線を介して、第２の話者が発した音声を電気信号化した第２の音声データを含むデータストリームを受信する。そして通信部３は、そのデータストリームから第２の音声データを抽出する。なお、第２の音声データが所定の通信路符号化方式にて符号化されている場合には、通信部３は、符号化された第２の音声データをその通信路符号化方式に従って復号する。そして通信部３は、第２の音声データを処理部６へ出力する。
なお、第１の音声データと第２の音声データとは、それら音声データに含まれる各話者が声を発したタイミング同士の関係が、実際に各話者が声を発したタイミング同士の関係と一致するように、処理部６により同期化される。

記憶部４は、例えば、半導体メモリ回路、磁気記憶装置または光記憶装置のうちの少なくとも一つを有する。そして記憶部４は、処理部６で用いられる各種コンピュータプログラム及び話者状態検出処理に用いられる各種のデータを記憶する。さらに記憶部４は、音声入力部２または通信部３を介して取得された音声データを記憶してもよい。

記憶部４に記憶される、話者状態検出処理に用いられるデータには、例えば、一旦検出された話者の状態を修正する場合に用いられる状態影響モデルが含まれる。状態影響モデルの詳細は後述する。

出力部５は、処理部６から受け取った話者状態の検出結果を表す検出結果情報を、液晶ディスプレイといった表示装置７へ出力する。そのために、出力部５は、例えば、表示装置７を話者状態検出装置１と接続するためのビデオインターフェース回路を有する。
また出力部５は、検出結果情報を、通信ネットワークを介して話者状態装置１と接続された他の装置へ出力してもよい。この場合、出力部５は、その通信ネットワークに音声認識装置１と接続するためのインターフェース回路を有する。なお、この場合、通信部３と出力部５は同一の回路であってもよい。

処理部６は、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部６は、音声入力部２から受け取った第１の音声データ及び通信部３から受け取った第２の音声データを一時的に記憶部４に記憶する。そして処理部６は、各話者の音声データに基づいて、少なくとも一方の話者の状態を検出する。そのために、処理部６は、発話間隔検出部１１と、状態情報抽出部１２と、１次状態検出部１３と、状態再判定部１４とを有する。
処理部６が有するこれらの各部は、例えば、処理部６が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部６が有するこれらの各部は、それぞれ、別個の回路として、話者状態検出装置１に実装されてもよい。

発話間隔検出部１１は、一方の話者の音声と他方の話者の音声とが重畳している期間、または一方話者の音声と他方の話者の音声間の間隔を検出する。そのために、発話間隔検出部１１は、第１の音声データから、音量が所定の音量閾値以上となる区間が連続する有音区間を検出する。そして発話間隔検出部１１は、その有音区間が検出される度に、その有音区間を第１の話者の一つの発話区間とする。同様に、発話間隔検出部１１は、第２の音声データから、音量が所定の音量閾値以上となる区間が連続する有音区間を検出し、その有音区間を第２の話者の一つの発話区間とする。なお、音量閾値は、例えば、話者状態検出装置１が組み込まれた電話機を介して会話する際に話者が発する声の音量の想定される最小値に設定される。また、発話間隔検出部１１は、音量が音量閾値未満となる無音区間でその前後の二つの有音区間が区切られていても、無音区間の長さが所定期間よりも短い場合には、その二つの有音区間を一つの有音区間としてもよい。この場合、所定期間は、例えば、話者の息継ぎに相当する期間、例えば、0.5秒〜1秒程度に設定される。

また、発話間隔検出部１１は、音声データ中で人の声に相当する周波数が含まれる周波数帯域のスペクトルのパワーを調べることによって有音区間を検出してもよい。例えば、発話間隔検出部１１は、所定のフレーム長（例えば、64ミリ秒）ごとに第１の音声データ及び第２の音声データをフーリエ変換あるいはコサイン変換することで、フレーム単位の各音声データの周波数スペクトルを求める。発話間隔検出部１１は、フレームごとに、各音声データの周波数スペクトルのうち、人の声に相当する周波数が含まれる周波数帯域（例えば、約100Hz〜約1kHz）のスペクトルのパワーを算出する。そして発話間隔検出部１１は、そのパワーが所定のパワー閾値以上となるフレームが連続する区間を有音区間とする。

発話間隔検出部１１は、各話者の発話区間を時系列順に整列できるように、発話区間ごとに、その発話区間の開始時刻と終了時刻とを記憶部４に記憶する。
発話間隔検出部１１は、各話者の発話区間を時系列順に比較する。発話間隔検出部１１は、一方の話者の注目する発話区間の開始時刻と終了時刻の間に、他方の話者の何れかの発話区間の開始時刻が含まれていれば、発話区間同士が重畳していると判定する。そして発話間隔検出部１１は、その重畳している二つの発話区間のうち、時間的に後の発話区間の開始時刻から、何れかの発話区間の終了時刻までを重畳期間とする。
また、一方の話者の注目する発話区間の開始時刻と終了時刻の間に、他方の話者の何れの発話区間の開始時刻も含まれていないこともある。このような場合、発話間隔検出部１１は、その注目する発話区間の終了時刻から、その終了時刻後における他方の話者の最初の発話区間の開始時刻までの期間を発話間隔とする。
なお、以下では、便宜上、重畳期間または発話間隔に対応する二つの発話区間のうち、開始時刻が先の発話区間を影響者の発話区間と呼び、開始時刻が後の発話区間を被影響者の発話区間と呼ぶ。

さらに発話間隔検出部１１は、重畳期間及び発話間隔の長さに応じて、重畳期間または発話間隔を、被影響者の状態と関連する複数のパターンの何れかに分類する。

図３（ａ）〜図３（ｅ）は、それぞれ、重畳期間または発話間隔のパターンの一例を表す。図３（ａ）〜図３（ｅ）において、横軸は時間を表す。また上側に示された発話区間３０１は影響者の発話区間であり、一方、下側に示された発話区間３０２は被影響者の発話区間である。
図３（ａ）に示されたパターンは、影響者の発話区間と被影響者の発話区間が重畳しておらず、かつ、発話間隔が短い、若しくは発話間隔が無いパターンである。便宜上、このようなパターンを'Ds'と表記する。図３（ｂ）に示されたパターンは、影響者の発話区間と被影響者の発話区間が重畳しておらず、かつ、発話間隔が長いパターンである。便宜上、このようなパターンを'Dl'と表記する。また図３（ｃ）に示されたパターンは、影響者の発話区間の一部と被影響者の発話区間の一部が重畳しており、かつ、その重畳期間が短いパターンである。便宜上、このようなパターンを'Ms'と表記する。図３（ｄ）に示されたパターンは、影響者の発話区間の一部と被影響者の発話区間の一部が重畳しており、かつ、その重畳期間が長いパターンである。便宜上、このようなパターンを'Ml'と表記する。そして図３（ｅ）に示されたパターンは、被影響者の発話区間全体が、影響者の発話区間と重畳しており、かつ、被影響者の発話区間、すなわち、重畳期間が影響者の発話区間よりも短いパターンである。便宜上、このような一方の発話区間が他方の発話区間に被覆される重畳期間のパターンを'Mc'と表記する。

なお、発話間隔検出部１１は、重畳期間の長さが所定の重畳期間閾値以上であれば、その重畳期間は長いと判定し、一方、重畳期間の長さが所定の重畳期間閾値未満であれば、その重畳期間は短いと判定する。また、発話間隔検出部１１は、発話間隔の長さが所定の間隔閾値以上であれば、その発話間隔は長いと判定し、一方、発話間隔の長さが所定の間隔閾値未満であれば、その発話間隔は短いと判定する。ここで、重畳期間閾値は、例えば、2.5秒に設定され、間隔閾値は、例えば、1秒に設定される。

図４は、二人の話者間の会話の一例における重畳期間または発話間隔のパターンを時系列順に並べた模式図である。図４において、横軸は時間を表す。また発話区間４０１〜４０３は、それぞれ、話者Ａの発話区間であり、発話区間４１１〜４１３は、それぞれ、話者Ｂの発話区間である。なお、話者Ａ、話者Ｂのうちの何れの音声が音声入力部２により集音されるものであってもよい。そしてパターン４２１〜４２５は、それぞれ、一つの重畳期間または発話間隔に対応している。

この例では、発話区間４０１と発話区間４１１が重畳しており、その重畳期間は長い。そのため、その重畳期間に対応するパターン４２１は、"長い重畳期間(Ml)"に分類される。次に、発話区間４１１と発話区間４０２が重畳しておらず、その発話間隔は短い。そのため、その発話間隔に対応するパターン４２２は、"短い発話間隔(Ds)"に分類される。同様に、発話区間４０２と発話区間４１２の重畳期間、発話区間４０２と発話区間４１３の重畳期間に対応するパターン４２３、４２４は、それぞれ、"被覆された重畳期間(Mc)"、"短い重畳期間(Ms)"に分類される。さらに、発話区間４１３と発話区間４０３間の発話間隔に対応するパターン４２５は、"長い発話間隔(Dl)"に分類される。なお、パターン４２１、４２３及び４２４に関しては、話者Ａが影響者であり、話者Ｂが被影響者となる。またパターン４２２及び４２５に関しては、話者Ｂが影響者であり、話者Ａが被影響者となる。
発話間隔検出部１１は、重畳期間及び発話間隔ごとに、その開始時刻と終了時刻とを、その重畳期間または発話間隔が分類されたパターンを表す識別情報とともに記憶部４に記憶する。

状態情報抽出部１２は、少なくとも一方の話者の音声からその話者の状態に関連する状態情報を抽出する。本実施形態では、状態情報抽出部１２は、発話区間ごとに、状態情報として音声のパワー、テンポ、抑揚及び所定の周波数成分の時間的な変動度合いの統計量うちの少なくとも一つを状態情報として抽出する。

例えば、状態情報抽出部１２は、音声のパワーを求めるために、発話区間に含まれる一方の話者の音声を所定のフレーム長単位でフーリエ変換、コサイン変換といった周波数変換して、その音声の周波数スペクトルを求める。そして状態情報抽出部１２は、周波数スペクトルのうち、人の声に相当する周波数帯域のスペクトルの振幅の２乗平均値を求め、さらにフレームごとの２乗平均値を発話区間全体で平均することにより、音声のパワーを求める。

また、状態情報抽出部１２は、発話区間内の音声に含まれる音素ごとの区切りを、例えば、音素単位の隠れマルコフモデルを用いて検出し、単位時間当たりに含まれる音素の数をテンポとして検出する。単位時間は、通常の会話において複数の音素が含まれる期間、例えば、数秒〜10秒に設定される。

また、状態情報抽出部１２は、発話区間内の音声に含まれる各単語を検出し、単語内または発話区間内の音声の特徴的なパターンを抑揚を表す情報として検出する。そのために、状態情報抽出部１２は、例えば、単語辞書またはN-gramを用いて単語を検出する。また状態情報抽出部１２は、発話区間内の音声を、例えば、QMFフィルタバンクを用いて時間周波数変換することにより、時刻ごとの周波数スペクトルを求める。そして状態情報抽出部１２は、各時刻の周波数スペクトルから、例えば、抑揚との相関性が高い周波数帯域、例えば、800Hz〜1200Hzのスペクトルを抽出する。そして状態情報抽出部１２は、抽出されたスペクトルの２乗をその時刻のパワースペクトルとして求める。状態情報抽出部１２は、そのパワースペクトルが所定の閾値以上となる時刻、すなわち、抑揚と関連する周波数帯域の音の強さがある程度以上大きい時刻を検出する。この閾値は、例えば、判別分析法を用いて適応的に決定されてもよく、あるいは予め固定的に設定された値でもよい。状態情報抽出部１２は、検出された時刻間の間隔を抑揚のパターンを表すパラメータとして求める。そして状態情報抽出部１２は、単語ごとに、あるいは発話区間ごとに、そのパラメータの平均値を求めて、その平均値を抑揚を表す情報とする。

また、状態情報抽出部１２は、所定の周波数成分の時間的な変動度合いを求めるために、発話区間に含まれる音声のフレーム単位の周波数スペクトルから、人の声の高域成分に相当する周波数帯域のスペクトルを抽出する。高域成分に相当する周波数帯域は、例えば、2kHz〜3kHzとすることができる。
次に、状態情報抽出部１２は、抽出した高域成分の単位時間（例えば、1フレーム長）ごとの変動度合いを求める。この変動度合いは、例えば、以下の式に従って算出される。
変動度合い = log(高域成分のパワースペクトルの幾何平均)/log(高域成分のパワースペクトルの算術平均)
あるいは、状態情報抽出部１２は、変動度合いを次式に従って算出してもよい。
変動度合い =高域成分のパワースペクトルの幾何平均/高域成分のパワースペクトルの算術平均
状態情報抽出部１２は、上記で得られた変動度合いの発話区間内の統計量、例えば、発話区間内に含まれるフレームごとの変動度合いの平均値、中央値、分散あるいは最頻値を求める。

なお、状態情報抽出部１２は、上記の状態情報以外の状態情報を発話区間ごとに抽出してもよい。
状態情報抽出部１２は、発話区間ごとに得られた状態情報を、対応する発話区間と関連付けて記憶部４に記憶する。

１次状態検出部１３は、発話区間ごとの状態情報に基づいて、少なくとも一方の話者の状態を、例えば、その話者の発話区間ごとに検出する。
そのために、１次状態検出部１３は、例えば、状態情報の組と発話者の状態（例えば、怒り、喜び、悲しみといった状態）との関係を表す状態データベースを参照することにより、得られた状態情報に対する話者の状態を検出する。このような状態データベースは、予め記憶部４に記憶される。なお、状態データベースは、例えば、予め話者の状態が分かっている複数の音声データのサンプルについて発話区間ごとに状態情報を求めて、状態情報の組ごとに話者の状態の頻度分布を求め、頻度が最も高い状態をその状態情報の組と対応付けることで作成される。そのような音声データのサンプルに関して、話者の状態は、例えば、その音声データの収集時に話者の脈拍、心電計のデータ、話者の顔を撮影した画像といった生体情報を別途取得し、その生体情報に基づいて被測定者の状態を求める様々な技術の何れかに従って求められてもよい。また状態データベースは、話者状態検出装置１以外の装置によって予め作成されてもよい。

さらに、１次状態検出部１３は、検出した状態の確からしさを表す確度を求める。本実施形態では、確度は0〜1の範囲内の値であり、値が大きいほど検出した状態は確からしい。ただし、確度が取り得る値の範囲は、0〜10など、任意の範囲に設定可能である。１次状態検出部１３は、例えば、状態情報の組を入力とし、検出された状態に対する確度を出力とする関数に、状態情報の組を入力することによって確度を求める。そのような関数は、例えば、予め記憶部４に記憶される。

あるいは、１次状態検出部１３は、状態情報の組を入力とし、話者の取り得る状態の確度を出力とする関数に、状態情報の組をそれぞれ入力することにより、取り得る状態の全てについてそれぞれ確度を求めてもよい。そして１次状態検出部１３は、最も確度が高い状態を話者の状態として検出する。この場合、１次状態検出部１３は、その最も高い確度を検出された状態の確度としてもよい。あるいは、１次状態検出部１３は、取り得る状態の全てについて算出された確度の合計で、それぞれの状態の確度を割ることによって得られる正規化された確度を確率分布とみなし、その確率分布のエントロピーの逆数を改めて確度として算出してもよい。
さらにまた、１次状態検出部１３は、発話区間中の、話者が声を発した期間の長さを信号とし、話者の声以外の音がする期間の長さをノイズとする信号対ノイズ比を、その発話区間における状態の確度としてもよい。この場合、話者が声を発した期間は、例えば、人の声に相当する周波数帯域のスペクトルのパワーが所定の閾値以上となる期間とすることができる。

さらにまた、１次状態検出部１３は、状態情報の組を入力とし、話者の取り得る各状態の条件付き確率を出力する確率モデルに、注目する発話区間から抽出された状態情報の組を入力することによって、話者のそれぞれの状態の条件付き確率を求めてもよい。この場合、１次状態検出部１３は、条件付き確率の最高値に対応する状態を注目する発話区間における話者の状態として検出する。また１次状態検出部１３は、その最も高い条件付き確率を確度とする。

１次状態検出部１３は、確率モデルとして、例えば、ベイジアンネットワークを用いることができる。この場合、ベイジアンネットワークは、話者の状態が分かっている複数の音声データのサンプルに基づいて、話者の各状態の条件付確率を決定するために予め学習される。例えば、１次状態検出部１３は、状態情報の何れかが入力される入力ノードと、話者の取り得る状態のそれぞれの条件付き確率を出力する出力ノードとを有する２層のベイジアンネットワークを使用する。この場合、話者の各状態に対応する、サンプルから抽出された状態情報の組の頻度がそれぞれ求められる。そして、状態情報の組と話者の状態の組み合わせごとに、その組み合わせの頻度を、頻度の合計で割ることによって、話者の各状態の条件付き確率が決定される。
また、１次状態検出部１３は、音声データから抽出した状態情報に基づいて話者の状態を判定する、他の様々な方法の何れかに従って、発話区間ごとの話者の状態を求めてもよい。
１次状態検出部１３は、検出した状態及びその状態に対する確度を状態再判定部１４へ出力する。

状態再判定部１４は、１次状態検出部１３による少なくとも一方の話者の状態の判定結果と、発話間隔検出部１１により検出された重畳期間または間隔とに基づいて、その話者の状態を再判定する。なお、１次状態検出部１３及び状態再判定部１４は、状態検出部の一例である。

図５は、状態再判定部１４により実行される話者状態再判定処理の動作フローチャートである。状態再判定部１４は、発話区間ごとに、時系列順にこの話者状態再判定処理を実行する。
状態再判定部１４は、注目する発話区間に対応する状態の確度を状態の再判定を行うか否かを決めるための再判定閾値以下か否か判定する（ステップＳ１０１）。
ここで、再判定閾値は、例えば、以下に説明するように予め決定される。先ず、処理部６は、１次状態検出部１３が出力し得る確度の最大値と最小値の差を、例えば100で割ったインクリメント値を最小値に加えて仮の閾値とする。なお、インクリメント値を求めるための、確度の最大値と最小値の差を割る値は、確度の有効桁数に応じて1000または10000としてもよい。そして処理部６は、予め話者の状態が分かっている複数の音声データのサンプルについて、その仮の閾値より確度が小さい発話区間に対する、１次状態検出部１３による話者の状態の検出結果の誤り率を求める。処理部６は、仮の閾値にインクリメント値を順次加えることによって仮の閾値を変更しつつ、仮の閾値ごとにその誤り率を求める。そして処理部６は、その誤り率が最大となるときの仮の閾値を再判定閾値とする。なお、再判定閾値を決定するための上記の手順は、話者状態検出装置１以外の装置によって実行されてもよい。

確度が再判定閾値よりも大きければ（ステップＳ１０１−Ｎｏ）、状態再判定部１４は、その発話区間の状態の再判定を行わず、１次状態検出部１３により検出された状態を、その発話区間における話者の状態とする。そして状態再判定部１４は話者状態再判定処理を終了する。一方、その確度が再判定閾値以下であれば（ステップＳ１０１−Ｙｅｓ）、状態再判定部１４は、注目する発話区間を被影響者の発話区間としたときの、その発話区間以前の影響者の発話区間が存在するか否かを判定する（ステップＳ１０２）。例えば、状態再判定部１４は、記憶４に記憶されている注目する発話区間の開始時刻とその注目する発話区間より前の他方の話者の発話区間の開始時刻などを参照することによりその判定を行うことができる。影響者の発話区間が無ければ（ステップＳ１０２−Ｎｏ）、状態再判定部１４は、その発話区間の状態の再判定を行わず、１次状態検出部１３により検出された状態を、その発話区間における話者の状態とする。そして状態再判定部１４は話者状態再判定処理を終了する。

一方、影響者の発話区間が存在すれば（ステップＳ１０２−Ｙｅｓ）、状態再判定部１４は、その影響者の発話区間と注目する被影響者の発話区間とに対応する重畳期間または発話間隔のパターンの識別情報を記憶部４から読み出す。さらに状態再判定部１４は、そのパターンと、影響者の発話区間における影響者の状態との組に対応する状態影響モデルを特定し、その特定した状態影響モデルを記憶部４から読み込む（ステップＳ１０３）。

状態影響モデルは、重畳期間または発話間隔のパターンと影響者の発話区間におけるその影響者の状態との組を条件としたときに被影響者の発話区間における話者の取り得る状態ごとの条件付き確率と、個別再判定閾値との組み合わせによって表されるモデルである。状態影響モデルに含まれる条件付き確率pは、例えば、以下の式で表される。
p = p(c_a|c_b,P_dm)
ここで、c_aは、注目する発話区間における被影響者の状態を表し、c_bは、影響者の発話区間における影響者の状態を表す。またP_dm(∈｛Dl,Ds,Mc,Ml,Ms｝)は、重畳期間または発話間隔のパターンである。例えば、c_aが“侘び”であり、c_bが“怒り”であり、P_dmがMsであるときに、p=0.6であれば、対話において影響者が怒っているときの発話の後に短く重畳している被影響者の発話が“侘び”である確率が0.6であることが表されている。
また個別再判定閾値は、関連する状態影響モデルを用いて話者の状態を再判定するか否かを判定するための閾値である。

状態再判定部１４は、読み込んだ状態影響モデルに含まれる、注目する発話区間についての１次状態検出部１３により検出された話者の状態に対応する条件付き確率を求める（ステップＳ１０４）。そして状態再判定部１４は、その条件付き確率が個別再判定閾値以下か否か判定する（ステップＳ１０５）。その条件付き確率がその状態影響モデルの個別再判定閾値より大きい場合には（ステップＳ１０５−Ｎｏ）、状態再判定部１４は、１次状態検出部１３により検出された状態をその発話区間における話者の状態とする。そして状態再判定部１４は話者状態再判定処理を終了する。

一方、その条件付き確率がその状態影響モデルの個別再判定閾値以下である場合には（ステップＳ１０５−Ｙｅｓ）、状態再判定部１４は、影響者の発話区間におけるその影響者の状態と重畳期間または発話間隔のパターンの組み合わせを求める。そして状態再判定部１４は、読み込んだ状態影響モデルを参照してその組み合わせを条件とする条件付き確率が最大となる被影響者の状態を求め、その状態を注目する発話区間における話者の状態とする（ステップＳ１０６）。そして状態再判定部１４は話者状態再判定処理を終了する。
なお、変形例によれば、状態再判定部１４は、注目する発話区間における被影響者の話者の状態の確度が再判定閾値以下であれば、ステップＳ１０４及びＳ１０５の手順を省略し、直接ステップＳ１０６の手順を実行してもよい。

図６（ａ）〜図６（ｃ）を参照しつつ、状態再判定の例について説明する。図６（ａ）〜図６（ｃ）において、横軸は時間であり、発話区間６０１は、話者Ｂによる発話区間であり、かつ、この例における、再判定の対象となる発話区間である。また話者Ａによる発話区間６０２は、発話区間６０１に影響する影響者の発話区間である。発話区間６０２における話者Ａの状態は"怒り"と判定されている。

この場合において、図６（ａ）に示されるように、発話区間６０２について、１次状態検出部１３により、話者Ｂの状態は"侘び"と判定されており、その確度は0.3である。ここで再判定閾値が、その確度よりも大きい値、例えば0.5であれば、話者Ｂの発話区間６０１よりも先に開始される話者Ａの発話区間６０２が存在するので、発話区間６０１の話者の状態は再判定の対象となる。

次に、状態再判定部１４は、発話区間６０１についての状態影響モデルを特定する。この場合、発話区間６０１に影響する話者Ａの発話区間６０２における話者Ａの状態は"怒り"であり、発話区間６０１は発話区間６０２に被覆されているので、重畳期間または発話間隔のパターンは"Mc"である。そのため、状態再判定部１４は、条件｛"怒り",Mc｝に対応する状態影響モデルを記憶部４から読み込み、その状態影響モデルに含まれる条件付き確率P("侘び"|"怒り",Mc)を個別再判定閾値と比較する。例えば、条件付き確率Pが0.2で、個別再判定閾値がその条件付き確率よりも大きい値、例えば0.3であれば、状態再判定部１４は、｛"怒り",Mc｝を条件とする、被影響者の取り得る状態についての条件付き確率の中で最大値を求める。例えば、状態影響モデルにおいて、"怒り"とパターン"Mc"の組み合わせを条件として、状態"怯え"、"侘び"、"怒り"、"平静"のそれぞれについての条件付確率が以下のように求められているとする。
P("怯え"|"怒り",Mc)=0.4
P("侘び"|"怒り",Mc)=0.2
P("怒り"|"怒り",Mc)=0.3
P("平静"|"怒り",Mc)=0.1
この場合、状態"怯え"についての条件付き確率が最大となる。そこで、図６（ｃ）に示されるように、状態再判定部１４は、発話区間６０１における話者Ｂの状態を"侘び"から"怯え"に修正する。

なお、条件付き確率は、例えば以下のように、予め決定される。
予め話者の状態が分かっている、二人の話者が対話している複数の音声データのサンプルについて、発話間隔検出部１１による処理と同様の処理を行って、時系列順に各話者の発話区間の重畳期間及び発話間隔のパターンが求められる。そして、影響者の取り得る状態と重畳期間及び発話間隔のパターンの組み合わせごとに、被影響者の取り得るそれぞれの状態の頻度が求められる。そしてその頻度の合計で、被影響者の各状態の頻度を割ることにより、影響者の取り得る状態と重畳期間及び発話間隔のパターンの組み合わせごとの被影響者の各状態の条件付き確率が求められる。

また個別再判定閾値は、例えば以下のように、予め決定される。
予め話者の状態が分かっている、二人の話者が対話している複数の音声データのサンプルについて、状態情報抽出部１２及び１次状態検出部１３と同様の処理を行うことで発話区間ごとの話者の状態が検出され、発話区間と話者の状態の組のそれぞれが一つのテストデータとなる。ただし、これらのサンプルは、条件付き確率の算出に用いたサンプルとは異なることが好ましい。
そして、0.01刻みで0.01から0.99までの仮の閾値が設定される。仮の閾値ごとに、各テストデータの発話区間の被影響者の状態に対する状態影響モデルに含まれる条件付き確率が、その仮の閾値より低い値となるテストデータが抽出される。抽出されたテストデータのそれぞれについて、そのテストデータにおける、被影響者たる話者の状態を判定する条件と同一の条件を持つ条件付き確率のうちで、その確率が最大となる被影響者の状態が、変更後の話者の状態となる。なお、ここでいう条件は、影響者の状態と重畳期間及び発話間隔のパターンの組み合わせを意味する。そして以下の式にしたがって、再現率及び適合率が算出される。再現率は、話者の状態を変更した発話区間のうち、話者の状態の変更結果が正しい割合を表す。また適合率は、話者の状態を変更すべき発話区間のうち、実際に話者の状態が変更された割合を表す。

なお、テストデータについて元々既知である話者の状態と、変更後の話者の状態とが一致する場合、話者の状態が正しい状態に変更されたとみなされる。また、状態を変更すべき発話区間の数は、状態情報抽出部１２及び１次状態検出部１３と同様の処理を行うことで検出された話者の状態が誤っている発話区間の数である。
そして上記の各仮の閾値のうち、再現率と適合率の調和平均が最大となる閾値が、個別判定閾値として決定される。また、個別判定閾値は、影響者の状態と重畳期間または発話間隔のパターンの組毎に決定されてもよい。状態影響モデルに含まれる条件付き確率及び個別再判定閾値は、話者状態検出装置１以外の装置によって、上記の手順に従って予め決定されてもよい。

状態再判定部１４は、発話区間ごとに、話者の状態の判定結果を、その対応する発話区間の開始時刻及び終了時刻と関連付けて記憶部４に記憶する。また状態再判定部１４は、その話者の状態の判定結果を、出力部５を介して表示装置７または他の機器へ出力してもよい。

図７は、話者状態検出装置１の処理部６により実行される話者状態検出処理の動作フローチャートを示す。
処理部６は、音声入力部２及び通信部３を介して各話者の音声データを取得する（ステップＳ２０１）。処理部６は、各話者の音声データを同期化し、その音声データを一時的に記憶部４に記憶する。次に、処理部６の発話間隔検出部１１は、各話者の音声データのそれぞれについて、発話区間を検出する。そして発話間隔検出部１１は、話者間での発話区間同士の重畳期間または発話間隔を時系列順に求め、その重畳期間または発話間隔を複数のパターンのうちの何れかに分類する（ステップＳ２０２）。発話間隔検出部１１は、各発話区間の開始時刻と終了時刻を記憶部４に記憶する。また発話間隔検出部１１は、重畳期間または発話間隔のパターンの開始時刻と終了時刻、及びそのパターンを表す識別情報を記憶部４に記憶する。

また処理部６の状態情報抽出部１２は、発話区間ごとに状態情報を抽出する（ステップＳ２０３）。そして状態情報抽出部１２は、発話区間ごとに得られた状態情報を、対応する発話区間と関連付けて記憶部４に記憶する。処理部６の１次状態検出部１３は、発話区間ごとに、対応する状態情報に基づいてその発話区間における、その発話区間で音声を発した話者の状態を検出し、その状態の確度を算出する（ステップＳ２０４）。１次状態検出部１３は、検出した状態及びその状態に対する確度を処理部６の状態再判定部１４へ出力する。

状態再判定部１４は、発話区間ごとに、時系列順に状態再判定処理を実行する（ステップＳ２０５）。そして状態再判定部１４は、発話区間ごとの話者の状態を、対応する発話区間の開始時刻及び終了時刻とともに出力部５を介して表示装置または他の機器へ出力する。また状態再判定部１４は、発話区間ごとの話者の状態を、対応する発話区間の開始時刻及び終了時刻と関連付けて記憶部４に記憶する。
その後、処理部６は、話者状態検出処理を終了する。

以上に説明してきたように、この話者状態検出装置は、話者の状態との関連性が有る、一方の話者の発話区間と他方の話者の発話区間との重畳期間または発話間隔を用いて、話者の状態を検出する。そのため、この話者状態検出装置は、話者の状態の検出精度を向上できる。

変形例によれば、話者状態検出装置の音声入力部は、ユニバーサル・シリアル・バス(Universal Serial Bus、USB)といったシリアスバス規格に従ったインターフェース回路を有してもよい。この場合、音声入力部は、例えば、ハードディスクなどの磁気記憶装置、光記憶装置あるいは半導体メモリ回路と接続され、それらの記憶装置から二人の話者の会話を録音した、デジタル化された音声データを読み込み、その音声データを処理部へ出力してもよい。あるいは、話者状態検出装置は、通信部を介して、他の機器から二人の話者の会話を録音した、デジタル化された音声データを取得してもよい。そして話者状態検出装置は、その音声データに基づいて各話者の発話区間ごとの状態を検出してもよい。

この場合、処理部は、発話区間ごとに話者を識別する。例えば、音声データが、会話をステレオで録音したものである場合、処理部は、発話区間に含まれる信号が左右何れのチャネルの信号かを判定することにより話者を識別できる。そこで、処理部は、注目する発話区間の開始時刻から終了時刻までの信号の平均強度を各チャネルについて求める。そして処理部は、左側のチャネルの平均強度が右側のチャネルの平均強度よりも高い場合、その発話区間の話者を第１の話者とし、一方、右側のチャネルの平均強度が左側のチャネルの平均強度よりも高い場合、その発話区間の話者を第２の話者とする。なお、左側のチャネルの平均強度と右側のチャネルの平均強度が何れも所定の閾値よりも大きい場合、両方の話者が話していると推定される。そこでこの場合、処理部は、その発話区間の話者は第１及び第２の話者の両方とする。なお、所定の閾値は、例えば、誰も話していない場合の音量の最大値に設定される。

また他の変形例によれば、重畳期間閾値及び間隔閾値は、予め話者の状態が分かっている複数の音声データのサンプルに基づいて定められてもよい。例えば、重畳期間閾値及び間隔閾値を0.5秒から5秒の間で0.1秒ずつ変化させつつ、影響者の話者の状態と重畳期間または話者間隔のパターンの組み合わせに対する被影響者の話者の条件付き確率をサンプルデータに基づいて算出する。そしてそれぞれの条件付き確率の分布について、例えばエントロピーが最小となるときの重畳期間閾値及び間隔閾値を、発話間隔検出部１１は使用してもよい。

次に、第２の実施形態による話者状態検出装置について説明する。第２の実施形態による話者状態検出装置は、注目する発話区間の一つ前の他者の発話区間だけでなく、それ以前の複数の発話区間における話者の状態、発話区間同士の重畳期間または発話間隔のパターンに基づいて、注目する発話区間における話者の状態を再判定する。さらにこの話者状態検出装置は、話者が３人以上いてもよい。
以下では、第２の実施形態による話者状態検出装置の各要素のうち、第１の実施形態による話者状態検出装置と異なる点について説明する。

第２の実施形態による話者状態検出装置も、図１に示された話者状態検出装置と同様に、音声入力部２と、通信部３と、記憶部４と、出力部５と、処理部６とを有する。ただし、この実施形態では、音声入力部２は、複数の話者が存在する場合に、音声入力部２が集音した音声のデータから話者を識別できるように、異なる位置に配置された複数のマイクロホンを有する。そして各マイクロホンからの音声信号は処理部６へ送られる。またこの実施形態では、通信部３は省略されてもよい。

図８は、第２の実施形態による話者状態検出装置の処理部の機能ブロック図である。処理部６は、発話間隔検出部１１と、状態情報抽出部１２と、１次状態検出部１３と、状態再判定部１４と、話者識別部１５とを有する。このうち、発話間隔検出部１１、状態情報抽出部１２、１次状態検出部１３及び状態再判定部１４における処理は、第１の実施形態による処理部６の対応する構成要素の処理と同様である。そのため、以下では、話者識別部１５及び状態再判定部１４で使用される状態影響モデルについて説明する。

話者識別部１５は、音声入力部２から入力された音声データを、話者ごとに区分する。例えば、音声入力部２が有する各マイクが、それぞれ、複数の話者の何れか一人の近くに設置されている場合には、話者識別部１５は、各マイクにより生成された音声データを、そのマイクの最も近くにいる話者の音声データとする。

また、話者識別部１５は、各マイクロホンに到達した音の時間差に基づいて音の到来方向を推定することにより、話者を識別してもよい。例えば、３人の話者がいる場合において、話者識別部１５は、全てのマイクロホンで集音された音の強度が所定の閾値以上に達した時点で音の到来方向を求める。そして話者識別部１５は、音の到来方向が複数のマイクロホンが設置された位置の中点を基準とした所定の第１の角度範囲内に含まれるとき、その時点から、各マイクロホンで集音された音の強度がその閾値未満となるまでの期間の話者を第１の話者とする。一方、その期間についての音の到来方向がその第１の角度範囲から外れ、かつ第２の角度範囲に含まれるとき、話者識別部１５は、その期間の話者を第２の話者とする。さらに、期間についての音の到来方向がその第１及び第２の角度範囲から外れるときは、話者識別部１５は、その期間の話者を第３の話者とする。
なお、第１及び第２の角度範囲は、各話者の位置と、各マイクロホンの位置関係に応じて予め定められる。
話者識別部１５は、話者ごとに、区分された音声データを発話間隔検出部１１へ渡す。

状態再判定部１４は、３人以上の話者の発話区間が関連する状態影響モデル、あるいは、注目する発話区間よりも前の複数の発話区間が関連する状態影響モデルに基づいて、その注目する発話区間について１次状態検出部により検出された話者の状態を再判定してもよい。

図９（ａ）は、二人の話者間の会話に含まれる複数の発話区間及び各発話区間の状態と発話区間の重畳期間または発話間隔のパターンの一例を示す。図９（ｂ）は、図９（ａ）における最後の発話区間に対して適用される状態影響モデルで考慮される影響者の状態及び重畳期間または発話間隔の組み合わせのグラフパターンの一例を示す図である。
図９（ａ）において、横軸は時間を表す。また発話区間９０１、９０２は、それぞれ、話者Ａの発話区間であり、発話区間９１１〜９１３は、それぞれ、話者Ｂの発話区間である。発話区間９０１及び９０２における話者Ａの状態は、それぞれ"怒り"と判定されている。また発話区間９１１、９１２における話者Ｂの状態は、それぞれ、"無関心"、"怯え"と判定されている。これらの各発話区間における話者の状態は、状態再判定部１４により判定された結果である。そして最後の発話区間である発話区間９１３における話者Ｂの状態は、１次状態検出部１３にて"侘び"と判定されている。

この例では、発話区間９１３が被影響者の発話区間であり、発話区間９１３の状態の再判定において考慮される全ての発話区間は、話者Ａ、話者Ｂの何れによる発話区間かにかかわらず、影響者の発話区間となる。そして図９（ｂ）に示されるように、発話区間９１３に対するグラフパターン９２０は、各発話区間を表すノードと、時間的に連続する二つの発話区間同士の重畳期間または発話間隔のパターンを表す、その二つの発話区間に相当するノード間を結ぶ矢印とを含む。またこの矢印の根元側のノードに相当する発話区間の開始時刻の方が、矢印の先端側のノードに相当する発話区間の開始時刻よりも早い。例えば、ノード９２１〜９２５は、それぞれ、発話区間９０１、９１１、９０２、９１２及び９１３に対応する。また矢印９３１、９３３は、それぞれ、発話区間９０１と９１１間、及び発話区間９１１と９０２間の重畳期間または発話間隔のパターンであり、この例では、"短い発話間隔(Ds)"である。また、矢印９３２、９３４、９３７は、それぞれ、発話区間９０１と９０２間、発話区間９１１と９１２間及び発話区間９１２と９１３間の重畳期間または発話間隔のパターンであり、この例では、"同一人物の発話間隔(P)"である。同様に、矢印９３５は、発話区間９０２と９１２間の重畳期間または発話間隔のパターンであり、この例では、"被覆された重畳期間(Mc)"である。そして矢印９３７は、発話区間９０２と９１３間の重畳期間または発話間隔のパターンであり、この例では、"長い発話間隔(Dl)"である。

図１０（ａ）は、３人の話者間の会話に含まれる複数の発話区間及び各発話区間の状態と発話区間の重畳期間または発話間隔のパターンの一例を示す。図１０（ｂ）は、図１０（ａ）における最後の発話区間に対して適用される状態影響モデルで考慮される影響者の状態及び重畳期間または発話間隔の組み合わせのグラフパターンの一例を示す図である。
図１０（ａ）において、横軸は時間を表す。また発話区間１００１は、話者Ａの発話区間であり、発話区間１０１１及び１０１２は、話者Ｂの発話区間である。そして発話区間１０２１は、話者Ｃの発話区間である。発話区間１００１における話者Ａの状態は"怒り"と判定されており、発話区間１０１１における話者Ｂの状態、および発話区間１０２１における話者Ｃの状態は、それぞれ、"怯え"、"侘び"と判定されている。これらの各発話区間における話者の状態は、状態再判定部１４により判定された結果である。そして最後の発話区間である発話区間１０１２における話者Ｂの状態は、１次状態検出部１３にて"侘び"と判定されている。

この例でも、最後の発話区間１０１２が被影響者の発話区間であり、発話区間１０１２の状態の再判定において考慮される全ての発話区間は、話者Ａ〜Ｃの何れによる発話区間かにかかわらず、影響者の発話区間となる。そして図１０（ｂ）に示されるように、発話区間１０１２に対するグラフパターン１０３０は、各発話区間を表すノードと、時間的に連続する二つの発話区間同士の重畳期間または発話間隔のパターンを表す、その二つの発話区間に相当するノード間を結ぶ矢印とを含む。例えば、ノード１０３１〜１０３４は、それぞれ、発話区間１００１、１０１１、１０２１及び１０１２に対応する。また矢印１０４１〜１０４３は、それぞれ、発話区間１００１と１０１１間、発話区間１００１と１０２１間及び発話区間１００１と１０１２間の重畳期間または発話間隔のパターンであり、それぞれ、"被覆された重畳期間(Mc)"、"長い重畳期間(Ml)"及び"長い発話間隔(Dl)"である。また矢印１０４４、１０４５は、発話区間１０１１と１０２１間、発話区間１０１１と１０１２間の重畳期間または発話間隔のパターンであり、この例では、"短い発話間隔(Ds)"及び"同一人物の発話間隔(P)"である。そして、矢印１０４６は、発話区間１０２１と１０１２間の重畳期間または発話間隔のパターンであり、この例では、"短い重畳期間(Ms)"である。

グラフパターンを生成する際、状態再判定部１４は、状態の再判定処理の対象となる発話区間を被影響者の発話区間とし、その発話区間から開始時刻の逆順に一つずつ遡って予め設定された(n-1)個の発話区間の状態を記憶部４から読み込む。ただし、nはノード数であり、3以上の整数である。また状態再判定部１４は、そのノード数分の発話区間に対して、全ての発話区間同士の重畳期間または発話間隔のパターンを記憶部４から読み込む。そして状態再判定部１４は、発話区間ごとに一つのノードを設定し、図９（ｂ）または図１０（ｂ）のように、連続する二つの発話区間同士の重畳期間または発話間隔のパターンをその二つの発話区間を結ぶ矢印として設定することで、グラフパターンを生成できる。

これらの例に示されるように、グラフパターンを生成する際には、同一の話者の連続する二つの発話区間の関係も、重畳期間または発話間隔のパターンの一例に含めてもよい。あるいは、同一の話者の連続する二つの発話区間の関係は、グラフパターンから除外されてもよい。また、影響者の発話区間として参照される発話区間の数(すなわち、(n-1))の上限は、例えば、処理部６の処理能力に応じて予め決定され、例えば、2〜10程度に設定される。あるいは、被影響者の発話区間よりも前にある、音声データに含まれる会話の区切りのうち、最後の会話の区切り以降、かつ被影響者の発話区間より前の全ての発話区間が影響者の発話区間とされてもよい。なお、状態再判定部１４は、例えば、全ての話者の音声データにおける音声信号の強度が所定の閾値未満となる区間が所定期間以上連続するところを会話の区切りとして検出してもよい。この場合、所定期間は、例えば、10秒〜1分に設定される。また所定の閾値は、例えば、想定される背景音の強度の最大値に設定される。

状態再判定部１４は、図５に示された状態再判定処理のステップＳ１０５において、上記のようなグラフパターンで表される影響者の各発話区間の状態と、重畳期間または発話間隔のパターンとの組を条件とする。そして状態再判定部１４は、状態影響モデルを参照して、その条件下において１次状態検出部１３により検出された被影響者の状態となる条件付き確率を個別再判定閾値と比較する。そして状態再判定部１４は、その条件付き確率が個別際判定閾値未満であれば、状態影響モデルを参照することにより、そのグラフパターンで表された組み合わせを条件とする条件付き確率が最大値となる被影響者の状態を求める。そして状態再判定部１４は、被影響者の状態をその最大値に対応する状態に修正する。なお、この実施形態では、条件付き確率Pは、例えば、以下のように表される。
P=P(c_a|G)
ここで、c_aは、注目する発話区間における被影響者の状態を表し、Gは、影響者の各発話区間の状態と、重畳期間または発話間隔のパターンの組み合わせを表すグラフパターンの行列表記である。例えば、図１０（ｂ）に示されたグラフパターン１０４０は、以下のように表記される。

行列Gの左上端の対角要素は、被影響者の発話区間の状態を表す。ただし、被影響者の発話区間の状態は確定していないので、この例では、左上端の対角要素は、未知であることを表す記号'x'で表記される。また行列Gのその他の対角要素は、左上に近い要素ほど、被影響者の発話区間に近い発話区間における影響者の状態を表す。そして、対角要素よりも右上に位置する、i行j列(i<j)の要素は、対角要素iに相当する発話区間と対角要素j(i<j)に相当する発話区間との重畳期間または発話間隔のパターンを表す。一方、対角要素よりも左下側に位置する各要素、及び対応する重畳期間または発話間隔のパターンが存在しない要素は、パターンが存在しないことを表す記号（この例ではφ）で表される。なお、このようにグラフパターンを行列表記する場合には、この行列は上三角行列となる。そのため、状態影響モデルを生成または参照する際、上三角行列で有効な値を持つ要素についてのみ、記憶部４に記憶し、また参照されてもよい。

またこの実施形態においても、状態影響モデルに含まれる、様々なグラフパターンを条件とするときに、話者が特定の状態となる条件付き確率、及び個別再判定閾値は、第１の実施形態による状態影響モデルを決定する手順と同様の手順によって決定される。
ただし、条件付き確率を決定する際には、予め話者の状態が分かっている、二人以上の話者が対話している複数の音声データのサンプルから、様々なグラフパターンごとに、被影響者の取り得るそれぞれの状態の頻度が求められる。そしてその頻度の合計で、被影響者の各状態の頻度を割ることにより、グラフパターンごとの被影響者の各状態の条件付き確率が求められる。

この第２の実施形態による話者状態検出装置は、注目する発話区間の前の複数の発話区間における話者の状態及びそれら複数の発話区間同士の重畳期間または発話間隔を、注目する発話区間の話者の状態の判定に利用できる。このように、話者の状態の判定に有用な情報をより多く利用できるので、第２の実施形態による話者状態検出装置は、話者の状態の検出精度をより向上できる。

次に、第３の実施形態による話者状態検出装置について説明する。第３の実施形態による話者状態検出装置は、発話区間について検出された話者の状態及び関連する重畳期間または発話間隔のパターンなどを学習用のサンプルとして記憶しておき、そのサンプルを利用して状態影響モデルを更新する。
第３の実施形態による話者状態検出装置は、第１の実施形態による話者状態検出装置と比較して、処理部により実行される機能の一部のみが異なる。そこで以下では、処理部について説明する。

図１１は、第３の実施形態による話者状態検出装置の処理部の機能ブロック図である。処理部６は、発話間隔検出部１１と、状態情報抽出部１２と、１次状態検出部１３と、状態再判定部１４と、学習部１６とを有する。このうち、発話間隔検出部１１、状態情報抽出部１２、１次状態検出部１３における処理は、第１の実施形態による処理部６の対応する構成要素の処理と同様である。そのため、以下では、状態再判定部１４及び学習部１６について説明する。

状態再判定部１４は、発話区間ごとの話者の状態を、第１の実施形態による状態再判定部１４の処理と同様の処理を行って再判定する。ここで、話者の状態の判定結果が確からしい場合、その判定結果に対応する発話区間に関する情報は、状態影響モデルの精度を向上するのに有用な情報となる。特に、話者状態検出装置が携帯電話に実装される場合のように、少なくとも一方の話者が特定の話者に限定される使用環境では、話者状態検出装置は、状態影響モデルをその特定の話者に関する情報を用いて最適化することで、話者の状態の検出精度を向上できる。そこで状態再判定部１４は、検出された話者の状態が確からしい場合、対応する発話区間を被影響者の発話区間とし、直前の他者の発話区間を影響者の発話区間とする。そして状態再判定部１４は、各発話区間における話者の状態と、重畳期間及び発話間隔のパターンとの組を学習用サンプルとして記憶部４に追加的に記憶する。

なお、状態再判定部１４は、例えば、注目する発話区間について検出された話者の状態の確度が再判定閾値よりも高い場合、その話者の状態は確からしいとする。あるいは、状態再判定部１４は、再判定閾値と別個に、学習用サンプルとして保存するか否かを判定するための選択用閾値を用いてもよい。この場合、状態再判定部１４は、注目する発話区間について検出された話者の状態の確度が選択用閾値よりも高い場合、その話者の状態は確からしいとする。
選択用閾値は、再判定閾値以上の値を持ち、例えば、以下に説明するように決定される。先ず、処理部６は、１次状態検出部１３が出力し得る確度の最大値と最小値の差を、例えば100で割ったインクリメント値を最小値に加えて仮の閾値とする。なお、インクリメント値を求めるための、確度の最大値と最小値の差を割る値は、確度の有効桁数に応じて1000または10000としてもよい。そして処理部６は、予め話者の状態が分かっている複数の音声データのサンプルについて、その仮の閾値より確度が高い発話区間に対する、１次状態検出部１３による話者の状態の検出結果の誤り率を求める。処理部６は、仮の閾値にインクリメント値を順次加えることによって仮の閾値を変更しつつ、仮の閾値ごとにその誤り率を求め、その誤り率が最小となるときの仮の閾値を選択用閾値とする。なお、話者状態検出装置以外の装置が、上記の手順に従って予め選択用閾値を決定してもよい。

学習部１６は、記憶部４に追加記憶された学習用サンプルの数が所定数増える度に、その学習用サンプルを用いて状態影響モデルを更新する。なお、所定数は、例えば、100〜10000の間の何れかの値に設定される。
学習部１６は、例えば、前回の状態影響モデルの更新時以降に追加的に記憶された学習サンプルのみを用いて、影響者の発話区間における影響者の状態と重畳期間または発話間隔のパターンとの組ごとに、被影響者の取り得る各状態について条件付き確率を算出する。その際、学習部１６は、第１の実施形態における状態再判定部において説明した状態影響モデルの作成方法と同様の方法に従って、条件付き確率を算出する。そして学習部１６は、同一の条件を持つ被影響者の状態についての条件付き確率ごとに、新たに算出された条件付き確率と状態影響モデルに含まれる条件付き確率との平均値を求め、その平均値で状態影響モデルに含まれる条件付き確率の値を更新する。

あるいは、記憶部４に、状態影響モデルを最初に作成する際に用いられた学習用サンプルが予め記憶されていてもよい。学習部１６は、予め記憶されている学習用サンプルと、追加的に記憶された学習用サンプルとを用いて、影響者の発話区間における影響者の状態と重畳期間または発話間隔のパターンとの組ごとに、被影響者の取り得る各状態の条件付き確率を算出する。そして学習部１６は、算出された条件付き確率で状態影響モデルに含まれる条件付き確率の値を更新してもよい。

この第３の実施形態による話者状態検出装置は、話者の状態の検出結果が確からしいときのその状態に対応する発話区間及びそれ以前の発話区間に関する情報を学習用サンプルとして使用して状態影響モデルを更新する。これにより、この話者状態検出装置は、話者状態検出装置を使用する特定の話者に応じて状態影響モデルを適正化できる。そのため、この話者状態検出装置は、話者の状態の検出精度をより向上できる。

なお、変形例によれば、第２の実施形態による処理部が、第３の実施形態による処理部の学習部の機能を有していてもよい。この場合も、処理部の状態再判定部は、検出された話者の状態が確からしい場合、対応する発話区間を被影響者の発話区間とし、その直前の複数の発話区間を影響者の発話区間とする。そして状態再判定部は、各発話区間における話者の状態と、重畳期間及び発話間隔のパターンとの組を学習用サンプルとして記憶部４に追加的に記憶する。
また学習部は、第３の実施形態による学習部と同様の処理を行って、状態影響モデルを更新すればよい。

次に、第４の実施形態による話者状態検出装置について説明する。第４の実施形態による話者状態検出装置は、発話区間同士の重畳期間または発話間隔のパターンも、発話区間における話者の状態を検出するための一つの特徴量として使用することにより、少なくとも一人の話者の状態を検出する。
第４の実施形態による話者状態検出装置は、第１の実施形態による話者状態検出装置と比較して、処理部により実行される機能の一部のみが異なる。そこで以下では、処理部について説明する。

図１２は、第４の実施形態による話者状態検出装置の処理部の機能ブロック図である。処理部６は、発話間隔検出部１１と、状態情報抽出部１２と、状態検出部１７とを有する。このうち、発話間隔検出部１１及び状態情報抽出部１２における処理は、第１の実施形態による処理部６の対応する構成要素の処理と同様である。そのため、以下では、状態検出部１７について説明する。

状態検出部１７は、状態情報抽出部１２により抽出された状態情報の組と、発話間隔検出部１１により検出された発話区間同士の重畳期間または発話間隔のパターンを入力パラメータとし、話者の状態を出力する識別器を使用する。
そして状態検出部１７は、注目する発話区間について抽出された状態情報の組と、注目する発話区間とその直前の発話区間の重畳期間または発話間隔のパターンを識別器に入力することによって注目する発話区間における話者の状態を求めることができる。なお、入力パラメータには、影響者の発話区間におけるその影響者の話者の状態がさらに含まれていてもよい。

このような識別器は、例えば、予め記憶部４に記憶される。例えば、識別器として、話者の取り得る状態ごとに、入力パラメータに対してその話者の状態の条件付き確率を出力する確率モデルが用いられる。また確率モデルは、例えば、ベイジアンネットワークとすることができる。この場合、状態検出部１７は、注目する発話区間について抽出された状態情報の組と、注目する発話区間とその直前の発話区間の重畳期間または発話間隔のパターンを確率モデルに入力することによって、話者が取り得る各状態の条件付き確率を求める。そして状態検出部１７は、得られた条件付き確率が最も高い状態を話者の状態として検出する。この場合、確率モデルは、例えば、第１の実施形態による１次状態検出部で使用可能な確率モデルの学習方法と同様の学習方法に従って予め作成される。

また、状態検出部１７は、識別器として、機械学習により作成される他の識別器、例えば、多層パーセプトロンを用いてもよい。この場合、多層パーセプトロンは、予め発話区間ごとの話者の状態が分かっている複数の音声データから得られる入力パラメータと話者の状態の組を学習用サンプルとして、例えば、バックプロパゲーション法により学習される。

なお、この実施形態では、状態検出部１７は、確度に基づく話者の状態の再判定を行わないので、検出された状態の確度を求めなくてもよい。

この第４の実施形態による話者状態検出装置は、発話区間同士の重畳期間または発話間隔のパターンを、他の状態情報とともに用いて一度に話者の状態を求めることができ、話者の状態の再判定を行わなくてよい。そのため、この話者状態検出装置は、話者状態の検出に要する演算時間を短縮できる。

さらに、上記の各実施形態による話者状態検出装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体あるいは光記録媒体といった、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得する音声入力部と、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出する発話間隔検出部と、
前記第１の発話区間から前記第１の話者の状態を表す第１の状態情報を抽出する状態情報抽出部と、
前記重畳期間または前記間隔と前記第１の状態情報とに基づいて前記第１の発話区間における前記第１の話者の状態を検出する状態検出部と、
を有する話者状態検出装置。
（付記２）
時間的に連続する二つの発話区間同士の重畳期間または間隔と、当該二つの発話区間のうちの先の発話区間に音声を発した話者の状態との組に対して、当該二つの発話区間のうちの後の発話区間に音声を発した話者の取り得る複数の状態のそれぞれとなる確率を含む状態影響モデルを記憶する記憶部をさらに有し、
前記状態情報抽出部は、前記第２の発話区間から前記第２の話者の状態を表す第２の状態情報を抽出し、
前記状態検出部は、前記第２の状態情報に基づいて前記第２の発話区間における前記第２の話者の状態を抽出し、かつ、
前記第１の状態情報に基づいて前記第１の発話区間における前記第１の話者の状態を検出し、かつ、当該状態の確からしさを表す確度を求める１次状態検出部と、
前記確度が再判定閾値より高い場合、前記１次状態検出部により検出された前記第１の話者の状態を、前記第１の発話区間における前記第１の話者の状態とし、一方、前記確度が前記再判定閾値以下である場合、前記重畳期間または前記間隔と、前記第２の発話区間における前記第２の話者の状態との組に対応する前記第１の話者の取り得る複数の状態のそれぞれとなる確率を前記状態影響モデルに従って求め、前記第１の話者の取り得る前記複数の状態のうち、当該確率が最大となる状態を、前記第１の発話区間における前記第１の話者の状態とする状態再判定部と、
を有する付記１に記載の話者状態検出装置。
（付記３）
前記状態再判定部は、前記確度が前記再判定閾値以上の値を持つ選択用閾値よりも大きい場合に、当該確度に対応する前記第１の発話区間における前記第１の話者の状態と、前記第２の発話区間における前記第２の話者の状態と、前記重畳期間または前記間隔との組を学習用サンプルとして前記記憶部に記憶し、
前記学習用サンプルを用いて前記状態影響モデルを更新する学習部をさらに有する、付記２に記載の話者状態検出装置。
（付記４）
前記学習部は、前記記憶部に記憶された前記学習用サンプルが所定数に達すると、当該所定数の前記学習用サンプルにおける前記第２の話者の状態と前記重畳期間または前記間隔との組に対する前記第１の話者の取り得る状態ごとの頻度を該頻度の合計で割ることによって該取り得る状態ごとの確率の更新値を求め、前記状態影響モデルに含まれる、前記後の発話区間に音声を発した話者の取り得る状態ごとの確率を、当該状態に対応する前記確率の更新値を用いて更新する、付記３に記載の話者状態検出装置。
（付記５）
少なくとも２以上の音声に含まれるn個の発話区間のうちの時間的に連続する二つの発話区間ごとの重畳期間または間隔と、当該n個の発話区間のうちの最後の発話区間以外の各発話区間に音声を発した話者の状態との組に対して、前記最後の発話区間に音声を発した話者の取り得る複数の状態のそれぞれとなる確率を含む状態影響モデルを記憶し、前記nは3以上の整数である記憶部をさらに有し、
前記状態情報抽出部は、前記少なくとも第１の音声及び第２の音声における、前記第２の発話区間を含む、時間的に連続した(n-1)個の発話区間から、それぞれ、当該発話区間に対応する話者の状態を表す第２の状態情報を抽出し、
前記状態検出部は、前記第２の状態情報に基づいて前記(n-1)個の発話区間のそれぞれに対応する話者の状態を抽出し、かつ、
前記第１の状態情報に基づいて前記第１の発話区間における前記第１の話者の状態を検出し、かつ、当該状態の確からしさを表す確度を求める１次状態検出部と、
前記確度が再判定閾値より高い場合、前記１次状態検出部により検出された前記第１の話者の状態を、前記第１の発話区間における前記第１の話者の状態とし、一方、前記確度が前記再判定閾値以下である場合、前記少なくとも第１の音声及び第２の音声における、前記第１及び第２の発話区間を含む、時間的に連続した前記n個の発話区間のうちの時間的に連続する二つの発話区間ごとの重畳期間または間隔と、当該n個の発話区間のうちの前記第１の発話区間以外の各発話区間における話者の状態との組に対応する前記第１の話者の取り得る複数の状態のそれぞれとなる確率を前記状態影響モデルに従って求め、前記第１の話者の取り得る前記複数の状態のうち、当該確率が最大となる状態を、前記第１の発話区間における前記第１の話者の状態とする状態再判定部と、
を有する付記１に記載の話者状態検出装置。
（付記６）
前記状態検出部は、前記重畳期間または前記間隔と前記第１の状態情報の取り得る複数の組み合わせのそれぞれに対する前記第１の発話区間における前記第１の話者の状態を規定する識別器に、前記重畳期間または前記間隔と前記第１の状態情報とを入力することにより前記第１の発話区間における前記第１の話者の状態を検出する、付記１に記載の話者状態検出装置。
（付記７）
前記音声入力部は、前記第１の音声を集音するマイクロホンと、前記第２の音声を通信回線を介して受信する通信部とを有する、付記１〜６の何れか一項に記載の話者状態検出装置。
（付記８）
少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得し、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出し、
前記第１の発話区間から前記第１の話者の状態を表す第１の状態情報を抽出し、
前記重畳期間または前記間隔と前記第１の状態情報とに基づいて前記第１の発話区間における前記第１の話者の状態を検出する、
ことを含む話者状態検出方法。
（付記９）
少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得し、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出し、
前記第１の発話区間から前記第１の話者の状態を表す第１の状態情報を抽出し、
前記重畳期間または前記間隔と前記第１の状態情報とに基づいて前記第１の発話区間における前記第１の話者の状態を検出する、
ことをコンピュータに実行させる話者状態検出用コンピュータプログラム。

１話者状態検出装置
２音声入力部
３通信部
４記憶部
５出力部
６処理部
７表示装置
１１発話間隔検出部
１２状態情報抽出部
１３１次状態検出部
１４状態再判定部
１５話者識別部
１６学習部
１７状態検出部

Claims

少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得する音声入力部と、
時間的に連続する二つの発話区間同士の重畳期間または間隔と、当該二つの発話区間のうちの先の発話区間に音声を発した話者の状態との組に対して、当該二つの発話区間のうちの後の発話区間に音声を発した話者の取り得る複数の状態のそれぞれとなる確率を含む状態影響モデルを記憶する記憶部と、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出する発話間隔検出部と、
前記第１の発話区間から前記第１の話者の状態に応じた値を持つ第１の状態情報を抽出し、かつ、前記第２の発話区間から前記第２の話者の状態に応じた値を持つ第２の状態情報を抽出する状態情報抽出部と、
前記重畳期間または前記間隔と前記第１の状態情報とに基づいて前記第１の発話区間における前記第１の話者の状態を検出する状態検出部と、
を有し、
前記状態検出部は、前記第２の状態情報に基づいて前記第２の発話区間における前記第２の話者の状態を検出し、かつ、
前記第１の状態情報に基づいて前記第１の発話区間における前記第１の話者の状態を検出し、かつ、当該状態の確からしさを表す確度を求める１次状態検出部と、
前記確度が再判定閾値より高い場合、前記１次状態検出部により検出された前記第１の話者の状態を、前記第１の発話区間における前記第１の話者の状態とし、一方、前記確度が前記再判定閾値以下である場合、前記重畳期間または前記間隔と、前記第２の発話区間における前記第２の話者の状態とに対応する前記第１の話者の取り得る複数の状態のそれぞれとなる確率を前記状態影響モデルに従って求め、前記第１の話者の取り得る前記複数の状態のうち、当該確率が最大となる状態を、前記第１の発話区間における前記第１の話者の状態とする状態再判定部と、
を有する話者状態検出装置。
前記状態再判定部は、前記確度が前記再判定閾値以上の値を持つ選択用閾値よりも大きい場合に、当該確度に対応する前記第１の発話区間における前記第１の話者の状態と、前記第２の発話区間における前記第２の話者の状態と、前記重畳期間または前記間隔との組を学習用サンプルとして前記記憶部に記憶し、
前記学習用サンプルを用いて前記状態影響モデルを更新する学習部をさらに有する、請求項１に記載の話者状態検出装置。
少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得し、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出し、
前記第１の発話区間から前記第１の話者の状態に応じた値を持つ第１の状態情報を抽出し、
前記第２の発話区間から前記第２の話者の状態に応じた値を持つ第２の状態情報を抽出し、
前記第２の状態情報に基づいて前記第２の発話区間における前記第２の話者の状態を検出し、
前記第１の状態情報に基づいて前記第１の発話区間における前記第１の話者の状態を検出し、かつ、当該状態の確からしさを表す確度を求め、
前記確度が再判定閾値より高い場合、前記第１の話者の状態を、前記第１の発話区間における前記第１の話者の状態とし、一方、前記確度が前記再判定閾値以下である場合、前記重畳期間または前記間隔と、前記第２の発話区間における前記第２の話者の状態とに対応する前記第１の話者の取り得る複数の状態のそれぞれとなる確率を状態影響モデルに従って求め、前記第１の話者の取り得る前記複数の状態のうち、当該確率が最大となる状態を、前記第１の発話区間における前記第１の話者の状態とすることを含み、
前記状態影響モデルは、時間的に連続する二つの発話区間同士の重畳期間または間隔と、当該二つの発話区間のうちの先の発話区間に音声を発した話者の状態との組に対して、当該二つの発話区間のうちの後の発話区間に音声を発した話者の取り得る複数の状態のそれぞれとなる確率を含む
話者状態検出方法。
少なくとも第１の話者の発した第１の音声及び第２の話者の発した第２の音声を取得し、
前記第１の音声に含まれる前記第１の話者の第１の発話区間と、前記第２の音声に含まれ、該第１の発話区間よりも前に開始される前記第２の話者の第２の発話区間との重畳期間、または該第１の発話区間と該第２の発話区間の間隔を検出し、
前記第１の発話区間から前記第１の話者の状態に応じた値を持つ第１の状態情報を抽出し、
前記第２の発話区間から前記第２の話者の状態に応じた値を持つ第２の状態情報を抽出し、
前記第２の状態情報に基づいて前記第２の発話区間における前記第２の話者の状態を検出し、
前記第１の状態情報に基づいて前記第１の発話区間における前記第１の話者の状態を検出し、かつ、当該状態の確からしさを表す確度を求め、
前記確度が再判定閾値より高い場合、前記第１の話者の状態を、前記第１の発話区間における前記第１の話者の状態とし、一方、前記確度が前記再判定閾値以下である場合、前記重畳期間または前記間隔と、前記第２の発話区間における前記第２の話者の状態とに対応する前記第１の話者の取り得る複数の状態のそれぞれとなる確率を、時間的に連続する二つの発話区間同士の重畳期間または間隔と、当該二つの発話区間のうちの先の発話区間に音声を発した話者の状態との組に対して、当該二つの発話区間のうちの後の発話区間に音声を発した話者の取り得る複数の状態のそれぞれとなる確率を含む状態影響モデルに従って求め、前記第１の話者の取り得る前記複数の状態のうち、当該確率が最大となる状態を、前記第１の発話区間における前記第１の話者の状態とする、
ことをコンピュータに実行させる話者状態検出用コンピュータプログラム。