[go: up one dir, main page]

JP6524674B2 - 音声処理装置、音声処理方法および音声処理プログラム - Google Patents

音声処理装置、音声処理方法および音声処理プログラム Download PDF

Info

Publication number
JP6524674B2
JP6524674B2 JP2015010342A JP2015010342A JP6524674B2 JP 6524674 B2 JP6524674 B2 JP 6524674B2 JP 2015010342 A JP2015010342 A JP 2015010342A JP 2015010342 A JP2015010342 A JP 2015010342A JP 6524674 B2 JP6524674 B2 JP 6524674B2
Authority
JP
Japan
Prior art keywords
speech
voice
utterance
section
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015010342A
Other languages
English (en)
Other versions
JP2016133774A (ja
Inventor
太郎 外川
太郎 外川
千里 塩田
千里 塩田
紗友梨 香村
紗友梨 香村
猛 大谷
猛 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015010342A priority Critical patent/JP6524674B2/ja
Priority to US14/952,446 priority patent/US10403289B2/en
Priority to CN201510920109.1A priority patent/CN105825869B/zh
Publication of JP2016133774A publication Critical patent/JP2016133774A/ja
Application granted granted Critical
Publication of JP6524674B2 publication Critical patent/JP6524674B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • G10L17/08Use of distortion metrics or a particular distance between probe pattern and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、例えば、音声処理装置、音声処理方法および音声処理プログラムに関する。
近年、情報処理機器の発達に伴い、例えば、携帯端末やパーソナルコンピュータにインストールされる通話アプリケーションを介して会話が行われる場面が増加している。相手と自分が会話する場合、お互いの考えを理解し合いながら対話を進めることで円滑なコミュニケーションが実現できる。この場合、相手の考えを十分に理解するためには、相手の発話を遮らずに発話することが必要である。そのため、円滑なコミュニケーションを実現できているか否かを把握する上で、入力音声から相手の発話に対する遮りに関する印象を評価する技術が求められている。例えば、企業内での電話会議等において、従業員ごとの発話の印象を評価することにより、組織内のコミュニケーションの問題抽出に活用することができる。
特開2010−175984号公報
第2ユーザの第1ユーザに対する発話の印象を評価する場合、第2ユーザと第1ユーザの会話を、評価者となる第3ユーザが主観的に評価する手法が用いられているが、評価に要する処理時間や、評価の客観性の確保等を考慮すると、必ずしも好ましい手法ではない。しかしながら、第2ユーザの第1ユーザに対する発話の印象を評価が可能となる音声処理装置は実現されていない状況である。本発明においては、第2ユーザの第1ユーザに対する発話の印象を評価することが可能となる音声処理装置を提供することを目的とする。
本発明が開示する音声処理装置は、第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出する検出部と、第1発話区間と第2発話区間が重複する重複区間を規定する規定部を備える。更に、当該音声処理装置は、重複区間の始点から第1発話区間の終点までの第1発話継続区間を算出する算出部と、少なくとも第1発話継続区間の長さに関する情報に基づいて、第1音声に対する印象を評価する評価部を備える。
なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
本明細書に開示される音声処理装置では、第2ユーザの第1ユーザに対する発話の印象を評価することが可能となる。
第1の実施形態による音声処理装置の機能ブロック図である。 音声処理装置による音声処理方法のフローチャートである。 一つの実施形態による検出部の機能ブロック図である。 検出部による第1発話区間と第1無音区間の検出結果を示す図である。 (a)は、第1発話継続区間の第1概念図である。(b)は、第1発話継続区間の第2概念図である。 第1発話継続区間と発話の印象の対応テーブルである 一つの実施形態による携帯端末装置として機能するハードウェア構成図である。 一つの実施形態による音声処理装置として機能するコンピュータのハードウェア構成図である。
以下に、一つの実施形態による音声処理装置、音声処理方法及び音声処理プログラムの実施例を図面に基づいて詳細に説明する。なお、当該実施例は、開示の技術を限定するものではない。
(実施例1)
図1は、第1の実施形態による音声処理装置1の機能ブロック図である。音声処理装置1は、取得部2、検出部3、規定部4、算出部5、評価部6を有する。図2は、音声処理装置1の音声処理のフローチャートである。実施例1においては、図2に示す音声処理装置1による音声処理のフローを、図1に示す音声処理装置1の機能ブロック図の各機能の説明に対応付けて説明する。
取得部2は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部2は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部2は、入力音声の一例となる第1ユーザの第1音声と第2ユーザの第2音声を、例えば、外部装置を介して取得する。なお、当該処理は、図2に示すフローチャートのステップS201に対応する。ここで、第1音声は、例えば、音声処理装置1を使用する第1ユーザ(自分と称しても良い)の会話相手となる第2ユーザ(相手と称しても良い)に対して発話する音声を指す、第1ユーザの送話音声である。また、第2音声は、例えば、第2ユーザが第1ユーザに対して発話する音声を指す、第1ユーザの受話音声である。なお、送話音声は第2ユーザの第2音声あり、受話音声は第1ユーザの第1音声であっても良い。また、取得部2は、例えば、音声処理装置1に接続または配置される、図示しないマイクロフォン(上述の外部装置に相当)から送話音声を取得することが可能である。また、第1音声と第2音声は、例えば、日本語であるが、英語等の他の言語であっても良い。換言すると、実施例1における音声処理においては、言語依存は存在しない。取得部2は取得した第1音声と第2音声を検出部3に出力する。
検出部3は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部3は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部3は、第1音声と第2音声を取得部2から受け取る。検出部3は、第1音声に含まれる第1発話区間(または第1有音区間と称しても良い)を示す第1呼気区間を検出する。また、検出部3は、第2音声に含まれる第2発話区間(または第2有音区間と称しても良い)を示す第2呼気区間を検出する。なお、当該処理は、図2に示すフローチャートのステップS202に対応する。また、第1呼気区間または第2呼気区間は、例えば、第1ユーザまたは第2ユーザが発話中において吸気を行ってから発話を開始し、再び吸気を実施するまでの区間(換言すると第1の呼吸と第2呼吸の間の区間、または発話を続けている区間)となる。検出部3は、例えば、第1音声または第2音声に含まれる複数のフレームから信号品質(第1信号対雑音比または第2信号対雑音比と称しても良い)の一例となる信号対雑音比となる平均SNRを検出し、当該平均SNRが所定の条件を満たしている区間を第1発話区間または第2発話区間として検出することが出来る。また、検出部3は、第1音声または第2音声に含まれる、第1発話区間または第2発話区間の後端に連接する無音区間を示す吸気区間を検出する。検出部3は、例えば、上述の当該平均SNRが所定の条件を満たさない区間を第1無音区間または第2無音区間(換言すると第1吸気区間または第2吸気区間)として検出することが出来る。
ここで、検出部3による第1発話区間または第2発話区間、ならびに第1無音区間または第2無音区間の検出処理の詳細について説明する。なお、第2発話区間の検出方法は、第1発話区間の検出方法と同様の手法を用いることができ、第2無音区間の検出方法は、第1無音区間の検出方法と同様の手法を用いることができる。この為、実施例1においては、検出部3による第1発話区間と第1無音区間の検出処理の詳細について説明する。図3は、一つの実施形態による検出部3の機能ブロック図である。検出部3は、音量算出部9、雑音推定部10、平均SNR算出部11、区間決定部12を有する。なお、検出部3は、音量算出部9、雑音推定部10、平均SNR算出部11、区間決定部12を必ずしも有する必要はなく、各部が有する機能を、一つのまたは複数のワイヤードロジックによるハードウェア回路で実現させても良い。また、検出部3に含まれる各部が有する機能をワイヤードロジックによるハードウェア回路に代えて、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールで実現させても良い。
図3において、第1音声が音量算出部9に入力される。なお、音量算出部9は、図示しない長さMのバッファまたはキャッシュを有しても良い。音量算出部9は、第1音声に含まれる各フレームの音量を算出し、当該音量を雑音推定部10と平均SNR算出部11へ出力する。なお、第1音声に含まれる各フレーム長は、例えば20msecである。各フレームの音量S(n)は、次式の通り、算出することが出来る。
(数1)

ここで、nは、第1音声に含まれる音響フレームの入力開始から各フレームに連続して付されるフレーム番号(nは0以上の整数)、Mは1フレームの時間長、tは時間、c(t)は、第1音声の振幅(電力)を示す。
雑音推定部10は、各フレームの音量S(n)を音量算出部9から受け取る。雑音推定部10は、各フレームにおける雑音を推定して、雑音推定結果を平均SNR算出部11へ出力する。ここで、雑音推定部10による各フレームの雑音推定は、例えば、以下の(雑音推定方法1)または、(雑音推定方法2)を用いることが出来る。
(雑音推定方法1)
雑音推定部10は、フレームnにおける雑音の大きさ(電力)N(n)を、フレームnにおける音量S(n)、前フレーム(n−1)における音量S(n−1)ならびに、雑音の大きさN(n−1)に基づいて、次式を用いて推定することが出来る。
(数2)

ここで、α、βは、定数であり、実験的に決定されれば良い。例えば、α=0.9、β=2.0であれば良い。また、雑音電力の初期値N(−1)も、実験的に決定されれば良い。上述の(数2)において、フレームnの音量S(n)が、1つ前のフレームn−1の音量S(n−1)に対して一定値β以上変化しない場合には、フレームnの雑音電力N(n)が更新される。一方、フレームnの音量S(n)が、1つ前のフレームn−1の音量S(n−1)に対して一定値β以上変化する場合には、1つ前のフレームn−1の雑音電力N(n−1)をフレームnの雑音電力N(n)とする。なお、雑音電力N(n)を上述の雑音推定結果と称しても良い。
(雑音推定方法2)
雑音推定部10は、雑音の大きさの更新を、次式の(数3)を用いて、フレームnの音量S(n)と、1つ前のフレームn−1の雑音電力N(n−1)との比に基づいて実施しても良い。
(数3)

ここで、γは定数であり、実験的に決定されれば良い。例えば、γ=2.0であれば良い。また、雑音電力の初期値N(−1)も、実験的に決定されれば良い。上述の(数3)において、フレームnの音量S(n)が、1つ前のフレームn−1の雑音電力N(n−1)に対して一定値γ倍未満である場合には、フレームnの雑音電力N(n)を更新する。一方、フレームnの音量S(n)が、1つ前のフレームn−1の雑音電力N(n−1)に対して一定値γ倍以上である場合には、1つ前のフレームn−1の雑音電力N(n−1)をフレームnの雑音電力N(n)とする。
図3において、平均SNR算出部11は、音量算出部9から各フレームの音量S(n)を受け取り、雑音推定部10から雑音推定結果となる各フレームの雑音電力N(n)を受け取る。なお、平均SNR算出部11は、図示しないキャッシュまたはメモリを有しており、過去Lフレーム分の音量S(n)、雑音電力N(n)を保持する。平均SNR算出部11は、次式を用いて、分析対象時間(フレーム)内の平均SNRを算出し、当該平均SNRを区間決定部12へ出力する。
(数4)

ここで、Lは促音の一般的な長さよりも大きな値に規定すれば良く、例えば、0.5msecに相当するフレーム数を規定すれば良い。
区間決定部12は、平均SNRを平均SNR算出部11から受け取る。区間決定部12は、次式に基づいて、フレーム単位で当該フレームが発話区間か無音区間(非発話区間)かを判定し、判定結果v(t)を出力する。
(数5)

上述の(数5)において、tはフレーム番号を示す。なお、1フレームは、例えば、20msである。また、上述の(数5)においては、tフレーム目の第1音声が発話区間と判定された場合はv(t)=1が代入され、tフレーム目の第1音声が無音区間と判定された場合はv(t)=0と代入されることを意味する。区間決定部12は、v(t)=1を連続して満たすフレーム区間を第1発話区間として出力する。なお、区間決定部12は、第2音声に関する判定結果v(t)をv(t)と同様の手法を用いて算出し、第2発話区間を出力する。
図4は、検出部3による第1発話区間と第1無音区間の検出結果を示す図である。図4の横軸は時間を示し、縦軸は第1音声の音量(振幅)を示している。図4に示される通り、各第1発話区間の後端に連接する区間が第1無音区間として検出される。また、図4に示される通り、実施例1に開示する検出部3による第1発話区間の検出においては、周囲雑音に合わせて雑音を学習し、SNRに基づいて発話区間を判別している。この為、周囲雑音による第1発話区間の誤検出を防ぐことができる。また、平均SNRを複数フレームから求めることで、第1発話区間内で瞬間的に無音となる時間があっても、連続した発話区間として抽出することができる利点を有している。なお、検出部3は、国際公開第2009/145192号パンフレットに記載の方法を用いることも可能である。なお、上述の通り、第2発話区間の検出方法は、第1発話区間の検出方法と同様の手法を用いることができ、第2無音区間の検出方法は、第1無音区間の検出方法と同様の手法を用いることができる。この為、検出部3は検出した第1発話区間と第2発話区間を規定部4と算出部5に出力する。
図1において、規定部4は、例えば、ワイヤードロジックによるハードウェア回路である。また、規定部4は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。規定部4は、検出部3が検出した第1発話区間と第2発話区間を検出部3から受け取る。規定部4は、第1発話区間と第2発話区間が重複する重複区間を規定する。なお、当該処理は、図2に示すフローチャートのステップS203に対応する。当該重複区間は、例えば、ある任意の同一の時刻において、第1ユーザと第2ユーザが互いに発話している区間と定義することが出来る。なお、規定部4は、具体的には、次式に基づいて重複区間L(t)を規定することが出来る。
(数6)

上述の(数6)は、第1ユーザの第1音声と第2ユーザの第2音声の何れかが無音区間(非発話区間)と判定されるフレームに対しては重複時間を0(重複区間の発現無し)と規定し、第1ユーザの第1音声と第2ユーザの第2音声の双方が発話区間と判定されるフレームに対しては直前のフレームまでの重複時間に1フレーム加算することで、重複が連続するフレーム数(重複区間)を算出することを意味する。規定部4は、規定した重複区間を算出部5に出力する。
図1において、算出部5は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部5は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部5は、規定部4が規定した重複区間を規定部4から受け取る。また、算出部5は、第1発話区間と第2発話区間を検出部3から受け取る。算出部5は、重複区間の始点から第1発話区間の終点までの区間となる第1発話継続区間を算出する。なお、当該処理は、図2に示すフローチャートのステップS204に対応する。具体的には、算出部5は以下の算出処理を実行する。
算出部5は、重複区間L(t)と任意の第1閾値TH_Lとの比較結果に基づき重複区間の始点時刻T(重複発生区間時刻Tと称しても良い)を出力する。算出部5は、例えば、次式に従い、重複区間(の長さ)が第1閾値以上となる場合に重複区間が発生したと判定し、重複区間の始点時刻Tを出力する。算出部5は、第1閾値未満である場合は、重複区間が発生していないと判定し、重複発生区間時刻Tを次式に従ってリセットする。ここで、第1閾値は、一般的な相槌の長さに相当する値であれば良い。相槌は、相手の発話に同意の旨等を示すものである為、会話を遮るものとして取扱う必要はない。なお、第1閾値TH_Lは、例えば1秒(50フレームに相当)とすることが出来る。
(数7)

上述の(数7)は、L(t)≧TH_Lの条件を満たす場合は、重複区間が発生して、算出部5が重複区間の始点Tを算出することを示し、L(t)≧TH_Lの条件を満たさない場合は、重複区間が発生していないことを示す。
算出部7は、上述の(数7)において、L(t)≧TH_Lの条件を満たす場合は、上述の(数5)を用いて算出したv(t)に基づいて、第1発話区間の終点となる時刻Tを次式に基づいて算出する。
(数8)

上述の(数8)は、直前フレーム(t−1)が、発話区間と判定され、かつ、現フレーム(t)が、無音区間(非発話区間)と判定された場合に発話終了と判定し、直前フレーム(t−1)を第1発話区間の終点となる時刻Tとして算出することを意味する。また、それ以外の場合は、発話区間が継続中または非発話区間であるため、発話終了時刻Tをリセットすることを意味する。
算出部5は、第1発話区間の終点の時刻Tを算出した場合、重複区間の始点時刻Tと第1発話区間の終点の時刻Tから第1発話継続区間CLを次式に基づいて算出する。
(数9)
CL=T−T
図5(a)は、第1発話継続区間の第1概念図である。図5(b)は、第1発話継続区間の第2概念図である。図5(a)、図5(b)においては、第1ユーザが、第2ユーザよりも先に発話を開始している。また、実線で囲まれている領域は、第1ユーザまたは第2ユーザが実際に意図した内容を「発話している領域」であり、点線で囲まれている領域は、重複区間の発生により、第1ユーザまたは第2ユーザが実際に意図した内容を「発話していない領域」である。図5(a)において、第1ユーザの第1音声(実際に発話している音声)は、例えば、「週末は山に行きましょう。紅葉がとても綺麗ですよ。」である。また、第2ユーザの第2音声(実際に発話している音声)は、「でも天気が」である。この時、第2ユーザは、(悪いので別の日に山に行きましょう)は発話せず、第1ユーザは、第1ユーザの発話中に、第2ユーザが発話を開始したのにも係らず、発話を止めることなく、発話を最後まで続けている状態となる。この場合、詳細は後述するが、第2ユーザの第1ユーザに対する発話の印象は悪いものとなる。
図5(b)において、第1ユーザの第1音声(実際に発話している音声)は、例えば、「週末は山に行きましょう。」である。また、第2ユーザの第2音声(実際に発話している音声)は、「でも天気が悪いので、別の日に山に行きましょう」である。この時、第1ユーザは、第1ユーザの発話中に、第2ユーザが発話を開始した為、発話を最後まで続けることなく、発話を途中で止めている。この場合、詳細は後述するが、第2ユーザの第1ユーザに対する発話の印象は悪いものとならない。実施例1において、第1ユーザが発話中に発話を第2ユーザに譲った場合には、発話区間が重複する重複区間の始点から、第1ユーザが発話を中断するまでの時間が短い性質を利用することにより、第1ユーザの発話の印象を評価することが可能となる。算出部5は、算出した第1発話継続区間を評価部6に出力する。
図1において、評価部6は、例えば、ワイヤードロジックによるハードウェア回路である。また、評価部6は、音声処理装置1で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。評価部6は、算出部5が算出した第1発話継続区間を算出部5から受け取る。評価部6は、少なくとも第1発話継続区間の長さに関する情報に基づいて、第2ユーザの第1音声に対する印象を評価する。なお、当該処理は、図2に示すフローチャートのステップS205に対応する。
図6は、第1発話継続区間と発話の印象の対応テーブルである。なお、図6の対応テーブル60は、本発明者らの鋭意研究の結果、新たに見出されたものである。また、図6の対応テーブル60は、複数の評価者の主観的評価に基づくものである。なお、評価方法は、第1ユーザが発話し続けている時に、第2ユーザに発話にさせて重複区間を発生させた場合における第1発話継続区間(第1発話継続時間と称しても良い)に基づいて、第2ユーザの第1ユーザに対する発話の印象を実験的に求めた。なお、主観的評価は、「印象が悪くない(発話が実質的に遮られていない)」、「印象がやや悪い(発話が実質的にやや遮られている)」、「印象が悪い(発話が実質的に遮られている)」の3段階に分けて行った。図6の対応テーブル60から理解出来る通り、第1発話継続区間(換言すると、第1音声と第2音声の重複開始から、被評価者の発話終了までの時間)が3秒未満であれば、第2ユーザ(相手)の会話を遮ったことにはならず、第1ユーザ(自分)に対する発話の印象は悪くならないことが明らかになった。換言すると、相手(第2ユーザに相当)と自分(第1ユーザに相当)が会話する場合、円滑なコミュニケーションを実現出来ているか否かを把握する上で、自分の発話により相手の発話を遮ることなく会話を成立させることが重要な要素の1つとなる。自分と相手が会話をする場合、自分の発話により相手の発話を遮ると、相手の自分に対する印象が悪くなり、円滑にコミュニケーションを進めることが難しくなる。
評価部6は、第1発話継続区間と図6のテーブル60に基づいて、評価結果を任意の外部装置に出力する。なお、評価部6は、評価結果を任意のスコアに置き換えて、当該スコアを用いて発話を評価しても良い。また、外部装置は、例えば、評価結果を音声に変換させた上で再生できるスピーカや、評価音声を文字情報として表示するディスプレイであれば良い。また、評価部6は、評価結果をスピーカに出力する場合は、公知の任意の音声読み上げ方法を用いれば良い。また、評価部6は、評価結果が「やや悪い」または「非常に悪い」場合に、所定の制御信号を外部装置に発信しても良い。なお、当該処理を行う場合は、図2に示すフローチャートのステップS205と合わせて実施すれば良い。また、制御信号は、例えば、アラーム音であれば良い。また、評価部6は、第1発話継続区間の長さが任意の第6閾値(例えば、第6閾値=3秒)以上の場合は、第1ユーザの発話の印象を悪評価と評価しても良い。
ここで、実施例1に対応する比較例について説明する。比較例においては、第1発話継続区間を用いずに、単純に重複区間の長さに基づいて第2ユーザの第1ユーザに対する印象を評価する。図5(a)と図5(b)においては、重複区間の長さは同じであることが理解できる。図5(a)においては、重複区間の発生後、第1ユーザは発話を継続し、第2ユーザは発話を停止している。図5(b)においては、重複区間の発生後、第1ユーザは発話を停止し、第2ユーザは発話を継続している。例えば、図6の対応テーブル60の第1発話継続区間の項目を、重複区間の長さに置き換えて、第1ユーザの発話の印象を評価した場合、図5(a)に示す発話パターンにおいては、第1ユーザの発話の印象は悪いものと評価されるので特段の問題は生じない。しかしながら、図5(b)に示す発話パターンにおいては、実施例1の評価結果を考慮すると、第1ユーザの発話の印象は悪くないにも係らず、第1ユーザの発話の印象が悪く評価されるという誤検出を招く結果となる。この為、比較例に示す様に、単純に第1ユーザと第2ユーザの発話区間の重複時間に基づいて発話の印象を評価する場合は、発話の印象の評価を正確に評価することは難しい。一方、実施例1は、例えば、第1発話継続区間に基づいて発話の印象を評価している為、発話の印象を正確に評価することが出来ることが理解出来る。実施例1における音声処理装置1によれば、第2ユーザの第1ユーザに対する発話の印象を評価することが可能となる。
(実施例2)
図1の規定部4は、第1発話区間または第2発話区間に含まれる母音数を算出し、当該第1発話区間と第2発話区間が所定の第2閾値(例えば、第2閾値=5)以上の母音数で重複する場合に、重複区間を規定しても良い。換言すると、例えば、「はい」、「いいえ」、「うんうん」、「本当?」、「そうです」等の一般的に相槌に該当する単語の大半の母音数は、例えば、4である為、規定部4は、第1発話区間または第2発話区間に含まれる母音数が第2閾値未満であれば、単なる相槌であり、会話の妨げにならない為、第1発話区間と第2発話区間の重複区間として取扱わないことが出来る。なお、算出部5は、フォルマント分布に基づく母音数の検出方法として、例えば特開2009−258366号公報に記載の方法を用いることが出来る。
また、規定部4は、第1発話区間または第2発話区間を文字列として認識しても良い。規定部4は、第1発話区間または第2発話区間を文字列として認識する方法として、例えば、特開平4−255900号公報に開示される方法を適用することが出来る。また、所定の単語は、算出部5が有する図示しないキャッシュまたはメモリに保存される単語リスト(テーブル)に格納される、相槌に相当する単語である。所定の単語は、例えば、「はい」、「いいえ」、「うんうん」、「本当?」、「そうです」等の一般的に相槌に該当する単語であれば良い。規定部4は、第1発話区間または第2発話区間が当該所定の単語と一致する場合、単なる相槌であり、会話の妨げにならない為、第1発話区間と第2発話区間の重複区間として取扱わないことが出来る。なお、音声処理装置1は、実施例2と実施例1の処理を組み合わせた音声処理を行うことが出来る。実施例2における音声処理装置1によれば、第2ユーザの第1ユーザに対する発話の印象をより高い精度で評価することが可能となる。
(実施例3)
図1の規定部4は、第1発話区間と、第2発話区間のいずれか早い区間の開始時刻から任意の第5閾値(例えば、第5閾値=30秒)の時間経過後に、重複区間を規定しても良い。会話の開始直後は、重複時間が長くても発話印象に影響を与えない挨拶の発話が多いため、発話の印象を判定する対象区間から除外することで判定精度を改善できる。また、規定部4は、第1発話区間と、第2発話区間のいずれか遅い区間の終了時刻から当該第5閾値の経過前に重複区間を規定しても良い。会話終了直前は、重複時間が長くても発話印象に影響を与えない挨拶の発話が多いため、発話の印象を判定する対象区間から除外することで判定精度を改善できる。なお、音声処理装置1は、実施例1ないし実施例3の処理を任意に組み合わせた音声処理を行うことが出来る。実施例3における音声処理装置1によれば、第2ユーザの第1ユーザに対する発話の印象をより高い精度で評価することが可能となる。
(実施例4)
図1の検出部3は、第1音声と第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、規定部4は、第1信号品質と第2信号品質が第3閾値(例えば、第3閾値=−60dBov)以上であり、かつ、第1発話区間と第2発話区間が重複する区間を重複区間として規定しても良い。なお、第1信号品質または第2信号品質は、第1音声または第2音声のパワーまたは信号対雑音比であれば良い。例えば、規定部4は、第1ユーザと第2ユーザが共に所定のパワー(音量)以上で発話している場合に、重複区間を規定しても良い。これは、第1ユーザと第2ユーザの何れか一方が、比較的低いパワーで発話している場合、発話の印象に大きな影響を与えないことも想定される為である。検出部3は、上述の(数1)に加えて、次式に基づいて、第1発話区間または、第2発話区間の平均パワーP1とP2を算出することが出来る。なお、平均パワーP1とP2は、それぞれ、第1信号品質と第2信号品質と称しても良い。
(数10)

上述の(数10)において、s(t)とs(t)は、それぞれ第1音声と第2音声の振幅を表す。規定部4は、第1発話区間ならびに第2発話区間の平均パワーと、任意の閾値TH_P(第3閾値と称しても良い)との比較結果に基づき、重複区間の発生を判定し、重複区間の始点時刻Tを規定することが出来る。具体的には、第1発話区間の平均パワーと第2発話区間の平均パワーが、任意の閾値TH_P以上の場合は、第1ユーザと第2ユーザがともに所定以上のパワー(大きな音声)で発話している状況である為、発話区間の重複が発生したと判定し、規定部4は、重複区間の始点時刻Tを規定する。それ以外の場合は、第1ユーザまたは第2ユーザの何れか一方が小さな声で発話している状況であるため、重複区間が発生していないものとして判定し、規定部4は、重複区間の始点時刻Tをリセットする。なお、任意の閾値TH_Pは例えば、−60[dBov]とすれば良い。なお、規定部4は、次式に基づいて重複区間を算出することが出来る。
(数11)

上述の(数11)において、T=t−TH_Lは重複区間の発生が有ることを意味し、T=−1は重複区間の発生が無いことを示す。
また、規定部4は、第1発話区間と第2発話区間のパワー差に基づいて重複区間を規定することも可能である。例えば、規定部4は、第1発話区間の平均パワーと、第2発話区間の平均パワーの差と、所定の閾値との比較結果に基づき、重複区間の発生を判定し、重複区間の始点時刻Tを出力する。重複区間が任意の閾値より長く、第1ユーザの第1発話区間の平均パワーと第2ユーザの第2発話区間の平均パワーとの差が、任意の閾値TH_P_DIFF未満(第4閾値と称しても良い)である場合は、第1ユーザと第2ユーザの両者とも同等程度の音量で発話している状況である為、発話の重複区間が発生したと判定し、規定部4は、重複区間の始点時刻Tを出力する。それ以外の場合は、第1ユーザと第2ユーザの何れか一方が小さな声で話している状況である為、重複区間が発生していないものとして判定し、重複区間の発生時刻Tをリセットする。なお、任意の閾値TH_P_DIFFは、例えば、3dBと規定すれば良い。なお、規定部4は、次式に基づいて重複区間を算出することが出来る。
(数12)

上述の(数12)において、T=t−TH_Lは重複区間の発生が有ることを意味し、T=−1は重複区間の発生が無いことを示す。なお、音声処理装置1は、実施例1ないし実施例4の処理を任意に組み合わせた音声処理を行うことが出来る。実施例4における音声処理装置1によれば、第2ユーザの第1ユーザに対する発話の印象をより高い精度で評価することが可能となる。
(実施例5)
検出部3は、第1音声と第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、規定部4は、第1信号品質と第2信号品質が第3閾値(例えば、第3閾値=10dB)以上であり、かつ、第1発話区間と第2発話区間が重複する区間を重複区間として規定しても良い。なお、第1信号品質または第2信号品質は、第1音声または第2音声のパワーまたは信号対雑音比であれば良い。例えば、検出部3は、第1発話区間に関する判定結果v(t)に応じて、次式に基づく雑音パワーN1(t)を更新する。例えば、t番目のフレームが非発話区間と判定された場合は、検出部3は、フレームパワーに忘却係数COEF1を乗じた値を加算することで、雑音パワーを更新する。なお、忘却係数COEF1は、例えば0.05と規定することが出来る。
(数13)

上述の(数13)において、上段はv(t)=0の場合であり、下段は上記以外の場合を示す。また、検出部3は、第2発話区間に関する判定結果v(t)に応じて、雑音パワーN1(t)と同様に雑音パワーN2(t)を更新する。次に、規定部4は、重複区間の長さが上述の第1閾値TH_L以上であり、第1発話区間の第1信号品質の一例となるSNR1(t)と、第2発話区間の第2信号品質のSNR2(t)が第3閾値TH_SNR(例えば10dB)以上である場合に、重複区間の発生を検出し、重複区間の発生時刻Tを次式に基づいて規定する。
(数14)

なお、上述の(数14)において、T=t−TH_Lは重複区間の発生が有ることを意味し、T=−1は重複区間の発生が無いことを示す。
また、規定部4は、第1信号品質と第2信号品質の差が第4閾値(例えば、第4閾値=3dB)未満であり、かつ、第1発話区間と第2発話区間が重複する区間を重複区間として規定しても良い。規定部4は、次式に基づいて第1発話区間の第1信号品質の一例となるSNR1(t)と第2発話区間の第2信号品質の一例となるSNR2(t)の差と、第4閾値との比較結果に基づき、重複区間の発生を判定し、重複区間の発生時刻Tを規定する。規定部4は、重複区間の長さが第1閾値TH_L以上であり、第1発話区間のSNR1(t)と第2発話区間のSNR2(t)との差が第4閾値TH_P_DIFF(例えば3dB)未満である場合は、第1ユーザと第2ユーザともに同等程度の音声の大きさで会話している状況である為、発話区間の重複が発生したと判定し、重複区間の発生時刻Tを規定することが出来る。それ以外の場合は、第1ユーザと第2ユーザの何れか一方が小さな声で発話している状況であるため、重複区間が発生していないと判定し、重複区間の発生時刻Tをリセットする。
(数15)

上述の(数15)において、T=t−TH_Lは重複区間の発生が有ることを意味し、T=−1は重複区間の発生が無いことを示す。なお、音声処理装置1は、実施例1ないし実施例5の処理を任意に組み合わせた音声処理を行うことが出来る。実施例5における音声処理装置1によれば、第2ユーザの第1ユーザに対する発話の印象をより高い精度で評価することが可能となる。
(実施例6)
図7は、一つの実施形態による携帯端末装置30として機能するハードウェア構成図である。携帯端末装置30は、アンテナ31、無線部32、ベースバンド処理部33、端末インタフェース部34、マイク35、スピーカ36、制御部37、主記憶部38、補助記憶部39を有する。
アンテナ31は、送信アンプで増幅された無線信号を送信し、また、基地局から無線
信号を受信する。無線部32は、ベースバンド処理部33で拡散された送信信号をD/A変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部32は、受信した無線信号を増幅し、その信号をA/D変換してベースバンド処理部33に伝送する。
ベースバンド処理部33は、送信データの誤り訂正符号、データ変調、受信信号、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理などを行う。
制御部37は、例えば、CPU、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。制御部37は、制御信号の送受信などの無線制御を行う。また、制御部37は、補助記憶部39などに記憶されている音声処理プログラムを実行し、例えば、実施例1または実施例2における音声処理を行う。換言すると、制御部37は、例えば、図1に記載の取得部2、検出部3、規定部4、算出部5、評価部6の機能ブロックの処理を実行することが出来る。
主記憶部38は、ROMやRAMなどであり、制御部37が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部39は、HDDやSSDなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
端末インタフェース部34は、データ用アダプタ処理、ハンドセットおよび外部デー
タ端末とのインタフェース処理を行う。
マイク35は、発話者(例えば、第1ユーザ)の音声を入力し、マイク信号として制御部37に出力する。スピーカ36は、出力音声または制御信号として制御部37から出力された信号を出力する。
(実施例7)
図8は、一つの実施形態による音声処理装置1として機能するコンピュータのハードウェア構成図である。図8に示す通り、音声処理装置1は、コンピュータ100、およびコンピュータ100に接続する入出力装置(周辺機器)を含んで構成される。
コンピュータ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。なお、プロセッサ101は、マルチプロセッサであってもよい。また、プロセッサ101は、例えば、CPU、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。更に、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ101は、図1に記載の取得部2、検出部3、規定部4、算出部5、評価部6等の機能ブロックの処理を実行することが出来る。
RAM102は、コンピュータ100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。バス109に接続されている周辺機器としては、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
HDD103は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD103は、例えば、コンピュータ100の補助記憶装置として使用される。HDD103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。
グラフィック処理装置104には、モニタ110が接続されている。グラフィック処理装置104は、プロセッサ101からの命令にしたがって、各種画像をモニタ110の画面に表示させる。モニタ110としては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード111とマウス112とが接続されている。入力インタフェース105は、キーボード111やマウス112から送られてくる信号をプロセッサ101に送信する。なお、マウス112は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク113に記録されたデータの読み取りを行う。光ディスク113は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク113には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。可搬型の記録媒体となる光ディスク113に格納されたプログラムは光学ドライブ装置106を介して音声処理装置1にインストールされる。インストールされた所定のプログラムは、音声処理装置1より実行可能となる。
機器接続インタフェース107は、コンピュータ100に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース107には、メモリ装置114やメモリリーダライタ115を接続することが出来る。メモリ装置114は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ115は、メモリカード116へのデータの書き込み、またはメモリカード116からのデータの読み出しを行う装置である。メモリカード116は、カード型の記録媒体である。また、機器接続インタフェース107には、マイク35やスピーカ36を接続することが出来る。
ネットワークインタフェース108は、ネットワーク117に接続されている。ネットワークインタフェース108は、ネットワーク117を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
コンピュータ100は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した音声処理機能を実現する。コンピュータ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、1つのまたは複数の機能モジュールから構成することが出来る。例えば、図1に記載の取得部2、検出部3、規定部4、算出部5、評価部6等の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ100に実行させるプログラムをHDD103に格納しておくことができる。プロセッサ101は、HDD103内のプログラムの少なくとも一部をRAM102にロードし、プログラムを実行する。また、コンピュータ100に実行させるプログラムを、光ディスク113、メモリ装置114、メモリカード116などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ101からの制御により、HDD103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。
以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。
以上、説明した実施形態に関し、更に以下の付記を開示する。
(付記1)
第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出する検出部と、
前記第1発話区間と前記第2発話区間が重複する重複区間を規定する規定部と、
前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出する算出部と、
少なくとも前記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する評価部
を備えることを特徴とする音声処理装置。
(付記2)
前記規定部は、前記第1発話区間と前記第2発話区間が第1閾値以上の長さで重複する場合に、前記重複区間を規定することを特徴とする付記1記載の音声処理装置。
(付記3)
前記規定部は、前記第1発話区間または前記第2発話区間に含まれる母音数を算出し、
前記第1発話区間と前記第2発話区間が第2閾値以上の前記母音数で重複する場合に、前記重複区間を規定することを特徴とする付記1または付記2記載の音声処理装置。
(付記4)
前記検出部は、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
前記規定部は、前記第1信号品質と前記第2信号品質が第3閾値以上であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する付記1ないし付記3の何れか一つに記載の音声処理装置。
(付記5)
前記検出部は、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
前記規定部は、前記第1信号品質と前記第2信号品質の差が第4閾値未満であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する付記1ないし付記3の何れか一つに記載の音声処理装置。
(付記6)
前記第1信号品質または前記第2信号品質は、前記第1音声または前記第2音声のパワーまたは信号対雑音比であることを特徴とする付記3ないし付記5の何れか一つに記載の音声処理装置。
(付記7)
前記規定部は、前記第1発話区間と、前記第2発話区間のいずれか早い区間の開始時刻から第5閾値の時間経過後に前記重複区間を規定することを特徴とする付記1ないし付記6の何れか一つに記載の音声処理装置。
(付記8)
前記規定部は、前記第1発話区間と、前記第2発話区間のいずれか遅い区間の終了時刻から前記第5閾値の時間経過前に前記重複区間を規定することを特徴とする付記1ないし付記7の何れか一つに記載の音声処理装置。
(付記9)
前記第1音声または前記第2音声は、送話音声または受話音声であることを特徴とする付記1ないし付記8の何れか一つに記載の音声処理装置。
(付記10)
前記評価部は、前記第1発話継続区間の長さが第6閾値以上の場合に、前記印象を悪い印象と評価することを特徴とする付記1ないし付記9の何れか一つに記載の音声処理装置。
(付記11)
第1ユーザの前記第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出し、
前記第1発話区間と前記第2発話区間が重複する重複区間を規定し、
前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出し、
少なくとも前記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する
ことを含むことを特徴とする音声処理方法。
(付記12)
前記規定することは、前記第1発話区間と前記第2発話区間が第1閾値以上の長さで重複する場合に、前記重複区間を規定することを特徴とする付記11記載の音声処理方法。
(付記13)
前記規定することは、前記第1発話区間または前記第2発話区間に含まれる母音数を算出し、
前記第1発話区間と前記第2発話区間が第2閾値以上の前記母音数で重複する場合に、前記重複区間を規定することを特徴とする付記11または付記12記載の音声処理方法。
(付記14)
前記検出することは、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
前記規定することは、前記第1信号品質と前記第2信号品質が第3閾値以上であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する付記11ないし付記13の何れか一つに記載の音声処理方法。
(付記15)
前記検出することは、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
前記規定することは、前記第1信号品質と前記第2信号品質の差が第4閾値未満であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する付記11ないし付記13の何れか一つに記載の音声処理方法。
(付記16)
前記第1信号品質または前記第2信号品質は、前記第1音声または前記第2音声のパワーまたは信号対雑音比であることを特徴とする付記13ないし付記15の何れか一つに記載の音声処理方法。
(付記17)
前記規定することは、前記第1発話区間と、前記第2発話区間のいずれか早い区間の開始時刻から第5閾値の時間経過後に前記重複区間を規定することを特徴とする付記11ないし付記16の何れか一つに記載の音声処理方法。
(付記18)
前記規定することは、前記第1発話区間と、前記第2発話区間のいずれか遅い区間の終了時刻から前記第5閾値の時間経過前に前記重複区間を規定することを特徴とする付記11ないし付記17の何れか一つに記載の音声処理方法。
(付記19)
前記第1音声または前記第2音声は、送話音声または受話音声であることを特徴とする付記11ないし付記18の何れか一つに記載の音声処理方法。
(付記20)
前記評価することは、前記第1発話継続区間の長さが第6閾値以上の場合に、前記印象を悪い印象と評価することを特徴とする付記11ないし付記19の何れか一つに記載の音声処理方法。
(付記21)
コンピュータに、
第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出し、
前記第1発話区間と前記第2発話区間が重複する重複区間を規定し、
前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出し、
少なくとも前記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する
ことを実行させることを特徴とする音声処理プログラム。
1 音声処理装置
2 取得部
3 検出部
4 規定部
5 算出部
6 評価部

Claims (12)

  1. 第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出する検出部と、
    前記第1発話区間と前記第2発話区間が重複する重複区間を規定する規定部と、
    前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出する算出部と、
    記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する評価部
    を備えることを特徴とする音声処理装置。
  2. 前記規定部は、前記第1発話区間と前記第2発話区間が第1閾値以上の長さで重複する場合に、前記重複区間を規定することを特徴とする請求項1記載の音声処理装置。
  3. 前記規定部は、前記第1発話区間または前記第2発話区間に含まれる母音数を算出し、
    前記第1発話区間と前記第2発話区間が第2閾値以上の前記母音数で重複する場合に、前記重複区間を規定することを特徴とする請求項1または請求項2記載の音声処理装置。
  4. 前記検出部は、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
    前記規定部は、前記第1信号品質と前記第2信号品質が第3閾値以上であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する請求項1ないし請求項3の何れか一項に記載の音声処理装置。
  5. 前記検出部は、前記第1音声と前記第2音声に含まれる複数のフレームの第1信号品質と第2信号品質をそれぞれ検出し、
    前記規定部は、前記第1信号品質と前記第2信号品質の差が第4閾値未満であり、かつ、前記第1発話区間と前記第2発話区間が重複する区間を前記重複区間として規定する請求項1ないし請求項3の何れか一項に記載の音声処理装置。
  6. 前記第1信号品質または前記第2信号品質は、前記第1音声または前記第2音声のパワーまたは信号対雑音比であることを特徴とする請求項4または請求項5に記載の音声処理装置。
  7. 前記規定部は、前記第1発話区間と、前記第2発話区間のいずれか早い区間の開始時刻から第5閾値の時間経過後に前記重複区間を規定することを特徴とする請求項1ないし請求項6の何れか一項に記載の音声処理装置。
  8. 前記規定部は、前記第1発話区間と、前記第2発話区間のいずれか遅い区間の終了時刻から前記第5閾値の時間経過前に前記重複区間を規定することを特徴とする請求項1ないし請求項7の何れか一項に記載の音声処理装置。
  9. 前記第1音声または前記第2音声は、送話音声または受話音声であることを特徴とする請求項1ないし請求項8の何れか一項に記載の音声処理装置。
  10. 前記評価部は、前記第1発話継続区間の長さが第6閾値以上の場合に、前記印象を悪い印象と評価することを特徴とする請求項1ないし請求項9の何れか一項に記載の音声処理装置。
  11. 第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出し、
    前記第1発話区間と前記第2発話区間が重複する重複区間を規定し、
    前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出し、
    記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する
    ことを含むことを特徴とする音声処理方法。
  12. コンピュータに、
    第1ユーザの第1音声に含まれる第1発話区間と、第2ユーザの第2音声に含まれる第2発話区間を検出し、
    前記第1発話区間と前記第2発話区間が重複する重複区間を規定し、
    前記重複区間の始点から前記第1発話区間の終点までの第1発話継続区間を算出し、
    記第1発話継続区間の長さに関する情報に基づいて、前記第1音声に対する印象を評価する
    ことを実行させることを特徴とする音声処理プログラム。
JP2015010342A 2015-01-22 2015-01-22 音声処理装置、音声処理方法および音声処理プログラム Expired - Fee Related JP6524674B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015010342A JP6524674B2 (ja) 2015-01-22 2015-01-22 音声処理装置、音声処理方法および音声処理プログラム
US14/952,446 US10403289B2 (en) 2015-01-22 2015-11-25 Voice processing device and voice processing method for impression evaluation
CN201510920109.1A CN105825869B (zh) 2015-01-22 2015-12-11 语音处理装置和语音处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015010342A JP6524674B2 (ja) 2015-01-22 2015-01-22 音声処理装置、音声処理方法および音声処理プログラム

Publications (2)

Publication Number Publication Date
JP2016133774A JP2016133774A (ja) 2016-07-25
JP6524674B2 true JP6524674B2 (ja) 2019-06-05

Family

ID=56434138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015010342A Expired - Fee Related JP6524674B2 (ja) 2015-01-22 2015-01-22 音声処理装置、音声処理方法および音声処理プログラム

Country Status (3)

Country Link
US (1) US10403289B2 (ja)
JP (1) JP6524674B2 (ja)
CN (1) CN105825869B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501259B2 (ja) * 2015-08-04 2019-04-17 本田技研工業株式会社 音声処理装置及び音声処理方法
JP6641832B2 (ja) * 2015-09-24 2020-02-05 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
CN107028524A (zh) * 2015-12-08 2017-08-11 太琦科技股份有限公司 语音控制型洗浴系统及其操作方法
KR102668438B1 (ko) * 2016-12-26 2024-05-24 현대자동차주식회사 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법
JP7143574B2 (ja) 2017-07-18 2022-09-29 富士通株式会社 評価プログラム、評価方法および評価装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2808906B2 (ja) 1991-02-07 1998-10-08 日本電気株式会社 音声認識装置
JPH0836396A (ja) * 1994-07-21 1996-02-06 Hitachi Ltd 音声認識装置
US6363145B1 (en) * 1998-08-17 2002-03-26 Siemens Information And Communication Networks, Inc. Apparatus and method for automated voice analysis in ACD silent call monitoring
JP3361066B2 (ja) * 1998-11-30 2003-01-07 松下電器産業株式会社 音声合成方法および装置
US6202049B1 (en) * 1999-03-09 2001-03-13 Matsushita Electric Industrial Co., Ltd. Identification of unit overlap regions for concatenative speech synthesis system
JP4150798B2 (ja) * 2004-07-28 2008-09-17 国立大学法人徳島大学 デジタルフィルタリング方法、デジタルフィルタ装置、デジタルフィルタプログラム及びコンピュータで読み取り可能な記録媒体
US7571104B2 (en) * 2005-05-26 2009-08-04 Qnx Software Systems (Wavemakers), Inc. Dynamic real-time cross-fading of voice prompts
JP4567606B2 (ja) 2006-01-05 2010-10-20 富士通株式会社 音声データの聞き出し部分特定処理プログラムおよび処理装置
CN101458927A (zh) * 2007-12-11 2009-06-17 财团法人资讯工业策进会 产生及侦测混淆音的方法及系统
JP4906776B2 (ja) 2008-04-16 2012-03-28 株式会社アルカディア 音声制御装置
WO2009145192A1 (ja) 2008-05-28 2009-12-03 日本電気株式会社 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体
JP5347455B2 (ja) 2008-11-28 2013-11-20 富士通株式会社 会話異常検知装置、会話異常検知方法、及び会話異常検知プログラム
JP4972107B2 (ja) * 2009-01-28 2012-07-11 日本電信電話株式会社 通話状態判定装置、通話状態判定方法、プログラム、記録媒体
JP2010175984A (ja) 2009-01-30 2010-08-12 Kyocera Mita Corp 画像形成装置
WO2011105003A1 (ja) * 2010-02-25 2011-09-01 パナソニック株式会社 信号処理装置及び信号処理方法
US20110282662A1 (en) * 2010-05-11 2011-11-17 Seiko Epson Corporation Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium
JP5477153B2 (ja) * 2010-05-11 2014-04-23 セイコーエプソン株式会社 接客データ記録装置、接客データ記録方法およびプログラム
CN102014126B (zh) * 2010-10-26 2013-06-26 同济大学 一种基于QoS的语音体验质量评测平台及评测方法
CN102682760B (zh) * 2011-03-07 2014-06-25 株式会社理光 重叠语音检测方法和系统
JP5708155B2 (ja) * 2011-03-31 2015-04-30 富士通株式会社 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム
US8694307B2 (en) * 2011-05-19 2014-04-08 Nice Systems Ltd. Method and apparatus for temporal speech scoring
JP2014123813A (ja) 2012-12-20 2014-07-03 Ntt Comware Corp オペレータ対顧客会話自動採点装置およびその動作方法

Also Published As

Publication number Publication date
JP2016133774A (ja) 2016-07-25
US10403289B2 (en) 2019-09-03
US20160217791A1 (en) 2016-07-28
CN105825869A (zh) 2016-08-03
CN105825869B (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11823679B2 (en) Method and system of audio false keyphrase rejection using speaker recognition
US9293133B2 (en) Improving voice communication over a network
JP6524674B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
US20230317096A1 (en) Audio signal processing method and apparatus, electronic device, and storage medium
CN112071328B (zh) 音频降噪
EP2816558B1 (en) Speech processing device and method
CN106098078B (zh) 一种可过滤扬声器噪音的语音识别方法及其系统
JP6098149B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP6641832B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP2011248025A (ja) チャネル統合方法、チャネル統合装置、プログラム
US20140350937A1 (en) Voice processing device and voice processing method
US9489958B2 (en) System and method to reduce transmission bandwidth via improved discontinuous transmission
US20150340048A1 (en) Voice processing device and voice processsing method
US9972338B2 (en) Noise suppression device and noise suppression method
JP6394103B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
CN112071324B (zh) 应用语音级别估计模型来选择输出通道的方法、系统
JP6260138B2 (ja) コミュニケーション処理装置、コミュニケーション処理方法、及び、コミュニケーション処理プログラム
JP2014106247A (ja) 信号処理装置、信号処理方法および信号処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190422

R150 Certificate of patent or registration of utility model

Ref document number: 6524674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees