JP5038403B2 - 音声分析装置、音声分析方法、音声分析プログラム、及びシステム集積回路 - Google Patents

Description

本発明は、携帯端末において音声信号に基づいて周囲の環境を判定する音声分析装置に関し、特に、環境判定の際の精度を向上する改良技術に関する。

従来、音声分析技術として、以下の特許文献１に開示されている移動通信端末装置が知られている。この移動通信端末装置はマイクロフォンから収音した環境ノイズを端末内部に予め登録しておいた環境ノイズサンプルと比較し、例えば、端末を所持しているユーザが電車で移動中なのか、自動車で移動中なのかを判定し、電話受信時に、判別結果に応じた応答メッセージを報知する。

また、以下の特許文献２に開示されている移動機端末の発着信規制制御システムは、端末内部に予め交通ノイズを登録しておき、収録音が登録しておいた交通ノイズに合致した場合、自動的に発着信規制をする。
さらに、以下の非特許文献１には、ウェアラブル装置により収音された音声を分析し、行動のモデル化を行い、個々の音の識別（キーボードの打鍵音や紙をめくる音の判別、音声判別）結果から、デスクワークかミーティングかを判定するという技術が開示されている。

これらの技術は生活環境音を対象としており、個々の特定音を識別または分類して、応答メッセージや発着信規制などのアプリケーションの利用や、特定の状況判別を行っている。
なお、他の先行技術文献として、以下の特許文献３から特許文献８に示すものがある。

特開２０００−２０９１４３号公報 特開２００４−１５５７１号公報 特許第３６０７４５０号 特許第３５６５２２８号 特開２００２−１４２１８９号公報 特開２０００−６６６９１号公報 特開２００４−２５８６５９号公報 特許第４０００１７１号

情報処理学会全国大会２００６．３号「行動状況により検索可能な体験映像提示手法の検討」

このように、上述したような従来技術は携帯端末の技術分野に応用され、環境に応じて応答メッセージを変更したり発着信規制をしたりする機能を実現している。
しかしながら、携帯端末の使用状況によっては、収音された音声に混入した雑音の影響により正確に環境を判定することができず、上述した機能を果たさないケースが生じ得るという問題がある。例えば、自動車内や公共施設内等の発着信規制を実現すべき場所で携帯端末が利用される場合を考えると、本来これらの場所では規制が必要であるが、そこで収音された音声に会話音が混入している場合には、収音された音声と所定のパターンとのマッチングがうまくいかず、正確に環境を判定することができない場合がある。その結果、自動車に乗車中であっても、呼出音が鳴動することがある。また、発信者に適切な状況を伝えることができないために、発信者がリダイアルを繰り返し、苛立ちを募らせたり、運転中にリダイアルが繰り返されることにより、運転者の注意力が散漫になり、事故につながったりすることも考えられる。

本発明は環境判定の精度を向上する音声分析装置を提供することを目的とする。

本発明は、音声信号を収音し、単位時間毎の音響パラメータを算出する音響パラメータ算出手段と、算出された音響パラメータに基づいて、単位時間の部分音声信号が、複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定するカテゴリ決定手段と、複数の連続する単位時間を含んでなる判定対象区間を、時間経過に従い時間軸上に沿って随時設定する区間設定手段と、少なくとも直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定する環境判定手段とを含む音声分析装置である。

本発明は、上記の構成を備えることにより、単位時間の部分音声信号が複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定した後、複数の連続する単位時間を含んでなる判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定することができる。したがって、単位時間の部分音声信号が会話等の雑音である場合であっても、判定対象区間における環境音カテゴリ数に基づいて適切に環境を判定することができる。すなわち、判定対象区間内に会話等の雑音が混入している部分があったとしても、当該判定対象区間内のその他の部分における環境音カテゴリ数に基づいて環境の判定が可能となるので、その結果、環境の判定に対するロバスト性を高めることができる。

ここで、前記環境判定手段は、前記直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間全体に占める各環境音カテゴリの割合を示すカテゴリ占有率を算出する算出手段を含み、前記環境音カテゴリ数に基づく環境の判定は、前記カテゴリ占有率のうち最も占有割合の高い環境音カテゴリを決定することによりなされるとしてもよい。

これにより、前記直近の判定対象区間においてカテゴリ占有率のうち最も占有割合の高い環境音カテゴリを当該判定対象区間の環境と判定することができる。したがって、判定対象区間内に会話等の雑音が混入している部分があったとしても、当該判定対象区間で相対的に最も占有割合の高い環境音カテゴリを当該判定対象区間の環境と判定するので、環境判定の精度を向上させることができる。

ここで、前記環境判定手段は判定対象区間毎に当該判定対象区間全体に占める各環境音カテゴリの割合を示すカテゴリ占有率を算出する算出手段を含み、前記環境音カテゴリ数に基づく環境の判定は、直近の判定対象区間のカテゴリ占有率と先行する判定対象区間のカテゴリ占有率との変化の割合が予め定められた閾値より大きいか否かの判定に基づき行われるとしてもよい。

これにより、直近の判定対象区間と先行する判定対象区間とにおけるカテゴリ占有率の変化の割合に応じて、前記直近の判定対象区間における環境を判定することができる。
したがって、例えば、前記先行する判定対象区間において環境音カテゴリとして“バス”が最も占有割合が高く、前記直近の判定対象区間ではバス内の空調音の影響で環境音カテゴリとして“屋内”が最も占有割合が高くなったとする。このような場合であっても、カテゴリ占有率の変化の割合が閾値より小さい場合には、前記直近の判定対象区間の環境は“バス”であると判定することが可能となるので、環境判定の精度を向上させることができる。なお、空調音は環境カテゴリとして“屋内”に分類されるものとする。

ここで、前記音声分析装置は、さらに、前記音声信号のパワースペクトルを算出するパワースペクトル算出手段と、前記パワースペクトル算出手段により算出されたパワースペクトルの時間変位を検出し、検出された変位が予め定められた閾値を超えているか否かを判定する変位判定手段と、を含み、前記区間設定手段は、前記変位判定手段により肯定的な判定がなされた時点を先行する判定対象区間の終了点とするとともに前記直近の判定対象区間の開始点とし、次に肯定的な判定がなされる時点を前記直近の判定対象区間の終了点とするとともにそれに後続する判定対象区間の開始点とするよう判定対象区間を設定するとしてもよい。

これにより、音声信号のパワースペクトルの時間変位に基づいて判定対象区間の開始点及び終了点を設定することができる。したがって、予め環境が単調であろう判定対象区間を設定した上で当該判定対象区間における環境を環境音カテゴリ数に基づいて判定するので、環境判定の精度を向上させることができる。
ここで、前記区間設定手段により前後して設定される二つの判定対象区間は相互にオーバーラップしている部分を有し、前記環境判定手段はさらに、前記変化の割合が前記閾値より大きくなる場合に、前記直近の判定対象区間または前記先行する判定対象区間の所定時点を、前記環境の変化時点として検出するとしてもよい。

前記二つの判定対象区間が相互にオーバーラップしている部分を有しない場合には、実際には前記先行する判定対象区間の途中で環境が変化していたとしても、前記先行する判定対象区間と前記直近の判定対象区間との境界でしか環境を判定することができない。これに対し、本発明は前記二つの判定対象区間が相互にオーバーラップしている部分を有していることにより、前記直近の判定対象区間または前記先行する判定対象区間内の所定時点であっても、環境の変化時点として検出することができるので、より正確に環境の変化時点を検出することができる。

また、前記二つの判定対象区間が相互にオーバーラップしている部分を有しているので、環境の判定に関してリアルタイム性を向上させることができる。
さらに、環境の判定とともに、環境が変化した場合には環境の変化時点を検出するので、環境に応じたアプリケーションの利用等が実現できる。
ここで、前記音声分析装置は、さらに、自装置に係るユーザの動作情報を検出する動作検出手段と、検出された動作情報に基づいて前記ユーザが動作中であるか否かを判定する動作判定手段と、前記動作判定手段による判定が否定的なものである場合に、前記環境判定手段による環境の判定を抑制し、前記動作判定手段による判定が肯定的なものである場合に、前記環境判定手段による環境の判定を許可する制御手段とを含むとしてもよい。

これにより、前記動作判定手段によりユーザ動作中であると判定された区間において、前記環境判定手段による環境の判定が許可される。環境の変化がユーザの動作なしには起こり得ないことを前提とすると、前記動作判定手段によりユーザ動作中ではないと判定された区間では、環境の判定を抑制するので、環境の判定精度を向上させることができ、さらには、演算効率も向上させることができる。

ここで、前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、前記音声分析装置は、さらに、前記動作検出手段により検出された動作情報に基づき、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段を含み、前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出するとしてもよい。

また、前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、前記音声分析装置は、さらに、自装置に係るユーザの位置情報を検出する位置情報検出手段と、地図情報を記憶している記憶手段と、前記位置情報検出手段により検出された位置情報及び前記地図情報に基づいて、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段と、を含み、前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出するとしてもよい。

また、前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、前記音声分析装置は、さらに、自装置に係るユーザの位置情報を検出する位置情報検出手段と、所定間隔で位置情報を取得し、各隣接時間の２点間の距離を算出することにより、速度を推定する速度推定手段と、前記速度推定手段により推定された速度に基づき、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段と、を含み、前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出するとしてもよい。

これにより、前記環境判定手段は前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出するので、環境の変化時点の検出精度を向上させることができる。
ここで、前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、前記環境判定手段により検出される環境の変化時点とは、交通手段が変化する時点であるとしてもよい。

これにより、利用する交通の判定を音声信号のみにより行うことができる。

携帯電話機１の機能ブロック図である。 実施の形態１の音声分析装置１００の機能ブロック図である。 分類結果の蓄積を示す図である。 音声分析装置１００の処理手順を示すフローチャートである。 携帯電話機１のマナーモードへの自動移行に関する処理手順を示すフローチャートである。 実施の形態１における環境音カテゴリ毎の分類結果、及び時間区間単位におけるカテゴリ占有率の変化を時系列に示す図である。 時間区間毎のカテゴリ占有率の詳細を示す図である。 時間区間毎のカテゴリ占有率の詳細を示す図である。 実施の形態２における音声分析装置１００ａの機能ブロックを示す図である。 音声分析装置１００ａのセグメント決定に係る処理手順を示すフローチャートである。 実施の形態２における環境音カテゴリ毎の分類結果、及び時間区間単位におけるカテゴリ占有率の変化を時系列に示す図である。 実施の形態３における音声分析装置１００ｂの機能ブロックを示す図である。 音声分析装置１００ｂの処理手順を示すフローチャートである。 実施の形態３における環境音カテゴリ毎の分類結果、及び時間区間単位におけるカテゴリ占有率の変化を時系列に示す図である。 実施の形態４における音声分析装置１００ｃの機能ブロックを示す図である。 実施の形態５における音声分析装置１００ｄの機能ブロックを示す図である。 交通手段候補選別処理を示すフローチャートである。 音声分析装置１００ｄの処理手順を示すフローチャートである。 実施の形態６における音声分析装置１００ｅの機能ブロックを示す図である。 実施の形態７における音声分析装置１００ｆの機能ブロックを示す図である。 割合値を用いない場合の環境判別についてのフローチャートである。

以下に、本発明に係る音声分析装置の実施の形態について図を参照しながら説明する。
（実施の形態１）
＜携帯電話機１の構成＞
本発明に係る音声分析装置１００は例えば、携帯電話機１に備えられる。図１は携帯電話機１の構成を示す機能ブロック図である。図１に示すように、携帯電話機１は音声信号収音部１０、音声分析装置１００、記録部２０、着信音要否判定部３０、及びモード設定部４０を備える。

音声信号収音部１０は具体的にはマイクロフォンを含んで構成され、マイクロフォンにより取得された音声信号を音声分析装置１００に送信する。
音声分析装置１００は音声信号収音部１０から入力される音声信号に基づいて携帯電話機１の周囲の環境を判定し、判定結果を環境情報として記録部２０及び着信音要否判定部３０に送信する。

記録部２０は音声分析装置１００から入力される環境情報を記録する。
着信音要否判定部３０は音声分析装置１００から入力される環境情報に基づいて着信音の要否を判定し、判定結果をモード設定部４０に送信する。
モード設定部４０は着信音要否判定部３０から入力される判定結果に基づいて携帯電話機１のモード設定を行う。
＜音声分析装置１００の構成＞
続いて、音声分析装置１００の内部構成について説明する。図２は音声分析装置１００の機能ブロックを示す図である。音声分析装置１００は環境音分類部１１０及びイベント分割点判定部１２０を含んで構成される。

音声分析装置１００は具体的にはＤＳＰ、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＲＯＭにはコンピュータプログラムが記憶されている。ＤＳＰ及びマイクロプロセッサがコンピュータプログラムにしたがって動作することにより、音声分析装置１００はその機能を達成する。
環境音分類部１１０は具体的にはＤＳＰ等により実現され、音響パラメータ算出部１１１、カテゴリ分類部１１２、及び事前学習データ保持部１１３を含んで構成される。

音響パラメータ算出部１１１は音声信号収音部１０から単位時間毎（例えば、１秒）に音声信号を取得し、単位時間毎の音声信号（以下、「部分音声信号」ともいう）の音響パラメータを算出する。算出された各音響パラメータをカテゴリ分類部１１２に送信する。
音響パラメータは例えば、音響スペクトル、スペクトル重心、ケプストラム、ケプストラム領域の特徴量MFCC(Mel Frequency Cepstrum Coefficient)等である。

カテゴリ分類部１１２は音響パラメータ算出部１１１から入力される各音響パラメータに対応する単位時間の部分音声信号が、どの環境音カテゴリに属するかを、事前学習データ保持部１１３に保持されている事前学習データを参照しながら、決定する。
ここで、環境音カテゴリは例えば、屋内、屋外、ＢＧＭ、音声、徒歩、自動車、バス車内、及び電車内等である。屋内はさらに、暗騒音、非定常音、人混み音、その他音に分類される。暗騒音は例えば、ファンノイズ、空調音等である。非定常音は例えば、摩擦音、衣擦れ音、叩打等である。人混み音は例えば、わいわいがやがやした音、レストラン内の音等である。その他音は例えば、屋内の雑踏音等、上述した音以外の屋内音である。

屋外はさらに、自然雑音、交通雑音、その他音に分類される。自然雑音は例えば、風の音や川の流れる音、鳥の鳴き声等である。交通雑音は車、バイク、及び電車等の交通音である。その他音は例えば、屋外の雑踏音等、上述した音以外の屋外音である。音声は会話に限らず音声と判定できる音を含む。ＢＧＭは背景音として音楽が主である音である。徒歩は歩く音が主である音である。自動車は音声以外の音であり、自動車内の移動時の音、例えばエンジン音である。バス車内は音声以外の音であり、バス車内の移動時の音、例えばエンジン音である。電車内は音声以外の音であり、電車内の移動時の音、例えばモータ音である。

環境音カテゴリの分類について詳細に説明する。環境音カテゴリの分類には、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅl）やエントロピー事前隠れマルコフモデル（ＥＰ−ＨＭＭ）などの機械学習方法が用いられる。これらの機械学習方法では、事前に各環境音カテゴリの音声信号の音響パラメータを事前学習データとして用意しておく。そして、音響パラメータ算出部１１１から入力された各音響パラメータを事前学習データ保持部１１３に保持されている環境音カテゴリ毎の音響パラメータ（事前学習データ）と比較し、この事前学習データに対して似ている音かそうでないかを決定していく。カテゴリ分類部１１２はカテゴリ分類対象の部分音声信号を、似ていると決定された音響パラメータに対応する環境音カテゴリに分類し、分類結果を蓄積部１２１に送信する。

事前学習データ保持部１１３は各環境音カテゴリの音声信号の音響パラメータを事前学習データとして保持している。
イベント分割点判定部１２０はマイクロプロセッサ等により実現され、蓄積部１２１、時間区間設定部１２２、読込部１２３、カテゴリ占有率算出部１２４、及び環境判定部１２５を含んで構成される。

蓄積部１２１は具体的にはバッファ等により構成され、カテゴリ分類部１１２から入力される各部分音声信号の分類結果を蓄積する。各環境音カテゴリは００１、０１０、０１１、１００・・・のようにビットで定義され、蓄積部１２１は単位時間毎に分類された分類結果をビットで蓄積する。図３は分類結果の蓄積を示す図である。本図に示すように、時刻と当該時刻における環境音カテゴリとを対応付けて蓄積していく。

時間区間設定部１２２は予め記憶されている設定情報に基づいて、時間経過に従い時間軸上に沿って判定対象区間の開始点及び終了点を随時設定する。判定対象区間とは具体的には、複数（例えば、三以上）の連続する単位時間を含んでなる区間（例えば、３０秒）である。なお、蓄積部１２１は少なくとも判定対象区間分の分類結果を蓄積するのに必要な容量を備えているものとする。

読込部１２３は時間区間設定部１２２により設定された判定対象区間分の分類結果が蓄積部１２１に蓄積されているかを判定し、蓄積されていると判定した場合に、蓄積部１２１から分類結果を読み出し、読み出した分類結果をカテゴリ占有率算出部１２４に送信する。
カテゴリ占有率算出部１２４は読込部１２３から入力される各部分音声信号の分類結果に基づいて判定対象区間におけるカテゴリ占有率を算出する。そして、算出したカテゴリ占有率を環境判定部１２５に送信する。カテゴリ占有率は判定対象区間全体に占める各環境音カテゴリの割合である。

環境判定部１２５はカテゴリ占有率算出部１２４から入力されるカテゴリ占有率に基づいて携帯電話機１の周囲の環境を判定する。判定された環境を示す環境情報を記録部２０及び着信音要否判定部３０に送信する。さらに、環境が変化した場合にはその変化時点を検出し、記録部２０に送信する。
＜音声分析装置１００の動作＞
図４は音声分析装置１００の処理手順を示すフローチャートである。本フローチャートにおいて、ｉは一の環境音カテゴリを特定する変数であり、カテゴリ数はｎとする。音響パラメータ算出部１１１は逐次、音声信号収音部１０により収音された部分音声信号を受信する（ステップＳ１０１）。部分音声信号を受信すると、当該部分音声信号の音響パラメータを算出する（ステップＳ１０２）。音響パラメータが算出されると、ｉを初期化し（ステップＳ１０３）、該環境音カテゴリにおける音響パラメータと比較する（ステップＳ１０４）。比較結果を記憶しておき（ステップＳ１０５）、ｉ＝ｎか否かを判断する（ステップＳ１０６）。まだ他に環境音カテゴリが存在する場合には（ステップＳ１０６でＮｏ）、ｉを１計数し（ステップＳ１０７）、ステップＳ１０４に移行する。全ての環境音カテゴリにおける音響パラメータと比較し終えると（ステップＳ１０６でＹｅｓ）、部分音声信号がどの環境音カテゴリに属するかを決定する（ステップＳ１０８）。具体的には、当該部分音声信号の音響パラメータがどの環境音カテゴリにおける音響パラメータに最も近いかを決定する。

読込部１２３は必要な蓄積量が蓄積部１２１に蓄積されているか否かを判定する（ステップＳ１０９）。必要な蓄積量に達している場合には（ステップＳ１０９でＹｅｓ）、分類結果を読み込み、カテゴリ占有率算出部１２４に読み込んだ分類結果を送信する（ステップＳ１１０）。カテゴリ占有率算出部１２４は分類結果から判定対象区間におけるカテゴリ占有率を算出し（ステップＳ１１１）、すでに記憶されているカテゴリ占有率があるか否かを判定する（ステップＳ１１２）。記憶されているカテゴリ占有率がない場合には（ステップＳ１１２でＮｏ）、当該カテゴリ占有率を記憶するとともに、当該カテゴリ占有率に基づいて環境を判定する（ステップＳ１１３）。具体的には、判定対象区間において、各環境音カテゴリの占有率のうち最も占有率の高い環境音カテゴリを決定することにより、環境を判定する。環境を判定すると、環境情報を記録部２０及び着信音要否判定部３０に送信する（ステップＳ１１７）。これにより、環境に応じたアプリケーションの動作が実現される。

すでに記憶されているカテゴリ占有率がある場合には（ステップＳ１１２でＹｅｓ）、そのカテゴリ占有率との変化の割合を示す割合値を算出する（ステップＳ１１４）。割合値は環境音カテゴリ毎に算出され、環境判定部１２５は各割合値について、予め定められている閾値と比較し、割合値が閾値より大きいか否かを判断する（ステップＳ１１５）。全ての割合値が閾値以下の場合は（ステップＳ１１５でＮｏ）、算出されたカテゴリ占有率を記憶しておき、ステップＳ１０９に移行する。閾値より大きい割合値が存在する場合には（ステップＳ１１５でＹｅｓ）、算出されたカテゴリ占有率に対応する判定対象区間の開始点を環境変化時点として検出するとともに、環境の判定を行う（ステップＳ１１６）。具体的には、閾値を超えて占有率が増加した環境音カテゴリがある場合には当該環境音カテゴリを、閾値を超えて占有率が減少した環境音カテゴリがある場合には、各環境音カテゴリのうち、最も占有率の高い環境音カテゴリを変化後の環境とする。そして、記憶部２０に環境情報と環境の変化時点とを、着信音要否判定部３０に環境情報を送信する（ステップＳ１１７）。

このように環境判定部１２５は新たにカテゴリ占有率を受信すると、先行する判定対象区間のカテゴリ占有率との変化の割合が閾値を超えるか否かを判定することにより環境を判定するとともに、環境が変化している場合には環境の変化時点を検出する。
＜携帯電話機１の動作＞
図５は携帯電話機１のマナーモードへの自動移行機能に係る処理手順を示すフローチャートである。着信音要否判定部３０は音声分析装置１００から入力される環境情報を受信する（ステップＳ２０１）。環境情報を受信すると、当該環境情報がバスまたは電車を示すものか否かを判定する（ステップＳ２０２）。

環境情報がバスまたは電車を示すもの以外である場合には（ステップＳ２０２でＮｏ）、ステップＳ２０１に移行する。環境情報がバスまたは電車を示すものである場合には（ステップＳ２０２でＹｅｓ）、モード設定部４０は着信状態がマナーモードであるか否かを判定する（ステップＳ２０３）。
着信状態がマナーモードである場合には（ステップＳ２０３でＹｅｓ）、ステップＳ２０１に移行する。着信状態がマナーモードでない場合には（ステップＳ２０３でＮｏ）、着信状態をマナーモードに設定する（ステップＳ２０４）。
＜具体例＞
図６は実施の形態１の特徴を模式的に示す図である。本図上部は環境音カテゴリ毎の分類結果を示す図である。本図下部は時間区間単位におけるカテゴリ占有率の変化を時系列に示す図である。本図における横軸は時間軸である。図中のバス、電車、音声、屋内、及び屋外は環境音カテゴリを示す。

図７、８は図６に示す各時間区間に含まれる環境音カテゴリの詳細を示す図である。図７、８に示すように、各時間区間は３０秒であり、各々時間軸方向に１０秒ずつずれている。
時間区間設定部１２２は図６上部に示すように、例えば、時間軸方向に判定対象区間をオーバーラップさせながら次々に設定する（時間区間１、時間区間２、時間区間３、時間区間４、時間区間５、・・・）。これは環境変化の検出精度を高めるためである。判定対象区間の設定は予め時間区間設定部１２２に保持されている、時間区間の長さを示す時間区間情報やどの程度オーバーラップさせるかを示すオーバーラップ情報等に基づき行われる。

カテゴリ占有率算出部１２４は時間区間毎に各環境音カテゴリの占有率を算出していく。図７に示すように、時間区間１では“バス”と判定された時間が合計２４秒、“音声”と判定された時間が合計３秒、“屋内”と判定された時間が合計３秒であるので、“バス”の占有率８０％、“音声”及び“屋内”の占有率１０％と算出する。“バス”の占有率が最も高いので、環境判定部１２５は時間区間１において環境は“バス”であると判定する。

以下同様に、時間区間２では“バス”と判定された時間が合計２１秒、“音声”と判定された時間が６秒、“屋内”と判定された時間が３秒であるので、“バス”の占有率７０％、“音声”の占有率２０％、“屋内”の占有率１０％と算出する。
時間区間３では“バス”と判定された時間が合計２０秒、“音声”と判定された時間が３秒、“屋内”と判定された時間が３秒、“電車”と判定された時間が４秒であるので、“バス”の占有率６７％、“音声”及び“屋内”の占有率１０％、“電車”の占有率１３％と算出する。

時間区間４では“バス”と判定された時間が合計１３秒、“音声”と判定された時間が合計６秒、“電車”と判定された時間が１１秒であるので、“バス”の占有率４３％、“音声”の占有率２０％、“電車”の占有率３７％と算出する。
時間区間５では“電車”と判定された時間が合計２１秒、“音声”と判定された時間が３秒、“バス”と判定された時間が６秒であるので、“電車”の占有率７０％、“音声”の占有率１０％、“バス”の占有率２０％と算出する。

ここで、カテゴリ占有率の変化の割合との比較に用いられる閾値が０．３（カテゴリ占有率３０％）であるとすると、時間区間１から時間区間２、時間区間２から時間区間３、時間区間３から時間区間４にそれぞれ移行する際には、各カテゴリ占有率は閾値を超えることはない。
したがって、環境判定部１２５はそれらの時間区間において環境は“バス”であると判定する。ところが、時間区間４から時間区間５への移行において、“電車”の占有率が３５％から７０％に変位しており、これは閾値を超える変化であることがわかる。

したがって、環境判定部１２５は時間区間５において環境は“電車”であるという判定を行うとともに、本図下部の丸印（時点Ｔ１）で示すように、時間区間５の開始点を環境の変化時点として検出する。
このように、判定対象区間毎のカテゴリ占有率を算出し、カテゴリ占有率が閾値を超えて変化したか否かを判定することにより、音声等の雑音が混入している場合であっても、適切に環境を判定することができる。

以上のように本実施の形態によれば、ある判定対象区間において雑音の影響により各環境音カテゴリの占有率が低くなったとしても、他の環境音カテゴリとの比較によって相対的に占有率の高い環境音カテゴリを決定することにより、環境を判定することができるので、環境の判定に対するロバスト性を高めることができる。また、携帯電話機１は環境の変化時点を記録しておくので、これに基づいてユーザの行動パターンの解析等を行うことができる。
（実施の形態２）
実施の形態１では、時間区間設定部１２２により設定される判定対象区間は３０秒という固定値であったが、本実施の形態は音声信号のパワースペクトルの時間変位に基づいて判定対象区間（以下、「セグメント」ともいう）を設定する。
＜音声分析装置１００ａの構成＞
図９は本実施の形態における音声分析装置１００ａの機能ブロック図である。図９に示すように、音声分析装置１００ａは、実施の形態１における音声分析装置１００の構成要素に加え、さらにパワースペクトル算出部１３０を含む。また、イベント分割点判定部１２０ａは実施の形態１における時間区間設定部１２２の代わりにセグメント決定部１２６を含んで構成される。

パワースペクトル算出部１３０は音声信号収音部１０から入力される音声信号のパワースペクトルを算出し、算出されたパワースペクトルをセグメント決定部１２６に送信する。具体的には、音声信号収音部１０から入力される音声信号を所定の時間単位で区切り、ＦＦＴ（Fast Fourier Transform）を用いて、所定時間毎の音声信号のパワースペクトルを算出する。

セグメント決定部１２６はパワースペクトル算出部１３０から入力される所定時間毎の音声信号のパワースペクトルからセグメントの開始点及び終了点を決定する。具体的には、隣接する所定時間区間のパワースペクトルを重ね合わせて特定周波数の変位量を検出し、検出された変位量が予め定められている閾値を超えているか否かを判定する。そして、検出された変位量が予め定められている閾値を超えている場合に、検出された変位量に対応する隣接する所定時間区間の境界点をセグメントの境界点であると判定する。この境界点は新たなセグメントの開始点であると同時に先行するセグメントの終了点となる。セグメント決定部１２６は次に変位量が閾値を超えていると判定された場合に、その変位量に対応する、隣接する所定時間区間の境界点を新たなセグメントの終了点とする。

このようにセグメント決定部１２６はセグメントの開始点及び終了点を決定し、決定されたセグメントの開始点及び終了点を読込部１２３ａに送信する。
読込部１２３ａはセグメント決定部１２６から送信されたセグメントの開始点及び終了点を受信し、受信したセグメント区間分のカテゴリ分類結果を蓄積部１２１から読み出し、読み出した分類結果をカテゴリ占有率算出部１２４に送信する。
＜音声分析装置１００ａの動作＞
続いて、図１０は音声分析装置１００ａのセグメント決定に係る処理手順を示すフローチャートである。本フローチャートにおいて、ｉは一の所定時間区間を特定する変数である。パワースペクトル算出部１３０は逐次、音声信号収音部１０により収音された音声信号を受信する（ステップＳ３０１）。音声信号を受信すると、所定時間区間毎のパワースペクトルを算出する（ステップＳ３０２）。セグメント決定部１２６はｉを初期化し（ステップＳ３０３）、所定時間区間ｉと所定時間区間ｉ＋１とにおける特定周波数の変位量を検出する（ステップＳ３０４）。検出された変位量と閾値とを比較し（ステップＳ３０５）、変位量が閾値以下の場合には（ステップＳ３０５でＮｏ）、ｉを１計数し（ステップＳ３０６）、ステップＳ３０４に移行する。

変位量が閾値より大きい場合には（ステップＳ３０５でＹｅｓ）、読込部１２３ａは当該変位量に対応する、隣接する所定時間区間の境界点までの分類結果をセグメント区間の分類結果として読み出す（ステップＳ３０７）。カテゴリ占有率算出部１２４はセグメント区間におけるカテゴリ占有率を算出し（ステップＳ３０８）、環境判定部１２５は当該カテゴリ占有率に基づいて当該セグメント区間の環境を判定する（ステップＳ３０９）。環境を判定すると、記憶部２０及び着信音要否判定部３０に環境情報を送信する（ステップＳ３１０）。
＜具体例＞
図１１は本実施の形態２の特徴を模式的に示す図である。本図上部は環境音カテゴリ毎の分類結果を示す図である。本図下部はセグメント単位におけるカテゴリ占有率の変化を時系列に示す図である。本図における横軸は時間軸である。バス、電車、音声、屋内、及び屋外は環境音カテゴリを示す。

実施の形態１における具体例との違いは、ある一定の時間区間単位（３０秒）のカテゴリ占有率を算出するのではなく、セグメント区間のカテゴリ占有率を算出することである。図中の時点ｔ１から時点ｔ５までの各時点はパワースペクトルが閾値を越えて変化した時点、すなわちセグメントの境界点を示している。時点ｔ１から時点ｔ２までの区間がセグメント区間であり、音声分析装置１００ａは当該セグメント区間におけるカテゴリ占有率を算出する。

同様に、時点ｔ２から時点ｔ３、時点ｔ３から時点ｔ４、時点ｔ４から時点ｔ５がそれぞれセグメント区間となる。
環境判定部１２５は各セグメント区間においてカテゴリ占有率に基づいて環境を判定するとともに、時間的に前後する二つのセグメント区間におけるカテゴリ占有率が所定の閾値を越えて変化した場合に、それらのセグメントの境界を環境変化の区切れ目であると判定する。

以上のように本実施の形態によれば、まず、音声信号のパワースペクトルの時間変位でセグメントを設定し、その後当該セグメントにおけるカテゴリ占有率に基づいて環境を判定するので、環境判定の精度を向上させることができる。また、セグメント設定後、環境音分類結果に基づくカテゴリ占有率の変化の割合で環境の変化時点を特定しているので、より環境の変化時点検出の精度を高めることができる。例えば、カテゴリ占有率が緩やかに変化しているような場合であっても、環境変化時点をより誤差なく検出できる。

なお、本実施の形態では、蓄積部１２１は実施の形態１のように、時間区間設定部１２２により設定された時間分の分類結果を蓄積するのではなく、セグメント決定部１２６により決定されたセグメントの開始点から終端点までの分類結果を蓄積する。すなわち、蓄積部１２１で蓄積すべき分類結果の時間量を一意に設定することはできない。したがって、セグメント境界を決定するに当たって、蓄積部１２１で蓄積可能な最大時間長を記憶しておき、その範囲で最大の変位量を示す時点をセグメント境界点であると判定するとしてもよい。
（実施の形態３）
実施の形態１では、時間的に前後する二つの判定対象区間のカテゴリ占有率の変化の割合が閾値を超えて変化する場合に環境が変化するとし、その時点を検出したが、ユーザの動作なしには環境変化が起こる可能性は低いと仮定できる。そこで、本実施の形態では、音声分析装置はユーザの動作を検出する構成を備え、ユーザ動作中である場合に、環境判定を行い、環境が変化する場合には環境の変化時点を検出する。
＜音声分析装置１００ｂの構成＞
図１２は本実施の形態における音声分析装置１００ｂの機能ブロック図である。図１２に示すように、音声分析装置１００ｂは、実施の形態１における音声分析装置１００の構成要素に加え、さらに動作検出部１４０を含み、本実施の形態におけるイベント分割点判定部１２０ｂは、実施の形態１におけるイベント分割点判定部１２０の構成要素に加え、さらにユーザ動作判定部１２７を含んで構成される。

動作検出部１４０は３軸加速度センサやジャイロセンサ、電子高度計、電子コンパス等を含んで構成され、ユーザの動作を検出し、検出された動作情報をユーザ動作判定部１２７に送信する。３軸加速度センサやジャイロセンサのサンプリング周波数は、例えば、３０Ｈｚ以上に設定されているものとする。なお、これらのセンサは音声分析装置１００ｂとともに携帯電話機１に備わっているとしてもよいし、センサ類は直接ユーザの身体に装着するものであってもよい。

ユーザ動作判定部１２７は動作検出部１４０から入力される動作情報に基づいてユーザが動作中であるか否かを判定する。具体的には、ユーザが歩行や走行状態である場合には２〜４Ｈｚに特徴的なピークが現れるので、この特徴的なピークを検出することができるか否かによりユーザが動作中であるか否かの判定を行う。
また、ユーザ動作判定部１２７は判定結果に基づく通知を時間区間設定部１２２ｂに送信する。

時間区間設定部１２２ｂは実施の形態１の時間区間設定部１２２の機能に加え、ユーザ動作判定部１２７から入力されるユーザ動作にかかる通知に基づいて読込部１２３ｂを制御する機能を有する。具体的には、ユーザ動作中である旨の通知が入力された場合には、読込部１２３ｂに対し読み込みを許可し、ユーザが動作中でない旨の通知が入力された場合には、読込部１２３ｂによる読み込みを抑制する。

読込部１２３ｂは、時間区間設定部１２２ｂにより読み込みが許可されている場合、すなわち、ユーザ動作区間では、実施の形態１の読込部１２３と同様に蓄積部１２１から分類結果を読み込む。時間区間設定部１２２ｂにより読み込みが抑制されている場合、すなわち、ユーザ動作区間以外の区間では、蓄積部１２１からの分類結果の読み込みを行わない。
＜音声分析装置１００ｂの動作＞
続いて、図１３は音声分析装置１００ｂの処理手順を示すフローチャートである。ステップＳ４０１の環境音分類処理は図４に示す環境音分類処理と同様である。ユーザ動作判定部１２７はユーザが動作中か否かを判定し（ステップＳ４０２）、判定が肯定的な場合に（ステップＳ４０２でＹｅｓ）、音声分析装置１００ｂは環境判定処理を行う（ステップＳ４０３）。この環境判定処理は図４に示す環境判定処理と同様である。ユーザ動作判定部１２７はユーザ動作が終了したか否かを判定し（ステップＳ４０４）、判定が肯定的な場合に（ステップＳ４０４でＹｅｓ）、ステップＳ４０２に移行し、判定が否定的な場合に（ステップＳ４０４でＮｏ）、ステップＳ４０３に移行する。すなわち、ユーザが動作中であると判定される区間においては環境判定処理を行う。
＜具体例＞
図１４は本実施の形態３を模式的に示す図である。本図上部は環境音カテゴリ毎の分類結果を示す図である。本図下部は時間区間単位におけるカテゴリ占有率の変化を時系列に示す図である。本図における横軸は時間軸である。バス、電車、音声、屋内、及び屋外は環境音カテゴリを示す。

実施の形態１における具体例との違いは、ユーザ動作中であると判定された区間において環境の判定を行う点である。図中の時点ｔ１１から時点ｔ１２はユーザが動作中である期間を示している。同様に、時点ｔ１３から時点ｔ１４、時点ｔ１５から時点ｔ１６もそれぞれユーザが動作中である期間を示している。音声分析装置１００ｂはそれらの区間において、各判定対象区間におけるカテゴリ占有率に基づく環境の判定を行う。環境の判定とともに、ユーザ動作が検出された区間であり、かつ、時間的に前後する二つの判定対象区間におけるカテゴリ占有率が所定の閾値を越えて変化した場合には、それらの判定対象区間の境界を環境変化の区切れ目であると判定する。

以上のように本実施の形態によれば、ユーザ動作中の区間であり、かつ、時間的に前後する二つの判定対象区間におけるカテゴリ占有率が所定の閾値を越えて変化した場合に、それらの判定対象区間の境界を環境変化の区切れ目であると判定するので、環境変化の境目の検出精度を向上させることができる。また、ユーザ動作時間以外の区間では、分類結果の読み込みが行われない、すなわち、カテゴリ占有率の算出及び環境判定が行われないので、演算効率を向上させることができる。
（実施の形態４）
本実施の形態は交通手段に関する環境の判定に特化した実施の形態である。
＜音声分析装置１００ｃの構成＞
図１５は本実施の形態における音声分析装置１００ｃの機能ブロック図である。図１５に示すように、音声分析装置１００ｃは実施の形態１における環境判定部１２５の代わりに交通手段判定部１２８を含んで構成される。また、環境音分類部１１０で分類する環境音カテゴリを交通に特化した環境音カテゴリ（以下、「交通手段」という）とする。交通に特化した環境音カテゴリには、例えば、歩行、列車、バス、車、自転車、及びエレベータ等が該当する。

本実施の形態における事前学習データ保持部１１３は、例えば歩行の場合であれば足音を、列車、バス、及び車の場合であれば加減速時や惰行運転時のモータ音やエンジン音を、自転車の場合であれば風切り音やチェーンが回転する音を、エレベータの場合であればその静寂音を、それぞれ音響パラメータとして保持しておく。これにより、交通手段判定に利用するための音識別が可能になる。

交通手段判定部１２８は基本的には、実施の形態１における環境判定部１２５と同様である。すなわち、判定対象区間においてカテゴリ占有率に基づき環境を判定する。また、カテゴリ占有率の変化の割合から交通手段が変化しているか否かを判定し、変化している場合には交通手段の変化時点を環境の変化時点とする。
なお、カテゴリ占有率のみに基づいて環境を判定する場合には、例えば、エレベータか否かの判定は非常に難しい。なぜなら、エレベータ内の静寂音と屋内の静寂音との判別が難しいからである。そこで、環境の判定精度を向上させるために、音声分析装置１００ｃはさらに電子高度計を備え、カテゴリ占有率と高度変位とに基づいてエレベータか否かを判定するとしてもよい。

以上のように本実施の形態によれば、利用する交通の判定を音声信号のみにより行うことができる。
（実施の形態５）
本実施の形態は実施の形態４のように環境音のみから交通手段を判定するのではなく、環境音とユーザ動作とから交通手段を判定する実施の形態である。
＜音声分析装置１００ｄの構成＞
図１６は、本実施の形態における音声分析装置１００ｄの機能ブロック図である。図１６に示すように、音声分析装置１００ｄは実施の形態１における音声分析装置１００の構成要素に加え、さらに動作検出部１４０を含む。また、音声分析装置１００ｄにおけるイベント分割点判定部１２０ｄは、環境判定部１２５の代わりに交通手段判定部１２８ｄを含み、さらに利用交通手段候補推定部１２９を含んで構成される。

利用交通手段候補推定部１２９は動作検出部１４０から入力される加速度情報や高度情報に基づいて、自装置に係るユーザが利用している交通手段の候補を一以上選別し、選別した交通手段の候補を交通手段判定部１２８ｄに送信する。
交通手段判定部１２８ｄは利用交通手段候補推定部１２９から入力される利用交通手段候補及びカテゴリ占有率算出部１２４から入力されるカテゴリ占有率に基づいて、交通手段を判定する。判定された交通手段を示す交通手段情報を記録部２０及び着信音要否判定部３０に送信する。さらに、交通手段が変化しているか否かを判定し、変化している場合には交通手段の変化時点を環境変化時点として検出し、記録部２０に送信する。

具体的には、交通手段判定部１２８ｄは例えば、判定対象区間のカテゴリ占有率のうち最も占有割合の高い交通手段であり、かつ、当該判定対象区間において利用交通手段候補として選定された交通手段である場合に、当該判定対象区間の環境は当該交通手段であると決定する。また、直近の判定対象区間と先行する判定対象区間とで、カテゴリ占有率が所定の閾値を越えて変化し、かつ、利用交通手段候補が変化した場合に、直近の判定対象区間の開始点を交通手段の変化の区切れ目であると判定する。なお、利用交通手段候補を用いるのは環境の変化時点の検出の場合だけとし、各判定対象区間における交通手段の判定はカテゴリ占有率のみに基づいて行うとしてもよい。
＜交通手段候補選別＞
図１７は交通手段候補選別処理を示すフローチャートである。利用交通手段候補推定部１２９はまず、高度情報から所定期間における高度変位値を算出する（ステップＳ５０１）。次に所定期間と高度変位値とから鉛直方向の速度を算出する（ステップＳ５０２）。利用交通手段候補推定部１２９は予め第一の閾値及び第二の閾値を記憶しており、第一の閾値と鉛直方向の速度とを比較し、鉛直方向の速度が第一の閾値より大きいか否かを判定し（ステップＳ５０３）、第二の閾値と高度変位値を比較し、高度変位値が第二の閾値より大きいか否かを判定する（ステップＳ５０５）。鉛直方向の速度が第一の閾値より大きい場合（ステップＳ５０３でＹｅｓ）、あるいは高度変位値が第二の閾値より大きい場合には（ステップＳ５０５でＹｅｓ）、交通手段の候補として、エレベータを選定する（ステップＳ５０４）。

ステップＳ５０３及び５０５での判定が共に否定的なものである場合には、 利用交通手段候補推定部１２９は例えば、３軸加速度センサにおいて１５Ｈｚより大きい加速度値が検出されたか否かを判定する（ステップＳ５０６）。１５Ｈｚより大きい加速度値が検出された場合には（ステップＳ５０６でＹｅｓ）、バス、車、列車及び自転車の何れか一以上を選定する。特に、バス、車、及び自転車においては、上下方向の微小加速度が頻繁に見られるので、パワースペクトルの平均値を時間方向に追跡することで移動と停止が比較的検出できる。よって、利用交通手段候補推定部１２９は一定時間以上の上下方向の微小加速度が検出されたか否かを判定し（ステップＳ５０７）、一定時間以上の上下方向の微小加速度が検出された場合には（ステップＳ５０７でＹｅｓ）、交通手段の候補として、バス、車、及び自転車を選定する（ステップＳ５０８）。

一定時間以上の上下方向の微小加速度が検出されない場合には（ステップＳ５０７でＮｏ）、交通手段の候補として、列車を選定する（ステップＳ５０９）。
このように、移動及び停止頻度などからバス、車、及び自転車を列車と区別することが可能である。
また、歩行及び走行については２〜４Ｈｚに特徴的なピークが現れるので、この特徴的なピークを検出することにより、歩行及び走行を他の交通手段と区別することができる。したがって、加速度値が１５Ｈｚ以下の場合には（ステップＳ５０６でＮｏ）、２〜４Ｈｚに特徴的なピークがあるか否かを判定する（ステップＳ５１０）。２〜４Ｈｚにピークを検出した場合には（ステップＳ５１０でＹｅｓ）、交通手段の候補として、歩行及び走行を選定する（ステップＳ５１１）。２〜４Ｈｚにピークを検出しない場合には（ステップＳ５１０でＮｏ）、選定不可とする（ステップＳ５１２）。

利用交通手段候補推定部１２９はこのようにして選定された交通手段のいくつかを利用交通手段候補として交通手段判定部１２８ｄに出力する。
また、利用交通手段候補推定部１２９は上述のようにして選定された時点をその交通手段における開始点とし、その交通手段が選定されなくなった時点を終了点として記憶するとしてもよい。
＜音声分析装置１００ｄの動作＞
続いて、図１８は音声分析装置１００ｄの処理手順を示すフローチャートである。ステップＳ６０１の環境音分類処理は図４に示す環境音分類処理と同様である。本フローチャートにおいて、図４に示すフローチャートと異なる点は以下の四点である。一点目は交通手段判定部１２８ｄが交通手段候補を取得する点である（ステップＳ６０４）。二点目は交通手段判定部１２８ｄがカテゴリ占有率及び交通手段候補がすでに記憶されているか否かを判定する点である（ステップＳ６０６）。三点目はステップＳ６０６における判定が否定的なものである場合に、カテゴリ占有率及び交通手段候補に基づいて環境を判定する点である（ステップＳ６０７）。四点目は割合値が閾値より大きく、かつ、交通手段候補が変化しているか否かを判定する点である（ステップＳ６０９）。

以上のように本実施の形態によれば、一以上の利用交通手段候補と、環境音分類結果とを用いて交通手段の変化時点を検出するので、環境変化の境目の検出精度を向上させることができる。
（実施の形態６）
本実施の形態における音声分析装置について、図１９を参照しながら説明する。
＜音声分析装置１００ｅの構成＞
図１９は、本実施の形態における音声分析装置１００ｅの構成の一例を示したものである。音声分析装置１００ｅは、実施の形態１の音声分析装置１００の構成要素に加え、さらに位置情報検出部１５０及び地図情報保持部１６０を含んで構成される。また、音声分析装置１００ｅにおけるイベント分割点判定部１２０ｅは、音声分析装置１００における環境判定部１２５の代わりに交通手段判定部１２８ｅを含み、さらに利用交通手段候補推定部１２９ｅを含んで構成される。

位置情報検出部１５０は、具体的には、ＧＰＳ（グローバルポジショニングシステム）等を含んで構成され、ユーザ乃至自装置の位置情報を検出し、検出した位置情報を利用交通手段候補推定部１２９ｅに出力する。
地図情報保持部１６０は、地図情報を保持している。特に交通機関（列車やバス）に関するルート情報及び道路情報を保持している。

利用交通手段候補推定部１２９ｅは、位置情報検出部１５０から入力される一定時間毎のユーザ乃至自装置の位置情報に基づいて、ユーザ乃至自装置の移動ルートを求める。移動ルートを地図情報保持部１６０に保持されているルート情報と照合し、利用交通手段の候補を選出する。そして、選出した利用交通手段候補を交通手段判定部１２８ｄに送信する。

例えば、ユーザ乃至自装置の移動ルートと列車の移動ルートとが同一であるなら、利用交通手段の候補として、列車を選出する。ユーザ乃至自装置の移動ルートとバスの移動ルートとが同一であるなら、利用交通手段の候補として、バスを選出する。それ以外の場合には、利用交通手段の候補として、徒歩、自転車、及び自動車を選出する。
音声分析装置１００ｅにおける他の構成要素は、実施の形態５における構成要素と同様である。

以上のように本実施形態によれば、一以上の利用交通手段候補と環境音分類結果とを用いて交通手段の変化時点を検出するので、環境変化の境目の検出精度を向上させることができる。
（実施の形態７）
本実施の形態における音声分析装置について、図２０を参照しながら説明する。
＜音声分析装置１００ｆの構成＞
図２０は、本実施の形態における音声分析装置１００ｆの構成の一例を示した図である。音声分析装置１００ｆは、実施の形態６の音声分析装置１００ｅの利用交通手段推定部１２９ｅ及び地図情報保持部１６０の代わりに速度推定部１７０を含んで構成される。他の構成要素は実施の形態６の音声分析装置１００ｅにおける各構成要素と同様である。

速度推定部１７０は位置情報検出部１５０から入力される一定時間毎のユーザ乃至自装置の位置情報に基づいて、ユーザ乃至自装置の移動速度を推定する。さらに、推定された移動速度から交通手段を推定し、推定された交通手段を交通手段判定部１２８ｆに送信する。
具体的には、例えば、１秒間隔で位置情報が入力されるよう予め設定されているとすると、各時点における位置情報（緯度、経度情報）とヒュベニの距離計算式とを用いて、各隣接時間の２点間の距離を算出する。この距離は、単位時間あたりの移動距離に相当するので、そのまま秒速に近似することができる。このように算出された速度から、移動期間や停止期間、最大速度等を算出し、交通手段を推定する。

速度推定部１７０は、例えば、少なくとも数分間隔以上で移動期間及び停止期間があり、算出された最大速度が８０ｋｍ／ｈを越える場合には、列車移動であると推定する。そして、交通手段として、列車を示す情報を交通手段判定部１２８ｆに送信する。
また、より短い間隔で移動期間及び停止期間があり、算出された最大速度が６０ｋｍ／ｈ以下であれば、車かバス移動であると推定し、算出された最大速度が１０ｋｍ／ｈ以下であれば、徒歩で移動であると推定する。

交通手段判定部１２８ｆは速度推定部１７０から入力される交通手段候補及びカテゴリ占有率算出部１２４から入力されるカテゴリ占有率に基づいて、交通手段を判定する。判定された交通手段を示す交通手段情報を記録部２０及び着信音要否判定部３０に送信する。さらに、交通手段が変化しているか否かを判定し、変化している場合には交通手段の変化時点を環境変化時点として検出し、記録部２０に送信する。環境の判定や変化時点の検出方法の詳細については交通手段判定部１２８ｄと同様である。

以上のように本実施の形態によれば、一以上の利用交通手段候補と、環境音分類結果とを用いて交通手段の変化時点を検出するので、環境変化の境目の検出精度を向上させることができる。
なお、速度推定方法は本実施の形態で用いた速度推定方法に限定するものではない。
（変形例）
以上、本発明に係る音声分析装置について、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られないことは勿論である。

上記実施の形態では、携帯電話機１は音声分析装置により判定された環境に応じてマナーモードへの自動移行を行う構成であるとしたが、環境に応じて着信規制を行う構成としてもよい。その場合には、携帯電話機は、着信音要否判定部３０の代わりに、音声分析装置１００から入力される環境情報に基づいて着信の要否を判定し、判定結果を着信抑制部に送信する着信要否判定部を備え、モード設定部４０の代わりに、着信要否判定部から入力される判定結果に基づいて着信を抑制する着信抑制部を備える。より詳細には、例えば環境情報がバスまたは電車を示すものである場合に、着信不要判定部は着信を不要と判定し、着信抑制部は着信を抑制する。これにより、着信時の受信側の状況に応じて不要な着信を防止することができる。

また、環境に応じてボタン押下時の音が無音になるよう設定する構成であってもよい。その場合には、携帯電話機は、着信音要否判定部３０の代わりに、音声分析装置から入力される環境情報に基づいてボタン押下時の音を無音にすべきか否か判定し、判定結果をボタン押下音設定部に送信する判定部を備え、モード設定部４０の代わりに、判定部から入力される判定結果に基づいてボタン押下時の音が無音になるよう無音設定に移行するボタン押下音設定部を備える。より詳細には、例えば、環境情報がバスまたは電車を示すものである場合に、判定部はボタン押下時の音を無音にすべきと判定し、ボタン押下音設定部はボタン押下時の音が無音になるよう設定する。

上記実施の形態では、携帯端末を携帯電話機であるとして説明したが、それ以外に例えば、ウェアラブル端末、万歩計（登録商標）、ポータブルＰＣ、デジタルスチルカメラ、デジタルビデオカメラ、補聴器等であってもよい。
携帯端末がウェアラブルカメラである場合について説明する。ウェアラブルカメラは、例えば、胸の位置や眼鏡のつるの部分などに装着され、装着者の体験を常時撮影し記録するデバイスである。上述した音声分析装置をウェアラブルカメラに備えることにより、例えば工場での作業員の滞在場所の変化を環境音で捉え、それを記録として残すという機能が実現可能である。具体的には、ウェアラブルカメラは、音声分析装置から入力される環境情報に基づいて環境の変化の有無を判定し、判定結果を環境変化時刻記録部に送信する判定部と、判定部から入力される判定結果を時刻とともに記録する環境変化時刻記録部とを備える。より詳細には、例えば環境情報が屋内から屋外に変化した場合、あるいは屋外から屋内に変化した場合に、環境変化時刻記録部はその変化時点の時刻と環境情報とを記録する。その他の構成要素については携帯電話機１の構成要素と同様である。

続いて、携帯端末が万歩計（登録商標）である場合について説明する。万歩計（登録商標）は例えば、腰の位置に装着され、装着者の歩数を計測するデバイスである。上述した音声分析装置を万歩計（登録商標）に備えることにより、例えば、いつどういった環境で歩行が行われたのかといった歩行の形態を細かく分類する機能が実現可能である。具体的には、万歩計（登録商標）は音声分析装置から入力される環境情報に基づいて歩行中の環境情報を取得する歩行時環境取得部と、歩行時環境取得部から入力される環境情報を時刻及び歩数とともに記録する歩行時環境記録部とを備える。他の構成要素については携帯電話機１の構成要素と同様である。これにより、例えば、毎朝毎晩の屋外での通勤移動時に行われた歩行か、あるいは勤務先の屋内での作業時に行われた歩行か、などを判別することができ、万歩計（登録商標）の装着者に健康管理面での新たな発見を与える効果が期待できる。

続いて、携帯端末がカメラである場合について説明する。静止画だけでなく、静止画が撮影された時刻前後の音声も合わせて記録するデジタルスチルカメラ（携帯電話機などの静止画撮影機能などを含む）や、動画と音声とを合わせて記録するデジタルビデオカメラ（携帯電話機のビデオ撮影機能なども含む）では、撮影されたシーンの雰囲気をメタデータとしてそのシーンに合わせて記録することで、自動的にシーンを分類することが可能となる。具体的には、デジタルスチルカメラあるいはデジタルビデオカメラは、環境判定部１２５から逐次入力される環境判別結果を集計し、所定区間における支配的な環境音を判定する支配的環境音判定部と、支配的環境音判定部から入力される支配的環境音の情報を、カメラで記録された音声及び画像信号と関連付けて記録する支配的環境音記録部と、を備える。例えば、撮影されたシーン２０秒において、支配的環境音判定部には環境判定部１２５から環境判別結果（例えば１秒単位で出力されるものとする）が時系列順に２０個入力されるが、これらの判別結果から、例えば屋外の雑踏音が支配的であるとすると（例えば２０秒のうち占める割合が７割以上あったなど、ある一定以上割合である場合に支配的であるとする）、撮影されたシーンに対し雰囲気情報として「屋外雑踏音」というラベルを付与する。

これにより、撮影シーンを雰囲気情報別に分類でき、ユーザが後にそのシーンを簡単に想起しやすくなるなどの効果が期待できる。なお、支配的であるか否かを判定する方法は、上述したものに限るものではなく、該当シーンで最も多く環境音として分類されたものを支配的であると判定してもよい。
続いて、携帯端末が補聴器である場合について説明する。補聴器の具体的な構成としては、環境判定部１２５から入力される環境判別結果に応じて補聴方法を選択する補聴方法選択部と、選択された補聴方法に応じて補聴処理を行う補聴処理部とを備える。補聴器では、音の環境に応じて補聴のための信号処理を変えることで、明瞭度を大きく改善できる。例えば、屋内の雑踏にいるときは、周波数の中高域部を不快感の生じないよう持ち上げ、屋外の交通騒音下にいるときには、周波数の低域部を不快感の生じないよう持ち上げる。

続いて、携帯端末がポータブルＰＣである場合について説明する。ポータブルＰＣの場合には具体的には、携帯電話機やカメラで説明した機能をＰＣ上で実現するために、それぞれの構成要素の全てもしくは一部をＰＣ上で動作するソフトウェアもしくはＰＣカードやＵＳＢ接続などの外部機器上に実装することなどが考えられる。
上記実施の形態では、環境音分類部１１０は具体的にはＤＳＰ等により実現されるとしたが、マイクロプロセッサにより実現してもよい。また、イベント分割点判定部１２０は具体的にはマイクロプロセッサ等により実現されるとしたが、ＤＳＰにより実現してもよい。

上記実施の形態では、時間区間の設定はオーバーラップして設定したが、オーバーラップせずに時間区間を設定してもよい。
上記実施の形態６では、位置情報検出部１５０はＧＰＳ等を含んで構成されるとしたが、これに限るものではない。ＰＨＳ・ＴＶ放送波を利用した位置情報システムなどであってもよい。

上記実施の形態では、割合値が閾値より大きいと判定した場合には、新たに受信したカテゴリ占有率に対応する時間区間の開始点を環境の変化時点として検出したが、これに限るものではない。例えば、記憶しておいたカテゴリ占有率に対応する時間区間の終了点を環境の変化時点として検出してもよいし、占有率が所定の閾値を越えて変化した時点を、環境変化の区切れ目であると判定し、その時点を変化時点として検出してもよい。

上記実施の形態では、割合値が閾値を超えて変化した場合に、変化時点を検出するとしたが、カテゴリ占有率における一の環境音カテゴリの占有率が所定の閾値を超えた場合に（例えば、バスの占有率が９０％を超えた場合に）、変化時点を検出するとしてもよい。
上記の実施形態では、割合値が閾値より大きいか否かを判定することにより、環境の判定を行ったが、割合値を算出せずとも、各時間区間における各環境音カテゴリの占有率に基づいて、環境を判定するとしてもよい。その場合には例えば、環境判定部１２５はカテゴリ占有率算出部１２４から送信されたカテゴリ占有率を受信し、受信したカテゴリ占有率において、各環境音カテゴリの占有率のうち、最も占有率の高い環境音カテゴリを決定することにより、環境の判定を行うとしてもよい。図２１は、割合値を用いない場合の環境判定についてのフローチャートである。ステップＳ７０１〜７１１は図４におけるステップＳ１０１〜１１１と同様の処理である。ステップ７１２において、算出されたカテゴリ占有率に基づき環境を判定し、ステップＳ７１３において、判定した環境に変化があるか否かを判定し、環境変化がある場合に、ステップＳ７１４において、判定した環境を記録部２０及び着信音要否判定部３０に送信している点で図４における処理とは異なる。

また、カテゴリ占有率を算出しなくとも、判定対象区間における各環境音カテゴリの数をカウントすることにより環境を判定してもよい。例えば、環境の判定は判定対象区間において一番数が多い環境音カテゴリを決定することによりなされるとしてもよい。
上記実施の形態では、携帯電話機１は環境情報と時刻とを記憶する構成としたが、環境情報と時刻とに基づいて、いつどこで何をしていたのかを思い出すための日記を自動作成したり、あるいは旅行記のようなものを自動作成したりしてもよい。また、環境情報と時刻とに基づいて、ユーザの状況をリアルタイムに推定し、その状況に応じたナビゲーションサービスなどを行うとしてもよい。

上記実施の形態では、音声分析装置について説明したが、本発明は上記フローチャートで示したステップを含む方法、及び上記フローチャートで示したステップをコンピュータに実行させるプログラムコードを含むプログラム、及びシステムＬＳＩ等の集積回路であっても良い。システムＬＳＩは、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
更には、半導体技術の進歩又は派生する技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。例えば、バイオ技術の適用などが可能性としてありうる。

本発明にかかる音声分析装置は、主に携帯端末等に用いられる音声分析装置として有用である。ここでいう携帯端末とは、ウェアラブルカメラ、万歩計（登録商標）、ポータブルＰＣ、携帯電話機、デジタルスチルカメラ、デジタルビデオカメラ、及び補聴器等である。

１ 携帯電話機
１０ 音声信号収音部
２０ 記録部
３０ 着信音要否判定部
４０ モード設定部
１００〜１００ｆ 音声分析装置
１１０ 環境音分類部
１１１ 音響パラメータ算出部
１１２ カテゴリ分類部
１１３ 事前学習データ保持部
１２０ イベント分割点判定部
１２１ 蓄積部
１２２、１２２ｂ 時間区間設定保持部
１２３、１２３ａ、１２３ｂ 読込部
１２４ カテゴリ占有率算出部
１２５ 環境判定部
１２６ セグメント決定部
１２７ ユーザ動作判定部
１２８、１２８ｄ、１２８ｆ 交通手段判定部
１２９、１２９ｅ 利用交通手段候補推定部
１３０ パワースペクトル算出部
１４０ 動作検出部
１５０ 位置情報検出部
１６０ 地図情報保持部
１７０ 速度推定部

Claims (13)

1. 音声信号を収音し、単位時間毎の音響パラメータを算出する音響パラメータ算出手段と、
   算出された音響パラメータに基づいて、単位時間の部分音声信号が、複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定するカテゴリ決定手段と、
   複数の連続する単位時間を含んでなる判定対象区間を、時間経過に従い時間軸上に沿って随時設定する区間設定手段と、
   少なくとも直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定する環境判定手段と
   を含む音声分析装置。
2. 前記環境判定手段は、前記直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間全体に占める各環境音カテゴリの割合を示すカテゴリ占有率を算出する算出手段を含み、
   前記環境音カテゴリ数に基づく環境の判定は、前記カテゴリ占有率のうち最も占有割合の高い環境音カテゴリを決定することによりなされる
   請求項１記載の音声分析装置。
3. 前記環境判定手段は判定対象区間毎に当該判定対象区間全体に占める各環境音カテゴリの割合を示すカテゴリ占有率を算出する算出手段を含み、
   前記環境音カテゴリ数に基づく環境の判定は、直近の判定対象区間のカテゴリ占有率と先行する判定対象区間のカテゴリ占有率との変化の割合が予め定められた閾値より大きいか否かの判定に基づき行われる
   請求項１記載の音声分析装置。
4. 前記音声分析装置は、さらに、
   前記音声信号のパワースペクトルを算出するパワースペクトル算出手段と、
   前記パワースペクトル算出手段により算出されたパワースペクトルの時間変位を検出し、検出された変位が予め定められた閾値を超えているか否かを判定する変位判定手段と、を含み、
   前記区間設定手段は、前記変位判定手段により肯定的な判定がなされた時点を先行する判定対象区間の終了点とするとともに前記直近の判定対象区間の開始点とし、次に肯定的な判定がなされる時点を前記直近の判定対象区間の終了点とするとともにそれに後続する判定対象区間の開始点とするよう判定対象区間を設定する
   請求項１記載の音声分析装置。
5. 前記区間設定手段により前後して設定される二つの判定対象区間は相互にオーバーラップしている部分を有し、
   前記環境判定手段はさらに、前記変化の割合が前記閾値より大きくなる場合に、前記直近の判定対象区間または前記先行する判定対象区間の所定時点を、前記環境の変化時点として検出する
   請求項３記載の音声分析装置。
6. 前記音声分析装置は、さらに、
   自装置に係るユーザの動作情報を検出する動作検出手段と、
   検出された動作情報に基づいて前記ユーザが動作中であるか否かを判定する動作判定手段と、
   前記動作判定手段による判定が否定的なものである場合に、前記環境判定手段による環境の判定を抑制し、前記動作判定手段による判定が肯定的なものである場合に、前記環境判定手段による環境の判定を許可する制御手段と
   を含む請求項１記載の音声分析装置。
7. 前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、
   前記音声分析装置は、さらに、
   前記動作検出手段により検出された動作情報に基づき、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段を含み、
   前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出する
   請求項５記載の音声分析装置。
8. 前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、
   前記音声分析装置は、さらに、
   自装置に係るユーザの位置情報を検出する位置情報検出手段と、
   地図情報を記憶している記憶手段と、
   前記位置情報検出手段により検出された位置情報及び前記地図情報に基づいて、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段と、を含み、
   前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出する
   請求項５記載の音声分析装置。
9. 前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、
   前記音声分析装置は、さらに、
   自装置に係るユーザの位置情報を検出する位置情報検出手段と、
   所定間隔で位置情報を取得し、各隣接時間の２点間の距離を算出することにより、速度を推定する速度推定手段と、
   前記速度推定手段により推定された速度に基づき、前記ユーザの交通手段の候補として、一以上の環境音カテゴリを選出する選出手段と、を含み、
   前記環境判定手段は、さらに、前記直近の判定対象区間と前記先行する判定対象区間とで、前記選出手段により選出される前記一以上の環境音カテゴリに変化がある場合に、前記所定時点を前記環境の変化時点として検出する
   請求項５記載の音声分析装置。
10. 前記複数ある環境音カテゴリの各々は交通手段に関する環境音カテゴリであり、前記環境判定手段により検出される環境の変化時点とは、交通手段が変化する時点である
    請求項５記載の音声分析装置。
11. 音声信号を収音し、単位時間毎の音響パラメータを算出する音響パラメータ算出ステップと、
    算出された音響パラメータに基づいて、単位時間の部分音声信号が、複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定するカテゴリ決定ステップと、
    複数の連続する単位時間を含んでなる判定対象区間を、時間経過に従い時間軸上に沿って随時設定する区間設定ステップと、
    少なくとも直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定する環境判定ステップと
    を含む音声分析方法。
12. 音声信号を収音し、単位時間毎の音響パラメータを算出する音響パラメータ算出ステップと、
    算出された音響パラメータに基づいて、単位時間の部分音声信号が、複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定するカテゴリ決定ステップと、
    複数の連続する単位時間を含んでなる判定対象区間を、時間経過に従い時間軸上に沿って随時設定する区間設定ステップと、
    少なくとも直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定する環境判定ステップと、
    からなる手順をコンピュータに行わせることを特徴とするコンピュータ読み取り可能な音声分析プログラム。
13. 音声分析装置に設けられるシステム集積回路であって、
    音声信号を収音し、単位時間毎の音響パラメータを算出する音響パラメータ算出手段と、
    算出された音響パラメータに基づいて、単位時間の部分音声信号が、複数ある環境音カテゴリのうちどの環境音カテゴリに属するかを決定するカテゴリ決定手段と、
    複数の連続する単位時間を含んでなる判定対象区間を、時間経過に従い時間軸上に沿って随時設定する区間設定手段と、
    少なくとも直近の判定対象区間に含まれる環境音カテゴリ数に基づいて当該判定対象区間における自装置の周囲の環境を判定する環境判定手段と
    を備えるシステム集積回路。

Images