JP6431884B2 - シングルチャンネル音声残響除去方法及びその装置 - Google Patents

Description

本発明は、音声強調分野に関し、特に、シングルチャンネル音声残響除去方法及びその装置に関する。

電話会議、スマートテレビネットワーク電話などの音声通信において、発話者がマイクロフォンから遠く離れ、且つ通話環境が相対的に密閉される空間であるため、マイクロフォンが受信した信号は環境残響に影響されやすい。例えば、部屋の中で、音声が壁面、床板、家具などにより複数回の反射を経て、マイクロフォンが受信した信号は直接音と反射音の混合信号となる。この反射音でさえ残響信号である。残響がひどいとき、音声は不明瞭となり、通話品質に影響を与えてしまう。また、残響による干渉は、さらに音声学受信システムの性能を劣化させたり、音声識別システムの性能を低下させたりしてしまう。

早期の残響除去方法は、主にデコンヴォルーションを活用して実行していた。このような方法では、事前に残響環境のインパルス応答又は伝達関数を正確に把握する必要がある。残響環境のインパルス応答はある特別な方法又は装置を介して事前に検出することができ、また、その他の方法を介して単独で推定できる。そして、この知っていた残響環境のインパルス応答を活用して、逆フィルタを推定し、残響信号のデコンヴォルーションを実現することによって、残響除去を実現する。このような方法の問題点は、残響環境のインパルス応答を事前に獲得するのがより困難であり、且つ逆フィルタの推定プロセス自体も新しい不安定な要素を引き入れる可能性があるというのである。

もう１種の残響除去の方法としては、残響環境のインパルス応答を推定する必要がないため、逆フィルタ計算及び逆平滑演算が必要ではなくなり、ブラインド残響除去方法とも称されている。この種の方法は、音声モデルの仮説に基づいて、例えば、残響は、受信された濁音励磁パルスに変化を起こして、その周期性がある程度不明瞭になるようして、引いて音声の明瞭度を影響するのは一般的です。この種の方法は、通常、LPC（Linear Prediction Coding, 線形予測符号）モデルに基づき、音声を生じるモデルが全極型モデルであると仮説して、残響又は他の加法性ノイズはシステム全体に新しい零点を引き入れることで、濁音励磁パルスを干渉するが、全極型フィルタに影響を与えない。残響除去の方法としては、信号のLPC残差を推定して、そして、ピッチ同期クラスタリング基準（pitch-synchronous clustering criterion）又は尖度（Kurtosis）最大化基準などに基づいて、クリアなパルス励磁配列を推定することにより、残響除去を実現する。この種の方法の問題は、計算の複雑度が非常に高く、且つ残響に対して全零点フィルタの仮説のみに影響を及ぼし、実験分析と一致しないことがあるというのである。

スペクトル減算法を用いて残響を除去するのは好ましい方法であり、音声信号が直接音、早期反射音及び後期反射音を含み、スペクトル減算法を用いて、後期反射音のパワースペクトルを音声全体のパワースペクトルから除去することで音声品質を向上することができる。しかし、その中で最も主な問題は後期反射音のスペクトルの推定にあたり、即ち、如何により正確な後期反射音のパワースペクトルを獲得して、後期反射音の成分を効果的に除去するとともに音声を損傷しないことができるのかである。シングルチャンネル音声残響除去において、モノパスマイクロフォン信号しか使用できないため、残響環境の伝達関数又は残響時間（RT60）を推定することが非常に困難である。

本発明は、シングルチャンネル音声残響除去においての残響環境の伝達関数又は残響時間を推定しにくいという問題を解決するために、シングルチャンネル音声残響除去方法及びその装置を提供する。

本発明は、シングルチャンネル音声残響除去方法を開示しており、
入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号に対して、
現在フレームに対して短時間フーリエ変換を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得する処理と、
現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームを選んで、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理であって、前記の現在フレームの後期反射音のパワースペクトルを推定するために残響時間を推定することが必要とされない処理と、
スペクトル減算法によって、現在フレームのパワースペクトルから、推定された現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得する処理と、
現在フレームの直接音及び早期反射音のパワースペクトルを現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を獲得する処理と、を行うことを含む。

前記後期反射音の減衰特性に基づいて前記持続時間範囲の上限値を設定することが好ましく、
及び/又は、音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値を設定することが好ましい。

前記持続時間範囲の上限値が０．３s〜０．５sの範囲内の値を選択することが好ましい。

前記持続時間範囲の下限値が５０ms〜８０msの範囲内の値を選択することが好ましい。

前記の、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理は、具体的に、
自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、
或は、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、
或は、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、を含むことが好ましい。

本発明は、また、シングルチャンネル音声残響除去装置を開示しており、
入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号をフーリエ変換ユニットへ出力するためのフレーム分割ユニットと、
受信された現在フレームに対して短時間フーリエ変換処理を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得して、現在フレームのパワースペクトルをスペクトル減算ユニットとスペクトル推定ユニットへ出力し、位相スペクトルを逆フーリエ変換ユニットへ出力するためのフーリエ変換ユニットと、
現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームのパワースペクトルを線形重畳加算して、現在フレームの後期反射音のパワースペクトルを推定し、そして推定された現在フレームの後期反射音のパワースペクトルをスペクトル減算ユニットへ出力するためのスペクトル推定ユニットであって、前記の現在フレームの後期反射音のパワースペクトルを推定するために残響時間を推定することが必要とされないスペクトル推定ユニットと、
スペクトル減算法によって、フーリエ変換ユニットより獲得した現在フレームのパワースペクトルから、スペクトル推定ユニットより獲得した現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得し、現在フレームの直接音及び早期反射音のパワースペクトルを逆フーリエ変換ユニットへ出力するためのスペクトル減算ユニットと、
スペクトル減算ユニットより獲得した現在フレームの直接音及び早期反射音のパワースペクトルを、フーリエ変換ユニットより獲得した現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を出力するための逆フーリエ変換ユニットと、を含む。

前記スペクトル推定ユニットは、具体的に、後期反射音の減衰特性に基づいて前記持続時間範囲の上限値を設定し、及び/又は、音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値を設定するために用いられることが好ましい。

前記スペクトル推定ユニットは、具体的に、持続時間範囲の上限値が０．３s〜０．５sの範囲内の値を選択するために用いられることが好ましい。

前記スペクトル推定ユニットは、具体的に、持続時間範囲の下限値が５０ms〜８０msの範囲内の値を選択するために用いられることが好ましい。

前記スペクトル推定ユニットは、具体的に、
現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するか、
或は、現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームに対して、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するか、
或は、現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する、
ために用いられることが好ましい。

本発明の実施例の有益な効果は、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームを選べることによって、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定することで、残響環境の伝達関数又は残響時間を推定する必要がなく、現在フレームの後期反射音のパワースペクトルを推定することができ、そしてスペクトル減算法を用いて残響除去ができるため、残響除去の操作を簡略化して、より簡単に実現できることと、
音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、持続時間範囲の下限値を設定することによって、残響除去で同時に有用な直接音及び早期反射音を保留して、音声の品質を向上できることと、
後期反射音の減衰特性に基づいて持続時間範囲の上限値を設定することによって、推定された後期反射音のパワースペクトルの正確性を確保できると同時に重畳加算量を減少できることと、
本発明の実施例が上限値を０．３s〜０．５sの範囲内の値と選択しており、該上限値が実験により得たしきい値であり、残響環境が変化するとき、該上限値を調整しなくても、より良い残響除去の効果を得られることと、
本発明の実施例が下限値を５０ms〜８０msの範囲内の値と選択しており、残響環境が変化するとき、該下限値を変えなくても、効果的に直接音及び早期反射音を避けて重畳加算を行うことができ、重畳加算の結果に直接音及び早期反射音がほぼ含まれず、残響除去で同時に有用な直接音及び早期反射音を保留し、より良い音声品質を得られることとにある。
前記残響環境の変化は、残響がない消音室から残響が極めてひどい大ホールにまでの変化を含む。

本発明のシングルチャンネル音声残響除去方法の流れの模式図である。 実際の部屋においてのインパルス応答の模式図である。 本発明の実施効果の模式図であり、残響信号の時間ドメインの模式図である。 本発明の実施効果の模式図であり、残響除去後信号の時間ドメインの模式図である。 本発明の実施効果の模式図であり、残響信号及び残響除去後信号のエネルギ包絡曲線である。 本発明のシングルチャンネル音声残響除去装置の構造図である。 本発明のシングルチャンネル音声残響除去装置の具体的な実施形態の構造図である。

本発明の目的、技術的なソリューション及び利点をより明らかにするために、以下に、図面を参照しながら、本発明の実施形態をさらに詳しく説明する。

図１は、本発明のシングルチャンネル音声残響除去方法の流れの模式図である。
ステップＳ１００は、入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号に対して下記の処理を行う。

ステップＳ２００は、現在フレームに対して短時間フーリエ変換を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得する。

ステップＳ３００は、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームを選んで、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する。
前記数フレームは予定数量のフレームであり、持続時間範囲内の全てのフレーム又は該持続時間範囲内の一部のフレームであってもよい。

ステップＳ４００は、スペクトル減算法によって、現在フレームのパワースペクトルから、推定された現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得する。

ステップＳ５００は、現在フレームの直接音及び早期反射音のパワースペクトルを現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を獲得する。

残響環境において、マイクロフォンが採取した信号x(t)、即ちシングルチャンネル音声信号は、直接音と反射音との混合であり、下記の残響モデルで表してもよい。


そのうち、s(t)は音源から発信した信号であり、hは音源位置からマイクロフォン位置まで両点間の部屋のインパルス応答であり、*は畳み込み演算を表し、n(t)は残響環境における他の加法性雑音を表す。

図２に示す実際の部屋のインパルス応答は、直接ピークhdと、早期反射heと、後期反射hlと３つの部分に分けられる。hdとs(t)との畳み込みは音源より発信した信号は一定の遅延を経てからマイクロフォン端においての再現であり、x(t)における直接音と対応していると簡単に考えてもよい。早期反射部分のインパルス応答がhdと後の一定持続時間の部分と対応しており、該一定持続時間の終止時間点は５０ms〜８０msの範囲内のある時間点である。一般的に、この部分とs(t)との畳み込みにより生じた早期反射音は直接音の音質を強調及び改善する働きがあると見なされる。後期反射音部分のインパルス応答は、hd及びheを除去した後に部屋のインパルス応答が残った長いテーリング部分であり、この部分とs(t)との畳み込みにより生じた反射音は聴覚に影響をもたらす残響成分となる。残響除去算法は主にこの部分の影響を除去するのである。

従って、残響モデルは次のように表してもよい。


ここで、hl部分が指数減衰モデルの要件を満たしており、以下の数式で近似算出する。


そのうち、T_rは残響環境の残響時間（RT60）で、b(t)は零均値ガウス分布ランダム可変量である。

以下、後期反射音のパワースペクトルを如何に推定するかを詳しく説明する。
パワースペクトル分析の角度から考えると、信号のパワースペクトルX(t,f)は下記のように表す。


そのうち、R(t,f)は後期反射音のパワースペクトルであるが、Y(t,f)は直接音及び早期反射音のパワースペクトルであるため、保留される。後期反射音のパワースペクトルR(t,f)を推定した後、スペクトル減算法を用いてX(t,f)からY(t,f)を推定して、残響除去を実現する。

残響発生モデルに基づいて分析すると、後期反射音のパワースペクトルはその前の信号パワースペクトルにおけるある成分と線形関係となるが、直接音及び早期反射音のパワースペクトルは人間の音声特性により、丁度、過去の信号パワースペクトルにおけるある成分と線形関係を構成していない。従って、現在フレームの前の、特定した持続時間でのフレームのパワースペクトルに対して線形重畳加算を行うことで、現在フレームの後期反射音のパワースペクトルを推定することができる。そして、スペクトル減算法を介してパワースペクトルから後期反射音のパワースペクトルを除去して、シングルチャンネル音声残響除去を実現できる。

後期反射音の減衰特性に基づいて前記持続時間範囲の上限値を設置することが好ましい。
スペクトル推定に所用のフレームが多ければ多いほど、推定はより正確になるが、フレームが多すぎると、演算の量が増えてしまう。図２及びhl部分の指数減衰モデルから分かるように、現在フレームより遠ければ遠いほど離れると、反射音のエネルギが小さくなり、ある時刻になった後の反射音のエネルギは見落とされてもよい。従って、後期反射音の減衰特性に基づいて該反射音のパワースペクトルが見落とされる時刻を獲得して、該時刻から現在フレーム時刻までの持続時間を上限値として設定する。これにより、推定された後期反射音のパワースペクトルの正確性を確保できるとともに、重畳加算の量を減らすこともできる。

音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値を設定することが好ましい。
図２から分かるように、直接音及び早期反射音のエネルギは、現在フレームに近づく時間内に集中している。直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、下限値を設定することで、線形重畳加算のとき、直接音及び早期反射音のエネルギが集中している時間帯を避けて、残響除去の同時に有用な直接音及び早期反射音をより効果的に保留でき、音声品質を向上することができる。

前記持続時間範囲の下限値は５０ms〜８０msの範囲内の値を選択することが好ましい。
実験によれば、各環境において、下限値を５０ms〜８０msの範囲内の数値とすることが確保できれば、直接音及び早期反射音部分を効果的に迂回して、有効な後期反射音のパワースペクトルをより良く推定することができる。環境の変化が発生した後、下限値を調整しなくても、より良い音声品質を獲得することができる。

前記持続時間範囲の上限値は０.３s〜０.５sの範囲内の数値を選択することが好ましい。
理論上、上限値の設定は、方法の適用の具体的な環境と関係している。本発明に係る後期反射音のパワースペクトル推定において、上限値は理論上部屋のインパルス応答の長さと対応するが、残響発生モデル及び真実な環境のインパルス応答hl部分が指数モデルに基づき減衰するため、現在時刻から遠ければ遠いほど、反射音のエネルギがより小さくなり、０．５sを超えれば、反射音のエネルギがほぼ見落とされて計上しなくてもよい。従って、実際に粗略な上限値さえ用いれば、ほとんどの残響環境に適用することができる。検証したところ、上限値は０.３s〜０.５sの範囲内の数値とされるとき、消音室（残響時間が非常に短い）、普通のオフィス部屋環境（残響時間が０.３s〜０.５s）乃至大ホール（残響時間>１s）のような多種の残響環境にいずれも優れた適応性を有している。消音室環境の下で、後期反射音がほぼない。

本発明の方法は線形成分しか推定せず、且つ直接音及び早期反射音のエネルギが集中している時間帯を避けているため、上限値の設定値が消音室の残響時間よりも長かったとしても、有効な音声成分は除去されることがない。一方、大ホール環境において、上限値の設定値が真実な残響時間よりも小さくなるが、インパルス応答は指数に基づき非常に速く減衰しており、前の０.３s以内の後期反射音成分が後期反射音成分全体のほとんどのエネルギを占めているため、残響をより効果的に除去することができる。

具体的な実施形態において、前記これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理は、具体的に、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理を含む。

例えば、下記の数式でARモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された持続時間範囲内の下限値から得た初期次数であり、J_ARは設定された持続時間範囲内の上限値から得たARモデルの次数であり、α_j,fはARモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームのパワースペクトルであり、Δtはフレームの間隔である。

具体的な実施形態において、前記これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理は、具体的に、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理を含む。

例えば、下記の数式で移動平均MAモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された持続時間範囲内の下限値から得た初期次数であり、J_MAは設定された持続時間範囲内の上限値から得たMAモデルの次数であり、β_j,fはMAモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームの直接音及び早期反射音のパワースペクトルであり、Δｔはフレームの間隔である。

具体的な実施形態において、前記これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理は、具体的に、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理を含む。

例えば、下記の数式でARMAモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された持続時間範囲内の下限値から得た初期次数であり、J_ARは設定された持続時間範囲内の上限値から得たARモデルの次数であり、α_j,fはARモデル推定パラメータであり、J_MAは設定された持続時間範囲内の上限値から得たMAモデルの次数であり、β_j,fはMAモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームの直接音及び早期反射音のパワースペクトルであり、


は現在フレームよりｊフレーム分前のフレームのパワースペクトルであり、Δtはフレームの間隔である。

ARモデル、MAモデル、ARMAモデルの解を具体的に求めるにあたって、先行技術に周知算法が存在しており、例えば、Yule-Walker方程式で解を求め、或は、Burgアルゴリズムを用いる。

スペクトル減算法を用いた残響除去において、後期反射音のパワースペクトルを推定することが最も重要である。先行技術に取り上げられた後期反射音のパワースペクトル推定は、そもそも上述したAR又はMA又はARMAモデルの1種の特例であると考えられ、また、その他の後期反射音のパワースペクトル推定方法は音声間歇段階において残響環境の残響時間（RT60）を推定し、後期反射音のパワースペクトル推定における重要なパラメータとするのは多い。本発明において、残響時間又は各種の環境に対するインパルス応答を推定する必要がないので、多種の異なる残響環境、及び、発話者が残響環境において移動することなどによる残響インパルス応答又は残響時間が変わった状況に適応することができる。

具体的な実施形態において、スペクトル減算法を用いて前記フレームのパワースペクトルから残響成分を除去する処理は、具体的に、後期反射音のパワースペクトルに基づいて、スペクトル減算法によって利得函数を求めてきて、利得函数を現在フレームのパワースペクトルと乗算して現在フレームの直接音及び早期反射音のパワースペクトルを得る。

後期反射音のパワースペクトルR(t,f)を推定終了後、残響除去された音声信号Y(t,f)はスペクトル減算法によって得られる。


そのうち、


はスペクトル減算法により得たGain（利得）函数である。

本発明の実施効果は図３に示す。残響信号（シングルチャンネル音声信号）が会議室から採取され、音源とマイクロフォンとの距離が２mとされ、残響時間が約０．４５sとなる。本発明に取り上げられたARモデルに基づき、後期反射音のパワースペクトルを推定し、下限値を８０msと設定し、上限値を０．５sと設定する。図示から分かるように、本発明の方法を用いて残響除去した後、残響テーリングが明らかに減衰し、音声の品質が顕著に向上した。

図４に示すように、本発明によるシングルチャンネル音声残響除去装置は、以下のユニットを含む。

フレーム分割ユニット１００は、入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号をフーリエ変換ユニット２００に出力するために用いられる。

フーリエ変換ユニット２００は、現在フレームに対して短時間フーリエ変換を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得して、スペクトル減算ユニット４００及びスペクトル推定ユニット３００に現在フレームのパワースペクトルを出力し、逆フーリエ変換ユニット５００に位相スペクトルを出力するために用いられる。

スペクトル推定ユニット３００は、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームを選んで、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定してから、スペクトル減算ユニット４００に出力するために用いられる。

スペクトル減算ユニット４００は、スペクトル減算法によって、フーリエ変換ユニット２００より得た現在フレームのパワースペクトルから、スペクトル推定ユニット３００より得た現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得してから、逆フーリエ変換ユニット５００に出力するために用いられる。

逆フーリエ変換ユニット５００は、スペクトル減算ユニット４００より得た現在フレームの直接音及び早期反射音のパワースペクトルを、フーリエ変換ユニット２００より得た現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を出力するために用いられる。

前記スペクトル推定ユニット３００は、具体的に、後期反射音の減衰特性に基づいて前記持続時間範囲の上限値を設置するために用いられることが好ましい。
スペクトル推定ユニット３００は、具体的に、音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値を設定するために用いられることが好ましい。
スペクトル推定ユニット３００は、具体的に、持続時間範囲の上限値は０.３s〜０.５sの範囲内の数値を選択するために用いられることが好ましい。
スペクトル推定ユニット３００は、具体的に、持続時間範囲の下限値は５０ms〜８０msの範囲内の値を選択するために用いられることが好ましい。

具体的な実施形態の装置は、図５に示すように、前記スペクトル推定ユニット３００が、具体的に、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するために用いられる。

例えば、下記の数式でARモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された持続時間範囲内の下限値から得た初期次数であり、J_ARは設定された持続時間範囲内の上限値から得たARモデルの次数であり、α_j,fはARモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームのパワースペクトルであり、Δtはフレームの間隔である。

もう１つの具体的な実施形態において、前記スペクトル推定ユニット３００は、具体的に、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームに対して、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するために用いられる。

例えば、下記の数式で移動平均MAモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された下限値から得た初期次数であり、J_MAは設定された上限値から得たMAモデルの次数であり、β_j,fはMAモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームの直接音及び早期反射音のパワースペクトルであり、Δｔはフレームの間隔である。

もう１つの具体的な実施形態において、前記スペクトル推定ユニット３００は、具体的に、現在フレームの前の、現在フレームに至るまでの距離が設定された持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するために用いられる。

例えば、下記の数式でARMAモデルを用いて現在フレームの後期反射音のパワースペクトルを推定する。


そのうち、R(t,f)は推定された後期反射音のパワースペクトルであり、J₀は設定された下限値から得た初期次数であり、J_ARは設定された上限値から得たARモデルの次数であり、α_j,fはARモデル推定パラメータであり、J_MAは設定された上限値から得たMAモデルの次数であり、β_j,fはMAモデル推定パラメータであり、


は現在フレームよりｊフレーム分前のフレームの直接音及び早期反射音のパワースペクトルであり、


は現在フレームよりｊフレーム分前のフレームのパワースペクトルであり、Δｔはフレームの間隔である。

ARモデル、MAモデル、ARMAモデルの解を具体的に求めるにあたって、先行技術に周知算法が存在しており、例えば、Yule-Walker方程式で解を求め、或は、Burgアルゴリズムを用いる。

前記スペクトル減算ユニット４００は、具体的に、後期反射音のパワースペクトルに基づいて、スペクトル減算法によって利得函数を求めてきて、利得函数を現在フレームのパワースペクトルと乗算して現在フレームの直接音及び早期反射音のパワースペクトルを得るために用いられる。

後期反射音のパワースペクトルR(t,f)を推定終了後、残響除去された音声信号Y(t,f)はスペクトル減算法によって得られる。


そのうち、


はスペクトル減算法により得たGain（利得）函数である。

上述したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる変更、均等置換、改良等は、いずれも本発明の保護範囲内に含まれるものとする。

Claims (10)

1. 入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号に対して、
   現在フレームに対して短時間フーリエ変換を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得する処理と、
   現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームを選んで、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理であって、前記の現在フレームの後期反射音のパワースペクトルを推定するために残響時間を推定することが必要とされない処理と、
   スペクトル減算法によって、現在フレームのパワースペクトルから、推定された現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得する処理と、
   現在フレームの直接音及び早期反射音のパワースペクトルを現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を獲得する処理と、
   を行うことを含むことを特徴とするシングルチャンネル音声残響除去方法。
2. 前記後期反射音の減衰特性に基づいて前記持続時間範囲の上限値が設定され、
   及び/又は、音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値が設定されることを特徴とする請求項１に記載のシングルチャンネル音声残響除去方法。
3. 前記持続時間範囲の上限値が０．３s〜０．５sの範囲内の値を選択することを特徴とする請求項１に記載のシングルチャンネル音声残響除去方法。
4. 前記持続時間範囲の下限値が５０ms〜８０msの範囲内の値を選択することを特徴とする請求項１に記載のシングルチャンネル音声残響除去方法。
5. 前記の、これらのフレームのパワースペクトルを線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理は、具体的に、
   自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、
   或は、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、
   或は、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する処理、
   を含むことを特徴とする請求項１に記載のシングルチャンネル音声残響除去方法。
6. 入力されたシングルチャンネル音声信号に対してフレーム分割を行い、時間の順に応じてフレーム信号をフーリエ変換ユニットへ出力するためのフレーム分割ユニットと、
   受信された現在フレームに対して短時間フーリエ変換処理を行い、現在フレームのパワースペクトル及び位相スペクトルを獲得して、現在フレームのパワースペクトルをスペクトル減算ユニットとスペクトル推定ユニットへ出力し、位相スペクトルを逆フーリエ変換ユニットへ出力するためのフーリエ変換ユニットと、
   現在フレームの前の、現在フレームに至るまでの距離が設定の持続時間範囲内である数フレームのパワースペクトルを線形重畳加算して、現在フレームの後期反射音のパワースペクトルを推定し、推定された現在フレームの後期反射音のパワースペクトルをスペクトル減算ユニットへ出力するためのスペクトル推定ユニットであって、前記の現在フレームの後期反射音のパワースペクトルを推定するために残響時間を推定することが必要とされないスペクトル推定ユニットと、
   スペクトル減算法によって、フーリエ変換ユニットより獲得した現在フレームのパワースペクトルから、スペクトル推定ユニットより獲得した現在フレームの後期反射音のパワースペクトルを除去して、現在フレームの直接音及び早期反射音のパワースペクトルを獲得し、現在フレームの直接音及び早期反射音のパワースペクトルを逆フーリエ変換ユニットへ出力するためのスペクトル減算ユニットと、
   スペクトル減算ユニットより獲得した現在フレームの直接音及び早期反射音のパワースペクトルを、フーリエ変換ユニットより獲得した現在フレームの位相スペクトルとともに、短時間逆フーリエ変換を行い、現在フレーム残響除去後の信号を出力するための逆フーリエ変換ユニットと、
   を含むことを特徴とするシングルチャンネル音声残響除去装置。
7. 前記スペクトル推定ユニットは、具体的に、後期反射音の減衰特性に基づいて前記持続時間範囲の上限値を設定し、及び/又は、音声関連特性及び直接音と早期反射音の残響環境下でのインパルス応答分布領域に基づいて、前記持続時間範囲の下限値を設定するために用いられることを特徴とする請求項６に記載のシングルチャンネル音声残響除去装置。
8. 前記スペクトル推定ユニットは、具体的に、持続時間範囲の上限値が０．３s〜０．５sの範囲内の値を選択するために用いられることを特徴とする請求項６に記載のシングルチャンネル音声残響除去装置。
9. 前記スペクトル推定ユニットは、具体的に、持続時間範囲の下限値が５０ms〜８０msの範囲内の値を選択するために用いられることを特徴とする請求項６に記載のシングルチャンネル音声残響除去装置。
10. 前記スペクトル推定ユニットは、具体的に、
    現在フレームの前の、現在フレームに至るまでの距離が前記設定の持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するか、
    或は、現在フレームの前の、現在フレームに至るまでの距離が前記設定の持続時間範囲内である数フレームに対して、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定するか、
    或は、現在フレームの前の、現在フレームに至るまでの距離が前記設定の持続時間範囲内である数フレームに対して、自己回帰ARモデルを用いて、これらのフレームのパワースペクトルにおける全ての成分を線形重畳加算するとともに、移動平均MAモデルを用いて、これらのフレームのパワースペクトルにおける直接音及び早期反射音の成分を線形重畳加算して現在フレームの後期反射音のパワースペクトルを推定する、
    ために用いられることを特徴とする請求項６に記載のシングルチャンネル音声残響除去装置。