JP4068182B2 - 適応フィルタ - Google Patents
適応フィルタ Download PDFInfo
- Publication number
- JP4068182B2 JP4068182B2 JP17420297A JP17420297A JP4068182B2 JP 4068182 B2 JP4068182 B2 JP 4068182B2 JP 17420297 A JP17420297 A JP 17420297A JP 17420297 A JP17420297 A JP 17420297A JP 4068182 B2 JP4068182 B2 JP 4068182B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- adaptive
- output signal
- signal power
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 176
- 238000012545 processing Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000007423 decrease Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 54
- 230000006978 adaptation Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 14
- 230000004044 response Effects 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000574 gas--solid chromatography Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Landscapes
- Filters That Use Time-Delay Elements (AREA)
- Telephonic Communication Services (AREA)
Description
【発明の属する技術分野】
本発明は、適応フィルタに係り、特に音声認識装置やテレビ会議装置などで音声入力のためにマイクロホンアレイを用いて妨害雑音を抑圧し目的信号の音声を抽出するマイクロホンアレイ処理装置に適した適応フィルタに関する。
【0002】
【従来の技術】
配列された複数のマイクロホンからなるマイクロホンアレイを用い、このマイクロホンアレイの出力信号を処理することにより、雑音を抑圧して目的音源からの目的信号のみを抽出するマイクロホンアレイ処理装置は、音声認識装置やテレビ会議装置などにおける音声入力を目的として開発が進められている。中でも、少ない数のマイクロホンで大きな雑音抑圧効果が得られる適応ビームフォーマを利用したマイクロホンアレイ処理装置については、例えば文献1:電子情報通信学会編「音響システムとデジタル処理」、文献2:Heykin:“Adaptive Filter Theory (Plentice Hall)”に述べられているように、一般化サイドローブキャンセラ、フロスト型ビームフォーマおよび参照信号法など、種々の方法が知られている。
【0003】
適応ビームフォーマ処理は、基本的には妨害雑音の到来方向に死角を有する指向性ビームを形成したフィルタにより妨害雑音を抑圧する処理である。この適応ビームフォーマ処理では、目的信号が入力した際に目的信号の一部が除去されて歪んだり、目的信号と妨害雑音が同時に入力した際に目的信号が歪んだりするという問題を避けるため、目的信号が入力した際に適応速度を小さくすることが行われている。一般には、適応ビームフォーマの出力信号パワーが大きい場合に、目的信号が入力したものとみなして適応を停止する処理が行われる。ところが、出力信号パワーは目的信号が入力した場合だけでなく、妨害雑音などの状況が変化した場合にも増大するため、このように出力信号パワーが大きいときに完全に適応を停止することには問題がある。
【0004】
一方、文献3: Julie E.Greenburg et.al.:“Evaluation of an adaptive beamforming method for hearing aids ”,pp.1662-1676,Jarnul of Acous.Soc.of Am.91(3),1992 に開示されている補聴器用のマイクロホンアレイでは、適応フィルタの適応アルゴリズムとして一般的なNLMS(Normalized Least Mean Square)法によるフィルタ更新演算の式(1)を改良し、式(2)のように参照信号パワーと出力信号パワーの和に基づいて適応速度を正規化することにより、出力信号パワーの増大時に適応を完全に停止せず、目的信号の歪みを抑えるようにしている。
【0005】
Wn+1 =Wn −2μen Xn /Pr (1)
Wn+1 =Wn −2μen Xn /(Pr +Po ) (2)
ここで、nは時刻、Wn はフィルタ係数、μはステップサイズ、en (=dn −Wn T Xn )は誤差信号、dn は希望応答、Xn は参照信号xの最新のサンプルから過去のサンプルをフィルタのタップ点数分だけ並べてベクトルとした参照信号ベクトル、Pr は参照信号パワー、Po は出力信号パワーである。参照信号xは、一般に妨害雑音と目的信号の一部および背景雑音が重畳した信号となっている。式(1)(2)のいずれの場合も、適応フィルタの適応速度は右辺第2項の大きさで決まる。
【0006】
図14に、従来の適応フィルタの構成を示す。この適応フィルタは、参照信号xにフィルタ演算を施すフィルタ部101と、希望応答dからフィルタ部101の出力信号yを減算する減算器102と、フィルタ部101のフィルタ係数について式(1)または(2)に示した更新演算を行うフィルタ更新部103からなっている。
【0007】
通常のNLMS法や、文献3に記載の改良されたNLMS法においては、妨害雑音も目的信号も存在しない状況では、参照信号パワーPr が非常に小さくなることから、式(1)(2)より理解されるように適応速度が非常に大きくなるため、適応フィルタが背景雑音に適応してしまうという問題がある。背景雑音に対して適応が進んだ場合、フィルタ係数は本来除去したい信号を除去するのに適したフィルタ係数から遠ざかってしまう。すなわち、妨害雑音が例えば音声のような非定常な信号である場合には、妨害雑音パワーの小さい部分でフィルタ係数が本来の値から遠ざかり、妨害雑音パワーの大きい部分でフィルタ係数が収束するという動作の繰り返しとなり、この繰り返しの過程でフィルタ係数の収束までの間、高いレベルの妨害雑音が出力されてしまう。
【0008】
この問題に対し、例えばエコーキャンセラでは参照信号のレベルに基づいて適応を制御している。すなわち、参照信号レベルがしきい値以下の場合には適応を停止し、参照信号レベルがしきい値より大きい場合にのみ適応を行うことによって、雑音の影響を低減している。しかし、適応ビームフォーマでは、上述したように妨害雑音と目的信号の一部および背景雑音が重畳したものが参照信号となっているため、単に参照信号レベルが大きいときだけ適応するようにした場合、しきい値レベル以下の妨害雑音があるときはこれを除去できないことになる。
【0009】
【発明が解決しようとする課題】
上述したように、適応フィルタにおいて目的信号の入力時に目的信号が歪むという現象を抑えるために、出力信号パワーが大きいときに適応を停止する処理を行う従来の方法では、目的信号が入力した場合だけでなく状況が変化した場合にも出力パワーが増大して適応を停止してしまうため、正しい適応動作を行うことができないという問題がある。
【0010】
また、従来のNLMS法や改善されたNLMS法においては、妨害雑音も目的信号もなく参照信号パワーが小さくなる状況での適応速度が非常に大きくなるため、適応フィルタが背景雑音に対して適応してしまうという問題があり、この問題を避けるためにエコーキャンセラのように参照信号のレベルがしきい値以下の場合には適応を停止し、しきい値より大きい場合にのみ適応を行う方法では、適応ビームフォーマにおいてしきい値レベル以下の妨害雑音があるときはこれを除去できないという問題が発生する。
【0011】
本発明は、上述した従来技術の問題点を解決するためになされたもので、目的信号を歪ませたり、背景雑音に対して適応してしまうことなく、確実な適応動作を可能とした適応フィルタを提供することを目的とする。
【0012】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る適応フィルタは、出力信号パワーが予め定めたしきい値以下のときには適応フィルタの更新速度を決める係数であるステップサイズが非零のほぼ一定値であり、出力信号パワーがしきい値を越えた場合にはステップサイズが出力信号パワーの増加に対して減少するように適応モードが制御されることを基本的な特徴とし、目的信号の歪み防止と背景雑音への適応防止の両立を可能としている。
【0013】
すなわち、適応フィルタに目的信号が入力した場合は、出力信号パワーがしきい値より大きくなり、ステップサイズが出力信号パワーの増加に対して減少することで適応速度が小さくなるため、目的信号が歪んでしまうことはない。一方、適応フィルタに妨害雑音のみ入力した場合と背景雑音のみが入力した場合は、出力信号パワーがしきい値以下となり、ステップサイズ固定の適応フィルタとして動作する。この場合、ステップサイズが非零のほぼ一定値であるために、適応速度は入力レベルに比例することになり、レベルの高い妨害雑音に対しては速く適応できると共に、レベルの低い背景雑音に適応してしまうことが防止される。
【0015】
より具体的には、本発明に係る適応フィルタは、複数チャネルの入力信号を処理して1チャネルの信号を出力するフィルタ手段と、このフィルタ手段の特性変化範囲に関して予め定めた拘束条件の下で該フィルタ手段を更新するフィルタ更新手段とを有し、フィルタ更新手段においてフィルタ手段の出力信号パワーを予め定められたしきい値と比較し、出力信号パワーがしきい値以下のときはフィルタ手段の更新速度を決める係数を非零の一定値とし、出力信号パワーがしきい値を越えたときは該係数を出力信号パワーの増加に対して減少させることを特徴とする。
【0016】
本発明に係る適応フィルタにおけるフィルタ更新手段は、より具体的には適応フィルタの出力信号パワーを予め定められたしきい値と比較し、出力信号パワーがしきい値以下のときはフィルタ手段の更新速度を決める係数を非零の一定値とし、出力信号パワーがしきい値を越えたときは該係数を出力信号パワーの増加に対して減少させる制御を行う制御手段と、この制御手段により制御された係数を含む更新演算式に従ってフィルタ手段の更新演算を行う更新演算手段とにより構成される。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施形態)
図1を参照して、本発明による適応フィルタを適応ノイズキャンセラに適用した場合の実施形態について説明する。この適応フィルタは、参照信号xに対しフィルタ演算を行って出力信号yを得る遅延線タップフィルタにより構成されるフィルタ部11と、希望応答dからフィルタ部11の出力信号yを減算して適応フィルタの出力信号である誤差信号eを得る減算器12と、参照信号xと誤差信号eに基づいてフィルタ部11のフィルタ特性(フィルタ係数)を更新するフィルタ更新部13からなる。以下、フィルタ部11のフィルタ係数を更新する処理を単にフィルタ更新という。
【0021】
ここで、フィルタ更新部13が図14に示した従来の適応フィルタと異なっている。すなわち、このフィルタ更新部13は、誤差信号eのパワーによって適応モードを切り換え制御する適応モード制御部14と、この適応モード制御部14によって制御される適応モードに従って実際にフィルタ更新演算を行うフィルタ更新演算部15とにより構成される。フィルタ更新演算の詳細については、後述する。
【0022】
本実施形態では、適応フィルタの適応アルゴリズムとして最も一般的なLMS(Least Mean Squre)法を例として説明するが、適応速度を制御できるアルゴリズムであれば、射影LMS法でもRLS(Recursive Least Squre )法でも、これら以外のアルゴリズムでもよい。
【0023】
適応ノイズキャンセラでは、例えば図2に示すようにマイクロホンM1を目的信号源の近傍に置き、このマイクロホンM1の出力信号を希望応答dとし、もう一つのマイクロホンM2を妨害雑音源の近傍に置き、このマイクロホンM2の出力信号を参照信号xとして使用する。この場合、マイクロホンM1には目的信号と背景雑音が入力し、マイクロホンM2には妨害雑音と背景雑音が入力する。マイクロホンM2には目的信号がなるべく入力しないようにマイクロホン配置などの設定を行うが、完全に目的信号が入力しないようにすることは困難である。すなわち、マイクロホンM2には実際には妨害雑音と背景雑音のほか、目的信号の成分も一部入力する。
【0024】
一般に、このような適応ノイズキャンセラでは参照信号xと相関のある成分を希望応答dの中から除去するため、マイクロホンM1,M2間で相関の大きい妨害雑音が除去される。実際には、上述のように参照信号x中に目的信号成分が混入した場合、妨害雑音だけでなく目的信号が除去されて目的信号が歪むことがあるため、目的信号が入力した際に適応を遅くする必要がある。
【0025】
LMS法による適応フィルタのフィルタ更新演算は、従来では先の式(1)または(2)に基づいて行われるが、本実施形態では適応フィルタの出力信号である誤差信号eのパワー(以下、出力信号パワーという)Po に応じて適応モードを切り換え、次式に基づいてフィルタ更新演算を行う。
en =dn −Wn T Xn (3)
Po ≦Pa のとき
Wn+1 =Wn −2μen Xn Pa (4)
Po >Pa のとき
Wn+1 =Wn −2μen Xn Pa /Po (5)
ここで、Pa は予め定められた適応モード切換えのしきい値、Wn はフィルタ部11のn回の更新後のフィルタ係数、μはステップサイズ、en は適応フィルタの出力信号(誤差信号)、dn は希望応答、Xn は参照信号xの最新のサンプルから過去のサンプルをフィルタ部11のタップ点数分だけ並べてベクトルとした参照信号ベクトルである。予め設定される各種定数の値は、例えばフィルタ部11のタップ数を100、ステップサイズμを0.001、しきい値Pa を平均出力信号パワーの0.001倍とするが、状況に応じて実験的に決めることが望ましい。
【0026】
次に、本実施形態におけるフィルタ更新動作について図3を用いて説明する。図3は、フィルタ更新演算式(2)(4)(5)における更新量を表す右辺第2項において、誤差信号en と参照信号Xn の積en Xn に掛かる係数(フィルタ係数の更新速度を決める係数)の大きさの変化を図示したもので、この係数の大きさをステップサイズμと区別して便宜上、実効ステップサイズと呼ぶことにする。図3(a)は、従来の改良されたNLMS法におけるフィルタ更新演算式である式(2)において、しきい値Pa 以下で適応停止を行った場合の実効ステップサイズを参照信号パワーPr と出力信号パワーPo の和に対して示したものであり、(b)は本実施形態に基づくフィルタ更新演算式(4)(5)の場合の実効ステップサイズを出力信号パワーPo に対して示している。
【0027】
NLMS法では、従来の技術でも述べたように、妨害雑音も目的信号もなく参照信号パワーPr 、または参照信号パワーPr と出力信号パワーPo の和が低い場合には、背景雑音に対して適応が進み、フィルタ係数が本来除去したい妨害雑音を除去するための値から遠ざかってしまうことを防ぐために、Pr またはPr +Po がしきい値Pa 以下になったときに適応を停止している。この場合、図3(a)に示すように実効ステップサイズは0になるので、Pr またはPr +Po がしきい値Pa 以下となるような妨害雑音に対しては、全く適応できないことになる。
【0028】
これに対し、本実施形態では出力信号パワーPo がしきい値Pa 以下の場合は式(4)によりフィルタ更新を行い、出力信号パワーPo がしきい値Pa より大きい場合は式(5)によりフィルタ更新を行うように適応モードを切り換えている。式(4)はステップサイズ固定のLMS法に基づくフィルタ更新演算式、式(5)はNLMS法に基づくフィルタ更新演算式であり、実効ステップサイズは出力信号パワーPo に対して図3(b)に示したように変化する。
【0029】
すなわち、本実施形態ではPo ≦Pa の場合は実効ステップサイズは2μ×P a なる非零の一定値であり、Po >Pa の場合は実効ステップサイズは2μ*Pa /Po となってPo に反比例する。なお、Po ≦Pa の場合の実効ステップサイズは厳密に非零の一定値である必要はなく、ほぼ一定値であればよい。
【0030】
従って、出力信号パワーPo がしきい値Pa 以下の場合の式(4)によるフィルタ更新でも、完全に適応を停止しないので、妨害雑音に適応することができ、しかも式(4)はステップサイズ固定のフィルタ更新であるため、レベルの低い背景雑音に適応してしまうことは少ない。一方、出力信号パワーPo がしきい値Pa より大きい場合の式(5)によるフィルタ更新では、図3(b)において出力信号パワーPo がしきい値Pa 以上の部分に示されるように、実効ステップサイズが出力信号パワーPo に反比例し適応が遅くなってくるので、目的信号の歪みを低減できる。
【0031】
次に、図4に示すフローチャートを参照して上述した適応フィルタ処理の流れを説明する。
まず、初期設定でステップサイズμ、適応モード切り換えのしきい値Pa 、フィルタ長Kを設定し、フィルタ係数を例えば全て0、フィルタ更新回数nを0とおく(ステップS11)。
【0032】
次に、参照信号xの複数のサンプルから参照信号ベクトルXn を構成した後、式(3)により適応フィルタ出力信号(誤差信号)en を計算し、この出力信号en のパワーPo を計算する。出力信号パワーPo の計算は、例えば信号en の最新の値からフィルタ部11のタップ数分までの過去の値の平均値を用いるようにする(ステップS12)。
【0033】
次に、ステップS13において出力信号パワーPo としきい値Pa を比較し、Po ≦Pa の場合はステップS14に進み、Po >Pa の場合はステップS15に進む。ステップS14では、式(4)に従ってフィルタ更新を行い、ステップS16に進む。ステップS15では、式(5)に従ってフィルタ更新を行い、ステップS16に進む。ステップS16では、nをインクリメントし、ステップS12に戻る。そして、以上の処理を入力データの数だけ繰り返す。
【0034】
このように本実施形態では、出力信号パワーPo に応じて適応フィルタの適応モードをステップサイズ固定のLMS法とNLMS法との間で切り換え制御することにより、目的信号の歪み低減と背景雑音への適応防止の両立を図ることができる。
【0035】
本実施形態では、Po >Pa の場合の実効ステップサイズを式(5)に示されるようにμ*Pa /Po として出力信号パワーPo に反比例するようにしたが、必ずしも正確に反比例するようにする必要はなく、出力信号パワーPo の増加に対して減少させるようにすればよい。また、このようにPo >Pa の場合の実効ステップサイズを出力信号パワーPo の増加のみに依存して減少させる代りに、従来技術におけるフィルタ特性の更新演算式である式(2)に示されるように、参照信号パワーPr と出力信号パワーPo との和の増加に対して減少させるようにしてもよい。
【0036】
(第2の実施形態)
本実施形態では、本発明による適応フィルタを多チャネルに拡張した場合について説明する。
【0037】
この適応フィルタは、図5に示すように複数チャネル(Mチャネル)の参照信号xに単位フィルタ部21−1〜21−Mでフィルタ演算を施した後、それらの出力信号の和yを加算器26で求めて出力するフィルタ部21と、希望応答dからフィルタ部21の出力信号yを減算して適応フィルタの出力信号である誤差信号eを得る減算器22と、参照信号xと誤差信号eに基づいてフィルタ部21の特性(フィルタ係数)を更新するフィルタ更新部23からなる。
【0038】
フィルタ更新部23は、誤差信号eのパワーに応じて適応モードを切り換え制御する適応モード制御部24と、この適応モード制御部24によって制御される適応モードに従って実際にフィルタ更新演算を行うフィルタ更新演算部25とにより構成される。
【0039】
次に、本実施形態の適応フィルタの動作を説明する。チャネル数をM、1チャネル当たりの単位フィルタ部21−1〜21−Mの各々のタップ数をKとする。適応フィルタの適応アルゴリズムとしては、最も一般的なLMS法を例として説明するが、適応速度を制御できるアルゴリズムならば射影LMS法でもRLS法でも何でもよいことは第1の実施形態と同様である。
【0040】
多チャネルのフィルタ部21は、図6に示すようなタップ付き遅延線とその各タップ出力に係数を乗じる係数乗算器とからなる遅延線タップフィルタをM個並べて単位フィルタ部21−1〜21−Mが構成される。この多チャネルフィルタ部21のフィルタ特性は、mチャネル目の遅延線タップフィルタのk番目の係数wm,k を並べたベクトル
Wn =(w1,1 ,w1,2 ,…,w1,K ,
…,wM-1,1 ,…,wM-1,K )T (6)
により表し、参照信号xは図5においてmチャネル目の参照信号の最新のサンプルxm,n からフィルタタップ数分過去までのサンプルを並べた次式により表すことにする。
【0041】
Xn =(x1,n ,x1,n-1 ,…,x1,n-K+1 ,
…,xM,n ,xM,n-1 ,…,xM,n-K+1 )T (7)
フィルタ更新演算は上のWn ,Xn を用いると、式(3)(4)(5)と全く同様に、次式に基づいて行われる。
【0042】
en =dn −Wn T Xn (8)
Po ≦Pa のとき
Wn+1 =Wn −2μen Xn Pa (9)
Po >Pa のとき
Wn+1 =Wn −2μen Xn Pa /Po (10)
ここで、Pa は予め定められた適応モード切換えのしきい値、en は適応フィルタの出力信号(誤差信号)、Po は出力信号パワー、μはステップサイズである。予め設定される各種定数の値は、例えば単位フィルタ部11−1〜11−Mの各々のタップ数を100、ステップサイズμを0.001、しきい値Pa を平均出力信号パワーの0.001倍とするが、状況に応じて実験的に決めるのが望ましい。
【0043】
本実施形態においても、第1の実施形態の場合と同様に、適応フィルタの出力信号パワーPo により適応モードをステップサイズ固定のLMSとNLMSとの間で切り換えており、式(9)のステップサイズ固定のLMS法では雑音への適応を防止し、式(10)のNLMS法では目的信号の歪みを低減している。
【0044】
本実施形態の適応フィルタの処理の流れは第1の実施形態と同様であるので、改めて述べない。
このように本実施形態では、多チャネル入力の適応フィルタにおいて出力信号パワーPo に応じて適応フィルタの適応モードをステップサイズ固定のLMS法とNLMS法との間で切り換え制御することにより、目的信号の歪み低減と背景雑音への適応防止の両立を図ることができる。
【0045】
本実施形態では、Po >Pa の場合の実効ステップサイズを式(10)に示されるようにμ*Pa /Po として出力信号パワーPo に反比例するようにしたが、必ずしも正確に反比例するようにする必要はなく、出力信号パワーPo の増加に対して減少させるようにすればよい。また、このようにPo >Pa の場合の実効ステップサイズを出力信号パワーPo の増加のみに依存して減少させる代りに、従来技術におけるフィルタ特性の更新演算式である式(2)に示されるように、参照信号パワーPr と出力信号パワーPo との和の増加に対して減少させるようにしてもよい。
【0046】
(第3の実施形態)
次に、第1または第2の実施形態で述べた適応フィルタを、妨害雑音を抑圧して特定の方向から到来する目的信号のみを抽出する適応ビームフォーマに適用した実施形態について図7を用いて説明する。
【0047】
図7は、適応ビームフォーマの中でも一般的な一般化サイドローブキャンセル(GSC)と呼ばれる構成を示しており、複数チャネル(Mチャネル)の入力信号sから目的信号を除去してM−1チャネルの信号を出力するブロッキングフィルタ41と、第1または第2の実施形態で説明した適応フィルタ42と、Mチャネルの入力信号sの加算を行う加算器43からなる。
【0048】
M=2の場合はM−1=1であるので、適応フィルタ41として第1の実施形態で説明した1チャネル入力の適応フィルタを用い、M>2の場合は適応フィルタ41として第2の実施形態で説明した多チャネル入力の適応フィルタを用いることになる。ここでは、M>2として説明するが、M=2の場合は単にチャネル数を減らして同様の処理を行うだけである。
【0049】
GSCは、目的信号を除去するブロッキングフィルタの構成により種々のものがあるが、ここでは最も簡単なGriffith-Jim型GSCを例にとって説明する。本発明の適応フィルタはブロッキングフィルタの方式に依存していないので、このGriffith-Jim型以外のGSCでも適用可能である。
【0050】
Griffith-Jim型GSCのブロッキングフィルタは、図8に示すようにMチャネルの入力信号の隣り合ったチャネル間の差分をとるフィルタであり、全てのチャネルに目的信号が同位相で入力した場合、目的信号が消去された信号がM−1チャネル分出力される。mチャネル目のブロッキングフィルタの出力信号は、時刻をnとし、mチャネル目の入力信号をsm,n として、
xm,n =sm+1,n −sm,n
(m=1,…,M−1) (11)
である。
【0051】
このブロッキングフィルタ41の出力信号を第2の実施形態で述べた適応フィルタ42に参照信号xとして入力してフィルタ更新を行う場合、更新演算式は、適応フィルタ42のフィルタ係数をWn =(w1,1 ,w1,2 ,…,w1,K ,…,wM-1,1 ,…,wM-1,K )T 、参照信号ベクトルをXn =(x1,n ,x1,n-1 ,…,x1,n-K+1 ,…,xM,n ,xM,n-1 ,…,xM,n-K+1 )T として、
yn =ΣxM,n (12)
en =yn −Wn T Xn (13)
Po ≦Pa のとき
Wn+1 =Wn −2μen Xn Pa (14)
Po >Pa のとき
Wn+1 =Wn −2μen Xn Pa /Po (15)
と表わされる。
【0052】
このような適応ビームフォーマを例えば前述したマイクロホンアレイ処理装置に適用して、音声を目的信号として抽出する場合、音声の伝播揺らぎや音源が完全な点音源でないことなどの原因により、ブロッキングフィルタ41のみでは目的信号を完全に除去することは困難である。
【0053】
これに対し、第1または第2の実施形態で説明した適応フィルタをブロッキングフィルタ41の後段に適応フィルタ42として配置すれば、この適応フィルタは前述したように目的信号が入力した場合の目的信号の歪み低減と、妨害雑音と目的信号がない場合の適応フィルタの背景雑音への適応防止が可能であるため、より性能を向上できる。
【0054】
すなわち、本実施形態では適応フィルタ42において出力信号パワーPo がしきい値Pa 以下の場合は式(14)によりフィルタ更新を行い、出力信号Po がしきい値Pa より大きい場合は式(15)によりフィルタ更新を行うように適応モードを切り換える。式(14)はステップサイズ固定のLMS法なので、パワーの低い背景雑音への適応が少なく、また完全に適応を停止しないので、しきい値Pa 以下の妨害雑音に対しては適応ができる。
【0055】
一方、出力信号パワーが大きい場合の式(15)による更新では、ステップサイズが出力信号パワーに反比例するので目的信号の歪みを低減できる。
次に、図9に示すフローチャートを参照して本実施形態による適応ビームフォーマの処理の流れを説明する。
【0056】
まず、初期設定でステップサイズμ、適応モード切り換えのしきい値Pa 、チャネル数M、フィルタ長Kを設定し、フィルタの係数を例えば全て0、フィルタ更新の回数nを0とおく(ステップS21)。
【0057】
次に、入力チャネル間の差分信号xm,n を式(11)により計算する(ステップS22)。
次に、入力信号の和yn を式(12)により計算する(ステップS23)。
【0058】
次に、差分信号xm,n から参照信号ベクトルXn を構成し、誤差信号en を式(13)により計算する(ステップS24)。
次に、誤差信号en のパワーPo を計算して、ステップS25でPo としきい値Pa を比較し、Po ≦Pa の場合はステップS26に進み、Po >Pa の場合はステップS27に進む。
【0059】
ステップS26では、式(12)に従ってフィルタを更新し、ステップS28に進む。ステップS27では、式(13)に従ってフィルタを更新し、ステップS28に進む。次にステップS28では、nをインクリメントし、ステップS22に戻る。そして、以上の処理を入力データの数だけ繰り返す。
【0060】
このように本実施形態では適応ビームフォーマ、特にGSCに本発明の適応フィルタを適用することにより、音声などの非定常な信号が入力する場合の雑音抑圧性能を大幅に向上することが可能となる。
【0061】
本実施形態では、Po >Pa の場合の実効ステップサイズを式(15)に示されるように、μ*Pa /Po として出力信号パワーPo に反比例させたが、必ずしも正確に反比例するようにする必要はなく、出力信号パワーPo の増加に対して減少させるようにすればよい。また、このようにPo >Pa の場合の実効ステップサイズを出力信号パワーPo の増加のみに依存して減少させる代りに、従来技術におけるフィルタ特性の更新演算式である式(2)に示されるように、参照信号パワーPr と出力信号パワーPo との和の増加に対して減少させるようにしてもよい。
【0062】
(第4の実施形態)
次に、拘束条件の下でパワーを最小化するフロスト型ビームフォーマに本発明の適応フィルタを適用した場合の実施形態について述べる。
【0063】
本実施形態のフロスト型ビームフォーマは図10に示す構成であり、複数チャネル(Mチャネル)の入力信号xに単位フィルタ部51−1〜51−Mでフィルタ演算を施した後、それらの出力信号の和yを加算器56で求めて出力するフィルタ部51と、出力信号yに基づいてフィルタ部51の特性(フィルタ係数)を更新するフィルタ更新部53からなる。フィルタ部51は、例えば図6に示した多チャネルの遅延線タップフィルタによって構成される。チャネル数はM、タップ数はKとする。フィルタ更新部53は、適応モード制御部54とフィルタ更新演算部55および拘束条件設定部57からなる。
【0064】
フィルタ更新部53では、処理に先立って拘束条件設定部55においてフィルタ部51の特性変化範囲を拘束するための拘束条件を設定し、この拘束条件設定部57で設定された条件の下で、入力信号xに基づいてフィルタ更新演算部55でフィルタ部51の更新演算を行う。このフィルタ更新演算の際、出力信号yのパワーに基づき、適応モード制御部54により適応速度の制御を行う。
【0065】
ここで、フロスト型ビームフォーマの処理に関して説明する。フロスト型ビームフォーマは、例えば、文献4:O.L.Frost,III,“An Algorithm for Linearly Constrained Adaptive Array Processing ”,Proceeding of The IEEE,Vol.60,No.8,pp.926-935(1972) に詳述されているように、LMSアルゴリズムにより次式に従ってフィルタ更新を行う。
【0066】
yn =Wn T Xn (16)
Wn+1 =P[Wn −μyn ]+F (17)
ここでnは時刻、Wn =(w1,1 ,w1,2 ,…,w1,K ,…,wM-1,1 ,…,wM-1,K )T はフィルタ係数、Xn =(x1,n ,x1,n-1 ,…,x1,n-K+1 ,…,xM,n ,xM,n-1 ,…,xM,n-K+1 )T は参照信号ベクトル、Pは拘束条件により定まる部分空間への射影行列、Fは該部分空間から拘束条件を満たす空間への平行移動ベクトル、μはステップサイズ、yn はフィルタ出力である。
【0067】
射影行列Pと平行移動ベクトルFは、
P=I−A(AT A)-1AT (18)
F=A(AT A)-1G (19)
により、適応処理の前に求めておく。ここで、AとGはフィルタの拘束条件を定める行列であり、例えば、拘束条件の数をJとし、AはA=[a1 ,a2 ,…,aj ,…,aJ ]、GはJ/2+1番めのみ値が1で、他の要素は0のベクトルとする。aj は例えば、
i=K*(m−1)+(K/2+1)−(J/2+1)+j (20)
(m=1,2,…,M)
で計算される番号iの要素の値が1で、他は0のベクトルを用いる。なお、上式において割り算は切り下げとする。
【0068】
本実施形態においては、このフロスト型ビームフォーマの更新演算式(16)(17)を変更し、次式に基づいてフィルタ更新を行う。
yn =Wn T Xn (21)
Po ≦Pa のとき
Wn+1 =P[Wn −μyn Pa ]+F (22)
Po >Pa のとき
Wn+1 =P[Wn −μyn Pa /Po ]+F (23)
ここで、Po は出力信号yn のパワー、Pa は予め定めたしきい値である。先の実施形態と同様、出力信号パワーPo に応じて適応速度を切り換え制御するようにしており、出力信号パワーPo がしきい値以下の場合はステップサイズ固定のLMS法、大きければNLMS法に切り換える。
【0069】
これによりGSCの場合と同様に、目的信号が入力した場合には式(21)のNLMS法により適応速度を遅くして目的信号の歪みを抑え、目的信号も妨害雑音も入力していない場合には式(21)によるステップサイズ固定のLMS法により、背景雑音への適応を少なくしている。
【0070】
次に、図11を参照して本実施形態の処理の流れを説明する。
まず、初期設定でステップサイズμ、適応モード切り換えしきい値Pa 、チャネル数M、フィルタ長Kを設定し、フィルタの値を例えば全て0、フィルタ更新の回数nを0とおく(ステップS31)。
【0071】
次に、拘束条件を定める行列A,Gを構成し、式(18)(19)により行列P,Fを求める(ステップS32)。
次に、参照信号ベクトルXn を構成し、フィルタ出力yn を式(21)により計算する(ステップS33)。
【0072】
次に、フィルタ出力信号yn のパワーPo を計算して、ステップS34でPo としきい値Pa とを比較し、Po ≦Pa の場合はステップS35に進み、Po >Pa の場合はステップS36に進む。
【0073】
ステップS35では、式(22)に従ってフィルタを更新し、ステップS37に進む。ステップS36では、式(23)に従ってフィルタを更新し、ステップS37に進む。次にステップS37では、nをインクリメントし、ステップS33に戻る。そして、以上の処理を入力データの数だけ繰り返す。
【0074】
以上に述べたように、フロスト型ビームフォーマに本発明の適応フィルタを適用することにより、音声などの非定常な信号を入力する場合の雑音抑圧性能を大幅に向上することが可能となった。
【0075】
(第5の実施形態)
次に、第5の実施形態として、本発明による適応フィルタを第1の適応フィルタとし、これと適応速度がより大きい第2の適応フィルタを組み合わせて、第2の適応フィルタの出力信号を利用して第1の適応フィルタの適応速度を制御することにより、第1の適応フィルタの性能をさらに向上させた信号処理装置の実施形態について説明する。これは第1〜第4の実施形態で説明した本発明の適応フィルタの収束速度をさらに改善するものであり、特に定常的な信号が妨害雑音となっている場合のノイズキャンセラやビームフォーマにおいて、目的信号の歪みの低減と収束速度向上を両立することができる。
【0076】
図12に、本実施形態による信号処理装置の構成を示す。この信号処理装置は第1の適応フィルタ1と第2の適応フィルタ2により構成され、両者に同じ入力信号が与えられる。
【0077】
第1の適応フィルタ1は第1〜第4の実施形態のいずれかの適応フィルタと同じ構成であり、参照信号xに対してフィルタ演算を行って出力信号y1を得るフィルタ部11−1と、希望応答dからフィルタ部11−1の出力信号を減算して誤差信号e1を得る減算器12−1と、参照信号xと誤差信号e1に基づいてフィルタ部11−1のフィルタ係数を更新する適応モード制御部14−1およびフィルタ更新演算部15−1とからなる。この第1の適応フィルタ1の出力信号が信号処理装置の出力となる。
【0078】
第2の適応フィルタ2は、一般的なNLMSアルゴリズムによる適応フィルタの構成であり、参照信号xに対してフィルタ演算を行って出力信号y2を得るフィルタ部11−2と、希望応答dからフィルタ部11−2の出力信号y2を減算して誤差信号e2を得る減算器12−2と、参照信号xと誤差信号eに基づいてフィルタ更新の演算を行うフィルタ更新演算部15−2とからなる。
【0079】
ここで、第2の適応フィルタ2は第1の適応フィルタ1よりも適応速度が高く設定されており、第2の適応フィルタ2の出力信号パワーに基づき、適応制御部14−1において第1の適応フィルタ1の適応速度を制御するようにする。適応速度は、例えばステップサイズの値を大きくしたり、フィルタのタップ数を少なくすることにより大きい値に設定できる。全体の処理は、時刻をn、第1の適応フィルタ1のフィルタ係数をW1、第2の適応フィルタ2のフィルタ係数をW2とおき、次式により行う。
【0080】
ここで、e1n ,e2n はそれぞれ適応フィルタ1,2の出力信号、Pr は参照信号パワー、dは希望応答、μ1 ,μ2 はそれぞれ適応フィルタ1,2のステップサイズである。μ2 の値はPa *μ1 よりも大きい値とし、例えば、Pa *μ1 =0.000003、μ2 =0.2とする。式(28)におけるαは、適応速度の加速係数であり、例えば、1.5とする。
【0081】
式(26)の適応フィルタ2の処理は一般的なNLMS法におけるフィルタ更新演算式であり、ステップサイズμ2 を適応フィルタ1のステップサイズμ1 よりも大きくしているため適応が速い。従って、第2の適応フィルタ2では目的信号の歪みが大きいが、素早く妨害雑音を除去することができる。
【0082】
一方、第1の適応フィルタ1は逆に適応速度を比較的遅くしているため、妨害雑音が入力した場合、初期収束する前の時点で除去されずに出力された妨害雑音のパワーによって適応速度が遅くなる。
【0083】
そこで、式(28)に示すように、第1の適応フィルタ1と第2の適応フィルタ2の出力信号パワーの比P1o /P2o に応じて、第1の適応フィルタ1のフィルタ更新の際の変化を大きくするようにする。妨害雑音が入力した際、収束が速い第2の適応フィルタ2の出力信号パワーP2o は、第1の適応フィルタ1の出力信号パワーP1o よりも小さいので、パワー比P1o /P2o は1より大きくなり、第1の低既往フィルタ1の適応が速くなる。一方、目的信号が入力した場合、パワー比P1o /P2o は1に近い値となるため、第1の適応フィルタ1の適応速度は遅いままであり、入力信号の歪み低減は保持される。
【0084】
次に、図13を参照して本実施形態の処理の流れを説明する。
まず、初期設定でステップサイズμ1 ,μ2 、適応モード切り換えのしきい値Pa 、適応速度の加速係数α、フィルタ長Kを設定し、フィルタ係数の値を例えば全て0、時刻nを0とおく(ステップS41)。
【0085】
次に、参照信号xn から参照信号ベクトルXn を構成して、誤差信号e1n ,e2n を式(24)(25)により計算し、さらに誤差信号e1n ,e2n のパワーP1o ,P2o を計算する(ステップS42)。
【0086】
次に、参照信号ベクトルXn から参照信号パワーPr を求め、式(26)に従い、適応フィルタ2の更新を行う(ステップS43)。
次に、ステップS44において誤差信号e1n のパワーP1o としきい値Pa を比較し、P1o ≦Pa の場合はステップS45に進み、P1o >Pa の場合はステップS46に進む。
【0087】
ステップS45では、式(27)に従ってフィルタを更新し、ステップS47に進む。ステップS46では、式(28)に従ってフィルタを更新し、ステップS47に進む。ステップS47では、nをインクリメントし、ステップS42に戻る。そして、以上の処理を入力データの数だけ繰り返す。
【0088】
このように本実施形態では、出力信号パワーに基づいて適応速度を切換え制御するようにした本発明の適応フィルタを第1の適応フィルタ1として用い、これより適応速度を速くした第2の適応フィルタ2の出力信号に応じて第1の適応フィルタ1の適応速度を変化させることにより、目的信号の歪みを低減したまま収束速度を向上させることが可能となる。
【0089】
これにより、適応ノイズキャンセラや適応ビームフォーマにおいて、特に定常的な妨害雑音が入力した場合の妨害雑音抑圧性能を大幅に向上させることができる。本実施形態における適応ビームフォーマは、第3の実施形態で述べたGSC型、第4の実施形態で述べたフロスト型いずれにも適用可能である。
【0090】
なお、本実施形態では参照信号が1チャネルの場合について述べたが、第2の実施形態と同様に複数チャネルの参照信号を扱うように構成することも可能である。
【0091】
【発明の効果】
以上説明したように、本発明によれば出力信号パワーが予め定めたしきい値以下のときにはステップサイズを非零のほぼ一定値とし、出力信号パワーがしきい値を越えた場合にはステップサイズが出力信号パワーの増加に対して減少するように適応モードを制御することによって、目的信号の歪み防止と雑音への適応防止の両立を可能とした適応フィルタおよびこれを用いた信号処理装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る適応フィルタの構成を示すブロック図
【図2】適応ノイズキャンセラの原理を説明するための図
【図3】本発明と従来のフィルタ更新動作を比較して説明するための図
【図4】第1の実施形態における適応フィルタ処理の流れを示すフローチャート
【図5】本発明の第2の実施形態に係る多チャネル化した適応フィルタの構成を示すブロック図
【図6】第2の実施形態における多チャネルフィルタ部の説明図
【図7】本発明の第3の実施形態に係る信号処理装置である適応ビームフォーマの構成を示すブロック図
【図8】第3の実施形態で用いるブロッキングフィルタの一例の構成を示す図
【図9】第3の実施形態における処理の流れを示すフローチャート
【図10】本発明の第4の実施形態に係る信号処理装置であるフロスト型ビームフォーマの構成を示すブロック図
【図11】第4の実施形態における処理の流れを示すフローチャート
【図12】本発明の第5の実施形態に係る信号処理装置の構成を示すブロック図
【図13】第5の実施形態における処理の流れを示すフローチャート
【図14】従来の適応フィルタの構成を示すブロック図
【符号の説明】
1…第1の適応フィルタ
2…第2の適応フィルタ
11,11−1,11−2…フィルタ部
12,12−1,12−2…減算器
13…フィルタ更新部
14,14−1…適応モード制御部
15,15−1,15−2…フィルタ更新演算部
21…フィルタ部
21−1〜21−M…単位フィルタ部
22…減算器
23…フィルタ更新部
24…適応モード制御部
25…フィルタ更新演算部
26…加算器
41…ブロッキングフィルタ
42…適応フィルタ
51…フィルタ部
51−1〜51−M…単位フィルタ部
52…減算器
53…フィルタ更新部
54…適応モード制御部
55…フィルタ更新演算部
56…加算器
57…拘束条件設定部
Claims (2)
- 複数チャネルの入力信号を処理して1チャネルの信号を出力するフィルタ手段と、
前記フィルタ手段の特性変化範囲に関して予め定めた拘束条件の下で該フィルタ手段を更新するフィルタ更新手段とを具備し、
前記フィルタ更新手段は、前記フィルタ手段の出力信号パワーを予め定められたしきい値と比較し、出力信号パワーがしきい値以下のときは前記フィルタ手段の更新速度を決める係数を非零の一定値とし、出力信号パワーがしきい値を越えたときは該係数を出力信号パワーの増加に対して減少させることを特徴とする適応フィルタ。 - 前記フィルタ更新手段は、
前記出力信号パワーを予め定められたしきい値と比較し、出力信号パワーがしきい値以下のときは前記フィルタ手段の更新速度を決める係数を非零の一定値とし、出力信号パワーがしきい値を越えたときは該係数を出力信号パワーの増加に対して減少させる制御を行う制御手段と、この制御手段により制御された係数を含む更新演算式に従って前記フィルタ手段の更新演算を行う更新演算手段とを有することを特徴とする請求項1に記載の適応フィルタ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17420297A JP4068182B2 (ja) | 1997-06-30 | 1997-06-30 | 適応フィルタ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17420297A JP4068182B2 (ja) | 1997-06-30 | 1997-06-30 | 適応フィルタ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006319008A Division JP4928918B2 (ja) | 2006-11-27 | 2006-11-27 | 適応フィルタを用いた信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1127099A JPH1127099A (ja) | 1999-01-29 |
JP4068182B2 true JP4068182B2 (ja) | 2008-03-26 |
Family
ID=15974514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17420297A Expired - Fee Related JP4068182B2 (ja) | 1997-06-30 | 1997-06-30 | 適応フィルタ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4068182B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3541339B2 (ja) | 1997-06-26 | 2004-07-07 | 富士通株式会社 | マイクロホンアレイ装置 |
CN102592605A (zh) | 2003-09-02 | 2012-07-18 | 日本电气株式会社 | 信号处理方法和装置 |
JP4163582B2 (ja) * | 2003-09-11 | 2008-10-08 | アイシン精機株式会社 | ディジタル受信装置及び無線通信システム |
JP5016551B2 (ja) * | 2007-05-11 | 2012-09-05 | ティーオーエー株式会社 | エコーキャンセラ |
JP4889810B2 (ja) * | 2008-06-11 | 2012-03-07 | 三菱電機株式会社 | エコーキャンセラ |
-
1997
- 1997-06-30 JP JP17420297A patent/JP4068182B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1127099A (ja) | 1999-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7035398B2 (en) | Echo cancellation processing system | |
EP1097562B1 (en) | Adaptive filter and acoustic echo canceller using the same | |
US9008327B2 (en) | Acoustic multi-channel cancellation | |
US6546099B2 (en) | Arrangement for suppressing an interfering component of an input signal | |
US7974428B2 (en) | Hearing aid with acoustic feedback suppression | |
JP2685031B2 (ja) | 雑音消去方法及び雑音消去装置 | |
KR100721034B1 (ko) | 잔여 반향 필터를 사용하여 음향 반향 소거 시스템을향상시키기 위한 방법 | |
WO2002060057A1 (en) | Asymmetric multichannel filter | |
US7142665B2 (en) | Automatic gain control for an adaptive finite impulse response and method therefore | |
JPH08241086A (ja) | 雑音消去装置 | |
CN106533500A (zh) | 一种优化回声消除器收敛特性的方法 | |
CN107005268B (zh) | 回波消除装置和回波消除方法 | |
JP4068182B2 (ja) | 適応フィルタ | |
JP4928918B2 (ja) | 適応フィルタを用いた信号処理装置 | |
US20050008143A1 (en) | Echo canceller having spectral echo tail estimator | |
JP3982823B2 (ja) | 音声処理装置、音声処理方法および音声処理プログラム | |
JP3381731B2 (ja) | 雑音低減装置 | |
KR101185650B1 (ko) | 음성신호에 포함된 반향신호의 제거방법 및 장치 | |
JP3293575B2 (ja) | 雑音消去方法及びそれを用いた雑音消去装置 | |
JP2004349796A (ja) | 音響エコー消去方法、その装置、プログラム及びその記録媒体 | |
KR100363252B1 (ko) | 다중대역 보청기를 위한 적응 피드백 제거장치 및 방법 | |
JP3609611B2 (ja) | エコー除去方法およびエコーキャンセラ | |
JP3403655B2 (ja) | サブバンド適応フィルタを用いた未知システムの同定方法および装置 | |
US20030076844A1 (en) | Method and system for filtering a signal and providing echo cancellation using an adaptive length filter | |
US12205608B2 (en) | Wideband adaptation of echo path changes in an acoustic echo canceller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |