JP3730751B2

JP3730751B2 - Adaptive filter

Info

Publication number: JP3730751B2
Application number: JP15275397A
Authority: JP
Inventors: 伸一小池
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-06-11
Filing date: 1997-06-11
Publication date: 2006-01-05
Anticipated expiration: 2017-06-11
Also published as: JPH114141A

Description

【０００１】
【発明の属する技術分野】
本発明は、データ伝送や音響システムに用いられるエコーキャンセラ、ディジタルデータ伝送用自動等化器、及びその他の未知システムの同定に用いられる適応フィルタに関する。
【０００２】
【従来の技術】
はじめに、従来の適応フィルタの原理について以下に図面を参照して説明する。図５に、適応フィルタにより未知システムの同定を行う際の回路のブロック図を示す。
【０００３】
この図５に示される回路は、入力信号系列が入力する適応フィルタ４２と、入力信号系列が入力し、その応答として未知信号系列を出力する未知システム４５と、相加雑音と未知システムから出力された未知信号系列の出力とを相加する加算器４４と、加算器４４から出力された信号から、適応フィルタ４２から出力された推定値を減算し、誤差信号系列と雑音系列との和を適応フィルタ４２に出力する減算器４３とから構成される。
【０００４】
適応フィルタ４２は、既知のフィルタ入力信号系列から未知信号系列の推定値を作成し、未知信号系列とこの推定値の系列との誤差の信号系列をもとに、フィルタの有するパラメータを更新して、未知システムを正しく同定するものである。
【０００５】
未知信号系列には、通常観測時の雑音が相加される。このように、適応フィルタは、未学習の初期状態から最終状態に収束し、未知システムの同定を行う。
【０００６】
また、未知信号系列は、図５に示されるように、未知システム４５の入力信号系列に対する応答として与えられる場合が多い。エコーキャンセラや自動等化器がこの場合に相当する。
【０００７】
次に、図５に示される適応フィルタ４２の構成について図６を参照して説明する。図６に、図５に示される適応フィルタ４２の構成の一部のブロック図を示す。この適応フィルタは、入力した信号に対して単位時間の遅延を与える遅延器５１と、遅延器５１から出力された入力信号系列の成分ａ_n-kを入力し単位時間の遅延を与える遅延器５２と、入力した誤差信号系列ｅ_nと雑音系列ν_nとの和の極性を検出する極性検出器５４と、遅延器５１の出力である遅延された入力信号系列の成分ａ_n-kと極性検出器５４から出力された誤差信号系列ｅ_n及び雑音系列ν_nの和の極性ｓｇｎ（ｅ_n＋ν_n）との積を計算する乗算器５５と、この乗算器５５から出力された積と、時刻ｎにおけるステップサイズα_c ⁽ⁿ⁾との積を計算する乗算器５６と、乗算器５６から出力された積が乗算された時刻ｎにおけるステップサイズα_c ⁽ⁿ⁾と時刻ｎにおけるｋ番目のタップ重みｃ⁽ⁿ⁾ _kとの和を計算し、この計算した値を時刻ｎ＋１におけるタップ重みｃ⁽ⁿ⁺¹⁾ _kとして出力する加算器５７と、前記加算器５７から出力された時刻ｎ＋１におけるタップ重みｃ⁽ⁿ⁺¹⁾ _kに単位時間の遅延を与える遅延器５３と、遅延器５３から出力されたタップ重みと、遅延器５１から出力された入力信号系列の成分ａ_n-kとの積を計算する乗算器５８とから構成される。
【０００８】
適応フィルタは、この図６に示されるような、非巡回型（ＦＩＲ）として実現することが多い。この図では、Ｎ個のタップ重みの内の、ｋ番目のタップ重みｃ_k ⁽ⁿ⁾の制御回路を示し、適応フィルタの最終的な出力は、ｋについての総和をとったものである。
【０００９】
また、誤差信号系列ｅ_nと雑音系列ν_nとの和を用いてＮ個のタップ重みｃ₀、ｃ₁、・・・、ｃ_N-1を制御している。この図６において、ｎは時刻、ａ_nは入力信号系列、α_c ⁽ⁿ⁾は時刻ｎにおけるステップサイズである。この図６に示されるタップ重みの制御アルゴリズムを式により表せば、次式で与えられる確率勾配サインアルゴリズムとなる。
ｃ⁽ⁿ⁺¹⁾＝ｃ⁽ⁿ⁾＋α_c ⁽ⁿ⁾sgn （ e_n＋ν_n）ａ⁽ⁿ⁾
ここで、ｃ⁽ⁿ⁾＝[ ｃ₀ ⁽ⁿ⁾, ｃ₁ ⁽ⁿ⁾,・・・, ｃ_N-1 ⁽ⁿ⁾] ^Tおよびａ⁽ⁿ⁾＝[ ａ_n, ａ_n-1,・・・,ａ_n-N+1 ] ^Tは、それぞれタップ重みおよび入力信号系列をベクトルとして表したものである。また、上式及び以下に示す式において、sgn （）は極性関数を、[ ] ^Tはベクトルまたは行列の転置を示す。
【００１０】
上述の、確率勾配サインアルゴリズムにおけるステップサイズα_c ⁽ⁿ⁾の選び方について述べる。ステップサイズα_c ⁽ⁿ⁾の値を、時刻に依存させずに固定とした場合、フィルタの収束が安定となる範囲の値において大きく選べば収束は速い。しかし、相加雑音が存在すると、収束後の残留誤差の電力が大きくなってしまうという問題があった。
【００１１】
また、ステップサイズα_c ⁽ⁿ⁾を小さく選ぶと、収束後の残留誤差は小さく抑えられるが、収束速度が遅くなるという問題があった。
【００１２】
そこで、上述の従来の問題を解決するため、フィルタが収束するにしたがってステップサイズを制御し、収束の初期にはステップサイズが大きくなるようにし、収束の終期にはステップサイズが小さくなるように適応制御すれば、収束が速く収束後の残留誤差の小さい適応フィルタが実現できる。
【００１３】
この収束の進行状況に応じて、ステップサイズを変化させる従来のステップサイズの適応制御には、（１）誤差勾配法、（２）誤差・レプリカ相関法、（３）四次統計量法などが提案されている。これらは以下の文献に詳しい。
（１） V.J.Mathews et al., "A Stoch astic Gradient Adaptive Filter with Gradient Adaptive Step Size," IEEE Trans. on SP, vol.41, no.6, pp.2075−2087, June 1993.
（２） A.Kanemasa etal., "An Adaptive −Step Sign Algorithm for Fast Convergence of a Data Echo Can celler," IEEE Trans. on Commun., vol.35, no.10, pp.1102 −1108, October 1987.
（３） D.Pazaitis etal., "A Kurtosis−Driven Variable Step−Size LMS Algorithm," Proceedings IEEE ICASSP96, vol.III, pp.1846−1849, Atlanta, GA,
May 1996.
【００１４】
また、収束の速さと、収束後の残留誤差とを考慮した従来技術として、特開平８−２６５２２３号公報には、タップ重みの絶対値の大きさに応じてステップサイズの大きさを変化させる方法が開示され、特開平２−２９１７１２号公報には、誤差信号電力の分散値によってステップサイズを変化させる方法が開示され、特開昭６１−２３４１３１号公報には、誤差信号の極性と適応フィルタ出力（推定値あるいはレプリカ）の極性の相関値に応じてステップサイズを変化させる方法（上記（２）参照）が開示されている。
【００１５】
【発明が解決しようとする課題】
しかしながら、上記従来の方法では、収束後の残留誤差を、ステップサイズを固定とした場合に得られる程度に小さく抑えようとすると、収束速度の高速化における充分な改善が得られず、従って、その効果がいずれも充分でないという問題点を有している。
【００１６】
本発明は、上記事情に鑑みなされたもので、確率勾配サインアルゴリズムにおけるステップサイズを、収束速度を速くし、収束後の残留誤差を小さくするように適応制御することの可能な適応フィルタを提供することを目的とする。
【００１７】
【課題を解決するための手段】
請求項１記載の発明は、非巡回型フィルタとして実現され、時刻ｎにおける、Ｎ次元のタップ重みベクトルｃ⁽ⁿ⁾ が、αc ⁽ⁿ⁾ を時刻ｎにおけるステップサイズ、ｅ_n を誤差信号系列、ν_n を雑音系列、ｓｇｎを極性関数、ａ⁽ⁿ⁾ を時刻ｎの入力信号系列として、以下の式（５）により与えられる確率勾配サインアルゴリズムを用いた適応フィルタにおいて、前記式（５）におけるステップサイズαc ⁽ⁿ⁾ を、以下の式（６）により与えられる時刻ｎにおける二乗平均誤差ε⁽ⁿ⁾ が略最小になるように制御する、ステップサイズ制御装置を有する適応フィルタであり、
【００１８】
【数３】

【００２０】
前記ステップサイズ制御装置は、入力した誤差信号系列と雑音系列との和の極性を検出する極性検出手段と、前記入力した誤差信号系列と雑音系列との和の絶対値を計算する絶対値計算手段と、前記絶対値計算手段により計算された前記絶対値の平方根を計算する平方根計算手段と、前記極性検出手段により検出された極性と、前記平方根計算手段により計算された絶対値の平方根との積を計算する第１の乗算器と、前記第１の乗算器により計算された積と前記入力信号系列との積を計算し、この計算した値を積ベクトルとして出力する第２の乗算器と、前記第２の乗算器により出力された積ベクトルに漏洩係数ρを乗じ、平均化を行い、平均化ベクトルを計算する漏洩累和器と、前記漏洩累和器により計算された平均化ベクトルのノルムを計算するノルム計算手段と、前記ノルム計算手段により計算されたノルムに所定の係数βを乗じて、この係数βを乗じたノルムを時刻ｎのステップサイズαc ⁽ⁿ⁾ として出力する第３の乗算器とを有することを特徴とする。
【００２１】
従って、この発明によれば、Ｎ次元のタップ重みベクトルｃ ⁽ⁿ⁾ を求める際の、時刻ｎにおけるステップサイズα c ⁽ⁿ⁾ が、時刻ｎにおける二乗平均誤差ε ⁽ⁿ⁾ を最小とする値に略等しくなるように制御されているので、適応フィルタの収束速度を低減することなく、収束後の残留誤差を小さくすることができる。この発明では、入力した誤差信号ｅ_n と相加雑音ν_n との和から、以下に示す式（７）のベクトルが求まり、
【００２２】
【数４】

【００２３】
このベクトルに漏洩係数ρを乗じたベクトルを用いて、漏洩累和器により積ベクトルとして次式（８）に示される漸化式により表されるベクトルｑ_nを計算し、
【００２４】
【数５】

【００２５】
このベクトルｑ_nのノルムを計算し、このノルムに係数βを乗ずることによりステップサイズα_c ⁽ⁿ⁾を算出するので、収束後の平均二乗誤差を小さく抑えることができると共に、その収束を速く行うことができる。
【００２６】
請求項２記載の発明は、請求項１記載の発明において、前記係数βは、Ｒａを、前記入力信号系列ａ⁽ⁿ⁾ を用いた以下の式（９）により与えられる前記入力信号系列ａ⁽ⁿ⁾ の共分散行列、若しくは相関行列とし、Γ（ｘ）をガンマ関数として、以下の式（１０）により与えられることを特徴とする。
【００２７】
【数６】

【００２８】
従って、この発明によれば、請求項１記載の発明の作用が得られると共に、係数βの値が適切に設定されていることにより、収束後の平均二乗誤差を略正確に最小にすることができる。
【００２９】
本発明は、従来の技術と異なるステップサイズの制御を実行するものであり、具体的には理論的に導かれる最適なステップサイズ値を近似することが可能な適応フィルタである。以下に、本発明に係る適応フィルタにおける、ステップサイズの最適値の制御について説明する。
【００３０】
まず、本発明によるステップサイズ制御法を述べる準備として、各時刻における理論的に最適なステップサイズの選び方を導く。いまタップ重みｃ_kを用いて、タップ重み誤差としてθ⁽ⁿ⁾＝ｈ−ｃ_k ⁽ⁿ⁾なるベクトルを定義する。ｈは推定すべき未知システムの応答ベクトルであり、長さ（次元）はタップ数Ｎに等しいとする。
【００３１】
θ⁽ⁿ⁾の更新式は、
θ⁽ⁿ⁺¹⁾＝θ⁽ⁿ⁾−α_c ⁽ⁿ⁾sgn （ e_n＋ν_n）ａ⁽ⁿ⁾
である。ここで、θ⁽ⁿ⁾の二次モーメント行列ｋ⁽ⁿ⁾＝Ｅ[ θ⁽ⁿ⁾θ^(n)T] （Ｅ[ Ｘ ]はＸの期待値を意味する。）については、θ⁽ⁿ⁺¹⁾として上式を用いると、次の差分方程式が成り立つ。
ｋ⁽ⁿ⁺¹⁾＝ｋ⁽ⁿ⁾−α_c（Ｖ⁽ⁿ⁾＋Ｖ^(n)T）＋α_c ²Ｒａ
ここで行列Ｖ⁽ⁿ⁾は次式で与えられ、Ｒａ＝Ｅ[ ａ⁽ⁿ⁾ａ^(n)T] はガウス過程と仮定したフィルタ入力信号系列の共分散行列（または相関行列）である。
Ｖ⁽ⁿ⁾＝Ｅ[sgn（e _n＋ν_n）ａ⁽ⁿ⁾θ^(n)T]
【００３２】
さらに時刻ｎにおける二乗平均誤差（ＭＳＥ）ε⁽ⁿ⁾は、
ε⁽ⁿ⁾＝Ｅ[e_n ²]＝ｔｒａｃｅ（ＲａＫ⁽ⁿ⁾）
で求められる。ここでｔｒａｃｅ（Ａ）は行列Ａの対角要素の和を意味する。
【００３３】
そこで時刻ｎにおいて、ε⁽ⁿ⁺¹⁾を最小にするステップサイズを求めるために、時刻ｎにおける、以下の式により与えられるε⁽ⁿ⁺¹⁾のステップサイズα_c ⁽ⁿ ⁾に関する偏微分係数をまず求める。

【００３４】
この偏微分係数を零と置くことにより、最適ステップサイズの理論値α_c ⁽ⁿ⁾opt ^は、
α_c ⁽ⁿ⁾ _opt＝ｔｒａｃｅ（ＲａＶ⁽ⁿ⁾）／ｔｒａｃｅ（Ｒａ² ）
と得られる。
【００３５】
ところで、θ⁽ⁿ⁾の値が与えられたときの、ベクトルａ⁽ⁿ⁾に関する期待値Ｅ_a［｜θ⁽ⁿ⁾］について、
【００３６】
【数７】

【００３７】
が近似的に成り立つ。これから、
【００３８】
【数８】

【００３９】
となるので、上記最適ステップサイズは、
【００４０】
【数９】

【００４１】
と表される。ここでσν²は相加雑音の電力である。
【００４２】
最適ステップサイズα_c ⁽ⁿ⁾ _optはさらに、
【００４３】
【数１０】

【００４４】
と書くことができる。ここで、ｔｒａｃｅ（Ｒａ²Ｋ⁽ⁿ⁾）の前の、係数（２／π）^1/2／ｔｒａｃｅ（Ｒａ²）は、時刻ｎに依存しない係数である。
【００４５】
そこで本発明に係る適応フィルタが有するステップサイズ制御装置は、時刻ｎにおけるステップサイズを次式で作成する。
α_c ⁽ⁿ⁾＝ β‖ｑ⁽ⁿ⁾‖²
ただし、‖ｑ⁽ⁿ⁾‖²はベクトルｑ⁽ⁿ⁾のノルムで、ベクトルｑ⁽ⁿ⁾は次の漸化式にしたがって漏洩累和器によって逐次計算する。
【００４６】
【数１１】

【００４７】
ここで、ρは漏洩係数である。また係数β＝（π／２）^1/2／Γ² （５／４）／ｔｒａｃｅ（Ｒａ² ）＝1.07870520／ｔｒａｃｅ（Ｒａ² ）であり、ここにΓ（ｘ）はガンマ関数である。
【００４８】
上式のようにステップサイズα_c ⁽ⁿ⁾を作ると、
【００４９】
【数１２】

【００５０】
となることが示される。ただしγ＝（２／π）^1/2２^1/4Γ（５／４）＝0.86003999である。これから、
【００５１】
【数１３】

【００５２】
となる。すなわち、本発明において用いるステップサイズは、各時刻ｎにおいて近似的に最適理論値に等しくなる。
【００５３】
上式でα_c ⁽ⁿ⁾を作成する際に、係数βを予め求めておかなければならないが、それにはｔｒａｃｅ（Ｒａ² ）の値が必要である。ここでフィルタへの入力信号系列は既知であると仮定しており、その共分散行列Ｒａも知られているものとする。もしこの値が未知のときは、次の漸化式で求めておくことも可能である。
【００５４】
【数１４】

【００５５】
ここで、ρτは充分小さい漏洩係数で、遅延量ＬはＥ [ａ^(n-L)Tａ⁽ⁿ⁾] ≒０が成り立つように充分大きい値に選ぶ。充分時間が経った後、τ⁽ⁿ⁾はＥ（ａ^(n-L)Tａ⁽ⁿ⁾）²]＝ｔｒａｃｅ（Ｒａ² ）に収束することが知られている。
【００５６】
【発明の実施の形態】
次に、図面を参照して本発明に係る適応フィルタの実施形態について説明する。図１に、本発明に係る適応フィルタが備えるステップサイズ制御装置の一実施形態のブロック図を示す。
【００５７】
このステップサイズ制御装置は、入力した誤差信号系列ｅ_nと雑音系列ν_nとの和の極性を検知する極性検出器５と、入力した誤差信号系列ｅ_nと雑音系列ν_nとの和の絶対値を計算する絶対値計算器６と、絶対値計算器６において計算した絶対値の平方根を計算する平方根計算器７と、極性検出器５から出力された誤差信号系列ｅ_n及び雑音系列ν_nの和の極性ｓｇｎ（ｅ_n＋ν_n）と平方根計算器７から出力された平方根との積を計算する乗算器８と、乗算器８から出力された積と入力信号ベクトルａ_nとの積を計算する乗算器９と、乗算器９から出力された積に係数ρを乗じてその平均を計算する漏洩累和器１３と、漏洩累和器１３から出力されたベクトルのノルムを計算するノルム計算器１４と、ノルム計算器１４から出力されたノルムに係数βを乗じ、ステップサイズα_c ⁽ⁿ⁾を出力する乗算器１５とから構成される。
【００５８】
ここで、上述のノルム計算器１４とは、ベクトルのノルム（各要素の二乗和）を計算するための計算器である。ノルムはベクトルとそれ自身との内積によっても求められる。また、漏洩累和器１３から出力されるベクトルｑ⁽ⁿ⁾の長さ（次元）はＮであるから、漏洩累和器の所要数はＮ個である。
【００５９】
図１に示されるステップサイズ制御装置における動作を、図２を参照して説明する。図２に、図１に示されるステップサイズ制御装置の動作のフローチャートを示す。
【００６０】
図２を参照すると、ステップＳ１において、 e_n＋ν_nからsgn （ e_n＋ν_n）と｜ e_n＋ν_n｜の平方根との積を計算する。そして、ステップＳ２において、ステップＳ１で計算された積にベクトルａ_nを乗じる。次に、漏洩累和器１３によってベクトルｑ⁽ⁿ⁾を求め（ステップＳ３）、ノルム計算器１４によってノルム‖ｑ⁽ⁿ⁾‖²を計算する（ステップＳ４）。次に、乗算器１５が、ノルム‖ｑ⁽ⁿ⁾‖²に係数βを乗じ、ステップサイズα_c ⁽ⁿ⁾として出力する（ステップＳ５、６）。
【００６１】
次に本発明に係る適応フィルタが有するステップサイズ制御装置の詳細なブロック図を図３に示す。図３において、１０、１１及び１２はそれぞれ漏洩累和器であり、１は入力した誤差信号系列と雑音系列との和 e_n＋ν_n、２０は入力した e_n＋ν_nの極性を検出し、検出した極性をｓｇｎ（ e_n＋ν_n）として出力する極性検出器、２１は極性出力ｓｇｎ（ e_n＋ν_n）、３０は絶対値計算器、３１は絶対値出力｜ e_n＋ν_n｜、４０は平方根計算器、４１は平方根出力（｜ e_n＋ν_n｜のルート）、５０は乗算器、２は極性出力ｓｇｎ（ e_n＋ν_n）と平方根出力（｜ e_n＋ν_n｜のルート）との積出力、１０１、１１１及び１２１は、それぞれ入力信号系列の成分ａ_n、ａ_n-k、及びａ_n-N+1である。
【００６２】
１１２、１１３及び１１４はそれぞれ乗算器、１１５は加算器、１１６は入力した信号に対して単位時間の遅延を与える遅延器であり、１１７は漏洩係数ρ、１１８は漏洩係数の補数（1 −ρ）である。
【００６３】
１０９、１１９及び１２９はそれぞれ漏洩累和器の出力である。６０はベクトルのノルム計算器であり、１０９、・・・、１１９、・・・、１２９からなるベクトルのノルムを計算し、ノルム６１を出力する。７０は乗算器、３は係数βであり、４は出力として得られるステップサイズである。
【００６４】
従って、この実施形態によれば、確率勾配サインアルゴリズムを用いた適応フィルタが有するステップサイズ制御装置が、ステップサイズα_c ⁽ⁿ⁾を、時刻ｎにおける二乗平均誤差ε⁽ⁿ⁾が略最小になる値になるように制御するので、収束速度を向上させることが可能になると共に、収束後の二乗平均誤差を小さく抑えることができる。
【００６５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、収束後の残留誤差を小さくし、収束を高速化することが可能な適応フィルタを提供することができる。
【００６６】
例として、本発明に係る適応フィルタの収束過程のシミュレーション結果を以下に示す。信号系列は白色ガウス過程、相加雑音はガウス雑音と仮定する。典型的なパラメタ値として、
タップ数Ｎ＝４
未知システム応答ベクトル h ＝［0.05,0.994,0.01,-0.1］^T
入力信号系列の電力 σ_a ²＝1 （0dB ）
相加雑音の電力 σν²＝0.01（-20dB ）
ステップサイズが固定の場合 α_c＝2 ^-11
本発明による適応制御ステップサイズの場合 ρ＝2 ^-7
を使用した。
【００６７】
上記パラメータを入力して、適応フィルタを使用した場合のシミュレーション結果を図４に示す。
【００６８】
この図４において、破線はステップサイズが固定の場合の二乗平均誤差（ＭＳＥ）の収束の状態を示し、実線は本発明に係る適応フィルタが有するステップサイズ制御装置によりステップサイズの制御を行った場合のＭＳＥを示す。また、縦軸はＭＳＥ［ｄＢ］、横軸は時刻ｎを示す。
【００６９】
この図４からも明らかなように、本発明に係る適応フィルタによれば、収束速度が著しく高速化される一方、収束後のＭＳＥは、ステップサイズが固定の場合のＭＳＥと同等である。なお理論的には、漏洩係数ρを大きく選べば、収束は速くなるが、収束後のＭＳＥは増大することが分かっている。
【００７０】
上記の例から明らかなように、本発明によれば、時刻ｎにおけるステップサイズを最適に制御することにより、収束後のＭＳＥを小さく抑え、且つ収束の速い確率勾配サインアルゴリズムを用いた適応フィルタを提供することができる。
【図面の簡単な説明】
【図１】本発明に係る適応フィルタが有するステップサイズ制御装置の一実施形態のブロック図である。
【図２】図１に示すステップサイズ制御装置の動作を示すフローチャートである。
【図３】本発明に係る適応フィルタが有するステップサイズ制御装置の一実施形態のブロック図である。
【図４】本発明に係る適応フィルタのシミュレーション結果を示すグラフである。
【図５】適応フィルタを未知システムの同定に適用した場合のブロック図である。
【図６】非巡回型適応フィルタのタップ重み制御アルゴリズムに対応する構成の一部を示すブロック図である。
【符号の説明】
１入力信号
２積出力
３係数
４出力ステップサイズ
５極性検出器
６絶対値計算器
７平方根計算器
８、９乗算器
１０、１１、１２、１３漏洩累和器
１４ノルム計算器
１５乗算器
２０極性検出器
２１極性出力
３０絶対値計算器
３１絶対値出力
４０平方根計算器
４１平方根出力
４２適応フィルタ
４３減算器
４４加算器
４５未知システム
５０乗算器
５１、５２、５３遅延器
５４極性検知器
５５、５６乗算器
５７加算器
５８乗算器
６０ノルム計算器
６１ノルム
７０乗算器
１０１、１１１、１２１漏洩累和器入力
１１２、１１３、１１４乗算器
１１５加算器
１１６遅延器
１１７漏洩係数
１１８漏洩係数の補数
１０９、１１９、１２９漏洩累和器出力[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an echo canceller used for data transmission and an acoustic system, an automatic equalizer for digital data transmission, and an adaptive filter used for identification of other unknown systems.
[0002]
[Prior art]
First, the principle of a conventional adaptive filter will be described below with reference to the drawings. FIG. 5 shows a block diagram of a circuit when an unknown system is identified by an adaptive filter.
[0003]
The circuit shown in FIG. 5 is output from an adaptive filter 42 that receives an input signal sequence, an unknown system 45 that receives an input signal sequence and outputs an unknown signal sequence as a response, and an additive noise and an unknown system. An adder 44 for adding the output of the unknown signal sequence, and the estimated value output from the adaptive filter 42 is subtracted from the signal output from the adder 44 to adapt the sum of the error signal sequence and the noise sequence. And a subtractor 43 that outputs to the filter 42.
[0004]
The adaptive filter 42 creates an estimated value of the unknown signal sequence from the known filter input signal sequence, and updates the parameters of the filter based on the error signal sequence between the unknown signal sequence and this estimated value sequence. , To correctly identify unknown systems.
[0005]
Noise during normal observation is added to the unknown signal series. In this way, the adaptive filter converges from the unlearned initial state to the final state, and identifies the unknown system.
[0006]
Further, the unknown signal sequence is often given as a response to the input signal sequence of the unknown system 45, as shown in FIG. An echo canceller and an automatic equalizer correspond to this case.
[0007]
Next, the configuration of the adaptive filter 42 shown in FIG. 5 will be described with reference to FIG. FIG. 6 is a block diagram showing a part of the configuration of the adaptive filter 42 shown in FIG. The adaptive filter includes a delay unit 51 that gives a unit time delay to an input signal, a delay unit 52 that inputs a component _ank of the input signal sequence output from the delay unit 51 and gives a unit time delay, a polarity detector 54 for detecting the polarity of the sum of the error signal series e _n and noise sequence [nu _n input, output from the component a _nk and polarity detector 54 of the delayed input signal sequence, which is the output of the delay device 51 a multiplier 55 for calculating a product of the error signal sequence e _n and the polarity sgn of the sum of noise sequence _{_{_{ν n (e n + ν n}}} ), and the product output from the multiplier 55, the step size at time n a multiplier 56 that calculates a product of α _c ⁽ⁿ⁾ , a step size α _c ⁽ⁿ⁾ at time n multiplied by the product output from the multiplier 56, and a k-th tap weight c ^{(n )} the sum of _k is calculated and the time n + 1 this calculated value An adder 57 which outputs as a tap weight c ^{(n + 1)} _k where definitive, a delay unit 53 for delaying the adder 57 tap weight c at time n + 1 output from the ^{(n + 1)} unit time _k, The multiplier 58 calculates the product of the tap weight output from the delay unit 53 and the component _ank of the input signal sequence output from the delay unit 51.
[0008]
The adaptive filter is often realized as a non-recursive type (FIR) as shown in FIG. This figure shows a control circuit for the k-th tap weight c _k ^{(n) out} of ^N tap weights, and the final output of the adaptive filter is the sum of k.
[0009]
Moreover, N sets of tap weight c ₀ by using the sum of the error signal series e _n and noise sequence ν _n, c _1, ···, and controls the c _N-1. In FIG. 6, n is the time, a _n is an input signal sequence, α _c ⁽ⁿ⁾ is the step size at time n. If the tap weight control algorithm shown in FIG. 6 is expressed by an equation, it becomes a probability gradient sign algorithm given by the following equation.
^{c (n + 1) = c} (n) + α c (n) sgn (e n + ν n) a (n)
^{Here, c (n) = [c} 0 (n), c 1 (n), ···, c N-1 (n)] T and ^{_{a (n) = [a n}} , a n-1, · .., A _{n-N + 1} ] ^T represents a tap weight and an input signal sequence as vectors. Further, in the above formula and the following formula, sgn () represents a polarity function, and [] ^T represents transposition of a vector or a matrix.
[0010]
A method of selecting the step size α _c ^{(n) in} the above-described probability gradient sine algorithm will be described. ^If the value of the step size α _c ⁽ⁿ⁾ is fixed without depending on the time, the convergence is fast if it is selected to be large in the range where the convergence of the filter is stable. However, when additive noise exists, there is a problem that the power of the residual error after convergence increases.
[0011]
Further, if the step size α _c ⁽ⁿ⁾ is selected to be small, the residual error after convergence can be suppressed small, but there is a problem that the convergence speed becomes slow.
[0012]
Therefore, in order to solve the above-mentioned conventional problems, the step size is controlled as the filter converges, and the step size is increased at the initial stage of convergence, and is adapted to be reduced at the end of convergence. By controlling, it is possible to realize an adaptive filter that has a fast convergence and a small residual error after the convergence.
[0013]
The conventional step size adaptive control for changing the step size according to the progress of the convergence includes (1) error gradient method, (2) error / replica correlation method, and (3) fourth-order statistic method. Proposed. These are detailed in the following literature.
(1) VJMathews et al., "A Stoch astic Gradient Adaptive Filter with Gradient Adaptive Step Size," IEEE Trans. On SP, vol.41, no.6, pp.2075-2087, June 1993.
(2) A. Kanemasa etal., "An Adaptive-Step Sign Algorithm for Fast Convergence of a Data Echo Can celler," IEEE Trans. On Commun., Vol.35, no.10, pp.1102 -1108, October 1987 .
(3) D. Pazaitis etal., "A Kurtosis-Driven Variable Step-Size LMS Algorithm," Proceedings IEEE ICASSP96, vol.III, pp.1846-1849, Atlanta, GA,
May 1996.
[0014]
Japanese Patent Laid-Open No. 8-265223 discloses a conventional technique that takes into account the speed of convergence and the residual error after convergence. Japanese Patent Laid-Open No. 8-265223 discloses a method of changing the step size according to the absolute value of the tap weight. Japanese Patent Laid-Open No. 2-291712 discloses a method of changing the step size according to the variance of the error signal power, and Japanese Patent Laid-Open No. 61-234131 discloses the polarity of the error signal and the output of the adaptive filter. A method of changing the step size in accordance with the correlation value of the polarity (estimated value or replica) (see (2) above) is disclosed.
[0015]
[Problems to be solved by the invention]
However, in the conventional method described above, if the residual error after convergence is suppressed to a level that is obtained when the step size is fixed, sufficient improvement in increasing the convergence speed cannot be obtained. There is a problem that none of the effects are sufficient.
[0016]
The present invention has been made in view of the above circumstances, and provides an adaptive filter capable of adaptively controlling the step size in the probability gradient sine algorithm so as to increase the convergence speed and reduce the residual error after convergence. For the purpose.
[0017]
[Means for Solving the Problems]
Invention of claim 1, implemented as a FIR filter, at time n, N dimensional tap weight vector c ⁽ⁿ⁾ is the step size αc a ⁽ⁿ⁾ at time n, the error signal sequence to e _n, In an adaptive filter using a probability gradient sine algorithm given by the following equation (5), _where ν _n is a noise sequence, sgn is a polarity function, and a ⁽ⁿ⁾ is an input signal sequence at time n, An adaptive filter having a step size control device that controls the step size αc ^{(n) so} that the mean square error ε ^{(n) at} time n given by the following equation (6 ⁾ is substantially minimized :
[0018]
[Equation 3]

[0020]
The step size control device comprises: polarity detection means for detecting the polarity of the sum of the input error signal sequence and noise sequence; and absolute value calculation means for calculating the absolute value of the sum of the input error signal sequence and noise sequence. A square root calculation unit for calculating a square root of the absolute value calculated by the absolute value calculation unit, a polarity detected by the polarity detection unit, and a square root of the absolute value calculated by the square root calculation unit A second multiplier for calculating a product of the product calculated by the first multiplier and the input signal sequence, and outputting the calculated value as a product vector; A leaky accumulator that multiplies the product vector output by the second multiplier by a leakage coefficient ρ, performs averaging, and calculates an averaged vector, and a norm of the averaged vector calculated by the leakage accumulator The Norm calculating means for calculation, by multiplying a predetermined coefficient β to the calculated by the norm calculating unit norm, a third multiplier for outputting a norm multiplied by the coefficient β as step size .alpha.c ⁽ⁿ⁾ at time n It is characterized by having.
[0021]
Therefore, according to the present invention, the N-dimensional tap weight vector c ⁽ⁿ⁾ Step size α c ^{(n) at} time n Is the mean square error ε ^{(n) at} time n Therefore, the residual error after convergence can be reduced without reducing the convergence speed of the adaptive filter. In the present invention, the sum of the error signal e _n and additive noise [nu _n that enter, Motomari vector of formula (7) shown below,
[0022]
[Expression 4]

[0023]
Using a vector obtained by multiplying this vector by a leakage coefficient ρ, a vector q _n represented by a recurrence formula shown in the following equation (8) is calculated as a product vector by a leakage accumulator.
[0024]
[Equation 5]

[0025]
The step size α _c ⁽ⁿ⁾ is calculated by calculating the norm of this vector q _n and multiplying this norm by the coefficient β, so that the mean square error after convergence can be kept small and the convergence is performed quickly. be able to.
[0026]
According to a second aspect of the present invention, in the first aspect, wherein the coefficient β is Ra and the input signal sequence a ⁽ⁿ⁾ the input signal series given by equation (9) below using a ^{( n) is} a covariance matrix or correlation matrix, and Γ (x) is a gamma function, and is given by the following equation (10).
[0027]
[Formula 6]

[0028]
Therefore, according to the present invention, the effect of the invention of claim 1 can be obtained, and the mean square error after convergence can be minimized almost accurately by setting the value of the coefficient β appropriately. it can.
[0029]
The present invention performs control of a step size different from that of the prior art, and more specifically, is an adaptive filter capable of approximating an optimal step size value that is theoretically derived. Hereinafter, the control of the optimum step size in the adaptive filter according to the present invention will be described.
[0030]
First, as preparation for describing the step size control method according to the present invention, a method of selecting a theoretically optimum step size at each time is derived. Now, using the tap weight c _k , a vector of θ ⁽ⁿ⁾ = h−c _k ⁽ⁿ⁾ is defined as a tap weight error. It is assumed that h is a response vector of an unknown system to be estimated, and the length (dimension) is equal to the number of taps N.
[0031]
The update formula for θ ⁽ⁿ⁾ is
^{θ (n + 1) = θ} (n) -α c (n) sgn (e n + ν n) a (n)
It is. Here, the theta ⁽ⁿ⁾ of the second moment matrix ^{k (n) = E [θ} (n) θ (n) T] (E [X] denotes the expected value of X.) Is, theta ^{(n If the} above equation is used as ⁺¹⁾ , the following difference equation holds.
^{k (n + 1) = k} (n) -α c (V (n) + V (n) T) + α c 2 Ra
Here, the matrix V ⁽ⁿ⁾ is given by the following equation, and Ra = E [a ⁽ⁿ⁾ a ^{(n) T} ] is a covariance matrix (or correlation matrix) of a filter input signal sequence assumed to be a Gaussian process.
V ⁽ⁿ⁾ = E [sgn (e _n + ν _n ) a ⁽ⁿ⁾ θ ^{(n) T} ]
[0032]
Furthermore, the root mean square error (MSE) ε ^{(n) at} time n is
ε ⁽ⁿ⁾ = E [e _n ² ] = trace (RaK ⁽ⁿ⁾ )
Is required. Here, trace (A) means the sum of the diagonal elements of the matrix A.
[0033]
Therefore, in order to obtain the step size that minimizes ε ^{(n + 1)} at time n, the partial differential coefficient for the step size α _c ⁽ⁿ ⁾ of ε ^{(n + 1)} given by the following equation at time n: First ask for.

[0034]
By setting this partial differential coefficient to zero, the theoretical value α _c ⁽ⁿ⁾ opt of the optimal step size ^is
α _c ⁽ⁿ⁾ _opt = trace (RaV ⁽ⁿ⁾ ) / trace (Ra ² )
And obtained.
[0035]
By the way, regarding the expected value E _a [| θ ⁽ⁿ⁾ ] regarding the vector a ⁽ⁿ⁾ when the value of θ ⁽ⁿ⁾ is given,
[0036]
[Expression 7]

[0037]
Holds approximately. from now on,
[0038]
[Equation 8]

[0039]
Therefore, the optimal step size is
[0040]
[Equation 9]

[0041]
It is expressed. Here, σν ² is the power of additive noise.
[0042]
The optimal step size α _c ⁽ⁿ⁾ _opt is
[0043]
[Expression 10]

[0044]
Can be written. Here, the coefficient (2 / π) ^1/2 / trace (Ra ² ) before trace (Ra ² K ⁽ⁿ⁾ ) is a coefficient that does not depend on time n.
[0045]
Therefore, the step size control apparatus included in the adaptive filter according to the present invention creates the step size at time n by the following equation.
α _c ⁽ⁿ⁾ = β‖q ⁽ⁿ⁾ ‖ ²
However, ‖q ⁽ⁿ⁾ || ² is the norm of the vector q ^(n), the vector q ⁽ⁿ⁾ is sequentially calculated by the leakage cumulative sum device according to the following recursion formula.
[0046]
## EQU11 ##

[0047]
Here, ρ is a leakage coefficient. Further, the coefficient β = (π / 2) ^1/2 / Γ ² (5/4) / trace (Ra ² ) = 1.78705520 / trace (Ra ² ), where Γ (x) is a gamma function.
[0048]
If the step size α _c ⁽ⁿ⁾ is made as in the above equation,
[0049]
[Expression 12]

[0050]
It is shown that However, γ = (2 / π) ^1/2 2 ^1/4 Γ (5/4) = 0.86003999. from now on,
[0051]
[Formula 13]

[0052]
It becomes. That is, the step size used in the present invention is approximately equal to the optimum theoretical value at each time n.
[0053]
When α _c ⁽ⁿ⁾ is created using the above equation, the coefficient β must be obtained in advance, and this requires a value of trace (Ra ² ). Here, it is assumed that the input signal sequence to the filter is known, and its covariance matrix Ra is also known. If this value is unknown, it can be obtained by the following recurrence formula.
[0054]
[Expression 14]

[0055]
Here, ρτ is a sufficiently small leakage coefficient, and the delay amount L is selected to be sufficiently large so that E [a ^{(nL) T} a ⁽ⁿ⁾ ] ≈0 holds. It is known that τ ⁽ⁿ⁾ converges to E (a ^{(nL) T} a ⁽ⁿ⁾ ) ² ] = trace (Ra ² ) after a sufficient time has elapsed.
[0056]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of an adaptive filter according to the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of an embodiment of a step size control device provided in an adaptive filter according to the present invention.
[0057]
The step size controller includes a polarity detector 5 for detecting the polarity of the sum of the error signal series e _n and noise sequence [nu _n input, the absolute of the sum of the error signal series e _n and noise sequence [nu _n input an absolute value calculator 6 to calculate the value, the square root calculator 7 for calculating a square root of the absolute values calculated in the absolute value calculator 6, the error signal series output from the polarity detector 5 e _n and noise sequence [nu _n with polar sgn sum (e _{_n} + ν _n) and a multiplier 8 for calculating the product of the square root output from the square root calculator 7, the product of the outputted product and the input signal vector a _n from the multiplier 8 A multiplier 9 for calculating, a leaky accumulator 13 for calculating the average by multiplying the product output from the multiplier 9 by a coefficient ρ, and a norm calculation for calculating a norm of a vector output from the leaky accumulator 13 14 and the norm output from norm calculator 14 multiplied by beta, comprised of a multiplier 15 for outputting the step size α _c ^(n).
[0058]
Here, the norm calculator 14 described above is a calculator for calculating a vector norm (sum of squares of each element). The norm is also determined by the inner product of the vector and itself. Further, since the length (dimension) of the vector q ⁽ⁿ⁾ output from the leaky accumulator 13 is N, the required number of leaky accumulators is N.
[0059]
The operation of the step size control apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 2 shows a flowchart of the operation of the step size control apparatus shown in FIG.
[0060]
Referring to FIG. 2, in step S1, the _{_{e n + ν n sgn (e}} n + ν n) and | calculates the product of the square root | e _{_n} + ν _n. Then, in step S2, multiplying the vector a _n to the calculated product in step S1. Then, the leakage cumulative sum 13 obtains the vector q ⁽ⁿ⁾ (step S3), and calculates the norm ‖q ⁽ⁿ⁾ || ² by norm calculator 14 (step S4). Next, the multiplier 15 multiplies the norm ‖q ⁽ⁿ⁾ ‖ ² by the coefficient β and outputs the result as a step size α _c ⁽ⁿ⁾ (steps S5 and S6).
[0061]
Next, FIG. 3 shows a detailed block diagram of the step size control apparatus included in the adaptive filter according to the present invention. In FIG. 3, 10, 11 and 12 are leaky accumulators, respectively, 1 is the sum of the input error signal sequence and noise sequence, e _n + ν _n , 20 is the polarity of the input e _n + ν _n , polarity detector outputs the detected polarity as _{_{sgn (e n + ν n)}} , 21 is polarity output _{_{sgn (e n + ν n)}} , 30 is an absolute value calculator, 31 is an absolute value output _{_{| e n + ν n |,}} 40 Is a square root calculator, 41 is a square root output (root of | e _n + ν _n |), 50 is a multiplier, 2 is a polar output sgn (e _n + ν _n ), and a square root output (root of | e _n + ν _n |). The product outputs 101, 111 and 121 are components an _n , a _nk and a _{n−N + 1} of the input signal sequence, respectively.
[0062]
112, 113 and 114 are multipliers, 115 is an adder, 116 is a delay unit which gives a unit time delay to the input signal, 117 is a leakage coefficient ρ, 118 is a complement of the leakage coefficient (1 −ρ ).
[0063]
109, 119 and 129 are the outputs of the leaky accumulators, respectively. Reference numeral 60 denotes a vector norm calculator, which calculates a norm of a vector consisting of 109,..., 119,. 70 is a multiplier, 3 is a coefficient β, and 4 is a step size obtained as an output.
[0064]
Therefore, according to this embodiment, the step size control device included in the adaptive filter using the stochastic gradient sine algorithm has the step size α _c ⁽ⁿ⁾ and the mean square error ε ^{(n) at} time n is substantially minimized. Since the control is performed so as to be a value, it is possible to improve the convergence speed and to suppress the mean square error after convergence.
[0065]
【The invention's effect】
As apparent from the above description, according to the present invention, it is possible to provide an adaptive filter capable of reducing the residual error after convergence and speeding up the convergence.
[0066]
As an example, a simulation result of the convergence process of the adaptive filter according to the present invention is shown below. The signal sequence is assumed to be a white Gaussian process, and the additive noise is assumed to be Gaussian noise. As a typical parameter value,
Number of taps N = 4
Unknown system response vector h = [0.05, 0.994, 0.01, -0.1] ^T
Input signal power σ _a ² = 1 (0dB)
Power of additive noise σν ² = 0.01 (-20dB)
When the step size is fixed α _c = 2 ^-11
In the case of the adaptive control step size according to the present invention ρ = 2 ^-7
It was used.
[0067]
FIG. 4 shows the simulation results when the above parameters are input and the adaptive filter is used.
[0068]
In FIG. 4, the broken line indicates the state of convergence of the root mean square error (MSE) when the step size is fixed, and the solid line indicates the case where the step size is controlled by the step size control device included in the adaptive filter according to the present invention. Shows the MSE. The vertical axis represents MSE [dB], and the horizontal axis represents time n.
[0069]
As is clear from FIG. 4, according to the adaptive filter of the present invention, the convergence speed is remarkably increased. On the other hand, the MSE after convergence is equivalent to the MSE when the step size is fixed. Theoretically, it is known that if the leakage coefficient ρ is selected to be large, the convergence becomes faster, but the MSE after convergence increases.
[0070]
As is clear from the above example, according to the present invention, the adaptive filter using the stochastic gradient sign algorithm with fast convergence can be achieved by suppressing the MSE after convergence by optimally controlling the step size at time n. Can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of a step size control device included in an adaptive filter according to the present invention.
FIG. 2 is a flowchart showing an operation of the step size control apparatus shown in FIG.
FIG. 3 is a block diagram of an embodiment of a step size control device included in an adaptive filter according to the present invention.
FIG. 4 is a graph showing a simulation result of an adaptive filter according to the present invention.
FIG. 5 is a block diagram when an adaptive filter is applied to identification of an unknown system.
FIG. 6 is a block diagram showing a part of a configuration corresponding to a tap weight control algorithm of an acyclic adaptive filter.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Input signal 2 Product output 3 Coefficient 4 Output step size 5 Polarity detector 6 Absolute value calculator 7 Square root calculator 8, 9

Multiplier

10, 11, 12, 13 Leakage accumulator 14 Norm calculator 15 Multiplier 20 Polarity Detector 21 Polarity output 30 Absolute value calculator 31 Absolute value output 40 Square root calculator 41 Square root output 42 Adaptive filter 43 Subtractor 44 Adder 45 Unknown system 50

Multiplier

51, 52, 53 Delay 54

Polarity detector

55, 56 Multiplier 57 Adder 58 Multiplier 60 Norm calculator 61 Norm 70

Multiplier

101, 111, 121

Leakage accumulator input

112, 113, 114 Multiplier 115 Adder 116 Delayer 117 Leakage coefficient 118

Leakage coefficient complement

109, 119, 129 Leakage accumulator output

Claims

Is implemented as a FIR filter, at time n, N dimensional tap weight vector c ⁽ⁿ⁾ is the step size αc a ⁽ⁿ⁾ at time n, the error signal sequence to e _n, noise and [nu _n sequence, a sgn In an adaptive filter using a probability function sine algorithm given by the following equation (1) with a polarity function, a ⁽ⁿ⁾ as an input signal sequence at time n,
An adaptation having a step size control device for controlling the step size αc ⁽ⁿ ) in the equation (1) so that the mean square error ε ^{(n) at the} time n given by the following equation (2 ⁾ is substantially minimized. A filter,

The step size control device includes:
Polarity detection means for detecting the polarity of the sum of the input error signal sequence and the noise sequence;
Absolute value calculating means for calculating the absolute value of the sum of the input error signal sequence and noise sequence;
A square root calculating means for calculating a square root of the absolute value calculated by the absolute value calculating means;
A first multiplier for calculating a product of the polarity detected by the polarity detection means and the square root of the absolute value calculated by the square root calculation means;
A second multiplier that calculates a product of the product calculated by the first multiplier and the input signal sequence and outputs the calculated value as a product vector;
A leakage accumulator that multiplies the product vector output by the second multiplier by a leakage coefficient ρ, performs averaging, and calculates an averaged vector;
Norm calculating means for calculating a norm of an averaged vector calculated by the leaky accumulator;
The norm calculated by the norm calculating means is multiplied by a predetermined coefficient β, and the norm obtained by multiplying the coefficient β is a step size α c ⁽ⁿ⁾ at time n. And a third multiplier for outputting as an adaptive filter.

The coefficient β is
The Ra, and the covariance matrix of the input signal sequence a ⁽ⁿ⁾ the input signal given by equation (3) below using a sequence a ^(n), or correlation matrix, gamma (x) is a gamma function, adaptive filter according to claim 1, wherein a given by the following equation (4).