KR100480789B1

KR100480789B1 - 피드백 구조를 이용한 적응적 빔 형성방법 및 장치

Info

Publication number: KR100480789B1
Application number: KR10-2003-0003258A
Authority: KR
Inventors: 최창규; 김재우; 공동건
Original assignee: 삼성전자주식회사
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2005-04-06
Anticipated expiration: 2023-01-17
Also published as: US20040161121A1; KR20040066257A; US7443989B2; EP1439526A3; JP4166706B2; JP2004229289A; EP1439526B1; EP1439526A2

Abstract

피드백 구조를 이용한 적응적 빔 형성방법 및 장치가 개시된다. 적응적 빔 형성장치는 M(여기서 M은 2 이상) 개의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 M개의 음성신호에 대하여 각각 지연시간을 보상하고, 지연시간이 보상된 M개의 음성신호를 합산하는 고정 빔 형성부, 및 M개의 적응적 제거필터와 피드백 구조로 연결된 M개의 적응적 차단필터를 이용하여 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 순수한 잡음성분을 발생시키고, 상기 M개의 적응적 차단필터와 피드백 구조로 연결된 M개의 적응적 제거필터를 이용하여 상기 고정 빔 형성부의 출력신호로부터 순수한 음성성분을 발생시키는 다중채널 신호분리부를 포함한다.

Description

피드백 구조를 이용한 적응적 빔 형성방법 및 장치 {Method and apparatus for adaptive beamforming using feedback structure}

본 발명은 적응적 빔 형성기에 관한 것으로서, 특히 피드백 구조를 이용한 적응적 빔 형성방법 및 장치에 관한 것이다.

최근 들어 건강, 안전, 홈 네트워크, 엔터테인먼트 등의 필요성에 의해 더욱 더 사람들의 관심을 끌고 있는 이동 로봇을 동작시키기 위해서는 사람과 로봇 간의 상호작용(Human-Robot Interaction)을 필요로 한다. 즉, 이동 로봇은 사람이 하는 것과 마찬가지로 비젼시스템을 가지고 사람을 인식하고 주변 상황을 인지할 수 있어야 하며, 자신의 주위에서 말하는 사람의 위치를 알아야 하고 그 사람이 하는 말을 이해할 수 있어야 한다.

이동 로봇에 있어서 음성 입력시스템은 사람과 로봇 간의 상호작용에 필수적일 뿐만 아니라 자율 주행에도 중요한 이슈가 된다. 실내 환경에서 이동 로봇의 음성 입력시스템에 야기되는 중요한 문제는 잡음, 반향 및 거리이다. 실내 환경에서는 여러가지 잡음원과 벽이나 기타 사물에 의한 반향이 존재한다. 거리에 따라서 음성의 저주파 성분은 고주파 성분에 비하여 더 많이 감쇄되는 특징이 있다. 따라서, 가정의 실내 환경에서 사람과 로봇 간의 상호작용에 필요한 음성 입력시스템은 자율 주행 이동 로봇이 수 미터 떨어진 거리에서 사용자의 평상적인 목소리를 받아들여 음성인식에 직접적으로 사용될 수 있어야 한다.

이러한 음성 입력시스템에서는 음질 및 음성인식율을 향상시키기 위하여 적어도 두개 이상의 마이크로폰으로 이루어진 마이크로폰 어레이를 널리 사용하게 되고, 마이크로폰 어레이로부터 입력되는 음성신호에 포함된 잡음성분을 제거하기 위하여 단일채널 음성강조기법(Single channel speech Enhancement Method), 적응적 음향잡음 제거기법(Adaptive acoustic Noise Canceling Method), 블라인드 신호 분리기법(Blind Signal Separation Method) 및 일반화된 사이드로브 제거기법(Generalized Sidelobe Canceling Method)와 같은 방법들을 사용하고 있다.

Nam-Soo Kim 및 Joon-Hyuk Chang의 "Spectral Enhancement Based on Global Soft Decision" (IEEE Signal Processing Letters, Vol. 7, No. 5 , pp.108-110,2000)에 개시된 단일채널 음성강조기법은 하나의 마이크로폰을 사용하며 정상 배경잡음(stationary background noise)과 같이 잡음의 통계적 특성이 시간적으로 변하지 않은 경우에만 그 성능을 발휘한다. B. Widrow et al.의 "Adaptive Noise Canceling: Principles and Applications" (Proceedings of IEEE, Vol. 63, No. 12, pp. 1692-1716, 1975)에 개시된 음향잡음 제거기법은 두개의 마이크로폰을 사용하는데, 그 중 하나는 잡음만을 수음하는 참조 마이크로폰이므로, 잡음만을 수음할 수 없는 경우 또는 참조 마이크로폰으로 수음한 잡음 이외의 잡음이 혼입되는 경우에는 그 성능이 급격히 저하된다. 또한, 블라인드 신호 분리기법은 실제 환경에 적용하기 어려울 뿐 아니라 실시간 구현이 어려운 단점이 있다.

도 1은 일반화된 사이드로브 제거기법을 채용하는 종래의 적응적 빔 형성장치의 일예를 보여주는 블럭도로서, 고정 빔 형성부(11), 적응적 차단 매트릭스부(13) 및 적응적 다중입력 제거부(15)로 이루어진다. 상기 일반화된 사이드로브 제거기법에 대해서는 O. Hoshuyama et al.의 "A Robust Adaptive Beamformer For Microphone Arrays With A Blocking Matrix Using Constrained Adaptive Filters" (IEEE Trans. Signal Processing, Vol. 47, No. 10, pp. 2677-2684, 1999)에 좀 더 구체적으로 기재되어 있다.

도 1을 참조하면, 고정 빔 형성부(11)에서는 지연-합 빔형성기(Delay and Sum Beamformer)를 사용한다. 즉, 각 마이크로폰을 통하여 입력되는 신호의 상관도를 구하여 각 마이크로폰으로 입력되는 신호간의 시간지연을 계산한다. 계산된 시간지연 만큼 각 마이크로폰으로 입력되는 신호를 보상한 다음, 이들을 더해 줌으로써 신호 대 잡음비를 향상시킨 신호를 출력할 수 있다. 적응적 차단 매트릭스부(13)에서는 고정 빔 형성부(11)으로부터 출력되는 시간지연을 보상한 신호로부터 적응적 차단필터(Adaptive Blocking Filter, ABF라 약함)를 통과한 고정 빔 형성부(11)의 출력신호(b(k))를 빼 줌으로써 잡음성분을 극대화시킨다. 적응적 다중입력 제거부(15)에서는 적응적 차단 매트릭스부(13)의 출력신호(z _m ( k), 여기서 m은 1에서 M 사이의 정수)를 적응적 제거필터(Adaptive Canceling Filter, ACF라 약함)를 통과시킨 후 모두 더함으로써, M개의 마이크로폰으로부터 유입된 잡음성분을 발생시킨다. 다음, 소정 시간(D) 지연된 고정 빔 형성부(11)의 출력신호(b(k))로부터 적응적 다중입력 제거부(15)의 출력신호를 빼 줌으로써 잡음성분이 제거된 최종 출력신호(y(k))를 얻는다.

도 1에 도시된 적응적 차단 매트릭스부(13) 및 적응적 다중입력 제거부(15)의 동작을 도 2를 참조하여 좀 더 세부적으로 설명하기로 한다. 적응적 차단 매트릭스부(13) 및 적응적 다중입력 제거부(15)의 동작은 적응적 음향잡음 제거기법과 동일하다.

도 2를 참조하면, 심볼들 즉, s+n, s 및 n 의 사이즈는 주어진 위치에서의 음성신호와 잡음신호의 상대적인 크기를 나타내며, 슬래쉬(/)로 구분된 왼쪽 심볼과 오른쪽 심볼은 각각 이상적인 상태(to-be)와 실제 상태(as-is)를 나타낸다.

적응적 차단필터(ABF, 21)는 제1 감산기(23)의 출력신호에 따라서 고정 빔 형성부(11)의 출력(b(k))를 적응적으로 필터링하여 고정 빔 형성부(11)의 출력(b(k))에 포함된 음성성분이 소정 시간 지연된 마이크로폰 신호(x' _m (k))에 포함된 음성성분과 같은 같은 특성을 가진 신호를 출력한다. 제1 감산기(23)는 소정 시간 지연된 마이크로폰 신호(x' _m (k), 여기서 m은 1에서 M 사이의 정수)로부터 ABF(21)의 출력신호를 빼 줌으로써 마이크로폰 신호(x' _m (k))로부터 음성성분(S)이 제거된 신호를 출력한다.

적응적 제거필터(ACF, 25)는 제2 감산기(27)의 출력신호에 따라서 제1 감산기(23)의 출력(z _m (k))를 적응적으로 필터링하여 제1 감산기(23)의 출력( z _m (k))에 포함된 잡음성분이 고정 빔 형성부(11)의 출력(b(k))에 포함된 잡음성분과 같은 특성을 가진 신호를 출력한다. 제2 감산기(27)는 고정 빔 형성부(11)의 출력(b(k))로부터 ACF(25)의 출력신호를 빼 줌으로써 고정 빔 형성부(11)의 출력(b(k))로부터 잡음성분(N)이 제거된 신호(y(k))를 출력한다.

그런데, 상기한 일반화된 사이드로브 제거기법은 다음과 같은 단점들이 있다. 첫째, ACF(25)로 순수한 잡음신호만 입력되도록 고정 빔 형성부(11)의 지연-합 빔 형성기는 매우 높은 신호 대 잡음비를 갖는 출력(b(k))을 발생시켜야 하는데, 실제 지연-합 빔 형성기로부터 출력되는 신호의 신호 대 잡음비가 그리 높지 않기 때문에 전체적인 성능 열화를 초래한다. 결국, 적응적 차단 매트릭스부(13)에서는 음성신호가 섞인 잡음신호가 출력되므로 적응적 차단 매트릭스부(13)의 출력을 이용하는 적응적 다중입력 제거부(15)는 적응적 차단 매트릭스부(13)의 출력에 섞인 음성성분도 잡음신호로 간주하여 제거함으로써 적응적 빔 형성장치의 최종 출력신호는 잡음성분이 많이 섞인 음성신호가 출력된다. 둘째, 일반화된 사이드로브 제거기법에 사용되는 필터들은 피드포워드 연결 구조를 가지므로 유한임펄스응답(Finite Impulse Response, 이하 FIR이라 약함) 필터로 구성된다. 이와 같이 FIR 필터를 사용하는 경우에는 반향이 많은 실내 환경의 경우 1000 개 이상의 필터 탭을 필요로 하게 된다. 셋째, ABF(21) 및 ACF(25)의 트레이닝이 적절하게 수행되지 않을 경우 적응적 빔 형성장치의 성능이 저하될 수 있다. ABF(21) 및 ACF(25)의 트레이닝을 위해서는 음성신호 존재구간과 음성신호 부존재구간을 필요로 하는데, 이와 같은 구간들은 실제 구하기 어렵다. 넷째, 적응적 차단 매트릭스부(13) 및 적응적 다중입력 제거부(15)의 적응은 교번적으로 수행되어야 하기 때문에 음성 활성도 검출기(Voice Activity Detector)를 필요로 한다. 즉, ABF(21)의 적응을 위해서는 음성성분이 원하는 신호이고 잡음성분이 원하지 않는 신호가 되는 반면, ACF(25)의 적응을 위해서는 잡음성분이 원하는 신호이고 음성성분이 원하지 않는 신호가 된다.

따라서 본 발명이 이루고자 하는 기술적 과제는 적어도 두개 이상의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 광대역 음성신호에 포함된 잡음성분을 거의 완벽하게 제거시킬 수 있는 피드백 구조를 이용한 적응적 빔 형성방법을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 상기 적응적 빔 형성방법을 실현하는데 가장 적합한 장치를 제공하는데 있다.

상기 기술적 과제를 달성하기 위하여 본 발명에 따른 적응적 빔 형성방법은 (a) M(여기서 M은 2 이상) 개의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 M개의 음성신호에 대하여 각각 지연시간을 보상하고, 지연시간이 보상된 M개의 음성신호를 합산하는 단계; 및 (b) M개의 적응적 제거필터와 피드백 구조로 연결된 M개의 적응적 차단필터를 이용하여 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 순수한 잡음성분을 발생시키고, 상기 M개의 적응적 차단필터와 피드백 구조로 연결된 상기 M개의 적응적 제거필터를 이용하여 상기 (a) 단계의 출력신호로부터 순수한 음성성분을 발생시키는 단계를 포함한다.

상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 적응적 빔 형성장치는 M(여기서 M은 2 이상) 개의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 M개의 음성신호에 대하여 각각 지연시간을 보상하고, 지연시간이 보상된 M개의 음성신호를 합산하는 고정 빔 형성부; 및 M개의 적응적 제거필터와 피드백 구조로 연결된 M개의 적응적 차단필터를 이용하여 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 순수한 잡음성분을 발생시키고, 상기 M개의 적응적 차단필터와 피드백 구조로 연결된 상기 M개의 적응적 제거필터를 이용하여 상기 고정 빔 형성부의 출력신호로부터 순수한 음성성분을 발생시키는 다중채널 신호분리부를 포함한다.

또한, 상기 다중채널 신호분리부는 바람직하게로는 상기 M개의 적응적 차단필터로 이루어지며, 각 적응적 차단필터를 이용하여 상기 고정빔 형성부의 출력신호를 필터링하는 제1 필터링부; M개의 감산기로 이루어지며, 각 감산기에서는 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 감산하는 제1 감산부; 상기 제1 감산부의 M개의 감산결과를 각각의 적응적 제거필터를 통하여 필터링하는 제2 필터링부; M개의 감산기로 이루어지며, 각 감산기에서는 상기 고정 빔 형성부의 출력신호로부터 상기 M개의 적응적 제거필터의 출력신호를 감산하고, 각 감산결과는 상기 M개의 적응적 차단필터의 입력으로 제공하는 제2 감산부; 및 상기 제2 감산기의 M개의 감산기로부터의 출력신호를 가산하는 제2 가산부를 구비한다.

또한, 상기 다중채널 신호분리부는 바람직하게로는 상기 M개의 적응적 차단필터로 이루어지며, 각 적응적 차단필터에서는 상기 고정빔 형성부의 출력신호를 필터링하는 제1 필터링부; M개의 감산기로 이루어지며, 각 감산기에서는 상기 지연시간이 보상된 M개의 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 감산하는 제1 감산부; 상기 M개의 적응적 제거필터로 이루어지며, 상기 제1 감산부의 M개의 감산기의 출력을 필터링하는 제2 필터링부; 상기 제2 필터링부의 M개의 적응적 제거필터의 출력신호를 가산하는 제2 가산부; 및 상기 고정 빔 형성부의 출력신호로부터 상기 제2 가산부의 출력신호를 감산하고, 그 감산결과를 상기 M개의 적응적 차단필터의 입력으로 제공하는 제2 감산부를 구비한다.

이하, 본 발명의 실시예에 대하여 첨부된 도면들을 참조하여 상세하게 설명하기로 한다.

도 3은 본 발명에 적용된 피드백 구조를 설명하기 위한 회로도로서, 적응적 차단필터(ABF, 31), 제1 감산기(33), 적응적 제거필터(ACF, 35) 및 제2 감산기(37) 로 이루어진다.

도 3을 참조하면, 적응적 차단필터(ABF, 31)는 제2 감산기(37)의 출력신호(y(k))를 적응적으로 필터링하여 제2 감산기(37)의 출력신호(y(k))에 포함된 음성성분이 소정 시간 지연된 마이크로폰 신호(x' _m (k))에 포함된 음성성분과 같은 같은 특성을 가진 신호를 출력한다. 제1 감산기(33)는 M(여기서 M은 2 이상인 정수)개의 마이크로폰 중 m번째 마이크로폰의 입력신호(x _m (k))를 소정 시간(D _m) 지연시킨 신호(x _m (k-D _m ), 즉 x _m '(k))로부터 적응적 차단필터(ABF, 31)의 출력신호를 감산한다. 그 결과, 제1 감산기(33)에서는 마이크로폰의 입력신호(x _m (k ))에 포함된 순수한 잡음신호(N)만 출력된다.

적응적 제거필터(ACF, 35)는 제1 감산기(33)의 출력신호(z _m (k))를 적응적으로 필터링하여 제1 감산기(33)의 출력신호(z _m (k))에 포함된 잡음성분이 고정 빔 형성부(11)의 출력(b(k))에 포함된 잡음성분과 같은 특성을 가진 신호를 출력한다. 제2 감산기(37)는 고정빔 형성부(11)의 출력신호(b(k))로부터 적응적 제거필터(ACF, 35)의 출력신호를 감산한다. 그 결과, 제2 감산기(37)에서는 고정빔 형성부(11)의 출력신호(b(k))에서 잡음성분이 제거된 순수한 음성신호(S)만 출력된다.

도 4는 본 발명에 따른 적응적 빔 형성장치의 제1 실시예의 구성을 나타낸 블럭도로서, 크게 고정빔 형성부(410)와 멀티채널 신호분리부(430)로 이루어진다. 고정빔 형성부(410)는 M개의 마이크로폰(411a,411b,411c)으로 이루어지는 마이크로폰 어레이(411), 지연시간 추정기(413), M의 지연소자(415a,415b,415c)로 이루어지는 지연부(415) 및 제1 가산부(417)를 포함한다. 멀티채널 신호분리부(430)는 M개의 적응적 차단필터(ABF,431a,431b)로 이루어지는 제1 필터링부(431), M개의 감산기(433a,433b)로 이루어지는 제1 감산부(433), M개의 적응적 제거필터(ACF,435a,435b)로 이루어지는 제2 필터링부(435), M개의 감산기(437a,437b)로 이루어지는 제2 감산부(437) 및 제2 가산부(439)를 포함한다.

도 4를 참조하면, 고정빔 형성부(410)에 있어서, 마이크로폰 어레이(411)는 M개의 마이크로폰(411a,411b,411c)으로부터 각각 음성신호(x ₁ (k), x ₂ (k),...,x _M (k))를 입력받는다. 지연시간 추정기(413)는 마이크로폰 어레이(411)의 M개의 마이크로폰(411a,411b,411c)을 통하여 입력되는 신호들의 상관도를 구하여 각 음성신호(x ₁ (k), x ₂ (k),...,x _M (k))간의 시간지연을 계산한다. 지연부(415)는 M개의 지연소자(415a,415b,415c)에서 지연시간 추정기(413)에서 계산된 지연시간(D₁, D₂,...,D_M)만큼 각 음성신호(x ₁ (k), x ₂ (k),...,x _M (k))를 지연시키고, 지연된 음성신호(x ₁ '(k), x ₂ '(k),...,x _M '(k))출력한다. 여기서, 지연시간 추정기(413)는 상관도 계산 이외에 다양한 방법으로 각 음성신호간 지연시간을 계산할 수 있다.

제1 가산부(417)는 지연부(415)로부터 출력되는 지연된 음성신호(x ₁ '(k ), x ₂ '(k),...,x _M '(k))를 가산하고, 가산된 신호(b(k))를 출력한다. 제1 가산부(417)의 출력(b(k))는 다음 수학식 1과 같이 나타낼 수 있다.

멀티채널 신호 분리부(430)에 있어서, 제1 필터링부(431)의 M개의 ABF(431a,431b)에서는 제2 감산기(437a,437b)의 출력신호를 적응적으로 필터링하여 제2 감산기(437a,437b)의 출력신호에 포함된 음성성분이 소정 시간 지연된 마이크로폰 신호(x' _m (k))에 포함된 음성성분과 같은 같은 특성을 가진 신호를 출력한다.

제1 감산부(433)는 M개의 감산기(433a,433b)에서 각각 지연된 M개의 음성신호(x ₁ '(k), x ₂ '(k),...,x _M '(k))로부터 제1 필터링부(431)의 M개의 ABF(431a,431b)의 출력을 각각 감산하고, 각 감산기(433a,433b)의 출력신호(u ₁ (k), u ₂ (k),...,u _M (k))를 제2 필터링부(435)에서 해당하는 ACF(435a,435b)로 인가한다. 제1 필터링부(431)에서 m번째 ABF의 계수벡터를 , 탭수를 L이라 할때, 제1 감산부(433)의 각 감산기(433a,433b)의 출력신호(u _m (k))는 다음 수학식 2와 같이 나타낼 수 있다.

상기 수학식 1에서 및 는 각각 다음 수학식 3 및 수학식 4와 같이 나타낼 수 있다.

상기 수학식 3에서 h _m,l (k)는 의 ℓ 번째 계수를 나타낸다.

즉, 는 w _m (k)의 N 개의 과거 값을 모은 벡터이고, N은 ACF(435a,435b)의 필터 탭수를 나타낸다.

제2 필터링부(435)의 M개의 ACF(435a,435b)에서는 제1 감산기(431a,431b)의 출력신호를 적응적으로 필터링하여 제1 감산기(431a,431b)의 출력신호에 포함된 잡음성분이 고정 빔 형성부(11)의 출력(b(k))에 포함된 잡음성분과 같은 특성을 가진 신호를 출력한다.

제2 감산부(437)는 M개의 감산기(437a,437b)에서 각각 고정빔 형성부(410)의 출력신호(b(k))로부터 제2 필터링부(435)의 M개의 ACF(435a,435b)의 출력을 각각 감산하고, 각 감산기(437a,437b)의 출력신호(w ₁ (k), w ₂ (k),...,w _M (k))를 제2 가산부(439)로 인가한다. 제2 필터링부(435)에서 m번째 ACF의 계수벡터를 , 탭수를 N이라 할때, 제2 감산부(437)의 각 감산기(437a,437b)의 출력신호(w _m (k))는 다음 수학식 5와 같이 나타낼 수 있다.

상기 수학식 5에서 및 는 각각 다음 수학식 6 및 수학식 7과 같이 나타낼 수 있다.

상기 수학식 6에서 g _m,l (k)는 의 ℓ 번째 계수를 나타낸다.

즉, 는 u _m (k)의 L 개의 과거 값을 모은 벡터이고, L은 ABF(431a,431b)의 필터 탭수를 나타낸다.

제2 가산부(439)는 제2 감산부(437)의 M개의 감산기(437a,437b)의 출력신호(w _m (k))를 가산하여, 최종적으로 잡음성분이 제거된 신호( y(k))를 출력한다. 제2 가산부(439)의 출력신호(y(k))는 다음 수학식 8과 같이 나타낼 수 있다.

도 5는 본 발명에 따른 적응적 빔 형성장치의 제2 실시예의 구성을 나타낸 블럭도로서, 크게 고정빔 형성부(510)와 멀티채널 신호분리부(530)로 이루어진다. 고정빔 형성부(510)는 M개의 마이크로폰(511a,511b,511c)으로 이루어지는 마이크로폰 어레이(511), 지연시간 추정기(513), M의 지연소자(515a,515b,515c)로 이루어지는 지연부(515) 및 제1 가산부(517)를 포함한다. 멀티채널 신호분리부(530)는 M개의 적응적 차단필터(531a,531b,531c)로 이루어지는 제1 필터링부(531), M개의 감산기(533a,533b,533c)로 이루어지는 제1 감산부(533), M개의 적응적 제거필터(535a,535b,535c)로 이루어지는 제2 필터링부(535), 제2 가산부(537) 및 제2 감산부(539)를 포함한다. 여기서, 고정빔 형성부(510)의 구성 및 동작은 도 4에 도시된 제1 실시예와 동일하므로 그 세부적인 설명을 생략하고, 멀티채널 신호 분리부(530)에 대하여 중점적으로 설명하기로 한다.

도 5를 참조하면, 멀티채널 신호 분리부(530)에 있어서, 제1 필터링부(531)의 M개의 ABF(531a,531b,531c)에서는 제2 감산부(539)의 출력신호를 적응적으로 필터링하여 제2 감산부(539)의 출력신호에 포함된 음성성분이 소정 시간 지연된 마이크로폰 신호(x' _m (k))에 포함된 음성성분과 같은 같은 특성을 가진 신호를 출력한다.

제1 감산부(533)는 M개의 감산기(533a,533b,533c)에서 소정시간 지연된 마이크로폰 신호(x ₁ '(k), x ₂ '(k),..., x _M '(k))로부터 M개의 ABF(531a,531b,531c)의 출력을 각각 감산하고, 각 감산기(533a,533b,533c)의 출력신호(z ₁ (k), z ₂ (k),...,z _M (k))를 제2 필터링부(535)에서 해당하는 ACF(535a,535b,535c)로 인가한다. 제1 필터링부(531)에서 m번째 ABF의 계수벡터를 , 탭수를 L이라 할때, 제1 감산부(533)의 각 감산기(533a,533b,533c)의 출력신호(z _m (k))는 다음 수학식 9와 같이 나타낼 수 있다.

상기 수학식 9에서 및 는 각각 다음 수학식 10 및 수학식 11과 같이 나타낼 수 있다.

상기 수학식 10에서 h _m,l (k)는 의 ℓ 번째 계수를 나타낸다.

즉, y (k)는 y(k)의 L 개의 과거 값을 모은 벡터이고, L은 ABF(531a,531b,531c)의 필터 탭수를 나타낸다.

제2 필터링부(535)의 M개의 ACF(535a,535b,535c)에서는 제1 감산부(533)의 M개의 감산기(533a,533b,533c)의 출력신호를 적응적으로 필터링하여 M개의 감산기(533a,533b,533c)의 출력신호에 포함된 잡음성분이 고정 빔 형성부(11)의 출력(b(k))에 포함된 잡음성분과 같은 특성을 가진 신호를 출력한다.

제2 가산부(537)는 M개의 ACF(535a,535b,535c)의 출력신호를 가산한다. 제2 필터링부(535)의 m번째 ACF의 필터계수를 , 탭수를 N이라 할때, 제2 가산부(537)의 출력신호(v(k))는 다음 수학식 12와 같이 나타낼 수 있다.

상기 수학식 12에서 및 는 각각 다음 수학식 13 및 수학식 14와 같이 나타낼 수 있다.

상기 수학식 13에서 g _m,l (k)는 의 ℓ 번째 계수를 나타낸다.

즉, 는 z _m (k)의 N 개의 과거 값을 모은 벡터이고, N은 ACF(535a,535b,535c)의 필터 탭수를 나타낸다.

제2 감산부(539)는 고정빔 형성부(510)의 출력신호(b(k))로부터 제2 가산부(537)의 출력신호(v(k))를 감산하고, 감산된 신호(y(k))를 출력한다. 제2 감산부(539)의 출력신호(y(k))는 다음 수학식 15와 같이 나타낼 수 있다.

한편, 본 발명의 제1 및 제2 실시예에 있어서, 제1 필터링부(431,531)와 제2 필터링부(435,535)를 각각 구성하는 ABF(431a,431b,531a,531b,531c) 및 ACF(435a,435b,535a,535b,535c)는 유한임펄스응답(Finite Impulse Response, 이하 FIR로 약함) 필터로 이루어진다. 각 필터의 입력과 출력 측면에서 볼 때 각각의 필터는 FIR 필터이지만, 멀티채널 신호 분리부(430,530)의 입력(즉, 고정빔 형성부(410,510)의 출력신호(b(k))와 소정 시간 지연된 마이크로폰신호((x ₁ '(k), x ₂ '(k),...,x _M '(k)))과 출력(즉, 도 4의 제2 가산부(439)와 도 5의 제2 감산부(539)의 출력신호(y(k)))) 측면에서 볼 때 멀티채널 신호 분리부(430,530)는 무한임펄스응답(Infinite Impulse Response, 이하 IIR로 약함) 필터로 구현된 것으로 볼 수 있다. 이것은 제1 필터링부(431,531)의 ABF(431a,431b,531a,531b,531c)와 제2 필터링부(435,535)의 ACF(435a,435b,535a,535b,535c)가 피드백 구조로 연결되어 있기 때문이다.

각 FIR 필터의 필터계수는 예를 들면, Anthony J. Bell 이 제안한 정보 최대화 알고리즘(Information Maximization Algorithm)에 의해 갱신되어진다. 정보 최대화 알고리즘은 독립성분분석(Independent Component Analysis) 분야에서 널리 알려진 통계적 학습규칙들 중 하나로서, 잠재적인 신호원들이 통계적으로 독립적이라는 가정하에 센서 어레이 출력값으로부터 잠재적인 신호원들의 비가우시안(non-Gaussian) 데이터구조를 찾아낸다. 정보 최대화 알고리즘은 음성 활성도 검출기(Voice Activity Detector)를 필요로 하지 않기 때문에 원하는 신호 및 원하지 않는 신호의 레벨을 모르더라도 자동적으로 ABF 및 ACF의 필터계수를 적응시킬 수 있다. 상기 정보 최대화 알고리즘에 의하면 ABF(431a,431b,531a,531b,531c) 및 ACF(435a,435b,535a,535b,535c)의 필터계수는 다음 수학식 16 및 수학식 17과 같이 갱신되어진다.

상기 수학식 16 및 17에 있어서, α및 β는 학습규칙을 위한 스텝사이즈이고, SGN(·)는 부호(sign) 함수로서 인수의 값이 0보다 크면 +1, 같으면 0, 작으면 -1이다.

상기한 바와 같이 상기 ABF(431a,431b,531a,531b,531c) 및 ACF(435a,435b,535a,535b,535c)를 FIR 필터로 구현하고 피드백 구조로 연결하면, 마이크로폰 어레이(411, 511)를 구성하는 마이크로폰의 수가 8개인 경우 도 4 및 도 5에 도시된 본 발명에 따른 적응 빔 형성장치는 사용된 필터 탭수가 8*(128+128)=2048개로서, 도 1에 도시된 종래의 적응 빔 형성장치에서 사용된 8*(512+128)=5120개에 비해 대폭 감소될 수 있다.

도 6는 본 발명과 도 1에 도시된 종래기술의 성능을 비교하기 위하여 사용된 실험환경을 도시한 것으로서, 길이, 폭, 높이가 각각 6.5 m, 4.1 m, 3.5 m 인 방의 중앙에 직경 30 cm 인 원형 마이크로폰 어레이를 배치하였다. 원형 마이크로폰 어레이의 상부에는 8 개의 마이크로폰이 동일한 간격을 두고 설치되어 있다. 바닥에서부터 마이크로폰 어레이, 목적음원, 잡음원까지의 높이는 모두 0.79 m 이다. 4 명의 남성 화자가 발성한 40 개의 고립 단어를 목적음으로 사용하였고, 잡음으로는 팬(FAN) 잡음과 음악(MUSIC) 잡음을 사용하였다.

상기한 실험환경에서 객관적 평가, 예를 들면 신호대잡음비(Signal-to-Noise Ratio) 향상에 대한 비교결과는 다음 표 1에 나타난 바와 같다.

	원신호	종래기술(GSC)	본 발명
FAN	9.0	19.5	27.5
MUSIC	6.9	15.5	24.9
Δ_FAN	X	10.5	18.5
Δ_MUSIC	X	8.6	18.0

표 1을 참조하면, 본 발명에 의한 빔 형성방법이 종래기술에 의한 빔 형성방법보다 SNR 이 거의 2 배 정도 향상되었음을 알 수 있다.

다음, 상기한 실험환경에서 주관적 평가, 예를 들면 AB 선호도를 테스트하기 위하여, 10 명의 사람들에게 종래기술에 의한 빔 형성장치의 출력과 본 발명에 의한 빔 형성장치의 출력을 들려 준 다음, 'A 신호가 B 신호보다 훨씬 좋다', 'A 신호가 B 신호보다 좋다', 'A 신호와 B 신호가 같다', 'A 신호가 B 신호보다 나쁘다', 및 'A 신호가 B 신호보다 훨씬 나쁘다'와 같은 5 개의 평가 항목 중 하나를 선택하도록 하였다. 어느 장치의 출력이 A 신호가 될지는 테스트 프로그램에서 임의로 결정하며, '훨씬 좋다'라고 평가된 출력에 2 점, '좋다'라고 평가된 출력에 1 점, '같다'라고 평가된 출력에 0 점을 주어 모든 점수를 합하였다. 이 과정은 팬 잡음과 음악 잡음에 대하여 40 단어씩 비교하도록 하였으며, 최종 비교결과는 다음 표 2에 나타난 바와 같다.

	종래기술(GSC)	본 발명
FAN	78	517
MUSIC	140	284

표 2를 참조하면, 종래기술에 의한 빔 형성장치의 출력에 비하여 본 발명에 따른 빔 형성장치의 출력에 대한 선호도가 훨씬 높다는 것을 알 수 있다.

한편, 상기한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 본 발명에 따른 적응적 빔 형성방법 및 장치는 마이크로폰 어레이가 부착된 자율주행 이동로봇 뿐만 아니라 사용되는 마이크로폰의 수가 적은 PDA(Personal Digital Assistant), 웹패드(WebPad) 또는 차량에 설치되는 휴대폰 등과 같이 사용자의 입과 단말기가 상당히 떨어진 환경에서도 적용가능하며, 이 경우에도 음성인식기의 성능을 대폭 향상시킬 수 있다.

상술한 바와 같이 본 발명에 따르면, 적응적 차단 필터와 적응적 제거필터를 피드백 구조로 연결시킴으로써, 적어도 두개 이상의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 광대역 음성신호에 포함된 잡음성분을 거의 완벽하게 제거할 수 있다. 또한, 적응적 차단 필터와 적응적 제거필터를 FIR 필터로 구현하면서도 피드백 구조로 연결시킴으로써, 적응적 차단필터와 적응적 제거필터를 IIR 필터로 구현가능함으로써 필요로 하는 필터탭수를 줄일 수 있다. 또한, 적응적 차단 필터와 적응적 제거필터의 계수를 학습시키기 위하여 정보 최대화 알고리즘을 사용함으로써 학습에 필요한 파라미터 수를 줄일 수 있을 뿐만 아니라 음성신호의 존재여부를 판단하는 음성 활성도 검출기를 구비할 필요가 없다.

또한, 본 발명에 따른 적응적 빔 형성방법 및 장치는 마이크로폰 어레이의 크기, 배열방식 및 구조에 의한 영향이 적을 뿐 아니라 잡음의 종류에 상관없이 룩 디렉션 에러(look direction error)에 강인한 이점이 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 종래의 적응적 빔 형성장치의 일예를 보여주는 블럭도,

도 2는 도 1에 적용된 피드포워드 구조를 설명하기 위한 회로도,

도 3은 본 발명에 적용된 피드백 구조를 설명하기 위한 회로도,

도 4는 본 발명에 따른 적응적 빔 형성장치의 제1 실시예의 구성을 나타낸 블럭도,

도 5는 본 발명에 따른 적응적 빔 형성장치의 제2 실시예의 구성을 나타낸 블럭도, 및

도 6는 본 발명에 따른 적응적 빔 형성장치와 도 1에 도시된 빔 형성장치의 성능을 비교하기 위하여 사용된 실험환경을 도시한 것이다.

Claims

(a) M(여기서 M은 2 이상인 정수) 개의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 M개의 잡음섞인 음성신호에 대하여 각각 지연시간을 보상하고, 지연시간이 보상된 M개의 잡음섞인 음성신호를 합산하는 단계; 및

(b) M개의 적응적 제거필터와 피드백 구조로 연결된 M개의 적응적 차단필터를 이용하여 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 순수한 잡음성분을 발생시키고, 상기 M개의 적응적 차단필터와 피드백 구조로 연결된 상기 M개의 적응적 제거필터를 이용하여 상기 (a) 단계의 출력신호로부터 순수한 음성성분을 발생시키는 단계를 포함하는 적응적 빔 형성방법.
제1 항에 있어서, 상기 (b) 단계는

(b1) 상기 M개의 적응적 차단필터를 이용하여 상기 (a) 단계의 출력신호를 필터링하는 단계;

(b2) 상기 지연시간이 보상된 M개의 잡음 섞인 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 각각 감산하는 단계;

(b3) 상기 (b2) 단계에서 발생되는 M개의 감산결과를 각각의 적응적 제거필터를 통하여 필터링하는 단계;

(b4) 상기 (a) 단계의 출력신호로부터 상기 M개의 적응적 제거필터의 출력신호를 감산하고, 각 감산결과는 상기 M개의 적응적 차단필터의 입력으로 제공하는 단계; 및

(b5) 상기 (b4) 단계에서 발생되는 M개의 감산결과를 가산하는 단계를 구비하는 적응적 빔 형성방법.
제1 항에 있어서, 상기 (b) 단계는

(b1) 상기 M개의 적응적 차단필터를 이용하여 상기 (a) 단계의 출력신호를 필터링하는 단계;

(b2) 상기 지연시간이 보상된 M개의 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 각각 감산하는 단계;

(b3) 상기 M개의 적응적 제거필터를 이용하여 상기 (b2) 단계에서 발생하는 M개의 감산결과를 각각의 적응적 제거필터를 통하여 필터링하는 단계;

(b4) 상기 (b3) 단계의 M개의 적응적 제거필터의 출력신호를 가산하는 단계; 및

(b5) 상기 (a) 단계의 출력신호로부터 상기 (b4) 단계의 출력신호를 감산하고, 그 감산결과를 상기 M개의 적응적 차단필터의 입력으로 제공하는 단계를 구비하는 적응적 빔 형성방법.
제2 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터는 각각 유한임펄스응답 필터로 구현되며, 피드백 구조로 연결되는 적응적 빔 형성방법.
제4 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터의 필터계수는 정보 최대화 알고리즘에 의해 갱신되는 적응적 빔 형성방법.
제3 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터는 각각 유한임펄스응답 필터로 구현되며, 피드백 구조로 연결되는 적응적 빔 형성방법.
제6 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터의 필터계수는 정보 최대화 알고리즘에 의해 갱신되는 적응적 빔 형성방법.
M(여기서 M은 2 이상인 정수) 개의 마이크로폰으로 이루어지는 마이크로폰 어레이로부터 입력되는 M개의 잡음 섞인 음성신호에 대하여 각각 지연시간을 보상하고, 지연시간이 보상된 M개의 잡음 섞인 음성신호를 합산하는 고정 빔 형성부; 및

M개의 적응적 제거필터와 피드백 구조로 연결된 M개의 적응적 차단필터를 이용하여 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 순수한 잡음성분을 발생시키고, 상기 M개의 적응적 차단필터와 피드백 구조로 연결된 상기 M개의 적응적 제거필터를 이용하여 상기 고정 빔 형성부의 출력신호로부터 순수한 음성성분을 발생시키는 다중채널 신호분리부를 포함하는 적응적 빔 형성장치.
제8 항에 있어서, 상기 고정 빔 형성부는

상기 마이크로폰 어레이로부터 입력되는 M개의 음성신호에 대하여 각각 지연시간을 계산하는 지연시간 추정기;

상기 지연시간 추정기에서 계산된 지연시간만큼 상기 M개의 음성신호를 각각 지연시키는 지연부; 및

상기 지연부에서 지연되는 M개의 음성신호를 가산하는 제1 가산부를 포함하는 적응적 빔 형성장치.
제8 항 또는 제9 항에 있어서, 상기 다중채널 신호분리부는

상기 M개의 적응적 차단필터로 이루어지며, 각 적응적 차단필터를 이용하여 상기 고정빔 형성부의 출력신호를 필터링하는 제1 필터링부;

M개의 감산기로 이루어지며, 각 감산기에서는 상기 지연시간이 보상된 M개의 잡음섞인 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 감산하는 제1 감산부;

상기 제1 감산부의 M개의 감산결과를 각각의 적응적 제거필터를 통하여 필터링하는 제2 필터링부;

M개의 감산기로 이루어지며, 각 감산기에서는 상기 고정 빔 형성부의 출력신호로부터 상기 M개의 적응적 제거필터의 출력신호를 감산하고, 각 감산결과는 상기 M개의 적응적 차단필터의 입력으로 제공하는 제2 감산부; 및

상기 제2 감산기의 M개의 감산기로부터의 출력신호를 가산하는 제2 가산부를 구비하는 적응적 빔 형성장치.
제8 항 또는 제9 항에 있어서, 상기 다중채널 신호분리부는

상기 M개의 적응적 차단필터로 이루어지며, 각 적응적 차단필터에서는 상기 고정빔 형성부의 출력신호를 필터링하는 제1 필터링부;

M개의 감산기로 이루어지며, 각 감산기에서는 상기 지연시간이 보상된 M개의 음성신호로부터 상기 M개의 적응적 차단필터의 출력신호를 감산하는 제1 감산부;

상기 M개의 적응적 제거필터로 이루어지며, 상기 제1 감산부의 M개의 감산기의 출력을 필터링하는 제2 필터링부;

상기 제2 필터링부의 M개의 적응적 제거필터의 출력신호를 가산하는 제2 가산부; 및

상기 고정 빔 형성부의 출력신호로부터 상기 제2 가산부의 출력신호를 감산하고, 그 감산결과를 상기 M개의 적응적 차단필터의 입력으로 제공하는 제2 감산부를 구비하는 적응적 빔 형성장치.
제10 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터는 각각 유한임펄스응답 필터로 구현되며 피드백 구조로 연결되는 적응적 빔 형성장치.
제12 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터의 필터계수는 정보 최대화 알고리즘에 의해 갱신되는 적응적 빔 형성장치.
제11 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터는 각각 유한임펄스응답 필터로 구현되며 피드백 구조로 연결되는 적응적 빔 형성장치.
제14 항에 있어서, 상기 적응적 차단필터와 상기 적응적 제거필터의 필터계수는 정보 최대화 알고리즘에 의해 갱신되는 적응적 빔 형성장치.