KR101238362B1 - 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치 - Google Patents

Abstract

본 발명은 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치에 관한 것으로, 본 발명에 따른 음원 신호 여과 방법은 복수 개의 마이크로폰들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성하고, 생성된 마이크로폰 출력 신호들로부터 음원 신호들의 주파수에 따른 거리 관계를 이용하여 마이크로폰들로부터 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출하며, 산출된 거리에 기초하여 음원 신호들로부터 특정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과함으로써, 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들 중에서 마이크로폰 어레이로부터 특정 거리에 위치한 음원으로부터 방사된 음원 신호만을 획득하는 것이 가능하다.

마이크로폰, 음원 신호, 거리, 여과

Description

음원 거리에 따라 음원 신호를 여과하는 방법 및 장치{Method and apparatus for filtering the sound source signal based on sound source distance}

본 발명은 마이크로폰 어레이(microphone array)가 구비된 사운드 취득 장치에서 음원 신호를 여과하는 방법 및 장치에 관한 발명으로서, 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들로부터 특정 음원 신호를 여과하는 방법 및 장치에 관한 것이다.

휴대용 디지털 기기를 사용하여 전화 통화를 하거나 외부 음성을 녹음하거나 동영상을 취득하는 것이 일상화되는 시대가 도래하였다. CE(consumer electronics) 기기 및 휴대 전화 등 다양한 디지털 기기에서는 사운드를 취득하기 위한 수단으로서 마이크로폰(microphone)이 사용되는데, 취득한 음원 신호를 용이하게 가공하기 위해 일반적으로 다수의 마이크로폰들이 포함된 마이크로폰 어레이(microphone array)가 사용된다.

마이크로폰 어레이는 다수의 마이크로폰들을 조합하여 사운드 자체뿐만 아니라 취득하려는 사운드의 방향이나 위치와 같은 지향성(directivity)에 관한 부가적인 성질을 얻을 수 있다. 지향성이라 함은 음원 신호가 어레이를 구성하는 다수의 마이크로폰들 각각에 도달하는 시간 차이를 이용하여 특정 방향에 위치한 음원으로부터 방사되는 음원 신호에 대한 감도를 크게 하는 것을 말한다. 따라서, 이러한 마이크로폰 어레이를 이용하여 음원 신호들을 취득함으로써 특정 방향으로부터 입력되는 음원 신호를 강조하거나 억제할 수 있다.

전문적인 방음 시설이 갖추어진 스튜디오에서 녹음을 수행하지 않는 한, 일반적인 디지털 기기를 통해 음원을 녹음하거나 음성 신호를 입력받는 환경은 주변 간섭음이 없이 조용한 환경이기보다는 다양한 소음과 주변 간섭음이 모두 포함되어 있는 환경일 경우가 더 많을 것이다. 이를 위해 혼합 사운드로부터 각각의 음원 신호들을 분리하여 사용자가 필요로 하는 특정 음원 신호만을 추출하거나, 역으로 불필요한 간섭 잡음에 해당하는 음원 신호를 제거하는 기술 등 다양한 음원 신호 처리 기술들이 개발되고 있다.

본 발명이 해결하고자 하는 기술적 과제는 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들 중에서 마이크로폰 어레이로부터 특정 거리에 위치한 음원으로부터 방사된 음원 신호만을 획득할 수 없었던 문제점을 해결하고, 동일한 방향에 위치한 음원으로부터 방사되는 음원 신호들을 명확하게 분리할 수 없었던 제약을 극복하는 음원 신호 여과 방법 및 장치를 제공하는데 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 음원 신호 여과 방법은 복수 개의 마이크로폰들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성하는 단계; 상기 생성된 마이크로폰 출력 신호들로부터 상기 음원 신호들의 주파수에 따른 거리 관계를 이용하여 상기 마이크로폰들로부터 상기 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출하는 단계; 및 상기 산출된 거리에 기초하여 상기 음원 신호들로부터 소정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과하는 단계를 포함하는 것을 특징으로 한다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기 기재된 음원 신호 여과 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 음원 신호 여과 장치는 복수 개의 마이크로폰들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성하는 마이크로폰 출력 신호 생성부; 상기 생성된 마이크로폰 출력 신호들로부터 상기 음원 신호의 주파수에 따른 거리 관계를 이용 하여 상기 마이크로폰들로부터 상기 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출하는 거리 산출부; 및 상기 산출된 거리에 기초하여 상기 음원 신호들로부터 소정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과하는 신호 여과부를 포함하는 것을 특징으로 한다.

이하에서는 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. 실시예들을 설명함에 있어서, 음원(sound source)이란 사운드가 방사되어 나오는 소스(source)를 의미하는 용어로서 사용될 것이며, 음압(sound pressure)이란, 음향 에너지가 미치는 힘을 압력의 물리량을 사용하여 표현한 것이다. 또한, 이하에서 설명할 본 발명의 다양한 실시예들은 마이크로폰 어레이를 통해 입력된 음원 신호들 중에서 특정 음원 신호를 여과하기 위해 음원 거리를 이용할 것인데, 음원 거리란 음원 취득 기기(마이크로폰이 구비된 기기 내지 마이크로폰 자체를 의미한다.)로부터 음원까지의 거리를 의미하는 용어로서 사용될 것이다.

도 1은 본 발명의 일 실시예에 따른 음원 거리에 기초한 음원 신호 여과 장치를 도시한 블럭도로서, 복수 개의 마이크로폰들(111, 112), 마이크로폰 출력 신호 생성부(120), 거리 산출부(130) 및 신호 여과부(140)를 포함한다.

복수 개의 마이크로폰들(111, 112)은 본 음원 신호 여과 장치의 주위에 위치한 다양한 음원들로부터 음원 신호들을 입력받는다. 이러한 복수 개의 마이크로폰들(111, 112)은 음원이 위치한 방향이나 거리와 같은 음원의 위치 정보를 획득하기에 보다 용이한 구조인 마이크로폰 어레이로서 구현될 수 있을 것이다. 도 1에서는 N 개의 마이크로폰들(Mic₁, ..., Mic_N)로 구성된 마이크로폰 어레이를 통해 N 개의 음원 신호들(e₁, ..., e_N)을 입력받는 것을 예시하고 있다.

마이크로폰 출력 신호 생성부(120)는 복수 개의 마이크로폰들(111, 112)을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성한다. 마이크로폰 출력 신호 생성부(120)는 다시 M 개의 마이크로폰 출력 신호 생성부들로 구성되는데, 이들을 통해 각각 M 개(E₁, ..., E_K, ..., E_M)의 마이크로폰 출력 신호를 생성한다. 예를 들어, 도 1에서 제 1 마이크로폰 출력 신호 생성부(121)는 N 개의 음원 신호들(e₁, ..., e_N)을 입력받아 이들을 조합하여 마이크로폰 출력 신호 E₁을 생성한다. 마찬가지로, 제 K 마이크로폰 출력 신호 생성부(122)는 N 개의 음원 신호들(e₁, ..., e_N)을 입력받아 이들을 조합하여 마이크로폰 출력 신호 E_K를 생성한다. 이하에서는 도 4a 내지 도 4b를 참조하여 마이크로폰 출력 신호들을 생성하는 과정을 보다 상세하게 설명한다.

도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 마이크로폰 출력 신호를 생성하는 과정을 설명하기 위한 도면으로서, 각각의 도면은 제 1 마이크로폰 출력 신호 생성부(410)와 제 K 마이크로폰 출력 신호 생성부(420)를 나타낸다. 본 발명의 다양한 실시예들에서는 복수 개(예를 들어, N 개)의 마이크로폰 출력 신호 생성부를 통해 복수 개(예를 들어, 마이크로폰 출력 신호 생성부와 동일한 수인 N 개)의 마이크로폰 출력 신호를 생성하는 과정을 기술 하고 있으나, 도 4a 내지 도 4b에서는 편의상 2 개만을 도시하였다.

양 마이크로폰 출력 신호 생성부(410, 420)는 임의의 변환 함수를 이용하여 N 개의 음원 신호들(e₁, ..., e_N)을 조합하여 마이크로폰 출력 신호(E₁, E_K)를 생성한다. 도 4a 및 도 4b에서 변환 함수는 각각 F₁(·)과 F_K(·)로 표시되었다. 여기서, 임의의 변환 함수는 복수 개의 음원 신호들을 입력받아 이들을 단순히 결합하거나, 일부 음원 신호들을 감산하는 등 다양한 조합 방법을 통해 마이크로폰 출력 신호를 출력한다. 이러한 결합 방법은 선형(linear) 또는 비선형(non-linear)의 어떠한 변환 함수도 적용 가능한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 용이하게 도출 가능한 것이다.

한편, 이상의 마이크로폰 출력 신호 생성부(410, 420)를 통해 생성된 M 개의 마이크로폰 출력 신호들(E₁, ..., E_K, ..., E_M)은 거리에 따른 음의 감쇄 비율이 서로 달라야 한다. 거리에 따른 음의 감쇄 비율이란 음원으로부터 소리(음파를 의미한다.)가 전달됨에 따라 진폭 내지 음향 에너지가 감소하는 비율을 의미하는 것으로서, 파동 방정식(wave equation)으로부터 유도된다. 일반적으로 진폭은 음원으로부터의 소리의 전달 거리에 따라 작아지므로, 이러한 음의 감쇄 비율은 음원으로부터의 거리에 반비례한다.

생성된 M 개의 마이크로폰 출력 신호들이 거리에 따른 음의 감쇄 비율이 서로 다르다는 것은 M 개의 변환 함수들이 모두 다르다는 것을 의미한다. 즉, F₁(·) 및 F_K(·)과 같은 변환 함수들이 N 개의 음원 신호들(e₁, ..., e_N)을 조합하는 방식이 모두 다르다는 것이다. 따라서, 변환 함수들을 통한 음의 감쇄 비율이 모두 다르다는 이상의 조건을 만족하는 한, M 개의 변환 함수들은 입력된 음원 신호들을 조합하는 방법에 있어서 자유로운 설계가 가능하다. 이러한 변환 함수들의 설계 예시를 다음의 도 5a 내지 도 5b를 참조하여 설명한다.

도 5a 내지 도 5b는 도 4a 내지 도 4b의 마이크로폰 출력 신호 생성 과정을 예시한 도면으로서, 각각은 앞서 설명한 도 4a의 제 1 마이크로폰 출력 신호 생성부(410)와 도 4b의 제 K 마이크로폰 출력 신호 생성부(420)에 대응하여 마이크로폰 출력 신호 생성부 2 개를 도시한 것이다. 본 실시예에서는 4 개의 마이크로폰들로 구성된 마이크로폰 어레이와 2 개의 마이크로폰 출력 신호 생성부를 사용하고 있다고 가정한다.

도 5a에서 마이크로폰 출력 신호 생성부는 2차 그래디언트 마이크로폰(second-order gradient microphone) 구조를 사용하여 음원(510)으로부터 방사된 4 개의 음원 신호들 e(1), e(2), e(3) 및 e(4)을 조합하고 있다. 2차 그래디언트 마이크로폰(차분 마이크로폰(differential microphone)이라고도 한다.) 구조는 4 개의 마이크로폰들 중 2 개씩 쌍(pair)을 이루어 음원 신호를 조합하는 마이크로폰 구조이다. 음원 신호를 입력받는 마이크로폰의 개수에 따라 2차 그래디언트 마이크로폰이 아닌 1차 내지 고차 그래디언트 마이크로폰을 사용할 수 있음은 물론이다.

이러한 2차 그래디언트 마이크로폰을 이용하여 4 개의 음원 신호를 변환하는 것은 다음의 수학식 1과 같은 선형 변환 행렬을 사용한다.

수학식 1에서 각각의 요소를 g_ij(i는 행, j는 열을 의미한다.)라고 표현할 때, 2차 그래디언트 마이크로폰의 변환 함수는 성분 [g₁₁, g₂₂, g₃₃, g₄₄]는 [1, -1, -1. 1]이고, 나머지 성분 값은 모두 0인 선형 변환 행렬로 표현된다. 즉, 도 5a의 음원 신호들 e(1), e(2), e(3) 및 e(4)는 각각 g(1), g(2), g(3) 및 g(4)의 변환 성분과 승산(multiplication)한 후, 합산기(adder)(520)를 통해 하나의 마이크로폰 출력 신호 E₁으로 합산된다.

도 5a에서 좌표의 x축 상에 마이크로폰 어레이가 존재한다고 가정할 때, 음원(510)과 이루는 각도를 θ라고 하고, 음원(510)까지의 거리를 R이라고 하면 마이크로폰 출력 신호는 다음의 수학식 2와 같이 계산된다.

여기서, e는 입력 신호이고, A는 진폭(amplitude)이고, λ는 파장, c는 공기 중 음파의 속도인 340m/sec이며, E₁은 마이크로폰 출력 신호를 의미한다.

다음으로, 도 5b에 도시된 두번째 마이크로폰 출력 신호 생성부를 살펴보자. 도 5b에서 마이크로폰 출력 신호 생성부는 옴니 마이크로폰 합(sum of omni microphone) 구조를 사용하여 음원(510)으로부터 방사된 4 개의 음원 신호들 e(1), e(2), e(3) 및 e(4)을 조합하고 있다. 옴니 마이크로폰 합 구조는 4 개의 옴니 마이크로폰을 통해 획득한 음원 신호들을 단순히 조합하는 마이크로폰 구조이다. 여 기서, 옴니 마이크로폰이란 마이크로폰 주위의 모든 방향으로 균일한 감도를 갖는 무지향성 마이크로폰을 의미한다. 마찬가지로 옴니 마이크로폰 합 구조 이외에 다양한 종류의 마이크로폰 조합을 사용할 수 있을 것이다.

이러한 옴니 마이크로폰 합 구조를 이용하여 4 개의 음원 신호를 변환하는 것은 다음의 수학식 3과 같은 선형 변환 행렬을 사용한다.

수학식 1에서와 유사하게 수학식 3에서 각각의 요소를 g_ij(i는 행, j는 열을 의미한다.)라고 표현할 때, 옴니 마이크로폰의 변환 함수는 성분 [g₁₁, g₂₂, g₃₃, g₄₄]는 [1, 1, 1, 1]이고, 나머지 성분 값은 모두 0인 선형 변환 행렬로 표현된다. 즉, 도 5b의 음원 신호들 e(1), e(2), e(3) 및 e(4)는 특별한 변환 없이 그대로 합산기(530)를 통해 하나의 마이크로폰 출력 신호 E₂로 합산된다.

도 5b에서 좌표의 x축 상에 마이크로폰 어레이가 존재한다고 가정할 때, 음원(510)과 이루는 각도를 θ라고 하고, 음원(510)까지의 거리를 R이라고 하면 마이크로폰 출력 신호는 다음의 수학식 4와 같이 계산된다.

수학식 2와 동일하게 e는 입력 신호이고, A는 진폭이고, λ는 파장, c는 공기 중 음파의 속도이며, E₂은 마이크로폰 출력 신호를 의미한다.

수학식 2와 수학식 4를 참조하여 마이크로폰 출력 신호 E₁과 E₂를 비교하면, 2차 그래디언트 마이크로폰 구조를 이용한 마이크로폰 출력 신호 E₁이 마이크로폰 출력 신호 E₂에 비해 부호 성분 g(j)를 더 포함하고 있음을 알 수 있다.

이상에서 도 1의 마이크로폰 출력 신호 생성부(120)에서 음원 신호들을 조합 하여 마이크로폰 출력 신호들을 생성하는 과정을 설명하였다. 또한, 마이크로폰 출력 신호 생성부(120)의 변환 함수를 2차 그래디언트 마이크로폰 구조와 옴니 마이크로폰 합 구조의 2 가지 실시예들을 통해 예시하였다. 마이크로폰 출력 신호 생성부(120)를 구성하는 방법은 앞서 예시한 실시예들에 한정되는 것이 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 복수 개의 마이크로폰들(111, 112)의 개수나 음원 신호들의 조합 방법에 따라 마이크로폰 출력 신호 생성부(120) 내지 마이크로폰 출력 신호 생성부(120)의 변환 함수를 설계하는 다양한 방법들이 사용 가능함을 알 수 있다.

다음으로, 거리 산출부(130)는 마이크로폰 출력 신호 생성부(120)를 통해 생성된 마이크로폰 출력 신호들(E₁, ..., E_K, ..., E_M)로부터 음원 신호의 주파수에 따른 거리 관계를 이용하여 마이크로폰들로부터 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출한다. 이를 위해 거리 산출부(130)는 거리 함수를 이용하여 마이크로폰 출력 신호들(E₁, ..., E_K, ..., E_M)을 연산한다. 여기서, 거리 함수란 마이크로폰 출력 신호 생성부(120)를 통해 생성된 마이크로폰 출력 신호들을 입력받아 음원 신호의 크기에 독립적으로 거리를 산출하는 함수를 말한다. 음원 신호의 크기는 음파의 진폭과 같은 음원 신호의 세기를 의미한다. 즉, 거리 함수는 마이크로폰 출력 신호 생성부(120)를 통해 생성된 마이크로폰 출력 신호들을 결정하는 다양한 변인들 중에서 음원 신호의 크기에 상관없이 음원 거리를 산출하는 역할을 수행한다. 이하에서는 거리 산출부(130)에서 거리 함수를 이용하여 음원 거리를 산출 하는 보다 상세한 과정을 도 6a 내지 도 6b를 참조하여 설명한다.

도 6a 내지 도 6b는 본 발명의 다양한 실시예에 따른 음원 신호 여과 장치에서 거리를 산출하는 과정을 설명하기 위한 도면이다.

도 6a에서 거리 산출부(600)는 마이크로폰 출력 신호들(E₁, ..., E_K, ..., E_M)을 입력받아 거리 함수 DF(·)를 통해 연산을 수행함으로써 그 결과 음원 거리를 출력한다. 이러한 거리 함수는 마이크로폰 출력 신호들을 선형 또는 비선형의 어떠한 형태의 함수나 표로 구현 가능한 것으로, 앞서 설명한 음원 신호의 크기에 독립적이라는 제약 조건만을 만족하는 임의의 함수이다.

편의상 마이크로폰 출력 신호가 2 개인 경우를 가정하고, 거리 산출부(600)의 거리 함수 DF(·)를 2 개의 출력 신호 간의 비율이라고 가정하자. 이 때, 이상의 수학식 2와 수학식 4를 통해 정리한 마이크로폰 출력 신호를 각각 E₁과 E₂라고 하면, 거리 함수 DF(·)는 다음의 수학식 5, 즉 E₁/E₂와 같이 정의된다.

여기서, A는 진폭이고, θ는 방향이고, f는 주파수이고, c는 공기 중 음파의 속도이며, R은 음원 거리를 의미한다. 따라서, 수학식 5에서 음원 신호의 크기(진폭을 의미한다.) A는 분자와 분모에 공통적으로 존재하므로 소거되므로, 결과적으로 거리 함수 E₁/E₂는 음원 신호의 크기에 독립적인 함수로 정리된다.

수학식 5에서 이러한 거리 함수 E₁/E₂를 결정하는 요소들은 방향 θ, 주파수 f 및 거리 R이 된다는 사실을 알 수 있다. 따라서, 방향 θ, 주파수 f 및 거리 함수를 통한 연산 값인 E₁/E₂를 알면, 음원 거리 R을 구할 수 있다. 즉, 거리 산출부(600)는 마이크로폰 출력 신호들을 거리 함수 DF(·)를 통해 연산하고, 그 연산 결과와 음원 신호의 주파수에 따른 위치(방향 및 거리를 포함한다.) 관계를 이용하여 음원 거리를 산출할 수 있다.

도 6b는 변환 함수를 통해 연산된 결과를 미리 산출된 환산 표를 이용하여 음원 거리를 산출하는 방법을 예시하고 있다. 도 6b에서 거리 산출부(600)는 연산부(610), 산출부(620) 및 거리 저장부(630)를 포함한다. 편의상 마이크로폰 출력 신호는 E₁ 및 E₂의 2 개 신호라고 가정하자.

연산부(610)는 E₁ 및 E₂의 마이크로폰 출력 신호를 입력받아 연산을 수행한다. 도 6a에서와 같이 거리 함수가 E₁/E₂라고 정의된다면, 그 연산 결과가 출력될 것이다.

거리 저장부(630)는 거리 함수 E₁/E₂의 연산 결과에 따른 음원 거리가 테이블(table)이나 데이터베이스(database)의 형태로 미리 산출되어 저장될 수 있다. 예를 들어, 음원의 방향과 주파수가 특정되었다면, 이들 정보와 더불어 거리 함수 E₁/E₂의 연산 결과를 이용하여 저장된 테이블을 검색하고, 검색 결과 그에 해당하는 음원 거리를 반환해줄 수 있다. 만약 거리 저장부(630)가 데이터베이스의 형태로 구현되었다면 음원 거리를 검색하기 위한 탐색 키(search key)는 방향과 주파수가 될 수 있을 것이다.

산출부(620)는 연산부(610)의 연산 결과와 기타 정보(음원의 방향 및 주파수 가 될 수 있다.)를 인자(parameter)로 하여 거리 저장부(630)에 질의하고, 그 결과로서 음원 거리를 반환받는다.

도 6a 내지 도 6b를 통해 알 수 있듯이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 거리 산출부(600)가 앞서 예시된 바와 같은 수학식이나 학습 또는 실험적인 결과에 기초하여 음원 거리를 산출할 수 있음을 용이하게 도출할 수 있다. 따라서, 거리 산출부(600)의 거리 함수는 음원 신호의 크기의 변화에 무관하다는 조건을 만족하는 한, 본 발명의 다양한 실시예들이 구현되는 환경에 적합하도록 다양하게 설계될 수 있을 것이다.

이상에서 도 1의 거리 산출부(130)에서 음원 거리를 산출하는 과정을 다양한 실시예들을 통해 설명하였다. 다음으로, 도 1의 신호 여과부(140)를 설명한다.

신호 여과부(140)는 거리 산출부(130)를 통해 산출된 거리에 기초하여 음원 신호들로부터 특정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과한다. 여기서, 특정 거리란 복수 개의 마이크로폰들(111, 112)을 통해 입력된 음원 신호들 중에서 사용자가 획득하고자 음원 신호가 방사되는 음원이 위치한 음원 거리를 의미한다. 앞서 설명한 거리 산출부(130)를 통해 각각의 음원들에 해당하는 음원 거리들이 산출되었으므로, 이러한 음원 거리를 이용하여 음원 신호들을 여과하면, 특정 거리에 위치한 음원으로부터 방사되는 음원 신호만을 선택적으로 획득할 수 있다.

이하에서는 신호 여과부(140)를 통해 음원 신호들을 여과하는 보다 상세한 과정을 도 7a 내지 도 7b를 참조하여 설명한다. 도 7a 내지 도 7b는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 음원 신호를 여과하는 과정 및 활용 방법을 설명하기 위한 도면으로서, 이들 도면을 설명하기에 앞서 음원 신호들을 여과하는 과정을 먼저 설명한다.

신호 여과부(미도시)에서 음원 신호들을 여과하는 상세한 과정은 다음과 같다. 우선, 거리 산출부(미도시)를 통해 산출된 거리와 문턱값(threshold)을 비교하여 음원 신호의 가중치(weight)를 산출한다. 다음으로, 이상에서 산출된 가중치에 따라 특정 거리에 해당하는 음원 신호를 필터링(filtering)한다.

도 7a에서는 음원 신호를 시간-주파수(time-frequency) 변환한 결과를 좌표 상에 표시하였는데, 좌표의 가로축은 시간을 의미하고, 세로축은 주파수를 의미한다. 일반적으로 디지털 신호 처리에서는 해당 시스템에 신호를 입력하고 그 결과로서 생성되는 출력 신호를 표현하기 위해 컨벌루션(convolution)을 사용하는데, 주어진 대상 신호를 유한하게 제한하기 위해 개별 프레임(frame)으로 나누어 처리하게 된다. 여기서, 프레임이란 시간의 변화에 따라 음원 신호를 일정한 구간으로 분리한 단위 유닛(unit)을 의미한다. 즉, 도 7a의 좌표에서 시간축을 나누어놓은 개별 구간을 프레임이라고 부른다. 한편, 주파수축을 일정한 구간으로 나누어놓은 개별 처리 단위는 빈(bin)이라고 부른다.

도 7a에서 좌측의 시간-주파수 변환 결과는 필터링 이전의 음원 신호를 표현한 것이고, 우측의 시간-주파수 변환 결과는 필터링 이후의 음원 신호를 표현한 것이다. 앞서 설명한 바와 같이, 우선 하나의 주파수 빈에 대하여 음원 거리와 문턱값을 비교한다. 음원 거리는 계산이 용이하도록 특정 인자(parameter)의 형태로 가 공되어 비교에 사용될 수도 있고, 직접 거리 자체가 비교에 사용될 수도 있을 것이다.

또한, 문턱값은 본 발명의 다양한 실시예들이 구현되는 환경에 따라 결정될 수 있다. 따라서, 미리 특정한 값으로 설정된 값일 수도 있고, 사용자의 선택에 의해 결정되는 값일 수도 있을 것이다. 이러한 문턱값은 필터링을 위해 음원 신호를 여과하는 거리 영역의 범위에 따라 1 개 또는 2 개 이상의 값이 사용될 수도 있다. 예를 들어, 음원 거리가 1~2m인 음원 신호와 음원 거리가 5~7m인 음원 신호를 동시에 획득하기를 원한다면 4개의 문턱값을 설정하여 다양한 수식을 통해 음원 거리와의 비교를 수행할 수 있을 것이다.

도 7b에는 음원 신호를 거리에 따라 표시하고, 그 중 원하는 음원에 해당하는 영역만을 선택하는 방법을 보여주고 있다. 도 7a에서 가로축은 거리를 의미하고, 1에서 N까지의 다양한 문턱값들이 설정 가능하므로, 이러한 음원 거리와 문턱값들을 비교함으로써 사용자가 원하는 음원에 해당하는 영역(특정 음원 거리에 해당하는 음원 신호)만을 선택적으로 획득할 수 있음을 알 수 있다.

다시 도 7a로 돌아오면, 도 7a에는 음원 거리가 문턱값보다 크거나 작은 경우의 2 가지 경우만을 예시하고 있는데, 이렇게 미리 결정된 두 가지 임의의 값(특히, 0과 1의 2 개 값으로 필터링하는 경우를 말한다.)으로 가중치를 결정하는 필터링 방법을 2진 가중치 필터링(binary weighted filtering)이라고 한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이상의 2진 필터링 방법 이외에도, 가중치를 결정함에 있어서 선형 또는 비선형 함수를 이용한 소프트 가중치 필터링(soft weighted filtering) 방법 등이 활용될 수 있음을 용이하게 알 수 있다. 이러한 소프트 필터링 방법 중 대표적인 것으로 단속적이고 비선형적인 입력값들을 0과 1 사이에서 연속적이고 선형적인 값으로 변환해주는 시그모이드 함수(sigmoid function)가 널리 알려져 있다.

앞서 예시한 거리 함수 E₁/E₂를 통해 도 7a의 필터를 재구성하면 다음의 수학식 6과 같다.

수학식 6은 거리 함수의 연산 결과가 문턱값보다 크거나 같을 경우 1을 승산하여 가중치를 산출하고, 연산 결과가 문턱값보다 작은 경우에는 0을 승산하여 가중치를 산출하는 방법을 보여주고 있다.

이상에서 도 1의 신호 여과부(140)가 거리 산출부(130)를 통해 산출된 거리에 기초하여 음원 신호들을 여과함으로써 특정 거리에 해당하는 적어도 하나 이상의 음원 신호를 획득하는 과정을 설명하였다. 본 실시예에 따르면 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들 중에서 마이크로폰 어레이로부터 특정 거리에 위치한 음원으로부터 방사된 음원 신호만을 획득하는 것이 가능하다.

도 2는 본 발명의 다른 실시예에 따른 음원 거리에 기초한 음원 신호 여과 장치를 도시한 블럭도로서, 도 1을 통해 설명한 음원 신호 여과 장치에 방향 산출부(250)를 더 포함하도록 구성되어 있다. 도 2는 도 1에서와 마찬가지로 복수 개의 마이크로폰들(211, 212), 마이크로폰 출력 신호 생성부(220), 거리 산출부(230) 및 신호 여과부(240)의 동일한 구성을 포함하고 있으므로, 여기에서는 새롭게 추가된 방향 산출부(250)를 중심으로 설명하도록 하겠다.

방향 산출부(250)는 복수 개의 마이크로폰들(211, 212)를 통해 입력된 음원 신호들 간의 시간 지연을 이용하여 음원 신호들의 입력 방향을 산출한다. 일반적으로 2 개 이상의 마이크로폰들로 이루어진 마이크로폰 어레이는 배경 잡음과 혼합된 목표 신호를 고감도로 수신하기 위해 마이크로폰 어레이에 수신된 각각의 신호에 적절한 가중치를 주어 진폭을 향상시킴으로써, 원하는 목표 신호와 간섭 잡음 신호의 방향이 다를 경우의 잡음을 공간적으로 줄일 수 있는 필터 역할을 하는데, 이러한 일종의 공간적 필터(spatial filter)를 빔 형성기(beam-former)이라고 한다.

마이크로폰들(211. 212) 주위에 위치한 다양한 음원들로부터 입력된 음원 신호에 대하여 각각의 음원 방향을 구하기 위해서는 어레이 패턴과 각각의 마이크로폰에 입력된 신호들 간의 위상 차이를 구하여야 하며, 이러한 신호 정보를 구하기 위한 다수의 빔 형성 알고리즘들이 알려져 있다. 목표 음원 신호를 증폭하거나 추출하기 위한 대표적인 빔 형성 알고리즘에는 음원 신호가 마이크로폰에 도달하는 상대적인 지연 시간으로부터 음원의 위치를 알아내는 지연 합 알고리즘(delay-and-sum algorithm)이나, 음원들이 형성하는 음장(sound field) 내에서 2 개 이상의 신호와 잡음으로 인한 영향을 줄이기 위해 공간적으로 선형 필터(linear filter)를 이용하여 출력을 필터링하는 필터 합 알고리즘(filter-and-sum) 등이 있다. 이러한 빔 형성 알고리즘들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 것으로서, 이하의 실시예에서는 지연 합 알고리즘을 예시하여 방향 산출부(250)를 설명하도록 하겠다.

앞서 설명한 바와 같이, 방향 산출부(250)는 주위로부터 이득(gain)이나 음압(sound pressure)이 큰 지배적인 신호 특성을 가진 음원 신호를 찾아 음원 방향을 산출하는 역할을 수행하므로, 주위에 산재해 있는 음원들에 대하여 지배적인 신호 특성이 나타나는 방향이나 위치를 검출한다. 여기서 지배적인 신호 특성을 인지하는 방법은 해당 음원 신호에 대해 신호 대 잡음비(signal to noise ratio; SNR)와 같은 객관적인 측정값을 통해 측정값이 상대적으로 큰 음원이 위치한 방향을 목표 음원 방향으로 특정함으로써 수행될 수 있다.

이러한 측정 방법에는 도착 시간 지연법(TDOA, time delay of arrival), 빔 형성 방법(beam-forming), 고해상도 스펙트럼 추정 방법(spectral analysis) 등의 다양한 음원 위치 탐색 방법들이 널리 소개되어 있다. 이하에서는 개요만을 간단히 설명하겠다.

도착 시간 지연법에 따르면, 우선 다수의 음원들로부터 복수 개의 마이크로폰들(211, 212)로 입력되는 혼합 사운드에 대하여 어레이를 구성하는 마이크로폰들을 2 개씩 짝(pair)을 지어 마이크로폰들 간의 시간 지연을 측정하고, 측정된 시간 지연으로부터 음원의 방향을 추정한다. 이어서, 방향 산출부(250)는 각각의 짝에서 추정된 음원 방향들이 교차하는 공간상의 지점에 음원이 존재한다고 추정하게 된다. 또 다른 방법으로 제시된 빔 형성 방법에 따르면 방향 산출부(250)는 특정 각도의 음원 신호에 지연을 주고 각도에 따라 공간 상의 신호들을 스캔(scan)하여 스캔된 신호값이 가장 큰 위치를 목표 음원 방향으로 선택함으로써 음원의 위치를 추정하게 된다. 이러한 다양한 위치 탐색 방법들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것으로서, 보다 구체적인 설명은 생략한다.

도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 음원의 방향을 산출하는 과정을 설명하기 위한 도면으로서, 이상에서 설명한 방향 산출 과정을 예시하고 있다.

도 3a에 도시된 음파들은 마이크로폰들을 통해 입력된 음원 신호들을 의미하고, 좌측의 음파는 음원의 방향을 탐색하는 과정을 나타내며, 우측의 음파는 음원의 방향이 탐색되었을 때의 음파를 도시한 것이다. 우선, 방향 산출부(미도시)에서 주위의 모든 방향을 대상으로 각도를 변화시켜가며 음원 신호를 탐색한다. 음원이 위치한 방향과 마이크로폰들이 향하고 있는 방향이 일치하지 않는 경우 마이크로폰들 간의 거리 차이로 인해 음파의 도착 시간들 간에 지연이 발생하게 된다. 도 3a에서는 음파 e₁(t)와 음파 e_N(t)의 도착 시간들 간에 τ_N-τ₁(310)만큼의 시간 차이가 발생한 것을 볼 수 있다. 이러한 시간 차이가 없도록 지연 값을 조절하여 우측의 기준선(320)과 같이 도착 시간이 동일하도록 조절하면 음파의 위상과 크기가 거 의 일치하게 될 것이고, 이 때의 지연값에 기초하여 음원 방향을 산출할 수 있다.

도 3b는 도 3a의 지연값을 조절하기 위해 지연 합 알고리즘에 따른 구성을 보여주고 있다. 도 3b에서 음원 신호들(도착한 음파를 의미한다.)(e₁, ..., e_N)은 지연부(331, 332)를 통해 일정 시간만큼 지연되고, 합산부(340)를 통해 출력 신호 S로 생성된다. 이때, 지연부(331, 332)는 출력 신호 S의 크기가 최대값이 되도록 지연값을 조절한다. 왜냐하면, 도 3a를 통해 설명하였듯이 마이크로폰들의 방향과 음원의 방향과 일치할 경우, 음원 신호의 시간 지연이 모두 동일하여 음원 신호의 크기가 거의 일치하게 되고, 이러한 음원 신호들을 모두 합산하게 되면 음원 신호가 증폭되는 효과가 나타나기 때문이다. 따라서, 본 실시예는 지연부(331, 332)에서 지연값들을 조절하다가 출력 신호 S가 최대값이 될 때의 지연값을 산출함으로써 음원 방향을 산출할 수 있다.

도 3c에서는 구체적으로 지연값을 통해 음원 방향을 산출하는 과정을 설명한다. 도 3c에서 가로 방향으로 도시된 선(360)에 마이크로폰들(M₁, ..., M_k, M_{K +1}, ..., M_N)이 배치되어 있다고 가정한다. 또한, 사선은 음원으로부터 음원 신호가 입사되는 방향을 의미한다. 마이크로폰들 간의 간격을 r 이라고 할 때, 다음의 수학식 7과 같은 관계가 성립한다.

여기서 τ_K는 지연값이고, c는 공기 중 음파의 속도이며, θ는 마이크로폰들과 음원이 이루는 각도(음원 방향을 의미한다.)이다. 수학식 7을 정리하면, 다음의 수학식 8과 같다.

즉, 수학식 8은 본 실시예들을 통해 이미 측정된 지연값, 음파의 속도 및 마이크로폰들 간의 간격을 이용하여 음원의 방향을 산출할 수 있음을 의미한다.

이상에서 도 2의 방향 산출부(250)가 음원의 방향을 산출하는 과정을 설명하였다. 이렇게 산출된 음원의 방향과 마이크로폰 출력 신호 생성부(220)를 통해 생성된 마이크로폰 출력 신호들을 이용하여 거리 산출부(230)는 음원 거리를 산출하게 되고, 최종적으로 신호 여과부(240)를 통해 특정 거리에 해당하는 음원 신호를 획득한다. 자세한 내용은 이미 도 1을 통하여 설명한 바와 같다.

본 실시예에 따르면 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들 중에서 마이크로폰 어레이로부터 특정 거리에 위치한 음원으로부터 방사된 음원 신호만을 획득하는 것이 가능하다. 특히, 동일한 방향에 위치한 음원으로부터 방사되는 음원 신호들을 명확하게 분리할 수 있어, 목표 음원과 잡음 음원이 동일한 방향에 위치해 있더라도 음원 거리를 이용하여 목표 음원 신호와 잡음 신호를 선명하게 분리하는 것이 가능하다.

도 8은 본 발명의 또 다른 실시예에 따른 음원 거리에 기초한 음원 신호 여과 방법을 도시한 순서도로서 다음과 같은 단계들을 포함한다.

810 단계에서 복수 개의 마이크로폰들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성한다. 이러한 마이크로폰 출력 신호들은 거리에 따른 음의 감쇄 비율이 서로 다른 것이다.

820 단계에서 810 단계를 통해 생성된 마이크로폰 출력 신호들로부터 음원 신호들의 주파수에 따른 거리 관계를 이용하여 마이크로폰들로부터 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출한다. 이 과정은 생성된 마이크로폰 출력 신호들의 크기를 소거시킴으로써 신호들의 크기에 독립적인 결과값을 생성하도록 연산하고, 연산된 결과값으로부터 음원까지의 거리를 산출함으로써 수행된다.

830 단계에서 820 단계를 통해 산출된 거리에 기초하여 음원 신호들로부터 소정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과한다. 음원 신호들을 여과하는 과정은 820 단계에서 산출된 거리와 소정 문턱값을 비교하여 음원 신호의 가중치를 산출하고, 산출된 가중치에 따라 특정 거리에 해당하는 음원 신호를 필터링함으로써 수행된다. 여기서, 음원 신호의 가중치는 미리 결정된 값이거나, 이상에서 비교한 결과를 선형 또는 비선형 함수에 입력함으로써 출력된 값 중 어느 하나일 수 있다.

본 실시예에 따르면 마이크로폰 어레이를 통해 입력된 복수 개의 음원 신호들 중에서 마이크로폰 어레이로부터 특정 거리에 위치한 음원으로부터 방사된 음원 신호만을 획득하는 것이 가능하다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 음원 거리에 기초한 음원 신호 여과 장치를 도시한 블럭도이다.

도 2는 본 발명의 다른 실시예에 따른 음원 거리에 기초한 음원 신호 여과 장치를 도시한 블럭도이다.

도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 음원의 방향을 산출하는 과정을 설명하기 위한 도면이다.

도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 마이크로폰 출력 신호를 생성하는 과정을 설명하기 위한 도면이다.

도 5a 내지 도 5b는 도 4a 내지 도 4b의 마이크로폰 출력 신호 생성 과정을 예시한 도면이다.

도 6a 내지 도 6b는 본 발명의 다양한 실시예에 따른 음원 신호 여과 장치에서 거리를 산출하는 과정을 설명하기 위한 도면이다.

도 7a 내지 도 7b는 본 발명의 일 실시예에 따른 음원 신호 여과 장치에서 음원 신호를 여과하는 과정 및 활용 방법을 설명하기 위한 도면이다.

도 8은 본 발명의 또 다른 실시예에 따른 음원 거리에 기초한 음원 신호 여과 방법을 도시한 순서도이다.

Claims (13)

1. 복수 개의 마이크로폰(microphone)들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성하는 단계;

   상기 생성된 마이크로폰 출력 신호들로부터 상기 음원 신호들의 주파수에 따른 거리 관계를 이용하여 상기 마이크로폰들로부터 상기 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출하는 단계; 및

   상기 산출된 거리에 기초하여 상기 음원 신호들로부터 소정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과하는 단계를 포함하는 것을 특징으로 하는 음원 신호 여과 방법.
2. 제 1 항에 있어서,

   상기 생성된 마이크로폰 출력 신호들의 크기를 소거시킴으로써 상기 크기에 독립적인 결과값을 생성하도록 연산하는 단계를 더 포함하고,

   상기 거리를 산출하는 단계는 상기 연산 결과값으로부터 상기 음원까지의 거리를 산출하는 것을 특징으로 하는 음원 신호 여과 방법.
3. 제 1 항에 있어서,

   상기 마이크로폰 출력 신호들은 거리에 따른 음의 감쇄 비율이 서로 다른 것을 특징으로 하는 음원 신호 여과 방법.
4. 제 1 항에 있어서,

   상기 음원 신호들을 여과하는 단계는

   상기 산출된 거리와 소정 문턱값을 비교하여 상기 음원 신호의 가중치를 산출하는 단계; 및

   상기 산출된 가중치에 따라 소정 거리에 해당하는 음원 신호를 여과하는 단계를 포함하는 것을 특징으로 하는 음원 신호 여과 방법.
5. 제 4 항에 있어서,

   상기 가중치는 미리 결정된 값이거나, 상기 비교한 결과를 선형 또는 비선형 함수에 입력함으로써 출력된 값 중 어느 하나인 것을 특징으로 하는 음원 신호 여과 방법.
6. 제 1 항에 있어서,

   상기 입력된 음원 신호들 간의 음원으로부터의 도착 시간 차이를 이용하여 상기 음원 신호들의 입력 방향을 산출하는 단계를 더 포함하고,

   상기 거리를 산출하는 단계는 상기 산출된 입력 방향을 이용하여 상기 음원까지의 거리를 산출하는 것을 특징으로 하는 음원 신호 여과 방법.
7. 제 1 항 내지 제 6 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위 한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
8. 복수 개의 마이크로폰들을 통해 입력된 음원 신호들을 조합하여 적어도 둘 이상의 마이크로폰 출력 신호들을 생성하는 마이크로폰 출력 신호 생성부;

   상기 생성된 마이크로폰 출력 신호들로부터 상기 음원 신호의 주파수에 따른 거리 관계를 이용하여 상기 마이크로폰들로부터 상기 음원 신호들이 방사되어 나오는 음원까지의 거리를 산출하는 거리 산출부; 및

   상기 산출된 거리에 기초하여 상기 음원 신호들로부터 소정 거리에 해당하는 적어도 하나 이상의 음원 신호를 여과하는 신호 여과부를 포함하는 것을 특징으로 하는 음원 신호 여과 장치.
9. 제 8 항에 있어서,

   상기 생성된 마이크로폰 출력 신호들의 크기를 소거시킴으로써 상기 크기에 독립적인 결과값을 생성하도록 연산하는 연산부를 더 포함하고,

   상기 거리 산출부는 상기 연산 결과값으로부터 상기 음원까지의 거리를 산출하는 것을 특징으로 하는 음원 신호 여과 장치.
10. 제 8 항에 있어서,

    상기 마이크로폰 출력 신호들은 거리에 따른 음의 감쇄 비율이 서로 다른 것을 특징으로 하는 음원 신호 여과 장치.
11. 제 8 항에 있어서,

    상기 신호 여과부는

    상기 산출된 거리와 소정 문턱값을 비교하여 상기 음원 신호의 가중치를 산출하는 가중치 산출부; 및

    상기 산출된 가중치에 따라 소정 거리에 해당하는 음원 신호를 여과하는 필터를 포함하는 것을 특징으로 하는 음원 신호 여과 장치.
12. 제 11 항에 있어서,

    상기 가중치는 미리 결정된 값이거나, 상기 비교한 결과를 선형 또는 비선형 함수에 입력함으로써 출력된 값 중 어느 하나인 것을 특징으로 하는 음원 신호 여과 장치.
13. 제 8 항에 있어서,

    상기 입력된 음원 신호들 간의 음원으로부터의 도착 시간 차이를 이용하여 상기 음원 신호들의 입력 방향을 산출하는 방향 산출부를 더 포함하고,

    상기 거리 산출부는 상기 산출된 입력 방향을 이용하여 상기 음원까지의 거리를 산출하는 것을 특징으로 하는 음원 신호 여과 장치.

Images