[go: up one dir, main page]

KR0139176B1 - 다해상도 선형왜곡 보상방법 및 그 장치 - Google Patents

다해상도 선형왜곡 보상방법 및 그 장치

Info

Publication number
KR0139176B1
KR0139176B1 KR1019930011992A KR930011992A KR0139176B1 KR 0139176 B1 KR0139176 B1 KR 0139176B1 KR 1019930011992 A KR1019930011992 A KR 1019930011992A KR 930011992 A KR930011992 A KR 930011992A KR 0139176 B1 KR0139176 B1 KR 0139176B1
Authority
KR
South Korea
Prior art keywords
signal
frequency
filter
distortion
resolution
Prior art date
Application number
KR1019930011992A
Other languages
English (en)
Other versions
KR940004946A (ko
Inventor
이원우
Original Assignee
김광호
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자 주식회사 filed Critical 김광호
Priority to KR1019930011992A priority Critical patent/KR0139176B1/ko
Publication of KR940004946A publication Critical patent/KR940004946A/ko
Priority to GB9413031A priority patent/GB2279534B/en
Priority to JP6147669A priority patent/JP2730860B2/ja
Priority to US08/267,498 priority patent/US5805715A/en
Application granted granted Critical
Publication of KR0139176B1 publication Critical patent/KR0139176B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/005Tone control or bandwidth control in amplifiers of digital signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명에 의해 구현되는 선형왜곡보상장치는 가청주파수대역중의 저주파영역의 해상도를 높게 하고 고주파영역에서는 상대적으로 해상도를 낮게 한다. 그리고, 바크스케일을 이용하여 대역분할하여 필터계수를 결정한다. 저역통과필터를 통과하지 않은 전체가청주파수대역의 음향신호들은 제1필터부에 의해 왜곡보상된다. 저역통과필터를 통과하여 얻어지는 분할대역의 음향신호는 제2필터부에 의해 전체가청주파수대역의 신호왜곡보상에서 보상되지 못한 왜곡부분을 제거시킬 수 있도록 필터링된 다음, 전체가청주파수대역의 왜곡보상된 음향신호에 가산된다. 제1필터부에 의해 왜곡보상된 음향신호는 제2필터부로부터 출력하는 신호에 의해 남아 있는 신호 왜곡부분이 제거된다. 따라서, 필터의 탭수를 줄이면서도 인간의 귀로는 구분하기 힘든 정도까지 음향신호의 왜곡을 보상할 수 있는 효과를 가져온다.

Description

다해상도 선형왜곡보상방법 및 그 장치
제1도 a 및 b는 스피커시스템에 의해 발생되는 왜곡을 보여주는 특성도들,
제2도 a 및 b는 본 발명에 따른 대역분할에 이용되는 바크스케일과 선형적인 주파수스케일의 관계를 나타내는 특성도들,
제3도는 본 발명의 바람직한 일 실시예에 따른 선형왜곡보상장치를 나타낸 블록도,
제4도 a 내지 d는 스피커에서 발생한 왜곡의 보상결과를 나타낸 특성도들이다.
*도면의 주요부분에 대한 부호의 설명
30,40,50 : 필터부41,45,51,55 : 저역통과필터
42,52 : 추림기43,53 : FIR필터
44,54 : 보간기46,56 : 지연기
60 : 가산기
본 발명은 스피커의 왜곡보상방법 및 장치에 관한 것으로서, 특히 스피커시스템에서 발생하는 음향신호의 선형왜곡을 인간의 청각특성을 고려하여 보상하는 방법 및 그 장치에 관한 것이다.
개시된 발명은 1992년 8월 22일자로 한국에 출원된 특허출원번호 제92-15114호를 우선권주장의 근거로 하여 출원한다. 우선권주장의 근거가 되는 선출원 및 본 발명은 가청주파수대역을 아래에서 설명할 바크스케일(Bark Scale)을 이용하여 대역분할한다. 그러나, 위의 선출원은 주파수대역 분할을 위해 대역통과필터(Band pass filter)들을 사용하는 반면에, 본 발명은 저역통과필터들을 이용하여 가청주파수대역을 다수의 부대역들로 분할하고, 각 부대역들에 대한 선형왜곡보상을 수행한다.
일반적으로 스피커시스템에서의 선형왜곡은 소리의 음색을 좌우한다. 이상적인(ideal)스피커시스템의 경우, 음압/주파수특성은 평탄(flat)하게 된다. 그러나, 여러 가지 원인으로 인해 음향신호에 왜곡이 발생하면, 음압/주파수특성은 왜곡되어져 소리의 음색이 변하게 된다.
스피커시스템에서 발생한 왜곡을 보상하여 평탄한 음압/주파수특성을 얻기 위한 종래기술로는 1989년 12월 19일자로 발행된(issued) Takasi등의 미국특허번호 4,888,811이 있다. 이 참증은 진폭/주파수특성과 위상/주파수특성에서 보여지는 왜곡을 보상하기 위한 기술을 언급한다. 입력되는 음향신호는 고역주파수, 중간주파수, 그리고 저역주파수로 대역분할된다. 그리고 음압/주파수특성정보와 위상/주파수특성정보에 의해 결정되는 충격을 답계수들에 따라 평탄한 음압/주파수특성과 선형적인 위상/주파수특성이 부여된다. 스피커시스템의 왜곡보상을 위한 다른 종래기술로는 1989년 12월 19일자로 발행된 Ishikawa등의 미국특허번호 4,888,808이 있다. Ishikawa등의 특허는 독립적으로 성립되는 진폭/주파수특성과 위상/주파수특성에 근거하여 FIR필터를 통과하는 디지털 음향신호의 위상 및 진폭을 정정한다. 특히, Ishikawa등의 특허는 다수의 대역통과필터들에 대하여 계산된 필터링계수들을 사용하여 음향신호를 필터링하는 기술을 개시한다.
위에서 언급한 종래기술들은 보상하고자 하는 주파수영역에 대해 일정한 주파수해상도를 부여하였다. 그런데, 보상하고자 하는 전영역에 일정한 해상도를 부여하는 경우, 저주파여역에서의 선형왜곡보상을 위해 필터의 탭(tap)수가 증가할수록 고주파영역의 선형왜곡보상을 위한 필터의 탭수도 증가한다.
저주파영역 또는 중간주파영역에 대해서만 신호등화를 수행하는 선행기술은 1990년 1월 25일자로 국제출원공개된 Nelson등의 국제공개번호 WO 90/00,851에서 개시되었다. 이 출원서에 따르면, 저역 또는 중간음향주파수대역의 음향신호는 신호등화되어 전체 음향주파수대역의 신호에 가산된다. 그리고, 저역통과필터를 통과한 신호만이 스피커에 의해 재생되는 신호 및 저역통과필터를 통과한 신호의 차이에 따라 등화된다. 따라서, 신호왜곡의 보상을 위한 필터의 탭수를 줄일 수 있다. 뿐만 아니라, 청취장소에 대한 최적의 누화(crosstalk)억압 및 등화를 얻게 된다.
본 발명의 목적은, 청각특성에 의해 인간이 민감하게 느끼는 주파수영역에 대한 필터의 주파수해상도를 그에 비해 상대적으로 덜 민감하게 느끼는 주파수영역에 대한 필터의 주파수해상도보다 높게 설정하므로써, 필터의 탭수를 줄이면서도 인간의 청각특성에 맞게 음향신호의 왜곡을 보상할 수 있는 방법을 제공함에 있다.
본 발명의 다른 목적은, 위의 방법을 구현한 장치를 제공함에 있다.
상술한 본 발명의 목적을 달성하기 위한, 스피커시스템에 발생한 음향신호의 왜곡을 보상하는 선형왜곡보상방법은, 인간의 청각적분해능에 따른 바크스케일 및 주파수스케일간의 관계를 이용하여, 가청주파수대역의 주파수해상도 및 가청주파수대역보다 최대주파수가 적은 적어도 하나의 부대역에 대한 주파수해상도를 서로 다르게 설정하는 단계; 상기 가청주파수대역에 대응하는 제 1주파수해상도에 근거하여 상기 가청주파수대역의 음향신호에 발생된 신호왜곡을 보상하는 제1필터링단계; 상기 적어도 하나인 제 1부대역의 음향신호에 발생된 신호왜곡을 상기 제 1부대역에 대응하는 제 2주파수해상도에 근거하여 보상하는 제2필터링단계; 및 상기 제1필터링단계 및 상기 제2필터링단계에 의해 얻어진 음향신호들을 가산하는 단계를 포함한다.
본 발명의 다른 목적을 달성하기 위한, 스피커시스템에서 발생한 음향신호의 왜곡을 보상하는 선형왜곡보상장치, 가청주파수대역의 음향신호를 수신하며, 기설정된 제 1주파수해상도에 근거하여 수신된 음향신호의 왜곡을 보상하는 제1필터수단; 가청주파수대역의 상기 음향신호를 수신하며, 수신된 음향신호로부터 상기 가청주파수대역보다 작은 최대주파수를 갖는 제 1부대역의 음향신호를 추출하고, 상기 제 1주파수해상도보다 높은 제 2주파수해상도에 근거하여 상기 제 1부대역의 음향신호의 왜곡을 보상하는 제2필터수단; 및 상기 제1필터수단의 출력신호 및 상기 제2필터수단의 출력신호를 가산하기 위한 가산수단을 포함한다.
본 발명에 따른 왜곡보상장치는 가청주파수대역중의 저주파영역의 해상도를 높게 하고 고주파영역에서의 해상도를 상대적으로 낮게 한다. 저주파영역에 대한 해상도를 높이기 위해 저역통과필터들은 전체가청주파수대역을 대역분할한다. 전체가청주파수대역의 음향신호중에서 저역통과필터를 통과하지 않은 음향신호는 제 1필터부에 의해 왜곡보상된다. 저역통과필터를 통과하여 얻어지는 분할대역의 음향신호는 제 2필터부에 의해 전체가청주파수대역의 신호왜곡보상에서 보상되지 못한 왜곡부분을 제거시킬 수 있도록 필터링된 다음, 전체가청주파수대역에서 왜곡보상된 음향신호에 가산된다. 달리 말하면, 전체가청주파수대역의 왜곡보상된 음향신호는 제 2필터부로부터 얻어지는 신호에 의해 감산된다. 따라서, 제 1필터부에 의해 왜곡보상된 음향신호는 제 2필터부로부터 출력하는 신호에 의해 남아있는 신호왜곡부분이 제거된다. 제 2필터부와 같은 역할을 하는 필터들의 특성들 또는 갯수는 제 1필터부로부터 출력하는 음향신호의 신호왜곡보상정도와 인간의 청각능력에 의해 적절히 조절된다.
이하, 본 발명을 구현한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
제1도a 및 b는 스피커시스템에 의해 발생되는 왜곡을 보여주는 특성도이다. 제1도a는 왜곡이 발생한 음압/주파수특성을 나타내고, 제1도b는 왜곡이 발생한 임펄스응답특성을 보여준다. 대부분의 음향기기들은 전기신호를 기계적인 진동에 의한 음향신호로 바꾼다. 이러한 과정에서 신호는 시스템이 갖고 있는 전달함수에 의해 왜곡된다. 본 발명에서는 이러한 왜곡을 보상하기 위한 다해상도 선형왜곡 보상방법 및 장치를 제시한다.
일반적으로, 인간의 내이(內耳)에 해당하는 달팽이관은 소리의 주파수를 분석한다. 이러한 달팽이관에서는 위치에 따라 공진주파수가 다르므로, 달팽이관내의 각 위치는 특정 주파수에 대응한다. 그리고, 달팽이관의 주파수스케일은 선형적이지 않고 지수함수적인 특징을 갖는다. 즉, 사람의 소리분석계를 동일한 주파수해상도를 갖는 필터뱅크(filter bank)로 간주하면, 필터뱅크를 구성하는 각 필터의 주파수대역은 중심주파수가 높을수록 대역폭이 커지는 상수-Q(Constant-Q)의 형태를 갖는다. 따라서, 사람은 저주파일수록 음향신호의 주파수 변화를 감지하기 쉽고, 고주파일수록 주파수 변화를 감지하기 어렵다. 본 발명에서는 이러한 인간의 청각특성을 이용하여, 저주파대역에서는 높은 주파수해상도로 고주파대역에서는 상대적으로 낮은 주파수해상도로 스피커시스템에서 발생하는 음향신호의 왜곡을 보상한다. 이러한 본 발명의 다해상도 선형왜곡(multi-resolution linear distortion)보상방법은 가청주파수대역보다 높은 주파수해상도를 제공하는 주파수대역을 형성하기 위하여 다음의 제2도a 및 b에서 설명된 바크스케일을 이용한다.
제2도 a 및 b는 본 발명에 의한 바크스케일과 주파수스케일의 관계를 보여준다. 제2도 a 및 b에서, 수평축은 주파수스케일로 표시되며, 수직축은 바크스케일로 표시된다. 인간의 청각적 분해능은 제2도 a 또는 제2b에 보인 20Hz∼20KHz정도의 가청주파수대역에서 곡선의 기울기로 표시된다. 인간의 청각특성에 의한 비선형 주파수스케일은 바크스케일의 변수 Z와 주파수(f)의 관계를 나타내는 다음의 식(1)에 의해 선형적인 주파수스케일로 표시된다.
위의 식(1)에서 바크값(Z)은 달팽이관내의 주파수 감지위치에 대해 선형적인 대응관계를 갖는다.
서로다른 주파수해상도를 갖는 2개의 주파수대역을 정하기 위하여, 본 발명의 일 실시예에서는 바크스케일을 제2도a에서 보인 것 처럼 등간격으로 분할한다. 분할된 바크스케일에 근거하여, 29.5이하의 바크값에 대응하는 주파수대역은 '제1대역', 14.8이하의 바크값에 대응하는 주파수대역은 '제2대역'으로 구분된다. 제1대역은 가청주파수대역과 동일하다. 제2도 a는 2개의 주파수대역들 각각에 대한 주파수범위를 보여준다. 각 대역의 신호왜곡보정에 이용되는 FIR필터의 탭수는 상수-Q의 특성에 근거한 다음의 식(2)에 의해 결정된다.
위 식(2)에서, N1은 제1대역에서의 FIR필터의 탭수이고, N2는 제2대역에서의 FIR필터의 탭수이다. 전체 가청주파수대역에 대한 필터의 탭수를 200개로 정한 경우, 전체 탭수와 각 대역에서의 탭수 사이에는 다음의 식(3)이 성립된다.
따라서, 위의 식(2)와 식(3)을 이용하면, N1=133, N2=67이 된다. 유하충격응답필터(FIR filter)를 이용하여 음향신호에 대한 왜곡보상을 수행하는 경우, 보상되는 주파수의 해상도는 샘플링주파수를 FIR필터의 차수(order)로 나눈 값이 된다. 샘플링주파수(fs)가 44.1KHz일 때, FIR필터의 해상도는 N1=133인 제1대역의 경우, 대략 330Hz이다. 제 2대역의 경우, 44.1KHz의 샘플링 주파수로 샘플링된 데이터를 7:1추림하여 샘플링주파수를 6.3KHz로 만든다. 6.3KHz의 샘플링주파수 및 N2=67에 대한 주파수해상도는 대략 90Hz정도가 된다. 이와같이 제2대역의 음향신호를 추림(decimation)한 이후에 FIR필터링하면, 1:7 보간에 의하여 제2대역의 음향신호에 대한 주파수해상도가 향상된다. 그 결과, 가정주파수대역의 저주파대역은 높은 주파수해상도의 필터링이 가능하므로, 적은 필터탭수로도 효율적인 신호왜곡보상이 가능하다.
다음으로, 가청주파수대역을 주파수해상도가 서로 다른 세 개의 대역으로 구분하는 경우의 각 대역에 대한 신호왜곡보상을 설명한다.
가청주파수대역을 세 개의 대역으로 구분하기 위해, 바크스케일을 등간격으로 나누면, 제 2도b에서 도시된 것처럼, 20Hz부터 22.05KHz까지가 '제 1대역', 20Hz부터 5.4KHz까지가 '제 2대역', 그리고 20Hz부터 1.2KHz까지가 '제 3대역'이 된다. 각 대역에 대한 FIR필터의 주파수해상도는, 전체 가청주파수에 대한 필터의 탭수가 200인 경우, 상수-Q의 특성에 의한 다음의 식(4)와 식(5)에 근거하여 계산된다.
세개의 대역들에 대한 탭수 및 해상도는 가청주파수대역을 주파수해상도가 다른 두 개의 대역으로 구분하는 경우와 마찬가지 방법에 의해 계산되며, 그 결과는 다음의 표 1에 보여진다.
대역구분에 이용된 바크스케일상의 경계값들이 본 발명을 한정하는 것은 아니므로, 다른 바크값들을 사용하여 가청주파수대역보다 높은 주파수해상도를 갖는 영역들을 설정하고, 각 영역에 대해 FIR필터링하는 것도 본 발명의 기술범주내에서 가능하다.
서로다른 주파수해상도을 갖는 대역들에 대하여 신호왜곡을 보상하는 실질적인 장치를 다음의 제 3도를 참조하여 설명한다.
제 3도는 본 발명의 바람직한 일 실시예에 따른 선형왜곡보상장치를 나타낸 블록도이다. 제 3도에서, 음향신호입력단(20)과 가산기(60)사이에는 제 2도b의 각 대역들에 들어있는 음향신호들의 왜곡보상을 위한 제 1필터부(30), 제 2필터부(40) 및 제 3필터부(50)가 병렬로 연결된다. 가산기(60)는 필터부들(30,40 및 50)로부터 공급되는 신호를 가산한다.
제 1필터부(30)는 제1대역의 음향신호에 들어있는 왜곡을 보상한다. 제 2필터부(40) 및 제 3필터부(50)는 각각 제 2대역 및 제 3대역의 음향신호에 대한 왜곡을 보상한다. 각 필터부들(30,40,50)은 표1에서 보인 탭수를 갖는 FIR필터를 각각 구비한다. 제 1필터부(30)는 가청주파수대역의 음향신호를 등화시키기 위한 하나의 FIR필터를 구비한다. 제 2필터부(40)는 5.4KHz이하의 음향신호를 통과시키기 위한 제 1저역통과필터(41) 및 제 2저역통과필터(45)를 구비한다. 제 1저역통과필터(41)의 출력신호는 3:1의 추림을 수행하는 제 1추림기(42)로 입력된다. 제 1FIR필터(43)는 제 1추림기(42)에 의해 3:1추림된 신호를 인가받아 등화시켜 제1보간기(44)로 출력한다. 제 1보간기(44)는 제 1FIR필터(43)의 출력에 대한 보간을 통해 3:1로 추림된 음향신호를 원래의 신호로 복원한다. 제 2저역통과필터(45)는 제 1보간기(44)의 출력신호에 들어있는 노이즈를 제거한다. 제 1지연기(46)는 제 2저역통과필터(45)의 출력신호를 제 1필터부(30)의 출력신호와 동기시키기 위하여 지연시킨다.
제 3필터부(50)는, 제 1필터부(40)와 마찬가지로, 제 3저역통과필터(51), 제 2추림기(52), 제 2FIR필터(53), 제 2보간기(54), 제 4저역통과필터(55), 그리고 제 2지연기(56)를 구비한다. 제 3저역통과필터(51)는 1.32KHz이하의 주파수를 갖는 음향신호를 출력한다. 제 2추림기(52)와 제 2보간기(54)는 15:1의 추림 및 1:15의 보간을 위해 사용된다.
제 3도 장치의 동작 설명에 앞서, 제1 필터부(30)의 FIR필터에 대한 필터계수를 얻는 과정을 설명한다. 스피커시스템의 임펄스응답을 S(n)이라 하면, 무향실에서 측정한 S(n)은 다음의 식(6)으로 표시된다.
스피커시스템의 주파수응답은 임펄스응답 S(n)을 이산퓨리에변환(Discrete Fourier Transform;DFT)함에 의해 얻어진다.
식(7)로 표시되는 주파수응답을 갖는 스피커시스템의 역 시스템에 대한 주파수응답은 다음의 식(8)로 표시된다.
식(8)에서, 20Hz미만의 값을 0으로 둔 이유는 저주파영역에서의 지나친 승압(boost)으로 인해 스피커가 손상되는 것을 방지하기 위한 것이다. 제 1필터부(30)는 위의 식(8)로 표시되는 주파수응답특성을 갖는 FIR필터로 구성되며, 전체 가청주파수대역에 대하여 스피커시스템에 의해 발생된 왜곡을 보상한다. 제 1필터부(30)의 필터계수들을 결정하기 위해, 제 2도b의 제1대역에 할당된 N1ro(=98개)의 탭들에 대한 값들은 0∼44.1KHz의 범위내에서 등간격으로 선택되어지며 역이산퓨리에변환(IDFT)된다. 그 결과, 얻어진 N1개의 계수들은 제 1필터부(30)의 필터계수들로 사용된다. 따라서, 제 1대역의 주파수를 갖는 음향신호는 위에서 언급된 방식으로 계산된 필터 계수들을 갖는 제 1필터부(30)에 의해 왜곡보상된다.
그러나, 제 1필터부(30)를 이용하여 완전하게 음향신호의 왜곡을 보상하기 위해서는 제 1필터부(30)에 무한차수의 FIR필터가 요구된다. 즉, 한정된 필터계수들을 갖는 제 1필터부(30)에 의해서는 완전한 왜곡보상이 이루어지지 않는다. 따라서, 제 1필터부(30)에서 보상되지 않은 신호왜곡을 보상하기 위하여 제 2필터부(40)가 사용된다.
제 2필터부(40)는, 제 1필터부(30)에서 보상하지 못한 왜곡을 보상하기 위해, 다음의 식(9)에 의해 결정되는 주파수응답F2(ω)를 갖도록 구성된다.
제 2필터부(40)의 주파수응답F2(ω), 제 1FIR필터(43)의 주파수응답F2'(ω) 및 저역통과필터들(41,45)의 전달함수들간의 관계는 다음의 식(10)으로 표시된다.
여기서, F2'(ω)는 저역통과필터의 영향이 제거된 주파수응답이고, L2(ω)는 저역통과필터의 전달함수를 의미한다. 제 1FIR필터(43)의 주파수응답F2'(ω)는 다음의 식(11)에 의해 결정된다.
이 실시예에서는, 제 2필터부(40)의 제 1FIR필터(43)는 14.7KHz의 셈플링주파수를 갖는 신호를 처리하도록 구성된다. 제 1저역통과필터(41)는 가청주파수대역의 음향신호를 입력받아 겹침(aliasing)을 방지하는 동시에 5.4KHz이하의 주파수를 갖는 음향신호만을 제 1추림기(42)로 출력한다. 제 1추림기(42)는 제 1저역통과필터(41)로부터 공급되는 음향신호를 3:1로 추림(decimation)시켜, 음향신호의 샘플링주파수를 14.7KHz(=44.1KHz/3)로 떨어뜨린다. 그 결과, 최대주파수가 7.35KHz인 음향신호가 얻어진다. 추림에 의해 얻어진 음향신호는 제 1FIR필터(43)로 입력된다. 제 1FIR필터(43)는 위의 식(11)에 근거하여 계산되는 필터계수들에 따라 음향신호를 필터링한다. 제 1FIR필터(43)의 N2개의 필터계수들은, 0∼14.7KHz사이의 주파수값을 등간격으로 선택하고, 선택된 주파수값들을 역이산퓨리에변환(IDFT)시키므로써 얻어진다. 필터링된 음향신호는 제 1보간기(44)에 의해 1:3보간되고 제 2저역통과필터(45)에 의해 노이즈가 제거된다. 제 1지연기(46)는 제2저역통과필터(45)로부터의 출력신호를 입력받아 제 1필터부(30)로부터의 대응 음향신호와 시간적으로 일치되도록 지연시켜 출력한다.
실제적으로, 제 2필터부(40) 역시 제1필터부(30)에서 발생한 오차를 완전히 보상하지 못한다. 따라서, 제 3필터부(50)가 제 1필터부(30)와 제 2필터부(40)에서 보상하지 못한 오차를 보상하기 위해 사용된다. 이러한 필터부들의 갯수는 본 발명을 한정하는 것이 아니므로, 가청주파수대역을 2개의 대역 또는 다른 갯수의 대역들로 분할하고, 각 대역들에 대해 왜곡보상을 실현하는 것도 본 발명의 기술범주에서 가능하다.
다시 제 3필터부(50)의 설명으로 돌아가서, 제 3필터부(50)의 주파수응답을 F3(ω)라 하면, 주파수영역에서의 임펄스응답 S(ω) 주파수응답F3(ω) 및 오차 E2(ω)사이에는 다음의 식(12)로 표시되는 관계를 갖는다.
따라서, 제 3필터부(50)의 주파수응답F3(ω)과 제 2FIR필터(43)의 주파수응답F3'(ω) 및 저역통과필터들(51,55)의 전달함수들간에는 다음의 식(13)으로 표시되는 관계가 성립한다.
여기서, F3'(ω)는 저역통과필터의 영향이 제거된 함수이고, L3(ω)는 저역통과필터의 전달함수이다. 따라서, 제 3대역에 속한 음향신호의 왜곡보상을 위한 제 2FIR필터(53)의 주파수응답은 다음의 식(14)에 의해 결정된다.
제 2FIR필터(53)의 N3개의 필터계수들은 0∼2.94KHz를 등간격으로 분할하여 결정되는 주파수값들을 역이산퓨리에변환시켜 얻는다. 제 2FIR필터(53)가 위의 설명과 같이 결정된 필터계수들을 갖는 경우, 제 3필터부(50)는 제 2필터부(40)와 동일한 방식으로 신호를 처리한다. 먼저, 제 3저역통과필터(51)는 입력하는 음향신호로부터 1.2KHz이하의 주파수대역을 갖는 음향신호만을 출력한다. 제 2추림기(52)는 입력신호에 대해 15:1의 추림을 실행하여 2.94KHz(=44.11KHz/15)의 샘플링주파수를 갖는 음향신호를 발생한다.
제 2FIR필터(53)는 15:1로 추림된 신호를 입력받아 기설정된 필터계수들을 이용하여 필터링한 다음, 제2보간기(54)로 출력한다. 제 2보간기(54)로 출력한다. 제 2보간기(54)는 입력신호를 1:15의 비율로 보간시켜 출력하고, 제 4저역통과필터(55)는 보간에 의해 발생하는 노이즈를 제거시켜 출력한다. 제 2지연기(56)는 제 4저역통과필터(56)로부터의 출력신호를 입력받아 제 1필터부(30)의 대응 음향신호와 시간적으로 일치되도록 지연시켜 출력한다. 가산기(60)는 각 필터부(30,40,50)로부터의 출력신호들을 입력받아 합산출력한다.
제 4도 a 내지 d는 스피커에서 발생한 왜곡의 보상결과를 나타낸 특성도이다. 제 4도 a 내지 c는 본 발명에 따라 가청주파수대역을 2개의 대역으로 구분하여 신호처리한 경우의 다해상도선형왜곡보상의 결과를 보여준다. 즉, 제 3도의 장치설명에서 보여준 바크스케일을 이용한 대역분할 및 필터계수결정방법을 2개의 대역에 적용한 경우의 특성곡선을 보여준다. 반면에, 제 4도d는 종래의 방식 즉, 전대역에 대해 일정한 해상도을 갖는 방식에 따라 1024개의 탭수를 갖는 FIR필터를 이용하여 왜곡보상한 결과를 나타낸다. 제 4도a는 가청주파수대역 전체에 대해 바크스케일을 이용하여 탭수가 결정된 FIR필터를 이용한 음향신호왜곡보상의 결과를 보여준다. 제 4도a에서 알수 있는 바와 같이, 3KHz이상의 고주파대역에서는 ±0.5dB이내의 리플(ripple)이 나타난다. 그리고, 1KHz에서 3KHz까지의 주파수대역에서는 약 ±1dB이내의 리플이 존재한다. 반면에, 1KHz이하에서는 ±1.5dB이상의 리플이 있으므로, 추가적인 왜곡보상이 요구된다. 제 4도b는 0∼5.2KHz의 주파수대역에 들어있는 음향신호의 보상결과를 보여준다. 제 4도b도에서는, 5.2KHz이상의 주파수대역에 대한 신호왜곡보상은 이루어지지 않았다. 반면에, 5.2KHz이하의 주파수대역중 100Hz이상의 대역에서는 ±1dB정도에서는 원음과 재생음의 구분이 곤란하다. 제 4도c는 스피커에서 발생한 왜곡을 본 발명의 다해상도선형왜곡보상장치로 보상한 다음 얻어진 임펄스응답특성을 보여준다. 제 1도 b의 임펄스응답과 비교해 보면 왜곡보상된 이후에 개선된 응답특성을 가짐을 알 수 있다. 본 발명의 다해상도왜곡보상장치에 의한 왜곡보상정도는 제 4도b와 제 4도d를 비교하면 보다 분명히 알 수 있다. 제 4도d는 1024개의 탭수를 갖는 종래의 FIR필터에 의한 왜곡보상의 결과이고, 제 4도b는 272개의 탭수를 갖는 다해상도 선형왜곡보상장치에 의한 왜곡보상결과이다.
상술한 본 발명의 일 실시예에서 이용된 제 2필터부 및 제 3필터부의 샘플링주파수는 본 발명을 한정하는 것이 아니므로, 다른 샘플링주파수를 갖는 FIR필터들을 이용하여 실시예를 구성하는 것도 본 발명의 기술범주내에서 가능하다.
상술한 본발명의 왜곡보상장치는 바크스케일을 이용하여 대역분할하여 필터계수를 결정하므로써, 필터의 탭수를 줄이면서도 인간의 귀로는 구분하기 힘든 정도까지 음향신호의 왜곡을 보상할 수 있는 효과를 가져온다.

Claims (17)

  1. 스피커시스템에서 발생한 음향신호의 왜곡을 보상하는 선형왜곡보상장치에 있어서, 가청주파수대역의 음향신호를 수신하며, 기설정된 제 1주파수해상도에 근거하여 수신된 음향신호의 왜곡을 보상하는 제 1필터수단(30); 가청주파수대역의 상기 음향신호를 수신하며, 수신된 음향신호로부터 상기 가청주파수대역보다 작은 최대주파수를 갖는 제 1부대역의 음향신호를 추출하고, 상기 제 1주파수해상도보다 높은 제 2주파수해상도에 근거하여 상기 제 1부대역의 음향신호의 왜곡을 보상하는 제 2필터수단(40); 및 상기 제 1필터수단(30)의 출력신호 및 상기 제 2필터수단(40)의 출력신호를 가산하기 위한 가산수단(60)을 포함하는 선형왜곡보상장치.
  2. 제1항에 있어서, 상기 제 1필터수단(30) 및 상기 제2필터수단(40) 각각은, 바크스케일을 동일한 간격으로 분할함에 의해 결정되는 주파수대역의 최대 주파수에 대응하는 주파수값을 해당 대역의 최대주파수로 정하고, 각 대역에 대한 주파수해상도에 따라 필터계수를 설정하는 선형왜곡보상장치.
  3. 제2항에 있어서, 상기 제 2필터수단(40)은, 수신된 음향신호로부터 상기 제 1부대역의 음향신호를 추출하기 위한 제 1저역통과필터(41); 상기 제 1저역통과필터(41)의 출력신호를 주파수영역에서 제 1추림비율로 추림하는 제 1추림기(42); 상기 제 1추림기(42)에 의해 샘플링주파수가 낮아진 음향신호를 상기 제 2주파수해상도 및 상기 제 1추림비율에 근거하여 계산된 필터계수들에 따라 필터링하는 제 1FIR필터(43); 및 상기 제 1FIR필터(43)의 출력신호를 상기 제 1추림비율의 역비율에 따라 보간하며 보간된 신호를 상기 가산수단(60)으로 출력하는 제1보간기(44)를 포함하는 선형왜곡보상장치.
  4. 제 2항에 있어서, 상기 제 1필터수단(30)은 FIR필터를 포함하는 선형왜곡보상장치.
  5. 제 3항에 있어서, 상기 제 2필터수단(40)은 상기 제 1필터수단(30)의 출력신호 및 상기 제2필터수단(40)의 출력신호 간에 발생되는 신호지연을 보상하기 위한 지연수단(46)을 더 포함하는 선형왜곡보상장치.
  6. 제 3항에 있어서, 상기 제 2필터수단(40)은 제 1보간기(44)의 출력신호로부터 노이즈를 제거하기 위한 제2저역통과필터(45)를 더 포함하는 선형왜곡보상장치.
  7. 제 3항에 있어서, 가청주파수대역의 상기 음향신호를 수신하며, 수신된 음향신호로부터 상기 제 1부대역보다 작은 최대주파수를 갖는 제 2부대역의 음향신호를 추출하고, 상기 제 2주파수해상도보다 해상도가 높은 제 3주파수해상도에 근거하여 추출된 음향신호의 왜곡을 보상하고, 왜곡보상된 신호를 상기 가산수단(60)으로 출력하는 제3필터수단(50)을 더 포함하는 선형왜곡보상장치.
  8. 제 7항에 있어서, 상기 제 3필터수단(50)은, 수신된 가청주파수대역의 음향신호로부터 상기 제 2부대역의 음향신호를 추출하기 위한 제 3저역통과필터(51); 상기 제 3저역통과필터(51)의 출력신호를, 주파수영역에서 상기 제 1추림비율보다 큰 제 2추림비율로 추림하는 제 2추림기(52); 상기 제 2추림기(52)에 의해 샘플링주파수가 낮아진 음향신호를, 상기 제 3주파수해상도 및 상기 제 2추림비율에 근거하여 계산된 제2FIR필터계수들에 따라 필터링하는 제 2FIR필터(53); 및 상기 제 2FIR필터(53)의 출력신호를 상기 제 2추림비율의 역비율에 따라 보간하며, 보간된 신호를 상기 가산수단(60)으로 출력하는 제 2보간기(54)를 포함하는 선형왜곡보상장치.
  9. 제 8항에 있어서, 상기 제 3필터수단(50)은 상기 제 2보간기(54)에 의해 보간된 신호로부터 노이즈를 제거하며, 그 결과를 상기 가산수단(60)으로 출력하는 제4저역통과필터(55)를 더 포함하는 선형왜곡보상장치.
  10. 제 9항에 있어서, 상기 제 3필터수단(50)은 상기 제 1필터수단(30)의 출력신호 및 상기 제 2보간기(54)의 출력신호 간에 발생되는 신호지연을 보상하기 위한 지연수단(56)을 더 포함하는 선형왜곡보상장치.
  11. 스피커시스템에서 발생한 음향신호의 왜곡을 보상하는 선형왜곡보상방법에 있어서, 인간의 청각적분해능에 따른 바크스케일 및 주파수스케일간의 관계를 이용하여, 가청주파수대역의 주파수해상도 및 가청주파수대역보다 최대주파수가 적은 적어도 하나의 부대역에 대한 주파수해상도를 서로 다르게 설정하는 단계; 상기 가청주파수대역에 대응하는 제 1주파수해상도에 근거하여 상기 가청주파수대역의 음향신호에 발생된 신호왜곡을 보상하는 제 1필터링단계; 상기 적어도 하나인 제 1부대역의 음향신호에 발생된 신호왜곡을 상기 제 1부대역에 대응하는 제 2주파수해상도에 근거하여 보상하는 제2필터링단계; 및 상기 제1필터링단계 및 상기 제2필터링단계에 의해 얻어진 음향신호들을 가산하는 단계를 포함하는 선형왜곡보상방법.
  12. 제11항에 있어서, 상기 제 1필터링단계 및 상기 제 2필터링단계 각각은, 대응하는 주파수해상도에 근거하여 해당 주파수대역을 동일한 간격으로 분할하는 단계; 분할된 간격들에 개별적으로 대응하는 FIR필터계수들을 계산하는 단계; 및 상기 계산된 필터계수들에 근거하여 해당 주파수대역의 음향신호를 등화시키는 단계를 포함하는 선형왜곡보상방법.
  13. 제12항에 있어서, 상기 제 2필터링단계는 상기 제 1주파수해상도보다 주파수해상도가 높은 상기 제 2주파수해상도에 근거하여 상기 제 1부대역의 음향신호를 등화시키는 선형왜곡보상방법.
  14. 제13항에 있어서, 상기 제 2필터링단계는, 가청주파수대역의 음향신호로부터 제 1부대역의 음향신호를 추출하는 제 1저역통과필터링단계; 상기 제 1저역통과필터링단계에서 얻어진 제 1부대역의 음향신호를 신호의 샘플링주파수를 낮추기 위한 제 1추림비율로 추림하는 제 1추림단계; 상기 샘플링주파수가 낮아진 음향신호를, 상기 제 2주파수해상도 및 상기 제 1추림비율에 근거하여 계산된 FIR필터계수들에 따라 등화시키는 제 1FIR필터링단계; 및 상기 제 1FIR필터링단계에서 얻어진 신호를 상기 제 1추림비율의 역비율로 보간하여 출력하는 제 1보간단계를 포함하는 선형왜곡보상방법.
  15. 제14항에 있어서, 상기 제 1부대역보다 최대주파수가 낮은 제 2부대역의 음향신호에서 발생된 신호왜곡을 보상하기 위한 제 3필터링단계를더 포함하는 선형왜곡보상방법.
  16. 제15항에 있어서, 상기 제 3필터링단계는 상기 제 2주파수해상도보다 주파수해상도가 높은 제 3주파수해상도에 근거하여 상기 제 2부대역의 음향신호를 등화시키는 선형왜곡보상방법.
  17. 제16항에 있어서, 상기 제 3필터링단계는, 가청주파수대역의 음향신호로부터 제 2부대역의 음향신호를 추출하는 제 1저역통과필터링단계; 상기 제 1저역통과필터링단계에서 추출된 제 2부대역의 음향신호를 상기 제1추림비율보다 큰 제 2추림비율로 추림하여 신호의 샘플링주파수를 낮추는 제 2추림단계; 상기 제 2추림단계에서 샘플링주파수가 낮아진 음향신호를, 상기 제 3주파수해상도 및 상기 제 2추림비율에 근거하여 계산된 FIR필터계수들에 따라 등화시키는 제2FIR필터링단계; 및 상기 제2FIR필터링단계에서 얻어진 신호를 상기 제2추림비율의 역비율로 보간하여 출력하는 제2보간단계를 더 포함하는 선형왜곡보상방법.
KR1019930011992A 1992-06-30 1993-06-29 다해상도 선형왜곡 보상방법 및 그 장치 KR0139176B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019930011992A KR0139176B1 (ko) 1992-06-30 1993-06-29 다해상도 선형왜곡 보상방법 및 그 장치
GB9413031A GB2279534B (en) 1993-06-29 1994-06-29 Method and apparatus for compensating linear distortion
JP6147669A JP2730860B2 (ja) 1993-06-29 1994-06-29 音響信号の線形歪補償方法及びその装置
US08/267,498 US5805715A (en) 1993-06-29 1994-06-29 Method and apparatus for compensating multi-resolution linear distortion

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP92-172203 1992-06-30
US7/906,938 1992-06-30
FR9208037 1992-06-30
JP92-54519 1992-07-10
JP92-207285 1992-07-10
KR920015114 1992-08-22
KR92-15114 1992-08-22
JP92-93016 1992-12-10
JP93-105823 1993-03-29
KR1019930011992A KR0139176B1 (ko) 1992-06-30 1993-06-29 다해상도 선형왜곡 보상방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR940004946A KR940004946A (ko) 1994-03-16
KR0139176B1 true KR0139176B1 (ko) 1998-06-15

Family

ID=19358243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930011992A KR0139176B1 (ko) 1992-06-30 1993-06-29 다해상도 선형왜곡 보상방법 및 그 장치

Country Status (4)

Country Link
US (1) US5805715A (ko)
JP (1) JP2730860B2 (ko)
KR (1) KR0139176B1 (ko)
GB (1) GB2279534B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101118922B1 (ko) * 2002-06-05 2012-06-29 에이알씨 인터내셔날 피엘씨 음향 가상 현실 엔진 및 전달 사운드 확장을 위한 향상된 기술들

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959220B1 (en) * 1997-11-07 2005-10-25 Microsoft Corporation Digital audio signal filtering mechanism and method
US6337999B1 (en) * 1998-12-18 2002-01-08 Orban, Inc. Oversampled differential clipper
WO2002007308A2 (en) * 2000-07-13 2002-01-24 Koninklijke Philips Electronics N.V. Infrabass
CN100391102C (zh) * 2001-09-10 2008-05-28 神经网路处理有限公司 音质调整装置以及滤波器装置
KR100408859B1 (ko) * 2001-12-20 2003-12-06 (주)스피치사운드넷 바크스케일을 이용한 크로스토크 제거방법
DE10240135B4 (de) * 2002-08-30 2006-10-26 Infineon Technologies Ag Verfahren und Vorrichtung zur digitalen Filterung interpolierter Werte
JP2005184040A (ja) * 2003-12-15 2005-07-07 Sony Corp 音声信号処理装置及び音声信号再生システム
US20060158557A1 (en) * 2005-01-20 2006-07-20 Shang-Chieh Wen Method and apparatus for video processing
US8121312B2 (en) * 2006-03-14 2012-02-21 Harman International Industries, Incorporated Wide-band equalization system
US20110311065A1 (en) 2006-03-14 2011-12-22 Harman International Industries, Incorporated Extraction of channels from multichannel signals utilizing stimulus
US7474235B2 (en) * 2006-06-05 2009-01-06 Mediatek Inc. Automatic power control system for optical disc drive and method thereof
US7911891B2 (en) * 2006-06-05 2011-03-22 Mediatek Inc. Apparatus for controling servo signal gains of an optical disc drive and method of same
US20070291622A1 (en) * 2006-06-05 2007-12-20 Mediatek Inc. High pass filtering device for an optical disc drive
US8077880B2 (en) * 2007-05-11 2011-12-13 Audyssey Laboratories, Inc. Combined multirate-based and fir-based filtering technique for room acoustic equalization
JP2009141793A (ja) 2007-12-07 2009-06-25 Yukihiro Ando 電気音響変換器
TWI465122B (zh) * 2009-01-30 2014-12-11 Dolby Lab Licensing Corp 自帶狀脈衝響應資料測定反向濾波器之方法
ES2385393B1 (es) * 2010-11-02 2013-07-12 Universitat Politècnica De Catalunya Equipo de diagnóstico de altavoces y procedimiento de utilización de éste mediante el uso de transformada wavelet.
TWI548210B (zh) 2014-01-13 2016-09-01 財團法人工業技術研究院 電荷域濾波裝置及其操作方法
KR102289436B1 (ko) * 2020-02-07 2021-08-11 신재혁 소음 차단 헤드셋 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4272648A (en) * 1979-11-28 1981-06-09 International Telephone And Telegraph Corporation Gain control apparatus for digital telephone line circuits
US4888808A (en) * 1987-03-23 1989-12-19 Matsushita Electric Industrial Co., Ltd. Digital equalizer apparatus enabling separate phase and amplitude characteristic modification
GB8816364D0 (en) * 1988-07-08 1988-08-10 Univ Southampton Improvements in/relating to sound reproduction systems
GB9026906D0 (en) * 1990-12-11 1991-01-30 B & W Loudspeakers Compensating filters
JPH04245897A (ja) * 1991-01-31 1992-09-02 Sony Corp デジタルクロスオーバーネットワーク
JP2509789B2 (ja) * 1992-08-22 1996-06-26 三星電子株式会社 可聴周波数帯域分割を利用した音響信号歪み補正装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101118922B1 (ko) * 2002-06-05 2012-06-29 에이알씨 인터내셔날 피엘씨 음향 가상 현실 엔진 및 전달 사운드 확장을 위한 향상된 기술들
US8676361B2 (en) 2002-06-05 2014-03-18 Synopsys, Inc. Acoustical virtual reality engine and advanced techniques for enhancing delivered sound

Also Published As

Publication number Publication date
JP2730860B2 (ja) 1998-03-25
GB2279534B (en) 1997-04-02
US5805715A (en) 1998-09-08
KR940004946A (ko) 1994-03-16
GB9413031D0 (en) 1994-08-17
GB2279534A (en) 1995-01-04
JPH0759186A (ja) 1995-03-03

Similar Documents

Publication Publication Date Title
KR0139176B1 (ko) 다해상도 선형왜곡 보상방법 및 그 장치
EP0556867B1 (en) Digital equalizer apparatus enabling separate phase and amplitude characteristic modification
US7818079B2 (en) Equalization based on digital signal processing in downsampled domains
US10721564B2 (en) Subband spatial and crosstalk cancellation for audio reporoduction
JP4402977B2 (ja) 補聴器における動的圧縮
KR100312636B1 (ko) 보상필터
AU2004317776B2 (en) Hearing aid comprising adaptive feedback suppression system
EP1602223B1 (en) Echo canceller with reduced requirement for processing power
EP0434691B1 (en) Improvements in or relating to sound reproduction systems
EP1001652A2 (en) Automatic loudspeaker equalizer
AU2019202161B2 (en) Subband spatial and crosstalk cancellation for audio reproduction
US6519344B1 (en) Audio system
Greenfield et al. Efficient filter design for loudspeaker equalization
US20110137646A1 (en) Noise Suppression Method and Apparatus
US6546105B1 (en) Sound image localization device and sound image localization method
EP1343352B1 (en) Microphone-speaker apparatus
GB2289185A (en) Reducing distortion in horn-loaded loudspeakers
JPH06112743A (ja) 可聴周波数帯域分割を利用した音響信号歪み補正装置
US4238744A (en) Frequency band dividing filter using delay-line filter
CN110915241B (zh) 子带空间音频增强
US6519342B1 (en) Method and apparatus for filtering an audio signal
EP1305975B1 (en) Adaptive microphone array system with preserving binaural cues
EP0288159B1 (en) Digital equalizer apparatus enabling separate phase and amplitude characteristic modification
EP0274850B1 (en) Adaptive digital filters and echo cancelers
KR0113717Y1 (ko) 주파수 왜곡 보상장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19930629

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19941231

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 19930629

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19970630

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19971227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19980226

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19980226

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20010131

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20020130

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20030129

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20040130

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20050128

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20060127

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20060127

Start annual number: 9

End annual number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20080110