KR0181054B1 - 다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 - Google Patents
다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 Download PDFInfo
- Publication number
- KR0181054B1 KR0181054B1 KR1019950007287A KR19950007287A KR0181054B1 KR 0181054 B1 KR0181054 B1 KR 0181054B1 KR 1019950007287 A KR1019950007287 A KR 1019950007287A KR 19950007287 A KR19950007287 A KR 19950007287A KR 0181054 B1 KR0181054 B1 KR 0181054B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- bit allocation
- channels
- digital audio
- audio signals
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 52
- 230000001149 cognitive effect Effects 0.000 claims abstract description 39
- 238000013139 quantization Methods 0.000 claims abstract description 14
- 230000000873 masking effect Effects 0.000 claims abstract description 10
- 230000019771 cognition Effects 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000001914 filtration Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract 1
- 230000008447 perception Effects 0.000 abstract 1
- 101100533725 Mus musculus Smr3a gene Proteins 0.000 description 6
- 101100149716 Rattus norvegicus Vcsa1 gene Proteins 0.000 description 6
- 101150037481 SMR1 gene Proteins 0.000 description 6
- 101100286750 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ILV2 gene Proteins 0.000 description 6
- 101100028962 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDR1 gene Proteins 0.000 description 5
- 101150096622 Smr2 gene Proteins 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 101100450694 Arabidopsis thaliana HFR1 gene Proteins 0.000 description 3
- 101100053789 Homo sapiens ZBTB7A gene Proteins 0.000 description 3
- 101100434608 Rattus norvegicus Akirin2 gene Proteins 0.000 description 3
- 102100023264 Zinc finger and BTB domain-containing protein 7A Human genes 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 101100342759 Arabidopsis thaliana LCMT1 gene Proteins 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명에 따른 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화할 수 있는 신규한 장치는 양자화 디바이스(10), 제1 및 제2인지 파라메터 측정 디바이스들(20 및 30), 제1, 제2 및 제3비트 할당 유니트들(40, 50 및 60), 양자화 디바이스(70) 및 포맷팅 회로(80)를 구비한다. 본 발명의 신규한 제2인지 파라메터 측정 디바이스(30) 및 제1비트 할당 유니트(40)에서, 상기 제2인지 파라메터 측정디바이스(30)는 상기 제1인지 파라메터 측정 디바이스(20)에서 측정된 신호대 마스크 비 데이터, 음압 레벨들 및 마스킹 문턱치들에 의거하여 상기 입력 디지탈 오디오 신호들의 각각에 포함된 각각의 프레임들의 인지 정보량들을 측정하고, 상기 N개 전체 채널들에 대해 NxF개의 현재 및 이전 프레임들을 포함하는 상기 측정된 인지 정보량들에 상응하는 채널간 프레임 그룹(Inter-channel Frame Group)에 대한 평균 및 표준편자 파라메터들을 추출하며, 상기 F는 양의 정수이고 상기 N개의 채널들의 각각에 대해 F개의 현재 및 이전 프레임들을 포함하는 채널내 프레임 그룹(Intra-channel Frame Group)을 발생한다. 그리고 상기 제1비트 할당 유니트(40)는 상기 채널내 프레임 그룹들의 각각에 대해 측정된 인지 정보량과 상기 평균 및 표준편차 파라메터들에 의거하여 상기 채널내 프레임 그룹들의 각각에 대한 비트를 결정하며, 상기 채널내 프레임 그룹들의 각각에 대해 결정된 비트에 상응하는 비트 할당 정보를 발생한다.
Description
제1도는 본 발명에 따른 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 신규한 장치를 전체적으로 예시하는 도면.
제2도는 제1도에 도시된 제1비트 할당 유니트의 상세 블록 구성도.
* 도면의 주요부분에 대한 부호의 설명
10 : 서브밴드 필터링 디바이스
20, 30 : 제1 및, 제2인지 파라메터 측정 디바이스
40, 50, 60 : 제1, 제2 및, 제3비트 할당 유니트
70 : 양자화 디바이스 80 : 포맷팅 회로
본 발명은 디지탈 오디오 부호화 장치에 관한 것으로, 특히, 다수개의 채널들로 부터 입력되는 디지탈 오디오 신호들을 인간의 청각특성에 부합하는 각 입력 디지탈 오디오 신호의 인지 정보량에 의거하여 적응적으로 부호화 할 수 있도록 한 개선된 장치에 관한 것이다.
일반적으로, 콤팩트 디스크(Compact Disk : CD) 및/또는 디지탈 오디오 테이프(Digital Audio Tape : DAT) 플레이어와 같은 고음질을 달성하기 위해서는 디지탈화된 오디오 신호들을 전소한다. 오디오 신호가 디지탈 형태로 표현되어, 특히 고화질 텔레비젼(HDTV)에 사용될 때, 상당한 양의 데이터가 전송된다. 그러나, 오디오 신호에 할당된 가용한 대역폭은 제한되어 있기 때문에, 상당한 양, 예를 들어, 48KHz로 샘플링된 16비트 펄스 부호 변조(PCM) 오디오 신호, 즉, 초당 768Kbits의 데이터를 제한된 오디오 대역, 예를들어, 약 128KHz로 전송하기 위해서는 압축해야 된다.
따라서, 다양한 오디오 압축 디바이스들 또는 기법들중에서, 상기 HDTV 응용을 위해 심리음향 알고리즘(Psychoacoustic Algorithm)을 사용하는 소위 MPEG(Moving Pictures Expert Group)-오디오 알고리즘이 제안되어 왔다.
한편, MPEG-오디오 알고리즘은 서브밴드 샘플링, 심리음향 알고리즘, 양자화 및 부호화, 그리고 프레임 포맷팅과 같은 4가지 주요 구성요소로 이루어져 있다. 서브밴드 필터링은 입력 PCM 오디오 신호를 시간영역에서 주파수 영역으로 매핑(mapping)하는 프로세스이다. B개(예를들면, 32)의 서브밴드를 갖는 필터뱅크(Filter Bank)가 사용될 수도 있다. 각각의 서브밴드에서, 12또는 36샘플들이 그룹되어 처리되며, B개의 서브밴드로 부터의 그룹된 샘플들, 즉, B x 12 또는 36 샘플들이 한 프레임으로 구성된다. 각각의 프레임은 오디오 신호를 부호화, 전송 및 복호화하기 위한 처리 단위이다.
여기에서, 심리음향 모델링은 각각의 서브밴드 또는 서브샘플군에 대해, 양자화 및 부호화의 처리를 제어하기 위해 데이터, 예를들면, 신호대 마스크 비(Signal-to-Mask Ratio : SMR) 데이터의 세트를 생성한다. 그 다음에, 상기 서브밴드 샘플들을 양자화 및 부호화는 단계에서, 상기 생성된 SMR 데이터를 참조하여 가용한 비트를 한 프레임의 각각의 서브밴드에 적응적으로 할당하여 양자화 한다. 프레임 포맷은 프레임 데이터를 다른 필요한 부가정보와 함께 적절한 형태로 포맷하여 전송한다.
그러나, 상술한 바와같은 MPEG 오디오 기법은 각 프레임에 고정된 비트를 할당하기 때문에, 거기에는 상기 프레임들 사이에 연속적으로 변경될 수도 있는 입력 디지탈 오디오 신호의 평균(Mean)들, 표준 편차(Standard Deviation)들 및 인지 정보량(Perceptual Entropy) 등과 같은 통계적 특성을 반영할 수 없다는 문제점이 내재되어 있다.
더욱이, 다른 인지 정보량들을 갖는 입력 디지탈 오디오 신호들이 상술한 종래 기술의 기법을 이요하는 통상적인 디바이스로 제공되는 경우에, 이러한 디바이스는 상기한 인지 정보량들에 전혀 무관하게 입력 디지탈 오디오 신호들을 부호화 하기 때문에, 인간의 청각특성을 약화 시킨다는 문제점이 있다.
따라서, 본 발명의 목적은 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 각각의 입력 디지탈 오디오 신호들에 대한 인지 정보량들에 의거항 적응적으로 부호화함으로써 부호화 효율과 음질을 향상시킬 수 있는 개선된 부호화 장치를 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명은, N개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하며, 상기 각 채널들로 부터의 입력 디지탈 오디오 신호는 다수개의 프레임을 포함하고, 상기 각각의 프레임은 다수개의 서브 밴드들을 포함하며, 상기 N 은 양의 정수인 부호화 장치에 있어서, 병렬로 결합된 것으로, 상기 입력 디지탈 오디오 신호들을 필터링하여 다수개의 서브밴드 단위로 분할하는 N개의 서브밴드 필터링 수단 ; 상기 입력 디지탈 오디오 신호들의 각각에 포함된 각 서브밴드들에 대한 신호 마스크 비 데이터, 음압 레벨들 및 마스킹 문턱치들을 측정하는 제1측정수단 ; 상기 측정된 신호대 마스크 비 데이터, 음압 레벨들 및 마스킹 문턱치들에 의거하여 상기 입력 디지탈 오디오 신호들의 각각에 포함된 각각의 프레임들의 인지 정보량들을 측정하고, 상기 N개 전체 채널들에 대해 NxF개의 현재 및 이전 프레임들을 포함하는 상기 측정된 인지 정보량들에 상응하는 채널간 프레임 그룹(Inter-channel Frame Group)에 대한 평균 및 표준편차 파라메터들을 추출하며, 상기 N개의 채널들의 각각에 대한 F개의 현재 및 이전 프레임들을 포함하는 채널내 프레임 그룹(Intra-channel Frame Group)을 발생하며, 상기 F는 양의 정수인 제2측정 수단 ; 상기 채널내 프레임 그룹들의 각각에 대해 측정된 인지 정보량과 상기 평균 및 표준편차 파라메터들에 의거하여 상기 채널내 프레임 그룹들의 각각에 대한 비트를 결정하며, 상기 채널내 프레임 그룹들의 각각에 대해 결정된 비트에 상응하는 비트 할당 정보를 발생하는 제1비트 할당 수단 ; 상기 측정된 신호대 마스크 비 데이터와 상기 발생된 비트 할당 정보에 의거하여 상기 채널내 프레임 그룹들의 각각에 포함된 각각의 서브밴드들에 대한 비트들을 결정하며, 상기 서브밴드들의 각각에 대해 결정된 비트들에 상응하는 비트 할당 정보를 발생하는 제2비트 할당 수단 ; 상기 N개의 채널들에 대해 필터된 각 서브밴드 오디오 신호들을 상기 채널내 프레임 그룹들의 각각에서의 각 서브밴드들에 대해 발생된 비트 할당 정보들에 응답하여 양자화하는 N개의 양자화 수단 ; 및 상기 양자화된 디지탈 오디오 신호들과 상기 발생된 비트 할당 정보들을 포맷하는 수단으로 이루어진 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치를 제공한다.
본 발명의 상기 목적과 다른 목적 및 특징들은 첨부한 도면과 관련하여 제공된 바람직한 실시예를 설명하면 명백해 질 것이다.
제1도를 참조하면, 본 발명에 따른 부호화 장치(100)를 개략적으로 예시하는 블록구성도가 도시되어 있다.
본 발명에 따른 부호화 장치(100)는 서브밴드 필터링 디바이스(10), 제1 및 제2인지 파라메터 측정 디바이스들(20, 30), 제1, 제2 및 제3비트 할당 유니트들(40, 50, 60), 양자화 디바이스(70) 및 포맷팅 회로(80)를 포함한다.
또한, 본 발명이 부호화 장치(100)에 있어서, N(예를들어, 2)개, 즉, 제1(또는 L) 및 제 2(또는 R)채널들을 통해 수신된 M(즉, m = 0,1,..,M-1, 여기서, M 은 양의 정수)개 및 S(즉, s = 0,1,..,S-1, 여기서, S 는 양의 정수)개의 샘플들을 포함하는 i번째 프레임들, 또는 현재 프레임들의 입력 디지탈 오디오 신호들(X1(m,i) 및 X2(s,i))은 제1인지 파라메터 측정 디바이스(20) 및 상기 서브밴드 필터링 디바이스(10)로 인가된다. 여기에서, 샘플들(M 및 S)의 수는 상기 채널들로 부터의 입력 디지탈 오디오 신호들의 각각에 대한 샘플링 주파수에 정비례할 수도 있다. 본 명세서에서 사용된 프레임은 고정된 오디오 샘플들의 수에 상응하는 디지탈 오디오 신호의 일부분을 나타내며, 또한 디지탈 오디오 신호의 부호화 및 복호화를 위한 처리 단위이다.
제1도에 도시된 바와 같이, 서브밴드 필터링 디바이스(10)는 병렬로 결합된 다수개의 필터들, 예를들면, 두 개의 서브밴드 필터들(11 및 12)을 포함하여 제1 및 제2채널들로 부터의 현재 프레임들의 입력 디지탈 오디오 신호들을 동시에 수신하여 본 기술 분야에 잘 알려진 서브밴드 필터링 기법, 예를들면, ISO/IECJTCI/SC2/WG 11, Part 3, Audio Proposal, CD-11172-3(1991)에 기술된 소위 MPEG 오디오 알고리즘에 개시된 방법을 이용함으로써, 입력 디지탈 오디오 신호들의 필터링을 각기 수행한다. 즉, 서브밴드 필터들(11 및 12)은 샘플링 주파수(fs)를 갖는 입력 디지탈 오디오 신호를 샘플링 주파수(fs/B)를 갖는 B(예를들면, 32)개의 동일한 서브밴드로 분할하며, 분할된 서브밴드 오디오 샘플들을 양자화 디바이스(70)로 제공한다.
제1인지 파라메터 측정 디바이스(20)는 제1 및 제2채널들로 부터의 현재 프레임의 입력 디지탈 오디오 신호들을 수신하여, 예를들면, MPEG 오디오 알고리즘에 논의된 심리 음향 모델을 이용하여 현재 프레임들의 입력 디지탈 오디오 신호들에 포함된 각각의 서브밴드들에 대한 신호대 마스크 비(SMR) 데이터(SMR1 및 SMR2), 음압 레벨(Sound Pressure Level)들(P1 및 P2), 마스킹 문턱치(Masking Threshold)들(M1 및 M2)을 측정한다. 제1채널로 부터의 각 서브밴드에 대한 SMR 데이터는 다음과 같이 추출된다.
여기서, j는 서브밴드 인덱스(j = 0, 1,..,B-1)이고, B는 한 프레임에서의 전채 서브밴드 수이며, SMR1(j)는 제1채널의 j번째 서브밴드에서의 신호대 마스크비이고, P1(j)는 고속 퓨리에 변환(Fast Fourier Transform) 기법으로 부터 측정된 제1채널의 j번째 서브밴드에서의 음압 레벨이며, M1(j)_는 제1채널의 j번째 서브밴드에서의 마스킹 문턱치이고, 그리고, SMR1(j), P1(j) 및 M1(j)의 단위는 모두 데시벨(dB)이다.
이와 유사하게, 제2채널로 부터의 각 서브밴드에 대한 SMR2 데이터는 다음과 같이 계산된다.
여기서, j는 상기 정의된 바와같은 동일한 의미를 갖는다.
한편, 마스킹 문턱치는 가청 한계(Audible Limit)를 나타내는 것으로써, 고유의 가청 한계, 또는 음의 문턱치와 오디오 신호의 다른 순임 및 비순음 성분들의 존재에 의해 발생된 증분과의 합을 나타낸다. 그 다음, 제1인지 파라메터 측정 디바이스(20)에서 측정된 제1 및 제2채널들의 신호대 마스크 비 데이터(SMR1(j) 및 SMR2(j))는 제3비트 할당 유니트(60)로 제공되는 반면에, 제1 및 제2채널들의 음압 레벨들(P1(j) 및 P2(j)) 및 마스킹 문턱치들 (M1(j) 및 M2(j))은 인지 정보량 측정기(32)와 평균 및 표준편차 측정기(34)를 포함하는 제2인지 정보량 측정 디바이스(30)로 공급된다.
또한, 인지 정보량 측정기(32)는 제1인지 정보량 측정 디바이스(20)로 부터의 음압 레벨들(P1(j) 및 P2(j))과 마스킹 문턱치들(M1(j) 및 M2(j))에 의거하여 제1 및 제2채널들의 i번째 프레임들에 대한 인지 정보량들(PE1(i) 및 PE2(i))을 측정한다. 제1채널의 i번째 프레임의 입력 디지탈 오디오 신호에 대한 인지 정보량(PE1(i))은, 본 기술 분야에 잘 알려져 있는 바와같이, 다음과 같이 나타낼 수도 있다.
여기서, i,j 및 B 는 상기에 정의된 바와같은 동일한 의미들을 갖는다.
이와 유사하게, 상기 제2채널의 i번째 프레임에 대한 인지 정보량(PE2(i))은, 본 기술 분야에 잘 알려져 있는 바와같이, 다음과 같이 나타낼 수 있다.
여기서, i,j 및 B는 상기에 정의된 바와같은 동일한 의미들을 갖는다.
식(3) 및 식(4)는 소위 전송율 왜곡 이론(Rate Distortion Theory)들을 적용함으로써 얻을 수 있으며, 인간의 청각 특성에 의거한 인지 정보량들에 일치한다. 그리고, 인지 정보량 측정기(32)에서 측정된 제1 및 제2채널들의 i번째 프레임들에 대한 인지 정보량들은 제2비트 할당 유니트(50) 및 평균 표준편자 측정기(34)로 전달된다.
한편, 평균 및 표준편차 측정기(34)는 상기한 인지 정보량 측정기(32)로 부터 공급된 제1 및 제2채널들의 Q(예를들면, 4)개의 현재 및 그것의 이전 프레임들에 대해 측정된 인지 정보량들, 즉, PE1(i-1), PE1(i), PE2(i-1) 및 PE2(i)들을 그룹화함으로써, 제2도를 참조하여 이하에서 상세하게 설명될 제1비트 할당 유니트(40)의 처리에 따라 제1 및 제2채널들간에 비트들을 적응적으로 할당할 수 있도록 하며, 또한, 제1 및 제2채널들에 대한 4개의 현재 및 이전 프레임들을 포함하는 채널간 프레임 그룹(Inter-channel Frame Group)에 대해 측정된 전체 인지 정보량들을 이용하여 그들의 통계적 특성을 나타내는 평균 및 표준 편차 파라메터들을 측정한다. 채널간 프레임 그룹의 전체 인지 정보량들에 대한 평균 파라메터(PEm)는, 본 기술 분야에 잘 알려진 바와같이, 다음과 같이 얻을 수도 있다.
여기서, p(p = 0,1,..,Q-1)는 채널간 프레임 그룹에서 사용된 프레임 인덱스로써, 상기 Q는 상기 채널간 프레임 그룹의 전체 프레임수를 나타내며, 그리고 PE(p)는 상기 채널간 프레임 그룹에서 p번째 프레임의 인지 정보량을 나타낸다.
그러므로, 상기 채널간 프레임 그룹의 전체 인지 정보량들에 대한 표준 편차(PEstd)는, 본 기술 분야에 잘 알려진 바와같이, 다음과 같이 계산될 수도 있다.
여기서, p 및 Q는 상기에 정의된 바와같은 동일한 의미들을 갖는다.
본 발명의 바람직한 실시예에 있어서, 평균 및 표준편차 측정기(34)는 제1 및 제2채널들의 각각에 대한 현재 및 그것의 이전 프레임들(예를들면, 2)에 대해 측정된 인지 정보량들, 즉, PE1(i) 및 PE1(i-1), 그리고 PE2(i) 및 PE2(i-1)을 각기 그룹화하여, 그들의 인지 정보량에 따라 제1 및 제2채널들의 각각에 그리고 채널들의 각각에 포함된 각각의 프레임들에 비트들을 적응적으로 할당하며, 또한 제1 및 제2채널들의 두 개의 채널내 프레임 그룹(Intra-channel Frame Group)들에 대한 인지 정보량들(PE(1) 및 PE(2))을 발생한다. 평균 및 표준편차 측정기(34)에서 발생되고 측정된 제1 및 제2채널들에 대한 인지 정보량들(PE(1) 및 PE(2)), 그리고 평균 및 표준편차 파라메터들(PEm 및 PEstd)은 제1비트 할당 유니트(40)로 전달된다.
또한, 제1비트 할당 유니트(40)는 평균 및 표준편차 측정기(34)로 부터의 인지 정보량들(PE(1) 및 PE(2))과 평균 및 표준편차 파라메터들(PEm 및 PEstd)에 의거하여 제1 및 제2채널들이 두 개의 채널내 프레임 그룹들에 대한 비트들을 결정하며, 두 개의 채널내 프레임 그룹데 대해 결정된 비트들에 상응하는 비트할당 정보들(CBI1 및 CBI2)을 제2비트 할당 유니트(50) 및 포맷팅 회로(80)로 제공한다.
제2도를 참조하면, 제1도에 도시된 제1비트 할당 유니트(40)의 상세 블록구성도가 도시되어 있다. 이와같은 제1비트 할당 유니트(40)는 결정 레벨 측정기(41), 승산기(42), 감산기(43), 분주기(44) 및 비트 할당 디바이스(43)를 포함한다.
제2도에 있어서, 결정 레벨 측정기(41)는, 상기한 비트 할당 디바이스(45)가 제1 및 제2채널들의 두 개의 채널내 프레임 그룹들에 비트들을 할당하기 위해, 제1도에 도시된 평균 및 표준편차 측정기(34)로 부터의 평균 및 표준편차 파라메터들(PEm 및 PEstd)에 의거하여 채널간 프레임 그룹의 최적의 결정 레벨들을 측정한다. 본 발명의 바람직한 실시예에 있어서, 채널간 프레임 그룹의 k 번째 결정 레벨(D(k))은 다음과 같이 나타낼 수 있다.
여기서, k(k = -q~q)는 결정 레벨 인덱스이고, q는 양의 정수이며, 그리고 NF는 채널간 프레임 그룹에서의 정규화 팩터(Factor)이다.
식(7)으로 부터 알수 있는 바와 같이, 채널같 프레임 그룹의 k번째 결정 레벨(D(k))과 (k-1)번째 결정 레벨(D(k-1))사이의 레벨 간격은 평균 및 표준편차 측정기(34)로 부터의 표준편차 파라메터(PEstd)와 채널간 프레임 그룹의 정규화 팩터(NF)에 의존하는데 반해, 결정 레벨들의 전체 수(즉, 2q+1)는 사전 설정된다. 결정 레벨들의 전체 수는 부호화 장치의 부호화 효율과 음질에 의거하여 결정될 수 있다. 결정 레벨 측정기(41)에서 상용된 프레임 그룹의 정규화 팩터(NF)는 실제 인간의 청각 특성과 매우 부합하는 프레임 그룹의 최적의 결정 레벨들을 추출하기 위해서 평균 및 표준편차 측정기(34)로 부터의 평균 및 표준편차 파라메터들과, 그것의 메모리(도시 안됨)에 사전저장된 글로벌(Global) 평균(PEgm)과 글로벌 표준편차 파라메터들의 평균(PEgstd)을 이용함으로써 바람직하게 결정될 수 있다. 글로벌 평균과 글로벌 표준편차들의 평균 파라메터들의 각각은 기설정된 기간 동안에 측정된 평균과 표준편차 파라메터들을 이용하여 각각의 평균을 구함으로서 측정할 수도 있고, 또는 오디오신호에 대하여 장시간 동안 특성이 크게 변화하지 않으므로 기설정된 값을 저장하여 사용할 수도 있다. 본 발명의 바람직한 실시예에 있어서, 프레임 그룹의 정규화 팩터(NF)는 다음과 같이 결정될 수 있다.
상기한 식들(7) 및 (8)로 부터 알 수 있는 바와 같이, 채널간 프레임 그룹의 결정 레벨들은 상기 평균 파라메터의 정수배로써 결정될 수 있음을 주목하자.
한편, 결정 레벨 측정기(41)에서 측정되고 사전 결정된 결정 레벨들 및 결정 레벨들의 전체 수는 비트 할당 디바이스(45)로 제공된다. 그리고, 승산기(42)는 제1도에 도시된 평균 및 표준편차 측정기(34)로 부터 공급된 평균 파라메터(PEm)와 그것의 메모리(도시 안됨)에 사전 저장된 두 개의 채널내 그룹들의 어느 하나에 포함된 프레임들의 전체 수를 나타내는 계수 F(예를들면, 2)를 승산하여 출력 파라메터(2 x PEm)를 발생한다.
또한, 감산기(43)는 인지 정보량들(PE(1) 및 PE(2))의 각각을 출력 파라메터(2 x PEm)와 각기 감산하여 편차신호(E(1) 및 E(2))를 발생한다. 분주기(44)는 감산기(43)로 부터의 편차신호들(E(1) 및 E(2))을 수신하여 그 신호들을 채널내 프레임 그룹들의 어느 하나에 포함된 사전 결정된 프레임 수 F(예를들면, 2)로 각각 분주하여 편차 신호들을 평균함으로써 최적의 결정 레벨들을 추출하도록 하며, 또한 편차 신호들(E(1)/2 및 E(2)/2)을 발생한다. 그 다음에, 결정 레벨 측정기(41)에서 측정되고 사전 결정된 결정 레벨(D(k)), 결정 레벨들의 전체 수(즉, 2q+1) 및 편차 신호들(E(1)/2 및 E(2)/2)은 비트 할당 디바이스(45)로 동시에 제공된다.
다른한편, 비트 할당 디바이스(45)는 제1 및 제2채널들의 두 개의 채널내 프레임 그룹들의 각각에 대한 비트들을 결정 레벨 측정기(41)로 부터의 결정 레벨들과 결정 레벨들의 전체 수, 그리고 분주기(44)로 부터의 편차신호들에 의거하여 결정한다. 본 발명의 바람직한 실시예에 있어서, 프레임 그룹에서 p번째 프레임의 비트할당(FB(p))은 다음과 같이 결정 될 수 있다.
여기서, r은 채널 인덱스로써 사용된 양의 정수이며, FBm은 프레임당 평균 비트(예를들면, 3072비트(즉, 샘플링 주파수가 48KHz, 오디오 데이터가 16-비트 PCM형태, 따라서 초당 128Kbits인 경우))이고, BV는 기설정된 비트 변동값을 나타내며, 2q+1은 기설정된 결정레벨들의 전체 수를 나타내며, I는 p번째 프레임에서의 레벨 인덱스이고, 그리고 F는 상기에 정의된 바와같은 동일한 의미를 갖는다.
상기한 식(9)로 부터 알 수 있는 바와같이, r번째 채널에 대한 비트할당(FB(r))은 평균비트의 전체 수(F x FBm)와 그것의 두 번째 항으로부터 계산된 가변 비트를 가산함으로써 결정될 수 있다. 기설정된 비트 변동값(BV)은 채널들 사이에 변경될 수 있는 비트할당의 최소 비트와 최대 비트간의 비트 변동 범위를 나타내는 값으로 결정될 수 있으며, r번째 채널의 채널내 프레임 그룹에 대한 레벨 인덱스(I)는 결정 레벨 측정기(41)로 부터의 결정 레벨들(D(k))과 분주기(44)로 부터의 편차 신호들(E(1)/2 및 E(2)/2)에 의거하여 결정될 수 있다.
본 발명의 바람직한 실시예에 있어서, r번째 채널의 채널내 프레임 그룹에 임에 대한 레벨 인덱스(I)는 다음 테이블에 도시된 바와 같이 나타낼수도 있다(여기서, 결정 레벨들의 간격이 1.27, 그리고 결정 레벨 인덱스(k)는 -2~2로 가정되었음).
테이블로 부터 알수 있는 바와같이, 예를들어, 만일 r번째 채널의 채널내 프레임 그룹에 대한 편차신호(E(r))가 결정 레벨들(-2.55~-1.28)사이에 존재하면, r번째 채널의 채널내 프레임 그룹에 대한 레벨 인덱스(I)는 -1로서 선택될 수 있으며, 그리고, 만일 편차신호가 결정 레벨들(-1.27~-1.26)사이에 있게 되면, 그것의 레벨인덱스는 0으로서 선택될 수 있다. 이와같은 방법으로, r번째 채널의 채널내 프레임 그룹에 대한 비트 할당(FB(r))은 식(9)을 이용함으로써 유리하게 결정될 수 있다.
그 다음에, 비트 할당 유니트(45)에서, 각각의 채널들에 대해 결정된 비트들에 상응하는 제1 및 제2채널들의 비트 할당 정보들과 제1도에 도시된 인지 정보량 측정기(32)로 부터의 인지 정보량들(PE1(i) 및 PE2(i))은 제2비트 할당 유니트(50)로 동시에 제공되며, 각각의 채널들에 대한 비트 할당 정보들(CBI1 및 CBI2)은 포맷팅 회로(80)로 제공된다.
제1도를 다시 참조하면, 제2비트 할당 유니트(50)는 제1 및 제2채널들에 대한 두 개의 채널내 프레임 그룹들의 각각에 포함된 각각의 프레임들에 대한 비트들을 인지 정보량 측정기(32)로 부터의 인지 정보량들과 제1비트 할당유니트(40)로 부터의 인지 정보량들과 상응하는 비트 할당 정보들에 의거하여 결정한다. 제2비트 할당 유니트(50)에서, 두 개의 채널내 프레임 그룹들의 각각에 포함된 각각의 프레임들에 대한 비트 할당은, 본 발명의 발명자에 의해 제안되어 동일 출원인에 의해 동일자로 출원된 적응 디지탈 오디오 부호화 장치 및 그의 비트 할당 방법에 개시된 디지탈 오디오 부호화 장치 에 사용하기 위한 비트 할당 기법을 이용함으로써 바람직하게 결정될 수 있다.
그 다음에, 제1비트 할당 유니트(50)에서, 제1 및 제2채널들에 대한 두 개의 채널내 프레임 그룹들의 각각에 포함된 각각의 프레임들에 대해 결정된 비트들에 상응하는 제1 및 제2채널들의 비트 할당 정보들(FBI1 및 FBI2), 그리고 제1도에 도시된 제1인지 파라메터 측정 디바이스(20)로 부터의 신호대 마스크 비 데이터(SMR1(j) 및 SMR2(j))는 제3비트 할당 유니트(60)로 공급되며, 또한 비트 할당 정보들(FBI1 및 FBI2)은 포맷팅 회로(80)로 인가된다.
제3비트 할당 유니트(60)는 제1인지 파라메터 측정 디바이스(20)로 부터 공급된 신호대 마스크 비 데이터(SMR1(j) 및 SMR2(j))와 제2비트 할당 유니트(50)로 부터 공급된 각각의 프레임들에 대한 비트 할당 정보들(FBI1 및 FBI2)을 수신하여 두 개의 채널내 프레임 그룹들의 각각의 프레임들에 포함된 각 서브밴드에 대한 비트를 결정하며, 제1 및 제2채널의 각각의 서브밴드들에 대해 결정된 비트들에 상응하는 비트 할당 정보들(SBI1 및 SBI2)을 양자화 디바이스(70)와 포맷팅 회로(80)로 각기 제공한다. 제3비트 할당 유니트(60)에서 사용된 프로세스 원리는, 제2비트 할당 유니트(50)로 부터 전송된 각 프레임에 대한 가용한 비트를 초과하지 않는 범위내에서 한 프레임에 대한 전체 신호대 마스크 비에 의거한다. 그 다음에, 제3비트 할당 유니트(60)로 부터의 제1 및 제2채널들의 각각의 서브밴드들에 대한 비트 할당 정보들(SBI1 및 SBI2)와 서브 밴드 필터들(11 및 12)로 부터의 분할된 서브 밴드 오디오 샘플들은 다수의 양자기들(예를들어, 71 및 72)을 포함하는 양자화 디바이스(70)로 동시에 제공된다.
양자기들(71 및 72) 각각은 서브밴드 필터링 디바이스(10)로 부터의 상응하는 분할된 서브밴드 오디오 샘플들을 제3비트 할당 유니트(60)로 부터의 오디오 샘플들과 상응하는 비트할당 정보들에 의거하여 적응적으로 양자화하며, 제1 및 제2채널들의 각각에 대한 양자화된 오디오 신호를 포맷팅 회로(80)로 제공한다.
포맷팅 회로(80)에서, 양자기들(71 및 72) 각각으로 부터의 양자화된 오디오 샘플들과 제1, 제2 및 제3비트 할당 유니트들(40, 50 및 60)로 부터의 비트할당 정보들을 포맷화하고, 그것의 전송을 위해 전송기(도시 안됨)로 전송함으로써, 제1 및 제2채널들로 부터의 디지탈 오디오 신호이 부호화 효율과 음질을 향상시킬 수 있다. 서브밴드 필터링 디바이스(10)의 원리와 기능, 제1인지 파라메터 측정 디바이스(20), 제3비트 할당 유니트(60), 양자화 디바이스(70) 및 포맷팅 회로(80)들은 MPEG 오디오 알고리즘에 논의된 그것들과 기본적으로 동일하다.
본 발명은 비록 특정 실시예를 참조하여 설명되었지만, 본 기술 분야에 통상의 지식을 가진자라면 첨부된 청구범위의 사상과 범주를 벗어남이 없이도 다양하게 변경하여 실시할 수 있음을 이해할 것이다.
Claims (4)
- N(N : 양의 정수) 개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하며, 상기 각 채널들로 부터의 입력 디지탈 오디오 신호는 다수개의 프레임을 포함하고, 상기 각각의 프레임은 다수개의 서브밴드들을 포함하는 부호화 장치에 있어서, 병렬로 결합된 것으로, 상기 입력 디지탈 오디오 신호들을 필터링하여 다수개의 서브밴드 단위로 분할하는 N개의 서브밴드 필터링 수단 ; 상기 입력 디지탈 오디오 신호들의 각각에 포함된 각 서브밴드들에 대한 신호대 마스크 비 데이터, 음압 레벨들 및 마스킹 문턱치들을 측정하는 제1측정 수단 ; 상기 측정된 신호대 마스크 비 데이터, 음압 레벨들 및 마스킹 문턱치들에 의거하여 상기 입력 디지탈 오디오 신호들의 각각에 포함된 각각의 프레임들의 인지 정보량들을 측정하고, 상기 N개의 전체 채널들에 대해 N x F(F : 양의 정수)개의 현재 및 이전 프레임들을 포함하는 상기 측정된 인지 정보량들에 상응하는 채널간 프레임 그룹(Inter-channel Frame Group)에 대한 평균 및 표준편차 파라메터들을 추출하며, 상기 N개의 채널들의 각각에 대해 F개의 현재 및 이전 프레임들을 포함하는 채널내 프레임 그룹을 발생하는 제2측정 수단 ; 상기 채널내 프레임 그룹들의 각각에 대해 측정된 인지 정보량과 상기 평균 및 표준편차 파라메터들에 의거하여 상기 채널내 프레임 그룹들의 각각에 대한 비트를 결정하며, 상기 채널내 프레임 그룹들의 각각에 대해 결정된 비트에 상응하는 비트 할당 정보를 발생하는 제1비트 할당 수단 ; 상기 측정된 신호대 마스크 비 데이터와 상기 발생된 비트 할당 정보에 의거하여 상기 채널내 프레임 그룹들의 각각에 포함된 각각의 서브밴드들에 대한 비트들을 결정하며, 상기 서브밴드들의 각각에 대해 결정된 비트들에 상응하는 비트 할당 정보를 발생하는 제2비트 할당 수단 ; 상기 N개의 채널들에 대해 필터된 각 서브밴드 오디오 신호들을 상기 채널내 프레임 그룹들의 각각에서의 각 서브밴드들에 대해 발생된 비트 할당 정보들에 응답하여 양자화하는 N개의 양자화 수단 ; 및 상기 양자화된 디지탈 오디오 신호들과 상기 발생된 비트 할당 정보들을 포맷하는 수단으로 이루어진 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화는 장치.
- 제1항에 있어서, 상기 제1비트할당 수단은 : 상기 측정된 인지 정보량들, 평균 및 표준편차 파라메터들에 의거하여 상기 채널간 프레임 그룹에 대한 결정 레벨들을 측정하는 수단 ; 상기 평균 파라메터를 상기 채널내 프레임 그룹들의 각각에 포함된 프레임들의 수를 나타내는 기설정된 팩터를 승산하여 평균 함수를 발생하는 수단 ; 상기 채널내 프레임 그룹들에 대한 인지 정보량들의 각각과 상기 발생된 평균 파라메터간에 편차를 나타내는 편차 신호를 발생하며, 상기 발생된 편차신호들을 상기 기설정된 팩터로 분주하여 평균 편차 신호를 발생하는 수단 ; 및 상기 측정된 결정 레벨들, 상기 결정 레벨들의 전체 수, 상기 발생된 평균 편차신호들의 각각에 의하여 상기 채널내 프레임 그룹들의 각각에 대한 비트를 결정하며, 상기 채널내 프레임 그룹들의 각각에 대해 결정된 비트들에 상응하는 비트 할당 정보들을 발생하는 비트 할당 수단으로 구성된 것을 특징으로 하는 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치.
- 제2항에 있어서, 상기 채널간 프레임 그룹의 각 결정 레벨(D)들은 다음과 같이 결정되며,여기서, k(k = -q ~ q)는 결정 레벨 인덱스이고, q는 양의 정수이며, NF는 상기 채널간 프레임 그룹에서 정규화 팩터이며, 그리고 PEstd는 상기 채널간 프레임 그룹의 표준 편차 파라메터인 것을 특징으로 하는 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치.
- 제3항에 있어서, 상기 N개의 채널들에서 r번째 채널에 대한 프레임의 비트할당(FB(r))은 다음과 같이 계산되며,여기서, r은 상기 채널 인덱스로서 사용된 양의 정수이고, FBm은 한 프레임에 대한 평균 비트이며, F 는 상기 채널내 프레임 그룹들의 각각에 포함된 프레임들의 수를 나타내는 팩터이고, BV는 기설정된 비트 변동값이며, 2q+1 는 기설정된 결정 레벨들의 전체 수이고, I는 상기 r번째 채널에서 레벨 인덱스인 것을 특징으로 하는 다수개의 채널들로 부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950007287A KR0181054B1 (ko) | 1995-03-31 | 1995-03-31 | 다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950007287A KR0181054B1 (ko) | 1995-03-31 | 1995-03-31 | 다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR960036724A KR960036724A (ko) | 1996-10-28 |
| KR0181054B1 true KR0181054B1 (ko) | 1999-05-01 |
Family
ID=19411097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019950007287A KR0181054B1 (ko) | 1995-03-31 | 1995-03-31 | 다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR0181054B1 (ko) |
-
1995
- 1995-03-31 KR KR1019950007287A patent/KR0181054B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR960036724A (ko) | 1996-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5613035A (en) | Apparatus for adaptively encoding input digital audio signals from a plurality of channels | |
| US5537510A (en) | Adaptive digital audio encoding apparatus and a bit allocation method thereof | |
| JP3297240B2 (ja) | 適応的符号化システム | |
| US5621856A (en) | Digital encoder with dynamic quantization bit allocation | |
| EP0709004B1 (en) | Hybrid adaptive allocation for audio encoder and decoder | |
| US5732391A (en) | Method and apparatus of reducing processing steps in an audio compression system using psychoacoustic parameters | |
| JP3134455B2 (ja) | 高能率符号化装置及び方法 | |
| KR100397690B1 (ko) | 데이터부호화장치및그방법 | |
| KR100388730B1 (ko) | 고능률부호화및복호화장치 | |
| EP0663741A2 (en) | Adaptive digital audio encoding system | |
| JPH066236A (ja) | 高能率符号化及び／又は復号化装置 | |
| US5761636A (en) | Bit allocation method for improved audio quality perception using psychoacoustic parameters | |
| US6466912B1 (en) | Perceptual coding of audio signals employing envelope uncertainty | |
| US5737721A (en) | Predictive technique for signal to mask ratio calculations | |
| KR0181054B1 (ko) | 다수개의 채널들로부터의 입력 디지탈 오디오 신호들을 적응적으로 부호화하는 장치 | |
| JP3297238B2 (ja) | 適応的符号化システム及びビット割当方法 | |
| KR0181061B1 (ko) | 적응 디지탈 오디오 부호화 장치 및 그의 비트 할당방법 | |
| KR100287861B1 (ko) | 디지탈 오디오 스테레오 모드에서의 각 채널 비균등 비트할당 장치 및 방법 | |
| JP2575265B2 (ja) | ディジタルオーディオ信号の符号化方法 | |
| KR970006827B1 (ko) | 오디오신호 부호화장치 | |
| KR100340368B1 (ko) | 고능률부호화장치,복호화장치및디지털데이터도출방법 | |
| JP3134384B2 (ja) | 符号化装置及び方法 | |
| KR20000034380A (ko) | 디지탈 오디오 부호화 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19950331 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 19950331 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 19980522 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 19981029 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 19981204 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 19981204 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20011128 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20021203 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20031126 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20041126 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20051125 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20061004 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20071203 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20081201 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20091201 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20101201 Start annual number: 13 End annual number: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20111201 Year of fee payment: 14 |
|
| PR1001 | Payment of annual fee |
Payment date: 20111201 Start annual number: 14 End annual number: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20121203 Year of fee payment: 15 |
|
| PR1001 | Payment of annual fee |
Payment date: 20121203 Start annual number: 15 End annual number: 15 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20141109 |