[go: up one dir, main page]

KR100503415B1 - 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법 - Google Patents

대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법 Download PDF

Info

Publication number
KR100503415B1
KR100503415B1 KR10-2002-0077769A KR20020077769A KR100503415B1 KR 100503415 B1 KR100503415 B1 KR 100503415B1 KR 20020077769 A KR20020077769 A KR 20020077769A KR 100503415 B1 KR100503415 B1 KR 100503415B1
Authority
KR
South Korea
Prior art keywords
formant
narrowband
celp
wideband
excitation signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0077769A
Other languages
English (en)
Other versions
KR20040050141A (ko
Inventor
성종모
김도영
김봉태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0077769A priority Critical patent/KR100503415B1/ko
Priority to US10/704,509 priority patent/US20040111257A1/en
Publication of KR20040050141A publication Critical patent/KR20040050141A/ko
Application granted granted Critical
Publication of KR100503415B1 publication Critical patent/KR100503415B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치 및 그 방법이 개시된다. 본 발명에 따른 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치는 입력되는 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고, 추출된 협대역 CELP 포맷의 포만트 파라미터를 광대역 CELP 포맷의 포만트 파라미터로 변환하는 포만트 파라미터 변환기, 입력되는 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷의 여기신호 파라미터로 변환하는 여기신호 파라미터 변환기 및 상기 포만트 파라미터 변환기 및 상기 여기신호 파라미터 변환기에서 각각 변환된 광대역 CELP 포맷의 포만트 파라미터 및 광대역 CELP 포맷의 여기신호 파라미터를 출력 CELP 포맷으로 양자화하는 양자화기를 포함하는 것을 특징으로 하며, 음질 저하, 지연 및 계산량을 최소화할 수 있으며, 광대역 음성의 고대역에 해당하는 정보를 추가적으로 생성함으로써 서로 다른 대역폭을 갖는 망간의 연동에서 고품질의 음성 통신을 가능하게 한다.

Description

대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치 및 그 방법{Transcoding apparatus and method between CELP-based codecs using bandwidth extension}
본 발명은 CELP(Code Exited Linear Prediction) 기반의 음성 부호화에 관한 것으로, 특히 협대역 CELP 방식 코덱에서 광대역 CELP 방식 코덱으로 대역폭을 확장하기 위한 CELP 방식 코덱간의 상호 부호화 장치 및 그 방법에 관한 것이다.
음성을 디지털로 전송하는 기술은 기존 전화망을 비롯한 유선 통신뿐만 아니라 무선 통신을 비롯하여 최근에 많은 관심을 끌고 있는 VoIP (Voice over IP) 망에서도 널리 사용되고 있다. 음성을 단순하게 샘플링 후 디지털화하여 전송한다면 64kbps (8kHz로 샘플링하고 각 샘플을 8bit로 코딩하는 경우) 정도의 데이터 전송율을 필요로 하게 된다. 그러나, 음성 분석과 적절한 코딩을 이용한다면 훨씬 더 낮은 데이터 전송율로 음성을 전송할 수 있게 된다.
음성 생성 모델로부터 파라미터를 추출하여 음성을 압축하는 장치를 보통 보코더라고 부른다. 이러한 장치는 입력 음성으로부터 파라미터를 추출하기 위해 음성을 분석하는 부호화기와 전송 채널을 통해 전송된 파라미터로부터 음성을 재합성하는 복호화기로 구성된다. 음성은 시간축에서 프레임(혹은 부-프레임)이라고 불리는 블록 단위로 나누어 처리된다.
선형 예측 기반의 타임-도메인 보코더는 최근까지 가장 널리 사용되고 있다. 이 선형 예측 기법은 과거 샘플들에 대한 현재 샘플의 상관관계를 추출하여 상관없는 부분만 인코딩하는 방식이다. 기본적인 선형 예측 필터는 현재 샘플을 과거 샘플들의 선형 조합으로 예측한다.
보코더의 기능은 음성 자체에 존재하는 중복성을 제거함으로써 낮은 비트 율로 음성신호를 압축하는 것이다. 일반적으로 음성은 입술과 혀의 필터링 동작으로 인한 단기간 중복성과 성대의 떨림으로 인한 장기간 중복성을 가진다. CELP 코더에서는 이 두 가지 동작을 각각의 필터로 모델링하는데, 이들을 단기간 포만트 필터와 장기간 피치 필터라고 부른다. 이 두 개의 필터를 통해서 중복성을 제거하고 남는 잔여 신호는 CELP 종류에 따라 화이트 가우시안 노이즈(White Gaussian Noise)나 멀티 펄스(multi-pulse) 등으로 모델링 되어 인코딩된다.
이러한 기술의 근간은 두 디지털 필터의 파라미터를 계산하는 것이다. 포만트 필터 혹은 LPC (Linear Predictive Coding) 필터는 음성 파형의 단기간 예측 과정을 수행하고, 피치 필터는 음성 파형의 장기간 예측 과정을 수행한다. 최종적으로 합성된 신호가 원 음성 신호에 가장 가깝도록 하는 여기신호 중 하나를 코드북에서 결정한다. 따라서 채널로 전송되는 파라미터는 포만트(혹은, LPC) 필터 계수, 피치 필터 계수 및 코드북 여기신호 등의 세 가지 종류가 있다.
도 1은 일반적인 CELP 보코더를 개략적으로 나타내는 블록도로서, 부호화기(102), 채널(104), 복호화기(106)로 구성되어 있다. 여기서, 채널(104)은 통신 채널 및 저장 매체 등이 될 수 있다. 부호화기는(102) 디지털화된 입력 음성을 받아서 음성 특징을 표현하는 파라미터를 추출하고 그 결과를 양자화하여 채널로(104) 전송하기 위한 비트 스트림으로 만든다. 복호화기는(106) 수신된 비트 스트림으로부터 음성 파형을 복원한다.
한편, 현재 많은 다른 방식의 CELP 보코더가 사용되고 있다. 특정 CELP 포맷으로 부호화된 비트 스트림을 성공적으로 복호화하기 위해서는 부호화기와 동일한 CELP 모델이 적용되어야 한다. 만약 서로 다른 통신망이 다른 CELP 코덱을 채용하고 있다면, 하나의 CELP 포맷에서 다른 CELP 포맷으로 변환하는 장치를 필요로 하게 된다.
도 2는 입력 CELP 포맷을 출력 CELP 포맷으로 변환하기 위한 탠덤(tandem) 코딩 시스템에 대한 블록도이다. 이 시스템은 입력 CELP 포맷의 복호화기(202), 음성 대역폭 변환기(204), 출력 CELP 포맷에 대한 부호화기(206)를 포함하여 구성되어 있다. 입력 CELP 포맷 복호화기(202)는 원 음성을 재합성하기 위해 입력 비트 스트림을 복호화한다. 음성 대역폭 변환기(204)는 입력 CELP 포맷 복호화기(202)에서 재합성된 음성을 출력 포맷에 맞도록 음성의 샘플링 주파수를 변환한다. 출력 CELP 포맷 부호화기(206)는 음성 대역폭 변환기(204)에서 대역폭 변환된 음성을 출력 CELP 포맷으로 다시 부호화한다.
이러한 탠덤 코딩 방식은 여러 단계의 부호화기와 복호화기를 거침으로써 발생되는 음질 저하, 지연 증가 그리고 계산량 증가 등의 단점을 가진다. 또한 협대역 코덱 포맷에서 광대역 코덱 포맷으로 상호부호화를 수행하는 경우, 단순하게 샘플링 주파수만 변경함으로 인해 고대역(4KHz~8KHz)에 대한 정보가 없으므로 고음질의 음성을 전송할 수 없다.
본 발명이 이루고자 하는 기술적 과제는 협대역 CELP 방식 코덱에서 광대역 CELP 방식 코덱으로의 상호 부호화시 부호화 효율을 높이면서, 광대역 음성의 고대역에 해당하는 음성 정보를 생성함으로써 고품질의 음성을 전송할 수 있는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 상호 부호화 방법을 컴퓨터에서 실행 가능한 프로그램 코드로 기록한 기록 매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명에 따른 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치는 입력되는 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고, 추출된 협대역 CELP 포맷의 포만트 파라미터를 광대역 CELP 포맷의 포만트 파라미터로 변환하는 포만트 파라미터 변환기, 입력되는 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷의 여기신호 파라미터로 변환하는 여기신호 파라미터 변환기 및 포만트 파라미터 변환기 및 여기신호 파라미터 변환기에서 각각 변환된 광대역 CELP 포맷의 포만트 파라미터 및 광대역 CELP 포맷의 여기신호 파라미터를 출력 CELP 포맷으로 양자화하는 양자화기를 포함하는 것이 바람직하다.
상기 과제를 이루기 위해, 본 발명에 따른 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법은 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고, 추출된 협대역 CELP 포맷의 포만트 파라미터를 광대역 CELP 포맷의 포만트 파라미터로 변환하는 (a)단계, 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷의 여기신호 파라미터로 변환하는 (b)단계 및 광대역 CELP 포맷의 포만트 파라미터 및 광대역 CELP 포맷의 여기신호 파라미터를 출력 CELP 포맷으로 각각 양자화하는 (c)단계를 포함하는 것이 바람직하다.
이하, 본 발명에 따른 대역폭 확장을 이용한 CELP 방식 코덱 간의 상호 부호화 장치 및 그 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 3은 본 발명의 바람직한 실시예에 따른 협대역에서 광대역으로의 상호부호화장치를 개략적으로 나타내는 블록도이다. 본 발명에 따른 상호부호화장치는 포만트 파라미터 변환기(340), 포만트 계수 양자화기(308), 여기신호 파라미터 변환기(380) 및 여기신호 양자화기(326)을 포함하여 구성된다.
도 3을 참조하여, 포만트 파라미터 변환기(340)는 광대역 포만트 파라미터를 얻기 위해 협대역 CELP 포맷의 포만트 필터 계수를 광대역 CELP 포맷으로 변환한다. 구체적으로, 포만트 파라미터 변환기(340)는 포만트 대역폭 확장기(302), 포만트 차수 변환기(304), 포만트 프레임율 변환기(306) 및 제1 내지 제4포만트 타입 변환기(320A, 320B, 320C, 320D)를 포함하여 구성된다.
제1포만트 타입 변환기(320A)는 협대역 비트 스트림의 포트만 파라메터를 포트만 대역폭 확장기(302)에 적합한 포맷 예컨대, LSF(Line Spectral Frequency)로 변환한다. 대역폭은 음성의 샘플링 주파수와 관련이 있으며 일반적으로 샘플링 주파수의 1/2에 해당한다. 협대역 CELP 코덱에서 광대역 CELP 코덱으로의 상호부화를 위해서는 (예, 하나는 4kHz의 대역을 갖는 협대역 코덱이고 다른 하나는 8kHz의 대역을 갖는 광대역 코덱) 포만트 필터 계수 도메인에서 대역폭 확장 과정을 필요로 하게 된다. 만약, 입력되는 협대역 비트 스트림의 계수 포맷이 LSF를 사용한다면 제1포만트 타입 변환기(320A)를 거칠 필요가 없다.
포만트 대역폭 확장기(302)는 포만트 타입 변환기(320A)로부터 LSF 계수를 수신하여 협대역에서 광대역으로 대역폭을 확장한다. 포만트 대역폭 확장기(302)는 도 5를 참조하여 상세히 설명될 것이다.
제2포만트 타입 변환기(320B)는 포만트 대역폭 확장기(302)로부터 대역폭 확장된 포만트 필터 계수를 입력받아 이를 차수 변환에 적합한 타입의 포만트 계수 예컨대, 대역폭 확장된 포만트 필터 계수를 반사계수로 변환한다.
포만트 차수 변환기(304)는 제2포만트 타입 변환기(320B)에서 변환된 반사계수를 수신하여 출력 CELP 포맷에서 사용되는 모델의 차수로 차수 변환을 한다. 포만트 차수 변환기(304)에서 수행되는 차수 변환 과정은 도 6을 참조하여 상세히 설명될 것이다.
제3포만트 타입 변환기(320C)는 포만트 차수 변환기(304)에서 차수 변환된 필터 계수를 프레임율 변환에 적합한 타입의 계수 예컨대, LSP(Line Spectral Pair) 계수로 변환한다.
포만트 프레임 율 변환기(306)는 제3포만트 타입 변환기(320C)에서 변환된 제410단계에서 변환된 LSP 계수를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환한다. 프레임 율 변환은 CELP 방식의 코덱이 음성을 분석하는 단위인 프레임 길이를 서로 다르게 사용하고 있는 경우, 각각의 코덱 간에 상호부호화를 위해서는 프레임 길이를 출력 포맷에 맞도록 변경해야 한다. 즉, 초당 분석되는 프레임의 개수를 입력 코덱과 출력 코덱 간에 맞추는 작업을 의미한다. 포만트 프레임 율 변환기(306)에서 수행되는 프레임 율 변환 과정은 도 7을 통해 상세히 설명될 것이다.
제4포만트 타입 변환기(320D)는 포만트 프레임 율 변환기(306)에서 LSP 포맷으로 프레임 율 변환된 필터 계수를 출력 CELP 포맷의 포만트 필터 계수로 변환한다. 만약 출력 CELP 포맷이 LSP 계수를 이용한다면 이 과정은 불필요하다.
계속해서, 포만트 계수 양자화기(308)는 제414단계에서 변환된 출력 CELP 포맷의 포만트 필터 계수를 출력 CELP 코덱에서 사용하는 포맷으로 양자화한다.
여기신호 파라미터 변환기(380)는 광대역 여기신호 파라미터를 얻기 위해 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷으로 변환한다. 구체적으로, 여기신호 파라미터 변환기(380)는 여기신호 합성기(312), 여기신호 대역폭 확장기(314), 포만트 계수 보간기(316), PWF(318), 적응 코드북 검색기(322), 고정 코드북 검색기(324) 및 제5 및 제6포만트 타입 변환기(320E, 320F)를 포함하여 구성된다.
여기신호 합성기(312)는 협대역 CELP 포맷의 협대역 비트 스트림으로부터 여기신호 파라미터를 추출하고, 추출된 여기신호 파라미터를 이용하여 협대역 여기신호를 합성한다. 일반적으로, 여기신호 파라미터로는 피치 성분에 해당하는 적응 코드북 인덱스 및 그 코드북의 이득, 그리고, 고정 코드북 인덱스 및 그 코드북의 이득 등으로 구성되며, 여기신호 합성기는(312) 이 파라미터들을 이용해서 입력 CELP 포맷의 복호화기에서 사용되는 방식에 따라 여기신호를 합성한다.
여기신호 대역폭 확장기(314)는 여기신호 합성기(312)에서 합성된 협대역 여기신호를 광대역 CELP 포맷의 대역폭에 해당하는 여기신호로 변환한다. 여기신호 대역폭 확장기(314)는 도 9를 참조하여 상세히 설명될 것이다.
제5포만트 타입 변환기(320E)는 프레임 율 변환된 포만트 필터 계수를 포만트 계수 보간에 적합한 포맷의 계수로 변환한다.
포만트 계수 보간기(316)는 여기신호의 프레임 분석 단위에 따라, 프레임 분석 단위에 해당하는 포만트 계수를 보간을 통해 구한다. 일반적으로, 포만트 파라미터는 프레임 단위로 존재하며, 여기신호 파라미터는 부-프레임 단위로 존재하며, 부-프레임은 한 프레임에 둘 또는 그 이상 존재한다. 따라서, 포만트 계수 보간기(316)는 프레임 단위로 존재하는 포만트 계수를 보간하여 부-프레임 단위로 포만트 계수가 존재하도록 한다.
제6포만트 타입 변환기(320F)는 포만트 계수 보간기(316)에서 보간된 각 부-프레임에 해당하는 LSP 포만트 계수를 수신하여 PWF(Perceptual Weighting Filter)에 적합한 포만트 필터 포맷의 계수 예컨대, LPC 계수로 변환한다.
PWF(318)는 대역폭 확장된 여기신호를 사람의 인지 특성을 반영하도록 변환하기 위한 필터이다. PWF(318)는 제6포만트 타입 변환기(320F)에서 변환된 부-프레임에 해당하는 LPC 계수를 출력 CELP 포맷에 해당하는 PWF 계수로 만들고, 여기신호 대역폭 확장기(314)에서 변환된 광대역 CELP 포맷의 대역폭에 해당하는 여기신호를 PWF 계수를 이용하여 필터링한다. 대역폭 확장된 여기신호가 PWF(318)를 통과함으로써, 사람의 인지 특성을 반영하는 형태의 신호로 변환된다.
적응 코드북 검색기(322)는 PWF(318)에서 사람이 듣기 좋은 형태의 신호로 필터링된 신호를 목표로 해서 출력 CELP 포맷에 맞도록 피치 정보에 해당하는 코드북을 검색하고 해당 코드북의 이득을 계산한다.
고정 코드북 검색기(324)는 PWF(318)에서 생성된 신호에서 적응 코드북의 영향을 제외한 신호를 목표 신호로 해서 출력 CELP 포맷에 맞도록 고정 코드북을 검색하고 해당 코드북의 이득을 계산한다.
계속해서, 여기신호 양자화기(326)는 적응 코드북 검색기(322) 및 고정 코드북 검색기(324)에서 생성된 코드북 인덱스와 이득을 여기신호 파라미터로서 입력하여 출력 CELP 코덱 포맷으로 양자화한다.
도 4는 도 3에 도시된 장치의 포만트 파라미터 변환기에서 수행되는 포만트 파라미터 변환 과정을 나타내는 흐름도이다.
도 3 및 도 4를 참조하여, 포만트 타입 변환기(320A)는 입력되는 협대역 비트 스트림에서 CELP 포맷의 포만트 필터 계수를 포만트 대역폭 확장에 적합한 계수 예컨대, LSF 계수로 변환한다(제402단계). 이 때, 입력되는 협대역 비트 스트림의 계수 포맷이 LSF를 사용한다면 이 과정을 불필요하다.
제402단계 후에, 포만트 대역폭 확장기(302)는 포만트 타입 변환기(320A)로부터 LSF 계수를 수신하여 출력 CELP 포맷에 맞도록 포만트 계수의 대역폭을 협대역에서 광대역으로 확장한다(제404단계).
제404단계 후에, 제2포만트 타입 변환기(320B)는 대역폭 확장된 포만트 필터 계수를 차수 변환에 적합한 타입의 포만트 계수 예컨대, 반사계수로 변환한다(제406단계).
제406단계 후에, 포만트 차수 변환기(304)는 제406단계에서 변환된 반사계수를 출력 CELP 포맷에서 사용되는 모델의 차수로 차수 변환을 한다(제408단계).
제3포만트 타입 변환기(320C)는 제408단계에서 차수 변환된 필터 계수를 프레임율 변환에 적합한 타입의 계수 예컨대, LSP 계수로 변환한다(제410단계).
제410단계 후에, 프레임 율 변환기(306)는 제410단계에서 변환된 LSP 계수를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환한다(제412단계).
제412단계 후에, 제4포만트 타입 변환기(320D)는 LSP 포맷의 프레임 율 변환된 필터 계수를 출력 CELP 포맷의 포만트 필터 계수로 변환한다(제414단계). 만약 출력 CELP 포맷이 LSP 계수를 이용한다면 이 과정은 불필요하다.
제414단계 후에, 포만트 계수 양자화기(308)는 제414단계에서 변환된 출력 CELP 포맷의 포만트 필터 계수를 출력 CELP 코덱에서 사용하는 포맷으로 양자화한다(단계 416).
도 5는 도 3에 도시된 포만트 대역폭 확장기에(302)를 개략적으로 나타내는 블록도로서, 포만트 계수 스케일링부(502), 포만트 계수 연결(concatenation)부(504), 협대역 코드북 검색부(506), 광대역 코드북 검색부(508) 및 코드워드 절단(truncation)부(510)을 포함하여 구성된다.
포만트 계수 스케일링부(502)는 제1포만트 타입 변환기(320A, 도 3참조)로부터 수신된 협대역 포만트 계수를 먼저 광대역 포만트 파라미터 포맷에 맞도록 스케일링하여 저대역에 해당하는 포만트 계수를 얻는다.
협대역 코드북 검색부(506)는 수신된 협대역 포만트 계수를 이용하여 미리 훈련된 협대역 코드북(512)을 참조하여 가장 가까운 코드워드에 대한 인덱스를 찾아 광대역 코드북 검색부(508)로 제공한다.
광대역 코드북 검색부(508)는 광대역 코드북(514)을 참조하여 협대역 코드북 검색부(506)에서 검색된 인덱스에 해당하는 광대역 코드워드를 검색한다. 일반적으로, 0~4KHz의 저대역의 음성정보는 4~8KHz의 고대역 음성정보와 서로 연관성이 있다. 따라서, 광대역 코드북 검색부(508)는 협대역 코드북 검색부(506)에서 제공되는 저대역 코드워드의 인덱스를 이용하여 광대역의 코드워드를 검색할 수 있다.
코드워드 절단부(510)는 광대역 코드북 검색부(508)에서 검색된 광대역 코드워드에서 광대역의 고대역에 해당하는 성분만 남도록 절단한다. 이처럼, 광대역 코드북 검색부(508)와 코드워드 절단부(510)를 통해 고대역의 음성정보를 생성할 수 있다.
포만트 계수 연결부(504)는 포만트 계수 스케일링부(502)에서 얻어진 저대역 포만트 계수와 코드워드 절단부(510)에서 얻어진 고대역 포만트 계수를 합침으로써 대역폭 확장된 광대역 포만트 계수를 생성한다.
한편, 협대역 코드북(512)과 광대역 코드북(514) 얻기 위해서는 소정의 훈련과정이 필요하다.
도 5를 참조하여, 먼저, 준비된 광대역 음성 데이터베이스(544)를 샘플링 주파수 변환부(542)를 통해서 협대역 음성 데이터베이스(532)를 생성한다.
제1 및 제2선형 예측 분석부(LPC, 534,546) 각각은 협대역 음성 DB(532) 및 광대역 음성 DB(544)에 대해서 협대역 CELP 및 광대역 CELP 각각에서 사용되는 선형예측분석 방법을 통해 LPC 계수를 얻는다.
제1 및 제2계수 타입 변환부(536,548) 각각은 제1 및 제2선형 예측 분석부(534,546) 각각에서 얻어진 LPC 계수를 훈련에 적합한 타입의 포만트 계수로 변환한다. 이 과정들을 통해서 협대역 음성 DB(532) 및 광대역 음성 DB(544) 각각에 해당하는 포만트 계수가 생성된다.
제1벡터 양자화부(538)는 협대역 포만트 계수를 벡터 양자화하여 원하는 개수만큼의 대표값(코드워드)을 갖는 협대역 코드북(540)을 생성한다.
제2벡터 양자화부(550)는 협대역 코드북(540) 생성 과정에서 생성되는 각 포만트 계수 벡터에 대한 클래스 정보를 이용해서 광대역 코드북(552)을 생성한다. 이와 같은 과정을 통해서 얻어진 코드북 쌍(540, 552)은 동일한 인덱스를 통해서 참조될 수 있다.
도 6은 도 3에 도시된 포만트 차수 변환기(304)에서 수행되는 차수변환과정을 상세히 나타내는 흐름도이다.
도 6을 참조하여, 입력 차수가 출력 차수보다 크면(제602단계), 출력 차수에 맞도록 입력 차수를 데시메이션(decimation)한다(제606단계). 여기서, 제606단계의 데시메이션 과정은 출력 모델 차수보다 큰 불필요한 계수를 0으로 치환함으로써 간단하게 수행될 수 있다.
만약, 입력 차수가 출력 차수보다 작으면(제604단계), 출력 차수에 맞도록 입력 차수를 보간(interpolation)한다(제608단계). 여기서, 제608단계의 보간 과정은 부족한 차수만큼 0으로 채움으로써 수행될 수 있다. 만약, 입력 차수와 출력 차수가 동일하다면 이러한 차수 변환 과정은 불필요하므로 생략한다(제610단계).
도 7은 도 3에 도시된 포만트 프레임 율 변환기(306)에서 수행되는 프레임 율 변환 과정을 나타내는 흐름도이다.
도 3 및 도 7을 참조하여, 입력 프레임 율이 출력 프레임 율보다 크면(제702단계), 포만트 프레임 율 변환기(306)는 출력 프레임 율에 맞도록 입력 LSP 계수를 데시메이션한다(제706단계).
만약, 입력 프레임 율이 출력 프레임 율보다 작으면(제704단계), 포만트 프레임 율 변환기(306)는 출력 프레임 율에 맞도록 입력 LSP 계수를 보간한다(제708단계). 여기서, LPS 계수의 데시메이션 과정(제706단계)은 출력 프레임 길이에 해당하는 개수의 입력 포만트 계수들에 적절할 가중치를 준 다음 더함으로써 출력 포만트 계수를 얻을 수 있다. 또한, LPS 계수의 보간 과정(제708단계)은 과거 프레임의 입력 포만트 계수와 현재 프레임의 입력 포만트 계수에 적절한 가중치를 주어, 입력 프레임 길이에 해당하는 개수의 출력 포만트 계수를 얻을 수 있다. 만약, 입력과 출력 프레임 율이 동일하다면 해당 과정은 불필요하므로 생략된다(제710단계).
도 8은 도 3에 도시된 여기신호 파라메터 변환기(380)에서 수행되는 여기신호 파라미터 변환 동작을 나타내는 흐름도이다.
도 3 및 도 8을 참조하여, 여기신호 합성기(312)는 협대역 CELP 포맷의 협대역 비트 스트림으로부터 여기신호 파라미터를 추출하고, 추출된 여기신호 파라미터를 이용하여 협대역 여기신호를 합성한다(제802단계).
제802단계 후에, 여기신호 대역폭 확장기(314)는 제802단계에서 합성된 협대역 여기신호를 광대역 CELP 포맷의 대역폭에 해당하는 여기신호로 변환한다(제804단계).
한편, 제5포만트 타입 변환기(320E)는 프레임 율 변환된 포만트 필터 계수를 포만트 계수 보간에 적합한 포맷의 계수로 변환한다(제814단계). 포만트 타입 변환기(320E)는 프레임 율 변환된 LSP 계수를 그대로 출력할 수도 있다.
제814단계 후에, 포만트 계수 보간기(316)는 소정의 프레임 분석 단위에 따라, 프레임 분석 단위에 해당하는 포만트 계수를 보간을 통해 구한다(제816단계). 예컨대, 포만트 계수 보간기(316)가 부-프레임 단위로 분석을 하는 경우, 각 부-프레임에 해당하는 포만트 계수를 보간을 통해 구한다. 구체적으로, 이전 프레임의 LSP 계수와 현재 프레임의 LSP 계수를 각 부-프레임 별로 적절한 가중치를 주어 보간함으로써 각 부-프레임에 해당하는 포만트 계수를 구할 수 있다.
제6포만트 타입 변환기(320F)는 제816단계에서 보간된 각 부-프레임에 해당하는 LPS 포만트 계수를 수신하여 PWF에 적합한 포만트 필터 포맷의 계수 예컨대, LPC 계수로 변환한다(제818단계).
PWF(318)는 제818단계에서 변환된 부-프레임에 해당하는 LPC 계수를 출력 CELP 포맷에 해당하는 PWF 계수로 만들고, 제804단계에서 변환된 광대역 CELP 포맷의 대역폭에 해당하는 여기신호를 PWF 계수를 이용하여 필터링한다(제806단계). 이처럼, PWF(318)를 이용하여 여기신호를 사람의 인지 특성을 반영한 신호로 변환된다.
제806단계 후에, 적응 코드북 검색기(322)는 제806단계에서 생성된 신호를 목표로 해서 출력 CELP 포맷에 맞도록 피치 정보에 해당하는 코드북을 검색하고 해당 코드북의 이득을 계산한다(제808단계).
또한, 제806단계 후에, 고정 코드북 검색기(324)는 제806단계에서 생성된 신호에서 적응 코드북의 영향을 제외한 신호를 목표 신호로 해서 출력 CELP 포맷에 맞도록 고정 코드북을 검색하고 해당 코드북의 이득을 계산한다(제810단계).
도 9는 도 3에 도시된 여기신호 대역폭 확장기(314)의 바람직한 실시예에 따른 블록도를 나타낸다. 바람직한 실시예에 따른 여기신호 대역폭 확장기는 고대역 재생부(904), 고대역 통과 필터(906), 샘플링 주파수 변환부(902) 및 가신기(908)를 포함하여 구성된다.
도 9를 참조하여, 샘플링 주파수 변환 블록(902)는 여기신호 합성기(312)로부터 수신되는 협대역 여기신호를 광대역 CELP 포맷에 해당하는 샘플링 주파수를 갖는 저대역 여기신호로 변환한다. 샘플링 주파수 변환부(902)는 일반적으로 널리 알려진 것과 같이 업샘플링과 저대역 통과 필터로 구성된다.
고대역 재생부(904)는 여기신호 합성기(312)로부터 수신되는 원 협대역 여기신호로부터 광대역의 고대역에 해당하는 여기신호 성분을 합성한다. 고대역 재생방법으로는 널리 알려진 스펙트럼 폴딩과 비선형 왜곡 등의 방법이 사용될 수 있다.
고대역 통과 필터(906)는 고대역 재생부(904)에서 재생된 여기신호를 고역 필터링하여 광대역의 고대역에 해당하는 여기신호 성분을 얻는다.
가산기(908)는 샘플링 주파수 변환기(902)에서 생성되는 저대역 여기신호와 고대역 통과 필터(906)에서 생성되는 고대역 여기신호를 합쳐 광대역 여기신호를 생성한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명에 따른 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치 및 그 방법에 따르면, 음질 저하, 지연 및 계산량을 최소화할 수 있으며, 광대역 음성의 고대역에 해당하는 정보를 추가적으로 생성함으로써 서로 다른 대역폭을 갖는 망간의 연동에서 고품질의 음성 통신을 가능하게 한다.
도 1은 일반적인 CELP 보코더를 개략적으로 나타내는 블록도이다.
도 2는 입력 CELP 포맷을 출력 CELP 포맷으로 변환하기 위한 탠덤(tandem) 코딩 시스템에 대한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 협대역에서 광대역으로의 상호부호화장치를 개략적으로 나타내는 블록도이다.
도 4는 도 3에 도시된 장치의 포만트 파라미터 변환기에서 수행되는 포만트 파라미터 변환 과정을 나타내는 흐름도이다.
도 5는 도 3에 도시된 포만트 대역폭 확장기에(302)를 개략적으로 나타내는 블록도이다.
도 6은 도 3에 도시된 포만트 차수 변환기(304)에서 수행되는 차수변환과정을 상세히 나타내는 흐름도이다.
도 7은 도 3에 도시된 포만트 프레임 율 변환기(306)에서 수행되는 프레임 율 변환 과정을 나타내는 흐름도이다.
도 8은 도 3에 도시된 여기신호 파라메터 변환기(380)에서 수행되는 여기신호 파라미터 변환 동작을 나타내는 흐름도이다.
도 9는 도 3에 도시된 여기신호 대역폭 확장기(314)의 바람직한 실시예에 따른 블록도를 나타낸다.

Claims (28)

  1. 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 기초로 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 포만트 파라미터 변환기;
    상기 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷의 여기신호 파라미터로 변환하는 여기신호 파리미터 변환기; 및
    상기 광대역 CELP 포맷의 포만트 파라미터 및 상기 광대역 CELP 포맷의 여기신호 파라미터를 출력 CELP 포맷으로 양자화하는 양자화기;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  2. 제1항에 있어서, 상기 포만트 파라미터 변환기는
    협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 대역폭 확장기;
    상기 광대역 CELP 포맷의 포만트 파라미터의 차수를 출력 CELP 포맷의 차수로 변환하는 포만트 차수 변환기; 및
    상기 출력 CELP 포맷의 차수로 변환된 포만트 파라미터를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환하고, 상기 프레임 율 변환된 포만트 파라미터를 상기 양자화기로 제공하는 포만트 프레임율 변환기;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  3. 제1항에 있어서, 상기 포만트 파라미터 변환기는
    협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고, 상기 추출된 협대역 CELP 포맷의 포만트 파라미터를 포만트 대역폭 확장을 용이하게 하는 포맷으로 변환하는 제1 포만트 타입 변환기;
    협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 대역폭 확장기;
    상기 광대역 CELP 포맷의 포만트 파라미터를 차수 변환을 용이하게 하는 포맷의 포만트 계수로 포맷 변환하는 제2 포만트 타입 변환기;
    상기 제2 포만트 타입 변환기에서 포맷 변환된 포만트 파라미터의 차수를 출력 CELP 포맷의 차수로 변환하는 포만트 차수 변환기;
    상기 차수 변환된 포만트 파라미터를 프레임 율 변환에 적합한 포맷의 포만트 계수로 포맷 변환하는 제3 포만트 타입 변환기;
    상기 제3 포만트 타입 변환기에서 포맷 변환된 포만트 파라미터를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환하는 포만트 프레임 율 변환기; 및
    상기 프레임 율 변환된 포만트 파라미터를 출력 CELP 포맷의 포만트 계수로 변환하고, 상기 변환된 포만트 계수를 상기 양자화기로 제공하는 제4 포만트 타입 변환기;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  4. 제3항에 있어서, 상기 제1포만트 타입 변환기는
    상기 추출된 협대역 CELP 포맷의 포만트 파라미터를 LSF(Line Spectral Frequency) 계수로 변환하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  5. 제3항에 있어서, 상기 제2포만트 타입 변환기는
    상기 광대역의 대역폭으로 확장된 포만트 파라미터를 반사계수로 변환하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  6. 제3항에 있어서, 상기 제3포만트 타입 변환기는
    상기 차수 변환된 포만트 파라미터를 LSP(Line Spectral Pair) 계수로 변하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  7. 제2항 또는 제3항에 있어서, 상기 포만트 대역폭 확장기는
    수신된 협대역 포만트 파라미터를 광대역 포만트 파라미터 포맷에 맞도록 스케일링하여 저대역에 해당하는 포만트 계수를 얻는 포만트 계수 스케일링부;
    수신된 협대역 포만트 계수를 이용하여 미리 학습된 소정의 협대역 코드북을 참조하여 가장 가까운 코드워드에 대한 인덱스를 찾는 협대역 코드북 검색부;
    상기 협대역 코드북 검색부로부터 검색되어 제공되는 인덱스에 해당하는 광대역 코드워드를 미리 학습된 소정의 광대역 코드북을 참조하여 검색하는 광대역 코드북 검색부;
    상기 광대역 코드북 검색부에서 검색된 광대역 코드워드에서 광대역의 고대역에 해당하는 성분만 남도록 절단하는 코드워드 절단부;
    상기 포만트 계수 스케일링부에서 얻어진 저대역 포만트 계수와 상기 코드워드 절단부에서 얻어진 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 포만트 계수를 생성하는 포만트 계수 연결부; 및
    학습을 통해 상기 협대역 코드북 및 광대역 코드북을 생성하는 코드워드 학습부를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  8. 제7항에 있어서, 상기 코드워드 학습부는
    광대역 음성정보를 저장하고 있는 광대역 음성 데이터 베이스;
    상기 광대역 음성정보의 샘플링 주파수 변환을 통해 협대역 음성정보를 생성하는 샘플링 주파수 변환부;
    상기 샘플링 주파수 변환부에 의해 생성되는 협대역 음성정보를 저장하고 있는 협대역 음성 데이터 베이스;
    상기 협대역 음성 데이터베이스 및 상기 광대역 음성 데이터베이스 각각에 대해서 협대역 CELP 및 광대역 CELP에서 사용되는 선형예측분석 방법을 통해 LPC 계수를 생성하는 제1 및 제2선형 예측 분석부;
    상기 제1 및 제2선형 예측 분석부 각각에서 생성된 LPC 계수를 학습에 적합한 타입의 포만트 계수로 변환하여 상기 협대역 포만트 계수 및 광대역 포만트 계수를 생성하는 제1 및 제2계수 타입 변환부;
    상기 협대역 포만트 계수를 벡터 양자화하여 원하는 개수만큼의 코드워드를 갖는 상기 협대역 코드북을 생성하는 제1벡터 양자화부; 및
    상기 협대역 코드북 생성 과정에서 생성되는 각 포만트 계수 벡터에 대한 클래스 정보를 이용해서 상기 광대역 코드북을 생성하는 제2벡터 양자화부를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  9. 제2항 또는 제3항에 있어서, 상기 포만트 차수 변환기는
    입력 차수가 출력 차수보다 크면, 출력 차수에 맞도록 입력 차수를 데시메이션하고, 입력 차수가 출력 차수보다 작으면 출력 차수에 맞도록 입력 차수를 보간하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  10. 제9항에 있어서, 상기 입력 차수의 데시메이션은 출력 차수보다 큰 입력 차수의 계수를 0으로 치환하고, 상기 입력 차수의 보간은 부족한 차수만큼 0을 채우는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  11. 제2항 또는 제3항에 있어서, 상기 포만트 프레임 율 변환기는
    입력 프레임 율이 출력 프레임 율보다 크면 출력 프레임 율에 맞도록 입력 파라미터의 계수를 데시메이션하고, 입력 프레임 율이 출력 프레임 율보다 작으면 출력 프레임 율에 맞도록 입력 파라미터의 계수를 보간하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  12. 제11항에 있어서, 상기 입력 파라미터 계수의 데시메이션은 출력 프레임 길이에 해당하는 개수의 입력 포만트 계수들에 소정의 가중치를 준 후, 이들을 더하며, 상기 입력 파라미터 계수의 보간은 과거 프레임의 입력 포만트 계수와 현재 프레임의 입력 포만트 계수에 소정의 가중치를 주는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  13. 제1항에 있어서, 상기 여기신호 파라미터 변환기는
    입력되는 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 추출하고, 추출된 여기신호 파라미터를 이용하여 협대역 여기신호를 합성하는 여기신호 합성기;
    상기 여기신호 합성기에서 합성된 협대역 여기신호를 광대역 CELP 포맷의 대역폭에 해당하는 여기신호로 변환하는 여기신호 대역폭 확장기;
    상기 포만트 파라미터 변환기에서 광대역 CELP 포맷의 포만트 파라미터로 변환된 포만트 계수를 보간하여 여기신호의 프레임 분석 단위에 해당하는 포만트 계수를 구하는 포만트 계수 보간기;
    상기 포만트 계수 보간기에서 보간된 포만트 계수를 출력 CELP 포맷에 해당하는 PWF(Perceptual Weighted Filter) 계수로 만들고, 상기 여기신호 대역폭 확장기에서 출력되는 광대역 CELP 포맷의 여기신호를 상기 PWF 계수를 이용하여 필터링하는 PWF;
    상기 PWF에서 필터링된 신호를 목표로 해서 출력 CELP 포맷에 맞도록 피치 정보에 해당하는 적응 코드북을 검색하고 해당 코드북의 이득을 계산하여, 계산된 이득과 검색된 인덱스를 상기 양자화기로 제공하는 적응 코드북 검색기; 및
    상기 PWF에서 생성된 신호에서 상기 적응 코드북의 영향을 제외한 신호를 목표로 해서 출력 CELP 포맷에 맞도록 고정 코드북을 검색하고 해당 코드북의 이득을 계산하여, 계산된 이득과 검색된 인덱스를 상기 양자화기로 제공하는 고정 코드북 검색기를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  14. 제13항에 있어서,
    상기 여기신호의 프레임 분석 단위는 부-프레임 단위인 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  15. 제13항에 있어서,
    상기 포만트 파라미터 변환기에서 광대역 CELP 포맷의 포만트 파라미터로 변환된 포만트 계수를 포만트 계수 보간에 적합한 포맷의 계수로 변환하는 제5포만트 타입 변환기; 및
    상기 포만트 계수 보간기에서 보간된 포만트 계수를 상기 PWF에 적합한 포만트 계수로 변환하는 제6포만트 타입 변환기를 더 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  16. 제15항에 있어서, 상기 제6포만트 타입 변환기는 상기 보간된 포만트 계수를 LPC 계수로 변환하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  17. 제13항에 있어서, 상기 여기신호 대역폭 확장기는
    상기 여기신호 합성기로부터 수신되는 협대역 여기신호를 광대역 CELP 포맷에 해당하는 샘플링 주파수를 갖는 저대역 여기신호로 변환하는 샘플링 주파수 변환부;
    상기 여기신호 합성기로부터 수신되는 협대역 여기신호로부터 광대역의 고대역에 해당하는 여기신호 성분을 합성하는 고대역 재생부;
    상기 고대역 재생부에서 재생된 여기신호를 고역 필터링하여 광대역의 고대역에 해당하는 여기신호 성분만을 추출하는 고대역 통과 필터; 및
    상기 샘플링 주파수 변환기에서 생성되는 저대역 여기신호와 상기 고대역 통과 필터에서 생성되는 고대역 여기신호를 합쳐 광대역 여기신호를 생성하는 가산기를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 장치.
  18. (a) 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 기초로 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 단계;
    (b) 상기 협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 광대역 CELP 포맷의 여기신호 파라미터로 변환하는 단계; 및
    (c) 상기 광대역 CELP 포맷의 포만트 파라미터 및 상기 광대역 CELP 포맷의 여기신호 파라미터를 출력 CELP 포맷으로 각각 양자화하는 단계;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  19. 제18항에 있어서, 상기 (a)단계는,
    (a11) 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 단계;
    (a12) 상기 광대역 CELP 포맷의 포만트 파라미터의 차수를 출력 CELP 포맷의 차수로 변환하는 단계; 및
    (a13) 상기 출력 CELP 포맷의 차수로 변환된 포만트 파라미터를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환하는 단계;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  20. 제18항에 있어서, 상기 (a)단계는,
    (a21) 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고, 상기 추출된 협대역 CELP 포맷의 포만트 파라미터를 포만트 대역폭 확장을 용이하게 하는 포맷으로 변환하는 단계;
    (a22) 협대역 비트 스트림으로부터 협대역 CELP 포맷의 포만트 파라미터를 추출하고 스케일링하여 저대역에 해당하는 저대역 포만트 계수를 얻고, 상기 포만트 파라미터를 기초로 소정의 협대역 코드북을 검색하여 고대역에 해당하는 고대역 포만트 계수를 얻고, 상기 저대역 포만트 계수 및 상기 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 CELP 포맷의 포만트 파라미터를 생성하는 단계;
    (a23) 상기 광대역 CELP 포맷의 포만트 파라미터를 차수 변환을 용이하게 하는 포맷의 포만트 계수로 포맷 변환하는 단계;
    (a24) 상기 (a23) 단계에서 포맷 변환된 포만트 파라미터의 차수를 출력 CELP 포맷의 차수로 변환하는 단계;
    (a25) 상기 (a24) 단계에서 차수 변환된 포만트 파라미터를 프레임 율 변환에 적합한 포맷의 포만트 계수로 포맷 변환하는 단계;
    (a26) 상기 (a25) 단계에서 포맷 변환된 포만트 파라미터를 출력 CELP 포맷의 프레임 율에 맞도록 프레임 율을 변환하는 단계; 및
    (a27) 상기 프레임 율 변환된 포만트 파라미터를 출력 CELP 포맷의 포만트 계수로 변환하는 단계;를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  21. 제19항 또는 제20항에 있어서, 협대역 파마미터의 대역폭을 광대역으로 대역폭 확장하는 단계는
    (a11_1)상기 협대역 포만트 파라미터를 광대역 포만트 파라미터 포맷에 맞도록 스케일링하여 저대역에 해당하는 포만트 계수를 얻는 단계;
    (a11_2)상기 협대역 포만트 계수를 이용하여 미리 학습된 소정의 협대역 코드북을 참조하여 가장 가까운 코드워드에 대한 인덱스를 찾는 협대역 코드북 검색 단계;
    (a11_3)상기 (a11_2) 단계에서 검색된 인덱스에 해당하는 광대역 코드워드를 미리 학습된 소정의 광대역 코드북을 참조하여 검색하는 광대역 코드북 검색 단계;
    (a11_4)상기 (a11_3) 단계에서 검색된 광대역 코드워드에서 광대역의 고대역에 해당하는 성분만 남도록 코드워드를 절단하는 단계; 및
    (a11_5)상기 (a11_1) 단계에서 얻어진 저대역 포만트 계수와 상기 (a11_4) 단계에서 얻어진 고대역 포만트 계수를 합쳐 대역폭 확장된 광대역 포만트 계수를 생성하는 단계를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  22. 제21항에 있어서, 상기 (a11_2) 단계 및 상기 (a11_3) 단계에서의 학습은
    (a11_21)학습을 위한 광대역 음성 데이터베이스에 저장된 광대역 음성정보를 샘플링 주파수 변환하여 협대역 음성정보를 생성하고 이를 저장하는 협대역 음성 데이터베이스를 생성하는 단계;
    (a11_22)상기 협대역 음성 데이터베이스 및 상기 광대역 음성 데이터베이스 각각에 대해서 협대역 CELP 및 광대역 CELP에서 사용되는 선형예측분석 방법을 통해 LPC 계수를 생성하는 단계;
    (a11-23)상기 (a11_22)단계에서 생성된 LPC 계수를 학습에 적합한 타입의 포만트 계수로 변환하여 상기 협대역 포만트 계수 및 상기 광대역 포만트 계수로서 생성하는 단계;
    (a11_24)상기 (a11_23)단계에서 생성된 협대역 포만트 계수를 벡터 양자화하여 원하는 개수만큼의 코드워드를 갖는 상기 협대역 코드북을 생성하는 단계; 및
    (a11_25)상기 (a11_24)단계의 협대역 코드북 생성 과정에서 생성되는 각 포만트 계수 벡터에 대한 클래스 정보를 이용해서 상기 광대역 코드북을 생성하는 단계를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  23. 제19항 또는 제20항에 있어서, 포만트 차수를 변환하는 단계는
    (a12_1)입력 차수가 출력 차수보다 크면, 출력 차수보다 큰 입력 차수의 계수를 0으로 치환하여 데시메이션하는 단계; 및
    (a12_2)입력 차수가 출력 차수보다 작으면, 부족한 차수만큼 0을 채워 입력 차수를 출력 차수에 맞도록 입력 차수를 보간하는 단계를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  24. 제19항 또는 제20항에 있어서, 포만트 프레임 율을 변환하는 단계는
    (a13_1)입력 프레임 율이 출력 프레임 율보다 크면, 출력 프레임 율에 맞도록 입력 포만트 계수를 데시메이션하는 단계; 및
    (a13_2)입력 프레임 율이 출력 프레임 율보다 작으면, 출력 프레임 율에 맞도록 입력 포만트 계수를 보간하는 단계를 포함하고,
    상기 입력 포만트 계수의 데시메이션은 출력 프레임 길이에 해당하는 개수의 입력 포만트 계수들에 소정의 가중치를 준 후, 이들을 더하며,
    상기 입력 포만트 계수의 보간은 과거 프레임의 입력 포만트 계수와 현재 프레임의 입력 포만트 계수에 소정의 가중치를 주는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  25. 제18항에 있어서, 상기 (b)단계는
    (b1)협대역 비트 스트림으로부터 협대역 CELP 포맷의 여기신호 파라미터를 추출하고, 추출된 여기신호 파라미터를 이용하여 협대역 여기신호를 합성하는 단계;
    (b2)상기 (b1)단계에서 합성된 협대역 여기신호를 광대역 CELP 포맷의 대역폭에 해당하는 여기신호로 변환하는 단계;
    (b3)상기 (a)단계에서 광대역 CELP 포맷의 포만트 파라미터로 변환된 포만트 계수를 보간하여 여기신호의 프레임 분석 단위에 부-프레임 단위별로 포만트 계수를 구하는 단계;
    (b4)상기 (b3)단계에서 보간된 포만트 계수를 출력 CELP 포맷에 해당하는 PWF(Perceptual Weighted Filter) 계수로 만들고, 상기 (b2)단계에서 생성되는 광대역 CELP 포맷의 여기신호를 상기 PWF 계수를 이용하여 필터링하는 단계;
    (b5)상기 (b4)단계에서 필터링된 신호를 목표로 해서 출력 CELP 포맷에 맞도록 피치 정보에 해당하는 적응 코드북을 검색하고 해당 코드북의 이득을 계산하는 단계; 및
    (b6)상기 (b4)단계에서 생성된 신호에서 상기 적응 코드북의 영향을 제외한 신호를 목표로 해서 출력 CELP 포맷에 맞도록 고정 코드북을 검색하고 해당 코드북의 이득을 계산하는 단계를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  26. 제25항에 있어서,
    (b7)상기 (a)단계에서 광대역 CELP 포맷의 포만트 파라미터로 변환된 포만트 계수를 포만트 계수 보간에 적합한 포맷의 계수로 변환하는 단계; 및
    (b8)상기 (b3)단계에서 보간된 포만트 계수를 상기 PWF에 적합한 포만트 계수로 변환하는 단계를 더 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  27. 제25항에 있어서, 상기 (b2)단계는
    (b2_1)상기 (b1)단계에서 생성된 협대역 여기신호를 광대역 CELP 포맷에 해당하는 샘플링 주파수를 갖는 저대역 여기신호로 변환하는 단계;
    (b2_2)상기 (b1)단계에서 생성된 협대역 여기신호로부터 광대역의 고대역에 해당하는 여기신호 성분을 합성하는 단계;
    (b2_3)상기 (b2_2)단계에서 재생된 여기신호를 고역 필터링하여 광대역의 고대역에 해당하는 여기신호 성분만을 추출하는 단계; 및
    (b2_4)상기 (b2_1)단계에서 생성되는 저대역 여기신호와 상기 (b2_3)단계에서 생성되는 고대역 여기신호를 합쳐 광대역 여기신호를 생성하는 단계를 포함하는 것을 특징으로 하는 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법.
  28. 제18항 내지 제27항의 대역폭 확장을 이용한 CELP 방식 코덱간의 상호 부호화 방법 중 어느 한 항의 방법을 컴퓨터에서 실행 가능한 프로그램 코드로 기록한 기록 매체.
KR10-2002-0077769A 2002-12-09 2002-12-09 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법 Expired - Fee Related KR100503415B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2002-0077769A KR100503415B1 (ko) 2002-12-09 2002-12-09 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법
US10/704,509 US20040111257A1 (en) 2002-12-09 2003-11-06 Transcoding apparatus and method between CELP-based codecs using bandwidth extension

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0077769A KR100503415B1 (ko) 2002-12-09 2002-12-09 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040050141A KR20040050141A (ko) 2004-06-16
KR100503415B1 true KR100503415B1 (ko) 2005-07-22

Family

ID=32464556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0077769A Expired - Fee Related KR100503415B1 (ko) 2002-12-09 2002-12-09 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20040111257A1 (ko)
KR (1) KR100503415B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013141638A1 (ko) * 2012-03-21 2013-09-26 삼성전자 주식회사 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
KR20070009644A (ko) * 2004-04-27 2007-01-18 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 부호화 장치, 스케일러블 복호화 장치 및 그방법
EP1758099A1 (en) * 2004-04-30 2007-02-28 Matsushita Electric Industrial Co., Ltd. Scalable decoder and expanded layer disappearance hiding method
KR100708121B1 (ko) * 2005-01-22 2007-04-16 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
KR101171098B1 (ko) 2005-07-22 2012-08-20 삼성전자주식회사 혼합 구조의 스케일러블 음성 부호화 방법 및 장치
US20070115949A1 (en) * 2005-11-17 2007-05-24 Microsoft Corporation Infrastructure for enabling high quality real-time audio
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
GB2444757B (en) * 2006-12-13 2009-04-22 Motorola Inc Code excited linear prediction speech coding
KR100831980B1 (ko) * 2007-03-05 2008-05-26 주식회사 하이닉스반도체 반도체 소자의 제조방법
EP2045800A1 (en) * 2007-10-05 2009-04-08 Nokia Siemens Networks Oy Method and apparatus for transcoding
US8489393B2 (en) * 2009-11-23 2013-07-16 Cambridge Silicon Radio Limited Speech intelligibility
US9443534B2 (en) * 2010-04-14 2016-09-13 Huawei Technologies Co., Ltd. Bandwidth extension system and approach
KR101747917B1 (ko) 2010-10-18 2017-06-15 삼성전자주식회사 선형 예측 계수를 양자화하기 위한 저복잡도를 가지는 가중치 함수 결정 장치 및 방법
CN102610231B (zh) * 2011-01-24 2013-10-09 华为技术有限公司 一种带宽扩展方法及装置
CN105976830B (zh) * 2013-01-11 2019-09-20 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
US9953660B2 (en) * 2014-08-19 2018-04-24 Nuance Communications, Inc. System and method for reducing tandeming effects in a communication system
KR102298767B1 (ko) * 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0465057A1 (en) * 1990-06-29 1992-01-08 AT&T Corp. Low-delay code-excited linear predictive coding of wideband speech at 32kbits/sec
JPH06118995A (ja) * 1992-10-05 1994-04-28 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH0876799A (ja) * 1994-09-02 1996-03-22 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
KR19980032853U (ko) * 1996-12-05 1998-09-05 양재신 차량의 룸 램프
JP2000122679A (ja) * 1998-10-15 2000-04-28 Sony Corp 音声帯域拡張方法及び装置、音声合成方法及び装置
KR20010102004A (ko) * 1999-02-12 2001-11-15 밀러 럿셀 비 Celp 트랜스코딩
US20020138268A1 (en) * 2001-01-12 2002-09-26 Harald Gustafsson Speech bandwidth extension
KR20040045586A (ko) * 2002-11-25 2004-06-02 한국전자통신연구원 서로 다른 대역폭을 갖는 켈프 방식 코덱들 간의상호부호화 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539355B1 (en) * 1998-10-15 2003-03-25 Sony Corporation Signal band expanding method and apparatus and signal synthesis method and apparatus
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
JP4792613B2 (ja) * 1999-09-29 2011-10-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0465057A1 (en) * 1990-06-29 1992-01-08 AT&T Corp. Low-delay code-excited linear predictive coding of wideband speech at 32kbits/sec
JPH06118995A (ja) * 1992-10-05 1994-04-28 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH0876799A (ja) * 1994-09-02 1996-03-22 Nippon Telegr & Teleph Corp <Ntt> 広帯域音声信号復元方法
KR19980032853U (ko) * 1996-12-05 1998-09-05 양재신 차량의 룸 램프
JP2000122679A (ja) * 1998-10-15 2000-04-28 Sony Corp 音声帯域拡張方法及び装置、音声合成方法及び装置
KR20010102004A (ko) * 1999-02-12 2001-11-15 밀러 럿셀 비 Celp 트랜스코딩
US20020138268A1 (en) * 2001-01-12 2002-09-26 Harald Gustafsson Speech bandwidth extension
KR20040045586A (ko) * 2002-11-25 2004-06-02 한국전자통신연구원 서로 다른 대역폭을 갖는 켈프 방식 코덱들 간의상호부호화 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013141638A1 (ko) * 2012-03-21 2013-09-26 삼성전자 주식회사 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
US9378746B2 (en) 2012-03-21 2016-06-28 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding high frequency for bandwidth extension
US9761238B2 (en) 2012-03-21 2017-09-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding high frequency for bandwidth extension
US10339948B2 (en) 2012-03-21 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding high frequency for bandwidth extension

Also Published As

Publication number Publication date
KR20040050141A (ko) 2004-06-16
US20040111257A1 (en) 2004-06-10

Similar Documents

Publication Publication Date Title
KR100503415B1 (ko) 대역폭 확장을 이용한 celp 방식 코덱간의 상호부호화 장치 및 그 방법
KR100873836B1 (ko) Celp 트랜스코딩
US11721349B2 (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
JP5373217B2 (ja) 可変レートスピーチ符号化
US7788105B2 (en) Method and apparatus for coding or decoding wideband speech
JP4302978B2 (ja) 音声コーデックにおける擬似高帯域信号の推定システム
JP2004517348A (ja) 非音声のスピーチの高性能の低ビット速度コード化方法および装置
KR100499047B1 (ko) 서로 다른 대역폭을 갖는 켈프 방식 코덱들 간의 상호부호화 장치 및 그 방법
KR100550003B1 (ko) 상호부호화기에서 개회로 피치 추정 방법 및 그 장치
KR100554164B1 (ko) 서로 다른 celp 방식의 음성 코덱 간의 상호부호화장치 및 그 방법
KR0155798B1 (ko) 음성신호 부호화 및 복호화 방법
Bakır Compressing English Speech Data with Hybrid Methods without Data Loss
HK40036813A (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
HK40036813B (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
HK40011418A (en) Method, device and computer-readable non-transitory memory for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
HK40011418B (en) Method, device and computer-readable non-transitory memory for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
JPH09297597A (ja) 高能率音声伝送方法及び高能率音声伝送装置
JPH01258000A (ja) 音声信号符号化復号化方法並びに音声信号符号化装置及び音声信号復号化装置
HK1117937A (en) Variable rate speech coding

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20021209

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20041214

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050627

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20050715

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20050718

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20080701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20090702

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20100701

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20110711

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20120710

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20130624

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20140630

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20150629

Start annual number: 11

End annual number: 11

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170609