[go: up one dir, main page]

KR101435893B1 - 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치 - Google Patents

대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101435893B1
KR101435893B1 KR1020070086337A KR20070086337A KR101435893B1 KR 101435893 B1 KR101435893 B1 KR 101435893B1 KR 1020070086337 A KR1020070086337 A KR 1020070086337A KR 20070086337 A KR20070086337 A KR 20070086337A KR 101435893 B1 KR101435893 B1 KR 101435893B1
Authority
KR
South Korea
Prior art keywords
signal
frequency band
encoding
unit
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070086337A
Other languages
English (en)
Other versions
KR20080027129A (ko
Inventor
오은미
주기현
김중회
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN200780035230XA priority Critical patent/CN101518083B/zh
Priority to PCT/KR2007/004653 priority patent/WO2008035949A1/en
Priority to US11/902,650 priority patent/US20080077412A1/en
Publication of KR20080027129A publication Critical patent/KR20080027129A/ko
Application granted granted Critical
Publication of KR101435893B1 publication Critical patent/KR101435893B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 부호화 방법에 관한 것으로, 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호를 다운믹싱하며, 다운믹싱된 신호를 고주파수 밴드 신호와 저주파수 밴드 신호로 분할하고, 고주파수 밴드 신호와 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하며, 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하고, 변환된 저주파수 밴드 신호를 이용하여 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하며, 부호화된 스테레오 파라미터, 부호화된 비트플레인 및 부호화된 대역폭 확장 정보를 입력 신호에 대한 부호화 결과로써 출력함으로써, 한정된 비트율에서 고주파수 성분 및 스테레오 성분을 효율적으로 부호화하여 음질을 향상시킬 수 있다.

Description

대역폭 확장 기법 및 스테레오 부호화 기법을 이용한 오디오 신호의 부호화/복호화 방법 및 장치{Method and apparatus for encoding and decoding audio signal using band width extension technique and stereo encoding technique}
본 발명은 오디오 신호의 부호화/복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한 오디오 신호의 부호화/복호화 방법 및 장치에 관한 것이다.
오디오 신호를 부호화하거나 복호화함에 있어서 한정된 비트율을 이용하여 최대한 음질을 향상시키는 것이 요구된다. 저비트율에서는 가용 비트가 적으므로 부호화되는 오디오 신호의 주파수 대역을 줄여서 부호화해야 하므로, 음질이 저하될 수 있다.
일반적으로, 저주파수 성분은 고주파수 성분에 비하여 인간이 지각하는데 중요하게 영향을 미친다. 따라서, 저주파수 성분을 부호화하는데 할당되는 비트를 늘리고, 고주파수 성분을 부호화하는데 할당되는 비트를 줄이면서 음질을 향상시킬 수 있는 방법이 요구된다.
또한, 두 채널 이상의 스테레오 신호는 한 채널의 모노 신호에 비하여 부호 화하거나 복호화함에 있어서 많은 비트가 할당된다. 따라서, 스테레오 신호를 부호화하는데 할당되는 비트를 줄이면서 음질을 향상시킬 수 있는 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 한정된 비트율에서 스테레오 신호 및 고주파수 성분을 효율적으로 부호화하여 음질을 향상시킬 수 있는 오디오 신호의 부호화 방법 및 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 한정된 비트율에서 부호화된 비트스트림으로부터 고주파수 성분 및 스테레오 성분을 효율적으로 복호화하는 오디오 신호의 복호화 방법 및 장치를 제공하는데 있다.
상기 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하는 단계; (d) 상기 변환된 저주파수 밴드 신호에 대하여 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (e) 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (f) 상기 부호화된 스테레오 파라미터, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함한다.
또한, 상기 과제는 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하는 단계; (d) 상기 변환된 저주파수 밴드 신호에 대하여 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (e) 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (f) 상기 부호화된 스테레오 파라미터, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계; (d) 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (e) 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (f) 상기 제2 변환 방식에 의해 변환된 저주파수 밴 드 신호를 이용하여 상기 제2 변환 방식에 의해 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (g) 상기 부호화된 스테레오 파라미터, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함한다.
또한, 상기 다른 과제는 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계; (d) 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (e) 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (f) 상기 제2 변환 방식에 의해 변환된 저주파수 밴드 신호를 이용하여 상기 제2 변환 방식에 의해 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (g) 상기 부호화된 스테레오 파라미터, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 단계; (d) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 단계; (e) 상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하고, 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (f) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (g) 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (h) 상기 부호화된 스테레오 파라미터, 상기 시간 도메인에서 부호화된 결과, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계; (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계; (c) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결 정하는 단계; (d) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 단계; (e) 상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하고, 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; (f) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (g) 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및 (h) 상기 부호화된 스테레오 파라미터, 상기 시간 도메인에서 부호화된 결과, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 (a) 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 단계; (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계; (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계; (d) 상기 다운믹싱된 신호를 시간 도메인으로 역변환하는 단계; (e) 상기 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 역변환된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계; (f) 상기 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 시간 도메인으로 변환된 신호를 시간 도메인에서 부호화하는 단계; (g) 상기 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 상기 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및 (h) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 단계; (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계; (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계; (d) 상기 다운믹싱된 신호를 시간 도메인으로 역변환하는 단계; (e) 상기 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 역변환된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계; (f) 상기 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 시간 도메인으로 변환된 신호를 시간 도메인에서 부호화하는 단계; (g) 상기 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 상기 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및 (h) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은 (a) 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 입력 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계; (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계; (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계; (d) 상기 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 시간 도메인에서 부호화하는 단계; (e) 상기 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및 (f) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 입력 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계; (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계; (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계; (d) 상기 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 시간 도메인에서 부호화하는 단계; (e) 상기 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및 (f) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 (a) 오디오 신호의 부호화 결과를 입력받는 단계; (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (d) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호 각각을 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계; (e) 상기 역변환된 저주파수 밴드 신호 및 상기 역변환된 고주파수 밴드 신호를 합성하는 단계; 및 (f) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 오디오 신호의 부호화 결과를 입력받는 단계; (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (d) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호 각각을 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계; (e) 상기 역변환된 저주파수 밴드 신호 및 상기 역변환된 고주파수 밴드 신호를 합성하는 단계; 및 (f) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 (a) 오디오 신호의 부호화 결과를 입력받는 단계; (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계; (d) 상기 제1 역변 환 방식에 의해 역변환된 저주파수 밴드 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (e) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (g) 상기 역변환된 고주파수 밴드 신호 및 상기 변환된 저주파수 밴드 신호를 합성하는 단계; 및 (h) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 오디오 신호의 부호화 결과를 입력받는 단계; (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계; (d) 상기 제1 역변환 방식에 의해 역변환된 저주파수 밴드 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (e) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (g) 상기 역변환된 고주파수 밴드 신호 및 상기 변환된 저주파수 밴드 신호를 합성하는 단계; 및 (h) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 (a) 오디오 신호의 시간 도메인 또는 주파수 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (d) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (g) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하여 상기 저주파수 밴드 신호를 생성하는 단계; (h) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호, 상기 제2 역변환 방식에 의해 시간 도메인으로 역변환된 고주파수 밴드 신호, 및 상기 시간 도메인에서 복호화된 저주파수 밴드 신호를 합성하는 단계; 및 (i) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 오디오 신호의 시간 도메인 또는 주파수 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계; (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (d) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계; (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계; (g) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하여 상기 저주파수 밴드 신호를 생성하는 단계; (h) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호, 상기 제2 역변환 방식에 의해 시간 도메인으로 역변환된 고주파수 밴드 신호, 및 상기 시간 도메인에서 복호화된 저주파수 밴드 신호를 합성하는 단계; 및 (i) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱 하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계; (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단계; (d) 상기 (b) 단계에서 역양자화된 신호 또는 상기 (c) 단계에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환하는 단계; (e) 상기 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (f) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계; (g) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및 (h) 상기 업믹싱된 신호를 시간 도메인으로 역변환하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계; (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단 계; (d) 상기 (b) 단계에서 역양자화된 신호 또는 상기 (c) 단계에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환하는 단계; (e) 상기 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계; (f) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계; (g) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및 (h) 상기 업믹싱된 신호를 시간 도메인으로 역변환하는 단계를 포함하는 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계; (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단계; (d) 상기 (c) 단계에서 복호화된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 단계; (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인에서 복호화된 신호 또는 상기 주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계; (f) 상기 부호화 결과에 포함된 부호화된 스테레 오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및 (g) 상기 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환하는 단계를 포함한다.
또한, 상기 또 다른 과제는 (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계; (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계; (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단계; (d) 상기 (c) 단계에서 복호화된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 단계; (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인에서 복호화된 신호 또는 상기 주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계; (f) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및 (g) 상기 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환하는 단계를 포함하는오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 스테레오 부호화부; 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 밴드 분할부; 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하는 변환부; 상기 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 저주파수 밴드 부호화부; 및 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 대역폭 확장 부호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 스테레오 부호화부; 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 밴드 분할부; 상기 저주파수 밴드 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부; 상기 MDCT가 수행된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 저주파수 밴드 부호화부; 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 및 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 대역폭 확장 부호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 스테레오 부호화부; 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 밴드 분할부; 상기 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부; 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부; 상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호에 대하여 MDCT를 수행하여 상기 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부; 상기 MDCT가 수행된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 저주파수 밴드 부호화부; 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 및 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 대역폭 확장 부호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 변환부; 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 스테레오 부호화부; 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 대역폭 확장 부호화부; 상기 다운믹싱된 신호를 시간 도메인으로 역변환하는 역변환부; 상기 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부; 상기 결정 결과에 따 라 상기 역변환된 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 FV-MLT 적용부; 상기 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 시간 도메인으로 변환된 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부; 및 상기 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 상기 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 주파수 도메인 부호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부; 상기 결정 결과에 따라 상기 입력 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 FV-MLT 적용부; 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 스테레오 부호화부; 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 대역폭 확장 부호화부; 상기 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부; 및 상기 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 주파수 도메인 부호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저 주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부; 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부; 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호 각각에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하는 역 MDCT 적용부; 상기 변환된 저주파수 밴드 신호 및 상기 변환된 고주파수 밴드 신호를 합성하는 밴드 합성부; 및 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부; 상기 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하는 역 MDCT 적용부; 상기 역 MDCT가 수행된 저주파수 밴드 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부; 상기 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환하는 역변환부; 상기 역변환된 고주파수 밴드 신호 및 상기 변환된 저주파수 밴드 신호를 합성하는 밴드 합성부; 및 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화 부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부; 상기 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 시간 도메인으로 역변환하는 역 MDCT 적용부; 상기 역 MDCT가 수행된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 주파수 도메인에서 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부; 상기 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환하는 역변환부; 시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하여 상기 저주파수 밴드 신호를 생성하는 CELP 복호화부; 상기 역 MDCT가 수행된 신호, 상기 역변환된 고주파수 밴드 신호 및 상기 CELP 방식으로 생성된 저주파수 밴드 신호를 합성하는 밴드 합성부; 및 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 주파수 도메인 복호화부; 시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하는 CELP 복호화부; 상기 주파수 도메인 복호화부 또는 상기 CELP 복호화부에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환하는 역 FV-MLT 적용부; 상기 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 대역폭 확장 복호화부; 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 생성된 신호를 업믹싱하는 스테레오 복호화부; 및 상기 업믹싱된 신호를 시간 도메인으로 역변환하는 역변환부를 포함한다.
또한, 상기 또 다른 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 주파수 도메인 복호화부; 시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하는 CELP 복호화부; 상기 CELP 복호화부에서 출력된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부; 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 복호화부에서 출력된 신호 또는 상기 MDCT 적용부에서 출력된 신호로부터 전 대역의 신호를 생성하는 대역폭 확장 복호화부; 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 생성된 신호를 업믹싱하는 스테레오 복호화부; 및 상기 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환하는 역 FV-MLT 적용부를 포함한다.
본 발명에 따르면, 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호를 다운믹싱하며, 다운믹싱된 신호를 고주파수 밴드 신호와 저주파수 밴드 신호로 분할하고, 고주파수 밴드 신호와 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환하며, 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하고, 변환된 저주파수 밴드 신호를 이용하여 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하며, 부호화된 스테레오 파라미터, 부호화된 비트플레인 및 부호화된 대역폭 확장 정보를 입력 신호에 대한 부호화 결과로써 출력함으로써, 한정된 비트율에서 고주파수 성분 및 스테레오 성분을 효율적으로 부호화하여 음질을 향상시킬 수 있다.
또한, 본 발명에 따르면, 오디오 신호의 부호화 결과를 입력받고, 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하며, 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하며, 저주파수 밴드 신호 및 고주파수 밴드 신호 각각을 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하고, 변환된 저주파수 밴드 신호 및 변환된 고주파수 밴드 신호를 합성하며, 부호화 결과에 포함된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 합성된 신호를 업믹싱함으로써, 한정된 비트율에서 부호화된 비트스트림으로부터 고주파수 성분 및 스테레오 성분을 효율적으로 복호화할 수 있다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 오디오 신호의 부호화 장치는 스테레오 부호화부(100), 밴드 분할부(110), 제1 MDCT 적용부(120), 주파수 선형 예측 수행부(130), 멀티-레졸루션 분석부(140), 양자화부(150), 문맥-기반 비트플레인 부호화부(160), 제2 MDCT 적용부(170), 대역폭 확장 부호화부(180) 및 다중화부(190)를 포함한다.
스테레오 부호화부(100)는 입력 신호(IN)에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호(IN)를 다운믹싱(down-mixing)한다. 여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM(Pulse Code Modulation) 신호일 수 있다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보(side information)를 나타내는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
밴드 분할부(110)는 스테레오 부호화부(100)에서 다운믹싱된 신호를 저주파수 밴드 신호(LB, low frequency band signal) 및 고주파수 밴드 신호(HB, high frequency band signal)로 분할한다. 여기서, 저주파수 밴드 신호는 임의의 임계값 보다 낮은 주파수에 해당하는 신호이며, 고주파수 밴드 신호는 임의의 임계값 보다 높은 주파수에 해당하는 신호일 수 있다.
제1 MDCT 적용부(120)는 밴드 분할부(110)에서 분할된 저주파수 밴드 신호(LB)에 대하여 MDCT를 수행하여, 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 시간 도메인은 시간의 경과에 따라 입력 신호의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이고, 주파수 도메인은 주파수의 변화에 따라 입력 신호의 크기를 나타내는 도메인이다.
주파수 선형 예측 수행부(130)는 제1 MDCT 적용부(120)에서 주파수 도메인으로 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합(linear combination)으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(130)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류(prediction error)가 최소가 되도록 선형 예측 필터의 계수(coefficient)를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(130)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(130)는 제1 MDCT 적용부(120)에서 주파수 도메인으로 변환된 저주파수 밴드 신호(LB)가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(130)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(140)는 제1 MDCT 적용부(120)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(130)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도(multi-resolution)로 분석한다. 구체적으로, 멀티-레졸루션 분석부(140)는 오디오 스펙트럼의 변화의 격렬한 정도에 따라 주파수 선형 예측 수행부(130)에서 필터링된 신호를 두 가지 유형(예를 들어, 스테이빌(stabile) 유형과 숏(short) 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(140)는 제1 MDCT 적용부(120)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(130)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(140)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(150)는 주파수 선형 예측 수행부(130)에서 필터링된 신호 또는 멀티-레졸루션 분석부(140)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(160)는 문맥을 기반으로 하여 양자화부(150)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(160)는 허프만 코딩(Huffman Coding)을 이용하여 양자화부(150)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
이와 같이, 주파수 선형 예측 수행부(130), 멀티-레졸루션 분석부(140), 양자화부(150) 및 문맥-기반 비트플레인 부호화부(160)는 제1 MDCT 적용부(120)에서 출력된 변환된 저주파수 밴드 신호에 대해서 부호화를 수행하므로, 저주파수 밴드 부호화부라고 할 수 있다.
제2 MDCT 적용부(170)는 밴드 분할부(110)에서 분할된 고주파수 밴드 신호(HB)에 대하여 MDCT를 수행하여 고주파수 밴드 신호(HB)를 시간 도메인에서 주파수 도메인으로 변환한다.
대역폭 확장 부호화부(180)는 제2 MDCT 적용부(170)에서 주파수 도메인으 로변환된 고주파수 밴드 신호의 성분을 전달하기 위하여, 제1 MDCT 적용부(120)에서 주파수 도메인으로 변환된 저주파수 밴드 신호를 이용하여 제2 MDCT 적용부(170)에서 주파수 도메인으로 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다. 보다 상세하게는, 대역폭 확장 부호화부(180)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 저주파수 밴드의 정보를 이용하여 상술한 바와 같은 대역폭 확장 정보를 생성할 수 있다. 본 발명의 다른 실시예에서, 대역폭 확장 부호화부(180)는 저주파수 밴드 신호에 대하여 부호화된 결과를 이용하여 대역폭 확장 정보를 생성할 수 있다.
다중화부(190)는 스테레오 부호화부(100), 주파수 선형 예측 수행부(130), 문맥-기반 비트플레인 부호화부(160) 및 대역폭 확장 부호화부(180)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한 다.
도 2는 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 2를 참조하면, 오디오 신호의 부호화 장치는 스테레오 부호화부(200), 밴드 분할부(210), MDCT 적용부(220), 주파수 선형 예측 수행부(230), 멀티-레졸루션 분석부(240), 양자화부(250), 문맥-기반 비트플레인 부호화부(260), 저주파수 밴드 변환부(270), 고주파수 밴드 변환부(275), 대역폭 확장 부호화부(280) 및 다중화부(290)를 포함한다.
스테레오 부호화부(200)는 입력 신호(IN)에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호(IN)를 다운믹싱한다. 여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM 신호일 수 있다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보를 나타내는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
밴드 분할부(210)는 스테레오 부호화부(200)에서 출력된 다운믹싱된 신호를 저주파수 밴드 신호(LB) 및 고주파수 밴드 신호(HB)로 분할한다. 여기서, 저주파수 밴드 신호는 임의의 임계값 보다 낮은 주파수에 해당하는 신호이며, 고주파수 밴드 신호는 임의의 임계값 보다 높은 주파수에 해당하는 신호일 수 있다.
MDCT 적용부(220)는 밴드 분할부(210)에서 분할된 저주파수 밴드 신호(LB)에 대하여 MDCT를 수행하여, 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인으로 변환한다.
주파수 선형 예측 수행부(230)는 MDCT 적용부(220)에서 주파수 도메인으로 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(230)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류가 최소가 되도록 선형 예측 필터의 계수를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(230)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(230)는 MDCT 적용부(220)에서 주파수 도메인으로 변환된 저주파수 밴드 신호가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(230)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(240)는 MDCT 적용부(220)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(230)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도로 분석한다. 구체적으로, 멀티-레졸루션 분석부(240)는 오디오 스펙트럼의 변화의 격렬한 정도에 따라 주파수 선형 예측 수행부(230)에서 필터링된 오디오 스펙트럼을 두 가지 유형(예를 들어, 스테이빌 유형과 숏 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(240)는 MDCT 적용부(220)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(230)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(240)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(250)는 주파수 선형 예측 수행부(520)에서 필터링된 신호 또는 멀티-레졸루션 분석부(240)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(260)는 문맥을 기반으로 하여 양자화부(250)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(260)는 허프만 코딩을 이용하여 양자화부(250)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
이와 같이, 주파수 선형 예측 수행부(230), 멀티-레졸루션 분석부(240), 양자화부(250) 및 문맥-기반 비트플레인 부호화부(260)는 MDCT 적용부(220)에서 출력된 변환된 저주파수 밴드 신호에 대해서 부호화를 수행하므로, 저주파수 밴드 부호화부라고 할 수 있다.
저주파수 밴드 변환부(270)는 밴드 분할부(210)에서 분할된 저주파수 밴드 신호(LB)를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 예를 들어, 저주파수 밴드 변환부(270)는 MDST(Modified Discrete Sine Transform), FFT(Fast Fourier Transform), 및 QMF(Quadrature Mirror Filter) 등을 이용하여 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환할 수 있다. 여기서, 시간 도메인은 시간의 경과에 따라 저주파수 밴드 신호(LB)의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이다. 이에 비해, 주파수 도메인은 주파수의 변화에 따라 저주파수 밴드 신호(LB)의 크기를 나타내는 도메인이다. 시간/주파수 도메인은 시간의 경과 및 주파수의 변화에 따라 저주파수 밴드 신호(LB)의 크기를 나타내는 도메인이다.
고주파수 밴드 변환부(275)는 밴드 분할부(210)에서 분할된 고주파수 밴드 신호(HB)를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 여기서, 고주파밴드 변환부(275)는 저주파밴드 변환부(270)에서 이용하는 동일한 변환 기법을 이용한다. 예를 들어, 고주파수 밴드 변환부(275)는 MDST, FFT, 및 QMF 등을 이용하여 고주파수 밴드 신호(HB)를 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환할 수 있다.
대역폭 확장 부호화부(280)는 저주파수 밴드 변환부(270)에서 주파수 영역 또는 시간/주파수 영역으로 변환된 저주파수 밴드 신호를 이용하여, 고주파수 밴드 변환부(275)에서 주파수 영역 또는 시간/주파수 영역으로 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다. 보다 상세하게는, 대역폭 확장 부호화부(280)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 상술한 바와 같은 저주파수 밴드의 정보를 이용하여 대역폭 확장 정보를 생성할 수 있다. 본 발명의 다른 실시예에서, 대역폭 확장 부호화부(280)는 저주파수 밴드 신호에 대하여 부호화된 결과를 이용하여 대역폭 확장 정보를 생성할 수 있다.
다중화부(290)는 스테레오 부호화부(200), 주파수 선형 예측 수행부(230), 문맥-기반 비트플레인 부호화부(260) 및 대역폭 확장 부호화부(280)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한다.
도 3은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 3을 참조하면, 오디오 신호의 부호화 장치는 스테레오 부호화부(300), 밴드 분할부(310), 모드 결정부(320), MDCT 적용부(325), 주파수 선형 예측 수행부(330), 멀티-레졸루션 분석부(340), 양자화부(350), 문맥-기반 비트플레인 부호화부(360), 저주파수 밴드 변환부(370), 고주파수 밴드 변환부(375), 대역폭 확장 부호화부(380), CELP(Code Excited Linear Prediction) 부호화부(385) 및 다중화부(390)를 포함한다.
스테레오 부호화부(300)는 입력 신호(IN)에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호(IN)를 다운믹싱한다. 여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM 신호일 수 있다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보를 나타내는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
밴드 분할부(310)는 스테레오 부호화부(300)에서 출력된 다운믹싱된 신호를 저주파수 밴드 신호(LB) 및 고주파수 밴드 신호(HB)로 분할한다. 여기서, 저주파수 밴드 신호는 임의의 임계값 보다 낮은 주파수에 해당하는 신호이며, 고주파수 밴드 신호는 임의의 임계값 보다 높은 주파수에 해당하는 신호일 수 있다.
모드 결정부(320)는 소정의 기준에 따라 밴드 분할부(310)에서 분할된 저주파수 밴드 신호(LB)를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다. 예를 들어, 모드 결정부(320)는 MDCT 적용부(325)에서 출력된 정보에 따라 밴드 분할부(310)에서 분할된 저주파수 밴드 신호(LB)를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다.
MDCT 적용부(325)는 모드 결정부(320)에서 저주파수 밴드 신호(LB)를 주파수 도메인으로 부호화하는 것으로 결정된 경우, 저주파수 밴드 신호(LB)에 대하여 MDCT를 수행하여, 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, MDCT가 수행된 결과는 모드 결정부(320)에서 부호화 도메인을 결정하는데 이용될 수 있다.
주파수 선형 예측 수행부(330)는 MDCT 적용부(325)에서 주파수 도메인으로 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(330)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류가 최소가 되도록 선형 예측 필터의 계수를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(330)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(330)는 MDCT 적용부(325)에서 주파수 도메인으로 변환된 저주파수 밴드 신호가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(330)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(340)는 MDCT 적용부(325)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(330)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도로 분석한다. 구체적으로, 멀티-레졸루션 분석부(340)는 오디오 스펙트럼의 변화의 격렬한 정도 에 따라 주파수 선형 예측 수행부(330)에서 필터링된 오디오 스펙트럼을 두 가지 유형(예를 들어, 스테이빌 유형과 숏 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(340)는 MDCT 적용부(325)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(330)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(340)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(350)는 주파수 선형 예측 수행부(330)에서 필터링된 신호 또는 멀티-레졸루션 분석부(340)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(360)는 문맥을 기반으로 하여 양자화부(350)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(360)는 허프만 코딩을 이용하여 양자화부(350)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
이와 같이, 주파수 선형 예측 수행부(330), 멀티-레졸루션 분석부(340), 양자화부(350) 및 문맥-기반 비트플레인 부호화부(360)는 MDCT 적용부(325)에서 변환된 저주파수 밴드 신호에 대해서 부호화를 수행하므로, 저주파수 밴드 부호화부라고 할 수 있다.
저주파수 밴드 변환부(370)는 밴드 분할부(310)에서 분할된 저주파수 밴드 신호(LB)를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 예를 들어, 저주파수 밴드 변환부(370)는 MDST, FFT, 및 QMF 등을 이용하여 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환할 수 있다. 여기서, 시간 도메인은 시간의 경과에 따라 저주파수 밴드 신호(LB)의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이다. 이에 비해, 주파수 도메인은 주파수의 변화에 따라 저주파수 밴드 신호(LB)의 크기를 나타내는 도메인이다. 시간/주파수 도메인은 시간의 경과 및 주파수의 변화에 따라 저주파수 밴드 신호(LB)의 크기를 나타내는 도메인이다.
고주파수 밴드 변환부(375)는 밴드 분할부(310)에서 분할된 고주파수 밴드 신호(HB)를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 여기서, 고주파밴드 변환부(375)는 저주파밴드 변환부(370)에서 이용하는 동일한 변환 기법을 이용한다. 예를 들어, 고주파수 밴드 변환부(375)는 MDST, FFT, 및 QMF 등을 이용하여 고주파수 밴드 신호(HB)를 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환할 수 있다.
대역폭 확장 부호화부(380)는 저주파수 밴드 변환부(370)에서 주파수 도메인또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호를 이용하여, 고주파수 밴드 변환부(375)에서 주파수 도메인 또는 시간/주파수 도메인으로 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다. 보다 상세하게는, 대역폭 확장 부호화부(380)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 저주파수 밴드의 정보를 이용하여 상술한 바와 같은 대역폭 확장 정보를 생성할 수 있다. 본 발명의 다른 실시예에서, 대역폭 확장 부호화부(380)는 저주파수 밴드 신호에 대하여 부호화된 결과를 이용하여 대역폭 확장 정보를 생성할 수 있다.
CELP 부호화부(385)는 모드 결정부(320)에서 저주파수 밴드 신호(LB)를 시간 도메인으로 부호화하는 것으로 결정된 경우, 저주파수 밴드 신호(LB)를 CELP 방식에 의해 부호화한다. 여기서, CELP 방식은 입력된 저주파수 밴드 신호(LB)에 대하여 선형 예측을 수행하여 계산된 선형 예측 필터의 계수를 이용하여 저주파수 밴드 신호(LB)를 필터링하여 포먼트 성분을 부호화하고, 필터링된 신호에 대하여 적응 코드북(adaptive codebook) 및 고정 코드북(fixed codebook)를 검색하여 피치 성분을 부호화한다.
다중화부(390)는 스테레오 부호화부(300), 주파수 선형 예측 수행부(330), 문맥-기반 비트플레인 부호화부(360), 대역폭 확장 부호화부(380) 및 CELP 부호화부(385)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한다.
도 4는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 4를 참조하면, 오디오 신호의 부호화 장치는 스테레오 부호화부(400), 밴드 분할부(410), 모드 결정부(420), 제1 MDCT 적용부(425), 주파수 선형 예측 수행 부(430), 멀티-레졸루션 분석부(440), 양자화부(450), 문맥-기반 비트플레인 부호화부(460), 제2 MDCT 적용부(470), 제3 MDCT 적용부(475), 대역폭 확장 부호화부(480), CELP 부호화부(485) 및 다중화부(490)를 포함한다.
스테레오 부호화부(400)는 입력 신호(IN)에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호(IN)를 다운믹싱한다. 여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM 신호일 수 있다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보를 나타내는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
밴드 분할부(410)는 스테레오 부호화부(400)에서 출력된 다운믹싱된 신호를 저주파수 밴드 신호(LB) 및 고주파수 밴드 신호(HB)로 분할한다. 여기서, 저주파수 밴드 신호는 임의의 임계값 보다 낮은 주파수에 해당하는 신호이며, 고주파수 밴드 신호는 임의의 임계값 보다 높은 주파수에 해당하는 신호일 수 있다.
모드 결정부(420)는 소정의 기준에 따라 밴드 분할부(410)에서 분할된 저주파수 밴드 신호(LB)를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다. 예를 들어, 모드 결정부(420)는 제1 MDCT 적용부(425)에서 출력된 결과에 따라 밴드 분할부(410)에서 분할된 저주파수 밴드 신호(LB)를 시간 도메 인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다.
제1 MDCT 적용부(425)는 모드 결정부(420)에서 저주파수 밴드 신호(LB)를 주파수 도메인으로 부호화하는 것으로 결정된 경우, 저주파수 밴드 신호(LB)에 대하여 MDCT를 수행하여, 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 시간 도메인은 시간의 경과에 따라 저주파수 밴드 신호(LB)의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이다. 이에 비해, 주파수 도메인은 주파수의 변화에 따라 저주파수 밴드 신호(LB)의 크기를 나타내는 도메인이다. 여기서, MDCT가 수행된 결과는 모드 결정부(420)에서 부호화 도메인을 결정하는데 이용될 수 있다.
주파수 선형 예측 수행부(430)는 MDCT 적용부(425)에서 주파수 도메인으로 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(430)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류가 최소가 되도록 선형 예측 필터의 계수를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(430)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(430)는 MDCT 적용부(425)에서 주파수 도메인으로 변환된 저주파수 밴드 신호가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(430)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(440)는 MDCT 적용부(425)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(430)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도(multi-resolution)로 분석한다. 구체적으로, 멀티-레졸루션 분석부(440)는 오디오 스펙트럼의 변화의 격렬한 정도에 따라 주파수 선형 예측 수행부(430)에서 필터링된 오디오 스펙트럼을 두 가지 유형(예를 들어, 스테이빌 유형과 숏 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(440)는 MDCT 적용부(425)에서 주파수 도메인으로 변환된 저주파수 밴드 신호 또는 주파수 선형 예측 수행부(430)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(440)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(450)는 주파수 선형 예측 수행부(430)에서 필터링된 신호 또는 멀티-레졸루션 분석부(440)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(460)는 문맥을 기반으로 하여 양자화부(450)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(460)는 허프만 코딩을 이용하여 양자화부(450)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
이와 같이, 주파수 선형 예측 수행부(430), 멀티-레졸루션 분석부(440), 양자화부(450) 및 문맥-기반 비트플레인 부호화부(460)는 MDCT 적용부(425)에서 변환된 저주파수 밴드 신호에 대해서 부호화를 수행하므로, 저주파수 밴드 부호화부라고 할 수 있다.
제2 MDCT 적용부(470)는 밴드 분할부(410)에서 분할된 저주파수 밴드 신호(LB)에 대하여 MDCT를 수행하여, 저주파수 밴드 신호(LB)를 시간 도메인에서 주파수 도메인으로 변환한다. 모드 결정부(420)에서 저주파수 밴드 신호(LB)를 주파수 도메인으로 부호화하는 것으로 결정된 경우, 제2 MDCT 적용부(470)는 저주파수 밴드 신호(LB)에 대해 별도의 MDCT를 수행하지 않는다. 이 경우, 제1 MDCT 적용부(470)의 출력을 제2 MDCT 적용부(470)의 출력으로 대체한다.
제3 MDCT 적용부(475)는 밴드 분할부(410)에서 분할된 고주파수 밴드 신호(HB)에 대하여 MDCT를 수행하여, 고주파수 밴드 신호(HB)를 시간 도메인에서 주파수 도메인으로 변환한다.
대역폭 확장 부호화부(480)는 제2 MDCT 적용부(470)에서 주파수 도메인으로 변환된 저주파수 밴드 신호를 이용하여, 제3 MDCT 적용부(475)에서 주파수 도메인으로 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다. 보다 상세하게는, 대역폭 확 장 부호화부(480)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성을 기초로 저주파수 밴드의 정보를 이용하여 상술한 바와 같은 대역폭 확장 정보를 생성할 수 있다. 본 발명의 다른 실시예에서, 대역폭 확장 부호화부(480)는 저주파수 밴드 신호에 대하여 부호화된 결과를 이용하여 대역폭 확장 정보를 생성할 수 있다.
CELP 부호화부(485)는 모드 결정부(420)에서 저주파수 밴드 신호(LB)를 시간 도메인으로 부호화하는 것으로 결정된 경우, 저주파수 밴드 신호(LB)를 CELP 방식에 의해 부호화한다. 여기서, CELP 방식은 입력된 저주파수 밴드 신호(LB)에 대하여 선형 예측을 수행하여 계산된 선형 예측 필터의 계수를 이용하여 저주파수 밴드 신호(LB)를 필터링하여 포먼트 성분을 부호화하고, 필터링된 신호에 대하여 적응 코드북 및 고정 코드북를 검색하여 피치 성분을 부호화한다.
다중화부(490)는 스테레오 부호화부(400), 주파수 선형 예측 수행부(430), 문맥-기반 비트플레인 부호화부(460), 대역폭 확장 부호화부(480) 및 CELP 부호화부(485)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한다.
도 5는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 5를 참조하면, 오디오 신호의 부호화 장치는 변환부(500), 스테레오 부호화부(510), 역변환부(520), 모드 결정부(530), FV-MLT 적용부(535), 주파수 선형 예측 수행부(540), 멀티-레졸루션 분석부(550), 양자화부(560), 문맥-기반 비트플 레인 부호화부(570), 대역폭 확장 부호화부(580), CELP 부호화부(585) 및 다중화부(590)를 포함한다.
변환부(500)는 입력 신호(IN)를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 구체적으로, 변환부(500)는 MDST, FFT 및 QMF 등을 이용하여 입력 신호(IN)를 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 이 경우, 변환부(500)는 MDCT를 이용할 수 없는 것은 아니지만, MDCT를 사용할 경우에는 다른 실시예가 보다 효율적이다.
여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM 신호일 수 있다. 여기서, 시간 도메인은 시간의 경과에 따라 입력 신호(IN)의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이다. 이에 비해, 주파수 도메인은 주파수의 변화에 따라 입력 신호(IN)의 크기를 나타내는 도메인이다. 시간/주파수 도메인은 시간의 경과 및 주파수의 변화에 따라 입력 신호(IN)의 크기를 나타내는 도메인이다.
스테레오 부호화부(510)는 변환부(500)에서 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 변환된 신호를 다운믹싱한다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보를 나타내 는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
역변환부(520)는 스테레오 부호화부(510)에서 다운믹싱된 신호를 주파수 도메인 또는 시간/주파수 도메인에서 시간 도메인으로 역변환한다. 이 경우, 역변환부(520)는 변환부(500)에서 이용하는 변환 기법에 대응되는 역변환 기법을 이용할 수 있다. 예를 들어, 변환부(500)에서 QMF를 이용한 경우, 역변환부(520)는 역 QMF를 이용할 수 있다.
모드 결정부(530)는 소정의 기준에 따라 역변환부(520)에서 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다. 예를 들어, 모드 결정부(530)는 FV-MLT 적용부(535)에서 출력된 결과에 따라 역변환부(520)에서 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정할 수 있다.
FV-MLT 적용부(535)는 모드 결정부(530)에서 부호화 도메인이 결정된 신호에 대하여 FV-MLT(Frequency Varying Modulated Lapped Transform)를 수행하여, 모드 결정부(420)에서 부호화 도메인이 결정된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인 변환한다. 보다 상세하게 설명하면, FV-MLT는 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 시간 도메인 또는 주파수 도메인으로 표현할 수 있는 적응적인(flexible) 변환 방식이다. 여기서, FV-MLT가 수행 된 결과는 모드 결정부(530)에서 부호화 도메인을 결정하는데 이용될 수 있다.
주파수 선형 예측 수행부(540)는 모드 결정부(530)에서 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우, FV-MLT 적용부(535)에서 주파수 도메인으로 변환된 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(540)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류가 최소가 되도록 선형 예측 필터의 계수를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(540)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(540)는 FV-MLT 적용부(535)에서 주파수 도메인으로 변환된 신호가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(540)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(550)는 FV-MLT 적용부(535)에서 주파수 도메인으로 변환된 신호 또는 주파수 선형 예측 수행부(540)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도로 분석한다. 구체적으로, 멀티-레졸루션 분석부(550)는 오디오 스펙트럼의 변화의 격렬한 정도에 따라 주파 수 선형 예측 수행부(540)에서 필터링된 오디오 스펙트럼을 두 가지 유형(예를 들어, 스테이빌 유형과 숏 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(550)는 FV-MLT 적용부(535)에서 주파수 도메인으로 변환된 신호 또는 주파수 선형 예측 수행부(540)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(550)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(560)는 주파수 선형 예측 수행부(540)에서 필터링된 신호 또는 멀티-레졸루션 분석부(550)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(570)는 문맥을 기반으로 하여 양자화부(560)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(570)는 허프만 코딩을 이용하여 양자화부(560)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
대역폭 확장 부호화부(580)는 스테레오 부호화부(510)에서 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
CELP 부호화부(585)는 모드 결정부(530)에서 신호를 시간 도메인으로 부호화하는 것으로 결정된 경우, FV-MLT 적용부(535)에서 시간 도메인으로 변환된 신호를 CELP 방식에 의해 부호화한다. 여기서, CELP 방식은 입력된 신호에 대하여 선형 예측을 수행하여 계산된 선형 예측 필터의 계수를 이용하여 신호를 필터링하여 포먼트 성분을 부호화하고, 필터링된 신호에 대하여 적응 코드북 및 고정 코드북를 검색하여 피치 성분을 부호화한다.
다중화부(590)는 스테레오 부호화부(500), 주파수 선형 예측 수행부(540), 문맥-기반 비트플레인 부호화부(570), 대역폭 확장 부호화부(580) 및 CELP 부호화부(585)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한다.
도 6은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 6을 참조하면, 오디오 신호의 부호화 장치는 모드 결정부(600), FV-MLT 적용부(610), 스테레오 부호화부(620), 주파수 선형 예측 수행부(630), 멀티-레졸루션 분석부(640), 양자화부(650), 문맥-기반 비트플레인 부호화부(660), 대역폭 확장 부호화부(670), CELP 부호화부(680) 및 다중화부(690)를 포함한다.
모드 결정부(600)는 소정의 기준에 따라 입력 신호(IN)를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다. 여기서, 입력 신호(IN)는 아날로그의 음성 신호 또는 오디오 신호를 디지털 신호로 변조한 PCM 신호일 수 있다. 예를 들어, 모드 결정부(600)는 FV-MLT 적용부(610)에서 출력된 결과에 따라 입력 신호(IN)를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다.
FV-MLT 적용부(610)는 모드 결정부(600)에서 부호화 도메인이 결정된 신호에 대하여 FL-MLT(Frequency Varying Modulated Lapped Transform)를 수행하여, 모드 결정부(600)에서 부호화 도메인이 결정된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환한다. 보다 상세하게 설명하면, FV-MLT는 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도를 조절하여 소정의 서브 밴드에 대하여 시간 도메인 또는 주파수 도메인으로 표현할 수 있는 적응적인 변환 방식이다. 여기서, FV-MLT가 수행된 결과는 모드 결정부(600)에서 부호화 도메인을 결정하는데 이용될 수 있다. 여기서, 시간 도메인은 시간의 경과에 따라 입력 신호(IN)의 크기(예를 들어, 에너지 또는 음압 등)를 나타내는 도메인이다. 이에 비해, 주파수 도메인은 주파수의 변화에 따라 신호의 크기를 나타내는 도메인이다. 시간/주파수 도메인은 시간의 경과 및 주파수의 변화에 따라 신호의 크기를 나타내는 도메인이다.
스테레오 부호화부(620)는 FV-MLT 적용부(610)에서 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 변환된 신호를 다운믹싱한다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화 과정에 할당되는 비트량을 줄일 수 있다.
구체적으로, 스테레오 파라미터는 스테레오 신호에 대한 부가 정보를 나타내는 것으로, 부가 정보는 좌채널 신호 및 우채널 신호의 채널 간의 위상차 또는 강도차 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
주파수 선형 예측 수행부(630)는 모드 결정부(600)에서 입력 신호(IN)를 주파수 도메인으로 부호화하는 것으로 결정된 경우, FV-MLT 적용부(610)에서 주파수 도메인으로 변환된 신호에 대하여 주파수 선형 예측을 수행한다. 여기서, 주파수 선형 예측은 현재 주파수에서의 신호를 이전 주파수에서의 신호의 선형 조합으로 근사하는 방법이다. 구체적으로, 주파수 선형 예측 수행부(630)는 선형 예측이 수행된 신호와 현재 주파수에서의 신호 사이의 차이인 예측 오류가 최소가 되도록 선형 예측 필터의 계수를 계산하고, 계산된 계수에 따라 주파수 도메인으로 변환된 저주파수 밴드 신호를 선형 예측 필터링한다. 이 때, 주파수 선형 예측 수행부(630)는 선형 예측 필터의 계수에 대응되는 값에 대하여 벡터 인덱스로 표현하는 벡터 양자화를 수행하여 부호화의 효율을 향상시킬 수 있다.
구체적으로, 주파수 선형 예측 수행부(630)는 FV-MLT 적용부(610)에서 주파수 도메인으로 변환된 신호가 음성(speech) 신호 또는 피치드(pitched) 신호인 경우에 주파수 선형 예측을 수행할 수 있다. 다시 말해, 주파수 선형 예측 수행부(630)는 입력되는 신호의 특성에 따라 주파수 선형 예측을 수행하여 부호화의 효율을 향상시킬 수 있다.
멀티-레졸루션 분석부(640)는 FV-MLT 적용부(610)에서 주파수 도메인으로 변환된 신호 또는 주파수 선형 예측 수행부(630)에서 필터링된 신호를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수를 다해상도(multi-resolution)로 분석한다. 구체적으로, 멀티-레졸루션 분석부(640)는 오디오 스펙트럼의 변화의 격렬한 정도에 따라 주파수 선형 예측 수행부(630)에서 필터링된 오디오 스펙트럼을 두 가 지 유형(예를 들어, 스테이빌 유형과 숏 유형)으로 나누어 분석할 수 있다.
구체적으로, 멀티-레졸루션 분석부(640)는 FV-MLT 적용부(610)에서 주파수 도메인으로 변환된 신호 또는 주파수 선형 예측 수행부(630)에서 필터링된 신호가 트렌젼트(transient) 신호인 경우에 멀티-레졸루션으로 분석할 수 있다. 다시 말해, 멀티-레졸루션 분석부(640)는 입력되는 신호의 특성에 따라 멀티-레졸루션 분석을 수행하여 부호화의 효율을 향상시킬 수 있다.
양자화부(650)는 주파수 선형 예측 수행부(630)에서 필터링된 신호 또는 멀티-레졸루션 분석부(640)에서 출력된 결과를 양자화한다.
문맥-기반 비트플레인 부호화부(660)는 문맥을 기반으로 하여 양자화부(650)에서 양자화된 결과를 비트플레인으로 부호화한다. 구체적으로, 문맥-기반 비트 플레인 부호화부(660)는 허프만 코딩을 이용하여 양자화부(650)에서 양자화된 결과를 비트플레인으로 부호화할 수 있다.
대역폭 확장 부호화부(670)는 스테레오 부호화부(620)에서 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화한다. 여기서, 대역폭 확장 정보는 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 다양한 정보를 포함할 수 있음은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.
CELP 부호화부(680)는 모드 결정부(530)에서 입력 신호(IN)를 시간 도메인으로 부호화하는 것으로 결정된 경우, 스테레오 부호화부(620)에서 다운믹싱된 신호를 CELP 방식에 의해 부호화한다. 여기서, CELP 방식은 다운믹싱된 신호에 대하여 선형 예측을 수행하여 계산된 선형 예측 필터의 계수를 이용하여 다운믹싱된 신호를 필터링하여 포먼트 성분을 부호화하고, 필터링된 신호에 대하여 적응 코드북 및 고정 코드북을 검색하여 피치 성분을 부호화한다.
다중화부(690)는 스테레오 부호화부(620), 주파수 선형 예측 수행부(630), 문맥-기반 비트플레인 부호화부(660), 대역폭 확장 부호화부(670) 및 CELP 부호화부(680)에서 부호화를 수행한 결과를 다중화하여 비트 스트림을 생성하고 출력 단자 OUT을 통해 출력한다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 7을 참조하면, 오디오 신호의 복호화 장치는 역다중화부(700), 문맥-기반 비트플레인 복호화부(710), 역양자화부(720), 멀티-레졸루션 합성부(730), 역 주파수 선형 예측 수행부(740), 대역폭 확장 복호화부(750), 제1 역 MDCT 적용부(760), 제2 역 MDCT 적용부(770), 밴드 합성부(780) 및 스테레오 복호화부(790)를 포함한다.
역다중화부(700)는 부호화단으로부터 출력된 비트 스트림(bit stream)을 입력받아 역다중화한다. 여기서, 역다중화부(700)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원(reconstruction) 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보(Signal type information), 주파수 선형 예측 및 벡터 양자화(Frequency-domain linear prediction and vector quantization)의 정보, 부호화된 대역폭 확장 정보 및 부호 화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(710, Context-dependent Bit plane decoding unit)는 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(710)는 역다중화부(700)로부터 출력된 정보를 입력받아 허프먼 복호화(Huffman decoding)를 진행하여 주파수 스펙트럼, 코딩 밴드 모드(coding band mode) 정보 및 스케일 팩터(scale factor) 등을 복원한다. 구체적으로, 문맥-기반 비트플레인 복호화부(710)는 프레주디스 코딩 밴드 모드(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주디스 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(720)는 문맥-기반 비트플레인 복호화부(710)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(730, Multi-resolution synthesis unit)는 역양자화부(720)의 출력을 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수의 멀티-레졸루션(Multi-resolution)을 처리한다. 구체적으로, 멀티-레졸루션 합성부(730)는 오디오 신호가 부호화단에서 멀티-레졸루션으로 분석된 경우에 역양자화부(720)의 출력을 멀티-레졸루션으로 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(740)는 역 양자화 스펙트럼/차 스텍트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트 럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(740, inverse frequency linear prediction performing unit)은 멀티-레졸루션 합성부(730)의 출력과 역다중화부(700)로부터 입력받은 부호화단에서 주파수 선형 예측을 수행한 결과를 합성한다. 구체적으로, 역 주파수 선형 예측 수행부(740)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(720)의 출력 또는 멀티-레졸루션 합성부(730)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(740)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(740)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스(index)를 입력받아 MDCT 스펙트럼 계수를 출력한다.
대역폭 확장 부호화부(750)는 역다중화부(700)로부터 입력받은 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 역 주파수 선형 예측 수행부(740)에서 출력된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 복호화부(750)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 복호화된 대역폭 확장 정보를 저주파수 밴드 신호에 적용함으로써 고주파 밴드 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
제1 역 MDCT 적용부(760)는 부호화단에 대한 역변환 과정으로서 역 주파수 선형 예측 수행부(740)에서 출력된 저주파수 밴드 신호에 대하여 역 MDCT(inverse MDCT)를 수행하여 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제1 역 MDCT 적용부(760)는 역 주파수 선형 예측 수행부(740)에서 역양자화한 결과로 얻은 주파수 스펙트럼 계수를 입력받아 저주파수 밴드에 해당하는 복원된 오디오 데이터로 출력한다.
제2 역 MDCT 적용부(770)는 대역폭 확장 복호화부(750)에서 복호화된 고주파수 밴드 신호를 역 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
밴드 합성부(780)는 제1 역 MDCT 적용부(760)에서 시간 도메인으로 변환된 저주파수 밴드 신호와 제2 역 MDCT 적용부(770)에서 시간 도메인으로 변환된 고주파수 밴드 신호를 합성한다.
스테레오 복호화부(790)는 역다중화부(700)로부터 입력받은 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 밴드 합성부(780)에서 합성된 신호를 업믹싱(up-mixing)하여 출력단자 OUT을 통해 출력한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
도 8은 본 발명의 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 8을 참조하면, 오디오 데이터 복호화 장치는 역다중화부(800), 문맥-기반 비트플레인 복호화부(810), 역양자화부(820), 멀티-레졸루션 합성부(830), 역 주파수 선형 예측 수행부(840), 역 MDCT 적용부(850), 변환부(855), 대역폭 확장 복호 화부(860), 역변환부(870), 밴드 합성부(880) 및 스테레오 복호화부(890)를 포함한다.
역다중화부(800)는 부호화단으로부터 출력된 비트 스트림(bit stream)을 입력받아 역다중화한다. 역다중화부(800)는 데이터 레벨의 각 부분을 각 단위에 대응하는 데이터 부분으로 분리하며, 해당 단위에 그와 관련된 비트스트림의 정보를 분석하여 출력한다. 여기서, 역다중화부(800)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보, 주파수 선형 예측 및 벡터 양자화의 정보, 부호화된 대역폭 확장 정보 및 부호화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(810)는 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(810)는 역다중화부(800)로부터 출력된 정보를 입력받아 허프먼 복호화를 진행하여 주파수 스펙트럼, 코딩 밴드 모드 정보, 및 스케일 팩터를 복원한다. 구체적으로, 문맥-기반 비트플레인 복호화부(810)는 프레주디스 코딩 밴드 모드(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주디스 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(820)는 문맥-기반 비트플레인 복호화부(710)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(830)는 역양자화부(820)의 출력을 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수에 대하여 멀티-레졸루션을 처리한다. 구체적으로, 멀티-레졸루션 합성부(830)는 오디오 신호가 부호화단에서 멀티-레졸루션으로 분석된 경우에 역양자화부(820)의 출력을 멀티-레졸루션으로 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(830)는 역 양자화 스펙트럼/차 스펙트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(840)는 멀티-레졸루션 합성부(830)의 출력과 역다중화부(800)로부터 부호화단에서 주파수 선형 예측을 수행한 결과를 합성하고 역-벡터 양자화를 수행한다. 구체적으로, 역 주파수 선형 예측 수행부(840)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(820)의 출력 또는 멀티-레졸루션 합성부(830)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(840)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(840)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스를 입력받아 MDCT 스펙트럼 계수를 출력한다.
역 MDCT 적용부(850)는 역 주파수 선형예측 수행부(840)에서 출력된 저주파수 밴드 신호를 역 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 역 MDCT 적용부(850)는 역 주파수 선형 예측 수행부(840)에서 역양자화한 결과로 얻은 주파수 스펙트럼 계수를 입력받아 저주파수 밴드에 해당하는 복원된 오디오 데이터로 출력한다.
변환부(855)는 역 MDCT 적용부(850)에서 시간 도메인으로 변환된 저주파수 밴드 신호를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 변환부(855)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다. 변환부(855)에서 MDCT를 적용하여 실시할 수 없는 것은 아니지만 MDCT를 사용할 경우에는 도 7에 도시된 실시예가 보다 효율적이다.
대역폭 확장 복호화부(860)는 역다중화부(800)에서 출력된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 변환부(855)에서 주파수 영역 또는 시간/주파수 영역으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 복호화부(860)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 복호화된 대역폭 확장 정보를 저주파수 밴드 신호에 적용함으로써 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
역변환부(870)는 대역폭 확장 복호화부(860)에서 생성된 고주파수 밴드 신호를 MDCT 이외의 변환 기법을 이용하여 주파수 도메인 또는 시간/주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 역변환부(870)는 변환부(855)에서 이용하는 동일한 변환 기법을 이용한다. 역변환부(870)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다.
밴드 합성부(880)는 역 MDCT 적용부(850)에서 시간 도메인으로 변환된 저주파수 밴드 신호와 역변환부(870)에서 시간 도메인으로 변환된 고주파수 밴드 신호를 합성한다.
스테레오 복호화부(890)는 역다중화부(800)에서 출력된 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 밴드 합성부(880)에서 합성된 신호를 업믹싱하여 출력단자 OUT을 통해 출력한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
도 9는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 9를 참조하면, 오디오 데이터 복호화 장치는 역다중화부(900), 문맥-기반 비트플레인 복호화부(910), 역양자화부(920), 멀티-레졸루션 합성부(930), 역 주파수 선형 예측 수행부(940), 역 MDCT 적용부(950), 변환부(955), 대역폭 확장 복호화부(960), 역변환부(965), CELP 복호화부(970), 밴드 합성부(980) 및 스테레오 복호화부(990)를 포함한다.
역다중화부(900)는 부호화단으로부터 출력된 비트 스트림을 입력받아 역다중화한다. 구체적으로, 역다중화부(900)는 데이터 레벨의 각 부분을 각 단위에 대응하는 데이터 부분으로 분리하며, 해당 단위에 그와 관련된 비트스트림의 정보를 분 석하여 출력한다. 여기서, 역다중화부(900)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보, 주파수 선형 예측 및 벡터 양자화의 정보, 부호화된 대역폭 확장 정보, CELP 부호화 정보 및 부호화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(910)는 역다중화부(900)에서 역다중화된 결과가 주파수 도메인에서 부호화된 경우, 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(910)는 역다중화부(900)로부터 출력된 정보를 입력받아 허프먼 복호화를 진행하여 주파수 스펙트럼, 코딩 밴드 모드 정보, 및 스케일 팩터를 복원한다. 구체적으로, 문맥-기반 비트플레인 복호화부(910)는 프레주디스(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주드시 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(920)는 문맥-기반 비트플레인 복호화부(910)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(930)는 역양자화부(920)에서 출력된 결과를 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수의 멀티-레졸루션을 처리한다. 구체적으로, 멀티-레졸루션 합성부(930)는 오디오 신호가 부호화단에서 멀티-레졸루션으로 분석된 경우에 역양자화부(920)의 출력을 멀티-레졸루션으로 합성하여 복호 화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(930)는 역 양자화 스펙트럼/차 스펙트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(940)는 멀티-레졸루션 합성부(930)의 출력과 역다중화부(900)로부터 입력받은 부호화단에서 주파수 선형 예측을 수행한 결과를 합성하고 역-벡터 양자화를 수행한다. 구체적으로, 역 주파수 선형 예측 수행부(940)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(920)의 출력 또는 멀티-레졸루션 합성부(930)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(940)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(940)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스를 입력받아 MDCT 스펙트럼 계수를 출력한다.
역 MDCT 적용부(950)는 역 주파수 선형 예측 수행부(940)에서 출력된 저주파수 밴드 신호를 역 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 역 MDCT 적용부(950)는 역 주파수 선형 예측 수행부(740)에서 역양자화한 결과로 얻은 주파수 스펙트럼 계수를 입력받아 저주파수 밴드에 해당하는 복원된 오디오 데이터로 출력한다.
변환부(955)는 역 MDCT 적용부(950)에서 시간 도메인으로 변환된 저주파수 밴드 신호를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 변환부(955)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다. 변환부(955)에서 MDCT를 적용하여 실시할 수 없는 것은 아니지만 MDCT를 사용할 경우에는 도 7에 도시된 실시예가 보다 효율적이다.
대역폭 확장 복호화부(960)는 역다중화부(900)에서 출력된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 변환부(955)에서 주파수 영역 또는 시간/주파수 영역으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 복호화부(960)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 복호화된 대역폭 확장 정보를 저주파수 밴드 신호에 적용함으로써 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
역변환부(965)는 대역폭 확장 복호화부(960)에서 복호화된 고주파수 밴드 신호를 MDCT 이외의 변환 기법을 이용하여 주파수 도메인 또는 시간-주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 역변환부(965)는 변환부(955)에서 이용하는 동일한 변환 기법을 이용한다. 역변환부(965)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다.
CELP 복호화부(970)는 역다중화부(900)에서 역다중화된 결과가 시간 도메인에서 부호화된 경우, CELP 부호화 정보를 수신하여 저주파수 밴드 신호를 CELP 복 호화 방식에 의해 복호화한다. 여기서, CELP 부호화 정보는 시간 도메인에서 CELP 방식에 의해 부호화된 결과로서, 고정 코드북의 인덱스 및 게인, 적응 코드북의 지연 및 게인, 및 선형 예측 필터의 계수 등을 포함한다. 구체적으로, CELP 복호화 방식은 고정 코드북의 인덱스 및 게인, 적응 코드북의 지연 및 게인을 이용하여 신호를 복원하고, 선형 예측 필터의 계수를 이용하여 복원된 신호를 합성하여 CELP 부호화 방식에 의해 부호화된 신호를 복호화한다.
밴드 합성부(980)는 역 MDCT 적용부(950)에서 출력된 저주파수 밴드 신호, 역변환부(965)에서 역변환된 고주파수 밴드 신호 및 CELP 복호화부(970)에서 복호화된 신호를 합성한다.
스테레오 복호화부(990)는 역다중화부(900)에서 출력된 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 밴드 합성부(980)에서 합성된 신호를 업믹싱하여 출력단자 OUT을 통해 출력한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
도 10은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 10을 참조하면, 오디오 신호의 복호화 장치는 역다중화부(1000), 문맥-기반 비트플레인 복호화부(1010), 역양자화부(1020), 멀티-레졸루션 합성부(1030), 역 주파수 선형 예측 수행부(1040), 제1 역 MDCT 적용부(1050), CELP 복호화부(1060), MDCT 적용부(1065), 대역폭 확장 복호화부(1070), 제2 역 MDCT 적용 부(1075), 밴드 합성부(1080) 및 스테레오 복호화부(1090)를 포함한다.
역다중화부(1000)는 부호화단으로부터 출력된 비트 스트림을 입력받아 역다중화한다. 구체적으로, 역다중화부(1000)는 데이터 레벨의 각 부분을 각 단위에 대응하는 데이터 부분으로 분리하며, 해당 단위에 그와 관련된 비트스트림의 정보를 분석하여 출력한다. 여기서, 역다중화부(1000)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보, 주파수 선형 예측 및 벡터 양자화의 정보, 부호화된 대역폭 확장 정보, CELP 부호화 정보 및 부호화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(1010)는 역다중화부(1000)에서 역다중화된 결과가 주파수 도메인에서 부호화된 경우, 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(1010)는 역다중화부(1000)로부터 출력된 정보를 입력받아 허프먼 복호화를 진행하여 주파수 스펙트럼, 코딩 밴드 모드 정보 및 스케일 팩터를 복원한다. 구체적으로, 문맥-기반 비트플레인 복호화부(1010)는 프레주디스 코딩 밴드 모드(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주디스 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(1020)는 문맥-기반 비트플레인 복호화부(1010)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(1030)는 역양자화부(1020)의 출력을 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수의 멀티-레졸루션을 처리한다. 구체적으로, 멀티-레졸루션 합성부(1030)는 오디오 신호가 부호화단에서 멀티-레졸루션으로 분석된 경우에 역양자화부(1020)의 출력을 멀티-레졸루션으로 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(1030)는 역 양자화 스펙트럼/차 스펙트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(1040)은 멀티-레졸루션 합성부(1030)의 출력과 역다중화부(1000)로부터 입력받은 부호화단에서 주파수 선형 예측을 수행한 결과를 합성한다. 구체적으로, 역 주파수 선형 예측 수행부(1040)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(1020)의 출력 또는 멀티-레졸루션 합성부(1030)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(1040)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(1040)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스를 입력받아 MDCT 스펙트럼 계수를 출력한다.
제1 역 MDCT 적용부(1050)는 역 주파수 선형 예측 수행부(1040)에서 출력된 신호를 역 MDCT에 의해 주파수 도메인에서 시간 도메인으로 변환한다. 여기서, 제1 역 MDCT 적용부(1050)는 역 주파수 선형 예측 수행부(1040)에서 역양자화한 결과로 얻은 주파수 스펙트럼 계수를 입력받아 저주파수 밴드에 해당하는 복원된 오디오 데이터로 출력한다.
CELP 복호화부(1060)는 역다중화부(1000)에서 역다중화된 결과가 시간 도메인에서 부호화된 경우, CELP 부호화 정보를 수신하여 저주파수 밴드 신호를 CELP 복호화 방식에 의해 복호화한다. 여기서, CELP 부호화 정보는 시간 도메인에서 CELP 방식에 의해 부호화된 결과이다.
MDCT 적용부(1065)는 역다중화부(1000)에서 역다중화된 결과가 시간 도메인에서 부호화된 경우, CELP 복호화부(1060)에서 복호화된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환한다. 또한, MDCT 적용부(1065)는 역다중화부(1000)에서 역다중화된 결과가 주파수 도메인에서 부호화된 경우, 별도로 MDCT를 수행하지 않고, 역 주파수 선형 예측 수행부(1040)의 출력을 MDCT 적용부(1065)의 출력으로 대체한다.
대역폭확장 복호화부(1070)는 역다중화부(1000)에서 출력된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 MDCT 적용부(1065)에서 출력된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다. 여기서, 대역폭확장 복호화부(1070)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 복호화된 대역폭 확장 정보를 저주파수 밴드 신호에 적용함으로써 고주파수 밴드 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고 주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
제2 역 MDCT 적용부(1075)는 대역폭 확장 복호화부(1070)에서 복호화된 고주파수 밴드 신호를 역 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
밴드 합성부(1080)는 제1 역 MDCT 적용부(1050)에서 시간 도메인으로 변환된 저주파수 밴드 신호와 제2 역 MDCT 적용부(1075)에서 시간 도메인으로 변환된 고주파수 밴드 신호를 합성한다.
스테레오 복호화부(1090)는 역다중화부(1000)에서 출력된 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 밴드 합성부(1080)에서 합성된 신호를 업믹싱하여 출력단자 OUT을 통해 출력한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
도 11은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 11을 참조하면, 오디오 데이터 복호화 장치는 역다중화부(1100), 문맥-기반 비트플레인 복호화부(1110), 역양자화부(1120), 멀티-레졸루션 합성부(1130), 역 주파수 선형 예측 수행부(1140), CELP 복호화부(1150), 역 FV-MLT 적용부(1160), 변환부(1165), 대역폭 확장 복호화부(1170), 스테레오 복호화부(1180) 및 역변환부(1190)를 포함한다.
역다중화부(1100)는 부호화단으로부터 출력된 비트 스트림을 입력받아 역다중화한다. 역다중화부(1100)는 데이터 레벨의 각 부분을 각 단위에 대응하는 데이 터 부분으로 분리하며, 해당 단위에 그와 관련된 비트스트림의 정보를 분석하여 출력한다. 여기서, 역다중화부(1100)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보(Signal type information), 주파수 선형 예측 및 벡터 양자화의 정보, CELP 부호화 정보, 부호화된 대역폭 확장 정보 및 부호화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(1110)는 역다중화부(1000)에서 역다중화된 결과가 주파수 도메인에서 부호화된 경우, 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(1110)는 역다중화부(1100)로부터 출력된 정보를 입력받아 허프먼 복호화를 진행하여 주파수 스펙트럼, 코딩 밴드 모드 정보, 및 스케일 팩터를 복원한다. 구체적으로, 문맥-기반 비트플레인 복호화부(1110)는 프레주디스 코딩 밴드 모드(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주디스 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(1120)는 문맥-기반 비트플레인 복호화부(1110)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(1130)는 역양자화부(1120)의 출력을 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수에 대하여 멀티-레졸루션을 처리한다. 구체적으로, 멀티-레졸루션 합성부(1130)는 오디오 신호가 부호화단에서 멀티-레졸루 션으로 분석된 경우에 역양자화부(1120)의 출력을 멀티-레졸루션으로 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(1130)는 역 양자화 스펙트럼/차 스펙트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(1140)는 멀티-레졸루션 합성부(1130)의 출력과 역다중화부(1100)로부터 부호화단에서 주파수 선형 예측을 수행한 결과를 합성하고 역-벡터 양자화를 수행한다. 구체적으로, 역 주파수 선형 예측 수행부(1140)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(1120)의 출력 또는 멀티-레졸루션 합성부(1130)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(1140)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(1140)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스를 입력받아 MDCT 스펙트럼 계수를 출력한다.
CELP 복호화부(1150)는 역다중화부(1000)에서 역다중화된 결과가 시간 도메인에서 부호화된 경우, CELP 부호화 정보를 복호화한다. 여기서, CELP 부호화 정보는 시간 도메인에서 CELP 방식에 의해 부호화된 결과이다.
역 FV-MLT 적용부(1160)는 역 주파수 선형 예측 수행부(1140)에서 출력된 신호에 대하여 역 FV-MLT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하고, 상기 시간 도메인으로 변환된 신호와 CELP 복호화부(1150)에서 출력된 신호를 합성하여 시간 도메인으로 변환된 신호를 출력한다.
변환부(1165)는 역 FV-MLT 적용부(1160)에서 시간 도메인으로 변환된 신호를 MDCT 이외의 변환 기법을 이용하여 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 변환부(1165)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다. 변환부(1165)에서 MDCT를 적용하여 실시할 수 없는 것은 아니지만 MDCT를 사용할 경우에는 도 10에 도시된 실시예가 보다 효율적이다.
대역폭 확장 복호화부(1170)는 역다중화부(1100)에서 출력된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 변환부(1165)에서 주파수 영역 또는 시간/주파수 영역으로 변환된 신호로부터 전 대역의 신호를 생성한다. 여기서, 대역폭 확장 복호화부(1170)는 오디오 신호의 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재한다는 특성에 기초하여 복호화된 대역폭 확장 정보를 변환부(1165)에서 출력된 신호에 적용함으로써 전 대역의 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
스테레오 복호화부(1180)는 역다중화부(1100)에서 출력된 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 대역폭 확장 복호화부(1170)에서 출력된 신호를 업믹싱한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
역변환부(1190)는 스테레오 복호화부(1180)에서 업믹싱된 신호를 MDCT 이외의 변환 기법을 이용하여 주파수 도메인 또는 시간/주파수 도메인에서 시간 도메인으로 역변환하여 출력 단자 OUT을 통해 출력한다. 여기서, 역변환부(1190)는 변환부(1165)에서 이용하는 동일한 변환 기법을 이용한다. 역변환부(1190)에서 이용하는 변환 기법의 예로 MDST, FFT, 및 QMF 등이 있다.
도 12는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 12를 참조하면, 오디오 데이터 복호화 장치는 역다중화부(1200), 문맥-기반 비트플레인 복호화부(1210), 역양자화부(1220), 멀티-레졸루션 합성부(1230), 역 주파수 선형 예측 수행부(1240), CELP 복호화부(1250), MDCT 적용부(1260), 대역폭 확장 복호화부(1270), 스테레오 복호화부(1280) 및 역 FV-MLT 적용부(1290)를 포함한다.
역다중화부(1200)는 부호화단으로부터 출력된 비트 스트림을 입력받아 역다중화한다. 역다중화부(1200)는 데이터 레벨의 각 부분을 각 단위에 대응하는 데이터 부분으로 분리하며, 해당 단위에 그와 관련된 비트스트림의 정보를 분석하여 출력한다. 여기서, 역다중화부(1200)가 출력하는 정보는 오디오 스펙트럼 스트림의 설명 분석, 양자화 값과 기타 복원 정보, 양자화 스펙트럼의 복원 정보, 문맥-기반 비트플레인 복호화의 정보, 신호 타입 정보, 주파수 선형 예측 및 벡터 양자화의 정보, CELP 부호화 정보, 부호화된 대역폭 확장 정보 및 부호화된 스테레오 파라미터 등이 있다.
문맥-기반 비트플레인 복호화부(1210)는 역다중화부(1000)에서 역다중화된 결과가 주파수 도메인에서 부호화된 경우, 부호화된 비트플레인을 문맥을 기반으로 복호화한다. 여기서, 문맥-기반 비트플레인 복호화부(1210)는 역다중화부(1200)로부터 출력된 정보를 입력받아 허프먼 복호화를 진행하여 주파수 스펙트럼, 코딩 밴드 모드 정보, 및 스케일 팩터를 복원한다. 문맥-기반 비트플레인 복호화부(1210)는 프레주디스 코딩 밴드 모드(Prejudice coding band mode) 정보, 프레주디스 코딩(Prejudice coding)의 스케일 팩터, 및 프레주디스 코딩(Prejudice coding)의 주파수 스펙트럼을 입력받아 코딩 밴드 모드 수치, 스케일 팩터의 복호화 코스메틱(decoding cosmetic) 표시, 주파수 스펙트럼의 양자화 값을 출력한다.
역양자화부(1220)는 문맥-기반 비트플레인 복호화부(1210)에서 출력된 결과를 역양자화한다.
멀티-레졸루션 합성부(1230)는 역양자화부(1220)의 출력을 입력받아 순간적으로 변하는 신호의 오디오 스펙트럼 계수의 멀티-레졸루션을 처리한다. 구체적으로, 멀티-레졸루션 합성부(1230)는 오디오 신호가 부호화단에서 멀티-레졸루션으로 분석된 경우에 역양자화부(1220)의 출력을 멀티-레졸루션으로 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 멀티-레졸루션 합성부(1230)는 역 양자화 스펙트럼/차 스펙트럼(reserve quantization spectrum/difference spectrum)을 입력받아 복원 스펙트럼/차 스펙트럼(reconstruction spectrum/difference spectrum)을 출력한다.
역 주파수 선형 예측 수행부(1240)는 멀티-레졸루션 합성부(1230)의 출력과 역다중화부(1200)로부터 입력받은 부호화단에서 주파수 선형 예측을 수행한 결과를 합성하고 역-벡터 양자화를 수행한다. 구체적으로, 역 주파수 선형 예측 수행부(1240)는 오디오 신호가 부호화단에서 주파수 선형 예측이 수행된 경우에 상기 주파수 선형 예측이 수행된 결과를 역양자화부(1220)의 출력 또는 멀티-레졸루션 합성부(1230)의 출력과 합성하여 복호화의 효율을 향상시킬 수 있다. 여기서, 역 주파수 선형 예측 수행부(1240)은 주파수 도메인 예측 기술과 예측 계수의 벡터 양자화 기술을 채용하여 코딩 효율을 유효하게 제고하였다. 역 주파수 선형 예측 수행부(1240)은 차 스펙트럼(difference spectrum) 계수, 벡터의 인덱스(index)를 입력받아 MDCT 스펙트럼 계수를 출력한다.
CELP 복호화부(1250)는 역다중화부(1200)에서 역다중화된 결과가 시간 도메인에서 부호화된 경우, CELP 부호화 정보를 복호화한다. 여기서, CELP 부호화 정보는 시간 도메인에서 CELP 방식에 의해 부호화된 결과이다.
MDCT 적용부(1260)는 CELP 복호화부(1250)에서 출력된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환한다.
대역폭 확장 복호화부(1270)는 역다중화부(1200)에서 출력된 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 역 주파수 선형 예측 수행부(1240)에서 출력된 신호 또는 MDCT 적용부(1260)에서 주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성한다. 구체적으로, 역다중화부(1200)에서 출력된 결과가 주파수 도메인에서 부호화된 경우, 대역폭 확장 복호화부(1270)는 복호화된 대역폭 확장 정보를 역 주파수 선형 예측 수행부(1240)에서 출력된 신호에 적용함으로써 전 대역의 신호를 생성한다. 또한, 역다중화부(1200)에서 출력된 결과가 시간 도메인에서 부호화된 경우, 대역폭 확장 복호화부(1270)는 복호화된 대역폭 확장 정보를 MDCT 적용부(1260)에서 주파수 도메인으로 변환된 신호에 적용함으로써 전 대역의 신호를 생성한다. 여기서, 대역폭 확장 정보는 고주파수 밴드의 고주파수 밴드의 특성을 나타낼 수 있는 정보로써 고주파수 밴드 신호에 대한 에너지 레벨 또는 포락선 등의 정보이다.
스테레오 복호화부(1280)는 역다중화부(1200)에서 출력된 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 대역폭 확장 복호화부(1270)에서 출력된 신호를 업믹싱한다. 여기서, 업믹싱은 다운믹싱에 상반되는 개념으로, 모노 신호로부터 두 채널 이상의 스테레오 신호를 생성하는 것이다.
역 FV-MLT 적용부(1290)는 스테레오 복호화부(1280)에서 업믹싱된 신호에 대하여 역 FV-MLT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하여 출력단자 OUT을 통해 출력한다.
도 13은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 13을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 1에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
1300 단계에서 스테레오 부호화부(100)는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호를 다운믹싱한다.
1310 단계에서 밴드 분할부(110)는 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할한다.
1320 단계에서 변환부(120, 170)는 고주파수 밴드 신호 및 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인으로 변환한다. 구체적으로, 변환부는 고주파수 밴드 신호 및 저주파수 밴드 신호에 대하여 MDCT를 수행하여 각각 시간 도메인에서 주파수 도메인으로 변환할 수 있다.
1330 단계에서 저주파수 밴드 부호화부는 변환된 저주파수 밴드 신호를 양자화하야 문맥을 기반으로 비트플레인으로 부호화한다. 구체적으로, 저주파수 밴드 부호화부는 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행하여 필터링하는 주파수 선형 예측 수행부, 변환된 저주파수 밴드 신호 또는 필터링된 신호에 대하여 멀티-레졸루션으로 분석하는 멀티-레졸루션 분석부, 멀티-레졸루션으로 분석된 신호를 양자화하는 양자화부, 및 양자화된 신호를 문맥을 기반으로 하여 비트플레인으로 부호화하는 문맥-기반 비트플레인 부호화부를 포함할 수 있다. 여기서, 주파수 선형 예측 수행부는 변환된 저주파수 밴드 신호에 대하여 주파수 선형 예측을 수행하여 계산된 선형 예측 필터의 계수에 대응되는 값을 벡터 인덱스로 표현할 수 있다.
1340 단계에서 대역폭 확장 부호화부(180)는 변환된 저주파수 밴드 신호를 이용하여 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성 하여 부호화한다.
1350 단계에서 다중화부(190)는 부호화된 스테레오 파라미터, 부호화된 비트플레인 및 부호화된 대역폭 확장 정보를 다중화하여 입력 신호에 대한 부호화 결과로써 출력한다.
도 14는 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 14를 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 2에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
1400 단계에서 스테레오 부호화부(200)는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호를 다운믹싱한다.
1410 단계에서 밴드 분할부(210)는 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할한다.
1420 단계에서 MDCT 적용부(220)는 저주파수 밴드 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환한다.
1430 단계에서 저주파수 밴드 부호화부는 MDCT가 수행된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화한다.
1440 단계에서 변환부(270, 275)는 고주파수 밴드 신호 및 저주파수 밴드 신 호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다.
1450 단계에서 대역폭 확장 부호화부(280)는 변환된 저주파수 밴드 신호를 이용하여 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다.
1460 단계에서 다중화부(290)는 부호화된 스테레오 파라미터, 부호화된 비트플레인 및 부호화된 대역폭 확장 정보를 다중화하여 입력 신호에 대한 부호화 결과로써 출력한다.
도 15는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 15를 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 3 또는 4에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3 또는 4에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
1500 단계에서 스테레오 부호화부(300)는 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 입력 신호를 다운믹싱한다.
1510 단계에서 밴드 분할부(310)는 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할한다.
1520 단계에서 모드 결정부(320)는 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다.
1530 단계에서 CELP 부호화부(385)는 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 저주파수 밴드 신호를 CELP 방식에 따라 부호화한다.
1540 단계에서 MDCT 적용부(325)는 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 저주파수 밴드 신호에 대하여 MDCT를 수행하여 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 저주파수 밴드 부호화부는 MDCT가 수행된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화한다.
1550 단계에서 변환부(370, 375)는 저주파수 밴드 신호 및 고주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환한다. 여기서, 변환부는 저주파수 밴드 신호 및 상기 고주파수 밴드 신호에 대하여 각각 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환할 수 있다. 이 경우, 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 변환부는 저주파수 밴드 신호에 대한 출력을 MDCT 적용부에서 주파수 도메인으로 변환된 신호로 대체할 수 있다.
1560 단계에서 대역폭 확장 부호화부(380)는 변환된 저주파수 밴드 신호를 이용하여 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화한다.
1570 단계에서 다중화부(390)는 부호화된 스테레오 파라미터, CELP 방식에 따라 부호화된 결과, 부호화된 비트플레인 및 부호화된 대역폭 확장 정보를 다중화 하여 입력 신호에 대한 부호화 결과로써 출력한다.
도 16은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 16을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 5에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 5에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
1600 단계에서 변환부(500)는 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
1610 단계에서 스테레오 부호화부(510)는 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 변환된 신호를 다운믹싱한다.
1620 단계에서 대역폭 확장 부호화부(580)는 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화한다.
1630 단계에서 역변환부(520)는 다운믹싱된 신호를 시간 도메인으로 역변환한다.
1640 단계에서 모드 결정부(530)는 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, FV-MLT 적용부(535)는 결정 결과에 따라 역변환된 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환한다.
1650 단계에서 CELP 부호화부(585)는 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 시간 도메인으로 변환된 신호를 CELP 방식에 따라 부호화한다.
1660 단계에서 주파수 도메인 부호화부는 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화한다.
1670 단계에서 다중화부(590)는 부호화된 스테레오 파라미터, 부호화된 대역폭 확장 정보, CELP 방식에 따라 부호화된 결과 및 부호화된 비트플레인을 다중화하여 입력 신호에 대한 부호화 결과로써 출력한다.
도 17은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 17을 참조하면, 본 실시예에 따른 오디오 신호의 부호화 방법은 도 6에 도시된 오디오 신호의 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 6에 도시된 오디오 신호의 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 부호화 방법에도 적용된다.
1700 단계에서 모드 결정부(600)는 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, FV-MLT 적용부(610)는 결정 결과에 따라 입력 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환한다.
1710 단계에서 스테레오 부호화부(620)는 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 변환된 신호를 다운믹싱한다.
1720 단계에서 대역폭 확장 부호화부(670)는 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화한다.
1730 단계에서 CELP 부호화부(680)는 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 다운믹싱된 신호를 CELP 방식에 따라 부호화한다.
1740 단계에서 주파수 도메인 부호화부는 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화한다.
1750 단계에서 다중화부(690)는 부호화된 스테레오 파라미터, 부호화된 대역폭 확장 정보, CELP 방식에 따라 부호화된 결과 및 부호화된 비트플레인을 다중화하여 입력 신호에 대한 부호화 결과로써 출력한다.
도 18은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 18을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 7에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
1800 단계에서 역다중화부(700)는 오디오 신호의 부호화 결과를 입력받는다. 여기서, 부호화 결과는 저주파수 밴드 신호에 대하여 문맥을 기반으로 부호화된 비트플레인, 부호화된 대역폭 확장 정보 및 부호화된 스테레오 파라미터 등을 포함할 수 있다.
1810 단계에서 저주파수 밴드 복호화부는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성한다. 구체적으로, 저주파수 밴드 복호화부는 부호화된 비트플레인을 문맥을 기반으로 복호화하는 문맥-기반 비트플레인 복호화부, 복호화된 신호를 역양자화하는 역양자화부, 역양자화된 신호를 멀티-레졸루션으로 합성하는 멀티-레졸루션 합성부, 및 벡터 인덱스를 이용하여 부호화단에서 주파수 선형 예측이 수행된 결과를 역양자화된 신호 또는 상기 합성된 신호에 합성하는 역 주파수 선형 예측 수행부를 포함할 수 있다.
1820 단계에서 대역폭 확장 복호화부(750)는 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 생성된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다.
1830 단계에서 역 MDCT 적용부(760)는 저주파수 밴드 신호 및 고주파수 밴드 신호 각각에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환한다.
1840 단계에서 밴드 합성부(780)는 변환된 저주파수 밴드 신호 및 변환된 고주파수 밴드 신호를 합성한다.
1850 단계에서 스테레오 복호화부(790)는 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 합성된 신호를 업믹싱한다.
도 19는 본 발명의 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 19를 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 8에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 8에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
1900 단계에서 역다중화부(800)는 오디오 신호의 부호화 결과를 입력받는다. 여기서, 부호화 결과는 저주파수 밴드 신호에 대하여 문맥을 기반으로 부호화된 비트플레인, 부호화된 대역폭 확장 정보 및 부호화된 스테레오 파라미터 등을 포함할 수 있다.
1910 단계에서 저주파수 밴드 복호화부는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성한다.
1920 단계에서 역 MDCT 적용부(850)는 생성된 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환한다.
1930 단계에서 변환부(855)는 역 MDCT가 수행된 저주파수 밴드 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환한다.
1940 단계에서 대역폭 확장 복호화부(860)는 대역폭 확장 정보를 이용하여 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성한다.
1950 단계에서 역변환부(870)는 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환한다.
1960 단계에서 밴드 합성부(880)는 역변환된 고주파수 밴드 신호 및 변환된 저주파수 밴드 신호를 합성한다.
1970 단계에서 스테레오 복호화부(890)는 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 합성된 신호를 업믹싱한다.
도 20은 본 발명의 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 20을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 9 또는 10에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 9 또는 10에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
2000 단계에서 역다중화부(900)는 오디오 신호의 시간 도메인 또는 주파수 도메인에서의 부호화 결과를 입력받는다. 여기서, 부호화 결과는 저주파수 밴드 신호에 대하여 문맥을 기반으로 부호화된 비트플레인, 부호화된 대역폭 확장 정보, CELP 부호화 정보 및 부호화된 스테레오 파라미터 등을 포함할 수 있다.
2010 단계에서 저주파수 밴드 복호화부는 저주파수 밴드 신호가 주파수 도메인에서 부호화된 경우, 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성한다. 여기서, 저주파수 밴드 복호화부는 부호화 된 비트플레인을 문맥을 기반으로 복호화하는 문맥-기반 비트플레인 복호화부, 복호화된 신호를 역양자화하는 역양자화부, 역양자화된 신호를 멀티-레졸루션으로 합성하는 멀티-레졸루션 합성부, 및 벡터 인덱스를 이용하여 부호화단에서 주파수 선형 예측이 수행된 결과를 역양자화된 신호 또는 합성된 신호에 합성하는 역 주파수 선형 예측 수행부를 포함할 수 있다.
2020 단계에서 역 MDCT 적용부(950)는 생성된 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 시간 도메인으로 역변환한다.
2030 단계에서 변환부(955)는 역 MDCT가 수행된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환한다.
2040 단계에서 대역폭 확장 복호화부(960)는 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 고주파수 밴드 신호를 생성한다.
2050 단계에서 역변환부(965)는 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환한다.
2060 단계에서 CELP 복호화부(970)는 저주파수 밴드 신호가 시간 도메인에서 부호화된 경우, CELP 부호화 정보를 복호화하여 저주파수 밴드 신호를 생성한다.
2070 단계에서 밴드 합성부(980)는 역 MDCT가 수행된 신호, 역변환된 고주파수 밴드 신호 및 CELP 방식으로 복호화된 저주파수 밴드 신호를 합성한다.
2080 단계에서 스테레오 복호화부(990)는 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 합성된 신호를 업믹싱한다.
도 21은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 21을 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 11에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 11에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
2100 단계에서 역다중화부(1100)는 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는다. 여기서, 부호화 결과는 저주파수 밴드 신호에 대하여 문맥을 기반으로 부호화된 비트플레인, 부호화된 대역폭 확장 정보, CELP 부호화 정보 및 부호화된 스테레오 파라미터 등을 포함할 수 있다.
2110 단계에서 주파수 도메인 복호화부는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화한다.
2120 단계에서 CELP 복호화부(1150)는 CELP 부호화 정보를 복호화한다.
2130 단계에서 역 FV-MLT 적용부(1160)는 주파수 도메인 복호화부 또는 CELP 복호화부에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환한다.
2140 단계에서 변환부(1165)는 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환한다.
2150 단계에서 대역폭 확장 복호화부(1170)는 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 복호화한다.
2160 단계에서 스테레오 복호화부(1180)는 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 복호화된 전 대역의 신호를 업믹싱한다.
2170 단계에서 역변환부(1190)는 업믹싱된 신호를 시간 도메인으로 역변환한다.
도 22는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 22를 참조하면, 본 실시예에 따른 오디오 신호의 복호화 방법은 도 12에 도시된 오디오 신호의 복호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 12에 도시된 오디오 신호의 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 오디오 신호의 복호화 방법에도 적용된다.
2200 단계에서 역다중화부(1200)는 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 수신한다. 여기서, 부호화 결과는 저주파수 밴드 신호에 대하여 문맥을 기반으로 부호화된 비트플레인, 부호화된 대역폭 확장 정보, CELP 부호화 정보 및 부호화된 스테레오 파라미터 등을 포함할 수 있다.
2210 단계에서 주파수 도메인 복호화부는 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화한다.
2220 단계에서 CELP 복호화부(1250)는 CELP 부호화 정보를 복호화한다.
2230 단계에서 MDCT 적용부(1260)는 CELP 복호화부(1250)에서 출력된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환한다.
2240 단계에서 대역폭 확장 복호화부(1270)는 부호화된 대역폭 확장 정보를 복호화하고, 복호화된 대역폭 확장 정보를 이용하여 주파수 도메인 복호화부 또는 MDCT 적용부(1260)에서 출력된 신호로부터 전 대역의 신호를 생성한다.
2250 단계에서 스테레오 복호화부(1280)는 부호화된 스테레오 파라미터를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 복호화된 전 대역의 신호를 업믹싱한다.
2260 단계에서 역 FV-MLT 적용부(1290)는 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환한다.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 9는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나 타내는 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
도 13는 본 발명의 일 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 16는 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 오디오 신호의 부호화 방법을 나타내는 흐름도이다.
도 18은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 19는 본 발명의 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 20은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 방법을 나 타내는 흐름도이다.
도 21은 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.
도 22는 본 발명의 또 다른 실시예에 따른 오디오 신호의 복호화 방법을 나타내는 흐름도이다.

Claims (40)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계;
    (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계;
    (c) 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계;
    (d) 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계;
    (e) 상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계;
    (f) 상기 제2 변환 방식에 의해 변환된 저주파수 밴드 신호를 이용하여 상기 제2 변환 방식에 의해 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및
    (g) 상기 부호화된 스테레오 파라미터, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  7. 제6항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  8. (a) 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 단계;
    (b) 상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 단계;
    (c) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 단계;
    (d) 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 단계;
    (e) 상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하고, 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계;
    (f) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호를 제2 변환 방식에 의해 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하 는 단계;
    (g) 상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 단계; 및
    (h) 상기 부호화된 스테레오 파라미터, 상기 시간 도메인에서 부호화된 결과, 상기 부호화된 비트플레인 및 상기 부호화된 대역폭 확장 정보를 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  9. 제8항에 있어서,
    상기 (f) 단계는
    상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호에 대하여 각각 상기 제1 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환하고,
    상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호에 대한 출력을 상기 (e) 단계에서 상기 제1 변환 방식에 의해 주파수 도메인으로 변환된 저주파수 밴드 신호로 대체하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  10. 제8항 및 제9항 중 어느 한 항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. (a) 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 단계;
    (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계;
    (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계;
    (d) 상기 다운믹싱된 신호를 시간 도메인으로 역변환하는 단계;
    (e) 상기 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 역변환된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계;
    (f) 상기 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 시간 도메인으로 변환된 신호를 시간 도메인에서 부호화하는 단계;
    (g) 상기 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 상기 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및
    (h) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  12. 제11항에 있어서,
    상기 (e) 단계는
    상기 결정 결과에 따라 상기 역변환된 신호에 대하여 FV-MLT(Frequency Varying-Modulated Lapped Transform)를 수행하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  13. 제11항 및 제12항 중 어느 한 항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. (a) 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하고, 상기 결정 결과에 따라 상기 입력 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계;
    (b) 상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 단계;
    (c) 상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 단계;
    (d) 상기 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 시간 도메인에서 부호화하는 단계;
    (e) 상기 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 단계; 및
    (f) 상기 부호화된 스테레오 파라미터, 상기 부호화된 대역폭 확장 정보, 상기 시간 도메인에서 부호화된 결과 및 상기 부호화된 비트플레인을 상기 입력 신호에 대한 부호화 결과로써 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  15. 제14항에 있어서,
    상기 (a) 단계는
    상기 결정 결과에 따라 상기 입력 신호에 대하여 FV-MLT를 수행하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  16. 제14항 및 제15항 중 어느 한 항의 오디오 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  17. (a) 오디오 신호의 부호화 결과를 입력받는 단계;
    (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계;
    (c) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계;
    (d) 상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호 각각을 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계;
    (e) 상기 역변환된 저주파수 밴드 신호 및 상기 역변환된 고주파수 밴드 신호를 합성하는 단계; 및
    (f) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  18. 제17항에 있어서,
    상기 (b) 단계는
    상기 역양자화된 신호를 멀티-레졸루션으로 합성하는 단계; 및
    상기 부호화 결과에 포함된 벡터 인덱스를 이용하여 부호화단에서 주파수 선형 예측이 수행된 결과를 상기 역양자화된 신호 또는 상기 멀티-레졸루션으로 합성된 신호에 합성하는 단계 중 적어도 하나를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  19. 제17항 및 제18항 중 어느 한 항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  20. (a) 오디오 신호의 부호화 결과를 입력받는 단계;
    (b) 상기 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계;
    (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 변환하는 단계;
    (d) 상기 제1 역변환 방식에 의해 역변환된 저주파수 밴드 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계;
    (e) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계;
    (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계;
    (g) 상기 역변환된 고주파수 밴드 신호 및 상기 변환된 저주파수 밴드 신호를 합성하는 단계; 및
    (h) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  21. 제20항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  22. (a) 오디오 신호의 시간 도메인 또는 주파수 도메인에서의 부호화 결과를 입력받는 단계;
    (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 단계;
    (c) 상기 저주파수 밴드 신호를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계;
    (d) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호를 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계;
    (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 제1 변환 방식에 의해 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 단계;
    (f) 상기 고주파수 밴드 신호를 제2 역변환 방식에 의해 시간 도메인으로 역변환하는 단계;
    (g) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하여 상기 저주파수 밴드 신호를 생성하는 단계;
    (h) 상기 제1 역변환 방식에 의해 시간 도메인으로 역변환된 신호, 상기 제2 역변환 방식에 의해 시간 도메인으로 역변환된 고주파수 밴드 신호, 및 상기 시간 도메인에서 복호화된 저주파수 밴드 신호를 합성하는 단계; 및
    (i) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  23. 제22항에 있어서,
    상기 (b) 단계는
    (b1) 상기 역양자화된 신호를 멀티-레졸루션으로 합성하는 단계; 및
    (b2) 상기 부호화 결과에 포함된 벡터 인덱스를 이용하여 부호화단에서 주파수 선형 예측이 수행된 결과를 상기 역양자화된 신호 또는 상기 멀티-레졸루션으로 합성된 신호에 합성하는 단계 중 적어도 하나를 더 포함하고,
    상기 (e) 단계는
    상기 복호화된 대역폭 확장 정보를 이용하여 상기 (b1) 또는 (b2) 단계에서 합성된 신호로부터 상기 고주파수 밴드 신호를 생성하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  24. 제22항 및 제23항 중 어느 한 항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  25. (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계;
    (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계;
    (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단계;
    (d) 상기 (b) 단계에서 역양자화된 신호 또는 상기 (c) 단계에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환하는 단계;
    (e) 상기 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 단계;
    (f) 상기 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계;
    (g) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및
    (h) 상기 업믹싱된 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  26. 제25항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  27. (a) 오디오 신호의 주파수 도메인 또는 시간 도메인에서의 부호화 결과를 입력받는 단계;
    (b) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 단계;
    (c) 상기 시간 도메인에서의 부호화 결과를 시간 도메인에서 복호화하는 단계;
    (d) 상기 (c) 단계에서 복호화된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 단계;
    (e) 상기 주파수 도메인에서의 부호화 결과에 포함된 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인에서 복호화된 신호 또는 상기 주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 단계;
    (f) 상기 부호화 결과에 포함된 부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복호화된 신호를 업믹싱하는 단계; 및
    (g) 상기 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  28. 제27항의 오디오 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  29. 삭제
  30. 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 스테레오 부호화부;
    상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 밴드 분할부;
    상기 저주파수 밴드 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부;
    상기 MDCT가 수행된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부 호화하는 저주파수 밴드 부호화부;
    상기 고주파수 밴드 신호 및 상기 저주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 및
    상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 대역폭 확장 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  31. 입력 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 입력 신호를 다운믹싱하는 스테레오 부호화부;
    상기 다운믹싱된 신호를 고주파수 밴드 신호 및 저주파수 밴드 신호로 분할하는 밴드 분할부;
    상기 저주파수 밴드 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부;
    상기 저주파수 밴드 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부;
    상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호에 대하여 MDCT를 수행하여 상기 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부;
    상기 MDCT가 수행된 저주파수 밴드 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 저주파수 밴드 부호화부;
    상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호를 각각 시간 도메인에서 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부; 및
    상기 변환된 저주파수 밴드 신호를 이용하여 상기 변환된 고주파수 밴드 신호의 특성을 나타내는 대역폭 확장 정보를 생성하여 부호화하는 대역폭 확장 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  32. 제31항에 있어서,
    상기 변환부는
    상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호에 대하여 각각 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하고,
    상기 저주파수 밴드 신호를 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 저주파수 밴드 신호에 대한 출력을 상기 MDCT 적용부에서 주파수 도메인으로 변환된 신호로 대체하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  33. 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 변환부;
    상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 스테레오 부호화부;
    상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 대역폭 확장 부호화부;
    상기 다운믹싱된 신호를 시간 도메인으로 역변환하는 역변환부;
    상기 역변환된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부;
    상기 결정 결과에 따라 상기 역변환된 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 FV-MLT 적용부;
    상기 역변환된 신호를 시간 도메인에서 부호화하는 것으로 결정된 경우 상기 시간 도메인으로 변환된 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부; 및
    상기 역변환된 신호를 주파수 도메인으로 부호화하는 것으로 결정된 경우 상기 주파수 도메인으로 변환된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 주파수 도메인 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  34. 입력 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정하는 모드 결정부;
    상기 결정 결과에 따라 상기 입력 신호에 대하여 FV-MLT를 적용하여 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 FV-MLT 적용부;
    상기 변환된 신호에서 스테레오 파라미터를 추출하여 부호화하고, 상기 변환된 신호를 다운믹싱하는 스테레오 부호화부;
    상기 다운믹싱된 신호에서 대역폭 확장 정보를 추출하여 부호화하는 대역폭 확장 부호화부;
    상기 다운믹싱된 신호가 시간 도메인에서 부호화하는 것으로 결정된 경우 상 기 다운믹싱된 신호를 CELP 방식에 따라 부호화하는 CELP 부호화부; 및
    상기 다운믹싱된 신호가 주파수 도메인에서 부호화하는 것으로 결정된 경우 상기 다운믹싱된 신호를 양자화하여 문맥을 기반으로 비트플레인으로 부호화하는 주파수 도메인 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  35. 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부;
    부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부;
    상기 저주파수 밴드 신호 및 상기 고주파수 밴드 신호 각각에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하는 역 MDCT 적용부;
    상기 변환된 저주파수 밴드 신호 및 상기 변환된 고주파수 밴드 신호를 합성하는 밴드 합성부; 및
    부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  36. 제35항에 있어서,
    상기 저주파수 밴드 복호화부는
    상기 역양자화된 신호를 멀티-레졸루션으로 합성하는 멀티-레졸루션 합성부; 및
    벡터 인덱스를 이용하여 부호화단에서 주파수 선형 예측이 수행된 결과를 상기 역양자화된 신호 또는 상기 멀티-레졸루션으로 합성된 신호에 합성하는 역 주파수 선형 예측 수행부 중 적어도 하나를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  37. 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부;
    상기 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 주파수 도메인에서 시간 도메인으로 변환하는 역 MDCT 적용부;
    상기 역 MDCT가 수행된 저주파수 밴드 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부;
    부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 저주파수 밴드 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부;
    상기 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환하는 역변환부;
    상기 역변환된 고주파수 밴드 신호 및 상기 변환된 저주파수 밴드 신호를 합성하는 밴드 합성부; 및
    부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  38. 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하여 저주파수 밴드 신호를 생성하는 저주파수 밴드 복호화부;
    상기 저주파수 밴드 신호에 대하여 역 MDCT를 수행하여 시간 도메인으로 역변환하는 역 MDCT 적용부;
    상기 역 MDCT가 수행된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부;
    주파수 도메인에서 부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 고주파수 밴드 신호를 생성하는 대역폭 확장 복호화부;
    상기 생성된 고주파수 밴드 신호를 시간 도메인으로 역변환하는 역변환부;
    시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하여 상기 저주파수 밴드 신호를 생성하는 CELP 복호화부;
    상기 역 MDCT가 수행된 신호, 상기 역변환된 고주파수 밴드 신호 및 상기 CELP 방식으로 생성된 저주파수 밴드 신호를 합성하는 밴드 합성부; 및
    부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 합성된 신호를 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  39. 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 주파수 도메인 복호화부;
    시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하는 CELP 복호화부;
    상기 주파수 도메인 복호화부 또는 상기 CELP 복호화부에서 복호화된 신호에 대하여 역 FV-MLT를 수행하여 시간 도메인으로 변환하는 역 FV-MLT 적용부;
    상기 변환된 신호를 주파수 도메인 또는 시간/주파수 도메인으로 변환하는 변환부;
    부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 또는 시간/주파수 도메인으로 변환된 신호로부터 전 대역의 신호를 생성하는 대역폭 확장 복호화부;
    부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 생성된 신호를 업믹싱하는 스테레오 복호화부; 및
    상기 업믹싱된 신호를 시간 도메인으로 역변환하는 역변환부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  40. 주파수 도메인에서 부호화된 비트플레인을 문맥을 기반으로 복호화하고 역양자화하는 주파수 도메인 복호화부;
    시간 도메인에서 부호화된 CELP 부호화 정보를 복호화하는 CELP 복호화부;
    상기 CELP 복호화부에서 출력된 신호에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환하는 MDCT 적용부;
    부호화된 대역폭 확장 정보를 복호화하고, 상기 복호화된 대역폭 확장 정보를 이용하여 상기 주파수 도메인 복호화부에서 출력된 신호 또는 상기 MDCT 적용부에서 출력된 신호로부터 전 대역의 신호를 생성하는 대역폭 확장 복호화부;
    부호화된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 생성된 신호를 업믹싱하는 스테레오 복호화부; 및
    상기 업믹싱된 신호에 대하여 역 FV-MLT를 적용하여 시간 도메인으로 변환하는 역 FV-MLT 적용부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
KR1020070086337A 2006-09-22 2007-08-28 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치 Expired - Fee Related KR101435893B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200780035230XA CN101518083B (zh) 2006-09-22 2007-09-21 通过使用带宽扩展和立体声编码对音频信号编码和/或解码的方法和系统
PCT/KR2007/004653 WO2008035949A1 (en) 2006-09-22 2007-09-21 Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
US11/902,650 US20080077412A1 (en) 2006-09-22 2007-09-24 Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060092459 2006-09-22
KR1020060092459 2006-09-22

Publications (2)

Publication Number Publication Date
KR20080027129A KR20080027129A (ko) 2008-03-26
KR101435893B1 true KR101435893B1 (ko) 2014-09-02

Family

ID=39414288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070086337A Expired - Fee Related KR101435893B1 (ko) 2006-09-22 2007-08-28 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101435893B1 (ko)
CN (1) CN101518083B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284955B2 (en) 2006-02-07 2012-10-09 Bongiovi Acoustics Llc System and method for digital signal processing
US10158337B2 (en) 2004-08-10 2018-12-18 Bongiovi Acoustics Llc System and method for digital signal processing
US10848118B2 (en) 2004-08-10 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US11431312B2 (en) 2004-08-10 2022-08-30 Bongiovi Acoustics Llc System and method for digital signal processing
US10848867B2 (en) 2006-02-07 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US10701505B2 (en) 2006-02-07 2020-06-30 Bongiovi Acoustics Llc. System, method, and apparatus for generating and digitally processing a head related audio transfer function
ES2734361T3 (es) 2009-01-16 2019-12-05 Dolby Int Ab Transposición armónica mejorada de productos de cruce
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
DK2556502T3 (en) 2010-04-09 2019-03-04 Dolby Int Ab MDCT-BASED COMPLEX PREVIEW Stereo Decoding
KR101697550B1 (ko) 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
CN110047496B (zh) * 2013-04-05 2023-08-04 杜比国际公司 立体声音频编码器和解码器
US9883318B2 (en) 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
CN105556597B (zh) * 2013-09-12 2019-10-29 杜比国际公司 多声道音频内容的编码和解码
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
US10820883B2 (en) 2014-04-16 2020-11-03 Bongiovi Acoustics Llc Noise reduction assembly for auscultation of a body
CN106960672B (zh) * 2017-03-30 2020-08-21 国家计算机网络与信息安全管理中心 一种立体声音频的带宽扩展方法与装置
CN109599123B (zh) * 2017-09-29 2021-02-09 中国科学院声学研究所 基于遗传算法优化模型参数的音频带宽扩展方法及系统
AU2019252524A1 (en) 2018-04-11 2020-11-05 Bongiovi Acoustics Llc Audio enhanced hearing protection system
CN110728986B (zh) * 2018-06-29 2022-10-18 华为技术有限公司 立体声信号的编码方法、解码方法、编码装置和解码装置
WO2020028833A1 (en) 2018-08-02 2020-02-06 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668319B1 (ko) * 2004-12-07 2007-01-12 삼성전자주식회사 오디오 신호의 변환방법 및 장치와 오디오 신호에적응적인 부호화방법 및 장치, 오디오 신호의 역변환 방법및 장치와 오디오 신호에 적응적인 복호화 방법 및 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hu Ruimin et al.,‘AVS Generic Audio Coding’, Proceedings of the Sixth International Conference on Parallel and Distributed Computing, Applications and Technologies (PDCAT’05), 2005*
Hu Ruimin et al.,'AVS Generic Audio Coding', Proceedings of the Sixth International Conference on Parallel and Distributed Computing, Applications and Technologies (PDCAT'05), 2005 *
Jari Makinen et al.,‘AMR-WB+: A NEW AUDIO CODING STANDARD FOR 3RD GENERATION MOBILE AUDIO SERVICES’, Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Confe*
Jari Makinen et al.,'AMR-WB+: A NEW AUDIO CODING STANDARD FOR 3RD GENERATION MOBILE AUDIO SERVICES', Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Confe *

Also Published As

Publication number Publication date
KR20080027129A (ko) 2008-03-26
CN101518083A (zh) 2009-08-26
CN101518083B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
KR101435893B1 (ko) 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
KR101393298B1 (ko) 적응적 부호화/복호화 방법 및 장치
JP6170520B2 (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
JP6208725B2 (ja) 帯域幅拡張復号化装置
KR101346358B1 (ko) 대역폭 확장 기법을 이용한 오디오 신호의 부호화/복호화방법 및 장치
CN105957532B (zh) 对音频/语音信号进行编码和解码的方法和设备
KR101411901B1 (ko) 오디오 신호의 부호화/복호화 방법 및 장치
US20080077412A1 (en) Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
KR20090043983A (ko) 고주파수 신호 부호화 및 복호화 장치 및 방법
MX2015004022A (es) Aparato y metodo para codificar y decodificador una señal de audio codificada utilizando modelado de ruido temporal/de parche.
US20080071550A1 (en) Method and apparatus to encode and decode audio signal by using bandwidth extension technique
KR102622804B1 (ko) 오디오 신호의 고주파 재구성을 위한 하모닉 트랜스포저의 하위호환형 통합
US20060122828A1 (en) Highband speech coding apparatus and method for wideband speech coding system
JP5629319B2 (ja) スペクトル係数コーディングの量子化パラメータを効率的に符号化する装置及び方法
KR101457897B1 (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
KR101434209B1 (ko) 오디오/스피치 신호 부호화장치
KR101434207B1 (ko) 오디오/스피치 신호 부호화방법
KR101434206B1 (ko) 신호 복호화 장치
KR101455648B1 (ko) 상호 운용성을 지원하는 오디오/스피치 신호의부호화/복호화 방법 및 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070828

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120823

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20070828

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131122

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140523

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140825

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140826

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee