[go: up one dir, main page]

KR101424944B1 - 오디오 인코더 및 대역폭 확장 디코더 - Google Patents

오디오 인코더 및 대역폭 확장 디코더 Download PDF

Info

Publication number
KR101424944B1
KR101424944B1 KR1020137031107A KR20137031107A KR101424944B1 KR 101424944 B1 KR101424944 B1 KR 101424944B1 KR 1020137031107 A KR1020137031107 A KR 1020137031107A KR 20137031107 A KR20137031107 A KR 20137031107A KR 101424944 B1 KR101424944 B1 KR 101424944B1
Authority
KR
South Korea
Prior art keywords
signal
high frequency
audio signal
bandwidth
input audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020137031107A
Other languages
English (en)
Other versions
KR20130133914A (ko
Inventor
프레데리크 나겔
자스차 디쉬
귈라움 훅스
유에르겐 헤레
크리스티안 그리벨
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20130133914A publication Critical patent/KR20130133914A/ko
Application granted granted Critical
Publication of KR101424944B1 publication Critical patent/KR101424944B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Circuits Of Receivers In General (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Amplifiers (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Abstract

입력 오디오 신호를 이용하여 출력 신호를 제공하는 오디오 인코더는 패치 생성기, 비교기 및 출력 인터페이스를 포함한다. 패치 생성기는 하나 이상의 대역폭 확장 고주파 신호를 생성시키며, 대역폭 확장 고주파 신호는 고주파 대역을 포함한다. 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 저주파 대역에 기초로 한다. 비교기는 다수의 비교 파라미터를 계산한다. 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다. 또한, 비교기는 다수의 비교 파라미터로부터 한 비교 파라미터를 결정하며, 결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.

Description

오디오 인코더 및 대역폭 확장 디코더{AUDIO ENCODER AND BANDWIDTH EXTENSION DECODER}
본 발명에 따른 실시예들은 오디오 신호 처리에 관한 것으로서, 특히, 오디오 인코더, 출력 신호를 제공하는 방법, 대역폭 확장 디코더 및, 대역폭 확장된 오디오 신호를 제공하는 방법에 관한 것이다.
오디오 신호의 효율적인 저장 및 전송을 위한 데이터 정리(data reduction)를 위한 오디오 신호의 청취 적응 인코딩은 많은 분야에서 받아들여졌다. 인코딩 알고리즘은, 예컨대, MPEG 1/2 LAYER 3 "MP3" 또는 MPEG 4 AAC로서 알려져 있다. 이것에 이용되는 코딩 알고리즘은, 특히, 최저 비트 레이트를 달성할 시에, 종종 주로 전송될 오디오 신호 대역폭의 인코더 사이드 제한(encoder side limitation)에 의해 생성되는 오디오 품질을 감소시킨다. 저역 통과 필터링된 신호는 소위 코어 코더(core coder)를 이용하여 코딩되고, 더욱 높은 주파수를 가진 영역은 이들이 대략 저역 통과 필터링된 신호로부터 재구성될 수 있도록 파라미터화된다.
WO 98 57436로부터, 오디오 신호가 인코더 사이드 상의 그와 같은 상황에서 대역 제한을 받아, 고 품질의 오디오 인코더에 의해 오디오 신호의 하위 대역만을 인코딩되게 하는 것으로 알려져 있다. 그러나, 상위 대역은, 상위 대역의 원래의 스펙트럼 엔벨로프(original spectral envelope)의 재생을 허용하는 파라미터의 세트에 의해서만 매우 대충 특징지워진다. 디코더측 상에서, 상위 대역은 이때 합성된다. 이를 위해, 하모닉 트랜스포지션(harmonic transposition)이 제안되며, 디코딩된 오디오 신호의 하위 대역은 필터뱅크(filterbank)에 공급된다. 하위 대역의 필터뱅크 채널은 상위 대역의 필터뱅크 채널에 접속되거나, "패치(patched)"되고, 각 패치된 대역 통과 신호는 엔벨로프 조정을 받는다. 여기서, 스펙트럼 분석 필터뱅크에 속하는 합성 필터뱅크는 하위 대역 내의 오디오 신호의 대역 통과 신호 및, 상위 대역으로 하모닉 패치되는 하위 대역의 엔벨로프 조정된 대역 통과 신호를 수신한다. 합성 필터뱅크의 출력 신호는, 매우 낮은 데이터 속도로 인코더측에서 디코더측으로 전송되는 오디오 대역폭에 대해 확장되는 오디오 신호이다. 특히, 필터뱅크 도메인 내에서의 필터뱅크 계산 및 패칭은 계산량(computational effort)을 높일 수 있다.
대신에, 대역 제한된 오디오 신호의 대역폭 확장을 위한 복잡도 감소 방법(complexity-reduced methods)은, 대역 제한으로 인해 빠진 정보에 접근하기 위해 고주파 범위(HF)내로의 저주파 신호 부분 (LF)의 카피 함수(copying function)를 이용한다. 이와 같은 방법은, M. Dietz, L. Liljeryd, K. Kjorling and 0. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM l, "Bandwidth Extension," ISO/IEC, 2002, or "Speech bandwidth extension method and apparatus", Vasu Iyengar et al. US Patent Nr. 5,455,888에 기재되어 있다.
이들 방법에서는, 어떤 하모닉 트랜스포지션이 실행되지 않고, 하위 대역의 인접한 대역 통과 필터뱅크 채널이 상위 대역의 인접한 대역 통과 필터뱅크 채널에 인위적으로 도입된다. 이것은 오디오 신호의 상위 대역의 대충 근사법(coarse approximation)에 이른다. 이런 신호의 대충 근사법은 이때 원 신호로부터 추론되는 부가적인 제어 파라미터를 규정함으로써 리파인(refine)되는 추가적 단계에 있다. 일례로서, MPEG-4 Standard는, 스펙트럼 엔벨로프를 조정하는 스케일 계수, 역 필터링 및, 토낼리티(tonality)를 적응시키기 위한 노이즈 플로어(noise floor)의 첨가의 조합, 및 토널 성분(tonal components)의 보충을 위한 사인 곡선 신호 부분의 삽입을 이용한다.
이 외에도, E. Larsen, R.M. Aarts, and M. Danessis, "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Munich, Germany, May 2002에 기재된 소위 "블라인드 대역폭 확장"과 같은 추가적 방법이 존재하며, 여기서는 원래의 HF 범위에 관한 어떤 정보도 이용되지 않는다. 더욱이, 또한, K. Kayhko, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing, 2001에 기재되어 있는 소위 "인위적 대역폭 확장"의 방법이 존재한다.
In J. Makinen et al.: AMR-WB+: a new audio coding standard for 3rd generation mobile audio services Broadcasts, IEEE, ICASSP '05에서, 대역폭 확장을 위한 방법이 기술되며, 여기서, 고 대역으로의 저주파 성분의 카피 동작이, 예컨대, 저역 통과 필터링된 신호를 업샘플링함으로써 획득되는 미러 동작에 의해 실행된다.
대안으로서, 기본적으로 필터뱅크 도메인 내의 카피 동작과 유사한 단일 측파대 변조가 이용될 수 있다. 하모닉 대역폭 확장을 가능하게 하는 방법은 보통, 피치 (피치 트래킹)의 결정 단계, 비선형 왜곡 단계 (예컨대, "U. Kornagel, Spectral widening of the excitation signal for telephone-band speech enhancement, in: Proceedings of the IWAENC, Darmstadt, Germany, September 2001, pp. 215 -218" 참조)를 이용하거나, 예컨대, 미국 가특허원 "F.Nagel, S. Disch: "Apparatus and method of harmonic bandwidth extension in audio signals"" with the application number US 61/025129에 의해 나타낸 바와 같은 위상 보코더를 이용한다.
예컨대, WO 02/41302 A1은 고주파 재구성 방법을 이용하는 코딩 시스템의 성능을 향상시키는 방법을 나타낸다. 그것은, 코어 코더에 의해 코딩된 저 대역과, 고주파 재구성 시스템에 의해 코딩된 고 대역 간의 크로스오버 주파수의 시간이 지남에 따라 적응함으로써 그런 시스템의 전체 성능을 개선하는 방법을 나타낸다. 이런 방법의 경우, 코어 코더는, 인코더측 뿐만 아니라 디코더측에서 서로 다른 크로스오버 주파수로 작업할 수 있어야 한다. 그래서, 코어 코더의 복잡도는 증대된다.
대역폭 확장을 위한 추가적 기술은, 예컨대, "R. M. Aarts, E. Larsen, and O. Ouweltjes, A unified approach to low- and high-frequency bandwidth extension에서 기술된다. In AES 115th Convention, New York, USA, October 2003", E. Larsen and R. M. Aarts: Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004", E. Larsen, R. M. Aarts, and M. Danessis: Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002", "J. Makhoul: Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973", "United States Patent Application 08/951,029, Ohmori et al.: Audio band width extending system and method" and "United States Patent 6895375, Malah, D & Cox, R. VS.: System for bandwidth extension of Narrow-band speech".
하모닉 대역폭 확장 방법은 종종 고 복잡도를 나타내지만, 복잡도 감소 대역폭 확장 방법은 품질 손실을 나타낸다. 저 비트 레이트가 저 대역의 작은 대역폭과 조합되는 특정 경우에, 불쾌한 것으로 인식되는 거칠기(roughness) 및 팀버(timbre)와 같은 아티팩트(artifacts)가 생성할 수 있다. 이에 대한 이유는 근사 HF 부분이 토널 신호 부분 간의 하모닉 관계를 유지하지 못하는 카피 동작을 기반으로 한다는 사실이다. 이것은 양자 모두 LF와 HF 간의 하모닉 관계에 적용하고, 또한 HF 부분 자체 내의 연속 패치 간의 하모닉 관계에도 적용한다. 예컨대, SBR 내에서, 저 대역과 고 대역 간의 경계에서 생성하는 코딩 성분 및 중복(replicated) 성분의 병렬 배치(juxtaposition)는 거친 사운드 느낌(rough sound impressions)을 유발시킬 수 있다. 그 이유는, LF 범위에서 HF 범위로 카피되는 토널 부분이 LF 범위의 토널 부분에 스펙트럼으로 조밀하게 인접하는 도 18에 예시된다.
도 18a는 3개의 톤으로 이루어지는 신호의 원래의 스펙트로그램 (spectrogram)(1800a)을 도시한다. 도 18b는 도 18a의 원래의 신호에 대응하는 대역폭 확장 신호의 다이어그램(1800b)을 도시한다. 가로 좌표는 시간을 나타내고, 세로 좌표는 주파수를 나타낸다. 특히, 최종 톤에서, 잠재적 문제(potential problems)(1810)가 관측될 수 있다(흐려진 라인(smeared lines)(1810)).
하모닉 관계가 알려진 방법으로 고려되면, 이것은 항상 F0 추정(estimation)을 기반으로 행해진다. 이 경우에, 이들 방법의 성과는 주로 이 추정의 신뢰도에 달려 있다.
일반적으로, 알려진 대역폭 확장 방법은 저 비트 레이트에서 오디오 신호를 제공하지만, 고 비트 레이트에서는 불량한 오디오 품질 또는 양호한 오디오 품질을 가진 오디오 신호를 제공할 수 있다.
본 발명의 목적은 오디오 신호에 대한 개선된 코딩 기법을 제공하기 위한 것이다.
이 목적은 청구항 1에 따른 오디오 인코더, 청구항 3 및 청구항 8에 따른 대역폭 확장 디코더, 청구항 12, 13 및 14에 따른 방법에 의해 달성된다.
본 발명의 실시예는 입력 오디오 신호를 이용하여 출력 신호를 제공하는 오디오 인코더를 제공한다. 오디오 인코더는 패치 생성기, 비교기 및 출력 인터페이스를 포함한다.
패치 생성기는 하나 이상의 대역폭 확장 고주파 신호를 생성하도록 구성된다. 대역폭 확장 고주파 신호는 고주파 대역을 포함하며, 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 저주파 대역을 기반으로 한다. 서로 다른 대역폭 확장 고주파 신호는 서로 다른 대역폭 확장 고주파 신호가 생성될 경우에 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교기는 다수의 비교 파라미터를 계산하도록 구성된다. 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다. 더욱이, 비교기는 다수의 비교 파라미터로부터 비교 파라미터를 결정하도록 구성되며, 결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.
환언하면, 예컨대, 비교기는 기껏해야 미리 정해진 기준을 충족시키는 다수의 비교 파라미터 중에서 비교 파라미터를 결정하도록 구성될 수 있다.
출력 인터페이스는 전송 또는 저장을 위한 출력 신호를 제공하도록 구성된다. 출력 신호는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하는 파라미터 인디케이션(indication)을 포함한다.
환언하면, 출력 신호는 최적의 오프셋 주파수를 나타내는 선택된 비교 파라미터를 포함할 수 있다.
본 발명의 다른 실시예는, 입력 오디오 신호 및 파라미터 신호에 기초로 하여 대역폭 확장된 오디오 신호를 제공하는 대역폭 확장 디코더를 제공한다. 파라미터 신호는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함한다. 대역폭 확장 디코더는 패치 생성기, 조합기, 및 출력 인터페이스를 포함한다.
패치 생성기는 고주파 대역을 포함하는 대역폭 확장 고주파 신호를 생성하도록 구성된다. 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 주파수 대역의 하나 이상의 주파수 시프트에 기초로 하여 생성된다. 주파수 시프트는 오프셋 주파수에 기초로 한다.
또한, 패치 생성기는, 제각기, 전력 밀도 파라미터의 동일하거나, 전력 밀도 파라미터의 역수 값(reciprocal value)과 동일한 인수만큼 고주파 대역을 증폭하거나 감쇠할 수 있도록 구성된다.
조합기는 대역폭 확장된 오디오 신호를 획득하기 위해 대역폭 확장 고주파 신호 및 입력 오디오 신호를 조합하도록 구성된다.
출력 인터페이스는 대역폭 확장된 오디오 신호를 제공하도록 구성된다.
본 발명의 다른 실시예는, 입력 오디오 신호에 기초로 하여 대역폭 확장된 오디오 신호를 제공하는 대역폭 확장 디코더를 제공한다. 대역폭 확장 디코더는 패치 생성기, 비교기, 조합기, 및 출력 인터페이스를 포함한다.
패치 생성기는, 입력 오디오 신호에 기초로 하여 고주파 대역을 포함하는 하나 이상의 대역폭 확장 고주파 신호를 생성하도록 구성되며, 생성된 대역폭 확장 고주파 신호의 고주파 대역의 하위 컷오프 주파수는 입력 오디오 신호의 상위 컷오프 주파수보다 낮다. 서로 다른 생성된 대역폭 확장 고주파 신호는 서로 다른 대역폭 확장 고주파 신호가 생성될 경우에 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교기는 다수의 비교 파라미터를 계산하도록 구성된다. 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다. 또한, 비교기는 다수의 비교 파라미터로부터 비교 파라미터를 결정하도록 구성되며, 결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.
환언하면, 예컨대, 비교기는 기껏해야 미리 정해진 기준을 충족시키는 다수의 비교 파라미터 중에서 비교 파라미터를 결정하도록 구성된다.
조합기는 대역폭 확장된 오디오 신호를 획득하기 위해 입력 오디오 신호 및 대역폭 확장 고주파 신호를 조합하도록 구성되며, 대역폭 확장된 오디오 신호를 획득하기 위해 이용되는 대역폭 확장 고주파 신호는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 한다.
출력 인터페이스는 대역폭 확장된 오디오 신호를 제공하도록 구성된다.
본 발명에 따른 실시예들은, 또한 패치라 불리워지는 대역폭 확장 고주파 신호가 생성되어 원래의 입력 오디오 신호와 비교될 수 있는 중심 사상에 기초로 한다. 대역폭 확장 고주파 신호의 서로 다른 오프셋 주파수 또는 서로 다른 오프셋 주파수를 가진 수개의 대역폭 확장 고주파 신호를 이용함으로써, 서로 다른 오프셋 주파수에 대응하는 다수의 비교 파라미터가 계산될 수 있다. 비교 파라미터는 오디오 품질과 관련된 수량과 관계될 수 있다. 그래서, 비교 파라미터는 대역폭 확장 고주파 신호 및 입력 오디오 신호의 호환성(compatibility)을 확실하게 하여, 결과로서 오디오 품질을 개선하게 하도록 결정될 수 있다.
인코딩된 오디오 신호의 전송 또는 저장을 위한 비트 레이트는, 원래의 입력 오디오 신호의 고주파 대역의 재구성을 위한 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하는 파라미터 인디케이션을 이용함으로써 감소될 수 있다. 이런 점에서, 입력 오디오 신호 및 파라미터 인디케이션의 저주파 부분만이 저장되거나 전송될 필요가 있다.
용어 비교 파라미터, xover 주파수 및 파라미터 인디케이션은 나중에 정의될 것이다.
본 발명에 따른 일부 실시예들은, 비교 파라미터를 계산하기 위해 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교를 위해 크로스 상관을 이용하는 비교기에 관계한다.
본 발명에 따른 일부 다른 실시예들은, 단일 측파대 변조에 기초로 하는 시간 도메인 내에서 대역폭 확장 고주파 신호를 생성시키는 패치 생성기에 관계한다.
본 발명의 바람직한 실시예들의 이점으로서, 오디오 품질을 증대시키고, 및/또는 전송 또는 저장을 위한 비트 레이트를 감소시키는 오디오 신호에 대한 개선된 코딩 기법이 제공된다는 것이다.
이하, 본 발명에 따른 실시예들은 첨부된 도면을 참조로 상세히 설명될 것이다.
도 1은 오디오 인코더의 블록도이다.
도 2는 대역폭 확장 고주파 신호 생성, 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교, 및 대역폭 확장 고주파 신호의 전력 적응의 개략도이다.
도 3은 대역폭 확장 고주파 신호 생성, 입력 오디오 신호 및 대역폭 확장 고주파 신호의 비교, 및 대역폭 확장 고주파 신호의 전력 적응의 개략도이다.
도 4는 대역폭 확장 인코더의 블록도이다.
도 5는 대역폭 확장 디코더의 블록도이다.
도 6은 대역폭 확장 디코더의 블록도이다.
도 7은 입력 오디오 신호에 기초로 하여 출력 신호를 제공하는 방법의 흐름도이다.
도 8은 대역폭 확장된 오디오 신호를 제공하는 방법의 흐름도이다.
도 9는 입력 오디오 신호에 기초로 하여 출력 신호를 제공하는 방법의 흐름도이다.
도 10은 비교 파라미터를 계산하는 방법의 흐름도이다.
도 11은 오프셋 주파수의 보간(interpolation)의 개략도이다.
도 12는 대역폭 확장 디코더의 블록도이다.
도 13은 대역폭 확장된 오디오 신호를 제공하는 방법의 흐름도이다.
도 14는 대역폭 확장된 오디오 신호를 제공하는 방법의 블록도이다.
도 15는 대역폭 확장 인코더의 블록도이다.
도 16a는 가변 크로스오버 주파수를 이용하는 3개의 톤의 스펙트로그램이다.
도 16b는 3개의 톤의 원래의 오디오 신호의 스펙트로그램이다.
도 17은 원래의 오디오 신호, 일정한 크로스오버 주파수를 이용하는 대역폭 확장된 오디오 신호, 및 가변 크로스오버 주파수를 이용하는 대역폭 확장된 오디오 신호의 전력 스펙트럼 다이어그램이다.
도 18a는 공지된 대역폭 확장 방법을 이용하는 3개의 톤의 스펙트로그램이다.
도 18b는 3개의 톤의 원래의 오디오 신호의 스펙트로그램이다.
다음에는, 동일한 참조 번호가 부분적으로 동일하거나 유사한 기능적 특성을 가진 대상물 및 기능적 유닛에 이용되고, 도면에 대한 설명은 또한 실시예의 설명에서 중복을 감소시키기 위해 다른 도면에도 적용한다.
도 1은 입력 오디오 신호(102)를 이용하여 본 발명의 실시예에 따라 출력 신호(132)를 제공하는 오디오 인코더(100)의 블록도를 도시한 것이다. 출력 신호는 디코더에서 대역폭 확장을 위해 적절하다. 그래서, 오디오 인코더는 또한 대역폭 확장 인코더라 한다. 대역폭 확장 인코더(100)는 패치 생성기(110), 비교기(120) 및 출력 인터페이스(130)를 포함한다. 패치 생성기(110)는 비교기(120)에 접속되고, 비교기(120)는 출력 인터페이스(130)에 접속된다.
패치 생성기(110)는 하나 이상의 대역폭 확장 고주파 신호(112)를 생성시킨다. 대역폭 확장 고주파 신호(112)는 고주파 대역을 포함하며, 대역폭 확장 고주파 신호(112)의 고주파 대역은 입력 오디오 신호(102)의 저주파 대역에 기초로 한다. 서로 다른 대역폭 확장 고주파 신호(112)가 생성되면, 서로 다른 대역폭 확장 고주파 신호(112)는 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교기(120)는 다수의 비교 파라미터를 계산한다. 비교 파라미터는 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112)의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112) 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다. 또한, 비교기(120)는 다수의 비교 파라미터로부터 비교 파라미터를 결정하며, 결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.
출력 인터페이스(130)는 전송 또는 저장을 위한 출력 신호(132)를 제공한다. 출력 신호(132)는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하는 파라미터 인디케이션을 포함한다.
서로 다른 오프셋 주파수에 대한 다수의 비교 파라미터를 계산함으로써, 대역폭 확장 고주파 신호(112)는 원래의 입력 오디오 신호(102)에 잘 맞는 것으로 발견될 수 있다. 이것은, 제각기 서로 다른 오프셋 주파수를 가진 다수의 대역폭 확장 고주파 신호(112)를 생성시키거나, 하나의 대역폭 확장 고주파 신호를 생성시킴으로써 행해질 수 있고, 서로 다른 오프셋 주파수만큼 대역폭 확장 고주파 신호(112)의 고주파 대역을 시프트시킴으로써 행해질 수 있다. 또한, 서로 다른 오프셋 주파수를 가진 다수의 대역폭 확장 고주파 신호(112)를 생성시키고, 다른 서로 다른 오프셋 주파수만큼 대역폭 확장 고주파 신호(112)의 고주파 대역을 시프트시키는 조합이 가능할 수 있다. 예컨대, 5개의 서로 다른 대역폭 확장 고주파 신호(112)가 생성되고, 이들의 각각이 일정한 오프셋 주파수만큼 5번 시프트된다.
도 2는 대역폭 확장 고주파 신호 생성, 대역폭 확장 고주파 신호 및 입력 오디오 신호의 비교, 및 하나의 대역폭 확장 고주파 신호만이 생성되어 서로 다른 오프셋 주파수만큼 시프트되는 경우에 대한 대역폭 확장 고주파 신호의 선택적 전력 적응의 개략도(200)를 도시한 것이다.
제 1 개략적 "전력 대 주파수" 다이어그램(210)은 입력 오디오 신호(102)를 개략적으로 도시한다. 이런 입력 오디오 신호(102)에 기초로 하여, 패치 생성기(110)는, 예컨대, 입력 오디오 신호(102)의 저주파 대역을 (참조 번호로 나타낸 바와 같이) 고주파로 시프트시킴으로써(222), 대역폭 확장 고주파 신호(112)를 생성시킬 수 있다. 예컨대, 저주파 대역은 도 1에 도시되지 않은 코어 코더의 크로스오버 주파수와 동일한 주파수만큼 시프트되며, 이런 주파수는 대역폭 확장 인코더(100)의 부분 또는 다른 미리 정해진 주파수일 수 있다.
그리고 나서, 생성된 대역폭 확장 고주파 신호(112)는 (참조 번호(230)로 나타낸 바와 같이) 각 오프셋 주파수(232)에 대해 서로 다른 오프셋 주파수(232)만큼 시프트될 수 있고, 비교 파라미터는 비교기(120)에 의해 계산될 수 있다. 오프셋 주파수(232)는, 예컨대, 코어 코더의 크로스오버 주파수에 관하여, 다른 특정 주파수에 관하여 정의될 수 있거나, 절대 주파수 값으로서 정의될 수 있다.
그 다음, 비교기(120)는 미리 정해진 기준을 충족시키는 비교 파라미터를 결정한다. 이런 식으로, 결정된 비교 파라미터에 대응하는 오프셋 주파수(242)를 가진 대역폭 확장 고주파 신호(112)는 (참조 번호(240)로 도시된 바와 같이) 결정될 수 있다.
부가적으로, 또한 전력 밀도 파라미터(252)는 (참조 번호(250)로 나타낸 바와 같이) 결정될 수 있다. 전력 밀도 파라미터(252)는, 결정된 비교 파라미터에 대응하는 오프셋 주파수를 가진 대역폭 확장 고주파 신호의 고주파 대역 및 입력 오디오 신호의 대응하는 주파수 대역의 비율을 나타낼 수 있다. 예컨대, 이 비율은 전력 밀도 비율, 전력 비율, 주파수 대역의 전력 밀도에 관계되는 수량의 다른 비율에 관계할 수 있다.
선택적으로, 도 3은 대역폭 확장 고주파 신호 생성, 생성된 대역폭 확장 고주파 신호 및 입력 오디오 신호의 비교, 및 서로 다른 오프셋 주파수를 가진 다수의 대역폭 확장 고주파 신호가 생성되는 경우에 대한 대역폭 확장 고주파 신호의 선택적 전력 적응의 개략도(300)를 도시한 것이다.
도 2에 도시된 시퀀스와는 다르게도, 패치 생성기(110)는, (참조 번호(320)로 나타낸 바와 같이) 서로 다른 오프셋 주파수(232)를 가진 대역폭 확장 고주파 신호(112)를 생성시킨다. 이것은 다시, 고주파로의 입력 오디오 신호(102)의 저주파 대역의 주파수 시프트(222)에 의해 행해질 수 있다. 입력 오디오 신호(102)의 저주파 대역은, 일정한 주파수 플러스 각 대역폭 확장 고주파 신호(112)의 개별 오프셋 주파수(232)만큼 시프트될 수 있다. 일정한 주파수는 코어 코더의 크로스오버 주파수 또는 다른 특정 주파수와 동일할 수 있다.
그리고 나서, 각 생성된 대역폭 확장 고주파 신호(112)에 대한 비교 파라미터는 계산될 수 있고, 미리 정해진 기준을 충족시키는 비교 파라미터는 비교기(120)에 의해 결정될 수 있다(240).
전력 밀도 파라미터는 상술한 바와 같이 결정될 수 있다(250).
도 2 및 3에 도시된 개념은 또한 조합될 수 있다.
입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112)의 비교는 양방의 신호의 크로스 상관에 의해 행해질 수 있다. 이 경우에, 비교 파라미터는, 예컨대, 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112) 간의 특정 오프셋 주파수에 대한 크로스 상관의 결과일 수 있다.
출력 신호(132)의 파라미터 인디케이션은, 오프셋 주파수 자체, 양자화된 오프셋 주파수, 또는 오프셋 주파수에 기초로 한 다른 수량일 수 있다.
입력 오디오 신호(102)의 고주파 대역 대신에 파라미터 인디케이션만을 전송하거나 저장함으로써, 전송 또는 저장을 위한 비트 레이트는 감소될 수 있다. 미리 정해진 기준을 충족하는 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하는 파라미터를 선택함으로써, 이것은 대역 제한 오디오 신호만을 디코딩하는 것보다 더 양호한 오디오 품질을 산출할 수 있다.
미리 정해진 기준은, 예컨대, 다른 오프셋 주파수를 가진 대역폭 확장 고주파 신호(112)의 70% 보다 더 양호한, 입력 오디오 신호(102)에 매칭하는 대응하는 오프셋 주파수를 가진 대역폭 확장 고주파 신호(112)를 나타내고, 입력 오디오 신호(102)에 대한 최상의 3개의 매치(match) 중 하나인 대응하는 오프셋 주파수를 가진 대역폭 확장 고주파 신호(112)를 나타내거나, 대응하는 오프셋 주파수를 가진 최상의 매칭 대역폭 확장 고주파 신호(112)를 나타내는 다수의 비교 파라미터 중 하나의 비교 파라미터를 결정할 수 있다. 이것은, 서로 다른 오프셋 주파수를 가진 다수의 대역폭 확장 고주파 신호(112)가 생성되는 경우 뿐만 아니라, 하나의 대역폭 확장 고주파 신호(112)만이 생성되어, 서로 다른 오프셋 주파수만큼 시프트되는 경우, 또는 이들 양방의 경우의 조합에 관계한다.
비교 파라미터는, 특정 오프셋 주파수를 가진 대역폭 확장 고주파 신호(112)가 입력 오디오 신호(102)에 얼마나 잘 매칭하는지를 나타내는 크로스 상관 또는 다른 수량의 결과일 수 있다.
대역폭 확장 인코더(100)는 입력 오디오 신호(102)의 저주파 대역을 인코딩하는 코어 코더를 포함할 수 있다. 이 코어 코더는, 입력 오디오 신호(102)의 인코딩된 저주파 대역의 상위 컷오프 주파수에 대응할 수 있는 크로스오버 주파수를 포함할 수 있다. 코어 코더의 크로스오버 주파수는 시간이 지남에 따라 일정하거나 가변적일 수 있다. 가변 크로스오버 주파수를 구현함으로써, 코어 코더의 복잡도가 증대될 수 있지만, 인코딩을 위한 유연성이 또한 증대될 수 있다.
도 2 및/또는 도 3에 도시된 프로세스는 고주파 대역 또는 패치에 반복될 수 있다. 예컨대, 입력 오디오 신호(102)의 저주파 대역은 4 kHz의 상위 컷오프 주파수를 포함한다. 그래서, 입력 오디오 신호(102)의 저주파 대역이 대역폭 확장 고주파 신호(112)를 생성하도록 저주파 대역의 상위 컷오프 주파수만큼 시프트되면, 대역폭 확장 고주파 신호(112)는 4 kHz의 하위 컷오프 주파수 및 8 kHz의 상위 컷오프 주파수를 가진 고주파 대역을 포함한다. 이 프로세스는, 저주파 대역의 상위 컷오프 주파수의 2배만큼 입력 오디오 신호(102)의 저주파 대역을 시프트함으로써 반복될 수 있다. 그래서, 새롭게 생성된 대역폭 확장 고주파 신호(112)는 8 kHz의 하위 컷오프 주파수 및 12 kHz의 상위 컷오프 주파수를 가진 고주파 대역을 포함한다. 이것은 원하는 최고 주파수가 도달될 때까지 반복될 수 있다. 선택적으로, 이것은 또한, 다수의 서로 다른 고주파 대역을 가진 하나의 대역폭 확장 고주파 신호를 생성시킴으로써 실현될 수 있다.
이 예에서 예시된 바와 같이, 입력 오디오 신호의 저주파 대역의 대역폭 및 대역폭 확장 고주파 신호의 고주파 대역의 대역폭은 동일할 수 있다. 선택적으로, 입력 오디오 신호의 저주파 대역은 확산(spread)되어, 대역폭 확장 고주파 신호를 생성시키도록 시프트될 수 있다.
결정된 비교 파라미터에 대응하는 오프셋 주파수(232)를 가진 대역폭 확장 고주파 신호(112)를 결정함으로써, 오프셋 주파수(242)에 따라 입력 오디오 신호(102)의 저주파 대역 및 대역폭 확장 고주파 신호(112)의 고주파 대역 간에 갭이 생길 수 있다. 이런 갭은, 예컨대, 대역 제한 노이즈를 포함하는 이런 갭에 맞는 주파수 부분을 생성시킴으로써 충진(fill)될 수 있다. 선택적으로, 이 갭은, 오디오 품질이 극적으로 손상되지 않을 수 있으므로 텅비어 있을 수 있다.
도 4는 본 발명의 실시예에 따라 입력 오디오 신호(102)를 이용하여 출력 신호(132)를 제공하는 대역폭 확장 인코더(400)의 블록도를 도시한 것이다. 대역폭 확장 인코더(400)는 패치 생성기(110), 비교기(120), 출력 인터페이스(130), 코어 코더(410), 대역 통과 필터(420) 및 파라미터 추출 유닛(430)을 포함한다. 코어 코더(410)는 출력 인터페이스(130) 및 패치 생성기(110)에 접속되고, 패치 생성기(110)는 비교기(120)에 접속되며, 비교기(120)는 파라미터 추출 유닛(430)에 접속되고, 파라미터 추출 유닛(430)은 출력 인터페이스(130)에 접속되며, 대역 통과 필터(420)는 비교기(120)에 접속된다.
패치 생성기(110)는, 입력 오디오 신호(102)에 기초로 하여 대역폭 확장 고주파 신호(112)를 생성시키는 변조기로서 실현될 수 있다. 비교기(120)는 대역 통과 필터(420)에 의해 필터링되는 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112)의 비교를 이들의 크로스 상관에 의해 실행할 수 있다. 미리 정해진 기준을 충족시키는 비교 파라미터의 결정은 또한 래그(lag) 추정이라 불리워질 수 있다.
출력 인터페이스(130)는 또한 비트스트림 포맷터의 함수를 포함할 수 있고, 코어 코더(410)에 의해 제공되는 저주파 신호 및, 파라미터 추출 유닛(430)에 의해 제공되는 오프셋 주파수에 기초로 하는 파라미터 인디케이션을 포함하는 파라미터 신호(432)를 조합하는 조합기를 포함할 수 있다. 또한, 출력 인터페이스(130)는 엔트로피 코더 또는 차동 코더(differential coder)를 포함하여 출력 신호(132)의 비트 레이트를 감소시킬 수 있다. 조합기 및 엔트로피 또는 차동 코더는 이 예에서 도시된 바와 같이 출력 인터페이스(130)의 부분일 수 있거나 독립 유닛일 수 있다.
오디오 신호(102)는 저주파 부분 및 고주파 부분으로 분할될 수 있다. 이것은 코어 코더(410)의 저역 통과 필터 및 대역 통과 필터(420)에 의해 행해질 수 있다. 저역 통과 필터는 코어 코더(410)의 부분, 또는 코어 코더(410)에 접속된 독립 저역 통과 필터일 수 있다.
저주파 부분은, 예컨대, MPEG1/2 Layer 3 "MP3" 또는 MPEG 4 AAC 표준 또는 음성 코더에 따르는 오디오 코더일 수 있는 코어 코더(410)에 의해 처리된다.
저주파 부분은, 예컨대, 주파수 도메인 내의 측파대 변조 또는 고속 퓨리에 변환 (FFT)에 의해 고정된 값만큼 시프트됨으로써, 대응하는 패치의 타겟 영역 내의 원래의 저주파 영역 위에 위치될 수 있도록 한다. 선택적으로, 저주파 부분은 입력 신호(102)로부터 직접 획득될 수 있다. 이것은 패치 생성기(110)에 접속되는 독립 저역 통과 필터에 의해 행해질 수 있다.
정규 시간 구간에서, (입력 오디오 신호의) 원래의 고주파 부분 및 획득된 고주파 부분 (대역폭 확장 고주파 신호) 간의 윈도우화된(windowed) 신호 섹션의 진폭 스펙트럼 간의 크로스 상관이 계산될 수 있다. 이런 식으로, 최대 상관을 위한 래그 (오프셋 주파수)가 결정될 수 있다. 이런 래그는 원래의 단일 측파대 변조에 관한 보정 계수의 의미를 가질 수 있다. 즉, 단일 측파대 변조는 크로스 상관을 최대화하도록 래그에 의해 부가적으로 보정될 수 있다. 환언하면, 또한 래그라 불리워지고, 미리 정해진 기준을 충족시키는 비교 파라미터에 대응하는 오프셋 주파수가 결정될 수 있으며, 여기서, 비교 파라미터는 크로스 상관에 대응하고, 미리 정해진 기준은 최대 상관을 발견할 수 있다.
게다가, 진폭 스펙트럼의 절대값의 비율이 결정될 수 있다. 이것에 의해, 그것은, 획득된 고주파 신호가 감쇠되거나 증폭되는 어느 계수로 유도될 수 있다. 환언하면, 전력, 전력 밀도, 진폭 스펙트럼의 절대값, 또는 대역폭 확장 고주파 신호(112)의 고주파 대역 및 원래의 입력 오디오 신호(102)의 대응하는 주파수 대역 간의 전력 밀도 비율에 관계되는 다른 값의 비율을 나타내는 전력 밀도 파라미터가 결정될 수 있다. 이것은, 도시된 예 또는 독립 유닛에서와 같이 파라미터 추출 유닛(430)의 일부일 수 있는 전력 밀도 비교기에 의해 행해질 수 있다. 전력 밀도 파라미터를 결정하기 위해, 예컨대, 입력 오디오 신호(102)의 저주파 대역을 일정한 주파수만큼 시프트시킴으로써 생성되는 대역폭 확장 고주파 신호(112), 또는 결정된 비교 파라미터에 대응하는 대역폭 확장 고주파 신호(112), 또는 다른 생성된 대역폭 확장 고주파 신호(112)가 이용될 수 있다. 이 경우에 대응하는 주파수 대역은, 예컨대, 동일한 주파수 범위를 가진 주파수 대역을 의미한다. 예컨대, 대역폭 확장 고주파 신호의 고주파 대역이 4 kHz 내지 8 kHz의 주파수를 포함하면, 입력 오디오 신호의 대응하는 주파수 대역은 또한 4 kHz 내지 8 kHz의 범위를 포함한다.
래그에 대응하고, 진폭의 절대값에 대응하는 획득된 보정 계수 (오프셋 주파수, 전력 밀도 파라미터)는 시간이 지남에 따라 보간될 수 있다. 환언하면, 윈도우화된 신호 섹션 동안( 시간 프레임 동안)에 결정된 파라미터는 신호 섹션의 각 시간 단계 동안에 보간될 수 있다.
이런 변조 (제어) 신호 (파라미터 신호) 또는 이것의 파라미터화된 표현(representation)은 디코더에 저장되거나 전송될 수 있다. 환언하면, 파라미터 신호(432)는, 디코더에 저장되거나 전송될 수 있는 출력 신호(132)를 획득하도록 코어 코더(410)에 의해 처리되는 입력 오디오 신호(102)의 저주파 대역과 조합될 수 있다.
부가적으로, 예컨대, 노이즈 레벨 및/또는 토낼리티(tonality)를 적응시키는 추가적 파라미터가 결정될 수 있다. 이것은 파라미터 추출 유닛(430)에 의해 행해질 수 있다. 추가적 파라미터는 파라미터 신호(432)에 부가될 수 있다.
도 4에 도시된 예는 시간 가변 변조의 인코더 사이드(encoder-sided) 계산을 예시한다. 이 경우에 시간 가변 변조는 서로 다른 오프셋 주파수를 가진 대역폭 확장 고주파 신호(112)에 관계한다. 미리 정해진 기준을 충족시키는 결정된 비교 파라미터에 대응하는 오프셋 주파수는 시간이 지남에 따라 변화할 수 있다.
도 5는, 본 발명의 실시예에 따라 입력 오디오 신호(502) 및 파라미터 신호(504)에 기초로 하여 대역폭 확장된 오디오 신호(532)를 제공하는 대역폭 확장 디코더(500)의 블록도를 도시한 것이다. 파라미터 신호(504)는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함한다. 대역폭 확장 디코더(500)는 패치 생성기(510), 조합기(520) 및 출력 인터페이스(530)를 포함한다. 패치 생성기(510)는 조합기(520)에 접속되고, 조합기(520)는 출력 인터페이스(530)에 접속된다.
패치 생성기(510)는, 입력 오디오 신호(502)에 기초로 하여 고주파 대역을 포함하는 대역폭 확장 고주파 신호(512)를 생성시킨다. 대역폭 확장 고주파 신호(512)의 고주파 대역은 입력 오디오 신호(502)의 주파수 대역의 주파수 시프트에 기초로 하여 생성되며, 여기서, 주파수 시프트는 오프셋 주파수에 기초로 한다.
또한, 패치 생성기(510)는, 전력 밀도 파라미터의 값과 동일하거나, 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 대역폭 확장 고주파 신호(512)의 고주파 대역을 증폭시키거나 감쇠시킨다.
조합기(520)는 대역폭 확장된 오디오 신호(532)를 획득하도록 대역폭 확장 고주파 신호(512) 및 입력 오디오 신호(502)를 조합하고, 출력 인터페이스(530)는 대역폭 확장된 오디오 신호(532)를 제공한다.
오프셋 주파수에 기초로 하여 대역폭 확장 고주파 신호(112)를 생성시킴으로써, 예컨대, 오프셋 주파수가 상술한 바와 같이 결정될 경우에, 고주파 영역 내의 입력 오디오 신호의 주파수 범위의 연속(continuation)이 개선될 수 있다. 이것은 대역폭 확장된 오디오 신호(532)의 오디오 품질을 증대시킬 수 있다.
부가적으로, 입력 오디오 신호(502)의 고주파 연속의 전력 밀도는, 대역폭 확장 고주파 신호(512)의 고주파 대역을 전력 밀도 파라미터만큼 증폭시키거나 감쇠시킴으로써 매우 효율적인 방식으로 행해질 수 있다. 이런 점에서, 정규화(normalization)가 필요치 않을 수 있다.
패치 생성기(510)는, 입력 오디오 신호(512)의 주파수 대역을 일정한 주파수 플러스 오프셋 주파수만큼 시프트시킴으로써 대역폭 확장 고주파 신호(512)를 생성시킬 수 있다. 오프셋 주파수가 저주파로의 주파수 시프트를 나타내면, 조합기는 입력 오디오 신호(502)의 상위 컷오프 주파수보다 낮은 주파수를 포함하는 대역폭 확장 고주파 신호(512)의 고주파 대역의 일부를 무시할 수 있다.
패치 생성기(510)는 시간 도메인 또는 주파수 도메인 내에서 대역폭 확장 고주파 신호(512)를 생성시킬 수 있다. 시간 도메인 내에서, 패치 생성기(510)는 단일 측파대 변조에 기초로 하여 대역폭 확장 고주파 신호(512)를 생성시킬 수 있다.
부가적으로, 출력 인터페이스는 그것을 제공하기 전에 출력 신호를 증폭시킬 수 있다.
도 6은 본 발명의 실시예에 따라 입력 오디오 신호(502) 및 파라미터 신호(504)에 기초로 하여 대역폭 확장된 오디오 신호(532)를 제공하는 대역폭 확장 디코더(600)의 블록도를 도시한 것이다. 대역폭 확장 디코더(600)는 패치 생성기(510), 조합기(520), 출력 인터페이스(530), 코어 디코더(610) 및 파라미터 추출 유닛(620)을 포함한다. 코어 디코더(610)는 패치 생성기(510) 및 조합기(520)에 접속되고, 파라미터 추출 유닛(620)은 패치 생성기(510) 및 출력 인터페이스(530)에 접속되며, 패치 생성기(510)는 조합기(520)에 접속되며, 조합기(520)는 출력 인터페이스(530)에 접속된다.
코어 디코더(610)는 수신된 비트 스트림(602)을 디코딩하여, 입력 오디오 신호(502)를 패치 생성기(510) 및 조합기(520)에 제공할 수 있다. 입력 오디오 신호(502)는 코어 디코더(610)의 크로스오버 주파수와 동일한 상위 컷오프 주파수를 포함할 수 있다. 이런 크로스오버 주파수는 시간이 지남에 따라 일정하거나 가변적일 수 있다. 시간이 지남에 따라 가변적이다는 것은, 예컨대, 서로 다른 시간 구간 또는 시간 프레임에 대해 가변적이지만, 한 시간 구간 또는 시간 프레임에 대해서는 일정하다는 것을 의미한다.
파라미터 추출 유닛(620)은 수신된 비트 스트림(602)에서 파라미터 신호(504)를 분리하여, 그것을 패치 생성기(510)에 제공할 수 있다. 부가적으로, 파라미터 신호(504) 또는 추출된 노이즈 및/또는 토낼리티 파라미터는 출력 인터페이스(530)에 제공될 수 있다.
패치 생성기(510)는 대역폭 확장 고주파 신호(512)를 획득하도록 오프셋 주파수에 기초로 하여 입력 오디오 신호(502)를 변조시켜, 파라미터 신호(504) 내에 포함되는 전력 밀도 파라미터에 기초로 하여 대역폭 확장 고주파 신호(512)를 증폭시키거나 감쇠시킬 수 있다. 이런 대역폭 확장 고주파 신호(512)는 조합기(530)에 제공된다. 환언하면, 패치 생성기(510)는 고주파 신호를 획득하도록 오프셋 주파수 및 전력 밀도 파라미터에 기초로 하여 입력 오디오 신호(502)를 변조시킬 수 있다. 이것은, 예컨대, 시간 도메인 내에서, 각 시간 단계 동안에 보간 및/또는 필터링(632)을 가진 단일 측파대 변조(634)에 의해 행해질 수 있다.
조합기(520)는, 대역폭 확장 오디오 신호(532)를 획득하도록 입력 오디오 신호(502) 및 생성된 대역폭 확장 고주파 신호(512)를 조합한다.
출력 인터페이스(530)는 대역폭 확장된 오디오 신호(532)를 제공하고, 부가적으로 보정 유닛을 포함할 수 있다. 보정 유닛은 파라미터 추출 유닛(620)에 의해 제공되는 파라미터에 기초로 하여 토낼리티 보정 및/또는 노이즈 보정을 실행할 수 있다. 보정 유닛은, 도 6에 도시된 바와 같은 출력 인터페이스(530)의 부분일 수 있거나, 독립 유닛일 수 있다. 보정 유닛은 또한 패치 생성기(510) 및 조합기(520) 사이에 배치될 수 있다. 이런 식으로, 보정 유닛은 생성된 대역폭 확장 고주파 신호(512)의 토낼리티 및/또는 노이즈만을 보정할 수 있다. 입력 오디오 신호(512)의 토낼리티 및 노이즈 보정은 입력 오디오 신호(502)가 원래의 오디오 신호에 대응하므로 필요치 않다.
어떤 워드로 요약하면, 대역폭 확장 디코더(600)는, 전송된 변조 함수에 의해 오디오 디코더 또는 코어 디코더의 출력 신호 (입력 오디오 신호)에서 고주파 신호를 합성하여 스펙트럼으로 형성할 수 있다. 전송된 변조 함수는, 예컨대, 오프셋 주파수 및 전력 밀도 파라미터에 기초로 하는 변조 함수를 의미한다. 그리고 나서, 고주파 신호 및 저주파 신호는 조합될 수 있고, 노이즈 레벨 및 토낼리티를 적응시키는 추가적 파라미터가 적용될 수 있다.
도 7은 본 발명의 실시예에 따라 입력 오디오 신호에 기초로 하여 출력 신호를 제공하는 방법(700)의 흐름도를 도시한 것이다. 이 방법은, 하나 이상의 대역폭 확장 고주파 신호를 생성시키는 단계(710), 다수의 비교 파라미터를 계산하는 단계(720), 다수의 비교 파라미터로부터의 비교 파라미터를 결정하는 단계(730), 및 전송 또는 저장을 위한 출력 신호를 제공하는 단계(740)를 포함한다.
생성된 대역폭 확장 고주파 신호는 고주파 대역을 포함한다. 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 저주파 대역에 기초로 한다. 서로 다른 대역폭 확장 고주파 신호가 생성되면, 서로 다른 대역폭 확장 고주파 신호는 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다.
결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.
출력 신호는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하는 파라미터 인디케이션을 포함한다.
도 8은 본 발명의 실시예에 따라 입력 오디오 신호 및 파라미터 신호에 기초로 하여 대역폭 확장된 오디오 신호를 제공하는 방법(800)의 흐름도를 도시한 것이다. 파라미터 신호는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함한다. 이 방법은, 대역폭 확장 고주파 신호를 생성시키는 단계(810), 대역폭 확장 고주파 신호의 고주파 대역을 증폭시키거나 감쇠시키는 단계(820), 대역폭 확장된 오디오 신호를 획득하도록 대역폭 확장 고주파 신호 및 입력 오디오 신호를 조합하는 단계(830), 및 대역폭 확장된 오디오 신호를 제공하는 단계(840)를 포함한다.
대역폭 확장 고주파 신호는 고주파 대역을 포함한다. 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 주파수 대역의 주파수 시프트에 기초로 하여 생성된다(810). 주파수 시프트는 오프셋 주파수에 기초로 한다.
대역폭 확장 고주파 신호의 고주파 대역은 전력 밀도 파라미터의 값과 동일하거나, 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 증폭되거나 감쇠된다(820).
도 9는 본 발명의 실시예에 따라 입력 오디오 신호에 기초로 하여 출력 신호를 제공하는 방법(900)의 흐름도를 도시한 것이다. 그것은 인코더 내에서 알고리즘의 시퀀스에 대한 하나의 가능성을 예시한다. 이것은 또한 다음에 수학적으로 기술되는 형식일 수 있다. 실시간 신호는, 라틴어 소문자, 대응하는 그리스어를 가진 힐베르트 변환된 신호 및, 라틴어 대문자 또는 선택적으로 그리스어 대문자를 가진 퓨리에 변환된 신호로 나타낼 수 있다.
입력 신호는 f(n)이라 불리워질 수 있고, 출력 신호
Figure 112013106730634-pat00001
는 퓨리에 변환됨을 나타내고, j는 허수를 나타내며, 힐베르트 변환 H(.)은 보통 다음과 같이 정의된다:
Figure 112013106730634-pat00002
Figure 112013106730634-pat00003
xOver은 코어 코더의 컷오프 주파수일 수 있고,
Figure 112013106730634-pat00004
은 시간을 나타낼 수 있다.
Figure 112013106730634-pat00005
은 제 k 확장 또는 패치를 나타낼 수 있다.
Figure 112013106730634-pat00006
는, 예컨대, Bark 또는 ERB-스케일에 따라 xOver에 관계되는 지각 대역(perceptual bands)의 대역 에지를 나타낸다. 선택적으로,
Figure 112013106730634-pat00007
는, 예컨대, 선형적으로, 즉
Figure 112013106730634-pat00008
상수를 증대시킬 수 있다. 힐베르트 변환은 또한 변조된 저역 통과 필터로 신호를 필터링함으로써 계산상 효율적으로 계산될 수 있다.
첫째로, 변조 주파수
Figure 112013106730634-pat00009
를 가진 분석 변조기 함수(902) 및, 시간 증분(time increment)
Figure 112013106730634-pat00010
에 따른 생성된 위상 증분
Figure 112013106730634-pat00011
(Fs는 샘플링 레이트를 나타낸다)이 생성될 수 있다. 이것은 다음의 식으로 수학적으로 나타될 수 있다:
Figure 112013106730634-pat00012
Figure 112013106730634-pat00013
이 n과 무관할 경우에, 합은 n으로만 대체될 수 있다.
입력 오디오 신호(102) 또는 리얼 오디오 신호 f는 다음과 같이 표현될 수 있는
Figure 112013106730634-pat00014
의 대역폭으로 대역 통과 필터링될 수 있다:
Figure 112013106730634-pat00015
이 경우에, 각 패치는 동일한 대역폭을 포함할 것이다.
선택적으로, 입력 오디오 신호 f (102)는 다음과 같이 나타낼 수 있는 서로 다른 대역폭을 가진
Figure 112013106730634-pat00016
의 대역폭으로 대역 통과 필터링될 수 있다:
Figure 112013106730634-pat00017
그 후, 이 방법으로 재구성되어야 하는 원래의 신호의 영역이 결정될 수 있다. 이들 대역 제한 영역은 다음과 같이 나타낼 수 있고,
Figure 112013106730634-pat00018
구간
Figure 112013106730634-pat00019
내에 위치된다.
저역 통과 필터링된 입력 신호(904)의 변조는 주파수 도메인 또는 시간 도메인 내에서 행해질 수 있다.
주파수 도메인에서, 먼저 다음과 같이 나타낼 수 있는 입력 신호가 윈도우화될 수 있다:
Figure 112013106730634-pat00020
여기서, NFFT는 고속 퓨리에 변환 빈(bins)의 수 (예컨대, 512 빈)이고,
Figure 112013106730634-pat00021
은 윈도우 수이며, win(.)은 윈도우 함수이다. 윈도우 또는 시간 프레임은 일시 오버랩을 포함할 수 있다. 예컨대, 상기에 주어진 식은 윈도우 절반의 일시 오버랩을 나타낸다. 따라서,
Figure 112013106730634-pat00022
블록은 원래의 신호에서 생성되고, 그것과 관련하여, 퓨리에 변환의 절대값
Figure 112013106730634-pat00023
이 퓨리에 변환에서 대역 에지 k의 인덱스를 나타낼 시에
Figure 112013106730634-pat00024
인 많은 진폭 스펙트럼
Figure 112013106730634-pat00025
으로서 생성된다.
그리고 나서, 신호는 FFT-빈 (고속 퓨리에 변환 빈)을 시프트함으로써 주파수 도메인 내에서 변조된다. 암시적인 힐베르트 변환은 여기서 필요치 않지만, 다음의 단계의 동등한 형식적 설명을 가능하게 한다:
Figure 112013106730634-pat00026
Figure 112013106730634-pat00027
에 대해,
Figure 112013106730634-pat00028
시간 도메인에서, 분석 신호(908)를 생성하기 위한 입력 오디오 신호 f (102)의 힐베르트 변환(906)이 먼저 행해진다.
Figure 112013106730634-pat00029
및
Figure 112013106730634-pat00030
이때 분석 신호
Figure 112013106730634-pat00031
는 변조기
Figure 112013106730634-pat00032
(902)로 단일 측파대 변조된다(710):
Figure 112013106730634-pat00033
또는
Figure 112013106730634-pat00034
이런 식으로, 또한 변조된 신호(910)라 불리워지는 대역폭 확장 고주파 신호가 생성될 수 있다.
그 다음, 입력 신호(912) 및 확장된 신호(914)의 윈도우잉 (또한 오버랩 가능) 및 퓨리에 변환(916)이 실행된다:
Figure 112013106730634-pat00035
및
Figure 112013106730634-pat00036
여기서, NFFT는 다시 한번 고속 퓨리에 변환 빈의 수 (예컨대, 256, 512, 1024 빈 또는 24 및 232 간의 다른 수)이고,
Figure 112013106730634-pat00037
은 윈도우 수이며, win(.)은 윈도우 함수이다. 따라서,
Figure 112013106730634-pat00038
블록(914)은 원래의 신호에서 생성되고, 그것과 관련하여, 퓨리에 변환의 절대값(916)
Figure 112013106730634-pat00039
이 퓨리에 변환에서 대역 에지 k의 인덱스를 나타낼 시에
Figure 112013106730634-pat00040
인 많은 진폭 스펙트럼
Figure 112013106730634-pat00041
으로서 생성된다.
시간 도메인에서의 프로세스는 도 9에 도시된다.
다음 단계는, 수학적으로 다음과 같이 표현될 수 있는 원래의 및 확장된 신호의 부분 진폭 스펙트럼의 크로스 상관
Figure 112013106730634-pat00042
의 계산(720)이다:
Figure 112013106730634-pat00043
Figure 112013106730634-pat00044
Figure 112013106730634-pat00045
은 크로스 상관이 계산되는 최대 래그 (최대 오프셋 주파수)를 나타낼 수 있다. 크로스 상관이 바이어스, 즉 작은 래그로 계산되어, 큰 오버랩이 바람직하다면,
Figure 112013106730634-pat00046
이 선택되어야 한다. 이에 반해, 보다 적은 FFT-빈 (고속 퓨리에 변환 빈)이 작은 래그 보다는 큰 래그에 대해 오버랩하는 것으로 보상되어야 하면,
Figure 112013106730634-pat00047
이 선택되어야 한다. 일반적으로,
Figure 112013106730634-pat00048
은 임의로 선택될 수 있다. 선택적으로 또는 부가적으로,
Figure 112013106730634-pat00049
은 패치보다 약간 큰 크로스 상관의 영역을 선택하기 위해 선택될 수 있다. 이것으로, 크로스 상관에 의해 고려되는 영역은 특정 패치의 양방의 스펙트럼 단부에서
Figure 112013106730634-pat00050
만큼 확장될 수 있다.
크로스 상관의 이들 결과에 기초로 하여, 크로스 상관의 최대
Figure 112013106730634-pat00051
및 최대 상관의 래그
Figure 112013106730634-pat00052
Figure 112013106730634-pat00053
가 결정될 수 있다.
부가적으로, 패치 내의 에너지 또는 전력의 비율(920)은 전력 밀도 스펙트럼에 의해 결정될 수 있다:
Figure 112013106730634-pat00054
어떤 명확한 최대치가 결정될 수 없다면(924), 래그는 (참조 번호(922)로 도시된 바와 같이) 0으로 되돌아 간다. 그렇지 않으면, 추정된 래그(918)는 최대 크로스 상관에 대응하는 래그일 수 있다. 이런 경우, 선택될 τ와 함께 적절한 임계 기준
Figure 112013106730634-pat00055
이 결정될 수 있다. 선택적으로, 크로스 상관
Figure 112013106730634-pat00056
의 곡률 또는 스펙트럼 평탄도(spectral flatness)(SFN)는, 예컨대 다음과 같이 관측될 수 있다:
Figure 112013106730634-pat00057
또는
Figure 112013106730634-pat00058
Figure 112013106730634-pat00059
래그
Figure 112013106730634-pat00060
및 전력 밀도 파라미터
Figure 112013106730634-pat00061
는 각 시간 단계에 대한 값을 획득하도록 보간될 수 있다(926):
Figure 112013106730634-pat00062
그리고 나서, 수정, 진폭 변조 및 주파수 시프트된 전체 변조 함수가 생성될 수 있다:
Figure 112013106730634-pat00063
이런 전체 변조 함수 또는 전체 변조 함수의 파라미터에는 저장 또는 전송을 위한 출력 신호가 제공될 수 있다(740).
부가적으로, 노이즈 보정 및/또는 토낼리티 보정을 위한 추가적 파라미터가 결정될 수 있다.
디코더에서의 변조는 다음에 의해 행해질 수 있다:
Figure 112013106730634-pat00064
및 k 부분 변조의 첨가 (하나 이상의 패치가 존재할 경우). 이것에 대해, 전체 변조 함수 μk(n) 또는 μ(n) 또는 전체 변조 함수의 파라미터
Figure 112013106730634-pat00065
및
Figure 112013106730634-pat00066
또는
Figure 112013106730634-pat00067
및
Figure 112013106730634-pat00068
는, 예컨대, 양자화에 의해 적절히 코딩될 수 있다. 선택적으로, 샘플링 레이트는 감소될 수 있고, 히스테리시스(hysteresis)가 일어날 수 있다.
토널(tonal) 신호가, 예컨대, 조용히, 일시적 또는 노이즈로 존재하지 않으면, 래그의 계산은 생략될 수 있다. 이들 경우에, 래그는 0으로 설정될 수 있다.
도 10은 래그를 결정하기 위한 예(1000)를 더욱 상세히 도시한 것이다.
시간 프레임 또는 윈도우
Figure 112013106730634-pat00069
(1010)에 대해, 래그
Figure 112013106730634-pat00070
는 개시값으로서 마이너스
Figure 112013106730634-pat00071
로 설정된다. 그리고 나서, 크로스 상관
Figure 112013106730634-pat00072
이 계산된다(720).
Figure 112013106730634-pat00073
가
Figure 112013106730634-pat00074
보다 작다면 (1030),
Figure 112013106730634-pat00075
는 증대되고 (1032), 크로스 상관에 관한 다음 비교 파라미터는 계산된다(720).
Figure 112013106730634-pat00076
가
Figure 112013106730634-pat00077
와 동일하거나 크다면 (1030), 최대 계산된 크로스 상관에 대응하는 래그가 결정될 수 있다(730). 최대치가 명확히 확인 가능하다면(924), 결정된 래그는 파라미터
Figure 112013106730634-pat00078
로서 이용된다(918). 그렇지 않으면, 래그는 0으로 설정되어, 파라미터
Figure 112013106730634-pat00079
로서 이용된다(922).
그리고 나서, 전체 프로세스는 다음 시간 프레임
Figure 112013106730634-pat00080
(1050)에 대해 반복된다(1040). 결정된 래그는 각 시간 단계 N에 대한 파라미터를 획득하도록 보간될 수 있다(926).
다수의 비교 파라미터의 계산, 예컨대, 크로스 상관의 결과는 또한 다수의 비교기가 이용될 경우와 동시에 행해질 수 있다. 또한, 서로 다른 시간 프레임의 처리는 필요한 하드웨어가 여러번 이용 가능할 경우와 동시에 행해질 수 있다. 크로스 상관을 계산하기 위한 루프는 또한
Figure 112013106730634-pat00081
에서 개시할 수 있고,
Figure 112013106730634-pat00082
까지 루프마다 감소될 수 있다.
도 11은 서로 다른 시간 프레임, 시간 구간 또는 윈도우의 오프셋 주파수의 보간(926)의 개략도를 도시한 것이다. 도 11a는 시간 프레임이 오버랩하지 않을 경우의 보간(1100)을 도시한 것이다. 래그
Figure 112013106730634-pat00083
는 전체 시간 프레임(1110)에 대해 결정될 수 있다. 각 시간 단계(1120)에 대한 파라미터를 보간하기 위한 가장 쉬운 방법은, 대응하는 래그
Figure 112013106730634-pat00084
와 동일한 시간 프레임(1110)의 모든 시간 단계(1120)의 파라미터를 설정함으로써 실현될 수 있다. 시간 프레임의 에지에서, 이전의 또는 다음의 시간 프레임의 래그가 선택될 수 있다. 예컨대, 파라미터
Figure 112013106730634-pat00085
내지
Figure 112013106730634-pat00086
는
Figure 112013106730634-pat00087
와 동일하고, 파라미터
Figure 112013106730634-pat00088
내지
Figure 112013106730634-pat00089
는
Figure 112013106730634-pat00090
와 동일하다.
선택적으로, 시간 프레임(1110)의 래그는 시간 프레임 간에 선형적으로 보간될 수 있다. 예컨대:
Figure 112013106730634-pat00091
적절히, 도 11b는 시간 프레임(1110)을 오버랩하기 위한 예(1150)를 도시한 것이다. 이 경우에, 하나의 시간 단계(1120)는 하나 이상의 시간 프레임(1110)과 관련된다. 그래서, 하나 이상의 결정된 래그는 하나의 시간 단계(1120)와 관련될 수 있다. 그래서, 결정된 래그는 각 시간 단계(1120)에 대한 하나의 파라미터를 획득하도록 보간될 수 있다(926). 예컨대, 하나의 시간 단계(1120)에 대응하는 결정된 래그는 선형적으로 보간될 수 있다. 예컨대, 가능 보간은 다음과 같을 수 있다:
Figure 112013106730634-pat00092
선택적으로, 보간은 또한, 예컨대, 미디언 필터링(median filtering)에 의해 행해질 수 있다.
보간은 보간 수단에 의해 행해질 수 있다. 보간 수단은 파라미터 추출 유닛 또는 출력 인터페이스의 부분일 수 있거나 분리 유닛일 수 있다.
디코더측에서, 대역폭 확장은 코어 코더의 출력으로서
Figure 112013106730634-pat00093
및
Figure 112013106730634-pat00094
의 디코딩 후에 다음에 의해 행해질 수 있다:
Figure 112013106730634-pat00095
부가적으로,
Figure 112013106730634-pat00096
은 토낼리티 및/또는 노이즈 레벨에 대한 원래의 신호 획득된 파라미터로부터 이전과 적응될 수 있다.
디코더에서 전체 변조 함수의 계산은 양방의 다음의 식 중 하나에 따라 행해진다:
Figure 112013106730634-pat00097
및
Figure 112013106730634-pat00098
신호의 허수부는 무시될 수 있다:
Figure 112013106730634-pat00099
그 후, 상술한 바와 같이, 예컨대, 역 필터링에 의한 토낼리티 보정이 뒤따를 수 있다.
도 12는 본 발명의 실시예에 따라 입력 오디오 신호(502)에 기초로 하여 대역폭 확장된 오디오 신호(532)를 제공하는 대역폭 확장 디코더(1200)의 블록도를 도시한 것이다. 대역폭 확장 디코더(1200)는 패치 생성기(1210), 비교기(1220), 조합기(1230) 및 출력 인터페이스(1240)를 포함한다. 패치 생성기(1210)는 비교기(1220)에 접속되고, 비교기(1220)는 조합기(1230)에 접속되며, 조합기(1230)는 출력 인터페이스(1240)에 접속된다.
패치 생성기(1210)는 입력 오디오 신호(502)에 기초로 하여 고주파 대역을 포함하는 하나 이상의 대역폭 확장 고주파 신호(1212)를 생성시키는데, 대역폭 확장 고주파 신호(1212)의 고주파 대역의 하위 컷오프 주파수는 입력 오디오 신호(502)의 상위 컷오프 주파수보다 낮다. 서로 다른 대역폭 확장 고주파 신호(1212)가 생성될 경우에, 서로 다른 대역폭 확장 고주파 신호(1212)는 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교기(1220)는 다수의 비교 파라미터를 계산한다. 비교 파라미터는 입력 오디오 신호(502) 및 생성된 대역폭 확장 고주파 신호(1212)의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호(502) 및 생성된 대역폭 확장 고주파 신호(1212) 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다, 또한, 비교기는 다수의 비교 파라미터로부터의 비교 파라미터를 결정하는데, 결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다.
조합기(1230)는 대역폭 확장된 오디오 신호(532)를 획득하도록 입력 오디오 신호(502) 및 대역폭 확장 고주파 신호(1212)를 조합하는데, 대역폭 확장된 고주파 신호(1212)는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 한다.
출력 인터페이스(1240)는 대역폭 확장된 오디오 신호(532)를 제공한다.
도 5에 도시된 디코더에 비해, 기술된 디코더(1200)는 단독으로 오프셋 주파수를 결정한다. 그래서, 반드시 이 파라미터를 입력 오디오 신호(502)로 수신할 필요는 없다. 이런 점에서, 오디오 신호의 전송 또는 저장을 위한 비트 레이트는 더 감소될 수 있다.
도 1에 대해 기술된 바와 같이, 패치 생성기(1210)는 서로 다른 오프셋 주파수를 가진 다수의 대역폭 확장 고주파 신호, 또는 서로 다른 오프셋 주파수만큼 시프트되는 하나만의 대역폭 확장 고주파 신호를 생성시킬 수 있다. 다시말하면, 또한 이들 두 가능성의 조합이 이용될 수 있다.
도 13은 본 발명의 실시예에 따라 대역폭 확장된 오디오 신호를 제공하는 방법(1300)의 흐름도를 도시한 것이다. 이 방법(1300)은, 하나 이상의 대역폭 확장 고주파 신호를 생성시키는 단계(1310), 다수의 비교 파라미터를 계산하는 단계(1320), 다수의 비교 파라미터로부터의 비교 파라미터를 결정하는 단계(1330), 입력 오디오 신호 및 대역폭 확장 고주파 신호를 조합하는 단계(1340), 및 대역폭 확장된 오디오 신호를 제공하는 단계(1350)를 포함한다.
대역폭 확장된 고주파 신호는 입력 오디오 신호에 기초로 하는 고주파 대역을 포함한다. 대역폭 확장된 고주파 신호의 고주파 대역의 하위 컷오프 주파수는 입력 오디오 신호의 상위 컷오프 주파수보다 낮다. 서로 다른 대역폭 확장 고주파 신호가 생성될 경우에, 서로 다른 대역폭 확장 고주파 신호는 이들의 고주파 대역 내의 서로 다른 주파수를 포함한다.
비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초로 하여 계산된다. 다수의 비교 파라미터의 각 비교 파라미터는 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초로 하여 계산된다,
결정된 비교 파라미터는 미리 정해진 기준을 충족시킨다,
대역폭 오디오 신호를 획득하도록 입력 오디오 신호와 조합되는 대역폭 확장 고주파 신호는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 한다
도 14는 본 발명의 실시예에 따라 대역폭 확장된 오디오 신호를 제공하는 방법(1400)의 흐름도를 도시한 것이다.
입력 오디오 신호를 포함하는 비트 스트림을 수신한 후(1402), 코어 디코더는 입력 오디오 신호를 디코딩한다(1410). 입력 오디오 신호에 기초로 하여, 대역폭 확장 고주파 신호가 생성되고(1310), 서로 다른 오프셋 주파수를 이용하여 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 크로스 상관에 의한 다수의 비교 파라미터가 계산된다(1320). 그리고 나서, 또한, 래그 추정이라 불리워지는, 미리 정해진 기준을 충족시키는 비교 파라미터가 결정된다(1330).
결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하여, 변조기는 입력 오디오 신호를 변조시킬 수 있다(1420). 부가적으로, 예컨대, 변조된 신호의 전력 밀도를 적응시키도록 수신된 비트 스트림(1402)으로부터 파라미터가 추출될 수 있다(1430). 그리고 나서, 변조된 신호는 입력 오디오 신호와 조합된다(1340). 부가적으로, 대역폭 확장된 오디오 신호의 토낼리티 및 노이즈는 보정될 수 있다(1440). 이것은 또한 입력 오디오 신호와의 조합 전에 행해질 수 있다. 그 후, 대역폭 확장된 오디오 신호에 의한 오디오 데이터는, 예컨대, 음향 재생을 위해 제공된다(1350).
이런 식으로, 시간 가변 변조의 계산이 디코더측에서 행해진다.
변조기의 변조(1420)에 대한 대안으로, 패치를 생성시킬 입력 오디오 신호, 예컨대, 이미 이전에 생성된 대역폭 확장 고주파 신호가 이용될 수 있거나, 패치 생성기가 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하여 대역폭 확장 고주파 신호 (패치)를 생성시킬 수 있다.
환언하면, 저속 데이터 레이트가 디코더측의 저 복잡도보다 더 중요하다면, 변조기의 주파수 변조의 결정은 또한 디코더측에서 행해질 수 있다. 이것에 대해, 도 9에 도시된 알고리즘은 약간의 변경만으로 디코더에서 실행될 수 있다. 원래의 신호가 디코더에서 크로스 상관의 계산을 위해 이용 가능하지 않으므로, 상관은, 원래의 신호 (입력 오디오 신호) 및 오버랩 범위 내에서 시프트된 원래의 신호 (입력 오디오 신호) 간에 계산될 수 있다. 예컨대, 신호는 0과
Figure 112013106730634-pat00100
간에 시프트될 수 있고, 예컨대,
Figure 112013106730634-pat00101
는 2로 나누워지고,
Figure 112013106730634-pat00102
는 3으로 나누워지며, 또는
Figure 112013106730634-pat00103
는 4로 나우워진다.
Figure 112013106730634-pat00104
는 다시 제 k 대역 에지를 나타내며, 예컨대, α1은 코어 코더의 크로스오버 주파수를 나타낸다.
예컨대, 이것은 디코더에서와 같이 인코더에서 동일한 방식으로 일어날 수 있다. 인코더에서, 스펙트럼 형성, 노이즈 보정 및/또는 토낼리티 보정을 위한 파라미터가 추출되어 디코더로 전송될 수 있다.
적절히, 도 15는 본 발명의 실시예에 따라 입력 오디오 신호를 이용하여 출력 신호를 제공하는 대역폭 확장 인코더(1500)의 블록도를 도시한 것이다. 인코더(1500)는 도 4에 도시된 인코더에 대응한다. 그러나, 인코더(1500)는 오프셋 주파수 자체를 기반으로 하는 파라미터 인디케이션을 출력 신호(132)에 제공하지 않는다. 그것은 단지 전력 밀도 파라미터 및, 노이즈 보정 및/또는 토낼리티 보정을 위한 선택적 파라미터를 결정할 수 있고, 출력 신호(132)에 대한 이들 파라미터의 파라미터 인디케이션을 포함한다. 그러나, 전력 밀도 파라미터 (및 또한 이들이 결정될 경우 다른 파라미터)는 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 하여 결정된다.
예컨대, 전력 밀도 파라미터는, 결정된 비교 파라미터에 대응하는 오프셋 주파수를 이용하여 입력 오디오 신호 및 대역폭 확장 고주파 신호 간의 비율을 나타낼 수 있다. 그래서, 전력 밀도 파라미터에 관계되고, 토낼리티 보정 및/또는 노이즈 보정을 위한 파라미터에 선택적인 파라미터 인디케이션은 결정된 비교 파라미터에 대응하는 오프셋 주파수에 기초로 한다.
인코더(1500)와 도 4에 도시된 인코더 간의 추가적 차는, 패치 생성기(110)가 디코더(1400)의 패치 생성기가 그것을 행한 방식과 동일한 방식으로 대역폭 확장 고주파 신호를 생성시킨다는 것이다. 이런 점에서, 인코더(1500) 및 디코더는 동일한 오프셋 주파수를 획득할 수 있어, 인코더(1500)에 의해 추출되는 파라미터는 디코더에 의해 생성되는 패치에 유효하다.
본 발명에 따른 일부 실시예들은 시간 가변 변조기를 이용하여 시간 도메인 내에서 오디오 신호의 대역폭 확장 장치 및 방법에 관계한다. 환언하면, 패치는, 예컨대, 각 시간 단계, 각 시간 프레임, 시간 프레임의 일부 또는 시간 프레임의 그룹에 대해 변화하는 컷오프 주파수를 이용하여 생성될 수 있다.
오디오 신호의 대역폭의 확장을 위한 상술한 방법은 인코더측 및 디코더측에서 뿐만 아니라 디코더측에서만 이용될 수 있다. 공지된 방법에 반해, 기술된 신규 방법은, 오디오 신호의 기본 주파수에 관한 정확한 정보의 필요 없이 대역폭의 소위 하모닉 확장을 실행할 수 있다. 또한, 예컨대, 출원 번호 US 61/025129를 가진 미국 가특허 출원 "F.Nagel, S. Disch: "Apparatus and method of harmonic bandwidth extension in audio signals""로 나타내고, 위상 보코더에 의해 행해지는 소위 하모닉 대역폭 확장과는 대조적으로, 스펙트럼은 스프레드될 수 없어, 또한 밀도가 변화될 수 없다. 하모니를 확실히 하기 위해, 확장된 대역 및 기저 대역 간의 상관이 이용된다. 이런 상관은, 계산 및 메모리 복잡성 및 데이터 레이트에 대한 요구에 따라, 인코더에서 뿐만 아니라 디코더에서도 계산될 수 있다.
예컨대, 대역폭 확장 자체는, 다수의 저속 단일 적응 시간 가변 반송파로 단일 측파대 변조(SSB)에 의해 진폭 변조 (AM) 및 주파수 시프트를 이용함으로써 행해질 수 있다. 부가적인 파라미터에 따른 다음의 후처리는 스펙트럼 엔벨로프 및 노이즈 레벨 뿐만 아니라 원래의 신호의 다른 특성에 근접할려고 노력할 수 있다.
신호의 새로운 변환 방법은, 저주파 (LF) 및 고주파 (HF) 영역 간 뿐만 아니라 다음의 고주파 영역, 소위 패치 간의 시간 가변 컷오프 주파수 XOver에 의해 스펙트럼의 하모닉 보정 연속에 의한 간단한 카피 또는 미러 동작으로 인해 나타나는 문제를 회피할 수 있다. 이들 컷오프 주파수는, 생성된 패치가 가능한 양호하게 원래대로 존재할 시에 기존 하모닉 래스터(raster)에 맞도록 선택된다.
도 16은 3 패치가 기저 대역의 단일 측파대 변조에 의해 생성될 수 있는 3 시간 가변 진폭 및 컷오프 주파수를 이용하는 변조기를 도시한 것이다. 도 16a는 시간 가변 컷오프 주파수(1610)를 이용하는 대역폭 확장된 신호의 스펙트럼의 다이어그램(1600a)를 도시한 것이다. 도 16b는 3개의 톤의 오디오 신호의 스펙트럼의 다이어그램(1600b)를 도시한 것이다. 도 18b에 도시된 스펙트로그램에 비해, 라인(1620)은 상당히 덜 흐리다.
도 17은 주기의 다이어그램(1700)에 의한 효과를 예시한 것이다. 오디오 신호의 제 3 톤의 전력 밀도 스펙트럼은 일정한 컷오프 주파수 (1720) 및 가변 컷오프 주파수(1730)를 이용하여 원래 (1710)로서 나타낸다. 일정한 컷오프 주파수 (1720)를 이용하는 것과는 대조적으로, 하모닉 구조는 가변 컷오프 주파수(1730)를 이용한다.
스펙트럼의 하모닉 연속에 의해, 기저 대역 (코어 코더) 및 확장된 대역 간, 및 연속 패치 간의 전이점에서의 문제가 회피될 수 있다. 시스템의 함수에 대한 요건으로서 F0 추정 없이, 임의 신호는, 가청 아티팩트의 존재 없이, 하모니를 더럽히지도 않고 일시적인 사운드 이벤트도 없이 하모닉 연속될 수 있다.
본 발명에 따른 일부 실시예들은 전 대역폭이 이용 가능하지 않은 모든 오디오 애플리케이션에 적절한 방법에 관계한다. 예컨대, 디지털 라디오, 인터넷 스트림 또는 오디오 통신 애플리케이션과 같은 오디오 콘텐츠의 브로드캐스트의 경우, 기술된 방법이 이용될 수 있다.
본 발명에 따른 추가적 실시예들은 입력 오디오 신호 및 파라미터 신호에 기초로 하여 대역폭 확장된 오디오 신호를 제공하는 대역폭 확장 디코더에 관계하는데, 파라미터 신호는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함한다. 대역폭 확장 디코더는 패치 생성기, 조합기, 및 출력 인터페이스를 포함한다. 패치 생성기는 고주파 대역을 포함하는 대역폭 확장 고주파 신호(512)를 생성시키도록 구성되는데, 대역폭 확장 고주파 신호의 고주파 대역은 입력 오디오 신호의 주파수 대역의 주파수 시프트에 기초로 하여 생성되고, 주파수 시프트는 오프셋 주파수에 기초로 하며, 패치 생성기는, 전력 밀도 파라미터의 값과 동일하거나, 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 대역폭 확장 고주파 신호의 고주파 대역을 증폭시키거나 감쇠시키도록 구성된다. 조합기는 대역폭 확장된 오디오 신호를 획득하도록 대역폭 확장 고주파 신호 및 입력 오디오 신호를 조합하도록 구성된다. 출력 인터페이스는 대역폭 확장된 오디오 신호를 제공하도록 구성된다.
본 발명에 따른 일부 추가적 실시예들은 상술한 바와 같은 대역폭 확장 디코더에 관계하는데, 패치 생성기는, 전력 밀도 파라미터의 값과 동일하거나, 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 대역폭 확장 고주파 신호의 고주파 대역을 증폭시키거나 감쇠시키도록 구성되고, 전력 밀도 파라미터의 인디케이션은 입력 오디오 신호에 포함된다.
본 발명이 여러 실시예에 의해 기술되었지만, 본 발명의 범주 내에서 변경, 교체, 및 등가가 가능하다. 또한, 본 발명의 방법 및 조성물을 구현하는 많은 선택적 방식이 있음에 주목되어야 한다. 그래서, 다음의 첨부된 청구범위는 본 발명의 참된 정신 및 범주 내에서 모든 그런 변경, 교체 및 등가를 포함하는 것으로 해석되는 것으로 의도된다.
특히, 이런 조건에 따라, 발명의 기법은 또한 소프트웨어에서 구현될 수 있음에 주지된다. 이런 구현은, 디지털 저장 매체, 특히, 플로피 디스크 또는 CD로 실행될 수 있으며, 이런 디지털 저장 매체는 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자식으로 판독 가능한 제어 신호를 가짐으로써, 대응하는 방법이 실행되도록 한다. 그래서, 일반적으로, 본 발명은 또한, 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 시에 발명의 방법을 실행하기 위해 기계 판독 가능한 캐리어 상에 저장되는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로 구성된다. 따라서, 환언하면, 본 발명은 또한 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 시에 방법을 실행하기 위해 프로그램 코드를 가진 컴퓨터 프로그램으로서 실현될 수 있다.

Claims (10)

  1. 입력 오디오 신호(102)를 이용하여 출력 신호(132)를 제공하기 위한 오디오 인코더(100), (400), (1500)에 있어서,
    하나 이상의 대역폭 확장 고주파 신호(112)를 생성시키도록 구성되는 패치 생성기(110) － 대역폭 확장 고주파 신호(112)는 고주파 대역을 포함하고, 대역폭 확장 고주파 신호(112)의 상기 고주파 대역은 상기 입력 오디오 신호(102)의 저주파 대역에 기초함 －;
    다수의 비교 파라미터들을 계산하도록 구성되는 비교기(120) － 비교 파라미터는 상기 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112)의 비교에 기초로 하여 계산되고, 상기 다수의 비교 파라미터들의 각 비교 파라미터는 상기 입력 오디오 신호(102) 및 생성된 대역폭 확장 고주파 신호(112) 간의 서로 다른 오프셋 주파수에 기초로 하여 계산되며, 상기 비교기(120)는 상기 다수의 비교 파라미터들로부터 하나의 비교 파라미터를 결정하도록 구성되고, 결정된 비교 파라미터는 미리 정해진 기준을 충족시키는 상기 다수의 비교 파라미터들로부터 결정된 비교 파라미터임 －; 및
    전송 또는 저장을 위한 출력 신호(132)를 제공하도록 구성되는 출력 인터페이스(130) － 상기 출력 신호(132)는 상기 결정된 비교 파라미터에 기초하는 파라미터 인디케이션을 포함함 － 를 포함하는,
    오디오 인코더.
  2. 입력 오디오 신호(502) 및 파라미터 신호(504)에 기초하여 대역폭 확장된 오디오 신호(532)를 제공하기 위한 대역폭 확장 디코더(500, 600)로서, 상기 파라미터 신호(504)는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함하며, 상기 대역폭 확장 디코더는,
    고주파 대역을 포함하는 대역폭 확장 고주파 신호(512)를 생성시키도록 구성되는 패치 생성기(510) － 상기 대역폭 확장 고주파 신호(512)의 상기 고주파 대역은 상기 입력 오디오 신호(502)의 주파수 대역에 적용된 주파수 시프트에 기초하여 생성되고, 상기 주파수 시프트는 상기 오프셋 주파수에 기초하며, 상기 패치 생성기(510)는 제각기 상기 전력 밀도 파라미터의 값과 동일하거나, 상기 전력 밀도 파라미터의 역수(reciprocal) 값과 동일한 인수(factor)만큼 상기 대역폭 확장 고주파 신호(512)의 상기 고주파 대역을 증폭시키거나 감쇠시키도록 구성됨 －;
    상기 대역폭 확장된 오디오 신호(532)를 획득하기 위해 상기 대역폭 확장 고주파 신호(512) 및 상기 입력 오디오 신호(502)를 조합하도록 구성되는 조합기(520); 및
    상기 대역폭 확장된 오디오 신호(532)를 제공하도록 구성되는 출력 인터페이스(530)를 포함하는,
    대역폭 확장 디코더.
  3. 제 2 항에 있어서,
    상기 패치 생성기(510)는 시간 도메인에서 상기 대역폭 확장 고주파 신호(512)를 생성시키도록 구성되는,
    대역폭 확장 디코더.
  4. 제 3 항에 있어서,
    상기 패치 생성기(510)는 단일 측파대 변조에 기초하여 상기 대역폭 확장 고주파 신호(512)를 생성시키도록 구성되는,
    대역폭 확장 디코더.
  5. 입력 오디오 신호를 이용하여 출력 신호를 제공하기 위한 방법(700)에 있어서,
    하나 이상의 대역폭 확장 고주파 신호를 생성시키는 단계(710) － 대역폭 확장 고주파 신호는 고주파 대역을 포함하고, 상기 대역폭 확장 고주파 신호의 상기 고주파 대역은 상기 입력 오디오 신호의 저주파 대역에 기초함 －;
    다수의 비교 파라미터들을 계산하는 단계(720) － 비교 파라미터는 상기 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호의 비교에 기초하여 계산되고, 상기 다수의 비교 파라미터들의 각 비교 파라미터는 상기 입력 오디오 신호 및 생성된 대역폭 확장 고주파 신호 간의 서로 다른 오프셋 주파수에 기초하여 계산됨 －;
    상기 다수의 비교 파라미터들부터 하나의 비교 파라미터를 결정하는 단계(730) － 결정된 비교 파라미터는 미리 정해진 기준을 충족시키는 상기 다수의 비교 파라미터들로부터 결정된 비교 파라미터임 －; 및
    전송 또는 저장을 위한 상기 출력 신호를 제공하는 단계(740) － 상기 출력 신호는 상기 결정된 비교 파라미터에 기초하는 파라미터 인디케이션을 포함함 － 를 포함하는,
    입력 오디오 신호를 이용하여 출력 신호를 제공하기 위한 방법.
  6. 입력 오디오 신호 및 파라미터 신호에 기초하여 대역폭 확장된 오디오 신호를 제공하기 위한 방법(800)으로서, 상기 파라미터 신호는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함하며, 상기 대역폭 확장된 오디오 신호를 제공하기 위한 방법은,
    고주파 대역을 포함하는 대역폭 확장 고주파 신호를 생성시키는 단계(810) － 상기 대역폭 확장 고주파 신호의 상기 고주파 대역은 상기 입력 오디오 신호의 주파수 대역에 적용된 주파수 시프트에 기초하여 생성되고, 상기 주파수 시프트는 상기 오프셋 주파수에 기초함 －;
    상기 전력 밀도 파라미터의 값과 동일하거나, 상기 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 상기 대역폭 확장 고주파 신호의 상기 고주파 대역을 증폭시키거나 감쇠시키는 단계(820);
    대역폭 확장된 오디오 신호를 획득하도록 상기 대역폭 확장 고주파 신호 및 상기 입력 오디오 신호를 조합하는 단계(830); 및
    상기 대역폭 확장된 오디오 신호를 제공하는 단계(840)를 포함하는,
    대역폭 확장된 오디오 신호를 제공하기 위한 방법.
  7. 컴퓨터 프로그램이 컴퓨터 또는 마이크로제어기 상에서 실행할 시에 제 5 항 내지 제 6 항 중 한 항에 따른 방법을 실행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 매체.
  8. 입력 오디오 신호(502) 및 파라미터 신호(504)에 기초하여 대역폭 확장된 오디오 신호(532)를 제공하기 위한 대역폭 확장 디코더(500, 600)로서, 상기 파라미터 신호(504)는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함하며, 상기 대역폭 확장 디코더는,
    고주파 대역을 포함하는 대역폭 확장 고주파 신호(512)를 생성시키도록 구성되는 패치 생성기(510) － 상기 대역폭 확장 고주파 신호(512)의 상기 고주파 대역은 상기 입력 오디오 신호(502)의 주파수 대역에 적용된 주파수 시프트에 기초하여 생성되고, 상기 주파수 시프트는 상기 오프셋 주파수에 기초하며, 상기 패치 생성기(510)는 제각기 상기 전력 밀도 파라미터의 값과 동일하거나, 상기 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 상기 대역폭 확장 고주파 신호(512)의 상기 고주파 대역을 증폭시키거나 감쇠시키도록 구성됨 －;
    상기 대역폭 확장된 오디오 신호(532)를 획득하기 위해 상기 대역폭 확장 고주파 신호(512) 및 상기 입력 오디오 신호(502)를 조합하도록 구성되는 조합기(520);
    인코딩된 입력 오디오 신호(602)에 기초하여 상기 입력 오디오 신호(502)를 생성하도록 구성되는 코어 디코더(610) － 상기 코어 디코더(610)는 일정한 상위 컷오프 주파수를 가진 상기 입력 오디오 신호(502)를 생성시키고, 상기 패치 생성기(510)는, 상기 입력 오디오 신호(502)의 상기 주파수 대역을 상기 입력 오디오 신호(502)의 상기 상위 컷오프 주파수 플러스 상기 오프셋 주파수만큼 시프트시킴으로써 상기 대역폭 확장 고주파 신호(512)의 상기 고주파 대역을 생성시키도록 구성됨 －; 및
    상기 대역폭 확장된 오디오 신호(532)를 제공하도록 구성되는 출력 인터페이스(530)를 포함하는,
    대역폭 확장 디코더.
  9. 입력 오디오 신호 및 파라미터 신호에 기초하여 대역폭 확장된 오디오 신호를 제공하기 위한 방법(800)으로서, 상기 파라미터 신호는 오프셋 주파수의 인디케이션 및 전력 밀도 파라미터의 인디케이션을 포함하며, 상기 대역폭 확장된 오디오 신호를 제공하기 위한 방법은,
    고주파 대역을 포함하는 대역폭 확장 고주파 신호를 생성시키는 단계(810) － 상기 대역폭 확장 고주파 신호의 상기 고주파 대역은 상기 입력 오디오 신호의 주파수 대역에 적용된 주파수 시프트에 기초하여 생성되고, 상기 주파수 시프트는 상기 오프셋 주파수에 기초함 －;
    상기 전력 밀도 파라미터의 값과 동일하거나, 상기 전력 밀도 파라미터의 역수 값과 동일한 인수만큼 상기 대역폭 확장 고주파 신호의 상기 고주파 대역을 증폭시키거나 감쇠시키는 단계(820);
    대역폭 확장된 오디오 신호를 획득하도록 상기 대역폭 확장 고주파 신호 및 상기 입력 오디오 신호를 조합하는 단계(830);
    인코딩된 입력 오디오 신호에 기초하여 일정한 상위 컷오프 주파수를 가진 상기 입력 오디오 신호를 생성시키는 단계 － 상기 입력 오디오 신호의 상기 주파수 대역을 상기 입력 오디오 신호의 상기 상위 컷오프 주파수 플러스 상기 오프셋 주파수만큼 시프트시킴으로써 상기 대역폭 확장 고주파 신호의 상기 고주파 대역이 생성됨 －; 및
    상기 대역폭 확장된 오디오 신호를 제공하는 단계(840)를 포함하는,
    대역폭 확장된 오디오 신호를 제공하기 위한 방법.
  10. 컴퓨터 프로그램이 컴퓨터 또는 마이크로제어기 상에서 실행할 시에 제 9 항에 따른 방법을 실행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 매체.
KR1020137031107A 2008-12-15 2009-12-11 오디오 인코더 및 대역폭 확장 디코더 Active KR101424944B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12255208P 2008-12-15 2008-12-15
US61/122,552 2008-12-15
PCT/EP2009/066980 WO2010069885A1 (en) 2008-12-15 2009-12-11 Audio encoder and bandwidth extension decoder

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117013743A Division KR101369267B1 (ko) 2008-12-15 2009-12-11 오디오 인코더 및 대역폭 확장 디코더

Publications (2)

Publication Number Publication Date
KR20130133914A KR20130133914A (ko) 2013-12-09
KR101424944B1 true KR101424944B1 (ko) 2014-08-01

Family

ID=42104496

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137031107A Active KR101424944B1 (ko) 2008-12-15 2009-12-11 오디오 인코더 및 대역폭 확장 디코더
KR1020117013743A Active KR101369267B1 (ko) 2008-12-15 2009-12-11 오디오 인코더 및 대역폭 확장 디코더

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020117013743A Active KR101369267B1 (ko) 2008-12-15 2009-12-11 오디오 인코더 및 대역폭 확장 디코더

Country Status (16)

Country Link
US (13) US8401862B2 (ko)
EP (12) EP4231290B1 (ko)
JP (3) JP2012512437A (ko)
KR (2) KR101424944B1 (ko)
CN (1) CN102246231B (ko)
AU (1) AU2009328247B9 (ko)
BR (2) BR122015019030B1 (ko)
CA (5) CA2908550C (ko)
DK (1) DK3364414T3 (ko)
ES (12) ES2613941T3 (ko)
HU (9) HUE064775T2 (ko)
MX (1) MX2011006163A (ko)
PL (12) PL2945159T3 (ko)
PT (3) PT2359366T (ko)
TR (1) TR201808500T4 (ko)
WO (1) WO2010069885A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6992481B2 (en) 2003-05-29 2006-01-31 Timex Group B. V. Method for compensating for predictable generated signals in an electronic device
EP4231290B1 (en) * 2008-12-15 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension decoder, corresponding method and computer program
EP4451267B1 (en) * 2009-10-21 2025-04-23 Dolby International AB Oversampling in a combined transposer filter bank
PL2545551T3 (pl) 2010-03-09 2018-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Poprawiona charakterystyka amplitudowa i zrównanie czasowe w powiększaniu szerokości pasma na bazie wokodera fazowego dla sygnałów audio
BR112012022577B1 (pt) 2010-03-09 2021-06-29 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para manipular eventos sonoros transientes em sinais de áudio ao alterar a velocidade ou tom da repetição
KR101414736B1 (ko) 2010-03-09 2014-08-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 캐스케이드 필터뱅크들을 이용한 입력 오디오 신호를 처리하는 장치 및 방법
FR2961938B1 (fr) * 2010-06-25 2013-03-01 Inst Nat Rech Inf Automat Synthetiseur numerique audio ameliore
US8560330B2 (en) * 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
JP5714180B2 (ja) 2011-05-19 2015-05-07 ドルビー ラボラトリーズ ライセンシング コーポレイション パラメトリックオーディオコーディング方式の鑑識検出
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
EP2860729A4 (en) * 2012-06-04 2016-03-02 Samsung Electronics Co Ltd AUDIOCODING METHOD AND DEVICE, AUDIO DECODING METHOD AND DEVICE AND MULTIMEDIA DEVICE THEREWITH
KR101990884B1 (ko) * 2012-09-04 2019-06-19 에스케이 텔레콤주식회사 이종망 간의 통신품질 향상 방법 및 장치
EP2709106A1 (en) 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9258428B2 (en) * 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
EP2950308B1 (en) * 2013-01-22 2020-02-19 Panasonic Corporation Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method
PL3070713T3 (pl) 2013-01-29 2018-07-31 Fraunhofer Ges Forschung Koder audio, dekoder audio, sposób dostarczania zakodowanej informacji audio, sposób dostarczania zdekodowanej informacji audio, program komputerowy i zakodowana reprezentacja, stosujące adaptacyjne względem sygnału powiększanie szerokości pasma
CN103971694B (zh) 2013-01-29 2016-12-28 华为技术有限公司 带宽扩展频带信号的预测方法、解码设备
KR101757349B1 (ko) 2013-01-29 2017-07-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 부대역들의 시간적 평활을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법
EP2981959B1 (en) 2013-04-05 2018-07-25 Dolby International AB Audio encoder and decoder for interleaved waveform coding
CN104217727B (zh) * 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
EP2830059A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling energy adjustment
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
EP2871641A1 (en) * 2013-11-12 2015-05-13 Dialog Semiconductor B.V. Enhancement of narrowband audio signals using a single sideband AM modulation
RU2764260C2 (ru) 2013-12-27 2022-01-14 Сони Корпорейшн Устройство и способ декодирования
KR102340151B1 (ko) * 2014-01-07 2021-12-17 하만인터내셔날인더스트리스인코포레이티드 신호 품질-기반 압축 오디오 신호 향상 및 보상
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
MX367639B (es) * 2014-03-31 2019-08-29 Fraunhofer Ges Forschung Codificador, decodificador, método de codificación, método de decodificación y programa.
US9984699B2 (en) * 2014-06-26 2018-05-29 Qualcomm Incorporated High-band signal coding using mismatched frequency ranges
EP2963646A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9875756B2 (en) * 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
KR101677137B1 (ko) * 2015-07-17 2016-11-17 국방과학연구소 변조 스펙트로그램을 이용한 수중 방사체의 데몬 및 lofar 특징을 동시 추출하는 방법 및 장치
EP3182411A1 (en) 2015-12-14 2017-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an encoded audio signal
US20170178648A1 (en) * 2015-12-18 2017-06-22 Dolby International Ab Enhanced Block Switching and Bit Allocation for Improved Transform Audio Coding
WO2017158105A1 (en) * 2016-03-18 2017-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding by reconstructing phase information using a structure tensor on audio spectrograms
KR102721794B1 (ko) * 2016-11-18 2024-10-25 삼성전자주식회사 신호 처리 프로세서 및 신호 처리 프로세서의 제어 방법
TWI752166B (zh) 2017-03-23 2022-01-11 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
GB2562253B (en) * 2017-05-09 2021-11-03 Imagination Tech Ltd Efficient detection of ranging code correlation function of a GNSS signal
US10896684B2 (en) * 2017-07-28 2021-01-19 Fujitsu Limited Audio encoding apparatus and audio encoding method
CN109729585B (zh) * 2017-10-27 2022-04-15 成都鼎桥通信技术有限公司 网络处理方法和装置
TWI834582B (zh) 2018-01-26 2024-03-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
EP4485457A1 (en) 2019-08-20 2025-01-01 Dolby International AB Multi-lag format for audio coding
US11158297B2 (en) * 2020-01-13 2021-10-26 International Business Machines Corporation Timbre creation system
EP4211701A4 (en) * 2020-09-09 2024-09-11 Sparrow Acoustics Inc. METHOD AND SYSTEM FOR PERFORMING TIME DOMAIN PROCESSING OF A WAVEFORM SIGNAL
US20240323044A1 (en) * 2021-01-22 2024-09-26 Arris Enterprises Llc Hybrid fiber-coaxial networks
US20230110255A1 (en) * 2021-10-12 2023-04-13 Zoom Video Communications, Inc. Audio super resolution
WO2024050673A1 (zh) * 2022-09-05 2024-03-14 北京小米移动软件有限公司 一种音频信号频带扩展方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108197A (ja) 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2512908A (en) 1947-10-16 1950-06-27 Mina M Arndt Telephone switchboard mounting plate with plug-in components
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US6449596B1 (en) 1996-02-08 2002-09-10 Matsushita Electric Industrial Co., Ltd. Wideband audio signal encoding apparatus that divides wide band audio data into a number of sub-bands of numbers of bits for quantization based on noise floor information
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US6549884B1 (en) * 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
SE0004187D0 (sv) 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
MXPA03002115A (es) 2001-07-13 2003-08-26 Matsushita Electric Ind Co Ltd DISPOSITIVO DE DECODIFICACION Y CODIFICACION DE SEnAL DE AUDIO.
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
EP1423847B1 (en) 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US20040002844A1 (en) 2002-06-27 2004-01-01 Jess Jochen A.G. System and method for statistical modeling and statistical timing analysis of integrated circuits
US8090577B2 (en) 2002-08-08 2012-01-03 Qualcomm Incorported Bandwidth-adaptive quantization
JP3861770B2 (ja) 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
DE10328777A1 (de) 2003-06-25 2005-01-27 Coding Technologies Ab Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals
CN100590712C (zh) * 2003-09-16 2010-02-17 松下电器产业株式会社 编码装置和译码装置
DE10345996A1 (de) 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
DE10345995B4 (de) 2003-10-02 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten
JP4254479B2 (ja) * 2003-10-27 2009-04-15 ヤマハ株式会社 オーディオ帯域拡張再生装置
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
KR20070084002A (ko) * 2004-11-05 2007-08-24 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 복호화 장치 및 스케일러블 부호화 장치
DE602005013906D1 (de) * 2005-01-31 2009-05-28 Harman Becker Automotive Sys Bandbreitenerweiterung eines schmalbandigen akustischen Signals
JP4604864B2 (ja) 2005-06-14 2011-01-05 沖電気工業株式会社 帯域拡張装置及び不足帯域信号生成器
US7953605B2 (en) * 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US20080004866A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Artificial Bandwidth Expansion Method For A Multichannel Signal
JP5083779B2 (ja) * 2006-10-25 2012-11-28 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ副帯値を生成する装置及び方法、並びに、時間領域オーディオサンプルを生成する装置及び方法
JP2008158300A (ja) * 2006-12-25 2008-07-10 Sony Corp 信号処理装置、信号処理方法、再生装置、再生方法、電子機器
US7912729B2 (en) * 2007-02-23 2011-03-22 Qnx Software Systems Co. High-frequency bandwidth extension in the time domain
DE102008015702B4 (de) 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
CN102789785B (zh) * 2008-03-10 2016-08-17 弗劳恩霍夫应用研究促进协会 操纵具有瞬变事件的音频信号的方法和设备
US7977562B2 (en) * 2008-06-20 2011-07-12 Microsoft Corporation Synthesized singing voice waveform generator
US8880410B2 (en) * 2008-07-11 2014-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a bandwidth extended signal
MX2011000372A (es) * 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Sintetizador de señales de audio y codificador de señales de audio.
WO2010036061A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
WO2010036062A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
EP4231290B1 (en) * 2008-12-15 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension decoder, corresponding method and computer program
ES2639716T3 (es) * 2009-01-28 2017-10-30 Dolby International Ab Transposición armónica mejorada
EP4451267B1 (en) * 2009-10-21 2025-04-23 Dolby International AB Oversampling in a combined transposer filter bank
AU2011263191B2 (en) * 2010-06-09 2016-06-16 Panasonic Intellectual Property Corporation Of America Bandwidth Extension Method, Bandwidth Extension Apparatus, Program, Integrated Circuit, and Audio Decoding Apparatus
AU2012220369C1 (en) 2011-02-25 2017-12-14 Mobile Pipe Solutions Limited Mobile plastics extrusion plant
CN105976830B (zh) * 2013-01-11 2019-09-20 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108197A (ja) 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置

Also Published As

Publication number Publication date
CN102246231A (zh) 2011-11-16
US11741978B2 (en) 2023-08-29
US9058802B2 (en) 2015-06-16
EP4224475C0 (en) 2023-10-11
BR122015019030A2 (pt) 2019-08-27
EP4231293A1 (en) 2023-08-23
EP4231293B1 (en) 2023-11-15
ES2968886T3 (es) 2024-05-14
EP4231292B1 (en) 2023-11-15
EP4231293C0 (en) 2023-11-15
PT2359366T (pt) 2017-01-20
PL4224475T3 (pl) 2024-03-18
PL4231290T3 (pl) 2024-04-02
US20230049083A1 (en) 2023-02-16
EP4231294B1 (en) 2023-11-15
EP4231291C0 (en) 2023-11-15
ES2968884T3 (es) 2024-05-14
US20230053046A1 (en) 2023-02-16
AU2009328247B2 (en) 2013-06-06
US11631418B2 (en) 2023-04-18
BRPI0917762A2 (pt) 2016-07-26
WO2010069885A1 (en) 2010-06-24
HUE064774T2 (hu) 2024-04-28
PT2945159T (pt) 2018-06-26
PL2945159T3 (pl) 2018-08-31
EP4224474C0 (en) 2023-11-01
EP4231290B1 (en) 2023-11-15
BRPI0917762B1 (pt) 2020-09-29
HUE064620T2 (hu) 2024-04-28
EP4231292C0 (en) 2023-11-15
HUE064653T2 (hu) 2024-04-28
EP4231291A1 (en) 2023-08-23
US20230051135A1 (en) 2023-02-16
EP4231294A1 (en) 2023-08-23
MX2011006163A (es) 2011-11-02
EP2945159A1 (en) 2015-11-18
KR20130133914A (ko) 2013-12-09
US20230041923A1 (en) 2023-02-09
PT3364414T (pt) 2022-07-04
ES2921059T3 (es) 2022-08-17
US20210151063A1 (en) 2021-05-20
EP4053838B1 (en) 2023-06-21
US10229696B2 (en) 2019-03-12
PL4224474T3 (pl) 2024-04-02
PL4231292T3 (pl) 2024-04-02
EP2359366B1 (en) 2016-11-02
ES2968852T3 (es) 2024-05-14
PL4231293T3 (pl) 2024-04-08
US20110288873A1 (en) 2011-11-24
AU2009328247B9 (en) 2013-12-05
US20230072871A1 (en) 2023-03-09
HUE064777T2 (hu) 2024-04-28
TR201808500T4 (tr) 2018-07-23
EP4231290A1 (en) 2023-08-23
US11705146B2 (en) 2023-07-18
CA2908550C (en) 2018-02-13
US11626124B2 (en) 2023-04-11
US20190156845A1 (en) 2019-05-23
EP4231291B1 (en) 2023-11-15
JP5970014B2 (ja) 2016-08-17
EP4231295C0 (en) 2024-02-21
PL4231295T3 (pl) 2024-05-06
CN102246231B (zh) 2013-07-10
EP4224475A1 (en) 2023-08-09
US8401862B2 (en) 2013-03-19
US20230377590A1 (en) 2023-11-23
EP4231292A1 (en) 2023-08-23
HUE064767T2 (hu) 2024-04-28
CA2989886A1 (en) 2010-06-24
HUE065515T2 (hu) 2024-05-28
JP6076407B2 (ja) 2017-02-08
CA2908847A1 (en) 2010-06-24
US11646043B2 (en) 2023-05-09
CA2908576C (en) 2018-11-27
ES2968885T3 (es) 2024-05-14
JP2015187747A (ja) 2015-10-29
BR122015019030B1 (pt) 2020-05-05
ES2978009T3 (es) 2024-09-04
ES2613941T3 (es) 2017-05-29
EP4231295A1 (en) 2023-08-23
EP4231290C0 (en) 2023-11-15
EP4231295B1 (en) 2024-02-21
HUE064775T2 (hu) 2024-04-28
EP3364414B1 (en) 2022-04-13
PL4053838T3 (pl) 2023-11-13
US20150243293A1 (en) 2015-08-27
PL2359366T3 (pl) 2017-04-28
PL4231294T3 (pl) 2024-04-08
US20230037621A1 (en) 2023-02-09
EP4053838C0 (en) 2023-06-21
US11664039B2 (en) 2023-05-30
CA2746837A1 (en) 2010-06-24
EP4053838A1 (en) 2022-09-07
US10937437B2 (en) 2021-03-02
EP4224474B1 (en) 2023-11-01
ES2966659T3 (es) 2024-04-23
CA2746837C (en) 2016-09-20
ES2976382T3 (es) 2024-07-31
KR20110095354A (ko) 2011-08-24
CA2908847C (en) 2018-02-13
EP4224475B1 (en) 2023-10-11
ES2974285T3 (es) 2024-06-26
JP2012512437A (ja) 2012-05-31
US20130185082A1 (en) 2013-07-18
HUE064771T2 (hu) 2024-04-28
JP2014142653A (ja) 2014-08-07
DK3364414T3 (da) 2022-06-27
AU2009328247A1 (en) 2011-07-07
HK1259024A1 (en) 2019-11-22
EP2945159B1 (en) 2018-03-21
CA2908576A1 (en) 2010-06-24
ES2674386T3 (es) 2018-06-29
EP4231294C0 (en) 2023-11-15
EP4224474A1 (en) 2023-08-09
KR101369267B1 (ko) 2014-03-04
EP3364414A1 (en) 2018-08-22
CA2908550A1 (en) 2010-06-24
EP2359366A1 (en) 2011-08-24
US11594237B2 (en) 2023-02-28
PL3364414T3 (pl) 2022-08-16
PL4231291T3 (pl) 2024-04-15
CA2989886C (en) 2020-05-05
HK1217810A1 (en) 2017-01-20
ES2951163T3 (es) 2023-10-18
HUE064773T2 (hu) 2024-04-28
US11670316B2 (en) 2023-06-06
US20230032124A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11670316B2 (en) Audio encoder and bandwidth extension decoder
AU2015203736B2 (en) Audio encoder and bandwidth extension decoder
HK40092273B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40092273A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40096449B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40096449A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40090161B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40090161A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40092376A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40092376B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40094490A (en) Audio bandwidth extension decoding method and computer program
HK40094490B (en) Audio bandwidth extension decoding method and computer program
HK40092274B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40092274A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40077693B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40092377B (en) Audio bandwidth extension decoder
HK40092377A (en) Audio bandwidth extension decoder
HK40091168A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40091168B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK40077693A (en) Audio bandwidth extension decoder, corresponding method and computer program
HK1259024B (en) Audio bandwidth extension decoder, corresponding method and computer program
HK1161652B (en) Audio encoder and bandwidth extension decoder
HK1161652A (en) Audio encoder and bandwidth extension decoder
HK1217810B (en) Audio encoder and bandwidth extension decoder

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20131122

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140305

Comment text: Request for Examination of Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140522

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140723

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140723

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180716

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190716

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200714

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210715

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220712

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230711

Start annual number: 10

End annual number: 10