[go: up one dir, main page]

KR102428419B1 - 시간 노이즈 성형 - Google Patents

시간 노이즈 성형 Download PDF

Info

Publication number
KR102428419B1
KR102428419B1 KR1020207015836A KR20207015836A KR102428419B1 KR 102428419 B1 KR102428419 B1 KR 102428419B1 KR 1020207015836 A KR1020207015836 A KR 1020207015836A KR 20207015836 A KR20207015836 A KR 20207015836A KR 102428419 B1 KR102428419 B1 KR 102428419B1
Authority
KR
South Korea
Prior art keywords
filter
filtering
tns
impulse response
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020207015836A
Other languages
English (en)
Other versions
KR20200090793A (ko
Inventor
엠마뉘엘 라벨리
만프레드 루츠키
마르쿠스 슈넬
알렉산데르 쳬칼린스키즈
고란 마르코비치
슈테판 게에르슈베르거
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20200090793A publication Critical patent/KR20200090793A/ko
Application granted granted Critical
Publication of KR102428419B1 publication Critical patent/KR102428419B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)
  • Error Detection And Correction (AREA)
  • Noise Elimination (AREA)

Abstract

시간 노이즈 성형을 수행하는 방법 및 장치가 논의된다. 장치는:
복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
TNS 도구(11)가
임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36);
임펄스 응답이 제1 필터(14a)의 임펄스 응답보다 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 제2 필터(15a)는 아이덴티티(identity) 필터가 아님 -; LP 필터링을 수행하도록 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
제어기(12)는 프레임 메트릭들(17)에 기초하여 제1 필터(14a)로 필터링하는 것(S36)과 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되는 것을 특징으로 한다.

Description

시간 노이즈 성형
본 명세서의 예는 특히 시간 노이즈 성형(temporal noise shaping, TNS)을 수행하기 위한 인코딩 및 디코딩 장치에 관한 것이다.
다음과 같은 종래의 기술 문서가 종래 기술에 있다:
[1] Herre, J
Figure 112020056735754-pct00001
rgen, and James D. Johnston. "Enhancing the performance of perceptual audio coders by using temporal noise shaping(TNS). " Audio Engineering Society Convention 101. Audio Engineering Society, 1996.
[2] Herre, Jurgen, and James D. Johnston. "Continuously signal-adaptive filterbank for high-quality perceptual audio coding. " Applications of Signal Processing to Audio and Acoustics, 1997. 1997 IEEE ASSP Workshop on. IEEE, 1997.
[3] Herre, J
Figure 112020056735754-pct00002
rgen. "Temporal noise shaping, quantization and coding methods in perceptual audio coding: A tutorial introduction. " Audio Engineering Society Conference: 17th International Conference: High-Quality Audio Coding. Audio Engineering Society, 1999.
[4] Herre, Juergen Heinrich. "Perceptual noise shaping in the time domain via LPC prediction in the frequency domain. " U.S. Patent No. 5,781,888. 14 Jul. 1998.
[5] Herre, Juergen Heinrich. "Enhanced joint stereo coding method using temporal envelope shaping. " U.S. Patent No. 5,812,971. 22 Sep. 1998.
[6] 3GPP TS 26.403; General audio codec audio processing functions; Enhanced aacPlus general audio codec; Encoder specification; Advanced Audio Coding(AAC) part.
[7] ISO/IEC 14496-3:2001; Information technology - Coding of audio-visual objects - Part 3: Audio.
[8] 3GPP TS 26.445; Codec for Enhanced Voice Services(EVS); Detailed algorithmic description.
TNS는 다음과 같이 간단히 설명될 수 있다. 인코더 측에서 및 양자화 전에, 시간 도메인에서 신호를 평탄화하기 위해 선형 예측(linear prediction, LP)를 사용하여 주파수 도메인(frequency domain, FD)에서 신호가 필터링된다. 디코더 측에서 및 역 양자화 후, 신호에 의해 마스킹되도록 시간 도메인에서 양자화 노이즈를 성형하기 위해, 역 예측 필터를 사용하여 주파수 도메인에서 신호가 다시 필터링된다.
TNS는 예를 들어 캐스터네츠와 같은 날카로운 공격이 포함된 신호에서 소위 프리 에코 인공물(pre-echo artefact)를 줄이는 데 효과적이다. 또한 예를 들어 음성(speech)과 같은 의사 정지형 임펄스 유사 신호를 포함하는 신호에도 유용하다.
TNS는 일반적으로 비교적 높은 비트레이트로 동작하는 오디오 코더에 사용된다. 낮은 비트레이트로 동작하는 오디오 코더에 사용될 때, TNS는 때때로 인공물을 발생시켜 오디오 코더의 품질을 떨어뜨릴 수 있다. 이러한 인공물은 클릭 또는 노이즈와 유사하며 대부분의 경우 음성 신호 또는 음조 음악 신호 함께 나타난다.
본 문서의 예는 TNS의 이점을 유지하면서 손상을 억제하거나 감소시킬 수 있다.
이하의 몇몇 예는 저 비트레이트 오디오 코딩을 위한 개선된 TNS를 획득할 수 있게 한다.
예에 따르면, 다음을 포함하는 인코더 장치가 제공된다:
복수의 프레임들을 포함하는 정보 신호에 대해 선형 예측(linear prediction, LP) 필터링을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구; 및
TNS 도구가
임펄스 응답이 더 높은 에너지를 갖는 제1 필터; 및
임펄스 응답이 제1 필터의 임펄스 응답보다 낮은 에너지를 갖는 제2 필터 - 여기서 제2 필터는 아이덴티티(identity) 필터가 아님 - 로 LP 필터링을 수행하도록 TNS 도구를 제어하도록 구성된 제어기.
여기서 제어기는 프레임 메트릭에 기초하여 제1 필터로 필터링하는 것과 제2 필터로 필터링하는 것 중에서 택하도록 구성된다.
다른 프레임에 최소한의 영향을 미치면서 문제가 있는 프레임에서 인공물을 제거할 수 있다.
TNS 동작을 단순히 켜고 끄는 대신, 손상을 줄이면서 TNS 도구의 이점을 유지할 수 있다. 따라서, 지능적인 실시간 피드백 기반 제어는 필터링을 피하는 대신 필요한 경우 필터링을 간단히 줄여서 획득된다.
예에 따르면, 제어기는 필터의 임펄스 응답 에너지가 감소되는 제2 필터를 획득하기 위해 제1 필터를 수정하도록 추가로 구성된다.
따라서, 필요한 경우 임펄스 응답 에너지가 감소된 제2 필터가 생성될 수 있다.
예에 따르면, 제어기는 제1 필터에 적어도 하나의 조정 팩터를 적용하여 제2 필터를 획득하도록 추가로 구성된다.
제1 필터를 지능적으로 수정함으로써, 단순히 TNS를 켜고/끄는 동작을 수행함으로써 달성할 수 없는 필터링 상태가 생성될 수 있다. 전체 필터링과 필터링 없음 사이의 적어도 하나의 중간 상태가 획득된다. 이 중간 상태는 필요할 때 호출되면 TNS의 긍정적인 특성을 유지하는 단점을 줄일 수 있다.
예에 따르면, 제어기는 적어도 프레임 메트릭에 기초하여 적어도 하나의 조정 팩터를 정의하도록 추가로 구성된다.
예에 따르면, 제어기는 TNS 필터링을 수행하는 것과 TNS 필터링을 수행하지 않는 것 사이에서 선택하는 데 사용되는 TNS 필터링 결정 임계치에 기초하여 적어도 하나의 조정 팩터를 정의하도록 추가로 구성된다.
예에 따르면, 제어기는 프레임 메트릭들의 선형 함수를 사용하여 하나 이상의 조정 팩터를 정의하도록 추가로 구성되며, 선형 함수는 프레임 메트릭들의 증가가 조정 팩터 및/또는 필터의 임펄스 응답 에너지의 증가에 대응하도록 한다.
따라서, 각각의 프레임에 가장 적합한 필터 파라미터를 획득하기 위해 서로 다른 메트릭에 대해 서로 다른 조정 팩터를 정의할 수 있다.
예에 따르면, 제어기는 조정 팩터를 다음과 같이 정의하도록 추가로 구성된다:
Figure 112020056735754-pct00003
여기서 thresh는 TNS 필터링 결정 임계치이고, thresh2는 필터링 유형 결정 임계치이고, frameMetrics는 프레임 메트릭이고, γmin은 고정된 값이다.
TNS에 의해 야기된 인공물은 예측 이득이 특정 간격으로 있는 프레임에서 발생하는데, 여기서 TNS 필터링 결정 임계치 thresh보다 높지만 필터링 결정 임계치 thresh2보다 낮은 값들의 세트로 정의된다. 메트릭이 예측 이득인 thresh = 1.5 및 thresh2 = 2인 일부 경우에, TNS에 의해 야기되는 인공물은 1.5와 2 사이에서 발생하는 경향이 있다. 따라서, 몇몇 예는 1.5 <predGain <2인 경우 필터링을 감소시킴으로써 이러한 손상을 극복할 수 있게 한다.
예에 따르면, 제어기는 제1 필터의 파라미터를 수정하여 다음을 적용함으로써 제2 필터의 파라미터를 획득하도록 추가로 구성된다:
Figure 112020056735754-pct00004
여기서 a(k)는 제1 필터의 파라미터이고, γ는 0 <γ<1인 조정 팩터이고, aw(k)는 제2 필터의 파라미터이고, K는 제1 필터의 차수(order)이다.
이것은 제1 필터의 임펄스 응답 에너지에 대해 임펄스 응답 에너지가 감소되도록 제2 필터의 파라미터를 획득하는 쉽고 효과적인 기술이다.
예에 따르면, 제어기는 예측 이득, 정보 신호의 에너지 및/또는 예측 오차 중 적어도 하나로부터 프레임 메트릭을 획득하도록 추가로 구성된다.
이러한 메트릭은 제1 필터에 의해 필터링될 필요가 있는 프레임으로부터 제2 필터에 의해 필터링될 필요가 있는 프레임을 쉽고 확실하게 구별할 수 있게 한다.
예에 따르면, 프레임 메트릭은 다음과 같이 산출된 예측 이득을 포함한다:
Figure 112020056735754-pct00005
energy는 상기 정보 신호의 에너지와 관련된 항이고, predError는 예측 오차와 관련된 항인 것을 특징으로 하는 인코더 장치.
예에 따르면, 제어기는 적어도 예측 이득의 감소 및/또는 정보 신호의 에너지의 감소를 위해, 제2 필터의 임펄스 응답 에너지가 감소되고, 및/또는 적어도 예측 오차의 증가에 있어서, 제2 필터의 임펄스 응답 에너지가 감소되도록 구성된다.
예에 따르면, 제어기는 프레임 메트릭이 필터링 유형 결정 임계치보다 낮을 때 제1 필터로 필터링을 수행하기 위해 프레임 메트릭을 필터링 유형 결정 임계치(예를 들어, thresh2)과 비교하도록 구성된다.
따라서, 신호가 제1 필터를 사용하여 필터링 될 것인지 제2 필터를 사용하여 필터링될 것인지를 자동으로 쉽게 설정할 수 있다.
예에 따르면, 제어기는 프레임 메트릭에 기초하여 필터링하는 것과 필터링하지 않는 것 사이에서 택하도록 구성된다.
따라서, 적절하지 않을 때 TNS 필터링을 완전히 피하는 것이 가능하다.
예에서, 제1 필터와 제2 필터 사이를 결정하기 위해서 그리고 필터링 여부를 결정하기 위해서, 동일한 메트릭이 2개의 상이한 임계치과의 비교를 수행함으로써 두 번 사용될 수 있다.
예에 따르면, 제어기는 프레임 메트릭이 TNS 필터링 결정 임계치보다 낮을 때 TNS 필터링을 피하도록 선택하기 위해 프레임 메트릭을 TNS 필터링 결정 임계치과 비교하도록 구성된다.
예에 따르면, 장치는 다음을 더 포함할 수 있다:
TNS에 의해 획득된 반사(reflection) 계수를 갖는 비트스트림 또는 그 양자화된 버전을 준비하기 위한 비트스트림 기록기(bitstream writer).
이들 데이터는 예를 들어 디코더로 저장 및/또는 송신될 수 있다.
예에 따르면, 인코더 측 및 디코더 측을 포함하는 시스템이 제공되며, 여기서 인코더 측은 위 및/또는 아래의 인코더 장치를 포함한다.
예에 따르면, 복수의 프레임을 포함하는 정보 신호에 대해 시간 노이즈 성형(temporal noise shaping, TNS) 필터링을 수행하는 방법이 제공되며, 방법은 다음을 포함한다:
- 각각의 프레임에 대해, 프레임 메트릭에 기초하여, 임펄스 응답이 더 높은 에너지를 갖는 제1 필터로 필터링하는 것과 임펄스 응답이 제1 필터의 임펄스 응답의 에너지보다 낮은 에너지를 갖는 제2 필터로 필터링하는 것 사이에서 선택하는 단계(14a) - 여기서 제2 필터는 아이덴티티 필터가 아님 -;
- 제1 필터와 제2 필터 사이에서 선택된 필터링을 사용하여 프레임을 필터링하는 단계.
예들에 따라, 프로세서에 의해 실행될 때, 프로세서로 하여금 위 및/또는 아래의 방법들의 단계들 중 적어도 일부를 수행하고 및/또는 위 또는 아래의 시스템 및/또는 위 및/또는 아래의 장치를 구현하게 하는 명령어들을 저장하는 비일시적 저장 장치가 제공된다.
도 1은 일 예에 따른 인코더 장치를 도시한다.
도 2는 일 예에 따른 디코더 장치를 도시한다.
도 3은 일 예에 따른 방법을 도시한다.
도 3a는 일 예에 따른 기술을 도시한다.
도 3b 및 도 3c는 예에 따른 방법을 도시한다.
도 4는 예에 따른 방법을 도시한다.
도 5는 일 예에 따른 인코더 장치를 도시한다.
도 6은 일 예에 따른 디코더 장치를 도시한다.
도 7 및 도 8은 예에 따른 인코더 장치를 도시한다.
도 8a-8c은 예에 따른 신호 진화를 도시한다.
5. 예
도 1은 인코더 장치(10)를 도시한다. 인코더 장치(10)는 오디오 신호와 같은 정보 신호를 처리(및 송신 및/또는 저장)하기 위한 것일 수 있다. 정보 신호는 시간적으로 연속적인 프레임으로 분할될 수 있다. 각각의 프레임은 예를 들어 주파수 도메인(frequency domain, FD)에서 표현될 수 있다. FD 표현은 각각 특정 주파수에서 빈(bin)의 연속일 수 있다. FD 표현은 주파수 스펙트럼일 수 있다.
인코더 장치(10)는 특히 FD 정보 신호(13)(Xs(n))에 대해 TNS 필터링을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11)를 포함할 수 있다. 인코더 장치(10)는 특히 TNS 제어기(12)를 포함할 수 있다. TNS 제어기(12)는 TNS 도구(11)이 (예를 들어, 일부 프레임에 대해) 적어도 하나의 더 높은 임펄스 응답 에너지 선형 예측(LP) 필터링을 사용하여 그리고 (예를 들어, 다른 프레임의 경우) 적어도 하나의 더 높은 임펄스 응답 에너지 LP 필터링을 사용하여 필터링을 수행하도록 TNS 도구(11)를 제어하도록 구성될 수 있다. TNS 제어기(12)는 프레임과 연관된 메트릭(프레임 메트릭)에 기초하여 더 높은 임펄스 응답 에너지 LP 필터링과 더 낮은 임펄스 응답 에너지 LP 필터링 사이에서 선택을 수행하도록 구성된다. 제1 필터의 임펄스 응답의 에너지는 제2 필터의 임펄스 응답의 에너지보다 높다.
FD 정보 신호(13)(Xs(n))는 예를 들어 프레임의 표현이 시간 도메인(time domain, TD)에서 주파수 도메인(frequency domain, FD)으로 변환된, 수정 이산 코사인 변환(modified discrete cosine transform, MDCT) 도구(또는 수정 이산 사인 변환(modified discrete sine transform, MDST))로부터 획득될 수 있다.
TNS 도구(11)는 예를 들어 제1 필터(14a)의 파라미터일 수 있는 선형 예측(LP) 필터 파라미터(14)(a(k))를 사용하여 신호를 처리할 수 있다. TNS 도구(11)는 또한 제2 필터(15a)의 파라미터일 수 있는 파라미터(14')(aw(k))를 포함할 수 있다(제2 필터(15a)는 제1 필터(14a)의 임펄스 응답에 비해 에너지가 낮은 임펄스 응답을 가질 수 있다). 파라미터(14')는 파라미터(14)의 가중 버전으로 이해될 수 있고, 제2 필터(15a)는 제1 필터(14a)로부터 도출된 것으로 이해될 수 있다. 파라미터는 특히 다음 파라미터 중 하나 이상(또는 이의 정량화된 버전)을 포함할 수 있다: LP 코딩(LP coding, LPC), 계수, 반사 계수, RC, 계수 rci(k) 또는 이의 양자화된 버전 rcq(k), 아크사인 반사 계수 , ASRC, 로그 영역 비율(log-area ratio, LAR), 라인 스펙트럼 쌍(line spectral pair, LSP), 및/또는 라인 스펙트럼 주파수(line spectral, LS), 또는 다른 종류의 이러한 파라미터. 예에서, 필터 계수의 임의의 표현을 사용하는 것이 가능하다.
TNS 도구(11)의 출력은 FD 정보 신호(13)(Xs(n))의 필터링된 버전(15)(Xf(n)) 일 수 있다.
TNS 도구(11)의 다른 출력은 반사 계수 rci(k)(또는 그 양자화된 버전 rcq(k))와 같은 출력 파라미터 그룹(16)일 수 있다.
컴포넌트들(11 및 12)의 다운스트림에서, 비트스트림 코더는 출력들(15 및 16)을 비트스트림으로 인코딩하여 (예를 들어, 무선으로, 예를 들어, 블루투스와 같은 프로토콜을 사용하여) 송신될 수 있고/있거나 (예를 들어, 대량 메모리 저장 유닛에) 저장될 수 있다.
TNS 필터링은 일반적으로 0과 다른 반사 계수를 제공한다. TNS 필터링은 일반적으로 입력과 다른 출력을 제공한다.
도 2는 TNS 도구(11)의 출력(또는 그 처리된 버전)을 이용할 수 있는 디코더 장치(20)를 도시한다. 디코더 장치(20)는 특히 TNS 디코더(21) 및 TNS 디코더 제어기(22)를 포함할 수 있다. 컴포넌트들(21 및 22)은 합성 출력(23)
Figure 112020056735754-pct00006
을 획득하기 위해 협력할 수 있다. TNS 디코더(21)는 예를 들어 디코더 장치(20)에 의해 획득된 정보 신호의 디코딩된 표현(25)(또는 그것의 처리된 버전
Figure 112020056735754-pct00007
으로 입력될 수 있다. TNS 디코더(21)는 입력(입력(26)으로서) 반사 계수 rci(k)(또는 그 양자화된 버전 rcq(k))를 획득할 수 있다. 반사 계수들 rci(k) 또는 rcq(k)는 인코더 장치(10)에 의해 출력(16)에서 제공되는 반사 계수들 rci(k) 또는 rcq(k)의 디코딩된 버전일 수 있다.
도 1에 도시된 바와 같이, TNS 제어기(12)는 특히 프레임 메트릭(17)(예를 들어, 예측 이득 또는 predGain)에 기초하여 TNS 도구(11)를 제어할 수 있다. 예를 들어, TNS 제어기(12)는 적어도 더 높은 임펄스 응답 에너지 LP 필터링 및/또는 더 낮은 임펄스 응답 에너지 LP 필터링 사이에서, 및/또는 필터링과 비필터링 사이에서 선택함으로써 필터링을 수행할 수 있다. 더 높은 임펄스 응답 에너지 LP 필터링 및 더 낮은 임펄스 응답 에너지 LP 필터링과는 별도로, 적어도 하나의 중간 임펄스 응답 에너지 LP 필터링이 예에 따라 가능하다.
도 1의 참조 번호 17'은 TNS 제어기(12)로부터 TNS 도구(14)에 제공되는 정보, 명령, 및/또는 제어 데이터를 지칭한다. 예를 들어, 메트릭들(17)에 기초한 결정(예를 들어,"제1 필터 사용" 또는 "제2 필터 사용")이 TNS 도구(14)에 제공될 수 있다. 필터에 대한 설정은 TNS 도구(14)에도 제공될 수 있다. 예를 들어, 조정 팩터(γ)가 제1 필터(14a)를 수정하여 제2 필터(15a)를 획득하도록 TNS 필터에 제공될 수 있다.
메트릭(17)은 예를 들어 프레임에서 신호의 에너지와 관련된 메트릭 일 수 있다(예를 들어, 메트릭은 에너지가 높을수록 메트릭이 높을 수 있다). 메트릭은 예를 들어 예측 오차와 연관된 메트릭일 수 있다(예를 들어, 메트릭은 예측 오차가 높을수록 메트릭이 낮아지도록 할 수 있다). 메트릭은 예를 들어 예측 오차와 신호 에너지 사이의 관계와 관련된 값일 수 있다(예를 들어, 메트릭은 에너지와 예측 오차 사이의 비율이 높을수록 메트릭이 높아지도록 할 수 있다). 메트릭은 예를 들어 현재 프레임에 대한 예측 이득, 또는 현재 프레임에 대한 예측 이득과 관련되거나 비례하는 값일 수 있다(예를 들어, 예측 이득이 높을수록, 메트릭이 더 높다). 프레임 메트릭(17)은 신호의 시간 포락선의 평탄도와 관련될 수 있다.
TNS로 인한 인공물은 예측 이득이 낮을 때만(또는 적어도 널리 퍼짐) 발생한다는 점에 주목하였다. 그러므로, 예측 이득이 높을 때, TNS에 의해 야기된 문제는 발생하지 않거나 (또는 발생하기 쉽지 않은) 완전한(full) TNS(예를 들어, 더 높은 임펄스 응답 에너지 LP)를 수행하는 것이 가능하다. 예측 이득이 매우 낮은 경우, TNS를 전혀 수행하지 않는 것이 바람직하다(비필터링). 예측 이득이 중간일 때, (예를 들어, LP 계수 또는 다른 필터링 파라미터 및/또는 반사 계수를 가중하고 및/또는 임펄스 응답이 더 낮은 에너지를 갖는 필터를 사용함으로써) 낮은 임펄스 응답 에너지 선형 예측 필터링을 사용하여 TNS의 영향을 줄이는 것이 바람직하다. 더 높은 임펄스 응답 에너지 LP 필터링과 더 낮은 임펄스 응답 에너지 LP 필터링은 더 높은 임펄스 응답 에너지 LP 필터링이 더 낮은 임펄스 응답 에너지 LP 필터링보다 더 높은 임펄스 응답 에너지를 발생시키도록 정의된다는 점에서 서로 상이하다. 필터는 일반적으로 임펄스 응답 에너지를 특징으로 하므로 임펄스 응답 에너지로 필터를 식별할 수 있다. 높은 임펄스 응답 에너지 LP 필터링은 임펄스 응답이 낮은 임펄스 응답 에너지 LP 필터링에 사용되는 필터보다 높은 에너지를 갖는 필터를 사용하는 것을 의미한다.
따라서, 본 예에서, TNS 동작은 다음에 의해 계산될 수 있다:
- 메트릭(예를 들어, 예측 이득)이 높을 때(예를 들어, 필터링 유형 결정 임계치를 초과하여) 높은 임펄스 응답 에너지 LP 필터링을 수행;
- 메트릭(예를 들어, 예측 이득)이 중간 일 때(예를 들어, TNS 필터링 결정 임계치과 필터링 유형 결정 임계치 사이) 낮은 임펄스 응답 에너지 LP 필터링을 수행; 및
- 메트릭(예를 들어, 예측 이득)이 낮을 때(예를 들어, TNS 필터링 결정 임계치 하에서) TNS 필터링을 수행하지 않음.
높은 임펄스 응답 에너지 LP 필터링은 예를 들어 높은 임펄스 응답 에너지를 갖는 제1 필터를 사용하여 획득될 수 있다. 낮은 임펄스 응답 에너지 LP 필터링은 예를 들어 낮은 임펄스 응답 에너지를 갖는 제2 필터를 사용하여 획득될 수 있다. 제1 및 제2 필터는 선형 시불변(linear time-invariant, LTI) 필터일 수 있다.
예에서, 제1 필터는 필터 파라미터 a(k)(14)를 사용하여 설명될 수 있다. 예에서, 제2 필터는 (예를 들어, TNS 제어기(12)에 의해 획득된) 제1 필터의 수정된 버전일 수 있다. 제2 필터(낮은 임펄스 응답 에너지 필터)는 (예를 들어,
Figure 112020056735754-pct00008
인 파라미터 γ또는 γk를 사용하여 - 여기서 k는 k≤K은 자연수이고, K는 제1 필터의 차수이다 -) 제1 필터의 필터 파라미터를 다운스케일링함으로써 획득될 수 있다.
따라서, 예에서, 필터 파라미터가 획득될 때 그리고 메트릭에 기초하여, 더 낮은 임펄스 응답 에너지 필터링이 필요한 경우, 제1 필터의 필터 파라미터는 더 낮은 임펄스 선택 에너지 필터에 사용되도록 제2 필터의 필터 파라미터를 획득하기 위해 수정(예를 들어, 축소됨)될 수 있다고 결정된다.
도 3은 인코더 장치(10)에서 구현될 수 있는 방법(30)을 도시한다.
단계 S31에서, 프레임 메트릭(예를 들어, 예측 이득(17))이 획득된다.
단계 S32에서, 프레임 메트릭(17)이 TNS 필터링 결정 임계치 또는 제1 임계치(일부 예에서, 1.5일 수 있음)보다 높은지 여부가 검사된다. 메트릭의 예는 예측 이득일 수 있다.
S32에서, 프레임 메트릭(17)이 제1 임계치(thresh)보다 낮다는 것이 확인되면, S33에서 필터링 동작이 수행되지 않는다(아이덴티티 필터가 사용되었다고 말할 수 있으며, 아이덴티티 필터는 출력이 입력과 동일한 필터이다). 예를 들어, Xf(n) = Xs(n)(TNS 도구(11)의 출력(15)은 입력(13)과 동일) 및/또는 반사 계수 rci(k)(및/또는 양자화된 버전 rc0(k))도 0으로 설정된다. 따라서, 디코더 장치(20)의 동작(및 출력)은 TNS 도구(11)에 의해 영향을 받지 않을 것이다. 따라서, S33에서, 제1 필터 또는 제2 필터는 사용될 수 없다.
S32에서, 프레임 메트릭(17)이 TNS 필터링 결정 임계치 또는 제1 임계치(thresh)보다 큰 것이 확인되면, 프레임 메트릭을 필터링 유형 결정 임계치 또는 제2 임계치(thresh2, 이는 제1 임계치보다 클 수 있으며, 예를 들어 2임).와 비교함으로써 단계 S34에서 제2 검사가 수행될 수 있다.
S34에서, 프레임 메트릭(17)이 필터링 유형 결정 임계치 또는 제2 임계치(thresh2)보다 낮은 것으로 확인되면, 더 낮은 임펄스 응답 에너지 LP 필터링이 S35에서 수행된다(예를 들어, 낮은 임펄스 응답 에너지를 갖는 제2 필터가 사용되며, 제2 필터는 아이덴티티 필터가 아니다).
S34에서, 프레임 메트릭(17)이 필터링 유형 결정 임계치 또는 제2 임계치(thresh2)보다 크다는 것이 확인되면, S36에서 더 높은 임펄스 응답 에너지 LP 필터링이 수행된다(예를 들어, 응답 에너지가 낮은 에너지 필터보다 높은 제1 필터가 사용됨).
방법(30)은 후속 프레임에 대해 반복될 수 있다.
예에서, 더 낮은 임펄스 응답 에너지 LP 필터링(S35)은 필터 파라미터들(14(a(k)))이 예를 들어 상이한 값들에 의해 가중될 수 있다는 점에서 더 높은 임펄스 응답 에너지 LP 필터링(S36)과 상이할 수 있다(예를 들어, 더 높은 임펄스 응답 에너지 LP 필터링은 단일 가중치에 기초할 수 있고, 더 낮은 임펄스 응답 에너지 LP 필터링은 1보다 작은 가중치에 기초할 수 있다). 예를 들어, 낮은 임펄스 응답 에너지 LP 필터링은 더 낮은 임펄스 응답 에너지 LP 필터링을 수행함으로써 획득된 반사 계수들(16)은 더 높은 임펄스 응답 에너지 LP 필터링을 수행함으로써 획득된 반사 계수들에 의해 야기된 감소보다 임펄스 응답 에너지의 더 높은 감소를 야기할 수 있다는 점에서 더 높은 임펄스 응답 에너지 LP 필터링과 상이할 수 있다.
따라서, 단계 S36에서 더 높은 임펄스 응답 에너지 필터링을 수행하는 동안, 제1 필터는 필터 파라미터(14(a(k)))에 기초하여 사용된다(따라서 제1 필터 파라미터임). 단계 S35에서 더 낮은 임펄스 응답 에너지 필터링을 수행하는 동안, 제2 필터가 사용된다. 제2 필터는 제1 필터의 파라미터를 수정함으로써(예를 들어, 1 미만의 가중치로 가중함으로써) 획득될 수 있다.
단계 S31-S32-S34의 순서는 다른 예에서 상이 할 수 있다: 예를 들어, S34가 S32보다 우선할 수 있다. 단계 S32 및/또는 S34 중 하나는 일부 예에서 선택적일 수 있다.
예에서, 제1 및/또는 제2 임계치 중 적어도 하나는 고정될 수 있다(예를 들어, 메모리 요소에 저장됨).
예들에서, 낮은 임펄스 응답 에너지 필터링은 LP 필터 파라미터들(예를 들어, LPC 계수들 또는 다른 필터링 파라미터들) 및/또는 반사 계수들, 또는 반사 계수들을 획득하기 위해 사용된 중간 값을 조정함으로써 필터의 임펄스 응답을 감소시킴으로써 획득될 수 있다. 예를 들어, 1(중량)보다 작은 계수가 LP 필터 파라미터(예를 들어, LPC 계수 또는 다른 필터링 파라미터) 및/또는 반사 계수, 또는 반사 계수를 획득하는 데 사용되는 중간 값에 적용될 수 있다.
예에서, 조정(및/또는 임펄스 응답 에너지의 감소)은 다음과 같을 수 있다(또는 관점에서):
Figure 112020056735754-pct00009
여기서 thresh2는 필터링 유형 결정 임계치이고 (예를 들어, 2일 수 있음), thresh는 TNS 필터링 결정 임계치이고 (그리고 1.5일 수 있음), γmin은 상수이다(예를 들어, 0.7 내지 0.95, 예컨대 0.8 내지 0.9, 예컨대 0.85). γ 값은 LPC 계수(또는 다른 필터링 파라미터) 및/또는 반사 계수를 스케일링하는 데 사용될 수 있다. frameMetrics는 프레임 메트릭이다.
일례에서, 공식은 다음과 같을 수 있다:
Figure 112020056735754-pct00010
여기서 thresh2는 필터링 유형 결정 임계치이고 (예를 들어, 2일 수 있음), thresh는 TNS 필터링 결정 임계치이고 (그리고 1.5일 수 있음), γmin은 상수이다(예를 들어, 0.7 내지 0.95, 예컨대 0.8 내지 0.9, 예컨대 0.85). γ 값은 LPC 계수(또는 다른 필터링 파라미터) 및/또는 반사 계수를 스케일링하는 데 사용될 수 있다. predGain은 예를 들어 예측 이득일 수 있다.
공식으로부터, thresh2보다 낮지 만 그 가까이에 있는 (예를 들어, 1.999) frameMetrics(또는 "predGain")은 임펄스 응답 에너지의 감소가 약하다는 것을 알 수 있다(예를 들어,
Figure 112020056735754-pct00011
). 따라서, 낮은 임펄스 응답 에너지 LP 필터링은 복수의 상이한 낮은 임펄스 응답 에너지 LP 필터링 중 하나일 수 있으며, 각각은 예를 들어 프레임 메트릭들의 값에 따라 상이한 조정 파라미터 γ에 의해 특징지어진다.
더 낮은 임펄스 응답 에너지 LP 필터링의 예에서, 메트릭의 상이한 값은 상이한 조정을 야기할 수 있다. 예를 들어, 더 높은 예측 이득은 더 높은 값의 γ및 제1 필터에 대한 임펄스 응답 에너지의 더 낮은 감소와 관련될 수 있다. γ는 "predGain"에 의존하는 선형 함수로 볼 수 있다. "predGain"의 증가는 γ의 증가를 야기하고, 결과적으로 임펄스 응답 에너지의 감소를 감소시킬 것이다. "predGain"이 감소되면, γ도 감소되고, 이에 따라 임펄스 응답 에너지도 감소될 것이다.
따라서 동일한 신호의 후속 프레임이 상이하게 필터링될 수 있다:
- 일부 프레임은 필터 파라미터(14)가 유지되는 제1 필터(더 높은 임펄스 응답 에너지 필터링)를 사용하여 필터링될 수 있다;
- 일부 다른 프레임들은 제2 필터(낮은 임펄스 응답 에너지 필터링)를 사용하여 필터링될 수 있으며, 여기서 제1 필터는 제1 필터에 대한 임펄스 응답 에너지를 감소시키기 위해 더 낮은 임펄스 응답 에너지(예를 들어, 필터 파라미터(14)가 수정됨)를 갖는 제2 필터를 획득하도록 수정된다;
- 일부 다른 프레임들은 또한 제2 필터(낮은 임펄스 응답 에너지 필터링)를 사용하여 필터링 될 수 있지만(프레임 메트릭의 다른 값들의 결과로서) 다른 조정으로 필터링될 수 있다.
따라서, 각각의 프레임에 대해, 특정 제1 필터가(예를 들어, 필터 파라미터에 기초하여) 정의될 수 있는 한편, 제2 필터는 제1 필터의 필터 파라미터를 수정함으로써 개발될 수 있다.
도 3a는 TNS 필터링 동작을 수행하기 위해 협력하는 제어기(12) 및 TNS 블록(11)의 예를 도시한다.
프레임 메트릭(예를 들어, 예측 이득)(17)이 획득되어 (예를 들어, 비교기(10a)에서) TNS 필터링 결정 임계치(18a)와 비교될 수 있다. 프레임 메트릭(17)이 TNS 필터링 결정 임계치(18a)(thresh)보다 큰 경우, (예를 들어, 비교기(12a)에서)(예를 들어, 선택기(11a)에 의해) 프레임 메트릭(17)을 필터링 유형 결정 임계치(18b)과 비교하는 것이 허용된다. 프레임 메트릭(17)이 필터링 유형 결정 임계치(18b)보다 큰 경우, 임펄스 응답이 더 높은 에너지(예를 들어, γ= 1)를 갖는 제1 필터(14a)가 활성화된다. 프레임 메트릭(17)이 필터링 유형 결정 임계치(18b)보다 낮으면, 임펄스 응답이 더 낮은 에너지(예를 들어, γ<1)를 갖는 제2 필터(15a)가 활성화된다(요소(12b)는 비교기(12a)에 의해 출력된 이진 값의 부정을 나타낸다). 임펄스 응답이 높은 에너지를 갖는 제1 필터(14a)는 임펄스 응답 에너지가 높은 필터링(S36)을 수행할 수 있고, 임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)는 더 낮은 임펄스 응답 에너지를 갖는 필터링(S35)을 수행할 수 있다.
도 3b 및 3c는 제1 및 제2 필터(14a 및 15a)를 각각 사용하기 위한 방법(36 및 35)을 도시한다(예를 들어, 단계 S36 및 S35 각각).
방법(36)은 필터 파라미터들(14)을 획득하는 단계(S36a)를 포함할 수 있다. 방법(36)은 제1 필터(14a)의 파라미터를 사용하여 필터링(예를 들어, S36)을 수행하는 단계(S36b)를 포함할 수 있다. 단계 S35b는 프레임 메트릭이 필터링 유형 결정 임계치를 초과한다는 결정(예를 들어, 단계 S35)에서만(예를 들어, 단계 S34에서) 수행될 수 있다.
방법(35)은 제1 필터(14a)의 필터 파라미터(14)를 획득하는 단계(S35a)를 포함할 수 있다. 방법(35)은 (예를 들어, 임계 임계치(thresh) 및 임계치(thresh2) 중 적어도 하나 및 프레임 메트릭들을 사용함으로써) 조정 팩터(γ를 정의하는 단계(S35b)를 포함할 수 있다. 방법(35)은 제1 필터(14a)에 대해 낮은 임펄스 응답 에너지를 갖는 제2 필터(15a)를 획득하도록 제1 필터(14a)를 수정하는 단계(35c)를 포함할 수 있다. 특히, 제1 필터(14a)는 제1 필터(14a)의 파라미터(14)에 조정 팩터(γ)(예를 들어, S35b에서 획득된 바와 같이)를 적용하여 제2 필터의 파라미터를 획득함으로써 수정될 수 있다. 방법(35)은 (예를 들어, 방법(30)의 S35에서) 제2 필터에 의한 필터링이 수행되는 단계(S35d)를 포함할 수 있다. 단계 S35a, 단계 S35b, 및 단계 S35c는 프레임 메트릭이 필터링 유형 결정 임계치보다 작다는 결정(예를 들어, 단계 S35)에서(예를 들어, 단계 S34에서) 수행될 수 있다.
도 4는 단일 방법(40)을 형성할 수 있는 방법(40')(인코더 측) 및 방법(40")(디코더 측)을 도시한다. 방법 40'및 40"은 방법 40'에 따라 동작하는 디코더가 방법 40"에 따라 동작하는 디코더에 비트스트림(예를 들어, 무선을 사용하여, 예를 들어, 블루투스를 사용하여)을 송신할 수 있다는 점에서 약간의 관계를 가질 수 있다.
방법 40의 단계들(시퀀스
Figure 112020056735754-pct00012
및 시퀀스 S41'-S49'에 의해 단계들)은 아래에서 논의된다.
a) 단계 S41': MDCT(또는 MDST) 스펙트럼(FD 값)의 자기 상관은 예를 들어 다음과 같이 처리될 수 있다:
Figure 112020056735754-pct00013
여기서 K는 LP 필터 차수이다(예를 들어, K = 8). 여기서, c(n)은 TNS 도구(11)에 입력되는 FD 값일 수 있다. 예를 들어, c(n)은 인덱스 n을 갖는 주파수와 연관된 빈을 지칭할 수 있다.
b) 단계 S42': 자기 상관이 지연-윈도윙될(lag window) 수 있다:
Figure 112020056735754-pct00014
지연-윈도우 함수의 예는 예를 들어 다음과 같다:
Figure 112020056735754-pct00015
여기서 α는 윈도우 파라미터이다(예를 들어, α = 0.011).
c) 단계 S43': LP 필터 계수는 예를 들어 다음과 같은 레빈슨-더빈(Levinson-Durbin) 재귀 절차를 사용하여 추정될 수 있다:
Figure 112020056735754-pct00016
여기서
Figure 112020056735754-pct00017
는 추정된 LPC 계수(또는 기타 필터링 파라미터)이고,
Figure 112020056735754-pct00018
는 대응하는 반사 계수이고, e = e(K)는 예측 오차이다.
d) 단계 S44': 현재 프레임에서 TNS 필터링을 온/오프하는 결정(단계 S44'또는 S32)은 예를 들어, 예측 이득과 같은 프레임 메트릭들에 기초할 수 있다:
Figure 112020056735754-pct00019
여기서 예측 이득은 다음과 같이 계산된다:
Figure 112020056735754-pct00020
그리고 thresh는 임계치이다(예를 들어, thresh = 1.5).
1) 단계 S45': 가중 계수 γ는 (예를 들어, 단계 S45'에서) 다음에 의해 획득될 수 있다:
Figure 112020056735754-pct00021
여기서 thresh2는 제2 임계치(예를 들어, thresh2 = 2)이고, γmin은 최소 가중치이다(예를 들어, γmin = 0.85). thresh2는 예를 들어 필터링 유형 결정 임계치일 수 있다.
γ = 1인 경우, 제1 필터(14a)가 사용된다. 0 <γ<1 인 경우, (예를 들어, 단계 S35b에서) 제2 필터(15a)가 사용된다.
2) 단계 S46': LPC 계수(또는 다른 필터링 파라미터)는 (예를 들어, 단계 S46'에서) 인자 γ를 사용하여 가중될 수 있다:
Figure 112020056735754-pct00022
γk는 지수화이다(예를 들어,
Figure 112020056735754-pct00023
)
3) 단계 S47': 가중 LPC 계수(또는 다른 필터링 파라미터)는 예를 들어 다음 절차를 사용하여 반사 계수로 컨버팅될 수 있다(단계 S47'):
Figure 112020056735754-pct00024
Figure 112020056735754-pct00025
e) 단계 S48': (예를 들어, S32에서의 판단 결과) TNS가 온(on)인 경우 , 예를 들어, 아크사인(arcsine) 도메인에서의 스칼라 균일 양자화를 사용하여 반사 계수가 양자화될 수 있다(단계 S48'):
Figure 112020056735754-pct00026
여기서 Δ는 셀 너비(예를 들어,
Figure 112020056735754-pct00027
)이고, round(.)는 가장 가까운 정수로 반올림 함수이다.
rci(k)는 양자화기 출력 인덱스이며, 이는 그 다음에 예를 들어 산술 인코딩된다.
rcq(k)는 양자화된 반사 계수이다.
f) 단계 S49': TNS가 온이면, 양자화된 반사 계수 및 격자 필터 구조를 사용하여 MDCT(또는 MDST) 스펙트럼이 필터링된다(단계 S49'):
Figure 112020056735754-pct00028
비트스트림이 디코더로 송신될 수 있다. 비트스트림은 정보 신호(예를 들어, 오디오 신호)의 FD 표현과 함께, 전술한 TNS 동작을 수행함으로써 획득된 반사 계수와 같은 제어 데이터(TNS 분석)를 포함할 수 있다.
방법(40")(디코더 측)은 단계 g)(S41") 및 h)(S42")를 포함할 수 있고, 여기서 TNS가 온이면, 양자화된 반사 계수가 디코딩되고 양자화된 MDCT(또는 MDST) 스펙트럼이 다시 필터링된다. 다음과 같은 절차가 사용될 수 있다:
Figure 112020056735754-pct00029
(인코더 장치(10)를 구현하고 /하거나 방법(30 및 40')의 동작 중 적어도 일부를 수행할 수 있는) 인코더 장치(50)의 예가 도 5에 도시되어 있다.
인코더 장치(50)는 입력 신호(예를 들어, 오디오 신호일 수 있음)를 인코딩하기 위한 복수의 도구를 포함할 수 있다. 예를 들어, MDCT 도구(51)은 정보 신호의 TD 표현을 FD 표현으로 변환할 수 있다. 스펙트럼 노이즈 성형기(spectral noise shaper, SNS) 도구(52)는 예를 들어 노이즈 성형 분석(예를 들어, 스펙트럼 노이즈 성형(spectral noise shaping, SNS) 분석)을 수행하고, LPC 계수 또는 다른 필터링 파라미터(예를 들어, a(k), 14)를 검색할 수 있다. TNS 도구(11)는 상기와 같을 수 있고 제어기(12)에 의해 제어될 수 있다. TNS 도구(11)은 필터링 동작(예를 들어, 방법 30 또는 40'에 따라)을 수행하고 필터링된 버전의 정보 신호 및 반사 계수의 버전 모두를 출력할 수 있다. 양자화 도구(53)는 TNS 도구(11)에 의해 출력된 데이터의 양자화를 수행할 수 있다. 산술 코더(54)는 예를 들어 엔트로피 코딩을 제공할 수 있다. 신호의 노이즈 레벨을 추정하기 위해 노이즈 레벨 도구(55')가 사용될 수도 있다. 비트스트림 기록기(55)는 (예를 들어, 블루투스를 사용하여 무선으로) 송신 및/또는 저장될 수 있는 입력 신호와 관련된 비트스트림을 생성할 수 있다.
(입력 신호의 대역폭을 검출 할 수 있는) 대역폭 검출기(58')가 또한 사용될 수 있다. 신호의 활성 스펙트럼에 대한 정보를 제공할 수 있다. 이 정보는 또한 일부 예에서, 코딩 도구를 제어하기 위해 사용될 수 있다.
인코더 장치(50)는 또한 예를 들어 TD 표현이 다운샘플러 도구(56)에 의해 다운샘플링된 후에 입력 신호의 TD 표현으로 입력될 수 있는 장기 사후(long term post) 필터링 도구(57)를 포함할 수 있다.
(디코더 장치(20)를 구현하고 /하거나 방법(40")의 동작 중 적어도 일부를 수행할 수 있는) 디코더 장치(60)의 예가 도 6에 도시되어 있다.
디코더 장치(60)는 (예를 들어, 장치(50)에 의해 준비된 바와 같이) 비트스트림을 판독 할 수 있는 리더(61)를 포함할 수 있다. 디코더 장치(60)는 예를 들어, 디코더에 의해 제공된 바와 같이, FD(복원된 스펙트럼)에서의 디지털 표현으로 엔트로피 디코딩, 잔차 디코딩 및/또는 산술 디코딩을 수행할 수 있는 산술 잔차 디코더(61a)를 포함할 수 있다. 디코더 장치(60)는 예를 들어 노이즈 제거 도구(62) 및 전역 이득 도구(63)을 포함할 수 있다. 디코더 장치(60)는 TNS 디코더(21) 및 TNS 디코더 제어기(22)를 포함할 수 있다. 장치(60)는 예를 들어 SNS 디코더 도구(65)를 포함할 수 있다. 디코더 장치(60)는 정보 신호의 디지털 표현을 FD로부터 TD로 변환하기 위해 역 MDCT(또는 MDST) 도구(65')을 포함할 수 있다. 장기 사후 필터링은 TD에서 LTPF 도구(66)에 의해 수행될 수 있다. 대역폭 정보(68)는 예를 들어 일부 도구(예를 들어, 62 및 21)에 적용된 대역폭 검출기(58')로부터 획득될 수 있다.
장치의 동작의 예가 여기에 제공된다.
시간 노이즈 성형(TNS)은 도구(11)에 의해 변환의 각각의 윈도우 내에서 양자화 노이즈의 시간적 형상을 제어하기 위해 사용될 수 있다.
예에서, TNS가 현재 프레임에서 활성화되면, MDCT-스펙트럼(또는 MDST 스펙트럼 또는 다른 스펙트럼 또는 다른 FD 표현) 당 최대 2개의 필터가 적용될 수 있다. 특정 주파수 범위에서 복수의 필터를 적용 및/또는 TNS 필터링을 수행하는 것이 가능하다. 일부 예에서 이것은 선택 사항일 뿐이다.
각각의 구성의 필터 수와 각 필터의 시작 및 중지 빈도는 다음 표에 나와 있다:
Figure 112020056735754-pct00030
시작 및 정지 주파수와 같은 정보는 예를 들어 대역폭 검출기(58')로부터 시그널링될 수 있다.
여기서 NB는 협대역(narrowband)이고, WB는 광대역(wideband)이며, SSWB는 반 수퍼 광대역(semi-super wideband)이며, SWB는 수퍼 광대역(super wideband)이며, FB는 전체 광대역(full wideband)이다.
TNS 인코딩 단계가 아래에서 설명된다. 먼저, 분석은 각각의 TNS 필터에 대한 반사 계수의 세트를 추정할 수 있다. 이어서, 이들 반사 계수는 양자화될 수 있다. 마지막으로, MDCT 스펙트럼(또는 MDST 스펙트럼 또는 다른 스펙트럼 또는 다른 FD 표현)은 양자화된 반사 계수를 사용하여 필터링될 수 있다.
아래에 설명된 전체 TNS 분석은 모든 TNS 필터 f에 대해 f = 0.. num_tns_filters-1로 반복된다(num_tns_filters는 위의 표에서 제공된다).
정규화된 자기 상관 함수는 (예를 들어, 단계 S41'에서) 다음과 같이 각각의 k = 0..8에 대해 다음과 같이 산출될 수 있다:
Figure 112020056735754-pct00031
여기서
Figure 112020056735754-pct00032
이고
Figure 112020056735754-pct00033
이다.
sub_start(f,s) 및 sub_stop(f,s)은 위의 표에서 주어진다.
정규화된 자기 상관 함수는 예를 들어 다음을 사용하여 (예를 들어, S42'에서) 지연-윈도윙될 수 있다:
Figure 112020056735754-pct00034
전술한 레빈슨-더빈 재귀는 LPC 계수 또는 다른 필터링 파라미터 a(k), k = 0..8 및/또는 예측 오차 e를 획득하기 위해 (예를 들어, 단계 S43'에서) 사용될 수 있다.
현재 프레임에서 TNS 필터 f를 켜거나 끄는 결정은 다음과 같은 예측 이득에 기초한다:
Figure 112020056735754-pct00035
예를 들어, thresh = 1.5이고 예측 이득은 예를 들어 다음과 같이 구한다:
Figure 112020056735754-pct00036
아래에 설명된 추가 단계는 TNS 필터 f가 켜진 경우에만(예를 들어, 단계 S32가"예"인 경우) 수행된다.
가중 계수 γ는 다음과 같이 계산된다:
Figure 112020056735754-pct00037
여기서 thresh2=2, γmin = 0.85이고
Figure 112020056735754-pct00038
이다.
LPC 계수 또는 다른 필터링 파라미터는 (예를 들어, 단계 S46'에서) 인자 γ를 사용하여 가중될 수 있다:
Figure 112020056735754-pct00039
가중 LPC 계수 또는 다른 필터링 파라미터는, 예를 들어 다음 알고리즘을 사용하여 (예를 들어, 단계 S47'에서) 반사 계수로 컨버팅될 수 있다:
Figure 112020056735754-pct00040
여기서 rc(k,f) = rc(k)는 TNS 필터 f에 대한 최종 추정 반사 계수이다.
TNS 필터(f)가 꺼지면(예를 들어, 단계 S32의 검사에서 결과"아니오"), 반사 계수는 단순히 0으로 설정될 수 있다: rc(k,f) = 0, k = 0..8.
예를 들어, 단계 S48'에서 수행된 양자화 프로세스가 이제 논의된다.
각각의 TNS 필터(f)에 대해, 획득된 반사 계수는 예를 들어, 아크사인 도메인에서 스칼라 균일 양자화를 사용하여 양자화 될 수 있다:
Figure 112020056735754-pct00041
그리고
Figure 112020056735754-pct00042
여기서 예를 들어
Figure 112020056735754-pct00043
이고, nint(.)"는 가장 가까운 정수로 반올림 함수이다.
rci(k,f) 양자화기 출력 인덱스들이고, rcq(k,f)는 양자화된 반사 계수들이다.
양자화된 반사 계수의 순서는 다음을 사용하여 산출될 수 있다:
Figure 112020056735754-pct00044
현재 프레임에서 TNS에 의해 소비된 총 비트 수는 다음과 같이 계산될 수 있다:
Figure 112020056735754-pct00045
이고, 여기서
Figure 112020056735754-pct00046
이고
Figure 112020056735754-pct00047
이다.
tab_nbits_TNS_order 및 tab_nbits_TNS_coef의 값은 표에서 제공될 수 있다.
MDCT(또는 MDST) 스펙트럼 Xs(n)(도 1의 입력 15)는 다음 절차를 사용하여 필터링할 수 있다:
Figure 112020056735754-pct00048
여기서 Xf(n)은 TNS 필터링된 MDCT(또는 MDST) 스펙트럼이다(도 1의 출력 15).
디코더(예를 들어, 20, 60)에서 수행되는 동작을 참조하여, 양자화 반사 계수는 다음을 사용하여 각각의 TNS 필터 f에 대해 획득될 수 있다:
Figure 112020056735754-pct00049
여기서 rcq(k, f)는 양자화기 출력 인덱스이다.
(예를 들어, 전역 이득 도구(63)로부터 획득된) TNS 디코더(21)에 제공되는 MDCT(또는 MDST) 스펙트럼
Figure 112020056735754-pct00050
은 다음 알고리즘을 사용하여 필터링될 수 있다:
Figure 112020056735754-pct00051
Figure 112020056735754-pct00052
여기서
Figure 112020056735754-pct00053
은 TNS 디코더의 출력이다.
6. 본 발명에 대한 논의
위에서 설명한 것처럼 TNS는 때때로 인공물을 도입하여 오디오 코더의 품질을 떨어뜨릴 수 있다. 이러한 인공물은 클릭 또는 노이즈와 유사하며 대부분의 경우 음성 신호 또는 음조 음악 신호 함께 나타난다.
TNS에 의해 생성된 인공물은 예측 이득 predGain이 낮고 임계치 임계치에 가까운 프레임에서만 발생한다는 것이 관찰되었다.
임계치를 높이면 문제를 쉽게 해결할 수 있다고 생각할 수 있다. 그러나 대부분의 프레임에서 예측 이득이 낮더라도 TNS를 켜는 것이 실제로 유리하다.
제안된 해결책은 임펄스 응답 에너지를 줄이기 위해 동일한 임계치를 유지하지만 예측 이득이 낮을 때 TNS 필터를 조정하는 것이다.
이 조정을 구현하는 방법은 여러 가지가 있다(예를 들어, 임펄스 응답 에너지의 감소가 예를 들어 LP 필터 파라미터를 감소시킴으로써 획득될 때"감쇠"라고 지칭될 수 있음). 예를 들어 다음의 가중치가 가중을 위해 사용하도록 택할 수 있다:
Figure 112020056735754-pct00054
a(k)는 인코더 단계 c에서 계산된 LP 필터 파라미터(예를 들어, LPC 계수)이고, aw(k)는 가중 LP 필터 파라미터이다. 조정(가중) 계수 γ는 예측 이득에 따라 결정되어, 임펄스 응답 에너지의 높은 감소(γ<1)는 낮은 예측 이득에 적용되고, 예를 들어, 더 높은 예측 이득을 위한 임펄스 응답 에너지의 감소(γ= 1)가 없다.
제안된 해결책은 다른 프레임에 최소한의 영향을 주면서 문제가 있는 프레임에서 모든 인공물을 제거하는 데 매우 효과적인 것으로 입증되었다.
이제 도 8a-8c을 참조할 수 있다. 도면은 대응하는 TNS 예측 필터의 오디오 신호 프레임(연속 라인) 및 주파수 응답(점선)을 도시한다.
도 8a: 캐스터네츠 신호
도 8b: 피치 파이프 신호
도 8c: 음성 신호
예측 이득은 신호의 시간 포락선의 평탄도와 관련이 있다(예를 들어, 참고문헌 [2]의 섹션 3 또는 참고문헌 [3]의 섹션 1.2 참조).
예측 이득이 낮으면 일시적으로 평평한 시간 포락선을 의미하는 반면, 예측 이득이 높으면 매우 평평하지 않은 시간적 포락선을 의미한다.
도 8a는 매우 낮은 예측 이득의 경우를 도시한다(predGain = 1.0). 평평한 시간 포락선을 가진 매우 정지된 오디오 신호의 경우에 해당한다. predGain = 1 <thresh(예를 들어, thresh = 1.5)인 경우, 필터링이 수행되지 않는다(S33).
도 8b는 매우 높은 예측 이득(12.3)의 경우를 도시한다. 이는 평평하지 않은 시간 포락선을 가진 강력하고 예리한 공격의 경우에 해당한다. predGain = 12.3> thresh2(threh2 = 2)인 경우, S36에서 더 높은 임펄스 응답 에너지 필터링이 수행된다.
도 8c는 예를 들어 1.5-2.0 범위(제1 임계치보다 높고 제2 임계치보다 낮은)에서 thresh와 thresh2 사이의 예측 이득의 경우를 도시한다. 이는 약간 평평하지 않은 시간 포락선의 경우에 해당한다. thresh <predGain <thresh2인 경우, 낮은 임펄스 응답 에너지 필터링은 더 낮은 임펄스 응답 에너지를 갖는 제2 필터(15a)를 사용하여 S35에서 수행된다.
7. 다른 예
도 7은 인코딩 장치(10 또는 50)를 구현하고 /하거나 방법(30 및/또는 40')의 적어도 일부 단계를 수행할 수 있는 장치(110)를 도시한다. 장치(110)는 프로세서(111), 및 프로세서(111)에 의해 실행될 때 프로세서(111)로 하여금 TNS 필터링 및/또는 분석을 수행하게 할 수 있는 명령어를 저장하는 비일시적 메모리 유닛(112)을 포함할 수 있다. 장치(110)는 입력 정보 신호(예를 들어, 오디오 신호)를 획득할 수 있는 입력 유닛(116)을 포함할 수 있다. 따라서 프로세서(111)는 TNS 프로세스를 수행할 수 있다.
도 8은 디코더 장치(20 또는 60)를 구현하고/하거나 방법(40')을 수행할 수 있는 장치(120)를 도시한다. 장치(120)는 프로세서(121), 및 프로세서(121)에 의해 실행될 때, 특히 프로세서(121)가 TNS 합성 동작을 수행하게 할 수 있는 명령어를 저장하는 비일시적 메모리 유닛(122)을 포함할 수 있다. 장치(120)는 FD에서 정보 신호(예를 들어, 오디오 신호)의 디코딩된 표현을 획득할 수 있는 입력 유닛(126)을 포함할 수 있다. 따라서, 프로세서(121)는 예를 들어 TD에서 정보 신호의 디코딩된 표현을 획득하기 위한 프로세스를 수행할 수 있다. 이 디코딩된 표현은 출력 유닛(127)을 사용하여 외부 유닛에 제공될 수 있다. 출력 유닛(127)은 예를 들어 (예를 들어, 블루투스와 같은 무선 통신을 사용하여) 외부 장치 및/또는 외부 저장 공간과 통신하기 위한 통신 유닛을 포함할 수 있다. 프로세서(121)는 오디오 신호의 디코딩된 표현을 로컬 저장 공간(128)에 저장할 수 있다.
예를 들어, 시스템(110 및 120)은 동일한 디바이스일 수 있다.
특정 구현 요구 사항에 따라 예는 하드웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는 (또는 협력할 수 있는) 전기적으로 판독 가능한 제어 신호가 저장된, 디지털 저장 매체, 예를 들어, 플로피 디스크, 디지털 다기능 디스크(Digital Versatile Disc, DVD), 블루 레이, 컴팩트 디스크(Compact Disc, CD), 읽기 전용 메모리(Read-only Memory, ROM), 프로그래밍 가능한 읽기 전용 메모리(Programmable Read-only Memory, PROM), 소거 가능하고 프로그래밍 가능한 읽기 전용 메모리(Erasable and Programmable Read-only Memory, EPROM), 전기적으로 소거 가능하고 프로그래밍 가능한 읽기 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
일반적으로, 예는 프로그램 명령이 있는 컴퓨터 프로그램 제품으로 구현될 수 있으며, 프로그램 명령은 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법 중 하나를 수행하기 위해 동작한다. 프로그램 명령은 예를 들어 기계 판독 가능 매체에 저장될 수 있다.
다른 예는 기계 판독 가능 캐리어 상에 저장된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다. 다시 말해, 방법의 예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에 설명된 방법 중 하나를 수행하기 위한 프로그램 명령을 갖는 컴퓨터 프로그램이다.
따라서, 방법의 다른 예는 그 위에 기록된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어 (또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어 매체, 디지털 저장 매체, 또는 기록 매체는 무형의 및 일시적인 신호보다는 유형의 및/또는 비일시적이다.
다른 예는 처리 유닛, 예를 들어 컴퓨터, 또는 본 명세서에 설명된 방법 중 하나를 수행하는 프로그램 가능 논리 디바이스를 포함한다.
다른 예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
다른 예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하는 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 예에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 예에서, 필드 프로그램 가능 게이트 어레이는 본원에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 임의의 적절한 하드웨어 장치에 의해 수행될 수 있다.
전술한 예는 전술한 원리를 설명하기 위한 것이다. 본 명세서에 설명된 배열 및 세부 사항의 수정 및 변형이 명백할 것으로 이해된다. 따라서, 곧 있을 청구범위의 범위에 의해서 제한되고 본원의 실시예에 대한 기술 및 설명에 의해 제공된 특정 세부사항에 의해서만 한정되는 것은 아니다.

Claims (25)

  1. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 상기 제1 필터(14a)에 조정 팩터를 적용하도록(S45') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  2. 제1항에 있어서,
    조정 팩터를 사용하여 상기 제1 필터(14a)의 파라미터들(14)의 진폭을 수정함으로써 상기 제2 필터(15a)를 획득하도록 상기 제1 필터(14a)를 수정하도록 구성되는 것을 특징으로 하는 인코더 장치.
  3. 제2항에 있어서,
    상기 제어기(12)는 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 사이에서 선택하는 데(S34) 사용된 필터링 유형 결정 임계치(18b)에 기초하여 상기 조정 팩터를 정의하도록(S45') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  4. 제2항에 있어서,
    상기 제어기(12)는 적어도 상기 프레임 메트릭들(17)에 기초하여 상기 조정 팩터를 정의하도록(S45') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  5. 제2항에 있어서,
    상기 제어기(12)는 TNS 필터링을 수행하는 것(S34, S35)과 TNS 필터링을 수행하지 않는 것(S33) 사이에서 선택하는 데(S32) 사용되는 TNS 필터링 결정 임계치(18a)에 기초하여 상기 조정 팩터를 정의하도록(S45') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  6. 제2항에 있어서,
    상기 제어기(12)는 상기 프레임 메트릭들(17)의 선형 함수를 사용하여 상기 조정 팩터를 정의하도록(S45') 추가로 구성되며, 상기 선형 함수는 상기 프레임 메트릭들의 증가가 상기 조정 팩터 및/또는 상기 필터의 임펄스 응답 에너지의 증가에 대응하는 것을 특징으로 하는 인코더 장치.
  7. 제2항에 있어서,
    Figure 112022026617785-pct00072

    과 같이 상기 조정 팩터를 정의하도록 구성되며, thresh는 TNS 필터링(S34, S35) 수행 및 TNS 필터링을 수행하지 않는 것(S33) 사이의 선택(S32)에 이용되는 TNS 필터링 결정 임계치(18a)이고, thresh2는 제1 필터(14a)로 필터링(S36) 및 제2 필터(15a)로 필터링(S35) 사이를 선택하는데 이용되는 필터링 유형 결정 임계치(18b)이고, frameMetrics는 프레임 메트릭들(17)이고, γmin은 고정된 값인 것을 특징으로 하는 인코더 장치.
  8. 제2항에 있어서,
    Figure 112022026617785-pct00073

    을 적용함으로써 상기 제2 필터(15a)의 파라미터들을 획득하기 위해 상기 제1 필터(14a)의 파라미터들(14)을 수정하도록 구성되고,
    a(k)는 상기 제1 필터(14a)의 파라미터들(14)이고, γ는 0<γ<1인 상기 조정 팩터이고, aw(k)는 상기 제2 필터(15a)의 파라미터들이고, K는 상기 제1 필터(14a)의 차수인 것을 특징으로 하는 인코더 장치.
  9. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기(12)는 예측 이득, 상기 정보 신호의 에너지, 및/또는 예측 오차 중 적어도 하나로부터 상기 프레임 메트릭들(17)을 획득하도록 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  10. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 프레임 메트릭들은
    Figure 112022026617785-pct00074

    과 같이 산출된 예측 이득을 포함하고,
    energy는 상기 정보 신호의 에너지와 관련된 항이고, predError는 예측 오차와 관련된 항인 것을 특징으로 하는 인코더 장치.
  11. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기는 적어도 예측 이득의 감소 및/또는 상기 정보 신호의 에너지의 감소의 경우 상기 제2 필터의 임펄스 응답 에너지가 감소되고, 및/또는 적어도 예측 오차의 증가의 경우 상기 제2 필터의 임펄스 응답 에너지가 감소되도록 구성되는 것을 특징으로 하는 인코더 장치.
  12. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기(12)는 상기 프레임 메트릭들(17)이 필터링 유형 결정 임계치(18b)보다 낮은 경우 상기 제1 필터로 필터링(S36)을 수행하기 위해, 제1 필터(14a)로 필터링(S36) 및 제2 필터(15a)로 필터링(S35) 사이에서 선택(S34)하는데 이용되는 필터링 유형 결정 임계치(18b)와 상기 프레임 메트릭들(17)을 비교하도록(S34) 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  13. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기(12)는 상기 프레임 메트릭들(17)에 기초하여 필터링을 수행하는 것(S35, S36)과 필터링을 수행하지 않는 것(S33) 사이에서 택하도록(S32, S44') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  14. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제어기(12)는 상기 프레임 메트릭들(17)이 TNS 필터링 결정 임계치(18a)보다 낮은 경우 TNS 필터링을 피하는 것(S33)을 택하기 위해, 상기 프레임 메트릭들(17)을 상기 TNS 필터링 결정 임계치(18a)와 비교하도록(S32, S44') 추가로 구성되는 것을 특징으로 하는 인코더 장치.
  15. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 TNS 도구(11)에 의해 획득된 반사 계수들(16)을 갖는 비트스트림 또는 그것의 양자화된 버전을 준비하기 위한 비트스트림 기록기를 더 포함하는 것을 특징으로 하는 인코더 장치.
  16. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 제1 필터(14a)의 필터링 파라미터들(14)은 LP 코딩(LP coding, LPC) 계수들 및/또는 필터 계수들의 임의의 다른 표현 사이에서 택해지는 것을 특징으로 하는 인코더 장치.
  17. 제1항에 있어서,
    상기 정보 신호는 오디오 신호인 것을 특징으로 하는 인코더 장치.
  18. 인코더 장치(10, 50, 110)에 있어서,
    복수의 프레임들을 포함하는 정보 신호(13)에 대해 선형 예측(linear prediction, LP) 필터링(S33, S35, S36)을 수행하기 위한 시간 노이즈 성형(temporal noise shaping, TNS) 도구(11); 및
    상기 TNS 도구(11)가
    임펄스 응답이 더 높은 에너지를 갖는 제1 필터(14a)로(S36); 그리고
    임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로(S35) - 상기 제2 필터(15a)는 아이덴티티(identity) 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 - LP 필터링을 수행하도록 상기 TNS 도구(11)를 제어하도록 구성된 제어기(12);를 포함하고,
    상기 제어기(12)는 프레임 메트릭들(17)에 기초하여 상기 제1 필터(14a)로 필터링하는 것(S36)과 상기 제2 필터(15a)로 필터링하는 것(S35) 중에서 택하도록(S34) 구성되고,
    상기 제어기(12)는 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하도록 추가로 구성되며,

    상기 프레임 메트릭들(17)은 상기 신호의 시간 포락선의 평탄도와 관련되는 것을 특징으로 하는 인코더 장치.
  19. 복수의 프레임을 포함하는 정보 신호에 대해 시간 노이즈 성형(temporal noise shaping, TNS) 필터링을 수행하는 방법(30, 40')에 있어서,
    각각의 프레임에 대해, 프레임 메트릭들에 기초하여, 제1 필터(14a)로 필터링하는 것 및 임펄스 응답이 더 낮은 에너지를 갖는 제2 필터(15a)로 필터링하는 것 사이에서 선택하는 단계(S34) - 상기 제2 필터(15a)는 아이덴티티 필터가 아니며, 상기 아이덴티티 필터는 출력과 입력이 동일한 필터임 -;
    상기 제1 필터(14a)로 필터링하는 것과 상기 제2 필터(15a)로 필터링하는 것 사이에서 택한 필터링으로 필터링을 사용하여 상기 프레임을 필터링하는 단계; 및
    상기 제2 필터(15a)를 획득하기 위해 상기 제1 필터(14a)에 조정 팩터를 적용하여(S45'), 상기 제2 필터(15a)를 획득하기 위해 임펄스 응답의 에너지를 감소시킴으로써 상기 제1 필터(14a)를 수정하는 단계;를 포함하는 것을 특징으로 하는 시간 노이즈 성형(TNS) 필터링을 수행하는 방법.
  20. 프로세서(111, 121)에 의해 실행될 때 상기 프로세서로 하여금 제19항의 방법을 수행하게 하는 명령어들을 저장하는 비일시적 저장 디바이스.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020207015836A 2017-11-10 2018-11-06 시간 노이즈 성형 Active KR102428419B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17201094.4 2017-11-10
EP17201094.4A EP3483880A1 (en) 2017-11-10 2017-11-10 Temporal noise shaping
PCT/EP2018/080339 WO2019091978A1 (en) 2017-11-10 2018-11-06 Temporal noise shaping

Publications (2)

Publication Number Publication Date
KR20200090793A KR20200090793A (ko) 2020-07-29
KR102428419B1 true KR102428419B1 (ko) 2022-08-02

Family

ID=60301908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207015836A Active KR102428419B1 (ko) 2017-11-10 2018-11-06 시간 노이즈 성형

Country Status (18)

Country Link
US (1) US11127408B2 (ko)
EP (2) EP3483880A1 (ko)
JP (1) JP6990306B2 (ko)
KR (1) KR102428419B1 (ko)
CN (1) CN111587456B (ko)
AR (1) AR113480A1 (ko)
AU (1) AU2018363699B2 (ko)
BR (1) BR112020009104A2 (ko)
CA (1) CA3081781C (ko)
ES (1) ES2905911T3 (ko)
MX (1) MX2020004789A (ko)
PL (1) PL3707712T3 (ko)
PT (1) PT3707712T (ko)
RU (1) RU2740074C1 (ko)
SG (1) SG11202004204UA (ko)
TW (1) TWI701658B (ko)
WO (1) WO2019091978A1 (ko)
ZA (1) ZA202002520B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642146B2 (ja) 2015-03-31 2020-02-05 日立金属株式会社 窒化珪素系セラミックス集合基板及びその製造方法
CN113643713B (zh) * 2021-10-13 2021-12-24 北京百瑞互联技术有限公司 一种蓝牙音频编码方法、装置及存储介质
CN114613375A (zh) * 2022-02-28 2022-06-10 恒玄科技(上海)股份有限公司 一种针对音频信号的时域噪声整形方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033056A1 (en) * 2004-03-01 2007-02-08 Juergen Herre Apparatus and method for processing a multi-channel signal
JP2007519014A (ja) 2003-06-30 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズの加算によるデコードオーディオの品質の向上

Family Cites Families (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US5012517A (en) 1989-04-18 1991-04-30 Pacific Communication Science, Inc. Adaptive transform coder having long term predictor
US5233660A (en) 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
JPH05281996A (ja) 1992-03-31 1993-10-29 Sony Corp ピッチ抽出装置
IT1270438B (it) 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
JP3402748B2 (ja) 1994-05-23 2003-05-06 三洋電機株式会社 音声信号のピッチ周期抽出装置
EP0732687B2 (en) 1995-03-13 2005-10-12 Matsushita Electric Industrial Co., Ltd. Apparatus for expanding speech bandwidth
US5781888A (en) * 1996-01-16 1998-07-14 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
WO1997027578A1 (en) 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
JPH1091194A (ja) 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
AU9404098A (en) 1997-09-23 1999-04-12 Voxware, Inc. Scalable and embedded codec for speech and audio signals
US6507814B1 (en) 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US7099830B1 (en) * 2000-03-29 2006-08-29 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US6735561B1 (en) * 2000-03-29 2004-05-11 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7395209B1 (en) 2000-05-12 2008-07-01 Cirrus Logic, Inc. Fixed point audio decoding system and method
US7020605B2 (en) * 2000-09-15 2006-03-28 Mindspeed Technologies, Inc. Speech coding system with time-domain noise attenuation
US7512535B2 (en) 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7433824B2 (en) 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
JP4287637B2 (ja) 2002-10-17 2009-07-01 パナソニック株式会社 音声符号化装置、音声符号化方法及びプログラム
WO2004072956A1 (en) 2003-02-11 2004-08-26 Koninklijke Philips Electronics N.V. Audio coding
KR20030031936A (ko) 2003-02-13 2003-04-23 배명진 피치변경법을 이용한 단일 음성 다중 목소리 합성기
CN1809873B (zh) 2003-06-17 2010-05-12 松下电器产业株式会社 接收装置,发送装置及传输系统
US7983909B2 (en) 2003-09-15 2011-07-19 Intel Corporation Method and apparatus for encoding audio data
US7009533B1 (en) 2004-02-13 2006-03-07 Samplify Systems Llc Adaptive compression and decompression of bandlimited signals
DE102004009949B4 (de) 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
DE602005014288D1 (de) 2004-03-01 2009-06-10 Dolby Lab Licensing Corp Mehrkanalige Audiodekodierung
CN1930607B (zh) 2004-03-05 2010-11-10 松下电器产业株式会社 差错隐藏装置以及差错隐藏方法
SG163556A1 (en) 2005-04-01 2010-08-30 Qualcomm Inc Systems, methods, and apparatus for wideband speech coding
US7546240B2 (en) 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
US7805297B2 (en) 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
WO2007070007A1 (en) 2005-12-14 2007-06-21 Matsushita Electric Industrial Co., Ltd. A method and system for extracting audio features from an encoded bitstream for audio classification
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US8781842B2 (en) 2006-03-07 2014-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Scalable coding with non-casual predictive information in an enhancement layer
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
JP2009539132A (ja) 2006-05-30 2009-11-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号の線形予測符号化
US8015000B2 (en) 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
JP5096468B2 (ja) * 2006-08-15 2012-12-12 ドルビー ラボラトリーズ ライセンシング コーポレイション サイド情報なしの時間的ノイズエンベロープの自由な整形
FR2905510B1 (fr) 2006-09-01 2009-04-10 Voxler Soc Par Actions Simplif Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe
CN101140759B (zh) 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
DE102006049154B4 (de) 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
CN101548319B (zh) 2006-12-13 2012-06-20 松下电器产业株式会社 后置滤波器以及滤波方法
FR2912249A1 (fr) 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
EP2015293A1 (en) 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
WO2008151408A1 (en) 2007-06-14 2008-12-18 Voiceage Corporation Device and method for frame erasure concealment in a pcm codec interoperable with the itu-t recommendation g.711
JP4928366B2 (ja) 2007-06-25 2012-05-09 日本電信電話株式会社 ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
JP4572218B2 (ja) 2007-06-27 2010-11-04 日本電信電話株式会社 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体
WO2009027606A1 (fr) 2007-08-24 2009-03-05 France Telecom Codage/decodage par plans de symboles, avec calcul dynamique de tables de probabilites
ATE535904T1 (de) 2007-08-27 2011-12-15 Ericsson Telefon Ab L M Verbesserte transformationskodierung von sprach- und audiosignalen
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
EP2207166B1 (en) 2007-11-02 2013-06-19 Huawei Technologies Co., Ltd. An audio decoding method and device
WO2009066869A1 (en) * 2007-11-21 2009-05-28 Electronics And Telecommunications Research Institute Frequency band determining method for quantization noise shaping and transient noise shaping method using the same
AU2008344134B2 (en) 2007-12-31 2011-08-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US20110019829A1 (en) * 2008-04-04 2011-01-27 Panasonic Corporation Stereo signal converter, stereo signal reverse converter, and methods for both
AU2009256551B2 (en) 2008-06-13 2015-08-13 Nokia Technologies Oy Method and apparatus for error concealment of encoded audio data
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
PL2346030T3 (pl) 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
CN102105930B (zh) 2008-07-11 2012-10-03 弗朗霍夫应用科学研究促进协会 用于编码采样音频信号的帧的音频编码器和解码器
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
WO2010031049A1 (en) 2008-09-15 2010-03-18 GH Innovation, Inc. Improving celp post-processing for music signals
BRPI0914056B1 (pt) 2008-10-08 2019-07-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificação/decodificação de áudio comutado multi-resolução
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
EP2382625B1 (en) 2009-01-28 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, encoded audio information, methods for encoding and decoding an audio signal and computer program
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
FR2944664A1 (fr) 2009-04-21 2010-10-22 Thomson Licensing Dispositif et procede de traitement d'images
US8428938B2 (en) 2009-06-04 2013-04-23 Qualcomm Incorporated Systems and methods for reconstructing an erased speech frame
US8352252B2 (en) 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
KR20100136890A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
AU2010305383B2 (en) 2009-10-08 2013-10-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
EP3693964B1 (en) * 2009-10-15 2021-07-28 VoiceAge Corporation Simultaneous time-domain and frequency-domain noise shaping for tdac transforms
EP2491554B1 (en) 2009-10-20 2014-03-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a region-dependent arithmetic coding mapping rule
JP5243661B2 (ja) 2009-10-20 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ オーディオ信号符号器、オーディオ信号復号器、オーディオコンテンツの符号化表現を供給するための方法、オーディオコンテンツの復号化表現を供給するための方法、および低遅延アプリケーションにおける使用のためのコンピュータ・プログラム
US7978101B2 (en) 2009-10-28 2011-07-12 Motorola Mobility, Inc. Encoder and decoder using arithmetic stage to compress code space that is not fully utilized
US8207875B2 (en) 2009-10-28 2012-06-26 Motorola Mobility, Inc. Encoder that optimizes bit allocation for information sub-parts
US9020812B2 (en) 2009-11-24 2015-04-28 Lg Electronics Inc. Audio signal processing method and device
ES2615891T3 (es) 2010-01-12 2017-06-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador de audio, decodificador de audio, método para codificar una información de audio, método para decodificar una información de audio y programa informático que utiliza una tabla de troceo que describe tanto valores de estado significativos como límites de intervalo
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
FR2961980A1 (fr) * 2010-06-24 2011-12-30 France Telecom Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
EP2757560B1 (en) 2010-07-02 2018-02-21 Dolby International AB Audio decoding with selective post-filter
EP2596494B1 (en) 2010-07-20 2020-08-05 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Audio decoder, audio decoding method and computer program
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
MY165853A (en) 2011-02-14 2018-05-18 Fraunhofer Ges Forschung Linear prediction based coding scheme using spectral domain noise shaping
US9270807B2 (en) 2011-02-23 2016-02-23 Digimarc Corporation Audio localization using audio signal encoding and recognition
EP2686849A1 (en) 2011-03-18 2014-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frame element length transmission in audio coding
MY166916A (en) 2011-04-21 2018-07-24 Samsung Electronics Co Ltd Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for dequantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefore
EP2707873B1 (en) * 2011-05-09 2015-04-08 Dolby International AB Method and encoder for processing a digital stereo audio signal
FR2977439A1 (fr) 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
FR2977969A1 (fr) 2011-07-12 2013-01-18 France Telecom Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee
JP6039678B2 (ja) * 2011-10-27 2016-12-07 エルジー エレクトロニクス インコーポレイティド 音声信号符号化方法及び復号化方法とこれを利用する装置
SG194706A1 (en) 2012-01-20 2013-12-30 Fraunhofer Ges Forschung Apparatus and method for audio encoding and decoding employing sinusoidalsubstitution
WO2013149672A1 (en) 2012-04-05 2013-10-10 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
US20130282373A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
TWI626644B (zh) 2012-06-08 2018-06-11 三星電子股份有限公司 訊框錯誤隱藏的裝置
GB201210373D0 (en) 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
FR2992766A1 (fr) * 2012-06-29 2014-01-03 France Telecom Attenuation efficace de pre-echos dans un signal audionumerique
CN102779526B (zh) 2012-08-07 2014-04-16 无锡成电科大科技发展有限公司 语音信号中基音提取及修正方法
US9406307B2 (en) 2012-08-19 2016-08-02 The Regents Of The University Of California Method and apparatus for polyphonic audio signal prediction in coding and networking systems
US9293146B2 (en) 2012-09-04 2016-03-22 Apple Inc. Intensity stereo coding in advanced audio coding
WO2014046526A1 (ko) 2012-09-24 2014-03-27 삼성전자 주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
US9401153B2 (en) 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
RU2660605C2 (ru) * 2013-01-29 2018-07-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Концепция заполнения шумом
FR3001593A1 (fr) 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
KR102110212B1 (ko) 2013-02-05 2020-05-13 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
ES2671006T3 (es) 2013-06-21 2018-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Reconstrucción de una trama de voz
EP2830065A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
WO2015055800A1 (en) 2013-10-18 2015-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding of spectral coefficients of a spectrum of an audio signal
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
CN105706166B (zh) 2013-10-31 2020-07-14 弗劳恩霍夫应用研究促进协会 对比特流进行解码的音频解码器设备和方法
BR122022008596B1 (pt) 2013-10-31 2023-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador de áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação no domínio de tempo
WO2015071173A1 (en) 2013-11-13 2015-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder for encoding an audio signal, audio transmission system and method for determining correction values
GB2524333A (en) 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
US9396733B2 (en) 2014-05-06 2016-07-19 University Of Macau Reversible audio data hiding
NO2780522T3 (ko) 2014-05-15 2018-06-09
EP2963649A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using horizontal phase correction
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980799A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using a harmonic post-filter
EP2980796A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an audio signal, audio decoder, and audio encoder
EP2980798A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
EP2988300A1 (en) 2014-08-18 2016-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Switching of sampling rates at audio processing devices
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
EP3067886A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US9886963B2 (en) 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
JP6422813B2 (ja) 2015-04-13 2018-11-14 日本電信電話株式会社 符号化装置、復号装置、これらの方法及びプログラム
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US9837089B2 (en) 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
KR20170000933A (ko) 2015-06-25 2017-01-04 한국전기연구원 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템
US9830921B2 (en) 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control
US9978381B2 (en) 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US10283143B2 (en) 2016-04-08 2019-05-07 Friday Harbor Llc Estimating pitch of harmonic signals
CN107103908B (zh) 2017-05-02 2019-12-24 大连民族大学 复调音乐多音高估计方法及伪双谱在多音高估计中的应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007519014A (ja) 2003-06-30 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズの加算によるデコードオーディオの品質の向上
US20070033056A1 (en) * 2004-03-01 2007-02-08 Juergen Herre Apparatus and method for processing a multi-channel signal

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ETSI TS 126 405. Enhanced aacPlus general audio codec Encoder specification Parametric Stereo part. 3GPP TS 26.405 version 6.0.0 Release 6. 2005.03.
EVS Codec Detailed algorithmic description (3GPP TS 26.445 version 13.4.1 Release 13). ETSI TS 126 445 V13.4.1. 2017.04.
ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.

Also Published As

Publication number Publication date
ZA202002520B (en) 2021-10-27
SG11202004204UA (en) 2020-06-29
CN111587456A (zh) 2020-08-25
AR113480A1 (es) 2020-05-06
RU2740074C1 (ru) 2021-01-11
PT3707712T (pt) 2022-02-15
ES2905911T3 (es) 2022-04-12
AU2018363699B2 (en) 2020-11-19
TWI701658B (zh) 2020-08-11
US11127408B2 (en) 2021-09-21
EP3707712A1 (en) 2020-09-16
CN111587456B (zh) 2023-08-04
PL3707712T3 (pl) 2022-03-28
TW201923754A (zh) 2019-06-16
EP3707712B1 (en) 2021-12-01
JP2021502597A (ja) 2021-01-28
CA3081781C (en) 2022-10-04
US20200265850A1 (en) 2020-08-20
CA3081781A1 (en) 2019-05-16
EP3483880A1 (en) 2019-05-15
KR20200090793A (ko) 2020-07-29
AU2018363699A1 (en) 2020-05-21
BR112020009104A2 (pt) 2020-10-20
WO2019091978A1 (en) 2019-05-16
MX2020004789A (es) 2020-08-13
JP6990306B2 (ja) 2022-01-12

Similar Documents

Publication Publication Date Title
US11854561B2 (en) Low-frequency emphasis for LPC-based coding in frequency domain
KR102063902B1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
KR102237718B1 (ko) 시간 영역 디코더에서 양자화 잡음을 감소시키기 위한 디바이스 및 방법
US10706865B2 (en) Apparatus and method for selecting one of a first encoding algorithm and a second encoding algorithm using harmonics reduction
US11616954B2 (en) Signal encoding method and apparatus and signal decoding method and apparatus
US10194151B2 (en) Signal encoding method and apparatus and signal decoding method and apparatus
KR102105044B1 (ko) 낮은 레이트의 씨이엘피 디코더의 비 음성 콘텐츠의 개선
US11335355B2 (en) Estimating noise of an audio signal in the log2-domain
KR102428419B1 (ko) 시간 노이즈 성형
US10504531B2 (en) Audio parameter quantization

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20200602

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200602

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220113

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220428

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220728

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220729

End annual number: 3

Start annual number: 1

PG1601 Publication of registration