[go: up one dir, main page]

KR101372476B1 - 주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법 - Google Patents

주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법 Download PDF

Info

Publication number
KR101372476B1
KR101372476B1 KR1020087025156A KR20087025156A KR101372476B1 KR 101372476 B1 KR101372476 B1 KR 101372476B1 KR 1020087025156 A KR1020087025156 A KR 1020087025156A KR 20087025156 A KR20087025156 A KR 20087025156A KR 101372476 B1 KR101372476 B1 KR 101372476B1
Authority
KR
South Korea
Prior art keywords
frequency
decoded
remaining
subcomponent
audio signal
Prior art date
Application number
KR1020087025156A
Other languages
English (en)
Other versions
KR20080110819A (ko
Inventor
마뉴엘 브리앙
데이비드 비레테
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20080110819A publication Critical patent/KR20080110819A/ko
Application granted granted Critical
Publication of KR101372476B1 publication Critical patent/KR101372476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 주 성분 분석(PCA)에 의해 다중채널 오디오 신호의 적어도 두 개의 채널들(L,R)을 주 성분 및 변환 파라미터(θ)에 의한 회전에 의해 정의된 적어도 하나의 나머지 서브 성분(r)으로 변환하는 것을 포함하는 다중 채널 오디오 신호의 등급별 인코딩 시스템 및 방법에 관한 것이고, 상기 인코딩 방법은 상기 적어도 하나의 나머지 서브 성분(r)으로부터 주파수 서브대역 마다 나머지 구조(Sfr)를 형성하는 단계; 및 상기 주 성분(CP), 주파수 서브 대역의 적어도 하나의 나머지 구조(Sfr) 및 상기 변환 파라미터(θ)를 포함하는 인코드된 오디오 신호(SC)를 정의하는 단계를 포함한다.

Description

주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법{DEVICE AND METHOD FOR GRADUATED ENCODING OF A MULTICHANNEL AUDIO SIGNAL BASED ON A PRINCIPAL COMPONENT ANALYSIS}
본 발명은 다양한 비트 속도들로 다양한 전송 네트워크들 상에서 디지털 오디오 전송을 위한 다중 채널 오디오 신호의 주 성분 분석에 의한 코딩에 관한 것이다. 특히, 본 발명은 전송 네트워크의 제한들을 적응시키거나 가변 품질의 오디오 전달을 허용하도록 비트 속도에 기초한 등급별(스케일러블로서 공지됨) 코딩을 제공하는 것이다.
다중 채널 오디오 신호들의 코딩 구조 내에서, 두 개의 방법들은 특히 공지 및 사용된다.
제 1 및 오래된 방법은 전송될 신호들의 수를 감소시키기 위한 본래 다중 채널 신호의 채널들을 매트릭스화하는 것을 포함한다. 예를들어, Dolby®Pro Logic®Ⅱ 다중 채널 오디오 코딩 방법은 5.1 신호의 6개 채널들을 전송될 두 개의 신호들로 매트릭스화를 수행한다. 몇몇 타입의 디코딩은 6개의 본래 채널들을 가장 잘 재구성하기 위하여 수행된다.
파라미터 오디오 코딩이라 불리는 제 2 방법은 청취자의 공간 지각을 재구성하기 위하여 공간 파라미터들을 추출하는 것을 바탕으로 한다. 이 방법은 한편으로 청취 위치의 인덱스들을 추출 및 코딩하고 다른 한편으로는 본래 다중 채널 신호의 매트릭스화로부터 발생하는 모노포닉(monophoic) 또는 스테레오포닉(stereophonic) 신호를 코딩하는 것을 목적으로 하는 "이진 큐 코딩"(BCC)이라 불리는 방법을 바탕으로 한다.
게다가, "주 성분 분석"(PCA)이라 불리는 과정을 바탕으로 두 개의 상기 방법들을 혼합하는 방법이 존재한다. 특히, PCA는 코딩될 다중 채널 신호의 채널들을 다이나믹 매트릭스화하는 것으로 인식될 수 있다. 보다 정확하게, PCA는 최소한 스테레오포닉 경우에서 주 사운드 소스들의 공간 위치에 대응하는 각도를 가진 데이터의 회전을 통하여 얻어진다. 게다가 이런 변환은 다중 성분 신호의 성분들의 에너지를 컴팩트화할 수 있게 하는 최적의 상관해제 과정인 것으로 인식된다. 예시적인 PCA 바탕 스테레오포닉 오디오 코딩은 WO 03/085643 및 WO 03/085645에 개시된다.
특히, 도 11은 상기 종래 기술에 따른 PCA 바탕 스테레오포닉 코딩을 위한 인코더(109)를 도시하는 개략도이다.
이 인코더(109)는 채널들(L 및 R)을 포함하는 본래 스테레오 신호의 PCA로부터 발생하는 성분들의 적응성 필터링을 수행한다.
인코더는 회전 수단(102), PCA 수단(104), 예측 필터링 수단(106), 감산 수단(108), 곱셈 수단(110), 가산 수단(112), 제 1 및 제 2 오디오 코딩 수단(129a 및 129b)을 포함한다.
회전 수단(102)은 각도(α)에 따라 채널들(L 및 R)을 회전하여 주 성분(y) 및 나머지 성분(r)을 정의한다. 각도(α)는, 주 성분(y)이 나머지 성분(r)보다 높은 에너지를 나타내도록, PCA 수단(104)에 의해 결정된다.
곱셈 수단(110)은 스칼라(Y)에 의해 나머지 성분(r)을 곱셈한다. 곱셈(rY)의 결과는 가산 수단(112)에 의해 주 성분(y)에 가산된다. 가산(rY+y)의 결과는 예측 필터링 수단(106)에 도입된다.
예측 필터링 수단(106)을 정의하는 필터링 파라미터(Fp)는 코딩된 필터링 파라미터(Fpe)를 생성하기 위하여 제 2 코딩 수단(129b)에 의해 코딩된다.
게다가, 가산(rY+y)의 결과는 또한 코딩된 주 성분(ye)을 생성하기 위하여 제 1 코딩 수단(129a)에 의해 코딩된다.
따라서, 상기 과정은 예측 필터링 수단의 파라미터들을 결정하여 이들 필터링 수단이 가장 큰 에너지를 가진 주 성분(y)을 바탕으로 PCA로부터 발생하는 나머지 성분(r)의 평가값을 생성하는 것을 포함한다.
도 12는 도 11의 인코더에 의해 코딩된 스테레오포닉 신호를 디코딩하기 위한 디코더(115)를 도시하는 개략도이다.
디코더(115)는 제 1 및 제 2 디코딩 수단(141a 및 141b), 필터링 수단(120), 인버스 회전 수단(118) 및 가산 및 곱셈 수단(122a 및 122b)을 포함한다.
그 다음 디코더(115)는 디코드된 주 성분(y')을 형성하는 제 1 디코딩 수 단(141a)에 의해 주 성분(y'e)을 디코딩하고, 그 다음 필터링 파라미터들(Fp)을 바탕으로 필터링 수단(120)에 의해 필터된 나머지 성분(r')으로 필터링을 수행함으로써 인버스 동작을 수행한다.
곱셈 수단(122b)은 곱셈(r'Y)을 형성하는 스칼라(Y)와 필터된 나머지 성분(r')을 곱셈한다. 가산 수단(122a)은 디코드된 주 성분(y')으로부터 r'Y를 감산하는 것을 가능하게 한다.
인버스 회전 수단(118)은 디코드된 스테레오포닉 신호의 채널들(L' 및 R')을 생성하기 위하여 회전 각도의 함수로서 인버스 회전 매트릭스를 신호들(y' 및 r')에 적용한다.
그러나, 종래 기술에 따라 수행된 PCA는 전송 네트워크의 제한들을 적용하지 않고 코딩될 신호들의 양호한(fine) 특성화를 얻지 못하게 한다.
본 발명은 다중 채널 오디오 신호를 주 성분 및 변환 파라미터에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분으로 주 성분 분석 변환하는 단계를 포함하는 다중 채널 오디오 신호의 스케일러블 코딩 방법에 관한 것이고,
- 상기 적어도 하나의 나머지 서브 성분을 바탕으로 주파수 서브대역 바탕 나머지 구조를 형성하는 단계, 및
- 상기 주 성분, 주파수 서브대역의 적어도 하나의 나머지 구조 및 상기 변환 파라미터를 포함하는 코딩된 오디오 신호를 정의하는 단계를 포함한다.
따라서, 오디오 코딩은 비트 속도로 등급화된다. 이것은 본래 신호들의 점근적 완전 재구성 방법 가능성을 제공한다. 특히, 보다 높은 비트 속도를 사용하여, 재구성된 신호는 본래 신호에 지각적으로 보다 근접할 수 있다.
바람직하게, 상기 방법은 상기 적어도 하나의 나머지 서브 성분의 함수로서 적어도 하나의 에너지 파라미터를 형성하는 단계를 포함한다.
상기 적어도 하나의 에너지 파라미터는 상기 주 성분의 분해물 및 상기 적어도 하나의 나머지 서브 성분 사이의 에너지 차의 주파수 서브대역 바탕 추출에 의해 형성될 수 있다.
변형으로서, 상기 적어도 하나의 에너지 파라미터는 상기 적어도 하나의 나머지 서브 성분의 서브대역 바탕 에너지에 대응한다.
상기 방법은 주파수 서브대역들의 나머지 구조들을 형성하기 위하여 상기 적어도 하나의 에너지 파라미터의 함수로서 상기 적어도 하나의 나머지 서브 성분에 제공되는 주파수 분석 단계를 포함한다.
바람직하게, 상기 방법은 나머지 구조들의 전송의 결정된 순서를 포함한다. 상기 전송의 결정된 순서는 서브대역들의 지각적 순서 또는 에너지 기준에 따라 수행될 수 있다.
바람직하게, 상기 적어도 하나의 나머지 서브 성분은 주파수 영역에서 주 성분 분석에 따라 수행되는 주파수 나머지 서브 성분(A(b))이다.
따라서, 주파수 서브대역들에 의한 주파수 영역에서의 주 성분 분석은 코딩될 신호들의 보다 양호한 특성화를 얻게 한다.
주파수 영역에서 주 성분 분석 변환은:
- 상기 오디오 신호의 적어도 두 개의 채널들을 다수의 주파수 서브대역들로 분해하는 단계,
- 상기 다수의 주파수 서브대역들의 적어도 일부의 함수로서 상기 적어도 하나의 변환 파라미터를 계산하는 단계,
- 상기 적어도 하나의 변환 파라미터의 함수로서 상기 다수의 주파수 서브대역들의 적어도 일부를 상기 적어도 하나의 주파수 나머지 서브성분 및 적어도 하나의 주파수 주 서브성분들로 변환하는 단계, 및
- 상기 적어도 하나의 주파수 주 서브 성분을 기초로 상기 주 성분을 형성하는 단계를 포함한다.
따라서, 주파수 서브대역들에 의해 수행되는 PCA 주 성분 분석으로부터 발생하는 신호들의 에너지는 시간 영역에서 수행되는 PCA로부터 발생하는 신호들 에너지와 비교하여 주 성분에서 보다 컴팩트화된다.
바람직하게, 상기 다수의 주파수 서브대역들은 지각적 스케일에 따라 정의된다. 따라서, 코딩 방법은 인간 청각 시스템의 주파수 분해능을 고려한다.
다른 실시예에 따라, 상기 방법은 상기 적어도 하나의 나머지 서브 성분의 주파수 서브대역 바탕 분석을 포함한다.
이런 다른 실시예에 따라, 상기 주파수 서브대역 바탕 분석은:
- 적어도 하나의 주파수 나머지 서브 성분을 형성하기 위하여 단기 퓨리에 변환을 상기 적어도 하나의 나머지 서브 성분에 적용하는 단계, 및
- 주파수 서브대역들의 나머지 구조들을 얻기 위하여 주파수 윈도우잉 모듈에 의해 상기 적어도 하나의 주파수 나머지 서브 성분을 필터링하는 단계를 포함한다.
바람직하게, 상기 방법은 대응 상관값을 결정하기 위하여 상기 적어도 두 개의 채널들 사이의 상관 분석을 포함하고, 상기 코딩된 오디오 신호는 추가로 상기 상관값을 포함한다. 따라서, 상관값은 코딩된 신호의 디코딩 품질을 개선시킬 수 있는 본래 신호에서의 임의의 반향의 존재를 가리킬 수 있다.
본 발명의 목적은 또한 상기 특성들 중 임의의 하나에 따라 구성된 코딩된 오디오 신호를 포함하는 수신 신호의 디코딩 방법을 제공하는 것이고, 상기 디코딩 방법은 상기 본래의 다중 채널 오디오 신호로부터 발생하는 상기 적어도 두 개의 채널들에 대응하는 적어도 두 개의 디코딩된 채널들을 형성하기 위해 인버스 주 성분 분석에 의한 변환을 포함하고, 상기 방법은 적어도 하나의 디코딩된 나머지 서브 성분을 합성하기 위하여 주파수 서브대역의 적어도 하나의 나머지 구조의 디코딩을 포함하는 것을 특징으로 한다.
제 1 실시예에 따라 디코딩 방법은:
- 코딩된 오디오 신호를 수신하는 단계,
- 디코딩된 주 성분 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 단계,
- 상기 디코딩된 주 성분을 적어도 하나의 디코딩된 주파수 주 서브 성분으로 분해하는 단계,
- 상기 적어도 하나의 디코딩된 주 서브 성분 및 상기 적어도 하나의 디코딩된 나머지 서브 성분을 디코딩된 주파수 서브대역들로 변환하는 단계, 및
- 상기 적어도 두 개의 디코딩된 채널들을 형성하기 위하여 상기 디코딩된 주파수 서브대역들을 결합하는 단계를 포함한다.
제 2 실시예에 따라 디코딩 방법은:
- 코딩된 오디오 신호를 수신하는 단계,
- 디코딩된 주 성분 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 단계,
- 상기 적어도 하나의 디코딩된 변환 파라미터, 상기 디코딩된 주 성분 및 상기 적어도 하나의 디코딩된 나머지 서브 성분의 함수로서 인버스 주 성분 분석에 의해 디코드된 상기 적어도 두 개의 채널들을 형성하는 단계를 포함한다.
본 발명의 목적은 다중 채널 오디오 신호의 스케일러블 인코더를 제공하는 것이고,
- 상기 오디오 신호의 적어도 두 개의 채널들을 주 성분 및 변환 파라미터에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분으로 주 성분 분석 변환하는 것을 바탕으로 하는 변환 수단,
- 상기 적어도 하나의 나머지 서브 성분을 바탕으로 주파수 서브대역 바탕 나머지 구조를 형성하기 위한 구조 형성 수단, 및
상기 주 성분, 주파수 서브대역의 적어도 하나의 나머지 구조 및 상기 변환 파라미터를 포함하는 코딩된 오디오 신호를 정의하기 위한 정의 수단을 포함한다.
본 발명의 목적은 또한 상기 특성들의 임의의 하나에 따라 구성된 코딩된 오디오 신호를 포함하는 수신 신호의 스케일러블 디코더를 제공하는 것이고, 상기 디코더는:
- 본래 다중 채널 오디오 신호로부터 발생하는 적어도 두 개의 채널들에 대응하는 적어도 두 개의 디코딩된 채널들을 형성하기 위한 인버스 주 성분 분석을 바탕으로 하는 변환 수단, 및
- 적어도 하나의 디코딩된 나머지 서브 성분(r';A'(b))을 합성하기 위하여 주파수 서브대역의 적어도 하나의 나머지 구조(Sfr(b))를 디코딩하기 위한 주파수 합성 수단(45)을 포함한다.
본 발명의 목적은 상기 특성들에 따른 인코더 및 디코더를 포함하는 시스템을 제공하는 것이다.
본 발명의 목적은 또한 통신 네트워크로부터 다운로드할 수 있고 및/또는 컴퓨터에 의해 판독할 수 있는 매체에 저장되고 및/또는 마이크로제어기에 의해 실행할 수 있는 컴퓨터 프로그램을 제공하는 것이고, 상기 컴퓨터 프로그램은 컴퓨터 또는 마이크로제어기에서 실행될 때 상기 특성들 중 적어도 하나에 따른 코딩 방법 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 것을 특징으로 한다.
본 발명의 목적은 또한 통신 네트워크로부터 다운로드할 수 있고 및/또는 컴퓨터에 의패 판독할 수 있는 매체상에 저장되고 및/또는 마이크로제어기에 의해 실행할 수 있는 컴퓨터 프로그램을 제공하는 것이고, 컴퓨터 또는 마이크로제어기에서 실행될 때 상기 특성들 중 적어도 하나에 따른 디코딩 방법 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 것을 특징으로 한다.
본 발명의 다른 특징들 및 장점들은 이후 비제한적으로 첨부된 도면들을 참조하는 상세한 설명과 관련하여 나타날 것이다.
도 1은 본 발명에 따른 코딩 장치 및 디코딩 장치를 포함하는 통신 시스템의 개략도이다.
도 2는 본 발명에 따른 인코더의 개략도이다.
도 3은 본 발명에 따른 디코더의 개략도이다.
도 4 내지 9는 본 발명의 특정 실시예들에 따른 인코더들 및 디코더들의 개략적인 도면들이다.
도 10은 도 1 내지 9에 따른 인코더 및 디코더를 실행하는 컴퓨터 시스템의 개략도이다.
도 11 및 12는 종래 기술에 따른 인코더들 및 디코더들의 개략도이다.
본 발명에 따라, 도 1은 코딩 장치(3) 및 디코딩 장치(5)를 포함하는 통신 시스템(1)의 개략도이다. 코딩 장치(3) 및 디코딩 장치(5)는 통신 네트워크 또는 라인(7)에 의해 함께 링크될 수 있다.
코딩 장치(3)는 다중 채널 오디오 신호(C1,...,CM)를 수신한 후 본래 다중 채널 오디오 신호(C1,...,CM)를 나타내는 코딩된 오디오 신호(SC)를 생성하는 인코더(9)를 포함한다.
인코더(9)는 통신 네트워크(7)를 통하여 디코딩 장치(5)로 코딩된 신호(SC)를 전송하기 위한 전송 수단(11)에 접속될 수 있다.
디코딩 장치(5)는 코딩 장치(3)에 의해 전송된 코딩된 신호(SC)를 수신하기 위한 수신기(13)를 포함한다. 게다가, 디코딩 장치(5)는 코딩된 신호(SC)를 수신한 후 본래의 다중 채널 오디오 신호(C1,...,CM)에 대응하는 디코딩된 오디오 신호(C'1,...,C'M)를 생성하는 디코더(15)를 포함한다.
도 2는 본 발명에 따른 다중 채널 오디오 신호의 스케일러블 코딩을 위한 스케일러블 인코더(9)의 개략도이다. 도 2가 본 발명에 따른 코딩 방법의 주 단계들을 도시하는 것이 주의될 것이다.
인코더(9)는 주 성분 분석(PCA) 변환 수단(28), 정의 수단(29) 및 구조 형성 수단(30)을 포함한다.
주 성분 분석(PCA) 변환 수단(28)은 다중 채널 오디오 신호의 적어도 두 개의 채널들(L 및 R)을 주 성분(CP) 및 변환 파라미터 또는 회전 각도(θ)에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분(r)으로 변환시킨다.
구조 형성 수단(30)은 상기 적어도 하나의 나머지 서브 성분(r)을 바탕으로 주파수 서브대역 바탕 나머지 구조(Sfr)를 형성한다.
게다가, 정의 수단(29)은 주 성분(CP), 나머지 구조(Sfr)의 적어도 하나의 부분 및 상기 적어도 하나의 변환 파라미터(θ)를 포함하는 코딩된 오디오 신호(SC)를 정의한다.
따라서, 이런 스케일러블 코딩으로 인해 변환 네트워크(7)의 제한들에 적응할 수 있다. 또한 본래의 신호에 지각적으로 밀접한 신호를 재구성하는 것이 가능하게 된다.
구조 형성 수단(30)은 상기 적어도 하나의 나머지 서브 성분(r)의 함수로서 적어도 하나의 에너지 파라미터(E)를 형성하게 하는 주파수 분석 수단(31)을 포함한다.
변형으로서, 주파수 분석 수단(31)은 주 성분(CP) 분해물 및 나머지 서브 성분 또는 서브 성분들(r) 사이의 에너지 차의 주파수 서브대역 바탕 추출에 의해 적어도 하나의 에너지 파라미터(E)를 형성하게 한다. 특히, 점선의 화살표는 에너지 파라미터(E)가 주 성분 및 보다 특히 주 성분(CP)의 주파수 분해물에 따른다는 것을 도시한다.
게다가, 에너지 파라미터 또는 파라미터들(E)은 나머지 서브 성분 또는 서브 성분들(r)의 서브 대역 바탕 에너지들에 대응할 수 있다.
따라서, 주파수 분석 수단(31)은 주파수 서브대역 바탕 나머지 구조(Sfr)를 형성하기 위하여 적어도 하나의 에너지 파라미터(E)의 함수로서 적어도 하나의 나머지 서브 성분(r)에 주파수 분석을 적용할 수 있게 한다.
따라서, 주파수 대역의 전체를 통하여 오디오 신호의 양호한 나머지 구조는 이에 따라 형성된 주파수 서브대역들의 나머지 구조들로 구성된다. 주파수 서브대역의 나머지 구조를 설계하기 위하여, 주파수 서브대역 바탕 나머지 구조 또는 (글로벌) 양호한 나머지 구조의 주파수 대역을 전달하는 것은 가능하다.
바람직하게, 이런 코딩 방법은 전송 네트워크(7) 및/또는 나머지 성분 또는 주변에 대한 코딩 비트 속도 측면에서 스케일러빌러티의 도입에 의한 목표된 오디오 재생 품질의 능력들에 적용한다.
따라서, 주변 신호의 융통성 있는 오디오 코딩을 수행하면서 주 성분을 전송하기 위해 종래 모노포닉 오디오 코더(예를들어, MPEG-1 계층 Ⅲ 또는 진보된 오디오 코딩)을 사용하는 것은 가능하다.
고려된 코딩 방법에 따라, 에너지 파라미터(E), 변환 파라미터(θ), 또는 필터링 파라미터는 디코딩이 이런 주변 신호(r)의 양호한 나머지 구조(Sfr)에 의해 수반될 때 주변 성분(r)을 생성하기 위하여 사용된다.
게다가, 이런 나머지 구조(Sfr)의 전송은 전송들의 다양한 결정 순서들에 따라 수행될 수 있다.
예를들어, 나머지 구조(Sfr)의 전송은 서브대역들의 지각적 순서 또는 에너지 기준 또는 서브대역들에서 PCA로부터 발생하는 성분들의 상관에 따라 수행될 수 있다. 이런 순서 결정은 이들 몇몇 기준의 결합일 수 있다.
특히, 주변 성분(또는 주변 성분들)의 나머지 구조(Sfr)의 전송 순서는 전송될 정보를 우선화하기 위하여 적소에 두어질 수 있다. 양호한 나머지 구조(Sfr)의 특정 주파수 대역들은 우선적으로 전송될 수 있다. 따라서, 순서 결정은 양자화된 스펙트럼 엔벨로프의 주파수 대역들에 따라 수행될 수 있다. 이런 순서 결정은 예를들어 증가하는 순서 또는 임의의 다른 순서에 따라 미리 정의될 수 있다.
게다가, 코딩 방법은 대응 상관값(c)을 결정하기 위하여 두 개의 채널들(L 및 R) 사이의 상관 분석을 포함할 수 있다. 따라서, 코딩된 오디오 신호(SC)는 또한 이런 상관값(c)을 포함할 수 있다.
도 3은 도 2의 코딩 방법에 따라 구성된 코딩된 오디오 신호(SC)를 포함하는 수신 신호를 디코딩하기 위한 디코더(15)의 개략도이다.
도 3이 또한 본 발명에 따른 디코딩 방법의 주 단계들을 도시하는 것이 주의될 것이다.
디코더(15)는 인버스 주 성분 분석(PCA-1) 및 주파수 합성 수단(45)을 바탕으로 하는 변환 수단(44)을 포함한다.
따라서, 주 성분(CP), 나머지 구조(Sfr)의 적어도 일부 및 적어도 하나의 변환 파라미터(θ)를 포함하는 코딩된 신호(SC)의 수신 후, 디코더(15)는 본래의 다중 채널 오디오 신호로부터 발생하는 두 개의 채널들(L 및 R)에 대응하는 적어도 두 개의 디코드된 채널들(L' 및 R')을 형성한다.
특히, 주파수 합성 수단(45)은 적어도 하나의 디코드된 나머지 서브 성분(r')을 합성하기 위하여 주파수 서브대역 바탕 나머지 구조(Sfr)의 디코딩을 허용한다.
그 다음 인버스 주 성분 분석(PCA-1)을 바탕으로 하는 변환 수단(44)은 주 성분(CP) 및 변환 파라미터(θ) 외에 디코드된 나머지 서브 성분(r')의 함수로서 두 개의 디코드된 채널들(L' 및 R')을 형성한다.
도 4는 다중 채널 오디오 신호의 스케일러블 코딩을 위한 인코더의 제 1 실시예를 도시하는 개략도이다.
인코더(9)는 주 성분 분석 변환 수단(28), 정의 수단(29) 및 구조 형성 수단(30)을 포함한다.
주 성분 분석 변환 수단(28)은 회전 수단(2) 및 PCA 수단(4)을 포함한다.
정의 수단(29)은 제 1 및 제 2 오디오 코딩 수단(29a 및 29b) 및 양자화 수단(29c)을 포함한다.
게다가, 인코더(9)는 예측 필터링 수단(6), 감산 수단(8), 곱셈 수단(10) 및 가산 수단(12)을 포함한다.
회전 수단(2)은 주 성분(y) 및 PCA 수단(4)으로부터 추출된 각도(α)에 따라 채널들(L 및 R)의 회전에 의한 나머지 서브 성분(r)을 생성한다.
곱셈 수단(10)은 스칼라(Y)에 의해 나머지 서브 성분(r)을 곱셈한다. 스칼라(Y)는 신호(y)를 바탕으로 신호(r)의 예측을 용이하게 하기 위하여 회전으로부터 발생하는 신호들의 혼합을 허용한다.
곱셈(rY)의 결과는 가산 수단(12)에 의해 주 성분(y)에 가산된다. 가 산(rY+y)의 결과는 코딩된 주 성분(y'e)을 생성하기 위하여 제 1 코딩 수단(29a)에 제공된다.
게다가, 가산(rY+y)의 결과는 적응성 필터 및 반향 필터의 직렬 연결로 구성된 예측 필터링 수단(6)에 도입된다.
예측 필터링 수단(6)에 의한 필터링 파라미터(Fp) 출력은 코딩된 필터링 파라미터(Fpe)를 생성하기 위하여 제 2 코딩 수단(29b)에 제공된다.
구조 형성 수단(30)은 주 성분 분석 변환 수단(28)으로부터 발생하는 앰비언스(ambience) 또는 나머지 서브 성분(r)의 양호한 나머지 구조(Sfr)를 이 정보에 부가하게 한다. 특히, 예측을 위해 유용한 신호로부터 상관해제되어야 하는 신호(Fp)를 생성하기 위하여 예측 필터링 수단(6)의 사용은 매우 적당하지 않다. 결과적으로 만약 디코더가 명백히 보다 높은 비트 속도에서 부가적인 정보로부터 바람직하면, 생성된 주변 성분은 보다 우수하게 조절되는 인버스 PCA를 수행할 수 있게 한다.
구조 형성 수단(30)은 나머지 서브 성분(r)의 주파수 서브대역 바탕 분석을 수행한다.
특히, 이들 구조 형성 수단(30)은 주파수 분석 수단(31) 외에 주파수 변환 수단(16)을 포함한다.
주파수 변환 수단(16)은 적어도 하나의 주파수 나머지 서브 성분(r(b))을 형성하는 것을 가능하게 한다(예를들어, 나머지 서브 성분 r에 단기 퓨리에 변환 STFT를 적용함으로써).
그 후, 주파수 분석 수단(31)은 예를들어 주파수 필터 뱅크에 의해 주파수 나머지 서브 성분을 필터링함으로써 주파수 서브대역 바탕 나머지 구조(Sfr)를 얻는 것을 가능하게 한다.
따라서, 각각의 주파수 서브대역(b) 및 각각의 분석된 신호 부분(n)에 대한 양호한 구조(Sfr(n,b))는 양자화 수단(29c)에 의해 양자화될 수 있고 코딩 장치(3)로부터 디코딩 장치(5)로 전송 수단(11)에 의해 전송된다.
도 5는 도 4의 코딩 방법에 따라 구성된 코딩된 오디오 신호(SC)를 포함하는 수신 신호의 디코딩을 위한 디코더(15)의 제 1 실시예를 도시하는 개략도이다.
디코더(15)는 인버스 회전 수단(18)을 포함하는 인버스 주 성분 분석(PCA-1)을 바탕으로 주파수 합성 수단(45) 및 변환 수단(44)을 포함한다.
게다가, 디코더는 추출 수단(21), 필터링 수단(20), 및 가산 및 곱셈 수단(22a 및 22b)을 포함한다. 추출 수단(21)은 제 1 및 제 2 디코딩 수단(41a 및 41b)을 포함한다.
따라서, 적응성 필터(Fpe)의 계수들, 회전 각도(α), 스칼라(Y) 및 신호(y'e)의 수신에 의해, 디코더(15)는 디코드된 주 성분(y')을 형성하는 제 1 디코딩 수단(41a)에 의한 주 성분(y'e)을 디코딩하고, 그 다음 제 2 디코딩 수단(41b)으로부터 발생하는 필터링 파라미터들(Fp)을 바탕으로 필터된 나머지 성분(r')에 필터링 수단(20)에 의한 필터링을 수행함으로써 인버스 동작을 수행한다.
곱셈 수단(22b)은 곱셈(r'Y)을 형성하는 스칼라(Y)와 필터된 나머지 성분(r')을 곱셈한다. 가산 수단(22a)은 디코드된 주 성분(y')으로부터 r'y를 감산하는 것을 가능하게 한다.
인버스 회전 수단(18)은 디코드된 스테레오포닉 신호의 채널들(L' 및 R')을 생성하기 위하여 신호들(y' 및 r')에 회전 각도(α)의 함수로서 인버스 회전 매트릭스를 적용한다.
만약 성분(r)의 주파수 서브대역들의 나머지 구조(Sfr(n,b))가 인코더(9)에 의해 전송되었다면, 신호(r")는 인버스 회전 수단(18)에 의한 인버스 회전을 수행하기 전에 주파수 합성 수단(45)에 의해 생성될 수 있다.
따라서, 두 개의 디코딩된 채널들(L' 및 R')은 디코딩된 주 성분(y') 및 디코딩된 나머지 서브 성분(r')의 디코딩된 변환 파라미터(또는 회전 각도)의 함수로서 인버스 주 성분 분석에 의해 형성될 수 있다.
게다가 디코더(15)는 필터된 나머지 성분(r')을 바탕으로 서브대역들을 형성하는 것을 가능하게 하는 디코딩 주파수 변환 수단(54) 및 디코딩 주파수 분석 수단(56)을 포함할 수 있다.
특히, 나머지 구조(Sfr(n,b))를 부분 수신하는 경우(약간의 주파수 서브대역들의 수신), 주파수 합성 수단(45)은 양호한 구조가 수신되지 않은 서브대역들을 보충하기 위하여 합성(r')으로부터 발생하는 서브대역들을 사용한다.
도 6은 주파수 영역에서 주 성분 분석(PCA) 변환에 따라 다중 채널 오디오 신호의 스케일러블 코딩을 위한 인코더의 다른 실시예의 개략도이다.
이 실시예에 따라, 인코더(9)는 연속적인 프레임들(n,n+1, 등)에 의해 정의될 수 있고 두 개의 채널들(좌측 L 및 우측 R)을 포함하는 스테레오포닉 신호를 코딩한다.
인코더(9)는 주 성분 분석(PCA) 변환 수단(28), 정의 수단(29) 및 구조 형성 수단(30)을 포함한다.
주 성분 분석(PCA) 변환 수단(28)은 분해 수단(21), 계산 수단(23), PCA 수단(25) 및 결합 수단(27)을 포함한다.
따라서, 결정된 프레임(n)에 대해, 분해 수단(21)은 스테레오포닉 신호의 두 개의 채널들(L 및 R)을 다수의 주파수 서브대역들(
Figure 112008071729402-pct00001
Figure 112008071729402-pct00002
)로 분해한다.
특히, 분해 수단(21)은 단기 퓨리에 변환의 계수들을 서브대역들로 그룹지어지도록 하는 주파수 윈도우잉 수단(63a 및 63b) 및 단기 퓨리에 변환 수단(STFT)(61a 및 61b)을 포함한다.
따라서, 단기 퓨리에 변환은 각각의 입력 채널들(L 및 R) 각각에 제공된다. 그 다음 주파수 영역에서 표현된 이들 채널들은 임계 대역들과 등가인 지각적 스케일에 따라 정의된 N 대역들에 따라 주파수에 의해 윈도우될(63a 및 63b) 수 있다.
계산 수단(23)은 다수의 주파수 서브대역들의 적어도 일부의 함수로서 다수의 변환 파라미터들(θ(n,b1),...,θ(n,bN)) 중에서 적어도 하나의 변환 파라미터(θ(n,bi))를 계산한다.
예를들어, 변환 파라미터들의 계산은 공분산 매트릭스를 계산함으로써 수행될 수 있다. 그 다음 공분산 매트릭스는 계산 수단(23)에 의해 분석된 각각의 신호 프레임(n) 및 각각의 주파수 서브대역(bi)에 대해 계산될 수 있다.
따라서, 스테레오포닉 신호의 고유값들(
Figure 112008071729402-pct00003
및
Figure 112008071729402-pct00004
)은 각각의 프레임(n) 및 각각의 서브대역(bi)에 대해 평가되어, 변환 파라미터 또는 회전 각도(θ(n,bi))의 계산을 허용한다.
또한 두 개의 본래 채널들(L 및 R)의 공분산을 바탕으로 유일하게 변환 파라미터들을 계산하는 것이 가능하다는 것이 주의될 것이다.
이런 회전 각도(θ(n,bi))는 서브대역(bi)에 대한 프레임(n)에서 주 소스의 위치에 대응하고 따라서 회전 또는 변환 수단(25)이 주파수 주 성분(CP(n,bi)) 및 주파수 나머지(또는 주변) 성분(A(n,bi))을 결정하기 위하여 데이터의 주파수 서브대역 바탕 회전을 수행하게 한다. 성분들(CP(n,bi) 및 A(n,bi))의 에너지들은 고유값들(λ1>λ2이도록 고유값들(λ1 및 λ2)에 비례한다. 결과적으로, 신호(A(b))는 신호(CP(b))보다 낮은 에너지를 가진다.
결합 수단(27)은 단일 주 성분(CP(n))을 형성하기 위하여 주파수 주 서브 성분들(CP(n,b1),...,CP(n,bN))을 결합한다.
특히, 이들 결합 수단(27)은 인버스 STFT 수단(65a) 및 가산 수단(67a)을 포함한다. 그 다음 이들 제한된 대역의 주파수 성분들(CP(n,b1))의 가산 수단(67a)의한 합은 주파수 영역에서 전체 대역 주 성분(CP(n))을 얻는 것을 가능하게 한다. 성분(CP(n))의 인버스 STFT는 전체 대역 시간 성분을 발생시킨다.
주파수 분석 수단(31)을 포함하는 구조 형성 수단(30)은 주파수 나머지 서브 성분들(A(n,b1),...,A(n,bN)) 및/또는 주파수 주 서브 성분들(CP(n,b1),...,CP(n,bN))의 함수로서 한 세트의 에너지 파라미터들(E(n,b1),...,E(n,bN)) 중에서 적어도 하나의 에너지 파라미터(E(n,bi))을 형성하게 한다.
제 1 실시예에 따라, 에너지 파라미터들(E(n,b1),...,E(n,bN))은 주파수 주 서브 성분들(CP(n,b1),...,CP(n,bN)) 및 주파수 나머지 서브 성분들(A(n,b1),...,A(n,bN)) 사이의 주파수 서브대역 바탕 에너지 차들을 추출함으로써 형성된다.
다른 실시예에 따라, 에너지 파라미터들(E(n,b1),...,E(n,bN))은 주파수 나머지 서브 성분들(A(n,b1),...,A(n,bN))의 주파수 서브대역 바탕 에너지에 직접 대응한다.
결과적으로, 사운드 주변부를 보다 잘 합성하기 위하여, 코딩된 오디오 신 호(SC)는 에너지 파라미터들(E(n,b1),...,E(n,bN))의 세트 중에서 적어도 하나의 에너지 파라미터를 바람직하게 포함할 수 있다.
게다가, 구조 형성 수단(30)은 주파수 서브대역 바탕 나머지 구조(Sfr(n,bi))를 형성하기 위하여 적어도 하나의 에너지 파라미터(E(n,bi)의 함수로서 적어도 하나의 나머지 서브 성분(A(n,bi))에 주파수 분석을 적용하게 한다.
따라서, 만약 전송 네트워크(7)의 능력들이 허용되거나 보다 높은 오디오 품질이 예상되면, 에너지 파라미터 또는 파라미터들(E(n,b1),...,E(n,bN))은 신호(Sfr(n,bi))의 나머지 성분(A(n,bi))에 의해 수반된다.
나머지 성분(A(n,bi))의 코딩에 대한 이런 등급별 방법은 본래 스테레오포닉 신호의 점근적으로 완전한 구성에 접근하도록 부가 정보를 전송하는 능력을 제공한다. 특히, 보다 높은 비트 속도를 사용하여, 재구성된 스테레오포닉 신호는 본래 스테레오포닉 신호에 지각적으로 보다 밀접할 것이다.
게다가, 인코더(9)는 대응 상관 인덱스 또는 값(c(n))을 결정하기 위하여 두 개의 채널들(L 및 R) 사이의 시간 상관 분석을 수행하기 위한 상관 분석 수단(33)을 포함할 수 있다. 따라서, 코딩된 오디오 신호(SC)는 바람직하게 본래 신호에 임의의 반향 존재를 가리키기 위하여 이런 상관값(c(n))을 바람직하게 포함할 수 있다.
정의 수단(29)은 주 성분(CP)을 코딩하기 위한 오디오 코딩 수단(29a) 및 나 머지 구조(Sfr(n,bi))의 적어도 일부, 전송 파라미터 또는 파라미터들(θ(n,bi)), 나머지 구조(Sfr(n,bi))의 적어도 일부, 에너지 파라미터 또는 파라미터들(E(n,bi)) 및 상관값(c(n))을 각각 양자화하기 위한 양자화 수단(29c,29d,29e 및 29f)을 포함할 수 있다.
도 7은 오디오 스트림을 포함하는 코딩된 오디오 신호(SC(n))를 디코딩하고 주파수 서브대역 바탕 인버스(PCA)를 바탕으로 스테레오포닉 신호에 대한 파라미터들을 디코딩하기 위한 디코더(15)의 개략도이다.
디코더(15)는 인버스 주 성분 분석(PCA-1)을 바탕으로 하는 변환 수단(44) 및 주파수 합성 수단(45)을 포함한다.
인버스 주 성분 분석(PCA-1)을 바탕으로 하는 변환 수단(44)은 추출 수단(41), 디코딩 분해 수단(43), 인버스 변환 수단(47), 및 디코딩 결합 수단(49)을 포함한다.
따라서, 코딩된 오디오 신호(SC(n))의 수신 후, 추출 수단(41)은 디코딩된 주 성분(CP')을 추출하기 위한 모노포닉 디코딩 수단(41a) 및 나머지 구조(SfrQ(n,bi)), 회전 각도(θQ(n,bi)), 에너지 파라미터들((EQ(n,bi)) 및 상관값(CQ(n))을 추출하기 위한 양자화 해제 수단(41c,41d,41e 및 41f)을 포함한다.
예를들어 STFT들(62a) 및 필터 뱅크들(62b)을 포함하는 디코딩 분해 수단(43)은 N 대역들을 가진 주파수 윈도우잉에 의해 디코드된 주 성분(CP')을 디코 드된 주파수 주 서브 성분들로 분해한다.
게다가, 나머지 성분(A'(n,bi))은 양자화 해제된 에너지 파라미터들(EQ(n,bi)) 및 나머지 구조(SfrQ(n,bi))에 의해 스펙트럼적으로 성형된 디코드된 오디오 스트림(CP'(n,bi))을 바탕으로 주파수 합성 수단(45)에 의해 합성될 수 있다.
특히, 인코더(9)에 의해 전송된 부가적인 정보는 디코더(15)에 의해 사용되거나 사용되지 않을 수 있다. 따라서, 주파수 서브대역 바탕 나머지 성분(A(n,bi))의 나머지 양호한 구조(Sfr(n,bi))는 디코드되고 가능하면 필터된 신호(CP')를 바탕으로 신호(A'(n,bi))의 주파수 합성 동안 사용될 수 있다.
따라서 신호(A'(n,bi))의 주파수 합성은 에너지 파라미터들(EQ(n,bi)) 및 양자화 해제된 나머지 성분의 양호한 구조(Sfr(n,bi))를 사용한다.
그 다음 디코더(15)는 PCA가 선형 변환이기 때문에 코더에 대한 인버스 동작을 수행한다. 인버스 PCA는 인코딩에 사용되는 회전 매트릭스의 매트릭스 전치에 의해 신호들(CPH'(n,bi) 및 A'(n,bi))을 곱셈함으로써, 인버스 변환 수단에 의해 수행된다. 이것은 주파수 서브대역들을 바탕으로 회전 각도들의 인버스 양자화에 의해 가능해 진다.
신호들(CP'H(n,bi))이 반향 또는 상관해제 필터링 수단(49)에 의해 상관해제 된 주 성분들(CP'(n,bi))에 대응하는 것이 주의된다.
특히, PCA의 상관해제 특성들로 인해, 상관해제 또는 반향 필터의 사용은 신호(CP'(n,bi))의 상관해제된 성분(CPH(n,bi))을 합성하고 신호(A'(n,bi))의 결과로서 바람직하다.
필터링 수단(49)은 본래 신호의 특성들에 따른 임펄스 응답(h(n))을 가진 필터를 포함한다. 특히, 프레임(n)에서 본래 신호의 상관의 시간 분석은 디코딩에 사용될 필터의 선택에 대응하는 상관값(c(n))을 결정한다. 디폴트에 의해, c(n)은 신호들(CP'(n,bi) 및 CP'H(n,bi))의 상호 상관을 크게 감소시키는 랜덤 위상을 모든 통과 필터의 임펄스 응답에 부과한다. 만약 스테레오 신호의 시간 분석이 반향 존재를 나타내면, c(n)은 신호(CP'(n,bi))의 콘텐트를 반향하기 위하여 감소하는 에너지의 가우스 백색 노이즈의 사용을 부과한다.
인버스 STFT 수단(71a 및 71b) 및 가산 수단(73a 및 73b)을 포함하는 결합 수단(49)은 두 개의 디코드된 성분들(L' 및 R')을 형성하기 위하여 디코드된 주파수 서브대역들을 결합한다.
나머지 성분(A(n,bi))의 코딩에 대한 이런 등급별 방법은 본래 스테레오포닉 신호에 매우 밀접한 재구성에 접근하기 위하여 부가적인 정보를 전송하는 능력을 제공한다.
도 8은 3개의 채널들에 PCA를 제공하는 다중 채널 신호의 인코더(109)를 도 시한다. 특히, 이런 인코더는 각각의 서브대역(b)에 대해 평가된 오일러 각도들(α,β,Y)b에 의해 파라미터화된 3 개의 채널들을 가진 신호의 3차원 PCA를 사용한다.
인코더(109)는 3개의 단기 퓨리에 변환 수단(STFT)(61a,61b 및 61c)뿐 아니라 3개의 주파수 윈도우잉 모듈들(63a,63b 및 63c)을 포함한다는 사실에 의해 도 7과 구별된다.
게다가, 3개의 인버스 STFT 수단(65a,65b 및 65c)뿐 아니라 3개의 부가적인 수단(73a,73b 및 73c)을 포함한다.
그 다음 PCA는 세쌍 1조의 신호들(L,C 및 R)에 제공된다. 3D 3차원 PCA는 오일러 각도들(α,β,
Figure 112008071729402-pct00005
)에 의해 파라미터화된 데이터의 3D 회전에 의해 수행된다. 스테레오포닉 경우와 같이, 이들 회전 각도들은 본래 다중 채널 신호의 공분산 고유값들을 바탕으로 각각의 주파수 서브대역에 대해 평가된다.
신호(CP)는 주 사운드 소스들 및 본래 신호들에 존재하는 이들 소스들과 공간적으로 일치하는 주변 성분들의 일부의 합을 포함한다.
스펙트럼적으로 주 소스들과 오버랩하는 제 2 사운드 소스들, 및 다른 주변 성분의 합은 λ1>λ2>λ3이기 때문에 신호(CP)보다 매우 작은 에너지를 가진 신호들(A1 및 A2)에서 고유값들(λ2 및 λ3)에 비례하여 분산된다.
따라서, 스테레오포닉 신호들에 적용된 코딩 방법은 다음 채널들(좌측 L, 중앙 C, 우측 R, 후면 좌측(좌측 서라운드) Ls, 후면 우측(우측 서라운드) Rs, 및 저주파(저주파 효과) LFE)을 포함하는 5.1 포맷의 다중 채널 신호들(C1,...C6)의 경우로 확장될 수 있다.
특히, 도 9는 5.1 포맷 다중 채널 신호의 인코더(209)를 도시하는 개략도이다. 이 실시예에 따라, 5.1 신호들의 파라미터 오디오 코딩은 중간 평면을 따라 분리된 신호들의 2개의 3차원 PCA들을 바탕으로 한다.
따라서, 이 인코더(209)는 도 12의 인코더(109) 및 등등에 따른 신호들(L,C,LS)의 3쌍 1조(80a)의 제 1 PCA1, 인코더(109)에 따른 신호들(R,C,RS)의 3쌍 1조(80b)의 제 2 PCA2를 수행할 수 있게 한다.
따라서, 주 성분들(CP1,CP2)의 쌍은 본래 다중 채널 신호에 공간적으로 간섭성의 스테레오포닉 신호(L,R)인 것으로 생각된다.
이 채널의 이산 성질 저주파 콘텐트가 채널간 리던던시들의 감소에 거의 둔감하기 때문에 LFE 신호가 다른 신호들과 독립적으로 코딩될 수 있다는 것은 인식된다.
인코딩은 양자화 수단(81a 내지 81d)뿐 아니라, 각각의 프레임(n) 및 각각의 주파수 서브대역(bi)에 대해 정의된 양자화 수단(91a 내지 91d)에 의해 양자화된 파라미터들에 의해 수반되는 스테레오포닉 오디오 코더(81a)에 의해 코딩된 스테레오포닉 신호를 전송함으로써 전송 네트워크의 비트 속도 제한들에 적용된다.
따라서, 스테레오포닉 오디오 코더(81a)는 주 성분들(CP1,CP2)의 쌍을 코딩하는 것을 가능하게 한다. 양자화 수단(81b)은 각각의 3쌍 1조 신호들의 PCA들에 대해 유용한 오일러 각도들(α,β,
Figure 112008071729402-pct00006
)을 양자화하는 것을 가능하게 한다.
양자화 수단(81d)은 각각의 3쌍 1조 신호들에 사용될 필터의 선택을 결정하는 값들(c1(n) 및 c2(n))을 양자화하는 것을 가능하게 한다.
게다가, 필터링 및 주파수 분석 수단(83a 및 83b)을 포함하는 주파수 합성 수단(45)은 각각 신호들(CP1 및 A11,A12)뿐 아니라 신호들(CP2 및 A21,A22) 사이의 주파수 서브대역 바탕 파라미터들 또는 에너지 차들(Eij(n,b)(1≤i,j≤2)을 결정하게 한다.
변형으로서, 에너지 파라미터들은 신호들(A11,A12 및 A21,A22)의 서브대역 바탕 에너지들에 대응할 수 있다.
그 다음 에너지 파라미터들(Eij(n,b))은 양자화 수단(81c)에 의해 양자화될 수 있다.
게다가, 3D PCA들로부터 발생하는 4개의 나머지 또는 주변 신호들(A11,A12 및 A21,A22)의 1≤i,j≤2를 가진 양호한 나머지 구조들(SfAij(n,b))은 양자화 수단(91a 내지 91d)에 의해 양자화될 수 있다.
스테레오포닉 신호들의 코딩에 대해, 나머지 신호들(A11,A12 및 A21,A22)의 양호한 구조들(SfAji(n,b))의 적어도 일부는 보다 높은 비트 속도를 사용하여 부가적인 정보로서, 결과적으로 보다 우수한 오디오 재구성 품질로서 전송될 수 있다.
도 10은 도 1 내지 9에 따른 인코더 또는 디코더를 실행하는 컴퓨터 시스템을 매우 개략적으로 도시한다. 이런 컴퓨터 시스템은 통상적인 방식으로 신호들(432)을 제어하는 중앙 처리 유니트(430), 메모리(434), 입력 유니트(436) 및 출력 유니트(438)를 포함한다. 모든 엘리먼트들은 데이터 버스들(440)에 의해 함께 링크된다.
게다가, 이런 컴퓨터 시스템은 본 발명에 따른 코딩 또는 디코딩 방법을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램을 실행하기 위하여 사용될 수 있다.
특히, 본 발명의 목적은 컴퓨터에서 실행될 때 본 발명에 따른 코딩 또는 디코딩 방법의 단계들을 실행하기 위한 프로그램 명령들을 포함하는 통신 네트워크로부터 다운로드할 수 있는 컴퓨터 프로그램 제품을 제공하는 것이다. 이 컴퓨터 프로그램은 컴퓨터에 의해 판독할 수 있는 매체상에 저장될 수 있고 마이크로제어기에 의해 실행될 수 있다.
이 프로그램은 임의의 프로그래밍 언어를 사용할 수 있고, 소스 코드, 목적 코드, 또는 부분적으로 컴파일된 형태, 또는 임의의 다른 목표된 형태 같은 소스 코드 및 목적 코드 사이의 중간 코드 형태일 수 있다.
본 발명의 목적은 또한 상기된 바와 같은 컴퓨터 프로그램 명령들을 포함하 고 컴퓨터에 의해 판독할 수 있는 정보 매체를 제공하는 것이다.
정보 매체는 프로그램을 저장할 수 있는 임의의 엔티티 또는 장치일 수 있다. 예를들어, 상기 매체는 예를들어 CD ROM 또는 마이크로전자 회로 ROM 같은 ROM인 저장 수단들 또는 예를들어 디스켓(플로피 디스크) 또는 하드 디스크인 자기 기록 수단을 포함할 수 있다.
게다가, 정보 매체는 전기 또는 광학 케이블, 무선 또는 다른 수단을 통하여 중계될 수 있는 전기 또는 광학 신호 같은 전송 가능한 매체일 수 있다. 본 발명에 따른 프로그램은 인터넷 타입의 네트워크로부터 특히 다운로드될 수 있다.
선택적으로, 정보 매체는 프로그램이 통합된 집적 회로일 수 있고, 상기 회로는 당해 방법을 실행하거나 실행에 사용되도록 제공된다.
따라서, 본 발명은 비트 속도 스케일러블 오디오 코딩을 허용한다. 이것은 본래 신호들의 점근적 완전한 재구성에 접근할 수 있는 능력을 제공한다. 특히, 보다 높은 비트 속도를 사용하여 재구성된 신호는 본래 신호에 지각적으로 더 밀접할 것이다.
게다가 본 발명에 따른 방법은 다수의 디코드된 채널들 측면에서 등급화된다. 예를들어, 5.1 포맷의 신호의 코딩은 다양한 재생 시스템들과 호환성을 보장하기 위하여 스테레오포닉 신호로서 디코딩된다.
본 발명의 응용 분야들은 제안된 과정이 네트워크 또는 목표된 품질의 함수로서 코딩 비트 속도를 적응할 수 있게 하기 때문에 다양한 비트 속도들에서 다양한 전송 네트워크들상 디지털 오디오 전송이다.
게다가, 이 방법은 보다 큰 수의 신호들을 가진 다중 채널 오디오 코딩에 일반화될 수 있다. 특히, 제안된 과정은 다수의 2D 및 3D 오디오 포맷들(6.1,7.1 포맷들, 앰비소닉, 파장 합성, 등등)으로 일반화 및 응용할 수 있는 성질에 의해 이루어진다.
특정 예시적인 애플리케이션은 사이버노트(cybernaut)(청취자)에 의한 주문/구매 다음 인터넷상에서 다중 채널 오디오 신호의 압축, 전송 및 재생이다. 게다가 서비스는 일반적으로 "주문형 오디오"라 한다. 제안된 과정은 서버에 청취자를 링크하는 인터넷 네트워크에 의해 지원된 비트 속도로 다중 채널 신호(스테레오포닉 또는 5.1 타입)를 인코딩하는 것을 가능하게 한다. 따라서, 청취자는 그의 다중 채널 브로드캐스팅 시스템에서 목표된 포맷으로 디코드된 사운드 장면으로 청취될 수 있다. 전송될 신호가 5.1 타입이고 사용자가 다중 채널 재생 시스템을 가지지 않는 경우, 전송은 시작하는 다중 채널 신호의 주 성분들로 제한되지 않을 수 있다; 그리고, 추후, 디코더는 예를들어 스테레오포닉 신호 같은 보다 작은 채널들로 신호를 전달한다.

Claims (21)

  1. 다중 채널 오디오 신호(C1,...,CM)의 적어도 두 개의 채널들(L,R)을, 주 성분(CP), 및 변환 파라미터(θ)에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분(r)으로 주 성분 분석(PCA) 변환하는 단계를 포함하는 다중 채널 오디오 신호의 스케일러블 코딩 방법으로서, 상기 적어도 하나의 나머지 서브 성분은 주파수 영역에서 주 성분 분석으로부터 획득되는 주파수 나머지 서브 성분 (A(n,b))이며, 상기 방법은:
    적어도 하나의 주파수 나머지 서브 성분(A(n,b))을 필터 뱅크로 필터링함으로써 주파수 서브대역 마다 나머지 구조(Sfr(n,b))를 형성하는 단계,
    상기 주 성분(CP), 적어도 하나의 주파수 서브대역의 상기 나머지 구조(Sfr(n,b)) 및 상기 변환 파라미터(θ)를 포함하는 코딩된 오디오 신호(SC)를 생성하는 단계, 및
    상기 주파수 서브대역들의 나머지 구조들의 정해진 전송 순서에 따라 주파수 나머지 구조들(Sfr(n,b))을 전송하는 단계
    를 포함하는,
    스케일러블 코딩 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 주파수 나머지 서브 성분(A(n,b))의 함수로서 적어도 하나의 에너지 파라미터(E)를 형성하는 단계를 포함하는,
    스케일러블 코딩 방법.
  3. 제 2 항에 있어서, 상기 적어도 하나의 에너지 파라미터(E)는 상기 주 성분(CP)의 분해물과 상기 적어도 하나의 주파수 나머지 서브 성분(A(n,b)) 사이의 에너지 차의 주파수 서브대역 바탕 추출에 의해 형성되는,
    스케일러블 코딩 방법.
  4. 제 2 항에 있어서, 상기 적어도 하나의 에너지 파라미터(E)는 상기 적어도 하나의 주파수 나머지 서브 성분(A(n,b))의 서브대역 바탕 에너지에 대응하는,
    스케일러블 코딩 방법.
  5. 제 1 항에 있어서, 주파수 영역에서 주 성분 분석(PCA) 변환은,
    상기 오디오 신호의 적어도 두 개의 채널들(L,R)을 다수의 주파수 서브대역들(l(n,b1),...,l(n,bN),...,r(n,b1),...,r(n,bN))로 분해하는 단계,
    상기 다수의 주파수 서브대역들의 적어도 일부의 함수로서 적어도 하나의 변환 파라미터(θ(n,b1),...,θ(n,bN))를 계산하는 단계,
    상기 적어도 하나의 변환 파라미터(θ(n,b1),...,θ(n,bN))의 함수로서 상기 다수의 주파수 서브대역들의 적어도 일부를 적어도 하나의 주파수 나머지 서브 성분(A(n,b1),...,A(n,bN)) 및 적어도 하나의 주파수 주 서브 성분(CP(n,b1),...,CP(n,bN))으로 변환하는 단계, 및
    상기 적어도 하나의 주파수 주 서브 성분(CP(n,b1),...,CP(n,bN))을 바탕으로 주 성분(CP(n))을 형성하는 단계를 포함하는,
    스케일러블 코딩 방법.
  6. 제 5 항에 있어서, 상기 다수의 주파수 서브대역들(l(n,b1),...,l(n,bN),...,r(n,b1),...,r(n,bN))은 지각적 스케일에 따라 정의되는,
    스케일러블 코딩 방법.
  7. 다중 채널 오디오 신호(C1,...,CM)의 적어도 두 개의 채널들(L,R)을, 주 성분(CP), 및 변환 파라미터(θ)에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분(r)으로 주 성분 분석(PCA) 변환하는 단계를 포함하는 다중 채널 오디오 신호의 스케일러블 코딩 방법으로서,
    적어도 하나의 주파수 나머지 서브 성분(r(b))을 형성하기 위하여 상기 적어도 하나의 나머지 서브 성분(r)에 단기 퓨리에 변환(STFT)을 적용하는 단계,
    주파수 서브대역 마다 나머지 구조들 (Sfr(b))을 얻기 위하여 주파수 필터 뱅크에 의해 적어도 하나의 주파수 나머지 서브 성분을 필터링하는 단계,
    상기 주 성분(CP), 적어도 하나의 주파수 서브대역의 상기 나머지 구조(Sfr(b)) 및 상기 변환 파라미터(θ)를 포함하는 코딩된 오디오 신호(SC)를 생성하는 단계, 및
    상기 주파수 서브대역들의 나머지 구조들의 정해진 전송 순서에 따라 주파수 나머지 구조들(Sfr(b))을 전송하는 단계
    를 포함하는,
    스케일러블 코딩 방법.
  8. 제 1 항 또는 제 7 항에 있어서, 상기 전송 순서는 상기 주파수 서브대역들에서 상기 주 성분 분석(PCA)으로부터 발생하는 성분들의 상관에 따라 결정되거나 또는 서브대역들의 지각적 순서 또는 에너지 기준에 따라 결정되는,
    스케일러블 코딩 방법.
  9. 제 1 항 또는 제 7 항에 있어서, 대응 상관값(c)을 결정하기 위하여 상기 적어도 두 개의 채널들(L,R) 사이의 상관 분석 단계를 포함하고, 상기 코딩된 오디오 신호는 추가로 상기 상관값(c)을 더 포함하는,
    스케일러블 코딩 방법.
  10. 제 1 항에 따라 구성된, 코딩된 오디오 신호를 포함하는 수신 신호를 디코딩하는 방법으로서,
    코딩된 오디오 신호(SC)를 수신하는 단계,
    디코딩된 주 성분(CP') 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 단계,
    적어도 하나의 디코딩된 나머지 서브 성분(A'(n,b))을 합성하기 위해 적어도 하나의 주파수 서브대역의 나머지 구조(Sfr(n,b))를 디코딩하는 단계,
    상기 디코딩된 주 성분(CP')을 적어도 하나의 디코딩된 주파수 주 서브 성분으로 분해하는 단계,
    인버스 주 성분 분석(PCA-1)에 의해 적어도 하나의 디코딩된 주 서브 성분 및 상기 적어도 하나의 디코딩된 나머지 서브 성분(A'(n,b))을 디코딩된 주파수 서브대역들로 변환하는 단계, 및
    본래 다중 채널 오디오 신호로부터 발생하는 상기 적어도 두 개의 채널들 (L,R)에 대응하는 적어도 두 개의 디코딩된 채널들(L',R')을 형성하기 위하여 상기 디코딩된 주파수 서브대역들을 결합하는 단계를 포함하는,
    디코딩 방법.
  11. 제 7 항에 따라 구성된, 코딩된 오디오 신호를 포함하는 수신 신호를 디코딩하는 방법으로서,
    코딩된 오디오 신호(SC)를 수신하는 단계,
    디코딩된 주 성분(y') 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 단계,
    적어도 하나의 디코딩된 나머지 서브 성분(r')을 합성하기 위해 적어도 하나의 주파수 서브대역의 나머지 구조(Sfr(b))를 디코딩하는 단계,
    상기 적어도 하나의 디코딩된 변환 파라미터, 상기 디코딩된 주 성분(y') 및 상기 적어도 하나의 디코딩된 나머지 서브 성분(r')의 함수로서 인버스 주 성분 분석(PCA-1)에 의해 본래 다중 채널 오디오 신호로부터 발생하는 상기 적어도 두 개의 채널들 (L,R)에 대응하는 적어도 두 개의 디코딩된 채널들(L',R')을 형성하는 단계를 포함하는,
    디코딩 방법.
  12. 다중 채널 오디오 신호(C1,...,CM)의 적어도 두 개의 채널들(L,R)을, 주 성분(CP), 및 변환 파라미터(θ)에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분(r)으로 주 성분 분석(PCA) 변환하는 것을 이용하는 변환 수단(28)을 포함하는 다중 채널 오디오 신호(C1,...,CM)의 스케일러블 인코더로서, 주 성분 분석을 이용하는 상기 변환 수단은 주파수 영역에서 적어도 하나의 주파수 나머지 서브 성분 (A(n,b))을 획득하기 위한 것이며, 상기 스케일러블 인코더는:
    상기 적어도 하나의 주파수 나머지 서브 성분(A(n,b))을 필터링하기 위한 필터 뱅크(31)를 포함하는 필터링 수단에 의해 주파수 서브대역 마다 나머지 구조(Sfr(n,b))를 형성하기 위한 구조 형성 수단(30),
    상기 주 성분(CP), 적어도 하나의 주파수 서브대역의 상기 나머지 구조(Sfr(n,b)) 및 상기 변환 파라미터(θ)를 포함하는 코딩된 오디오 신호(SC)를 생성하기 위한 수단(29), 및
    상기 주파수 서브대역들의 나머지 구조들의 정해진 전송 순서에 따라 주파수 나머지 구조들(Sfr(n,b))을 전송하기 위한 수단
    을 포함하는,
    스케일러블 인코더.
  13. 다중 채널 오디오 신호(C1,...,CM)의 적어도 두 개의 채널들(L,R)을, 주 성분(CP), 및 변환 파라미터(θ)에 의해 정의된 회전에 의한 적어도 하나의 나머지 서브 성분(r)으로 주 성분 분석(PCA)하는 것을 이용하는 변환 수단(28)을 포함하는 다중 채널 오디오 신호(C1,...,CM)의 스케일러블 인코더로서,
    적어도 하나의 주파수 나머지 서브 성분(r(b))을 형성하기 위하여 상기 적어도 하나의 나머지 서브 성분(r)에 단기 퓨리에 변환(STFT)을 적용하기 위한 변환 수단,
    주파수 서브대역 마다 나머지 구조들 (Sfr(b))을 얻기 위하여 상기 적어도 하나의 주파수 나머지 서브 성분을 필터링하기 위한 주파수 필터 뱅크(31)를 포함하는 필터링 수단(31),
    상기 주 성분(CP), 적어도 하나의 주파수 서브대역의 상기 나머지 구조(Sfr(b)) 및 상기 변환 파라미터(θ)를 포함하는 코딩된 오디오 신호(SC)를 생성하기 위한 수단, 및
    상기 주파수 서브대역들의 나머지 구조들의 정해진 전송 순서에 따라 주파수 나머지 구조들(Sfr(b))을 전송하기 위한 수단
    을 포함하는,
    스케일러블 인코더.
  14. 제 1 항에 따라 구성된, 코딩된 오디오 신호를 포함하는 수신 신호의 스케일러블 디코더로서,
    상기 코딩된 오디오 신호(SC)를 수신하는 수단,
    디코딩된 주 성분(CP') 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 수단,
    적어도 하나의 디코딩된 나머지 서브 성분(A'(n,b))을 합성하기 위해 주파수 서브대역의 적어도 하나의 나머지 구조(Sfr(n,b))를 디코딩하기 위한 주파수 합성 수단(45),
    상기 디코딩된 주 성분(CP')을 적어도 하나의 디코딩된 주파수 주 서브 성분으로 분해하는 수단,
    인버스 주 성분 분석(PCA-1)에 의해, 적어도 하나의 디코딩된 주 서브 성분 및 상기 적어도 하나의 디코딩된 나머지 서브 성분(A'(n,b))을 디코딩된 주파수 서브대역들로 변환하는 수단, 및
    본래 다중 채널 오디오 신호로부터 발생하는 적어도 두 개의 채널들 (L,R)에 대응하는 적어도 두 개의 디코딩된 채널들(L',R')을 형성하기 위하여 상기 디코딩된 주파수 서브대역들을 결합하는 수단을 포함하는,
    스케일러블 디코더.
  15. 제 7 항에 따라 구성된, 코딩된 오디오 신호를 포함하는 수신 신호의 스케일러블 디코더로서,
    상기 코딩된 오디오 신호(SC)를 수신하는 수단,
    디코딩된 주 성분(y') 및 적어도 하나의 디코딩된 변환 파라미터를 추출하는 수단,
    적어도 하나의 디코딩된 나머지 서브 성분(r')을 합성하기 위해 주파수 서브대역의 적어도 하나의 나머지 구조(Sfr(b))를 디코딩하기 위한 주파수 합성 수단(45),
    상기 적어도 하나의 디코딩된 변환 파라미터, 상기 디코딩된 주 성분(y') 및 상기 적어도 하나의 디코딩된 나머지 서브 성분(r')의 함수로서 인버스 주 성분 분석(PCA-1)에 의해 본래 다중 채널 오디오 신호로부터 발생하는 적어도 두 개의 채널들 (L,R)에 대응하는 적어도 두 개의 디코딩된 채널들(L',R')을 형성하는 수단을 포함하는,
    스케일러블 디코더.
  16. 제 12 항 또는 제 13항에 따른 인코더 및 제 14 항 또는 제 15 항에 따른 디코더를 포함하는,
    시스템.
  17. 통신 네트워크로부터 다운로드될 수 있는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은,
    컴퓨터 또는 마이크로처리기에서 실행될 때, 청구항 제 1 항 또는 제 7 항에 따른 코딩 방법 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는,
    컴퓨터 판독가능 저장 매체.
  18. 통신 네트워크로부터 다운로드될 수 있는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은,
    컴퓨터 또는 마이크로처리기에서 실행될 때, 제 1 항 또는 제 10 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는,
    컴퓨터 판독가능 저장 매체.
  19. 삭제
  20. 삭제
  21. 삭제
KR1020087025156A 2006-03-15 2008-10-15 주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법 KR101372476B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0650883 2006-03-15
FR0650883A FR2898725A1 (fr) 2006-03-15 2006-03-15 Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
PCT/FR2007/050897 WO2007104883A1 (fr) 2006-03-15 2007-03-08 Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale

Publications (2)

Publication Number Publication Date
KR20080110819A KR20080110819A (ko) 2008-12-19
KR101372476B1 true KR101372476B1 (ko) 2014-03-25

Family

ID=37110318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087025156A KR101372476B1 (ko) 2006-03-15 2008-10-15 주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법

Country Status (7)

Country Link
US (1) US8359194B2 (ko)
EP (1) EP2002424B1 (ko)
JP (1) JP5193070B2 (ko)
KR (1) KR101372476B1 (ko)
CN (1) CN101401151B (ko)
FR (1) FR2898725A1 (ko)
WO (1) WO2007104883A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383676B2 (ja) * 2008-05-30 2014-01-08 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
JP5425066B2 (ja) * 2008-06-19 2014-02-26 パナソニック株式会社 量子化装置、符号化装置およびこれらの方法
CN102428512A (zh) * 2009-06-02 2012-04-25 松下电器产业株式会社 下混装置、编码装置以及其方法
US8942989B2 (en) 2009-12-28 2015-01-27 Panasonic Intellectual Property Corporation Of America Speech coding of principal-component channels for deleting redundant inter-channel parameters
WO2012169808A2 (ko) * 2011-06-07 2012-12-13 삼성전자 주식회사 오디오 신호 처리방법, 오디오 부호화장치, 오디오 복호화장치, 및 이를 채용하는 단말기
WO2014046916A1 (en) * 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
SG11201504368VA (en) * 2012-12-04 2015-07-30 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method
US9685163B2 (en) 2013-03-01 2017-06-20 Qualcomm Incorporated Transforming spherical harmonic coefficients
US9495968B2 (en) * 2013-05-29 2016-11-15 Qualcomm Incorporated Identifying sources from which higher order ambisonic audio data is generated
EP3014609B1 (en) 2013-06-27 2017-09-27 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
US9197958B2 (en) 2013-12-18 2015-11-24 Nokia Technologies Oy Method and apparatus for defining audio signals for headphones
US9847087B2 (en) 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
CN105336334B (zh) * 2014-08-15 2021-04-02 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
CN105632505B (zh) * 2014-11-28 2019-12-20 北京天籁传音数字技术有限公司 主成分分析pca映射模型的编解码方法及装置
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
EP3616196A4 (en) 2017-04-28 2021-01-20 DTS, Inc. Audio coder window and transform implementations
US10666954B2 (en) 2018-06-19 2020-05-26 International Business Machines Corporation Audio and video multimedia modification and presentation
KR102603621B1 (ko) * 2019-01-08 2023-11-16 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
CN111711918B (zh) * 2020-05-25 2021-05-18 中国科学院声学研究所 一种多通道信号的相干声与环境声提取方法及系统
CN111669697B (zh) * 2020-05-25 2021-05-18 中国科学院声学研究所 一种多通道信号的相干声与环境声提取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100981699B1 (ko) 2002-07-12 2010-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
KR100981694B1 (ko) 2002-04-10 2010-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 신호들의 코딩

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289900A (ja) * 1993-04-01 1994-10-18 Mitsubishi Electric Corp オーディオ符号化装置
US6292830B1 (en) * 1997-08-08 2001-09-18 Iterations Llc System for optimizing interaction among agents acting on multiple levels
US6016473A (en) * 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
CA2354755A1 (en) * 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
RU2316154C2 (ru) * 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20060171542A1 (en) * 2003-03-24 2006-08-03 Den Brinker Albertus C Coding of main and side signal representing a multichannel signal
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100981694B1 (ko) 2002-04-10 2010-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 신호들의 코딩
KR100981699B1 (ko) 2002-07-12 2010-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩

Also Published As

Publication number Publication date
FR2898725A1 (fr) 2007-09-21
JP2009530652A (ja) 2009-08-27
CN101401151A (zh) 2009-04-01
US8359194B2 (en) 2013-01-22
KR20080110819A (ko) 2008-12-19
WO2007104883A1 (fr) 2007-09-20
EP2002424A1 (fr) 2008-12-17
JP5193070B2 (ja) 2013-05-08
CN101401151B (zh) 2012-04-18
EP2002424B1 (fr) 2015-07-29
US20090083045A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
KR101372476B1 (ko) 주 성분 분석을 바탕으로 다중채널 오디오 신호의 등급별 디코딩 장치 및 방법
KR101339854B1 (ko) 주 성분 분석에 의해 다중채널 오디오 신호를 인코딩하기 위한 장치 및 방법
KR100954179B1 (ko) 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성
US8817991B2 (en) Advanced encoding of multi-channel digital audio signals
US8249883B2 (en) Channel extension coding for multi-channel source
US8964994B2 (en) Encoding of multichannel digital audio signals
US7974713B2 (en) Temporal and spatial shaping of multi-channel audio signals
RU2665214C1 (ru) Стереофонический кодер и декодер аудиосигналов
CN103765509B (zh) 编码装置及方法、解码装置及方法
CN102656628B (zh) 优化的低吞吐量参数编码/解码
KR20070120527A (ko) 적응 잔류 오디오 코딩
CN114270437A (zh) 参数编码与解码
WO2009048239A2 (en) Encoding and decoding method using variable subband analysis and apparatus thereof
US7725324B2 (en) Constrained filter encoding of polyphonic signals
EP2690622B1 (en) Audio decoding device and audio decoding method
RU2641463C2 (ru) Структура декоррелятора для параметрического восстановления звуковых сигналов
EP1639580B1 (en) Coding of multi-channel signals
WO2024132968A1 (en) Method and decoder for stereo decoding with a neural network model
RU2023124046A (ru) Устройство обработки звуковых сигналов для кодирования стереофонического сигнала в сигнал битового потока и способ декодирования сигнала битового потока в стереофонический сигнал, осуществляемый с использованием устройства обработки звуковых сигналов

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20081015

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120308

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130422

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131212

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140304

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140305

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220223

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240226

Start annual number: 11

End annual number: 11