[go: up one dir, main page]

KR100682904B1 - 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 - Google Patents

공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 Download PDF

Info

Publication number
KR100682904B1
KR100682904B1 KR1020040099741A KR20040099741A KR100682904B1 KR 100682904 B1 KR100682904 B1 KR 100682904B1 KR 1020040099741 A KR1020040099741 A KR 1020040099741A KR 20040099741 A KR20040099741 A KR 20040099741A KR 100682904 B1 KR100682904 B1 KR 100682904B1
Authority
KR
South Korea
Prior art keywords
audio signal
signal
additional information
information
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040099741A
Other languages
English (en)
Other versions
KR20060060927A (ko
Inventor
김중회
고상철
이시화
오은미
미아오레이
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040099741A priority Critical patent/KR100682904B1/ko
Priority to US11/210,908 priority patent/US7961889B2/en
Priority to CN2005101239025A priority patent/CN1783728B/zh
Priority to CN201210014602.3A priority patent/CN102568487B/zh
Priority to CN201210008276.5A priority patent/CN102568486B/zh
Priority to EP15163384.9A priority patent/EP2911151A1/en
Priority to EP05257268A priority patent/EP1667111A1/en
Priority to JP2005348003A priority patent/JP4921781B2/ja
Publication of KR20060060927A publication Critical patent/KR20060060927A/ko
Application granted granted Critical
Publication of KR100682904B1 publication Critical patent/KR100682904B1/ko
Priority to US13/113,826 priority patent/US8824690B2/en
Priority to JP2011262993A priority patent/JP5643180B2/ja
Priority to JP2013167924A priority patent/JP6039516B2/ja
Priority to US14/474,222 priority patent/US9232334B2/en
Priority to US14/965,994 priority patent/US9552820B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법이 개시된다. 이 장치는, 다채널 오디오 신호에 포함된 비서라운드 성분과 서라운드 성분 중 상기 서라운드 성분에 공간 정보를 적용하고 다채널 오디오 신호를 다운 믹싱하여 스테레오 신호를 생성하고, 다운 믹싱된 결과인 스테레오 신호 또는 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 스테레오 신호와 부가 정보를 부호화하여 부호화 신호로서 전송하는 주 부호화부 및 부호화 신호를 수신하여 스테레오 신호와 부가 정보를 복호화하고, 복호화된 부가 정보를 이용하고 복호화된 스테레오 신호를 업 믹싱하여 다채널 오디오 신호를 복원하는 주 복호화부를 구비하는 것을 특징으로 한다. 그러므로, 적은 량의 부가 정보만으로도 업 믹싱할 수 있고 채널의 압축 효율 즉, 전송 효율을 극대화시킬 수 있고, 복원된 다채널 오디오 신호를 통해 스테레오 스피커만으로 다채널의 효과를 느낄 수 있도록 하는 등 실감나는 음질을 제공할 수 있고, 종래의 BCC를 대체할 수 있으며, 최적의 음질을 제공할 수 있고, 크로스톡을 제거할 수 있는 잇점을 갖는다.

Description

공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법{Apparatus and method for processing multichannel audio signal using space information}
도 1은 본 발명에 의한 오디오 신호 처리 장치의 블럭도이다.
도 2는 본 발명에 의한 오디오 신호 처리 방법을 설명하기 위한 플로우차트이다.
도 3은 도 1에 도시된 주 부호화부의 본 발명에 의한 바람직한 실시예의 블럭도이다.
도 4는 도 2에 도시된 제20 단계의 본 발명에 의한 바람직한 실시예를 설명하기 위한 플로우차트이다.
도 5는 다채널 오디오 신호를 설명하기 위한 도면이다.
도 6은 도 3에 도시된 다운 믹싱부의 본 발명에 의한 실시예의 블럭도이다.
도 7은 도 1에 도시된 주 복호화부의 본 발명에 의한 실시예의 블럭도이다.
도 8은 도 2에 도시된 제22 단계에 대한 본 발명에 의한 실시예를 설명하기 위한 플로우차트이다.
도 9는 도 7에 도시된 업 믹싱부의 본 발명에 의한 실시예의 블럭도이다.
도 10은 도 3에 도시된 부가 정보 생성부의 본 발명에 의한 일 실시예의 블럭도이다.
도 11은 도 9에 도시된 연산부의 본 발명에 의한 일 실시예의 블럭도이다.
도 12는 도 9에 도시된 연산부의 본 발명에 의한 다른 실시예의 블럭도이다.
본 발명은 엠펙(MPEG:Moving Picture Experts Group)등의 신호 처리에 관한 것으로서, 특히, 공간 정보를 이용하여 다채널(multichannel) 오디오 신호를 처리하는 장치 및 방법에 관한 것이다.
종래의 오디오 신호 처리 방법 및 장치는 다채널 오디오 신호를 복원할 때, 바이 내츄럴 큐 코딩(BCC:Binaural Cue Coding)만을 이용하여 서라운드(surround) 성분을 복원하는 공간 오디오 코딩(SAC:Spatial Audio Coding)을 채택한다. 여기서, SAC에 대해서는 "High-quality Parametric Spatial Audio Coding at Low Bitrates"라는 제목으로 116th AES convention, Preprint에 실린 논문의 6072쪽에 개시되어 있고, BCC에 대해서는 "Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression"라는 제목으로 112th AES convention, Preprint에 실린 논문의 5574쪽에 개시되어 있다.
SAC를 채택하는 전술한 종래의 오디오 신호 처리 방법은, 다운 믹싱(down mixing)할 때 서라운드 성분이 사라진다. 즉, 다운 믹싱된 스테레오 신호는 서라운드 성분을 포함하지 않는다. 따라서, 다채널 오디오 신호를 복원할 때 서라운드 성분을 살리기 위해서 많은 데이타량을 갖는 부가 정보를 전송하여야 하므로, 종래의 오디오 신호 처리 방법은 낮은 채널 전송 효율을 갖는 문제점이 있다. 게다가, 사라지 서라운드 성분을 복원하기 때문에, 복원된 다채널 오디오 신호의 음질이 저하되는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 공간 정보를 이용하여 다채널 오디오 신호의 서라운드 성분을 살리면서 부호화하고, 이러한 다채널 오디오 신호를 복호화하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 공간 정보를 이용하여 다채널 오디오 신호의 서라운드 성분을 살리면서 부호화하고, 이러한 다채널 오디오 신호를 복호화하는 공간 정보를 이용한 다채널 오디오 신호 처리 방법을 제공하는 데 있다.
상기 과제를 이루기 위한 본 발명에 의한 공간 정보를 이용한 다채널 오디오 신호 처리 장치는, 다채널 오디오 신호에 포함된 비서라운드 성분과 서라운드 성분 중 상기 서라운드 성분에 공간 정보를 적용하여 상기 다채널 오디오 신호를 다운 믹싱하고, 상기 다운 믹싱된 결과인 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 상기 스테레오 신호와 상기 부가 정보를 부호화하여 부호화 신호로서 전송하는 주 부호화부 및 상기 부호화 신호를 수신하여 상기 스테레오 신호와 상기 부가 정보를 복호화하고, 상기 복호화된 부가 정보를 이용하여 상기 복호화된 스테레오 신호를 업 믹싱하여 상기 다채널 오디오 신호를 복원하는 주 복호화부로 구성되는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 다채널 오디오 신호를 부호화하는 주 부호화부 및 상기 부호화된 다채널 오디오 신호로부터 상기 다채널 오디오 신호를 복원하는 주 복호화부를 갖는 오디오 신호 처리 장치에서 수행되는 본 발명에 의한 오디오 신호 처리 방법은, 다채널 오디오 신호에 포함된 비서라운드 성분과 서라운드 성분 중 상기 서라운드 성분에 공간 정보를 적용하여 상기 다채널 오디오 신호를 다운 믹싱하고, 상기 다운 믹싱된 결과인 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 상기 스테레오 신호와 상기 부가 정보를 부호화하여 부호화 신호로서 상기 주 복호화부로 전송하는 단계 및 상기 주 부호화부로부터 전송된 상기 부호화 신호를 수신하여 상기 스테레오 신호와 상기 부가 정보를 복호화하고, 상기 복호화된 부가 정보와 상기 복호화된 스테레오 신호를 업 믹싱하여 상기 다채널 오디오 신호를 복원하는 단계로 이루어지는 것이 바람직하다.
이하, 본 발명에 의한 공간 정보를 이용한 다채널 오디오 신호 처리 장치의 구성 및 동작과 그 장치에서 수행되는 오디오 신호 처리 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 오디오 신호 처리 장치의 블럭도로서, 주 부호화(main coding)부(10) 및 주 복호화(main decoding)부(12)로 구성된다.
도 2는 본 발명에 의한 오디오 신호 처리 방법을 설명하기 위한 플로우차트로서, 다채널 오디오 신호를 부호화하는 단계(제20 단계) 및 부호화된 다채널 오디오 신호를 복호화하는 단계(제22 단계)로 이루어진다.
도 1에 도시된 주 부호화부(10)는 입력단자 IN1을 통해 입력한 다채널 오디오 신호에 포함된 서라운드 성분에 공간 정보를 적용하여 다채널 오디오 신호를 다운 믹싱(down mixing)하고, 스테레오(stereo) 신호 또는 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 스테레오 신호와 부가 정보를 부호화하고, 부호화된 결과를 부호화 신호로서 주 복호화부(12)로 전송한다(제20 단계). 여기서, 스테레오 신호란, 다채널 오디오 신호를 다운 믹싱한 결과를 의미하며, 공간 정보에 대해서는 "Introduction to Head-Related Transfer Functions (HRTFs)"라는 제목으로 Representations of HRTFs in Time, Frequency, and Space, 107th AES convention, Preprint에 실린 논문의 페이지 50쪽에 개시되어 있다.
제20 단계후에, 주 복호화부(12)는 주 부호화부(10)로부터 전송된 부호화 신호를 수신하고, 수신된 부호화 신호를 이용하여 스테레오 신호와 부가 정보를 복호화하고, 복호화된 부가 정보와 복호화된 스테레오 신호를 업 믹싱하여 다채널 오디오 신호를 복원하며, 복원된 다채널 오디오 신호를 출력단자 OUT1을 통해 출력한다(제22 단계).
이하, 본 발명에 의한 오디오 신호 처리 장치의 실시예들 각각의 구성 및 동작과 각 실시예에서 수행되는 오디오 신호 처리 방법을 첨부된 도면들을 참조하여 다음과 같이 설명한다.
도 3은 도 1에 도시된 주 부호화부(10)의 본 발명에 의한 바람직한 실시예(10A)의 블럭도로서, 다운 믹싱부(30), 부 부호화(sub coding)부(32), 부가 정보(side information) 생성부(34), 부가 정보 부호화부(36) 및 비트 패킹(bit packing)부(38)로 구성된다.
도 4는 도 2에 도시된 제20 단계의 본 발명에 의한 바람직한 실시예(20A)를 설명하기 위한 플로우차트로서, 공간 정보를 이용하여 다채널 오디오 신호를 다운 믹싱하는 단계(제50 단계), 스테레오 신호와 생성한 부가 정보를 부호화하는 단계(제52 ~ 제56 단계들) 및 부호화된 결과들을 비트 패킹하는 단계(제58 단계)로 이루어진다.
도 3에 도시된 다운 믹싱부(30)는 입력단자 IN2를 통해 입력한 다채널 오디오 신호에 포함된 서라운드 성분에 공간 정보를 적용하여 다채널 오디오 신호를 다음 수학식 1과 같이 다운 믹싱하고, 다운 믹싱된 결과를 스테레오 신호로서 부 부호화부(32)로 출력한다(제50 단계).
Figure 112004056557129-pat00001
여기서, Lm과 Rm은 다운 믹싱된 결과인 스테레오 신호의 왼쪽 성분과 오른쪽 성분을 각각 나타내고, W는 가중치로서 사전에 결정될 수도 있고 가변될 수 있으며, Fi0과 Fi1은 입력단자 IN2를 통해 입력되는 다채널 오디오 신호에 포함된 성분들중 비 서라운드 성분을 나타내고, Sj0과 Sj1은 다채널 오디오 신호에 포함된 성분들중 서라운드 성분을 나타내고, Nf는 비 서라운드 성분에 포함된 채널의 개수를 나타 내고, Ns는 서라운드 성분에 포함된 채널의 개수를 나타내고, Fi0과 Si0 에서 '0'은 왼쪽(L:Left)[혹은 오른쪽(R:Right)] 성분을 나타내고, Fi1과 Si1에서 '1'은 오른쪽(R)[혹은 왼쪽(L)] 성분을 나타내고, Hj는 공간 정보를 나타내는 공간 필터의 전달 함수를 나타낸다.
도 5는 다채널 오디오 신호를 설명하기 위한 도면으로서, 비 서라운드 성분들(60, 62 및 64)과 서라운드 성분들(66 및 68)로 구성된다. 여기서, 참조부호 69는 청취자를 나타낸다.
도 5에 도시된 바와 같이, 다채널 오디오 신호에서 비 서라운드 성분은 왼쪽 채널(60)(L:Left)과 오른쪽 채널(64)(R:Right)(64) 및 중앙(center) 채널(62)(C:Center)로 이루어지는 프론트(front) 성분들로 이루어지고, 다채널 오디오 신호에서 서라운드 성분은 오른쪽 서라운드 채널(RS:Right Surround)(66)과 왼쪽 서라운드 채널(LS:Left Surround)(68)로 이루어진다고 하자. 이 때, 수학식 1은 다음 수학식 2와 같이 간략화될 수 있다.
Figure 112004056557129-pat00002
여기서,
Figure 112004056557129-pat00003
는 다채널 오디오 신호에서 비 서라운드 성분(60, 62 및 64)을 나타내고,
Figure 112004056557129-pat00004
는 다채널 오디오 신호에서 서라운드 성분(66 및 68)을 나타내고,
Figure 112004056557129-pat00005
는 공간정보(Hj)를 나타낸다.
도 6은 도 3에 도시된 다운 믹싱부(30)의 본 발명에 의한 실시예(30A)의 블럭도로서, 제1 및 제2 승산부들(70 및 72) 및 합성부(74)로 구성된다.
도 6을 참조하면, 다운 믹싱부(30A)의 제1 승산부(70)는 입력단자 IN3을 통해 입력한 가중치와 입력단자 IN4를 통해 입력한 다채널 오디오 신호에 포함된 비 서라운드 성분을 승산하고, 승산된 결과를 합성부(74)로 출력한다. 이 때, 제2 승산부(72)는 입력단자 IN4를 통해 입력한 다채널 오디오 신호에 포함된 서라운드 성분과 공간 정보를 승산하고, 승산된 결과를 합성부(74)로 출력한다. 합성부(74)는 제1 및 제2 승산부들(70 및 72)에서 승산된 결과들을 합성하고, 합성된 결과를 스테레오 신호로서 출력단자 OUT3을 통해 출력한다.
한편, 제50 단계후에, 부 부호화부(32)는 다운 믹싱부(30)로부터 입력한 스테레오 신호를 부호화하고, 부호화된 스테레오 신호를 비트 패킹부(38)로 출력한다(제52 단계). 예를 들어, MP3[또는, 엠펙(MPEG)-1 layer3 또는 MPEG-2 layer3 라고도 함], MPEG4-AAC(Advanced Audio Coding), MPEG4-BSAC(BSAC:Bit Sliced Arithmetic Coding) 형식으로, 부 부호화부(32)는 스테레오 신호를 부호화할 수 있다.
제52 단계후에, 부가 정보 생성부(34)는 다운 믹싱부(30)로부터 입력한 스테레오 신호 또는 입력단자 IN2를 통해 입력한 다채널 오디오 신호를 이용하면서, 비트 패킹부(38)로부터 입력한 부호화 신호로부터 부가 정보를 생성하고, 생성된 부가 정보를 부가 정보 부호화부(36)로 출력한다(제54 단계). 여기서, 부가 정보 생성부(34)의 실시예들 및 그의 부가 정보 생성에 대해서는 상세하게 후술된다.
제54 단계후에, 부가 정보 부호화부(36)는 부가 정보 생성부(34)에서 생성된 부가 정보를 부호화하고, 부호화된 부가 정보를 비트 패킹부(38)로 출력한다(제56 단계). 이를 위해, 부가 정보 부호화부(36)는 부가 정보 생성부(34)에서 생성된 부가 정보를 양자화하고, 양자화된 결과를 압축하며, 압축된 결과를 부호화된 부가 정보로서 비트 패킹부(38)로 출력할 수 있다.
본 발명에 의하면, 도 4에 도시된 바와 달리, 제54 및 제56 단계들이 수행되는 동안에 제52 단계가 동시에 수행될 수도 있고, 제54 및 제56 단계들이 수행된 후에 제52 단계가 수행될 수도 있다.
비트 패킹부(38)는 부가 정보 부호화부(36)에서 부호화된 부가 정보와 부 부호화부(32)에서 부호화된 스테레오 신호를 비트 패킹하고, 비트 패킹한 결과를 부호화 신호로서 주 복호화부(12)로 출력단자 OUT2를 통해 전송하는 한편 부가 정보 생성부(34)로 출력한다(제58 단계). 예컨대, 비트 패킹부(38)는 부호화된 부가 정보와 부호화된 스테레오 신호를 저장한 후, 저장된 부호화된 부가 정보를 출력한 후 부호화된 스테레오 신호를 출력하는 순차적인 동작을 반복적으로 수행한다. 즉, 비트 패킹부(38)는 부호화된 부가 정보와 부호화된 스테레오 신호를 멀티플렉싱 (multiplexing)하고, 멀티플렉싱된 결과를 부호화 신호로서 출력한다.
도 7은 도 1에 도시된 주 복호화부(12)의 본 발명에 의한 실시예(12A)의 블럭도로서, 비트 언 패킹(bit unpacking)부(90), 부 복호화(sub decoding)부(92), 부가 정보 복호화부(94) 및 업 믹싱부(96)로 구성된다.
도 8은 도 2에 도시된 제22 단계에 대한 본 발명에 의한 실시예(22A)를 설명하기 위한 플로우차트로서, 부호화 신호를 비트 언 패킹하는 단계(제110 단계) 및 스테레오 신호와 부가 정보를 복호화하여 업 믹싱하는 단계(제112 및 제114 단계들)로 이루어진다.
도 7에 도시된 비트 언 패킹부(90)는 주 부호화부(10)로부터 전송된 비트 스트림 형태의 부호화 신호를 입력단자 IN5를 통해 입력하여 수신하고, 수신된 부호화 신호를 비트 언 패킹하며, 비트 언 패킹된 부가 정보를 부가 정보 복호화부(94)로 출력하고, 비트 언 패킹된 스테레오 신호를 부 복호화부(92)로 출력한다(제110 단계). 즉, 비트 언 패킹부(90)는 도 3에 도시된 비트 패킹부(38)에서 비트 패킹된 결과를 비트 언 패킹하는 역할을 한다.
제110 단계후에, 부 복호화부(92)는 비트 언 패킹된 스테레오 신호를 복호화하고 복호화된 결과를 업 믹싱부(96)로 출력하며, 부가 정보 복호화부(94)는 비트 언 패킹된 부가 정보를 복호화하고, 복호화된 결과를 업 믹싱부(96)로 출력한다(제112 단계). 전술한 바와 같이, 부가 정보 부호화부(36)가 부가 정보를 양자화하고 양자화된 결과를 압축한다고 할 때, 부가 정보 복호화부(94)는 부가 정보를 복원하고, 복원된 결과를 역 양자화하며, 역 양자화된 결과를 복호화된 부가 정보로서 업 믹싱부(96)로 출력한다.
제112 단계후에, 업 믹싱부(96)는 부가 정보 복호화부(94)에서 복호화된 부가 정보를 이용하여 부 복호화부(92)에서 복호화된 스테레오 신호를 업 믹싱하고, 업 믹싱된 결과를 복원된 다채널 오디오 신호로서 출력단자 OUT4를 통해 출력한다(제114 단계).
도 9는 도 7에 도시된 업 믹싱부(96)의 본 발명에 의한 실시예(96A)의 블럭도로서, 제3 및 제4 승산부들(130 및 134), 비 서라운드 성분 복원부(132) 및 연산부(136)로 구성된다.
도 9에 도시된 제3 승산부(130)는 입력단자 IN6을 통해 부 복호화부(92)로부터 입력한 복호화된 스테레오 신호와 역 공간 정보(G)를 승산하고, 승산된 결과를 연산부(136)로 출력한다. 여기서, 역 공간 정보(G)란, 다음 수학식 3과 같이 공간 정보(H)의 역에 해당하며, 주 복호화부(12)에서 복원되는 다채널 오디오 신호를 재생하는 환경에 상응하여 변경될 수도 있고 사전에 미리 결정될 수도 있다.
Figure 112004056557129-pat00006
비 서라운드 성분 복원부(132)는 입력단자 IN6을 통해 부 복호화부(92)로부터 입력한 복호화된 스테레오 신호로부터 비 서라운드 성분을 생성하고, 생성된 비 서라운드 성분을 제4 승산부(134)로 출력한다. 예를 들어, 도 3에 도시된 다운 믹싱부(30)가 전술한 수학식 2와 같이 다채널 오디오 신호를 다운 믹싱할 경우, 서라 운드 성분 복원부(132)는 다음 수학식 4와 같이 비 서라운드 성분을 생성할 수 있다.
Figure 112004056557129-pat00007
여기서, L'는 비 서라운드 성분 복원부(132)에서 생성된 비 서라운드 성분중 왼쪽 (채널) 성분을 나타내고, R'는 비 서라운드 성분 복원부(132)에서 생성된 비 서라운드 성분중 오른쪽 (채널) 성분을 나타내고, C'는 비 서라운드 성분 복원부(132)에서 생성된 비 서라운드 성분중 중앙 (채널) 성분을 나타내고, Lm'는 도 7에 도시된 부 복호화부(92)에서 복호화된 스테레오 신호의 왼쪽 (채널) 성분을 나타내고, Rm'는 부 복호화부(92)에서 복호화된 스테레오 신호의 오른쪽 (채널) 성분을 각각 나타낸다.
제4 승산부(134)는 비 서라운드 성분 복원부(132)로부터 입력한 비 서라운드 성분, 역 공간 정보(G) 및 가중치(W)를 승산하고, 승산된 결과를 연산부(136)로 출력한다. 여기서, 도 9에 도시된 업 믹싱부(96A)는 비 서라운드 성분 복원부(132)를 마련하지 않을 수도 있다. 이 경우, 복호화된 스테레오 신호에서 서라운드 성분 이외의 비 서라운드 성분은 외부로부터 업 믹싱부(96A)의 제4 승산부(134)로 입력단 자 IN7을 통해 직접 입력된다.
연산부(136)는 제3 및 제4 승산부들(130 및 134)에서 승산된 결과들과 입력단자 IN8을 통해 부가 정보 복호화부(94)로부터 입력한 복호화된 부가 정보를 이용하여 다채널 오디오 신호를 복원하고, 복원된 다채널 오디오 신호를 출력단자 OUT4를 통해 출력한다.
도 10은 도 3에 도시된 부가 정보 생성부(34)의 본 발명에 의한 일 실시예(34A)의 블럭도로서, 서라운드 성분 복원부(150) 및 비율 생성부(152)로 구성된다.
서라운드 성분 복원부(150)는 입력단자 IN9를 통해 비트 패킹부(38)로부터 입력한 부호화 신호로부터 서라운드 성분을 복원하고, 복원된 서라운드 성분을 비율 생성부(152)로 출력한다.
이를 위해, 서라운드 성분 복원부(150)는 도 10에 도시된 바와 같이, 예를 들면, 비트 언 패킹부(160), 부 복호화부(162), 부가 정보 복호화부(164) 및 업 믹싱부(166)로 구현될 수 있다. 여기서, 비트 언 패킹부(160), 부 복호화부(162), 부가 정보 복호화부(164) 및 업 믹싱부(166)는 도 7에 도시된 비트 언 패킹부(90), 부 복호화부(92), 부가 정보 복호화부(94) 및 업 믹싱부(96) 각각과 동일한 기능을 수행하므로 이들에 대한 상세한 설명은 생략한다.
본 발명의 일 실시예에 의하면, 비율 생성부(152)는 서라운드 성분 복원부(150)로부터 출력되는 복원된 서라운드 성분과 입력단자 IN10을 통해 입력한 다채널 오디오 신호간의 비율을 생성하고, 생성된 비율을 부가 정보로서 출력단자 OUT5를 통해 부가 정보 복호화부(36)로 출력한다. 예를 들어, 도 3에 도시된 다운 믹싱 부(30)가 전술한 수학식 2와 같이 다운 믹싱할 경우, 비율 생성부(152)는 다음 수학식 5와 같이 부가 정보를 생성할 수 있다.
Figure 112004056557129-pat00008
여기서, SI는 비율 생성부(152)에서 생성되는 부가 정보를 나타내고, LS'는 서라운드 성분 복원부(150)에서 복원된 예를 들면 업 믹싱부(166)로부터 출력되는 복원된 다채널 오디오 신호에 포함되는 서라운드 성분중 왼쪽 성분을 의미하고, RS'는 업 믹싱부(166)로부터 출력되는 복원된 다채널 오디오 신호에 포함되는 서라운드 성분중 오른쪽 성분을 각각 의미한다.
본 발명에 의하면, 비율 생성부(152)에서 전술한 수학식 5와 같이 생성된 부가 정보의 비율은 전력비가 될 수도 있고, 전력비와 위상비가 될 수도 있다. 예컨대, 비율 생성부(152)는 부가 정보를 다음 수학식 6과 같이 생성할 수도 있고, 다음 수학식 7과 같이 생성할 수도 있다.
Figure 112004056557129-pat00009
여기서, ｜LS'｜은 LS'의 전력을 나타내고, ｜LS｜은 LS의 전력을 나타내고, ｜RS'｜은 RS'의 전력을 나타내고, ｜RS｜은 RS의 전력을 각각 나타낸다.
Figure 112004056557129-pat00010
여기서, ∠LS'는 LS'의 위상을 나타내고, ∠LS는 LS의 위상을 나타내고, ∠RS'는 RS'의 위상을 나타내고, ∠RS는 RS의 위상을 각각 나타낸다.
본 발명의 다른 실시예에 의하면, 비율 생성부(152)는 서라운드 성분 복원부(150)로부터 출력되는 복원된 서라운드 성분과 입력단자 IN10을 통해 다운 믹싱부(30)로부터 입력한 스테레오 신호간의 비율을 생성하고, 생성된 비율을 부가 정보로서 출력단자 OUT5를 통해 부가 정보 복호화부(36)로 출력한다. 예를 들어, 도 3에 도시된 다운 믹싱부(30)가 전술한 수학식 2와 같이 다운 믹싱할 경우, 비율 생성부(152)는 다음 수학식 8과 같이 부가 정보를 생성할 수 있다.
Figure 112004056557129-pat00011
본 발명에 의하면, 비율 생성부(152)에서 전술한 수학식 8와 같이 생성된 부가 정보의 비율은 전력비가 될 수도 있고, 전력비와 위상비가 될 수도 있다. 예컨대, 비율 생성부(152)는 부가 정보를 다음 수학식 9과 같이 생성할 수도 있고, 다음 수학식 10과 같이 생성할 수도 있다.
Figure 112004056557129-pat00012
여기서, ｜Lm｜은 Lm의 전력을 나타내고, ｜Rm｜은 Rm의 전력을 각각 나타낸다.
Figure 112004056557129-pat00013
여기서, ∠Lm는 Lm의 위상을 나타내고, ∠Rm는 Rm의 위상을 각각 나타낸다.
전술한 바와 같이, 도 10에 도시된 비율 생성부(152)가 복원된 서라운드 성분과 다채널 오디오 신호간의 비율에 의해 부가 정보를 생성할 경우, 도 9에 도시된 연산부(136)의 구성 및 동작을 다음과 같이 설명한다.
도 11은 도 9에 도시된 연산부(136)의 본 발명에 의한 일 실시예(136A)의 블럭도로서, 제1 감산부(170) 및 제5 승산부(172)로 구성된다.
도 11에 도시된 제1 감산부(170)는 입력단자 IN11을 통해 입력한 도 9에 도시된 제3 승산부(130)에서 승산된 결과로부터 입력단자 IN12를 통해 입력한 제4 승산부(134)에서 승산된 결과를 감산하고, 감산된 결과를 제5 승산부(172)로 출력한다. 이 때, 제5 승산부(172)는 제1 감산부(170)로부터 입력한 감산된 결과와 입력단자 IN13을 통해 입력한 부가 정보 복호화부(94)에서 복호화된 부가 정보를 승산 하고, 승산된 결과를 복원된 다채널 오디오 신호로서 출력단자 OUT6을 통해 출력한다.
예를 들어, 도 3에 도시된 다운 믹싱부(30)가 전술한 수학식 2와 같이 다채널 오디오 신호를 다운 믹싱할 경우, 제5 승산부(172)에서 출력되는 복원된 다채널 오디오 신호의 서라운드 성분은 다음 수학식 11과 같다.
Figure 112004056557129-pat00014
여기서,
Figure 112004056557129-pat00015
는 제5 승산부(172)로부터 출력되는 복원된 다채널 오디오 신호의 서라운드 성분을 나타내고, SI'는 복호화된 부가 정보를 나타내고,
Figure 112004056557129-pat00016
는 제1 감산부(170)로부터 출력되는 감산된 결과로서 다음 수학식 12와 같다.
Figure 112004056557129-pat00017
여기서,
Figure 112004056557129-pat00018
는 부 복호화부(92)로부터 입력단자 IN6을 통해 제3 승산부(130)로 입력되는 복호화된 스테레오 신호를 나타낸다.
한편, 도 10에 도시된 비율 생성부(152)가 복원된 서라운드 성분과 다운 믹싱부(30)로부터 입력한 스테레오 신호간의 비율에 의해 부가정보를 생성할 경우, 도 9에 도시된 연산부(136)의 구성 및 동작을 다음과 같이 설명한다.
도 12는 도 9에 도시된 연산부(136)의 본 발명에 의한 다른 실시예(136B)의 블럭도로서, 제6 승산부(190) 및 제2 감산부(192)로 구성된다.
제6 승산부(190)는 입력단자 IN14를 통해 입력한 제3 승산부(130)에서 승산된 결과와 입력단자 IN15를 통해 입력한 부가 정보 복호화부(94)에서 복호화된 부가 정보를 승산하고, 승산된 결과를 제2 감산부(192)로 출력한다. 제2 감산부(192)는 제6 승산부(190)에서 승산된 결과로부터 입력단자 IN16을 통해 입력한 제4 승산부(134)에서 승산된 결과를 감산하고, 감산된 결과를 복원된 다채널 오디오 신호로서 출력단자 OUT7을 통해 출력한다.
예를 들어, 도 3에 도시된 다운 믹싱부(30)가 전술한 수학식 2와 같이 다채널 오디오 신호를 다운 믹싱할 경우, 제2 감산부(192)에서 출력되는 감산된 결과인 복원된 다채널 오디오 신호의 서라운드 성분은 다음 수학식 13과 같다.
Figure 112004056557129-pat00019
여기서,
Figure 112004056557129-pat00020
는 제2 감산부(192)로부터 출력되는 복원된 다채널 오디오 신호의 서라운드 성분을 나타내고,
Figure 112004056557129-pat00021
은 제6 승산부(190)에서 승산된 결과를 나타내고,
Figure 112004056557129-pat00022
는 제4 승산부(134)에서 승산된 결과를 나타내며,
Figure 112004056557129-pat00023
는 전술한 수학식 12와 같다.
전술한 본 발명에 의한 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법은 복원된 스테레오 신호를 이용하여 비 서라운드 성분을 먼저 복원한 후에, 복원된 비 서라운드 성분을 이용하여 서라운드 성분을 복원한다. 그러므로, 다채널 오디오 신호를 복원할 때 서라운드 성분과 비 서라운드 성분을 함께 복원할 때 야기될 수 있는 혼선(cross talk)이 제거될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 공간 정보를 이용한 다채널 오 디오 신호 처리 장치 및 방법은 다운 믹싱된 스테레오 신호에 공간 정보를 포함시키며 게다가 사용자의 지각적 특성에 기반하여 부가 정보를 생성하므로 예를 들면, 전력비와 위상비를 이용하여 부가 정보를 생성하므로 적은 량의 부가 정보만으로도 업 믹싱할 수 있고 주 부호화부(10)로부터 주 복호화부(12)로 전송할 부가 정보의 데이타량을 줄여, 채널의 압축 효율 즉, 전송 효율을 극대화시킬 수 있고, 종래의 SAC와 달리 서라운드 성분을 없애지 않고 스테레오 신호에 포함시키므로 복원된 다채널 오디오 신호를 통해 스테레오 스피커만으로 다채널의 효과를 느낄 수 있도록 하는 등 실감나는 음질을 제공할 수 있고, 종래의 BCC를 대체할 수 있으며, 다채널 오디오 시스템에서 스피커의 위치를 고려하여 효율적으로 표현된 역 공간 정보를 이용하여 오디오 신호를 복호화하므로 최적의 음질을 제공할 수 있고, 크로스톡(crosstalk)을 제거할 수 있는 잇점을 갖는다.

Claims (16)

  1. 다채널 오디오 신호에 포함된 비서라운드 성분과 서라운드 성분 중 상기 서라운드 성분에 공간 정보를 적용하고 상기 다채널 오디오 신호를 다운 믹싱하여 스테레오 신호를 생성하고, 상기 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 상기 스테레오 신호와 상기 부가 정보를 부호화하여 부호화 신호로서 전송하는 주 부호화부; 및
    상기 부호화 신호를 수신하여 상기 스테레오 신호와 상기 부가 정보를 복호화하고, 상기 복호화된 부가 정보를 이용하고 상기 복호화된 스테레오 신호를 업 믹싱하여 상기 다채널 오디오 신호를 복원하는 주 복호화부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  2. 제1 항에 있어서, 상기 주 부호화부는
    상기 다채널 오디오 신호의 상기 서라운드 성분에 상기 공간 정보를 적용하여 상기 다채널 오디오 신호를 다운 믹싱하고, 다운 믹싱된 결과를 상기 스테레오 신호로서 출력하는 다운 믹싱부;
    상기 스테레오 신호를 부호화하는 부 부호화부;
    상기 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 상기 부호화 신호로부터 상기 부가 정보를 생성하는 부가 정보 생성부;
    상기 부가 정보를 부호화하는 부가 정보 부호화부; 및
    상기 부호화된 부가 정보와 상기 부호화된 스테레오 신호를 비트 패킹하고, 비트 패킹한 결과를 상기 부호화 신호로서 상기 주 복호화부로 전송하는 비트 패킹부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  3. 제2 항에 있어서, 상기 다운 믹싱부는
    상기 다채널 오디오 신호에서 상기 서라운드 성분 이외의 비 서라운드 성분과 가중치를 승산하는 제1 승산부;
    상기 서라운드 성분과 상기 공간 정보를 승산하는 제2 승산부; 및
    상기 제1 및 상기 제2 승산부들에서 승산된 결과들을 합성하고, 상기 합성된 결과를 상기 스테레오 신호로서 출력하는 합성부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  4. 제2 항에 있어서, 상기 주 복호화부는
    상기 부호화 신호를 수신하여 비트 언 패킹하고, 비트 언 패킹된 부가 정보와 비트 언 패킹된 스테레오 신호를 출력하는 비트 언 패킹부;
    상기 비트 언 패킹된 스테레오 신호를 복호화하는 부 복호화부;
    상기 비트 언 패킹된 부가 정보를 복호화하는 부가 정보 복호화부; 및
    상기 복호화된 부가 정보와 상기 복호화된 스테레오 신호를 업 믹싱하고, 업 믹싱된 결과를 상기 복원된 다채널 오디오 신호로서 출력하는 업 믹싱부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  5. 제4 항에 있어서, 상기 업 믹싱부는
    상기 복호화된 스테레오 신호와 역 공간 정보를 승산하는 제3 승산부;
    상기 복호화된 스테레오 신호에서 상기 서라운드 성분 이외의 비 서라운드 성분, 상기 역 공간 정보 및 상기 가중치를 승산하는 제4 승산부; 및
    상기 제3 및 상기 제4 승산부들에서 승산된 결과들과 상기 복호화된 부가 정보를 이용하여 상기 다채널 오디오 신호를 복원하는 연산부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  6. 제5 항에 있어서, 상기 부가 정보 생성부는
    상기 부호화 신호로부터 상기 서라운드 성분을 복원하는 서라운드 성분 복원부; 및
    상기 복원된 서라운드 성분과 상기 다채널 오디오 신호간의 비율을 생성하고, 생성된 비율을 상기 부가 정보로서 출력하는 비율 생성부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  7. 제6 항에 있어서, 상기 연산부는
    상기 제3 승산부에서 승산된 결과로부터 상기 제4 승산부에서 승산된 결과를 감산하는 제1 감산부; 및
    상기 제1 감산부로부터 입력한 상기 감산된 결과와 상기 부가 정보를 승산하고, 승산된 결과를 상기 복원된 다채널 오디오 신호로서 출력하는 제5 승산부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  8. 제5 항에 있어서, 상기 부가 정보 생성부는
    상기 부호화 신호로부터 상기 서라운드 성분을 복원하는 서라운드 성분 복원부; 및
    상기 복원된 서라운드 성분과 상기 스테레오 신호간의 비율을 생성하고, 생성된 비율을 상기 부가 정보로서 출력하는 비율 생성부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  9. 제8 항에 있어서, 상기 연산부는
    상기 제3 승산부에서 승산된 결과와 상기 부가 정보를 승산하는 제6 승산부; 및
    상기 제6 승산부에서 승산된 결과로부터 상기 제4 승산부에서 승산된 결과를 감산하고, 감산된 결과를 상기 복원된 다채널 오디오 신호로서 출력하는 제2 감산부를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  10. 제6 항 또는 제8 항에 있어서, 상기 비율 생성부에서 생성된 비율은 전력비를 포함하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  11. 제10 항에 있어서, 상기 비율 생성부에서 생성된 비율은 위상비를 더 포함하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  12. 제5 항에 있어서, 상기 업 믹싱부는
    상기 복호화된 스테레오 신호로부터 상기 비 서라운드 성분을 생성하는 비 서라운드 성분 복원부를 더 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 장치.
  13. 제5 항에 있어서, 상기 역 공간 정보는 상기 복원된 다채널 오디오 신호를 재생하는 환경에 상응하여 변경되는 것을 특징으로 하는 다채널 오디오 신호 처리 장치.
  14. 다채널 오디오 신호를 부호화하는 주 부호화부 및 상기 부호화된 다채널 오디오 신호로부터 상기 다채널 오디오 신호를 복원하는 주 복호화부를 갖는 오디오 신호 처리 장치에서 수행되는 오디오 신호 처리 방법에 있어서,
    (a) 다채널 오디오 신호에 포함된 비서라운드 성분과 서라운드 성분 중 상기 서라운드 성분에 공간 정보를 적용하여 상기 다채널 오디오 신호를 다운 믹싱하고, 상기 다운 믹싱된 결과인 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 부가 정보를 생성하며, 상기 스테레오 신호와 상기 부가 정보를 부호화하여 부호화 신호로서 상기 주 복호화부로 전송하는 단계; 및
    (b) 상기 주 부호화부로부터 전송된 상기 부호화 신호를 수신하여 상기 스테레오 신호와 상기 부가 정보를 복호화하고, 상기 복호화된 부가 정보와 상기 복호화된 스테레오 신호를 업 믹싱하여 상기 다채널 오디오 신호를 복원하는 단계를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 방법.
  15. 제14 항에 있어서, 상기 (a) 단계는
    상기 다채널 오디오 신호의 상기 서라운드 성분에 상기 공간 정보를 적용하 여 상기 다채널 오디오 신호를 다운 믹싱하고, 다운 믹싱된 결과를 상기 스테레오 신호로서 결정하는 단계;
    상기 스테레오 신호를 부호화하는 단계;
    상기 스테레오 신호 또는 상기 다채널 오디오 신호를 이용하여 상기 부호화 신호로부터 상기 부가 정보를 생성하는 단계;
    상기 부가 정보를 부호화하는 단계; 및
    상기 부호화된 부가 정보와 상기 부호화된 스테레오 신호를 비트 패킹하고, 비트 패킹한 결과를 상기 부호화 신호로서 전송하는 단계를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 방법.
  16. 제15 항에 있어서, 상기 (b) 단계는
    상기 부호화 신호를 수신하여 비트 언 패킹하여, 비트 언 패킹된 부가 정보와 비트 언 패킹된 스테레오 신호를 구하는 단계;
    상기 비트 언 패킹된 스테레오 신호를 복호화하고, 상기 비트 언 패킹된 부가 정보를 복호화하는 단계; 및
    상기 복호화된 부가 정보를 이용하여 상기 복호화된 스테레오 신호를 업 믹싱하고, 업 믹싱된 결과를 상기 복원된 다채널 오디오 신호로서 결정하는 단계를 구비하는 것을 특징으로 하는 공간 정보를 이용한 다채널 오디오 신호 처리 방법.
KR1020040099741A 2004-12-01 2004-12-01 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 Expired - Fee Related KR100682904B1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
KR1020040099741A KR100682904B1 (ko) 2004-12-01 2004-12-01 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US11/210,908 US7961889B2 (en) 2004-12-01 2005-08-25 Apparatus and method for processing multi-channel audio signal using space information
CN201210014602.3A CN102568487B (zh) 2004-12-01 2005-11-22 通过使用空间信息来处理多声道音频信号的设备和方法
CN201210008276.5A CN102568486B (zh) 2004-12-01 2005-11-22 通过使用空间信息来处理多声道音频信号的设备和方法
CN2005101239025A CN1783728B (zh) 2004-12-01 2005-11-22 通过使用空间信息来处理多声道音频信号的方法
EP05257268A EP1667111A1 (en) 2004-12-01 2005-11-25 Apparatus and method for processing multi-channel audio signal using space information
EP15163384.9A EP2911151A1 (en) 2004-12-01 2005-11-25 Apparatus and method for processing multi-channel audio signal using space information
JP2005348003A JP4921781B2 (ja) 2004-12-01 2005-12-01 多チャンネルオーディオ信号処理方法
US13/113,826 US8824690B2 (en) 2004-12-01 2011-05-23 Apparatus and method for processing multi-channel audio signal using space information
JP2011262993A JP5643180B2 (ja) 2004-12-01 2011-11-30 多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システム
JP2013167924A JP6039516B2 (ja) 2004-12-01 2013-08-12 多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システム
US14/474,222 US9232334B2 (en) 2004-12-01 2014-09-01 Apparatus and method for processing multi-channel audio signal using space information
US14/965,994 US9552820B2 (en) 2004-12-01 2015-12-11 Apparatus and method for processing multi-channel audio signal using space information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040099741A KR100682904B1 (ko) 2004-12-01 2004-12-01 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060060927A KR20060060927A (ko) 2006-06-07
KR100682904B1 true KR100682904B1 (ko) 2007-02-15

Family

ID=35788801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040099741A Expired - Fee Related KR100682904B1 (ko) 2004-12-01 2004-12-01 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법

Country Status (5)

Country Link
US (4) US7961889B2 (ko)
EP (2) EP1667111A1 (ko)
JP (3) JP4921781B2 (ko)
KR (1) KR100682904B1 (ko)
CN (3) CN102568487B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971700B1 (ko) 2007-11-07 2010-07-22 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1899958B1 (en) * 2005-05-26 2013-08-07 LG Electronics Inc. Method and apparatus for decoding an audio signal
KR101162218B1 (ko) * 2005-07-29 2012-07-04 엘지전자 주식회사 인코딩된 오디오 신호 생성 및 처리 방법
CN101233568B (zh) * 2005-07-29 2010-10-27 Lg电子株式会社 生成经编码的音频信号的方法以及处理音频信号的方法
EP1922721A4 (en) * 2005-08-30 2011-04-13 Lg Electronics Inc AUDIO SIGNAL DECODING METHOD
JP2009508176A (ja) 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
CN101356573B (zh) * 2006-01-09 2012-01-25 诺基亚公司 对双耳音频信号的解码的控制
JP4787331B2 (ja) * 2006-01-19 2011-10-05 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
KR20080094775A (ko) * 2006-02-07 2008-10-24 엘지전자 주식회사 부호화/복호화 장치 및 방법
BRPI0707969B1 (pt) 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
MX2008012246A (es) 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
CN101479785B (zh) * 2006-09-29 2013-08-07 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
WO2008044901A1 (en) 2006-10-12 2008-04-17 Lg Electronics Inc., Apparatus for processing a mix signal and method thereof
JP5023662B2 (ja) 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
CN101536086B (zh) 2006-11-15 2012-08-08 Lg电子株式会社 用于解码音频信号的方法和装置
CN101632117A (zh) 2006-12-07 2010-01-20 Lg电子株式会社 用于解码音频信号的方法和装置
JP5270566B2 (ja) 2006-12-07 2013-08-21 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595148A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for coding multi-object audio signals
BRPI0806346B1 (pt) * 2007-01-10 2020-09-29 Koninklijke Philips N.V. Decodificador de áudio, método para decodificar sinais de áudio, receptor para receber sinais de áudio, sistema de comunicação para comunicar sinais de áudio, métodos para receber sinais de áudio e para transmitir e receber sinais de áudio, e dispositivo de reprodução de áudio
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR101049144B1 (ko) 2007-06-08 2011-07-18 엘지전자 주식회사 오디오 신호 처리방법 및 장치
BRPI0806228A8 (pt) * 2007-10-16 2016-11-29 Panasonic Ip Man Co Ltd Dispositivo de sintetização de fluxo, unidade de decodificação e método
EP2076900A1 (en) * 2007-10-17 2009-07-08 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Audio coding using upmix
US20100228554A1 (en) * 2007-10-22 2010-09-09 Electronics And Telecommunications Research Institute Multi-object audio encoding and decoding method and apparatus thereof
KR101505831B1 (ko) * 2007-10-30 2015-03-26 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치
EP2212883B1 (en) * 2007-11-27 2012-06-06 Nokia Corporation An encoder
KR101227932B1 (ko) * 2011-01-14 2013-01-30 전자부품연구원 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
WO2012169808A2 (ko) * 2011-06-07 2012-12-13 삼성전자 주식회사 오디오 신호 처리방법, 오디오 부호화장치, 오디오 복호화장치, 및 이를 채용하는 단말기
KR20130093798A (ko) * 2012-01-02 2013-08-23 한국전자통신연구원 다채널 신호 부호화 및 복호화 장치 및 방법
EP2803066A1 (en) * 2012-01-11 2014-11-19 Dolby Laboratories Licensing Corporation Simultaneous broadcaster -mixed and receiver -mixed supplementary audio services
KR102429953B1 (ko) 2012-07-19 2022-08-08 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스
EP2717261A1 (en) 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
CN105556597B (zh) * 2013-09-12 2019-10-29 杜比国际公司 多声道音频内容的编码和解码
CN103700372B (zh) * 2013-12-30 2016-10-05 北京大学 一种基于正交解相关技术的参数立体声编码、解码方法
CN107077861B (zh) * 2014-10-01 2020-12-18 杜比国际公司 音频编码器和解码器
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
CN105405445B (zh) * 2015-12-10 2019-03-22 北京大学 一种基于声道间传递函数的参数立体声编码、解码方法
EP3182406B1 (en) * 2015-12-16 2020-04-01 Harman Becker Automotive Systems GmbH Sound reproduction with active noise control in a helmet
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
WO2022164229A1 (ko) * 2021-01-27 2022-08-04 삼성전자 주식회사 오디오 처리 장치 및 방법
EP4243015A4 (en) 2021-01-27 2024-04-17 Samsung Electronics Co., Ltd. Audio processing device and method
WO2025080016A1 (ko) * 2023-10-11 2025-04-17 삼성전자 주식회사 전자 장치 및 전자 장치에서 오디오 데이터 출력 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631458A1 (en) 1993-06-22 1994-12-28 Deutsche Thomson-Brandt Gmbh Method for obtaining a multi-channel decoder matrix
KR20010113782A (ko) * 1999-04-07 2001-12-28 쥬더, 에드 에이. 무손실 부호화 및 복호화에 대한 개선된 매트릭스
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
WO2003090208A1 (en) 2002-04-22 2003-10-30 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
US20030236583A1 (en) 2002-06-24 2003-12-25 Frank Baumgarte Hybrid multi-channel/cue coding/decoding of audio signals

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4799260A (en) 1985-03-07 1989-01-17 Dolby Laboratories Licensing Corporation Variable matrix decoder
US5046098A (en) * 1985-03-07 1991-09-03 Dolby Laboratories Licensing Corporation Variable matrix decoder with three output channels
JPH0479599A (ja) * 1990-07-19 1992-03-12 Victor Co Of Japan Ltd 定位可変音響信号記録再生装置
JPH04137900A (ja) * 1990-09-27 1992-05-12 Pioneer Electron Corp 信号処理装置及び音響再生装置
US5291557A (en) 1992-10-13 1994-03-01 Dolby Laboratories Licensing Corporation Adaptive rematrixing of matrixed audio signals
US5771295A (en) 1995-12-26 1998-06-23 Rocktron Corporation 5-2-5 matrix system
US5970152A (en) 1996-04-30 1999-10-19 Srs Labs, Inc. Audio enhancement system for use in a surround sound environment
US6697491B1 (en) 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
KR100206333B1 (ko) 1996-10-08 1999-07-01 윤종용 두개의 스피커를 이용한 멀티채널 오디오 재생장치및 방법
JP4627880B2 (ja) * 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
US6463414B1 (en) * 1999-04-12 2002-10-08 Conexant Systems, Inc. Conference bridge processing of speech in a packet network environment
FI113147B (fi) * 2000-09-29 2004-02-27 Nokia Corp Menetelmä ja signaalinkäsittelylaite stereosignaalien muuntamiseksi kuulokekuuntelua varten
JP2002291100A (ja) * 2001-03-27 2002-10-04 Victor Co Of Japan Ltd オーディオ信号再生方法、及びパッケージメディア
US6996239B2 (en) * 2001-05-03 2006-02-07 Harman International Industries, Inc. System for transitioning from stereo to simulated surround sound
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US6990210B2 (en) * 2001-11-28 2006-01-24 C-Media Electronics, Inc. System for headphone-like rear channel speaker and the method of the same
EP1500083B1 (en) * 2002-04-22 2006-06-28 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
US7450727B2 (en) * 2002-05-03 2008-11-11 Harman International Industries, Incorporated Multichannel downmixing device
BR0305555A (pt) 2002-07-16 2004-09-28 Koninkl Philips Electronics Nv Método e codificador para codificar um sinal de áudio, aparelho para fornecimento de um sinal de áudio, sinal de áudio codificado, meio de armazenamento, e, método e decodificador para decodificar um sinal de áudio codificado
CN100349207C (zh) * 2003-01-14 2007-11-14 北京阜国数字技术有限公司 高频耦合的伪小波5声道音频编/解码方法
KR101049751B1 (ko) * 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
DE602005016931D1 (de) * 2004-07-14 2009-11-12 Dolby Sweden Ab Tonkanalkonvertierung
JP5106115B2 (ja) * 2004-11-30 2012-12-26 アギア システムズ インコーポレーテッド オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631458A1 (en) 1993-06-22 1994-12-28 Deutsche Thomson-Brandt Gmbh Method for obtaining a multi-channel decoder matrix
KR20010113782A (ko) * 1999-04-07 2001-12-28 쥬더, 에드 에이. 무손실 부호화 및 복호화에 대한 개선된 매트릭스
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
WO2003090208A1 (en) 2002-04-22 2003-10-30 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
US20030236583A1 (en) 2002-06-24 2003-12-25 Frank Baumgarte Hybrid multi-channel/cue coding/decoding of audio signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971700B1 (ko) 2007-11-07 2010-07-22 한국전자통신연구원 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치

Also Published As

Publication number Publication date
US8824690B2 (en) 2014-09-02
US20060116886A1 (en) 2006-06-01
US20160099002A1 (en) 2016-04-07
CN102568487B (zh) 2014-09-17
US20150131799A1 (en) 2015-05-14
US7961889B2 (en) 2011-06-14
CN102568486B (zh) 2016-01-13
CN1783728A (zh) 2006-06-07
EP2911151A1 (en) 2015-08-26
JP2012070428A (ja) 2012-04-05
US9552820B2 (en) 2017-01-24
CN1783728B (zh) 2012-03-21
CN102568486A (zh) 2012-07-11
JP6039516B2 (ja) 2016-12-07
JP2013251919A (ja) 2013-12-12
KR20060060927A (ko) 2006-06-07
US9232334B2 (en) 2016-01-05
EP1667111A1 (en) 2006-06-07
CN102568487A (zh) 2012-07-11
JP4921781B2 (ja) 2012-04-25
JP2006166447A (ja) 2006-06-22
JP5643180B2 (ja) 2014-12-17
US20110224993A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
KR100682904B1 (ko) 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US20230345176A1 (en) Audio decoder for audio channel reconstruction
EP2301016B1 (en) Efficient use of phase information in audio encoding and decoding
KR102168140B1 (ko) 예측 모드 또는 비예측 모드에서 동작 가능한 오디오 업믹서
KR101158698B1 (ko) 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더
KR101103987B1 (ko) 멀티채널 다운믹스된 객체 코딩의 개선된 코딩 및 파라미터 표현
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
JP5265358B2 (ja) パラメトリックマルチチャネルオーディオ符号化とマトリックスサラウンドマルチチャネル符号化との間のギャップを埋めるための概念
KR100852223B1 (ko) 멀티채널 오디오 신호 시각화 장치 및 방법
RU2665214C1 (ru) Стереофонический кодер и декодер аудиосигналов
NO339907B1 (no) Nær transparent eller transparent flerkanalsystem for koding/dekoding
JP2010525403A (ja) 出力信号の合成装置及び合成方法
TW201036464A (en) Binaural rendering of a multi-channel audio signal
HK1155843B (en) Efficient use of phase information in audio encoding and decoding
HK1155843A (en) Efficient use of phase information in audio encoding and decoding

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20041201

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060427

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20061227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070208

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070209

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20091224

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110103

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120130

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130130

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140128

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150129

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160128

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170125

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180130

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20190130

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20210128

Start annual number: 15

End annual number: 15

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20231119