[go: up one dir, main page]

KR101227932B1 - 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법 - Google Patents

다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법 Download PDF

Info

Publication number
KR101227932B1
KR101227932B1 KR1020110004198A KR20110004198A KR101227932B1 KR 101227932 B1 KR101227932 B1 KR 101227932B1 KR 1020110004198 A KR1020110004198 A KR 1020110004198A KR 20110004198 A KR20110004198 A KR 20110004198A KR 101227932 B1 KR101227932 B1 KR 101227932B1
Authority
KR
South Korea
Prior art keywords
audio
channel
multichannel
mixed
audio object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110004198A
Other languages
English (en)
Other versions
KR20120082738A (ko
Inventor
조충상
김제우
최병호
신화선
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020110004198A priority Critical patent/KR101227932B1/ko
Priority to US13/340,353 priority patent/US20120183148A1/en
Publication of KR20120082738A publication Critical patent/KR20120082738A/ko
Application granted granted Critical
Publication of KR101227932B1 publication Critical patent/KR101227932B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법이 제공된다. 본 오디오 처리 방법은, 오디오를 구성하는 제1 오디오 객체를 다채널에서 소채널로 채널 다운-믹스하여 인코딩한다. 이에 의해, 오디오를 구성하는 오디오 객체들을 다채널에서 소채널로 채널 다운-믹스하는 방식으로 다채널 멀티객체 오디오를 생성하고, 생성된 다채널 멀티객체 오디오를 재생할 수 있어, 다채널 오디오 객체로 이루어진 오디오 처리에 있어 급격한 데이터 증가문제를 해결할 수 있다.

Description

다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법{System for multi channel multi track audio and audio processing method thereof}
본 발명은 오디오 시스템 및 오디오 처리 방법에 관한 것으로, 더욱 상세하게는 다채널 오디오 객체들로 구성되는 오디오를 위한 오디오 시스템 및 그의 오디오 처리 방법에 관한 것이다.
기존의 실감 객체 오디오에서는, 오디오를 구성하는 오디오 객체들을 독립적으로 압축하는 방식을 사용하고 있다. 이와 같은 방식은 오디오 객체들이 모노 또는 스테레오인 경우에는 문제가 없다.
하지만, 오디오 객체들이 5.1 채널과 같이 다채널인 경우에는 압축에 의한 데이터 감소를 감안하더라도, 데이터 사이즈가 매우 커서, 큰 저장공간이 요구됨은 물론 오디오 데이터 처리에 많은 로드가 걸리는 문제가 있다.
한편, MPEG에서 표준화된 SAOC를 사용하는 방법을 생각할 수 있겠지만, 이 방법은 오디오객체들을 완벽하게 복원할 수 없다는 문제점을 가지고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 오디오를 구성하는 오디오 객체들을 다채널에서 소채널로 채널 다운-믹스하는 방식으로 다채널 멀티객체 오디오를 생성하고, 생성된 다채널 멀티객체 오디오를 재생하는 오디오 처리 방법을 제공함에 있다.
또한, 본 발명은 오디오를 구성하는 오디오 객체들 중 일부를 채널별로 구분 믹스한 후 다채널에서 소채널로 다운-믹스하는 방식으로 다채널 멀티객체 오디오를 생성하고, 생성된 다채널 멀티객체 오디오를 재생하는 오디오 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른, 오디오 처리 방법은, 오디오를 구성하는 제1 오디오 객체를 다채널에서 소채널로 채널 다운-믹스하는 단계; 및 채널 다운-믹스된 제1 오디오 객체를 인코딩하는 단계;를 포함한다.
그리고, 본 오디오 처리 방법은, 오디오를 구성하는 제2 오디오 객체를 다채널에서 소채널로 채널 다운-믹스하는 단계; 채널 다운-믹스된 제2 오디오 객체를 인코딩하는 단계; 및 '채널 다운-믹스 후 인코딩된 제1 오디오 객체'와 '채널 다운-믹스 후 인코딩된 제2 오디오 객체'를 멀티플렉싱하여 하나의 다채널 멀티트랙 오디오를 생성하는 단계;를 더 포함하는 것이 바람직하다.
또한, 본 오디오 처리 방법은, 오디오를 구성하는 오디오 객체들 중 일부를 채널별로 구분 믹스하여, 제3 오디오 객체를 생성하는 단계; 제3 오디오 객체들을 다채널에서 소채널로 채널 다운-믹스하는 단계; 채널 다운-믹스된 제3 오디오 객체를 인코딩하는 단계; 및 '채널 다운-믹스 후 인코딩된 제1 오디오 객체'와 '채널 다운-믹스 후 인코딩된 제3 오디오 객체'를 멀티플렉싱하여 하나의 다채널 멀티트랙 오디오를 생성하는 단계;를 더 포함하는 것이 바람직하다.
그리고, 상기 소수 채널의 개수는, 1개 또는 2개일 수 있다.
한편, 본 발명에 따른, 오디오 처리 방법은, 오디오를 구성하는 '채널 다운-믹스 후 인코딩된 제1 오디오 객체'를 디코딩하는 단계; 및 디코딩된 채널 다운-믹스된 제1 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계;를 포함한다.
그리고, 본 오디오 처리 방법은, 오디오를 구성하는 '채널 다운-믹스 후 인코딩된 제2 오디오 객체'를 디코딩하는 단계; 디코딩된 채널 다운-믹스된 제2 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계; 및 '채널 업-믹스된 제1 오디오 객체'와 '채널 업-믹스된 제2 오디오 객체'를 믹스하여 하나의 다채널 오디오를 생성하는 단계;를 더 포함하는 것이 바람직하다.
또한, 본 오디오 처리 방법은, 오디오를 구성하는 오디오 객체들 중 일부가 채널별로 구분 믹스된 후 다채널에서 소채널로 채널 다운-믹스된 제3 오디오 객체를 디코딩하는 단계; 디코딩된 채널 다운-믹스된 제3 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계; 및 '채널 업-믹스된 제1 오디오 객체'와 '채널 업-믹스된 제3 오디오 객체'를 믹스하여 하나의 다채널 오디오를 생성하는 단계;를 더 포함하는 것이 바람직하다.
그리고, 본 오디오 처리 방법은, 오디오를 구성하는 오디오 객체들 중 일부가 채널별로 구분 믹스된 후 다채널에서 소채널로 채널 다운-믹스된 제3 오디오 객체를 디코딩하는 단계; 및 '디코딩된 채널 다운-믹스된 제1 오디오 객체'와 '디코딩된 채널 다운-믹스된 제3 오디오 객체'를 믹스하여 하나의 소채널 오디오를 생성하는 단계;를 더 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 오디오를 구성하는 오디오 객체들을 다채널에서 소채널로 채널 다운-믹스하는 방식으로 다채널 멀티객체 오디오를 생성하고, 생성된 다채널 멀티객체 오디오를 재생할 수 있어, 다채널 오디오 객체로 이루어진 오디오 처리에 있어 급격한 데이터 증가문제를 해결할 수 있다.
또한, 본 발명은 오디오를 구성하는 오디오 객체들 중 일부를 채널별로 구분 믹스한 후 다채널에서 소채널로 다운-믹스하는 방식으로 다채널 멀티객체 오디오를 생성하고, 생성된 다채널 멀티객체 오디오를 재생할 수 있게 된다. 이에 따라, 오디오에서 역할하는 비중이 작은 오디오 객체들에 대한 데이터 사이즈만을 줄일 수 있어, 오디오에서 역할하는 비중이 큰 오디오 객체들에 대한 음향 열화를 방지할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 다채널 멀티트랙 오디오 생성장치를 도시한 블럭도,
도 2는 본 발명의 다른 실시예에 따른, 다채널 멀티트랙 오디오 생성방법의 설명에 제공되는 흐름도,
도 3은 본 발명의 또 다른 실시예에 따른, 다채널 멀티트랙 오디오 재생장치를 도시한 블럭도, 그리고,
도 4는 본 발명의 또 다른 실시예에 따른 다채널 멀티트랙 오디오 재생방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 다채널 멀티트랙 오디오 생성장치
다채널 멀티트랙 오디오는, 다수의 오디오 객체들로 구성되고, 오디오 객체들이 다채널인 오디오를 말한다. 예를 들어, 오디오가,
1) 5.1 채널의 "Vocal" 오디오 객체,
2) 5.1 채널의 "Drum" 오디오 객체,
3) 5.1 채널의 "Bass" 오디오 객체,
4) 5.1 채널의 "Guitar" 오디오 객체,
5) 5.1 채널의 "Violin" 오디오 객체
로 구성된 경우, 다채널 멀티트랙 오디오라 할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다채널 멀티트랙 오디오 생성장치를 도시한 블럭도이다. 본 실시예에 따른 다채널 멀티트랙 오디오 생성장치(100)는, 오디오를 구성하는 다채널 오디오 객체들을 객체별로 구분하여 소채널로 채널 다운-믹스한다.
이때, 본 실시예에 따른 다채널 멀티트랙 오디오 생성장치(100)는, 일부 다채널 오디오 객체들에 대해서는 채널별로 구분하여 하나의 오디오 객체로 믹스한 후에 소채널로 다운-믹스할 수 있다.
이와 같은 기능을 수행하는 다채널 멀티트랙 오디오 생성장치(100)는, 도 1에 도시된 바와 같이, 다채널 오디오 믹서(110), 채널 다운-믹서들(120-1, 120-2, ... , 120-P), 오디오 인코더들(130-1, 130-2, ... , 130-P) 및 오디오 MUX(140)를 구비한다.
다채널 오디오 믹서(110)는 다채널 오디오 객체-K, ... , 다채널 오디오 객체-N을 채널별로 구분하여 믹스한다. 이에 따라, 다채널 오디오 믹서(110)에서는 하나의 다채널 오디오 객체-P가 생성되어 출력된다.
다채널 오디오 믹서(110)에서는 'N-K-1'개의 다채널 오디오 객체들이 믹스되는데, 'N-K-1'은 2 이상의 정수로 다채널 멀티트랙 오디오 생성장치(100)의 사양에 따라 결정된다. 'N-K-1'는 고정될 필요는 없으며, 생성할 다채널 멀티트랙 오디오에 따라 가변될 수 있음은 물론이다.
채널별로 구분하여 믹스하는 것은, 다채널 오디오 믹서(110)에 입력되는 다채널 오디오 객체들을 동일한 채널들끼리 믹스함을 의미한다. 예를 들어, 5.1 채널의 "Bass" 오디오 객체, 5.1 채널의 "Guitar" 오디오 객체 및 5.1 채널의 "Violin" 오디오 객체을 채널별로 구분하여 믹스하는 것은,
1) Bass의 L-채널, Guitar의 L-채널 및 Violin의 L-채널을 믹스,
2) Bass의 R-채널, Guitar의 R-채널 및 Violin의 R-채널을 믹스,
3) Bass의 RL-채널, Guitar의 RL-채널 및 Violin의 RL-채널을 믹스,
4) Bass의 RR-채널, Guitar의 RR-채널 및 Violin의 RR-채널을 믹스,
5) Bass의 C-채널, Guitar의 C-채널 및 Violin의 C-채널을 믹스,
6) Bass의 SW-채널, Guitar의 SW-채널 및 Violin의 SW-채널을 믹스
하는 것을 의미한다. 따라서, 다채널 오디오 믹서(110)에 입력되는 다채널 오디오 객체들이 5.1 채널이라면, 다채널 오디오 믹서(110)에서 출력되는 다채널 오디오 객체-P도 5.1 채널이다.
한편, 다채널 오디오 믹서(110)는 입력되는 믹스 정보에 따라 다채널 오디오 객체들을 믹스한다. 여기서, 믹스 정보란, 믹스될 다채널 오디오 객체들에 대한 정보 및 다채널 오디오 객체들의 믹스 비율에 대한 정보가 포함된다.
채널 다운-믹서들(120-1, 120-2, ... , 120-P)은 입력되는 다채널 오디오 객체들을 '채널 다운-믹스'한다. '채널 다운-믹스'는 오디오 객체의 채널을 다채널에서 소채널로 줄이는 오디오 처리이다.
예를 들어, 채널 다운-믹스는 오디오 객체의 채널을 5.1 채널에서 스테레오(2 채널)로 줄이는 오디오 처리일 수 있다. 이 경우,
1) 오디오 객체의 L-채널과 R-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
2) 오디오 객체의 RL-채널과 RR-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
3) 오디오 객체의 C-채널과 SW-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
4) "1)"에서 믹스된 채널과 "2)"에서 믹스된 채널을 다시 하나의 채널로 믹스하고, 공간 파라미터를 생성
하는 방법에 의할 수 있다. 이에 따르면, '채널 다운-믹스' 결과로, "3)"에서 믹스된 채널 및 "4)"에서 믹스된 채널과 4개의 공간 파라미터들이 생성된다.
다른 예로, '채널 다운-믹스'는 오디오 객체의 채널을 5.1 채널에서 모노(1 채널)로 줄이는 오디오 처리일 수 있다. 이 경우,
1) 오디오 객체의 L-채널과 R-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
2) 오디오 객체의 RL-채널과 RR-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
3) 오디오 객체의 C-채널과 SW-채널을 하나의 채널로 믹스하고, 공간 파라미터를 생성,
4) "1)"에서 믹스된 채널과 "2)"에서 믹스된 채널을 다시 하나의 채널로 믹스하고, 공간 파라미터를 생성,
5) "4)"에서 믹스된 채널과 "3)"에서 믹스된 채널을 다시 하나의 채널로 믹스하고, 공간 파라미터를 생성
하는 방법에 의할 수 있다. 이에 따르면, '채널 다운-믹스' 결과로, "5)"에서 믹스된 채널과 5개의 공간 파라미터들이 생성된다.
오디오 인코더들(130-1, 130-2, ... , 130-P)은 채널 다운-믹서들(120-1, 120-2, ... , 120-P)에서 채널 다운-믹스된 오디오 객체들을 각각 인코딩하여 압축한다.
그 결과, 1) 오디오 인코더-1(130-1)에서는 채널 다운-믹스 후 인코딩된 오디오 객체-1이 출력되고, 2) 오디오 인코더-2(130-2)에서는 채널 다운-믹스 후 인코딩된 오디오 객체-2가 출력되며, ... , P) 오디오 인코더-P(130-P)에서는 채널 다운-믹스 후 인코딩된 오디오 객체-P가 출력된다.
인코딩된 오디오 객체들에는 압축된 오디오 데이터 외에 공간 파라미터들이 함께 수록되어 있다.
오디오 MUX(140)는 오디오 인코더들(130-1, 130-2, ... , 130-P)에서 인코딩된 오디오 객체들과 추가 정보를 멀티플렉싱하여, 하나의 다채널 멀티트랙 오디오를 생성한다.
추가 정보에는, '믹스 정보'와 '재생 컨트롤 정보'가 수록된다. 믹스 정보는 전술한 바 있다. '재생 컨트롤 정보'는 다채널 멀티트랙 오디오를 재생하는 경우, 이를 구성하는 다채널 오디오 객체들의 믹스 비율에 대한 정보로, 오디오 전문가에 의해 작성된다.
2. 다채널 멀티트랙 오디오 생성방법
이하에서는, 도 1에 도시된 다채널 멀티트랙 오디오 생성장치에 의해 다채널 멀티트랙 오디오를 생성하는 과정에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 다채널 멀티트랙 오디오 생성방법의 설명에 제공되는 흐름도이다.
도 2에 도시된 바와 같이, 먼저 다채널 멀티트랙 오디오 생성장치(100)의 다채널 오디오 믹서(110)는 다채널 오디오 객체-K, ... , 다채널 오디오 객체-N을 채널별로 구분 믹스하여, 다채널 오디오 객체-P를 생성한다(S210).
그리고, 채널 다운-믹서들(120-1, 120-2, ... , 120-P)은 다채널 오디오 객체-1, 다채널 오디오 객체-2, ... , 다채널 오디오 객체-P 각각에 대해, 다채널에서 모노 또는 스테레오로 채널 다운-믹스한다(S220).
이후, 오디오 인코더들(130-1, 130-2, ... , 130-P)은 S220단계에서 채널 다운-믹스된 오디오 객체-1, 오디오 객체-2, ... , 오디오 객체-P 각각을 인코딩하여 압축한다(S230).
그리고, 오디오 MUX(140)가 S230단계에서 인코딩된 오디오 객체-1, 오디오 객체-2, ... , 및 오디오 객체-P와 추가 정보를 멀티플렉싱하여, 하나의 다채널 멀티트랙 오디오를 생성한다(S240).
3. 다채널 멀티트랙 오디오 재생장치
도 3은 본 발명의 또 다른 실시예에 따른, 다채널 멀티트랙 오디오 재생장치를 도시한 블럭도이다. 본 실시예에 따른 다채널 멀티트랙 오디오 재생장치(300)는, 도 1에 도시된 다채널 멀티트랙 오디오 생성장치(100)에 의해 생성된 다채널 멀티트랙 오디오를 구성하는 오디오 객체들 각각을 다채널로 채널 업-믹스한 후 믹스하여 하나의 다채널 오디오를 출력한다.
이와 같은 기능을 수행하는 다채널 멀티트랙 오디오 재생장치(300)는, 도 3에 도시된 바와 같이, 오디오 DEMUX(310), 오디오 디코더들(320-1, 320-2, ... , 320-P), 모노/스테레오 믹서(330), 채널 업-믹서들(340-1, 340-2, ... , 340-P) 및 다채널 오디오 믹서(350)를 구비한다.
오디오 DEMUX(310)는 다채널 멀티트랙 오디오 생성장치(100)에 의해 생성된 다채널 멀티트랙 오디오에 수록된 인코딩된 오디오 객체들과 추가 정보를 디멀티플렉싱하여 출력한다. 추가 정보에는, 믹스 정보와 재생 컨트롤 정보가 수록됨은 전술한 바 있다.
오디오 디코더들(320-1, 320-2, ... , 320-P)은 오디오 DEMUX(310)에서 디멀티플렉싱되는 인코딩된 오디오 객체들을 각각 디코딩하여 압축을 해제한다. 그 결과, 오디오 디코더들(320-1, 320-2, ... , 320-P)에서는 도 1의 채널 다운-믹서들(120-1, 120-2, ... , 120-P)에서 채널 다운-믹스된 상태의 오디오 객체들이 출력된다.
오디오 디코더들(320-1, 320-2, ... , 320-P)에서 출력되는 채널 다운-믹스된 오디오 객체들의 채널은 모노 또는 스테레오인데, 도 1에 도시된 채널 다운-믹서들(120-1, 120-2, ... , 120-P)에 의해 어느 것으로 채널 다운-믹스되었는지에 따라 결정된다.
모노/스테레오 믹서(330)는 오디오 디코더들(320-1, 320-2, ... , 320-P)에서 출력되는 오디오 객체들을 믹스하여, 하나의 오디오를 출력한다. 오디오 디코더들(320-1, 320-2, ... , 320-P)에서 출력되는 오디오 객체들이 스테레오인 경우, 모노/스테레오 믹서(330)는 오디오 객체들을 채널별로 구분하여 믹스한다.
한편, 채널 업-믹서들(340-1, 340-2, ... , 340-P)은 오디오 디코더들(320-1, 320-2, ... , 320-P)에서 출력되는 디코딩된 오디오 객체들을 '채널 업-믹스'한다.
'채널 업-믹스'는, '채널 다운-믹스'의 역처리로, 오디오 객체의 채널을 소채널에서 다채널로 늘이는 오디오 처리이다. '채널 업-믹스'의 예로, 1) 오디오 객체의 채널을 스테레오(2 채널)에서 5.1 채널로 증가시키거나, 2) 오디오 객체의 채널을 모노(1 채널)에서 5.1 채널로 증가시키는 경우를 상정할 수 있다. '채널 업-믹스' 시에는, '채널 다운-믹스' 시에 생성된 공간 파라미터가 참조된다.
다채널 오디오 믹서(350)는 채널 업-믹서들(340-1, 340-2, ... , 340-P)에서 채널 업-믹스된 다채널 오디오 객체들을 채널별로 구분하여 믹스한다. 이에 따라, 다채널 오디오 믹서(350)에서는 하나의 다채널 오디오가 생성되어 출력된다.
다채널 오디오 믹서(350)에 의한 다채널 오디오 객체들의 믹스 비율은, 사용자 컨트롤 정보 또는 추가 정보에 수록된 재생 컨트롤 정보에 따라 결정된다.
도 3을 통해 알 수 있는 바와 같이, 오디오 DEMUX(310)로 입력되는 다채널 멀티트랙 오디오는, 1) 모노/스테레오 믹서(330)에서 모노/스테레오 오디오로 출력되거나, 2) 다채널 오디오 믹서(350)에서 다채널 오디오로 출력될 수 있다. 어느 경로로 출력될지 여부는, 사용자에 의해 선택될 수 있다.
4. 다채널 멀티트랙 오디오 재생장치
이하에서는, 도 3에 도시된 다채널 멀티트랙 오디오 재생장치에 의해 다채널 멀티트랙 오디오를 재생하는 과정에 대해, 도 4를 참조하여 상세히 설명한다. 도 4는 본 발명의 또 다른 실시예에 따른 다채널 멀티트랙 오디오 재생방법의 설명에 제공되는 흐름도이다.
도 4에 도시된 바와 같이, 먼저 다채널 멀티트랙 오디오 재생장치(300)의 오디오 DEMUX(310)가 입력되는 다채널 멀티트랙 오디오를 인코딩된 오디오 객체-1, 오디오 객체-2, ... , 오디오 객체-P 및 추가 정보로 디멀티플렉싱한다(S410).
그러면, 오디오 디코더들(320-1, 320-2, ... , 320-P)은 S410단계에서 디멀티플렉싱되는 인코딩된 오디오 객체-1, 오디오 객체-2, ... , 오디오 객체-P를 각각 디코딩하여, 공간 파라미터들을 분리하고 압축을 해제한다(S420).
이후, 채널 업-믹서들(340-1, 340-2, ... , 340-P)은 S420단계에서 분리된 공간 파라미터들을 참조하여, S420단계에서 디코딩된 오디오 객체-1, 오디오 객체-2, ... , 오디오 객체-P 각각을 채널 업-믹스한다(S430). S430단계에 의해 모노 또는 스테레오의 오디오 객체들이 다채널 오디오 객체들로 변환된다.
다채널 오디오 믹서(350)는 S430단계에서 채널 업-믹스된 다채널 오디오 객체-1, 다채널 오디오 객체-2, ... ,다채널 오디오 객체-P를 채널별로 구분하여 믹스한다(S440). 이에 의해, S440단계에서는 하나의 다채널 오디오가 생성되어 출력된다.
5. 변형예
도 1에서는 'K-1'개의 다채널 오디오 객체들이 별도로 채널 다운-믹스되고, 'N-K-1'개의 다채널 오디오 객체들이 하나의 다채널 오디오 객체로 믹스된 후 채널 다운-믹스되는 것으로 상정하였고, 도 3에는 이의 역처리를 수행할 수 있도록 도시하였는데, 이는 설명의 편의를 위한 예시적인 것에 불과하다. 'K-1'개와 'N-K-1'개는 변경가능하다.
또한, 채널 다운-믹스 전에 하나의 다채널 오디오 객체로 믹스되는 오디오 객체 그룹은 1개인 것으로 상정하였는데, 이 역시 설명의 편의를 위한 일 예에 불과하다. 따라서, 채널 다운-믹스 전에 하나의 다채널 오디오 객체로 믹스되는 오디오 객체 그룹을 2개 이상으로 구현하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
예를 들어, 1) 다채널 오디오 객체-K, 다채널 오디오 객체-(K+1), 다채널 오디오 객체-(K+2)를 하나의 다채널 오디오 객체로 믹스한 후 채널 다운-믹스하며, 2) 다채널 오디오 객체-(K+3), 다채널 오디오 객체-(K+4), ... 다채널 오디오 객체-N을 하나의 다채널 오디오 객체로 믹스한 후 채널 다운-믹스하도록 구현하는 것도 가능하다.
다만, 이 경우에는 다채널 오디오 믹서(110)의 개수가 증가되어야 할 것이다.
그리고, 위 개수들은 고정적일 수도 있지만, 생성/재생할 다채널 멀티트랙 오디오의 특성에 따라 가변적으로 구현하는 것도 가능하다.
위에서 제시한 다채널 멀티트랙 오디오 생성장치와 재생장치를 하나의 오디오 시스템으로 구현하는 것도 가능하다. 이때, 오디오 시스템은 MP3 플레이어, HTS, TV와 같이 오디오 생성/재생이 주기능인 기기는 물론, 모바일 폰, 모바일 PC와 같이 오디오 생성/재생을 부수적 기능으로 채택한 기기에서도 적용될 수 있음은 물론이다.
또한, 다채널 멀티트랙 오디오 생성방법과 재생방법을 하나의 오디오 처리 방법으로 구현하는 것도 가능함은 물론이다.
그리고, 위 실시예에서 언급한 5.1 채널은 다채널의 일 예에 해당하고, 모노/스테레오는 소채널의 예들에 해당하므로, 다채널과 소채널의 개수를 이와 다르게 설정하는 것도 가능하다.
다채널 멀티트랙 오디오를 구성하는 오디오 객체들은, 위에서 언급한 바와 같이 악기 별로 구분하는 것도 가능하지만, 영어 회화 오디오의 경우는 대화자 별로 구분하는 것도 가능하다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 다채널 멀티트랙 오디오 생성장치
110 : 다채널 오디오 믹서
120-1, 120-2, ... , 120-P : 채널 다운-믹서
130-1, 130-2, ... , 130-P : 오디오 인코더
140 : 오디오 MUX
300 : 다채널 멀티트랙 오디오 재생장치
310 : 오디오 DEMUX
320-1, 320-2, ... , 320-P : 오디오 디코더
330 : 모노/스테레오 믹서
340-1, 340-2, ... , 340-P : 채널 업-믹서
350 : 다채널 오디오 믹서

Claims (8)

  1. 오디오를 구성하는 제1 오디오 객체를 다채널에서 소채널로 채널 다운-믹스하는 단계;
    채널 다운-믹스된 제1 오디오 객체를 인코딩하는 단계;
    오디오를 구성하는 오디오 객체들 중 2 이상의 오디오 객체들을 동일 채널끼리 믹스하여, 하나의 제3 오디오 객체로 생성하는 단계;
    제3 오디오 객체들을 다채널에서 소채널로 채널 다운-믹스하는 단계;
    채널 다운-믹스된 제3 오디오 객체를 인코딩하는 단계; 및
    '채널 다운-믹스 후 인코딩된 제1 오디오 객체'와 '채널 다운-믹스 후 인코딩된 제3 오디오 객체'를 멀티플렉싱하여 하나의 다채널 멀티트랙 오디오를 생성하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  2. 제 1항에 있어서,
    오디오를 구성하는 제2 오디오 객체를 다채널에서 소채널로 채널 다운-믹스하는 단계;
    채널 다운-믹스된 제2 오디오 객체를 인코딩하는 단계; 및
    '채널 다운-믹스 후 인코딩된 제1 오디오 객체'와 '채널 다운-믹스 후 인코딩된 제2 오디오 객체'를 멀티플렉싱하여 하나의 다채널 멀티트랙 오디오를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 처리 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 소채널의 개수는, 1개 또는 2개인 것을 특징으로 하는 오디오 처리 방법.
  5. 오디오를 구성하는 '채널 다운-믹스 후 인코딩된 제1 오디오 객체'를 디코딩하는 단계;
    디코딩된 채널 다운-믹스된 제1 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계;
    오디오를 구성하는 오디오 객체들 중 2 이상의 오디오 객체들이 동일 채널끼리 하나의 오디오 객체로 믹스된 후 다채널에서 소채널로 채널 다운-믹스된 제3 오디오 객체를 디코딩하는 단계;
    디코딩된 채널 다운-믹스된 제3 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계; 및
    '채널 업-믹스된 제1 오디오 객체'와 '채널 업-믹스된 제3 오디오 객체'를 믹스하여 하나의 다채널 오디오를 생성하는 단계;를 포함하는 것을 특징으로 하는 오디오 처리 방법.
  6. 제 5항에 있어서,
    오디오를 구성하는 '채널 다운-믹스 후 인코딩된 제2 오디오 객체'를 디코딩하는 단계; 및
    디코딩된 채널 다운-믹스된 제2 오디오 객체를 소채널에서 다채널로 채널 업-믹스하는 단계;를 더 포함하고,
    상기 생성단계는,
    '채널 업-믹스된 제1 오디오 객체', '채널 업-믹스된 제2 오디오 객체' 및 '채널 업-믹스된 제3 오디오 객체'를 믹스하여 하나의 다채널 오디오를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 처리 방법.
  7. 삭제
  8. 삭제
KR1020110004198A 2011-01-14 2011-01-14 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법 Expired - Fee Related KR101227932B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110004198A KR101227932B1 (ko) 2011-01-14 2011-01-14 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
US13/340,353 US20120183148A1 (en) 2011-01-14 2011-12-29 System for multichannel multitrack audio and audio processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110004198A KR101227932B1 (ko) 2011-01-14 2011-01-14 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법

Publications (2)

Publication Number Publication Date
KR20120082738A KR20120082738A (ko) 2012-07-24
KR101227932B1 true KR101227932B1 (ko) 2013-01-30

Family

ID=46490783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110004198A Expired - Fee Related KR101227932B1 (ko) 2011-01-14 2011-01-14 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법

Country Status (2)

Country Link
US (1) US20120183148A1 (ko)
KR (1) KR101227932B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
JP6045696B2 (ja) * 2012-07-31 2016-12-14 インテレクチュアル ディスカバリー シーオー エルティディＩｎｔｅｌｌｅｃｔｕａｌ Ｄｉｓｃｏｖｅｒｙ Ｃｏ．，Ｌｔｄ． オーディオ信号処理方法および装置
KR101950455B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
KR101949756B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
KR101949755B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
KR102059846B1 (ko) * 2012-07-31 2020-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
ES2654792T3 (es) * 2012-08-03 2018-02-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procedimiento y decodificador para codificación de objeto de audio espacial de multi-instancias que emplea un concepto paramétrico para casos de mezcla descendente/mezcla ascendente de multicanal
US9786286B2 (en) 2013-03-29 2017-10-10 Dolby Laboratories Licensing Corporation Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
WO2014184618A1 (en) 2013-05-17 2014-11-20 Nokia Corporation Spatial object oriented audio apparatus
PL3005355T3 (pl) 2013-05-24 2017-11-30 Dolby International Ab Kodowanie scen audio
CN105229731B (zh) 2013-05-24 2017-03-15 杜比国际公司 根据下混的音频场景的重构
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN111050271B (zh) 2018-10-12 2021-01-29 北京微播视界科技有限公司 用于处理音频信号的方法和装置
KR102763118B1 (ko) * 2019-08-14 2025-02-07 라인플러스 주식회사 음성 컨퍼런스의 비대칭 채널을 이용한 오디오 제어 방법 및 시스템
CN110941415B (zh) * 2019-11-08 2023-11-28 北京达佳互联信息技术有限公司 一种音频文件的处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060060927A (ko) * 2004-12-01 2006-06-07 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
KR20070065370A (ko) * 2004-10-14 2007-06-22 마츠시타 덴끼 산교 가부시키가이샤 음향 신호 부호화 장치 및 음향 신호 복호 장치
KR20070080599A (ko) * 2006-02-07 2007-08-10 엘지전자 주식회사 부호화/복호화 장치 및 방법
KR20080089308A (ko) * 2007-03-30 2008-10-06 한국전자통신연구원 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법
KR20080107446A (ko) * 2006-03-28 2008-12-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티 채널 오디오 재구성에서 신호 셰이핑을 위한 개선 방법
KR20090043921A (ko) * 2007-10-30 2009-05-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
CN102768836B (zh) * 2006-09-29 2014-11-05 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070065370A (ko) * 2004-10-14 2007-06-22 마츠시타 덴끼 산교 가부시키가이샤 음향 신호 부호화 장치 및 음향 신호 복호 장치
KR20060060927A (ko) * 2004-12-01 2006-06-07 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
KR20070080599A (ko) * 2006-02-07 2007-08-10 엘지전자 주식회사 부호화/복호화 장치 및 방법
KR20080107446A (ko) * 2006-03-28 2008-12-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티 채널 오디오 재구성에서 신호 셰이핑을 위한 개선 방법
KR20080089308A (ko) * 2007-03-30 2008-10-06 한국전자통신연구원 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법
KR20090043921A (ko) * 2007-10-30 2009-05-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR20120082738A (ko) 2012-07-24
US20120183148A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
KR101227932B1 (ko) 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
JP5260665B2 (ja) ダウンミックスを用いたオーディオコーディング
KR101055739B1 (ko) 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그 장치
US10002616B2 (en) Audio decoding device
JP4685925B2 (ja) 適応残差オーディオ符号化
US8364497B2 (en) Apparatus and method for coding and decoding multi-object audio signal with various channel
KR20120061792A (ko) 다객체 오디오 부호화 및 복호화 방법과 그 장치
KR101660004B1 (ko) 멀티채널 다운믹스/업믹스 케이스들에 대해 매개변수 개념을 이용한 멀티-인스턴스 공간-오디오-오브젝트-코딩을 위한 디코더 및 방법
CN106463126B (zh) 基于对象的音频系统中的残差编码
TWI281356B (en) Device and method for generate a coded multi-channels signal and device and method for decode a coded multi-channels signal and recordable medium
HK1233037A1 (en) Residual encoding in an object-based audio system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110114

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120607

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20121122

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120607

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20121122

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20120807

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20130121

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20121224

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20121122

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20120807

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20161209