KR20080107433A

KR20080107433A - 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성

Info

Publication number: KR20080107433A
Application number: KR1020087023386A
Authority: KR
Inventors: 라르스 빌레모에스; 크리스토퍼 크졸링; 예로엔 브리에바트
Original assignee: 돌비 스웨덴 에이비; 코닌클리즈케 필립스 일렉트로닉스 엔.브이.
Priority date: 2006-03-24
Filing date: 2006-09-01
Publication date: 2008-12-10
Anticipated expiration: 2026-09-01
Also published as: BRPI0621485B1; EP1999999A1; RU2407226C2; RU2008142141A; CN101406074A; ATE532350T1; WO2007110103A1; BRPI0621485A2; ES2376889T3; EP1999999B1; US20070223708A1; JP4606507B2; CN101406074B; US8175280B2; JP2009531886A; KR101010464B1; PL1999999T3

Abstract

헤드폰 다운믹스 신호(314)는 변경된 HRTF(310)(헤드 관련 전달 함수)가 멀티-채널 신호의 2개의 채널 사이의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 이용하여 멀티-채널 신호의 HRTF(308)로부터 도출될 때 변경된 HRTF(310)가 더 낮은 레벨을 갖는 채널의 HRTF(308)보다 더 높은 레벨을 갖는 채널의 HRTF(308)에 의해 더 강하게 영향받도록 상기 멀티-채널 신호(312)의 파라메트릭 다운믹스로부터 효율적으로 도출될 수 있다. 변경된 HRTF(310)는 HRTF(308)에 관련된 채널의 상대적인 세기를 고려하는 디코딩 프로세스 내에서 도출된다. 따라서, HRTF(308)는 멀티-채널 신호의 파라메트릭 표현의 다운믹스 신호(314)가 상기 파라메트릭 다운믹스의 중간의 전체 파라메트릭 멀티-채널 재구성의 필요 없이 헤드폰 다운믹스 신호(314)를 합성하는데 직접 사용될 수 있도록 변경된다.

Description

멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성{Generation of spatial downmixes from parametric representations of multi channel signals}

본 발명은 파라메트릭 멀티-채널 표현에 기초한, 엔코딩된 멀티-채널 오디오 신호의 디코딩에 관한 것으로서, 특히 2개의 스피커 구성을 위한 헤드폰 호환 다운믹스 또는 공간적 다운믹스 신호와 같은 공간적 청취 경험을 제공하는 2-채널 다운믹스 신호의 생성에 관한 것이다.

오디오 코딩에 관한 최근의 발전이 스테레오 (또는 모노) 신호 및 대응하는 제어 데이터에 기초하여 오디오 신호의 멀티-채널 표현을 재생성하는 것을 가능하게 하였다. 이들 방법들은 전송된 모노 또는 스테레오 채널에 기반하여 서라운드 채널의 재생성(업-믹스(up-mix)라고도 함)을 제어하도록 추가적인 제어 데이터가 전송되기 때문에 Dolby Prologic과 같은 기존의 매트릭스 기반 솔루션과는 실질적으로 다르다.

따라서, 예컨대, MPEG Surround와 같은 파라메트릭 멀티-채널 오디오 디코더는 M개의 전송된 채널들 및 추가적인 제어 데이터에 기초하여 N 채널들(N > M)을 재구성한다. 추가적인 제어 데이터는 전체 N 채널을 전송하는 것보다 매우 낮은 데이터율을 나타내어, M개의 채널 디바이스들 및 N개의 채널 디바이스와의 호환을 보장하는 동시에 코딩을 매우 효율적으로 만든다.

이들 파라메트릭 서라운드 코딩 방법들은 일반적으로 IID(Inter channel Itensity Difference) 또는 CLD(Channel Level Difference) 및 ICC(Inter Channel Coherence)에 기초한 서라운드 신호의 파라미터화(parameterization)를 포함한다. 이들 파라미터들은 업믹스 프로세스(up-mix process)에서 채널 쌍들간의 전력 비율 및 상관을 나타낸다. 또한, 종래 사용되는 파라미터들은 업믹스 과정 동안 중간 채널 또는 출력 채널을 예측하는 데 사용되는 예측 파라미터를 포함한다.

멀티-채널 오디오 컨텐트의 재생에서의 다른 발전은 스테레오 헤드폰을 사용하여 공간적 청취 효과를 획득하는 수단을 제공하였다. 헤드폰의 2개의 스피커만을 이용하여 공간적 청취 효과를 달성하기 위해, 멀티-채널 신호들이 공간적 청취 효과를 제공하도록 사람의 머리의 매우 복잡한 전송 특성을 고려하도록 의도된HRTF(head-related transfer functions)을 이용하여 스테레오 신호로 다운믹스된다.

다른 관련 기술은 종래의 2-채널 재생 환경을 이용하고, 멀티-채널 오디오 신호의 채널들을 원래의 갯수의 스피커에서의 재생과 유사한 청취 효과를 달성하는 근사 필터를 이용하여 필터링하는 것이다. 신호의 처리는 원하는 속성을 갖는 근사적인 "공간적 스테레오 다운믹스" 신호를 생성하는 헤드폰 재생의 경우와 유사하다. 헤드폰의 경우와 반대로, 양 스피커의 신호는 청취자의 양 귀에 직접 도달하 여, 바람직하지 않은 "크로스토크 효과"를 발생시킨다. 이는 최적의 재생 품질을 위해 고려되어야 하므로, 신호 처리에 사용되는 필터들은 공통으로 크로스토크 제어 필터라고도 한다. 일반적으로 이 기술의 목적은 복소 크로스토크 -제거 필터를 사용하여 고유한 크로스토크의 제거에 의해 스테레오 스피커 기반 이외의 사운드 소스의 가능한 범위를 확장하는 것이다.

복소 필터링으로 인해, HRTF 필터들은 매우 긴데, 즉 각각 몇 백개의 필터 탭을 가질 수 있다. 이러한 이유로, 실제 필터 대신 사용될 때 지각적인 품질을 떨어뜨리지 않을 만큼 잘 동작하는 필터의 파라미터화를 찾는 것이 매우 어렵다.

따라서, 한편으로는 엔코딩된 멀티-채널 신호의 효과적인 전송을 허용하는 멀티-채널 신호의 비트-절약 파라메트릭 표현이 존재한다. 반면, 스테레오 헤드폰 또는 스테레오 스피커만을 사용할 때 멀티-채널 신호를 위한 공간적 청취 경험을 생성하는 훌륭한 방법이 알려져 있다. 그러나, 이들 방법은 헤드폰 다운믹스 신호를 생성하는 헤드-관련 전달 함수의 어플리케이션을 위해 입력으로서 멀티-채널 신호의 전체 갯수의 채널을 요구한다. 따라서, 헤드-관련 전달 함수 또는 크로스토크 제거 필터를 적용하기 전에, 전체 멀티 채널 신호들이 전송되거나, 파라메트릭 표현이 완전하게 재구성되어야만 하며, 그에 따라, 전송 대역폭 또는 계산 복잡성이 수용불가능하게 높아진다.

본 발명은 멀티-채널 신호의 파라메트릭 표현을 이용하여 공간적 청취 경험을 제공하는 2-채널 신호의 더 효율적인 재구성을 가능하게 하는 개념을 제공하는 것을 그 목적으로 한다.

본 발명의 제1 측면에 따라, 본 발명의 목적은 멀티-채널 신호의 다운믹스 표현을 사용하여, 그리고 상기 멀티-채널 신호의 2개의 채널 사이의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수를 사용하여, 헤드폰 다운믹스 신호를 도출하는 디코더에 있어서, 변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다 더 높은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수에 의해 더 강하게 영향받도록, 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수에 가중치를 적용함으로써 변경된 헤드-관련 전달 함수(310)를 도출하는 필터 계산기; 및 상기 변경된 헤드-관련 전달 함수 및 상기 다운믹스 신호의 표현을 이용하여 상기 헤드폰 다운믹스 신호를 도출하는 합성기를 포함하는 디코더에 의해 달성된다.

본 발명의 제2 측면에 따라, 본 발명의 목적은 멀티-채널 신호의 다운믹스 표현을 사용하여, 그리고 상기 멀티-채널 신호의 2개의 채널 사이의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수를 사용하여, 헤드폰 다운믹스 신호를 도출하는 디코더로서, 변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다 더 높은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수에 의해 더 강하게 영향받도록 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수에 가중치를 적용함으로써 변경된 헤드-관련 전달 함수(310)를 도출하는 필터 계산기; 및 상기 변경된 헤드-관련 전달 함수 및 상기 다운믹스 신호의 표현을 이용하여 상기 헤드폰 다운믹스 신호를 도출하는 합성기를 포함하는 디코더; 상기 멀티 채널 신호의 다운믹스를 서브밴드-필터링함으로써 상기 멀티-채널 신호의 다운믹스 신호의 표현을 도출하는 분석 필터뱅크; 및 상기 헤드폰 다운믹스 신호를 합성함으로써 시간 도메인 헤드폰 신호를 도출하는 합성 필터뱅크를 포함하는 바이노럴 디코더에 의해 달성된다.

본 발명의 제3 측면에 따라, 본 발명의 목적은 멀티-채널 신호의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달함수를 사용하여 헤드폰 다운믹스 신호를 도출하는 방법에 있어서, 변경된 헤드-관련 전달함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달함수에 가중치를 적용함으로써, 상기 변경된 헤드-관련 전달함수를 도출하는 단계; 및 상기 변경된 헤드-관련 전달함수 및 상기 다운믹스 신호의 표현을 사용하여 상기 공간적 스테레오 다운믹스 신호를 도출하는 단계를 포함하는 헤드폰 다운믹스 신호 도출 방법에 의해 달성된다.

본 발명의 제4 측면에 따라, 본 발명의 목적은 멀티-채널 신호의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수를 사용하여 헤드폰 다운믹스 신호를 도출하는 디코더를 갖는 수신기 또는 오디오 플레이어에 있어서, 변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수를 도출하는 필터 계산기; 및 상기 변경된 헤드-관련 전달 함수 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호를 도출하는 합성기를 포함하는 수신기 또는 오디오 플레이어에 의해 달성된다.

본 발명의 제5 측면에 따라, 본 발명의 목적은, 오디오를 수신하거나 재생하는 방법으로서, 상기 방법은 멀티-채널 신호의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수를 사용하여, 헤드폰 다운믹스 신호를 도출하는 방법을 포함하는데, 상기 오디오 수신 또는 재생 방법이 변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수를 도출하는 단계; 및 상기 변경된 헤드-관련 전달 함수 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호를 도출하는 단계를 포함하는 오디오 수신 또는 재생 방법에 의해 달성된다.

본 발명의 제6 측면에 따라, 본 발명의 목적은, 멀티-채널 신호의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 크로스토크 제거 필터를 사용하여 공간적 스테레오 다운믹스 신호를 도출하는 디코더에 있어서, 변경된 크로스토크 제거 필터가 더 낮은 레벨을 갖는 채널의 상기 크로스토크 제거 필터보다는 더 높은 레벨을 갖는 채널의 크로스토크 제거 필터에 의해 더 강하게 영향을 받도록 상기 레벨 파라미터를 사용하여 상기 2개의 채널의 상기 크로스토크 제거 필터에 가중치를 적용함으로써, 변경된 크로스토크 제거 필터를 도출하는 필터 계산기; 및 상기 변경된 크로스토크 제거 필터 및 상기 다운믹스 신호의 표현을 사용하여 상기 공간적 스테레오 다운믹스 신호를 도출하는 합성기를 포함하는 디코더에 의해 달성된다.

본 발명은 필터 계산기가 멀티-채널 신호의 원래의 HRTF로부터 변경된 HRTF(헤드-관련 전달 함수)를 도출하는 데 사용되고, 및 상기 필터 계산기가 멀티-채널 신호의 2개의 채널 사이의 레벨 관계에 관한 정보를 갖는 레벨 파라미터를 사용하여 변경된 크로스토크 제거 필터가 더 낮은 레벨을 갖는 채널의 상기 크로스토크 제거 필터보다는 더 높은 레벨을 갖는 채널의 크로스토크 제거 필터에 의해 더 강하게 영향을 받도록 될 때, 헤드폰 다운믹스 신호가 멀티-채널 신호의 파라메트릭 다운믹스 신호로부터 도출될 수 있다는 것의 발견에 기반한다. 변경된 HRTF는 상기 HRTF에 관련된 채널의 상대적인 세기를 고려하는 디코딩 프로세스 동안 도출된다. 원래의 HRTF는 멀티-채널 신호의 파라메트릭 표현의 다운믹스 신호가 파라메트릭 다운믹스 신호의 전체 파라메트릭 멀티-채널 재구성의 필요 없이 헤드폰 다운믹스 신호를 합성하는데 직접 사용될 수 있도록 변경된다.

본 발명의 일 실시예에 따라, 본 발명에 따른 디코더는 원래의 멀티-채널 신호의 전송된 파라메트릭 다운믹스 신호의 본 발명에 따른 바이노럴 재구성 뿐 아니라 파라메트릭 멀티-채널 재구성을 구현하는데 사용된다. 본 발명에 따라, 바이노럴 다운믹싱 이전의 멀티-채널 신호의 전체 재구성은 필요하지 않으며, 그에 따라 계산적 복잡성이 매우 감소되는 분명한 장점을 가진다. 이는 예컨대, 매우 제한적인 에너지 저장소를 갖는 이동 장치가 재생을 상당히 연장할 수 있도록 한다. 추가적인 장점은 동일한 장치가 2-스피커 헤드폰만을 사용할 때조차 공간적 청취 효과를 갖는 신호의 바이노럴 다운믹스 신호에 대해서 뿐만 아니라 완전한 멀티-채널 신호(예컨대, 5.1, 7.1, 7.2, 신호)에 대한 프로바이더로서 기능한다는 점이다. 이는 예컨대, 홈-엔터테인먼트 구성에서 매우 장점이 될 수 있다.

본 발명의 추가적인 실시예에서, 필터 계산기는 HRTF에 개별적인 가중 인자를 적용할 뿐 아니라 각 HRTF에 대한 결합될 추가적인 위상 인자를 도입함으로써 2 채널의 HRTF를 결합하도록 동작하는 변경된 HRTF를 도출하는 데 사용된다. 위상 인자의 도입은 그 중첩 또는 조합 이전에 2개의 필터의 지연 보상을 달성하는 효과를 가져온다. 이는 전방 스피커와 후방 스피커 사이의 중간 위치에 대응하는 메인 지연 시간을 모델링하는 조합된 응답을 초래한다.

두번째 장점은 에너지 보존을 보장하도록 필터의 조합 동안 인가되어야 하는 이득 인자가 위상 인자를 도입하지 않는 것보다 주파수에서 그 동작에 관하여 더 안정적이라는 점이다. 본 발명의 실시예에 따라, 멀티-채널 신호의 다운믹스 신호의 표현이 헤드폰 다운믹스 신호를 도출하도록 필터뱅크 도메인 내에서 처리되기 때문에, 이는 본 발명의 개념에 대해 특히 관련된다. 다운믹스 신호의 표현의 서로다른 주파수 밴드는 개별적으로 처리되기 때문에, 그에 따라, 개별적으로 적용된 이득 함수의 완만한 작용은 매우 중요하다.

본 발명의 추가적인 실시예에서, 헤드-관련 전달 함수는 서브밴드 도메인에서 사용되는 변경된 HRTF의 전체 갯수가 원래의 HARTF의 전체 갯수보다 작도록 서브밴드 도메인에 대해 서브밴드-필터로 변환된다. 이는 헤드폰 다운믹스된 신호를 도출하는 계산 복잡성이 표준 HRTF 필터를 사용한 다운믹싱에 비해 매우 감소되는 장점을 갖는다.

본 발명의 개념을 구현함에 따라, 매우 긴 HRTF의 사용이 가능하며, 그에 따라 훌륭한 지각적인 품질을 갖는 멀티-채널 신호의 파라메트릭 다운믹스 신호의 표현에 기반하여 헤드폰 다운믹스 신호의 재구성이 가능하다.

또한, 크로스토크 필터에 대한 본 발명에 따른 개념을 사용함에 따라, 훌륭한 지각적 품질을 갖는 멀티-채널 신호의 파라메트릭 다운믹스 신호의 표현에 기반한 표준 2-스피커 구성에서 사용될 공간적 스테레오 다운믹스 신호의 생성이 가능해진다.

본 발명에 따른 디코딩 개념의 다른 큰 장점은 본 발명의 개념을 구현하는 하나의 바이노럴 디코더가 추가적으로 전송된 공간 파라미터들을 고려한 전송된 다운믹스 신호의 멀티-채널 재구성뿐 아니라 바이노럴 다운믹스 신호를 도출하는 데 사용될 수 있다는 점이다.

본 발명의 일 실시예에서, 본 발명에 따른 바이노럴 디코더는 서브밴드 도메인에서 멀티-채널 신호의 다운믹스의 표현을 도출하는 분석 필터뱅크 및 변경된 HRTF의 계산을 구현하는 본 발명에 따른 디코더를 갖는다. 디코더는 임의의 종래 오디오 재생 장비에 의해 재생될 수 있는 헤드폰 다운믹스 신호의 시간 도메인 표현을 최종적으로 도출하는 합성 필터뱅크를 더 포함한다.

이후의 문단들에서, 종래의 파라메트릭 멀티-채널 디코딩 방식 및 바이노럴 디코딩 방식이 본 발명의 개념의 큰 장점을 더 잘 나타내기 위해 첨부된 도면을 참조하여 더 상세히 설명된다.

이하에서, 상세한 본 발명의 거의 모든 실시예들이 HRTF를 이용하여 본 발명의 개념을 설명한다. 이전에 지적한 바와 같이, HRTF 프로세싱은 크로스토크-제거 필터의 사용과 유사하다. 그러므로, 모든 실시예들은 크로스토크-제거 필터뿐만 아니라 HRTF 프로세싱에 관한 것으로 이해되어야 한다. 다시 말해, 아래에서 모든 HRTF 필터는 크로스토크 필터의 사용에 본 발명의 개념을 적용하기 위해 크로스토크 제거 필터에 의해 대체될 수 있다.

본 발명의 바람직한 실시예들은 첨부된 도면을 참조하여 이하 설명된다.

도 1은 HRTF를 사용한 전형적인 바이노럴 합성을 나타내는 도면이다.

도 1b는 크로스토크 제거 필터의 전형적인 사용을 나타내는 도면이다.

도 2는 멀티-채널 공간 엔코더의 예를 나타낸 도면이다.

도 3은 종래 공간/바이노럴 디코더의 예를 나타낸 도면이다.

도 4는 파라메트릭 멀티-채널 엔코더의 예를 나타낸 도면이다.

도 5는 파라메트릭 멀티-채널 디코더의 예를 나타낸 도면이다.

도 6은 본 발명에 따른 디코더의 예를 나타낸 도면이다.

도 7은 필터를 서브밴드 도메인으로 변환하는 개념을 나타내는 블록도이다.

도 8은 본 발명에 따른 디코더의 예를 나타낸 도면이다.

도 9는 본 발명에 따른 디코더의 다른 예를 나타낸 도면이다.

도 10은 본 발명에 따른 수신기 또는 오디오 플레이어의 예를 나타낸 도면이다.

이하에 기술되는 실시예들은 단지 모핑된(Morphed) HRTF 필터링에 의해 멀티-채널 신호의 바이노럴 디코딩을 위해 본 발명의 이론을 나타낸다. 이하 설명되는 구성 및 그 상세의 변경 및 변형은 당업자에게 명백하다. 그러므로, 본 발명은 첨부된 청구범위의 범위에 의해서만 제한받으며, 실시예들에 대한 기술 및 설명에 의해 나타나는 특정 상세들에 의해 제한받지 않는다.

본 발명의 추가적인 특징 및 장점을 더 잘 나타내기 위해 종래 기술을 이하 상세히 설명한다.

통상적인 바이노럴 합성 알고리즘(binaural synthesis algorithm)이 도 1에 도시되어 있다. 한 세트의 입력 채널들(좌측 전방(LF), 우측 전방(RF), 좌측 서라운드(LS), 우측 서라운드(RS) 및 중앙(C))(10a, 10b, 10c, 10d 및 10d)은 한 세트의 HRTF(12a 내지 12j)에 의해 필터링된다. 각 입력 신호는 2개의 신호(왼쪽 "L" 성분 및 오른쪽 "R" 성분)로 분리되는데, 이들 신호 성분 각각은 원하는 사운드 위치에 대응하는 HRTF에 의해 순차적으로 필터링된다. 최종적으로, 모든 좌측 귀 신호들은 합산기(summer)(14a)에 의해 합산되어 좌측 바이노럴 출력 신호 L을 생성하고, 우측 귀 신호들은 합산기(14b)에 의해 합산되어 우측 바이노럴 출력 신호 R을 생성한다. HRTF 컨볼루션(HRTF convolution)은 이론적으로 시간 도메인에서 수행될 수 있지만, 종종 증가하는 계산적 효율 때문에 주파수 도메인에서 필터링을 수행하는 것이 바람직할 수 있다. 이는 도 1에 도시된 합산(summation)이 주파수 도메인에서 수행될 수도 있으며, 후속의 시간 도메인으로의 변환이 추가적으로 요구될 수 있음을 의미한다.

도 1b는 표준 스테레오 재생 환경에서의 단지 2개의 스피커를 사용하여 공간적 청취 효과(spatial listening impression)을 달성하도록 의도된 크로스토크 제거 프로세싱을 나타낸다.

목적은 2개의 스피커(16a 및 16b)를 갖는 스테레오 재생 시스템에 의해 멀티-채널 신호를 재생하여 청취자(18)가 공간적 청취 효과를 경험하도록 하는 것이다. 헤드폰 재생에 대한 주요한 차이점은 양 스피커들(16a 및 16b)의 신호가 직접 청취자(18)의 양 귀에 도달한다는 점이다. 따라서, 점선에 의해 표시된 신호(크로스토 크)가 추가적으로 고려되어야만 한다.

설명의 용이함을 위해, 3개의 소스(20a 내지 20c)를 갖는 3-채널 입력 신호만이 도 1b에 도시되어 있다. 시나리오는 임의의 갯수의 채널로까지 이론적으로 확장될 수 있음은 당연하다.

스테레오 신호가 재생될 수 있도록 하기 위해, 각 입력 소스는 크로스토크 제거 필터들(21a 내지 21f) 중 2개의 필터에 의해 처리되는데, 각 필터는 재생 신호의 각 채널에 대응한다. 최종적으로, 좌측 재생 채널(16a) 및 우측 재생 채널(16b)을 위한 모든 필터링된 신호들은 재생을 위해 합산된다. 크로스토크 제거 필터들은 일반적으로 각 소스(20a 및 20b)에 대해 서로 다르며, 또한 청취자에 좌우될 수도 있음은 명백하다.

본 발명에 따른 개념의 높은 유연성으로 인해, 크로스토크 제거 필터의 디자인 및 응용에 있어서 높은 유연성이 초래되며, 그에 따라 필터들은 각 어플리케이션 또는 재생 장치에 대해 개별적으로 최적화될 수 있다. 다른 장점은 이 방법이 2개의 합성 필터뱅크(synthesis filterbanks)만을 필요로 하므로, 계산적으로 매우 효율적이라는 점이다.

공간 오디오 엔코더의 이론적인 개략도가 도 2에 도시되어 있다. 이러한 기본 엔코딩 시나리오에서, 공간 오디오 디코더(40)는 공간 엔코더(42), 다운믹스 엔코더(44) 및 멀티플렉서(46)를 포함한다.

멀티-채널 입력 신호는 공간 엔코더(42)에 의해 분석되어, 디코더측으로 전송되어야 하는 멀티-채널 입력 신호의 공간적 속성들(properties)을 나타내는 공간 파라미터들이 추출된다. 공간 엔코더(42)에 의해 발생된 다운믹스된 신호는 서로 다른 엔코딩 시나리오에 따라 예컨대, 모노포닉(monophonic) 또는 스테레오 신호가 될 수 있다. 다운믹스 엔코더(44)는 모노포닉 또는 스테레오 다운믹스 신호를 임의의 통상적인 모노 또는 스테레오 오디오 코딩 방식을 사용하여 엔코딩할 수 있다. 멀티플렉서(46)는 공간 파라미터와 엔코딩된 다운믹스 신호를 출력 비트 스트림으로 결합함으로써 출력 비트 스트림을 생성한다.

도 3은 도 2의 엔코더에 대응하는 멀티-채널 디코더와 예컨대, 도 1에 도시된 것과 같은 바이노럴 합성 방법의 가능한 직접 조합을 나타낸다. 도시된 바와 같이, 특징들을 조합하는 종래의 방식은 간단하고 직접적이다. 이 구성(set-up)은 디멀티플렉서(60), 다운믹스 디코더(62), 공간 디코더(64) 및 바이노럴 합성기(66)를 포함한다. 입력 비트 스트림(68)은 디멀티플렉싱되어 공간 파라미터(70)와 다운믹스 신호 비트 스트림이 된다. 상기 다운믹스 신호 비트 스트림은 다운믹스 디코더(62)에 의해 통상적인 모노 또는 스테레오 디코더를 이용하여 디코딩된다. 디코딩된 다운믹스 신호는 공간 파라미터(70)에 의해 나타나는 공간적 속성들을 생성하는 공간 디코더(64)에 공간 파라미터(70)와 함께 입력된다. 멀티-채널 신호(72)가 완전하게 재구성되면, 도 1의 바이노럴 합성 개념(concept)을 구현하기 위해 바이노럴 합성기(66)를 간단히 추가하는 방법은 간단하다. 그러므로, 멀티-채널 출력 신호(72)가 바이노럴 합성기(66)에 대한 입력으로서 사용되는데, 상기 바이노럴 합성기(66)는 결과적인 바이노럴 출력 신호(74)를 도출하도록 멀티-채널 출력 신호를 처리한다. 도 3에 도시된 방식은 적어도 3가지 단점을 갖는다:

- 완전한 멀티-채널 신호 표현이 바이노럴 합성에서의 다운믹스 및 HRTF 컨벌루션 이전의 중간 단계로서 계산되어야 한다. 각 오디오 채널은 서로 다른 공간적 위치를 가질 수 있다는 사실이 제공된 상태에서 HRTF 컨볼루션이 각 채널 단위로 수행된다 하더라도, 복잡도의 측면에서 바람직하지 않은 상황이다. 따라서, 계산적 복잡도가 높아지고 에너지가 소비된다.

- 공간 디코더는 필터뱅크(QMF) 도메인에서 동작한다. 반면, HRTF 컨볼루션은 통상적으로 FFT 도메인에서 적용된다. 그러므로, 멀티-채널 QMF 합성 필터뱅크, 멀티-채널 DFT 변환, 및 스테레오 역 DFT 변환의 캐스케이드(cascade)가 필요하며, 그에 따라 높은 계산적 부담을 시스템에 초래한다.

- 멀티-채널 재구성을 생성하도록 공간 디코더에 의해 생성된 코딩 결과물은 들을 수 있으며, (스테레오) 바이노럴 출력에서 가능하도록 개선된다.

멀티-채널 엔코딩 및 디코딩에 관한 더 상세한 설명은 도 4 및 도 5를 참조하여 제공된다.

도 4에 도시된 공간 엔코더(100)는 제1 OTT(1-to-2-encoder)(102a), 제2 OTT(102b), 및 TTT 박스(3-to-2-encoder)(104)를 포함한다. LF, LS, C, RF, 및 RS(좌측-전방, 좌측-서라운드, 중앙, 우측-전방, 및 우측-서라운드) 채널들로 구성된 멀티-채널 입력 신호(106)는 공간 엔코더(100)에 의해 처리된다. OTT 박스는 2개의 입력 오디오 채널을 각각 수신하고, 하나의 모노포닉 오디오 출력 채널 및 관련 공간 파라미터들을 도출하는데, 상기 파라미터들은 서로에 대해 또는 출력 채널(예컨대, CLD, ICC, 파라미터들)에 대해 오리지널 채널의 공간적 속성들에 관한 정보를 갖는다. 엔코더(100)에서, LF 및 LS 채널들은 OTT 엔코더(102a)에 의해 처리되며, LF 및 RS 채널들은 OTT 엔코더(102b)에 의해 처리된다. 2개의 신호, L 및 R이 생성되는데, 하나의 신호 L은 좌측 부분에 관한 정보를 가지며, 다른 하나의 신호 R은 우측 부분에 관한 정보를 가진다. 신호들 L, R 및 C는 TTT 엔코더(104)에 의해 추가로 처리되어 스테레오 다운믹스 신호 및 파라미터들을 생성한다.

TTT 엔코더로부터 발생된 파라미터들은 통상적으로 각 파라미터 밴드를 위한 한 쌍의 예측 계수(prediction coefficients) 또는 3개의 입력 신호들의 에너지 비율(energy ratios)을 기술하는 한 쌍의 레벨 차이(level differences)로 구성되어 있다. 'OTT' 엔코더의 파라미터들은 각 주파수 밴드를 위한 입력 신호들 간의 레벨 차이 및 코히어런스값 또는 상호-상관값으로 이루어져 있다.

공간 엔코더(100)의 개략적인 구성이 엔코딩 동안 다운믹스 신호의 개별적인 채널들의 순차적인 처리를 가리키더라도, 하나의 단일 매트릭스 동작 내에서 엔코더(100)의 완전한 다운믹싱 프로세스를 구현할 수도 있다.

도 5는 대응하는 공간 디코더를 도시하는데, 이 공간 디코더는 도 4의 엔코더에 의해 제공되는 다운믹스 신호 및 대응하는 공간 파라미터를 입력으로서 수신한다.

공간 디코더(120)는 2-to-3-디코더(122) 및 1-to-2 디코더(124a 내지 124c)를 포함한다. 다운믹스 신호 L₀ 및 R₀는 중심 채널 C, 우측 채널 R 및 좌측 채널 L을 재생성하는 2-to-3-디코더(122)에 입력된다. 이들 3개의 채널은 OTT 디코 더(124a 내지 124c)에 의해 추가적으로 처리되어 6개의 출력 채널들을 산출한다. 낮은-주파수 개선 채널 LFE의 도출은 필수적이지 않으며, 하나의 단일 OTT 엔코더가 도 5에 도시된 서라운드 디코더(120) 내에 포함되도록 하여 생략될 수 있다.

본 발명의 일 실시예에 따라, 본 발명의 개념은 도 6에 도시된 바와 같이 디코더에 적용될 수 있다. 본 발명에 따른 디코더(200)는 2-to-3 디코더(104) 및 6개의 HRTF-필터(106a 내지 106f)를 포함한다. 스테레오 입력 신호(L₀, R₀)는 TTT-디코더(104)에 의해 처리되어 3개의 신호 L, C, 및 R을 도출한다. TTT-엔코더가 도 5에 도시된 것과 동일한 엔코더일 수 있고, 그에 따라 서브밴드 신호에 대해 동작할 수 있으므로 스테레오 입력 신호가 서브밴드 도메인 내에서 전달됨이 주지될 수 있다. 신호들 L, C, 및 R은 HRTF 필터들(106a 내지 106f)에 의한 HRTF 파라미터 프로세싱에 영향을 받는다.

결과적인 6개의 채널은 합산되어 스테레오 바이노럴 출력 쌍(L_b, R_b)을 발생한다.

TTT 디코더(106)는 다음 매트릭스 연산으로서 설명될 수 있다.

여기에서, 매트릭스 엔트리 m_xy는 공간 파라미터에 종속된다. 공간 파라미터와 매트릭스 엔트리 간의 관계는 5.1-멀티채널 MPEG 서라운드 디코더에서의 공간 파라미터와 매트릭스 엔트리 간의 관계와 동일하다. 결과적인 3개의 신호 R, L 및 C 각각은 2개로 분리되고 이들 서라운드 소스의 원하는(인지된) 위치에 대응하는 HRTF 파라미터를 이용하여 처리된다. 중심 채널(C)에 대해, 사운드 소스 위치의 공간 파라미터는 직접 적용되어, 중심에 대해 2개의 출력 신호 L_B(C) 및 R_B(C)가 된다.

좌측(L) 채널에 대해, 좌측-전방 및 좌측-서라운드 채널들로부터의 HRTF 파라미터들은 가중치(wights) W_lf 및 W_rf를 이용하여 하나의 HRTF 파라미터 셋(set)으로 결합된다.

그 결과에 따른 '복합(composite)' HRTF 파라미터들은 전방 채널 및 서라운드 채널의 양 채널의 효과를 통계적 감각(statistical sense)으로 시뮬레이트한다. 다음 수학식들은 좌측 채널에 대해 바이노럴 출력 쌍(L_B, R_B)을 발생시키는 데 사용된다.

유사한 방식으로, 우측 채널의 바이노럴 출력은 다음 수학식에 따라 획득된다.

L_B(C), R_B(C), L_B(L), R_B(L), L_B(R) 및 R_B(R)의 상기 정의가 주어지면, 완전 L_B 및 R_B 신호는 다음 스테레오 입력 신호가 부여된 하나의 2×2 매트릭스로부터 도출될 수 있다.

여기에서,

상기에서, Y=L₀,R₀ 및 X=L,R,C 에 대한 H_Y(X) 성분은 복소 스칼라인 것을 가정하였다. 그러나, 본 발명은 어떻게 2×2 매트릭스 바이노럴 디코더의 방식이 임의의 길이 HRTF 필터를 다루기 위해 확장되는지를 개시한다. 이를 달성하기 위해, 본 발명은 다음 단계들을 포함한다.

HRTF 필터 응답을 필터뱅크 도메인으로 변환한다

HRTF 필터 쌍으로부터 전체 지연차(delay difference) 또는 위상차를 추출한다

HRTF 필터 쌍의 응답을 CLD 파라미터의 함수로서 모핑(morphing)한다

이득을 조정한다

이는 Y=L₀,R₀ 및 X=L,R,C 에 대한 6개의 복소 이득 H_Y(X)을 6개의 필터로 대체함으로써 달성된다. 이들 필터는 Y=L₀,R₀ 및 X= Lf , Ls , Rf , Rs ,C 에 대한 10개의 필터 H_Y(X)로부터 도출되는데, 상기 필터 H_Y(X)는 QMF 도메인에서의 주어진 HRTF 필터 응답을 기술한다. 이들 QMF 표현은 이하의 문단들 중 하나에서 설명되는 방법에 따라 달성될 수 있다.

다시 말해, 본 발명은 이하의 수식에 따른 복소 선형 조합을 사용하여 전단(front end) 서라운드 채널 필터들의 변형(모핑)에 의해서와 같이 변경된 HRTF를 도출하는 개념을 개시한다.

상기 수학식으로부터 알수 있는 바와 같이, 변경된 HRTF를 도출하는 것은 추가적으로 위상 인자(phase factor)를 적용한 원래의 HRTF의 가중된 중첩(superposition)이며, 가중치 w_s, w_f는 도 5의 OTT 디코더(124a 및 124b)에 의해 사용되도록 의도된 CLD 파라미터에 좌우된다.

가중치 w_lf, w_ls는 Lf 및 Ls를 위한 'OTT' 박스의 CLD 파라미터에 좌우된다.

가중치 w_rf, w_rs는 Rf 및 Rs를 위한 'OTT' 박스의 CLD 파라미터에 좌우된다.

위상 파라미터 φ_XY는 전방 및 후방 HRTF 필터 사이의 메인 지연 시간차 τ_XY 및 QMF 뱅크의 서브밴드 인덱스 n으로부터 도출될 수 있다.

필터의 모핑에서 이 위상 파라미터의 역할은 2가지(twofold)이다. 먼저, 전방 스피터와 후방 스피커 간의 소스 위치에 대응하는 메인 지연 시간을 모델링하는 결합된 응답으로 이끄는 중첩 이전에 2개의 필터의 지연 보상을 실현한다. 두번째로, 필수적인 이득 보상 인자 g를 더 안정적으로 만들며 그리고 φ_XY=0과의 간단한 중첩의 경우에서 보다 주파수 상에서 매우 천천히 변화하도록 한다.

이득 인자 g는 다음의 인코히어런트 추가 파워 법칙에 의해 결정된다.

여기에서,

그리고, ρ_XY는 필터 사이의 정규화된 복소 상호 상관의 실수값이다.

상기 수학식에 대해, P는 인덱스에 의해 특정된 필터의 임펄스 응답에 대해 주파수 밴드당 평균 레벨을 기술하는 파라미터를 나타낸다. 이 평균 강도는 필터 응답 함수가 공지되면 용이하게 도출된다.

φ_XY=0과의 간단한 중첩의 경우, ρ_XY의 값은 주파수의 함수로서 산만하게 변동하는 방식(erratic and oscillatory manner)으로 변하는데, 이는 광범위한 이득 조정에 대한 필요성을 초래한다. 실제 구현에서, 이득 g의 값을 한정할 필요가 있으며, 신호의 남아있는 스펙트럼 컬러화(colorization)는 회피할 수 없다.

반면, 본 발명에 의해 개시된 바와 같이 지연 기반 위상 보상과의 모핑을 사용하면 주파수의 함수로서 ρ_XY의 완만한 동작이 가능하다. 이 값은 종종 자연적인 HRTF 도출된 필터 쌍들에 대해, 이들 필터쌍들이 지연 및 진폭에서 주로 서로 다르기 때문에 1에 가깝기조차 하며, 위상 파라미터의 목적은 지연차를 QMF 필터뱅크 도메인에서 고려되도록 하는 것이다.

본 발명에서 개시된 위상 파라미터 φ_XY의 다른 이득적인 선택은 필터들

사이의 정규화된 복소 상호 상관(normalized complex cross correlation)의 위상 각에 의해 그리고, 표준 위상 연속화 기술을 사용하여 QMF 뱅크의 서브밴드 인덱스 n의 함수로서 위상값을 연속화함으로써 주어진다. 이 선택은 ρ_XY가 네거티브 값을 가지지 않고 그에 따라 보상 이득 g는 모든 서브밴드에 대해

을 만족한다는 결론을 가진다. 게다가, 위상 파라미터의 선택은 메인 지연 시간차 τ_XY가 사용가능하지 않는 상황에서 전방 및 서라운드 채널 필터의 모핑을 가능하게 한다.

전술한 바와 같은 본 발명의 실시예에 대해, HRTF를 QMF 도메인 내에서의 HRTF 필터의 유효한 표현으로 정확하게 변환하는 것을 기술한다.

도 7은 시간 도메인 필터를 재구성된 신호에 대해 동일한 최종 효과를 갖는 서브밴드 도메인 내에서의 필터로의 정확한 변환에 대한 개념의 이론적인 개략도를 제공한다. 도 7은 복소 분석 뱅크(300), 분석 뱅크(300)에 대응하는 합성 뱅크(302), 필터 컨버터(304) 및 서브밴드 필터(306)를 포함한다.

입력 신호(310)는 필터(312)가 원하는 속성을 가지는 것으로 알려진 것에 대해 제공된다. 필터 컨버터(304)의 목적은 출력 신호(314)가 분석 필터뱅크(300), 후속하는 서브밴드 필터링(306) 및 합성(302)에 의한 분석 후에 필터(312)에 의해 시간 도메인에서 필터링될 때 가지게 될 특성과 동일한 특성을 가지도록 하는 것이다. 사용되는 다수의 서브밴드에 대응하는 다수의 서브밴드 필터를 제공하는 일은 필터 컨버터(304)에 의해 충족된다.

이하 설명은 복소 QMF 서브밴드 도메인에서 주어진 FIR 필터 h(v)를 구현하는 방법을 나타낸다. 동작 원리는 도 7에 도시되어 있다.

여기에서, 서브밴드 필터링은 단지 원래의 인덱스 C_n를 다음 수학식에 따라 그의 필터링된 대응물(counterpart) d_n으로 변환도록 각 서브밴드에 대해 하나의 복소 값을 갖는 FIR 필터의 적용(n=0, 1, ..., L-1)이다.

공지된 방법들은 더 긴 응답을 갖는 멀티밴드 필터링을 필요로 하기 때문에, 이는 크리티컬하게 샘플링된 필터뱅크를 위해 개발된 공지된 방법들과는 다르다. 핵심 구성요소는 어떤 시간 도메인 FIR 필터를 복소 서브밴드 도메인 필터로 변환하는 필터 컨버터이다. 복소 QMF 서브밴드 도메인은 오버샘플링되기 때문에, 소정의 시간 도메인 필터를 위한 정규 세트(canonical set)의 서브밴드 필터는 없다. 서로 다른 서브밴드 필터들은 시간 도메인 신호의 동일한 최종 효과를 가진다. 여기에서 설명하는 것은 특히 매력적인 근사 솔루션인데, 이는, 필터 컨버터를 QMF와 유사한 복소 분석 뱅크로 제한함으로써 달성된다.

필터 컨버터 프로토타입은 길이 64K_Q라고 가정하면, 리얼(real) 64K_H 탭 FIR 필터가 한 세트의 64개의 복소 K_H+K_Q-1 탭 서브밴드 필터로 변환된다. K_Q=3에 대해, 1024 탭의 FIR 필터는 50 dB의 근사 품질을 갖는 18 탭 서브밴드 필터링으로 변환된다.

서브밴드 필터 탭들은 다음 수학식으로부터 계산된다.

여기에서, q(v)는 QMF 프로토타입 필터로부터 도출된 FIR 프로토타입 필터이다. 보는 바와 같이, 이는 단지 주어진 필터 h(v)의 복소 필터뱅크 분석이다.

다음에는, 본 발명의 개념이 본 발명의 추가적인 실시예에 대해 기술되는데, 추가적인 실시예에서, 5개의 채널을 갖는 멀티-채널 신호를 위한 멀티-채널 파라메트릭 표현이 이용가능하다. 본 발명의 이 특정 실시예에서, 원래의 10개의 HRTF 필터들 V _Y _,X(예컨대, 도 1의 필터(12a 내지 12j)의 QMF 표현에 의해 주어진 바와 같이)은 Y= L,R 및 X=L,R,C에 대한 6개의 필터 h _V _,X로 모핑된다.

Y= L,R 및 X=FL,BL,FR,BR,C에 대한 10개의 필터 v _Y _,X는 하이브리드 QMF 도메인에서 소정의 HRTF 필터 응답을 나타낸다.

전방 및 서라운드 채널 필터의 조합은 이하의 수학식에 따라 복소 선형 조합으로 구현된다.

이득 인자 g_L _,L, g_L _,R, g_R _,L, g_R _,R은 다음 수학식에 의해 결정된다.

파라미터

및 위상 파라미터 φ는 다음과 같이 정의된다.

HRTF 필터에 대해 하이브리드 밴드당 평균 전방/후방 레벨 지수(level quotient)는 이하의 수학식에 의해 Y=L,R, 및 X=L,R에 대해 정의된다.

또한, 위상 파라미터들

은 그런 다음 이하의 수학식에 의해 Y=L,R, 및 X=L,R에 대해

에 의해 정의된다.

여기에서, 복소 상호 상관

이 다음 수학식에 의해 정의된다.

위상 연속화(phase unwrapping)는 서브밴드 인덱스 k를 따라 위상 파라미터들에 적용되며, 그에 따라 서브밴드 k에서부터 서브밴드 k+1 까지의 위상 증가분(phase increment)의 절대값은 k=0,1,...에 대하여 π보다 작거나 π와 동일하다. 증가분에 대하여 2개의 선택 ±π이 가능한 경우에, 간격 ]-π,π]에서 위상 측정을 위해 증가분의 부호가 선택된다. 최종적으로, 정규화된 위상 보상된 상호 상관은 Y=L,R, 및 X=L,R에 대해 다음 수학식에 의해 정의된다.

멀티-채널 프로세싱이 하이브리드 서브밴드 도메인, 즉 서브밴드들이 서로 다른 주파수 밴드들로 추가적으로 분해되는 도메인에서 수행되는 경우, HRTF 응답의 하이브리드 밴드 필터로의 맵핑은 예컨대, 다음과 같이 수행된다.

하이브리드 필터뱅크가 없는 경우, 소스 X=FL,BL,FR,BR,C로부터 타겟 Y=L,R까지의 10개의 주어진 HRTF 임펄스 응답은 모두 이하 설명되는 방법에 따라 QMF 서브밴드 필터들로 변환된다. 그 결과는 QMF 서브밴드 m=0,1,...,63 및 QMF 타임 슬롯 l=0,1,...,L_q 에 대해 이하의 성분을 갖는 10개의 서브밴드 필터

이다.

하이브리드 밴드 k에서 QMF 밴드 m까지의 인덱스 맵핑이 m=Q(k)에 의해 지시되는 것으로 한다.

그런 다음, 하이브리드 밴드 도메인에서 HRTF 필터 v _Y _,X는 다음 수학식에 의해 정의된다.

이전 문단에서 설명된 특정 실시예에 대해, HTRF 필터의 QMF 도메인으로의 필터 변환은 복소 QMF 서브밴드 도메인으로 전달될 길이 N_h의 FIR 필터 H(v)가 주어진 상태에서. 다음과 같이 구현될 수 있다.

서브밴드 필터링은 각 QMF 서브밴드(m=0,1,...,63)에 대해 하나의 복소 값을 가진 FIR 필터 h_m(l)의 분리된 적용으로 구성된다. 핵심 구성요소는 주어진 시간 도 메인 FIR 필터 h(v)를 복소 서브밴드 도메인 필터 h_m(l)로 변환하는 필터 컨버터이다. 필터 컨버터는 QMF 분석 뱅크와 유사한 복소 분석 뱅크이다. 이것의 프로토타입 필터 q(v)는 길이 192를 갖는다. 시간 도메인 FIR 필터의 제로들(zeros)에서의 확장은 다음 수학식에 의해 정의된다.

길이 L_q = K_h + 2 (여기에서,

)의 서브밴드 도메인 필터는 m=0,1,..., 63 및 l=0,1,..., K_h + 1에 대해 다음 수학식에 의해 주어진다.

본 발명의 개념이 2개의 채널을 갖는 다운믹스 신호, 즉 전송된 스테레오 신호에 관하여 설명되었더라도, 본 발명에 따른 개념의 적용이 스테레오-다운믹스 신호를 갖는 시나리오로 제한받는 것은 아니다.

요약하면, 본 발명은 파라메트릭 멀티-채널 신호의 바이노럴 렌더링(rendering)에 대해 긴 HRTF 또는 크로스토크 제거 필터를 사용하는 문제점에 관련된다. 본 발명은 파라메트릭 HRTF 방식을 임의의 길이의 HRTF 필터까지 확장하는 새로운 방법을 제시한다.

본 발명은 다음의 특징을 갖는다.

- 모든 매트릭스 성분이 FIR 필터 또는 임의의 길이(HRTF 필터에 의해 주어 짐)인 2×2 매트릭스와 스테레오 다운믹스 신호를 곱한다

- 2×2 매트릭스의 필터들을 전송된 멀티-채널 파라미터들에 기초하여 원래의 HRTF 필터를 모핑함으로써 도출한다

-올바른 스펙트럼 포락선(envelope) 및 전체적인 에너지가 획득되도록 HRTF 필터의 모핑을 계산한다.

도 8은 헤드폰 다운믹스 신호를 도출하는 본 발명에 따른 디코더(300)에 대한 일 예를 도시한다. 디코더는 필터 계산기(302) 및 합성기(304)를 포함한다. 필터 계산기는 제1 입력 레벨 파라미터(306) 및 제2 입력 HRTF(head-related transfer function)(308)로서 수신하여 변경된 HRTF(310)를 도출하는데, 상기 변경된 HRTF(310)는 서브밴드 도메인에서 신호에 적용될 때 시간 도메인에서 인가된 헤드-관련 전달 함수(308)와 신호에 대해 동일한 최종 효과를 갖는다. 변경된 HRTF(310)는 합성기(304)에 대한 제1 입력으로 작용하는데, 상기 합성기(304)는 서브밴드 도메인 내에서 다운믹스 신호(312)의 표현을 제2 입력으로서 수신한다. 다운믹스 신호(312)의 표현은 파라메트릭 멀티-채널 엔코더에 의해 도출되며, 멀티-채널 디코더에 의한 풀(full) 멀티-채널 신호의 재구성을 위한 기초로서 사용되도록 의도된다. 따라서, 합성기(404)는 변경된 HRTF(310) 및 다운믹스 신호(312)의 표현을 이용하여 헤드폰 다운믹스 신호(314)를 도출할 수 있다.

HRTF는 어떤 가능한 파라메트릭 표현, 예컨대 필터에 관련된 전달 함수로서, 필터의 임펄스 응답으로서, 또는 FIR 필터를 위한 일련의 탭 계수으로 제공될 수 있다.

이전의 예들은 다운믹스 신호의 표현이 이미 필터뱅크 표현으로서 즉, 필터뱅크에 의해 도출된 샘플로서 제공됨을 가정한다. 그러나, 실제 어플리케이션에서, 시간-도메인 다운믹스 신호가 통상적으로 공급되고 전송되어 간단한 재생 환경에서 제출된 신호의 직접적인 재생을 허용한다. 그러므로 도 9에서 바이노럴 호환 디코더(400)가 분석 필터뱅크(402) 및 합성 필터뱅크(404)를 포함하는 본 발명의 추가적인 실시예에서, 본 발명에 따른 디코더는 예컨대, 도 8의 디코더(300)가 될 수 있다. 디코더의 기능들 및 그에 관한 설명은 도 8 뿐만 아니라 도 9에서 적용가능하며, 디코더(300)의 설명은 다음 문단에서 생략한다.

분석 필터뱅크(402)는 멀티-채널 파라메트릭 엔코더에 의해 생성된 멀티-채널 신호(406)의 다운믹스를 수신한다. 분석 필터뱅크(402)는 수신된 다운믹스 신호(406)의 필터뱅크 표현을 도출하며, 다운믹스 신호(406)는 필터뱅크 도메인 내에서 헤드폰 다운믹스 신호(408)를 도출하는 디코더(300)에 입력된다. 즉, 다운믹스 신호는 분석 필터뱅크(402)에 의해 도입된 주파수 대역 내에서 다수의 샘플 또는 계수에 의해 표현된다. 그러므로, 시간 도메인에서 최종적인 헤드폰 다운믹스 신호(410)를 제공하기 위해, 헤드폰 다운믹스 신호(408)는 합성 필터뱅크(404)로 입력되며, 합성 필터뱅크는 스테레오 재생 기기에 의해 재생될 준비가 된 헤드폰 다운믹스 신호(410)를 도출한다.

도 10은 본 발명에 따른 오디오 디코더(501), 비트스트림 입력부(502) 및 오디오 출력부(504)를 포함하는 본 발명에 따른 수신기 또는 오디오 플레이어(500)를 도시한다.

비트스트림은 본 발명에 따른 수신기/오디오 플레이어(500)의 입력부(502)에 입력된다. 그런 다음 비트스트림은 디코더(501)에 의해 디코딩되며, 디코딩된 신호는 본 발명에 따른 수신기/오디오 플레이어(500)의 출력부(504)에서 출력되거나 재생된다.

전송된 스테레오 다운믹스에 좌우되는 본 발명에 따른 개념을 구현하기 위해 실시예들이 이전의 문단에서 도출되었더라도, 본 발명에 따른 개념은 또한 단일 모노포닉 다운믹스 채널 또는 2개 이상의 다운믹스 채널에 기반한 구성에 적용될 수도 있다.

헤드-관련된 전달 함수의 서브밴드 도메인으로의 이동의 하나의 특정 구현이 본 발명의 상세한 설명에서 주어졌다. 그러나. 서브밴드 필터를 도출하는 다른 기술이 또한 본 발명에 따른 개념을 한정하지 않고 사용될 수도 있다.

변경된 HRTF의 도출시에 도입된 위상 인자는 또한 상기 설명된 것과 다른 계산에 의해 도출될 수도 있다. 그러므로, 이러한 인자를 다른 방식으로 도출하는 것은 본 발명의 사상을 한정하지 않는다.

본 발명에 따른 개념이 HRTF 및 크로스토크 제거 필터에 대해 특히 도시되었더라도, 멀티 채널의 하나 이상의 개별적인 채널에 대해 정의된 다른 필터들에 대해서도 고품질 스테레오 재생 신호의 계산적으로 효율적인 생성을 허용하는데 사용될 수 있다. 게다가 필터는 청취 환경을 모델링하도록 의도된 필터에 한정되지 않는다. "인공의(artificial)" 성분을 신호에 추가하는 필터가 예컨대, 반 향(reverberation) 또는 다른 왜곡 필터와 같이 사용될 수 있다.

본 발명에 따른 방법의 어떤 구현 요구사항에 따라, 본 발명에 따른 방법은 하드웨어적으로 또는 소프트웨어적으로 구현될 수 있다. 이러한 구현은 전자적으로 판독가능한 제어 신호를 갖는 디지털 저장 매체, 특히, 플로피 디스크, CD, 또는 DVD 상에서 실행될 수 있는데, 이러한 디지털 저장 매체는 프로그래머블 컴퓨터 시스템과 연동하여 본 발명에 따른 오디오 데이텀을 분석하는 방법이 수행될 수 있다. 따라서, 일반적으로 본 발명은 컴퓨터 프로그램 제품이 컴퓨터 상에서 동작할 때 본 발명에 따른 방법을 실행하는 기계-판독가능한 캐리어 상에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품일 수 있다. 다시 말해, 본 발명은 컴퓨터 프로그램이 컴퓨터 또는 다른 프로세서 수단 상에서 동작할 때, 본 발명의 방법을 실행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서 구현될 수 있다.

본 발명이 특정 실시예를 참조하여 특히 도시되고 설명되었더라도, 당업자라면 본 발명의 형태 및 상세에서 다양한 변화가 본 발명의 사상 및 범위를 벗어나지 않고 만들어질 수 있음을 이해한다. 다양한 변화가 이하 청구의 범위에 나타나고 포괄된 더 넓은 개념을 벗어나지 않고 다른 실시예들에 적응적으로 만들어질 수 있음이 이해된다.

Claims

멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 그리고 상기 멀티-채널 신호의 2개의 채널 사이의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수(308)를 사용하여, 헤드폰 다운믹스 신호(314)를 도출하는 디코더에 있어서,

변경된 헤드-관련 전달 함수(310)가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수(308)보다 더 높은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수(308)에 의해 더 강하게 영향받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 가중치를 적용함으로써 변경된 헤드-관련 전달 함수(310)를 도출하는 필터 계산기(302); 및

상기 변경된 헤드-관련 전달 함수(310) 및 상기 다운믹스 신호(312)의 표현을 이용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 합성기(304)를 포함하는 디코더.
제1항에 있어서, 상기 필터 계산기(302)는 위상 시프트를 상기 2개의 채널의 헤드-관련 전달 함수(308)에 추가로 적용한 상기 변경된 헤드-관련 전달 함수(310)를 도출하도록 동작하여, 상기 더 낮은 레벨을 갖는 채널의 헤드-관련 전달 함수(308)가 더 높은 레벨을 갖는 채널 보다는 상기 2개의 채널의 상기 헤드-관련 전 달 함수(308)의 평균 위상에 가깝게 시프트되도록 하는, 디코더.
제1항에 있어서, 상기 필터 계산기(302)는, 상기 도출된 변경된 헤드-관련 전달 함수(310)의 갯수가 상기 2개의 채널의 상기 관련된 헤드-관련 전달 함수(308)의 갯수보다 작게 되도록 동작하는 디코더.
제1항에 있어서, 상기 필터 계산기(302)는 상기 다운믹스 신호의 필터뱅크 표현에 적용되도록 변경된 헤드-관련 전달 함수(310)를 도출하도록 동작하는 디코더.
제1항에 있어서, 필터뱅크 도메인에서 도출된 상기 다운믹스 신호의 표현을 사용하는 디코더.
제1항에 있어서, 상기 필터 계산기(302)는 3개 이상의 파라미터에 의해 특징 지워진 헤드-관련 전달 함수(308)를 사용하여 변경된 헤드-관련 전달 함수(310)를 도출하도록 동작하는 디코더.
제1항에 있어서, 상기 필터 계산기(302)는 상기 동일한 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 대한 가중 인자(weighting factor)를 도출하도록 동작하는 디코더.
제7항에 있어서, 상기 필터 계산기(302)는 다음 수학식

에 따라 레벨 파라미터 CLD₁을 사용하여 제1 채널 f를 위한 제1 가중 인자 w_lf 및 제2 채널을 위한 제2 가중 인자 w_ls를 도출하도록 동작하는 디코더.
제1항에 있어서, 상기 필터 계산기(302)는 상기 변경된 헤드-관련 전달 함수(310)를 도출할 때 에너지가 보존되도록 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 공통 이득 인자를 적용한, 변경된 헤드-관련 전달 함수(310)를 도출하도록 동작하는 디코더.
제9항에 있어서, 상기 공통 이득 인자는 (
,1) 간격 내에 있는 디코더.
제2항에 있어서, 상기 필터 계산기(302)는 상기 2개의 채널의 헤드-관련 전달 함수(308)의 임펄스 응답들 사이의 지연 시간을 사용하여 상기 평균 위상을 도출하도록 동작하는 디코더.
제11항에 있어서, 상기 필터 계산기(302)는 n개의 주파수 밴드를 갖는 필터뱅크 도메인에서 상기 지연 시간을 사용하여 각 주파수 밴드에 대해 개별적인 평균 위상 시프트를 도출하도록 동작하는 디코더.
제11항에 있어서, 상기 필터 계산기(302)는 2개 이상의 주파수 밴드를 갖는 필터뱅크 도메인에서 동작하고, 다음 수학식

에 따라 상기 지연 시간 τ_XY을 사용하여 각 주파수 밴드에 대해 개별적인 평균 위상 시프트 φ_XY를 도출하도록 동작하는 디코더.
제2항에 있어서, 상기 필터 계산기(302)는 제1 채널 및 제2 채널의 헤드-관련 전달 함수(308)의 임펄스 응답 사이의 정규화된 복소 상호 상관의 위상각을 이용하여 상기 평균 위상을 도출하도록 동작하는 디코더.
제1항에 있어서, 상기 2개의 채널중 제1 채널은 상기 멀티-채널 신호의 좌측 또는 우측의 전방 채널이며, 상기 2개의 채널중 제2 채널은 동일한 측의 후방 채널인 디코더.
제15항에 있어서, 상기 필터 계산기는 이하의 복소 선형 조합

을 이용하여(여기에서, φ_XY는 평균 위상이고, w_s 및 w_f는 상기 레벨 파라미터(306)를 이용하여 도출된 가중치 인자이며, g는 상기 레벨 파라미터(306)를 이용하여 도출된 공통 이득 인자임), 전방 채널 헤드-관련 전달 함수 H_Y(Xf) 및 후방 채 널 헤드-관련 전달 함수 H_Y(Xs)를 사용하여 상기 변경된 헤드-관련 전달 함수 H_Y(X)(310)를 도출하도록 동작하는 디코더.
제1항에 있어서, 좌측-전방, 좌측-서라운드, 우측-전방, 우측-서라운드 및 중심 채널을 갖는 멀티-채널 신호로부터 도출된 좌측 및 우측 채널을 갖는 다운믹스 신호(312)의 표현을 사용하는 디코더.
제1항에 있어서, 상기 합성기는 상기 변경된 헤드-관련 전달 함수(310)의 선형 조합을 상기 멀티-채널 신호의 다운믹스 신호(312)의 표현에 적용한 상기 헤드폰 다운믹스 신호(314)의 채널을 도출하도록 동작하는 디코더.
제18항에 있어서, 상기 합성기는 상기 레벨 파라미터(306)에 따라 상기 선형 조합을 위한 계수를 사용하도록 동작하는 디코더.
제18항에 있어서, 상기 합성기(304)는 상기 멀티-채널 신호의 추가적인 공간 적 속성에 관련된 추가적인 멀티-채널 파라미터에 따라 상기 선형 조합을 위한 계수를 사용하도록 동작하는 디코더.
바이노럴 디코더(binaural decoder)에 있어서,

청구항 제1항에 따른 디코더;

상기 멀티 채널 신호의 다운믹스를 서브밴드-필터링함으로써 상기 멀티-채널 신호(312)의 다운믹스 신호의 표현을 도출하는 분석 필터뱅크; 및

상기 헤드폰 다운믹스 신호(314)를 합성함으로써 시간 도메인 헤드폰 신호를 도출하는 합성 필터뱅크를 포함하는 바이노럴 디코더.
멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 크로스토크 제거 필터를 사용하여 공간적 스테레오 다운믹스 신호를 도출하는 디코더에 있어서,

변경된 크로스토크 제거 필터가 더 낮은 레벨을 갖는 채널의 상기 크로스토크 제거 필터보다는 더 높은 레벨을 갖는 채널의 크로스토크 제거 필터에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 크로스토크 제거 필터에 가중치를 적용함으로써, 변경된 크로스토크 제거 필터 를 도출하는 필터 계산기(302); 및

상기 변경된 크로스토크 제거 필터 및 상기 다운믹스 신호(312)의 표현을 사용하여 상기 공간적 스테레오 다운믹스 신호를 도출하는 합성기(304)를 포함하는 디코더.
멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달함수(308)를 사용하여 헤드폰 다운믹스 신호(314)를 도출하는 방법에 있어서,

변경된 헤드-관련 전달함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달함수에 가중치를 적용함으로써, 변경된 헤드-관련 전달함수(310)를 도출하는 단계; 및

상기 변경된 헤드-관련 전달함수(310) 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 단계를 포함하는 헤드폰 다운믹스 신호 도출 방법.
멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수(308)를 사용하여 헤드폰 다운믹스 신호(314)를 도출하는 디코더를 갖는 수신기 또는 오디오 플레이어에 있어서,

변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수(310)를 도출하는 필터 계산기; 및

상기 변경된 헤드-관련 전달 함수(310) 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 합성기를 포함하는 수신기 또는 오디오 플레이어.
오디오를 수신하거나 재생하는 방법으로서, 상기 방법은 멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수(308)를 사용하여, 헤드폰 다운믹스 신호(314)를 도출하는 방법을 포함하는데, 상기 오디오 수신 또는 재 생 방법은

변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수를 도출하는 단계; 및

상기 변경된 헤드-관련 전달 함수(310) 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 단계를 포함하는 오디오 수신 또는 재생 방법.
멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수(308)를 사용하여 헤드폰 다운믹스 신호(314)를 도출하는 방법을 컴퓨터 상에서 실행할 때 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서, 상기 방법은,

변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수 를 도출하는 단계; 및

상기 변경된 헤드-관련 전달 함수(310) 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 단계를 포함하는 컴퓨터 프로그램.
멀티-채널 신호(312)의 다운믹스 표현을 사용하여, 상기 멀티-채널 신호의 2개의 채널 간의 레벨 관계에 관한 정보를 갖는 레벨 파라미터(306)를 사용하여, 그리고 상기 멀티-채널 신호의 상기 2개의 채널에 관련된 헤드-관련 전달 함수(308)를 사용하여 헤드폰 다운믹스 신호(314)를 도출하는 방법을 포함하는, 오디오를 수신 또는 재생하는 방법을 컴퓨터 상에서 실행할 때 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서, 상기 방법은,

변경된 헤드-관련 전달 함수가 더 낮은 레벨을 갖는 채널의 상기 헤드-관련 전달 함수보다는 더 높은 레벨을 갖는 채널의 헤드-관련 전달 함수에 의해 더 강하게 영향을 받도록, 상기 레벨 파라미터(306)를 사용하여 상기 2개의 채널의 상기 헤드-관련 전달 함수(308)에 가중치를 적용함으로써, 변경된 헤드-관련 전달 함수를 도출하는 단계; 및

상기 변경된 헤드-관련 전달 함수(310) 및 상기 다운믹스 신호의 표현을 사용하여 상기 헤드폰 다운믹스 신호(314)를 도출하는 단계를 포함하는 컴퓨터 프로그램.