KR102201308B1 - 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 - Google Patents
상관해제 필터들의 적응적 제어를 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102201308B1 KR102201308B1 KR1020197017588A KR20197017588A KR102201308B1 KR 102201308 B1 KR102201308 B1 KR 102201308B1 KR 1020197017588 A KR1020197017588 A KR 1020197017588A KR 20197017588 A KR20197017588 A KR 20197017588A KR 102201308 B1 KR102201308 B1 KR 102201308B1
- Authority
- KR
- South Korea
- Prior art keywords
- decorrelation
- audio
- parameter
- control parameter
- audio decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003044 adaptive effect Effects 0.000 title description 3
- 230000005236 sound signal Effects 0.000 claims abstract description 21
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 description 10
- 230000001427 coherent effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Filters That Use Time-Delay Elements (AREA)
Abstract
상관해제기를 적응적으로 조정하기 위한 오디오 신호 프로세싱 방법 및 장치. 그 방법은 제어 파라미터를 획득하는 단계와 제어 파라미터의 평균 및 변동을 계산하는 단계를 포함한다. 제어 파라미터의 변동과 평균의 비율이 계산되고, 상관해제 파라미터가 상기 비율에 기초하여 계산된다. 상관해제 파라미터는 그 다음에 상관해제기에 제공된다.
Description
본 출원은 공간적 오디오 코딩 및 렌더링에 관한 것이다.
공간적 또는 3D 오디오는 다양한 종류들의 멀티채널 오디오 신호들을 표시하는 일반 공식화이다. 캡처링 및 렌더링 방법들에 의존하여, 오디오 장면은 공간적 오디오 포맷에 의해 표현된다. 캡처링 방법(마이크로폰들)에 의해 정의되는 전형적인 공간적 오디오 포맷들은 예를 들어 스테레오, 바이너럴(binaural), 앰비소닉스(ambisonics) 등으로서 표시된다. 공간적 오디오 렌더링 시스템들(헤드폰들 또는 라우드스피커들)은 스테레오(좌측 및 우측 채널들 2.0) 또는 더 고급의 멀티채널 오디오 신호들(2.1, 5.1, 7.1 등)로 공간적 오디오 장면들을 렌더링할 수 있다.
이러한 오디오 신호들의 송신 및 조작을 위한 최근의 기술들은 최종 사용자가 더 나은 양해도(intelligibility) 뿐만 아니라 증강 현실을 종종 초래하는 더 높은 공간적 품질을 갖는 향상된 오디오 경험을 하는 것을 허용한다. 공간적 오디오 코딩 기법들, 이를테면 MPEG 서라운드 또는 MPEG-H 3D 오디오는, 예를 들어, 인터넷을 통한 스트리밍과 같은 데이터 레이트 제약 애플리케이션들과 호환되는 공간적 오디오 신호들의 콤팩트 표현을 생성한다. 그러나 공간적 오디오 신호들의 송신은 데이터 레이트 제약이 강할 때 제한되고 그러므로 디코딩된 오디오 채널들의 포스트 프로세싱은 공간적 오디오 플레이백을 향상시키는 데 또한 사용된다. 흔히 사용되는 기법들은 예를 들어 디코딩된 모노 또는 스테레오 신호들을 멀티채널 오디오(5.1 채널 이상)로 맹목적으로 업믹싱할 수 있다.
공간적 오디오 장면들을 효율적으로 렌더링하기 위하여, 공간적 오디오 코딩 및 프로세싱 기술들은 멀티채널 오디오 신호의 공간적 특성들을 이용한다. 특히, 공간적 오디오 캡처의 채널들 사이의 시간 및 레벨 차이들은 공간에서의 방향성 사운드들에 대한 우리의 지각을 특징짓는 귀 간 단서들(inter-aural cues)을 근사화하는 데 사용된다. 채널 간 시간 차이(inter-channel time difference) 및 채널 간 레벨 차이(inter-channel level difference)가 청각계가 검출할 수 있는 것(즉, 귀 입구들에서의 귀 간 시간 및 레벨 차이들)의 단지 근사치이기 때문에, 채널 간 시간 차이가 지각적 양태와 관련이 있다는 것은 매우 중요하다. 채널 간 시간 차이(ICTD) 및 채널 간 레벨 차이(ICLD)는 멀티채널 오디오 신호들의 방향성 성분들을 모델링하는 데 흔히 사용되는 한편 채널 간 상호 상관(inter-channel cross-correlation)(ICC) ― 이는 귀 간 상호 상관(inter-aural cross-correlation)(IACC)을 모델링함 ― 은 오디오 이미지의 폭을 특징짓는 데 사용된다. 특히 더 낮은 주파수들의 경우 스테레오 이미지는 채널 간 위상 차이들(inter-channel phase differences)(ICPD)로 또한 모델링될 수 있다.
공간적 청지각(auditory perception)에 관련 있는 바이너럴 단서들은 귀 간 레벨 차이(inter-aural level difference)(ILD), 귀 간 시간 차이(inter-aural time difference)(ITD) 및 귀 간 가간섭성 또는 상관(inter-aural coherence 또는 correlation)(IC 또는 IACC)라 지칭됨에 주의해야 한다. 일반 멀티채널 신호들을 고려할 때, 채널들에 관련된 대응하는 단서들은 채널 간 레벨 차이(ICLD), 채널 간 시간 차이(ICTD) 및 채널 간 가간섭성 또는 상관(ICC)이다. 공간적 오디오 프로세싱이 대부분은 캡처된 오디오 채널들에 대해 동작하기 때문에, "C"는 때때로 버려지고 ITD, ILD 및 IC라는 용어들이 또한 오디오 채널들을 언급할 때 종종 사용된다. 도 1은 이들 파라미터들의 예시를 제공한다. 도 1에서 5.1 서라운드 시스템(5 개별(discrete) + 1 저주파 효과)을 이용한 공간적 오디오 플레이백이 도시된다. ICTD, ICLD 및 ICC와 같은 채널 간 파라미터들이 공간에서의 사운드의 인간 지각을 모델링하는 ITD, ILD 및 IACC를 근사화하기 위하여 오디오 채널들로부터 추출된다.
도 2에서, 파라메트릭 공간적 오디오 분석을 채용하는 전형적인 셋업이 도시된다. 도 2는 파라메트릭 스테레오 코더의 기본 블록도를 예시한다. 스테레오 신호 쌍이 스테레오 인코더(201)에 입력된다. 파라미터 추출부(202)는 다운믹스 프로세스를 돕는데, 다운믹스 프로세스에서 다운믹서(204)가 모노 인코더(206)로 인코딩될 두 개의 입력 채널들의 단일 채널 표현을 준비한다. 추출된 파라미터들은 파라미터 인코더(208)에 의해 인코딩된다. 다시 말하면, 스테레오 채널들은 공간적 이미지를 기술하는 인코딩된 파라미터들(205)과 함께 인코딩되어 디코더(203)에 송신되는 모노 신호(207)로 다운믹싱된다. 보통 스테레오 파라미터들의 일부는 등가 직사각형 대역폭(equivalent rectangular bandwidth)(ERB) 스케일과 같은 지각 주파수 스케일의 스펙트럼 서브 대역들로 표현된다. 디코더는 디코딩된 모노 신호 및 송신된 파라미터들에 기초하여 스테레오 합성을 수행한다. 다시 말하면, 디코더는 모노 디코더(210)를 사용하여 단일 채널을 복원하고 파라메트릭 표현을 사용하여 스테레오 채널들을 합성한다. 디코딩된 모노 신호와 수신된 인코딩된 파라미터들은, 파라미터들을 디코딩하며, 디코딩된 파라미터들을 사용하여 스테레오 채널들을 합성하고, 합성된 스테레오 신호 쌍을 출력하는 파라메트릭 합성 유닛(212) 또는 프로세스에 입력된다.
인코딩된 파라미터들이 인간 청각계를 위한 공간적 오디오를 렌더링하는 데 사용되기 때문에, 채널 간 파라미터들은 최대화된 지각된 품질을 위한 지각 고려사항들로 추출하고 인코딩하는 것이 중요하다.
사이드 채널이 명시적으로 코딩되지 않을 수 있기 때문에, 사이드 채널은 중간 채널의 상관해제(decorrelation)에 의해 근사화될 수 있다. 상관해제 기법은 통상적으로 미세 구조 관점에서 입력 신호와는 비가간섭성(incoherent)인 출력 신호를 생성하는 데 사용되는 필터링 방법이다. 상관해제된 신호의 스펙트럼적 포락선 및 시간적 포락선은 이상적으로 유지될 것이다. 상관해제 필터들은 통상적으로 입력 신호의 위상 수정들을 갖는 전역통과(all-pass) 필터들이다.
실시예들의 본질은 멀티채널 오디오 디코더에서 이용되는 비가간섭성 신호 성분들의 표현에 대한 상관해제기의 특성의 적응적 제어이다. 그 적응은 송신된 성능 측정값과 그것이 시간 경과에 따라 어떻게 변화하는지에 기초한다. 상관해제기의 상이한 양태들은 입력 신호의 특성과 일치되기 위하여 동일한 기본 방법을 사용하여 적응적으로 제어될 수 있다. 상관해제 특성의 가장 중요한 양태들 중 하나는 상관해제기 필터 길이의 선택인데, 이는 상세한 설명에서 설명된다. 상관해제된 성분의 강도의 제어 또는 입력 신호의 특성과 일치하도록 적응적으로 제어될 필요가 있을 수 있는 다른 양태들과 같은 상관해제기의 다른 양태들은 유사한 방식으로 적응적으로 제어될 수 있다.
제공되는 것은 상관해제 필터 길이의 적응을 위한 방법이다. 그 방법은 제어 파라미터를 수신 또는 획득하는 단계와, 제어 파라미터의 평균 및 변동을 계산하는 단계를 포함한다. 제어 파라미터의 변동과 평균의 비율이 계산되고, 최적 또는 타겟이 된 상관해제 필터 길이가 현재 비율에 기초하여 계산된다. 최적 또는 타겟이 된 상관해제 필터 길이는 상관해제기에 그 다음에 적용되거나 또는 제공된다.
제1 양태에 따르면 상관해제기를 적응적으로 조정하기 위한 오디오 신호 프로세싱 방법이 제시된다. 그 방법은 제어 파라미터를 획득하는 단계와, 제어 파라미터의 평균 및 변동을 계산하는 단계를 포함한다. 제어 파라미터의 변동과 평균의 비율이 계산되고, 상관해제 파라미터가 상기 비율에 기초하여 계산된다. 상관해제 파라미터는 그 다음에 상관해제기에 제공된다.
그 제어 파라미터는 성능 측정값일 수 있다. 성능 측정값은 추정된 잔향 길이, 상관 측정값들, 공간적 폭의 추정값 또는 예측 이득으로부터 획득될 수 있다.
제어 파라미터는 인코더, 이를테면 파라메트릭 스테레오 인코더로부터 수신되거나, 또는 디코더에서 이미 이용 가능한 정보로부터 또는 이용 가능한 정보 및 송신된 정보(즉, 디코더에 의해 수신된 정보)의 조합에 의해 획득된다.
상관해제 필터 길이의 적응은 각각의 주파수 대역이 최적의 상관해제 필터 길이를 가질 수 있도록 적어도 두 개의 서브 대역들에서 행해질 수 있다. 이는 타겟이 된 길이보다 더 짧거나 또는 더 긴 필터들이 특정한 주파수 서브 대역들 또는 계수들에 대해 사용될 수 있다는 것을 의미한다.
그 방법은 파라메트릭 스테레오 디코더 또는 스테레오 오디오 코덱에 의해 수행된다.
제2 양태에 따르면 상관해제기를 적응적으로 조정하기 위한 장치가 제공된다. 그 장치는 프로세서와 메모리를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능하여 상기 장치가 제어 파라미터를 획득하도록 그리고 제어 파라미터의 평균 및 변동을 계산하도록 동작하게 하는 명령들을 포함한다. 그 장치는 제어 파라미터의 변동과 평균의 비율을 계산하도록, 그리고, 상기 비율에 기초하여 상관해제 파라미터를 계산하도록 동작된다. 그 장치는 상관해제기에 상관해제 파라미터를 제공하도록 추가로 동작된다.
제3 양태에 따르면, 프로세서에 의해 실행될 때, 장치로 하여금 제1 양태의 방법의 액션들을 수행하게 하는 명령들을 포함하는 컴퓨터 프로그램이 제공된다.
제4 양태에 따르면, 프로세서로 하여금 제1 양태를 프로세스들을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체에 수록되는 컴퓨터 프로그램 제품이 제공된다.
제5 양태에 따르면 상관해제기를 적응적으로 조정하기 위한 오디오 신호 프로세싱 방법이 제공된다. 그 방법은 제어 파라미터를 획득하는 단계와 상기 제어 파라미터의 변동에 기초하여 타겟이 된 상관해제 파라미터를 계산하는 단계를 포함한다.
제6 양태에 따르면 제5 양태의 방법을 수행하는 수단을 포함하는 멀티채널 오디오 코덱이 제공된다.
본 발명의 예시적인 실시예들의 더욱 완전한 이해를 위해, 지금부터 첨부 도면들에 관련하여 취해진 다음의 설명이 이제 참조될 것인데, 도면들 중:
도 1은 5.1 서라운드 시스템을 이용한 공간적 오디오 플레이백을 예시한다.
도 2는 파라메트릭 스테레오 코더의 기본 블록도를 예시한다.
도 3은 IACC의 함수로서 청각 대상(auditory object)의 폭을 예시한다.
도 4는 오디오 신호의 일 예를 도시한다.
도 5는 일 실시예에 따른 방법을 설명하는 블록도이다.
도 6은 대체 실시예에 따른 방법을 설명하는 블록도이다.
도 7은 장치의 일 예를 도시한다.
도 8은 상관해제 필터 길이 계산기를 포함하는 디바이스를 도시한다.
도 1은 5.1 서라운드 시스템을 이용한 공간적 오디오 플레이백을 예시한다.
도 2는 파라메트릭 스테레오 코더의 기본 블록도를 예시한다.
도 3은 IACC의 함수로서 청각 대상(auditory object)의 폭을 예시한다.
도 4는 오디오 신호의 일 예를 도시한다.
도 5는 일 실시예에 따른 방법을 설명하는 블록도이다.
도 6은 대체 실시예에 따른 방법을 설명하는 블록도이다.
도 7은 장치의 일 예를 도시한다.
도 8은 상관해제 필터 길이 계산기를 포함하는 디바이스를 도시한다.
본 발명의 예시적 실시예 및 그것의 잠재적 이점들이 도면들 중 도 1 내지 도 8을 참조하여 이해된다.
비가간섭성 신호 성분들의 표현을 위한 현존 해법들은 시불변 상관해제 필터들에 기초하고 디코딩된 멀티채널 오디오에서의 비가간섭성 성분들의 양은 상관해제된 신호 성분 및 비-상관해제된 신호 성분의 혼합에 의해 제어된다.
이러한 시불변 상관해제 필터들의 문제가 상관해제된 신호는 청각적 장면에서의 변동들에 의해 영향을 받는 입력 신호들의 성질에 적응되지 않을 것이라는 것이다. 예를 들어, 낮은 리버브(reverb) 환경에서의 단일 스피치 소스의 녹음에서의 앰비언스(ambience)는 잔향이 상당히 더 긴 대형 콘서트 홀에서의 심포니 오케스트라의 녹음물을 위한 것과 동일한 필터로부터의 상관해제된 신호 성분들에 의해 표현될 수 있다. 심지어 상관해제된 성분들의 양이 시간 경과에 따라 제어되더라도 상관해제물의 잔향 길이 및 다른 성질들은 제어되지 않는다. 이는 낮은 리버브 녹음 사운드에 대한 앰비언스가 너무 웅대해지게 하는 한편 높은 리버브 녹음에 대한 청각적 장면은 너무 좁은 것으로 지각될 수 있다. 낮은 리버브 녹음들을 위한 바람직한 짧은 잔향 길이가 더 웅대한(spacious) 녹음물들의 녹음에 금속성이고 부자연스러운 앰비언스를 종종 초래한다.
제안된 해법은 비가간섭성 오디오가 시간 경과에 따라 어떻게 변화하는지를 고려함으로써 비가간섭성 오디오 신호들의 제어를 개선시키고 그 정보를 상관해제의 특성, 예컨대, 잔향 길이를 적응적으로 제어하기 위해, 디코딩되고 렌더링된 멀티채널 오디오 신호에서의 비가간섭성 성분들의 표현에서 사용한다.
적응은 인코더에서의 입력 신호들의 신호 성질들에 기초할 수 있고 디코더로의 하나의 제어 파라미터 또는 여러 제어 파라미터들의 송신에 의해 제어될 수 있다. 대안적으로, 이는 명시적 제어 파라미터의 송신 없이, 디코더에서 이미 이용 가능한 정보에 의해 또는 이용 가능한 정보와 송신된 정보(즉, 디코더에 의해 인코더로부터 수신된 정보)의 조합에 의해 제어될 수 있다.
송신된 제어 파라미터가, 예를 들어, 공간적 성질들의 파라메트릭 디스크립션의 추정된 성능, 즉, 2 채널 입력의 경우의 스테레오 이미지기에 기초할 수 있다. 다시 말하면, 제어 파라미터는 성능 측정값일 수 있다. 성능 측정값은 추정된 잔향 길이, 상관 측정값들, 공간적 폭의 추정값 또는 예측 이득으로부터 획득될 수 있다.
그 해법은 다양한 신호 유형들, 이를테면 낮은 잔향을 갖는 클린 스피치(clean speech) 신호들 또는 큰 잔향 및 넓은 오디오 장면을 갖는 웅대한 음악 신호들에 대한 지각된 품질을 개선시키는 디코딩된 렌더링된 오디오 신호들에서의 잔향의 더 나은 제어를 제공한다.
실시예들의 본질은 멀티채널 오디오 디코더에서 이용되는 비가간섭성 신호 성분들의 표현에 대한 상관해제 필터 길이의 적응적 제어이다. 그 적응은 송신된 성능 측정값과 그것이 시간 경과에 따라 어떻게 변화하는지에 기초한다. 덧붙여서, 상관해제된 성분의 강도는 상관해제 길이와는 동일한 제어 파라미터에 기초하여 제어될 수 있다.
제안된 해법은 주파수 대역들의 주파수 계수들에 대한 프로세싱을 위해, 예컨대, 이산 푸리에 변환(Discrete Fourier Transform)(DFT)을 이용하여, 필터뱅크 또는 변환 도메인에서의 주파수 대역들에 대한 시간 도메인에서의 프레임들 또는 샘플들에 대해 동작할 수 있다. 하나의 도메인에서 수행되는 동작들은 다른 도메인에서 동일하게 수행될 수 있고 주어진 실시예들은 예시된 도메인으로 제한되지 않는다.
하나의 실시예에서, 제안된 해법은 코딩된 다운믹스 채널 및 공간적 성질들의 파라메트릭 디스크립션을 갖는, 즉, 도 2에 예시된 바와 같은 스테레오 오디오 코덱에 이용된다. 파라메트릭 분석은 합성된 스테레오 오디오에서 지각된 비가간섭성 성분들의 양을 적응적으로 조정하는 데 사용될 수 있는 채널들 간의 비가간섭성 성분들을 기술하는 하나 이상의 파라미터들을 추출할 수 있다. 도 3에 예시된 바와 같이, IACC, 즉, 채널들 간의 가간섭성은 공간적 청각 대상 또는 장면의 지각되는 폭에 영향을 미칠 것이다. IACC가 감소할 때, 사운드가 두 개의 별개의 비상관된(uncorrelated) 오디오 소스들로서 지각되기까지 소스 폭은 증가한다. 스테레오 녹음에서 넓은 앰비언스를 표현할 수 있기 위하여, 채널들 간의 비가간섭성 성분들은 디코더에서 합성되어야 한다.
두 개의 입력 채널들(X 및 Y) 중 다운믹스 채널이 다음의 수학식으로부터 획득될 수 있으며
여기서 M은 다운믹스 채널이고 S는 사이드 채널이다. 다운믹스 매트릭스 U 1은 M 채널 에너지가 최대화되고 S 채널 에너지가 최소화되도록 선택될 수 있다. 다운믹스 동작은 입력 신호들의 위상 또는 시간 정렬을 포함할 수 있다. 패시브 다운믹스의 일 예가 다음의 수학식에 의해 주어진다
사이드 채널 S는 명시적으로 인코딩될 수 없지만, 예를 들어 
가 디코딩된 중간 채널 
으로부터 예측되고 공간적 합성을 위해 디코더에서 사용되는 예측 필터를 사용함으로써 파라미터적으로 모델링될 수 있다. 이 경우 예측 파라미터들, 예컨대, 예측 필터 계수들은, 인코딩되고 디코더로 송신될 수 있다.
사이드 채널을 모델링하는 다른 방법은 그것을 중간 채널의 상관해제에 의해 근사화하는 것이다. 상관해제 기법은 통상적으로 미세 구조 관점에서 입력 신호와는 비가간섭성인 출력 신호를 생성하는 데 사용되는 필터링 방법이다. 상관해제된 신호의 스펙트럼적 포락선 및 시간적 포락선은 이상적으로 유지될 것이다. 상관해제 필터들은 통상적으로 입력 신호의 위상 수정들을 갖는 전역통과 필터들이다.
이 실시예에서, 제안된 해법은 파라메트릭 스테레오 디코더에서 공간적 합성을 위해 사용되는 상관해제기를 적응적으로 조정하는 데 사용된다.
인코딩된 모노 채널 
의 공간적 렌더링(업믹스)이 다음의 수학식에 의해 획득되며
여기서 U 2는 업믹스 매트릭스이고 D는 미세 구조 관점에서 
에 대해 이상적으로 비상관된다. 업믹스 매트릭스는 합성된 좌측(
) 및 우측(
) 채널에서 
및 D의 양을 제어한다. 업믹스는 추가적인 신호 성분들, 이를테면 코딩된 잔차 신호를 또한 수반할 수 있다는 것에 주의한다.
ILD 및 ICC의 송신물과 함께 파라메트릭 스테레오에서 이용되는 업믹스 매트릭스의 일 예가 다음의 수학식에 의해 주어지며
여기서
회전 각도 
는 합성된 채널들 간의 상관의 양을 결정하는 데 사용되고 다음의 수학식에 의해 주어진다
전체 회전 각도 
는 다음의 수학식으로서 획득된다
두 개의 채널들(
및 
) 사이의 ILD는 다음의 수학식에 의해 주어지며
여기서 
은 N 개 샘플들의 프레임에 대한 샘플 인덱스이다.
채널들 간의 가간섭성은 채널 간 상호 상관(ICC)을 통해 추정될 수 있다. 기존의 ICC 추정은 두 개의 파형들(
및 
) 간의 유사도의 측정값인 상호 상관 함수(cross-correlation function)(CCF) 
의 의존하고, 다음의 수학식과 같이 시간 도메인에서 일반적으로 정의되며
여기서 
는 시간 지체(time-lag)이고 
는 기대값 연산자이다. 길이 N의 신호 프레임의 경우 상호 상관은 다음의 수학식으로서 통상적으로 추정된다.
그러면 ICC는 다음 수학식과 같이 신호 에너지들에 의해 정규화된 CCF의 최대로서 획득된다.
추가적인 파라미터들은 스테레오 이미지의 디스크립션에서 사용될 수 있다. 이것들은 예를 들어 채널들 간의 위상 또는 시간 차이들을 반영할 수 있다.
상관해제 필터가 n 및 k가 각각 샘플 및 주파수 인덱스인 DFT 도메인에서의 자신의 임펄스 응답 
또는 전달 함수 
에 의해 정의될 수 있다. DFT 도메인에서 상관해제된 신호(
)가 다음의 수학식에 의해 획득되며
여기서 k는 주파수 계수 인덱스이다. 시간 도메인에서 동작하면 상관해제된 신호가 다음의 수학식의 필터링에 의해 획득되며
여기서 n은 샘플 인덱스이다.
하나의 실시예에서 
개의 직렬로 접속된 전역통과 필터들에 기초한 잔향기(reverberator)가 다음의 수학식으로서 획득되며
여기서 
및 
는 쇠퇴(decay) 및 피드백의 지연이다. 이는 상관해제를 위해 사용될 수 있는 잔향기의 일 예일뿐이고 분수 샘플 지연들이 예를 들어 이용될 수 있는 대체 잔향기들이 존재한다. 쇠퇴 팩터들 
는 간격 [0,1)에서 선택될 수 있는데 1보다 더 큰 값이 불안정한 필터를 초래할 수 있기 때문이다. 쇠퇴 팩터 
=0을 선택함으로써, 필터는 
개 샘플들의 지연일 것이다. 그 경우, 필터 길이는 잔향기에서의 필터 세트 중에서 최대 지연 
에 의해 주어질 것이다.
멀티채널 오디오, 또는 이 예에서 2 채널 오디오는, 신호 특성들에 의존하는 채널들 간의 가변하는 가간섭성의 양을 당연히 가진다. 잘 감쇠된 환경에서 녹음되는 단일 스피커의 경우 채널들 간에 높은 가간섭성을 초래할 낮은 양의 반사들 및 잔향이 있을 것이다. 잔향이 증가함에 따라 가간섭성은 일반적으로 감소할 것이다. 이는, 낮은 양의 잡음 및 앰비언스를 갖는 클린 스피치 신호들의 경우, 상관해제 필터의 길이가 아마도 잔향 환경에서 단일 스피커의 경우보다 더 짧아야 함을 의미한다. 상관해제기 필터의 길이는 생성된 상관해제된 신호의 특성을 제어하는 하나의 중요한 파라미터이다. 본 발명의 실시예들은 상관해제된 신호의 레벨 제어에 관련된 파라미터들과 같은 상관해제된 신호의 특성을 입력 신호의 특성에 일치시키기 위하여 다른 파라미터들을 적응적으로 제어하는 데 또한 사용될 수 있다.
비가간섭성 신호 성분들의 렌더링을 위해 잔향기를 이용함으로써 지연의 양은 인코딩된 오디오의 상이한 공간적 특성들에 적응하기 위하여 제어될 수 있다. 더 일반적으로 상관해제 필터의 임펄스 응답의 길이를 제어할 수 있다. 위에서 언급된 바와 같이 필터 길이를 제어하는 것은 피드백 없이 잔향기의 지연을 제어하는 것과 동등할 수 있다.
하나의 실시예에서 이 경우 필터 길이와 동등한, 피드백이 없는 잔향기의 지연(d)은 다음 수학식의 제어 파라미터 c 1의 함수 
이다
송신된 제어 파라미터가, 예를 들어, 공간적 성질들의 파라메트릭 디스크립션의 추정된 성능, 즉, 2 채널 입력의 경우의 스테레오 이미지기에 기초할 수 있다. 성능 측정값(r)은 추정된 잔향 길이, 상관 측정값들, 공간적 폭 또는 예측 이득의 추정값으로부터 획득될 수 있다. 그러면 상관해제 필터 길이(d)는 이 성능 측정값에 기초하여 제어될 수 있으며, 즉, c 1은 성능 측정값(r)이다. 적합한 제어 함수 
의 하나의 예가 다음의 수학식에 의해 주어지며
여기서 
은 통상적으로 
가 최대 허용된 지연인 범위 
에서의 튜닝 파라미터이고 
은 
의 상한이다. 
이면, 더 짧은 지연이 선택되며, 예컨대, d = 1이다.
부함수 
은 r의 변화와 시간 경과에 따른 평균(r) 사이의 비율로서 정의될 수 있다. 이 비율은 통상적으로 거의 없는 배경 잡음 또는 잔향을 가진 드문 사운드들의 경우인, 자신의 평균 값에 비해 성능 측정값에서의 많은 변동을 가지는 사운드들의 경우 더 높아질 것이다. 배경 잡음을 갖는 음악 또는 스피치와 같은 더 밀한 사운드들의 경우, 이 비율은 더 낮을 것이고 그러므로 사운드 분급기와 같이 작동하여, 원래의 입력 신호의 비가간섭성 성분들의 특성을 분류한다. 그 비율은 다음의 수학식과 같이 계산될 수 있으며
여기서 
는, 예컨대, 200으로 설정된 상한이고, 
은, 예컨대, 0으로 설정된 하한이다. 그 한계들은 예를 들어 튜닝 파라미터(
)에 관련될 수 있으며, 예컨대, 
이다.
송신된 성능 측정값의 평균의 추정값이 프레임 i에 대해 다음의 수학식으로서 획득된다.
첫 번째 프레임의 경우 
는 0으로 초기화될 수 있다. 평활화 팩터들(
및 
)은 r의 상향 및 하향 변화들이 상이하게 추종되도록 선택될 수 있다. 하나의 예에서 
및 
이며 이는 평균 추정값이 시간 경과에 따른 평균 성능 측정값의 최소들을 주로 추종함을 의미한다. 다른 실시예에서, 양 및 음의 평활화 팩터들이, 예컨대, 
과 동일하다.
마찬가지로, 성능 측정값 변동의 평활화된 추정값이 다음의 수학식으로서 획득되며
여기서
대안으로, r의 분산은 다음의 수학식으로서 추정될 수 있다.
그러면 그 비율 
은 평균 
에 표준 편차 
를 관련시킬 수 있으며, 즉,
또는 분산은 제곱 평균에 관련될 수 있으며, 즉,
표준 편차의 다른 추정값은 다음의 수학식에 의해 주어질 수 있으며
이는 더 낮은 복잡도를 가진다.
평활화 팩터들(
및 
)은 
의 상향 및 하향 변화들이 상이하게 추종되도록 선택될 수 있다. 하나의 예에서 
및 
이며 이는 평균 추정값이 시간 경과에 따른 평균 성능 측정값의 최소들을 주로 추종함을 의미한다. 다른 실시예에서, 양 및 음의 평활화 팩터들이, 예컨대, 
과 동일하다.
일반적으로 모든 주어진 예들에 대해 두 개의 평활화 팩터들 사이의 전이는 현재 프레임의 업데이트 값이 비교되는 임의의 임계값에 대해 이루어질 수 있으며, 즉, 수학식 (25)의 주어진 예에서, 
이다.
추가적으로, 지연을 제어하는 비율 
은 다음의 수학식에 따라 시간 경과에 따라 평활화될 수 있으며
여기서 평활화 팩터 
는, 예컨대, 0.01로 설정된 튜닝 팩터이다. 이는 수학식 (17)에서의 
가 프레임 i에 대해 
에 의해 대체됨을 의미한다.
다른 실시예에서, 비율 
은 성능 측정값(
)에 기초하여 조건부로 평활화되며, 즉,
이러한 함수의 하나의 예는 다음의 수학식이며
여기서 평활화 파라미터들은 성능 측정값의 함수이다. 예를 들어
사용된 성능 측정값에 의존하여, 함수 
는 상이하게 선택될 수 있다. 그것은, 예를 들어, 평균, 백분위수(예컨대, 중앙값), 프레임들 또는 샘플들의 세트에 대한 또는 주파수 서브 대역들 또는 계수들의 세트에 대한 
의 최소 또는 최대일 수 있으며, 즉, 예를 들어
여기서 
은 N 개 주파수 서브 대역들에 대한 인덱스이다. 평활화 팩터들은, 예컨대, 0.6으로 설정된 임계값 
가 초과될 때와 초과되지 않을 때 각각에 평활화의 양을 제어하고 양 및 음의 업데이트들에 대해 동일하거나 또는 상이할 수 있으며, 예컨대, 
, 
, 
, 
일 수 있다.
샘플들 또는 프레임들 간의 획득된 상관해제 필터 길이에서의 변화의 추가적인 평활화 또는 제한이 아티팩트들을 피하기 위하여 가능하다는 것이 주목될 수 있다. 덧붙여서, 상관해제를 위해 이용되는 필터 길이들의 세트는 신호들을 혼합할 때 획득된 상이한 배색(coloration)들의 수를 줄이기 위하여 제한될 수 있다. 예를 들어, 첫 번째 것이 상대적으로 짧고 두 번째 것이 더 긴 두 개의 상이한 길이들이 있을 수 있다.
하나의 실시예에서, 상이한 길이들(d 1 및 d 2)의 한 세트의 두 개의 가용 필터들이 사용된다. 타겟이 된 필터 길이(d)는 예를 들어 다음의 수학식으로서 획득될 수 있으며
여기서 
은 예를 들어 다음의 수학식에 의해 주어지는 튜닝 파라미터이며
여기서 
는, 예컨대, 2로 설정될 수 있는 오프셋 항이다. 여기서 d 2는 d 1보다 더 큰 것으로 가정된다. 타겟 필터 길이는 제어 파라미터이지만 상이한 필터 길이들 또는 잔향기 지연들이 상이한 주파수들에 대해 이용될 수 있다는 것에 주의한다. 이는 타겟이 된 길이보다 더 짧거나 또는 더 긴 필터들이 특정한 주파수 서브 대역들 또는 계수들에 대해 사용될 수 있다는 것을 의미한다.
이 경우, 합성된 채널들(
및 
)에서 상관해제된 신호(D)의 양을 제어하는 상관해제 필터 강도(s)는 동일한 제어 파라미터들에 의해 제어될 수 있으며, 이 경우 하나의 제어 파라미터로, 성능 측정값 
이다.
다른 실시예에서, 상관해제 필터 길이의 적응은 각각의 주파수 대역이 최적의 상관해제 필터 길이를 가질 수 있도록 여러 개, 즉, 적어도 두 개의 서브 대역들에서 행해진다.
수학식 (15)에 묘사된 바와 같이 잔향기가 피드백을 갖는 필터 세트를 사용하는 일 실시예에서, 피드백의 양(
)은 지연 파라미터 
와 유사한 방식으로 또한 적응될 수 있다. 이러한 실시예에서 생성된 앰비언스의 길이는 이들 파라미터들 양쪽 모두의 조합이고 따라서 양쪽 모두는 적합한 앰비언스 길이를 성취하기 위하여 적응될 필요가 있을 수 있다.
또 다른 실시예에서, 상관해제 필터 길이 또는 잔향기 지연(d) 및 상관해제 신호 강도(s)는 둘 이상의 상이한 제어 파라미터들의 함수들, 즉, 다음 수학식들로서 제어된다.
또 다른 실시예에서, 상관해제 필터 길이 및 상관해제 신호 강도는 디코딩된 오디오 신호들의 분석에 의해 제어된다.
잔향 길이는 과도현상들, 즉, 갑작스런 에너지 증가들에 대해, 또는 특수한 특성들을 갖는 다른 신호들에 대해 추가적으로 특수하게 제어될 수 있다.
필터가 시간 경과에 따라 변화함에 따라 프레임들 또는 샘플들에 대한 변화들의 일부 핸들링이 있어야 한다. 이는 예를 들어 중첩 프레임들을 갖는 보간 또는 윈도우 함수들일 수 있다. 보간은 여러 샘플들 또는 프레임들에 대한 이전의 필터들 사이에서 그것들의 각각 제어된 길이 대 현재 타겟이 된 필터 길이에 대해 이루어질 수 있다. 보간은 샘플들 또는 프레임들에 대한 현재 타겟이 된 길이의 현재 필터의 이득을 증가시키면서 이전의 필터들의 이득을 연속적으로 감소시킴으로써 획득될 수 있다. 다른 실시예에서, 타겟이 된 필터 길이가 이용 가능하지 않을 때 상이한 길이들의 가용 필터들의 혼합체가 존재하도록 타겟이 된 필터 길이는 각각의 이용가능 필터의 필터 이득을 제어한다. 각각 길이 d 1 및 d 2의 두 개의 가용 필터들(h 1 및 h 2)의 경우, 그것들의 이득들(s 1 및 s 2)은 다음의 수학식들로서 획득될 수 있다.
h 1이 c 1에 의해 이득이 제어되는 기준 필터인 경우에, 필터 이득들은, 예컨대, 필터링된 신호의 동일한 에너지를 획득하기 위하여 서로에 또한 의존할 수 있다, 즉, 
이다. 예를 들어 필터 이득(s1)은 다음의 수학식으로서 획득될 수 있으며
여기서 d는 범위 
및 
에서의 타겟이 된 필터 길이이다. 제2 필터 이득은 예를 들어 다음의 수학식으로서 획득될 수 있다
필터링된 신호 
은 그러면 다음의 수학식으로서 획득되는데
단 필터링 동작은 시간 도메인에서 수행된다.
상관해제 신호 강도(s)가 제어 파라미터(c 1)에 의해 제어되는 경우 그것을 이전 프레임들의 제어 파라미터들 및 상관해제 필터 길이(d)의 함수 
로서 제어하는 것이 유익할 수 있다. 즉,
이러한 함수의 하나의 예는 다음의 수학식이며
여기서 
및 
는 튜닝 파라미터들, 예컨대, 
또는 
및 
이다. 
는 통상적으로 범위 [0,1]에 있어야 하는 한편 
는 1보다 더 커야할 수 있다.
하나를 초과하는 필터의 혼합체의 경우, 즉, 두 개의 필터들(h 1 및 h 2)의 경우, 
을 갖는 업믹스에서 필터링된 신호 
의 강도(s)는, 예를 들어, 가중된 평균에 기초하여 다음의 수학식에 의해 획득될 수 있으며
여기서
도 4는 전반이 클린 스피치를 포함하고 후반이 클래식 음악을 포함하는 신호의 일 예를 도시한다. 성능 측정값 평균은 음악을 포함하는 후반이 상대적으로 높다. 성능 측정값 변동이 또한 후반이 더 높지만 그것들 간의 비율은 상당히 더 낮다. 성능 측정값 변동이 성능 측정값 평균보다 훨씬 더 큰 신호가 지속적인 높은 양들의 확산 성분들을 갖는 신호인 것으로 간주되고 그러므로 상관 해제 필터의 길이는 이 예의 전반의 경우 후반보다 더 낮아야 한다. 그래프들에서의 신호들이 모두 평활화되었고 더 많은 제어된 거동을 위해 부분적으로 제약된다는 것에 주의해야 한다. 이 경우 타겟이 된 상관해제 필터 길이는 이산적인 프레임 수로 표현되지만 다른 실시예들에서 그 필터 길이는 연속적으로 가변할 수 있다.
도 5 및 6은 상관해제기를 조정하기 위한 예시적인 방법을 도시한다. 그 방법은 제어 파라미터를 획득하는 단계와, 제어 파라미터의 평균 및 변동을 계산하는 단계를 포함한다. 제어 파라미터의 변동과 평균의 비율이 계산되고, 상관해제 파라미터가 그 비율에 기초하여 계산된다. 상관해제 파라미터는 그 다음에 상관해제기에 제공된다.
도 5는 상관해제 필터 길이의 적응에 수반되는 단계들을 설명한다. 그 방법(500)은 성능 측정값 파라미터, 즉, 제어 파라미터를 수신하는 단계(501)로 시작한다. 성능 측정값은 오디오 인코더에서 계산되고 오디오 디코더로 송신된다. 대안적으로, 제어 파라미터는 디코더에서 이미 이용 가능한 정보로부터 또는 이용 가능한 정보와 송신된 정보의 조합에 의해 획득된다. 먼저 성능 측정값의 평균 및 변동이 블록들(502 및 504)에서 도시된 바와 같이 계산된다. 그 다음에 성능 측정값의 변동과 평균의 비율이 계산된다(506). 최적 상관해제 필터 길이가 그 비율에 기초하여 계산된다(508). 마지막으로, 새로운 상관해제 필터 길이가, 예컨대 수신된 모노 신호로부터 상관해제된 신호를 획득하기 위해, 적용된다(510).
도 6은 상관해제 필터 길이의 적응의 다른 실시예를 설명한다. 그 방법(600)은 성능 측정값 파라미터, 즉, 제어 파라미터를 수신하는 단계(601)로 시작한다. 성능 측정값은 오디오 인코더에서 계산되고 오디오 디코더로 송신된다. 대안적으로, 제어 파라미터는 디코더에서 이미 이용 가능한 정보로부터 또는 이용 가능한 정보와 송신된 정보의 조합에 의해 획득된다. 먼저 성능 측정값의 평균 및 변동이 블록들(602 및 604)에서 도시된 바와 같이 계산된다. 그 다음에 성능 측정값의 변동과 평균의 비율이 계산된다(606). 타겟이 된 상관해제 필터 길이가 그 비율에 기초하여 계산된다(608). 최종 단계는 새로운 타겟이 된 상관해제 필터 길이를 상관해제기에 제공하는 것이다(610).
그 방법들은 파라메트릭 스테레오 디코더 또는 스테레오 오디오 코덱에 의해 수행될 수 있다.
도 7은 도 5 및 도 6에 예시된 방법을 수행하는 장치의 일 예를 도시한다. 그 장치(700)는 프로세서(710), 예컨대, 중앙 프로세싱 유닛(central processing unit)(CPU)과, 명령들, 예컨대, 컴퓨터 프로그램(730)을 저장하는 메모리 형태의 컴퓨터 프로그램 제품(720)을 포함하는데, 컴퓨터 프로그램은, 메모리로부터 취출되고 프로세서(710)에 의해 실행될 때, 장치(700)로 하여금, 상관해제기를 적응적으로 조정하는 실시예들에 관련된 프로세스들을 수행하게 한다. 프로세서(710)는 메모리(720)에 통신적으로 커플링된다. 그 장치는 입력 파라미터들, 즉, 성능 측정값을 수신하기 위한 입력 노드와, 상관해제 필터 길이와 같은 프로세싱된 파라미터들을 출력하기 위한 출력 노드를 더 포함할 수 있다. 입력 노드와 출력 노드는 프로세서(710)에 통신적으로 둘 다 커플링된다.
장치(700)는 오디오 디코더, 이를테면 도 2의 하부에 도시된 파라메트릭 스테레오 디코더에 포함될 수 있다. 그것은 스테레오 오디오 코덱 내에 포함될 수 있다.
도 8은 상관해제 필터 길이 계산기(802)를 포함하는 디바이스(800)를 도시한다. 그 디바이스는 디코더, 예컨대, 스피치 또는 오디오 디코더일 수 있다. 입력 신호(804)가 공간적 이미지를 기술하는 인코딩된 파라미터들을 갖는 인코딩된 모노 신호이다. 입력 파라미터들은 제어 파라미터, 이를테면 성능 측정값을 포함할 수 있다. 출력 신호(806)는 합성된 스테레오 또는 멀티채널 신호, 즉, 복원된 오디오 신호이다. 디바이스는 오디오 인코더로부터 입력 신호를 수신하기 위한 수신기(도시되지 않음)를 더 포함할 수 있다. 그 디바이스는 도 2에 도시된 바와 같은 모노 디코더와 파라메트릭 합성 유닛을 더 포함할 수 있다.
일 실시예에서, 상관해제 길이 계산기(802)는 성능 측정값 파라미터, 즉, 제어 파라미터를 수신 또는 획득하기 위한 획득 유닛을 포함한다. 그것은 성능 측정값의 평균 및 변동을 계산하는 제1 계산 유닛, 성능 측정값의 변동과 평균의 비율을 계산하는 제2 계산 유닛, 및 타겟이 된 상관해제 필터 길이를 계산하는 제3 계산 유닛을 더 포함한다. 그것은 타겟이 된 상관해제 필터 길이를 상관해제 유닛에 제공하는 제공 유닛을 더 포함할 수 있다.
예로서, 소프트웨어 또는 컴퓨터 프로그램(730)은, 컴퓨터 판독가능 매체, 바람직하게는 비휘발성 컴퓨터 판독가능 저장 매체 상에서 통상적으로 운반 또는 저장되는 컴퓨터 프로그램 제품으로서 실현될 수 있다. 컴퓨터 판독가능 매체는 판독전용 메모리(Read-Only Memory)(ROM), 랜덤 액세스 메모리(Random Access Memory)(RAM), 콤팩트 디스크(Compact Disc)(CD), 디지털 다용도 디스크(Digital Versatile Disc)(DVD), 블루레이 디스크, 유니버설 직렬 버스(Universal Serial Bus)(USB) 메모리, 하드 디스크 드라이브(Hard Disk Drive)(HDD) 저장 디바이스, 플래시 메모리, 자기 테이프, 또는 임의의 다른 기존의 메모리 디바이스를 비제한적으로 포함하는 하나 이상의 착탈식 또는 비탈착식 메모리 디바이스들을 포함할 수 있다.
본 발명의 실시예들은 소프트웨어, 하드웨어, 애플리케이션 로직, 또는 소프트웨어, 하드웨어 및 애플리케이션 로직의 조합으로 구현될 수 있다. 소프트웨어, 애플리케이션 로직 및/또는 하드웨어는 메모리, 마이크로프로세서 또는 중앙 프로세싱 유닛 상에 존재할 수 있다. 원한다면, 소프트웨어, 애플리케이션 로직 및/또는 하드웨어의 일부는 호스팅 디바이스 상에 또는 호스팅의 메모리, 마이크로프로세서 또는 중앙 프로세싱 유닛 상에 존재할 수 있다. 예시적인 실시예에서, 애플리케이션 로직, 소프트웨어 또는 명령 세트는 다양한 기존의 컴퓨터 판독가능 매체들 중 임의의 것 상에 유지된다.
약어들
ILD/ICLD 채널 간 레벨 차이
IPD/ICPD 채널 간 위상 차이
ITD/ICTD 채널 간 시간 차이
IACC 귀 간 상호 상관
ICC 채널 간 상관
DFT 이산 푸리에 변환
CCF 상호 상관 함수
Claims (31)
- 상관해제기를 적응적으로 조정하기 위하여 오디오 디코더에 의해 수행되는 오디오 신호 프로세싱 방법(500, 600)으로서,
제어 파라미터를 획득하는 단계(501, 601);
상기 제어 파라미터의 평균을 계산하는 단계(502, 602);
상기 제어 파라미터의 변동을 계산하는 단계(504, 604);
상기 제어 파라미터의 상기 변동과 평균의 비율을 계산하는 단계(506, 606); 및
상기 비율에 기초하여 상관해제 파라미터를 계산하는 단계(508, 608)를 포함하는, 오디오 신호 프로세싱 방법. - 삭제
- 제1항에 있어서, 상기 상관해제 파라미터를 계산하는 단계는 타겟이 된 상관해제 필터 길이를 계산하는 단계를 포함하는, 오디오 신호 프로세싱 방법.
- 제1항 또는 제3항에 있어서, 상기 제어 파라미터는 인코더로부터 수신되거나 또는 디코더에서 이용 가능한 정보로부터 또는 이용 가능한 정보 및 수신된 정보의 조합에 의해 획득되는, 오디오 신호 프로세싱 방법.
- 제1항 또는 제3항에 있어서, 상기 제어 파라미터는 성능 측정값인, 오디오 신호 프로세싱 방법.
- 제1항 또는 제3항에 있어서, 상기 제어 파라미터는 입력 오디오 신호의 공간적 성질들의 파라메트릭 디스크립션의 추정된 성능에 기초하여 결정되는, 오디오 신호 프로세싱 방법.
- 제5항에 있어서, 상기 성능 측정값은 추정된 잔향 길이, 상관 측정값들, 공간적 폭의 추정값 또는 예측 이득으로부터 획득되는, 오디오 신호 프로세싱 방법.
- 제1항 또는 제3항에 있어서, 상기 상관해제 파라미터의 적응은 적어도 두 개의 서브 대역들에서 행해지고, 각각의 주파수 대역이 최적의 상관해제 파라미터를 갖는, 오디오 신호 프로세싱 방법.
- 제3항에 있어서, 상기 상관해제 필터 길이 및 상관해제 신호 강도 중 적어도 하나는 디코딩된 오디오 신호들의 분석에 의해 제어되는, 오디오 신호 프로세싱 방법.
- 제3항에 있어서, 상기 상관해제 필터 길이 및 상관해제 신호 강도 중 적어도 하나는 둘 이상의 상이한 제어 파라미터들의 함수들로서 제어되는, 오디오 신호 프로세싱 방법.
- 삭제
- 프로세서(701) 및 메모리 (720)를 포함하고 상관해제기를 적응적으로 조정하기 위한 오디오 디코더(700, 802)로서,
상기 메모리는 상기 프로세서에 의해 실행 가능한 명령들을 포함하여, 상기 오디오 디코더는
제어 파라미터를 획득하고;
상기 제어 파라미터의 평균을 계산하고;
상기 제어 파라미터의 변동을 계산하고;
상기 제어 파라미터의 상기 변동과 평균의 비율을 계산하고;
상기 비율에 기초하여 상관해제 파라미터를 계산하도록
동작하는, 오디오 디코더. - 삭제
- 제12항에 있어서, 상기 상관해제 파라미터를 계산하는 것은 타겟이 된 상관해제 필터 길이를 계산하는 것을 포함하는, 오디오 디코더.
- 제12항에 있어서, 인코더로부터 상기 제어 파라미터를 수신하도록 또는 상기 오디오 디코더에서 이용 가능한 정보로부터 상기 제어 파라미터를 획득하도록 또는 이용 가능한 정보 및 수신된 정보의 조합으로부터 상기 제어 파라미터를 획득하도록 추가로 구성되는, 오디오 디코더.
- 제12항에 있어서, 상기 제어 파라미터는 성능 측정값인, 오디오 디코더.
- 제12항에 있어서, 상기 제어 파라미터는 입력 오디오 신호의 공간적 성질들의 파라메트릭 디스크립션의 추정된 성능에 기초하여 결정되는, 오디오 디코더.
- 제16항에 있어서, 상기 성능 측정값은 추정된 잔향 길이, 상관 측정값들, 공간적 폭의 추정값 또는 예측 이득으로부터 획득되는, 오디오 디코더.
- 제12항에 있어서, 적어도 두 개의 서브 대역들에서 상기 상관해제 파라미터의 적응을 수행하도록 추가로 구성되고, 각각의 주파수 대역이 최적의 상관해제 파라미터를 갖는, 오디오 디코더.
- 제14항에 있어서, 디코딩된 오디오 신호들의 분석에 의해 상기 상관해제 필터 길이 및 상관해제 신호 강도 중 적어도 하나를 제어하도록 추가로 구성되는, 오디오 디코더.
- 제14항에 있어서, 상기 상관해제 필터 길이 및 상관해제 신호 강도 중 적어도 하나를 둘 이상의 상이한 제어 파라미터들의 함수들로서 제어하도록 추가로 구성되는, 오디오 디코더.
- 상관해제기로서,
제12항, 제14항 내지 제21항 중 어느 한 항의 오디오 디코더를 포함하는 파라메트릭 스테레오 디코더에서 공간적 합성을 위해 사용되는, 상관해제기. - 스테레오 오디오 코덱으로서,
제12항, 제14항 내지 제21항 중 어느 한 항의 오디오 디코더를 포함하는, 스테레오 오디오 코덱. - 파라메트릭 스테레오 디코더로서,
제12항, 제14항 내지 제21항 중 어느 한 항의 오디오 디코더를 포함하는, 파라메트릭 스테레오 디코더. - 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 프로그램(730)으로서,
프로세서(710)에 의해 실행될 때, 장치로 하여금, 제1항, 제3항, 제9항, 제10항 중 어느 한 항의 방법의 액션들을 수행하게 하는 명령들을 포함하는, 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 프로그램(730). - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217000273A KR102349931B1 (ko) | 2016-11-23 | 2017-11-23 | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662425861P | 2016-11-23 | 2016-11-23 | |
| US62/425,861 | 2016-11-23 | ||
| US201662430569P | 2016-12-06 | 2016-12-06 | |
| US62/430,569 | 2016-12-06 | ||
| PCT/EP2017/080219 WO2018096036A1 (en) | 2016-11-23 | 2017-11-23 | Method and apparatus for adaptive control of decorrelation filters |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217000273A Division KR102349931B1 (ko) | 2016-11-23 | 2017-11-23 | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190085988A KR20190085988A (ko) | 2019-07-19 |
| KR102201308B1 true KR102201308B1 (ko) | 2021-01-11 |
Family
ID=60450667
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217000273A Active KR102349931B1 (ko) | 2016-11-23 | 2017-11-23 | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 |
| KR1020197017588A Active KR102201308B1 (ko) | 2016-11-23 | 2017-11-23 | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217000273A Active KR102349931B1 (ko) | 2016-11-23 | 2017-11-23 | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US10950247B2 (ko) |
| EP (3) | EP4149122B1 (ko) |
| JP (3) | JP6843992B2 (ko) |
| KR (2) | KR102349931B1 (ko) |
| CN (2) | CN112397076A (ko) |
| ES (1) | ES2808096T3 (ko) |
| IL (1) | IL266580B (ko) |
| MX (1) | MX2019005805A (ko) |
| WO (1) | WO2018096036A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112397076A (zh) * | 2016-11-23 | 2021-02-23 | 瑞典爱立信有限公司 | 用于自适应控制去相关滤波器的方法和装置 |
| WO2020044244A1 (en) | 2018-08-29 | 2020-03-05 | Audible Reality Inc. | System for and method of controlling a three-dimensional audio engine |
| CN112005210A (zh) * | 2018-08-30 | 2020-11-27 | 惠普发展公司，有限责任合伙企业 | 多通道源音频的空间特性 |
| US12073842B2 (en) * | 2019-06-24 | 2024-08-27 | Qualcomm Incorporated | Psychoacoustic audio coding of ambisonic audio data |
| CN112653985B (zh) | 2019-10-10 | 2022-09-27 | 高迪奥实验室公司 | 使用2声道立体声扬声器处理音频信号的方法和设备 |
| KR102735772B1 (ko) | 2021-10-16 | 2024-11-27 | 김은일 | 외장 태양에너지시스템과 이의 건설방법 |
| GB2623999A (en) * | 2022-11-03 | 2024-05-08 | The Univ Of Derby | Speaker system and calibration method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101521010A (zh) * | 2008-02-29 | 2009-09-02 | 华为技术有限公司 | 一种音频信号的编解码方法和装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
| DE60142583D1 (de) * | 2001-01-23 | 2010-08-26 | Koninkl Philips Electronics Nv | Asymmetrisches mehrkanalfilter |
| SE0301273D0 (sv) * | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
| ES2324926T3 (es) * | 2004-03-01 | 2009-08-19 | Dolby Laboratories Licensing Corporation | Descodificacion de audio multicanal. |
| TWI393121B (zh) | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| JP2007065497A (ja) | 2005-09-01 | 2007-03-15 | Matsushita Electric Ind Co Ltd | 信号処理装置 |
| EP1879181B1 (en) * | 2006-07-11 | 2014-05-21 | Nuance Communications, Inc. | Method for compensation audio signal components in a vehicle communication system and system therefor |
| JP4928918B2 (ja) * | 2006-11-27 | 2012-05-09 | 株式会社東芝 | 適応フィルタを用いた信号処理装置 |
| EP2118887A1 (en) * | 2007-02-06 | 2009-11-18 | Koninklijke Philips Electronics N.V. | Low complexity parametric stereo decoder |
| WO2009129008A1 (en) * | 2008-04-17 | 2009-10-22 | University Of Utah Research Foundation | Multi-channel acoustic echo cancellation system and method |
| KR101450414B1 (ko) * | 2009-12-16 | 2014-10-14 | 노키아 코포레이션 | 멀티-채널 오디오 프로세싱 |
| WO2012008891A1 (en) * | 2010-07-16 | 2012-01-19 | Telefonaktiebolaget L M Ericsson (Publ) | Audio encoder and decoder and methods for encoding and decoding an audio signal |
| JP5730555B2 (ja) | 2010-12-06 | 2015-06-10 | 富士通テン株式会社 | 音場制御装置 |
| GB201109731D0 (en) * | 2011-06-10 | 2011-07-27 | System Ltd X | Method and system for analysing audio tracks |
| WO2013096820A1 (en) | 2011-12-21 | 2013-06-27 | The Regents Of The University Of Colorado | Anti-cancer compounds targeting ral gtpases and methods of using the same |
| JP2013156109A (ja) * | 2012-01-30 | 2013-08-15 | Hitachi Ltd | 距離計測装置 |
| TWI618050B (zh) * | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
| BR112015018522B1 (pt) * | 2013-02-14 | 2021-12-14 | Dolby Laboratories Licensing Corporation | Método, aparelho e meio não transitório que tem um método armazenado no mesmo para controlar a coerência entre canais de sinais de áudio com upmix. |
| US10839302B2 (en) * | 2015-11-24 | 2020-11-17 | The Research Foundation For The State University Of New York | Approximate value iteration with complex returns by bounding |
| CN112397076A (zh) | 2016-11-23 | 2021-02-23 | 瑞典爱立信有限公司 | 用于自适应控制去相关滤波器的方法和装置 |
-
2017
- 2017-11-23 CN CN202011398462.5A patent/CN112397076A/zh active Pending
- 2017-11-23 KR KR1020217000273A patent/KR102349931B1/ko active Active
- 2017-11-23 EP EP22203950.5A patent/EP4149122B1/en active Active
- 2017-11-23 US US16/463,619 patent/US10950247B2/en active Active
- 2017-11-23 KR KR1020197017588A patent/KR102201308B1/ko active Active
- 2017-11-23 MX MX2019005805A patent/MX2019005805A/es unknown
- 2017-11-23 JP JP2019527437A patent/JP6843992B2/ja active Active
- 2017-11-23 EP EP20180704.7A patent/EP3734998B1/en active Active
- 2017-11-23 EP EP17803944.2A patent/EP3545693B1/en active Active
- 2017-11-23 WO PCT/EP2017/080219 patent/WO2018096036A1/en unknown
- 2017-11-23 ES ES17803944T patent/ES2808096T3/es active Active
- 2017-11-23 CN CN201780072339.4A patent/CN110024421B/zh active Active
-
2019
- 2019-05-12 IL IL266580A patent/IL266580B/en unknown
-
2021
- 2021-02-24 JP JP2021027961A patent/JP7201721B2/ja active Active
- 2021-03-15 US US17/201,030 patent/US11501785B2/en active Active
-
2022
- 2022-11-14 US US17/986,830 patent/US11942098B2/en active Active
- 2022-12-22 JP JP2022205672A patent/JP7591549B2/ja active Active
-
2024
- 2024-02-21 US US18/582,932 patent/US20240274138A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101521010A (zh) * | 2008-02-29 | 2009-09-02 | 华为技术有限公司 | 一种音频信号的编解码方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230071136A1 (en) | 2023-03-09 |
| JP7201721B2 (ja) | 2023-01-10 |
| CN112397076A (zh) | 2021-02-23 |
| MX2019005805A (es) | 2019-08-12 |
| IL266580A (en) | 2019-07-31 |
| ES2808096T3 (es) | 2021-02-25 |
| EP3734998B1 (en) | 2022-11-02 |
| US20210201922A1 (en) | 2021-07-01 |
| EP3734998A1 (en) | 2020-11-04 |
| CN110024421B (zh) | 2020-12-25 |
| JP6843992B2 (ja) | 2021-03-17 |
| JP7591549B2 (ja) | 2024-11-28 |
| JP2021101242A (ja) | 2021-07-08 |
| JP2023052042A (ja) | 2023-04-11 |
| EP3545693A1 (en) | 2019-10-02 |
| EP4149122B1 (en) | 2025-07-02 |
| KR102349931B1 (ko) | 2022-01-11 |
| JP2020502562A (ja) | 2020-01-23 |
| US11942098B2 (en) | 2024-03-26 |
| US20240274138A1 (en) | 2024-08-15 |
| KR20210006007A (ko) | 2021-01-15 |
| EP3545693B1 (en) | 2020-06-24 |
| EP4149122A1 (en) | 2023-03-15 |
| US11501785B2 (en) | 2022-11-15 |
| US20200184981A1 (en) | 2020-06-11 |
| KR20190085988A (ko) | 2019-07-19 |
| US10950247B2 (en) | 2021-03-16 |
| WO2018096036A1 (en) | 2018-05-31 |
| CN110024421A (zh) | 2019-07-16 |
| IL266580B (en) | 2021-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102201308B1 (ko) | 상관해제 필터들의 적응적 제어를 위한 방법 및 장치 | |
| US11869518B2 (en) | Method and apparatus for increasing stability of an inter-channel time difference parameter | |
| JP7383685B2 (ja) | バイノーラル・ダイアログ向上 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20190619 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20190619 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200121 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201016 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20210105 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210105 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210106 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20231221 Start annual number: 4 End annual number: 4 |